Avrupa Yükseköğretiminde Üretken Yapay Zekâ Uygulamaları

Bu rapor, Avrupa yükseköğretiminde üretken yapay zekâ uygulamalarının üç eğitim düzeyi ve on iki uygulama alanı boyunca haritalanmasını ve karşılaştırmalı çözümlenmesini sunmaktadır. Çözümleme; eğilim, politika ve uygulamalara ilişkin üç turluk ortaklık raporlamasına ve bunlarla birlikte yayımlanan rehber belgeler ile çerçevelere dayanmaktadır. Altmış dört uygulama kaydedilmiş, her biri dayandığı kaynağın sayfasına ve orada yer alan cümleye bağlanmıştır.

Kayıtların dağılımı ilk bulguyu oluşturmaktadır. Belgelenmiş uygulama, kurumsal ve ulusal düzeylerde ve yönetişim alanında yoğunlaşmakta; bu ikisi kayıtların yaklaşık dörtte birini kapsamaktadır. Mikro düzey görece ince belgelenmiş olup altmış dört kaydın on ikisi tek bir dersin içinde yer almaktadır. Bu dengesizliğin, öğretim uygulamasının kendisinden çok kanıtın bir özelliği olduğu değerlendirilmektedir. Kaynak raporlar politika ve uygulama farkındalığını taramakta; tek bir dersin nasıl yeniden tasarlandığına ilişkin anlatımı ortaya çıkarabilecek soru ise yalnızca üçüncü turda yöneltilmiştir. Bu sorunun yöneltildiği yerde öğretim elemanları, materyal hazırlamayı ve öğrenme etkinliği tasarlamayı olağan iş olarak betimlemiştir.

İkinci bulgu, kaydedilen belgelerin bağlayıcılığına ilişkindir. Ulusal belgeler sayıca çok olmakla birlikte birkaç istisna dışında tavsiye niteliği taşımaktadır. Ortaklar bunu doğrudan belirtmekte, bir bildirim de sonucu açıkça çıkarmaktadır: eğitimde üretken yapay zekâya ilişkin standartlaşmış bir düzenleme bulunmamakta ve kurumsal politikaların sorumluluğu üniversitelerde kalmaktadır. Bağlayıcı olan belgeler kurumsal ve özgüldür. Bunlar arasında tez teslimi koşulu olarak imzalanan beyan formu, sınavlar sırasında kullanım yasağı, zorunlu olarak nitelenen iç öğrenme analitiği yönetmeliği ve yazarlığı bir modele reddeden dergi kuralı bulunmaktadır.

Üçüncü bulgu, gidiş yönüne ilişkindir. Üç tur boyunca okunduğunda kurumların devredilmiş takdirden yazılı çerçevelere, tek tek araçlardan portföylere ve ortak sağlamaya doğru ilerlediği görülmektedir. Bu hareket eşit değildir. İki tur boyunca değişiklik bildirmeyen kurumlar, aynı yıl içinde yapay zekâ kılavuzunun ikinci sürümünü ve eylem önerilerinin üçüncü sürümünü yayımlayan bir kurumla birlikte kaydedilmiş; personelin politika farkındalığı ile öğrencilerinki arasındaki açık daralmakta ancak kapanmamaktadır: iki anket yılı arasında en büyük artışı öğrenciler bildirmekte, kurumsal farkındalık ölçeğinde 1,38'den 2,46'ya çıkmakta ve buna karşın hâlâ bütün gruplar içinde en düşük farkındalığı bildirmektedir.

Bu raporun ele aldığı görev, eğitim düzeyleri boyunca üretken yapay zekâ uygulamalarının haritalanması ve karşılaştırmalı çözümlenmesi olup çıktı, sentez raporunun eşlik ettiği küratörlü bir veri tabanı olarak tanımlanmıştır. Üç düzey bu tanımdan alınmıştır. Mikro düzey sınıfı ve öğrenme tasarımını, mezo düzey kurumsal yönetişimi, makro düzey ise ulusal politikayı kapsamaktadır.

Düzeyin atanması

Düzey, uygulamadan etkilenen kişiye göre değil, uygulamayı kuran kararın alındığı yere göre atanmaktadır. Bu nedenle araştırmacılara yönelik ulusal bir etik kılavuz, okuyucularının her biri bir kurum içinde çalışıyor olsa dahi makro düzeyde bir belge olarak kaydedilmektedir. Merkezî olarak sağlanmakla birlikte ders ders yapılandırılan bir ölçme aracı ise mikro düzeyde kaydedilmektedir; zira aracın öğrenciye ilettiği içerik, o dersten sorumlu öğretim elemanınca belirlenmektedir.

Tek bir kurumun farklı muhataplara yönelik eşli belgeler yayımladığı durumlarda ek bir kural uygulanmaktadır. Öğrencilere yönelik belge mikro, akademik personele yönelik belge ise mezo düzeyde kaydedilmektedir. Malzemede bu nitelikte iki çift bulunmakta ve her ikisinde de eşleştirme, kodlama işleminin bir yan ürünü değil belgeyi yayımlayan kurumun bilinçli bir kararı olarak görülmektedir.

Malzemenin yanıtlayabildiği sorular

Kaynak raporlar, dört paydaş grubunda farkındalığı, kullanım amacını, fırsatları ve güçlükleri ölçmek ve ortak kurumlar ile ülkelerin kendileri hakkında bildirdikleri politika ve uygulamaları kaydetmek üzere tasarlanmıştır. Bu nedenle neyin var olduğuna, kimin bundan haberdar olduğuna ve nasıl değerlendirildiğine ilişkin soruları yanıtlayabilmektedir.

Etkiye ilişkin soruları yanıtlamaya ise daha az elverişlidir. Sonuç kanıtı malzemenin tamamında seyrek olup ortaklar bir uygulamayı bildirdiklerinde genellikle değerlendirmesini değil varlığını bildirmektedir. Dolayısıyla etkililiğe ilişkin iddialar bu raporda yer almamakta; her uygulamanın karşısına kaydedilen olgunluk, ölçeklenebilirlik ve aktarılabilirlik kodlamaları da kaynakların bildirdiği ölçümler değil, belirtilen kanıttan türetilen çözümleme yargıları olarak sunulmaktadır.

Belgelere ilişkin bir özellik, malzemenin bütününde okunabilecek tutarlılıkta bildirilmekte ve üç düzeyi hacimden daha keskin biçimde ayırmaktadır: belgenin muhataplarını bağlayıp bağlamadığı.

Kaynaklar

On üç belge tümüyle okunmuştur. Bunların onu, toplam 435 sayfa tutan yayımlanmış proje çıktısıdır; kalan üçü ise üçüncü tur raporunun çalışma taslağı ile iki yayımlanmış rehberdir. Ayrıca tek bir kaydın kaynağı olarak bir kurumun yayımladığı program tanıtımına başvurulmuştur. Asıl ağırlık, eğilim, politika ve uygulamalara ilişkin üç turluk ortaklık raporlamasındadır. Kalan belgeler, doğrulama amacıyla ve üç turun adlandırmadığı belgeleri saptamak üzere gözden geçirilmiştir.

Üç tur tasarım bakımından eşdeğer değildir. Birinci tur, anketleri dört paydaş grubunda gerçekleştirilen 140 yarı yapılandırılmış görüşmeyle birleştirmiştir. İkinci tur görüşmelerden vazgeçerek daha geniş bir anketi tercih etmiş ve birinci turla zamansal karşılaştırma getirmiştir. Üçüncü tur ise on bir ortak üniversitede yalnızca anketle sürdürülmüştür. Örneklem büyüklükleri turlar arasında belirgin biçimde farklılaşmakta olup ikinci rapor kendi örneklemini kolayda örneklem olarak nitelemektedir. Bu nedenle turlar arası karşılaştırmalar bu raporda değişimin ölçümü olarak değil yön göstergesi olarak ele alınmaktadır.

Çıkarım

Bir kaynağın, belirlenebilir bir aktöre atfedilebilen özgül bir belge, araç, program ya da kural adlandırdığı yerde uygulama kaydı açılmıştır. Niyet beyanları, genel tutumlar ve adı konulmuş bir belgeye dayanmayan artan kullanım bildirimleri uygulama olarak kaydedilmemiş, ancak bu malzeme matris hücrelerinin okumalarını beslemiştir.

Bir kaynak uygulamadan sorumlu kurumu adlandırmadığında kurum atfı yapılmamıştır. Veri tabanındaki bir kayıt, bağlamdan çıkarımda bulunmak yerine kaynağın kurumu belirtmediğine ilişkin açık bir not taşımaktadır.

Kodlama

Her uygulama, görevin tanımladığı eksenlerde kodlanmıştır: düzey, alan, sunum modeli, bağlam, olgunluk, ölçeklenebilirlik ve aktarılabilirlik. Sunum modeli yalnızca kaynağın desteklediği yerde kaydedilmiş, kurumun niteliğinden çıkarımla tamamlanmak yerine kayıtların çoğunda boş bırakılmıştır.

Olgunluk, ölçeklenebilirlik ve aktarılabilirlik, her biri kaynağın bildirdiğiyle sınırlanmış çözümleme yargılarıdır. Bir kurum bir ortamı deneysel, bir politikayı ise ertesi yıl beklenen olarak tanımlıyorsa kodlama bu tanımı aşmamaktadır.

Kaynak izi

Her uygulama kaydı en az bir dayanak taşımaktadır; dayanak, kaynaktan alınan birebir alıntıdan, alıntının yer aldığı sayfadan ve bu alıntının kurulan iddiayı hangi gerekçeyle desteklediğine ilişkin ifadeden oluşmaktadır. Dayanaklar makine yoluyla doğrulanmaktadır: alıntı kaynak belgenin kendisinde aranmakta ve kaydedilen sayfa, aramanın alıntıyı bulduğu sayfa olmaktadır. Alıntısı bulunamayan bir dayanak doğrulanmamış olarak işaretlenmekte ve kaynak izi sayfasında bu şekilde sayılmaktadır. Sayfa numaraları, okuyucunun belgeyi doğrudan o sayfadan açabilmesi için kaynak dosyanın ilk sayfasından itibaren sayılan fiziksel sayfaya karşılık gelmektedir.

Matris hücrelerinin okumaları, altlarında kaydedilen uygulamaların sentezi olup bu uygulamaların dayanaklarıyla desteklenmektedir. Bir hücre okuması yokluğa ilişkin bir iddia taşıdığında, bu iddia veri tabanının kendisi üzerinden denetlenebilmektedir.

Beliren uygulama, burada, önceki bir raporlama turunda bulunmayıp sonraki bir turda görülen uygulama olarak tanımlanmaktadır. Üç turun sırayla okunması bu nitelikteki birkaç uygulamayı görünür kılmaktadır.

Kayıtların dağılımı

Veri tabanında altmış dört uygulama kayıtlıdır. Yalnızca yönetişim alanı bunların on yedisini kapsamakta olup bu kayıtlar kurumsal ve ulusal düzeyler arasında dağılmaktadır. Yetkinlik geliştirme dokuz kayıtla bunu izlemekte, ölçme ile müfredat ise yedişer kayıt taşımaktadır. Düzeylere göre bakıldığında otuz kayıt kurumsal düzeyde, yirmi iki kayıt ulusal düzeyde, on iki kayıt ise tek bir dersin içinde yer almaktadır.

Bu dağılım, alanın durumu kadar aracın tasarımını da yansıtmaktadır. Hangi politikaların var olduğunu soran bir anket politikaları saptamaktadır. Bir öğretim elemanı kendiliğinden anlatmadıkça gözden geçirilmiş bir dersi saptayamamakta; böyle bir anlatımı ortaya çıkarabilecek soru ise yalnızca üçüncü turda yöneltilmiş, bu turda hangi kuralların geçerli olduğu değil araçların kullanılma biçiminde neyin değiştiği sorulmuştur. Elde edilen yanıtlar, müfredat satırının mikro düzeyde okunabilmesinin nedenidir ve bu yanıtlar, o düzeyin üstünde kaydedilen belgelerden bir tur sonra elde edilmiştir. Bu nedenle mikro düzeyin az nüfuslu değil az belgelenmiş olduğu değerlendirilmekte; burada kaydedilen sayı, uygulamanın görülme sıklığı kadar sorunun sorulma sıklığını da yansıtmaktadır.

Turlar arasında beliren uygulamalar

Burada ilgili olan anlamda yeni sayılabilecek birkaç uygulama bulunmaktadır. Bir üniversitede ticari bir modele kurum genelinde erişim, öğretim ve idari personelin tamamına açılmış ve bu durum, yalıtılmış kullanımdan kurum genelinde bütünleşmeye geçiş olarak tanımlanmıştır. Bölgesel bir portal, bir federal eyaletteki her üniversiteye üretken yapay zekâ uygulamaları sunmaya başlamış ve personel ile öğrencilere aynı koşullarla açılmıştır.

Ölçme, ilke beyanlarından belgelere doğru hareket etmiştir. Bir kurum kullanımı sınavlar sırasında yasaklamakta, şeffaflığın sağlanması koşuluyla ödev hazırlığında serbest bırakmaktadır. Bir diğeri tez teslimine imzalı bir beyan bağlamış ve formu zorunlu belge hâline getirmiştir.

Müfredat da hareket etmiştir. Bir açıköğretim fakültesi, öğrenme çıktıları konuyu var olan bir programa eklemek yerine büyük dil modelleri ve üretken yapay zekâ uygulamaları çevresinde yazılmış iki yıllık Yapay Zekâ Destekli Kodlama ön lisans programı sunmaktadır. Aynı dönemde yetkinlik geliştirme de müfredatın içine girmiştir: eleştirel yapay zekâ okuryazarlığı modülü 2025 güzünden itibaren öğrencilere sunulmuş, bu da katılımı çalışmanın isteğe bağlı bir eki değil parçası hâline getirmiştir. Biri öğrencilere biri akademisyenlere yönelik olmak üzere, yalnızca onaylanmayı değil uygulanmayı öngören kurallar içeren bir çift yayımlanmış rehber de ortaya çıkmıştır.

Yönetişim, devretmeden yazılı düzenlemeye doğru hareket etmiştir. Kararı daha önce tek tek öğretim elemanlarına bırakmış olan bir üniversite, eğitim, idare ve destek hizmetlerini kapsayan bir iç çerçeve yayımlamıştır. Bir diğeri, kurum çapındaki politikası ertesi yıl beklenen bir çalışma grubu kurmuştur.

Belirmeyen uygulamalar

Bir yokluk kapanmış, bir yokluk kapanmamıştır. Öğretim elemanları artık materyal hazırlamayı ve öğrenme etkinliği tasarlamayı olağan iş olarak betimlemektedir; ilk iki turda elde edilemeyen anlatım budur ve müfredat satırı bunun sonucunda ilk kez tek ders düzeyinde okunabilmektedir.

Hakkaniyet ise hareket etmemiştir. Bir kayıt hakkaniyeti not düşülecek bir kaygı olarak değil bir tasarım koşulu olarak ele almakta; ulusal düzeyde bu malzemenin herhangi bir yerinde adlandırılan tek tedbir ise bir fırsat eşitliği programının ya da erişim desteği programının bulunmasına ilişkin, uygulaması tek tek üniversitelere bırakılmış bir öneri olarak kalmaktadır. Öğrenciler eşit olmayan erişimi ve ücretli araçların maliyetini her turda dile getirmekte; burada kaydedilen kurumsal karşılık ise bir hakkaniyet politikası değil bir lisanslama kararı olmaktadır. Eğitim açığı da aynı örüntüyü göstermektedir: öğrenciler örgün sağlamaya personele göre daha az eriştiklerini bildirmekte, bunun yerine açık video ve sosyal medya üzerinden öğrenmekte ve bu fark iki anket yılı arasında daralmamıştır.

Farklı ülkelerde kaydedilen birkaç uygulama aynı biçimi almaktadır. Bu biçimin betimlenmesi, söz konusu biçimi kayıtların kapsamadığı ortamlarda da tanınabilir kılmaktadır.

Eşli belge

Bir kurum aynı konuda iki belge yayımlamakta, bunlardan biri öğrencilere diğeri personele yöneltilmektedir. Bu eşleştirme malzemede iki kez görülmektedir: yayımlanmış bir öğrenci rehberinin yanında akademisyenlere yönelik yayımlanmış bir rehber ve öğrenciler için pilot olarak yürütülen bir dijital asistanın yanında modüllerini yazan personel için pilot olarak yürütülen bir yazım asistanı.

Model, her belgenin hangi düzeyde işlediğini sabitlediği için önem taşımaktadır. Öğrenciye yönelik belge öğrenme durumunun içinde, personele yönelik belge ise onu çevreleyen yapılar üzerinde işlemektedir. Bu modeli benimseyen bir kurum aynı teknolojiye iki kez seslenmekte ve düzeyi hedeflenen muhatap belirlemektedir.

Beyanın koşula dönüştürülmesi

Kullanım beyanı, var olan bir teslim sürecine iliştirilmekte ve zorunlu hâle getirilmektedir. Belge küçük ölçekli ve usule ilişkindir. Altyapı, lisans ya da kurul gerektirmemekte; tavsiye niteliğindeki ulusal rehberi tek tek öğrenciye ulaşan bir yükümlülüğe dönüştürmektedir.

Sınırın ölçme anında çizilmesi

Bir kurum, belirli bir aracı serbest bırakmak ya da yasaklamak yerine sınırı ölçme anında çizmektedir. Kullanım sınavlar sırasında yasaklanmakta, şeffaflığın sağlandığı durumlarda ödev hazırlığında serbest bırakılmaktadır. Model, öğrenme sorusunu öğrenmeyi gösterme sorusundan ayırmakta ve hiçbir aracı adlandırmadığı için araç değişiklikleri boyunca uygulanabilir kalmaktadır.

Deney alanı, birim, lisans

Kurumsal kapasite üç aşamada birikmektedir. Araçların denenebilmesi için bir deney ortamı açılmakta, ardından işi yürütecek bir birim ya da kurul oluşturulmakta, daha sonra erişim bir lisans veya ortak portal aracılığıyla daha geniş bir gruba açılmaktadır. Birkaç üniversitenin kayıtları bu sıralamanın farklı noktalarında yer almakta olup birlikte okunduklarında tek bir karar değil bir sıralama görünür olmaktadır.

Sistem düzeyinde ortak sağlama

Tedarik, erişim ve maliyet, tek bir kurum için yinelenerek değil çok sayıda kurum için bir kez çözülmektedir. Bölgesel bir portal ile ulusal bir pilot bu biçimi almaktadır. Model, bağımsız olarak pazarlık edemeyecek kurumlara ulaşmakta ve hakkaniyet sorusunu öğrencinin neyi karşılayabildiğinden sistemin neyi lisansladığına taşımaktadır.

Ara düzenleme olarak devredilmiş takdir

Politika hazırlanırken her öğretim elemanı, aracın kendi dersinde hangi ölçüde kullanılabileceğini belirlemektedir. Model, politika boşluğu süresince öğretimin sürdürülmesine olanak vermektedir. Bunun bedeli, öğrencilerin derse göre değişen kurallarla karşılaşmasıdır; malzeme, bir çerçeve yayımlandıktan sonra bu düzenlemeden çıkan en az bir kurumu kaydetmektedir.

Sürdürülen çalışma alanı

Materyaller, bir kez yayımlanıp belirli aralıklarla gözden geçirilmek yerine personel için yayımlanmakta ve yeni materyal ortaya çıktıkça güncel tutulmaktadır. Model, sabit rehberin karşılayamadığı bir güçlüğe karşılık vermektedir; zira araçlar, belgelerin onaylanabildiğinden daha hızlı değişmektedir.

Ölçeklenebilirlik burada tek bir soru olarak ele alınmaktadır: öğrenci, ders ya da kurum sayısı ikiye katlandığında uygulama, arkasındaki emek de buna karşılık gelecek biçimde ikiye katlanmadan işlemeyi sürdürmekte midir.

Yok denecek maliyetle ölçeklenen uygulamalar

Kural ölçeklenmektedir. Teslime iliştirilmiş bir beyan formu, onu ister on öğrenci ister on bin öğrenci imzalasın aynı maliyeti taşımaktadır. Sınavlar sırasında uygulanan bir yasak bütün sınavları eşzamanlı olarak yönetmektedir. Yazarlığı bir modele reddeden dergi kuralı, o dergiye yapılan her başvuruyu kapsamaktadır. Yayımlanmış bir rehber bir kez yazılmakta ve kendisine ulaşan herkesçe okunmaktadır.

Veri tabanında ölçeklenebilirlik bakımından en yüksek kodlanan uygulamalar bunlardır ve ortak bir özellik taşımaktadır: hiçbiri her bir vaka için bir kişinin işlem yapmasını gerektirmemektedir.

Altyapıyla ölçeklenen uygulamalar

Ortak portal, baştan çok sayıda kurum için kurulduğundan tasarımı gereği ölçeklenmektedir. Bütün personele açılan bir lisans, lisansın büyüklüğü ölçüsünde ölçeklenmektedir. Öğrenme yönetim sistemi üzerinden sunulan bir kurs, sistemi hâlihazırda kullanan herkese ulaşmaktadır.

Bu durumlarda maliyet marjinal değil sabittir. Portalın finanse edilmesi, lisansın pazarlık edilmesi ve kursun sürdürülmesi gerekmektedir. Bu uygulamaların, kendilerini taşıyacak bir finansman yapısının bulunduğu yerlerde görülmesinin ve malzemede kurumsal düzeyden daha sık biçimde sistem düzeyinde kaydedilmesinin nedeni budur.

Kendiliğinden ölçeklenmeyen uygulamalar

Bazı uygulamalar yalnızca kendilerini yürüten kişilerin zamanıyla ölçeklenmektedir. Her görev için yapılandırılan biçimlendirici geri bildirim, öğretim elemanlarının ders ders ölçüt yazmasına bağlıdır; araç kaç öğrenciye olursa olsun hizmet vermekte, ancak ölçütler kendiliğinden üretilmemektedir. Öğrenciye yönelik sistemlerden oluşan bir portföy, arkasındaki veriye, platforma ve proje ekibine bağlıdır. Her çıktının öğrenciye ulaşmadan önce denetlenmesi uygulaması ise denetimi yapan kişiye bağlıdır.

Bunlar daha az değerli uygulamalar değildir. Öğrenmeye en yakın konumdaki uygulamalardır ve malzeme, bir uygulama öğrenme durumuna ne kadar yakınsa ek personel zamanı olmadan o kadar güç ölçeklendiğini göstermektedir.

Görev bakımından sonuçları

Bu nedenle kurumlar arası karşılaştırmanın, uygulamanın yanı sıra onu olanaklı kılan koşulu da dikkate alması gerekmektedir. Biçimlendirici geri bildirimin mevcut olduğunu bildiren bir kayıt, ölçütleri kimin yazdığını da bildirmedikçe sınırlı bilgi taşımaktadır. Veri tabanı bu koşulu her kaydın yanında saklamakta; ölçeklenebilirlik kodlamasının tek başına değil kanıtla birlikte sunulmasının nedeni de bu olmaktadır.

Aktarılabilen uygulamalar

En kolay aktarılan uygulamalar ortak bir özellik taşımakta, bir sistemi değil bir işlemi belirlemektedir. Teslim sırasında imzalanan beyan formu, sınavda çizilen sınır, yazarlığı bir modele reddeden kural, içeriğin iki kaynaktan doğrulanması koşulu ve hakem değerlendirmesinde üretken araç yasağı bunlara örnek gösterilebilir. Bunların her biri, hiçbir altyapıya sahip olmayan ve hiçbir araç lisanslamayan bir kurumca benimsenebilmekte; aktarılabilirlik bakımından yüksek kodlanmalarının gerekçesi de bu olmaktadır.

En güç aktarılan uygulamalar ise yerel düzenlemelerle ayakta tutulanlardır. Erken uyarı sistemlerini, destekli geri bildirimi ve konuşma ajanlarını birleştiren bir portföy, kendisini taşıyan veriye, platforma ve projeye bağlıdır. Bölgesel bir portal, ortak sağlamayı finanse edebilen federal bir yapıya bağlıdır. Bir uygulama alanını yüksek lisans ve doktora tezlerine yönlendiren ulusal bir program ise üniversiteler ile bir sanayi kurumunu bir araya getirebilen bir otoriteye bağlıdır.

Uygulamayla birlikte taşınan koşul

Kendisini olanaklı kılan koşullardan koparılmış bir uygulama öneri olarak okunamaz. Bu malzemedeki en açık örnek, öğretim elemanının söz konusu görev için belirlediği ölçütlere göre anında biçimlendirici geri bildirim veren ölçme aracıdır. Araç kolaylıkla aktarılmakta; uygulama ise ancak öğretim elemanlarının bu ölçütleri ders ders yazacak zamana ve yetkiye sahip olduğu yerde aktarılmaktadır. Bu koşul belirtilmeksizin bildirildiğinde aynı kayıt, otomatik geri bildirimin benimsenmeye hazır olduğunu ima edecektir; oysa kaynağın betimlediği durum bu değildir.

Aynı husus rehber belgeler için de geçerlidir. Kuralları işletilebilir nitelikte olan bir öğrenci rehberi, kendisi de uyulabilecek ölçüde özgül olan bir ders yönergesine dayanmaktadır. Ders yönergelerinin suskun olduğu yerde, onlara uymayı öngören kuralın konusu kalmamaktadır.

Karşılaştırmanın sınırları

Ortaklık genelinde karşılaştırmayı sınırlayan üç engel bulunmaktadır. Birincisi, raporların da belirttiği üzere, ortakların kendileri hakkında bildirimde bulunmasıdır. Bir ortak, bildirimi dolduran temsilci listelemediği için kaydedilmemiş belgelere sahip olabilir. İkincisi, turların tasarım ve örneklem bakımından farklılaşmasıdır; turlar arasında gözlenen bir değişim, neyin değiştiğini değil kimin yanıtladığını yansıtabilir. Üçüncüsü, bağlayıcılığın eşit olmayan biçimde bildirilmesidir. Bazı ortaklar bir belgenin bağlayıcı olup olmadığını belirtmekte, bazıları belirtmemekte; böyle bir belirlemenin bulunmadığı yerde belge ihtiyatlı kodlanmaktadır.

Bu sınırlar, kayıtların tek tek kendisinden çok matrisin yoğunluk okumalarını ilgilendirmektedir. Boş bir hücre, bu kaynaklarda o kesişimde belgelenmiş bir uygulamaya rastlanmadığını göstermekte olup Avrupa yükseköğretiminin bütününe ilişkin bir iddia olarak değil bu çerçevede okunmalıdır.

Haritalama üç bulgu ortaya koymaktadır. Bu ortaklık içinde belgelenmiş uygulama, yönetişim alanında ve kurumsal ile ulusal düzeylerde yoğunlaşmakta; tek dersin içindeki uygulama ise görece kayıt dışı kalmaktadır. Ulusal belgeler sayıca çok olmakla birlikte bir açık istisna dışında tavsiye niteliği taşımakta; bu durum işleyen kural koymayı kurumlara, kurumların içinde ise yer yer tek tek öğretim elemanlarına kaydırmaktadır. Üç tur boyunca görünen hareket, devredilmiş takdirden yazılı çerçevelere ve tek tek araçlardan ortak sağlamaya doğru ilerlemekte; bu ilerleme eşit olmayan biçimde gerçekleşmekte ve personelin politika farkındalığı ile öğrencilerinki arasındaki açığı kapatmamaktadır; söz konusu açık iki anket yılı arasında daralmakta, ancak öğrenciler en az haberdar grup olmayı sürdürmektedir.

Kanıt tabanından beklenen eklemeler göründüğünden daha dardır. Kurumlara neye sahip olduklarını sormanın araçları hâlihazırda mevcuttur. Eksik olan, bir öğretim elemanına bir derste neyin değiştiğini soran bir sorudur. Üçüncü tur bu saptamayı kısmen desteklemektedir: katılımcılara kullanımlarının bir önceki yıla göre nasıl değiştiği sorulduğunda öğretim elemanları materyal hazırlamaya ve öğrenme etkinliği tasarlamaya ilişkin anlatımlar vermiş; müfredat satırının mikro düzeyde okunabilmesinin nedeni de bu anlatımlar olmuştur. Öğretim elemanlarına yöneltilecek, bir derste ya da bir ölçme aracında yapılan belirli bir değişikliğe ilişkin tek bir açık uçlu soru, en ince kalan düzeyi doldurabilecek ve bunu izlenim olarak hatırlanan değil ders belgeleriyle denetlenebilen anlatımlarla yapacaktır.

İkinci ekleme etkiye ilişkindir. Bu veri tabanındaki hemen her uygulama, değerlendirilmiş olarak değil var olan olarak bildirilmiştir. Bir kurumun pilot yürüttüğü durumlarda pilotun bulguları ender olarak aktarılmakta; bir aracın iki tur boyunca kullanımda kaldığı durumlarda ise kayda kullanıma ilişkin herhangi bir ölçüm eşlik etmemektedir. Benimseme sonrasında neyin gözlendiğini kaydeden bir alan, bu türden bir haritalamanın destekleyebileceği çıkarımı değiştirecek; onu var olanın betimlenmesinden ayakta kalanın karşılaştırılmasına taşıyacaktır.