İlk 500 ve Türk Üniversiteleri/3

8. Üniversite sıralama sistemlerindeki sorunlar ve eksiklikler nelerdir?
Sistemlerdeki sorunlar ve eksiklerin önemli bir kısmına buraya kadar değişik yerlerde değindik.  Burada özetleyelim:
•    Üniversitenin temel tanımlayıcı özelliği araştırma olduğuna göre sıralama sistemlerinin araştırmayı öne çıkarması kaçınılmazdır. Araştırma çıktılarını değerlendirirken en çok başvurulan ölçüt endeksli dergilerde yapılmış olan yayınlardır. 
o    Makaleleri sayarken tüm dergilerin aynı olmadığının göz önünde bulundurulması gerekir. Endeksli dergi sayısı 10,000in üzerinde olmakla birlikte, birçok alanda “en prestijli” olarak nitelendirilebilecek dergi sayısı tek haneli sayılarla ifade edilebilir. Alanın en prestijli dergisinde basılan bir makale ile hemen her yollanan makaleyi basan bir dergideki yayın hiçbir şekilde eşit muamele görmemelidir.
o    Değişik alanlarda yazılmış olan makale sayıları toplamak doğru değildir. Makale sayılarının mutlaka alan ortalamaları ile normalize edilmeleri gerekmektedir.
o    Sadece makaleleri saymak yeterli değildir. Makalelerin yanında kitaplar, kitap bölümleri, kongre sunumları, raporlar ve diğer araştırma çıktıları da önemlidir. Bazı alanlarda makaleler en makbul yayın biçimi değildir. 
•    Yayın sayılarının yanında en çok kullanılan ölçüt atıf sayılarıdır. Bu popüler ölçüt oldukça sorunludur. Bibliometri ile uğraşanların yakından bildiği bu sorunların sadece bazılarına burada yer veriyoruz:
o    Bir makale yanlış nedenlerle atıf alabilir—mesela kötü araştırma örneği (bir tekniğin yanlış uygulanması) olarak gösterilebilir.
o    Yazar gurupları, gurubun entelektüel statüsünü yükseltmek amacıyla kendi guruplarına dahil olan yazarların makalelerine daha yoğun bir şekilde atıf yapabilirler.
o    Literatür tarama (survey) makaleleri diğer makalelerden çok daha fazla atıf alırlar, ve yazarlar taramalardan önce yazılmış makalelere atıf yapmak yerine tarama makalesine atıf yapıp geçebilirler.
o    Alanlar arasında ortalama atıf sayılarında ciddi farklılıklar vardır. Bu nedenle atıf sayılarının normalize edilmesi gerekir.
o    Atıf pencereleri alanlar arasında farklılık gösterir. Bazı alanlarda yayın süreci yıllar aldığından ilk atıfların gelmesi de bir yıldan fazla zaman alabilir.
o    Atıf taramalarında kullanılan anahtar kelimeler sorun yaratabilir. Örneğin yazar tüm makalelerinde aynı ismi kullanmazsa atıfların bazıları sayılmayabilir.
o    Atıfı yapan yazarlar yanlış kaynağa atıf yapabilirler (mesela makale yerine bir araştırma raporuna), veya sayfa numaralarını yanlış girebilirler. Bir yanlış atıf zaman içerisinde zincirlemesine uzayıp gidebilir.
•    Yayın ve atıf sayılarının yanında, araştırma aktivitesini tam olarak ölçmek için ulusal ve uluslararası yarışmalar sonucunda jürilerce desteklenmesine karar verilmiş projeleri, ve öğretim üyelerinin almış olduğu ulusal ve uluslararası ödülleri de değerlendirmeye katmak gereklidir.
•    Araştırma çıktılarını değerlendirirken yayın ve atıfları saymak kolaydır. Fakat bu ölçütler yapılan araştırmanın sadece araştırma dünyasına etkisini ölçmektedirler. Esas ölçülmesi gereken araştırmanın topluma katkısıdır. Örneğin araştırma sonucunda alınmış olan patent ve kurulmuş olan şirket sayıları ve bu şirketlerin ciroları son derece önemli ölçütlerdir.
•    Bir üniversitenin araştırma aktivitesinin en önemlileri sonuçlarından birisi de yetiştirdiği araştırmacılar, mezun ettiği yüksek lisans ve doktora öğrencileridir. 
•    Üniversiteleri sıralarken araştırmanın yanında eğitim ve hizmet çıktılarını da değerlendirmek gerekir. Üniversitenin en bariz eğitim çıktısı mezun sayılarıdır. Bu mezunların iş bulma oranları ve ortalama gelirleri de önemli, fakat ölçülmesi zor olan çıktılardır. Diğer eğitim çıktıları, yazılmış olan ders kitapları ve yapılmış olan vaka çalışmalarıdir. Hizmet çıktılarını değerlendirirken toplumun çeşitli kesimlerine yapılan sunumlar, dergi editörlük ve hakemlikleri, kongre düzenleme aktiviteleri, yönetim kurulu üyelikleri, ve danışmanlık hizmetleri gözönüne alınabilir.

Yukarıda sözü edilen faktörler göz önüne alınarak daha rafine sıralama sistemleri geliştirilebilir. Fakat kanımızca üniversite sıralamalarında daha temel bir sorun vardır: hiçbir iki üniversite birbirinin tam benzeri olmadığından bu tür sıralamalar temelde hatalıdır. Örneğin kimi üniversitelerde (yayın sayıları genellikle yüksek olan) tıp fakülteleri varken kimilerinde yoktur. Kimi üniversitelerde 14 fakülte varken kimilerinde 4 fakülte vardır. Kimilerinde temel bilimler ve mühendislik güçlü iken kimilerinde sosyal bilimlere ağırlık verilmiştir. Kimileri 100 yıllık iken kimileri 10 yıllıktır. Kimilerinde ders yükü haftada 6 saat iken kimilerinde 30 saattir. Kimileri terfilerde araştırmaya özellikle önem verirken kimileri ise eğitimi ön plana çıkarmaktadır. Prof. Akbulut bu sorunu çözebilmek için doğru yönde bir adım atmış, ve üniversiteleri 3 boyutta gruplandirmiştir. Fakat kanımızca “üniversite sıralaması” kavramı kökten yanlıştır. Sıralaması yapılması gereken üniteler üniversiteler değil fakülteler veya bölümlerdir.

8.1 Alan bazlı sıralamalar
TÜBİTAK-ULAKBİM Cahit Arf Bilgi Merkezindeki Türkiye Bilimsel Yayın ve Atıf Göstergeleri kullanılarak alan bazlı sıralamalar oluşturmak mümkündür.  (http://www.ulakbim.gov.tr/cabim/yayin/tbyg_1981-2006/).  Bu siteden Türk üniversitelerinin 24 alt alanda, 5 yıllık dönemler içinde yapmış oldukları yayınların sayısına, atıf sayılarına, ve etki değerlerine ulaşılabilir.  2002-2006 yılları için üç alan sıralaması Tablo 11, 12, ve 13’de gösterilmektedir.

Tablo 11: 2002-2006 yılları için İktisat ve İşletme alanında yayın sayılarına göre ilk 10 sıralaması
 

Tablo 12: 2002-2006 yılları için Mühendislik alanında yayın sayılarına göre ilk 10 sıralaması
 

Tablo 13: 2002-2006 yıllarında Klinik Tıp alanında yayın sayılarına göre ilk 10 sıralaması
 

Tablo 11, 12, ve 13’e bakıldığında, alanlar arasındaki yayın farkının ne kadar ciddi olduğu ortaya çıkar. 5 yıl içinde ilk 10’daki üniversiteler dikkate alındığında, iktisat/işletme 402 yayın üretirken, mühendislik 2,723 yayın üretmiş, tıp ise 11,477 yayın üretmiştir. Bu farkların iki önemli nedeni vardır: akademisyen sayısı farkı ve alanlardaki yayın sıklığı farkı. İşte bu nedenden dolayı, değişik alanlardaki yayın sayılarını basit aritmetik ile toplayarak yapılan üniversite sıralamaları sağlıklı olmamaktadır. Sağlıklı bir sıralama için sayılar alanlara göre normalize edilebilir, veya sıralamalar doğrudan alan bazında yapılabilir.  

Alanlar arasındaki ciddi farklılıkları vurgulamak için bir örnek daha vermek istiyoruz. Yayınların etkisini ölçmekte kullanılan en popüler ölçüt atıf sayısidir. Bir akademisyenin dünyada kendi alanında en çok atıf alan 250 kişi arasına girebilmesi için gereken atıf sayısı fizikte 1832 iken, klinik tıpta 1095, kimyada 648, psikolojide 393, mühendislikte 182, insani bilimlerde ise 34 olabilmektedir. Yani, makale sayıları gibi atıf sayılarını da alana göre normalize etmeden kullanan sıralama sistemleri ciddi şekilde sorunludurlar.

Fakülte bazında uluslarası sıralamaya bir örnek olarak, Dallas’taki Teksas Üniversitesi’nın yaptığı “İlk 100 İşletme Fakültesi” sıralamasını verebiliriz (http://som.utdallas.edu/top100Ranking/). Bu sıralamanın şimdiye kadar değerlendirmiş olduğumuz sıralamalardan çok önemli bir farkı vardır: tüm endeksli dergilerdeki yayınlar yerine, işletme alanında sadece en prestijli 24 dergide basılan makaleleri değerlendirmektedir. Bu 24 dergide 1990 yılından beri basılan bütün makaleler veri tabanında mevcuttur. Bu dergilerin birisi, birkaçı, veya tümü üzerinden sıralama yapılabilmektedir.

Tablo 14: UT Dallas veri tabanına göre 1996-2005 arasında Türk işletme fakültelerinin en prestijli 24 işletme dergisinde yaptıkları yayınlara göre sıralaması

 

Bu tablo kanımızca çok çarpıcıdır. Türk üniversitelerinden sadece 3 tanesi 10 yıllık süre içinde bu “en prestijli” işletme dergilerinde yayın yapabilmişlerdir. Bu yayınların tümü vakıf üniversitelerindeki öğretim üyeleri tarafından yapılmıştır.

 
9. Sonuçlar
Bu yayının ilk bölümünde üniversite sıralamalarının neden popüler hale geldiği üzerinde durduk. Sonra dünyada en yaygın olarak kullanılan 6 farklı üniversite sıralama sistemini tanıttık. Sıralamaları inceledikten sonra şu temel sonuca vardık: Bu sıralamalarda ön sıralarda gelen üniversitelerin tümü zengin ülkelerde bulunan eski, büyük, ve lisansüstü programlarına ağırlık veren üniversitelerdir.

Değerlendirdiğimiz 6 sıralamanın hiç birisinde Türk üniversitelerinin ilk 250ye giremediğini gözlemledik. Ülkenin ekonomik gücü göz önüne alındığında Türkiye’den ilk 500’e daha fazla üniversite girmesi gerektiği sonucuna vardıktan sonra en popüler sıralama olan Shanghai Jiao Tong sıralamasının kriterlerini inceledik ve şu sonuca vardık: Türk üniversitelerinin ilk 500e girmesi mümkün olsa da fazla yukarı tırmanabilmeleri çok zordur.

Tüm sıralama sistemlerinin ya tamamen ya da büyük ölçüde araştırma çıktılarından etkilendiği gözlemledik, ve Türk üniversitelerinin dünya sıralamalarında yukarılara çıkmasının tek yolunun araştırma çıktılarını yukarıya çekmek olduğunu vurguladık. Bunun nasıl yapılacağı bellidir: İyi araştırmacıları ise alıp onlara araştırmaya uygun şartları sağlamak ve kariyerlerini hedefler döğrultusunda yönetmek gereklidir.  Bu hedef için gereken şartları sıraladık:
1.    Araştırma kapasitesi yüksek öğretim üyeleri işe alınmalıdır.
2.    Öğretim üyelerine araştırma yapabilmeleri icin gereken zaman sağlanmalıdır.
3.    Araştırma için gereken mali bütçeler sağlanmalıdır.
4.    Araştırma için gereken fiziksel ve kurumsal ortamlar sağlanmalıdır.
5.    Araştırma için önemli olan doktora öğrencileri ve araştırma asistanları sağlanmalıdır.
6.    Öğretim üyeleri için geliştirilecek değerlendirmelerde araştırma çıktıları öne çıkarılmalıdır.

Bu şartların büyük çoğunluğunun Türkiye’deki devlet üniversitelerinde ve birçok vakıf üniversitesinde yerine getirilmediğini vurguladık.  Bunun yanında  “araştırma üniversitesi” olmayı misyonlarının önemli bir parçası yapmış olan az sayıda vakıf üniversitesi kısa zamanda önemli başarılara ulaşmışlardir.  Bu vakıf üniversitelerinin bu dökümanda yer alan tablolardaki başarılarını özetleyecek olursak:
•    Tablo 5’da yayınlarının etki değeri en yüksek 3 üniversite vakıf üniversiteleridir (Koç, Bilkent, Sabancı).
•    Tablo 7’de Avrupa Birliğinden alınan destek sıralamasında ilk 6’da 3 vakıf üniversitesi bulunmaktadır (Sabancı, Bilkent, Koç).
•    Ödül sıralamasında (Tablo 8, 9) açık ara ile önde olan üniversite bir vakıf üniversitesidir (Koç) ve ilk 5’te 3 vakıf üniversitesi bulunmaktadır (Koç, Bilkent, Sabancı).
•    Tablo 14’deki “en prestijli dergi” makalelerinin tamamı vakıf üniversiteleri tarafından yayınlanmıştır (Koç, Bilkent, Sabancı).

Türkiye’de vakıf üniversitelerinin tümünün genç ve küçük olduğu düşünülürse bu araştırma çıktısı başarıları dikkat çekicidir. 2008 YÖK verilerine göre Bilkent, Koç, ve Sabancı Üniversitelerinin toplam öğretim üyesi sayısı 625’tir (Türkiye toplamının %1.6sı). Türkiye’de tam 20 devlet üniversitesinde 625’ten daha fazla öğretim üyesi bulunmaktadır (sadece İstanbul Üniversitesi’nde 2,508 öğretim üyesi vardır). Bu büyüklük farkı göz önüne alındığında bu 3 üniversitenin başarıları daha da büyük bir önem kazanmaktadır.  Kanımızca bu 3 üniversitenin başarılarının nedenlerinin incelenmesi Türkiye için yararlı olacaktir.

Üniversite sıralamaları toplumun çok ilgisini çekmektedir. Fakat kanımızca bu sıralamalarda temel bir sorun vardır, ve esas önemli olan alan bazlı sıralamalardır. Alan bazlı yayın sıralamalarına bakıldığında ise farklı alanlarda farklı üniversitelerin öne çıktığı görülmektedir.  Her alanda iyi olmak çok ciddi ekonomik kaynaklar gerektirdiğinden, kaynakları kısıtlı üniversitelerimizin stratejik tercihler yaparak bazı alanlarda dünya sıralamasına girmesi daha erişilebilir bir hedeftir.