GŁOS UCZELNI

Strona Głosu UczelniUniwersytet Mikołaja Kopernika w Toruniu

Grzegorz Jarzembski

O rankingach bez emocji

W rankingach przewodzi to, co się ludziom podoba, a ludziom podoba się to, co wygrywa w rankingach - tak na wykładzie, wygłoszonym na IV Toruńskim Festiwalu Nauki i Sztuki, prof. Jerzy Bralczyk zdefiniował rolę wszelkiego rodzaju rankingów w kształtowaniu społecznych ocen i przekonań. W tym błyskotliwym stwierdzeniu prof. Bralczyk uchwycił trafnie dwie istotne cechy rankingów sporządzanych przez media; pierwsza cecha to pełna dowolność (a nawet niefrasobliwość) w doborze kryteriów klasyfikacji przez twórców rankingów. Druga, to ogromna rola tych subiektywnych klasyfikacji w kształtowaniu "obiektywnej" opinii publicznej.

Wiosna jest okresem publikowania różnorodnych klasyfikacji szkół wyższych. W tych porównaniach UMK klasyfikowany jest na ogół zgodnie z oczekiwaniami, potwierdzając opinię uczelni solidnej, o ustabilizowanej pozycji w czołówce polskich uniwersytetów. Kryteria oceny przyjęte w tych rankingach są bardzo różne. Możemy mieć - i mamy - zastrzeżenia do trafności ich doboru i pretensje o to, że ustalane są one arbitralnie przez redakcje gazet. Ale nie możemy się obrażać; bez względu na to, jak wiele grzechów braku rzetelności i obiektywizmu możemy zarzucić ich twórcom, rankingi w istotny sposób kształtują opinię publiczną. Miejsce naszego Uniwersytetu w tych rankingach przekłada się potem na zainteresowanie studiowaniem na naszej uczelni, na liczbę kandydatów na studia. Dlatego, mimo ich niedoskonałości, nie wolno tych publicznych klasyfikacji lekceważyć.

Pora, by rankingi uczelni, szkół, szpitali itp. i ich wpływ na kształtowanie opinii publicznej stały się przedmiotem poważnych badań socjologicznych. Zadanie, jakie sobie postawiłem, pisząc ten artykuł, jest oczywiście mniej ambitne. Chcę jedynie zgromadzić i opisać zasady sporządzania różnych rankingów i dokonać najprostszych porównań. Chcę też podjąć próbę odpowiedzi na pytanie, w jaki sposób pozycja UMK zależy od jakości informacji, które przesyłamy do redakcji sporządzających rankingi. Analizując te informacje, opracowywane przez różne jednostki uniwersyteckie, miałem często wrażenie, że niedostateczna znajomość mechanizmów tworzenia rankingów sprawia, iż nie doceniamy roli właściwego przygotowania tych informacji. Poważnie traktujemy tylko niektóre pozycje, zwłaszcza te, które sami uznajemy za ważne, np. sprawy kadrowe. Kierując się tradycyjnym "akademickim systemem wartości", skłonni jesteśmy lekceważyć wiele pytań stawianych w ankietach, oceniając je jako "drugorzędne", nieistotne. Arytmetyka jest jednak nieubłagana. Nawet prezentowana tu uproszczona analiza pokazuje, że to lekceważenie może często zdecydować o niższej pozycji naszej uczelni w rankingu. A to jest już poważne zaniedbanie.

Cztery najpopularniejsze rankingi to klasyfikacje sporządzane przez redakcje "Newsweeka", "Polityki", "Perspektyw" i "Wprost".

Ranking "Newsweeka" budzi największe wątpliwości. Wykorzystuje on tylko jedno kryterium; ocenia uczelnię na podstawie karier jej absolwentów. Losy absolwentów analizowano w tym roku na podstawie ankiety wypełnionej przez 900 pracodawców. Wydaje się, że redakcja powinna jeszcze popracować nad metodologią zbierania danych, gdyż - przy całym szacunku dla jej wysiłku - trudno poważnie traktować klasyfikację, w której na 18 miejscu jest Kolegium Karkonoskie w Jeleniej Górze, a Uniwersytet Jagielloński na ... 65 miejscu. UMK jest wyżej - na … 62 pozycji. To wystarczy; do analizy rankingu "Newsweeka" warto będzie wrócić, gdy dopracuje on swoje procedury zbierania i oceny danych.

Ranking "Polityki" publikowany jest po raz piąty. Tygodnik nie klasyfikuje uczelni, ale kierunki studiów. W tym roku, podobnie jak w poprzednim, były to: zarządzanie i marketing, informatyka, pedagogika, politologia, prawo i socjologia. Na tych kierunkach studiuje ponad połowa wszystkich studentów. Podstawą oceny są ankiety wypełniane przez wydziały i ogólna ankieta przygotowana przez uczelnię. Ocena końcowa jest średnią ważoną obliczaną na podstawie sześciu cząstkowych ocen. W tabeli (na str. 3) zgromadziliśmy oceny, jakie uzyskał nasz Uniwersytet w ostatnich dwóch latach (socjologia oceniana była tylko w roku 2004).

Porównanie ocen w dwóch podstawowych kategoriach: "pozycja akademicka" i "potencjał kadrowy" jest bardzo krzepiące; wszystkie oceniane kierunki notują znaczący wzrost tych ocen cząstkowych (poza jednym przypadkiem) i to średnio na poziomie 10 procent! Ale z drugiej strony zauważamy ogromny spadek ocen w kategorii "infrastruktura". Jest to jednak w dużej mierze skutek zmienionych w 2004 r. kryteriów dla tej kategorii. W tej chwili w kategorii "infrastruktura" obowiązuje dziewięć wskaźników: proporcja liczby miejsc dydaktycznych do liczby studentów, poziom infrastruktury, proporcja liczby miejsc w akademikach do liczby studentów, biblioteka i jej ranga, liczba komputerów dostępnych dla studentów, liczba abonowanych czasopism polskich i zagranicznych, liczba miejsc w czytelni w relacji do liczby studentów studiów dziennych, udział powierzchni własnej w całości powierzchni dydaktycznej. Część tych kryteriów budzi wątpliwości, np. jeżeli pojawiają się czasopisma elektroniczne, to liczba miejsc w czytelni nie jest już tak istotna. Czy wydziały powinny doliczać do miejsc w czytelniach wydziałowych miejsca w czytelni Biblioteki Głównej? Mówiąc o należytej dbałości w przygotowaniu takiej ankiety, myślę m.in. o tym, że wypełniając pozycję: "liczba prenumerowanych czasopism polskich i zagranicznych", często zapominamy powiększyć ją o odpowiednią liczbę czasopism elektronicznych z danej dziedziny "prenumerowanych" przez Bibliotekę Główną.

Trzeba zauważyć, że oceny w tej kategorii były dla większości uczelni znacznie niższe niż w ubiegłych latach. Ale były też wyjątki, np. prawo Uniwersytetu Warszawskiego zyskało w tej kategorii 25 punktów, podczas gdy informatyka na tym samym uniwersytecie straciła 11 punktów. Trudno zatem ocenić, jak na liczbę punktów w tej kategorii wpływają informacje przygotowywane przez wydziały, a jak te, które są zawarte w ankiecie uczelnianej. Na pewno nie wolno uznać, że za jakość i rzetelność tych informacji odpowiada jedynie ankieta uczelniana.

Drugą kategorią, w której odnotowujemy nieznaczny, ale niepokojący spadek, jest tak zwana "orientacja na studenta". W tej kategorii nasze prawo traci do Uniwersytetu Jagiellońskiego 21 punktów, informatyka traci do prowadzącego UW 29 punktów, a zarządzanie i marketing do SGH aż 32 punkty! Warto zatem przypomnieć, jakie składniki decydują o liczbie punktów w tej kategorii, i sprawdzić, czy odpowiednie dane przygotowywane są z należytą starannością. Są to: zakres i formy indywidualizacji studiów, liczba publikacji dydaktycznych, proporcja słuchaczy studiów dziennych do ogółu studentów, liczba godzin przeznaczonych na seminaria magisterskie i dyplomowe, zakres i regularność ocen zajęć przez studentów, formy i zakres pomocy materialnej dla studentów, materiały dydaktyczne w Internecie, formy pozadydaktycznej aktywności studentów, skala nauczania języków obcych.

Analizując przygotowane materiały, można odnieść wrażenie, że w tej części ankiety wydziałowe nie są opracowywane dostatecznie starannie, takie informacje traktowane są jako drugorzędne i niewiele ważące na końcowej ocen ie. Ale zauważmy, że "orientacja na studenta" waży na ostatecznej ocenie w takim samym stopniu jak "potencjał kadrowy"! Możemy być wierni swojemu akademickiemu systemowi ocen, ale musimy pamiętać, że obowiązują prawa arytmetyki; wspomniane 32 stracone punkty dla zarządzania i marketingu to, po uwzględnieniu wag, 6,4 punktu w ocenie końcowej, czyli awans aż o 3 pozycje! Znam na tyle warunki studiowania na ocenianych kierunkach, by odpowiedzialnie twierdzić, że w tej kategorii tracimy zbyt wiele punktów. A tymczasem inne uczelnie w sposób maksymalny wykorzystują możliwość zyskania w tej kategorii punktów. Np. powszechna jest praktyka dołączania do ankiet rozszerzonego opisu własnych osiągnięć w tym zakresie. Może warto zastosować podobną taktykę?

Dodajmy, że "Polityka" obiecuje wkrótce nową wersję rankingu szkół wyższych uzupełnioną o szczegółową informację dotyczącą kosztów studiów.

Ranking "Rzeczpospolitej" i "Perspektyw" ocenia uczelnie jako całość i odwołuje się do zupełnie innych kryteriów. Ocena końcowa jest średnią ważoną trzech składowych: uczelnie oceniane są według "prestiżu" (waga 0,5), "siły naukowej" (0,3) i "warunków studiowania" (0,2). Redakcje starają się maksymalnie korzystać z informacji obiektywnych, pochodzących spoza zainteresowanych uczelni.

"Prestiż" oznacza poważanie, jakim cieszą się absolwenci danej uczelni, oraz autorytet jej pracowników w środowisku naukowym. "Siła naukowa i intelektualna" ma oddawać zdolność uczelni do prowadzenia badań naukowych. Jako jej mierniki przyjęto: moc naukową - zdefiniowaną jako liczbę tytułów i stopni, potencjał naukowy - określony średnią z tak zwanych kategorii nadanych poszczególnym jednostkom uczelni przez KBN, dobór jakościowy - mierzony liczbą kandydatów na jedno miejsce, rozpiętość oferty kształcenia - mierzoną liczbą słuchaczy studiów doktoranckich i podyplomowych.

"Warunki studiowania" oceniane są na podstawie następujących wskaźników: łączna liczba woluminów w bibliotece uczelnianej, liczba prenumerowanych czasopism krajowych i zagranicznych w przeliczeniu na jednego studenta studiów stacjonarnych, liczba miejsc w czytelniach w przeliczeniu na jednego studenta studiów stacjonarnych, wielokulturowość środowiska akademickiego mierzona liczbą studentów obcokrajowców, liczba miejsc w domach studenckich w przeliczeniu na jednego studenta studiów stacjonarnych, liczba studenckich kół naukowych, możliwości rozwijania zainteresowań społeczno-kulturalnych mierzone liczbą organizacji studenckich w stosunku do liczby studentów, stosunek między liczbą studentów a liczbą nauczycieli akademickich, nasycenie kadr nauczających kadrą o najwyższych kwalifikacjach, czyli proporcje liczby osób ze stopniem doktora habilitowanego lub tytułem profesorskim do liczby wszystkich nauczycieli akademickich.

I w tym wypadku można dyskutować o poszczególnych kryteriach i przypisanych im wagach. Ale warto je znać przy wypełnianiu ankiet.

Według tych kryteriów, UMK został sklasyfikowany na 14 miejscu w kraju (tak jak przed rokiem). Wśród uniwersytetów zajmujemy ponownie piąte miejsce. W kolejnej tabeli przedstawiamy wyniki uzyskane w rankingu "Prespektyw" przez czołowe uniwersytety i niektóre inne uczelnie, które znalazły się w czołówce. Ocena końcowa to suma trzech ocen cząstkowych - "prestiżu", "siły naukowej" i "warunków studiowania".

Uniwersytety uszeregowaliśmy nie według końcowej oceny, ale według ich "siły naukowej".

Zadziwiające, że po ograniczeniu się do "akademickiego" kryterium "siły naukowej" znajdujemy się na trzecim miejscu wśród uniwersytetów! Jednak proponuję tonować radość, różnice na miejscach 2-5 są naprawdę minimalne. To zestawienie ujawnia i drugą, gorzką dla nas prawdę - przy przyjętych wagach dla poszczególnych kategorii nie mamy szans na poprawę pozycji. Przyznanie "prestiżowi" wagi 0,5 wypacza sens rankingu. Jak mamy nadrobić 37-punktową stratę do UW w tej kategorii? Warto wspomnieć, że w rankingu "Perspektyw" dla uczelni niepaństwowych ta ocena wliczana jest z wagą 0,3. Trudno uzasadnić to zróżnicowanie. Ale ujawnia się ponownie niepokojąca prawidłowość; wśród sześciu czołowych uniwersytetów mamy najniższą ocenę za warunki studiowania. A ta ocena - w przeciwieństwie do "prestiżu" - istotnie zależy od jakości i kompletności informacji przekazanych przez jednostki uniwersytetu.

I wreszcie ranking "Wprost", gdzie w tym roku odnotowaliśmy awans na czwartą pozycję wśród uniwersytetów, wyprzedzając po raz pierwszy Uniwersytet Wrocławski. W rankingu grupującym wszystkie polskie uczelnie uzyskaliśmy siódme miejsce.

W opisie zasad rankingu "Wprost" czytamy m.in.: w rankingu ... nie bierze się pod uwagę oceny tzw. środowiska akademickiego, co decyduje o prestiżu uczelni. Unikamy w ten sposób głosowania utytułowanych kolegów na kolegów i wycinania konkurencji. Ciekawe, co na to redakcja "Perspektyw", dla której to kryterium to 25% końcowej oceny...

Ranking "Wprost" uwzględnia wartość "zaplecza intelektualnego" - ta kategoria w pewnym sensie odpowiada "sile intelektualnej" w rankingu "Perspektyw". W tej kategorii można uzyskać maksymalnie 60 punktów na podstawie takich kryteriów, jak: typ kształcenia na wydziałach i kierunkach uprawnienia do nadawania stopni doktora i doktora habilitowanego, jakość wydziałów, instytutów i katedr (m.in. na podstawie waloryzacji KBN), osiągnięcia naukowe kadry (obronione prace doktorskie i habilitacyjne, nominacje profesorskie, staże i wykłady zagraniczne), jakość pracy naukowej (publikacje w pismach o międzynarodowym zasięgu - szczególnie liczba cytowań w tzw. indeksie filadelfijskim, przyznane granty, udział w międzynarodowych programach badawczych). W tej kategorii pierwszy od piątego uniwersytetu różni jeden punkt, podczas gdy w rankingu "Perspektyw" ta różnica dla "siły intelektualnej" wynosiła - po przeliczeniu do tej samej skali ocen - ponad 10 punktów! Trudno zatem wierzyć w rzetelność tych obliczeń...

Za jakość programów nauczania, umiejętności dydaktyczne kadry, zaplecze informatyczno-biblioteczne (w tym dostęp do Internetu), praktyki, staże, programy własne, warunki i skuteczność nauczania języków obcych można uzyskać 20 punktów. Bierze się pod uwagę szanse kariery zawodowej (do 15 pkt.) i ocenę socjalnych warunków studiowania (do 5 pkt.) (w tym: jakość i wielkość bazy materialnej, wielkość wypracowanych środków i wielkość inwestycji, koszt kształcenia, system stypendiów i nagród, bazę rekreacyjno-socjalną).

Porównanie ocen cząstkowych pięciu czołowych uniwersytetów w rankingu "Wprost".

W czołówce panuje ogromny tłok, różnica między pierwszym a piątym uniwersytetem to zaledwie 2,75 punktu w skali 100-punktowej. Nawet osoba bez żadnego fachowego przygotowania ma prawo uznać, że jest to poważny błąd autorów rankingu; przyjęcie normalnego w takich sytuacjach założenia, że proces zbierania i opracowania danych obarczony jest 2-3-proc. błędem, wywraca całą klasyfikację. A to każe postawić pytanie: jaki jest sens tej zabawy?

Redakcja "Wprost" ostrzega: "przekazane przez uczelnie dane są weryfikowane. Za podanie nieprawdziwych danych odejmujemy punkty w końcowej klasyfikacji - 2 punkty za każdą nieprawdziwą informację". To potwierdza, że redakcja nie jest pewna prawdziwości gromadzonych danych. Ale można też zapytać, jaką my mamy pewność, że przesłane dane są rzetelnie oceniane? Wiarygodność rankingu "Wprost" dodatkowo podważa pierwsza pozycja UAM - w rankingu "Perspektyw" uniwersytet poznański jest czwarty, a pozycje poszczególnych kierunków ocenianych w "Polityce" też nie w pełni potwierdzają ten wynik.

Tyle podstawowych informacji, porównań i refleksji. Nie chcę formułować ocen i zarzutów w stosunku do autorów poszczególnych rankingów, gdyż ich uzasadnienie wymagałoby bardziej rzetelnej i fachowej analizy. Można jednak sformułować pewną ogólną tezę: rankingi uczelni dobrze służą gazetom - podnoszą ich nakład i wykazują ich zainteresowanie ważnymi kwestiami społecznymi. Nie należy jednak żywić złudzeń, że dążyć one będą do poprawienia jakości swoich rankingów i uczynienia z nich "zwierciadła" odbijającego rzeczywisty obraz. To, niestety, nie jest troską mediów w jakiejkolwiek dziedzinie. Nie zmienia to faktu, że rankingi cieszą się i będą się cieszyć w przyszłości dużym zainteresowaniem. Społeczeństwo, a szczególnie młodzież, nieco zagubiona w obliczu gwałtownych przemian w systemie edukacji, gorączkowo poszukuje jakichkolwiek informacji pomocnych w podejmowaniu decyzji o wyborze miejsca i kierunku kształcenia i (prawie) bezkrytycznie przyjmuje każdą taką informację. Dlatego mimo iż rankingi te są niedoskonałe, nie wolno ich lekceważyć. Nie widać bowiem żadnych oznak tego, by ktoś myślał o obiektywnym i rzetelnym rankingu, będącym odpowiedzią na zawłaszczenie sobie prawa do takich ocen przez media. A może jest to zadanie dla Państwowej Komisji Akredytacyjnej, która przecież dysponuje ogromną liczbą obiektywnych informacji?

Strony internetowe z informacjami o rankingach:

Grzegorz Jarzembski
Autor jest prorektorem ds. rozwoju i informatyzacji. (red.)

Poczatek stronyStrona Głosu UczelniUniwersytet Mikołaja Kopernika w Toruniu