Debata o ewaluacji nauki: podsumowanie

Kilka dni temu odbyła się 2. Debata Wolnej Nauki poświęcona tym razem ewaluacji w polskiej nauce, i jej wpływowi na wolność prowadzenia badań naukowych. Przekazujemy Wam najważniejsze obserwacje i wnioski pojawiające się w trakcie bardzo ciekawej dyskusji.

GOŚCIE – EKSPERCI DEBATY:

  • dr hab. Dominik Antonowicz (Kierownik Katedry Badań nad Szkolnictwem Wyższym i Nauką na Uniwersytecie Mikołaja Kopernika w Toruniu i członek Komisji Ewaluacji Nauki MEiN)
  • dr Mariola Paruzel-Czachura (Instytut Psychologii Uniwersytet Śląski i autorka artykułu “Publish or be ethical? Publishing pressure and scientific misconduct in research“)
  • dr Konrad Kulikowski (Społeczna Akademia Nauk w Łodzi).
  • MODERATOR: dr Kamil Kopij (Uniwersytet Jagielloński)

Gdzie jesteśmy?

  • Czy mechanizmy oceny pracy naukowców i instytucji naukowych są potrzebne? Tak – zwłaszcza gdy ich funkcjonowanie i prowadzone badania są finansowane ze środków publicznych, które muszą być rozliczane. Trzeba jednak pamiętać, że ocena indywidualna naukowca nie powinna być prowadzona wg tych samych zasad, co ocena instytucji.
  • Publikowanie wyników pracy w cenionych czasopismach naukowych, znanych w danym środowisku jest w interesie badacza, jak i zatrudniającej go instytucji.
  • Publikacja w wysoko punktowanych czasopismach, o trudnym dostępie i gęstym sicie recenzenckim jest często traktowana jako przyjęcie do świata „wielkiej nauki”, i jako wyraz uzyskania przez badacza i jego pracę wysokiego prestiżu.
  • System tzw. czterech slotów jest sygnałem by nie publikować „ile się da”, ale decydować się na dopracowane i wartościowe prace (średnio 1 w roku).
  • Oparty na bibliometrii system ewaluacji pracy dyscyplin, jednostek i naukowców jest w naszych warunkach jedyną, względnie obiektywną metodą dystrybucji środków finansowych i prestiżu między uczelniami.
  • W dzisiejszych warunkach brak systemu ewaluacji byłby demotywujący dla pracowników jednostek naukowych. Jednocześnie mamy problem braku miar dla pracy naukowej oraz brak określenia czym właściwie jest praca naukowa i która praca naukowa jest bardziej lub mniej wartościowa. Publikacje wydaja się być jedyną dostępną miarą potencjału pracownika.
  • Wszyscy mamy świadomość, że są pracownicy którzy nie starają się pracować na przyzwoitym poziomie, ale trzymają się uczelni jako miejsca stałego dochodu, często pracując w innym miejscu. W systemie nie ma informacji zwrotnej pozwalającej na monitorowanie tego typu zachowań i wpływanie na ich zmianę. Trzeba także pamiętać, że te postawy są częściowo warunkowane przez niskie zarobki na uczelniach.
  • Niedawne zamieszanie ze zmianami na listach czasopism pokazuje kruchość porządku wyznaczanego przez zmieniające się władze polityczne i ich różnie motywowane działania.
  • Zmiany na listach czasopism były złamaniem reguł tzw. Konstytucji dla Nauki Gowina, która niezależnie od jej oceny określiła pewne granice. Bardzo niepokojący jest brak szerokiej reakcji środowiska, ponieważ nie można nad tego typu sprawami przechodzić do porządku dziennego. Widać w tego typu sytuacjach, że jest grupa osób mających wpływ na działanie systemu nauki i szkolnictwa wyższego w Polsce, której się wydaje że może realizować swoją wizję bo ma mandat polityczny i nie liczy się z tym czym jest i powinna być nauka. Ważne byśmy znali nazwiska osób, które tego typu zmiany przeforsowały i wiedzieli jakie motywacje nimi kierują. Nauka musi być niezależna w maksymalnym możliwym stopniu od polityki. W przeciwnym wypadku bardzo łatwo np. ministerstwo może manipulować finansowaniem, wpływając na funkcjonowanie uczelni i naukowców w sposób destrukcyjny.

Problemy i zagrożenia wynikające z obecnego systemu ewaluacji

  • Poważnym problemem staje się pisanie artykułów „pod wydawnictwo i czasopismo”, i próba wymyślania dla punktów tematów modnych, które nie zawsze są ważne naukowo. To może być niebezpieczne, ponieważ prowadzi do zanikania niszowych, a istotnych subdyscyplin i tematów badawczych.
  • Dużym i coraz poważniejszym problemem jest znane już od jakiegoś czasu zjawisko publikowania „pod stopień naukowy”, czyli publikowanie nie dlatego, że pojawiają się wartościowe wyniki pracy, tylko po to by zdobyć kolejny stopień, bez liczenia się z wartością dorobku. Wprowadzane w ostatnich latach nowe regulacje w żaden sposób tego nie ukróciły, utrzymując system z habilitacją i profesurą? Musimy pamiętać nieustannie, że istotą nauki nie jest zdobywanie stopni i punktów, a tego typu mechanizmy używane nieracjonalnie mogą prowadzić do instrumentalizacji badań naukowych, generować zjawiska tzw. punktozy i stopniozy. Wzrastające nastawienie jedynie na uzyskiwanie kolejnych stopni i tytułów jest więc błędem. Nie można wymagać od wszystkich pracowników poziomu mistrzowskiego i pchać ich w kierunku profesury. Dlaczego w naszym systemie, inaczej niż w wielu krajach, nie można być dobrym wykładowcą i poświęcać się temu zadaniu? Taka sytuacja jest normą na dobrych uczelniach na zachodzie Europy itd.
  • Trzeba pamiętać, że do tzw. punktozy pchają nas także wydawnictwa i korporacje, które są właścicielami czasopism bo jest to wielki biznes. Tymczasem obserwujemy rozwój wielu nowych kanałów wymiany informacji między naukowcami i czasami czasopisma stają się niepotrzebne, ponieważ zastępują je nowe technologie, oparte oczywiście na Internecie.
  • Celem publikacji naukowej musi być replikacja wyników badań i pobudzanie dyskusji nad nimi. Tymczasem obserwujemy często wymyślanie problemów jak najbardziej zaskakujących, chwytliwych w nazwie, tak by zaistnieć w czasopiśmie. Często nie następuje replikacja tych badań i nikt dalej się nimi nie interesuje, lub okazuje się że problem był całkowicie abstrakcyjny i w rzeczywistości nie istnieje.
  • Niewątpliwie po okresie fetyszyzowania list czasopism i wydawnictw przyjdzie w naszym systemie czas zwracania uwagi na cytowania, nawet nie tyle w kategoriach ilościowych (te mogą być mylne ze względu na różnice między dyscyplinami i specjalizacjami), ale w kategoriach tego, kto nas czyta i cytuje. To zweryfikuje wiele publikacji i proponowanych w nich problemów badawczych.
  • Nasze listy czasopism i wydawnictw, a także zamieszania z nimi związane, mają wpływ na początkujących badaczy, którzy będą próbowali małym wysiłkiem zdobywać punkty w niezbyt ważnych polskich czasopismach, zamiast się rozwijać i z czasem startować do cenionych w środowisku periodyków.
  • Gdy spojrzymy na jednostki naukowe w krajach Europy zachodniej czy USA dostrzeżemy nasze braki. Polscy naukowcy nie mają czasu na pracę naukową i przemyślenie publikacji, są zawaleni nadmierną dydaktyką i pracą administracyjną, nie mają warunków do pracy i wsparcia mentorskiego.
  • Dobra publikacja wymaga pozwolenia sobie na dłuższy proces myślenia, stosowanie przemyślanych procedur badawczych. Tylko wtedy teksty są lepsze, choć jest ich mniej co nie powinno być problemem. Widoczny na polskich uczelniach brak stabilizacji, ciągłe zmiany i naciski na zdobywanie kolejnych stopni wpływają negatywnie na proces publikacyjny i prace naukowców. Jednocześnie nie da się wymusić na tych którzy nie pracują efektów np. nakazem siedzenia w biurze. Dodatkowo może pojawić się tzw. efekt kobry – czyli jeśli płacimy za publikacje (przyznajemy za nie premie finansowe jak jest to w tej chwili w wielu placówkach) to kierunkujemy działanie ludzi na pozyskiwanie pieniędzy w ten sposób i presja publikacyjna zaczyna oddziaływać negatywnie. Przestaje się liczyć sensowność i celowość badań, nie liczy się jakość publikacji tylko ich „cena” (punkty). Czy od faktu, że za wysoko-punktową publikację jest nagroda finansowa ktoś zdobędzie umiejętności i motywację do pracy, motywację do podnoszenia swojego poziomu? Nie wydaje się to możliwe. Taka sytuacja skłania raczej do szukania łatwych dróg i tzw. „kombinowania”. W praktyce mamy więc aktualnie w Polsce system rozdysponowywania państwowych środków finansowych, a nie zwiększania jakości badań i uczelni.
  • Obecny system powoduje pojawianie się praktyk nieetycznych takich jak dopisywanie przełożonych do artykułów, falsyfikowanie danych lub ich koloryzowanie, wstrzymywanie recenzji przez recenzentów, nie merytoryczne recenzje itd. Według badań dr M. Paruzel-Czachury (UŚ) blokowanie młodych naukowców to norma w naszym systemie, a tylko 2 % naukowców jest zadowolonych ze swojej pracy. Polscy naukowcy są sfrustrowani i dostrzegają brak dobrej atmosfery psychicznej w swoim miejscu pracy.
  • Większość polskich naukowców ma poczucie, że nauka zabiera im normalne życie lub je zastępuje. Tak nie powinno być, nauka nie powinna oznaczać braku życia rodzinnego, realizowania pasji itd. Często naukowcy spotykają się z wymaganiem poświęcania się dla nauki, z odrzuceniem życia rodzinnego itd. Taki sposób funkcjonowania powoduje, że porażki (np. krytyczna recenzja) odbierają radość pracy i wywołują problemy psychologiczne.
  • Warto zwrócić uwagę na tzw. dyskusyjne praktyki badawcze (niejednoznaczne pod względem etyki, ale dyskusyjne), takie jak wybieranie hipotez, manipulowanie tezami i wynikami badań, podkolorowywanie wyników badań, prowadzenie analizy do uzyskania pożądanego rezultatu itd. Często skutkuje to brakiem replikacji wyników i brakiem zainteresowanie innych badaczy tego typu publikacjami. Kusi także do stosowania praktyk nieetycznych lub dyskusyjnych etycznie.
  • Presja na publikacje w topowych czasopismach powoduje często, że nie chcą one publikować replikacji badań bo mają już kolejkę artykułów z nowymi „oryginalnymi” pomysłami, i nie chcą poświęcać czasu na dyskusję naukową co przecież jest sednem nauki.
  • Presja publikacyjna powoduje także paradoksalnie spadek jakości badań naukowych ponieważ często nie dba się już o jakość, a tylko o wymyślanie nowych ciekawostek, które będą „kupione” przez czasopismo. Nie prowadzimy zatem badań pogłębiając temat. To wywołuje pęd do nowości i oryginalności (fałszywie rozumianych) i wpływa na pogarszanie się jakości pracy naukowców.
  • Problemem nie jest sama ewaluacja, a sposób jej przeprowadzania. Jednostki i pracownicy powinni na 2 lata do przodu znać jej zasady, i mieć świadomość, że ocena dyscypliny nie jest tożsama z ewaluacją pracowników.
  • W wielu polskich uczelniach i instytucjach naukowych ocena pracowników jest uzależniona od listy ministerialnej – to wielki błąd. Powinniśmy jako środowisko naciskać na władze uczelni by mądrzej podeszły do ewaluacji i staranniej oceniały pracowników, według ich pracy i wartości dorobku. Często jest jednak tak, że skoro uczelnia jest oceniana „za punkty” to przekłada się to automatycznie na konkretnego pracownika i nikt już nie myśli o rozdzielaniu tych spraw, ocenianiu jego pracy i dorobku jako całości, w kontekście uprawianej dyscypliny.

Szanse i przyszłość polskiego systemu ewaluacji

  • Istnieje silna potrzeba poszukiwania systemów ewaluacji pracy naukowej i jej wynagradzania, nie związanych tak ściśle z punktacją czasopism i wydawnictw.
  • Trzeba przemyśleć sposoby komunikowania przez badaczy wyników badań – publikacja nie powinna być przecież celem badań. Być może warto otworzyć się na wspólnoty akademickie, które dzięki nowym technologiom mogłyby wspólnie weryfikować i oceniać wartość badań.
  • Naukowy świat w wielu dyscyplinach idzie w stronę otwartych zbiorów preprintów i artykułów, a to stymuluje sprawdzanie ich przez innych badaczy. Zapewne listy czasopism i wydawnictw za jakiś czas odejdą w niepamięć na rzecz nowych systemów ocen.
  • Presja publikacyjna wpływa na zachowania naukowców. Powoduje utratę z pola widzenia celu uprawiania nauki – nie jest nim publikowanie, a budowanie wiedzy naukowej. Czy nie można pomyśleć o przeformułowaniu wartościowania wyników pracy naukowej? Może się okazać, że nie potrzeba do tego publikacji, w ich dzisiejszym znaczeniu. Warto w tym kontekście myśleć nieschematycznie, i szukać nowych rozwiązań outside the box.
  • Być może czas pomyśleć o odejściu od obecnego systemu oceny na rzecz systemu zarządzania efektywnością (performance management). Tu potrzebna jest informacja zwrotna i pomoc dla słabszych, budowanie rozwoju i wsparcia mentorskiego. Trzeba pamiętać, że kary i zastraszanie nie motywują dobrze do pracy i budują zły psychologiczny klimat w jednostce. Warto także zaznaczyć, że obecny system to system kar i nagród. Po ewaluacji jednostki ocenione gorzej będą pozbawione części środków, co sprawi, że trudniej będzie im zwiększać kompetencje swoich pracowników, a tym samym jakość prowadzonych przez nich badań.
  • Konieczne jest zmierzanie do zmniejszania obciążeń dydaktycznych i wprowadzenia zakazu nadgodzin dydaktycznych.
  • Trzeba jeszcze wyraźniej oddzielić ewaluację dyscyplin na uczelniach od oceny pracownika, a rolą władz uczeni powinno być uzyskiwanie informacji zwrotnej i wspieranie rozwoju pracowników, ale nie przez nagrody finansowe.

 

ZAPRASZAMY DO ODSŁUCHANIA ZAPISU DEBATY

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *