On the Value of Evaluation

Einst sind Wissenschaftler und deren Forschungsvorhaben durch Empfehlungen oder Kritik der Kollegen (Voten) beurteilt und entsprechend bewertet worden. Davon ist man abgekommen, um Subjektivismen auszumerzen. Jetzt wird begutachtet, reihum sowie kreuz und quer. Man ist entweder Gutachter oder zu Begutachtender, Objekt oder Subjekt, kaum gibt es in den sprachlich und förderungspolitisch umschriebenen Regionen noch unbetroffene Zuschauer. So kommt es dann, dass reihum begutachtet und empfohlen wird, jeder kennt jeden und eines jeden Projekte, jeder hat seine Nische zu finden und zu bewahren und die des anderen zu respektieren. Leben und leben lassen, wird die Devise, und eine gewisse, vergleichende Gerechtigkeit pendelt sich ein. Operative Kreise finden sich, fördern sich und vermögen sich als so formierte, kraftvolle und überzeugende Gruppe gegenüber anderen Forschungsgruppen einen Vorsprung und damit bedeutende Vorteile zu verschaffen. Dies betrifft sowohl das Renommee als auch die finanziellen Zuwendungen, ja es stellt dies das moderne Instrument dar, um neu gegründete Forschungsrichtungen anzustoßen, zu etablieren und zu stabilisieren. Das Vorgehen ist bewährt und findet Anerkennung. In großen Räumen ist die Bewertung durch Begutachtung (peer review) etwas besser dran, denn die Auswahl der Gutachter ist gezielter zu treffen, der Pool ist größer und damit sind die Kreise vielschichtiger und vielfältiger, also auch eher zu separieren. So ist es im angelsächsischen Sprachraum, der sich immer weiter, ja bald weltweit, dehnt. Da Gutachter aber auch „vor Ort” sich einen persönlichen Eindruck verschaffen müssen, entspannt sich ein aufwendiger Gutachter-Tourismus. Aufwändig wohl in finanzieller Hinsicht, aber noch viel stärker fällt der Zeitaufwand ins Gewicht; Zeit, welche den Gutachtern dann bei der eigenen Arbeit fehlt. Viele wenden sich davon ab! Bald werden sich gewiegte Gutachter finden, möglicherweise im Hauptamt, welche das Gutachterwesen an sich ziehen und so die Lenkung der Förderungsflüsse zu steuern wissen. Und wieder stehen die gefürchteten Subjektivismen vor der Türe! Deshalb versucht man, die Bewertung nicht mehr vordringlich nach den Anträgen, den Plänen also, auszurichten, sondern am Erfolg zu orientieren. Dazu dienen neben den akquirierten Drittmitteln in erster Linie die Publikationen und deren Zitate durch andere. Solche bibliometrischen Indikatoren gelten als messbare Zeichen der Qualität. Sie gelten als geeignet für die Bewertung der Forschung. Sie suggerieren den Politikern, den Medien, der Öffentlichkeit und auch den Wissenschaftlern untereinander, auf Grund des Drittmittelaufkommens (in harter Währung gemessen) und eines leicht lesbaren Zahlenwerkes des „Institut for Scientific Information” (ISI) in Philadelphia, Forschungsleistung zu bewerten. Dies betrifft einzelne Wissenschaftler, Forschungsgruppen und auch ganzer Hochschulen. Nun weitet sich aber die Bedeutung der verführerischen Bewertungsdaten in Windeseile aus. Die Politiker und die Entscheidungsträger in Ministerien und Hochschulgremien bedienen sich ihrer verständlicherweise ebenfalls. Eliteuniversitäten oder Schwerpunkte der Forschung werden daran orientiert, die immer karger werdende Forschungsförderung wird leistungsabhängig verteilt, geleitet nach eben den genannten Bewertungszahlen. Und Budgetentscheidungen basieren darauf, genau so wie Auswahl und Berufungen der Wissenschaftler und nun auch die Bemessung deren Gehälter. Bedenkt man dabei, dass das ISI , neuerdings im Besitz der Thomson Company in Toronto, bisher der alleinige Produzent der einzigen multidisziplinären Datenbank wissenschaftlicher Literatur mit Zitationszahlen darstellt, so sind alle Befürchtungen gegenüber Monopolsituationen nur zu leicht verständlich. Das ICI etabliert nun neben dem „Science Citation Index” und den „Journal Impact Factor” weitere maßgeschneiderte Evaluationsinstrumente (z. B. die ISI Essential Science Indicators oder die ISI Highly Cited Com.) zum käuflichen Erwerb. Gefahren ziehen auf! Konkurrenz wäre nötig und möglicherweise hilfreich. Also müsste ein zweites und von ISI unabhängiges Instrument geschaffen werden.Wenn man mit den Indikatoren anderer Bereiche, z. B. der Gastronomie, des Tourismus, etc. vergleicht, ist evident, dass auch bei konkurrierenden Evaluatoren enorme Unterschiede in der Bewertung zustande kommen. Solches ist auch auf dem Wissenschaftssektor zu erwarten. Konkurrenz allein hilft also nicht. Zunächst müssen offenbar die Datenerfassung, deren Evaluierung und die Wertung sowie die vergleichende Gewichtung und die fächerbezogenen Unterschiede erfasst und in ein differenziertes System eingebracht werden. Forschung an den Systemen und deren Bewertung sollte also vorangestellt werden. Dazu gehört auch die Erkundung der Diffusion und die Kontrolle der Qualität der Forschungsergebnisse und der Schutz vor Fälschungen. Dies ist umso wichtiger und notwendig, als die Evaluationsinstrumente immer größere Bedeutung und weitere Verbreitung erfahren.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.