Im Hinblick auf die Selektion von Beiträgen für kommende Jahrestagungen stellt der GMW-Vorstand die Grundlagen der Begutachtung zur Auswahl von Tagungsbeiträgen zur Diskussion. Bitte teilen Sie Ihre Meinungen/Vorschläge /Anregungen/Ergänzungen bis zum 4. November 2011 mit, bevorzugt als Kommentar direkt im Blog, oder aber per e-Mail an die Unterzeichnende. Der Vorstand wird alle Meldungen der Community anlässlich der Sitzung vom 10. Nov. 2011 diskutieren um die Leitlinien für die Ausrichterinnen und Ausrichter der GMW-Jahrestagungen zu entwickeln.
Im Namen der GMW-Vorstandes: E. Seiler Schiedt
eva.seiler[at]id.uzh.ch
Hallo zusammen!
Ich fände es wichtig, dass gewisse (sprich: noch zu definierende) Maßstäbe für die wissenschaftliche Qualität aufgestellt werden (Wissenschaft steckt ja sogar im Namen des Vereins). Die deskriptive Darstellung von Projekten, gänzlich ohne Evaluation, Überprüfung oder Daten-Erhebung (in welcher Form auch immer), ist nach einigen Jahren des Zuhörens ermüdend – zumal oft ältere Ideen wieder als neu verkauft werden (das finde ich im Rahmen der GMW besonders unpassend).
Und falls (noch keine oder nie) Untersuchungsergebnisse vorliegen, sollte zumindest eine kritische Reflexion (= Was lief gut? Was lief schlecht?) durch wiederum noch zu definierende Maßstäbe “erzwungen” werden. Denn in einer Scientific Community wie der GMW sollte es um einen fundierten inhaltlichen Austausch gehen … und das geht nur, wenn über Einreichungen (dahinter stehen ja: Projekte, Konzepte, Ideen, …) diskutiert und argumentiert werden kann.
Aufgrund dieser “strengeren Regeln” (na, sagen wir: deutlicheren Maßstäbe) fände ich es aber gleichzeitig gut, wenn bei Einreichungen mehr Energie in das Feedback und den Support bei der Überarbeitung investiert wird. Die angesprochenen Maßstäbe sollen ja nicht “exklusiv” wirken, sondern die Qualität der Beiträge und der Tagung steigern.
Besten Dank und viele Grüße aus Zürich,
Benno
Für mich wären zwei Punkte wesentlich um die Qualität zu steigern:
1) Klare Vorgaben für den Reviewprozess
2) Offener Reviewprozess (also nicht blind)
Und das Entscheidende ist, dass die Reviews auch von der Konferenzleitung beurteilt werden und notfalls auch überstimmt werden.
Klar das alles heißt mehr Arbeit, aber nur so kann langfristig m.E. die Qualität gesteigert werden.
Hallo an alle,
folgende Dinge würde ich gerne zurückmelden:
– Eine Einschätzung von Beiträgen sollte nicht nur durch Ankreuzen eines Formulares geschehen, sondern auf jeden Fall auch ausformuliert werden. Ich habe je länger je mehr Schwierigkeiten mit Ankreuzen, denn eine so eindeutige Zuordnung ist meist schwierig, bzw. würde ich gerne immer noch was zur Einschätzung anmerken. Dies ist bei vielen Reviews, die mit einem Ankreuzen arbeiten, nur schwer oder zusammenfassend allgemein am Ende möglich. Hier wäre es gut, könnte man zu jedem Punkt noch eine offene Anmerkung machen.
– Ich finde es gut, wenn es ähnlich wie bei anderen Zeitschriften/Tagungen einen Mechanismus gibt, der zeigt, wie mit Feedback umgegangen wird: So habe ich es schon erlebt, dass man als Gutachter die Mail an die Autoren mit dem anderen Gutachten (natürlich geheim) geschickt bekommt. So sieht man als GutacherIn auch, wie eine andere Person einen Beitrag einschätzt. Das würde auch die Reflexion/Auseinandersetzung unter den Gutachtern fördern.
Besonders ärgerlich ist es, wenn man Sachen begutachtet, diese aber dennoch scheinbar unverändert aufgenommen werden. Hier würde ich mir eine kurze Begründung wünschen, warum hat man den Beitrag noch aufgenommen? Das bewahrt vor dem Gefühl “für die Katze” gearbeitet zu haben.
– 6 Gutachten pro Gutachter finde ich sehr viel, wenn man es in einer guten Qualität machen will und es nicht nur darum geht, ein Formular anzukreuzen (s.o).
Soweit eine kurze Einschätzung von meiner Seite.
Viel Erfolg und liebe Grüße
Mandy
Hallo zusammen,
(1) Ich bin für eine Aufhebung der Anonymität, weil ich glaube, dass die damit verbundenen, nicht auszuschließenden Nachteile weniger schwerwiegend sind als die Vorteile! Autoren wie Gutachter sollten für ihre Produkte einstehen (können) und im Bedarfsfall eben “über die Sache streiten” – das würde die gesamte Feedback- und Kommunikationskultur verbessern.
(2) Zudem fände auch ich eine “strengere Anwendung” von Qualitätskriterien wichtig, wobei im Zweifelsfall (bei unterschieldicher Auslegung der Gutachter, was faktisch sehr häufig vorkommt) das Steering Commuittee entscheiden sollte.
(3) Die anzulegenden Kriterien sollte man überdenken, wobei man ganz klar praktische Darstellungen von theoretischen und empirischen unterscheiden muss und an sich NICHT mit exakt den gleichen Kriterien (von Ausnahmen wie Verständlichkeit, konsistente Argumentation, korrekte Sprache u.ä.) bewerten kann.
(4) Dagegen würde ich weiterhin Praxisberichte zulassen, aber eben deutlich von empirischen Studiendarstellungen trennen. Ebenfalls erhalten, eventuell sogar angeregt werden sollten auch theoretische Beiträge. Eventuell könnte man die Texte dahingehend kennzeichnen, in welche Kategorie sie gehören.
(5) Die Auswahl der Gutachter/innen ist ein Problem aufgrund der doch eher kleinen Community: Erfahrene Gutachter/innen sind dann überlastet (siehe Mandys Hinweis)und unerfahrene sind oft überfordert. Man könnte an der Stelle über Initiativen wie ein “Gutachtertraining” nachdendenken. Dies wäre freilich ein eigenes Projekt, das die GMW sicher nicht alleine stemmen könnte und sollte – das ist hier als Anregung zu verstehen.
Soweit meine Vorschläge/Ideen.
Gabi
Nachtrag
Wenn ein Review-Zyklus in eine Art Coaching-Prozess mündet, u.a. weil es zwischen Reviewer und Autor eine Erfahrungs- oder Wissensdifferenz gibt, dann kann es sicher sinnvoll sein, dies NICHT öffentlich zu tun oder nur unter Zustimmung des Autors z.B. einer Nachwuchsgruppe zugänglich gemacht werden (um am Beispiel zu lernen). Denn: Es sollte natürlich niemand bloß gestellt werden. Wenn sich dagegen Reviewer und Autor auf Augenhöhe begegnen (können) und sich im Begutachtungsprozess u.a. verschiedene Ansichten zeigen, die man über einen Text “ausficht” bzw. Kritik übt, die je nach Perspektive Zustimmung der Ablehnung hervorrufen kann, dann ist es für den jeweiligen Wissenschaftsbereich höchst fruchtbar, wenn solche Begutachtungsprozesse öffentlich sichtbar stattfinden.
Gabi
Pingback: e-Denkarium » Blog Archiv » Alles gut mit Gutachten?