Wir können doch nicht 400 Mitarbeiter/innen schulen!

Erstellung und Evaluierung eines E-Learning-Kurses für die Weiterbildung von Bibliotheksmitarbeiter/inne/n

Michaela Zemanek, Universitätsbibliothek Wien

Zusammenfassung:

Nach Abschaltung des Online-Katalogs im Jahr 2016 wurde das bis dahin gleichzeitig zur Verfügung stehende Discovery-Tool Primo (an der Universitätsbibliothek Wien u:search genannt) zum zentralen öffentlich zugänglichen Suchwerkzeug der Universitätsbibliothek Wien. Um das Wissen der Bibliotheksmitarbeiter/innen in Bezug auf u:search zu verbessern, sollte ein geeignetes Weiterbildungsangebot entwickelt werden. Auf Grund der hohen Anzahl an Mitarbeiter/innen wurde entschieden, einen nachhaltigen, orts- und zeitunabhängig nutzbaren Online-Kurs auf der Lernplattform der Universität Wien, Moodle, zu entwickeln. Der in der Folge für die Bibliotheksmitarbeiter/innen entwickelte Kurs besteht aus einem Tutorial mit mehreren Lernmodulen, die Wissen zu u:search im Selbststudium vermitteln sollen, sowie einem kleinen Quiz und Übungen, mit denen man sein Wissen testen kann. Zusätzlich gibt es für die am Kurs Teilnehmenden noch die Möglichkeit, Fragen zum Kurs zu stellen und verbales Feedback zu geben. Die Evaluierung des Kurses erfolgte, indem eine Online-Befragung der Bibliotheksmitarbeiter/innen mit LimeSurvey durchgeführt und die Zugriffsstatistiken des Kurses sowie die Resultate der Selbsttests ausgewertet wurden.

Summary:

After switching off the online catalogue in 2016, the Discovery tool Primo (which at the University Library Vienna is called u:search) became the central public search tool of the University Library of Vienna. In order to improve the library staff´s knowledge of u: search, a further training had to be developed. Considering the high number of employees, it was decided to develop a sustainable online course on the learning platform of the University of Vienna, Moodle, which could be used irrespective of time and location. The course, developed for the library staff, consists of a tutorial with several learning modules for self-study, as well as a little quiz and exercises which can be used to test participants’ knowledge. In addition, there is an option to ask questions about the course and give verbal feedback. The course was evaluated by conducting an online survey of the library staff with LimeSurvey and analyzing the access statistics of the course as well as the results of the test.

Zitierfähiger Link (DOI): https://doi.org/10.5282/o-bib/2017H4S71-81
Schlagwörter: E-Learning, Discovery-System, Primo, Bibliothekar, Weiterbildung, Moodle, Evaluation

1. Einleitung

Im März 2016 wurde an der Universitätsbibliothek Wien der Katalog abgeschaltet. Seither steht als öffentlich zugängliches Suchwerkzeug nur mehr das Discovery-Tool Primo, an der UB Wien u:search genannt, zur Verfügung. Die Suche mit Discovery-Systemen erfasst heterogene Quellen und verschiedene Medientypen; eine „einfache“ Suche liefert nicht das „Exact Match“ einer Katalogsuche, sondern arbeitet mit dem Verfahren des „Best Match“.1 Zu den Problemen von Discovery-Systemen zählen die großen Treffermengen sowie mangelnde Nachvollziehbarkeit und Transparenz.2 Pfeffer und Wiesenmüller vergleichen Discovery-Systeme mit einer „Black Box“, „deren Inhalte und Prozesse den Benutzern weitgehend verborgen bleiben“.3 Zur Suche mit Discovery-Systemen kam von Bibliothekar/innen bei einer Befragung in Deutschland folgender Kommentar: „in einen großen Datentopf hinein, wo nicht unbedingt transparent ist, wo eigentlich und mit welchen Kriterien da gesucht worden ist“.4 Die Katalogsuche, die ein „Exact Match“ ergibt, erscheint bei Aufgabenstellungen wie z.B. Bestandsüberprüfungen („Known Item Search“) brauchbarer und komfortabler. Die Abschaltung des Katalogs nahmen die Bibliotheksmitarbeiter/innen daher z.T. mit Bedauern auf.

Um den Mitarbeiter/inne/n der UB Wien mehr Wissen über u:search – sowohl für die eigene Anwendung, als auch für die Beratung bzw. Schulung von Bibliotheksbenutzer/inne/n – zu vermitteln, sollte für sie ein Schulungsangebot entwickelt werden. Auf Grund der hohen Zahl an Mitarbeiter/inne/n entschied sich die dafür einberufene Arbeitsgruppe für die Entwicklung eines Online-Kurses auf der Lernplattform der Universität Wien, Moodle5, der nachhaltig, orts- und zeitunabhängig für das Selbststudium zur Verfügung stehen sollte. Dieser Kurs könnte nicht nur der Vertiefung von Kenntnissen über u:search dienen, sondern auch neuen Mitarbeiter/inne/n der UB Wien die Möglichkeit bieten, sich grundlegendes Wissen zu u:search anzueignen.

2. Die Erstellung des Schulungsmaterials

In der geplanten Weiterbildung sollten die Lernenden ein grundlegendes Verständnis von u:search erwerben, z.B. die Entstehung von Suchergebnissen verstehen und Such- und Filterfunktionalitäten kennen. Zwei Mitglieder der Arbeitsgruppe Teaching Library und ein Mitarbeiter des Teams E-Ressourcen an der UB Wien erstellten für die Lernziele die Lerninhalte.6 Da die Zeit drängte, verzichtete die Arbeitsgruppe bewusst auf eine aufwändigere Gestaltung des Lernmaterials und realisierte die Inhalte als Powerpoint-Präsentationen, wodurch z.T. auch schon vorhandene Foliensätze adaptiert werden konnten. Die Lernmaterialien berücksichtigen Gestaltungsprinzipien, wie z.B. das Multimediaprinzip (Texte sollen mit Hilfe von Bildern oder Animationen veranschaulicht werden), das Kontiguitätsprinzip (zusammengehörige Texte und Bilder sollten in räumlicher Nähe positioniert werden) oder das Kohärenzprinzip (auf für den Inhalt irrelevante Bilder oder andere Multimediainhalte sollte verzichtet werden).7 Die Endredaktion des Schulungsmaterials, die Einrichtung des Kurses und die Formulierung des Selbsttests und der Übungsbeispiele übernahm die Autorin. Die Erstellung des Kurses von der Idee bis zur Präsentation des fertigen Kurses erstreckte sich – da sie neben anderen Arbeitsaufgaben erledigt werden musste – über etwa ein halbes Jahr. In der Endfassung besteht der Kurs aus einem Tutorial mit acht Lernmodulen, die Wissen zu u:search im Selbststudium vermitteln, einem Quiz, mit dem man sein Wissen testen kann, sowie Übungsbeispielen, die Suchmöglichkeiten und -probleme in u:search veranschaulichen. Zusätzlich gibt es für die Teilnehmenden die Möglichkeit, Fragen zum Kurs zu stellen und verbales Feedback zu geben.

Auf die Erstellung des Kurses folgten zwei Testphasen. Mitarbeiter/innen aus verschiedenen Teilbibliotheken und Arbeitsbereichen sahen Lernmaterial an und absolvierten den Test, füllten danach einen kurzen Fragebogen aus (fünfstufige Skalen zu Verständlichkeit, Schwierigkeit, Umfang des Materials, Benutzbarkeit, usw.) und gaben verbales Feedback. Außerdem überprüften die Mitarbeiter/innen der mit der Administration von Primo befassten Abteilung die Inhalte auf Richtigkeit. Die Rückmeldungen wurden eingearbeitet und auch die modifizierte Version wurde wieder getestet. Zuletzt formulierte die Autorin Übungsbeispiele, die ein Problembewusstsein für verschiedene Aufgaben in u:search wecken sollten und auf die jeweils dazu passenden Lerneinheiten verwiesen.

Abbildung 1 zeigt einen Ausschnitt aus der Inhaltsübersicht des Tutorials; in Abbildung 2 ist das Beispiel einer Quizfrage zu sehen.

Abb. 1: Das Tutorial (Ausschnitt)

Abb. 2: Beispielfrage aus dem Quiz

Die Einladung, den Kurs zu nutzen, wurde über die Mailingliste der UB Wien von der Bibliotheksdirektion ausgesendet. Zusätzlich bewarb ein Artikel im internen Newsletter den Kurs, und er wurde in einer Sitzung den Fachbereichsbibliotheksleiter/inne/n präsentiert. Außerdem bat die Direktion die Fachbereichs- und Abteilungsleiter/innen, die Inanspruchnahme dieses Weiterbildungsangebots in ihren Abteilungen zu fördern. Die Nutzung des Kurses war für niemanden verpflichtend, sondern erfolgte freiwillig.

3. Die Evaluierung des Weiterbildungsangebots

Da die UB Wien zum ersten Mal eine bibliothekarische Weiterbildung online anbot, wollten wir wissen, wie der Kurs genutzt wurde und wie er bei den Kolleg/innen „angekommen“ ist. Im Frühjahr 2017, ca. fünf Monate nach der Freischaltung des Kurses, wurde daher eine Online-Befragung der Bibliotheksmitarbeiter/innen durchgeführt und die Zugriffsstatistiken des Kurses sowie die Resultate des Selbsttests wurden ausgewertet. Die Evaluation sollte für die Nutzer/innen des Kurses Nutzungsdetails, Lernzuwachs und die Bewertung des Kurses erheben; für diejenigen Kolleg/inn/en, die den Kurs nicht genutzt hatten, sollten die Gründe für die Nichtnutzung festgestellt werden. Alle Teilnehmende an der Umfrage wurden nach ihren Vorlieben bezüglich verschiedener Lernmedien gefragt.

Von den 450 Mitarbeiter/inne/n der UBW haben 217 auf den Kurs zugegriffen;8 „Zugriff“ heißt, dass jemand den Kurs aufgerufen hat. 117 Mitarbeiter/innen haben das Quiz bearbeitet und 76 haben sich die Übungen angesehen. 99 Kolleg/inn/en haben an der Umfrage teilgenommen.

3.1. Die Umfrage

Die Online-Umfrage wurde mit LimeSurvey9 erstellt. Die Teilnahme an der Befragung war freiwillig und anonym, Daten und Rückmeldungen wurden vertraulich behandelt; damit entsprach die Umfrage den Standards für Ethik und Datenschutz für Befragungen in Betrieben.10 Die Anonymität ist auch deshalb ein wichtiger Aspekt, weil sie das Antwortverhalten der Befragten beeinflusst.11

Die Befragung richtete sich sowohl an Kolleg/inn/en, die den Kurs genutzt haben, als auch an solche, die den Kurs nicht in Anspruch genommen haben. Die Themenblöcke der Umfrage beinhalteten für die Nutzer/innen des Kurses Fragen zur Nutzung und zur Bewertung des Kurses, zum subjektiven Lernzuwachs, zu Präferenzen bezüglich Lernmedien im Allgemeinen und zu Angaben zur Person.12 Da auch die Gründe, warum jemand den Kurs nicht genutzt hat, von Interesse waren, erhielten die „Nichtnutzer/innen“ Fragen zu den Gründen für die Nichtnutzung, sowie ebenfalls zu Präferenzen bezüglich Lernmedien im Allgemeinen und zu Angaben zur Person (die positive oder negative Beantwortung der Frage nach der Nutzung des Kurses bedingte, welche weiteren Fragen eine Person erhielt).

Die Einladung zur Teilnahme an der Befragung erfolgte wieder von der Direktion der UB Wien über die Mailingliste der UB Wien; eine Woche vor dem Ende der Teilnahmefrist von vier Wochen wurde noch ein Erinnerungsschreiben verschickt.

Abb. 3: Beispiel für ein Item der Umfrage

3.2. Die Teilnehmenden der Umfrage

Von den Teilnehmenden an der Umfrage haben 72,22 % den Kurs genutzt, 26,67 % haben den Kurs nicht genutzt. Davon waren ca. 50 % seit weniger als 10 Jahren im Bibliothekswesen tätig; ca. 31 % waren jünger als 30 Jahre, 38 % zwischen 31 und 50 Jahre alt, 21 % 51 Jahre und älter.

Um eine Vergleichsgröße bezüglich der Nutzung von Weiterbildungsangeboten durch die ­Kolleg/­inn/­en der UB Wien zu haben, wurden die Teilnehmenden auch danach gefragt, wie oft sie in den letzten fünf Jahren an Weiterbildungen teilgenommen haben. Sie haben vergleichsweise häufig Weiterbildungen absolviert; die genauen Zahlen zeigt Abbildung 4.

Abb. 4: Weiterbildungsangebote, die in den letzten fünf Jahren genutzt wurden

3.3. Ergebnisse

Bewertung des Kurses: Ca. 80 % der Nutzer/innen des Kurses haben den Kurs als „gut“ oder „sehr gut“ bewertet (s. Abbildung 5).

Abb. 5: Bewertung des Kurses

Das Zurechtfinden in der Lernplattform „Moodle“ bereitete den Teilnehmenden offenbar keine Schwierigkeiten: Mehr als 81% gaben an, sich im Moodle-Kurs „sehr leicht“ oder „leicht“ zurechtgefunden zu haben; 77% bezeichneten das Lernmaterial als „sehr verständlich“ bzw. „verständlich“.

Nutzungsdetails: Abbildung 6 zeigt Gründe, warum die Kolleg/inn/en den Kurs genutzt haben (Mehrfachnennungen waren möglich). Fast ein Drittel der Kursnutzer/innen verwendet den Kurs auch „on demand“ als Informationsquelle zu u:search.

Abb. 6: Gründe für die Nutzung des Kurses („Ich habe den Kurs genutzt, …“)

In der Aussendung zur Umfrage wurden ausdrücklich auch Kolleg/inn/en, die nicht auf den Kurs zugegriffen hatten, zur Teilnahme eingeladen, um Gründe für die Nicht-Nutzung des Kurses zu erfahren. Abbildung 7 zeigt Gründe, warum diese den Kurs nicht genutzt haben. Unter „Sonstiges“ wurde von neuen Mitarbeiter/inne/n mangelnde Information darüber genannt.13 Die Antwortmöglichkeit „weil mich u:search nicht interessiert“ wurde von niemanden gewählt.

Abb. 7: „Ich habe den Kurs nicht genutzt, …“

Relevanz der einzelnen Lernmodule für die Teilnehmenden: Von den insgesamt 11 Lerneinheiten wurden am häufigsten die Lerneinheiten „Erklärung einzelner Datenquellen“ und „Suchprinzipien in u:search“ als besonders relevant bezeichnet (s. Abbildung 8). Die besondere Relevanz der Lerneinheit „Erklärung einzelner Datenquellen“ lässt sich vermutlich durch das eingangs angesprochene Gefühl der Intransparenz von Datenquellen und Suchkriterien erklären („in einen großen Datentopf hinein, wo nicht unbedingt transparent ist, wo eigentlich […] gesucht worden ist“).14

Abb. 8: Als besonders relevant bezeichnete Kursteile (Häufigkeit der Nennungen in Prozent)

Lernzuwachs: Da die Kursnutzer/innen schon über Vorwissen zu u:search verfügten, ist der Spielraum für den Lernzuwachs nicht mehr so groß, wie wenn es sich um gänzlich neue Lerninhalte gehandelt hätte. Ca. 60 % der an der Umfrage teilnehmenden Kursnutzer/innen bejahten, durch den Kurs ein besseres Verständnis für u:search gewonnen zu haben. 57 % bejahten, etwas Neues gelernt zu haben („stimme zu“ bzw. „stimme sehr zu“); ca. 71 % erachteten das Gelernte als für ihre Bibliotheksarbeit nützlich. Viele Teilnehmende hatten das Quiz mehrfach absolviert (durchschnittlich 1,76 Quizwiederholungen pro Person). Für diese zeigte sich in Moodle eine Verbesserung der Testergebnisse um durchschnittlich ca. 13 % gegenüber der jeweils ersten Durchführung des Quiz.15

Akzeptanz des E-Learning-Kurses und Vorlieben bezüglich verschiedener Lernmedien: Den Satz „Ich finde es gut, dass es einen Online-Kurs zu u:search gibt“, haben 96 % als zutreffend bzw. sehr zutreffend beurteilt (Grafik s. Abbildung 9). 32 % hätten gerne zusätzlich zum Online-Angebot auch Präsenzschulungen zu spezifischen Themen von u:search; 10 % hätten lieber eine Präsenzschulung anstatt eines Online-Angebotes gehabt.

Abb. 9: Akzeptanz des Online-Kurses („Ich finde es gut, dass es einen Online-Kurs zu u:search gibt“)

Bei der Abfrage von Präferenzen bezüglich verschiedener Medien für Weiterbildungsangebote („Im Allgemeinen bevorzuge ich folgende Art von Schulungen/Informationsangeboten“) zeigte sich, dass ca. 68% der befragten Kolleg/inn/en am liebsten eine Kombination aus Online-Kursen und Präsenzschulungen hätten, das sogenannte „Blended Learning“ (s. Abbildung 10).

Abb. 10: Präferenzen für Schulungs-/Weiterbildungsmedien

4. Resumée

Der Kurs wurde gut genutzt und in der Umfrage sehr gut bewertet; die Lerninhalte wurden auch als zeit- und ortsunabhängige Möglichkeit genutzt, um Informationen zu u:search abzurufen. Da auf Grund des Zeitdrucks auf aufwändigeres Design verzichtet wurde, ist eine Version 2 mit professionellerer Gestaltung und Berücksichtigung der in der Umfrage erhaltenen Rückmeldungen angedacht. Eine Nachnutzung des Materials durch andere Bibliotheken ist möglich.

Eine gezielte Organisation dieses Weiterbildungsangebots als „Blended Learning“ ist – auch auf Grund des großen Zeitdrucks – unterblieben; es finden aber auch Präsenzschulungen zu u:search für die Mitarbeiter/inne/n statt. Den Präferenzen der Kolleg/inne/n folgend, sollten zukünftige Weiterbildungsangebote vermehrt als Kombination aus Präsenzschulungen und Online-Kursen („Blended Learning“) angeboten werden. Dies könnte entweder als „Flipped Classroom“ erfolgen (zuerst werden Inhalte online im Selbststudium erlernt, die praktische Umsetzung bzw. Vertiefung erfolgt in Präsenzeinheiten) oder den Präsenzeinheiten folgt eine Online-Lernphase im Selbststudium.

Literaturverzeichnis

– Köhler, Thomas, Nina Kahnwald und Martina Reitmaier. „Lehren und Lernen mit Multimedia und Internet.“ In Medienpsychologie, herausgegeben von Bernard Batinic und Markus Appel, 477–501. Heidelberg: Springer, 2008. https://doi.org/10.1007/978-3-540-46899-8_20.

– Kuckartz, Udo, Thomas Ebert, Stefan Rädiker und Klaus Stefer. Evaluation online: Internetgestützte Befragung in der Praxis. Wiesbaden: Verlag für Sozialwissenschaften, 2009. https://doi.org/10.1007/978-3-531-91317-9.

– Lauber-Reymann, Margrit. Informationsressourcen: Ein Handbuch für Bibliothekare und Informationsspezialisten. 2. Auflage, Bibliotheks- und Informationspraxis 49. Berlin: De Gruyter Saur, 2017. https://doi.org/10.1515/9783110404326.

– Mummendey, Hans Dieter und Ina Grau. Die Fragebogenmethode. 6., korrigierte Auflage. Göttingen: Hogrefe, 2014.

– Pfeffer, Magnus und Heidrun Wiesenmüller. „Resource Discovery Systeme.“ In Handbuch Informationskompetenz, herausgegeben von Wilfried Sühl-Strohmenger, 2. Auflage, 105-114. Berlin: De Gruyter Saur, 2016. https://doi.org/10.1515/9783110403367.

– Roscher, Mieke. Fachdisziplinäre Bedürfnisse in der Gestaltung von Discovery-Lösungen: Wirklich ein Katalog für alle? Berliner Handreichungen zur Bibliotheks- und Informations­wissenschaft 356. Berlin: Institut für Bibliotheks- und Informationswissenschaft der Humboldt-Universität zu Berlin, 2014. Zuletzt geprüft am 04.08.2017. http://dx.doi.org/10.18452/2099.