Humboldt-Universität zu Berlin - CALLIDUS

Forschungsergebnisse

Das DFG-geförderte Forschungsprojekt CALLIDUS präsentiert am Ende der Projektlaufzeit wichtige Forschungsergebnisse, die sowohl die durchgeführten Studien als auch die Softwareentwicklung betreffen.

Die Studien

Es wurden vier Interventionsstudien in drei Berliner Oberschulen durchgeführt, an der 283 Lernende in 11 Gruppen bzw. Klassen teilnahmen. Bei der Stichprobe handelt es sich um eine nicht randomisierte Ad hoc-Stichprobe, um den authentischen Kontext zu erhalten. Obendrein muss die Auswahl der Teilnehmenden als voreingenommen bezeichnet werden, da sie abhängig davon war, welche Lehrkräfte zur Zusammenarbeit bereit waren. Persönliche Informationen zu den Lernenden wurden nicht erhoben.

 

Studie 1: Fortgeschrittene (Cicero)

Ziel: Erfassen des Status Quo - Wortschatzwissen und Umgang mit Wörtern

Gruppen: Testgruppe = 27 TN, Kontrollgruppe = 19 TN

Alter: 13-15, Klassenstufe 9 [+ nur Testgruppe: 16-18, Klassenstufe 12]

Lernstand: Ende des 5. Lateinjahres

Studienaufbau:

  • Pretest (45min): Testung des Wortschatzwissens und der Wortschatzkompetenz in fünf Kategorien (Morphologisches Basiswissen, Strategien zur Wortvernetzung und zur Worterschließung, Phrasen, Wortschatzwissen im Kontext), inkl. Aufgaben zur gestützten Sprachproduktion
  • Intervention (4 Wochen, Cicero): Originallektüre mithilfe einer speziellen Textausgabe zu Cicero Ad Quintum fratrem I, 1; in der Testgruppe durch eine Wortschatzintervention (Aufgaben zu Grundform, Polysemie, Wortbildung, Wortpaare, Kollokationen, Strategien) ergänzt; für die Tests relevanter Wortschatzumfang: 172 Lemmata der 500 häufigsten Wörter des Bamberger Wortschatzes
  • Posttest (45min): identisch mit dem Pretest

Ergebnis (Daten zur Studie):

Die sehr kurze und eher ungünstig (vor die Sommerferien) gelegte Interventionsstudie zeigt keine Leistungsverbesserung in der Testgruppe, da die angeregte Wortschatzarbeit offensichtlich mehr Zeit braucht und mehr auf wenige ausgewählte Phänomene begrenzt werden sollte, um eine Wirkung zu entfalten. Dementsprechend bleiben die bereits vorhandenen (kognitiven) Leistungsunterschiede der beiden Gruppen auch im Posttest bestehen. Diese sind vor allem im Vergleich bestimmter Aufgabentypen auffällig: Beim Aufgabentyp "Bestimme die Form (des gegebenen Wortes)." unterscheiden sich die Ergebnisse im Pretest im Mittel nicht (Q1-Q3 = 1-3 Punkte von 5) und im Posttest nur geringfügig zugunsten der leistungsfähigeren Kontrollgruppe (Q1-Q3 = 1-3 (T), 2-4 (K)). Doch bei der Aufgabe "Leite die Wortbedeutung aus Deinem gesamten Wortschatzwissen ab.", die stärker auf Abstraktion und Vernetzung ausgerichtet ist, schneidet die leistungsstärkere Kontrollgruppe bereits im Pretest besser, im Posttest sogar max. besser ab (Median im Posttest: 3 von 3 Punkten (K) gegenüber 1 von 3 Punkten (T)). Außerdem konnten interessante linguistische "Fehler" bei den Aufgaben zur Wortbildung und gestützten Sprachproduktion beobachtet werden, z.B. ab-scribere als Analogiebildung zur Wortbildungsregel aus L1 (ab-schreiben). NB: Das Feedback der Lehrkraft zu den Aufgabenformaten fiel sehr positiv aus.

Studie 2: Fortgeschrittene (Ovid)

Ziel: Test von Wortschatzwissen im Kontext

Gruppen: Testgruppe = 21 TN; Kontrollgruppe = 27 TN

Alter: 14-16, Klassenstufe 10 [+ nur Testgruppe: 17-19, Klassenstufe 13]

Lernstand: Beginn des 6. Lateinjahres

Studienaufbau:

  • Pretest (45min): 10 Aufgaben zur Wortschatzkompetenz am Kontext einer Metamorphose (Ovid Metamorphoses IV, vv. 271-388: Salmacis), inkl. metakognitiver Aufgaben, z.B. wie eine Grundform aus einem gegebenen Wort abgeleitet werden kann
  • Intervention (8 Wochen, Ovid): Originallektüre mithilfe einer speziellen Textausgabe zu Ovid Metamorphoses IV, vv. 55-166 (Pyramus und Thisbe); in der Testgruppe durch eine Wortschatzintervention (kontextbasierte Aufgaben zu metakognitiven Strategien und zur lexikalischen Repräsentation im mentalen Lexikon (Form-, Funktion-, Konzept-Level)); für die Tests relevanter Wortschatzumfang: 165 Lemmata der 500 häufigsten Wörter des Bamberger Wortschatzes 
  • Posttest (45min): strukturell identisch mit dem Pretest, allerdings auf der Basis einer anderen Metamorphose (Ovid Metamorphoses X, vv. 243-297: Pygmalion)

Ergebnis (Daten zur Studie):

Die Testgruppe erwies sich im Pretest als die (laut Lehrkraft nicht unerwartet) leistungsschwächere Gruppe. Sie lag bei der durchschnittlich erreichten Punktzahl fast 20% unter dem Durchschnittswert der Kontrollgruppe. Während allerdings die Durchschnittsleistung der Kontrollgruppe im Posttest um 2% sank, konnte sich die Testgruppe im Posttest durchschnittlich um 11% steigern. Die Gruppen näherten sich also in ihrer Gesamtleistung an. Dieses Ergebnis lässt vermuten, dass eine längerfristige, systematische Intervention gerade bei schwächeren Lerngruppen durch die explizite Wortschatzarbeit zu einer Leistungssteigerung beiträgt. Dennoch ergaben sich auch einige bedenkliche Resultate, wenn man sich die Aufgaben und die erbrachte Leistung separat ansieht, z.B. bei Aufgaben zur Begründung oder Erklärung des eigenen Vorgehens (--> metakognitive Reflexion). Als besonders folgenschwer für die Textarbeit im LU ist darüber hinaus das Ergebnis zu bewerten, dass die Mehrzahl der Lernenden zu einem gegebenen Wort, das aus dem Grundwortschatz der 500 häufigsten Wörter stammt, nicht die Grundform nennen, geschweige denn diese Form herleiten können.

Studie 3: Anfänger (VIVA)

Ziel: Erprobung eines DDL-Konzeptes zum Wortschatzerwerb

Gruppen: Testgruppe 1 = 27 TN, Testgruppe 2 = 27 TN; Kontrollgruppe 1 = 25 TN; Kontrollgruppe 2 = 24 TN

Alter: 10-11, Klassenstufe 5

Lernstand: 1. Lateinjahr

Studienaufbau:

  • Pretest (45min): Test zum Leseverstehen und Wortschatzwissen; dt. Text über die Punischen Kriege, Lesbarkeit: Klassenstufe 7
  • Intervention (1 Schuljahr, Lehrbuch VIVA): DBR-Ansatz; Materialien ergänzen das Lehrbuch VIVA um kontextbasierte Wortschatzaufgaben
    • Kontextbasierte Einführung der neuen Vokabeln als zweisprachiger Lückentext, bei dem dt. Bedeutungen der neuen Wörter aus dem Kontext erschlossen werden sollen
    • Arbeitsmaterialien zu Wortschatzwissen und -strategien
    • Übungen zu Konzepten und Wortschatz
    • Wortschatztest (DDL-Test) mit einer wiederkehrenden Struktur (--> nennen, bestimmen, einsetzen, bilden, erklären)
    • Vokabeltest als Wortliste nach jeweils 3 Lektionen (randomisiert und Vokabeln nach Wortarten gleichmäßig auf jeden Test verteilt)
  • Posttest (45min): identisch mit dem Pretest

Ergebnis (Daten zur Studie):

Das angewandte Testverfahren zeigt als Nebeneffekt, dass die vier beteiligten fünften Klassen im Verlauf ihres ersten gymnasialen Schuljahres bereits deutlich heterogener in ihrem Leistungsvermögen geworden sind. Eine derartige Entwicklung, setzt sie sich im gleichen Maß in den Folgejahren fort, kann schließlich zu so großen Disparitäten führen, dass letztlich sogar ganze Klassen als "abgehängt" bezeichnet werden müssen und dadurch die Zusammenführung der Lernenden im Kurssystem gerade die Schwächeren deutlich benachteiligen wird.
Nun zu den DDL-spezifischen Ergebnissen: DDL-Wortschatztests sind grundsätzlich auch für junge Lernende gut zu bewältigen. Allerdings benötigen sie etwas Zeit - wie übrigens auch die Lehrkraft - , um sich an dieses neue Format zu gewöhnen. Zugleich lassen die Ergebnisse vermuten, dass Resultate in DDL-Tests und (traditionellen) Listentests nicht miteinander korrelieren. Daraus folgt aber auch, dass (vorsichtig formuliert) das Ergebnis in einem Listentest es eher nicht zulässt, eine Aussage darüber zu treffen, wie gut ein Lernender bei der Textarbeit (Textverstehen, Übersetzen) abschneiden wird.

Studie 4: Fortgeschrittene (Wortschatzeinheit in der MC)

Ziel: Vergleich kontextbasiertes Lernen vs. Wortliste; Simulation einer Lateinstunde mit Wortschatzfokus (ca. 40min)

Gruppen: Gruppe 1 = 13 TN

Alter: unbekannt

Lernstand: fortgeschritten

Studienaufbau:

  • Pretest (4min): 5 Übungstypen zur Wortschatzkompetenz
  • Einführung und Textverständnis (18min): Dt. Einleitung zum lat. Text (Cicero Ad Atticum I, 1, 8-10), Markieren der Prädikate, Leseverstehen anhand einer zweisprachigen Version und einer dt. Übersetzung --> Vorbereitung der Wortschatzübung, da sie für alle TN gleich gut - unabhängig des vorausgegangenen Unterrichts - lösbar sein muss
  • Intervention (12min): randomisierte Gruppenzuweisung; Testgruppe = Lückentext, Kontrollgruppe = Listenlernen
  • Posttest (4min): identisch zu Pretest
  • Auswertung (--): Leistungsübersicht über die abgeschlossenen Aufgaben --> Einzelergebnisse pro Abschnitt und Vergleich zwischen Pre- und Posttest (prozentuale Veränderung)

Ergebnis (Daten zur Studie):

Es zeigte sich, dass Teilnehmer*innen, die sehr schnell ihren Test durchliefen, insgesamt auch über eine ausgeprägtere Wortschatzkompetenz verfügen (gemessen an der erreichten Punktzahl und der geringeren Fehlerzahl). Hinsichtlich der eigentlichen Fragestellung, ob korpusbasiertes Vokabellernen den Wortschatzerwerb unterstützt, kann mit gebotener Vorsicht gesagt werden, dass diese Methodik zumindest mit besseren Ergebnissen im Posttest korreliert.

Schlussfolgerungen

  1. Es erwies sich bei der Auswertung der Tests als hilfreich, die Lernenden einschätzen zu lassen, für wie verständlich sie die Aufgabenformulierung und für wie schwer sie die Aufgaben selbst hielten.
  2. Um die Ergebnisse präziser auswerten zu können, müssen bei zukünftigen Tests die Aufgaben in die durch Operatoren markierten Einzelschritte zerlegt werden, so dass für jeden Teilschritt die Punkte separat vergeben werden können.
  3. Metakognitive Fähigkeiten sind wenig ausgebildet und müssen deutlich expliziter im LU trainiert werden.
  4. Abwechslungsreiche Wortschatzarbeit im LU, die offensichtlich dazu beiträgt, mit den Texten erfolgreicher umzugehen, wird generell von den Lernenden gewertschätzt.
  5. Die Sprachkompetenz der Lateinlernenden ist grundsätzlich schwach ausgeprägt:
    • Sie greifen auf sprachliches Wissen aus L1 zurück, wenn sie z.B. Aufgaben zur Wortbildung lösen sollen.
    • Die automatische Informationsabfrage aus dem mentalen Lexikon ist nur selten erfolgreich, z.B. bei der Suche nach der Grundform.
    • Lernende haben erhebliche Schwierigkeiten lat. Wörter mit anderen lat. Wörtern in Verbindung zu bringen, z.B. bei der Suche nach Synonymen. Sie gehen nahezu immer über den Umweg der L1 und werden dazu auch durch Lernen von Wortgleichungen angehalten.
    • Lernende kommen demnach nicht über das unterste Niveau der Spracherwerbs - formale Ebene nach Jiang 2000 (Lexical Representation and Development in a Second Language. Applied Linguistics 21 (1), 47–77) - hinaus, das allerdings keineswegs ausreicht, um Wörter im Kontext verstehen oder gar Übersetzungen anfertigen zu können.
  6. Der gewählte DDL-Ansatz bezieht sich nur auf intentionales Lernen - im Gegensatz zum zufälligen Lernen an authentischen Texten - , da lat. Originaltexte niemals (!) die geforderte Wortschatzabdeckung von 95-98% bekannter Wörter für letzteren erfüllen. Daher ist es wichtig, das methodische Vorgehen beim Lösen der Aufgaben zu reflektieren. Die Arbeit mit dem Kontext - sowohl auf die Repräsentationsebenen einer lexikalischen Einheit als auch auf die umgebenden lexikalischen Einheiten bzw. den gesamten Textausschnitt bezogen - muss explizit erfolgen. 
  7. Der DDL-Ansatz stellt Lernende vor keine großen Probleme, wenn sie für die kontextsensitive Arbeit mit "Wörtern" sensibilisiert werden. Daher sollte er als Bereicherung des LU gesehen werden und als Teil einer neugedachten Wortschatzarbeit in den LU Einzug halten.
  8. Grundsätzlich sollten mehr empirische Studien im LU durchgeführt werden, um den Unterricht auf einer solideren Datenbasis weiterzuentwickeln.

 

Publikationen zu den Studien:

  • New Insights and Methods of Vocabulary Acquisition in Latin Classes. Beyer, A. Forma y Función. 2020. Currently in peer review. Preprint available at https://doi.org/10.5281/zenodo.3944100. (alle Studien im Überblick)
  • Using NLP to Create Corpus-based Vocabulary Exercises in Latin Classes. Beyer, A. and Schulz, K. In: INTED2020 Proceedings, pages 1750–1757, Valencia, 2020. DOI: 10.21125/inted.2020.0562. (Schwerpunkt: Studie 4, MC)
  • Im Lateinunterricht: „cupidine kommt von cupidi und ne ist Fragepartikel.“ – Wortschatzprobleme und ihre Ursachen. Beyer, A. In: Pegasus Online-Zeitschrift 2019, 1-19. (Schwerpunkt: Studie 2, Ovid)

 

Die Software

Es wurde eine Software entwickelt, mit deren Hilfe korpusbasierte Wortschatzstudien in Schulen durchgeführt werden können. Sie enthält vorgefertigte Übungen für kontrollierte Versuchsbedingungen, ermöglicht aber auch die individuelle Nachnutzung durch das Erstellen völlig neuer Übungen. Grundprinzip ist dabei immer dieselbe Abfolge: Textauswahl > sprachliche Analyse > Übungsdesign festlegen. Bei Bedarf können zusätzliche Informationen abgerufen werden (Vokabelabgleich, Keyword-in-Context-Ansicht, Wortfelder), um besonders geeignete Textstellen und Vokabeln zu identifizieren.

 

Textauswahl (Korpora) und Natural Language Processing

Für die Software wurden zahlreiche schon existierende Ressourcen und Methoden nachgenutzt und zum Zweck des Wortschatzerwerbs sinnvoll vernetzt:

  • Korpora
    • Rohtexte
    • wissenschaftlich aufbereitete Texte (Treebanks)
      • Pragmatic Resources of Old Indo-European Languages (PROIEL)
      • The Ancient Greek and Latin Dependency Treebank (AGLDT)
  • Natural Language Processing
    • Segmentierung
    • Tokenisierung
    • persistente Referenzierung mittels Canonical Text Services (CTS)
    • Part-of-Speech-Tagging
    • Dependency Parsing
    • Textkomplexität
    • dynamischer Vokabelabgleich zwischen beliebiger Textstelle und Referenzvokabular (z.B. Bamberger Wortschatz)
    • Representation Learning (Word Embeddings)

Probleme ergaben sich vor allem bei der Qualität automatisch erzeugter Annotationen, z.B. zur Syntax einer Textpassage. Hier werden vom verwendeten Werkzeug (UDPipe) Zusammenhänge oft falsch konstruiert oder falsch benannt. Weitere Maßnahmen zur Erhöhung der Qualität für den Unterrichtseinsatz der erzeugten Lernmaterialien werden zur Zeit noch erforscht.

Textkomplexität

Für jeden Text werden verschiedene Indikatoren von Textkomplexität angezeigt, z.B. die Anzahl von Nebensätzen oder komplexen syntaktischen Konstruktionen. Für einen schnellen Überblick und zur besseren Vergleichbarkeit werden alle Indikatoren zu einer Gesamtpunktzahl zusammengefasst, die u.a. bereits geläufige Komplexitätsmaße wie die Lexikalische Dichte umfasst.

Übungsformate: Einbindung, Auswertung und Export

Die generierten Übungen sind unabhängig vom verwendeten Endgerät und sind immer interaktiv, d.h. sie können direkt digital bearbeitet werden. Jede Übung kann auf durch ein kurzes Script auf externen Webseiten eingebettet werden, d.h. auch in neueren Versionen der Lernplattform Moodle. Die Auswertung einer Übung geschieht vollautomatisch und wird in der projekteigenen Datenbank persistiert. Dadurch werden später personen- und zeitraumübergreifende Analysen möglich, z.B. zur Auswirkung verschiedener Übungstypen auf den Spracherwerb. Diese Verknüpfung mit der Forschung des CALLIDUS-Projekts kann bei Bedarf aufgelöst werden, indem Nutzende ihre Übungen offline exportieren, etwa als bearbeitbares Word-Dokument, als PDF- oder als XML-Dokument.

Das Design der Wortschatzeinheit

Die vom CALLIDUS-Projekt angebotenen fertigen Übungen sind zu einer sinnvollen Einheit verknüpft, die sich innerhalb einer Unterrichtsstunde (ca. 40min.) bewältigen lässt. Sie enthält Diagnostik (identischer Pre- und Post-Test), eine Einführung in die zu bearbeitenden Texte und spezifisches Wortschatztraining. Ferner erfolgt eine randomisierte Zuordnung der Nutzenden zu Test- oder Kontrollgruppe, sodass sich im Nachhinein der Effekt der Intervention ermitteln lässt. Konkret bedeutet dies die Auswirkungen des Übungsformats (Lückentext vs. Vokabelliste) auf qualitative und quantitative Aspekte des Wortschatzerwerbs. Damit alle Teile der Einheit von den Teilnehmenden zumindest ansatzweise bearbeitet werden, läuft nebenher ein Timer mit vorher festgelegten maximalen Bearbeitungszeiten für jeden Abschnitt. Nach dessen Ablauf springt die Übungsumgebung automatisch zum nächsten Bereich, damit Lernende sich nicht zu lange mit einzelnen Aufgaben aufhalten.

Prototyp: Semantische Analyse

Die dynamische, korpusspezifische Ermittlung abstrakter Repräsentationen (z.B. Wortfelder) ist bisher nur prototypisch an Hand einiger Beispiele realisiert. Das Grundprinzip lässt sich jedoch leicht übertragen: Für eine ausgewählte Textsammlung wird ein distributionelles semantisches Modell trainiert, das anschließend in der Lage ist, inhaltlich verwandte Wörter zu finden und sogar ganze Textpassagen zu einem vorgegebenen Thema zu finden. Dies ermöglicht es Lehrenden, geeignete Begriffe und Texte zur Vermittlung bestimmter Inhalte zu finden oder semantische Hypothesen empirisch zu überprüfen.

 

Publikationen zur Software:

  • Natural Language Processing for the Classics - Teacher's Toolkit. University of Kiel, virtual conference: Teaching Classics in the Digital Age, Schulz, K. June 2020. DOI: 10.5281/zenodo.3928068
  • Machina Callida. Schulz, K. February 2020. DOI: 10.5281/zenodo.3662709.
  • Development of Basic Reading Skills in Latin: A Corpus-based Tool for Computer-assisted Fluency Training. Kühnast, M., Schulz, K. and Lüdeling, A. Journal of Latin Linguistics. 2020. Currently in peer review.
  • Building a Database of Exercises for Learning Latin. Schulz, K. New Classicists. 2020. Currently in peer review. 
  • A Data-driven Platform for Creating Educational Content in Language Learning. Schulz, K.; Beyer, A.; Dreyer, M.; and Kipf, S. In Proceedings of the Conference on Digital Curation Technologies (Qurator 2020), Berlin, January 2020.
  • CALLIDUS Project—Learner Data from a Study on Latin Language Learning (Version 2.0). Schulz, K. 2020. https://doi.org/10.5281/zenodo.3601182