Zur Seitenansicht
 

Titelaufnahme

Titel
Automatisierte Item-Auswertung für eine Computerized Adaptive Testing Plattform / eingereicht von Peter Baumann, BSc
AutorInnenBaumann, Peter
Beurteiler / BeurteilerinOppl, Stefan
ErschienenLinz, 2018
Umfang68 Blätter : Illustrationen
HochschulschriftUniversität Linz, Masterarbeit, 2018
SpracheDeutsch
DokumenttypMasterarbeit
Schlagwörter (EN)computerized adaptive testing / automatic skill grading / SQL
Schlagwörter (GND)Wirtschaftsinformatik / Test
URNurn:nbn:at:at-ubl:1-23470 Persistent Identifier (URN)
Zugriffsbeschränkung
 Das Werk ist gemäß den "Hinweisen für BenützerInnen" verfügbar
Dateien
Automatisierte Item-Auswertung für eine Computerized Adaptive Testing Plattform [2.15 mb]
Links
Nachweis
Klassifikation
Zusammenfassung (Deutsch)

In der Lehre spielt die Beurteilung von fachspezifischen Fähigkeiten eine äußerst wichtige Rolle. Prüflinge möchten einerseits wissen, ob sie ausreichend für Prüfungen gelernt haben und für Lehrer und Professoren ist es wichtig zu erkennen, ob diese über die in ihrem Fach erforderliche Wissensbasis verfügen, bzw. welche Fragen sie besser nochmals im Unterricht oder Kurs behandeln sollten. In der heutigen Zeit haben Universitäten eine weitaus höhere Anzahl an Kursteilnehmern, als wie noch vor 50 Jahren. Früher hatten Lehrende noch die Zeit individuell auf einzelne Studenten einzugehen, was bei gegenwärtigen Kursgrößen von 100 oder mehr Teilnehmern leider kaum möglich ist. Einige Professoren und Kursleiter bedienten sich deshalb sogenannter Computerized Adaptive Tests (CAT). Dadurch wird es ihnen ermöglicht, eine große Anzahl an Prüflingen zum selben Zeitpunkt schnell und genau zu evaluieren. CAT Systeme beurteilen jeden Schüler, bzw. Studenten individuell, indem sie mündliche Prüfungen „imitieren“. Dabei werden die Schwierigkeitsgrade der gestellten Fragen dynamisch an deren Leistungsniveaus angepasst, das ebenfalls in verschiedenen Testlängen (Anzahl der zu beantwortenden Fragen) resultiert. Aktuell gibt es eine Vielzahl an kommerziellen und nicht-kommerziellen CAT Plattformen, die zur Bewertung von Aufgaben jedoch nur relativ simple Antwortmöglichkeiten zulassen. Oppl et al. (2017) haben in ihrer Publikation bereits einige web-basierte CAT Plattformen, sowie Lernplattformen mit CAT Eigenschaften untersucht und kamen zum Ergebnis, dass es keine CAT Plattform gibt, die jede der von ihnen definierten Flexibilitäts-Grundanforderungen umsetzt. Aus diesem Grund haben sie sich dafür entschieden, eine eigene zu entwickeln, die als Ausgangsbasis für die Implementierung herangezogen wird. Ziel dieser Masterarbeit ist diese Plattform domänenspezifisch zu erweitern, sodass Fragen aus dem Datenmodellierungsbereich, im Speziellen „Datenbankabfragen“, unterstützt werden. Es ist zu erarbeiten, wie die Schwierigkeitsgrade solcher Fragen ermittelt und welche Antwortmöglichkeiten als zulässig erachtet werden können.Weiters soll die CAT Plattform dahingehend weiterentwickelt werden, sodass es möglich wird, automatisch generierte Ergebnisse von Datenbankabfragen miteinander zu vergleichen. Im Genaueren bedeutet dies, dass die von Prüflingen eingegebenen SQL-Abfragen beliebig variieren dürfen, solange die dadurch generierten Ergebnistabellen mit jenen der hinterlegten SQL-Lösungsabfragen übereinstimmen. Eine intensive Literaturrecherche in den Fachbereichen Computerized Adaptive Testing und Automatic Skill Grading (ASG) hat obendrein ergeben, dass es keine CAT Plattform gibt, die die soeben beschriebenen Funktionen unterstützt. Im ASG Bereich sind solche Softwarelösungen zwar verbreitet, diese dienen aber nur zur automatischen Evaluierung von Programmier- bzw. Datenmodellierungsaufgaben und nicht, wie bei CAT, zum Bestimmen von fachspezifischen Kompetenzniveaus. Das Ergebnis dieser Masterarbeit ist eine stabile und einfach wartbare Computerized Adaptive Testing Plattform, die mit geringem Aufwand domänenspezifisch erweitert werden kann. Vorhandene Implementierungsprobleme wurden weitgehend beseitigt und die IT-Infrastruktur optimiert, sodass eine Vielzahl an Studierenden ohne Ressourcenprobleme gleichzeitig beurteilt werden kann. Die für den sog. „SQL-Datenmodellierungstest“ verwendeten Beispiele wurden aus einer bereits vorhandenen Online Lernplattform exportiert. Anhand dieser Daten konnten 174 SQL Test-Items erstellt und deren Schwierigkeitsgrade mittels einer eigens erarbeiteten Methode ermittelt werden. Die Übereinstimmung von durch Datenbankabfragen erhaltenen Ergebnistabellen wurde durch ein zeilenweises Vergleichsverfahren realisiert. Weiters konnten aufgrund eines Anwendertests vorhandene Probleme in der Implementierung, bzw. im Testverlauf identifiziert und beseitigt, sowie Verbesserungsmöglichkeiten für zukünftige Implementierungsarbeiten gesammelt werden.

Statistik
Das PDF-Dokument wurde 16 mal heruntergeladen.