DE4403495A1 - Mehrfachtestpostenbewertungssystem - Google Patents
MehrfachtestpostenbewertungssystemInfo
- Publication number
- DE4403495A1 DE4403495A1 DE4403495A DE4403495A DE4403495A1 DE 4403495 A1 DE4403495 A1 DE 4403495A1 DE 4403495 A DE4403495 A DE 4403495A DE 4403495 A DE4403495 A DE 4403495A DE 4403495 A1 DE4403495 A1 DE 4403495A1
- Authority
- DE
- Germany
- Prior art keywords
- test
- resolver
- answers
- items
- questions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/06—Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers
- G09B7/07—Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers providing for individual presentation of questions to a plurality of student stations
- G09B7/073—Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers providing for individual presentation of questions to a plurality of student stations all student stations being capable of presenting the same questions simultaneously
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
Die vorliegende Erfindung betrifft ein System zur Verarbei
tung von Antworten zu Testfragen.
Das Bewerten von Testantwortbögen bringt komplexe Probleme
mit sich. Diese Testantwortbögen schließen typischerweise ei
ne Reihe von Antwortpositionen ein, wie beispielsweise "Bla
sen", Ovale oder Rechtecke. Eine an einem Test teilnehmende
Person streicht beispielsweise ein passendes Oval mit einem
Stift an, um eine Multiple-Choice-Frage zu beantworten. Die
se Testantwortbögen können auch handgeschriebene Antworten
einschließen, wie Aufsatz- oder Kurzantwortfragen. Systeme
zum Abtasten und Bewerten der Blasen auf derartigen Testant
wortbögen sind in Fachkreisen bekannt. Erhöhte Schwierigkei
ten werden jedoch aufgeworfen, wenn derartige Antwortbögen
entweder andere Arten von Antworten einschließen, wie hand
geschriebene Antworten, oder nicht maschinell eingestuft wer
den können. Falls beispielsweise der Student vergessen hat,
seinen Namen auf dem Testantwortbogen einzutragen, kann das
System unfähig sein, die Testantwort maschinell zu bewerten.
Die Ziele beim Bewerten von Testantworten, die nicht maschi
nell bewertet werden können, schließen Effizienz und Konsis
tenz ein. Die Testantwortbögen werden typischerweise bewer
tet durch Testauflöser, indem entweder der physikalische
Testantwortbogen manuell bewertet wird oder eine elektroni
sche Darstellung des Testantwortbogens an einem Computer be
wertet wird. Idealerweise sollten die durch die verschiede
nen Testauflöser für eine besondere Testfrage versehenen Be
wertungen konsistent sein, da die Bewertungen beim Lei
stungsvergleich der Studenten untereinander verwendet wer
den. Zusätzlich sollte ein Testauflöser idealerweise effi
zient arbeiten, um konsistent hohe Bewertungsraten aufrecht
zuerhalten. Der Testauflöser sollte nicht eine so hohe Bewer
tungsrate aufweisen, daß die Konsistenz oder Qualität der Be
wertung signifikant abnimmt; ebenso sollte der Testauflöser
nicht eine so niedrige Bewertungsrate aufweisen, daß zu we
nig Antwortbögen bewertet werden. Dieses manuelle Bewerten
von Testantwortbögen macht es jedoch schwierig, die Bewer
tungskonsistenz unter den verschiedenen Testauflösern zu
überwachen.
In vielen Situationen reisen Testauflöser tatsächlich an ei
nen besonderen Ort, so daß alle Testauflöser gleichzeitig
Testantwortbögen bewerten können. Von den Testauflösern zu
verlangen, an einen gegebenen Ort zu reisen, ist unbequem
für die Auflöser und kostspielig für diejenigen, welche die
Tests verwalten. Darüber hinaus kann das Verfolgen der Lei
stung von Testauflösern gegenüber sowohl ihrer eigenen Lei
stung als auch der Leistung anderer Auflöser sehr schwierig
sein mit einer manuellen Bewertungsumgebung.
Der Prozeß des Auflösens von Testfragen wird gegenwärtig ma
nuell durchgeführt, und dies bringt Probleme mit sich. Einem
Auflöser werden die tatsächlichen Testantwortbögen zur Bewer
tung manuell vorgelegt. Dieses Verfahren ist relativ un
effizient, da die Auflöser die Antwortbögen einzeln und in
der Reihenfolge, in der sie vorgelegt werden, bewerten müs
sen. Auch besitzen manuelle Bewertungssysteme nicht die Fä
higkeit, die Testantworten zur nachfolgenden Analyse effi
zient zu sammeln und zu kategorisieren. Daher ist es mit ei
nem manuellen System sehr schwierig zu bestimmen, wie Lehrme
thoden geändert werden sollten, um beispielsweise die Anzahl
von falschen Antworten zu senken.
Es gibt somit eine Notwendigkeit für ein System, das Konsis
tenz und Effizienz beim Bewerten oder Auflösen von Tests för
dert und erzielt.
Das vorliegende Mehrfachtestpostenbewertungssystem erleich
tert die Geschwindigkeit, mit der Antworten zu Testfragen
verarbeitet werden. Effizient organisiert, gruppiert und
stellt das System die Antworten zu den Fragen derart dar,
daß ein Testauflöser gleichzeitig mehrere Antworten betrach
ten kann. Das System empfängt eine Vielzahl von Antworten
für Testfragen. Die Antworten umfassen jeweils eine elektro
nische Darstellung, wie ein abgetastetes Bild, von wenig
stens einem Teil eines Testantwortbogens. Nach Empfang der
Testantworten gliedert das System die Antworten in getrennte
Gruppierungen, typischerweise durch eine Auflösungsexpertise
des Testauflösers. Schließlich stellt das System einem Test
auflöser eine besondere der Gruppierungen dar, so daß der
Testauflöser selektiv die Antworten zu den Testfragen, wel
che die Auflösungsexpertise des Auflösers betreffen, betrach
ten und bewerten kann.
Die Erfindung wird im folgenden beispielhaft anhand der
Zeichnung beschrieben; in dieser zeigt:
Fig. 1 ein Diagramm eines Netzwerks, das die vorlie
gende Erfindung einschließt,
Fig. 2 ein Blockdiagramm eines Teils des in Fig. 1
gezeigten Netzwerks,
Fig. 3 ein Blockdiagramm der Abtastkonfiguration im
Netzwerk von Fig. 1,
Fig. 4 ein Blockdiagramm des Servers im Netzwerk
von Fig. 1,
Fig. 5 ein Flußdiagramm des Empfangens und Verarbei
tens von Testposten,
Fig. 6 ein Flußdiagramm des Mehrfachpostenbe
wertens,
Fig. 7 ein Flußdiagramm des Berichtens über einen
kategorisierten (speziellen) Posten,
Fig. 8-10 ein Flußdiagramm des Zusammenarbeitsbewer
tens,
Fig. 11 ein Flußdiagramm eines Qualitätspostenver
arbeitens,
Fig. 12 ein Flußdiagramm zur Auflöserüberwachung und
-rückkopplung,
Fig. 13 ein Flußdiagramm eines Online-Bewertungsfüh
rungssystems, und
Fig. 14 ein Beispiel einer Benutzerschnittstelle zur
Verwendung mit einer Mehrfachpostenbewer
tung.
In der folgenden ausführlichen Beschreibung der bevorzugten
Ausführungsform wird auf die begleitende Zeichnung Bezug ge
nommen, die einen Teil hiervon bildet und in der veranschau
lichend eine spezifische Ausführungsform gezeigt ist, in der
die Erfindung praktiziert werden kann. Diese Ausführungsform
wird ausreichend ausführlich beschrieben, um Fachleute in
die Lage zu versetzen, die Erfindung zu praktizieren, und an
dere Ausführungsformen können benutzt und strukturelle oder
logische Änderungen durchgeführt werden, ohne vom Rahmen der
vorliegenden Erfindung abzuweichen. Die folgende aus
führliche Beschreibung ist daher nicht in einem begrenzenden
Sinn zu verstehen, und der Rahmen der vorliegenden Erfindung
ist durch die beigefügten Ansprüche definiert.
Fig. 1 zeigt ein Beispiel einer Hardware-Konfiguration für
ein Netzwerk, das die vorliegende Erfindung einschließt. Die
se Konfiguration ist lediglich als ein Beispiel gezeigt; vie
le verschiedene Hardware-Konfigurationen sind verfügbar, wie
von einem Fachmann bemerkt, um die unten beschriebenen Soft
wareverarbeitungsfunktionen auszuführen. Das gezeigte Netz
werk umfaßt einen Mainframe-Computer 20, der durch einen
Haupt-Tokenring mit einer Vielzahl von RISC-Servern 11, 12
und 13 über eine Schnittstelle verbunden ist. Jeder RISC-Ser
ver ist mit einem Tokenring über eine Schnittstelle verbun
den, der Workstations und Abtastvorrichtungen enthält. Der
RISC-Server 1 ist in Tokenring 1 mit Abtastvorrichtungen 14
und Workstations 19 verbunden. Der RISC-Server 12 ist in To
kenring 2 mit einer Abtastvorrichtung 15 und Workstations 18
verbunden. Der RISC-Server 13 ist in Tokenring 3 mit Abtast
vorrichtungen 16 und Workstations 17 verbunden. Der
Mainframe-Computer 20 ist außerdem mit einem Drucker hoher
Kapazität 22 und einem Drucker niedriger Kapazität 21 verbun
den, um Berichte gespeicherter Daten innerhalb des Systems
zu drucken.
Das System verwendet die Abtastvorrichtungen, um Testantwort
bögen einzulesen. Diese Testantwortbögen können zum Beispiel
Testvordrucke mit "Blasen" oder Ovalen umfassen, die mögli
che Antworten, handgeschriebene Aufsätze oder andere ver
schiedene Arten geschriebener oder gedruckter Informationen
repräsentieren. Nach Empfang der abgetasteten Testdaten kann
das System innerhalb der RISC-Server diese abgetasteten
Testantwortbögen verarbeiten, um Testposten von Interesse
von den Antwortbögen zu erzeugen. Ein Testposten ist daher
eine elektronische Darstellung wenigstens eines Teils eines
Testantwortbogens. Das System kann diese Testposten an die
Workstations zur Online-Bewertung verteilen. Ein Testbewer
ter an einer Workstation kann dann den Testposten bewerten
und eine Testbewertung eingeben. Das System empfängt die
Testbewertungen über das Netzwerk und die RISC-Server und
verteilt die Bewertungen an geeignete Computer zum nachfol
genden Drucken und Berichten; der geeignete Computer kann
zum Beispiel den Mainframe-Computer 20 oder einen Server ein
schließen. Das System kann auch die Testbewertungen zu bei
spielsweise einer Platte oder Telefonleitung übertragen.
Fig. 2 ist ein ausführlicheres Blockdiagramm eines Teils des
in Fig. 1 gezeigten Netzwerks. Wie in Fig. 2 gezeigt, umfas
sen die in Fig. 1 gezeigten Abtasteinheiten typischerweise
eine Abtastvorrichtung 25, die mit einem Computer 24 und Per
sonal-Computer (PC) 26 über eine Schnittstelle verbunden
ist. Fig. 3 zeigt ein ausführlicheres Blockdiagramm einer Ab
tasteinheit. Die Abtastvorrichtung 25 enthält eine Kamera
31, um optisch einen Testantwortbögen einzulesen, und ent
hält ferner Logik 32 für optische Zeichenerkennung (OMR) zur
Verarbeitung der von der Kamera 31 empfangenen abgetasteten
Daten. Der PC 26, vorzugsweise ausgeführt als ein Hoch
leistungs-486-Niveau-PC, enthält einen Rahmenpuffer 23, der
die abgetasteten Bilddaten von der Abtastvorrichtung 25 emp
fängt.
Der Computer 24, bevorzugt ausgeführt als ein HP 1000, ist
mit der Abtastvorrichtung 25 und dem PC 26 über eine Schnitt
stelle verbunden, um den Betrieb der Abtasteinheit zu steu
ern. Der Computer 24 ist optional; das System kann alter
nativ so konfiguriert sein, daß sich die gesamte Funktionali
tät des Computers 24 innerhalb des PC′s 26 befindet. Der Com
puter 24 steuert die Abtastvorrichtung über die OMR-Logik 32
und steuert somit, wann Bilddaten eingetastet und nachfol
gend zum PC 26 übertragen werden. Der PC 26 wirkt im wesent
lichen als ein Puffer zum Halten der Bilddaten. Der Computer
24 steuert ferner, wann der PC 26 die Bilddaten zur Übertra
gung zu einem Server 27 zur nachfolgenden Verarbeitung und
Bewertung abfragt. Der PC 26 kann außerdem einen Bereich von
Interesse von den Bilddaten, der wenigstens einen Teil der
abgetasteten Testantwortbögen repräsentiert, entfernen oder
"ausschneiden".
Beispiele von zwei Systemen zum Speichern und Extrahieren
von Informationen von abgetasteten Bildern von Testantwortbö
gen sind in den US-Patentschriften No. 5 134 669 und No.
5 103 490 gezeigt, die durch Bezugnahme in die vorliegende
Anmeldung einbezogen sind, als ob vollständig dargelegt. Der
Server 27 empfängt die Bilddaten, die Testposten einschlie
ßen, und sorgt für Verarbeitung und Steuerung der Bilddaten.
Dieser Teil, der ein Testposten sein kann, wird dann an die
Workstations 28, 29 und 30 zur nachfolgenden Bewertung ver
teilt. Ein Testauflöser (Bewerter) an der Workstation emp
fängt typischerweise den Testposten, führt das Bewerten
durch und überträgt die Bewertung zum Empfangscomputer.
Fig. 4 ist ein Blockdiagramm der Hardware- und Software-Funk
tionen in einem Server im Netzwerk von Fig. 1. Ein Abtast
steuerungsmodul 31 ist mit dem Abtastvorrichtungs-PC 26 über
eine Schnittstelle verbunden und empfängt die Bilddaten. Die
Bilddaten werden in einer Rohpostendatenbank 36 gespeichert.
Die zentrale Anwendungsablage (CAR) 33 speichert typischer
weise Dokumentdefinitionen und Handhabungskriterien. Die Do
kumentprozeßwarteschlange 37 wirkt als ein Puffer hinein in
ein Hauptverarbeitungsmodul 45 in Server 27.
Das Hauptverarbeitungsmodul 45 steuert die Verarbeitung von
Testposten. Es steuert die Übertragung von Testposten zu den
Workstations zur Bewertung und Übertragung von Bewertungen
zum Mainframe-Computer 20. Das Hauptverarbeitungsmodul 45
überwacht auch die Leistung der Testauflöser, um konsisten
tes und effizientes Auflösen von Testposten, wie es unten er
klärt ist, aufrechtzuerhalten.
Das Hauptverarbeitungsmodul 45 enthält typischerweise die
folgenden grundlegenden Funktionen, die durch ein Systemma
nagementmodul 32 gesteuert werden. Ein Arbeitsflußmodul 38
empfängt Bilddaten von der Datenbank 36 und steuert den Da
tenfluß hinein in ein Editierprozeßmodul 39. Das Edi
tierprozeßmodul 39 kann maschinelles Bewerten der Testposten
durchführen. Für diejenigen Testposten, die nicht maschinell
bewertet werden können, oder möglicherweise für andere Test
posten überträgt das System derartige Testposten zur Auf
tragsaufbaufunktion 40. Die Auftragsaufbaufunktion 40 be
stimmt, welcher Typ nachfolgender Bewertung erforderlich ist
für den Testposten und, zum Beispiel, welche Workstation den
Testposten empfängt. Ein Auftragssendemodul 41 empfängt den
Testposten und überträgt ihn zu einer Leitvorrichtung 42,
die ihrerseits den Testposten zu einem Sende/Empfangs-
Kommunikationsmodul 43 überträgt. Ein Editierarbeitsmodul 34
und Editierservermodul 35 steuern den Fluß von Testposten in
den Server 27 hinein und aus diesem heraus. Ankommende Da
ten, wie Testantworten von der Workstation, werden durch die
Module 34 und 35 zu einem Auftragsempfangsmodul 44 übertra
gen. Das Auftragsempfangsmodul überträgt die Daten zum Edi
tierprozeßmodul 39 zur nachfolgenden Speicherung innerhalb
der Datenbank 36.
Fig. 5 ist ein Flußdiagramm eines typischen Abtastens und
Verarbeitens von Test- und Antwortbögen. Das
Dokumentverarbeitungssystem empfängt die Testantwortbögen,
oder anderen Dokumente, bei Schritt 50 und führt eine An
fangsschreibvorbereitung der Dokumente (Schritt 51) zur Abta
stung bei Schritt 52 durch. Das System tastet bei Schritt 52
die Dokumente für OMR und andere Bilddaten ab. Das System
kann dann die OMR-Blasen bei Schritt 53 verarbeiten und die
Daten im Arbeit-im-Ablauf-Speicher (WIP) bei Schritt 54 spei
chern. Das System kann bei Schritt 56 Bereiche von Interesse
vom abgetasteten Bild "ausschneiden". Der Schritt des "Aus
schneidens" bezieht mit ein, daß elektronisch, typischerwei
se in Software, ein Teil des Testpostens oder des abgetaste
ten Bilds entfernt wird. Diese "ausgeschnittenen" Bereiche
können irgendeinen Teil eines Testantwortbogens umfassen;
zum Beispiel einen handgeschriebenen Aufsatz oder ausgewähl
te Antwortpositionen. Das System kann auch Bilddaten direkt
von fremden Quellen empfangen, magnetisch oder elektronisch,
und die Daten in der Rohpostendatenbank 36 speichern. Nach
folgende Vorgänge auf den Daten sind die gleichen, ungeach
tet der Quelle der Daten. Nach dem "Ausschneiden" von Berei
chen von Interesse vom Bild speichert das System die Test
posten bei Schritt 57 im Arbeit-im-Ablauf-Speicher 55.
Das System wartet bei Schritt 55 bis es feststellt, daß ein
Testposten bereit ist, aufgelöst oder bewertet zu werden.
Falls Mehrfachauflösungsposten innerhalb der Bilddaten vor
liegen, wie bei Schritt 59 festgestellt, sendet das System
dann den Testposten zu einer Mehrfachpostenverarbeitung bei
Schritt 63. Andernfalls führt das System andere Auflösungs
prozesse auf den Daten bei Schritt 60 durch und speichert
das Resultat im Arbeit-im-Ablauf-Speicher 55 bei Schritt 61.
Andere Auflösungsprozesse können beispielsweise maschinelles
Bewerten, Rohtasteneingabe und analytisches Auflösen ein
schließen.
Analytisches Auflösen oder Bewerten kann zum Beispiel Bild
vergleiche wie bit-abgebildete Vergleiche zwischen zwei Test
posten einschließen. Die Abbildungsvergleiche erlauben einem
Testauflöser, zum Beispiel die Antworten eines Beantworters
über die Zeit zu vergleichen, um den Fortschritt des Beant
worters zu verfolgen. Zum Beispiel kann das analytische
Bewerten einbeziehen, daß zwei handgezeichnete Kreise von
dem Beantworter verglichen werden, um festzustellen, ob sich
die Genauigkeit des Beantworters beim Zeichnen von Kreisen
über die Zeit verbessert hat. Analytisches Bewerten kann
auch zum Beispiel einschließen, daß falsch buchstabierte Wör
ter und Interpunktionsfehler in einer Antwort wie einem Auf
satz eingekreist oder elektronisch angezeigt werden.
Fig. 6 ist ein Flußdiagramm eines typischen Mehrfach
postenverarbeitens. Bei Schritt 64 holt sich das System typi
scherweise zuerst ein Mehrfachpostenbild vom Arbeit-im-Ab
lauf-Speicher. Das Bild wird gespeichert in einem Mehrfach
postendarstellungsspeicher 65 und einem Mehrfach
postendarstellungsspeicher 69 zur nachfolgenden Darstellung
zu einem Auflöser. Das System fährt fort Mehrfachposten zu
empfangen, bis entweder die Postendarstellung voll ist, wie
bei Schritt 66 bestimmt, oder keine Mehrfachposten mehr vor
liegen, wie bei Schritt 68 bestimmt. Solange die Darstellung
nicht voll ist und zusätzliche Mehrfachposten vorhanden
sind, tastet das System bevorzugt den Arbeit-im-Ablauf-Spei
cher bei Schritt 67 für zusätzliche Posten ab. Wenn die Mehr
fachpostendarstellung voll ist oder keine Mehrfachposten
mehr vorliegen, sendet das System die zusammengestellten
Mehrfachposten zu einem Auflöser bei Schritt 70 und stellt
die Mehrfachtestposten auf der Auflöserdarstellung 71 dar.
Das System überträgt typischerweise Testposten zu einem spe
ziellen Auflöser gestützt auf die Auflösungsexpertise des
Auflösers. Zum Beispiel kann ein besonderer Auflöser angewie
sen sein, all die Testposten zu bewerten, die sich auf Wis
senschaftsfragen beziehen. Auflösungsexpertisen können auch
zum Beispiel Mathematik, Englisch, Geschichte, Geographie,
Fremdsprachen oder andere Themen umfassen.
Ein Beispiel einer Schnittstelle auf der Auflöserdarstellung
ist in Fig. 14 gezeigt. Die Schnittstelle umfaßt typischer
weise eine Vielzahl von Zellen 74, wobei jede Zelle einen
aufzulösenden Posten enthält. Nach Darstellen der Mehrfach
posten in den Zellen der Auflöserdarstellung erlaubt das Sy
stem dem Auflöser bei Schritt 72, die Mehrfachposten zu be
werten. Ein Testauflöser zeigt typischerweise die Bewertung
der Antworten an durch Verwendung einer "Maus", eines Licht
stifts, eines Berührungsschirms, einer Spracheingabe oder ei
ner anderen Art von Cursorsteuerung oder Eingabevorrichtung.
Im in Fig. 14 gezeigten Beispiel ist die richtige Antwort
"vier" und die falschen Antworten sind durch Schattierung an
gedeutet. Alternativ könnte ein Auflöser die richtigen Ant
worten bezeichnen. Der Vorteil dem Mehrfachpostensystems
rührt her von der gleichzeitigen Darstellung von Testposten
in den Zellen 74, die einem Testauflöser erlaubt, schnell
viele Testposten zu bewerten und somit eine schnellere Ant
wortzeit im Vergleich zur Darstellung und Bewertung von le
diglich einem einzelnen Testposten zu einem Zeitpunkt zu er
zielen. Sogar die gleichzeitige Darstellung von zwei Posten
erhöht die Antwortzeit. Wenn die Matrix von Zellen größer
wird, erzielt die gleichzeitige Darstellung von Testposten
eine signifikante Erhöhung in Antwortzeit und Auflöserauf
merksamkeit und -fokussierung.
Nach dem Bewerten oder Auflösen empfängt das System die Re
sultate bei Schritt 73 zur nachfolgenden Speicherung im Ar
beit-im-Ablauf-Speicher 55. Ein Testauflöser überträgt typi
scherweise die Resultate des Auflösens aller dargestellten
Testposten in den Zellen als eine einzige Einheit zur Stapel
verarbeitung.
Fig. 7 ist ein typisches Flußdiagramm eines Berichts über ei
nen kategorisierten (speziellen) Posten. Berichten über ei
nen kategorisierten Posten erlaubt dem System, sowohl Antwor
ten gemäß vordefinierten Kategorien zu gruppieren, als auch
Prozesse zu überwachen, die von den Studenten oder Testteil
nehmern beim Erreichen einer gegebenen Antwort verwendet wer
den. Die Kategorien, in welche Testantworten gruppiert wer
den können, schließen zum Beispiel falsche Antworten und
richtige Antworten innerhalb einer Lehrgangseinheit inner
halb einer Unterrichtsgruppierung und angeforderter Zeitrah
men ein; zum Beispiel alle falschen Mathematikantworten in
einer besonderen Klasse eines Lehrers während des vorigen
Schuljahrs. Andere Gruppierungen sind möglich in Abhängig
keit von den Bedürfnissen der Testauflöser und Lehrer, die
das Material unterrichten, auf welches sich der Test be
zieht.
Zusätzlich kann das System ein Bild eines Testpostens mit
der entsprechenden Bewertung vermengen. Um ein Unterrichten
von Material, auf welches sich der Test bezieht, zu er
leichtern, vermengt das System typischerweise einen eine fal
sche Antwort darstellenden Testposten mit der entsprechenden
Bewertung. Durch Berichten über den vorliegenden Testposten
kann ein Lehrer Einsicht gewinnen in einen Denkprozeß, der
vom Studenten beim Erreichen der falschen Antwort verwendet
wird. Dadurch kann ein Lehrer dadurch, daß er etwas Kenntnis
darüber besitzt, warum ein Schüler eine Testfrage falsch be
antwortete, Maßnahmen ergreifen, um Unterrichtsstrategien zu
ändern oder zu modifizieren und somit die Situation zu ver
bessern.
Der Bericht über einen kategorisierten Posten umfaßt normal
erweise die folgenden Funktionen. Das System tastet bei
Schritt 75 den Arbeit-im-Ablauf-Speicher für Posten ab, die
dazu bereit sind, daß über sie berichtet wird. Falls Test
posten zum Berichten bereit sind, wie bei Schritt 76 be
stimmt, verarbeitet das System die Daten bei Schritt 77 zur
Erzeugung eines geeigneten Berichts über die Daten. Bei
Schritt 78 tastet das System die zentrale Anwendungsablage
für Definitionen kategorisierter (spezieller) Posten ab.
Wenn spezielle Posten zum Berichten erhältlich sind, wie bei
Schritt 79 bestimmt, erlangt das System die speziellen Po
sten wieder bei Schritt 80 und kann sie bei Schritt 81 mit
anderen Berichtsinformationen, wie die entsprechenden Test
posten, wie oben erklärt vermengen. Das System verteilt dann
einen Bericht bei Schritt 82, der einen gedruckten Bericht
darstellen kann.
Die Fig. 8-11 sind ein Flußdiagramm eines typischen Zusammen
arbeitsbewertungssystems. Das Zusammenarbeitsbewertungs
system schafft Funktionen, um Fairneß und Objektivität beim
Auflösen von Testposten zu erzielen. Die Zusammenar
beitsbewertung erlaubt zum Beispiel zwei Auflösern, den glei
chen Posten zu bewerten, und, falls die Antworten nicht in
nerhalb eines besonderen vordefinierten Bereichs liegen,
sorgt für nachfolgendes Verarbeiten, um die Diskrepanz aufzu
lösen.
Bei den Schritten 83 und 84 stellt das System fest, ob Po
sten zur Bewertung verfügbar sind. Bei Schritt 85 empfängt
das System Zusammenarbeitsbewertungsanforderungen von der Da
tenbank und stellt bei Schritt 86 fest, ob Zu
sammenarbeitsbewertung erforderlich ist. Beispiele von Zu
sammenarbeitsbewertungsanforderung sind unten dargestellt.
Falls Zusammenarbeitsbewertung spezifiziert worden ist, er
langt das System den zu bewertenden Posten wieder von der Ar
beit-im-Ablauf-Datenbank bei Schritt 87 und sendet den Po
sten zu Auflösern 1 und 2 bei den Schritten 88 und 91.
Das System ist ferner in der Lage, Auflöser gemäß Auswahl
kriterien bei den Schritten 89 und 90 auszuwählen. Die Aus
wahlkriterien der Auflöser zur Bewertung von Antworten kön
nen zum Beispiel Rasse, Geschlecht oder geographische Lage
einschließen. Die Fähigkeit des Systems, Testauflöser anzu
weisen, besondere Testposten zu bewerten, schafft die Grund
lage für erhöhte Fairneß und Konsistenz bei der Bewertung
von Tests. Zum Beispiel kann das System Testauflösern Test
posten zuweisen, und zwar gestützt auf die gleiche Rassen
klassifikation, was bedeutet, daß der Testauflöser die glei
che Rassenklassifikation wie der Student oder Beantworter be
sitzt, dessen Test der Auflöser bewertet. Das System kann außer
dem Testauflösern Testposten zuweisen, und zwar gestützt
auf eine unterschiedliche, verstärkt unterschiedliche oder
bevorzugte Mischung von Klassifikationen. Das System über
wacht die Konsistenz beim Bewerten gestützt auf die Auswahl
kriterien und kann, was wichtiger ist, die Auswahlkriterien
ändern, um konsistentes und faires Bewerten von Testposten
sicherzustellen.
Fig. 9 ist ein Flußdiagramm, das zusätzliche typische Funk
tionen der Zusammenarbeitsbewertung zeigt. Bei den Schritten
92 und 93 stellt das System die Posten den Auflösern 1 und 2
zur Bewertung dar. Das System kann ferner die Durch
schnittsbewertungen von Auflösern verfolgen und den gleichen
Testposten nicht zu zwei Auflösern senden, die Durch
schnittsbewertungen innerhalb eines vordefinierten Bereiches
geliefert haben. Dies hilft ebenfalls dabei, Konsistenz beim
Bewerten zu erzielen. Falls beispielsweise zwei Bewerter je
weils hohe Durchschnittsbewertungen in der Vergangenheit ge
liefert haben, wie durch das System bestimmt, sollten diese
zwei Bewerter bevorzugt nicht zusammenarbeitend die gleichen
Testposten bewerten, da es "aufgeblähte" Bewertungen für
besondere Testposten ergeben könnte.
Das System zeichnet die Bewertungen von den Auflösern 1 bzw.
2 bei den Schritten 94 bzw. 95 auf und speichert derartige
Bewertungen in einem temporären Speicher 96. Bei Schritt 97
vergleicht das System die Bewertungen gemäß Kriterien, die
in der zentralen Anwendungsablage spezifiziert sind. Derarti
ge Kriterien können zum Beispiel einschließen, daß gefordert
wird, daß die Bewertungen innerhalb eines vordefinierten Pro
zentsatzes voneinander liegen. Falls die Bewertungen die Kri
terien erfüllen, wie bei Schritt 98 festgestellt, zeichnet
das System die Bewertung in der Arbeit-im-Ablauf-Datenbank
bei Schritt 46 auf. Andernfalls, falls die Bewertungen nicht
die Kriterien erfüllen, stellt das System bei Schritt 99
fest, ob die Bewertungen der Auflöser übereinstimmen müssen.
Falls die ersten zwei Auflöserbewertungen nicht übereinstim
men müssen, überträgt das System dann bevorzugt den Test
posten zu einem dritten Auflöser, um die Diskrepanz in den
ersten zwei Bewertungen zu "heilen". Bei Schritt 100 stellt
das System fest, ob der dritte Auflöser die ersten Bewertun
gen sehen soll.
Fig. 10 zeigt zusätzliches typisches Verarbeiten der Zusam
menarbeitsbewertung. Falls die ursprünglichen Auflöser 1 und
2 bei einer Bewertung übereinstimmen müssen, führt das Sy
stem dann die Schritte 101-105 aus. Das System stellt dann
typischerweise zuerst jedem Auflöser die Bewertung des an
deren Auflösers bei den Schritten 101 und 102 dar, so daß je
der Auflöser die durch den anderen Auflöser bestimmte Be
wertung sehen kann. Bei Schritt 103 schafft das System eine
Kommunikation zwischen den zwei Auflösern. Eine derartige
Kommunikationsverbindung kann zum Beispiel eine Elektroni
sche-Post-Verbindung sein, so daß die Bewerter Informationen
hinsichtlich der Gründe hinter der geschaffenen Bewertung
austauschen können. Bei Schritt 104 arbeiten die Auflöser zu
sammen, um eine einzelne vereinbarte Bewertung für den Test
posten zu bestimmen. Das System kann die Auflöser 1 und 2 da
ran hindern, einen weiteren Testposten zu empfangen, bis sie
eine vereinbarte Bewertung für den vorhergehenden Testposten
eingegeben haben. Schließlich, bei Schritt 105, speichert
das System die vereinbarte Bewertung in der Arbeit-im-Ab
lauf-Datenbank.
Anstatt den Auflösern zu erlauben, zusammenzuarbeiten, um ei
ne vereinbarte Bewertung aufzuzeichnen, kann das System op
tional entweder einen größeren Wert der ersten und zweiten
Testbewertungen, einen niedrigeren Wert der ersten und zwei
ten Testbewertungen oder einen Durchschnittswert der ersten
und zweiten Testbewertungen aufzeichnen.
Falls die Zusammenarbeitsbewertungskriterien spezifizieren,
daß der dritte Auflöser die Diskrepanz durch Schiedsspruch
entscheiden und eine Bewertung bestimmen soll, stellt das
System dann Bewertungen dar von den Auflösern 1 und 2 bei
Schritt 106 für Auflöser 3. Der dritte Auflöser (Auflöser 3)
gibt dann typischerweise eine Bewertung für den Testposten
bei Schritt 107 ein, und das System zeichnet die Bewertung
in der Arbeit-im-Ablauf-Datenbank bei Schritt 108 auf.
Falls die Zusammenarbeitsbewertungsanforderung spezifiziert,
daß der dritte Auflöser die zwei ersten Bewertungen nicht se
hen soll, führt das System dann die Schritte 109-111 aus.
Bei Schritt 109 stellt das System den Testposten für den
dritten Auflöser dar. Der dritte Auflöser gibt dann typi
scherweise eine Bewertung bei Schritt 110 ein, und das Sy
stem zeichnet die Bewertung in der Arbeit-im-Ablauf-Daten
bank bei Schritt 111 auf.
Fig. 11 ist ein typisches Flußdiagramm der Verwendung von
Qualitätsposten im Bewertungsprozeß. Das System kann Quali
tätsposten verwenden, um die Genauigkeit des Bewertens für
ausgewählte Testauflöser zu prüfen und zu überwachen und so
mit konsistentes und hochqualitatives Bewerten von Test
posten aufrechtzuerhalten. Bei Schritt 112 bestimmt oder emp
fängt das System die Qualitätskriterien. Die Qualtitätskrite
rien können zum Beispiel einen vorbestimmten Testposten mit
einer bekannten "richtigen" Bewertung darstellen.
Das System wartet dann für eine festgelegte Qualitätsprüfung
bei Schritt 113. Bei der Qualitätsprüfung sendet das System,
bei Schritt 114, den bekannten Qualitätsposten zum festge
legten Auflöser. Bei Schritt 116 aktualisiert das System das
Qualitätsprofil des Auflösers gestützt auf die Auswertung
bei Schritt 115. Falls der Auflöser ein Qualitätsergebnis
empfangen soll, wie bei Schritt 117 bestimmt, stellt das Sy
stem das Qualitätsprofil dem Auflöser bei Schritt 118 dar.
Bei Schritt 119 sendet das System das Qualitätsprofil zu ei
nem Manager zur nachfolgenden Durchsicht. Bei Schritt 120 un
ternimmt das System Schritte, die erforderlich sind, um
Bewertungsgenauigkeit zu gewährleisten.
Fig. 12 ist ein Flußdiagramm einer typischen Auflöserüber
wachung und -rückkopplung. Die primären Faktoren bei der
Überwachungsleistung schließen typischerweise ein: (1) Gül
tigkeit; (2) Zuverlässigkeit und (3) Geschwindigkeit. Beim
Überwachen dieser Faktoren fördert das System Bewertungs
wiederholbarkeit. Diese Faktoren können überwacht werden, in
dem eine Leistung eines Auflösers gegenüber vergangener Lei
stung des Auflösers oder gegenüber einem bekannten Ziel ver
folgt wird.
Gültigkeit wird typischerweise gemessen, indem festgestellt
wird, ob ein besonderer Auflöser den Bewertungsschlüssel
richtig auf Testposten anwendet oder, mit anderen Worten,
Testposten bewertet, wie ein Experte die gleichen Posten be
werten würde. Zuverlässigkeit wird typischerweise gemessen,
indem festgestellt wird, ob ein Besonderer den gleichen Test
posten auf die gleiche Weise über die Zeit (Schaffen von kon
sistenter Bewertung) auflöst. Geschwindigkeit wird typischer
weise gemessen, indem eine Bewertungsrate eines Auflösers
mit vergangenen Bewertungsraten des Auflösers oder anderen
Bewertungsraten, wie Durchschnittsbewertungsraten oder Fest
punktbewertungsraten, verglichen wird.
Bei Schritt 121 überwacht das System typischerweise kontinu
ierlich die Leistung eines Auflösers und aktualisiert die
Leistung. Überwachen der Leistung des Auflösers kann ein
schließen, wie oben erklärt, daß die Gültigkeit, Zuverlässig
keit und Geschwindigkeit beim Auflösen von Testposten des
Auflösers überwacht werden. Das System führt periodisch, ge
mäß vordefinierten Kriterien, Leistungsprüfungen der Test
auflöser durch. Vordefinierte Kriterien können bei
spielsweise einschließen: eine Zeitperiode; Rückfragen (wie
oft ein Auflöser seine eigene Arbeit auswertet); Erbitten
von Hilfe; die Anzahl von Übereinstimmungen unter mehreren
Auflösern; das Ausmaß von Abweichung zwischen der Bewertung
eines Auflösers und einer bekannten Bewertung, die bestimmt
werden kann unter Verwendung von Qualitätsposten; die Fre
quenz dieser Abweichungen; die Geschwindigkeit, mit welcher
ein Auflöser eine Antwort während des Auflösens von Test
posten eingibt; die Zeitlänge zwischen von einem Test
auflöser eingegebenen Bewertungen; eine vorhergehende Bewer
tungsrate eines Testauflösers, eine Durchschnittsbewer
tungsrate eines Testauflösers; Durchschnittsbewertungsraten
anderer Testauflöser; oder eine vorbestimmte Festpunktbewer
tungsrate.
Bei Schritt 122 stellt das System fest, ob es Zeit ist für
eine festgelegte Leistungsprüfung gemäß den vorbestimmten
Kriterien. Falls es Zeit ist für eine Leistungsprüfung, ver
gleicht das System bei Schritt 123 die gegenwärtige Leistung
eines Auflösers, wie bei Schritt 121 bestimmt, mit den
gespeicherten Leistungskriterien. Bei Schritt 124 stellt das
System fest, ob es eine Diskrepanz in der Leistung des Auflö
sers gemäß den vorbestimmten Kriterien gibt. Zum Beispiel
kann das System feststellen, ob die gegenwärtige Bewertungs
rate des Auflösers innerhalb eines vorbestimmten Prozentsat
zes der Durchschnittsbewertungsrate liegt, um effizientes Be
werten durch den Testauflöser sicherzustellen. Falls es kei
ne Diskrepanz gibt, kehrt das System zum Überwachen der Lei
stung des Auflösers zurück. Zusätzlich kann das System die
gegenwärtigen Leistungswerte des Auflösers zur späteren Ver
arbeitung speichern. Andernfalls berichtet das System über
die Diskrepanz bei Schritt 125.
Bei Schritt 126 stellt das System fest, ob es dem Auflöser
eine Unterbrechung beim Bewerten empfehlen soll. Falls gemäß
vorbestimmten Leistungskriterien das System eine Unter
brechung beim Bewerten empfehlen soll, signalisiert dann das
System dem Auflöser bei Schritt 128, das Bewerten anzuhal
ten. Vordefinierte Leistungskriterien können zum Beispiel Ab
weichungen in der Gültigkeit, Zuverlässigkeit oder Geschwin
digkeit des Auflösens von Testposten des Auflösers einschlie
ßen. Beispiele vordefinierter Leistungskriterien werden oben
bezüglich des Überwachens der Leistung des Auflösers gelie
fert.
Wenn der Auflöser das Bewerten stoppt, kann das System dem
Auflöser die Option liefern, Zerstreuungsaktivitäten zu er
bitten. Zerstreuungsaktivitäten sind dazu gedacht, dem Test
auflöser eine Ruheperiode und "Unterbrechung" vom Bewerten
zu verschaffen, um die Effizienz zu erhöhen. Beispiele von
Zerstreuungsaktivitäten schließen Computerspiele und Kreuz
worträtsel ein. Falls der Auflöser derartige Zerstreuungsak
tivitäten erbeten hat, wie bei Schritt 129 bestimmt, über
trägt das System dann eine Zerstreuungsaktivität zum Auflö
ser bei Schritt 130. Andernfalls kehrt das System zum Überwa
chen der Bewertungsrate des Auflösers zurück, wenn der Auflö
ser das Bewerten wieder aufnimmt.
Falls das System bei Schritt 126 nicht eine Unterbrechung
beim Bewerten, gestützt auf die Diskrepanz, empfiehlt, kann
das System dann optional dem Auflöser Zerstreuungsaktivitä
ten, wie bei Schritt 127 bestimmt, verschaffen. Falls der
Auflöser die Zerstreuungsaktivitäten empfangen soll, sendet
das System dann derartige Aktivitäten zum Auflöser bei
Schritt 130. Andernfalls kehrt das System zum Überwachen der
Bewertungsrate des Auflösers zurück.
Fig. 13 ist ein Flußdiagramm eines typischen Online-Bewer
tungsführungssystems. Der Online-Bewertungsführer erhöht die
Bewertungseffizienz, indem dem Auflöser erlaubt wird, Bewer
tungsregeln zu erbitten, um beim Bewerten eines besonderen
Testpostens zu helfen. In Erwiderung auf die Bitte stellt
das System Bewertungsregeln dar entsprechend einer Testfrage
für den gegenwärtig dem Auflöser dargestellten Testposten.
Einem Auflöser können so schnell spezifische Bewertungsre
geln online zur Verfügung stehen, während Testposten bewer
tet werden. Dies fördert Bewertungseffizienz und reduziert
unnötige Unterbrechungszeiten, die sich daraus ergeben, daß
bestimmt wird, wie ein besonderer Testposten zu bewerten
ist.
Bei Schritt 131 sendet das System einen Testposten zu einem
Auflöser zur Bewertung und stellt den Testposten bei Schritt
132 dar. Falls der Auflöser Bewertungsregeln erbeten hat,
wie bei Schritt 133 bestimmt, fragt das System dann einen ge
speicherten Bewertungsführer ab, um Bewertungsregeln ausfin
dig zu machen, die einer Testfrage für den gegenwärtig dem
Auflöser dargestellten Testposten entsprechen. Das System er
langt diese besonderen Bewertungsregeln wieder bei Schritt
135 und stellt sie dem Auflöser bei Schritt 136 dar. Das Sy
stem verwendet bevorzugt eine Mehrprogramm-Umgebung, um
gleichzeitig die Bewertungsregeln und den Testposten darzu
stellen. Bei Schritt 134 wartet das System darauf, daß der
Auflöser den Testposten bewertet. Bei Schritt 137 speichert
das System die Testbewertung eingegeben durch den Auflöser
hinein in den Arbeit-im-Ablauf-Speicher.
Wie oben beschrieben, ist die vorliegende Erfindung ein Sy
stem, das Testposten verarbeitet. Die verschiedenen Funktio
nen, die beim Verarbeiten der Testposten verwendet werden,
fördern effizientes, hochqualitatives und konsistentes Bewer
ten von Testposten.
Während die vorliegende Erfindung in Verbindung mit ihrer be
vorzugten Ausführungsform beschrieben worden ist, wird ver
standen werden, daß viele Modifizierungen Fachleuten leicht
ersichtlich sein werden, und diese Anwendung ist dazu ge
dacht, irgendwelche Anpassungen oder Variationen davon abzu
decken. Zum Beispiel kann eine unterschiedliche Hardware-Kon
figuration verwendet werden, ohne vom Rahmen der Erfindung
abzuweichen, und viele Variationen der beschriebenen Prozes
se können verwendet werden. Es ist deutlich beabsichtigt,
daß diese Erfindung nur durch die Ansprüche und deren
Äquivalente begrenzt ist.
Claims (5)
1. System zur Erhöhung der Geschwindigkeit, mit der Antwor
ten zu Testposten verarbeitet werden, indem effizient
die Antworten zu den Fragen so organisiert, gruppiert
und dargestellt werden, daß ein Testauflöser selektiv
mehrere Antworten von einer Gruppierung, die sich auf
die Expertise des Auflösers bezieht, betrachten kann,
wobei das System umfaßt:
- a) Empfangsmittel, die elektronisch eine Vielzahl von Antworten für Testfragen empfangen, wobei die Antwor ten jeweils eine elektronische Darstellung wenigstens eines Teils eines Testantwortbogens umfassen;
- b) Organisationsmittel, die elektronisch die Testfragen durch Auflösungsexpertise unterteilen und elektro nisch Antworten zu Fragen, die sich auf die Auflösungsexpertise beziehen, in getrennte Gruppierungen gliedern; und
- c) Darstellungsmittel, die elektronisch einem Testauflö ser eine besondere der Gruppierungen so präsentieren, daß der Testauflöser selektiv die Antworten zu den Testfragen, die sich auf die Auflösungsexpertise des Auflösers beziehen, betrachten und bewerten kann.
2. System nach Anspruch 1,
worin das Darstellungsmittel Mittel umfaßt, die dem
Testauflöser erlauben, gleichzeitig eine Vielzahl von
Antworten, die sich auf die Auflösungsexpertise
beziehen, zu betrachten und zu bewerten.
3. System nach Anspruch 1,
worin das Darstellungsmittel ferner
Stapelverarbeitungsmittel umfaßt, die dem Testauflöser
einen vollständigen Satz von einer der Gruppierungen
übermitteln und präsentieren, so daß der Testauflöser
selektiv den vollständigen Satz betrachten und bewerten
kann.
4. System nach Anspruch 1,
worin das Darstellungsmittel ferner Zellenmittel umfaßt,
die elektronisch und gleichzeitig dem Testauflöser eine
Vielzahl von Zellen präsentieren, wobei jede der Zellen
eine Antwort zu einer besonderen der Testfragen von
einer besonderen der Gruppierungen enthält.
5. System nach Anspruch 4,
worin das Zellenmittel ferner Auswahlmittel umfaßt, die
dem Testauflöser erlauben, besondere der Zellen auszu
wählen, um die individuell dargestellten Antworten zu
bewerten.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/014,335 US5321611A (en) | 1993-02-05 | 1993-02-05 | Multiple test scoring system |
US014335 | 1993-02-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE4403495A1 true DE4403495A1 (de) | 1994-09-01 |
DE4403495B4 DE4403495B4 (de) | 2006-11-23 |
Family
ID=21764856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE4403495A Expired - Lifetime DE4403495B4 (de) | 1993-02-05 | 1994-02-04 | Verfahren und Vorrichtung zur Verarbeitung von Antworten zu Testfragen |
Country Status (5)
Country | Link |
---|---|
US (1) | US5321611A (de) |
CA (1) | CA2107411C (de) |
DE (1) | DE4403495B4 (de) |
GB (1) | GB2274933B (de) |
HK (1) | HK1002044A1 (de) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5987149A (en) | 1992-07-08 | 1999-11-16 | Uniscore Incorporated | Method for scoring and control of scoring open-ended assessments using scorers in diverse locations |
US5565316A (en) * | 1992-10-09 | 1996-10-15 | Educational Testing Service | System and method for computer based testing |
US5433615A (en) * | 1993-02-05 | 1995-07-18 | National Computer Systems, Inc. | Categorized test item reporting system |
US5437554A (en) * | 1993-02-05 | 1995-08-01 | National Computer Systems, Inc. | System for providing performance feedback to test resolvers |
WO1995010095A2 (en) * | 1993-09-30 | 1995-04-13 | Educational Testing Service | A centralized system and method for administering computer based tests |
JP3693691B2 (ja) * | 1993-12-30 | 2005-09-07 | 株式会社リコー | 画像処理装置 |
JPH0876680A (ja) * | 1994-09-02 | 1996-03-22 | Fujitsu Ltd | 管理教育システム |
CA2212742A1 (en) * | 1995-12-12 | 1997-06-19 | Advanced Control Technology, Inc. | Paced iterative decision training system and method |
US5841655A (en) * | 1996-04-08 | 1998-11-24 | Educational Testing Service | Method and system for controlling item exposure in computer based testing |
US5947747A (en) * | 1996-05-09 | 1999-09-07 | Walker Asset Management Limited Partnership | Method and apparatus for computer-based educational testing |
US7483670B2 (en) * | 1996-05-09 | 2009-01-27 | Walker Digital, Llc | Method and apparatus for educational testing |
AU5133398A (en) * | 1996-12-03 | 1998-06-29 | Ergolight Ltd. | Computerized apparatus and methods for identifying usability problems of a computerized system |
IL119746A (en) * | 1996-12-03 | 2000-06-01 | Ergolight Ltd | Computerized apparatus and methods for identifying usability problems of a computerized system |
US5987302A (en) * | 1997-03-21 | 1999-11-16 | Educational Testing Service | On-line essay evaluation system |
US5991595A (en) * | 1997-03-21 | 1999-11-23 | Educational Testing Service | Computerized system for scoring constructed responses and methods for training, monitoring, and evaluating human rater's scoring of constructed responses |
US6175841B1 (en) * | 1997-07-17 | 2001-01-16 | Bookette Software Company | Computerized systems for producing on-line instructional materials |
US6173154B1 (en) | 1997-07-31 | 2001-01-09 | The Psychological Corporation | System and method for imaging test answer sheets having open-ended questions |
US6311040B1 (en) * | 1997-07-31 | 2001-10-30 | The Psychological Corporation | System and method for scoring test answer sheets having open-ended questions |
US6267601B1 (en) * | 1997-12-05 | 2001-07-31 | The Psychological Corporation | Computerized system and method for teaching and assessing the holistic scoring of open-ended questions |
US6112050A (en) * | 1998-03-12 | 2000-08-29 | George-Morgan; Cazella A. | Scanning and scoring grading machine |
US6288753B1 (en) | 1999-07-07 | 2001-09-11 | Corrugated Services Corp. | System and method for live interactive distance learning |
EP1266368A2 (de) * | 2000-03-20 | 2002-12-18 | Scientific Learning Corporation | Rechnerimplementiertes verfahren und vorrichtung zum erhöhen allgemeiner intelligenz |
US6988895B1 (en) * | 2001-01-12 | 2006-01-24 | Ncs Pearson, Inc. | Electronic test item display as an image with overlay controls |
US6751351B2 (en) | 2001-03-05 | 2004-06-15 | Nsc Pearson, Inc. | Test question response verification system |
US6810232B2 (en) | 2001-03-05 | 2004-10-26 | Ncs Pearson, Inc. | Test processing workflow tracking system |
US6961482B2 (en) * | 2001-03-05 | 2005-11-01 | Ncs Pearson, Inc. | System for archiving electronic images of test question responses |
US6675133B2 (en) * | 2001-03-05 | 2004-01-06 | Ncs Pearsons, Inc. | Pre-data-collection applications test processing system |
US20030031996A1 (en) * | 2001-08-08 | 2003-02-13 | Adam Robinson | Method and system for evaluating documents |
US20040083229A1 (en) * | 2001-09-04 | 2004-04-29 | Porter Robert Austin | Apparatus and method for automatically grading and inputting grades to electronic gradebooks |
US7162198B2 (en) * | 2002-01-23 | 2007-01-09 | Educational Testing Service | Consolidated Online Assessment System |
US20030180703A1 (en) * | 2002-01-28 | 2003-09-25 | Edusoft | Student assessment system |
US8374540B2 (en) | 2002-03-15 | 2013-02-12 | Educational Testing Service | Consolidated on-line assessment system |
US20030207246A1 (en) * | 2002-05-01 | 2003-11-06 | Scott Moulthrop | Assessment and monitoring system and method for scoring holistic questions |
US8892895B1 (en) | 2002-05-07 | 2014-11-18 | Data Recognition Corporation | Integrated system for electronic tracking and control of documents |
US6772081B1 (en) * | 2002-05-21 | 2004-08-03 | Data Recognition Corporation | Priority system and method for processing standardized tests |
US20040064472A1 (en) * | 2002-09-27 | 2004-04-01 | Oetringer Eugen H. | Method and system for information management |
US20040093346A1 (en) * | 2002-10-31 | 2004-05-13 | Gary Hochman | Interactive education data support system |
US8385811B1 (en) | 2003-02-11 | 2013-02-26 | Data Recognition Corporation | System and method for processing forms using color |
US8155578B2 (en) * | 2004-05-14 | 2012-04-10 | Educational Testing Service | Method and system for generating and processing an assessment examination |
US7791756B2 (en) * | 2005-05-03 | 2010-09-07 | Lexmark International, Inc. | Methods for identifying marks using a digital master document and scanned image enhancement |
US20060252023A1 (en) * | 2005-05-03 | 2006-11-09 | Lexmark International, Inc. | Methods for automatically identifying user selected answers on a test sheet |
US8170466B2 (en) * | 2005-05-27 | 2012-05-01 | Ctb/Mcgraw-Hill | System and method for automated assessment of constrained constructed responses |
US20070048718A1 (en) * | 2005-08-09 | 2007-03-01 | Exam Grader, Llc | System and Method for Test Creation, Verification, and Evaluation |
US20080052146A1 (en) * | 2006-05-01 | 2008-02-28 | David Messinger | Project management system |
US9195875B1 (en) * | 2007-10-22 | 2015-11-24 | Data Recognition Corporation | Method and apparatus for defining fields in standardized test imaging |
US8526055B1 (en) | 2007-10-22 | 2013-09-03 | Data Recognition Corporation | Standardized test and survey imaging system |
US8649601B1 (en) | 2007-10-22 | 2014-02-11 | Data Recognition Corporation | Method and apparatus for verifying answer document images |
US8738659B1 (en) | 2007-10-22 | 2014-05-27 | Data Recognition Corporation | Method and apparatus for managing priority in standardized test and survey imaging |
US8488220B1 (en) | 2007-10-22 | 2013-07-16 | Data Recognition Corporation | Method and apparatus for calibrating imaging equipment |
US20100190144A1 (en) * | 2009-01-26 | 2010-07-29 | Miller Mary K | Method, System and Computer Program Product for Studying for a Multiple-Choice Exam |
US9679256B2 (en) | 2010-10-06 | 2017-06-13 | The Chancellor, Masters And Scholars Of The University Of Cambridge | Automated assessment of examination scripts |
US9396255B2 (en) * | 2013-08-22 | 2016-07-19 | Xerox Corporation | Methods and systems for facilitating evaluation of documents |
US10984196B2 (en) | 2018-01-11 | 2021-04-20 | International Business Machines Corporation | Distributed system for evaluation and feedback of digital text-based content |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4648062A (en) * | 1985-02-01 | 1987-03-03 | International Business Machines Corporation | Method for providing an on line help facility for interactive information handling systems |
US4908759A (en) * | 1985-08-29 | 1990-03-13 | Bell Communications Research, Inc. | Hierarchical database conversion with conditional write |
US4878175A (en) * | 1987-11-03 | 1989-10-31 | Emtek Health Care Systems | Method for generating patient-specific flowsheets by adding/deleting parameters |
US5072383A (en) * | 1988-11-19 | 1991-12-10 | Emtek Health Care Systems, Inc. | Medical information system with automatic updating of task list in response to entering orders and charting interventions on associated forms |
US4958284A (en) * | 1988-12-06 | 1990-09-18 | Npd Group, Inc. | Open ended question analysis system and method |
US5105354A (en) * | 1989-01-23 | 1992-04-14 | Nippon Kayaku Kabushiki Kaisha | Method and apparatus for correlating respiration and heartbeat variability |
US5059127A (en) * | 1989-10-26 | 1991-10-22 | Educational Testing Service | Computerized mastery testing system, a computer administered variable length sequential testing system for making pass/fail decisions |
US5195033A (en) * | 1990-06-08 | 1993-03-16 | Assessment Systems, Inc. | Testing system including removable storage means for transfer of test related data and means for issuing a certification upon successful completion of the test |
US5204813A (en) * | 1990-06-08 | 1993-04-20 | Assessment Systems, Inc. | Computer-controlled testing process and device for administering an examination |
US5103490A (en) * | 1990-06-13 | 1992-04-07 | National Computer Systems, Inc. | Method and apparatus for storing and merging multiple optically scanned images |
US5134669A (en) * | 1990-06-13 | 1992-07-28 | National Computer Systems | Image processing system for documentary data |
US5180309A (en) * | 1990-12-04 | 1993-01-19 | United States Of America As Represented By The Secretary Of The Navy | Automated answer evaluation and scoring system and method |
-
1993
- 1993-02-05 US US08/014,335 patent/US5321611A/en not_active Expired - Lifetime
- 1993-09-30 CA CA002107411A patent/CA2107411C/en not_active Expired - Lifetime
-
1994
- 1994-02-04 GB GB9402186A patent/GB2274933B/en not_active Expired - Lifetime
- 1994-02-04 DE DE4403495A patent/DE4403495B4/de not_active Expired - Lifetime
-
1998
- 1998-02-11 HK HK98101062A patent/HK1002044A1/xx not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
HK1002044A1 (en) | 1998-07-24 |
CA2107411A1 (en) | 1994-08-06 |
GB2274933B (en) | 1997-08-13 |
GB9402186D0 (en) | 1994-03-30 |
DE4403495B4 (de) | 2006-11-23 |
US5321611A (en) | 1994-06-14 |
GB2274933A (en) | 1994-08-10 |
CA2107411C (en) | 2001-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE4403496B4 (de) | Verfahren und Vorrichtung zur Verarbeitung von Antworten zu Testfragen | |
DE4403495B4 (de) | Verfahren und Vorrichtung zur Verarbeitung von Antworten zu Testfragen | |
DE4403497B4 (de) | Verfahren und Vorrichtung zur Verarbeitung von Antworten zu Testfragen | |
DE69717659T2 (de) | Automatische prüfung und elektronisches system für die vermittlung des lehrstoffes und die verwaltung der studenten | |
Bredeson et al. | Responding to the education reform agenda: A study of school superintendents' instructional leadership. | |
Adelman | Women at thirtysomething: Paradoxes of attainment | |
US6766319B1 (en) | Method and apparatus for gathering and evaluating information | |
DE112015001306T5 (de) | Automatische Bewerbungsgespräch-Frageempfehlung und Bewerbungsgesprächs-Frageanalyse | |
DE112008001066T5 (de) | Verfahren und System zur Bereitstellung eines virtuellen Stellenmarktes | |
EP1574983A2 (de) | Verfahren und System zum Erfassen der Ergebnisse eines psychologischen Tests | |
DE69425336T2 (de) | Bildschirmarbeitsplatz, system und verfahren für eine pädagogische multimedia-anwendung | |
Ramsower | Telecommuting: An investigation of some organizational and behavioral effects of working at home | |
Tatnall | Information technology and the management of Victorian schools—providing flexibility or enabling better central control? | |
Lauer | THE EFFECTS OF VARIATIONS IN INFORMATION COMPLEXITY AND FORM OF PRESENTATION ON PERFORMANCE FOR AN INFORMATION EXTRACTION TASK (MANAGEMENT INFORMATION, USER/SYSTEM INTERFACE, GRAPHICS, DECISION-SUPPORT) | |
EP1227454B1 (de) | Verfahren zur Zusammenstellung eines Testes mit Hilfe einer Datenverarbeitungsanlage | |
DE202022104194U1 (de) | Ein System zur Organisation einer Jobmesse, um Studenten bei der Suche nach einem Arbeitsplatz zu unterstützen | |
DE112020007373T5 (de) | Verfahren und Vorrichtung zum intelligenten Vermitteln von Empfehlungen | |
Pleskach et al. | Information System" Workload Assignment at a University | |
Joyner | The development of a metric for assessing the information complexity of time-series business graphs | |
Kemm | The effects of using information technology to support evaluation of feedback and implementation of adjustments in an organization's strategic planning process | |
Hogan | Information engineering implementation issues: an information systems managers' perspective | |
DE102023200300A1 (de) | Training eines Konversationssystems | |
DE202022106617U1 (de) | Ein Online-System für strategisches Management zur Optimierung der Entscheidungsfindung | |
Ellis | Computer training needs of Fortune 500 companies in selected south-central United States | |
CN116703671A (zh) | 基于校园信息的管理***及其应用方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
8364 | No opposition during term of opposition | ||
R071 | Expiry of right | ||
R071 | Expiry of right |