DE69430967T2 - Interaktives Kopiersystem - Google Patents
Interaktives KopiersystemInfo
- Publication number
- DE69430967T2 DE69430967T2 DE69430967T DE69430967T DE69430967T2 DE 69430967 T2 DE69430967 T2 DE 69430967T2 DE 69430967 T DE69430967 T DE 69430967T DE 69430967 T DE69430967 T DE 69430967T DE 69430967 T2 DE69430967 T2 DE 69430967T2
- Authority
- DE
- Germany
- Prior art keywords
- document
- camera
- image
- user
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000002452 interceptive effect Effects 0.000 title description 7
- 238000000034 method Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 22
- 238000007639 printing Methods 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 210000003811 finger Anatomy 0.000 description 25
- 238000013461 design Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 6
- 238000012015 optical character recognition Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010079 rubber tapping Methods 0.000 description 5
- 239000010454 slate Substances 0.000 description 5
- 241001422033 Thestylus Species 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00347—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00352—Input means
- H04N1/00381—Input by recognition or interpretation of visible user gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0082—Image hardcopy reproducer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0089—Image display device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
- H04N2201/0436—Scanning a picture-bearing surface lying face up on a support
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Control Or Security For Electrophotography (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
- Projection-Type Copiers In General (AREA)
- Overhead Projectors And Projection Screens (AREA)
- Facsimile Scanning Arrangements (AREA)
- Character Input (AREA)
Description
- Die vorliegende Erfindung bezieht sich auf interaktive Bildwiedergabevorrichtungen und insbesondere auf Wiedergabevorrichtungen zum Ausführen von verschiedenen Operationen an Text oder Bildern während der Erzeugung eines neuen Dokumentes.
- Es ist alltäglich für Büroarbeiter und andere, die auf einer regelmäßigen Basis mit Dokumenten arbeiten, gewissermaßen zwei Arbeitsplätze zu haben - den "elektronischen Arbeitsplatz", der von einer Arbeitsstation oder einem Personalcomputer mittels einer grafischen Schnittstelle bereitgestellt wird, und der physikalische Schreibtisch, auf dem Papierdokumente empfangen und verarbeitet werden.
- Der elektronische Arbeitsplatz, der mehr und mehr wie der physikalische wird, kann vielfältige nützliche Operationen an Dokumenten, die in elektronischer Form gespeichert sind, ausführen; allerdings haben diese Vorrichtungen Beschränkungen im Umgang mit realen Dokumenten. Ein Papierdokument muss entweder in die elektronische Form umgewandelt werden, bevor die Operationen daran in der elektronischen Umgebung ausgeführt werden, oder Kopieroperationen werden an dem realen Dokument ausgeführt unter Verwendung eines elektrofotografischen Kopierers (wie einem Fotokopierer mit einer Editierfunktion) oder einer kombinierten Scan- und Druckeinrichtung, deren verfügbare Funktionen in ihrer Natur beschränkt sind.
- Wellner P.: "The DigitalDesk Calculator: Tangible Manipulation on a Desk Top Display", Proceedings of the Symposium on User Interface Software and Technology (UIST), Hilton Head, S. Carolina, 11. bis 13. November 1991, Nr. Symp. 4, 11. November 1991, Seiten 27 bis 33, XP000315063, Association for Computing Machinery, beschreibt einen digitalen Arbeitsplatz mit einer Computer-gesteuerten Kamera und einem Projektor darüber. Die Kamera sieht worauf der Benutzer zeigt und liest Teile von Dokumenten, die sich auf dem Arbeitsplatz befinden. Der Projektor zeigt auf der Oberfläche des Arbeitslatzes Rückmeldungen und elektronische Objekte an. In mehr Einzelheiten, die Videokamera ist über dem digitalen Arbeitsplatz befestigt und zeigt herab auf die Arbeitsoberfläche. Die Ausgabe der Kamera wird durch einen Computer und ein Bildverarbeitungssystem durchgeführt. Der Computer und das Bildverarbeitungssystem sind des Weiteren mit einem Computer-gesteuerten Projektor verbunden, der ebenfalls oberhalb des Arbeitsplatzes angebracht ist, und es erlaubt, elektronische Objekte und Papierdokumente auf der Arbeitsoberfläche des Benutzers einander zu überlagern. Der digitale Arbeitsplatz erlaubt es, Rückmeldungen auf den Arbeitsplatz anstelle eines separaten Bildschirms zu projizieren. Die Schlüsselmerkmale dieses digitalen Arbeitsplatzes sind: Verwenden einer Kamera, um zu erlauben, mit den Fingern auf etwas zu zeigen, Lesen von Papierdokumenten auf dem Arbeitsplatz und Projizieren von Bildern auf den Arbeitsplatz. Zusätzlich zu Fingern werden andere Dinge beschrieben, die auf dem digitalen Arbeitsplatz verwendet werden können: ein gewöhnlicher Radiergummi kann dazu verwendet werden, elektronische Dokumente zusätzlich zu physikalischen Dokumenten zu löschen, eine Heftmaschine könnte verwendet werden, um elektronische Dokumente aneinander zu heften und ein Enthefter würde diese voneinander lösen. Des Weiteren wird ein digitaler Arbeitsplatzrechner beschrieben als ein Beispiel für eine Anwendung des digitalen Arbeitsplatzes.
- Die vorliegende Erfindung ist bestrebt, die oben beschriebenen Beschränkungen auf die Operationen, die an Daten in einem Papierdokument ausgeführt werden können, zu reduzieren unter Verwendung von interaktiven Techniken, in denen das Papierdokument gewissermaßen Teil wird der Einrichtung zum Bezeichnen, welche Operationen (wie Text/Bildauswahl, Erzeugung und Manipulation) an der Information ausgeführt wird, die darin enthalten ist, um neue Dokumente unter Verwendung einer Prozessgesteuerten Kopier- oder Druckeinrichtung zu erzeugen.
- Es ist eine Aufgabe der vorliegenden Erfindung, ein interaktives Dokumenterzeugungssystem bereitzustellen, in dem die verfügbaren Funktionen sowohl über diejenigen, die in der gebräuchlichen elektronischen Umgebung alleine bereit gestellt werden, als auch diejenigen, die durch bestehende Kopieranordnungen alleine bereit gestellt werden, erweitert werden.
- Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
- Ausführungsformen der vorliegenden Erfindung werden nun beispielhaft beschrieben in Bezug auf die beiliegenden Zeichnungen, in denen:
- Fig. 1 ein schematisches Diagramm eines Kopiersystems gemäß der Erfindung zeigt;
- Fig. 2 schematisch ein bekanntes bildgebendes System zeigt, in das das System nach Fig. 1 eingebaut werden kann;
- Fig. 3 ein Bild illustriert, das durch die Finger-Verfolgungstechnik, die in der vorliegenden Erfindung verwendet wird, erzeugt wird;
- Fig. 4 eine Vier-Punkt-Abbildungstechnik zeigt, die von der vorliegenden Erfindung verwendet wird;
- Fig. 5 vier Arten illustriert, wie ein Auswahlrechteck nach außen gestrichen werden kann beim Verwenden der vorliegenden Erfindung;
- Fig. 6(a) bis (f) aufeinanderfolgende Szenen auf der Arbeitsplatzoberfläche in einer Kopieroperation gemäß einer Ausführungsform der vorliegenden Erfindung zeigen;
- Fig. 7 ein Flussdiagramm des Verfahrens nach Fig. 6 zeigt;
- Fig. 8(a) bis (e) aufeinanderfolgende Szenen auf der Arbeitsplatzoberfläche in einer Kopieroperation gemäß einer zweiten Ausführungsform der Erfindung illustrieren;
- Fig. 9 ein Flussdiagramm des Verfahrens nach Fig. 8 zeigt;
- Fig. 10(a) bis (h) aufeinanderfolgende Szenen auf der Arbeitsplatzoberfläche in einer Kopieroperation gemäß einer dritten Ausführungsform der Erfindung zeigen;
- Fig. 11 ein Flussdiagramm des Verfahrens nach Fig. 10 zeigt;
- Fig. 12 eine Ansicht von oberhalb der Arbeitsplatzoberfläche während einer Kopieroperation gemäß einer vierten Ausführungsform der Erfindung zeigt;
- Fig. 13 ein Flussdiagramm des Verfahrens nach Fig. 12 zeigt;
- Fig. 14 eine Ansicht von oberhalb der Arbeitsplatzoberfläche während einer Kopieroperation gemäß einer fünften Ausführungsform der Erfindung zeigt; und
- Fig. 15 ein Flussdiagramm des Verfahrens nach Fig. 14 zeigt.
- Bezugnehmend auf Fig. 1 illustriert diese schematisch das Kopiersystem der vorliegenden Erfindung. Auf einer flachen Arbeitsplatzoberfläche 2 befindet sich ein Dokument 4, das als eine Quelle von Text oder grafischer Information während Manipulationen, die nachstehend im Detail beschrieben werden, verwendet werden soll. Das Dokument 4 ist innerhalb des Sichtfelds einer Videokamera 6 angeordnet, die überhalb der Arbeitsplatzoberfläche 2 befestigt ist. Ein Videoprojektor 8 ist benachbart zu der Kamera 6 vorgesehen und projiziert auf die Oberfläche 2 eine Anzeige 21, die im Allgemeinen mit dem Sichtfeld der Kamera 6 übereinstimmt und die in dem gezeigten Beispiel ein Bild eines neuerzeugten Dokuments 20 umfasst, wie nachstehend erläutert. Die Kamera 6 und der Projektor 8 sind beide mit einem Signalverarbeitungssystem verbunden, das im Allgemeinen als 10 gekennzeichnet ist, das wiederum mit einer Druckeinrichtung 208 verbunden ist und, optionell, mit einem Dokumentenscanner 206 (siehe Fig. 2). Ein kleines Wirbeltrommel-Mikrofon 16 (vorzugsweise mit eingebautem Verstärker) ist mit dem Boden des Arbeitsplatzes verbunden und nimmt hörbare Signale oder Vibrationssignale auf. Das System 10 überwacht die (digitalisierte) Signalamplitude des Mikrofons 16, um zu bestimmen (z. B. durch Vergleich mit einem Schwellwert), wenn der Benutzer auf den Arbeitsplatz 2 klopft bzw. diesen antippt (z. B., um eine Operation zu kennzeichnen (siehe unten)).
- Die Architektur des Signalverarbeitungssystems 10 ist schematisch in Fig. 1 illustriert. Diese Implementierung läuft unter Standard X Window-Anwendungen unter Verwendung des menschlichen Fingers als eine Zeigereinrichtung. Das System ist implementiert, so dass Finger-Tippstelle und Arbeitsplatz-Klopfinformation durch X auf derartige Art und Weise gesendet werden, dass von dem Blickpunkt der Anwendungen diese Ereignisse nicht von denen einer gebräuchlicherweise verwendeten Maus unterscheidbar sind. Das System läuft auf zwei Maschinen: einer Sun 4/110 (104) und einer SPARC- Station (106). Dies ist so, da die Bildverarbeitungskarte 102 in einen VME-Bus eingesteckt wird, während die projizierte Video-(LCD)Anzeige in einen S-Bus eingesteckt wird. Die von der Kamera 6 erfassten Bilder werden anfangs von einer Itex 100-Bildverarbeitungskarte 102 verarbeitet. Jede andere geeignete Architektur könnte verwendet werden, um die Bildsignalverarbeitung zu erreichen. Fig. 1 illustriert, wie die Softwaremodule miteinander und zur Hardware in Beziehung stehen. Das System ist in C++ und C unter SunOS und TCP/IP implementiert.
- Die Arbeitsplatz-Kamera-Projektor-Anordnung (2, 6, 8) kann entfernt von der Druckeinrichtung 208 angeordnet sein und irgendeine Anzahl solcher Anordnungen können zu einem gebräuchlichen Drucker verbunden sein. Alternativ kann die Oberfläche 2 selbst eine obere Oberfläche einer Kopier- oder Druckvorrichtung bilden oder die Oberfläche eines Arbeitsplatzes in der Nähe solch einer Vorrichtung, mit dem Vorteil, dass irgendwelche Dokumente, die unter Verwendung des Systems erzeugt werden, unmittelbar ausgedruckt werden können und von dem Benutzer mitgenommen werden können. Der Prozessor 10 kann einen Bestandteil einer Kopier- oder Druckvorrichtung bilden oder kann entfernt hiervon angeordnet sein, in einer getrennten Einrichtung, und verbunden zu dem Drucker durch eine gebräuchliche Kommunikationsverknüpfung.
- In einer bevorzugten Ausführungsform bildet das System von Fig. 1 einen Bestandteil eines Drucksystems, z. B. wie schematisch in Fig. 2 illustriert und im Detail in EP-A-592 108 beschrieben, mit der Ausnahme, dass geeignete Elemente des Steuerabschnitts 207 durch Hardware gemäß Fig. 1 ersetzt werden, wie die Benutzerschnittstelle 252 (die durch die Kamera-Projektor-Anordnung (6, 8) implementiert wird), die Systemsteuerung 254 usw. Für zusätzliche Steuerungs-Einzelheiten wird Bezug genommen auf die US-A-5 081 494, US-A-5 091 971 und US-A-4 686 542.
- Interaktive Tätigkeiten mit Objekten mit blossen bzw. nackten Fingern wird in der vorliegenden Erfindung durch Video-basierte Finger-Vertolgung erleichtert. Ein blosser Finger ist jedoch zu dick, um kleine Objekte, wie einen einzelnen Buchstaben anzuzeigen, für den ein Stift oder ein anderes dünnes Objekt verwendet wird.
- Die gegenwärtige Implementierung verwendet einfache Bildverarbeitungshardware, um die gewünschte interaktive Antwortzeit (obwohl geeignete Algorithmen verwendet werden könnten, um das gleiche Resultat zu erzielen), zu erzielen: Es führt eine Unterabtastung des Bildes anfangs aus und verarbeitet es bei sehr niedriger Auflösung, um eine ungefähre Stellung des Fingers zu erhalten. Nur dann vergrößert das System zu seiner vollen Auflösung, um eine präzise Stellung zu erhalten, so dass nur kleine Teile des Bildes verarbeitet werden müssen. Falls der Benutzer eine zu schnelle Bewegung ausführt, verliert das System die Spur davon, wo der Finger ist, so dass unmittelbar zurück gezoomt wird, um ihn zu finden. Das Ergebnis ist, dass große, schnelle Bewegungen weniger präzise verfolgt werden als feine Bewegungen, aber für Zeigeranwendungen scheint dies annehmbar.
- Interaktionstechniken unter Verwendung von Video-basierter Finger-Verfolgung werden von M. Krueger (Artificial Reality II, Addison-Wesley, 1991) demonstriert. Der Nachteil seines Systems wird in UK-Patentanmeldung 9313637 2 (hiernach Ref. 1) erläutert, wobei eine Kopie hiervon mit der vorliegenden Anmeldung eingereicht wurde.
- Im Gegensatz hierzu fühlt die vorliegende Erfindung Bewegung (da die meisten Objekte auf dem Arbeitsplatz 2 sich nicht bewegen mit Ausnahme der Hand des Benutzers und die Objekte, die diese festhalten): Sie erfasst sequentiell Videobilder und untersucht das Bild, das durch Subtrahieren der sequentiellen Werte jedes Pixels mit zwei aufeinanderfolgenden Bildern erzeugt wird. Das Ergebnis für, z. B., eine Bewegung einer Hand sieht wie in Fig. 3 aus. Eine weitere Verarbeitung wird dann ausgeführt, um Rauschen zu entfernen und die präzise Position der Fingerspitze (fingertip) zu lokalisieren.
- Bewegungserfassung verwendet ein Bild-Rückführschleifenmerkmal der Karte 102, das erlaubt, die höchstwertigen Bits von zwei Bildern durch eine Nachschlagtabelle zu senden. Diese Tabelle wird gebildet, um die beiden Bilder voneinander zu subtrahieren, und erlaubt sehr schnelle Unterscheidung von aufeinanderfolgenden Bildern. Eine gegenwärtige Finger-Vertolgungsleistung unter Verwendung der Sun 4/110 und der Itex 100- Bildverarbeitungskarte 102 ist 6-7 Bilder/s.
- Ein Bestimmen, wenn der Benutzer auf den Arbeitsplatz klopft, wird vorzugsweise erzielt unter Verwendung des Mikrofons 16. Eine andere Art des Erfassens des Klopfens ist eine Verwendung eines berührungsempfindlichen Bildschirms (touch screen), der sowohl Zieh-Information als auch Extra-Stellungsdaten bereitstellen kann.
- Eine Projizierung von oberhalb stellt einem großen, flachen Anzeigebildschirm ähnliche Fähigkeiten bereit, aber es hat den Hauptvorteil, dass Computer-erzeugte Bilder 21 auf Papierdokumente überlagert werden können. Dies ist notwendig zum Erzeugen von verflochtenen Papier- und elektronischen Dokumenten und zum Bereitstellen von Rückmeldungen beim Ausführen von Auswahlen 22, 28, 31 (siehe unten) auf Papier. Überkopf(Overhead)-Projizierung bereitet jedoch Probleme, wie Schatten: diese werden nur schwer festgestellt, wenn der Projektor über einem horizontalen Arbeitsplatz 2 befestigt wird, aber spezielle Maßnahmen müssen ergriffen werden, um Schatten-Probleme auf einer nahezu vertikalen Oberfläche zu vermeiden, falls diese als die Arbeitsoberfläche verwendet wird (wie ein Zeichen-Board).
- Die Helligkeit des Raumes kann die Klarheit der projizierten Anzeige beeinträchtigen. Dies ist kein Problem mit normalem, fluoreszentem Licht, aber eine helle Arbeitsplatzlampe oder direktes Sonnenlicht sollten vermieden werden. Der Bereich, auf den die Anzeige 21 projiziert wird, sollte vorzugsweise weiß sein.
- In den hierin beschriebenen Implementierungen kann die Bildausgabeeinrichtung irgendeine Einrichtung sein, die ein Bild in der Arbeitsoberfläche bereit stellt: z. B. eine CRT-Anzeige, die auf die Oberfläche 2 mittels Spiegelelementen oberhalb oder unterhalb der Oberfläche 2 befördert wird; oder eine Flachbild-LCD-Anzeige, die in den Arbeitsplatz eingebaut ist und entweder an der Oberfläche oder unterhalb hiervon angebracht ist. Irgendeine Anzahl von Anzeigen können verwendet werden.
- Dokumentbilder werden erfasst durch eine Überkopf-Videokamera 6, aber eine Schwierigkeit mit Standardvideokameras ist deren niedrige Auflösung (verglichen zu Scannem), die keine gute Kopierqualität erlauben von einem Dokument auf der Arbeitsoberfläche könnte. Verschiedene Lösungen sind möglich.
- Eine Technik besteht darin, eine Kamera 6 mit sehr hoher Auflösung für das System zu verwenden.
- Eine andere Lösung ist die Verwendung mehrerer Kameras. Zumindest eine Kamera 6 wird aufgebaut mit einem weiten Sichtfeld, das hauptsächlich die gesamte Arbeitsoberfläche 2 umfasst. Zumindest eine andere Kamera (hiernach - "Hilfskamera"; nicht gezeigt) wird benachbart zu der Hauptkamera 6 befestigt und eingezoomt, um einen kleinen Teil der Arbeitsplatzoberfläche 2 (innerhalb oder außerhalb des Anzeigebereichs 21) mit hoher Auflösung (z. B. ungefähr 200 Punkte/Inch; 8 Punkte/mm) abzudecken. Mehrere befestigte Hilfskameras könnten verwendet werden, um den gesamten Bereich mit hoher Auflösung abzudecken oder wenigere, bewegbare Hilfskameras können verwendet werden. Das Videosignal von jeder Kamera wird mittels eines entsprechenden Kanals der Bildverarbeitungskarte 102 verarbeitet mittels geeigneter Multiplex-Techniken, die wohlbekannt sind im Stand der Technik. Wenn solch eine Hilfskamera mit einem relativ kleinen Sichtfeld verwendet wird, wird ein Lichtbereich (z. B. ein weißes "Fenster" oder eine andere visuelle Anzeige wie ein schwarzer, rechteckiger Umriss) auf die Oberfläche 2 projiziert, um mit dem Sichtfeld der Hochauflösungs-Hilfskamera(s) überein zu stimmen und dem Benutzer exakt anzuzeigen, welcher Teil der Arbeitsoberfläche sich innerhalb dieses Sichtfelds (d. h. dem aktiven Bereich) befindet. Der Benutzer kann somit Quelldokumente 4 innerhalb dieses Hochauflösungs "fensters" ablegen, um zu ermöglichen, dass Text- oder Bildinformation durch das System mit hoher Auflösung eingescannt wird. Da, soweit, heraus gefunden wurde, dass nur kleine Teile eines Dokuments zu einem bestimmten Zeitpunkt verwendet werden müssen, und ein Gleiten eines Papierstücks in das "Fenster" der Kamera so einfach ist, scheint die Verwendung mehrerer fixierter Kameras, um den kompletten Arbeitsplatz abzudecken, unnötig.
- Eine weitere mögliche Technik löst dieses Problem durch Speichern von Information hinsichtlich der Positionen in dem Quelldokument 4 des bzw. der zu kopierenden Teile mittels Bilderkennungstechniken und der Verwendung von Dokumentbeschreibungen. Das Dokument wird dann durch einen (Arbeitsplatz)scanner 206 durchgeführt (oder wird vorgescannt, bevor die Bildmanipulation stattfindet), vorzugsweise mit Hochauflösungs- (z. B. 24 Punkte/mm; 600 Punkte/Inch) Scannmaschine und diese Stellungsinformation wird verwendet, um zu bestimmen, welche Teile des gescannten Bildes in der evtl. Kopie verwendet werden sollen. Mit dieser Technik findet eine Interaktion des Benutzers mit den Dokumenten bei der niedrigeren (Kamera) Auflösung statt, aber das abgeschlossene Produkt wird von Hochauflösungs (Scanner) Bildern aufgebaut. Vorscannen ist jedoch umständlich für viele interaktive Anwendungen, so dass bevorzugt ist, eine der oben beschriebenen alternativen Verfahren zu verwenden.
- Das von einer Videokamera 6 und einem Bildgreifer (frame grabber, nicht gezeigt) auf der Karte 102 hergestellte Bild ist graustufig (üblicherweise 8 Bit/Pixel). Dieses Graustufenbild muss schwellwertbeschränkt sein oder in ein 1 Bit/Pixel schwarzes und weißes Bild umgewandelt werden, bevor es verwendet werden kann zur Zeichenerkennung oder irgendeine der anderen Ausführungsformen, die hierin beschrieben sind.
- Eine einfache Schwellwertbeschränkung ist nicht geeignet zum Erzielen eines Bildes, das geeignet ist für Zeichenerkennung. Ein anderes Problem kann der automatische Grauausgleich der Kamera darstellen. Dies kann bewirken, dass eine Änderung in der Helligkeit in einem Teil des Bildes, die Werte in allen anderen Teilen beeinträchtigt.
- Konsequenterweise verwendet das System einen adaptive schwellwertbeschränkenden Algorithmus, der den Schwellwert über das Bild hinweg variiert gemäß dessen Hintergrundwert in jedem Pixel. Das vorliegende System stellt Resultate in einem einzelnen Durchgang her, die nahezu so gut sind wie die von Systemen, die mehrere Durchgänge durch das Bild benötigen, durch Berechnen des Schwellwerts in jedem Punkt von einer Schätzung der Hintergrundbeleuchtung basierend auf einem Bewegungsmittelwert von lokalen Pixelintensitäten (innerhalb ungefähr 1/8 der Weite des Bildes). Dieses Verfahren ist schnell und kann mit einer Größenanpassungsoperation kombiniert werden, falls notwendig.
- Schließlich wird beim Behandeln von Text das schwellwertbeschränkte Bild schräglaufberichtigt und durch einen OCR-Server erkannt (in diesem Fall der Xerox Image Systems ScanWorkX). Falls die Auflösung hoch genug ist relativ zu der Textgröße gibt es die zugeordnete ASCII-Zeichenfolge zurück. Für die Genauigkeit ist es wichtig, sowohl schnelle Rückmeldungen dem Benutzer bereitzustellen (durch unmittelbares Anzeigen der Anzahl oder des Zeichens, dass das System "glaubt" erkannt zu haben), und einen einfachen Weg für den Benutzer bereitzustellen, nicht erkannte Zeichen zu korrigieren.
- Um Interaktion, projizierte Rückmeldungen 24, 26 (siehe Fig. 6) an den Benutzer und selektives Greifen von Bildern durch die Kamera 6 zu unterstützen muss das System Koordinaten in der projizierten Anzeige 21 auf Koordinaten in dem Bildgreifer der Bildverarbeitungskarte 102 abbilden. Diese Kallibrierung kann schwierig sein, da die projizierte Anzeige 21 kein perfektes Rechteck ist (es gibt optische Verzerrungen wie "Keystoning"), oder die Kamera 6 und/oder die Tafel können relativ zu der projizierten Anzeige 21 gedreht sein, und es kann notwendig sein, für die Kamera 6, die projizierte Anzeige von einem Winkel aus zu betrachten. Ebenso können Vibrationen, die z. B. von Klimaanlagen oder zugeworfenen Türen bewirkt werden, Bewegungen bewirken, die die Kallibrierung unterbrechen, wie dies irgendwelche Anpassungen an der Anordnung tun können.
- Für den Fall, dass eine (Tast) Stifteingabe verwendet wird, um eine Position auf einer Tafel anzuzeigen, bildet das System zuerst absolute Stellungen auf der digitalisierenden Tafel auf Stellungen in der Anzeige 21 ab, um Rückmeldungen bereitzustellen. Zweitens werden Positionen in der Anzeige 21 auf entsprechende Positionen in dem Bildgreifer abgebildet, um ein Greifen von ausgewählten Bereichen 22, 28, 31 (siehe unten) auf dem Arbeitsplatz zu unterstützen. Ein Erzielen von Daten, um die Zeigereinrichtung (Stift und Tafel; touch screen) zu der Anzeige 21 zu kallibrieren ist relativ geradlinig: eine Serie von Punkten werden angezeigt und der Benutzer wird aufgefordert diese mit einem Zeiger 32 zu berühren (siehe Fig. 8).
- Für den Fall dass eine Stellungsanzeige mittels einer Fingerspitzen-Position verwendet wird, ist ein Erhalten von Daten zum Kallibrieren der Videokamera 6 zu der Anzeige 21 nicht so einfach.
- Fig. 4 zeigt eine Annäherung, die frühere Techniken verbessert: dies dient dazu, ein Objekt, das von dem Bildverarbeitungssystem lokalisiert werden kann, zu projizieren, und somit dem System eine Auto-Kalibrierung ohne irgendwelche Unterstützung durch den Benutzer zu erlauben. Das vorliegende System projiziert ein dickes "Plus"-Zeichen (+) und verwendet Bildmorphologie (siehe D. Bloomberg & P. Maragos, "Image Algebra and Morphological Image processing", SPIE Conference Procs, San Diego, CA, Juli 1990) um das Zentrum der Markierung in dem Bildgreifer-Koordinatenraum genau festzulegen.
- Für ein genaues Abbilden wird vorzugsweise ein Vier-Punkt-Kalibrierungssystem (Fig. 4) verwendet, das Rotation und Keystoning ausgleicht. Das Abbilden wird beschrieben durch die Gleichungen
- x = c&sub1;x + c&sub2;y + c&sub3;xy + c&sub4; (1)
- y = c&sub5;x + c&sub6;y + c&sub7;xy + c&sub8; (2)
- wobei (x, y) Koordinaten in der projizierten Anzeige sind, und (x', y') Koordinaten in dem Bildgreifer sind.
- Mit vier Punkt-Paaren kann der Satz von gleichzeitigen linearen Gleichungen schnell durch Gauss Eliminierung gelöst werden. Dann wird eine fünfte Plus-Markierung (+) projiziert und ihre Stellung wird überprüft, um festzustellen, dass es nahe genug zu der durch das oben beschriebene Abbilden erzeugten Position ist. Das Ergebnis ist genau innerhalb von einem oder zwei Anzeigepixeln, und erlaubt dem Benutzer, Bereiche 22, 28, 31 auf dem Arbeitsplatz 2 auszuwählen und beruht (rely) auf den anzeigten Rückmeldungen 24, um präzise anzuzeigen, was in dem gegriffenen Bild erscheinen wird.
- Anders als eine herkömmliche Arbeitsstation müssen Benutzerschnittstellen in dem vorliegenden System die Händigkeit berücksichtigen. Falls Rückmeldungen 24 (siehe z. B. Fig. 6) an der unteren linken Seite des Zeigers 32 (Finger, Stift) projiziert werden, dann hat z. B. eine rechtshändige Person keine Probleme dies zu sehen, aber eine linkshändige Person hat Probleme damit, da dies auf deren Hand projiziert wird. Nicht nur wird die Rückmeldung beeinträchtigt, sondern ebenso das allgemeine Layout von Anwendungen und linkshändige Benutzer werden belästigt, da diese genötigt werden, ihren Arm weiter auszustrecken als rechtshändige Subjekte, und deren Arme verdecken das Papier 4 das sie lesen. Die Videokamera 6 des Systems kann die Hände des Benutzers sehen, so dass sie vorzugsweise automatisch erkennt mit welcher Hand der Benutzer zeigt, und dann diese Information verwendet beim Implementieren der Schnittstelle während der folgenden Arbeitssitzung. Ein Überlagerungs(pop-up)menü wird beispielsweise vorzugsweise auf die linke Seite des Zeigers für eine rechtshändige Person projiziert, und auf die rechte Seite des Zeigers für eine linkshändige Person.
- Wenn mit dem vorliegenden System auf Papier gezeigt wird, muss die Kamera 6 in der Lage sein, das Papier 4 zu "sehen", und dies bedeutet dass Finger und andere Zeigereinrichtungen 32 aus dem Weg sein müssen. Neue Benutzer scheinen jedoch nicht viel Schwierigkeit damit zu haben, zu lernen, interaktiv mit dem System auf eine Art und Weise zu sein, dass die Auswahlen (22, 28, 31) sichtbar bleiben. Beim Herausstrecken eines Rechtecks 24 (z. B. in der Ausführungsform gemäß Fig. 6 wie unten stehend beschrieben) gibt es vier Arten dies zu tun (siehe Fig. 5). Falls rechtshändige Leute Verfahren O verwenden oder falls linshändige Leute Verfahren verwenden, verdecken diese die Auswahl. Aber Benutzer scheinen diesen Fehler nicht zu wiederholen: im Allgemeinen kann das System eine Auswahl (22, 28, 31) nicht sehen solange der Benutzer sie nicht ebenfalls sehen kann, und das scheint für Leute einfach erlernbar zu sein.
- Auswahlrückmeldung (24) kann ebenfalls eine wichtige Rolle spielen im Verhindern von Verdeckungen. In der hierin beschriebenen Implementierung fließt das projizierte Auswahlrechteck 24 leicht vor dem Zeiger, so dass es einfach ist, ein Platzieren des Pointes darin zu vermeiden.
- In den Fig. 6(a)-(f) wird eine grundlegende Benutzerschnittstellentechnik, die von dem Kopiersystem der vorliegenden Erfindung möglich gemacht wird - die Auswahl von Teilen eines Papierdokuments 4 direkt auf dem Papier selbst während das System das ausgewählte Bild liest - in aufeinanderfolgenden Szenen illustriert, die von oberhalb der Arbeitsplatzoberfläche 2 betrachtet werden. Der Benutzer 18 erzeugt ein neues Dokument (allgemein gekennzeichnet mit 20) innerhalb der projizierten Anzeige 21, und hier ist das Quelldokument 4 eine Seite eines Buchs. Der Benutzer wählt eine Fig. 22 auf der Buchseite 4 dadurch, dass er zuerst seine beiden Zeigefinger in der oberen rechten Ecke der Fig. 22 berührt: das System erkennt dies als eine Geste zum Beginnen einer Auswahl. Wenn der Benutzer dann seinen linken Zeigefinger zu dem unteren linken Ecke der Fig. 22 bewegt (Bewegung 3 in Fig. 5) erkennt der Systemprozessor die Bewegung und bewirkt dass der Projektor als Rückmeldung zu dem Benutzer einen Auswahlblock 24 (hier ein rechteckiger Umriss; alternativ ein graues Rechteck) anzeigt, dass in seiner Größe wächst bis diese Bewegung endet (Fig. 6(a)). Der Benutzer kann exakt sehen, was von dem Auswahlblock 24 umfasst wird und wenn dies wie gewünscht ist, klopft der Benutzer auf den Arbeitsplatz um die Auswahl zu bestätigen (das Klopfen wird von dem Prozessor als eine solche Bestätigung interpretiert). Der Prozessor erhält via der Kamera 6 Information die die Stellungen der Beschränkungen des Auswahlblocks 24 relativ zu dem Originaldokument 4 anzeigen und somit die Ausdehnung des Teils des Dokuments, der ausgewählt wurde.
- Als nächstes platziert der Benutzer seinen gezeigten Finger auf die Seite 4 in dem Auswahlblock 24 und "zieht" ein projiziertes Bild des Auswahlblocks 24. Durch Bewegen seines Fingers über die Anzeige 21 (der Auswahlblock 24 wird von dem Projektor 8 als Rückmeldung angezeigt und bewegt sich, um der Position der sich bewegenden Fingerspitze zu folgen), positioniert diesen in die geeignete Stellung in dem Dokument 20, und klopft mit einem Finger auf den Arbeitsplatz um die Positionierung zu bestätigen (Fig. 6(b)). Die Fig. 22 wird von der Kamera 6 erfasst, von dem Prozessor Schwellwertbeschränkt und die gespeicherte Form des Dokuments 20 wird dementsprechend editiert; und das Ergebnis ist, dass die projizierte Anzeige modifiziert wird, so dass die Fig. 22 in das Dokument 20 an der gewünschten Stellung "eingefügt" wird (Fig. 6(c)); hier werden die Dimensionen der eingefügten Fig. 22 durch den Prozessor 10 angepasst auf die verfügbare Höhe und Weite des Textbereichs des neuen Dokuments 20.
- Es ist dann möglich für den Benutzer, eine Legende zu der eingefügten Fig. 22 hinzuzufügen, durch Eingeben des Textes hiervon über eine gebräuchliche Tastatur (nicht gezeigt), die mit dem Prozessor 10 verknüpft ist. Die gespeicherte elektronische Form des Dokuments 20 wird durch den Prozessor editiert und die projizierte Anzeige 21 wird gleichzeitig modifiziert, um die Legende 26, so wie diese eingegeben wird, anzuzeigen (Fig. 6(d)).
- Als nächstes wählt der Benutzer einen Teil 28 des Textes von der Buchseite 4, der unterhalb der Figur in Dokument 20 eingefügt werden soll (Fig. 6(e)). Dies wird auf exakt dieselbe Art und Weise getan, wie das Auswählen der Fig. 22 in Fig. 6(a), mit der Ausnahme, dass der Benutzer mit beiden Zeigefingern in der linken oberen Ecke des Textteils 28 beginnt und seinen rechten Zeigefinger zu dem unteren rechten Eck des Textteils 28 (Bewegung 4 in Fig. 5) bewegt. Die Textauswahl 28 wird in dem Dokument positioniert durch Klopfen auf die Oberfläche 2, wie zuvor. Der Unterschied in diesem Fall ist, dass optische Zeichenerkennung (OCR) an dem ausgewählten Textteil 28 ausgeführt wird, der durch die Kamera 6 erfasst wird. Der Schriftsatz bzw. die Schriftgröße des Textes 28 wird automatisch umgewandelt in diejenige des Rests des elektronischen Dokuments 20 und wird erneut formatiert, um in den Textfluss des Dokuments 20 hineinzupassen, der gebildet wurde. (Alternativ könnte der Text 28 auf dieselbe Art und Weise wie die Fig. 22 in den Fig. 6(a)-(c) behandelt werden, durch Auswählen von oben rechts nach unten links: d. h. Bewegung 3 in Fig. 5). Die gespeicherte elektronische Form des Dokuments 20 wird dementsprechend durch den Prozessor 10 aktualisiert und der Projektor 8 zeigt automatisch das modifizierte Dokument 20 an (Fig. 6(f)).
- Wenn es fertig ist, kann das Dokument 20 ausgedruckt werden durch Befördern eines Befehls zu dem Prozessor 10, die elektronische Version des Dokuments 20 zu dem Drucker 14 zu senden. Dieser Befehl kann eingegeben werden mittels der Tastatur oder einer gebräuchlichen Mausbedienung, wird aber vorzugsweise festgelegt durch den Benutzer, der einen geeigneten Eintrag von einem nach unten ausziehbaren (Pull-Down) Menü (nicht gezeigt) auswählt, das zugänglich ist, z. B. durch Fingerzeigen, in dem Anzeigebereich 21 auf der Oberfläche 2.
- In einer alternativen Implementierung kann die Arbeitsoberfläche 2 ein Berührungsfeld oder eine andere Positionsfühleinrichtung aufweisen und der Benutzer kann einen geeigneten Stift verwenden, um Ecken eines rechteckigen Auswahlblocks anzuzeigen, der einen zu kopierenden Teil kennzeichnet, beispielsweise durch Beginnen in einer Ecke und Bewegen des Stifts in die entgegengesetzte Ecke (für diesen Fall muss das Dokument 4 nur die Dicke eines einzelnen Blatts aufweisen, damit der Stift und die Positionsfühltafel betriebsbereit sind). Es ist ebenfalls möglich, nicht rechteckige Bereiche auszuwählen durch Ziehen eines "Lassos" um den Teil des Papierdokuments, der kopiert werden soll. Eine andere Möglichkeit für den Benutzer besteht darin, einfach auf den Bereich zu zeigen und das System kann Bildmorphologietechniken verwenden, um den Bereich der Auswahl zu bestimmen. Ein Klopfen auf die Arbeitsoberfläche könnte nur das schmalste wahrnehmbare Element, auf das gezeigt wird, auswählen (z. B. einen Buchstaben oder ein Wort). Ein anderes Klopfen an derselben Position würde die Auswahl ausdehnen, um den Satz, der den Buchstaben oder das Wort enthält, zu umfassen, ein weiteres Klopfen würde eine Auswahl des Absatzes, der diesen Satz enthält, bewirken oder einer größeren visuellen Einheit, usw.. Mit all diesen Auswahltechniken werden präzise Rückmeldungen projiziert, so dass der Benutzer exakt sehen kann, was ausgewählt wird, und somit die Auswahl anpassen kann, falls diese nicht exakt so ist, wie der Benutzer dies wünscht (z. B. Auswählen einer "darüber hinaus" Stellung - über den Beschränkungen des Dokuments 20 hinaus - woraufhin die projizierte Auswahl annulliert wird; und dann erneutes Auswählen von dem Quelldokument).
- Fig. 7 illustriert mittels eines Flussdiagramms eines geeigneten Softwareablaufs in dem Signalverarbeitungssystem 10 von Fig. 1 die Schritte, die beim sequentiellen Ausführen des in Fig. 6 illustrierten Verfahrens auftreten.
- Eine andere grundlegende Technik, die durch die vorliegende Erfindung möglich gemacht wird, ist das Kopieren auf ein zuvor markiertes Dokument auf neuartige Weise. Zum Beispiel kann eine Form ausgefüllt werden mit Daten von Teilen von einem oder mehreren anderen Dokumenten.
- Die Technik wird in den Fig. 8(a) bis (f) illustriert, die aufeinanderfolgende Szenen zeigen, die von oberhalb der Oberfläche 2 betrachtet werden. Die Technik ist ähnlich zu der, die in der in Fig. 6 illustrierten Ausführungsform verwendet wird, mit der Ausnahme, dass das Dokument 20 aus der Information besteht, die zu einem markierten Dokument 30 (in diesem Fall einem Formular), das sich auf der Arbeitsoberfläche 2 befindet, hinzugefügt werden soll. Operationen werden ausgeführt, um anzuzeigen, wie das Formular 30 ausgefüllt werden kann, wobei ein projiziertes Bild hergestellt wird, das die zusätzlichen Markierungen zeigt, die auf dem Dokument gemacht werden sollen.
- Wie in Fig. 8(a) illustriert wird, umfasst das Quelldokument 4 eine Empfangsbescheinigung, die innerhalb des Sichtfelds der Kamera positioniert ist. Der Benutzer wählt die numerische Summe 31, die auf der Empfangsbescheinigung angezeigt wird, unter Verwendung des oben beschriebenen Stifts und eines positionsfühlenden Tafelverfahrens (aber jede der oben beschriebenen Bildauswahltechniken könnte verwendet werden). Ein Bild der ausgewählten Zahl, die von der Kamera 6 erfasst wird, wird zurück auf die Anzeige 21 projiziert an der Stellung des Punktes des Stifts 32. Wenn das projizierte Bild der ausgewählten Zahl zu der geeigneten Box 34 des Formulars 30 gezogen wird, auf eine ähnliche Weise wie der Bewegungsauswahlblock 24 in der Ausführungsform gemäß Fig. 6, wird die Bewegung der Zahl in der Anzeige durch den Projektor 8 (Fig. 8(b)) gezeigt. Die Zahl wird von dem Prozessor 10 unter Verwendung von OCR erkannt und in der Box 34 abgelegt durch Freigeben einer Taste auf dem Stift, oder durch den Benutzer, der mit seiner freien Hand auf den Arbeitsplatz klopft.
- Fig. 8(c) illustriert eine Operation, die für den Fall ausgeführt wird, in dem die geeigneten Daten sich nicht in dem Quelldokument 4 befinden: der Benutzer schreibt Daten in die geeignete Box 36 des Formulars mit der Hand. Die Bewegung des Punktes des Stifts 32 wird verfolgt während der Benutzer schreibt und ein Bild wird gleichzeitig auf das Formular 30 projiziert, das die Tinte zeigt, die auf dem Formular verbleiben würde, falls der Stift ein Schreibstift wäre. Das System erkennt die Zeichen des Benutzers beim Schreiben und wandelt die projizierten "Tinte"-Zeichen in den selben Schriftsatz um, wie die anderen Zahlen auf dem Formular 30 und modifiziert die projizierten Zeichen, damit diese in diesem Schriftsatz erscheinen. Wenn eine Eingabe (z. B. Daten in numerischer Form) auf diese Weise gemacht wurde, kann diese in die anderen Boxen kopiert werden in derselben oder benachbarten Spalten unter Verwendung des oben beschriebenen Ziehen- und Ablegen-Prozesses, oder sogar kopiert werden dadurch, dass ebenfalls mit der Hand Zeichen an den geeigneten Orten gemacht werden.
- Wenn die relevanten Zahlen "eingegeben" wurden in das Formular 30, kann eine Operation ausgeführt werden an einer Gruppe von Zahlen. In Fig. 8(d) wird eine Spalte 38, die einen Satz von "eingegeben" Zahlen enthält, unter Verwendung des Stifts 32 ausgewählt. Als nächstes platziert der Benutzer auf dem Formular 30 ein kleines Stück Papier mit einer darauf gedruckten Taste 39, die mit "SUM" gekennzeichnet ist, und mit ihrem Pfeil in das Innere einer Box 40 auf dem Formular 30 zeigt, in die eine Summe eingegeben werden muss. Wenn der Benutzer die Papiertaste "drückt", durch Klopfen eines Fingers auf das Papierstück wie in Fig. 8(e) gezeigt, wird die Summe der Zahlen in der ausgewählten Spalte 38 in die Box 40 projiziert. Hierdurch erkennt das System (1) die Funktion der Taste (z. B. mittels morphen Bildzeichen, die indem Ablageschatten 42 der Taste 39 vorhanden sind), (2) erkennt das Klopfen der Taste, so dass es weiß wo und wann die Addieroperation ausgeführt werden muss, (3) führt die Addieroperation aus, und (4) projiziert die resultierende numerische Summe in die Box 40.
- Wenn alle notwendigen Eingaben in das Formular 30 gemacht wurden, kann das letztere durch einen Drucker 14 durchgeführt werden, um die projizierten Markierungen beständig zu machen. [Zu diesem Zweck kann es nützlich sein, in dem Fall, indem der Hauptprinter 14 von dem Arbeitsplatz 2 entfernt ist, einen zusätzlichen kompakten Tintenstrahldrucker (nicht gezeigt) auf der Arbeitsplatzoberfläche 2 zu haben, der das Drucken der zusätzlichen Markierungen auf dem Formular ermöglicht und, falls notwendig, das Unterschreiben des Formulars durch einen Benutzer, die unmittelbar ausgeführt werden können.] Der Prozessor 10, der die relativen Stellungen von all den projizierten Zeichen und Zahlen in Bezug auf die Merkmale des Formulars 30 speichert, bewirkt, dass die entsprechenden Tintenmarkierungen in den geeigneten Stellungen (Zeile/Spalte/Box) in dem Formular während der Druckoperation gemacht werden.
- Fig. 9 illustriert mittels eines Flussdiagramms eines geeigneten Softwareablaufs in dem Signalverarbeitungssystem 10 der Fig. 1 die Schritte, die beim sequentiellen Ausführen des Verfahrens, das in Fig. 8 illustriert wird, auftreten.
- Diese Technik wird bevorzugter Weise ausgedehnt durch Ausführen von OCR auf eine Auswahl von einem Quelldokument 4 und anschließendem Projizieren der erkannten Zahlen und Zeichen im Bild, um ein Formular oder ein anderes zuvor markiertes Dokument auszufüllen. Im Allgemeinen werden Textauswahlen von Grafikauswahlen unterschieden und OCR wird ausgeführt, wenn notwendig. Optional kann ein Benutzer eine Stellung auf einem Formular 30 unter Verwenden von einer der oben beschriebenen Techniken auswählen und dann Zeichen in das projizierte Bild eintippen mit einer gebräuchlichen Tastatur (nicht gezeigt), die mit dem Prozessor 10 verknüpft ist.
- Die oben beschriebenen Papiertasten können ebenfalls verwendet werden, um diese Technik auszuweiten: verschiedene Tasten, die geeignete erkennbare Codes anzeigen (wie oben erwähnt) werden verwendet, um gebräuchlich ausgeführte Operationen auszuführen, wie Währungsumwandlungen, Mittelwertbildungen usw..
- Diese Technik umfasst des Weiteren ein Erkennen anderer Werkzeuge (tools) und ein geeignetes Modifizieren des projizierten Bildes. Wenn ein Stift als Markierwerkzeug verwendet wird und über die Oberfläche bewegt wird (z. B. zum Handschreiben), wird eine Markierung in dem Bild hergestellt. Falls die resultierenden Markierungen gewisse Kriterien erfüllen, wird eine Erkennung ausgeführt und die Markierungen werden durch die geeigneten Zeichen oder Zahlen ersetzt. Ein Radierer wird auf ähnliche Art und Weise erkannt und zusätzlich zu dessen physikalischer Löschung der Markierungen wird das projizierte Bild auf geeignete Art und Weise modifiziert.
- Falls ein Papierformular von dem System erkannt wird, kann es den Benutzer mit Benutzerhinweisen unterstützen hinsichtlich wie dieses ausgefüllt werden muss, und es kann Berechnungen ausführen (z. B. Aufsummieren einer Spalte von Zahlen), die in dem Formular spezifiziert werden. Im Allgemeinen kann das System zu jedem erkennbaren Papierformular Merkmale hinzufügen, die derzeit nur mit elektronischen Formularen verfügbar sind.
- Eine andere Benutzerschnittstellentechnik, die durch die vorliegende Erfindung möglich gemacht wird, ist Skalieren oder Positionieren von Teilen eines Dokuments vor einem Kopieren. In dieser Offenbarung wird der Term "Anordnen" allgemein verwendet um eine Operation zu beinhalten, die einen Teil eines Dokuments skaliert (erneut skaliert), eine Operation, die einen Teil eines Dokuments positioniert, oder eine Operation, die sowohl skaliert und einen Teil eines Dokuments positioniert. Positionieren eines Teils eines Dokuments umfasst ebenfalls Ausrichtung. Die grundlegende Technik zum Anordnen eines Teils eines Dokuments ist, anordnende Operationen in dem projizierten Bild auszuführen. Mit anderen Worten kann ein Benutzer durch die Kamera Signale bereitstellen, die Operationen verlangen, so dass der Teil des Dokuments in einer verschiedenen Größe oder einer verschiedenen Stellung in dem projizierten Bild erscheint. Eigentlich ändert der Benutzer das projizierte Bild bis dieses ein gewünschtes Ergebnis zeigt, ein Ausgabedokument mit dem angezeigten Teil des Dokuments wird in der Größe angepasst und wie gewünscht positioniert. Das Ausgabedokument kann dann gedruckt werden.
- Um Skalieren auszuführen kann der Benutzer eine unterschiedliche Beabstandung zwischen den gegenüberliegenden Ecken eines Teils eines Dokuments anzeigen, der durch ein Auswahlrechteck beschränkt wird, wie durch Bewegen der Fingerspitzen zusammen oder getrennt. Skalieren des ausgewählten Teils in dem projizierten Bild kann dann geändert werden proportional zu der Änderung in der Beabstandung.
- Um Auswählen und Positionieren auszuführen, geht der Benutzer wie in den Ausführungsformen der Fig. 6 und 8 vor, mit Ausnahme des unten beschriebenen.
- Die Fig. 10 illustriert diese Technik: aufeinanderfolgende Szenen, die von oberhalb der Oberfläche 2 betrachtet werden, zeigen wie die Erfindung verwendet wird von einem Benutzer beim Herstellen eines Entwurfs.
- Ursprünglich entwirft der Benutzer eine Szene unter Verwendung eines gewöhnlichen Stiftes, die einen Baum 46 (Fig. 10(a)) umfasst. Als nächstes wählt der Benutzer, der ein Erzeugen einer Reihe von Bäumen wünscht, das Bild des Baums 46 durch nach außen Streifen eines Auswahlblocks 24 auf dieselbe Art und Weise wie oben beschrieben in Bezug auf die Ausführungsform gemäß Fig. 6 (Fig. 10(b)). Der Benutzer bewegt dann eine Kopie des Auswahlblocks 24 wie in der Ausführungsform gemäß Fig. 6, mit der Ausnahme, dass zwei Finger (oder Finger und Daumen) verwendet werden, die, wenn der kopierte Block 24 in der gewünschten Stellung ist, verwendet werden, um die Größe des Blocks zu der gewünschten Größe (Fig. 10(c)) zu reduzieren. Der Benützer klopft auf die Arbeitsplatzoberfläche 2, um den reduzierten Baum 48 in dieser Stellung "abzulegen" und der Projektor zeigt den neuen Baum 48, der von dem Original 46 beabstandet ist, an. Dieser Vorgang wird drei weitere Male wiederholt, wobei die Finger des Benutzers progressiv näher beieinander liegen, um eine Zeile von Bäumen (46-54) perspektivisch entlang der Spur 56 (Fig. 10(d)) herzustellen.
- Als nächstes beginnt der Benutzer einige Dachschiefer 58 auf dem Dach 60 des Hauses 62 (Fig. 10(e)) zu zeichnen. Um Zeit zu sparen, platziert der Benutzer eine Papiertaste 64, die mit "Füllen" gekennzeichnet ist, mit ihrem Zeiger derart, dass dieser auf das Dach 60 zeigt. Der Code in dem Ablageschatten 66 der Taste 64 wird von der Kamera 6 erfasst und der Befehl wird durch den Prozessor 10 erkannt; auf ähnliche Weise wird das Dachschieferbild 58 erfasst, wenn der Benutzer auf die Taste 64 klopft. Der Benutzer bewegt dann die Taste 64 zu dem leeren Bereich des Dachs und klopft erneut auf die Taste; und das System führt den Tastenbefehl durch Replizieren des Dachschieferbildes 58 aus, um den Bereich innerhalb der Beschränkungen des Dachs 60 (Fig. 10(f)) auszufüllen. Das resultierende Bild wird von dem Projektor 8 angezeigt.
- Ein weiterer Schritt ist in den Fig. 10(g) und (h) illustriert: der Benutzer beschließt, ein Fenster 66 in das Dach 60 einzufügen, so dass einige der Dachschieferbilder gelöscht werden müssen. Ein "Radierer" 68 weist einen darauf gedruckten Aufkleber 70 auf, der einen Code anzeigt, ähnlich zu dem der oben beschriebenen Papiertasten (39, 64), mittels dem das System die Implementierung als einen Radierer erkennt. Wenn der Benutzer aus einem Bereich mit dem "Radierer" 68 herausstreift, wird die Löschbewegung von dem System erkannt, und das angezeigte Bild 58 wird modifiziert, so dass die Dachschieferbilder von diesem Bereich in Fig. 10(g) weggelassen werden. Der Benutzer zeichnet dann ein Dachfenster 66 mit der Hand ein, Fig. 10(h).
- Das Ergebnis dieser Operationen ist ein verfochtener physikalisch und elektronisch projizierter Entwurf ähnlich zu dem in der Ausführungsform gemäß Fig. 8 beschriebenen kombinierten Formular. Erneut wird, um die projizierten Markierungen beständig zu machen (z. B. die Bäume 48-54 und das Dachschieferbild 58) das Blatt 30 mit dem Entwurf durch einen Drucker, der mit dem Prozessor 10 verbunden ist, durchgeführt. Der Prozessor, der die relativen Stellungen von all den projizierten Bildern entweder in Bezug auf die Merkmale des Entwurfs oder die Begrenzungen des Blattes 30 speichert, bewirkt, dass die entsprechenden Tintenmarkierungen in den geeigneten Stellungen auf dem Blatt 30 während des Druckvorgangs erzeugt werden.
- Fig. 11 illustriert mittels eines Flussdiagramms eines geeigneten Softwareablaufs in dem Signalverarbeitungssystem 10 der Fig. 1 die Schritte, die beim sequentiellen Ausführen des Verfahrens, das in Fig. 10 illustriert wird, auftreten.
- Eine andere Möglichkeit zum Rotieren und Positionieren von Teilen eines Quelldokuments in dem projizierten Bild besteht darin, ein Papieroriginal, das z. B. Bildelemente enthält, die in den resultierenden Entwurf eingefügt werden sollen, in die gewünschte Stellung innerhalb des projizierten Dokuments 20 zu bewegen, und einem Auswählen des gewünschten Bildelements (z. B. durch Klopfen auf die Oberfläche 2), das an einer Stelle "heruntergelegt" werden soll. Diese natürliche lnteraktionstechnik erlaubt jedem bedruckten oder handgeschriebenen Bild verwendet zu werden als eine Art von Stempel und vorteilhafterweise erlaubt es dem Benutzer, ein Bildelement in verschiedenen Stellungen auszuprobieren, ohne jeweils einen komplett neuen Entwurf herzustellen.
- Die oben beschriebenen grundlegenden Techniken sind insbesondere wirkungsvoll, wenn sie zusammen mit der Möglichkeit des zufälligen Kopierens eines Satzes von Eingabedokumenten 4 berücksichtigt werden, um Ausgabedokumente zu erzeugen. Diese Benutzerschnittstellentechnik beruht auf einem Erhalten von Information, die die Beziehung zwischen den Eingabedokumenten 4 und den Ausgabedokumenten anzeigt.
- Eine andere Art, diese Information zu erhalten, ist, die Dokumente in einer Sequenz zu bearbeiten. In anderen Worten umfassen die Ausgabedokumente Teile von Eingabedokumenten 4 in Sequenz, so dass die Eingabedokumente in Reihenfolge in die Ausgabedokumente kopiert werden können. Dies kann jedoch nachteilig sein, beispielsweise wenn eines der Eingabedokumente 4 unterschiedliche Teile, die in verschiedene Ausgabedokumente kopiert werden sollen, umfasst.
- Eine andere Art und Weise, diese Information zu erhalten ohne die Dokumente 4 in Sequenz zu bearbeiten, besteht darin, Dokumenterkennungstechniken zu verwenden. Dies ist ähnlich zu dem voranstehenden Weg mit der Ausnahme, dass es nicht notwendig ist, Identifizierungsnummern auf den Dokumenten bereitzustellen. Vielmehr kann eine Dokumenteneigenschaft, die bei niedriger Auslösung erfasst werden kann, wie Zeilenlängenbilder, zum Erhalten von Identifizierungsnummern verwendet werden, die mit größerer Wahrscheinlichkeit einzigartig für jedes Dokument sind. Dokumentklassifizierungstechniken werden in EP-A-495 622 kurz beschrieben.
- Obwohl ein Auswählen von Text oder Bildern von einem Dokument und ein "Einfügen" der Auswahl in ein zweites Dokument nun ein Standardmerkmal beim Manipulieren elektronischer Dokumente ist, ist dieselbe Operation schwierig auszuführen mit echtem Papier, wobei ein Fotokopierer benötigt wird, eine Schere, und ein Kleber oder Klebeband. Das System der vorliegenden Erfindung macht es jedoch möglich, Papierdokumente 4 in derselben Art und Weise auszuwählen und einzufügen, in der wir elektronische Dokumente auswählen und einfügen. In dieser Implementierung kann ein Entwurf 80 auf einem Papier 4 elektronisch ausgewählt werden durch ein nach außen Streichen eines Bereichs 24 auf dem Papier (z. B. mit einem Stift 32) auf eine Art und Weise, wie dies obenstehend beschrieben ist. Wenn der Stift 32 hoch gehoben wird, schnappt das System ein Bild der Auswahl 80 auf, und das projizierte Rechteck 24 wird durch eine Schwellwertbeschränkte elektronische Kopie des Bereichs ersetzt. Diese Kopie kann dann herumbewegt werden und auf andere Teile 82 des Papiers 4 wie in der obenstehend beschriebenen Anwendung kopiert werden. Ein Gleiten dieser elektronisch projizierten Kopie über die Zeichnung, um diese irgendwo anders zu platzieren, ist sehr ähnlich zum Gleiten einer Papierkopie (siehe Fig. 12).
- In Fig. 12 hat der Benutzer den Entwurf 80 des Fensters auf dem Blatt 4 ausgewählt und hat zwei Kopien hiervon (82) gemacht. Nun hat er sich bewegt und ist dabei eine Kopie 86 der Blume 84, die er gezeichnet hatte, "unten einzufügen".
- Fig. 13 illustriert mittels eines Flussdiagramms eines geeigneten Softwareablaufs in dem Signalverarbeitungssystem 10 von Fig. 1 die Schritte, die beim Ausführen des in Fig. 12 illustrierten Verfahrens auftreten.
- Eine Benutzererprobung offenbarte einen anderen Weg des Benutzens dieses Werkzeugs, der ebenso sehr wirkungsvoll ist. Es wurde herausgefunden, dass ein Benutzer anstelle eines Aufbauens einer gemischten Papier- und projizierten Zeichnung eine ausschließlich projizierte Zeichnung von ausgewählten Teilen aufbauen kann, die von irgendeiner Anzahl ihrer Papierentwürfe entnommen werden. Der Benutzer kann eine Figur auf Papier entwerfen, diese zu der gewünschten Stellung in der projizierten Zeichnung bewegen und diese dann auswählen unter Verwendung der oben beschriebenen Techniken, so dass diese "unten eingefügt" verbleibt in dieser Stellung ebenso, wenn das Papier wegbewegt wird. Der Effekt ist ähnlich zu dem einer Trocken- Transferbeschriftung oder einem "Stempeln", aber in diesem Fall von irgendeinem Stück Papier auf eine projizierte Zeichnung. Diese lnteraktionstechnik ist sehr unterschiedlich zu dem gebräuchlichen "Kopieren und Einfügen", das auf den meisten Arbeitsstationen gefunden wird, und erzielt Vorteile von einzigartigen Qualitäten aus der vorliegenden Erfindung: ein Verwenden sowohl von Händen zum Manipulieren und Zeigen als auch die Überlagerung von Papier und elektronischen Objekten.
- Leute verwenden häufig Dokumente beim Zusammenarbeiten und sie benötigen oft, diese Dokumente gleichzeitig zu sehen und zu modifizieren. Physikalisches Papier ist normalerweise beschränkt darin, dass hierauf nicht geschrieben werden kann, oder darauf gezeigt werden kann, oder dieses anders manipuliert werden kann durch zwei Leute gleichzeitig, die sich zum Beispiel in getrennten Kontinenten befinden; aber diese Einschränkung kann ebenfalls durch die vorliegende Erfindung behoben werden.
- Geteiltes Editieren von Dokumenten wurde z. B. in J.S. Olsen et al., "Concurrent editing: the group's interface" in D. Daiper et al. (eds) Human Computer Interaction Interact'90, S. 835-840, Elsevier, Amsterdam offenbart. Der größte Teil dieser Arbeit konzentrierte sich auf bildschirmbasierte Dokumente, aber die Multi-Benutzerimplementierung der vorliegenden Erfindung ermöglicht es, echte Papierdokumente zu teilen. Sie erlaubt Benutzern in (zumindest) zwei getrennten Orten ihre physikalischen Arbeitsplätze zu "teilen" und ermöglicht beiden Benutzern, die Papierdokumente 4 des Anderen zu sehen und zu editieren.
- Unter Bezugnahme auf Fig. 14 in dem Fall eines Systems mit zwei Benutzern, sind die zwei Prozessoren 10 miteinander verbunden mittels einer gebräuchlichen Kommunikationsverknüpfung. Jede Installation greift kontinuierlich Bilder 88 von ihrem lokalen Arbeitsplatz 2 auf und projiziert schwellwertbeschränkte Bilder 90 von dem entfernten Arbeitsplatz 2'. Das Ergebnis ist, dass beide Benutzer sehen, was sich auf beiden Arbeitsplätzen befindet. Wenn ein Papierdokument 4 auf einem Arbeitsplatz 2 von Benutzer A platziert wird, wird dieses auf den Arbeitsplatz 2' des Benutzers B projiziert und umgekehrt. Die Projektionen werden digital skaliert und positioniert, um "Was Du siehst ist was ich sehe" (What You See Is What I See - WYSIWIS) bereitzustellen, und beide Benutzer können entweder auf Papierdokumenten 4 oder auf virtuellen Dokumenten zeichnen (unter Verwendung eines echten Stiftes 92, 92'). Auf beiden Seiten wird der entfernte Benutzer B die neue Zeichnung sehen, die an der entsprechenden Stelle projiziert wird. Handbewegungen werden ebenfalls übertragen über die Kommunikationsverknüpfung und angezeigt, so dass falls ein Benutzer auf eine bestimmte Stelle in einem Dokument 4 zeigt, der andere Benutzer dies sehen kann. (Die Hände des Partners blockieren den Blick auf das was darunter liegt, ebenso wie mit einem gewöhnlichen Arbeitsplatz, so dass dies mittels sozialer Protokolle und Sprache behoben werden muss: nicht in Fig. 12 gezeigt ist eine Audioverknüpfung über Telefone oder Lautsprecher, die bevorzugterweise bereitgestellt werden, um dies zu vereinfachen. Eine andere nützlich und darüber hinaus bevorzugtere Hinzufügung ist eine Gesicht-zu-Gesicht audiovisuelle Verknüpfung.)
- In Fig. 14 zeichnet der lokale Benutzer A ein "X" 88 auf ein Papierblatt 4 in Tinte, während das Papier und die Hand des entfernten Benutzers (B) gesehen werden können, die gerade eine Zeichnung eines "O" 90 fertiggestellt haben.
- Fig. 15 illustriert mittels eines Flussdiagramms eines geeigneten Softwareablaufs in dem Signalverarbeitungssystem 10 gemäß Fig. 1 die Schritte, die in dem in Fig. 14 illustrierten Verfahren ausgeführt werden.
Claims (9)
1. Dokumenterzeugungssystem, umfassend:
eine Arbeitsoberfläche (2);
eine Einrichtung (8) zum Anzeigen von Bildern auf der Arbeitsoberfläche, wobei
die Bilder zumindest ein weißes Bild (20) umfassen, das ein Dokument in
elektronischer Form, das erzeugt werden soll, repräsentiert;
eine Kamera (6), die auf die Arbeitsoberfläche fokussiert ist, zum Erzeugen von
Videosignalen, die in elektronischer Form Bildinformation (4, 22) repräsentieren,
die sich in dem Sichtfeld der Kamera befinden;
eine Verarbeitungseinrichtung (10) zum Erkennen von einer oder mehreren
manuellen Operationen in Bezug auf die Bildinformation, die von einem Benutzer (18)
innerhalb dem Sichtfeld der Kamera ausgeführt werden, und zum Ausführen von
elektronischen Operationen entsprechend den manuellen Operationen in der
elektronischen Form des zu erzeugenden Dokuments, um eine modifizierte
elektronische Form, die ein erzeugtes Dokument repräsentiert, herzustellen;
wobei die Anzeigeeinrichtung (8) angepasst ist, um unter der Steuerung durch die
Verarbeitungseinrichtung (10) gleichzeitig mit oder nachfolgend zu den
elektronischen Operationen Bilder, die durch diese manuellen Operationen festgelegt
werden, anzuzeigen; und
wobei die durch die manuellen Operationen festgelegten Bilder ein Bild des
erzeugten Dokuments umfassen.
2. Dokumenterzeugungssystem nach Anspruch 1, wobei die modifizierte
elektronische Form eine elektronische Version des soeben erzeugten Dokuments umfasst.
3. Dokumenterzeugungssystem nach Anspruch 1 oder 2, des Weiteren aufweist und
eine Einrichtung zum Drucken eines Dokuments entsprechend zumindest einem
Teil der modifizierten elektronischen Form.
4. Dokumenterzeugungssystem nach einem der Ansprüche 1 bis 3, wobei
die Bildinformation (4, 22) Bildinformation umfasst, die sich in zumindest einem
zweiten Dokument innerhalb des Sichtfelds der Kamera (6) befindet, und
die eine oder mehrere manuellen Operationen eine oder mehrere manuelle
Operation (Operationen) umfassen, die den Transfer von Bildinformation (22) von dem
zweiten Dokument zu dem zu erzeugenden Dokument repräsentieren.
5. Verfahren zum Erzeugen von Dokumenten, umfassend:
Bereitstellen einer Arbeitsoberfläche (2), einer Einrichtung (8) zum Anzeigen von
Bildern auf der Arbeitsoberfläche, wobei die Bilder zumindest ein weißes Bild (20)
umfassen, das ein Dokument in elektronischer Form, das zu erzeugen ist,
repräsentiert, und eine Kamera (6), die auf die Arbeitsoberfläche fokussiert ist, wobei
die Kamera Videosignale erzeugt, die in elektronischer Form Bildinformation (4,
22) repräsentieren, die sich innerhalb des Sichtfelds der Kamera befindet;
Erkennen einer oder mehrerer manueller Operationen in Bezug auf die
Bildinformation, die von einem Benutzer (18) innerhalb des Sichtfelds der Kamera
ausgeführt werden;
Ausführen von elektronischen Operationen, entsprechend den manuellen
Operationen, in der elektronischen Form des zu erzeugenden Dokuments, um eine
modifizierte elektronische Form herzustellen, die ein erzeugtes Dokument repräsentiert;
Anzeigen von Bildern, die durch die manuellen Operationen festgelegt werden,
gleichzeitig mit oder nachfolgend dem Schritt des Ausführens der elektronischen
Operationen; und
wobei die Bilder, die von diesen manuellen Operationen festgelegt werden, ein
Bild des erzeugten Dokuments umfassen.
6. Verfahren nach Anspruch 5, wobei die modifizierte elektronische Form eine
elektronische Version eines soeben erzeugten Dokuments umfasst.
7. Verfahren nach Anspruch 5 oder 6, des Weiteren aufweisend:
Zuführen der modifizierten elektronischen Form zu einer Druckeinrichtung; und
Ausdrucken des erzeugten Dokuments.
8. Verfahren nach einem der Ansprüche 5 bis 7, wobei die manuellen Operationen
ein Auswählen eines Teils des Textes oder von Bildinformation in einem Dokument
(4) umfassen, das sich innerhalb des Sichtfelds der Kamera befindet.
9. Computerprogramm mit computerausführbaren Instruktionen zum Ausführen aller
maschinenausführbaren Schritte von irgendeinem der Verfahrensansprüche 5 bis
8, beim Ablauf auf einer geeigneten programmierbaren Vorrichtung zum Erzeugen
von Dokumenten.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB939308955A GB9308955D0 (en) | 1993-04-30 | 1993-04-30 | Interactive copying system |
GB939313637A GB9313637D0 (en) | 1993-04-30 | 1993-07-01 | Interactive copying system |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69430967D1 DE69430967D1 (de) | 2002-08-22 |
DE69430967T2 true DE69430967T2 (de) | 2002-11-07 |
Family
ID=26302833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69430967T Expired - Lifetime DE69430967T2 (de) | 1993-04-30 | 1994-04-25 | Interaktives Kopiersystem |
Country Status (4)
Country | Link |
---|---|
US (1) | US5511148A (de) |
EP (1) | EP0622722B1 (de) |
JP (1) | JP3383065B2 (de) |
DE (1) | DE69430967T2 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2735947A1 (de) * | 2012-11-23 | 2014-05-28 | Heidelberger Druckmaschinen AG | Gestensteuerung für Druckmaschinen |
Families Citing this family (306)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5436639A (en) * | 1993-03-16 | 1995-07-25 | Hitachi, Ltd. | Information processing system |
SG73964A1 (en) * | 1993-09-01 | 2000-07-18 | Nippon Telegraph & Telephone | Methods and apparatus for image synthesis |
US6037936A (en) * | 1993-09-10 | 2000-03-14 | Criticom Corp. | Computer vision system with a graphic user interface and remote camera control |
US5732227A (en) * | 1994-07-05 | 1998-03-24 | Hitachi, Ltd. | Interactive information processing system responsive to user manipulation of physical objects and displayed images |
US5737740A (en) * | 1994-06-27 | 1998-04-07 | Numonics | Apparatus and method for processing electronic documents |
US6266057B1 (en) * | 1995-07-05 | 2001-07-24 | Hitachi, Ltd. | Information processing system |
US20020126161A1 (en) * | 1994-07-05 | 2002-09-12 | Hitachi, Ltd. | Information processing system |
US9513744B2 (en) * | 1994-08-15 | 2016-12-06 | Apple Inc. | Control systems employing novel physical controls and touch screens |
US7489303B1 (en) * | 2001-02-22 | 2009-02-10 | Pryor Timothy R | Reconfigurable instrument panels |
GB9422012D0 (en) * | 1994-11-01 | 1994-12-21 | Rank Xerox Ltd | Document processing and data distribution system |
CA2158384C (en) * | 1994-12-27 | 1999-09-28 | Alexander Gibson Fraser | Multimedia program editing system and method |
US5729741A (en) * | 1995-04-10 | 1998-03-17 | Golden Enterprises, Inc. | System for storage and retrieval of diverse types of information obtained from different media sources which includes video, audio, and text transcriptions |
JPH08292950A (ja) * | 1995-04-20 | 1996-11-05 | Fuji Xerox Co Ltd | 文書処理装置 |
US6191773B1 (en) * | 1995-04-28 | 2001-02-20 | Matsushita Electric Industrial Co., Ltd. | Interface apparatus |
US20090322499A1 (en) * | 1995-06-29 | 2009-12-31 | Pryor Timothy R | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
US8228305B2 (en) | 1995-06-29 | 2012-07-24 | Apple Inc. | Method for providing human input to a computer |
AU6646096A (en) | 1995-08-03 | 1997-03-05 | Interval Research Corporation | Computerized interactor systems and methods for providing same |
US6940486B2 (en) | 1995-08-03 | 2005-09-06 | Vulcan Patents Llc | Computerized interactor systems and methods for providing same |
US5953686A (en) * | 1995-08-03 | 1999-09-14 | Interval Research Corporation | Video camera based computer input system with interchangeable physical interface |
US6151564A (en) * | 1995-08-03 | 2000-11-21 | Interval Research Corporation | Coded object system and code recognition methods |
GB9521072D0 (en) * | 1995-10-14 | 1995-12-20 | Rank Xerox Ltd | Calibration of an interactive desktop system |
JPH09319556A (ja) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | 情報処理装置 |
US5760925A (en) * | 1996-05-30 | 1998-06-02 | Xerox Corporation | Platenless book scanning system with a general imaging geometry |
US6067079A (en) * | 1996-06-13 | 2000-05-23 | International Business Machines Corporation | Virtual pointing device for touchscreens |
US5831614A (en) * | 1996-07-01 | 1998-11-03 | Sun Microsystems, Inc. | X-Y viewport scroll using location of display with respect to a point |
US6167353A (en) * | 1996-07-03 | 2000-12-26 | Interval Research Corporation | Computer method and apparatus for interacting with a physical system |
GB9614694D0 (en) * | 1996-07-12 | 1996-09-04 | Rank Xerox Ltd | Screen-based interface for interactive desktop system |
GB9614837D0 (en) * | 1996-07-12 | 1996-09-04 | Rank Xerox Ltd | Interactive desktop system with multiple image capture and display modes |
AU4109097A (en) * | 1996-09-12 | 1998-04-17 | Eidgenossische Technische Hochschule Zurich | Interaction area for data representation |
TW430774B (en) * | 1996-11-26 | 2001-04-21 | Sony Corp | Information input method and apparatus |
GB9711022D0 (en) | 1997-05-28 | 1997-07-23 | Rank Xerox Ltd | Text/image selection from document images |
GB9711024D0 (en) * | 1997-05-28 | 1997-07-23 | Rank Xerox Ltd | Image enhancement and thresholding of images |
DE19729086A1 (de) * | 1997-07-08 | 1999-01-14 | Stefan Schoepf | Bedienerführung |
KR19990011180A (ko) * | 1997-07-22 | 1999-02-18 | 구자홍 | 화상인식을 이용한 메뉴 선택 방법 |
US6124848A (en) * | 1997-08-01 | 2000-09-26 | Lsi Logic Corporation | Method and apparatus for reducing flat panel display horizontal scan signal interference in the electrostatic pen operated digitizer |
US6388654B1 (en) * | 1997-10-03 | 2002-05-14 | Tegrity, Inc. | Method and apparatus for processing, displaying and communicating images |
US6956497B1 (en) | 1997-10-09 | 2005-10-18 | Vulcan Patents Llc | Method and apparatus for sending presence messages |
US6282206B1 (en) * | 1997-10-09 | 2001-08-28 | Interval Research Corporation | Variable bandwidth communication systems and methods |
GB9722766D0 (en) | 1997-10-28 | 1997-12-24 | British Telecomm | Portable computers |
US7047490B1 (en) | 1997-11-26 | 2006-05-16 | Adobe Systems Incorporated | Displaying the appearance of a printed and assembled document |
US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
US7760187B2 (en) * | 2004-07-30 | 2010-07-20 | Apple Inc. | Visual expander |
KR100595926B1 (ko) * | 1998-01-26 | 2006-07-05 | 웨인 웨스터만 | 수동 입력 통합 방법 및 장치 |
US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
US6701017B1 (en) * | 1998-02-10 | 2004-03-02 | Nihon Computer Co., Ltd. | High resolution high-value added video transfer method system and storage medium by using pseudo natural image |
DE19806024A1 (de) | 1998-02-13 | 1999-08-19 | Siemens Nixdorf Inf Syst | Verfahren zur Überwachung eines Gerätebedienungsvorganges und mit diesem überwachte Selbstbedienungseinrichtung |
DE19806021A1 (de) * | 1998-02-13 | 1999-08-19 | Siemens Nixdorf Inf Syst | Gerät mit virtueller Eingabeeinrichtung |
US6512507B1 (en) * | 1998-03-31 | 2003-01-28 | Seiko Epson Corporation | Pointing position detection device, presentation system, and method, and computer-readable medium |
US6665490B2 (en) | 1998-04-01 | 2003-12-16 | Xerox Corporation | Obtaining and using data associating annotating activities with portions of recordings |
US6356255B1 (en) | 1998-04-07 | 2002-03-12 | Interval Research Corporation | Methods and systems for providing programmable computerized interactors |
US6396005B2 (en) | 1998-06-15 | 2002-05-28 | Rodgers Technology Center, Inc. | Method and apparatus for diminishing grid complexity in a tablet |
US6469689B1 (en) * | 1998-08-07 | 2002-10-22 | Hewlett-Packard Company | Appliance and method of using same having a capability to graphically associate and disassociate data with and from one another |
JP3287312B2 (ja) | 1998-08-13 | 2002-06-04 | 日本電気株式会社 | ポインティング装置 |
DE69939858D1 (de) * | 1998-08-31 | 2008-12-18 | Sony Corp | Bildverarbeitung |
JP4542637B2 (ja) * | 1998-11-25 | 2010-09-15 | セイコーエプソン株式会社 | 携帯情報機器及び情報記憶媒体 |
US7469381B2 (en) | 2007-01-07 | 2008-12-23 | Apple Inc. | List scrolling and document translation, scaling, and rotation on a touch-screen display |
WO2000055802A1 (de) * | 1999-03-17 | 2000-09-21 | Siemens Aktiengesellschaft | Anordnung zur interaktion |
US6292171B1 (en) * | 1999-03-31 | 2001-09-18 | Seiko Epson Corporation | Method and apparatus for calibrating a computer-generated projected image |
JP3475849B2 (ja) * | 1999-04-16 | 2003-12-10 | 日本電気株式会社 | 文書画像取得装置および文書画像取得方法 |
WO2000075860A1 (en) * | 1999-06-08 | 2000-12-14 | Soffix, S.R.L. | Electronic writing/display apparatus and respective method of operation |
US6493469B1 (en) * | 1999-06-28 | 2002-12-10 | Xerox Corporation | Dual video camera system for scanning hardcopy documents |
US6992702B1 (en) * | 1999-09-07 | 2006-01-31 | Fuji Xerox Co., Ltd | System for controlling video and motion picture cameras |
US6512539B1 (en) | 1999-09-29 | 2003-01-28 | Xerox Corporation | Document periscope |
US7123292B1 (en) | 1999-09-29 | 2006-10-17 | Xerox Corporation | Mosaicing images with an offset lens |
DE19948896C1 (de) * | 1999-10-11 | 2001-01-18 | Siemens Ag | Anordnung zum Detektieren eines Objekts in einem von Licht angestrahlten Bereich |
US8482535B2 (en) * | 1999-11-08 | 2013-07-09 | Apple Inc. | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
US6640010B2 (en) | 1999-11-12 | 2003-10-28 | Xerox Corporation | Word-to-word selection on images |
US6766069B1 (en) * | 1999-12-21 | 2004-07-20 | Xerox Corporation | Text selection from images of documents using auto-completion |
JP2001209487A (ja) * | 2000-01-25 | 2001-08-03 | Uw:Kk | 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置 |
US7138983B2 (en) * | 2000-01-31 | 2006-11-21 | Canon Kabushiki Kaisha | Method and apparatus for detecting and interpreting path of designated position |
JP4803883B2 (ja) * | 2000-01-31 | 2011-10-26 | キヤノン株式会社 | 位置情報処理装置及びその方法及びそのプログラム。 |
JP2001306254A (ja) | 2000-02-17 | 2001-11-02 | Seiko Epson Corp | 打音検出による入力機能 |
US8576199B1 (en) | 2000-02-22 | 2013-11-05 | Apple Inc. | Computer control systems |
JP4856804B2 (ja) * | 2000-03-15 | 2012-01-18 | 株式会社リコー | メニュー表示制御装置、情報処理装置、電子黒板システム、メニュー表示システムの制御方法、情報処理システムの制御方法およびこれらの方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
RU2175143C1 (ru) * | 2000-04-04 | 2001-10-20 | Свириденко Андрей Владимирович | Способ дистанционного управления |
WO2002027453A2 (en) * | 2000-09-26 | 2002-04-04 | Eugenio Bustamante | Providing input signals |
AU2002239341A1 (en) * | 2000-11-06 | 2002-06-03 | Simon Baker | Paper-based remote sketching system |
JP3878408B2 (ja) * | 2000-11-16 | 2007-02-07 | 株式会社リコー | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
GB2370438A (en) * | 2000-12-22 | 2002-06-26 | Hewlett Packard Co | Automated image cropping using selected compositional rules. |
WO2002052839A2 (en) | 2000-12-22 | 2002-07-04 | Hewlett-Packard Company | Image composition evaluation |
JP2002196877A (ja) * | 2000-12-25 | 2002-07-12 | Hitachi Ltd | イメージセンサを用いた電子機器 |
US20020136455A1 (en) * | 2001-01-31 | 2002-09-26 | I-Jong Lin | System and method for robust foreground and background image data separation for location of objects in front of a controllable display within a camera view |
US20080088587A1 (en) * | 2001-02-22 | 2008-04-17 | Timothy Pryor | Compact rtd instrument panels and computer interfaces |
US20080024463A1 (en) * | 2001-02-22 | 2008-01-31 | Timothy Pryor | Reconfigurable tactile control display applications |
GB2375676A (en) | 2001-05-17 | 2002-11-20 | Hewlett Packard Co | Reducing the effects of specular reflections appearing in an image |
GB0116113D0 (en) * | 2001-06-30 | 2001-08-22 | Hewlett Packard Co | Tilt correction of electronic images |
GB2378073B (en) * | 2001-07-27 | 2005-08-31 | Hewlett Packard Co | Paper-to-computer interfaces |
GB2378340A (en) * | 2001-07-31 | 2003-02-05 | Hewlett Packard Co | Generation of an image bounded by a frame or of overlapping images |
JP4067799B2 (ja) * | 2001-09-07 | 2008-03-26 | 日立オムロンターミナルソリューションズ株式会社 | 画像認識装置およびそれに用いるスタンド型イメージスキャナ |
US7675504B1 (en) * | 2001-10-10 | 2010-03-09 | Smith Peter H | Personal interfaces for independent living and health |
GB2381687B (en) | 2001-10-31 | 2005-08-24 | Hewlett Packard Co | Assisted reading method and apparatus |
GB2381686A (en) * | 2001-10-31 | 2003-05-07 | Hewlett Packard Co | Apparatus for recording and reproducing pointer positions on a document. |
US7131061B2 (en) * | 2001-11-30 | 2006-10-31 | Xerox Corporation | System for processing electronic documents using physical documents |
GB2382879A (en) * | 2001-12-06 | 2003-06-11 | Hewlett Packard Co | Image capture device with capture field illumination |
US20030117378A1 (en) | 2001-12-21 | 2003-06-26 | International Business Machines Corporation | Device and system for retrieving and displaying handwritten annotations |
JP3847641B2 (ja) | 2002-02-28 | 2006-11-22 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法 |
US6947609B2 (en) * | 2002-03-04 | 2005-09-20 | Xerox Corporation | System with motion triggered processing |
DE10215548B4 (de) * | 2002-04-09 | 2006-05-11 | Eltromat Polygraph Gmbh | Verfahren und Vorrichtung zur Erfassung von Abtastpositionen in Druckbildern |
NL1020440C2 (nl) * | 2002-04-19 | 2003-10-21 | Univ Eindhoven Tech | Werkwijze en stelsel voor het visueel terugkoppelen van interacties tussen een invoerorgaan en een dataverzameling. |
GB0213531D0 (en) * | 2002-06-13 | 2002-07-24 | Hewlett Packard Co | Paper-to-computer interfaces |
US7358963B2 (en) | 2002-09-09 | 2008-04-15 | Apple Inc. | Mouse having an optically-based scrolling feature |
JP4352808B2 (ja) * | 2002-09-18 | 2009-10-28 | セイコーエプソン株式会社 | プレビュー装置、電子機器および画像形成装置 |
US7417773B2 (en) * | 2002-09-30 | 2008-08-26 | Pitney Bowes Inc. | Method and system for creating and sending a facsimile using a digital pen |
US8462079B2 (en) | 2002-10-15 | 2013-06-11 | Gregory A Piccionelli | Ornament apparatus, system and method |
US7248230B2 (en) * | 2002-10-15 | 2007-07-24 | Piccionelli Gregory A | Ornament apparatus, system and method |
US20040080795A1 (en) * | 2002-10-23 | 2004-04-29 | Bean Heather N. | Apparatus and method for image capture device assisted scanning |
DE10353868B4 (de) * | 2002-12-12 | 2014-07-24 | Heidelberger Druckmaschinen Ag | Darstellung von Daten in einer Bedruckstoff verarbeitenden Maschine |
US9165478B2 (en) | 2003-04-18 | 2015-10-20 | International Business Machines Corporation | System and method to enable blind people to have access to information printed on a physical document |
DE10325894B4 (de) * | 2003-06-06 | 2010-12-09 | Siemens Ag | Werkzeug- oder Produktionsmaschine mit Anzeigeeinheit zur Visualisierung von Arbeitsabläufen |
US20040257346A1 (en) * | 2003-06-20 | 2004-12-23 | Microsoft Corporation | Content selection and handling |
WO2005001710A2 (en) * | 2003-06-26 | 2005-01-06 | International Business Machines Corporation | System and method for composing an electronic document from physical documents |
US7310779B2 (en) | 2003-06-26 | 2007-12-18 | International Business Machines Corporation | Method for creating and selecting active regions on physical documents |
US7164518B2 (en) | 2003-10-10 | 2007-01-16 | Yuping Yang | Fast scanner with rotatable mirror and image processing system |
US7633655B2 (en) * | 2003-10-10 | 2009-12-15 | Yuping Yang | Optical imaging device |
US7246958B2 (en) * | 2003-12-18 | 2007-07-24 | Xerox Corporation | Hand-propelled wand printer |
US20050174349A1 (en) * | 2004-02-05 | 2005-08-11 | Watson Brian S. | Image rendering apparatus with print preview projection mechanism |
US7969409B2 (en) * | 2004-02-18 | 2011-06-28 | Rafal Jan Krepec | Camera assisted pen tablet |
WO2005096126A1 (ja) | 2004-03-31 | 2005-10-13 | Brother Kogyo Kabushiki Kaisha | 画像入出力装置 |
US20050273201A1 (en) * | 2004-06-06 | 2005-12-08 | Zukowski Deborra J | Method and system for deployment of sensors |
US7788606B2 (en) * | 2004-06-14 | 2010-08-31 | Sas Institute Inc. | Computer-implemented system and method for defining graphics primitives |
KR101146750B1 (ko) * | 2004-06-17 | 2012-05-17 | 아드레아 엘엘씨 | 터치 스크린 상에서 2개-손가락에 의한 입력을 탐지하는 시스템 및 방법과, 터치 스크린 상에서 적어도 2개의 손가락을 통한 3-차원 터치를 센싱하는 시스템 및 방법 |
US8466893B2 (en) | 2004-06-17 | 2013-06-18 | Adrea, LLC | Use of a two finger input on touch screens |
US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
US20060022953A1 (en) * | 2004-07-30 | 2006-02-02 | Nokia Corporation | Left-hand originated user interface control for a device |
US20100231506A1 (en) * | 2004-09-07 | 2010-09-16 | Timothy Pryor | Control of appliances, kitchen and home |
US20060072009A1 (en) * | 2004-10-01 | 2006-04-06 | International Business Machines Corporation | Flexible interaction-based computer interfacing using visible artifacts |
EP1662362A1 (de) | 2004-11-26 | 2006-05-31 | Océ-Technologies B.V. | Einscannen am Schreibtisch mit Erkennung von Handgesten |
JP2006172439A (ja) * | 2004-11-26 | 2006-06-29 | Oce Technologies Bv | 手操作を用いたデスクトップスキャン |
US8194045B1 (en) | 2005-01-27 | 2012-06-05 | Singleton Technology, Llc | Transaction automation and archival system using electronic contract disclosure units |
US8228299B1 (en) | 2005-01-27 | 2012-07-24 | Singleton Technology, Llc | Transaction automation and archival system using electronic contract and disclosure units |
US7441202B2 (en) * | 2005-02-14 | 2008-10-21 | Mitsubishi Electric Research Laboratories, Inc. | Spatial multiplexing to mediate direct-touch input on large displays |
EP1880263A1 (de) * | 2005-05-04 | 2008-01-23 | Koninklijke Philips Electronics N.V. | System und verfahren zum projizieren von steuergrafik |
US7760956B2 (en) | 2005-05-12 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | System and method for producing a page using frames of a video stream |
JP2007128497A (ja) | 2005-10-05 | 2007-05-24 | Sony Corp | 表示装置および表示方法 |
DE102005049338B3 (de) * | 2005-10-12 | 2007-01-04 | Silvercreations Software Ag | System zur digitalen Dokumentenerfassung und -speicherung |
JP4909576B2 (ja) * | 2005-11-29 | 2012-04-04 | 株式会社リコー | 文書編集装置、画像形成装置およびプログラム |
AU2006332488A1 (en) | 2005-12-30 | 2007-07-12 | Apple Inc. | Portable electronic device with multi-touch input |
US8077147B2 (en) | 2005-12-30 | 2011-12-13 | Apple Inc. | Mouse with optical sensing surface |
US8018440B2 (en) | 2005-12-30 | 2011-09-13 | Microsoft Corporation | Unintentional touch rejection |
US7774722B2 (en) * | 2006-01-31 | 2010-08-10 | Microsoft Corporation | Creation and manipulation of canvases based on ink strokes |
US8509563B2 (en) * | 2006-02-02 | 2013-08-13 | Microsoft Corporation | Generation of documents from images |
WO2007127258A2 (en) * | 2006-04-27 | 2007-11-08 | Wms Gaming Inc. | Wagering game with multi-point gesture sensing device |
US8213688B2 (en) | 2006-05-24 | 2012-07-03 | Heidelberger Druckmaschinen Ag | Method and apparatus for operating printing presses |
US20070292033A1 (en) * | 2006-06-19 | 2007-12-20 | Chao-Wang Hsiung | Passive and interactive real-time image recognition software method |
JP2008009572A (ja) | 2006-06-27 | 2008-01-17 | Fuji Xerox Co Ltd | ドキュメント処理システム、ドキュメント処理方法及びプログラム |
WO2008010024A1 (en) * | 2006-07-16 | 2008-01-24 | Cherradi I | Free fingers typing technology |
US8147316B2 (en) | 2006-10-10 | 2012-04-03 | Wms Gaming, Inc. | Multi-player, multi-touch table for use in wagering game systems |
US20100019922A1 (en) * | 2006-10-18 | 2010-01-28 | Koninklijke Philips Electronics N.V. | Electronic system control using surface interaction |
US7856605B2 (en) * | 2006-10-26 | 2010-12-21 | Apple Inc. | Method, system, and graphical user interface for positioning an insertion marker in a touch screen display |
US8570278B2 (en) | 2006-10-26 | 2013-10-29 | Apple Inc. | Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker |
US7877707B2 (en) * | 2007-01-06 | 2011-01-25 | Apple Inc. | Detecting and interpreting real-world and security gestures on touch and hover sensitive devices |
US7844915B2 (en) | 2007-01-07 | 2010-11-30 | Apple Inc. | Application programming interfaces for scrolling operations |
KR100892966B1 (ko) * | 2007-01-20 | 2009-04-10 | 엘지전자 주식회사 | 터치 스크린을 구비한 전자 기기 및 이를 이용한 정보 표시방법 |
JP5093523B2 (ja) * | 2007-02-23 | 2012-12-12 | ソニー株式会社 | 撮像装置、表示撮像装置および撮像処理装置 |
JP4957327B2 (ja) | 2007-03-29 | 2012-06-20 | 富士ゼロックス株式会社 | 表示制御装置 |
JP4899991B2 (ja) * | 2007-03-30 | 2012-03-21 | 富士ゼロックス株式会社 | 表示装置及びプログラム |
KR101420419B1 (ko) | 2007-04-20 | 2014-07-30 | 엘지전자 주식회사 | 전자기기와 그 데이터 편집방법 및 이동통신단말기 |
JP2009020564A (ja) * | 2007-07-10 | 2009-01-29 | Brother Ind Ltd | プロジェクタ |
JP5111003B2 (ja) * | 2007-07-30 | 2012-12-26 | セイコーエプソン株式会社 | 携帯情報機器、電子ブック、情報記憶媒体、携帯情報機器の制御方法及び電子ブックの制御方法 |
US7980480B2 (en) * | 2007-09-21 | 2011-07-19 | Silverbrook Research Pty Ltd | Method of imaging a coding pattern having registration symbols |
US8610965B2 (en) * | 2007-11-26 | 2013-12-17 | Optelec Development B.V. | Reproduction device, assembly of a reproductive device and an indication body, and a method for reproducing an image portion |
KR20090058073A (ko) * | 2007-12-04 | 2009-06-09 | 삼성전자주식회사 | 단말 및 그의 기능 수행 방법 |
US8170698B1 (en) | 2008-02-20 | 2012-05-01 | Mark David Gusack | Virtual robotic controller system with special application to robotic microscopy structure and methodology |
US8201109B2 (en) | 2008-03-04 | 2012-06-12 | Apple Inc. | Methods and graphical user interfaces for editing on a portable multifunction device |
US8650507B2 (en) * | 2008-03-04 | 2014-02-11 | Apple Inc. | Selecting of text using gestures |
JP2009246620A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | イメージデータ作成装置 |
JP5203797B2 (ja) * | 2008-05-13 | 2013-06-05 | 株式会社エヌ・ティ・ティ・ドコモ | 情報処理装置及び情報処理装置の表示情報編集方法 |
US8899474B2 (en) * | 2008-06-02 | 2014-12-02 | Disney Enterprises, Inc. | Interactive document reader |
US8241912B2 (en) * | 2008-06-26 | 2012-08-14 | Wms Gaming Inc. | Gaming machine having multi-touch sensing device |
EP2144189A3 (de) * | 2008-07-10 | 2014-03-05 | Samsung Electronics Co., Ltd. | Verfahren zum Erkennen und Umwandeln von Buchstaben in kamerabasierten Bildern |
US8239201B2 (en) | 2008-09-13 | 2012-08-07 | At&T Intellectual Property I, L.P. | System and method for audibly presenting selected text |
JP2010074470A (ja) * | 2008-09-18 | 2010-04-02 | Brother Ind Ltd | 画像形成装置 |
US9165388B2 (en) * | 2008-09-22 | 2015-10-20 | International Business Machines Corporation | Method of automatic cropping |
US8427424B2 (en) * | 2008-09-30 | 2013-04-23 | Microsoft Corporation | Using physical objects in conjunction with an interactive surface |
US9442648B2 (en) | 2008-10-07 | 2016-09-13 | Blackberry Limited | Portable electronic device and method of controlling same |
EP2175354A1 (de) * | 2008-10-07 | 2010-04-14 | Research In Motion Limited | Tragbare elektronische Vorrichtung und Steuerverfahren dafür |
JP2010204730A (ja) * | 2009-02-27 | 2010-09-16 | Seiko Epson Corp | ジェスチャーに応答して機器を制御するシステム |
US8661362B2 (en) * | 2009-03-16 | 2014-02-25 | Apple Inc. | Methods and graphical user interfaces for editing on a multifunction device with a touch screen display |
US8836648B2 (en) | 2009-05-27 | 2014-09-16 | Microsoft Corporation | Touch pull-in gesture |
US8723988B2 (en) * | 2009-07-17 | 2014-05-13 | Sony Corporation | Using a touch sensitive display to control magnification and capture of digital images by an electronic device |
WO2011013400A1 (ja) * | 2009-07-30 | 2011-02-03 | シャープ株式会社 | 携帯型表示装置およびその制御方法、プログラム、記録媒体 |
KR101484826B1 (ko) * | 2009-08-25 | 2015-01-20 | 구글 잉크. | 직접적인 조작 제스처들 |
US9285834B2 (en) * | 2009-09-08 | 2016-03-15 | Palo Alto Research Center, Incorporated | Mobile writer for erasable media |
EP3855297A3 (de) * | 2009-09-22 | 2021-10-27 | Apple Inc. | Vorrichtung, verfahren und grafische benutzeroberfläche zur manipulation von benutzerschnittstellenobjekten |
US8799826B2 (en) * | 2009-09-25 | 2014-08-05 | Apple Inc. | Device, method, and graphical user interface for moving a calendar entry in a calendar application |
US8832585B2 (en) | 2009-09-25 | 2014-09-09 | Apple Inc. | Device, method, and graphical user interface for manipulating workspace views |
US8766928B2 (en) * | 2009-09-25 | 2014-07-01 | Apple Inc. | Device, method, and graphical user interface for manipulating user interface objects |
US8780069B2 (en) | 2009-09-25 | 2014-07-15 | Apple Inc. | Device, method, and graphical user interface for manipulating user interface objects |
EP2333651B1 (de) | 2009-12-11 | 2016-07-20 | Dassault Systèmes | Verfahren und System zur Vervielfältigung eines Objekts mithilfe eines Berührungsbildschirms |
JP5750875B2 (ja) * | 2010-12-01 | 2015-07-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US8539385B2 (en) * | 2010-01-26 | 2013-09-17 | Apple Inc. | Device, method, and graphical user interface for precise positioning of objects |
US8539386B2 (en) * | 2010-01-26 | 2013-09-17 | Apple Inc. | Device, method, and graphical user interface for selecting and moving objects |
US8612884B2 (en) * | 2010-01-26 | 2013-12-17 | Apple Inc. | Device, method, and graphical user interface for resizing objects |
US8239785B2 (en) * | 2010-01-27 | 2012-08-07 | Microsoft Corporation | Edge gestures |
US9411504B2 (en) * | 2010-01-28 | 2016-08-09 | Microsoft Technology Licensing, Llc | Copy and staple gestures |
US20110185320A1 (en) * | 2010-01-28 | 2011-07-28 | Microsoft Corporation | Cross-reference Gestures |
US20110185299A1 (en) * | 2010-01-28 | 2011-07-28 | Microsoft Corporation | Stamp Gestures |
US8261213B2 (en) * | 2010-01-28 | 2012-09-04 | Microsoft Corporation | Brush, carbon-copy, and fill gestures |
US8488213B2 (en) * | 2010-01-29 | 2013-07-16 | Sharp Laboratories Of America, Inc. | Methods and systems for no-touch scanning |
US20110191704A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | Contextual multiplexing gestures |
US9519356B2 (en) * | 2010-02-04 | 2016-12-13 | Microsoft Technology Licensing, Llc | Link gestures |
US20110191719A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | Cut, Punch-Out, and Rip Gestures |
US9367205B2 (en) * | 2010-02-19 | 2016-06-14 | Microsoft Technolgoy Licensing, Llc | Radial menus with bezel gestures |
US9965165B2 (en) * | 2010-02-19 | 2018-05-08 | Microsoft Technology Licensing, Llc | Multi-finger gestures |
US9274682B2 (en) * | 2010-02-19 | 2016-03-01 | Microsoft Technology Licensing, Llc | Off-screen gestures to create on-screen input |
US9310994B2 (en) | 2010-02-19 | 2016-04-12 | Microsoft Technology Licensing, Llc | Use of bezel as an input mechanism |
US8799827B2 (en) * | 2010-02-19 | 2014-08-05 | Microsoft Corporation | Page manipulations using on and off-screen gestures |
US8730309B2 (en) | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
US20110209101A1 (en) * | 2010-02-25 | 2011-08-25 | Hinckley Kenneth P | Multi-screen pinch-to-pocket gesture |
US8751970B2 (en) * | 2010-02-25 | 2014-06-10 | Microsoft Corporation | Multi-screen synchronous slide gesture |
US9075522B2 (en) * | 2010-02-25 | 2015-07-07 | Microsoft Technology Licensing, Llc | Multi-screen bookmark hold gesture |
US8707174B2 (en) * | 2010-02-25 | 2014-04-22 | Microsoft Corporation | Multi-screen hold and page-flip gesture |
US20110209089A1 (en) * | 2010-02-25 | 2011-08-25 | Hinckley Kenneth P | Multi-screen object-hold and page-change gesture |
US8473870B2 (en) | 2010-02-25 | 2013-06-25 | Microsoft Corporation | Multi-screen hold and drag gesture |
US9454304B2 (en) * | 2010-02-25 | 2016-09-27 | Microsoft Technology Licensing, Llc | Multi-screen dual tap gesture |
US8539384B2 (en) | 2010-02-25 | 2013-09-17 | Microsoft Corporation | Multi-screen pinch and expand gestures |
US20110209058A1 (en) * | 2010-02-25 | 2011-08-25 | Microsoft Corporation | Multi-screen hold and tap gesture |
JP5740822B2 (ja) * | 2010-03-04 | 2015-07-01 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US8577146B2 (en) * | 2010-04-09 | 2013-11-05 | Sony Corporation | Methods and devices that use an image-captured pointer for selecting a portion of a captured image |
JP5505057B2 (ja) * | 2010-04-19 | 2014-05-28 | 株式会社ニコン | 表示装置 |
EP2383970B1 (de) * | 2010-04-30 | 2013-07-10 | beyo GmbH | Kamerabasiertes Verfahren zur Texteingabe und Schlüsselworterkennung |
US10133411B2 (en) * | 2010-06-11 | 2018-11-20 | Qualcomm Incorporated | Auto-correction for mobile receiver with pointing technology |
JP2012008686A (ja) * | 2010-06-23 | 2012-01-12 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US9081494B2 (en) | 2010-07-30 | 2015-07-14 | Apple Inc. | Device, method, and graphical user interface for copying formatting attributes |
US9098182B2 (en) * | 2010-07-30 | 2015-08-04 | Apple Inc. | Device, method, and graphical user interface for copying user interface objects between content regions |
US8972879B2 (en) | 2010-07-30 | 2015-03-03 | Apple Inc. | Device, method, and graphical user interface for reordering the front-to-back positions of objects |
US20120042288A1 (en) * | 2010-08-16 | 2012-02-16 | Fuji Xerox Co., Ltd. | Systems and methods for interactions with documents across paper and computers |
US20120159395A1 (en) | 2010-12-20 | 2012-06-21 | Microsoft Corporation | Application-launching interface for multiple modes |
US8689123B2 (en) | 2010-12-23 | 2014-04-01 | Microsoft Corporation | Application reporting in an application-selectable user interface |
US8612874B2 (en) | 2010-12-23 | 2013-12-17 | Microsoft Corporation | Presenting an application change through a tile |
US9329469B2 (en) | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
US9547428B2 (en) | 2011-03-01 | 2017-01-17 | Apple Inc. | System and method for touchscreen knob control |
US9480907B2 (en) | 2011-03-02 | 2016-11-01 | Microsoft Technology Licensing, Llc | Immersive display with peripheral illusions |
JP2012208439A (ja) * | 2011-03-30 | 2012-10-25 | Sony Corp | 投影装置、投影方法及び投影プログラム |
US8854321B2 (en) * | 2011-05-02 | 2014-10-07 | Verizon Patent And Licensing Inc. | Methods and systems for facilitating data entry by way of a touch screen |
JP2012238065A (ja) * | 2011-05-10 | 2012-12-06 | Pioneer Electronic Corp | 情報処理装置、情報処理システム、および、情報処理方法 |
US9158445B2 (en) | 2011-05-27 | 2015-10-13 | Microsoft Technology Licensing, Llc | Managing an immersive interface in a multi-application immersive environment |
US9658766B2 (en) | 2011-05-27 | 2017-05-23 | Microsoft Technology Licensing, Llc | Edge gesture |
US9104307B2 (en) | 2011-05-27 | 2015-08-11 | Microsoft Technology Licensing, Llc | Multi-application environment |
US9104440B2 (en) | 2011-05-27 | 2015-08-11 | Microsoft Technology Licensing, Llc | Multi-application environment |
US8893033B2 (en) | 2011-05-27 | 2014-11-18 | Microsoft Corporation | Application notifications |
US8661339B2 (en) | 2011-05-31 | 2014-02-25 | Apple Inc. | Devices, methods, and graphical user interfaces for document manipulation |
US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
US8959459B2 (en) | 2011-06-15 | 2015-02-17 | Wms Gaming Inc. | Gesture sensing enhancement system for a wagering game |
WO2012171116A1 (en) | 2011-06-16 | 2012-12-20 | Rafal Jan Krepec | Visual feedback by identifying anatomical features of a hand |
JP5325943B2 (ja) * | 2011-07-12 | 2013-10-23 | 富士フイルム株式会社 | 情報処理装置、情報処理方法及びプログラム |
US20140132567A1 (en) * | 2011-07-14 | 2014-05-15 | Telefonaktiebolaget L M Ericsson (Publ) | Modifying a digital document responsive to user gestures relative to a physical document |
BR112014002186B1 (pt) | 2011-07-29 | 2020-12-29 | Hewlett-Packard Development Company, L.P | sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho |
WO2013019190A1 (en) * | 2011-07-29 | 2013-02-07 | Hewlett-Packard Development Company, L.P. | System and method of visual layering |
US9117274B2 (en) * | 2011-08-01 | 2015-08-25 | Fuji Xerox Co., Ltd. | System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors |
BR112014002463B1 (pt) * | 2011-08-02 | 2020-12-08 | Hewlett-Packard Development Company, L.P | sistemas de captura de projeções, sistema de captura de projeções interativo e método de captura de projeções |
US20130057587A1 (en) | 2011-09-01 | 2013-03-07 | Microsoft Corporation | Arranging tiles |
US9146670B2 (en) | 2011-09-10 | 2015-09-29 | Microsoft Technology Licensing, Llc | Progressively indicating new content in an application-selectable user interface |
TW201316240A (zh) * | 2011-10-06 | 2013-04-16 | Rich Ip Technology Inc | 利用圖形用戶介面影像之觸碰處理方法及系統 |
US8996350B1 (en) | 2011-11-02 | 2015-03-31 | Dub Software Group, Inc. | System and method for automatic document management |
JP2013114467A (ja) * | 2011-11-29 | 2013-06-10 | Nikon Corp | 表示システム、表示方法およびプログラム |
JP2013149023A (ja) * | 2012-01-18 | 2013-08-01 | Nikon Corp | 表示システム、表示プログラム、および表示方法 |
US9161166B2 (en) * | 2012-02-24 | 2015-10-13 | Blackberry Limited | Method and apparatus for interconnected devices |
EP2637128B1 (de) | 2012-03-06 | 2018-01-17 | beyo GmbH | Multimodale Texteingabe mit einer Tastatur/Kameratexteingabemodul als Ersatz für ein herkömmliches Tastaturtexteingabemodul auf einer mobilen Vorrichtung |
US9086732B2 (en) | 2012-05-03 | 2015-07-21 | Wms Gaming Inc. | Gesture fusion |
JP5912065B2 (ja) * | 2012-06-01 | 2016-04-27 | 株式会社Pfu | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム |
JP5894506B2 (ja) | 2012-06-08 | 2016-03-30 | 株式会社Pfu | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム |
CN103577053B (zh) * | 2012-07-23 | 2017-09-29 | 联想(北京)有限公司 | 一种信息显示方法和设备 |
WO2014051451A1 (en) * | 2012-09-25 | 2014-04-03 | Intel Corporation | Capturing objects in editable format using gestures |
JP2013041608A (ja) * | 2012-10-22 | 2013-02-28 | Seiko Epson Corp | 携帯情報機器、サーバー、電子ブック、プログラム及び情報記憶媒体 |
JP2013041607A (ja) * | 2012-10-22 | 2013-02-28 | Seiko Epson Corp | 携帯情報機器、サーバー、電子ブック、プログラム及び情報記憶媒体 |
JP2013041609A (ja) * | 2012-10-22 | 2013-02-28 | Seiko Epson Corp | 携帯情報機器、サーバー、電子ブック、プログラム及び情報記憶媒体 |
JP2013050971A (ja) * | 2012-10-22 | 2013-03-14 | Seiko Epson Corp | 携帯情報機器、サーバー、電子ブック、プログラム及び情報記憶媒体。 |
KR102001218B1 (ko) * | 2012-11-02 | 2019-07-17 | 삼성전자주식회사 | 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스 |
US9582122B2 (en) | 2012-11-12 | 2017-02-28 | Microsoft Technology Licensing, Llc | Touch-sensitive bezel techniques |
KR20140078853A (ko) * | 2012-12-18 | 2014-06-26 | 삼성전자주식회사 | 증강현실시스템 및 그 제어방법 |
US10691230B2 (en) | 2012-12-29 | 2020-06-23 | Apple Inc. | Crown input for a wearable electronic device |
US9576422B2 (en) | 2013-04-18 | 2017-02-21 | Bally Gaming, Inc. | Systems, methods, and devices for operating wagering game machines with enhanced user interfaces |
JP5751276B2 (ja) * | 2013-04-26 | 2015-07-22 | カシオ計算機株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6245837B2 (ja) * | 2013-04-30 | 2017-12-13 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2014228945A (ja) * | 2013-05-20 | 2014-12-08 | コニカミノルタ株式会社 | 領域指定装置 |
DE102013012285A1 (de) * | 2013-07-24 | 2015-01-29 | Giesecke & Devrient Gmbh | Verfahren und Vorrichtung zur Wertdokumentbearbeitung |
EP3036602A4 (de) * | 2013-08-22 | 2017-04-12 | Hewlett-Packard Development Company, L.P. | Projektives rechnersystem |
US10503388B2 (en) | 2013-09-03 | 2019-12-10 | Apple Inc. | Crown input for a wearable electronic device |
KR20150031384A (ko) * | 2013-09-13 | 2015-03-24 | 현대자동차주식회사 | 맞춤형 인터페이스 시스템 및 그 동작 방법 |
JP6287161B2 (ja) * | 2013-12-18 | 2018-03-07 | セイコーエプソン株式会社 | 投写装置および投写方法 |
KR102130798B1 (ko) * | 2014-01-13 | 2020-07-03 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
US9477337B2 (en) | 2014-03-14 | 2016-10-25 | Microsoft Technology Licensing, Llc | Conductive trace routing for display and bezel sensors |
AU2014202574A1 (en) * | 2014-05-13 | 2015-12-03 | Canon Kabushiki Kaisha | Positioning of projected augmented reality content |
US10444894B2 (en) | 2014-09-12 | 2019-10-15 | Hewlett-Packard Development Company, L.P. | Developing contextual information from an image |
CN107079126A (zh) | 2014-11-13 | 2017-08-18 | 惠普发展公司,有限责任合伙企业 | 图像投影 |
JP2016099743A (ja) * | 2014-11-19 | 2016-05-30 | 日本電信電話株式会社 | 対象領域検出装置、方法、及びプログラム |
JP6065080B2 (ja) * | 2014-12-22 | 2017-01-25 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム |
US20160202865A1 (en) | 2015-01-08 | 2016-07-14 | Apple Inc. | Coordination of static backgrounds and rubberbanding |
JP6592904B2 (ja) * | 2015-01-22 | 2019-10-23 | セイコーエプソン株式会社 | 電子機器、プログラム |
WO2016139760A1 (ja) * | 2015-03-03 | 2016-09-09 | 富士通株式会社 | 表示装置、表示方法、および表示プログラム |
JP2016175376A (ja) * | 2015-03-23 | 2016-10-06 | セイコーエプソン株式会社 | 記録装置及び投影方法 |
US9712703B2 (en) | 2015-06-02 | 2017-07-18 | Kabushiki Kaisha Toshiba | Document detecting device, document detecting method and image reading device |
US10852403B2 (en) | 2015-06-10 | 2020-12-01 | Hewlett-Packard Development Company, L.P. | 3D scan tuning |
JP6582954B2 (ja) * | 2015-12-11 | 2019-10-02 | 富士通クライアントコンピューティング株式会社 | 書画カメラ装置、切り抜き支援方法及びプログラム |
KR20170088064A (ko) | 2016-01-22 | 2017-08-01 | 에스프린팅솔루션 주식회사 | 화상 취득 장치 및 화상 형성 장치 |
CN109196577A (zh) * | 2016-02-29 | 2019-01-11 | 智能灯公司D/B/A兰皮克斯 | 用于为计算机化***提供用户界面并与虚拟环境交互的方法和设备 |
US9571791B1 (en) | 2016-05-17 | 2017-02-14 | International Business Machines Corporation | Importing of information in a computing system |
JP6260673B2 (ja) * | 2016-10-20 | 2018-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP6551363B2 (ja) * | 2016-10-28 | 2019-07-31 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置 |
WO2018211826A1 (ja) * | 2017-05-17 | 2018-11-22 | ソニー株式会社 | 情報処理システム、情報処理方法、およびプログラム |
US11379113B2 (en) | 2019-06-01 | 2022-07-05 | Apple Inc. | Techniques for selecting text |
CN111625879B (zh) * | 2020-05-08 | 2023-05-23 | 深圳市一博科技股份有限公司 | 一种能在PCB上快速抓取元器件Group的方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2465284A1 (fr) * | 1979-09-11 | 1981-03-20 | Rabeisen Andre | Systeme de communication televisuelle permettant une creation graphique |
US4468694A (en) * | 1980-12-30 | 1984-08-28 | International Business Machines Corporation | Apparatus and method for remote displaying and sensing of information using shadow parallax |
JPH063608B2 (ja) * | 1984-06-30 | 1994-01-12 | 株式会社東芝 | 文書画像編集装置 |
JPS61224792A (ja) * | 1985-03-29 | 1986-10-06 | Sony Corp | ビデオトリミング装置 |
FR2597289B3 (fr) * | 1986-04-11 | 1988-02-26 | Toniazzo Josephine | Dispositif d'aide a l'insertion de composants electroniques |
JPS63170780A (ja) * | 1986-10-03 | 1988-07-14 | インタランド・コーポレーション | 一体化したマルチ・ディスプレイ型のオーバーレイ制御式通信ワークステーション |
US4855830A (en) * | 1987-03-30 | 1989-08-08 | Allen-Bradley Company, Inc. | Machine vision system with illumination variation compensation |
US4806709A (en) * | 1987-05-26 | 1989-02-21 | Microtouch Systems, Inc. | Method of and apparatus for sensing the location, such as coordinates, of designated points on an electrically sensitive touch-screen surface |
DE3924989A1 (de) * | 1989-07-28 | 1991-02-07 | Roland Man Druckmasch | Vorrichtung zur durchfuehrung einer umfassenden qualitaetskontrolle an druckbogen |
US5410649A (en) * | 1989-11-17 | 1995-04-25 | Texas Instruments Incorporated | Imaging computer system and network |
IT1247600B (it) * | 1990-03-16 | 1994-12-28 | Alfio Leotta | Apparato elettronico per la composizione di immagini fotografiche, utile in particolare in fase di definizione di nuovi prodotti industriali |
US5191440A (en) * | 1990-03-29 | 1993-03-02 | Levine Alfred B | Multiple photocopier system with memory and composite processing |
US5309555A (en) * | 1990-05-15 | 1994-05-03 | International Business Machines Corporation | Realtime communication of hand drawn images in a multiprogramming window environment |
US5025314A (en) * | 1990-07-30 | 1991-06-18 | Xerox Corporation | Apparatus allowing remote interactive use of a plurality of writing surfaces |
US5239373A (en) * | 1990-12-26 | 1993-08-24 | Xerox Corporation | Video computational shared drawing space |
GB9100733D0 (en) * | 1991-01-14 | 1991-02-27 | Xerox Corp | Indexing of data sets |
GB9121707D0 (en) * | 1991-10-12 | 1991-11-27 | British Aerospace | Improvements in computer-generated imagery |
US5377019A (en) * | 1991-12-02 | 1994-12-27 | Minolta Co., Ltd. | Document reading apparatus having a function of determining effective document region based on a detected data |
US5365266A (en) * | 1991-12-10 | 1994-11-15 | Carpenter Loren C | Video imaging method and apparatus for audience participation |
US5436639A (en) * | 1993-03-16 | 1995-07-25 | Hitachi, Ltd. | Information processing system |
-
1994
- 1994-04-25 DE DE69430967T patent/DE69430967T2/de not_active Expired - Lifetime
- 1994-04-25 EP EP94302912A patent/EP0622722B1/de not_active Expired - Lifetime
- 1994-04-28 JP JP9094594A patent/JP3383065B2/ja not_active Expired - Fee Related
- 1994-04-29 US US08/236,758 patent/US5511148A/en not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2735947A1 (de) * | 2012-11-23 | 2014-05-28 | Heidelberger Druckmaschinen AG | Gestensteuerung für Druckmaschinen |
US9898690B2 (en) | 2012-11-23 | 2018-02-20 | Heidelberger Druckmaschinen Ag | Gesture control for printing presses |
Also Published As
Publication number | Publication date |
---|---|
DE69430967D1 (de) | 2002-08-22 |
JPH07168949A (ja) | 1995-07-04 |
EP0622722A2 (de) | 1994-11-02 |
EP0622722B1 (de) | 2002-07-17 |
JP3383065B2 (ja) | 2003-03-04 |
EP0622722A3 (de) | 1999-04-14 |
US5511148A (en) | 1996-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69430967T2 (de) | Interaktives Kopiersystem | |
DE69425105T2 (de) | Informationsverarbeitungsvorrichtung mit integriertem Anzeige/Eingabesystem | |
DE69530395T2 (de) | Interaktives projektiertes videobildanzeigesystem | |
DE69317153T2 (de) | Elektronische Schreibtafel | |
DE69513756T2 (de) | Anlage zur Umschreibung von Wandtafelbildern mittels eines kamerabasierten Abtasters | |
DE69033397T2 (de) | System und Vorrichtung für handschriftlich eingegebene Information | |
DE69131816T2 (de) | Computerunterstütztes Lieferungssystem für Ausbildung | |
DE69129484T2 (de) | Benutzerschnittstelle für berührungsbetätigte Anzeige mit expandierbarem Berührungsbereich in einem Vervielfältigungsgerät | |
DE69423679T2 (de) | Kleiner, tragbarer Rehner | |
DE69519548T2 (de) | Verfahren zum Interpretieren handgeschriebener schematischer Benutzerschnittstellenbefehle | |
DE69105997T2 (de) | Rechner mit tabletteingabe in standardprogramme. | |
DE19525644C2 (de) | Vorrichtung zur Eingabe von Daten in einen Computer | |
US20030001825A1 (en) | Coordinate position inputting/detecting device, a method for inputting/detecting the coordinate position, and a display board system | |
DE102009023875A1 (de) | Gestenerkennungsschittstellensystem mit vertikaler Anzeigefläche | |
DE69426281T2 (de) | Verfahren zur dynamischen Beibehaltung mehrfacher struktureller Interpretationen in einem Grafiksystem | |
DE69535640T2 (de) | Bestimmung der absoluten optischen position | |
DE102009032637A1 (de) | Bildvergrößerungssystem für eine Computerschnittstelle | |
JPH06508461A (ja) | 画像を自動併合するための装置及び方法 | |
DE69221204T2 (de) | Datenverarbeitungsgerät zur Fensterpositionensteuerung | |
US20040085358A1 (en) | Glow highlighting as an ink attribute | |
DE69517738T2 (de) | Verfahren zum Anwenden von elektronisch gespeicherten Etiketten auf einen Druckjob | |
DE3928444C2 (de) | Arbeitstisch | |
DE3511353C2 (de) | ||
DE19543959C2 (de) | Computergestützte Projektionsvorrichtung | |
DE69619353T2 (de) | Zwischenablage für interaktives Büro |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition |