DE102017204351A1 - Manuell betätigbare taktile Ein-/Ausgabeeinrichtung und deren Betriebsverfahren sowie Datenverarbeitungsanlage - Google Patents

Manuell betätigbare taktile Ein-/Ausgabeeinrichtung und deren Betriebsverfahren sowie Datenverarbeitungsanlage Download PDF

Info

Publication number
DE102017204351A1
DE102017204351A1 DE102017204351.2A DE102017204351A DE102017204351A1 DE 102017204351 A1 DE102017204351 A1 DE 102017204351A1 DE 102017204351 A DE102017204351 A DE 102017204351A DE 102017204351 A1 DE102017204351 A1 DE 102017204351A1
Authority
DE
Germany
Prior art keywords
housing
output device
input
tactile
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017204351.2A
Other languages
English (en)
Inventor
Matti Strese
Kevin Kuonath
Andreas Noll
Eckehard Steinbach
Piccolravazzi Martin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technische Universitaet Muenchen
Original Assignee
Technische Universitaet Muenchen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technische Universitaet Muenchen filed Critical Technische Universitaet Muenchen
Priority to DE102017204351.2A priority Critical patent/DE102017204351A1/de
Priority to US15/894,012 priority patent/US10481693B2/en
Publication of DE102017204351A1 publication Critical patent/DE102017204351A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft eine manuell betätigbare taktile Ein-/Ausgabeeinrichtung (1) für eine Datenverarbeitungsanlage (100), insbesondere eine taktile Computermaus (1'), welche mit einem Gehäuse (10') und mit einer Mehrzahl von Aktuatoren (30, 40, 50, 60, 70) in Wirkverbindung mit dem Gehäuse (10') ausgebildet ist und bei welcher die Aktuatoren (30, 40, 50, 60, 70) eingerichtet sind, in ihrer Gesamtheit und gesteuert am Gehäuse (10') zumindest temporär eine durch einen Benutzer bei manuellem Kontakt haptisch wahrnehmbare Veränderung zu bewirken, durch welche gleichzeitig mindestens zwei und insbesondere sämtliche der fünf Okamotodimensionen mikroskopische Rauigkeit, makroskopische Rauigkeit, Reibung, Härte und Wärme abdeckt sind. Ferner betrifft die Erfindung ein Betriebsverfahren für eine manuell betätigbare taktile Ein-/Ausgabeeinrichtung (1) sowie eine Datenverarbeitungsanlage (100).

Description

  • Die vorliegende Erfindung betrifft eine manuell betätigbare taktile Ein-/Ausgabeeinrichtung für eine Datenverarbeitungsanlage, ein Betriebsverfahren für eine manuell betätigbare Ein-/Ausgabeeinrichtung sowie eine Datenverarbeitungsanlage als solche. Die vorliegende Erfindung betrifft insbesondere eine taktile Computermaus.
  • Datenverarbeitungsanlagen im weitesten Sinne werden oft mit manuell betätigbaren Ein-/Ausgabeeinrichtungen versehen, zum Beispiel mit Computermäusen, um neben Tastatur- und Spracheingaben eine manuelle Eingabe durch einen Benutzer zu ermöglichen. Zum Beispiel sind mit derartigen manuell betätigbaren Ein-/Ausgabeeinrichtungen Operationen des Zeigens, des Ziehens und Ablegens durch den Benutzer möglich, um zum Beispiel Objekte an einem Bildschirm zu manipulieren.
  • Bei modernen Anwendungen kommen vermehrt taktile Rückmeldungen an den Benutzer über die jeweilige Ein-/Ausgabeeinrichtung zum Einsatz, zum Beispiel um einen Mausklick durch das Aufprägen einer Trägheitskraft zu bestätigen oder um die Aufmerksamkeit des Benutzers durch Force-Feedback zu erregen.
  • Derartige taktile Rückkopplungen sind in ihrer Struktur kaum modulierbar und daher nicht geeignet eine komplexere Rückmeldung an den Benutzer zu generieren.
  • Es ist Aufgabe der vorliegenden Erfindung eine manuell betätigbare taktile Ein-/Ausgabeeinrichtung, ein entsprechendes Betriebsverfahren und eine Datenverarbeitungsanlage zu schaffen, bei welchen mit einem hohen Maß an Flexibilität eine taktile Rückmeldung an einen Benutzer und insbesondere eine taktile Repräsentation von Oberflächenstrukturen möglich ist.
  • Die Lösung dieser Aufgabe erfolgt bei einer manuell betätigbaren taktilen Ein-/Ausgabeeinrichtung erfindungsgemäß mit den Merkmalen des Patentanspruchs 1, bei einem Betriebsverfahren für eine manuell betätigbare taktile Ein-/Ausgabeeinrichtung erfindungsgemäß mit den Merkmalen des Patentanspruchs 8 sowie bei einer Datenverarbeitungsanlage erfindungsgemäß mit den Merkmalen des Patentanspruchs 11. Vorteilhafte Weiterbildungen sind jeweils Gegenstand der abhängigen Ansprüche.
  • Gemäß einem ersten Aspekt betrifft die vorliegende Erfindung eine manuell betätigbare taktile Ein-/Ausgabeeinrichtung für eine Datenverarbeitungsanlage und insbesondere eine taktile Computermaus.
  • Die erfindungsgemäße Ein-/Ausgabeeinrichtung ist mit einem Gehäuse und mit einer Mehrzahl von Aktoren oder Aktuatoren in Wirkverbindung mit dem Gehäuse ausgebildet. Erfindungsgemäß sind die Aktoren oder Aktuatoren eingerichtet, in ihrer Gesamtheit und gesteuert am Gehäuse zumindest temporär eine durch einen Benutzer bei manuellem Kontakt haptisch wahrnehmbare Veränderung zu bewirken, durch welche gleichzeitig mindestens zwei und insbesondere sämtliche der fünf Okamotodimensionen mikroskopische Rauigkeit, makroskopische Rauigkeit, Reibung, Härte und Wärme abdeckt sind. Durch diese Maßnahmen besteht die Möglichkeit einer umfassenderen und komplexeren haptischen Rückkopplung an einen Benutzer der manuell betätigbaren taktilen Ein-/Ausgabeeinrichtung. Es ist insbesondere möglich, dem Benutzer durch die haptische Rückkopplung über die erfindungsgemäße taktile Ein-/Ausgabeeinrichtung eine Rückmeldung nach Art einer haptischen oder taktilen Oberflächenempfindung - wie beim Überstreichen einer Materialoberfläche mit der Hand - zu geben.
  • Der allgemeine Begriff „Okamotodimension“ soll jeweils einen der Aspekte oder eine der Dimensionen mikroskopische Rauigkeit, makroskopische Rauigkeit, Reibung, Härte und Wärme, die zur allumfassenden Beschreibung der taktilen und/oder haptischen Wahrnehmbarkeit von Materialoberflächen nach Okamoto et al. notwendig sind, beschreiben.
  • Es bieten sich verschiedene Möglichkeiten an, eine taktile und/oder haptisch wahrnehmbare Rückmeldung, die im Folgenden auch kurz als taktile und/oder oder haptische Rückmeldung bezeichnet wird, zu realisieren.
  • Der Begriff „haptisch“ beinhaltet als der allgemeine Oberbegriff für Sinneswahrnehmungen aller kontaktbasierten menschlichen Interaktionen mit der Umgebung die beiden Unterdimensionen „kinästhetisch“ und „taktil“. Kinästhetische Haptik umfasst ganz allgemein das Wahrnehmen z.B. von Objektform, Gewicht und dergleichen. Taktile Haptik umfasst allgemein die Wahrnehmung der Oberflächeneigenschaften auf diesen Objekten wie z.B. mikroskopische und makroskopische Rauigkeit, Reibung, Härte und Temperaturempfinden.
  • Im Zusammenhang mit der vorliegenden Erfindung werden die Begriffe „haptisch“ und „taktil“ synonym verwendet, solange keine weiteren Hinweise dazu ergehen.
  • Auch werden vorangehend und nachfolgend die Begriffe „Aktuator“, „Aktor“ und „Betätiger“ synonym verwendet, solange dazu keine anderslautenden Angaben gemacht werden.
  • So ist es bei einer vorteilhaften Weiterbildung der erfindungsgemäßen Ein-/Ausgabeeinrichtung vorgesehen, dass ein jeweiliger Aktuator eingerichtet ist und Mittel aufweist, als haptisch und/oder taktil wahrnehmbare Veränderung eine Position, Orientierung, Bewegung, insbesondere eine Schwingung, eine Bewegbarkeit und/oder eine Überlagerung davon eines Hauptteils der Ein-/Ausgabeeinrichtung, des Gehäuses oder eines Teils davon und insbesondere eines ersten Teils des Gehäuses relativ zu einem zweiten Teil des Gehäuses zu bewirken, wobei insbesondere auch deren zeitliche Änderungen realisiert werden können. Durch diese Maßnahmen können die Aspekte der makroskopischen und mikroskopischen Rauigkeit sowie der Reibung einer Materialoberfläche repräsentiert werden.
  • Alternativ oder zusätzlich ist es denkbar, dass ein jeweiliger Aktuator eingerichtet ist und Mittel aufweist, als haptisch und/oder taktil wahrnehmbare Veränderung eine Bewegbarkeit oder Beweglichkeit und insbesondere Verschiebbarkeit der Ein-/Ausgabeeinrichtung und insbesondere eines Hauptteils oder des Gehäuses davon gegenüber einer Unterlage und insbesondere deren zeitliche Änderung zu bewirken. Durch diese Maßnahmen ist es möglich, mit Reibung im Zusammenhang stehende Oberflächeneigenschaften zu generieren und zu repräsentieren, welche sich zum Beispiel bemerkbar machen durch ein mehr oder weniger starkes Widerstreben des Verschiebens oder Drehens eines Körpers auf einer materiellen Unterlage.
  • Gemäß einer weiteren alternativen oder zusätzlichen Ausgestaltungsform der erfindungsgemäßen manuell betätigbaren taktilen Ein-/Ausgabeeinrichtung ist es vorgesehen, dass ein jeweiliger Aktuator eingerichtet ist, als haptisch und/oder taktil wahrnehmbare Veränderung eine Temperatur und/oder Temperaturverteilung eines Hauptteils der Ein-/Ausgabeeinrichtung, des Gehäuses oder eines Teils davon und insbesondere eines ersten Teils des Gehäuses oder eines Teils davon und insbesondere deren zeitliche Änderung zu bewirken. Durch diese Maßnahmen können die Empfindungen kalter bzw. warmer Materialoberflächen generiert und repräsentiert werden.
  • Um die einzelnen Okamotodimensionen in Eigenschaften und Verhaltensweisen der erfindungsgemäßen manuell betätigbaren taktilen Ein-/Ausgabeeinrichtung zu überführen, bieten sich unterschiedliche mechanische, thermische und/oder elektromagnetische Wechselwirkungsmechanismen an, die insbesondere im Bereich des Gehäuses der erfindungsgemäßen Ein-/Ausgabeeinrichtung realisiert werden können.
  • So ist es denkbar, dass zur haptischen Darstellung der Okamotodimension mikroskopische Rauigkeit ein erster Aktuator ausgebildet ist, welcher eingerichtet ist, als taktile und/oder haptisch wahrnehmbare Veränderung steuerbar eine Schwingung und/oder eine Überlagerung von Schwingungen eines Hauptteils der Ein-/Ausgabeeinrichtung, des Gehäuses oder eines Teils davon und insbesondere eines ersten Teils des Gehäuses gegenüber einem zweiten Teil des Gehäuses und/oder deren zeitliche Änderung auszubilden.
  • Bei einer bevorzugten Ausführungsform der erfindungsgemäßen Ein-/Ausgabeeinrichtung kann dazu der erste Aktuator eine Schwingspulenanordnung mit mindestens einer Schwingspule und vorzugsweise mit einer Schwingmasse ausgebildet sein, welche durch Beaufschlagung mit einer elektrischen Spannung zu mechanischen Schwingungen anregbar ist. Im Betrieb übertragen sich die mit der Schwingung im Zusammenhang stehenden Trägheitskräfte, insbesondere der Schwingmasse, auf das Gehäuse der Ein-, Ausgabeeinrichtung, dies ist durch eine Vibration durch die Benutzer spürbar.
  • Vorangehend und nachfolgend werden im Zusammenhang mit der vorliegenden Erfindung die Begriffe Schwingspulenanordnung oder -aktuator, Voice-Coil-Aktuator und VCA synonym verwendet, solange dazu keine weitergehenden Angaben gemacht werden.
  • Ein besonderer Vorteil bei dieser Ausführungsform liegt darin, dass beliebige Schwingungsmuster auf die Schwingspule übertragen werden können, um komplexere Oberflächenstrukturen und/oder deren flächenmäßige Variation, zum Beispiel im Verlauf einer Bewegung über eine virtuelle Oberfläche, zu simulieren und wiederzugeben. Ein derartiges Vorgehen ist mit herkömmlichen Computermäusen mit Vibrationsrückkopplung oder Force-Feedback nicht möglich.
  • Zur taktilen und/oder haptischen Darstellung der Okamotodimension der makroskopischen Rauigkeit kann die erfindungsgemäße Ein-/Ausgabeeinrichtung einen zweiten Aktuator aufweisen, welcher eingerichtet ist, als taktile und/oder haptisch wahrnehmbare Veränderung steuerbar eine Kippbewegung und/oder eine Überlagerung von Kippbewegungen eines ersten Teils des Gehäuses gegenüber einem zweiten Teil des Gehäuses um eine oder mehrere und insbesondere um zueinander senkrecht stehende Kippachsen und/oder deren zeitliche Änderung auszubilden. Dabei können insbesondere vorgesehene Kippwinkel aufgefasst werden und realisiert sein als Rollwinkel um eine Längsachse, als Nickwinkel um eine Querachse und/oder als Gierwinkel um eine Hochachse der jeweiligen erfindungsgemäßen Ein-/Ausgabeeinrichtung und insbesondere der Computermaus. Durch diese Maßnahmen lässt sich mit besonders einfachen Mitteln in flexibler und zuverlässiger Art und Weise die makroskopische Rauigkeit einer Materialoberfläche, zum Beispiel im Sinne eines Reliefs oder eines mit mesoskopischen oder makroskopischen Formverlaufs nachempfinden
  • Der zweite Aktuator weist zum Ausbilden einer jeweiligen Kippbewegung um eine jeweilige Kippachse zum Beispiel jeweils einen Servomotor auf, welcher den ersten Teil des Gehäuses und den zweiten Teil des Gehäuses der erfindungsgemäßen Ein-/Ausgabeeinrichtung gegeneinander an die jeweilige Kippachse steuerbar verkippbar mechanisch miteinander koppelt.
  • Ferner ist es alternativ oder zusätzlich zur taktilen und/oder haptischen Darstellung der Okamotodimension der Härte denkbar, einen dritten Aktuator auszubilden, welcher eingerichtet ist, als taktile und/oder haptisch wahrnehmbare Veränderung steuerbar eine Bewegbarkeit oder Beweglichkeit und insbesondere eine Verkippbarkeit und/oder eine Überlagerung von Bewegbarkeiten oder Beweglichkeiten und insbesondere von Verkippbarkeiten eines ersten Teils des Gehäuses gegenüber einem zweiten Teil des Gehäuses um eine oder mehrere und insbesondere um zueinander senkrecht stehende Kippachsen und/oder deren zeitliche Änderung auszubilden. Durch diese Maßnahmen wird erreicht, dass das Empfinden des mehr oder weniger stark tiefen Eindringens in ein Material an der Oberfläche durch einen statischen Druck wie bei einer realen Materialoberfläche durch eine entsprechende Reaktion in oder an der erfindungsgemäßen Ein-/Ausgabeeinrichtung erzeugt wird.
  • Dabei kann der dritte Aktuator zum Ausbilden einer jeweiligen Bewegbarkeit, Beweglichkeit und/oder Verkippbarkeit um eine jeweilige Kippachse jeweils Mittel aufweisen, durch welche ein Widerstand zwischen dem ersten Teil des Gehäuses und dem zweiten Teil des Gehäuses gegen Bewegung und insbesondere gegen Verkippen gegeneinander steuerbar ist.
  • Das Mittel kann vorzugsweise einen Servomotor aufweisen, durch welchen einer Bewegung und insbesondere einem Verkippen durch manuelle Betätigung durch einen Benutzer steuerbar entgegengewirkt oder entgegengesteuert werden, insbesondere durch Blockade.
  • Bei einer anderen zusätzlichen oder alternativen Ausgestaltungsform der erfindungsgemäßen Ein-/Ausgabeeinrichtung ist zur taktilen und/oder haptischen Darstellung der Okamotodimension der Reibung ein vierter Aktuator ausgebildet. Dieser ist insbesondere eingerichtet, als taktile und/oder haptisch wahrnehmbare Veränderung steuerbar eine Bewegbarkeit oder Beweglichkeit und insbesondere eine Verschiebbarkeit eines Hauptteils der Ein-/Ausgabeeinrichtung und insbesondere des Gehäuses gegenüber einer Unterlage der Ein-/Ausgabeeinrichtung und/oder deren zeitliche Änderung auszubilden. Auf diese Weise ist es möglich, ein Widerstreben einer Materialoberfläche gegen Verschiebung zu generieren und darzustellen, wobei auch ein Widerstand gegenüber Verdrehung in der Ebene der Oberfläche realisierbar ist.
  • Diese Maßnahmen lassen sich besonders einfach verwirklichen, indem der vierte Aktuator zum Ausbilden einer jeweiligen Bewegbarkeit, Beweglichkeit und/oder Verschiebbarkeit ein Mittel aufweist, durch welches als ein Widerstand zwischen dem Hauptteil und insbesondere dem Gehäuse und der Unterlage gegen Bewegung und/oder Verschiebung gegeneinander steuerbar eine senkrecht zur Bewegung und/oder Verschiebung stehende Kraft ausbildbar ist.
  • Dabei kann das Mittel vorzugsweise miteinander steuerbar koppelbare Magneteinrichtungen im Gehäuse und in der Unterlage aufweisen, welche insbesondere als steuerbare Elektromagnete bzw. als ferromagnetische Schicht ausgebildet sind.
  • Denkbar ist jedoch auch die Verwendung von Mitteln mit elektrostatischer Wechselwirkung.
  • Da Materialien bei manuellem Kontakt in der Realität auch einen Wärmecharakter offenbaren, insbesondere durch ihre eigene Temperatur und/oder durch den durch manuellen Kontakt initiierten Wärmetransport über die Wärmeleitfähigkeit des jeweiligen Materials, bieten sich auch hier Möglichkeiten an, über eine entsprechende thermische Wechselwirkung zwischen dem Benutzer und dessen Hand mit der Oberfläche der erfindungsgemäßen Ein-/Ausgabeeinrichtung ein möglichst realistisches Bild im Zusammenhang mit einer virtuellen Materialoberfläche oder dergleichen zu generieren.
  • So ist es gemäß einer anderen vorteilhaften Weiterbildung der erfindungsgemäßen Ein-/Ausgabeeinrichtung vorgesehen, dass zur taktilen und/oder haptischen Darstellung der Okamotodimension der Wärme oder Wärmeleitfähigkeit ein fünfter Aktuator ausgebildet ist.
  • Der fünfte Aktuator ist dazu eingerichtet, als taktile und/oder haptisch wahrnehmbare Veränderung steuerbar eine Temperatur und/oder Wärmemenge am oder im Hauptteil der Ein-/Ausgabeeinrichtung und insbesondere am oder im Gehäuse oder dessen ersten Teil oder Oberteil auszubilden.
  • Dabei kann der fünfte Aktuator zum Ausbilden einer Temperatur und/oder Wärmemenge ein Mittel aufweisen, durch welches dem Hauptteil und insbesondere dem Gehäuse eine Wärmemenge zuführbar oder von diesem abführbar ist.
  • Das Mittel kann vorzugsweise eine Peltieranordnung sein oder aufweisen, und zwar mit mindestens einem steuerbaren Peltierelement, wobei durch Ausgestaltung der Polarität und/oder der Stärke der Steuerspannung des Peltierelements die jeweils einzustellende Temperatur und/oder Wärmemenge steuerbar ist.
  • Die Erfindung betrifft ferner ein Betriebsverfahren für eine manuell betätigbare taktile Ein-/Ausgabeeinrichtung einer oder für eine Datenverarbeitungsanlage und insbesondere für eine taktile Computermaus gemäß der vorliegenden Erfindung.
  • Bei dem erfindungsgemäßen Betriebsverfahren werden Aktuatoren der zu Grunde liegenden Ein-/Ausgabeeinrichtung so angesteuert, dass sie in ihrer Gesamtheit und gesteuert am Gehäuse der Ein-/Ausgabeeinrichtung zumindest temporär eine durch einen Benutzer bei manuellem Kontakt haptisch wahrnehmbare Veränderung bewirken, durch welche gleichzeitig mindestens zwei und insbesondere sämtliche der fünf Okamotodimensionen mikroskopische Rauigkeit, makroskopische Rauigkeit, Reibung, Härte und Wärme abgedeckt sind oder werden.
  • Dem Ansteuern von Aktuatoren der Ein-/Ausgabeeinrichtung können verschiedene Aspekte zu Grunde gelegt werden.
  • So ist es möglich, dass gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Betriebsverfahrens ein oder mehrere Datensätze, insbesondere nach Art oder auf der Grundlage einer Datenbank, zum Einsatz kommen, welche eine Zuordnung wiedergeben zwischen Materialien und Parametern, welche repräsentativ sind für eine oder mehrere der fünf Okamotodimensionen mikroskopische Rauigkeit, makroskopische Rauigkeit, Reibung, Härte und Wärme der jeweiligen Materialien. Dabei können die jeweils zu einer Materialoberfläche passenden Parameter ausgewählt und verwendet werden, Steuerdaten oder Steuersignale abzuleiten, auf deren Grundlage dann die Aktuatoren angesteuert werden, um über die haptische und/oder taktile Wahrnehmbarkeit für einen Benutzer an der Ein-/Ausgabeeinrichtung eine zur jeweils ausgewählten Materialoberfläche passende Empfindung zu generieren.
  • Alternativ oder zusätzlich ist es denkbar, dass eine Position, Orientierung und/oder Bewegung der Ein-/Ausgabeeinrichtung oder eines Hauptteils, insbesondere in Bezug auf eine Unterlage, und/oder eine damit im Zusammenhang stehende Position, Orientierung und/oder Bewegung eines Zeigers in einem Datenbereich, insbesondere eines Grafikspeichers, und/oder auf einer optischen Anzeige einer zu Grunde liegenden Datenverarbeitungsanlage, berücksichtigt werden. Durch diese Maßnahmen ergibt sich die Möglichkeit, eine Materialoberfläche und deren Parametersatz auszuwählen in Abhängigkeit von einer Position der Ein-/Ausgabeeinrichtung als solcher oder eines Teils davon und/oder eines Zeigers in einem Datenraum, dessen Position mit der Position der Ein-/Ausgabeeinrichtung als solcher oder eines Teils davon korreliert.
  • Zusätzlich oder alternativ können die über die erfindungsgemäße Ein-/Ausgabeeinrichtung vermittelten haptischen und/oder taktilen Wahrnehmungen mit anderen Wahrnehmungsdimensionen kombiniert werden, um das Maß an Realität der Darstellung von Materialoberflächen zu steigern.
  • So ist es bei einer besonders bevorzugten Ausgestaltungsform des erfindungsgemäßen Betriebsverfahrens vorgesehen, dass mit dem Ansteuern von Aktuatoren der Ein-/Ausgabeeinrichtung zusätzlich eine visuell-optische und/oder eine akustische Anzeige bewirkt wird, welche weitere Eigenschaften von Materialien im Zusammenhang mit dem Ansteuern von Aktuatoren repräsentiert, insbesondere durch Ansteuern einer optisch-visuellen Anzeige bzw. einer akustischen Anzeige einer zu Grunde liegenden Anzeigeeinheit.
  • Weitere Einzelheiten, Vorteile und Merkmale der vorliegenden Erfindung ergeben sich aus nachfolgender Beschreibung von Ausführungsbeispielen anhand der Zeichnung. Das bedeutet, dass zum Beispiel optische Eindrücke in Form eines Bildes oder Reliefs und/oder einer visuellen Deformation zur visuellen Anzeige gebracht werden. Alternativ oder zusätzlich können auch akustische Aspekte dargestellt werden, zum Beispiel Geräusche im Zusammenhang mit dem Inkontaktbringen mit der Oberfläche und/oder mit einer Bewegung auf der Oberfläche im Sinne eines Gleitens, Rollens oder dergleichen.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird auch eine entsprechende Datenverarbeitungsanlage geschaffen.
  • Die erfindungsgemäße Datenverarbeitungsanlage ist eingerichtet, insbesondere über eine zentrale Verarbeitungseinheit der Datenverarbeitungsanlage, eine Ausführungsform des erfindungsgemäßen Betriebsverfahrens auszuführen.
  • Alternativ oder zusätzlich weist die erfindungsgemäße Datenverarbeitungsanlage eine manuell betätigbare taktile Ein-/Ausgabeeinrichtung gemäß der vorliegenden Erfindung und insbesondere eine erfindungsgemäße taktile Computermaus und/oder eine Kommunikationsverbindung zu einer manuell betätigbaren taktilen Ein-/Ausgabeeinrichtung und insbesondere zu einer taktilen Computermaus auf.
  • Bei einer besonders bevorzugten Ausgestaltungsform der erfindungsgemäßen Datenverarbeitungsanlage ist ein Speichermittel, insbesondere nach Art einer Datenbank, ausgebildet und eingerichtet zum Speichern ein oder mehrerer Datensätze, welche eine Zuordnung wiedergeben zwischen Materialien und Parametern, welche repräsentativ sind für eine oder für mehrere der fünf Okamotodimensionen mikroskopische Rauigkeit, makroskopische Rauigkeit, Reibung, Härte und Wärme der jeweiligen Materialien.
    • 1 zeigt schematisch nach Art eines Blockdiagramms eine Ausführungsform der erfindungsgemäßen Datenverarbeitungsanlage unter Verwendung einer Ausgestaltungsform der erfindungsgemäßen Ein-/Ausgabeeinrichtung.
    • 2 beschreibt schematisch die fünf dominanten haptischen oder taktilen Dimensionen nach Okamoto et al., auf deren Grundlage das haptische und/oder taktile Empfinden von Materialoberflächen realitätsnah oder realitätsgetreu repräsentierbar ist.
    • 3 bis 8 zeigen verschiedene Ansichten des Aufbaus und der Anwendung von Ausführungsformen der erfindungsgemäßen Ein-/Ausgabeeinrichtung nach Art einer Computermaus.
    • 9 bis 15 zeigen in schematischen Seitenansichten bzw. einer Draufsicht verschiedene Ausgestaltungsformen der erfindungsgemäßen Ein-/Ausgabeeinrichtung nach Art einer Computermaus zur Realisierung der unterschiedlichen Okamotodimensionen.
    • 16 zeigt ein Blockdiagramm zu einer Ausführungsform des erfindungsgemäßen Betriebsverfahrens.
    • 17 zeigt nach Art eines Blockdiagramms eine andere Ausführungsform der erfindungsgemäßen Datenverarbeitungsanlage in einem Anwendungsfall nach Art einer Oberflächendarstellungsanwendung.
    • 18 zeigt nach Art eines schematischen Blockdiagramms Aspekte einer Ausführungsform des erfindungsgemäßen Betriebsverfahrens mit Fokus auf die Repräsentation eines Oberflächenmodells in einer Oberflächendarstellungsanwendung zur Ansteuerung einer erfindungsgemäßen Ein-/Ausgabeeinrichtung nach Art einer taktilen Computermaus.
  • Nachfolgend werden unter Bezugnahme auf die 1 bis 18 Ausführungsbeispiele und der technische Hintergrund der Erfindung im Detail beschrieben. Gleiche und äquivalente sowie gleich oder äquivalent wirkende Elemente und Komponenten werden mit denselben Bezugszeichen bezeichnet. Nicht in jedem Fall ihres Auftretens wird die Detailbeschreibung der bezeichneten Elemente und Komponenten wiedergegeben.
  • Die dargestellten Merkmale und weiteren Eigenschaften können in beliebiger Form voneinander isoliert und beliebig miteinander kombiniert werden, ohne den Kern der Erfindung zu verlassen.
  • 1 zeigt schematisch nach Art eines Blockdiagramms eine Ausführungsform der erfindungsgemäßen Datenverarbeitungsanlage 100 unter Verwendung einer Ausgestaltungsform der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1.
  • Die erfindungsgemäße Datenverarbeitungsanlage 100 aus 1 wird dem Kern nach gebildet von einer Verarbeitungseinheit 120, mit einer zentralen Verarbeitungseinheit 130 und einer Datenbankeinheit 140. Als zusätzliche Komponenten können entsprechende Speichereinheiten vorgesehen sein, die hier implizit als Bestandteile der zentralen Verarbeitungseinheit 130 aufgefasst werden und nicht explizit dargestellt sind.
  • Über einen Erfassungs- und/oder Steuerkanal, der auch als Kommunikationskanal 115 bezeichnet werden kann, ist mit der Verarbeitungseinheit 110 eine Anzeigeeinheit 110 mit einer optischen Anzeige 111, zum Beispiel in Form eines Monitors oder dergleichen, und mit einer akustischen Anzeige 112, zum Beispiel in Form eines Lautsprechers oder dergleichen, verbunden. Über die Anzeigen 111 und 112 können optisch-visuelle bzw. akustische Aspekte von Materialoberflächen dargestellt werden, insbesondere im Zusammenhang mit einer entsprechenden Oberflächendarstellungsanwendung.
  • Des Weiteren ist über einen weiteren Erfassungs- und/oder Steuerkanal, der auch als Kommunikationskanal 116 aufgefasst werden kann, eine Ausführungsform der erfindungsgemäßen manuell betätigbaren haptischen und/oder taktilen Ein-/Ausgabeeinrichtung 1 mit der Verarbeitungseinheit 120 verbunden.
  • Die Ein-/Ausgabeeinrichtung 1 aus 1 kann zum Beispiel nach Art einer Computermaus 1' ausgebildet sein und im Zusammenhang mit einem Gehäuse 10' für ein Hauptteils 10 einen ersten Teil 11 als Oberteil und einen zweiten Teil 12 als Unterteil aufweisen. Bei der Ausführungsform gemäß 1 wird die Ein-/Ausgabeeinrichtung 1 im Zusammenhang mit einer Unterlage 20 mit einer eine Oberfläche oder Oberseite 20a bildenden Oberschicht oder Folie 21, einer Wechselwirkungsschicht 22, zum Beispiel in Form einer ferromagnetischen Schicht, und einer Basis 23 gesehen.
  • Erfindungsgemäß ist die Ein-/Ausgabeeinrichtung 1 aus 1 mit mehreren Aktuatoren, 30, 40, 50, 60, 70 ausgebildet die eingerichtet sind, in ihrer Gesamtheit und gesteuert am Gehäuse 10' zumindest temporär eine durch einen Benutzer bei manuellem Kontakt taktile und/oder haptisch wahrnehmbare Veränderung zu bewirken, durch welche gleichzeitig mindestens zwei der Okamotodimensionen mikroskopische Rauigkeit, makroskopische Rauigkeit, Reibung, Härte und Wärme abgedeckt oder abdeckbar sind.
  • In 1 sind noch die drei Raumrichtungen X, Y und Z dargestellt, wobei sich die Ebene der Unterlage 20 parallel zur XZ-Ebene erstreckt.
  • 2 beschreibt schematisch die fünf dominanten haptischen und/oder taktilen Dimensionen nach Okamoto et al., auf deren Grundlage das haptische und/oder taktile Empfinden von Materialoberflächen realitätsnah oder realitätsgetreu repräsentierbar ist.
  • Formal können die fünf Okamotodimensionen
    1. (i) mikroskopische Rauigkeit oder Mikrorauheit, zum Beispiel im Sinne von rau oder glatt oder dergleichen,
    2. (ii) makroskopische Rauigkeit oder Makrorauheit, zum Beispiel im Sinne von uneben, eben, Relief oder dergleichen,
    3. (iii) Reibung, zum Beispiel im Sinne von feucht, trocken, klebrig, rutschig oder dergleichen,
    4. (iv) Härte oder Steifigkeit, zum Beispiel im Sinne von hart oder weich oder dergleichen, und
    5. (v) Wärme oder Wärmeleitfähigkeit, im Sinne von warm oder kalt,
    jeweils als Dimensionen einem fünfdimensionalen Parameterraum zur vollständigen und realitätsnahen oder realistischen Beschreibung von Eigenschaften von Materialoberflächen aufgefasst werden.
  • 3 bis 8 zeigen verschiedene Ansichten des Aufbaus und der Anwendung von Ausführungsformen der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 nach Art einer Computermaus 1'.
  • Die erfindungsgemäße Ein-/Ausgabeeinrichtung 1 gemäß den 3 bis 8 besteht dem Kern nach aus einem Hauptteil 10 mit Gehäuse 10', welches einen ersten Teil 11 als Oberteil und einen zweiten Teil 12 als Unterteil aufweist.
  • Aus 4 ist ersichtlich, dass ein Benutzer B zumindest die Oberfläche oder Oberseite des ersten Teils 11 oder des Oberteils des Gehäuses 10' des Hauptteils der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 manuell berührt, um bestimmte Operationen einerseits manuell auszuführen und andererseits eine haptisch und/oder taktil nebenbare Rückkopplung oder Rückmeldung mit der Hand zu empfangen.
  • Die 5 und 6 zeigen isoliert voneinander den ersten Teil oder das Oberteil 11 bzw. den zweiten Teil oder das Unterteil 12 des Gehäuses 10' des Hauptteils 10 der als Computermaus 1' ausgestalteten erfindungsgemäßen Ein-/Ausgabeeinrichtung 1.
  • Die 7 und 8 zeigen den Hauptteils 10 einer als Maus 1' ausgestalteten erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 im Zusammenwirken mit einer Unterlage 20 bei Bedienung durch einen Benutzer B. Die Unterlage 20 ist über seine Oberseite 20a zur Wechselwirkung mit der Unterseite des Unterteils 12 des Gehäuses 10' ausgebildet. Die Oberseite 20a kann zum Beispiel von einer Folie 21 gebildet werden. Darunter befindet sich eine Wechselwirkungsschicht, zum Beispiel in Form einer ferromagnetischen Schicht 22, deren weitere Funktion weiter unten erläutert wird.
  • In 8 sind noch der Schwerpunkt 14 und Schalter 13 des Hauptteils 10 der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 dargestellt, zum Beispiel im Sinne rechter und linker Maustasten.
  • 9 bis 15 zeigen in schematischen Seitenansichten bzw. einer Draufsicht verschiedene Ausgestaltungsformen der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 nach Art einer Computermaus 1' zur Realisierung der unterschiedlichen Okamotodimensionen.
  • Bei der Ausführungsform der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 gemäß 9 ist im Bereich des ersten oder Oberteils 11 des Gehäuses 10' des Hauptteils 10 als erster Aktuator 30 nach Art einer Schwingspulenanordnung mit einer Schwingspule VC und einer Schwingmasse M ausgebildet, um im Betrieb eine haptisch und/oder taktil von einem Benutzer B wahrnehmbare Kraft Ftaktil, zum Beispiel im Sinne einer Vibrationskraft und/oder Trägheitskraft zu generieren und die Okamotodimension der mikroskopischen Rauigkeit oder Rauheit darzustellen und zu repräsentieren.
  • Die Schwingspule VC ist erfindungsgemäß durch Beaufschlagung mit einer elektrischen Spannung zu mechanischen Schwingungen anregbar, wobei - im Gegensatz zu herkömmlichen Force-Feedback-Anordnungen - eine beliebige Schwingungsmodulation erzeugbar ist, um z.B. komplexeren Oberflächenstrukturen, insbesondere mit mehreren Frequenzkomponenten des vom Menschen wahrnehmbaren Bereichs, zum Beispiel von 0 Hz bis 600 Hz, bei Bewegung darstellen und Rechnung tragen zu können.
  • Bei der Ausführungsform gemäß 10 weist die erfindungsgemäße Ein-/Ausgabeeinrichtung 1 als (vierten) Aktuator 60 im zweiten Teil oder Unterteil 12 des Gehäuses 10' eine Anordnung aus ersten und zweiten Elektromagneten EM1 und EM2 sowie im Bereich der Unterlage 20 eine ferromagnetische Schicht 22 unterhalb der Oberfläche 20a bildenden Folie 21 auf.
  • Im Betrieb können die Elektromagnete EM1 und EM2 des (vierten) Aktuators 60 mit elektrischen Spannungen oder Strömen beaufschlagt werden, gegebenenfalls in modulierter Art und Weise, um Normalkräfte FN1 und FN2 senkrecht zur Oberfläche 20a und zur Unterseite des Unterteils 12 des Gehäuses 10' und mithin simulierte Reibungskräfte FR1 und FR2 zu generieren. Im Betrieb werden in Abhängigkeit von den zu Grunde liegenden Materialeigenschaften entsprechend die Elektromagnete EM1 und EM2 angesteuert, um in magnetischer Wechselwirkung zwischen den Elektromagneten EM1 und EM2 und der ferromagnetischen Schicht 22 ein unterschiedliches und materialabhängiges Widerstreben gegen eine Verschiebung oder Bewegung des Hauptteils 10 auf und gegenüber der Unterlage 20 zu darzustellen und wiederzugeben. Auf diese Weise ist die Okamotodimension der Reibung in haptisch und/oder taktil wahrnehmbarer Weise für einen Benutzer darstellbar.
  • Bei der Ausführungsform gemäß 11 weist die erfindungsgemäße Ein-/Ausgabeeinrichtung 1 im zweiten Teil oder Unterteil 12 des Gehäuses 10' des Hauptteils 10 einen (zweiten) Aktuator 40 mit einem ersten und einem zweiten Servomotor S1 und S2 auf, die eine mechanische Kopplung zwischen Oberteil 11 und Unterteil 12 des Gehäuses 10' und deren Verkippen oder Verschwenken um Kipp- oder Schwenkachsen parallel zur Z-Achse für den Servomotor S1 bzw. parallel zur X-Achse für den Servomotor S2 bewirken können, um dadurch die Okamotodimension der makroskopischen Rauigkeit oder Rauheit, zum Beispiel im Sinne eines Reliefs oder einer Undulation, darzustellen.
  • Die 12 bis 14 zeigen Ausführungsformen der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1, welche zur Darstellung der Okamotodimension der Härte oder Steifigkeit von Materialoberflächen eingerichtet sind und dazu verschiedenartig ausgestaltete (dritte) Aktuatoren 50 aufweisen.
  • Bei der Ausführungsform gemäß 12 bildet der erste Servomotor S1, der schon im Zusammenhang mit dem zweiten Aktuator 40 aus 11 zur Darstellung der Okamotodimension der makroskopischen Rauigkeit verwendet wurde, einen Teil des dritten Aktuators 50, und zwar zusammen mit einem zusätzlichen dritten Servomotor S3.
  • Im Betrieb wird die endliche Steifigkeit des ersten Servomotors S1 (und gegebenenfalls auch des zweiten Servomotor S2) verwendet, um einer manuellen Betätigung durch den Benutzer im Hinblick auf ein manuelles Verkippen der ersten und zweiten Teile 11 und 12 des Gehäuses 10' des Hauptteils 10 entgegenzuwirken. Durch eine entsprechende Stellung des dritten Servomotors S3 des dritten Aktuators 50 kann ein Verkippen oder Verschwenken der ersten und zweiten Teile 11 und 12 gegeneinander vollständig blockiert werden, gegebenenfalls um eine oder mehrere Achsen und dadurch eine maximale Härte darzustellen und diese zur haptischen und/oder taktilen Wahrnehmung für den Benutzer B zu bringen.
  • Bei der Ausführungsform gemäß 13 wird eine variable Härte als Okamotodimension darstellbar über das Zusammenwirken einer Feder 52 mit einer Federkonstanten kspring, eines Abstützelements oder Lagers 51 und einen über einen vierten Servomotor S4 mit Zahnrad 54 in Wechselwirkung mit einer Zahnschiene oder Zahnstange 53 verstellbaren Schwenkpunkt 15 mit entsprechenden Hebeln l1 und l2. Je nach Lage des Schwenkpunkts 15, eingestellt und positioniert entlang der Zahnschiene 53, sind über die Hebel l1 und l2 und über die Federkonstante kspring der Feder 52 unterschiedliche Gegenmomente beim manuellen Verkippen von Oberteil 11 und Unterteil 12 des Gehäuses 10' durch den Benutzer zu überwinden, wodurch der Eindruck einer unterschiedlichen Härte einer zugeordneten Materialoberfläche repräsentiert wird.
  • Bei der Ausführungsform gemäß 13 sind noch die Elektromagnete EM1 und EM2 eines vierten Aktuators 60 für die Reibung und die ersten und zweiten Servomotoren S1 und S2 des zweiten Aktuators 40 für die makroskopische Rauigkeit dargestellt; deren Anwesenheit ist jedoch nicht zwingend erforderlich.
  • Bei der 14 ist über ein Ensemble einer Mehrzahl von Federn 52 des dritten Aktuators 50, ebenfalls im Zusammenwirken mit einer Stütze oder mit einem Bolzen 55 über den vierten Servomotor S4 mit Antrieb über ein Zahnrad 54 und eine Zahnstange oder Zahnschiene 53 ebenfalls eine variable Härte einer zugeordneten Materialoberfläche simulierbar, nämlich über eine mittels der Verschiebung der Zahnschiene 53 einstellbaren Anzahl von Federn 52 zwischen den beiden Gehäuseteilen 12-1 und 12-2 des Unterteils 12 des Gehäuses 10' des Hauptteils 10. Mit steigender Anzahl von Federn 52 wird eine taktile und/oder haptisch wahrnehmbare gesteigerte Härte der zugeordneten Materialoberfläche simuliert. Durch Einfügen der Stütze oder des Bolzens 55 mit quasi unendlich hoher Steifigkeit wird eine maximal steife oder harte Materialoberfläche suggeriert.
  • Eine Verschwenkung erfolgt um den Drehpunkt oder Schwenkpunkt 15 des Abstützelements oder Lagers 51 herum statt.
  • Durch die Ausführungsform gemäß 15 ist mit der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 nach Art einer Computermaus 1' die Okamotodimension der Wärme oder Wärmeleitfähigkeit einer Materialoberfläche als haptische und/oder taktile Wahrnehmung generierbar.
  • Dazu wird über einen fünften Aktuator 70 Wärmemenge oder thermische Energie Etherm im Bereich der Oberseite des Oberteils 11 des Gehäuses 10' eingebracht. Je nach Art der Wärmemenge kann ein entsprechender Wärmestrom Itherm im Oberteil 11 generiert werden mit einer entsprechenden Wärmemengeverteilung und/oder Temperaturverteilung. Dadurch entsteht bei manueller Berührung durch einen Benutzer B das Empfinden einer warmen oder kalten Oberfläche. Realisiert werden kann die Anordnung unter Verwendung eines fünften Aktuators 70 nach Art einer Peltieranordnung unter Verwendung eines oder einer Mehrzahl von Peltierelementen P.
  • Unter anderem kann diese Maßnahme dem Darstellen von metallischen Oberflächen, zum Beispiel mit einem Wärmeabfluss, und/oder bei Bewegung dem Darstellen von Erwärmung durch Wärmezufluss oder vermindertem Wärmeabfluss bei rauen Materialien, wie z.B. bei Sandpapier oder bei Textilien, dienen.
  • 16 zeigt ein Blockdiagramm zu einer Ausführungsform des erfindungsgemäßen Betriebsverfahrens T mit Schritten T1 bis T5.
  • In einem ersten Schritt T1 werden die Position, die Orientierung und/oder die Bewegung der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1, insbesondere der Computermaus 1' und vorzugsweise des Hauptteils 10 oder Gehäuses 10', und/oder eines Zeigers 113 in einem Datenbereich oder Anzeigebereich 114 ermittelt.
  • In einem zweiten Schritt T2 erfolgt auf der Grundlage der ermittelten Position, Orientierung und/oder Bewegung eine Materialzuordnung. Das bedeutet, dass der ermittelten Position, Orientierung und/oder Bewegung in vordefinierter Weise zumindest temporär ein Material zugeordnet wird.
  • In einem dritten Schritt T3 wird entsprechend dem zugeordneten Material - insbesondere aus einer Datenbankeinheit 140 - ein entsprechender Parametersatz ermittelt, welcher die Okamotodimensionen des jeweiligen zugeordneten Materials oder eines Teils davon beschreibt.
  • In einem vierten Schritt T4 wird aus dem die Okamotodimensionen beschreibenden Parametersatz ein Steuerdatensatz erzeugt, um im nachfolgenden fünften Schritt T5 mittels des Steuerdatensatzes die Aktuatoren 30, 40, 50, 60, 70 der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 zur haptisch und/oder taktil wahrnehmbaren Darstellung der Eigenschaften der zugeordneten Materialoberfläche anzusteuern.
  • Die Abfolge der Schritte T1 bis T5 kann in ein Gesamtverfahren nach Art einer bedingten Schleife wiederholt ausgeführt werden, das heißt es können ständig die Position, Orientierung und/oder Bewegung ermittelt und überprüft werden, um aktuell eine Materialzuordnung und damit den zur Ansteuerung der Aktuatoren 30, 40, 50, 60, 70 verwendeten Parametersatz in Echtzeit anzupassen.
  • 17 zeigt nach Art eines Blockdiagramms eine andere Ausführungsform der erfindungsgemäßen Datenverarbeitungsanlage 100 in einem Anwendungsfall nach Art einer Oberflächendarstellungsanwendung und insbesondere unter Verwendung einer Ausführungsform des Betriebsverfahrens T.
  • 18 zeigt nach Art eines schematischen Blockdiagramms Aspekte einer Ausführungsform des erfindungsgemäßen Betriebsverfahrens T mit Fokus auf die Repräsentation eines Oberflächenmodells in einer Oberflächendarstellungsanwendung zur Ansteuerung einer erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 nach Art einer taktilen Computermaus 1'.
  • Diese und weitere Aspekte der vorliegenden Erfindung werden auch anhand der folgenden Darstellung weiter erläutert:
  • Die vorliegende Erfindung betrifft insbesondere eine taktile und/oder haptisch rückkoppelnde Ein- und/oder Ausgabeeinrichtung 1 für eine Datenverarbeitungsanlage 100 und vorzugsweise eine taktile und/oder haptisch rückkoppelnde Computermaus 1'.
  • Vorangehend und nachfolgend wird der Begriff der Computermaus 1' rein stellvertretend für eine allgemeine Ein- und/oder Ausgabeeinrichtung 1 für eine Datenverarbeitungsanlage 100 erwähnt. Diese Darstellung wird bequemlichkeitshalber gewählt und sei nicht beschränkend in Bezug auf den Erfindungsgegenstand. Anstelle einer Computermaus 1' kann eine beliebige andere Ein- und/oder Ausgabeeinrichtung 1 für eine Datenverarbeitungsanlage 100 vorgesehen und in den Anwendungen zur Realisierung der erfindungsgemäßen Konzepte eingesetzt werden.
  • Taktile und/oder haptische Computermaus
  • Insbesondere schafft die vorliegende Erfindung ein Konzept für die künstliche Erstellung und/oder Repräsentation taktiler und/oder haptischer Eigenschaften realer Objektoberflächen mittels einer neuen Ein- und/oder Ausgabeeinrichtung 1 und insbesondere einer neuartigen Computermaus 1'.
  • Eine Computermaus 1' ist eines der Standardinteraktionsgeräte für die Menschmaschineinteraktion oder Human-Computer-Interaction (HCI).
  • Eine visuelle Rückmeldung der aktuellen Position des Mauszeigers wird zum Beispiel von einem Computermonitor 110, 111 angezeigt.
  • Anwendungen, die die Möglichkeit bieten, mit Objekten zu interagieren, würden jedoch von einer zusätzlichen taktilen Rückmeldung über die Objekt- und Oberflächeneigenschaften profitieren.
  • Menschen erkennen und verarbeiten verschiedene berührungsbezogene Eindrücke wie Rauheit, Reibung und Wärme parallel zu visuellen und akustischen Informationen. Neben der realistischen Oberflächendarstellung oder der taktilen Erweiterung von gängigen Benutzeroberflächen kann eine taktile Computermaus 1' das Eintauchen in virtuelle Umgebungen (englisch: virtual environments, VE) verbessern.
  • Bekannten Virtual-Reality-Geräten fehlt es an taktiler oder haptischer Rückmeldung oder an taktilem Feedback für eine Erweiterung des simulierten Realismus.
  • Das erfindungsgemäß vorgeschlagene Konzept, das aus der notwendigen Hardware, den Algorithmen und den zu Grunde gelegten Modellen besteht, kann an jeden möglichen Anwendungsfall angepasst werden. Derartige Anwendungsfälle werden nachfolgend kurz skizziert.
  • Anwendungsbeispiele
  • Das Hinzufügen umfassender taktiler Rückmeldungen in eine gewöhnliche Computermaus, welche über einfache Vibrationen hinausgehen, ermöglicht eine Vielzahl von Verbesserungen bestehender Anwendungen.
  • Erweitertes Gaming, Bedienoberflächenverbesserung und Einsatz in virtuellen Umgebungen.
  • Virtuelle Umgebungen sollen dem Menschen möglichst realistische Eindrücke vermitteln. Das Hinzufügen beispielsweise von Wärmeeindrücken und/oder von Eindrücken einer feinen Rauheit oder Rauigkeit während des Bewegens über eine virtuelle Sandoberfläche kann den wahrgenommenen Realismus zusätzlich zu den visuellen und akustischen Informationen verstärken.
  • Des Weiteren kann eine taktile Computermaus 1' den Benutzer über den Zustand eines Avatars in einer künstlichen Umwelt oder VE informieren.
  • Die oberen Körperteile der erfindungsgemäßen taktilen Computermaus 1' können bewegt werden, um unterschiedliche physikalische Neigungen, wie beispielsweise die eines Raumschiffs, anzuzeigen.
  • Ein modifizierbarer Reibungskoeffizient zwischen der Mausunterseite und einem Mauspad als Unterlage 20 kann anzeigen, dass ein Avatar mit zu vielen virtuellen Gegenständen belastet ist und sich daher nur langsam oder langsamer bewegen kann.
  • Im Hinblick auf die Computerspiel- oder Gamingbranche schlägt die vorliegende Erfindung unter anderem vor, die taktile Computermaus um weitere Eingabesensoren zu erweitern.
  • So ist es denkbar, eine Trägheit- oder Inertialmesseinheit, die auch als IMU (englisch für inertial measurement unit) bezeichnet werden kann, zu verwenden, um einen aktuellen Rotationszustand der erfindungsgemäßen Computermaus 1' zu bestimmen und um zu detektieren, ob der Nutzer die taktile Computermaus 1' von dem Mauspad als Unterlage 20 abgehoben hat, um z.B. eine hüpfende Bewegung in einer virtuellen Realität oder Umwelt, zum Beispiel in einem Computerspiel, darzustellen.
  • Eine Trägheit- oder Inertialmesseinheit weist zum Beispiel eine Kombination von Trägheit- oder Inertialsensoren wie Beschleunigungssensoren und Gyroskopen oder dergleichen auf, um die Lage und/oder die Neigung eines Objekts - hier in den XYZ-Richtungen - oder beschleunigende Bewegungen, z.B. ein „Hüpfen“, zu ermitteln
  • Des Weiteren können kraftsensitive Widerstände (FSR : force sensitive resistance) zum Beispiel an den Seiten der Computermaus 1' angebracht werden, um unterschiedliche Drücke auf die Computermaus 1' einwirken lassen zu können und dementsprechend in einer virtuellen Umgebung, zum Beispiel in einem Computerspiel, Aktionen durchführen zu können.
  • Derartige Eingabemodalitäten sind erfindungsgemäß ohne Probleme realisierbar und erweitern das Spektrum der Rückkopplung und des Initiierens und Ausführens von Aktionen in einer virtuellen Umgebung.
  • Abgesehen von Gaming-VE verbessert die Erweiterung von taktilen und/oder haptischen Ausgabeeigenschaften alltägliche Mensch-Maschine-Interaktionen. Das Darstellen von unterschiedlichen Reibungskräften mittels der erfindungsgemäßen Computermaus 1' kann beispielsweise verwendet werden, um das Drag-Drop-Erlebnis entsprechend z.B. der Dateigröße der gezogenen Datei zu ändern. Die erfindungsgemäße Computermaus 1' kann um verschiedene Wärmeleitfähigkeiten erweitert werden, um zum Beispiel den Zustand einer Schaltfläche einer Benutzerschnittstelle (englisch: user interface (UI)) anzuzeigen.
  • Taktile Darstellung von Oberflächen für Anwendungen im Bereich E-Commerce
  • E-Commerce-Plattformen bieten in der Regel eine visuelle Rückmeldung ihrer angebotenen Produkte. Eine taktile Computermaus 1' oder eine beliebige taktile Ein-Ausgabeeinrichtung 1' gemäß der vorliegenden Erfindung kann verwendet werden, um potentiellen Käufern die Oberflächeneigenschaften, z.B. die feine Rauheit eines Gewebes beim Online-Shopping darzustellen.
  • In diesem Zusammenhang muss eine taktile Computermaus über die Verwendung von einfachen Vibrationsmotoren hinausgehen, um eine entsprechend reichhaltige taktile und/oder haptische Rückmeldung an den menschlichen Benutzer zu geben.
  • Aktuelle Erkenntnisse in diesem Bereich zeigen, dass ein realistisches taktiles und/oder haptisches Feedback, insbesondere der taktile Eindruck von Rauheit, mit so genannten Schwingspulenaktoren realistisch angezeigt werden kann.
  • Die notwendigen Signale können mit Beschleunigungssensoren aufgezeichnet werden, die auch für Oberflächenklassifizierungs- oder Modellierungsverfahren verwendet werden können.
  • Weitere Aktoren 70 wie Peltierelemente P können zur Anzeige anderer relevanter Eindrücke wie Hitze oder Kälte verwendet werden.
  • Teleoperation
  • Teleoperations-Systeme werden zum Beispiel über berührungsempfindliche Anzeigeeinrichtungen, z.B. über Touchpanels, Touchdisplays oder Joysticks gesteuert.
  • Eine taktile Rückkopplung durch ein bekanntes HCI-Gerät, wie eine Computermaus 1', kann die Steuerbarkeit dieser Robotersysteme intuitiv erhöhen, weil viele Personen mit dem Umgang von Computermäusen 1' vertraut sind.
  • Wenn ein Roboter z.B. mit thermischen Sensoren ausgerüstet ist, kann eine taktile Wärmerückkopplung gegeben werden, um die Bedienungsperson B zu warnen, falls sie sich einer heißen Objektoberfläche nähert.
  • Zusätzlich kann die erfindungsgemäße taktile oder haptische Computermaus 1' ihre dargestellte Reibung erhöhen, um dem Bediener B anzuzeigen, dass sich der teleoperierte Roboter nahe seiner mechanischen zulässigen Grenzen befindet.
  • Unterstützung sehbehinderter Personen
  • Gewöhnliche Ein- und/oder Ausgabeeinrichtungen für Datenverarbeitungsanlagen 100 und insbesondere gewöhnliche Computermäuse 1' und Applikationen bieten in der Regel keine unterstützte Bedienbarkeit für sehbehinderte Menschen.
  • Eine entsprechend angepasste erfindungsgemäße taktile und/oder haptische Computermaus 1' kann die Position eines Mauszeigers 113 zusätzlich physikalisch anzeigen, indem der obere Mauskörperteil 11 entsprechend der aktuellen Position des Mauszeigers 113 auf dem Bildschirm 110, 111 geneigt wird.
  • Zusätzlich können die UI- oder Schnittstellenelemente eines Programms durch verschiedenartige Vibrationen und thermische Rückkopplung dargestellt werden.
  • In Kombination mit taktiler und/oder haptischer Rückkopplung kann zusätzlich eine Audiorückkopplung zur Unterstützung einer sehbehinderten Person während der Durchführung einer gewünschten Aufgabe eingesetzt werden.
  • Kernaspekte der Erfindung
  • Der menschliche Tastsinn besteht aus einer Reihe unterschiedlicher taktiler Dimensionen wie Härte, Rauheit, Reibung oder Wärmeleitfähigkeit, die spezifisch für eine Oberfläche sind.
  • Erfindungsgemäß wird ein neuartiges Ein-/Ausgabesystem eingeführt, um diese taktilen Eigenschaften einem Benutzer während der Interaktion mit einem Computer oder einer allgemeinen Datenverarbeitungsanlage anzuzeigen.
  • Vorgeschlagen wird ein Konzept, bei welchem insbesondere vorab aufgezeichnete Signale zur taktilen und/oder haptischen Repräsentation verwendet werden, z.B. Beschleunigungssignale aufgezeichnet mit einem Gerät, das eine Oberfläche überstreicht. Ferner werden mit dem erfindungsgemäßen Konzept ein entsprechendes Modellierungsverfahren und die taktile Darstellung zu Grunde gelegter Modelle mit einer taktilen und/oder haptischen Ein-/Ausgabeeinrichtung 1 für eine Datenverarbeitungsanlage 100 insbesondere mit einer taktilen und/oder haptischen Computermaus 1' und einer grafischen Benutzeroberfläche vorgeschlagen.
    • - Die erfindungsgemäß vorgeschlagene taktile Computermaus 1' ist mit einer Bandbreite von Aktoren oder Aktuatoren 30, 40, 50, 60, 70 ausgestattet, um taktile Eigenschaften an einen Benutzer B auszugeben. Es werden dabei Erkenntnisse über die die fünf dominanten taktilen Dimensionen der menschlichen Oberflächenwahrnehmung verwendet. Eine Vorrichtung, die in der Lage ist, ein entsprechendes Feedback zu diesen taktilen Dimensionen zu generieren, wird als realistisch in Bezug auf die Aufgabe der künstlichen Oberflächendarstellung angesehen.
    • - Der erfindungsgemäße Ansatz bewahrt die Eingabemöglichkeiten einer üblichen Computermaus, z.B. die zweidimensionale Eingabeposition und das Klicken mit den Maustasten, aber verbessert ihre Ausgabekapazitäten. Die erfindungsgemäße taktile Computermaus kann intuitiv in andere Softwareanwendungen integriert werden, z.B. um Computerspiele, gemeinsame Benutzerschnittstellen oder Teleoperationssysteme zu verbessern, da das erfindungsgemäß vorgeschlagene Konzept durch die Verwendung von Standardkommunikationsprotokollen, z.B. über USB und/oder allgemeine serielle Kommunikation, in diese Anwendungen integriert werden kann. Darüber hinaus können kostengünstige Komponenten für die Realisierung des erfindungsgemäßen Konzepts verwendet werden und stellen damit eine erschwingliche Lösung für eine breite Palette von Anwendungen dar.
    • - Gemäß der vorliegenden Erfindung werden auch Algorithmen vorgestellt, welche eingerichtet sind, die Modelldarstellung einer Oberfläche aufzubauen.
  • Weiterer technischer Hintergrund
  • Im Allgemeinen reproduzieren herkömmliche Geräte höchstens eine grundlegende taktile Rückkopplung in Form einer einzelnen modulierten Schwingung für einen menschlichen Benutzer.
  • Die aktuelle Forschung auf diesem Gebiet hat jedoch gezeigt, dass eine realistische Wiedergabe von z.B. taktilen Oberflächeninformationen eine Kombination verschiedener Wahrnehmungsdimensionen erfordert, wie beispielsweise Härte/Steifigkeit, Reibung, grobe Oberflächenstrukturwahrnehmung, Wärme und feine Rauheitswahrnehmung.
  • Dies ist im Detail z.B. in der Publikation „Psychophysical dimensions of tactile perception of textures" von Okamoto, Nagano und Yamada, IEEE Transactions on Haptics, Band 6, Seiten 81 bis 93, vom März 2013 dargelegt.
  • Im Gegensatz zur vorliegenden Erfindung, sind bekannte Computermäuse höchstens in der Lage, eine stark begrenzte Untermenge der bei Okamoto et al. beschriebenen reichen taktilen Dimensionen als Rückkopplung zu reproduzieren, verfügen über keinen taktilen Wahrnehmungshintergrund oder liefern kein reproduzierbares Konzept für eine realistische Oberflächendarstellung.
  • Hintergrund: Psychophysische Dimensionen der taktilen Oberflächenwahrnehmung
  • Die oben erwähnte Studie von Okamoto et al. zeigt, dass Menschen taktile Hinweise aus unterschiedlichen Wahrnehmungsdimensionen entnehmen, die aus der Wechselwirkung z.B. der Hand mit einer Oberfläche resultieren, wie dies in 2 dargestellt ist.
  • 2 zeigt also die fünf dominanten taktilen Dimensionen, auf welchen die vorliegende Erfindung fußt.
  • Erfindungsgemäß wird jeder taktilen Dimension ein Aktuator 30, 40, 50, 60, 70 und/oder eine Aktuatoraktion zugeordnet.
  • Insbesondere wird jeder taktilen Dimension nach Art einer Eins-zu-eins-Zuordnung ein eigener taktiler Aktor 30, 40, 50, 60, 70 und/oder eine eigene Aktuatoraktion zugeordnet, um eine realistische Darstellung und taktile und/oder haptische Repräsentation von Oberflächen mittels einer erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 und insbesondere mittels einer Computermaus 1' zu erzielen.
  • Im Folgenden werden die einzelnen taktilen Dimensionen nach Okamoto erläutert:
    • - Makroskopische Rauheit oder Rauigkeit besteht oder kann abgeleitet werden z.B. aus der visuell sichtbaren Höhenprofilinformation, insbesondere größer als 1 mm sichtbarer Oberflächeneigenschaften, und der Regelmäßigkeit einer Oberfläche. Die Oberflächen können z. B. regelmäßig strukturiert sein, besitzen wahrnehmbare unregelmäßige Muster oder sind vollständig flach. In diesem Zusammenhang werden auch Reliefformen, Undulationen, Welligkeiten und dergleichen betrachtet.
    • - Mikroskopische Rauheit oder Rauigkeit, auch als feine Rauheit bekannt, kann durch das Auftreten von hochfrequenten Vibrationen charakterisiert werden und verleiht Oberflächen während des Überstreichens ein spezifisches taktiles Erscheinungsbild. Oberflächen können vom Gefühl der starken Rauheit oder sogar des Schmerzes bis hin als komplett glatt oder fein wahrgenommen werden.
    • - Reibung zwingt den menschlichen Finger, mehr oder weniger seitliche Kraft während der Gleitbewegung aufzubringen. Die Extremgrenzen werden als rutschig bis hin zu haftend oder klebend bezeichnet.
    • - Wärmeleitfähigkeit wird von den thermischen Rezeptoren in den menschlichen Fingern erkannt. Die Umgebungstemperatur und die Wärmeleitfähigkeit bestimmen, wie warm oder kalt eine Oberfläche bei direkter Berührung wahrgenommen werden kann.
    • - Härte oder Steifigkeit wird hauptsächlich während eines statischen Drucks auf der Oberfläche wahrgenommen und steht z.B. mit der lokalen Federkonstante der Oberfläche gemäß dem Hookeschen Gesetz in Beziehung.
  • Implementierung: Taktile Ein- und/oder Ausgabeeinrichtung, insbesondere Computermaus
  • Es wird eine taktile und/oder haptische Computermaus 1' als Beispiel einer allgemeinen taktilen und/oder haptischen Ein-/Ausgabeeinrichtung 1 gemäß den 3 und 4 beschrieben. Die dort gezeigte Ausführungsform der erfindungsgemäßen taktilen und/oder haptischen Ein-/Ausgabeeinrichtung 1 ist erfindungsgemäß zur Oberflächendarstellung verwendbar.
  • Es sei angemerkt, dass die in den Figuren dargestellte Ausführungsform alle Fähigkeiten aufweist, die auch für die anderen vorgenannten Anwendungsfälle, z.B. für das Teleoperationsszenario, verwendet werden können.
  • Mechanische Konstruktion und Design
  • Ein Satz von Aktoren oder Aktuatoren 30, 40, 50, 60, 70 kann zum Beispiel in ein 3D-gedrucktes Mausgehäuse 10', wie es in den 5 und 6 dargestellt ist, eingebettet werden. Es sind in den 5 und 6 untere und obere Mäusekörperteile 11, 12 gezeigt, welche als solche zwei Gehäusehälften der Computermaus 1' bilden.
  • Nachfolgend werden die technische Umsetzung der fünf taktilen Dimensionen und die entsprechenden physikalischen Rahmenbetrachtungen beschrieben.
  • Genutzte Aktoren für die Darstellung der fünf taktilen Dimensionen
  • Die nachfolgende Tabelle listet eine Möglichkeit der Verwendung konkreter Aktoren oder Aktuatoren 30, 40, 50, 60, 70 auf, mit denen in Kombination die fünf taktilen Dimensionen realisiert und repräsentiert werden können.
  • Alle Komponenten können unabhängig voneinander betrieben und angetrieben werden.
  • Die bei den jeweiligen Ausführungsformen verwendeten Aktoren 30, 40, 50, 60, 70 zur taktilen und/oder haptischen Darstellung können einem 3D-gedruckten Gesamtgehäuse 10' mit Mausunterseite 12 und Mausoberseite 11 eingebettet und intern verdrahtet werden. Standardmausfunktionen, z.B. linkes und rechtes Klicken, werden durch die Stellglieder nicht beeinflusst, sondern auf die Seite der Maus 1' verlagert. Beachtet sei jedoch, dass das Mausrad gegebenenfalls eine Neuanordnung erforderlich machen kann
  • Es kann ein Wärmeleitnetz um ein ausgebildetes Peltierelement P konzipiert werden, um dem Anwender das weitflächige Fühlen von Temperaturänderungen zu ermöglichen. Das Peltierelement P kann in die Oberseite des Gehäuses 10' der Maus 1' eingebettet sein. Von dort können rechteckige Rillen mit einem wärmeleitenden Material gefüllt werden, um den Wärmesinn über die ganze Hand zu verbreiten.
    Taktile Dimension Aktor/Aktuator Beschreibung
    Makroskopische Rauheit zwei Servos (AS0403) Zwei körperlich verbundene Servos werden verwendet, um die Neigung (Kippen, Rollen) des oberen Mausteils zu ändern.
    Mikroskopische Rauheit ein VCA (NCM02-05-005-4JB, H2W Technologies) Ein VCA wird verwendet, um feine Rauheitsschwingungen (zwischen 1 und 600 Hz) anzuzeigen, wenn die Maus bewegt wird.
    Reibung zwei Elektromagnete (Intertec ITS-MS-3025) und eine ferromagnetische Platte (z.B. Edelstahl) Zwei getrennt steuerbare Elektromagnete bestimmen die Reibungskraft bei der Mausbewegung
    Wärmeleitfähigkeit ein Peltier Element (TES1-127025) Die Intensität und das Vorzeichen der angelegten Spannung (warm oder kalt) an einem Peltier-Element simulieren unterschiedliche Effekte der Wärmeleitfähigkeit.
    Härte ein Servo (AS0403) Als eine Implementierung kann die unterschiedliche Positionierung des makroskopischen Rauheitsservos S1 und seine Steifigkeit verwendet werden, um verschiedene Stufen der Oberflächenhärte zu simulieren. Ein weiterer Servo S3 wird verwendet, um den oberen Mauskörper zu blockieren, um harte Oberflächen zu simulieren.
  • Es ist nicht notwendig, Wärme über die gesamte Handoberfläche zu leiten, da das menschliche Gefühl der Temperatur relativ grob aufgelöst ist. Die Rillen bilden ein Sieb mit einer Dichte in der Größenordnung von Zentimetern und haben selbst eine Breite von 1 mm. Die spezifische Form des Netzes ist so ausgelegt, dass die Wärme schnell in viele Richtungen geführt werden kann.
  • Als wärmeleitendes Material kann eine Silberleitfarbe, welche die Rillen vollständig füllt, verwendet werden.
  • Für die Darstellung der hochfrequenten mikroskopischen Rauheitseffekte kann ein so genannter Voice-Coil-Aktuator verwendet werden, der in der taktilen Computermaus 1' verbaut ist. Alternativ können auch andere mikroskopisch raue Anzeigetechnologien eingesetzt werden, z.B. elektrovibrationsbasierte Touchpanels, um die hochfrequenten Rauheitseffekte darzustellen.
  • In einem Szenario kann ein solches modifiziertes Touchpanel zusätzlich als unterliegendes Mauspad als Unterlage 20 verwendet werden. Die verschiedenen mikroskopischen Wahrnehmungen können unter Verwendung der gleichen Quelle von Vibrationsdaten, z.B. ermittelt aus Beschleunigungssensoren, in der Unterseite der Hand auf dem Handballen dargestellt werden, während sich der Benutzer B mit der taktilen Computermaus 1' bewegt, wie dies in 7 gezeigt ist.
  • 7 zeigt eine Kombination aus einem elektrovibrierenden Touchdisplay und der erfindungsgemäßen taktilen und/oder haptischen Computermaus 1' als Ein-/Ausgabeeinrichtung 1.
  • Der erfindungsgemäße Ansatz kann mit weiteren taktilen Ausgangstechnologien erweitert werden. In diesem Fall erfährt der Benutzer B die feinen Rauheitseindrücke durch den Handballen und die unteren Teile der Hand, während er die taktile Computermaus 1' bewegt.
  • Ähnlich wie ein Voice-Coil-Aktuator VC kann das Touchpanel von der Soundkarte und einem Verstärker angetrieben werden und nutzt zudem die gleichen Algorithmen zur Darstellung der feinen Rauheit. Nur entstehen die feinen Rauigkeitseindrücke bei diesem Ansatz durch elektrostatische Wechselwirkungen zwischen dem Touchpanel und dem menschlichen Handballen.
  • Physikalisches Modell: Taktile Computermaus und Implementierung
  • Die folgenden Figuren und Gleichungen zeigen das abstrakte physikalische Modell des Mausprototyps.
  • 8 gibt eine allgemeine Übersicht über die Komponenten einer als Computermaus 1' mit Unterlage 20 ausgestalteten erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 mit Oberteil 11 und Unterteil 12 eines Gehäuses 10'.
  • Mikroskopische Rauheit
  • 9 illustriert eine resultierende Vibrationskraft Ftaktil, die mittels eines Aktuators 30 mit Schwingspule VC im Oberteil 11 einer Computermaus 1' als Teil einer erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 gleichmäßig verteilt erzeugbar ist, wodurch ein dreidimensionaler hochfrequenten Kraftvektor Ftaktil im Oberteil 11 entsteht.
  • Der mikroskopische Rauheitskraftvektor Ftaktil ist proportional zum Erregerstrom IVC in der Schwingspule, welcher zum Beispiel aus einem Verstärker eingespeist wird. Es ergibt sich folgender Zusammenhang (1): | F t a k t i l | μ 0 μ R 2 A N 2 2 l 2 I V C 2
    Figure DE102017204351A1_0001
  • Reibung
  • Reibung kann an der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 durch die Verwendung ein oder mehrerer steuerbarer Elektromagnete EM1, EM2 als Teil eines (vierten) Aktuators 60 repräsentiert werden.
  • 10 zeigt eine Ausführungsform des Hauptteils 10 der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1 als Maus 1' mit zwei Elektromagneten EM1 und EM2. Diese können unterschiedliche anziehende Normalkräfte FN1 und FN2 ausüben, welche über den Versorgungsstrom I gesteuert werden. Wenn sie zudem mit unterschiedlichen Strömen angetrieben werden, kann ein Drehmoment MY,ext um die Y-Achse nachgebildet werden, welches als magnetisches Drehmoment aufgefasst werden kann.
  • Die dabei einstellbaren magnetischen Anziehungskräfte FN1 und FN2 als Normalkräfte und die entsprechend auftretenden Reibungskräfte FR1 und FR2 als Lateralkräfte sind durch die durch die beiden Elektromagnete EM1, EM2 fließenden elektrischen Ströme I gegeben und zu diesen proportional.
  • Es gelten folgende Zusammenhänge (2) bis (5): F R 1,2 μ 0 μ R 2 A N 2 2 l 2 I 2
    Figure DE102017204351A1_0002
    F x = F e x t ( F R 1 + F R 2 + F R m ) = 0
    Figure DE102017204351A1_0003
    F y = F g ( F N 1 + F N 2 + F N m ) = 0
    Figure DE102017204351A1_0004
    M y = M Y e x t μ ( F N 1 I 1 + F N 2 l 2 ) = 0
    Figure DE102017204351A1_0005
  • Die Zusammenhänge (3) bis (5) beschreiben Kräfte- bzw. Momentengleichgewichte.
  • Makroskopische Rauheit
  • Die makroskopische Rauigkeit, welche beschreibend ist für eine Art Relief einer Oberfläche, kann repräsentiert werden durch eine Verkippung eines ersten Gehäuseteils 11 gegenüber einem zweiten Gehäuseteil 12 eines Gehäuses 10' des Hauptteils 10, zum Beispiel wieder in Form einer Computermaus 1', der Ausführungsform der erfindungsgemäßen Ein-/Ausgabeeinrichtung 1. Dies kann zum Beispiel über die Verwendung einer Mehrzahl von Servomotoren S1, S2, durch welche jeweils eine Schwenkachse des Oberteils 11 des Gehäuses 10' definiert ist, und deren entsprechende Bestromung erreicht werden.
  • Der Wechsel der Positionen oder Stellungen der Servos S1 und S2 führt zu externen Drehmomenten MX,ext und MZ,ext, die zur Darstellung von Oberflächenhöhenstrukturen verwendet werden.
  • Es gelten hier im Momentengleichgewicht folgende Zusammenhänge (6) und (7): M X = M X e x t M X , S 2 = 0
    Figure DE102017204351A1_0006
    M Z = M Z e x t M X , S 1 = 0
    Figure DE102017204351A1_0007
  • 11 zeigt, wie die Höhenprofilinformation aus Graustufenoberflächenbildern abgeleitet und umgesetzt werden kann. Die Positionierung oder Stellung von zwei verbundenen Servomotoren S1 und S2 wird entsprechend dieser Informationen geändert, um die Drehmomente MX,S2 um die X-Achse und MZ,S1 um die Z-Achse zu erzeugen und die entsprechende Position oder Stellung zu erreichen.
  • Härte
  • Zur Repräsentation der Härte einer Oberfläche können verschiedene Ansätze gewählt werden. Nachfolgend werden unter Bezugnahme auf die 12 bis 14 drei mögliche Implementierungen verschiedener Härtedarstellungskonzepte erläutert.
    1. (1) Bei der Implementierung 1 gemäß 12, wird die Tatsache ausgenutzt, dass der Servomotor S1, der auch verwendet wird, um das Gefühl der makroskopischen Rauheit darzustellen, nicht unendlich steif ist. Dabei können unterschiedliche Positionen des Servos S1 verwendet werden, um eine andere Wahrnehmung der Härte zu vermitteln, da der Nutzer diesen nicht perfekt steifen Servomotor S1 unterschiedlich weit drücken kann. Darüber hinaus kann die Versorgungsspannung des Servomotors S1 reduziert werden, um noch weichere Federkonstanten darzustellen. Das bedeutet mit anderen Worten , dass während der Verwendung des Servomotors S1 zur Darstellung der Oberflächenreliefstruktur beim Bewegen zeitgleich verschiedene Positionen oder Stellungen des Servos S1 verwendet werden, um eine andere Wahrnehmung der Härte zu vermitteln. Wie bereits erwähnt wurde, können durch Reduktion der Versorgungsspannung des Servomotors S1 weichere Impressionen vermittelt und dargestellt werden. Um hingegen harte Oberflächen, wie Metalle oder Steine, zu vermitteln und darzustellen, kann ein zusätzlicher Servomotor S3 verwendet werden. Dieser ist dazu eingerichtet, das Drücken des oberen Mauskörpers 11 auf Grund der endlichen Steifigkeit des Servomotors S1 für die Darstellung der makroskopischen Rauheit zu blockieren. Solange keine Bewegung detektiert wird, kann der Servo S1, der für die makroskopische Rauigkeit verwendet wird, in eine Ruhelage knapp über den Blockierbereich von Servo S3 gebracht werden, um somit harte Objekte darzustellen.
    2. (2) Bei der Implementierung 2 gemäß 13 wird über die Position oder Stellung des weiteren Servomotors S4 das Verhältnis der beiden Hebelarme l1 und l2 gesteuert oder geregelt, um eine effektive Federkonstante der Feder 52 zu ändern. Ein Lager 51 bietet Stabilität, wenn die Feder 52 mit der Federkonstanten kspring nicht ausgefahren ist. Wenn externe Druckkräfte ausgeübt werden, hängt es von der Position des Servomotors S4 ab, wie stark die Feder 52 ausgefahren werden kann, was zu einer Kraft- und Drehmomentgleichung gemäß dem Ausdruck (8) führt. F x = F e x t + k s p r i n g Δ x + F N = 0
      Figure DE102017204351A1_0008
      Dies bedeutet mit anderen Worten, dass die Positionierung oder Stellung des Servomotors S4 den Hebelpunkt 15 und damit unterschiedlich wirksam werdende Federkräfte für die dargestellte Konstruktion bestimmt. Dies führt zu unterschiedlichen Wahrnehmungen der virtuellen Oberflächenhärte.
    3. (3) Als dritte Implementierung ist gemäß 14 ein Härtemanipulationssystem denkbar, das einen beweglichen Schieber 53 nach Art einer Zahnstange- oder -schiene mit einer Anzahl von N Federn 52 und mit einem Bolzen 55 verwendet. Abhängig von der Position des Servos S4 befinden sich mehr oder weniger Federn 52 effektiv unter dem Oberteil 11 des Körpers oder Gehäuses 10' der taktilen Computermaus 1' als Ausführungsform der erfindungsgemäßen Ein-/Ausgabeeinheit 1, wodurch sich eine steuerbare oder kontrollierbare effektiv wirksame Federkonstante kstiff gemäß dem Zusammenhang (10) einstellt. k s r i f f = i = 1 N k s p r i n g , i
      Figure DE102017204351A1_0009
      Die maximale durch das System gemäß 14 darstellbare Härte kann erreicht werden, wenn der Bolzen 55 unter das Oberteil 11 des Körpers oder Gehäuses 10' der taktilen Computermaus als Ausführungsform der erfindungsgemäßen Ein-/Ausgabeeinheit 1 bewegt wird und somit harte Materialien wie Holz oder Steine repräsentiert werden können. 14 zeigt konkret diese weitere Implementierung unter Ausnutzung einer Mehrzahl von Federn 52, die in die bzw. aus der taktilen Computermaus 1' bewegt werden können, um eine steuerbare Härteeigenschaft zu erzielen.
  • Wärmeleitfähigkeit
  • Gemäß Figur 15 führt eine Änderung der Versorgungsspannung am vorgesehenen Peltierelement P zu unterschiedlichen thermischen Energien, die durch wärmeleitende Leitungen durch den oberen Mäusekörper 11 verteilt werden. Das Umkehren der Versorgungsspannung, zum Beispiel durch die Verwendung von Relais, ermöglicht den Wechsel von heißer zu kalter Darstellung von Oberflächeneigenschaften und umgekehrt.
  • Das an dem Peltierelement P angelegte Spannungssignal und dessen Vorzeichen bestimmen gemäß dem Zusammenhang (11) die Intensität der Kühl- oder Heizleistung und damit die wahrgenommene taktile Dimension der Wärme der Oberfläche. Q c + U Pelt P elt Q h = 0
    Figure DE102017204351A1_0010
  • Konkrete Oberflächendarstellung
  • Im folgenden Abschnitt wird eine Ausführungsform für eine verfahrensmäßige oder algorithmische Umsetzung der Oberflächendarstellung unter Verwendung einer Ausführungsform der erfindungsgemäßen Ein-/Ausgabeeinheit 1 dargestellt, insbesondere unter Verwendung einer taktilen Computermaus 1'.
  • Zur Ansteuerung der verschiedenen Aktuatoren 30, 40, 50, 60, 70 werden Steuersignale aus Rohdaten einer so genannten Oberflächendatenbank 140 herangezogen. Derartige Rohdaten und die entsprechenden Datenbanken 140 können über das experimentelle Einlesen von Oberflächeneigenschaften unterschiedlicher Materialien erzeugt werden, wie dies im Zusammenhang mit den Publikationen
    1. (I) „Haptic Texture Database" Strese, Schuwerk, Chaudhari und Steinbach, 2016, (www.lmt.ei.tum.de/texture/)
    2. (II) „Surface Classification Using Acceleration Signals Recorded During Human Freehand Movement" Strese, Schuwerk, Steinbach, IEEE World Haptics Conference (WHC) 2015,

    im Detail erläutert ist
    Im Folgenden werden die Erfassung aller notwendigen Signale sowie das Modellierungskonzept vorgestellt, mit welchem erfasste Signale in eine taktile Darstellung umgewandelt werden können, um eine erfindungsgemäß ausgestaltete Ein-/Ausgabeeinheit 1 und insbesondere eine taktile Computermaus 1' in einer VE-Anwendung anzusteuern und anzuwenden.
  • Oberflächenmaterialdatenbank und Rohdatensignale
  • Der vorliegenden Erfindung zu Grunde liegend, werden mit entsprechenden Sensoren Beschleunigungs-, Reibungskraft-, Reflexions- und Tonsignale sowie Oberflächenbilder von Oberflächen verschiedener Materialien besondere mit Hilfe eines handgehaltenen Sensors aufgenommen.
  • Die verwendeten Oberflächen können aus einer großen Vielzahl alltäglicher Materialien ausgebildet werden, wobei jeder Oberfläche ein eindeutiger Name zugeordnet wird. Auf diese Weise wird eine haptische Datenbank erzeugt.
  • Die haptische Datenbank 140 kann beispielhaft als Datenquelle zur Ansteuerung der erfindungsgemäßen ein-/Ausgabeeinheit 1 herangezogen werden. Sie liefert die Rohsignale, die verwendet werden können, um entweder die relevanten taktilen Eigenschaften eines Oberflächenmaterials zu identifizieren oder auch um Oberflächen virtuell darzustellen.
  • Die notwendigen Signale für die realistische Darstellung entstehen z.B. aus den Beschleunigungsdaten.
  • Die notwendigen Sensoren können Beschleunigungssensoren, Mikrofone, Infrarotreflexionssensoren, kraftempfindliche Widerstände, und optische Sensoren und insbesondere Kameras umfassen. Diese Sensoren liefern die Rohsignale, die z.B. eine Steinfliese während der sensorbasierten Freihandaufzeichnung repräsentieren. Im Hinblick auf den vorgeschlagenen Anwendungsfall der Oberflächendarstellung ist eine lokale Kopie dieser haptischen Datenbank auf einem PC vorhanden, auf der die Oberflächendarstellungsanwendung läuft. Wenn der Benutzer eine andere Oberfläche während der Anwendung erkunden möchte, können die Rohdaten, die die Oberfläche darstellen, aus der haptischen Datenbank abgerufen werden.
  • Erfindungsgemäß werden derart aufgezeichnete Signale aus einer haptischen Datenbank verwendet, gegebenenfalls nach Anpassung an die fünf Dimensionen der Oberflächendarstellung nach Okamoto et al.
  • Darstellung der Mikroskopischen Rauheit - Vibroakustische Daten
  • Beschleunigungs- und Tonsignale, die von der Wechselwirkung zwischen Werkzeug und Oberfläche herrühren, können zu einem einzigen so genannten vibroakustischen Signal kombiniert werden.
  • Um beispielhaft Daten zu Steinfliesen zu generieren, können Beschleunigungs-, Audio-, Reflexions- und Reibungskraftsignale sowie Bilder verwendet werden, die mit entsprechenden Sensoren aufgezeichnet werden. Dabei können Signale zum Beispiel beim Aufschlagen auf der Oberfläche und/oder während des Überstreichens der Oberfläche aufgezeichnet werden, um ein entsprechendes Modell für eine jeweilige Oberfläche zu erstellen und/oder um eine jeweilige Oberfläche zu klassifizieren. Jedes Signal kann für die Oberflächendarstellung zur weiteren Verarbeitung vorgesehen sein oder werden.
  • Typischerweise decken aufgezeichnete Beschleunigungssignale einen Frequenzbereich von etwa 10 Hz bis etwa 600 Hz und Tondaten eine Bandbreite von 10 Hz bis 20 kHz ab.
  • Es werden gegebenenfalls beide Spektren eines Beschleunigungssignals und eines Tonsignals zu einem Material oder einer Oberfläche kombiniert, wobei dann z.B. die spektrale Toninformation im Spektralbereich der Beschleunigungssignale, also zwischen 10 Hz bis 600 Hz gegebenenfalls nicht berücksichtigt wird.
  • Zu beachten ist, dass die Signale unter kontrollierten Bedingungen, z.B. unter bekannten Abtastkraft- und Geschwindigkeit und/oder unter Verwendung eines robotergesteuerten Aufzeichnungsaufbaus aufgezeichnet werden können, um normalisierte Signale zu erhalten.
  • Der Mensch ertastet bei der Erkundung einer unbekannten Oberfläche diese im Durchschnitt mit einer Geschwindigkeit von 130 mm/s und bringt dabei eine Andruckkraft von etwa 1 N auf. Darüber haben Änderungen in der Andruckkraft nur einen geringen Einfluss auf die wahrgenommene Oberflächenrauigkeit.
  • Als gültige Vereinfachung verwendet die erfindungsgemäße Oberflächendarstellungsanwendung normalisierte Signale und transformiert sie insoweit, wie schnell der Benutzer die erfindungsgemäße taktile Ein-/Ausgabeeinheit 1 und insbesondere die Computermaus über eine Oberfläche bewegt.
  • Für den hier vorgestellten Ansatz reichen drei Sekunden lange Beschleunigungs- und Tonsignale aus, um die Dimension der mikroskopischen Rauheit wiederherzustellen. Wenn die taktile Ein-/Ausgabeeinheit 1 und insbesondere die taktile Computermaus 1' bewegt wird, werden diese Signale über die Aktoren mit einer Endlosschleife angezeigt, bis der Benutzer B die Mausbewegung stoppt.
  • Darstellung von Härte, Reibung, Wärmeleitfähigkeit - Tabellendaten
  • Da die taktile erfindungsgemäße Oberflächendarstellungsanwendung unter Verwendung einer erfindungsgemäßen taktilen Ein-/Ausgabeeinheit 1 und insbesondere einer taktilen Computermaus 1' lokal gespeicherte Oberflächenmodelle verwendet, können tabellarische Werte für oberflächenbezogen statische Eigenschaften verwendet werden. Beispielsweise ist die Härte oder Steifigkeit einer Oberfläche mit ihrem bekannten Elastizitätsmodul oder deren Federsteifigkeit korreliert. Der statische Reibungskoeffizient kann aus bekannten Werten entnommen und verwendet werden. Wenn für bestimmte Oberflächenmaterialien keine tabellarischen Werte angegeben werden, können Werte von taktil ähnlichen Oberflächenmaterialien für die Steifigkeit, die dynamische Reibung und Wärmeleitfähigkeitskoeffizienten angewandt werden.
  • Darstellung der Makroskopischen Rauheit - Graustufenbilder von Oberflächenmaterialien
  • Neben den taktil bezogenen Signalen können auch visuelle Informationen auf einem Bildschirm für eine realistische Oberflächendarstellung dargestellt und zu Grunde gelegt werden.
  • Da Oberflächenmaterialbilder auch Oberflächenprofil- und/oder Höhenkarteninformationen enthalten können, werden gegebenenfalls Graustufenbilder nachbearbeitet mit Relieffiltern und/oder aus den Anzeigebildern extrahiert, um eine oder die taktile Dimension der makroskopischen Rauheit darzustellen.
  • Es können Anzeigebildern und die zugehörigen Höhenkartenbildern korreliert werden. Es ist anzumerken, dass andere Technologien, z.B. Infrarotsensoren, während des gesteuerten Überstreichens einer Oberfläche über einem Oberflächenmaterial verwendet werden können, um die Ausprägung des Oberflächenprofils zu messen.
  • Oberflächenmaterialmodell
  • Erfindungsgemäß werden die fünf wahrnehmbaren taktilen Dimensionen nach Okamoto verwendet, um einen Satz von Eingabewerten für ein Computerprogramm zu definieren. Dabei können drei skalare Werte definiert werden, welche die Härte, den Reibungskoeffizienten und die Wärmeleitfähigkeit eines Oberflächenmaterials beschreiben.
  • Darüber hinaus kann die Ausprägung der makroskopischen Rauheitshöhenkartenbilder einen weiteren skalaren Wert definieren.
  • Schließlich kann die Signalleistung des normierten Beschleunigungssignals einen skalaren Wert definieren, welcher zu einem Parametersatz mit fünf taktilen Werten führt, der ein Oberflächenmaterial darstellt.
  • Zusätzlich können das Beschleunigungssignal und/oder das Tonsignal z.B. jeweils drei Sekunden sowie ggf. Anzeige- und Höhenkartenbilder zur Verfügung gestellt werden, um ein virtuelles Oberflächenmaterial zu erzeugen und zu repräsentieren.
  • Systemübersicht und Softwareimplementierung
  • In diesem Abschnitt wird beschrieben, wie die zuvor dargestellte erfindungsgemäße taktilen Ein-/Ausgabeeinheit 1, zum Beispiel im Sinne einer taktilen Computermaus 1', im Rahmen der Oberflächendarstellung mit dem erfindungsgemäß verwendbaren Oberflächenmaterialmodell verwendet werden kann.
  • 17 gibt einen allgemeinen Überblick über eine Ausführungsform der erfindungsgemäßen Oberflächendarstellungsanwendung.
  • Diese Anwendung ermöglicht es dem Benutzer B, zwischen verschiedenen Oberflächen in einer virtuellen Umgebung mit der Tastatur wechseln. Wenn die taktile Computermaus 1 bewegt wird, werden das zu Grunde liegende Oberflächenmodell und die Änderungen in der x- und y-Richtung der Mausposition 113 verwendet, um alle notwendigen Signale für eine taktile Oberflächendarstellung zu erzeugen.
  • Gemäß 17 kann die Anwendung eine Oberfläche aus der haptischen Datenbank 140 abfragen und eine visuelle Darstellung auf einem Bildschirm 110, 111 sichtbar machen. Wenn Änderungen in der Mausposition 113 registriert werden, können vibroakustische Daten, zum Beispiel im Sinne von Beschleunigungs- und/oder Audiodaten, an einen vorgesehenen und verwendeten Verstärker gesendet werden, der diese dann auf der Schwingspule VC oder dem Voice-Coil-Aktuator bzw. einem Lautsprecher 112 zur Anzeige bringt.
  • Parallel dazu können Steuersignale an ein Arduinogerät geschickt werden, um die Positionierung von Servos S1 bis S3 sowie die Intensitäten der Erregung von Elektromagneten EM1 und EM2 und/oder eines Peltierelements P zu steuern. Sowohl die Elektromagneten EM1, EM2 als auch das Peltierelement P werden durch Verstärkerschaltungen angetrieben.
  • 18 zeigt im Detail, wie Modelle der Oberflächen zur Erstellung der Steuersignale für die angeschlossenen Aktoren oder Aktuatoren 30, 40, 50, 60, 70 der erfindungsgemäßen taktilen Ein-/Ausgabeeinheit 1 und insbesondere der taktilen Computermaus 1' umgewandelt werden können.
  • Für eine gewünschte Oberfläche wird eine Datenbanksuche durchgeführt, um z.B. die Federkonstante, den statischen/dynamischen Reibungskoeffizienten und/oder die Wärmeleitfähigkeit abzurufen, die auf entsprechende Steuersignale abgebildet werden. Für die Reibungskoeffizienten ist die aktuelle Mausgeschwindigkeit erforderlich, um den Übergang zwischen statischer und dynamischer Reibung zu bestimmen. Die Härte einer Oberfläche wird sowohl durch die Versetzung des Servos S1 als auch durch den Servo S3 bestimmt, der die Bewegung des Oberteils 11 der Ein-/Ausgabeeinheit 1 und insbesondere des oberen Mauskörpers 11 blockieren kann, wenn ein steifes/hartes Objekt mit einer Kraft von mehr als 700 N/m dargestellt werden soll.
  • Darüber wird das vibroakustische Signal entsprechend der aktuellen Stromstärke eingestellt und die Amplitude anhand der Beschleunigungssignalenergie skaliert. Die Geschwindigkeit kann durch die Auswertung einer Anzahl n alter oder zuletzt ein genommener Positionen abgeschätzt werden. Die aktuelle x- und/oder y-Position der erfindungsgemäßen Ein-/Ausgabeeinheit 1, zum Beispiel der taktilen Computermaus 1', auf dem Bildschirm 110, 111 wird verwendet, um das entsprechende Pixel in dem Reliefbild und/oder in der Höhenkarte zu indizieren. Berechnet werden die Gradienten zu den benachbarten Pixeln in diesem Graustufenbild, um einen x-/y-Gradienten als Eingang für beide Servos S1 und S2 für die makroskopische Rauheit zu erhalten.
  • Insgesamt bietet das erfindungsgemäß vorgeschlagene Konzept ein Eingabe-/Ausgabegerät 1 für die Anzeige taktiler Informationen für einen Benutzer B. Es kann intuitiv in aktuelle Anwendungen integriert werden, um die wahrgenommene Benutzererfahrung zu bereichern.
  • Neben der vorstehenden schriftlichen Beschreibung der Erfindung wird zu deren ergänzender Offenbarung hiermit explizit auf die zeichnerische Darstellung der Erfindung in den 1 bis 18 Bezug genommen.
  • Bezugszeichenliste
  • 1
    (taktile) Ein-/Ausgabeeinrichtung/-einheit
    1'
    (taktile) Computermaus
    10
    Hauptteil
    10'
    Gehäuse
    11
    erster Teil, Oberteil
    12
    zweiter Teil, Unterteil
    12-1
    Gehäuseteil
    12-2
    Gehäuseteil
    13
    Schalter
    14
    Schwerpunkt
    15
    Schwenkpunkt
    20
    Unterlage
    20a
    Oberfläche, Oberseite
    21
    Oberschicht, Folie
    22
    Wechselwirkungsschicht, ferromagnetische Schicht
    23
    Basis
    30
    (erster) Aktuator, Aktor, Schwingspulenanordnung (für mikroskopische Rauheit)
    40
    (zweiter) Aktuator, Aktor, (erste) Servoanordnung (für makroskopische Rauheit)
    50
    (dritter) Aktuator, Aktor, (zweite) Servoanordnung (für Härte)
    51
    Abstützelement, Lager
    52
    Feder
    53
    Zahnstange, Zahnschiene
    54
    Zahnrad
    55
    Stütze, Bolzen
    60
    (vierter) Aktuator, Aktor, Magnetanordnung (für Reibung)
    70
    (fünfter) Aktuator, Aktor, Peltieranordnung (für Wärme)
    100
    Datenverarbeitungsanlage
    110
    Anzeigeeinheit
    111
    optische/optisch-visuelle Anzeige
    112
    akustische Anzeige
    113
    Zeiger
    114
    Datenbereich, Anzeigebereich
    115
    Erfassungs- und/oder Steuerkanal, Kommunikationskanal
    116
    Erfassungs- und/oder Steuerkanal, Kommunikationskanal
    120
    Verarbeitungseinheit
    130
    zentrale Verarbeitungseinheit
    140
    Datenbankeinheit, Datenbank
    B
    Benutzer
    EM1
    Elektromagnet
    EM2
    Elektromagnet
    l1
    Hebel
    l2
    Hebel
    P
    Peltierelement
    S1
    (erster) Servomotor, Servo
    S2
    (zweiter) Servomotor, Servo
    S3
    (dritter) Servomotor, Servo
    S4
    (vierter) Servomotor, Servo
    VC
    Schwingspule
    X
    Raumrichtung
    Y
    Raumrichtung
    Z
    Raumrichtung
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • Publikation „Psychophysical dimensions of tactile perception of textures“ von Okamoto, Nagano und Yamada, IEEE Transactions on Haptics, Band 6, Seiten 81 bis 93, vom März 2013 [0128]
    • „Haptic Texture Database“ Strese, Schuwerk, Chaudhari und Steinbach, 2016, (www.lmt.ei.tum.de/texture/) [0167]
    • „Surface Classification Using Acceleration Signals Recorded During Human Freehand Movement“ Strese, Schuwerk, Steinbach, IEEE World Haptics Conference (WHC) 2015 [0167]

Claims (12)

  1. Manuell betätigbare taktile Ein-/Ausgabeeinrichtung (1) für eine Datenverarbeitungsanlage (100), insbesondere taktile Computermaus (1'), - welche mit einem Gehäuse (10') und mit einer Mehrzahl von Aktuatoren (30, 40, 50, 60, 70) in Wirkverbindung mit dem Gehäuse (10') ausgebildet ist und - bei welcher die Aktuatoren (30, 40, 50, 60, 70) eingerichtet sind, in ihrer Gesamtheit und gesteuert am Gehäuse (10') zumindest temporär eine durch einen Benutzer bei manuellem Kontakt haptisch wahrnehmbare Veränderung zu bewirken, durch welche gleichzeitig mindestens zwei und insbesondere sämtliche der fünf Okamotodimensionen mikroskopische Rauigkeit, makroskopische Rauigkeit, Reibung, Härte und Wärme abdeckt sind.
  2. Ein-/Ausgabeeinrichtung (1) nach Anspruch 1, bei welcher ein jeweiliger Aktuator (30, 40, 50, 60, 70) eingerichtet ist, als haptisch wahrnehmbare Veränderung - eine Position, Orientierung, Bewegung, insbesondere eine Schwingung, eine Bewegbarkeit und/oder eine Überlagerung davon eines Hauptteils (10), des Gehäuses (10') oder eines Teils davon und insbesondere eines ersten Teils (11) des Gehäuses (10') relativ zu einem zweiten Teil (12) des Gehäuses (10'), - eine Bewegbarkeit und insbesondere Verschiebbarkeit der Ein-/Ausgabeeinrichtung (1) und insbesondere eines Hauptteils (10) oder des Gehäuses (10') davon gegenüber einer Unterlage (20) und/oder - eine Temperatur und/oder Temperaturverteilung eines Hauptteils (10), des Gehäuses (10') oder eines Teils davon und insbesondere eines ersten Teils (11) des Gehäuses (10') oder eines Teils davon und/oder deren zeitliche Änderung zu bewirken.
  3. Ein-/Ausgabeeinrichtung (1) nach einem der vorangehenden Ansprüche, - welche zur haptischen Darstellung der Okamotodimension mikroskopische Rauigkeit einen ersten Aktuator (30) aufweist, welcher eingerichtet ist, als haptisch wahrnehmbare Veränderung steuerbar eine Schwingung und/oder eine Überlagerung von Schwingungen eines Hauptteils (10), des Gehäuses (10') oder eines Teils davon und insbesondere eines ersten Teils (11) des Gehäuses (10') gegenüber einem zweiten Teil (12) des Gehäuses (10') und/oder deren zeitliche Änderung auszubilden, - wobei der erste Aktuator (30) insbesondere eine Schwingspulenanordnung (31) mit mindestens einer Schwingspule (VC) und vorzugsweise mit einer Schwingmasse (M) aufweist, welche durch Beaufschlagung mit einer elektrischen Spannung zu mechanischen Schwingungen anregbar ist.
  4. Ein-/Ausgabeeinrichtung (1) nach einem der vorangehenden Ansprüche, - welche zur haptischen Darstellung der Okamotodimension makroskopische Rauigkeit einen zweiten Aktuator (40) aufweist, welcher eingerichtet ist, als haptisch wahrnehmbare Veränderung steuerbar eine Kippbewegung und/oder eine Überlagerung von Kippbewegungen eines ersten Teils (11) des Gehäuses (10') gegenüber einem zweiten Teil (12) des Gehäuses (10') um eine oder mehrere und insbesondere um zueinander senkrecht stehende Kippachsen und/oder deren zeitliche Änderung auszubilden, - wobei der zweite Aktuator (40) zum Ausbilden einer jeweiligen Kippbewegung um eine jeweilige Kippachse insbesondere jeweils einen Servomotor (S1, S2) aufweist, welcher den ersten Teil (11) des Gehäuses (10') und den zweiten Teil (12) des Gehäuses (10') gegeneinander an die jeweilige Kippachse steuerbar verkippbar mechanisch miteinander koppelt.
  5. Ein-/Ausgabeeinrichtung (1) nach einem der vorangehenden Ansprüche, - welche zur haptischen Darstellung der Okamotodimension Härte einen dritten Aktuator (50) aufweist, welcher eingerichtet ist, als haptisch wahrnehmbare Veränderung steuerbar eine Beweglichkeit und insbesondere eine Verkippbarkeit und/oder eine Überlagerung von Beweglichkeiten und insbesondere von Verkippbarkeiten eines ersten Teils (11) des Gehäuses (10') gegenüber einem zweiten Teil (12) des Gehäuses (10') um eine oder mehrere und insbesondere um zueinander senkrecht stehende Kippachsen und/oder deren zeitliche Änderung auszubilden, - wobei der dritte Aktuator (50) zum Ausbilden einer jeweiligen Beweglichkeit und/oder Verkippbarkeit um eine jeweilige Kippachse insbesondere jeweils Mittel aufweist, durch welche ein Widerstand zwischen dem ersten Teil (11) des Gehäuses (10') und dem zweiten Teil (12) des Gehäuses (10') gegen Bewegung und insbesondere gegen Verkippen gegeneinander steuerbar ist, wobei das Mittel vorzugsweise einen Servomotor (S1, S2, S3) aufweist, durch welchen einer Bewegung und insbesondere einem Verkippen durch manuelle Betätigung durch einen Benutzer steuerbar entgegenwirkbar ist, insbesondere durch Blockade.
  6. Ein-/Ausgabeeinrichtung (1) nach einem der vorangehenden Ansprüche, - welche zur haptischen Darstellung der Okamotodimension Reibung einen vierten Aktuator (60) aufweist, welcher eingerichtet ist, als haptisch wahrnehmbare Veränderung steuerbar eine Beweglichkeit und insbesondere eine Verschiebbarkeit eines Hauptteils (10) der Ein-/Ausgabeeinrichtung (1) und insbesondere des Gehäuses (10') gegenüber einer Unterlage (20) der Ein-/Ausgabeeinrichtung (1) und/oder deren zeitliche Änderung auszubilden, - wobei der vierte Aktuator (60) zum Ausbilden einer jeweiligen Beweglichkeit und/oder Verschiebbarkeit insbesondere ein Mittel aufweist, durch welches als ein Widerstand zwischen dem Hauptteil (10) insbesondere dem Gehäuse (10') und der Unterlage (20) gegen Bewegung und/oder Verschiebung gegeneinander steuerbar eine senkrecht zur Bewegung und/oder Verschiebung stehende Kraft ausbildbar ist, wobei das Mittel vorzugsweise miteinander steuerbar koppelbare Magneteinrichtungen (EM1, EM2; 22) im Gehäuse (10') und in der Unterlage (20) aufweist, welche insbesondere als steuerbare Elektromagnete (EM 1, EM 2) bzw. als ferromagnetische Schicht (22) ausgebildet sind.
  7. Ein-/Ausgabeeinrichtung (1) nach einem der vorangehenden Ansprüche, - welche zur haptischen Darstellung der Okamotodimension Wärme oder Wärmeleitfähigkeit einen fünften Aktuator (70) aufweist, welcher eingerichtet ist, als haptisch wahrnehmbare Veränderung steuerbar eine Temperatur und/oder Wärmemenge am oder im Hauptteil (10) der Ein-/Ausgabeeinrichtung (1) und insbesondere am oder im Gehäuse (10') oder dessen Oberteil (11) auszubilden, - wobei der fünfte Aktuator (70) zum Ausbilden einer Temperatur und/oder Wärmemenge insbesondere ein Mittel aufweist, durch welches dem Hauptteil (10) und insbesondere dem Gehäuse (10') eine Wärmemenge zuführbar oder von diesen abführbar ist, wobei das Mittel vorzugsweise eine Peltieranordnung (70) mit mindestens einem steuerbaren Peltierelement (P) aufweist.
  8. Betriebsverfahren für eine manuell betätigbare taktile Ein-/Ausgabeeinrichtung (1) einer Datenverarbeitungsanlage (100), insbesondere für eine taktile Computermaus (1'), nach einem der Ansprüche 1 bis 7, bei welchem Aktuatoren (30, 40, 50, 60, 70) der Ein-/Ausgabeeinrichtung (1) so angesteuert werden, dass sie in ihrer Gesamtheit und gesteuert am Gehäuse (10') zumindest temporär eine durch einen Benutzer bei manuellem Kontakt haptisch wahrnehmbare Veränderung bewirken, durch welche gleichzeitig mindestens zwei und insbesondere sämtliche der fünf Okamotodimensionen mikroskopische Rauigkeit, makroskopische Rauigkeit, Reibung, Härte und Wärme abdeckt sind oder werden.
  9. Betriebsverfahren nach Anspruch 8, bei welchem dem Ansteuern von Aktuatoren (30, 40, 50, 60, 70) der Ein-/Ausgabeeinrichtung (1) zu Grunde gelegt werden - ein oder mehrere Datensätze, insbesondere nach Art oder auf der Grundlage einer Datenbank (140), welche eine Zuordnung wiedergeben zwischen Materialien und Parametern, welche repräsentativ sind für eine oder mehrere der fünf Okamotodimensionen mikroskopische Rauigkeit, makroskopische Rauigkeit, Reibung, Härte und Wärme der jeweiligen Materialien, und/oder - eine Position, Orientierung und/oder Bewegung der Ein-/Ausgabeeinrichtung (1) oder eines Hauptteils (10), insbesondere in Bezug auf eine Unterlage (20), und/oder einer damit im Zusammenhang stehenden Position, Orientierung und/oder Bewegung eines Zeigers (113) in einem Datenbereich (114), insbesondere eines Grafikspeichers, und/oder auf einer optischen Anzeige (111) einer zu Grunde liegenden Datenverarbeitungsanlage (100).
  10. Betriebsverfahren nach Anspruch 8 oder 9, bei welchem mit dem Ansteuern von Aktuatoren (30, 40, 50, 60, 70) der Ein-/Ausgabeeinrichtung (1) zusätzlich eine visuell-optische und/oder eine akustische Anzeige bewirkt wird, welche weitere Eigenschaften von Materialien im Zusammenhang mit dem Ansteuern von Aktuatoren (30, 40, 50, 60, 70) repräsentieren, insbesondere durch Ansteuern einer optisch-visuellen Anzeige (111) bzw. einer akustischen Anzeige (112) einer zu Grunde liegenden Anzeigeeinheit (110).
  11. Datenverarbeitungsanlage (100), - welche eingerichtet ist, insbesondere über eine zentrale Verarbeitungseinheit (130) der Datenverarbeitungsanlage (100), ein Betriebsverfahren nach einem der Ansprüche 8 bis 10 auszuführen, und/oder - welche eine manuell betätigbare taktile Ein-/Ausgabeeinrichtung (1) und insbesondere eine taktile Computermaus (1') nach einem der Ansprüche 1 bis 7 und/oder eine Kommunikationsverbindung (116) zu einer manuell betätigbaren taktilen Ein-/Ausgabeeinrichtung (1) und insbesondere zu einer taktilen Computermaus (1') nach einem der Ansprüche 1 bis 7 aufweist.
  12. Datenverarbeitungsanlage (100) nach Anspruch 11, welche ein Speichermittel, insbesondere nach Art einer Datenbank (140), aufweist zum Speichern ein oder mehrerer Datensätze, welche eine Zuordnung wiedergeben zwischen Materialien und Parametern, die repräsentativ sind für eine oder mehrere der fünf Okamotodimensionen mikroskopische Rauigkeit, makroskopische Rauigkeit, Reibung, Härte und Wärme der jeweiligen Materialien.
DE102017204351.2A 2017-03-15 2017-03-15 Manuell betätigbare taktile Ein-/Ausgabeeinrichtung und deren Betriebsverfahren sowie Datenverarbeitungsanlage Pending DE102017204351A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102017204351.2A DE102017204351A1 (de) 2017-03-15 2017-03-15 Manuell betätigbare taktile Ein-/Ausgabeeinrichtung und deren Betriebsverfahren sowie Datenverarbeitungsanlage
US15/894,012 US10481693B2 (en) 2017-03-15 2018-02-12 Input/output device and method for the computer-based display and exploration of real or virtual object surfaces

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017204351.2A DE102017204351A1 (de) 2017-03-15 2017-03-15 Manuell betätigbare taktile Ein-/Ausgabeeinrichtung und deren Betriebsverfahren sowie Datenverarbeitungsanlage

Publications (1)

Publication Number Publication Date
DE102017204351A1 true DE102017204351A1 (de) 2018-09-20

Family

ID=63372112

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017204351.2A Pending DE102017204351A1 (de) 2017-03-15 2017-03-15 Manuell betätigbare taktile Ein-/Ausgabeeinrichtung und deren Betriebsverfahren sowie Datenverarbeitungsanlage

Country Status (2)

Country Link
US (1) US10481693B2 (de)
DE (1) DE102017204351A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7049899B2 (ja) * 2018-04-16 2022-04-07 アルプスアルパイン株式会社 制御装置、温度覚呈示装置、温度覚呈示システム、制御方法及びプログラム
JP7049903B2 (ja) 2018-05-01 2022-04-07 アルプスアルパイン株式会社 温度覚呈示装置、制御方法及びプログラム
US10890982B2 (en) * 2018-12-18 2021-01-12 Samsung Electronics Co., Ltd. System and method for multipurpose input device for two-dimensional and three-dimensional environments
WO2024064936A1 (en) * 2022-09-22 2024-03-28 Apple Inc. Variable friction and multi-texture mouse

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8981682B2 (en) * 2005-06-27 2015-03-17 Coactive Drive Corporation Asymmetric and general vibration waveforms from multiple synchronized vibration actuators
US20080251364A1 (en) * 2007-04-11 2008-10-16 Nokia Corporation Feedback on input actuator
US9696803B2 (en) * 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
WO2015145893A1 (ja) * 2014-03-26 2015-10-01 ソニー株式会社 体感導入装置、体感導入システム、及び体感導入方法
US9589432B2 (en) * 2014-12-22 2017-03-07 Immersion Corporation Haptic actuators having programmable magnets with pre-programmed magnetic surfaces and patterns for producing varying haptic effects

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
„Haptic Texture Database" Strese, Schuwerk, Chaudhari und Steinbach, 2016, (www.lmt.ei.tum.de/texture/)
„Surface Classification Using Acceleration Signals Recorded During Human Freehand Movement" Strese, Schuwerk, Steinbach, IEEE World Haptics Conference (WHC) 2015
Publikation „Psychophysical dimensions of tactile perception of textures" von Okamoto, Nagano und Yamada, IEEE Transactions on Haptics, Band 6, Seiten 81 bis 93, vom März 2013

Also Published As

Publication number Publication date
US20180267609A1 (en) 2018-09-20
US10481693B2 (en) 2019-11-19

Similar Documents

Publication Publication Date Title
EP3285144B1 (de) System und verfahren zur haptischen interaktion mit virtuellen objekten
DE10004372B4 (de) Gestaltung von Kraftempfindungen für Computeranwendungen mit Geräuschen
EP3709133B1 (de) System zur haptischen interaktion mit virtuellen objekten für anwendungen in der virtuellen realität
DE102017204351A1 (de) Manuell betätigbare taktile Ein-/Ausgabeeinrichtung und deren Betriebsverfahren sowie Datenverarbeitungsanlage
Minsky et al. Simulated haptic textures: Roughness
EP3067874A1 (de) Verfahren und vorrichtung zum testen eines in einem luftfahrzeug zu bedienenden geräts
Flanagan et al. Feeling bumps and holes
DE102019117336A1 (de) Mehrmodus-rollrad für ein eingabesystem
DE102015200126A1 (de) Texterfassungs-Eingabestift und -verfahren
DE112017001781T5 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und nicht transientes, computerlesbares Medium
Ilkhani et al. Data-driven texture rendering with electrostatic attraction
WO2015176708A1 (de) Vorrichtung zum anzeigen einer virtuellen realität sowie messgerät
DE112019002798T5 (de) Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm
Li et al. Magnetorheological fluids based haptic device
Shin et al. Effects of haptic texture rendering modalities on realism
Balijepalli et al. Value-addition of haptics in operator training for complex machining tasks
Hara et al. Perceptual illusion in virtual reality using haptic interface
Deng et al. The roughness display with pen-like tactile device for touchscreen device
Ryu et al. Perceptually transparent vibration rendering using a vibration motor for haptic interaction
Verona et al. Pseudo-haptic perception in smartphones graphical interfaces: a case study
Doxon et al. Force and contact location shading thresholds for smoothly rendering polygonal models
Yang et al. Enhancing the simulation of boundaries by coupling tactile and kinesthetic feedback
DE102021118951A1 (de) Eine Benutzerschnittstelle für ein Fahrzeug, ein Fahrzeug und ein Verfahren zum Betreiben einer Benutzerschnittstelle für ein Fahrzeug
DE102016207530A1 (de) System und Verfahren zum Darstellen eines virtuellen Fahrzeuginnenraums
Balzarotti et al. Effects of CHAI3D texture rendering parameters on texture perception

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication