WO2021052660A1 - Verfahren und vorrichtung zum verarbeiten eines durch eine kamera aufgenommenen bildes - Google Patents

Verfahren und vorrichtung zum verarbeiten eines durch eine kamera aufgenommenen bildes Download PDF

Info

Publication number
WO2021052660A1
WO2021052660A1 PCT/EP2020/071084 EP2020071084W WO2021052660A1 WO 2021052660 A1 WO2021052660 A1 WO 2021052660A1 EP 2020071084 W EP2020071084 W EP 2020071084W WO 2021052660 A1 WO2021052660 A1 WO 2021052660A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
transformation
camera
user
area
Prior art date
Application number
PCT/EP2020/071084
Other languages
English (en)
French (fr)
Inventor
Johannes Von Hoyningen-Huene
Andreas Mueller
Nikolaj Marchenko
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2021052660A1 publication Critical patent/WO2021052660A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Definitions

  • the present invention relates to a method for processing an image captured by a camera.
  • the present invention also relates to a corresponding device, a corresponding computer program and a corresponding storage medium.
  • Augmented reality is generally understood to mean the computer-aided expansion of the perception of reality in real time.
  • US9269011B1 uses images from a variety of sources to capture different angles, zoom levels and views of objects and sights in different lighting conditions.
  • the images are tagged or linked to a specific position or a specific point of interest and stored in a database in order to use AR to identify objects that appear in the live view of a scene that was recorded by at least one camera of a data processing device.
  • the layout platform determines at least one zoom level for the reproduction of one or more images of one or more elements in a perspective representation, which is at least partially on at least one Push interaction or at least one pull interaction in the perspective representation is based.
  • the layout platform at least partially reproduces the representations that are based at least partially on the zoom level.
  • GB2513865A describes an AR scene with one or more objects, each object having augmented data and using one or more sensors to detect a request from a user to search at least one of the enriched data sets, possibly one or more categories such as image, video or multimedia belong.
  • a sequence of extended data to be searched is provided and searched based on a command signal sensed at one or more sensors.
  • the searched object can then be displayed based on a command signal received from the sensors, which can be touch sensors.
  • Searching the sequence of extended data can be based on rotary touch commands.
  • the one or more objects can be filtered based on a proximity to the user, wherein the filtering can be based on a pinch, spread zoom, or other multi-finger command.
  • the invention provides a method for processing an image recorded by a camera, a corresponding device, a corresponding computer program and a corresponding storage medium according to the independent claims.
  • the method according to the invention is based on the knowledge that in conventional AR applications the (augmented) content displayed on the AR terminal is based on virtual 3D models or two-dimensional surfaces on real surfaces or in space for displaying text, images, videos or programs Respectively.
  • the appearance of real objects is displayed in processed form for the user of the AR terminal.
  • the recorded camera image is transformed in a desired manner and displayed in the user's field of vision. A detailed interpretation of the camera image is not absolutely necessary, which keeps the computational effort within limits.
  • One advantage of this solution is the creation of a helpful extension of AR video glasses, which prepares the displayed image for the viewer and supports him in doing certain work more easily.
  • Various types of assistance for the user are conceivable through different image transformations.
  • a suitable pre-selection of the interesting image areas as well as a simple and quick change between AR functionality and a changed representation of the real environment can simplify many tasks in which different aids are currently used.
  • the proposed transformation mode does not require any major changes to the hardware of the AR terminals.
  • the camera, processing unit and screen are also present in conventional AR devices.
  • the additional mode may even make lower demands on the hardware of the AR glasses than their conventional AR mode.
  • a transformation of the entire image or a fixed image section sometimes causes less computational effort than the representation of virtual objects at real reference points by means of optical image recognition.
  • Embodiments of the invention could be used in the context of a wide variety of applications in which the user can be supported both by additional information and by a changed representation of the environment without having to change the optical aid, in this case the AR glasses.
  • Such applications include the construction and repair or maintenance of filigree components (enlargement), monitoring of systems (highlighting of image sections) and working in poor, changing visibility conditions (changes in brightness and contrast).
  • Modes can be changed by voice commands and head movements. This has the advantage that the user continues to have both hands available to carry out his task, since he does not need them to change the mode. This is particularly useful for tasks that have to be carried out with both hands so that no hand is free to operate the terminal.
  • Figure 1 shows the flow chart of a method according to a first embodiment.
  • FIG. 2 schematically shows AR glasses according to a second embodiment in standard mode.
  • FIG. 3 shows an extended mode with a magnifying glass function, in which the camera image is shown enlarged.
  • FIG. 1 illustrates the sequence of a method according to the invention (10).
  • the starting point is a conventional AR mode in which the user sees the environment, which may have been expanded to include AR content, but is otherwise unadulterated.
  • the AR terminal makes a preselection of the image sections and recognized objects in the user's field of vision for the image transformation and marks them on the display unit as areas that can be selected by the user.
  • the area or the recognized object is selected for image transformation by the user.
  • the image transformation mode is activated for this image area.
  • a third step (13) the entire image of the surroundings or a part thereof is subjected to the desired image transformation and is displayed on the display unit in the user's field of vision.
  • the changed display is intended to help the user, for example, to do his job in a simpler, more efficient or more ergonomic way.
  • a fourth step (14) the image transformation mode is exited again. This can be initiated, among other things, directly by the user or automatically by the AR terminal if, for example, a certain period of time expires or it is recognized that a work step has ended.
  • the detection of interesting image areas in the first step (11) takes place, for. B. using a suitable image recognition.
  • the markers can be attached directly to the viewed objects or with a known offset to them.
  • the areas that come into consideration for image transformation are offered to the user for selection by corresponding markings on the display unit.
  • the user selects the area for the image transformation in the second step (12).
  • Manual selection by means of a manually operated input device, e.g. B. keyboard, touchpad or joystick.
  • the input device can be located directly on the AR terminal. Alternatively, the entry can be made on another device and transmitted to the AR terminal.
  • gestures that are carried out in the field of vision of the camera and captured by image processing.
  • gestures could be recognized by a sensor glove and communicated to the AR terminal.
  • voice commands that are recorded via a microphone and processed according to their meaning are possible, special head movements such as nodding, turning or tilting the head, which can be detected by position, acceleration and rotation rate sensors, but also by image processing of the camera image, or the fixation of the gaze on an area.
  • head movements such as nodding, turning or tilting the head, which can be detected by position, acceleration and rotation rate sensors, but also by image processing of the camera image, or the fixation of the gaze on an area.
  • Separate cameras that capture the user's eyes can be used to determine the viewing direction.
  • the center of the camera image can also be used as a reference point for the viewing direction.
  • the final selection of the line of sight lying area can be done either automatically after a certain period of fixation or a confirmation by manual input, gesture or voice command.
  • the selection of the area for the image transformation is made by a third party.
  • the automatic detection of eligible areas and their selection by the user or according to a predetermined rule within the framework of the method (10) is optional.
  • the entire image area of the camera is selected for an image transformation or for the user to manually select part of the image without object recognition taking place in this area.
  • the user could, for example, use a suitable gesture to outline the area to be transformed in his field of vision or to mark it in some other way.
  • the entire image, the selected area or the recognized and selected object is displayed in a modified form on the screen.
  • image transformations are conceivable: Enlargement - for example, according to the operating principle of a magnifying glass - or reduction, mirroring or rotation, color matching or color replacement, brightness change or contrast enhancement, application of an image filter, edge detection and edge highlighting or replacement of the image by a recording in a different wavelength range , e.g. B. with the help of infrared or ultraviolet cameras.
  • an image transformation can take place on all other areas of the camera image outside the selected area or away from the selected object in order to e.g. B. to prevent distraction of the user.
  • Relevant measures include blackening or other covering with one or more colors or color gradients as well as blurring these areas.
  • the image transformation is not selected by the user himself, but rather by the AR terminal or a third party start the transformation (13) fluently - for example by simulating a change in the focal length ("zooming") or slowly increasing the filter function so that the user does not lose his or her orientation when changing the display mode.
  • the image transformation mode is exited and switched back to the standard mode, in which the user sees the non-transformed environment together with AR content.
  • the termination of the method (10) can - similar to the selection of the area to be transformed - be terminated by an action by the user using manual input devices or in the form of hand and finger gestures, head movements and voice commands.
  • the return to normal operation can also be initiated after a defined period of time, in that the selected objects leave the field of vision of the camera, or by external events that are transmitted to the AR terminal.
  • a termination by a third party or the recognition of a situation in which the user must see his environment unchanged - i.e. without image transformation - in order to be able to recognize and avert a danger to himself or others, for example, are conceivable.
  • FIG. 1 An application example for the practical use of AR glasses with standard and additional functions could be the computer-aided assembly of a circuit board with very small components.
  • FIG. 1 In the standard mode, the user of the AR glasses (20) sees the real environment as he would see it without glasses (20).
  • virtual objects (27) are shown on the screen of the glasses (20), which support him in his task.
  • such an object (27) in the form of a speech bubble could guide the user equipped with solder (23) and soldering iron (24) to attach a certain component (26) to a certain point (25) on the circuit board (22) to support him in this complex workflow. That way he would be in his direct field of vision pointed to the upcoming work step without having to take your eyes off the board (22) and focus on an assembly plan.
  • the second mode of the AR glasses (20) is for carrying out the work step itself, in the present case the filigree soldering of a very small component
  • the user is suggested to enlarge the image area around the solder joint or the entire image.
  • said image area or the entire image is digitally enlarged and - as shown in FIG. 3 - displayed on the screen of the AR glasses (20). It is expedient that the perception of the actual environment is completely suppressed so that the user does not see the actual environment in unchanged form and a partially transparent representation of the digitally enlarged environment at the same time.
  • the user switches the AR glasses (20) back to standard mode.
  • This method (10) can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in the AR glasses (20).

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Verfahren (10) zum Verarbeiten eines durch eine Kamera aufgenommenen Bildes, gekennzeichnet durch folgende Merkmale: - in einem Transformationsmodus wird das Bild einer vorgegebenen Transformation (13) unterzogen und einem Nutzer auf einer Darstellungseinheit (21) angezeigt und - der Transformationsmodus wird bei einem vorgegebenen Ereignis verlassen (14).

Description

Beschreibung
Titel
Verfahren und Vorrichtung zum Verarbeiten eines durch eine Kamera aufgenommenen Bildes
Die vorliegende Erfindung betrifft ein Verfahren zum Verarbeiten eines durch eine Kamera aufgenommenen Bildes. Die vorliegende Erfindung betrifft darüber hinaus eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes Speichermedium.
Stand der Technik
Unter erweiterter Realität {augmented reality, AR) wird gemeinhin die computergestützte Erweiterung der Realitätswahrnehmung in Echtzeit verstanden.
US9269011B1 verwendet Bilder aus einer Vielzahl von Quellen, um verschiedene Winkel, Zoomstufen und Ansichten von Objekten und Sehenswürdigkeiten bei unterschiedlichen Lichtverhältnissen zu erfassen. Die Bilder werden mit Tags versehen oder mit einer bestimmten Position oder mit einem bestimmten Sonderziel verknüpft und in einer Datenbank gespeichert, um mittels AR Objekte zu erkennen, die in der Liveansicht einer Szene erscheinen, die von mindestens einer Kamera einer Datenverarbeitungsvorrichtung aufgenommen wurde.
In US20140043365A1 wird ein Ansatz bereitgestellt, um ein interaktives perspektivisches Layout für interessante Orte in einer AR-Ansicht bereitzustellen. Die Layout- Plattform bestimmt mindestens eine Zoomstufe für die Wiedergabe einer oder mehrerer Abbildungen eines oder mehrerer Elemente in einer perspektivischen Darstellung, die zumindest teilweise auf mindestens einer Push-Interaktion oder mindestens einer Pull-Interaktion in der perspektivischen Darstellung basiert. Die Layoutplattform bewirkt zumindest teilweise eine Wiedergabe der Darstellungen, die zumindest teilweise auf der Zoomstufe basieren.
GB2513865A beschreibt eine AR-Szene mit einem oder mehreren Objekten, wobei jedes Objekt erweiterte Daten aufweist und unter Verwendung eines oder mehrerer Sensoren eine Anforderung eines Benutzers zum Durchsuchen mindestens eines der angereicherten Datensätze erkennt, die möglicherweise einer oder mehreren Kategorien wie Bild, Video oder Multimedia angehören. Eine Sequenz zu durchsuchender erweiterter Daten wird bereitgestellt und basierend auf einem Befehlssignal durchsucht, das an einem oder mehreren Sensoren erfasst wird. Das gesuchte Objekt kann dann basierend auf einem Befehlssignal angezeigt werden, das von den Sensoren empfangen wird, die Berührungssensoren sein können. Die Suche in der Sequenz von erweiterten Daten kann auf Dreh-Berührungsbefehlen basieren. Das eine oder die mehreren Objekte können basierend auf einer Nähe zum Benutzer gefiltert werden, wobei die Filterung auf einem Kneif-, Spreizzoom- oder anderen Mehrfingerbefehl basieren kann.
Offenbarung der Erfindung
Die Erfindung stellt ein Verfahren zum Verarbeiten eines durch eine Kamera aufgenommenen Bildes, eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes Speichermedium gemäß den unabhängigen Ansprüchen bereit.
Dem erfindungsgemäßen Verfahren liegt die Erkenntnis zugrunde, dass sich bei üblichen AR-Anwendungen die auf dem AR- Endgerät dargestellten (augmentierten) Inhalte auf virtuelle 3D-Modelle oder zweidimensionale Flächen auf realen Oberflächen oder im Raum zur Darstellung von Text, Bildern, Videos oder Programmen beziehen. Bei vielen Anwendungen kann es von Vorteil sein, wenn statt solchen virtuellen (zusätzlichen) Objekten das Erscheinungsbild von realen Objekten für den Nutzer des AR-Endgeräts in verarbeiteter Form dargestellt wird. Mit dem vorgeschlagenen Verfahren wird es möglich, dass in bestimmten Situationen Teile der Umgebung für den Nutzer anders dargestellt werden, um ihn bei einer Aufgabe zu unterstützen. Dabei wird das aufgenommene Kamerabild in einer gewünschten Weise transformiert und im Sichtfeld des Nutzers dargestellt. Eine detaillierte Interpretation des Kamerabildes ist dabei nicht unbedingt erforderlich, was den Rechenaufwand im Rahmen hält. Im Gegensatz zu herkömmlichen AR-Anwendungen erfolgt also keine Erweiterung der Realität durch zusätzlich eingeblendete virtuelle Objekte, sondern eine auf spezifische Weise transformierte Darstellung der tatsächlichen Realität. Der Wechsel vom Standard-Modus des AR-Endgeräts in den erfindungsgemäßen Modus und umgekehrt gestaltet sich dabei für den Nutzer unkompliziert. Er kann unterschiedliche Teile seiner Aufgabe so mit demselben Gerät effizient durchführen.
Ein Vorzug dieser Lösung liegt in der Schaffung einer hilfreichen Erweiterung von AR-Videobrillen, die das dargestellte Bild für den Betrachter aufbereitet und ihn dabei unterstützt, bestimmte Arbeiten einfacher durchzuführen. Durch unterschiedliche Bildtransformationen sind dabei vielfältige Hilfestellungen für den Nutzer denkbar. Durch eine geeignete Vorauswahl der interessanten Bildbereiche sowie einen einfachen und schnellen Wechsel zwischen AR- Funktionalität und veränderter Darstellung der realen Umgebung können viele Aufgaben vereinfacht werden, bei denen derzeit unterschiedliche Hilfsmittel genutzt werden.
Der vorgeschlagene Transformationsmodus setzt dabei keine wesentlichen Änderungen der Hardware der AR-Endgeräte voraus. Kamera, Verarbeitungseinheit und Bildschirm sind auch bei konventionellen AR- Endgeräten vorhanden. Der zusätzliche Modus stellt unter Umständen sogar geringere Anforderungen an die Hardware der AR-Brille als deren herkömmlicher AR-Modus. Eine Transformation des gesamten Bildes oder eines festen Bildausschnitts verursacht mitunter einen geringeren Rechenaufwand als die Darstellung von virtuellen Objekten an realen Bezugspunkten mittels optischer Bilderkennung. Ausführungsformen der Erfindung könnten im Rahmen unterschiedlichster Anwendungen eingesetzt werden, bei denen der Nutzer sowohl durch zusätzliche Informationen als auch durch eine veränderte Darstellung der Umgebung unterstützt werden kann, ohne das optische Hilfsmittel, in diesem Fall die AR-Brille, wechseln zu müssen. Derartige Anwendungen umfassen Aufbau und Reparatur oder Wartung von filigranen Komponenten (Vergrößerung), Überwachung von Anlagen (Hervorhebung von Bildausschnitten) und Arbeiten bei schlechten, veränderlichen Sichtverhältnissen (Helligkeits- und Kontrastveränderung).
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Grundgedankens möglich. So kann der Wechsel der Modi durch Sprachkommandos und Kopfbewegungen vorgesehen sein. Dies birgt den Vorteil, dass dem Benutzer weiterhin beide Hände zur Erfüllung seiner Aufgabe zur Verfügung stehen, da er diese nicht zum Wechsel des Modus benötigt. Dies ist insbesondere bei solchen Aufgaben von Nutzen, die beidhändig ausgeführt werden müssen, sodass keine Hand zur Bedienung des Endgeräts frei ist.
Kurze Beschreibung der Zeichnungen
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
Figur 1 das Flussdiagramm eines Verfahrens gemäß einer ersten Ausführungsform.
Figur 2 schematisch eine AR-Brille gemäß einer zweiten Ausführungsform im Standardmodus.
Figur 3 einen erweiterten Modus mit Lupenfunktion, bei dem das Kamerabild vergrößert dargestellt wird. Ausführungsformen der Erfindung
Figur 1 illustriert den Ablauf eines erfindungsgemäßen Verfahrens (10). Ausgangspunkt ist dabei ein herkömmlicher AR-Modus, bei dem der Nutzer die gegebenenfalls um AR-Inhalte erweiterte, ansonsten jedoch unverfälschte Umgebung sieht.
In einem optionalen ersten Schritt (11) trifft das AR- Endgerät für die Bildtransformation eine Vorauswahl der Bildausschnitte und erkannten Objekte im Sichtfeld des Nutzers und markiert diese auf der Darstellungseinheit als Bereiche, die durch den Nutzer ausgewählt werden können.
In einem ebenfalls optionalen zweiten Schritt (12) wird der Bereich bzw. das erkannte Objekt für eine Bildtransformation durch den Nutzer ausgewählt. Der Modus der Bildtransformation wird für diesen Bildbereich aktiviert.
In einem dritten Schritt (13) wird das gesamte Umgebungsbild oder ein Teil desselben mit gewünschten Bildtransformation unterzogen und auf der Darstellungseinheit im Sichtfeld des Nutzers dargestellt. Die veränderte Darstellung soll dem Nutzer beispielsweise dabei helfen, seine Aufgabe einfacher, effizienter oder ergonomischer zu erledigen.
In einem vierten Schritt (14) wird der Modus der Bildtransformation wieder verlassen. Dies kann unter anderem direkt durch den Nutzer oder aber selbsttätig durch das AR- Endgerät veranlasst werden, wenn zum Beispiel eine bestimmte Zeitspanne abläuft oder erkannt wird, dass ein Arbeitsschritt beendet ist.
Diese Schritte (11 bis 14) seien nunmehr im Einzelnen erläutert.
Die Detektion von interessanten Bildbereichen im ersten Schritt (11) erfolgt z. B. anhand einer geeigneten Bilderkennung. Dies könnte z. B. im Wege einer Objekterkennung durch Vergleich des Kamerabildes mit Objekten und Bildern aus einer Datenbank, einer Kantenerkennung im Kamerabild, der Erkennung von bestimmten Farben bzw. Farbmustern sowie der Erkennung von Markern, Beschriftungen o. ä. erfolgen. Die Marker können dabei direkt auf den betrachteten Objekten oder mit einem bekannten Versatz zu diesen angebracht sein.
Neben den anhand des Kamerabildes gewonnenen Erkenntnissen kann weiteres Wissen über die Objekte vorhanden sein und zur Vorauswahl interessanter Bildbereiche genutzt werden. So können etwa Position und Status von Roboterarmen, Waren auf Transportsystemen oder anderen Objekten von externen Informationsquellen bezogen werden.
Die für eine Bildtransformation in Betracht kommenden Bereiche werden dem Nutzer durch entsprechende Markierungen auf der Darstellungseinheit zur Auswahl angeboten.
Aus dieser Auswahl wählt der Nutzer im zweiten Schritt (12) den Bereich für die Bildtransformation aus. In Betracht kommt die manuelle Auswahl durch ein handbedientes Eingabegerät, z. B. Tastatur, Touchpad oder Joystick. Das Eingabegerät kann sich dabei direkt am AR- Endgerät befinden. Alternativ kann die Eingabe an einem weiteren Gerät vollzogen und dem AR- Endgerät übermittelt werden.
Zu denken ist ferner an Hand- und Fingergesten, die im Sichtbereich der Kamera ausgeführt und durch Bildverarbeitung erfasst werden. Alternativ könnten solche Gesten durch einen Sensorhandschuh erkannt und dem AR- Endgerät mitgeteilt werden.
Möglich sind schließlich Sprachkommandos, die über ein Mikrofon aufgenommen und ihrem Sinngehalt entsprechend verarbeitet werden, spezielle Kopfbewegungen wie Nicken, Drehen oder Schrägstellen des Kopfs, die durch Lage-, Beschleunigungs- und Drehratensensoren, aber auch durch eine Bildverarbeitung des Kamerabildes detektiert werden können, oder die Fixierung des Blicks auf einen Bereich. Für die Bestimmung der Blickrichtung können gesonderte Kameras verwendet werden, die die Augen des Nutzers erfassen. Alternativ kann auch die Bildmitte des Kamerabildes als Anhaltspunkt für die Blickrichtung verwendet werden. Die letztliche Auswahl des in Blickrichtung liegenden Bereiches kann entweder nach einer bestimmten Dauer der Fixierung selbsttätig oder einer Bestätigung durch manuelle Eingabe, Geste oder Sprachkommando erfolgen.
Darüber hinaus ist auch denkbar, dass die Auswahl des Bereiches für die Bildtransformation durch einen Dritten erfolgt. Die automatische Erkennung infrage kommender Bereiche und deren Auswahl durch den Nutzer oder gemäß einer vorgegebenen Regel im Rahmen des Verfahrens (10) ist optional. Es ist ebenso möglich, dass pauschal der gesamte Bildbereich der Kamera für eine Bildtransformation ausgewählt wird oder der Nutzer manuell einen Teil des Bildes auswählt, ohne dass eine Objekterkennung in diesem Bereich erfolgt. Hierzu könnte der Benutzer beispielsweise durch eine geeignete Geste den zu transformierenden Bereich in seinem Sichtfeld umreißen oder anderweitig markieren.
Im dritten Schritt (13) wird nach dem Wechsel in den Modus der Bildtransformation das gesamte Bild, der ausgewählte Bereich oder das erkannte und ausgewählte Objekt in veränderter Form auf dem Bildschirm dargestellt. Dabei sind unter anderem folgende Bildtransformationen denkbar: Vergrößerung - etwa nach dem Wirkprinzip einer Lupe - oder Verkleinerung, Spiegelung oder Drehung, Farbanpassung oder Farbaustausch, Helligkeitsveränderung oder Kontrastverstärkung, Anwendung eines Bildfilters, Kantenerkennung und Kantenhervorhebung oder Ersetzung des Bildes durch eine Aufnahme in einem anderen Wellenlängenbereich, z. B. mit Hilfe von Infrarot- oder Ultraviolett- Kameras.
Alternativ kann eine Bildtransformation auf alle anderen Bereiche des Kamerabildes außerhalb des gewählten Bereichs bzw. abseits des ausgewählten Objekts erfolgen, um z. B. eine Ablenkung des Nutzers zu verhindern. Einschlägige Maßnahmen umfassen die Schwärzung oder anderweitige Überdeckung mit einer oder mehreren Farben oder Farbverläufen sowie unscharfe Darstellung dieser Bereiche.
Gerade für den Fall, dass die Bildtransformation nicht vom Nutzer selbst, sondern durch das AR- Endgerät oder einen Dritten ausgewählt wird, bietet es sich an, die Transformation (13) fließend einzuleiten - zum Beispiel durch eine simulierte Brennweitenänderung („Zoomfahrt“) bzw. langsames Steigern der Filterfunktion damit der Nutzer beim Wechsel des Darstellungsmodus nicht die Orientierung verliert.
Im Modus der Bildtransformation ist es sowohl denkbar, dass weiterhin AR-Inhalte eingeblendet werden, als auch dass diese Einblendung ausgesetzt wird.
Im vierten Schritt (14) wird der Modus der Bildtransformation verlassen und zurück in den Standardmodus gewechselt, in dem der Nutzer die nichttransformierte Umgebung zusammen mit AR-Inhalten sieht. Das Beenden des Verfahrens (10) kann - ähnlich wie bei der Auswahl des zu transformierenden Bereiches - durch eine Aktion des Nutzers mittels manueller Eingabegeräte oder in Gestalt von Hand- und Fingergesten, Kopfbewegungen und Sprachkommandos beendet werden. Die Rückkehr in den Normalbetrieb kann auch nach Ablauf einer definierten Zeitspanne, dadurch, dass die ausgewählten Objekte den Sichtbereich der Kamera verlassen, oder durch externe Ereignisse veranlasst werden, die dem AR- Endgerät übermittelt werden. Denkbar sind insbesondere eine Beendigung durch Dritte oder das Erkennen einer Situation, in der der Nutzer seine Umgebung unverändert - also ohne Bildtransformation - sehen muss, um zum Beispiel eine Gefahr für sich oder andere erkennen und abwenden zu können.
Ein Anwendungsbeispiel für den praktischen Nutzen einer AR-Brille mit Standard- und Zusatzfunktion könnte die computerunterstützte Bestückung einer Platine mit sehr kleinen Bauteilen sein. Ein entsprechendes Szenario ist in Figur 2 dargestellt. Der Benutzer der AR-Brille (20) sieht im Standardmodus die reale Umgebung, wie er sie auch ohne Brille (20) sehen würde. Zusätzlich werden auf dem Bildschirm der Brille (20) virtuelle Objekte (27) dargestellt, die ihn bei seiner Aufgabe unterstützen. Im konkreten Beispiel könnte ein solches Objekt (27) in Gestalt einer Sprechblase den mit Lot (23) und Lötkolben (24) ausgerüsteten Nutzer dabei anleiten, an einer bestimmten Stelle (25) auf der Platine (22) ein bestimmtes Bauteil (26) anzubringen, um ihn bei diesem komplexen Arbeitsablauf zu unterstützen. Auf diese Weise würde er in seinem direkten Sichtfeld auf den anstehenden Arbeitsschritt hingewiesen, ohne den Blick von der Platine (22) abwenden und auf einen Bestückungsplan richten zu müssen.
Für die Durchführung des Arbeitsschritts selbst, vorliegend also das filigrane Löten eines sehr kleinen Bauteils, ist der zweite Modus der AR-Brille (20) von
Vorteil. Daher wird dem Nutzer eine Vergrößerung des Bildbereiches um die Lötstelle oder des gesamten Bildes vorgeschlagen.
Nach dem durch den Nutzer bestätigten Wechsel in den Transformationsmodus wird der besagte Bildbereich oder das gesamte Bild digital vergrößert und - wie in Figur 3 gezeigt - auf dem Bildschirm der AR-Brille (20) dargestellt. Dabei ist es zielführend, dass die Wahrnehmung der tatsächlichen Umgebung vollständig unterdrückt wird, damit der Benutzer nicht gleichzeitig die tatsächliche Umgebung in unveränderter Form und eine teiltransparente Darstellung der digital vergrößerten Umgebung sieht. Nachdem der Arbeitsschritt mittels der Vergrößerung erfolgreich abgeschlossen wurde, versetzt der Nutzer die AR-Brille (20) wieder in den Standardmodus.
Durch diese alternativen Betriebsmodi muss er nicht fortlaufend zwischen unterschiedlichen Hilfsmitteln wechseln, sondern kann die AR-Brille (20) gleichermaßen zur Wahrnehmung seiner Umgebung und inhaltlichen Unterstützung der ihm übertragenen Arbeitsaufgabe einsetzen. Sein
Arbeitsablauf wird dadurch beschleunigt und vereinfacht.
Dieses Verfahren (10) kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in der AR-Brille (20) implementiert sein.

Claims

Ansprüche
1. Verfahren (10) zum Verarbeiten eines durch eine Kamera aufgenommenen Bildes, gekennzeichnet durch folgende Merkmale:
- in einem Transformationsmodus wird das Bild einer vorgegebenen Transformation (13) unterzogen und einem Nutzer auf einer Darstellungseinheit (21) angezeigt und
- der Transformationsmodus wird bei einem vorgegebenen Ereignis verlassen (14).
2. Verfahren (10) nach Anspruch 1, gekennzeichnet durch folgende Merkmale:
- mindestens ein Bereich (25) des Bildes wird auf der Darstellungseinheit (21) markiert (11) und
- der Bereich (25) wird zur Transformation (13) ausgewählt (12) und der Transformationsmodus aktiviert.
3. Verfahren (10) nach Anspruch 2, dadurch gekennzeichnet, dass der Bereich (25) mit mindestens einer der folgenden Techniken erkannt wird:
- eine Objekterkennung durch einen Vergleich des Bildes mit Objekten und weiteren Bildern aus einer Datenbank,
- eine Erkennung von Kanten im Kamerabild,
- eine Erkennung bestimmter Farben oder Farbmuster oder
- eine Erkennung von Markierungen oder Beschriftungen.
4. Verfahren (10) nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass das Auswählen (12) auf eine der folgenden Weisen erfolgt:
- eine manuelle Auswahl durch ein handbedientes Eingabegerät, - Hand- und Fingergesten, die in einem Sichtbereich der Kamera ausgeführt und durch eine Bildverarbeitung erkannt werden,
- Sprachkommandos, die über ein Mikrofon aufgenommen und verarbeitet werden,
- spezielle Kopfbewegungen, die durch Lage-, Beschleunigungs- und Drehratensensoren oder die Bildverarbeitung erkannt werden oder
- eine durch den Sichtbereich oder weitere Kameras bestimmte Blickrichtung des Nutzers.
5. Verfahren (10) nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass die Transformation (13) mindestens eine der folgenden Maßnahmen umfasst:
- eine Vergrößerung oder Verkleinerung,
- eine Spiegelung oder Drehung,
- eine Farbanpassung oder ein Farbaustausch,
- eine Helligkeitsveränderung oder Kontrastverstärkung,
- eine Anwendung eines Bildfilters,
- eine Kantenerkennung und -hervorhebung,
- eine Ersetzung des Bildes durch eine Aufnahme in einem anderen Wellenlängenbereich oder
- eine Unkenntlichmachung oder Weichzeichnung des Bildes außerhalb des ausgewählten (12) Bereiches (25).
6. Verfahren (10) nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass das Verlassen (14) des Transformationsmodus durch mindestens eines der folgenden Ereignisse ausgelöst wird:
- eine vorgegebene Aktion des Nutzers,
- den Ablauf einer definierten Zeitspanne,
- einer Bewegung der Kamera derart, dass der ausgewählte (12) Bereich (25) außerhalb des Sichtbereiches liegt oder
- eine zum Verlassen (14) des Transformationsmodus auffordernde Benachrichtigung.
7. Verfahren (10) nach Anspruch 1, gekennzeichnet durch folgendes Merkmal:
- das Bild wird vollumfänglich der Transformation (13) unterzogen.
8. Computerprogramm, welches eingerichtet ist, das Verfahren (10) nach einem der Ansprüche 1 bis 7 auszuführen.
9. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 8 gespeichert ist.
10. Vorrichtung (20), die eingerichtet ist, das Verfahren (10) nach einem der Ansprüche 1 bis 7 auszuführen.
PCT/EP2020/071084 2019-09-19 2020-07-27 Verfahren und vorrichtung zum verarbeiten eines durch eine kamera aufgenommenen bildes WO2021052660A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019214283.4 2019-09-19
DE102019214283.4A DE102019214283A1 (de) 2019-09-19 2019-09-19 Verfahren und Vorrichtung zum Verarbeiten eines durch eine Kamera aufgenommenen Bildes

Publications (1)

Publication Number Publication Date
WO2021052660A1 true WO2021052660A1 (de) 2021-03-25

Family

ID=71833341

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/071084 WO2021052660A1 (de) 2019-09-19 2020-07-27 Verfahren und vorrichtung zum verarbeiten eines durch eine kamera aufgenommenen bildes

Country Status (2)

Country Link
DE (1) DE102019214283A1 (de)
WO (1) WO2021052660A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140043365A1 (en) 2012-08-10 2014-02-13 Nokia Corporation Method and apparatus for layout for augmented reality view
US20140082500A1 (en) * 2012-09-18 2014-03-20 Adobe Systems Incorporated Natural Language and User Interface Controls
US20140195921A1 (en) * 2012-09-28 2014-07-10 Interactive Memories, Inc. Methods and systems for background uploading of media files for improved user experience in production of media-based products
GB2513865A (en) 2013-05-07 2014-11-12 Present Pte Ltd A method for interacting with an augmented reality scene
US20150106755A1 (en) * 2013-10-16 2015-04-16 3M Innovative Properties Company Editing digital notes representing physical notes
US9269011B1 (en) 2013-02-11 2016-02-23 Amazon Technologies, Inc. Graphical refinement for points of interest

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140043365A1 (en) 2012-08-10 2014-02-13 Nokia Corporation Method and apparatus for layout for augmented reality view
US20140082500A1 (en) * 2012-09-18 2014-03-20 Adobe Systems Incorporated Natural Language and User Interface Controls
US20140195921A1 (en) * 2012-09-28 2014-07-10 Interactive Memories, Inc. Methods and systems for background uploading of media files for improved user experience in production of media-based products
US9269011B1 (en) 2013-02-11 2016-02-23 Amazon Technologies, Inc. Graphical refinement for points of interest
GB2513865A (en) 2013-05-07 2014-11-12 Present Pte Ltd A method for interacting with an augmented reality scene
US20150106755A1 (en) * 2013-10-16 2015-04-16 3M Innovative Properties Company Editing digital notes representing physical notes

Also Published As

Publication number Publication date
DE102019214283A1 (de) 2021-03-25

Similar Documents

Publication Publication Date Title
DE69938173T2 (de) Automatische voreingestellte teilnehmerpositionsbestimmung für videokonferenzsysteme
DE112006002954B4 (de) Virtuelles Schnittstellensystem
EP2157903B1 (de) Verfahren zur wahrnehmungsmessung
DE60133386T2 (de) Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren
DE60225933T2 (de) Tragbare virtuelle realität
DE102016210288A1 (de) Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
EP2691934B1 (de) Phantombilddatenbank (3d)
DE3609469A1 (de) Anzeigesteuervorrichtung
DE102009054000A1 (de) Gerät zur bildlichen Aufnahme und Darstellung von Objekten, insbesondere Digitalfernglas, Digitalkamera oder Digitalvideokamera
DE69623385T2 (de) Interaktive Bilderzeugungsmethode und Gerät
WO2014170279A1 (de) Verfahren zum auswählen einer informationsquelle aus einer mehrzahl von informationsquellen zur anzeige auf einer anzeige einer datenbrille
DE102017215161A1 (de) Verfahren und Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs
WO1998015964A1 (de) Verfahren und anordnung zur bedienung mindestens eines geräts
DE19830968A1 (de) Gerät
DE10246652B4 (de) Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug
DE102019107064A1 (de) Anzeigeverfahren, elektronische Vorrichtung und Speichermedium damit
EP3765941A1 (de) Verfahren und vorrichtung zum bereitstellen von informationen durch ein augmented-reality-gerät, verfahren und vorrichtung zum bereitstellen von informationen zur steuerung einer anzeige eines augmented-reality-gerätes, verfahren und vorrichtung zur steuerung einer anzeige eines augmented-reality-gerätes, computerlesbares speichermedium mit instruktionen zur durchführung der verfahren
DE102012008986B4 (de) Kamerasystem mit angepasster ROI, Kraftfahrzeug und entsprechendes Verfahren
WO2021052660A1 (de) Verfahren und vorrichtung zum verarbeiten eines durch eine kamera aufgenommenen bildes
EP3857303A1 (de) Verfahren zur fokuseinstellung einer filmkamera
DE19812599C2 (de) Verfahren zur Video-Mikroskopie
WO2016046124A1 (de) Anzeigevorrichtung, die auf den kopf eines benutzers aufsetzbar ist, und verfahren zum steuern einer solchen anzeigevorrichtung
EP2555097A1 (de) Methode und Vorrichtung zur Bestimmung eines Bildausschnitts und Auslösen einer Bilderfassung mittels einer einzigen berührungsbasierten Geste
DE102019207454B4 (de) Augmented-Reality-System
DE102019112471A1 (de) Verfahren, Computerprogramm, computerlesbares Medium, Fahrerassistenzsystem und Fahrzeug zum Bereitstellen visueller Information über mindestens einen verdeckten Teil einer Umgebung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20746632

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20746632

Country of ref document: EP

Kind code of ref document: A1