WO2024008345A1 - Apparatus, mobile device and method for creating and displaying an image-in-image - Google Patents

Apparatus, mobile device and method for creating and displaying an image-in-image Download PDF

Info

Publication number
WO2024008345A1
WO2024008345A1 PCT/EP2023/060226 EP2023060226W WO2024008345A1 WO 2024008345 A1 WO2024008345 A1 WO 2024008345A1 EP 2023060226 W EP2023060226 W EP 2023060226W WO 2024008345 A1 WO2024008345 A1 WO 2024008345A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
picture
motor vehicle
externally arranged
display
Prior art date
Application number
PCT/EP2023/060226
Other languages
German (de)
French (fr)
Inventor
Sherif Zaidan
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2024008345A1 publication Critical patent/WO2024008345A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Definitions

  • the present invention relates to a device, a mobile device and a method, in particular a computer-implemented method, for creating and displaying a picture-in-picture.
  • Newer motor vehicles can have measuring systems and/or cameras with which the surroundings of the motor vehicle can be recorded.
  • One application for this can be assistance when parking.
  • other vehicles and/or objects that are located in front of or behind the motor vehicle can be displayed on a display that is visible to a driver of the motor vehicle, so that the driver can avoid a collision with the other vehicles and/or the objects when parking.
  • newer motor vehicles can have cameras in the interior of the motor vehicle, which enables recordings of the interior and the passengers inside.
  • suitable algorithms can be used to determine from the recordings whether a child has unbuckled themselves in a back seat. The driver can also be observed with such an interior camera. From recordings of the driver, suitable algorithms can be used to determine, for example, whether the driver is tired or distracted. If such a critical situation is detected, a warning message can be issued. From these examples it can be seen that areas of application of interior cameras and cameras for recording the surroundings of the motor vehicle can be different from one another.
  • the present invention is based on the object of providing an improved device for the use, in particular for use for a joint application, of interior cameras and cameras for detecting the surroundings of the motor vehicle.
  • a first aspect of the invention relates to an apparatus for creating and displaying a picture-in-picture to a user in a motor vehicle, the apparatus comprising: (i) a plurality of image sensors, an image being capable of being captured by each of the image sensors; (ii) wherein a first image sensor of the image sensors, in particular an image sensor mounted on the outside of the motor vehicle, can capture a first image of an environment of the motor vehicle; (iii) wherein a second image sensor of the image sensors can capture a second image of at least a partial area of an interior of the motor vehicle; (iv) a communication device which is connected in terms of signals to the plurality of image sensors and which is configured to send the first and the second images to an externally arranged transmitting and receiving device which is connected in terms of signals to an externally arranged image processing device, wherein the externally arranged image processing device is configured
  • a condition A or B is satisfied by one of the following conditions: A is true (or present) and B is false (or absent), A is false (or absent) and B is true (or present), and both A and B are true (or present).
  • the terms “a” or “an” as used herein are defined to mean “one or more”.
  • the terms “another” and “another” and any other variant thereof are to be understood in the sense of “at least one further”.
  • the term “configured” or “set up” to fulfill a specific function (and respective modifications thereof) means that the corresponding device is already in a configuration or setting in which it can carry out the function or it is at least so adjustable - i.e. configurable - that it can carry out the function after the appropriate setting.
  • the configuration can be carried out, for example, by appropriately setting parameters of a process flow or switches or the like to activate or deactivate functionalities or settings.
  • the device can have several predetermined configurations or operating modes, so that the configuration can be carried out by selecting one of these configurations or operating modes.
  • image sensor in the context of the invention is to be understood in particular as meaning a camera that is able to capture a scene using sensors, from which an image can be generated that can be viewed or perceived by a user.
  • picture-in-picture means in particular an image in which at least two separately recorded images are displayed at the same time. Separate recording can mean that the two images were taken at different times, were taken by different cameras, and/or have different motifs. One image can be shown in a smaller view than the other image. The views can also be changed so that the other image is shown smaller. Furthermore, “picture-in-picture” can mean several still images or several moving images, i.e. a “video-in-video” or a mixed “picture-in-video”.
  • mobile device as used here means in particular a mobile phone, in particular a smartphone, a tablet, a laptop or the like.
  • the term “externally arranged” as used here means in particular that the devices, devices, or the like affected by it are not arranged as standard and continuously on the motor vehicle, and are also not standardly connected to electronic components of the motor vehicle in terms of signaling or electronic means are. However, it cannot be ruled out that the affected facilities, devices or the like will be installed on the motor vehicle subsequently, i.e. after the motor vehicle has been purchased. For example, when purchasing a motor vehicle, there is usually no cell phone installed in the motor vehicle. By means of an auxiliary structure such as a holder arranged on a dashboard, the mobile phone can be arranged at least temporarily on the motor vehicle.
  • the device can ensure that the picture-in-picture is created by an externally arranged image processing device, in particular an image processing device that is integrated in a mobile device, in particular a mobile phone or smartphone. Because the picture-in-picture is created by the externally arranged image processing device, the computing power required for this can be saved in the motor vehicle and used for other applications.
  • the at least first image sensor is arranged so that it can capture the first image from a first direction that is different from a second direction from which the second image sensor can capture the second image. This allows images to be captured from different directions, which can be displayed on a picture-in-picture, giving a user a Get a quicker overview of an overall situation that has images from different directions.
  • the device has an image evaluation device which is configured to determine whether the user is depicted in the second image and in which direction the user is pointing and/or looking, and wherein the image evaluation device is configured depending on the Adjust an image section of the first image in a certain direction.
  • the determination of whether the user is depicted in the image and is pointing and/or looking in a certain direction can be done using face recognition and gesture recognition algorithms known from the prior art.
  • this specific direction can be calibrated with reference objects in the interior, for example door handles, fittings or the like, so that the direction can be determined in relation to the interior. If a relative position of the first image sensor to the second image sensor and an opening angle of the first image sensor are known, an image section can be qualitatively assigned to the direction.
  • the image section can be selected so that it correlates with the direction, i.e. that the user's gaze or gesture shows, of a real scene that corresponds to the adjusted image section. This means that both the direction indicated by the user and the associated image section can be displayed on the picture-in-picture.
  • the communication device is configured to wirelessly send the picture-in-picture to an externally arranged electronic device, in particular a mobile device, for displaying the picture-in-picture. This allows the picture-in-picture to be sent to other electronic devices and displayed on these devices.
  • the display device is configured to display the picture-in-picture with augmented reality content, also known as “augmented reality”. This allows a realistic representation of the picture-in-picture to be achieved and the overall content of the picture-in-picture can be grasped more quickly by the user.
  • the device has an externally arranged transmitting and receiving device. This allows signals to be exchanged between the communication device and the externally arranged transmitting and receiving device.
  • the device has an externally arranged image processing device. This allows image processing to be carried out while avoiding the use of the motor vehicle's computing power.
  • a second aspect of the invention relates to a motor vehicle having a device according to the first aspect.
  • a third aspect of the invention relates to a mobile device for creating and displaying a picture-in-picture, comprising: (i) a transmitting and receiving device configured to receive a first image captured by an image sensor of a motor vehicle; (ii) a capture device capable of capturing a second image; (iii) an image processing device, which is connected in terms of signals to the transmitting and receiving device and the detection device, and which is configured to create a picture-in-picture, comprising the first image and the second image; (iv) a display device configured to receive and display the picture-in-picture from the image processing device (240). This allows a picture-in-picture to be created that has an image of an image sensor of a motor vehicle and an image of a mobile device.
  • the image processing device is configured to create the picture-in-picture in real time and the display device is configured to display the picture-in-picture in real time. This allows changes that can be detected by the first image sensor and/or the second image sensor to be displayed directly to the user.
  • a fourth aspect of the invention relates to a method, in particular a computer-implemented method, for creating and displaying a picture-in-picture for a user in a motor vehicle, the method having the following steps: (i) capturing a first image of an environment of the motor vehicle a first image sensor; (ii) capturing a second image of an environment of the motor vehicle by a second image sensor; (iii) sending the first image and the second image by a communication device to an externally arranged transmitting and receiving device which is connected in terms of signals to an externally arranged image processing device; (iv) creating a picture-in-picture comprising the first image and the second image by the externally located image processing device; (v) sending the picture-in-picture by the externally arranged transmitting and receiving device to the communication device; (vi) receiving the picture-in-picture by a display device which is signal-coupled to the communication device; (vii) displaying the picture-in-picture by the display device to a user in the motor
  • Fig. 1 shows schematically a motor vehicle with a device according to an embodiment of the invention.
  • Figs. 2A-2C show schematic image sections that were recorded by image sensors attached to the motor vehicle.
  • Fig. 3 is a flowchart to illustrate a preferred embodiment of the method according to the invention.
  • the same reference numerals are used throughout for the same or corresponding elements of the invention.
  • FIG. 1 shows schematically a motor vehicle 100 with a device according to an embodiment of the invention.
  • a first image sensor 110 for capturing images of the surroundings of the motor vehicle is arranged at the front area of the motor vehicle 100.
  • the area that can be detected by the first image sensor 110 is indicated schematically by the dashed arrows that point in the direction of the first image sensor 110.
  • the first image sensor 110 can be arranged at the rear area of the motor vehicle 100 or at a side area.
  • several image sensors can be arranged on the outside area of the motor vehicle for detecting the surroundings of the motor vehicle 100.
  • a second image sensor 120 for capturing images of at least a portion of an interior of the motor vehicle is arranged between the front seats and rear seats of the motor vehicle 100.
  • the second image sensor 120 is arranged on the headliner of the motor vehicle 100.
  • the area to be captured is indicated schematically by the dashed arrows that point in the direction of the second image sensor 120.
  • the second image sensor 120 can also be arranged at the upper area of the windshield, which adjoins the headliner, or at another location in the interior of the motor vehicle 100 for detecting a portion of the interior. It is also conceivable that several image sensors are arranged in the interior of the motor vehicle 100.
  • a communication device 130 is also arranged in the motor vehicle 100, with which the captured images of the first image sensor 110 and the second image sensor 120 can be received, and with which the images can then be sent to a transmitting and receiving device 210.
  • the transmitting and receiving device 210 is connected to an image processing device 240 in terms of signals.
  • the image processing device 240 and the transmitting and receiving device 210 are integrated in a mobile device 200, for example a smartphone.
  • the first image and the second image are transmitted wirelessly by the communication device 130, i.e. via Bluetooth, via WLAN or via a cellular network according to a cellular standard such as 3G, LTE or 5G, to the transmitting and receiving device 210 of the mobile device 200.
  • the transmitting and receiving device 210 and the communication device 130 can be connected to one another in terms of signals via a cable connection.
  • the signaling connection between the transmitting and receiving device 210 and the communication device 130 is indicated schematically by the dashed double arrow.
  • the image processing device 240 creates a picture-in-picture, comprising the first image and the second image.
  • the picture-in-picture is sent to the communication device 130 by the transmitting and receiving device 210 and from there to a display device 140 in the motor vehicle 100.
  • the picture-in-picture in the motor vehicle 100 can be displayed for the user by the display device 140.
  • an image evaluation device 150 is arranged in the motor vehicle, with which images captured by the second image sensor 120 can be evaluated.
  • the image evaluation device 150 can be used to determine whether the user is shown in the second image and in which direction the user is looking or pointing. Once a direction has been determined, an image section of the first image can be adjusted depending on this direction.
  • the determination of whether the user is depicted in the second image and is pointing and/or looking in a specific direction can be done using face recognition and gesture recognition algorithms known from the prior art.
  • the picture-in-picture can be displayed on a display device 230 of the mobile device 200.
  • the mobile device 200 can have a capture device 220, whereby images can be captured. These images can also be used to create a picture-in-picture. Images from the first image sensor 110 or the second image sensor 120 can also be combined with the images that were captured by the detection device 220.
  • FIGS. 2A-2C show schematically image sections that were recorded by image sensors 110, 120 attached to the motor vehicle.
  • An image detail 260 of an interior of a motor vehicle 100 is shown schematically in FIG. 2A.
  • This image section 260 can, for example, have been recorded by a second image sensor 120, which is arranged in the front area of a headliner, adjacent to a windshield of the motor vehicle 100.
  • a driver and three passengers of the motor vehicle are shown schematically in the image section.
  • 2A shows another, smaller image section 270, which represents a road.
  • This image section can have been recorded with a first image sensor 110, which is arranged at the front area of the motor vehicle 100.
  • both image sections 260, 270 can be displayed simultaneously as a picture-in-picture on a display device 140 in the motor vehicle 100.
  • the smaller image section 270 can represent an image section that the driver and passengers can see through the windshield of the motor vehicle 100.
  • FIG 2B the same image sections as in Figure 2A are shown schematically, but with inverted sizes, so that the course of the road is shown filling the screen, and the image section of the interior with the driver and passengers is shown reduced in size.
  • FIG. 2C shows the representation of FIG. 2A, with an additional image section 280, which was recorded by a further image sensor (not shown here) which is arranged on a side area of the motor vehicle, being shown.
  • FIG. 3 shows a flowchart 300 to illustrate a preferred embodiment of the method according to the invention for creating and displaying a picture-in-picture for a user in a motor vehicle 100.
  • a first image of an environment of the motor vehicle 100 is captured by a first image sensor 110.
  • a second image of an environment of the motor vehicle 100 is captured by a second image sensor 120.
  • the first image and the second image are sent by a communication device 130 to an externally arranged transmitting and receiving device 210, which is connected in terms of signals to an externally arranged image processing device 240.
  • an image-in-image comprising the first image and the second image, is created by the externally arranged image processing device 240;
  • the picture-in-picture is sent by the externally arranged transmitting and receiving device 210 to the communication device 130;
  • the picture-in-picture is received by a display device 140, which is coupled in terms of signals to the communication device 130;
  • the picture-in-picture is displayed by the display device 140 for a user in the motor vehicle 100.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

The invention relates to an apparatus for creating and displaying an image-in-image for a user in a motor vehicle, the apparatus having: (i) a plurality of image sensors, wherein an image can be captured by each of the image sensors; (ii) wherein a first image sensor of the image sensors, more particularly an image sensor attached to the exterior of the motor vehicle, can capture a first image of surroundings of the motor vehicle; (iii) wherein a second image sensor of the image sensors can capture a second image of at least a partial region of an interior of the motor vehicle; (iv) a communication unit, which is connected, for signal transmission, to the plurality of image sensors and is configured to transmit the first and the second image to an externally arranged transceiver unit, which is connected, for signal transmission, to an externally arranged image processing unit, wherein the externally arranged image processing unit is configured to create an image-in-image having the first image and the second image, (v) and wherein the externally arranged transceiver unit is configured to transmit the created image-in-image to the communication unit; (vi) a display unit, more particularly an LCD or OLED display, which is configured to receive the image-in-image from the communication unit and display same to the user in the motor vehicle.

Description

VORRICHTUNG, MOBILGERÄT UND VERFAHREN ZUR ERSTELLUNG UND ANZEIGE EINES BILD-IN-BILDS APPARATUS, MOBILE DEVICE AND METHOD FOR CREATING AND DISPLAYING A PICTURE-IN-PICTURE
Die vorliegende Erfindung betrifft eine Vorrichtung, ein Mobilgerät und ein Verfahren, insbesondere ein computerimplementiertes Verfahren, zur Erstellung und Anzeige eines Bild-in-Bilds. The present invention relates to a device, a mobile device and a method, in particular a computer-implemented method, for creating and displaying a picture-in-picture.
Neuere Kraftfahrzeuge können Messsysteme und/oder Kameras aufweisen, mit denen eine Umgebung des Kraftfahrzeugs erfasst werden kann. Eine Anwendung hierfür kann eine Unterstützung beim Einparken sein. Dabei können auf einer für einen Fahrer des Kraftfahrzeugs sichtbaren Anzeige andere Fahrzeuge und/oder Gegenstände, die sich vor oder hinter dem Kraftfahrzeug befinden, angezeigt werden, so dass der Fahrer beim Einparken eine Kollision mit den anderen Fahrzeugen und/oder den Gegenständen vermeiden kann. Weiterhin können neuere Kraftfahrzeuge Kameras im Innenraum des Kraftfahrzeugs aufweisen, wodurch Aufnahmen des Innenraums und der sich darin befindlichen Mitfahrer ermöglicht werden. Beispielsweise kann durch geeignete Algorithmen aus den Aufnahmen bestimmt werden, ob sich ein Kind auf einem Rücksitz abgeschnallt hat. Auch der Fahrer kann mit einer solchen Innenraumkamera beobachtet werden. Aus Aufnahmen des Fahrers kann durch geeignete Algorithmen beispielsweise bestimmt werden, ob der Fahrer müde oder abgelenkt ist. Bei einer Erkennung einer solchen kritischen Situation kann eine Warnmeldung ausgegeben werden. Aus diesen Beispielen ist ersichtlich, dass Anwendungsgebiete von Innenraumkameras und Kameras zur Erfassung für die Umgebung des Kraftfahrzeugs unterschiedlich zueinander sein können. Newer motor vehicles can have measuring systems and/or cameras with which the surroundings of the motor vehicle can be recorded. One application for this can be assistance when parking. In this case, other vehicles and/or objects that are located in front of or behind the motor vehicle can be displayed on a display that is visible to a driver of the motor vehicle, so that the driver can avoid a collision with the other vehicles and/or the objects when parking. Furthermore, newer motor vehicles can have cameras in the interior of the motor vehicle, which enables recordings of the interior and the passengers inside. For example, suitable algorithms can be used to determine from the recordings whether a child has unbuckled themselves in a back seat. The driver can also be observed with such an interior camera. From recordings of the driver, suitable algorithms can be used to determine, for example, whether the driver is tired or distracted. If such a critical situation is detected, a warning message can be issued. From these examples it can be seen that areas of application of interior cameras and cameras for recording the surroundings of the motor vehicle can be different from one another.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine verbesserte Vorrichtung zur Nutzung, insbesondere zur Nutzung für eine gemeinsame Anwendung, von Innenraumkameras und Kameras zur Erfassung der Umgebung des Kraftfahrzeugs bereitzustellen. The present invention is based on the object of providing an improved device for the use, in particular for use for a joint application, of interior cameras and cameras for detecting the surroundings of the motor vehicle.
Eine Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche. Ein erster Aspekt der Erfindung betrifft eine Vorrichtung zur Erstellung und Anzeige eines Bild-in-Bilds für einen Benutzer in einem Kraftfahrzeug, wobei die Vorrichtung aufweist: (i) eine Mehrzahl von Bildsensoren, wobei durch jeden der Bildsensoren ein Bild erfasst werden kann; (ii) wobei ein erster Bildsensor der Bildsensoren, insbesondere ein außen am Kraftfahrzeug angebrachter Bildsensor, ein erstes Bild einer Umgebung des Kraftfahrzeugs erfassen kann; (iii) wobei ein zweiter Bildsensor der Bildsensoren ein zweites Bild wenigstens eines Teilbereichs eines Innenraums des Kraftfahrzeugs erfassen kann; (iv) eine Kommunikationseinrichtung, die signaltechnisch mit der Mehrzahl der Bildsensoren verbunden ist, und die konfiguriert ist, das erste und das zweite Bild an eine extern angeordnete Sende- und Empfangseinrichtung, die mit einer extern angeordneten Bildbearbeitungseinrichtung signaltechnisch verbunden ist, zu senden, wobei die extern angeordnete Bildbearbeitungseinrichtung konfiguriert ist, ein Bild-in-Bild zu erstellen, aufweisend das erste Bild und das zweite Bild, (v) und wobei die extern angeordnete Sende- und Empfangseinrichtung konfiguriert ist, das erstellte Bild-in-Bild an die Kommunikationseinrichtung zu senden; (vi) eine Anzeigeeinrichtung, insbesondere ein LCD oder ein OLED Display, die konfiguriert ist, das Bild-in-Bild von der Kommunikationseinrichtung zu empfangen und dem Benutzer im Kraftfahrzeug anzuzeigen. A solution to this problem is achieved in accordance with the teaching of the independent claims. Various embodiments and developments of the invention are the subject of the subclaims. A first aspect of the invention relates to an apparatus for creating and displaying a picture-in-picture to a user in a motor vehicle, the apparatus comprising: (i) a plurality of image sensors, an image being capable of being captured by each of the image sensors; (ii) wherein a first image sensor of the image sensors, in particular an image sensor mounted on the outside of the motor vehicle, can capture a first image of an environment of the motor vehicle; (iii) wherein a second image sensor of the image sensors can capture a second image of at least a partial area of an interior of the motor vehicle; (iv) a communication device which is connected in terms of signals to the plurality of image sensors and which is configured to send the first and the second images to an externally arranged transmitting and receiving device which is connected in terms of signals to an externally arranged image processing device, wherein the externally arranged image processing device is configured to create a picture-in-picture, comprising the first image and the second image, (v) and wherein the externally arranged transmitting and receiving device is configured to send the created picture-in-picture to the communication device to send; (vi) a display device, in particular an LCD or an OLED display, which is configured to receive the picture-in-picture from the communication device and display it to the user in the motor vehicle.
Die hierein gegebenenfalls verwendeten Begriffe "umfasst", "beinhaltet", "schließt ein", "weist auf", "hat", "mit", oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind. The terms "comprises", "includes", "includes", "has", "has", "with", or any other variation thereof, as may be used herein, are intended to cover non-exclusive inclusion. For example, a method or device that includes or has a list of elements is not necessarily limited to those elements, but may include other elements that are not expressly listed or that are inherent to such method or device.
Ferner bezieht sich "oder", sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden). Die Begriffe "ein" oder "eine", wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe "ein anderer" und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen. Furthermore, unless expressly stated to the contrary, “or” refers to an inclusive or and not an exclusive “or”. For example, a condition A or B is satisfied by one of the following conditions: A is true (or present) and B is false (or absent), A is false (or absent) and B is true (or present), and both A and B are true (or present). The terms “a” or “an” as used herein are defined to mean “one or more”. The terms “another” and “another” and any other variant thereof are to be understood in the sense of “at least one further”.
Der Begriff "Mehrzahl", wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen. The term "plural" as used herein is to be understood in the sense of "two or more".
Unter dem Begriff „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann. For the purposes of the invention, the term “configured” or “set up” to fulfill a specific function (and respective modifications thereof) means that the corresponding device is already in a configuration or setting in which it can carry out the function or it is at least so adjustable - i.e. configurable - that it can carry out the function after the appropriate setting. The configuration can be carried out, for example, by appropriately setting parameters of a process flow or switches or the like to activate or deactivate functionalities or settings. In particular, the device can have several predetermined configurations or operating modes, so that the configuration can be carried out by selecting one of these configurations or operating modes.
Unter dem Begriff „Bildsensor“ im Sinne der Erfindung ist insbesondere eine Kamera zu verstehen, die in der Lage ist, eine Szene sensorisch zu erfassen, woraus ein Bild generiert werden kann, das durch einen Benutzer angesehen werden kann bzw. wahrnehmbar ist. The term “image sensor” in the context of the invention is to be understood in particular as meaning a camera that is able to capture a scene using sensors, from which an image can be generated that can be viewed or perceived by a user.
Unter dem Begriff „ Bild-in- Bild“ wie er hier verwendet wird, ist insbesondere ein Bild zu verstehen, bei dem wenigstens zwei separat aufgenommene Bilder, gleichzeitig dargestellt sind. Dabei kann unter separatem Aufnehmen zu verstehen sein, dass die zwei Bilder zu unterschiedlichen Zeitpunkten aufgenommen wurden, durch unterschiedliche Kameras aufgenommen wurden, und/oder unterschiedliche Motive aufweisen. Dabei kann ein Bild in einer kleineren Ansicht als das andere Bild dargestellt sein. Ebenso kann ein Wechsel der Ansichten vorgesehen sein, so dass das andere Bild kleiner dargestellt ist. Weiterhin kann unter „Bild-in-Bild“ mehrere stehende Bilder oder auch mehrere bewegte Bilder zu verstehen sein, also ein „Video- in- Video“ oder ein gemischtes „Bild-in-Video“. Unter dem Begriff „Mobilgerät“ wie er hier verwendet wird, ist insbesondere ein Mobiltelefon, insbesondere ein Smartphone, ein Tablet ein Laptop oder dergleichen zu verstehen. The term “picture-in-picture” as used here means in particular an image in which at least two separately recorded images are displayed at the same time. Separate recording can mean that the two images were taken at different times, were taken by different cameras, and/or have different motifs. One image can be shown in a smaller view than the other image. The views can also be changed so that the other image is shown smaller. Furthermore, “picture-in-picture” can mean several still images or several moving images, i.e. a “video-in-video” or a mixed “picture-in-video”. The term “mobile device” as used here means in particular a mobile phone, in particular a smartphone, a tablet, a laptop or the like.
Unter dem Begriff „extern angeordnet“ wie er hier verwendet wird, ist insbesondere zu verstehen, dass die davon betroffenen Einrichtungen, Geräte, oder dergleichen nicht standardmäßig und kontinuierlich am Kraftfahrzeug angeordnet sind, und auch nicht standardmäßig signaltechnisch oder elektronisch mit elektronischen Komponenten des Kraftfahrzeuges verbunden sind. Danach ist aber nicht ausgeschlossen, dass die betroffenen Einrichtungen, Geräte oder dergleichen nachträglich, also nach dem Erwerb des Kraftfahrzeugs am Kraftfahrzeug angeordnet werden. Beispielsweise ist üblicherweise beim Erwerb eines Kraftfahrzeugs kein Mobiltelefon im Kraftfahrzeug angeordnet. Mittels einer Hilfskonstruktion wie einer an einem Armaturenbrett angeordneten Halterung kann das Mobiltelefon zumindest vorübergehend am Kraftfahrzeug angeordnet werden. The term “externally arranged” as used here means in particular that the devices, devices, or the like affected by it are not arranged as standard and continuously on the motor vehicle, and are also not standardly connected to electronic components of the motor vehicle in terms of signaling or electronic means are. However, it cannot be ruled out that the affected facilities, devices or the like will be installed on the motor vehicle subsequently, i.e. after the motor vehicle has been purchased. For example, when purchasing a motor vehicle, there is usually no cell phone installed in the motor vehicle. By means of an auxiliary structure such as a holder arranged on a dashboard, the mobile phone can be arranged at least temporarily on the motor vehicle.
Durch die Vorrichtung nach dem ersten Aspekt kann erreicht werden, dass die Erstellung des Bild-in-Bild durch eine extern angeordnete Bildbearbeitungseinrichtung, insbesondere eine Bildbearbeitungseinrichtung, die in einem Mobilgerät, insbesondere einem Mobiltelefon bzw. Smartphone, integriert ist, erfolgt. Dadurch, dass die Erstellung des Bild-in-Bild durch die extern angeordnete Bildbearbeitungseinrichtung erfolgt, kann die hierfür erforderliche Rechenleistung im Kraftfahrzeug eingespart werden, und für andere Anwendungen verwendet werden. The device according to the first aspect can ensure that the picture-in-picture is created by an externally arranged image processing device, in particular an image processing device that is integrated in a mobile device, in particular a mobile phone or smartphone. Because the picture-in-picture is created by the externally arranged image processing device, the computing power required for this can be saved in the motor vehicle and used for other applications.
Nachfolgend werden bevorzugte Ausführungsformen der Vorrichtung beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können. Preferred embodiments of the device are described below, which can be combined in any way with each other and with the other aspects of the invention described, unless this is expressly excluded or is technically impossible.
Bei einigen Ausführungsformen ist der wenigstens erste Bildsensor so angeordnet, dass er aus einer ersten Richtung das erste Bild erfassen kann, die unterschiedlich zu einer zweiten Richtung ist, aus der der zweite Bildsensor das zweite Bild erfassen kann. Dadurch können Bilder aus unterschiedlichen Richtungen erfasst werden, die auf einem Bild-in-Bild dargestellt werden können, wodurch ein Benutzer einen schnelleren Überblick über eine Gesamtsituation erhält, die Bilder aus unterschiedlichen Richtungen aufweist. In some embodiments, the at least first image sensor is arranged so that it can capture the first image from a first direction that is different from a second direction from which the second image sensor can capture the second image. This allows images to be captured from different directions, which can be displayed on a picture-in-picture, giving a user a Get a quicker overview of an overall situation that has images from different directions.
Bei einigen Ausführungsformen weist die Vorrichtung eine Bildauswerteeinrichtung auf, die konfiguriert ist, zu bestimmen, ob auf dem zweiten Bild der Benutzer dargestellt ist, und in welche Richtung der Benutzer zeigt und/oder blickt, und wobei die Bildauswerteeinrichtung konfiguriert ist, in Abhängigkeit von der bestimmten Richtung einen Bildausschnitt des ersten Bildes anzupassen. Die Bestimmung, ob der Benutzer auf dem Bild dargestellt ist und in eine bestimmte Richtung zeigt und/oder blickt kann durch aus dem Stand der Technik bekannte Algorithmen zur Gesichtserkennung und Gestenerkennung erfolgen. Weiterhin kann diese bestimmte Richtung mit Referenzobjekten im Innenraum kalibriert werden, beispielsweise mit Türgriffen, Armaturen oder dergleichen, so dass die Richtung in Bezug auf den Innenraum bestimmt werden kann. Wenn eine relative Position des ersten Bildsensors zum zweiten Bildsensor, und ein Öffnungswinkel des ersten Bildsensors bekannt ist, kann ein Bildausschnitt qualitativ der Richtung zugeordnet werden. Durch die Anpassung eines Bildausschnitts in Abhängigkeit von der Richtung kann der Bildausschnitt so gewählt werden, dass er mit der Richtung korreliert, d.h. die der Blick oder die Geste des Benutzers zeigt einer realen Szene, die dem angepassten Bildausschnitt entspricht. Dadurch kann auf dem Bild-in-Bild sowohl die angezeigte Richtung durch den Benutzer als auch der zugehörige Bildausschnitt angezeigt werden. In some embodiments, the device has an image evaluation device which is configured to determine whether the user is depicted in the second image and in which direction the user is pointing and/or looking, and wherein the image evaluation device is configured depending on the Adjust an image section of the first image in a certain direction. The determination of whether the user is depicted in the image and is pointing and/or looking in a certain direction can be done using face recognition and gesture recognition algorithms known from the prior art. Furthermore, this specific direction can be calibrated with reference objects in the interior, for example door handles, fittings or the like, so that the direction can be determined in relation to the interior. If a relative position of the first image sensor to the second image sensor and an opening angle of the first image sensor are known, an image section can be qualitatively assigned to the direction. By adjusting an image section depending on the direction, the image section can be selected so that it correlates with the direction, i.e. that the user's gaze or gesture shows, of a real scene that corresponds to the adjusted image section. This means that both the direction indicated by the user and the associated image section can be displayed on the picture-in-picture.
Bei einigen Ausführungsformen ist die Kommunikationseinrichtung konfiguriert, das Bild-in-Bild drahtlos an ein extern angeordnetes elektronisches Gerät, insbesondere ein Mobilgerät, zur Darstellung des Bild-in-Bilds, zu senden. Dadurch kann das Bild- in-Bild an andere elektronische Geräte gesendet werden, und auf diesen Geräten dargestellt werden. In some embodiments, the communication device is configured to wirelessly send the picture-in-picture to an externally arranged electronic device, in particular a mobile device, for displaying the picture-in-picture. This allows the picture-in-picture to be sent to other electronic devices and displayed on these devices.
Bei einigen Ausführungsformen ist die Anzeigeeinrichtung konfiguriert, das Bild-in- Bild mit Inhalten einer erweiterten Realität, auch unter dem Begriff „Augmented Reality“ bekannt, anzuzeigen. Dadurch kann eine realistische Darstellung des Bild-in- Bild erreicht werden, und der Gesamtinhalt des Bild-in-Bilds kann durch den Benutzer schneller erfasst werden. Bei einigen Ausführungsformen weist die Vorrichtung eine extern angeordnete Sende- und Empfangseinrichtung auf. Dadurch können Signale zwischen der Kommunikationseinrichtung und der extern angeordneten Sende- und Empfangseinrichtung ausgetauscht werden. In some embodiments, the display device is configured to display the picture-in-picture with augmented reality content, also known as “augmented reality”. This allows a realistic representation of the picture-in-picture to be achieved and the overall content of the picture-in-picture can be grasped more quickly by the user. In some embodiments, the device has an externally arranged transmitting and receiving device. This allows signals to be exchanged between the communication device and the externally arranged transmitting and receiving device.
Bei einigen Ausführungsformen weist die Vorrichtung eine extern angeordnete Bildbearbeitungseinrichtung auf. Dadurch kann eine Bildbearbeitung unter Vermeidung von einer Nutzung von Rechenleistung des Kraftfahrzeugs erfolgen. In some embodiments, the device has an externally arranged image processing device. This allows image processing to be carried out while avoiding the use of the motor vehicle's computing power.
Ein zweiter Aspekt der Erfindung betrifft ein Kraftfahrzeug, aufweisend eine Vorrichtung nach dem ersten Aspekt. A second aspect of the invention relates to a motor vehicle having a device according to the first aspect.
Ein dritter Aspekt der Erfindung betrifft ein Mobilgerät zur Erstellung und Darstellung eines Bild-in-Bilds, aufweisend: (i) eine Sende- und Empfangseinrichtung, die konfiguriert ist, ein erstes Bild, das durch einen Bildsensor eines Kraftfahrzeugs erfasst wurde, zu empfangen; (ii) eine Erfassungseinrichtung, durch die ein zweites Bild erfasst werden kann; (iii) eine Bildbearbeitungseinrichtung, die signaltechnisch jeweils mit der Sende- und Empfangseinrichtung und der Erfassungseinrichtung verbunden ist, und die konfiguriert ist, ein Bild-in-Bild zu erstellen, aufweisend das erste Bild und das zweite Bild; (iv) eine Darstellungseinrichtung, die konfiguriert ist, das Bild-in-Bild von der Bildbearbeitungseinrichtung (240) zu empfangen und anzuzeigen. Dadurch kann ein Bild-in-Bild erstellt werden, das ein Bild eines Bildsensors eines Kraftfahrzeugs und ein Bild eines Mobilgeräts aufweist. A third aspect of the invention relates to a mobile device for creating and displaying a picture-in-picture, comprising: (i) a transmitting and receiving device configured to receive a first image captured by an image sensor of a motor vehicle; (ii) a capture device capable of capturing a second image; (iii) an image processing device, which is connected in terms of signals to the transmitting and receiving device and the detection device, and which is configured to create a picture-in-picture, comprising the first image and the second image; (iv) a display device configured to receive and display the picture-in-picture from the image processing device (240). This allows a picture-in-picture to be created that has an image of an image sensor of a motor vehicle and an image of a mobile device.
Nachfolgend werden bevorzugte Ausführungsformen der Vorrichtung beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können. Preferred embodiments of the device are described below, which can be combined in any way with each other and with the other aspects of the invention described, unless this is expressly excluded or is technically impossible.
Bei einigen Ausführungsformen ist die Bildbearbeitungseinrichtung konfiguriert, das Bild-in-Bild in Echtzeit zu erstellen, und wobei die Darstellungseinrichtung konfiguriert ist, das Bild-in-Bild in Echtzeit anzuzeigen. Dadurch können Veränderungen, die durch den ersten Bildsensor und/oder den zweiten Bildsensor erfasst werden können, unmittelbar für den Benutzer dargestellt werden. Ein vierter Aspekt der Erfindung betrifft ein Verfahren, insbesondere ein computerimplementiertes Verfahren, zur Erstellung und Darstellung eines Bild-in-Bilds für einen Benutzer in einem Kraftfahrzeug, wobei das Verfahren folgende Schritte aufweist: (i) Erfassen eines ersten Bildes einer Umgebung des Kraftfahrzeugs durch einen ersten Bildsensor; (ii) Erfassen eines zweiten Bildes einer Umgebung des Kraftfahrzeugs durch einen zweiten Bildsensor; (iii) Senden des ersten Bildes und des zweiten Bildes durch eine Kommunikationseinrichtung an eine extern angeordnete Sende- und Empfangseinrichtung, die mit einer extern angeordneten Bildbearbeitungseinrichtung signaltechnisch verbunden ist; (iv) Erstellen eines Bild-in-Bilds, aufweisend das erste Bild und das zweite Bild, durch die extern angeordnete Bildbearbeitungseinrichtung; (v) Senden des Bild-in-Bilds durch die extern angeordnete Sende- und Empfangseinrichtung an die Kommunikationseinrichtung; (vi) Empfangen des Bild-in-Bilds durch eine Anzeigeeinrichtung, die mit der Kommunikationseinrichtung signaltechnisch gekoppelt ist; (vii) Anzeigen des Bild-in-Bilds durch die Anzeigeeinrichtung für einen Benutzer im Kraftfahrzeug. In some embodiments, the image processing device is configured to create the picture-in-picture in real time and the display device is configured to display the picture-in-picture in real time. This allows changes that can be detected by the first image sensor and/or the second image sensor to be displayed directly to the user. A fourth aspect of the invention relates to a method, in particular a computer-implemented method, for creating and displaying a picture-in-picture for a user in a motor vehicle, the method having the following steps: (i) capturing a first image of an environment of the motor vehicle a first image sensor; (ii) capturing a second image of an environment of the motor vehicle by a second image sensor; (iii) sending the first image and the second image by a communication device to an externally arranged transmitting and receiving device which is connected in terms of signals to an externally arranged image processing device; (iv) creating a picture-in-picture comprising the first image and the second image by the externally located image processing device; (v) sending the picture-in-picture by the externally arranged transmitting and receiving device to the communication device; (vi) receiving the picture-in-picture by a display device which is signal-coupled to the communication device; (vii) displaying the picture-in-picture by the display device to a user in the motor vehicle.
Die in Bezug auf den ersten Aspekt der Erfindung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Erfindung. The features and advantages explained in relation to the first aspect of the invention also apply accordingly to the further aspects of the invention.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Figuren. Further advantages, features and possible applications of the present invention result from the following detailed description in connection with the figures.
Dabei zeigt This shows
Fig. 1 schematisch ein Kraftfahrzeug mit einer Vorrichtung gemäß einer Ausführungsform der Erfindung. Fig. 1 shows schematically a motor vehicle with a device according to an embodiment of the invention.
Figs. 2A-2C schematisch Bildausschnitte, die durch am Kraftfahrzeug angebrachte Bildsensoren aufgenommen wurden; und Figs. 2A-2C show schematic image sections that were recorded by image sensors attached to the motor vehicle; and
Fig. 3 ein Flussdiagramm zur Veranschaulichung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens. In den Figuren werden durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechenden Elemente der Erfindung verwendet. Fig. 3 is a flowchart to illustrate a preferred embodiment of the method according to the invention. In the figures, the same reference numerals are used throughout for the same or corresponding elements of the invention.
In Figur 1 ist schematisch ein Kraftfahrzeug 100 mit einer Vorrichtung gemäß einer Ausführungsform der Erfindung gezeigt. 1 shows schematically a motor vehicle 100 with a device according to an embodiment of the invention.
Am vorderen Bereich des Kraftfahrzeugs 100 ist ein erster Bildsensor 110 zur Erfassung von Bildern einer Umgebung des Kraftfahrzeugs angeordnet. Der durch den ersten Bildsensor 110 erfassbare Bereich ist durch die gestrichelten Pfeile, die in Richtung des ersten Bildsensors 110 zeigen, schematisch angedeutet. Ebenso kann der erste Bildsensor 110 am hinteren Bereich des Kraftfahrzeugs 100 oder an einem Seitenbereich angeordnet sein. Weiterhin können mehrere Bildsensoren am Außenbereich zur Erfassung der Umgebung des Kraftfahrzeugs 100 am Kraftfahrzeug angeordnet sein. A first image sensor 110 for capturing images of the surroundings of the motor vehicle is arranged at the front area of the motor vehicle 100. The area that can be detected by the first image sensor 110 is indicated schematically by the dashed arrows that point in the direction of the first image sensor 110. Likewise, the first image sensor 110 can be arranged at the rear area of the motor vehicle 100 or at a side area. Furthermore, several image sensors can be arranged on the outside area of the motor vehicle for detecting the surroundings of the motor vehicle 100.
Zwischen Vordersitzen und Rücksitzen des Kraftfahrzeugs 100 ist ein zweiter Bildsensor 120 zur Erfassung von Bildern wenigstens eines Teilbereichs eines Innenraums des Kraftfahrzeugs angeordnet. Der zweite Bildsensor 120 ist am Dachhimmel des Kraftfahrzeugs 100 angeordnet. Der zu erfassende Bereich ist durch die gestrichelten Pfeile, die in Richtung des zweiten Bildsensors 120 zeigen, schematisch angedeutet. Der zweite Bildsensor 120 kann ebenso am oberen Bereich der Windschutzscheibe, die an den Dachhimmel angrenzt, oder an einem anderen Ort im Innenraum des Kraftfahrzeugs 100 zur Erfassung eines Teilbereichs des Innenraums angeordnet sein. Auch ist es denkbar, dass mehrere Bildsensoren im Innenraum des Kraftfahrzeugs 100 angeordnet sind. A second image sensor 120 for capturing images of at least a portion of an interior of the motor vehicle is arranged between the front seats and rear seats of the motor vehicle 100. The second image sensor 120 is arranged on the headliner of the motor vehicle 100. The area to be captured is indicated schematically by the dashed arrows that point in the direction of the second image sensor 120. The second image sensor 120 can also be arranged at the upper area of the windshield, which adjoins the headliner, or at another location in the interior of the motor vehicle 100 for detecting a portion of the interior. It is also conceivable that several image sensors are arranged in the interior of the motor vehicle 100.
Im Kraftfahrzeug 100 ist weiterhin eine Kommunikationseinrichtung 130 angeordnet, mit der die erfassten Bilder des ersten Bildsensors 110 und des zweiten Bildsensors 120 empfangen werden können, und mit der die Bilder im Anschluss an eine Sende- und Empfangseinrichtung 210 gesendet werden können. Die Sende- und Empfangseinrichtung 210 ist signaltechnisch mit einer Bildbearbeitungseinrichtung 240 verbunden. A communication device 130 is also arranged in the motor vehicle 100, with which the captured images of the first image sensor 110 and the second image sensor 120 can be received, and with which the images can then be sent to a transmitting and receiving device 210. The transmitting and receiving device 210 is connected to an image processing device 240 in terms of signals.
Die Bildbearbeitungseinrichtung 240 und die Sende- und Empfangseinrichtung 210 sind in einem Mobilgerät 200, also beispielsweise einem Smartphone, integriert. Das erste Bild und das zweite Bild werden durch die Kommunikationseinrichtung 130 drahtlos, also über Bluetooth, über WLAN oder über ein Mobilfunknetz nach einem Mobilfunkstandard wie 3G, LTE oder 5G an die Sende- und Empfangseinrichtung 210 des Mobilgeräts 200 übermittelt. Ebenso können die Sende- und Empfangseinrichtung 210 und die Kommunikationseinrichtung 130 über eine Kabelverbindung signaltechnisch miteinander verbunden sein. Die signaltechnische Verbindung zwischen der Sende- und Empfangseinrichtung 210 und der Kommunikationseinrichtung 130 ist durch den gestrichelten Doppelpfeil schematisch angedeutet. The image processing device 240 and the transmitting and receiving device 210 are integrated in a mobile device 200, for example a smartphone. The first image and the second image are transmitted wirelessly by the communication device 130, i.e. via Bluetooth, via WLAN or via a cellular network according to a cellular standard such as 3G, LTE or 5G, to the transmitting and receiving device 210 of the mobile device 200. Likewise, the transmitting and receiving device 210 and the communication device 130 can be connected to one another in terms of signals via a cable connection. The signaling connection between the transmitting and receiving device 210 and the communication device 130 is indicated schematically by the dashed double arrow.
Durch die Bildbearbeitungseinrichtung 240 wird ein Bild-in-Bild erstellt, aufweisend das erste Bild und das zweite Bild. Durch die Sende- und Empfangseinrichtung 210 wird das Bild-in-Bild an die Kommunikationseinrichtung 130 gesendet und von dort an eine Anzeigeeinrichtung 140 im Kraftfahrzeug 100. Durch die Anzeigeeinrichtung 140 kann das Bild-in-Bild im Kraftfahrzeug 100 für den Benutzer dargestellt werden. The image processing device 240 creates a picture-in-picture, comprising the first image and the second image. The picture-in-picture is sent to the communication device 130 by the transmitting and receiving device 210 and from there to a display device 140 in the motor vehicle 100. The picture-in-picture in the motor vehicle 100 can be displayed for the user by the display device 140.
Weiterhin ist eine Bildauswerteeinrichtung 150 im Kraftfahrzeug angeordnet, mit der durch den zweiten Bildsensor 120 erfasste Bilder ausgewertet werden können. Mit der Bildauswerteeinrichtung 150 kann bestimmt werden, ob der Benutzer auf dem zweiten Bild dargestellt ist, und in welche Richtung der Benutzer blickt oder zeigt. Wenn eine Richtung bestimmt wurde, kann in Abhängigkeit von dieser Richtung einen Bildausschnitt des ersten Bildes angepasst werden. Die Bestimmung, ob der Benutzer auf dem zweiten Bild dargestellt ist, und in eine bestimmte Richtung zeigt und/oder blickt kann durch aus dem Stand der Technik bekannte Algorithmen zur Gesichtserkennung und Gestenerkennung erfolgen. Furthermore, an image evaluation device 150 is arranged in the motor vehicle, with which images captured by the second image sensor 120 can be evaluated. The image evaluation device 150 can be used to determine whether the user is shown in the second image and in which direction the user is looking or pointing. Once a direction has been determined, an image section of the first image can be adjusted depending on this direction. The determination of whether the user is depicted in the second image and is pointing and/or looking in a specific direction can be done using face recognition and gesture recognition algorithms known from the prior art.
Zusätzlich kann das Bild-in-Bild an einer Darstellungseinrichtung 230 des Mobilgeräts 200 angezeigt werden. Ebenso kann das Mobilgerät 200 eine Erfassungseinrichtung 220 aufweisen, wodurch Bilder erfasst werden können. Diese Bilder können ebenso dazu verwendet werden, um ein Bild-in-Bild zu erstellen. Dabei können auch Bilder des ersten Bildsensors 110 oder des zweiten Bildsensors 120 mit den Bildern, die durch die Erfassungseinrichtung 220 erfasst wurden, kombiniert werden. In addition, the picture-in-picture can be displayed on a display device 230 of the mobile device 200. Likewise, the mobile device 200 can have a capture device 220, whereby images can be captured. These images can also be used to create a picture-in-picture. Images from the first image sensor 110 or the second image sensor 120 can also be combined with the images that were captured by the detection device 220.
In den Figuren 2A-2C sind schematisch Bildausschnitte dargestellt, die durch am Kraftfahrzeug angebrachte Bildsensoren 110, 120 aufgenommen wurden. In Figur 2A ist ein Bildausschnitt 260 eines Innenraums eines Kraftfahrzeugs 100 schematisch dargestellt. Dieser Bildausschnitt 260 kann beispielsweise durch einen zweiten Bildsensor 120, der im vorderen Bereich eines Dachhimmels, angrenzend an eine Windschutzscheibe des Kraftfahrzeugs 100, angeordnet ist, aufgenommen worden sein. In dem Bildausschnitt sind schematisch ein Fahrer und drei Mitfahrer des Kraftfahrzeugs dargestellt. In Figur 2A ist ein weiterer, kleinerer Bildausschnitt 270 gezeigt, der einen Straßenverlauf darstellt. Dieser Bildausschnitt kann mit einem ersten Bildsensor 110, der am vorderen Bereich des Kraftfahrzeugs 100 angeordnet ist, aufgenommen worden sein. Durch die in Figur 1 beschriebene Vorrichtung können auf einer Anzeigeeinrichtung 140 im Kraftfahrzeug 100 beide Bildausschnitte 260, 270 als Bild-in-Bild gleichzeitig dargestellt werden. Dabei kann der kleinerer Bildausschnitt 270 einen Bildausschnitt repräsentieren, den der Fahrer und die Mitfahrer durch die Windschutzscheibe des Kraftfahrzeugs 100 sehen können. Figures 2A-2C show schematically image sections that were recorded by image sensors 110, 120 attached to the motor vehicle. An image detail 260 of an interior of a motor vehicle 100 is shown schematically in FIG. 2A. This image section 260 can, for example, have been recorded by a second image sensor 120, which is arranged in the front area of a headliner, adjacent to a windshield of the motor vehicle 100. A driver and three passengers of the motor vehicle are shown schematically in the image section. 2A shows another, smaller image section 270, which represents a road. This image section can have been recorded with a first image sensor 110, which is arranged at the front area of the motor vehicle 100. Using the device described in Figure 1, both image sections 260, 270 can be displayed simultaneously as a picture-in-picture on a display device 140 in the motor vehicle 100. The smaller image section 270 can represent an image section that the driver and passengers can see through the windshield of the motor vehicle 100.
In Figur 2B sind schematisch die gleichen Bildausschnitte wie in Figur 2A gezeigt, jedoch mit invertierten Größen, so dass der Straßenverlauf bildschirmfüllend dargestellt ist, und der Bildausschnitt des Innenraums mit dem Fahrer und den Mitfahrern verkleinert dargestellt ist. Auf den ersten Bildsensor 110 und den zweiten Bildsensor 120 bezogen bedeutet dies, dass die Vorrichtung ermöglicht, auszuwählen, welcher Bildsensor 110, 120 bzw. welcher Bildausschnitt priorisiert dargestellt werden soll. In Figure 2B, the same image sections as in Figure 2A are shown schematically, but with inverted sizes, so that the course of the road is shown filling the screen, and the image section of the interior with the driver and passengers is shown reduced in size. In relation to the first image sensor 110 and the second image sensor 120, this means that the device makes it possible to select which image sensor 110, 120 or which image section should be displayed with priority.
Figur 2C weist die Darstellung von Figur 2A auf, wobei ein zusätzlicher Bildausschnitt 280, der durch einen weiteren Bildsensor (hier nicht gezeigt), der an einem seitlichen Bereich des Kraftfahrzeugs angeordnet ist, aufgenommen wurde, dargestellt ist. 2C shows the representation of FIG. 2A, with an additional image section 280, which was recorded by a further image sensor (not shown here) which is arranged on a side area of the motor vehicle, being shown.
In Figur 3 ist ein Flussdiagramm 300 zur Veranschaulichung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens zur Erstellung und Darstellung eines Bild-in-Bilds für einen Benutzer in einem Kraftfahrzeug 100 gezeigt. 3 shows a flowchart 300 to illustrate a preferred embodiment of the method according to the invention for creating and displaying a picture-in-picture for a user in a motor vehicle 100.
In einem ersten Schritt 310 des Verfahrens erfolgt ein Erfassen eines ersten Bildes einer Umgebung des Kraftfahrzeugs 100 durch einen ersten Bildsensor 110. In a first step 310 of the method, a first image of an environment of the motor vehicle 100 is captured by a first image sensor 110.
In einem weiteren Schritt 320 des Verfahrens erfolgt ein Erfassen eines zweiten Bildes einer Umgebung des Kraftfahrzeugs 100 durch einen zweiten Bildsensor 120. In einem weiteren Schritt 330 des Verfahrens erfolgt ein Senden des ersten Bildes und des zweiten Bildes durch eine Kommunikationseinrichtung 130 an eine extern angeordnete Sende- und Empfangseinrichtung 210, die mit einer extern angeordneten Bildbearbeitungseinrichtung 240 signaltechnisch verbunden ist. In a further step 320 of the method, a second image of an environment of the motor vehicle 100 is captured by a second image sensor 120. In a further step 330 of the method, the first image and the second image are sent by a communication device 130 to an externally arranged transmitting and receiving device 210, which is connected in terms of signals to an externally arranged image processing device 240.
In einem weiteren Schritt 340 des Verfahrens erfolgt ein Erstellen eines Bild-in-Bilds, aufweisend das erste Bild und das zweite Bild, durch die extern angeordnete Bildbearbeitungseinrichtung 240; In a further step 340 of the method, an image-in-image, comprising the first image and the second image, is created by the externally arranged image processing device 240;
In einem weiteren Schritt 350 des Verfahrens erfolgt ein Senden des Bild-in-Bilds durch die extern angeordnete Sende- und Empfangseinrichtung 210 an die Kommunikationseinrichtung 130; In a further step 350 of the method, the picture-in-picture is sent by the externally arranged transmitting and receiving device 210 to the communication device 130;
In einem weiteren Schritt 360 des Verfahrens erfolgt ein Empfangen des Bild-in- Bilds durch eine Anzeigeeinrichtung 140, die mit der Kommunikationseinrichtung 130 signaltechnisch gekoppelt ist; In a further step 360 of the method, the picture-in-picture is received by a display device 140, which is coupled in terms of signals to the communication device 130;
In einem weiteren Schritt 370 des Verfahrens erfolgt ein Anzeigen des Bild-in-Bilds durch die Anzeigeeinrichtung 140 für einen Benutzer im Kraftfahrzeug 100. In a further step 370 of the method, the picture-in-picture is displayed by the display device 140 for a user in the motor vehicle 100.
Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird. BEZUGSZEICHENLISTE While at least one exemplary embodiment has been described above, it should be noted that a large number of variations exist. It should also be noted that the exemplary embodiments described are only non-limiting examples and are not intended to limit the scope, applicability, or configuration of the devices and methods described herein. Rather, the foregoing description will provide guidance to those skilled in the art for implementing at least one exemplary embodiment, with the understanding that various changes in the operation and arrangement of the elements described in an exemplary embodiment may be made without departing from that set forth in the appended claims the specified subject matter and its legal equivalents are deviated from. REFERENCE SYMBOL LIST
100 Kraftfahrzeug 100 motor vehicle
110 Erster Bildsensor 110 First image sensor
120 Zweiter Bildsensor 120 Second image sensor
130 Kommunikationseinrichtung 130 communication facility
140 Anzeigeeinrichtung 140 display device
150 Bildauswerteeinrichtung 150 image evaluation device
200 Mobilgerät 200 mobile device
210 Sende- und Empfangseinrichtung 210 Transmitting and receiving device
220 Erfassungseinrichtung 220 detection device
230 Darstellungseinrichtung 230 display device
240 Bildbearbeitungseinrichtung 240 image editing facility
260 Bildausschnitt einer Innenkamera 260 image section of an indoor camera
270 Bildausschnitt einer Außenkamera vorne/hinten 270 image detail of an external camera front/rear
280 Bildausschnitt einer Außenkamera seitlich 280 image section of an external camera at the side
300 Flussdiagramm 300 flowchart
310 Erfassen eines ersten Bildes 310 Capturing a first image
320 Erfassen eines zweiten Bildes 320 Capturing a second image
330 Senden des ersten Bildes und des zweiten Bildes 330 Send the first image and the second image
340 Erstellen eines Bild-in-Bilds durch eine extern angeordnete Bildbearbeitungseinheit 340 Creating a picture-in-picture by an externally located image processing unit
350 Senden des Bild-in-Bilds an eine Kommunikationseinrichtung 350 Sending the picture-in-picture to a communication device
360 Empfangen des Bild-in-Bilds durch eine Anzeigeeinrichtung 360 receiving the picture-in-picture by a display device
370 Anzeigen des erstellten Bild-in-Bilds 370 View the created picture-in-picture

Claims

ANSPRÜCHE Vorrichtung zur Erstellung und Anzeige eines Bild-in-Bilds für einen Benutzer eines Kraftfahrzeugs (100), wobei die Vorrichtung aufweist: eine Mehrzahl von Bildsensoren (110, 120), wobei durch jeden der Bildsensoren (110, 120) ein Bild erfasst werden kann; wobei ein erster Bildsensor (110) der Bildsensoren (110, 120) ein erstes Bild einer Umgebung des Kraftfahrzeugs erfassen kann; wobei ein zweiter Bildsensor (120) der Bildsensoren (110, 120) ein zweites Bild wenigstens eines Teilbereichs eines Innenraums des Kraftfahrzeugs (100) erfassen kann; eine Kommunikationseinrichtung (130), die signaltechnisch mit der Mehrzahl der Bildsensoren (110, 120) verbunden ist, und die konfiguriert ist, das erste und das zweite Bild an eine extern angeordnete Sende- und Empfangseinrichtung (210), die mit einer extern angeordneten Bildbearbeitungseinrichtung (240) signaltechnisch verbunden ist, zu senden, wobei die extern angeordnete Bildbearbeitungseinrichtung (240) konfiguriert ist, ein Bild-in-Bild zu erstellen, aufweisend das erste Bild und das zweite Bild, und wobei die extern angeordnete Sende- und Empfangseinrichtung (210) konfiguriert ist, das erstellte Bild-in-Bild an die Kommunikationseinrichtung (130) zu senden; eine Anzeigeeinrichtung (140), die konfiguriert ist, das Bild-in-Bild von der Kommunikationseinrichtung (130) zu empfangen und dem Benutzer im Kraftfahrzeug (100) anzuzeigen. Vorrichtung nach Anspruch 1 , wobei der wenigstens erste Bildsensor (110) so angeordnet ist, dass er aus einer ersten Richtung das erste Bild erfassen kann, die unterschiedlich zu einer zweiten Richtung ist, aus der der zweite Bildsensor (120) das zweite Bild erfassen kann. Vorrichtung nach einem der vorherigen Ansprüche, aufweisend eine Bildauswerteeinrichtung (150), die konfiguriert ist, zu bestimmen, ob auf dem zweiten Bild der Benutzer dargestellt ist, und in welche Richtung der Benutzer zeigt und/oder blickt, und wobei die Bildauswerteeinrichtung (150) konfiguriert ist, in Abhängigkeit von der bestimmten Richtung einen Bildausschnitt des ersten Bildes anzupassen. 4. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Kommunikationseinrichtung (130) konfiguriert ist, das Bild-in-Bild drahtlos an ein extern angeordnetes elektronisches Gerät (200) zur Darstellung des Bild-in-Bilds zu senden. CLAIMS Device for creating and displaying a picture-in-picture for a user of a motor vehicle (100), the device comprising: a plurality of image sensors (110, 120), an image being captured by each of the image sensors (110, 120). can; wherein a first image sensor (110) of the image sensors (110, 120) can capture a first image of an environment of the motor vehicle; wherein a second image sensor (120) of the image sensors (110, 120) can capture a second image of at least a partial area of an interior of the motor vehicle (100); a communication device (130), which is connected in terms of signals to the plurality of image sensors (110, 120), and which is configured to send the first and second images to an externally arranged transmitting and receiving device (210), which is connected to an externally arranged image processing device (240) is connected in terms of signals to send, wherein the externally arranged image processing device (240) is configured to create a picture-in-picture, comprising the first image and the second image, and wherein the externally arranged transmitting and receiving device (210 ) is configured to send the created picture-in-picture to the communication device (130); a display device (140) configured to receive the picture-in-picture from the communication device (130) and display it to the user in the motor vehicle (100). Apparatus according to claim 1, wherein the at least first image sensor (110) is arranged so that it can capture the first image from a first direction that is different from a second direction from which the second image sensor (120) can capture the second image . Device according to one of the preceding claims, comprising an image evaluation device (150) which is configured to determine whether the user is shown in the second image and in which direction the user is pointing and/or looking, and wherein the image evaluation device (150) is configured to adapt an image section of the first image depending on the specific direction. 4. Device according to one of the preceding claims, wherein the communication device (130) is configured to wirelessly send the picture-in-picture to an externally arranged electronic device (200) for displaying the picture-in-picture.
5. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Anzeigeeinrichtung konfiguriert ist, das Bild-in-Bild mit Inhalten einer erweiterten Realität anzuzeigen. 5. Device according to one of the preceding claims, wherein the display device is configured to display the picture-in-picture with augmented reality content.
6. Vorrichtung nach einem der vorherigen Ansprüche, aufweisend eine extern angeordnete Sende- und Empfangseinrichtung (210). 6. Device according to one of the preceding claims, comprising an externally arranged transmitting and receiving device (210).
7. Vorrichtung nach einem der vorherigen Ansprüche, aufweisend eine extern angeordnete Bildbearbeitungseinrichtung (240). 7. Device according to one of the preceding claims, comprising an externally arranged image processing device (240).
8. Kraftfahrzeug (100), aufweisend eine Vorrichtung gemäß einem der Ansprüche 1 bis 7. 8. Motor vehicle (100), having a device according to one of claims 1 to 7.
9. Mobilgerät (200) zur Erstellung und Darstellung eines Bild-in-Bilds, aufweisend: eine Sende- und Empfangseinrichtung (210), die konfiguriert ist, ein erstes Bild, das durch einen Bildsensor (110, 120) eines Kraftfahrzeugs (100) erfasst wurde, zu empfangen; eine Erfassungseinrichtung (220), durch die ein zweites Bild erfasst werden kann; eine Bildbearbeitungseinrichtung (240), die signaltechnisch jeweils mit der Sende- und Empfangseinrichtung (210) und der Erfassungseinrichtung (220) verbunden ist, und die konfiguriert ist, ein Bild-in-Bild zu erstellen, aufweisend das erste Bild und das zweite Bild; eine Darstellungseinrichtung (230), die konfiguriert ist, das Bild-in-Bild von der Bildbearbeitungseinrichtung (240) zu empfangen und anzuzeigen. 9. Mobile device (200) for creating and displaying a picture-in-picture, comprising: a transmitting and receiving device (210), which is configured to receive a first image generated by an image sensor (110, 120) of a motor vehicle (100). was recorded, to receive; a capture device (220) through which a second image can be captured; an image processing device (240), which is connected in terms of signals to the transmitting and receiving device (210) and the detection device (220), and which is configured to create a picture-in-picture, comprising the first image and the second image; a display device (230) configured to receive and display the picture-in-picture from the image processing device (240).
10. Mobilgerät nach Anspruch 7, wobei die Bildbearbeitungseinrichtung (240) konfiguriert ist, das Bild-in-Bild in Echtzeit zu erstellen, und wobei die Dar- Stellungseinrichtung (230) konfiguriert ist, das Bild-in-Bild in Echtzeit anzuzeigen. Verfahren zur Erstellung und Darstellung eines Bild-in-Bilds für einen Benutzer in einem Kraftfahrzeug, wobei das Verfahren folgende Schritte aufweist: Erfassen eines ersten Bildes einer Umgebung des Kraftfahrzeugs (100) durch einen ersten Bildsensor (110); 10. Mobile device according to claim 7, wherein the image processing device (240) is configured to create the picture-in-picture in real time, and wherein the display Positioning device (230) is configured to display the picture-in-picture in real time. Method for creating and displaying a picture-in-picture for a user in a motor vehicle, the method having the following steps: capturing a first image of an environment of the motor vehicle (100) by a first image sensor (110);
Erfassen eines zweiten Bildes einer Umgebung des Kraftfahrzeugs (100) durch einen zweiten Bildsensor (120); Capturing a second image of an environment of the motor vehicle (100) by a second image sensor (120);
Senden des ersten Bildes und des zweiten Bildes durch eine Kommunikationseinrichtung (130) an eine extern angeordnete Sende- und Empfangseinrichtung (210), die mit einer extern angeordneten Bildbearbeitungseinrichtung (240) signaltechnisch verbunden ist; Sending the first image and the second image by a communication device (130) to an externally arranged transmitting and receiving device (210), which is connected in terms of signals to an externally arranged image processing device (240);
Erstellen eines Bild-in-Bilds, aufweisend das erste Bild und das zweite Bild, durch die extern angeordnete Bildbearbeitungseinrichtung (240); creating a picture-in-picture comprising the first image and the second image by the externally located image processing device (240);
Senden des Bild-in-Bilds durch die extern angeordnete Sende- und Empfangseinrichtung (210) an die Kommunikationseinrichtung (130); Sending the picture-in-picture by the externally arranged transmitting and receiving device (210) to the communication device (130);
Empfangen des Bild-in-Bilds durch eine Anzeigeeinrichtung (140), die mit der Kommunikationseinrichtung (130) signaltechnisch gekoppelt ist; Receiving the picture-in-picture by a display device (140) which is signal-coupled to the communication device (130);
Anzeigen des Bild-in-Bilds durch die Anzeigeeinrichtung (140) für einen Benutzer im Kraftfahrzeug (100). Displaying the picture-in-picture by the display device (140) for a user in the motor vehicle (100).
PCT/EP2023/060226 2022-07-06 2023-04-20 Apparatus, mobile device and method for creating and displaying an image-in-image WO2024008345A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022116811.5A DE102022116811A1 (en) 2022-07-06 2022-07-06 APPARATUS, MOBILE DEVICE AND METHOD FOR CREATING AND DISPLAYING A PICTURE-IN-PICTURE
DE102022116811.5 2022-07-06

Publications (1)

Publication Number Publication Date
WO2024008345A1 true WO2024008345A1 (en) 2024-01-11

Family

ID=86185084

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/060226 WO2024008345A1 (en) 2022-07-06 2023-04-20 Apparatus, mobile device and method for creating and displaying an image-in-image

Country Status (2)

Country Link
DE (1) DE102022116811A1 (en)
WO (1) WO2024008345A1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020124260A1 (en) * 2001-03-02 2002-09-05 Creative Design Group, Inc. Video production system for vehicles
WO2016038639A1 (en) * 2014-09-08 2016-03-17 Domenico Bacci Safety system for vehicles
US20170013188A1 (en) * 2014-09-19 2017-01-12 Be Topnotch, Llc Smart vehicle sun visor
WO2017205490A1 (en) * 2016-05-24 2017-11-30 Gentex Corporation Vehicle display with selective image data display
US20180101736A1 (en) * 2016-10-11 2018-04-12 Samsung Electronics Co., Ltd. Method for providing a sight securing image to vehicle, electronic apparatus and computer readable recording medium therefor
US10279743B1 (en) * 2013-05-09 2019-05-07 C. Ray Williams Camera with wireless monitor
US20200186730A1 (en) * 2018-12-11 2020-06-11 Toyota Jidosha Kabushiki Kaisha In-vehicle device, program, and vehicle
US20200398754A1 (en) * 2019-06-19 2020-12-24 Garin System Co., Ltd. Apparatus and method for displaying side and rear images of vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010039440A1 (en) 2010-08-18 2012-02-23 Bayerische Motoren Werke Aktiengesellschaft Control unit for vehicle, has output unit connected with network i.e. Internet protocol network, of vehicle, and source connected with network of vehicle, where control unit provides service to use output unit
US9902355B2 (en) 2016-05-27 2018-02-27 GM Global Technology Operations LLC Camera activation response to vehicle safety event
DE102016217037B4 (en) 2016-09-07 2021-03-04 Volkswagen Aktiengesellschaft Method for operating a display device of a motor vehicle with a digital display surface and motor vehicle
DE102017215406A1 (en) 2017-09-04 2019-03-07 Bayerische Motoren Werke Aktiengesellschaft A method, mobile user device, computer program for generating visual information for at least one occupant of a vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020124260A1 (en) * 2001-03-02 2002-09-05 Creative Design Group, Inc. Video production system for vehicles
US10279743B1 (en) * 2013-05-09 2019-05-07 C. Ray Williams Camera with wireless monitor
WO2016038639A1 (en) * 2014-09-08 2016-03-17 Domenico Bacci Safety system for vehicles
US20170013188A1 (en) * 2014-09-19 2017-01-12 Be Topnotch, Llc Smart vehicle sun visor
WO2017205490A1 (en) * 2016-05-24 2017-11-30 Gentex Corporation Vehicle display with selective image data display
US20180101736A1 (en) * 2016-10-11 2018-04-12 Samsung Electronics Co., Ltd. Method for providing a sight securing image to vehicle, electronic apparatus and computer readable recording medium therefor
US20200186730A1 (en) * 2018-12-11 2020-06-11 Toyota Jidosha Kabushiki Kaisha In-vehicle device, program, and vehicle
US20200398754A1 (en) * 2019-06-19 2020-12-24 Garin System Co., Ltd. Apparatus and method for displaying side and rear images of vehicle

Also Published As

Publication number Publication date
DE102022116811A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
EP3512739B1 (en) Method for providing a rear-view-mirror view of the surroundings of a vehicle
EP2603402B1 (en) Method for displaying images on a display unit and driver assistance system
EP2484558B1 (en) Display device for fields of vision of a commercial vehicle
EP3024700B1 (en) Method and device for reproducing a lateral and/or rear surrounding area of a vehicle
DE102014106035A1 (en) Method for operating a driver assistance system with an electronic rearview mirror, driver assistance system and motor vehicle
DE102011018555A1 (en) Interface for data transmission in a motor vehicle and computer program product
DE102010005638A1 (en) Method for indicating image of vehicle surrounding on display unit in vehicle, involves arranging camera at or in outer mirror of vehicle for receiving pictures of vehicle surrounding
DE102015112605A1 (en) SYSTEM FOR DETERMINING A CLUTCH ANGLE
DE102014119317A1 (en) Method for displaying an image overlay element in an image with 3D information, driver assistance system and motor vehicle
DE102018131104A1 (en) Method for assisting a user in remote control of a motor vehicle, computer program product, remote control device and driver assistance system for a motor vehicle
EP2038138A1 (en) System and method for displaying images of the surroundings of a motor vehicle
DE102016114689A1 (en) A method for assisting the driver of a motor vehicle when maneuvering the motor vehicle with a trailer, driver assistance system and team
DE102013020950A1 (en) Method for operating a rear view camera system of a motor vehicle, rear view camera system and motor vehicle
DE102015004749A1 (en) Method for operating a virtual reality glasses and system with a virtual reality glasses
DE102010033786A1 (en) Method for detecting and displaying areas laterally and laterally behind a vehicle and vehicle with several image acquisition units for detecting areas located laterally next to and laterally behind the vehicle
DE102008017835A1 (en) Multimedia system for motor vehicle has one or more cameras to detect vehicle occupants, and control unit connected to the camera or cameras and to screen
EP3296795B1 (en) Method for displaying an image object in a vehicle on a display seen inside and outside the vehicle
DE102014116441A1 (en) Method for presenting safety information, driver assistance system and motor vehicle
EP3221190B1 (en) Vehicle
WO2020088902A1 (en) Method for avoiding a field of view disturbance for an operator of an object, device for carrying out the method as well as vehicle and computer program
WO2024008345A1 (en) Apparatus, mobile device and method for creating and displaying an image-in-image
DE102018213554A1 (en) Method and display device for visualizing an arrangement and mode of operation of environmental sensors of a motor vehicle
DE102018203951A1 (en) Method for representing an environmental region of a motor vehicle of a vehicle convoy, and driver assistance system
DE102020134814A1 (en) Device for monitoring the surroundings of a vehicle
EP2823998B1 (en) Motor vehicle with a screen to display an image taken by a camera and corresponding to the periphery behind the vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23719403

Country of ref document: EP

Kind code of ref document: A1