CN108621943A - 用于在车辆电子显示器上动态显示图像的***和方法 - Google Patents

用于在车辆电子显示器上动态显示图像的***和方法 Download PDF

Info

Publication number
CN108621943A
CN108621943A CN201810185721.2A CN201810185721A CN108621943A CN 108621943 A CN108621943 A CN 108621943A CN 201810185721 A CN201810185721 A CN 201810185721A CN 108621943 A CN108621943 A CN 108621943A
Authority
CN
China
Prior art keywords
vehicle
picture
sub
master image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810185721.2A
Other languages
English (en)
Other versions
CN108621943B (zh
Inventor
L·M·贡萨尔维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN108621943A publication Critical patent/CN108621943A/zh
Application granted granted Critical
Publication of CN108621943B publication Critical patent/CN108621943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/777—Instrument locations other than the dashboard on or in sun visors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Computer Graphics (AREA)

Abstract

一种在包括在车辆中的电子显示器上显示多个图像的***和方法。该方法可以包括基于在主图像中是否检测到物体来改变副图像的位置或一个或多个特性。电子显示器可以是将车辆后方区域的视图作为主图像提供的电子显示镜。

Description

用于在车辆电子显示器上动态显示图像的***和方法
背景技术
本技术领域涉及在包括在车辆中的电子显示器上显示图像以及基于在车辆处接收或获得的传感器数据或其他数据来定位或改变图像。
车辆包括许多电子部件，如电子显示器。如今一些车辆包括有电子显示镜，这些电子显示镜显示从摄像机或光传感器获得的图像并模仿或者充当传统的车辆后视镜或侧视镜。这些电子显示镜可以具备显示各种图像的能力，例如来自车辆周围区域的图像以及由车辆自动生成的图像。因此，某些车辆电子显示器可以将附加图像与主图像(如车辆后方区域的视频)一起进行显示，并且在某些场景下，这些附加的副图像可能会使主图像中物体的视图变得模糊。
发明内容
根据一个实施例，提供了一种在包括在车辆中的电子显示器上显示图像的方法，该方法包括：在包括在车辆中的电子显示器上显示主图像；接收来自位于车辆上或车辆处的一个或多个传感器的传感器信号；生成副图像以在电子显示器上显示；以及在电子显示器上显示主图像并在电子显示器上显示副图像，其中副图像覆盖在主图像上的至少部分地基于接收到的传感器信号的位置处。
根据另一个实施例，提供了一种在包括在车辆中的电子显示器上显示图像的方法，该方法包括：生成主图像以在包括在车辆中的电子显示器上显示；使用车辆上或车辆处包括的一个或多个传感器来监测车辆状态参数；基于监测到的车辆状态参数，确定是否在电子显示器上显示副图像；以及当确定在电子显示器上显示副图像时，则确定电子显示器上的显示副图像的区域；并且在电子显示器上的确定区域处显示副图像。
根据又一实施例，提供了一种用于在车辆中显示图像的***。该***包括位于车辆上或车辆处的一个或多个传感器、配置为生成主图像的面向后部的摄像机、配置为生成副图像的第二摄像机、配置为显示来自面向后部的摄像机的主图像和来自第二摄像机的副图像的电子显示镜、以及连接到一个或多个传感器、面向后部的摄像机、第二摄像机和电子显示镜的控制单元，其中控制单元配置为接收来自位于车辆上或车辆处的一个或多个传感器的传感器信号以及在电子显示镜上显示主图像并在电子显示镜显示副图像，其中第二图像覆盖在主图像上的至少部分地基于接收到的传感器信号的位置处。
附图说明
在下文中将结合附图来描述优选的示例性实施例，其中相同的附图标记表示相同的元件，并且其中：
图1是描绘了能够利用本文公开的方法的***的实施例的框图；
图2是可以在第一场景出现期间与图1的***一起使用的示例性电子显示镜的示意图；
图3是可以在第二场景出现期间与图1的***一起使用的示例性电子显示镜的示意图；
图4是可以在第三场景出现期间与图1的***一起使用的示例性电子显示镜的示意图；以及
图5是在包括在车辆中的电子显示器上显示图像的示例性方法的流程图。
具体实施方式
下面描述的***和方法使得车辆能够在包括在车辆中的电子显示器上显示多个图像。电子显示器可以用于显示图像，以供车辆操作者查看。可以经由通信总线从控制单元和/或其他车辆***模块接收图像。在一些实施例中，电子显示器可以是安装在车辆中的电子显示镜，并且可以显示从安装在车辆上的并且面向车辆后方区域的面向后部的视频摄像机接收的图像。控制单元可以用于生成主图像和一个或多个副图像，以显示在电子显示器上。控制单元还可以接收传感器信号和/或可以监测下面定义的车辆状态参数(例如，外部物体的位置)。基于接收到的传感器信号和/或监测到的车辆状态参数，控制单元可以确定是否在电子显示器上显示某些图像(例如，主图像或副图像)。另外，可以基于接收到的传感器信号和/或监测到的车辆状态参数来确定图像的定位以及其他显示特性(例如透明程度、大小)。在一些实施例中，副图像可以覆盖在主图像上，并且可以对这些副图像进行定位和/或改变，以减少对主图像中所显示的物体(如另一辆车辆)的干扰。
现在参考图1，示出了具有可以用于实现本文公开的方法的车辆电子***12的车辆12。车辆电子***12通常包括形式为电子显示镜28的电子显示器以及控制单元30。应该理解，所公开的方法可以与任何数量的不同***一起使用，并且不特别局限于这里所示的操作环境。而且，***12及其各个部件的架构、构造、设置和操作在本领域中通常是已知的。因此，以下段落简单地概述了一个这样的车辆电子***12；然而，这里未示出的其他***也可以采用所公开的方法。
在所示实施例中将车辆10描绘为乘用车，但应该理解的是，也可以使用包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、海上船只、飞行器等在内的任何其他车辆。在图1中总体上示出了一些车辆电子装置20，并且这些车辆电子装置包括电子显示镜28、控制单元30、车身控制模块(BCM)40、GPS模块22、车辆到车辆(V2V)单元24、传感器26、其他VSM42、车辆用户界面52-58、摄像机62-68以及许多其他部件和设备。不同的车辆电子装置中的一些或全部可以经由一个或多个通信总线(如总线44)连接以实现相互通信，但是也可以使用任何可操作的连接***或类型。
车辆12可以包括作为车辆电子***12的一部分的多个车辆***模块(VSM)，诸如GPS模块22、发动机控制单元(ECU)(未示出)、传感器26、电子显示镜28、控制单元30、车身控制模块(BCM)40、车辆用户界面52-58以及摄像机62-68，如下面将详细描述的。车辆12还可以包括位于整个车辆中并且可以接收来自一个或多个传感器的输入并且使用感测到的输入来执行诊断、监测、控制、报告和/或其他功能的电子硬件部件形式的其他VSM 42。例如，其他VSM可以包括远程信息处理单元、中控台模块(CSM)、信息娱乐单元、动力传动系控制模块或变速器控制单元。每个VSM 42可以通过通信总线44连接到其他VSM以及连接到控制单元30(直接低和/或经由总线44)，并且可以被编程为运行车辆***和子***诊断测试。如本领域技术人员所理解的那样，上述的VSM仅仅是可以用于车辆12中的一些模块的示例，这是因为许多其他模块也是可能的。
全球定位***(GPS)模块22从GPS卫星群(未示出)接收无线电信号。GPS模块22可以将这种位置数据提供给控制单元30，而控制单元30随后可以使用该数据来识别已知位置，例如车辆操作者的住宅或工作场所。另外，GPS模块22可以用于向车辆操作者提供导航和其他位置相关服务。导航信息可以以包括一个或多个图形等的主图像或副图像的形式呈现在电子显示镜28和/或显示器58上(或车辆内的其他显示器上)。或者，导航信息可以以语音方式呈现，例如在提供逐向导航时完成。可以使用专用车载导航模块(其可以是GPS模块22的一部分)来提供导航服务，或者可以通过安装在车辆中的远程信息处理单元来完成一些或全部导航服务，其中将位置信息发送到远程位置，其目的是为车辆提供导航地图、地图注释(兴趣点、餐馆等)、路线计算等。可以将GPS模块22用作传感器来提供与附近物体或车辆有关的输入，以与本文描述的方法一起使用。
车辆到车辆(V2V)单元24是无线通信设备，该设备使得主车辆12能够根据V2V通信体系与一个或多个具有类似配置的附近车辆进行通信，所述V2V通信体系诸如两个启用了V2V的车辆之间的V2V通信连接。可以将V2V单元24用作传感器来提供与附近物体或车辆(如车辆14)有关的输入，以与本文描述的方法一起使用。
车辆传感器26向车辆提供包括各种传感器读数、测量值和/或可用于执行本方法的其他信息的传感器输入。例如，车辆传感器26可以包括用于测量如下内容的传感器或其他部件：物体14在车辆盲区周围的存在、车辆的绝对速度、物体14相对于车辆的位置、物体14相对于车辆的速度、物体14的绝对速度、车辆的车轮速度、车辆的车轮加速度、车辆速度、车辆加速度(纵向和/或横向加速度)、车辆的横摆率、车辆的方向盘角度、其他车辆动力学，并且还包括本领域中已知但在此未提及的其他传感器。传感器26可以利用各种不同的传感器类型和技术，包括RADAR设备、激光设备、LIDAR设备、超声设备、视觉设备(如摄像机等)、用于从路旁信标或传感器接收通信的设备、其他已知设备或其组合，还包括使用旋转车轮速度、地面速度、加速度计、惯性测量单元(IMU)、加速器踏板位置、换挡器选择、发动机速度、发动机输出、节气门位置、方向盘角度的设备，在此仅举几例。本领域技术人员将认识到，这些传感器可以根据光学、电磁和/或其他技术进行操作，并且可以从这些读数得出或计算出其他参数(例如，可以根据速度计算出加速度)。传感器26可以以硬件、软件、固件或其一些组合来体现，并且这些传感器可以直接感测或测量提供它们的条件，或者它们可以基于由其他传感器、部件、设备、模块、***等提供的信息间接地评估这些条件。可以通过主车辆12中的一些其他部件、设备、模块、***等来提供下面描述的各种传感器读数中的任何一个，而不是由实际的传感器元件来提供。应该认识到，前述场景仅表示一些可能性，因为本***和方法并不局限于任何特定的传感器或传感器布置。
电子显示镜28是电子显示器，并且包括集成到后视镜单元或壳体中的视频显示器，这样使得显示器实时地向驾驶员显示来自后视摄像机62的视频输出以及其他图形或图像(例如，来自摄像机64-68的图像)。如本文所用，电子显示器可以是能够基于接收到的电子信号呈现图像、视频、图形等的任何显示器。应该理解，如本文所用，“图像”可以包括静止图像、实时或记录的视频、图形等。根据图1的示例性实施例，电子显示镜28联接到控制单元30并且从控制单元30接收增强型视频输出。电子显示镜可以利用任何数量的不同显示技术，例如液晶显示器(LCD)或发光二极管(LED)显示器。应该认识到，本文描述的***和方法可以使用任何适合类型的电子显示镜28，并且不局限于任何特定的一种。例如，电子显示镜28可以是全显示镜(FDM)，其中该设备的整个可观看表面显示来自其中一个摄像机62-68的视频；电子显示镜可以是如下的电子显示镜类型：其中仅有一部分显示表面显示来自其中一个摄像机62-68的视频，而显示表面的其他部分显示其他信息(例如，逐向导航或其他导航指令、罗盘或航向信息、主车辆性能数据等)；电子显示镜可以具备白天模式和夜晚模式来相应地调整亮度；或者它可以具有触摸屏，以便用户可以作出选择或输入数据，在此仅列举一些可能性。作为电子显示镜28被定位在后视镜的传统位置(即，安装在前挡风玻璃的中上位置处)的替代，电子显示镜28可以是中央控制台信息娱乐或后部备用显示器的一部分，或者可以是一些其他显示器的一部分。本文描述的***和方法特别适用于电子显示镜，其原因在于镜子的尺寸通常比其他车辆显示器单元要小。此外，由于电子显示镜可以向驾驶员提供与车辆周围环境有关的十分有用的信息，因此，本文的***和方法可以允许高效且有利地呈现这种信息。
电子显示镜28可以用于观察车辆后方的一个或多个物体，例如目标物体14。在所示实施例中将物体14描绘为乘用车，但是应该理解，物体14可以是任何其他可识别物体，例如行人、建筑物或锥形交通路标。在物体14是另一辆车辆的实施例中，此另一辆车辆14可以经由V2V通信或其他通信(例如蜂窝式、SRWC)与车辆12进行通信。此外，可以存在有一个以上的物体14。
控制单元30可以至少部分地负责执行或完成下面描述的一个或多个方法。在优选实施例中，控制单元30可以是专用于接收和处理来自一个或多个车辆摄像机(如摄像机62-68)的输入并将输出提供给一个或多个车辆设备(如电子显示镜28)的视频控制单元。替代地，控制单元30可以是一个或多个其他车辆***的一部分或由其使用，例如主动安全***，在此仅举一个示例。如图1的示例性实施例所示，控制单元30包括无线接入点(WAP)32、处理器34、存储器36以及一根或多根天线38(仅示出一根)。在其他实施例中，控制单元30可以不包括无线接入点，而是可以包括调制解调器、以太网端口或者可以用于通过通信总线44实现有线通信的其他硬件。根据示例性实施例，控制单元30连接到摄像机62-68并接收视频输入、连接到V2V单元24并接收交通输入、连接到车辆传感器26并接收传感器输入、连接到GPS模块22并接收导航输入，以及连接到电子显示镜28并提供视频输出，但是也可以将设备的其他组合连接到控制单元。这些连接中的任何一个连接可以经由通信总线44、经由WAP 32和/或经由任何其他可操作的直接或间接连接方法来进行。控制单元30可以包括任何种类的电子处理设备、存储器设备、输入/输出(I/O)设备和/或其他已知部件，并且可以执行各种控制和/或通信相关功能。
在示例性实施例中，控制单元30包括电子存储器设备36，其可以接收并存储以下项目的任何组合：来自摄像机62-68的图像或视频数据、来自V2V单元24的关于附近车辆的信息、来自车辆传感器26的传感器读数、来自GPS模块22的位置或航向数据、查找表或其他数据结构、算法(例如，在下面描述的示例性方法中体现的算法)等。存储器设备36还可以存储与主车辆12有关的相关特性和背景信息，诸如与车辆尺寸(例如，重量、宽度和长度)、停车距离、驾驶员行为或历史数据、主车辆12上的特定传感器或摄像机位置和方位等有关的信息。控制单元30还可以包括电子处理设备34(例如，微处理器、微控制器、专用集成电路(ASIC)、等)，该电子处理设备执行存储在存储器设备36中的并且可以管理本文描述的方法的软件、固件、程序、算法、脚本、应用程序等的指令。控制单元30可以经由合适的车辆通信(例如，CAN总线等)电连接到其他车辆设备、模块和***，并且可以在需要时与它们进行交互。当然，这些只是控制单元30的一些可能的布置、功能和能力，因为也可以采用其他实施例。
在一些实施例中，控制单元30能够经由短程无线通信(SRWC)来传送数据。在许多实施例中，控制单元30可以专门配置为执行本文公开的方法。在一个实施例中，控制单元30可以是独立模块，或者在其他实施例中，设备30可以被结合或包括为一个或多个其他车辆***模块(如中控台模块(CSM)、车身控制模块、信息娱乐模块、远程信息处理模块、音响主机和/或网关模块)的一部分。在一些实施例中，控制单元30可以被实现为安装在车辆中的OEM安装(嵌入式)或售后设备。
控制单元30可以直接或间接连接到一个或多个摄像机，如摄像机62-68。摄像机62-68可以是指向车辆12内部或周围的特定区域的摄像机，并且向控制单元30提供视频输入以在电子显示镜28上显示。摄像机62-68可以是任何合适的摄像机类型(例如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等)，并且可以具有本领域中已知的任何合适镜头，这样使得它不局限于任何特定类型、品牌或型号。在一个实施例中，摄像机62可以是位于车辆上面向车辆12后方区域的面向后部的摄像机，摄像机64可以是定位成面向车辆12左侧的盲区的左盲区摄像机，摄像机66可以是定位成面向车辆122右侧的盲区的右盲区摄像机，并且摄像机68可以是辅助摄像机，此摄像机可以定位在任何期望的位置处，以面向所示示例中的车辆122的后车厢。在其他实施例中，摄像机62-68中的任何一个或多个可以捕捉车辆12中和/或周围的不同区域，例如车辆的后座、车辆的车厢、车辆的盲区、行李箱的内部区域或拖车的内部区域。摄像机62-68可以向控制单元30提供多个图像(例如，从流式视频或其他捕获视频得到)，然后控制单元30可以将这些图像显示在电子显示镜28上或车辆12中或车辆12处的其他显示器上。
根据一个实施例，摄像机62-68(并且更具体地说是面向后部的摄像机62)可以提供视频数据，其中图像(例如，构成视频数据的图像)被水平地翻转(即，它们是最初由摄像机捕获的视频的镜像图像)。水平翻转的视频数据说明了以下事实：摄像机62-68和驾驶员面向相反的方向，从而允许以与传统的后视镜和面向后部的侧视镜相一致的方位在电子显示镜28上呈现视频数据。可以与摄像机62-68一起使用的潜在实施例或特征的一些非限制性示例包括：用于夜视的红外LED；广角或鱼眼镜头；表面安装、齐平安装、牌照安装或侧装摄像机；具有多个摄像机的立体式布置；集成到车辆后端的尾灯、刹车灯或其他部件中的摄像机；以及有线或无线摄像机，在此仅举出一些可能性。
摄像机62-68可以将视频或图像数据发送或传输到控制单元30。例如，当车辆的点火或主推进***开启或启动时，面向后部的摄像机62可以连续地将视频数据传输到控制单元30。另外，盲点摄像机64和66可以将左盲点和右盲点的视频数据传输或发送到控制单元30。辅助(或车厢)摄像机68也可以将视频数据发送到控制单元30。视频数据可以是隔行或逐行扫描型视频数据，或者是到控制单元30的隔行扫描型视频数据。控制单元然后可以解码、转换或以其他方式处理视频数据，使得数据中经过编码的视频可以正确地显示在电子显示镜28、视觉显示器58或其他显示器上。例如，如果电子显示镜将要配置为显示逐行扫描型视频并且在控制单元处接收到的视频数据将会是隔行扫描型视频数据，则可以在控制单元处对隔行扫描型视频数据进行去隔行处理，使得从摄像机62-68接收到的隔行扫描类型视频可以置于正确的逐行扫描类型格式下，这样，电子显示镜28可以正确地显示出视频数据。其他图像处理可以由处理器34或车辆12中的其他处理设备执行，而这些其他处理设备中的很多设备都是本领域技术人员熟知的。
如下面将更详细讨论的，可以在电子显示镜上显示一个或多个图像或其他图形，并且可以基于从摄像机62-68接收的某些传感器数据或视频/图像数据来显示这样的图像或图形。例如，处理器通过使用图像处理技术可以识别出某些物体，例如可以位于车辆12后面的物体或其他车辆14。在一个实施例中，控制单元30可以使用图像处理软件，该图像处理软件可以区分所捕获的图像中的某些物体，并且通过分析一系列图像并可能地结合来自一个或多个车辆传感器(如传感器36)的信息，该图像处理软件可以确定这些区分出的物体相对于车辆12的位置、距离、速度和/或加速度。或者，视频馈送可以确定出某些物体(如另一辆车辆14)可以是车辆操作者感兴趣的物体，因此，描绘这些物体的视频可以优先地显示在电子显示镜28上。
如图1所示，设备22-68中的任何一个设备可以是独立的，或者它们可以被结合或包括在某个其他设备、单元或模块内(例如，V2V单元24可以包括在另一车辆通信模块内，一些传感器26可以封装在惯性测量单元(IMU)中，GPS模块22可以是远程信息处理单元的一部分，控制单元30可以与电子显示镜28或仪表板控制模块等集成在一起)。此外，如图1所示，设备22-68中的任何一个设备可以是专用的，或者它们可以是车辆中的其他***或子***的一部分或由其进行共享(例如，摄像机62-68和/或一些传感器26可以是主动安全***、防抱死制动***(ABS)或自动或半自动驾驶***的一部分；电子显示镜28或控制单元30可以是车辆信息娱乐***等的一部分)。如本领域中通常已知的那样，来自设备22-68的视频输入、交通输入、传感器输入和/或导航输入可以直接提供给控制单元30，或者通过某个其他设备、模块和/或***间接地提供。类似地，来自控制单元30的增强型视频输出可以直接或间接地提供给电子显示镜28。因此，只要设备22-68可以与本文描述的方法一起使用，那么，它们就没有局限于图1中的示意图或上面的示例性描述，也不会局限于任何特定实施例或布置。
参照图2至图4，示出了三种场景100、110和120。这些场景示出了具有主图像102和副图像104的电子显示镜28，并且图示了该方法可以相对于彼此对图像进行集成或定位的不同方式。主图像102可以包括来自面向后部的摄像机62的视频数据，而副图像104可以包括来自另一个图像源的视频数据，如图所示，其可以是来自辅助摄像机68的车辆车厢的图像或视频。可以基于各种车辆状态、传感器信号、导航信息、从摄像机62-68接收的视频数据的图像处理结果或车辆12获得的其他数据或信息来修改或改变主图像和/或副图像。另外，不同类型的车辆可以包括定位在车辆中和/或周围的不同区域处的摄像机。例如，轿车可以具有定位在车辆后座区域处的辅助摄像机68，而皮卡车可以具有定位在车厢区域处的辅助摄像机68。下面将参考场景100、110和120来帮助论述图5中描绘的示例性方法200。
参考图5，示出了在包括在车辆中的电子显示镜上显示图像的方法200的示例性实施例。在一些实施例中，方法200包括以下步骤：接收来自位于车辆上的一个或多个传感器的传感器信号，在电子显示镜上生成并显示主图像，然后基于接收到的传感器信号在电子显示镜上生成并显示主图像和副图像或图形。方法200可以由控制单元30和/或包括在车辆12中的任何其他合适的车辆模块(如VSM 42)执行。
方法200从步骤210开始，其中生成了待显示在包括在车辆中的电子显示器上的主图像102，如图2至图4所示。主图像可以是实时或录制的视频或来自视频帧的图像，例如从隔行扫描类型或逐行扫描类型视频生成的图像。优选地，主图像102是显示在电子显示镜28上的车辆12后方区域的后视图，在所示实施例中，电子显示镜28示出了车辆12后方的物体14。当将车辆置于启动状态下以使得点火或主推进***被激活时，电子显示镜28可以显示从面向后部的摄像机62接收到的图像。接收到的视频数据可以进行水平翻转，这样，所显示图像的功能类似于传统的后视镜。在其他实施例中，主图像可以由图形、其他图像或渲染图组成。方法200进行到步骤220。
在步骤220中，接收来自位于车辆12上或车辆12处的一个或多个传感器的传感器信号。一个或多个传感器可以是车辆传感器26、摄像机62-68、V2V单元24、GPS 22、发动机控制单元、BCM 40、获得感测输入的其他VSM 42、麦克风56、按钮52(如图1所示)、或者可以向车辆提供与车辆状态(例如，操作状态、车辆的其他物理特性、车辆模块电子或逻辑状态)有关的信息、车辆周围区域的环境条件和/或车辆周围区域的外部特性(例如，车辆周围或内部存在其他车辆、行人、电子设备或物体)的任何其他设备。
另外地或替代地，可以使用车辆上或车辆处包括的一个或多个传感器来监测车辆状态参数。车辆状态参数可以是或者可以基于车辆的状态、条件和/或特性和/或车辆周围环境中的一个或多个。例如，车辆状态参数可以包括或者可以基于操作状态、车辆的其他物理特性(例如，车辆12的绝对速度、物体14相对于车辆12的位置、如主图像中所示的物体14的位置、物体14相对于主图像的大小、物体14相对于车辆12的速度以及物体14的绝对速度)、车辆模块电子或逻辑状态、车辆周围区域的环境条件、和/或车辆周围区域的外部特性(例如，车辆周围或内部存在其他车辆、行人、电子设备或物体)。
接收到的传感器信号和/或监测到的车辆状态参数可以存储在控制单元30的存储器36中和/或可以由处理器34进行处理。如将在下面进一步讨论的(参见步骤240)，控制单元可以使用接收到的传感器信号和/或检测到的车辆状态来确定是否、在何处和/或如何在电子显示镜28上显示某些副图像。在某些实施例中，步骤210可以在步骤220之前执行，并且主图像的生成可以是基于接收到的传感器信号和/或监测到的车辆状态参数。方法200进行到步骤230。
在步骤230中，生成例如如在图2至图4中示出的副图像104，并且在一些实施例中，可以基于监测到的车辆状态和/或接收到的传感器信号生成副图像。副图像104可以是与主图像相似的图像，但是却可以根据从不同的摄像机接收的视频数据生成。例如，副图像可以根据从辅助摄像机68接收的视频数据生成，此视频数据可以包括车辆12的车厢的图像。在其他实施例中，副图像可以包括使用预先存储的图形/图像文件(例如，存储在存储器36上)的渲染图，诸如车辆12的俯视图的渲染图、一个或多个图形或者从车辆中的一个或多个摄像机获得的图像。如下面将更详细描述的，渲染图可以是基于从一个或多个传感器(如传感器26)或摄像机62-68接收的数据。
在一些实施例中，生成了许多副图像。例如，可以生成第一副图像以描绘车辆左侧盲区的区域，并且可以生成第二副图像以描绘车辆右侧盲区的区域。然后，可以在电子显示镜上同时显示这两个副图像，如以下在步骤240中将要描述的。在一些实施例中，车辆可以基于接收到的传感器信号或监测到的车辆状态参数来确定显示一个或多个副图像。
在某些实施例中，根据监测到的车辆状态参数或基于接收到的传感器信号，可以不生成副图像。例如，如果与物体14可能发生碰撞，则该方法可以确定应仅显示主图像102，以向驾驶员提供更清晰或遮挡更少的图像。在这样的实施例中，方法200可以结束，或者可以返回到步骤210或220。否则，方法200可以进行到步骤240。
在步骤240中，主图像和副图像在电子显示器上显示，其中副图像覆盖在主图像上的至少部分地基于接收到的传感器信号的位置处。如本文所用，“覆盖”可以包括混合两个图像、将一个图像放置在可用屏幕空间的指定子集中并相应地调整另一个图像的大小、将一个图像放在另一个图像之上或者任何其他在指定区域内在空间上包括两个图像的可操作方法(可能会阻挡一个或多个图像的一个或多个部分)。在一个实施例中，主图像可以覆盖电子显示镜的绝大(或整个)部分，而副图像可以放置在主图像之上。在其他实施例中，主图像可以覆盖电子显示器的某个指定或确定区域。指定区域可以是电子显示器的为主图像预留的区域(例如，电子显示器中间相对较大的部分)。确定区域可以是电子显示器的被确定为主图像将在其上显示的区域，并且可以是基于监测到的车辆状态参数或接收到的传感器信号。
例如，返回参考图2，接收到的传感器信号可以检测到或用于检测到其他车辆14更多地位于主图像102的左侧，而不是主图像102的右侧。这可以基于图像处理和物体识别技术来确定，和/或可以是基于其他传感器信号，例如经由V2V单元24接收的盲点检测器或车辆信息。当其他车辆14被确定为处于物体区域106中的车辆12的左侧时，副图像104可以重叠在主图像102右侧的位置108上，这样不会对车辆14的描绘造成干扰(或者减少对其的干扰)。或者，当车辆14被确定为位于车辆12的左侧并且车辆14至少部分地在主图像102中描绘时，那么，副图像104可以重叠在主图像102的右侧。这同样也可以适用于其他车辆14被确定为位于右侧和/或至少部分地在主图像102的右侧进行显示的情况，不同之处在于副图像104将会在现在处于电子显示镜28左侧的位置108处显示，如图3所示。例如，如果车辆14穿过了中间点，则副图像104可以移动到显示器28的另一侧的位置108。此外，副图像104的大小可以与副图像的位置108相关，而位置108可以取决于物体区域106。尽管图2至图4示出了其他车辆14在车辆后方的区域中穿过，但是时常有另一辆车辆拖在主车辆后方，存在有另一物体(如行人等)，和/或存在有一个或多个静止物体。任何目标物体都可能会影响副图像的位置、大小和质量等，具体取决于所需的实施方式。
另外地或替代地，可以至少部分地基于车辆状态参数和/或接收到的传感器信号来改变副图像的一个或多个特性。在一些实施例中，这样做可以允许用户更好地辨别主图像中描绘的某些方面。例如，在其他车辆或物体14在主图像102上进行显示并且物体区域106占据了图像102的绝大部分的情况下，如果不去掉物体14的各部分，则可能不会存在有显示副图像的位置。在这种情况下，倘若物体区域106和副图像的位置108至少部分地重叠，则可以显示副图像104，但是却可能要调整副图像的透明度(例如，使得副图像是部分透明的)，如图4所示。副图像的透明度的调整或副图像的其他改变可以是基于车辆状态参数和/或接收到的传感器信号。例如，可以基于在主图像中描绘的物体的相对速度和/或在主图像中描绘的物体的位置来调整透明度。举一例来说，如果物体区域106占到了总屏幕面积的75％或以上，那么，可以将副图像104的透明度水平调整到25％至75％之间，或者更具体地调整为50％。或者，如果例如调整副图像的大小的行为产生了过小的副图像(例如，屏幕总面积的约10％或更少)，则可能更希望改变透明度水平并将图像大小保持为标准插图大小。副图像的改变特性还可以包括副图像的位置和/或副图像的大小。可以进行其他图形和/或图像改变，诸如改变大小、色相、饱和度、位置、透明度、明亮度、对比度、颜色、曲线、色调、明暗度、色值、强度、亮度、形状、颜色集或阈值(例如，黑色和白色、灰度、8位颜色)、色调分离度、颜色平衡、曝光度、等级、通道和/或活力。
可以生成和/或获得可以在电子显示镜28上显示的其他类型的副图像。例如，某些车辆特性(例如，车辆12的绝对速度、物体14相对于车辆12的位置、如主图像中描绘的物体14的位置、物体14相对于主图像的大小、物体14相对于车辆12的速度以及物体14的绝对速度)可以被生成来以图形方式显示为副图像或者显示为副图像和/或主图像的一部分。另外，可以生成和/或获得要其他度量或条件以进行显示，诸如环境度量(例如外部温度、车舱温度、预测的天气)。
在其他实施例中，可以同时在电子显示镜上显示多个副图像。这些副图像中的一个或多个可以覆盖在主图像之上(例如，画中画(PIP))。在一个实施例中，电子显示器可以沿着中间划分(例如，形成面积相同的左侧和右侧的50/50分割)。主图像随后可以显示在左侧，而副图像随后可以显示在右侧。电子显示器可以按照不同的比例进行划分，例如，针对主图像/副图像的60/40划分，或者针对第一副图像/主图像/第二副图像的20/60/20划分。在一个实施例中，主图像可以是来自面向后部的摄像机62的图像，第一副图像可以是来自左盲点摄像机64的图像，而第二副图像可以是来自右盲点摄像机66的图像。当检测到没有物体(如车辆14)位于车辆12的左和/或右盲点中和/或主图像中时，可以将第一副图像和/或第二副图像移除并据此对空间进行重新规划。
之后，主图像和副图像可以在电子显示镜28上显示。可以由控制单元30生成最终图像(其是主图像和副图像的合成物)，然后再经由总线44将最终图像发送到电子显示镜28。最终图像可以是在以上关于主副图像的特性、大小、定位和/或其他显示属性所作出的确定的基础上生成的单一聚合图像。一旦接收到了最终图像，电子显示镜28就对其加以显示。电子显示镜可以在最终图像上显示其他文字或图形信息。替代地或另外地，电子显示镜可以根据与最终图像一起接收的其他元数据或者根据在电子显示器镜28处接收到的其他指令来显示最终图像。之后，方法200结束。
应该理解的是，前面的描述不是对本发明的定义，而是对本发明的一个或多个优选示例性实施例的描述。本发明不局限于在此公开的特定实施例，而是仅由下面的权利要求书来限定。此外，包含在前述描述中的陈述涉及了特定实施例，并且不应被解释为对本发明的范围或权利要求中使用的术语的定义的限制，除非术语或短语在上面进行了明确定义。对本领域技术人员而言，各种其他实施例以及对上述公开的实施例的各种改变和修改都将是显而易见的。例如，步骤的具体组合和顺序仅仅是一种可能性，这是因为本方法可以包括具有比此处所示的更少、更多或不同的步骤的步骤组合。所有这些其他实施例、改变和修改都意图落入所附权利要求的范围内。
如本说明书和权利要求中所用，“比如”、“例如”、“譬如”、“诸如”和“类似”等术语以及动词“包括”、“具有”、“包含”和它们的其他动词形式当与一个或多个组件或其他项目的列表结合使用时，各自被解释为开放式的，这意味着此列表不被认为是排除其他附加组件或者项目。其他术语应采用其最广泛的合理含义来解释，除非它们是在要求有不同解释的上下文中使用。另外，术语“和/或”应被解释为包含性的或。换言之，短语“A、B和/或C”包括：“A”；“B”；“C”；“A和B”；“A和C”；“B和C”；以及“A、B和C”。

Claims (16)

1.一种在包括在车辆中的电子显示器上显示图像的方法，所述方法包括：
生成主图像以在包括在所述车辆中的所述电子显示器上显示；
接收来自位于所述车辆上或所述车辆处的一个或多个传感器的传感器信号；
生成副图像以在所述电子显示器上显示；以及
在所述电子显示器上显示所述主图像并在所述电子显示器上显示所述副图像，其中所述副图像覆盖在所述主图像上的至少部分地基于所述接收到的传感器信号的位置处。
2.根据权利要求1所述的方法，其中所述主图像是从面向后部的摄像机生成，并且所述电子显示器是电子显示镜。
3.根据权利要求1所述的方法，其中所述主图像或所述副图像是流式视频馈送的一部分。
4.根据权利要求1所述的方法，还包括以下步骤：使用所述接收到的传感器信号检测到在所述主图像中描绘了物体，并且基于所述检测，确定所述主图像上的覆盖所述副图像的位置。
5.根据权利要求4所述的方法，其中所述检测步骤还包括确定所述主图像上的描绘所述物体的区域，并且其中所述主图像上的覆盖所述副图像的所述位置是基于所述主图像上的检测到所述物体的所述区域。
6.根据权利要求5所述的方法，其中所述主图像上的覆盖所述副图像的所述位置以及所述主图像上的描绘所述物体的所述区域彼此之间完全分开。
7.根据权利要求1所述的方法，其中所述副图像由面向以下区域中的一个或多个区域的摄像机生成：所述车辆的后座、所述车辆的车厢、所述车辆的盲区、行李箱的内部区域或者拖车的内部区域。
8.一种在包括在车辆中的电子显示器上显示图像的方法，所述方法包括：
在包括在所述车辆中的所述电子显示器上显示主图像；
使用所述车辆上或所述车辆处包括的一个或多个传感器来监测车辆状态参数；
基于所述监测到的车辆状态参数，确定是否在所述电子显示器上显示副图像；以及
当确定在所述电子显示器上显示所述副图像时，则
确定所述电子显示器上的显示所述副图像的区域；并且
在所述电子显示器上的所述确定区域处显示所述副图像。
9.根据权利要求8所述的方法，其中所述主图像是从面向后部的摄像机生成，并且所述电子显示器是电子显示镜。
10.根据权利要求8所述的方法，其中所述一个或多个传感器包括视频摄像机。
11.根据权利要求8所述的方法，其中根据所述确定区域的大小确定所述副图像的大小。
12.根据权利要求8所述的方法，还包括以下步骤：检测到在所述主图像中描绘了物体，并且基于所述检测到的物体的位置，确定所述主图像上的覆盖所述副图像的位置，其中所述电子显示器上的显示所述副图像的所述区域与所述主图像上的覆盖所述副图像的所述位置重合。
13.根据权利要求8所述的方法，还包括以下步骤：至少部分地基于所述车辆状态参数来改变所述副图像的一个或多个特性。
14.根据权利要求13所述的方法，其中所述改变特性包括调整所述副图像的透明度水平。
15.根据权利要求13所述的方法，其中所述改变特性包括以下中的一个或多个：所述副图像的位置或所述副图像的大小。
16.一种用于在车辆中显示图像的***，所述***包括：
位于所述车辆上或所述车辆处的一个或多个传感器；
配置为生成主图像的面向后部的摄像机；
配置为生成副图像的第二摄像机；
配置为显示来自所述面向后部的摄像机的所述主图像和来自所述第二摄像机的所述副图像的电子显示镜；以及
连接到所述一个或多个传感器、所述面向后部的摄像机、所述第二摄像机和所述电子显示镜的控制单元，其中所述控制单元配置为接收来自位于所述车辆上或所述车辆处的所述一个或多个传感器的传感器信号以及在所述电子显示镜上显示所述主图像并在所述电子显示镜上显示所述副图像，其中所述第二图像覆盖在所述主图像上的至少部分地基于所述接收到的传感器信号的位置处。
CN201810185721.2A 2017-03-22 2018-03-07 用于在车辆电子显示器上动态显示图像的***和方法 Active CN108621943B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/466604 2017-03-22
US15/466,604 US10609339B2 (en) 2017-03-22 2017-03-22 System for and method of dynamically displaying images on a vehicle electronic display

Publications (2)

Publication Number Publication Date
CN108621943A true CN108621943A (zh) 2018-10-09
CN108621943B CN108621943B (zh) 2021-09-28

Family

ID=63450008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810185721.2A Active CN108621943B (zh) 2017-03-22 2018-03-07 用于在车辆电子显示器上动态显示图像的***和方法

Country Status (3)

Country Link
US (1) US10609339B2 (zh)
CN (1) CN108621943B (zh)
DE (1) DE102018105951B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120110A (zh) * 2019-04-09 2019-08-13 深圳市麦谷科技有限公司 倒车图像处理方法、装置、计算机设备及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11615628B2 (en) * 2018-02-02 2023-03-28 Sony Corporation Information processing apparatus, information processing method, and mobile object
US11176215B2 (en) * 2018-07-23 2021-11-16 International Business Machines Corporation Navigational notifications based on filtered interests
DE102018128634A1 (de) 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
US11302182B2 (en) * 2018-12-28 2022-04-12 Beijing Voyager Technology Co., Ltd. Systems and methods for vehicle identification
WO2020198427A1 (en) * 2019-03-27 2020-10-01 Gentex Corporation Selective display window for vehicle
JP7140278B2 (ja) * 2019-05-15 2022-09-21 日産自動車株式会社 表示制御方法及び表示制御装置
US11055870B2 (en) * 2019-07-24 2021-07-06 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle auxiliary camera
US20240217509A1 (en) * 2019-09-04 2024-07-04 Jinan Zhenzhen Technology Research Institute System and method for controlling vehicle
US11995991B2 (en) * 2020-12-22 2024-05-28 Stack Av Co. Shared control for vehicles travelling in formation
USD1024092S1 (en) * 2021-08-03 2024-04-23 Icon Vehicle Dynamics Llc Display screen with graphical user interface
USD1012944S1 (en) 2021-08-03 2024-01-30 Icon Vehicle Dynamics Llc Display screen with graphical user interface
US11999386B2 (en) 2022-01-31 2024-06-04 Stack Av Co. User interfaces for autonomy state control and alerts

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050174429A1 (en) * 2004-02-04 2005-08-11 Nissan Motor Co., Ltd. System for monitoring vehicle surroundings
CN102740055A (zh) * 2011-04-01 2012-10-17 财团法人工业技术研究院 环场监控装置及其方法
US20140118485A1 (en) * 2009-11-19 2014-05-01 Robert Bosch Gmbh Rear-view multi-functional camera system with three-dimensional data analysis features
CN103770706A (zh) * 2012-10-19 2014-05-07 通用汽车环球科技运作有限责任公司 动态后视镜显示特征
CN105139389A (zh) * 2014-05-16 2015-12-09 通用汽车环球科技运作有限责任公司 全景摄像机***(vpm)与车辆动态
WO2016026870A1 (en) * 2014-08-18 2016-02-25 Jaguar Land Rover Limited Display system and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10029621B2 (en) 2013-05-16 2018-07-24 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
JPWO2015151485A1 (ja) 2014-04-01 2017-04-13 パナソニックＩｐマネジメント株式会社 後方視界確認装置と、それを搭載した自動車
CN109153353B (zh) 2016-05-24 2022-04-08 金泰克斯公司 具有选择性图像数据显示的车辆显示器
US20170374287A1 (en) 2016-06-23 2017-12-28 Werner Lang System for Visually Depicting Fields of View of a Commercial Vehicle
US20180220082A1 (en) * 2017-01-30 2018-08-02 GM Global Technology Operations LLC Method and apparatus for augmenting rearview display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050174429A1 (en) * 2004-02-04 2005-08-11 Nissan Motor Co., Ltd. System for monitoring vehicle surroundings
US20140118485A1 (en) * 2009-11-19 2014-05-01 Robert Bosch Gmbh Rear-view multi-functional camera system with three-dimensional data analysis features
CN102740055A (zh) * 2011-04-01 2012-10-17 财团法人工业技术研究院 环场监控装置及其方法
CN103770706A (zh) * 2012-10-19 2014-05-07 通用汽车环球科技运作有限责任公司 动态后视镜显示特征
CN105139389A (zh) * 2014-05-16 2015-12-09 通用汽车环球科技运作有限责任公司 全景摄像机***(vpm)与车辆动态
WO2016026870A1 (en) * 2014-08-18 2016-02-25 Jaguar Land Rover Limited Display system and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120110A (zh) * 2019-04-09 2019-08-13 深圳市麦谷科技有限公司 倒车图像处理方法、装置、计算机设备及存储介质
CN110120110B (zh) * 2019-04-09 2021-11-23 深圳市麦谷科技有限公司 倒车图像处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
DE102018105951B4 (de) 2019-07-04
CN108621943B (zh) 2021-09-28
DE102018105951A1 (de) 2018-09-27
US10609339B2 (en) 2020-03-31
US20180272944A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
CN108621943A (zh) 用于在车辆电子显示器上动态显示图像的***和方法
CN108227703B (zh) 信息处理装置和方法、***作车辆及记录程序的记录介质
WO2018105417A1 (ja) 撮像装置、画像処理装置、表示システム、および車両
US20160039285A1 (en) Scene awareness system for a vehicle
KR20160132655A (ko) 차량용 리어 콤비네이션 램프 및 이를 포함하는 차량
CN104163133A (zh) 使用后视镜位置的后视摄像机***
WO2017122654A1 (ja) 運転支援装置及び運転支援方法
CN107054218A (zh) 标识信息显示装置和方法
JP2005242606A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
US9045085B2 (en) Object detector
JP6762863B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
TW202101959A (zh) 圖像辨識裝置及圖像辨識方法
CN117382538A (zh) 用于低能见度驾驶的***和方法
JP2016043778A (ja) 画像表示制御装置および画像表示システム
JP2017111739A (ja) 運転支援装置、運転支援方法
CN109835258A (zh) 基于通信的无照明车辆指示
JP6589775B2 (ja) 車両用表示制御装置及び車両用表示システム
US20140211007A1 (en) Object detector
JP2021028206A (ja) 表示制御装置、表示制御方法、および表示制御プログラム
EP3544293B1 (en) Image processing device, imaging device, and display system
JP2007302238A (ja) 車両の画像処理装置
US20220292686A1 (en) Image processing apparatus, image processing method, and computer-readable storage medium storing program
JP6781035B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
US20220284660A1 (en) Using epipolar reprojection for virtual view perspective change
JP2018085584A (ja) 画像処理装置、撮像装置、および表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant