CN111669543A - 用于停车解决方案的车辆成像***和方法 - Google Patents

用于停车解决方案的车辆成像***和方法 Download PDF

Info

Publication number
CN111669543A
CN111669543A CN202010151769.9A CN202010151769A CN111669543A CN 111669543 A CN111669543 A CN 111669543A CN 202010151769 A CN202010151769 A CN 202010151769A CN 111669543 A CN111669543 A CN 111669543A
Authority
CN
China
Prior art keywords
vehicle
camera
camera view
person
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010151769.9A
Other languages
English (en)
Inventor
N.齐默曼
Y.S.弗里兰德
M.斯卢茨基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN111669543A publication Critical patent/CN111669543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

一种车辆成像***和方法用于向用户提供易于使用的车辆停车解决方案，该车辆停车解决方案显示集成且直观的倒车摄像头视图，诸如第一人称复合摄像头视图。第一人称复合摄像头视图可包括：来自围绕车辆安装的多个摄像头的复合图像数据，所述复合图像数据已联结或拼接在一起；以及增强图形，其具有车辆的各部分的计算机生成的模拟，所述计算机生成的模拟向用户提供有关正显示的视点的直观信息。第一人称复合摄像头视图的视点是位于车辆内的观察者的视点，并且被设计成模仿驾驶员的视点。还有可能提供方向指示器，该方向指示器允许用户触碰触摸屏显示器并人工地改变第一人称复合摄像头视图的方向，使得用户可以直观地探索车辆周围环境。

Description

用于停车解决方案的车辆成像***和方法
技术领域
本文中所描述的示例性实施例总体上涉及供在车辆中使用的***和方法，且更具体地涉及向用户提供集成且直观的停车解决方案的车辆成像***和方法。
背景技术
本公开涉及用于车辆的停车解决方案，即，涉及在将车辆倒车或停车时显示集成且直观的倒车摄像头视图以辅助驾驶员的车辆成像***和方法。
车辆当前配备有多种传感器和摄像头，并且使用该设备来提供停车解决方案，这些停车解决方案中的一些基于孤立摄像头视图或全貌摄像头视图。对于仅提供孤立摄像头视图（例如，仅后方、侧方、鱼眼视角等）的那些停车解决方案，提供给驾驶员的可见视野可能地小于集成视图，在集成视图中，多个摄像头视角在单个显示器上被集成或以其他方式联结在一起。至于全貌摄像头视图，诸如将多个摄像头视角集成到单个碗状视图或360°视图中的那些全貌摄像头视图，会存在关于此类停车解决方案的可用性的问题，因为它们时常不是直观的，或者它们显示部分地被车辆本身遮挡或挡住的图像。
因此，可期望提供一种成像***和/或方法作为车辆停车解决方案的一部分，该成像***和/或方法显示易于使用的集成且直观的倒车摄像头视图，诸如第一人称复合摄像头视图。
发明内容
根据一个方面，提供了一种与车辆成像***一起使用的车辆成像方法，该车辆成像方法包括以下步骤：从多个车辆摄像头获得图像数据；基于来自所述多个车辆摄像头的图像数据生成第一人称复合摄像头视图，该第一人称复合摄像头视图通过组合来自所述多个车辆摄像头的图像数据并从位于车辆内的观察者的视点呈现组合后的图像数据而形成；以及在车辆显示器上显示第一人称复合摄像头视图。
根据各种实施例，车辆成像方法还可包含以下特征中的任一个或这些特征中的一些或全部的任何技术上可行的组合：
- 生成步骤还包括：生成第一人称复合摄像头视图，该第一人称复合摄像头视图包含与复合图像数据组合的增强图形；
- 增强图形包含车辆的各部分的计算机生成的代表物，如果位于车辆内的观察者沿特定方向从车辆向外看，则所述计算机生成的代表物将通常被观察者看到，复合图像数据包含来自所述多个车辆摄像头的组合后的图像数据，并且增强图形被叠加在复合图像数据上；
- 车辆的各部分的计算机生成的代表物与第一人称复合摄像头视图内的特定对象或位置电子地相关联，使得当观察者的视角的特定方向改变时，增强图形也改变，使得它们呈现为与变化的复合图像数据一起自然地移动；
- 当第一人称复合摄像头视图是后向视图时，增强图形包含车辆行李箱盖的一部分、车辆后窗框架的一部分或两者的计算机生成的代表物；
- 生成步骤还包括：从位于车辆内的观察者的基本上静止的视点呈现组合后的图像数据，即使当第一人称摄像头视图的方向改变时，该基本上静止的视点也仍位于车辆内；
- 生成步骤还包括：生成第一人称复合摄像头视图，使得用户具有围绕车辆360°的视图。
- 生成步骤还包括：响应于摄像头视图控制输入，生成第一人称复合摄像头视图；
- 生成步骤还包括：构建投影流形，在该投影流形上可以显示第一人称复合摄像头视图，并且该投影流形是由摄像头平面、摄像头椭圆和位于车辆内的观察者的视点至少部分地限定的虚拟对象；
- 摄像头平面是对应于所述多个车辆摄像头的位置的虚拟平面，并且对于所述多个车辆摄像头中的每一个，摄像头平面要么穿过车辆摄像头的实际位置，要么穿过车辆摄像头的有效位置；
- 摄像头椭圆是对应于所述多个车辆摄像头的位置并与摄像头平面共面的虚拟椭圆，并且对于所述多个车辆摄像头中的每一个，摄像头椭圆要么穿过车辆摄像头的实际位置，要么穿过车辆摄像头的有效位置；
- 观察者的视点的位置在摄像头平面上并且在摄像头椭圆内；
- 观察者的视点的位置对应于多条投影线的相交部，并且所述多条投影线中的每一条垂直于在车辆摄像头的实际位置或车辆摄像头的有效位置处与摄像头椭圆的周界相切的线；
- 观察者的视点的位置在摄像头平面的上方或下方，在摄像头椭圆内，并且对应于伪圆锥表面的顶点，该伪圆锥表面沿着平坦基底包含摄像头椭圆；
- 生成步骤还包括：将来自所述多个车辆摄像头的图像数据变换到投影流形的对应的参考系；
- 生成步骤还包括：沿着摄像头椭圆的局部切线来纠正变换后的图像数据；
- 生成步骤还包括：将变换-纠正后的图像数据拼接在一起以形成复合摄像头视图；
- 显示步骤还包括：在车辆显示器的第一部分上显示第一人称复合摄像头视图，以及在车辆显示器的第二部分上显示方向指示器，该方向指示器使得用户能够人工地触碰（engage）或控制第一人称复合摄像头视图的某些方面；并且
- 方向指示器被叠加在虚拟车辆上并显示在触摸屏上，该触摸屏是车辆显示屏的第二部分的一部分，方向指示器电子地链接到第一人称复合摄像头视图，使得当用户经由触摸屏人工地触碰方向指示器时，第一人称复合摄像头视图的方向相应地改变。
根据另一个方面，提供了一种车辆成像***，其包括：多个车辆摄像头，其提供图像数据；车辆视频处理模块，其联接到所述多个车辆摄像头，其中，该车辆视频处理模块被构造成基于来自所述多个车辆摄像头的图像数据生成第一人称复合摄像头视图，该第一人称复合摄像头视图通过组合来自所述多个车辆摄像头的图像数据并从位于车辆内的观察者的视点呈现组合后的图像数据而形成；以及车辆显示器，其联接到车辆视频处理模块以用于显示第一人称复合摄像头视图。
本发明具体公开了如下技术方案。
技术方案1. 一种与车辆成像***一起使用的车辆成像方法，所述车辆成像方法包括以下步骤：
从多个车辆摄像头获得图像数据；
基于来自所述多个车辆摄像头的所述图像数据生成第一人称复合摄像头视图，所述第一人称复合摄像头视图通过组合来自所述多个车辆摄像头的所述图像数据并从位于所述车辆内的观察者的视点呈现所述组合后的图像数据而形成；以及
在车辆显示器上显示所述第一人称复合摄像头视图。
技术方案2. 根据技术方案1所述的车辆成像方法，其中，所述生成步骤还包括：生成所述第一人称复合摄像头视图，所述第一人称复合摄像头视图包含与复合图像数据组合的增强图形。
技术方案3. 根据技术方案2所述的车辆成像方法，其中，所述增强图形包含所述车辆的各部分的计算机生成的代表物，如果位于所述车辆内的所述观察者沿特定方向从所述车辆向外看，则所述计算机生成的代表物将通常被所述观察者看到，所述复合图像数据包含来自所述多个车辆摄像头的所述组合后的图像数据，并且所述增强图形被叠加在所述复合图像数据上。
技术方案4. 根据技术方案3所述的车辆成像方法，其中，所述车辆的各部分的所述计算机生成的代表物与所述第一人称复合摄像头视图内的特定对象或位置电子地相关联，使得当所述观察者的视角的特定方向改变时，所述增强图形也改变，使得它们呈现为与变化的复合图像数据一起自然地移动。
技术方案5. 根据技术方案3所述的车辆成像方法，其中，当所述第一人称复合摄像头视图是后向视图时，所述增强图形包含车辆行李箱盖的一部分、车辆后窗框架的一部分或两者的计算机生成的代表物。
技术方案6. 根据技术方案1所述的车辆成像方法，其中，所述生成步骤还包括：从位于所述车辆内的所述观察者的基本上静止的视点呈现所述组合后的图像数据，即使当所述第一人称摄像头视图的方向改变时，所述基本上静止的视点也仍位于所述车辆内。
技术方案7. 根据技术方案1所述的车辆成像方法，其中，所述生成步骤还包括：生成所述第一人称复合摄像头视图，使得用户具有围绕所述车辆的360°视图。
技术方案8. 根据技术方案1所述的车辆成像方法，其中，所述生成步骤还包括：响应于摄像头视图控制输入，生成所述第一人称复合摄像头视图。
技术方案9. 根据技术方案1所述的车辆成像方法，其中，所述生成步骤还包括：构建投影流形，在所述投影流形上能够显示所述第一人称复合摄像头视图，并且所述投影流形是由摄像头平面、摄像头椭圆和位于所述车辆内的观察者的视点至少部分地限定的虚拟对象。
技术方案10. 根据技术方案9所述的车辆成像方法，其中，所述摄像头平面是对应于所述多个车辆摄像头的位置的虚拟平面，并且对于所述多个车辆摄像头中的每一个，所述摄像头平面要么穿过所述车辆摄像头的实际位置，要么穿过所述车辆摄像头的有效位置。
技术方案11. 根据技术方案9所述的车辆成像方法，其中，所述摄像头椭圆是对应于所述多个车辆摄像头的位置并与所述摄像头平面共面的虚拟椭圆，并且对于所述多个车辆摄像头中的每一个，所述摄像头椭圆要么穿过所述车辆摄像头的实际位置，要么穿过所述车辆摄像头的有效位置。
技术方案12. 根据技术方案9所述的车辆成像方法，其中，所述观察者的视点的位置在所述摄像头平面上并且在所述摄像头椭圆内。
技术方案13. 根据技术方案12所述的车辆成像方法，其中，所述观察者的视点的位置对应于多条投影线的相交部，并且所述多条投影线中的每一条垂直于在所述车辆摄像头的实际位置或所述车辆摄像头的有效位置处与所述摄像头椭圆的周界相切的线。
技术方案14. 根据技术方案9所述的车辆成像方法，其中，所述观察者的视点的位置在所述摄像头平面的上方或下方，在所述摄像头椭圆内，并且对应于伪圆锥表面的顶点，所述伪圆锥表面沿着平坦基底包含所述摄像头椭圆。
技术方案15. 根据技术方案9所述的车辆成像方法，其中，所述生成步骤还包括：将来自所述多个车辆摄像头的图像数据变换到所述投影流形的对应的参考系。
技术方案16. 根据技术方案15所述的车辆成像方法，其中，所述生成步骤还包括：沿着所述摄像头椭圆的局部切线来纠正变换后的图像数据。
技术方案17. 根据技术方案16所述的车辆成像方法，其中，所述生成步骤还包括：将变换-纠正后的图像数据拼接在一起以形成所述复合摄像头视图。
技术方案18. 根据技术方案1所述的车辆成像方法，其中，所述显示步骤还包括：在所述车辆显示器的第一部分上显示所述第一人称复合摄像头视图，以及在所述车辆显示器的第二部分上显示方向指示器，所述方向指示器使得用户能够人工地触碰或控制所述第一人称复合摄像头视图的某些方面。
技术方案19. 根据技术方案18所述的车辆成像方法，其中，所述方向指示器被叠加在虚拟车辆上并显示在触摸屏上，所述触摸屏是所述车辆显示屏的第二部分的一部分，所述方向指示器电子地链接到所述第一人称复合摄像头视图，使得当所述用户经由所述触摸屏人工地触碰所述方向指示器时，所述第一人称复合摄像头视图的方向相应地改变。
技术方案20. 一种车辆成像***，其包括：
多个车辆摄像头，其提供图像数据；
车辆视频处理模块，其联接到所述多个车辆摄像头，其中，所述车辆视频处理模块被构造成基于来自所述多个车辆摄像头的所述图像数据生成第一人称复合摄像头视图，所述第一人称复合摄像头视图通过组合来自所述多个车辆摄像头的所述图像数据并从位于所述车辆内的观察者的视点呈现所述组合后的图像数据而形成；以及
车辆显示器，其联接到所述车辆视频处理模块以用于显示所述第一人称复合摄像头视图。
附图说明
下文中将结合附图来描述本公开的一个或多个实施例，其中，相似的标号表示相似的元件，并且其中：
图1是描绘车辆的框图，该车辆具有帮助提供车辆停车解决方案的车辆成像***的实施例；
图2是图1的车辆与多个摄像头的安装位置一起的透视图；
图3是图1的车辆与所述多个摄像头的安装位置一起的顶视图或平面图；
图4描绘了车辆显示器，该车辆显示器示出了集成且直观的倒车摄像头视图（即，第一人称复合摄像头视图）的实施例；
图5A图示了已知的全貌摄像头视图，即，从其中观察者（P）位于车辆前方并且朝车辆后方看的视角所取的碗状视图或第三人称摄像头视图；
图5B图示了图5A的全貌摄像头视图，除观察者（P）位于车辆后方并且朝车辆前方看之外；
图6A图示了从其中观察者（P）位于车辆内部并且朝车辆后方看的视角所取的第一人称复合摄像头视图的实施例；
图6B图示了图6A的第一人称复合摄像头视图，除观察者位于车辆内部并且朝车辆前方看之外；
图7是描绘用于显示集成且直观的倒车摄像头视图的车辆成像方法的实施例的流程图；
图8是描绘第一人称复合摄像头视图生成过程的实施例的流程图，该第一人称复合摄像头视图生成过程可以作为图7的方法的一部分来实施；以及
图9是摄像头椭圆的透视图，该摄像头椭圆驻留在摄像头平面中并且图示了图8的第一人称复合摄像头视图生成过程的技术特征。
具体实施方式
本文中所描述的车辆成像***和方法向驾驶员提供易于使用的车辆停车解决方案，该车辆停车解决方案显示集成且直观的倒车摄像头视图，诸如第一人称复合摄像头视图。第一人称复合摄像头视图可包含来自围绕车辆安装的多个摄像头的图像数据，这些图像数据被混合（blend）、组合和/或以其他方式联结在一起（因此涉及摄像头视图的“集成”或“复合”方面）。第一人称复合摄像头视图的视点或参考系是位于车辆内的观察者而不是位于车辆外部的观察者的视点或参考系，并且被设计成模仿驾驶员的视点（因此涉及摄像头视图的“直观”或“第一人称”方面）。一些常规的车辆成像***仅将来自单个摄像头的图像数据用作停车解决方案的一部分，并且在此被称为孤立摄像头视图。然而，其他常规的车辆成像***联结来自多个摄像头的图像数据，但是将这些图像显示为来自位于车辆外部的观察者的视点的第三人称摄像头视图；这些视图在此被称为全貌摄像头视图。在一些全貌摄像头视图中（其中位于车辆外部的观察者透过车辆朝预期的目标区域看），车辆本身会不期望地阻挡或挡住目标区域的各部分。因此，通过提供利用第一人称复合摄像头视图的车辆停车解决方案，本文中所描述的车辆成像***和方法可以向驾驶员示出包围车辆的区域的广角视图，但是仍然是从驾驶员将自然地理解的不受阻挡和直观的视角来向驾驶员示出的。
在一个实施例中，第一人称复合摄像头视图包含叠盖（overlaid）或以其他方式添加到复合图像数据的增强图形。增强图形可以包含车辆的各部分的计算机生成的模拟，所述计算机生成的模拟被设计成向驾驶员提供有关正显示的视图的视点或参考系的直观信息。作为示例，当车辆是乘用车并且第一人称复合摄像头视图表示位于车辆后方的目标区域时，增强图形可以模拟后窗或车辆行李箱盖的一部分，使得其看起来就像驾驶员实际上正从后窗向外看。在其中第一人称复合摄像头视图表示在车辆侧方的目标区域的不同示例中，增强图形可模拟乘用车A柱或B柱的一部分，使得图像看起来就像驾驶员实际上正从侧窗向外看。在前述示例中，增强图形可随目标区域的改变而改变，以便模仿正摇摄的摄像头。在另一个实施例中，车辆停车解决方案设置有方向指示器，该方向指示器允许用户触碰触摸屏显示器并且人工地改变第一人称复合摄像头视图的方向或其他方面。这使得驾驶员能够利用车辆成像***直观地探索车辆周围环境。当然，其他特征、实施例、示例等是可能的。
参考图1，示出了具有车辆成像***12的非限制性示例的车辆10。车辆成像***12可向驾驶员提供第一人称复合摄像头视图，并且具有包含以下各者的车辆电子设备20：车辆视频处理模块22、多个车辆摄像头42、多个车辆传感器44至48、车辆显示器50和多个车辆用户接口52。车辆成像***12可包含其他部件、装置、单元、模块和/或其他部分，因为示例性***12只是一个示例。技术人员将了解，图1中的示意性框图仅意在图示与本方法一起使用的更相关的硬件部件中的一些，且并不意在为将通常在此类车辆上发现的车辆硬件的精确或详尽的表示。此外，车辆成像***12的结构或架构可与图1中所图示的结构或架构基本上不同。因此，由于存在无数的潜在布置并且为了简洁和清楚起见，结合图1的所图示的实施例来描述车辆电子设备20，但是应了解，本***和方法不限于此。
在所图示的实施例中，车辆10被描绘为乘用车，但是应了解，也可以使用任何其他车辆，包含摩托车、卡车、运动型多用途车（SUV）、跨界车、休闲车（RV）、拖拉机挂车、以及甚至船和其他水上或海上运输工具等。在图1中总体上示出了车辆电子设备20的各部分，并且所述各部分包含车辆视频处理模块22、所述多个车辆摄像头42、所述多个车辆传感器44至48、车辆显示器50和车辆用户接口52。可连接车辆电子设备20中的一些或全部以用于经由一个或多个通信总线或网络（诸如，通信总线60）彼此进行有线或无线通信。通信总线60使用一种或多种网络协议向车辆电子设备20提供网络连接，并且可以使用串行数据通信架构。合适的网络连接的示例包含控制器局域网（CAN）、面向媒体的***传输（MOST）、本地互连网络（LIN）、局域网（LAN）和其他适当的连接，诸如以太网或符合已知的ISO、SAE和IEEE标准和规范的其他者，仅举几例。尽管在图1中将车辆电子设备20的大多数部件示为独立的部件，但是应了解，部件22、42、44、46、48、50和/或52可与其他车辆部件集成、组合和/或以其他方式共享（例如，车辆视频处理模块22可以是较大的车辆信息娱乐***或安全***的一部分），并且不限于该附图中的示意性表示。
车辆视频处理模块22是车辆模块或单元，其被设计成：从所述多个车辆摄像头42接收图像数据；处理图像数据；以及将集成且直观的摄像头视图提供给车辆显示器50，使得它可以被驾驶员用作车辆停车解决方案的一部分。根据一个示例，车辆视频处理模块22包含处理器24和存储器26，其中处理器被构造成执行计算机指令，所述计算机指令实施下文所讨论的车辆成像方法的一个或多个步骤。计算机指令可以被体现在存储于存储器26中、车辆电子设备20的其他存储器装置中或其组合中的一个或多个计算机程序或产品中。在一个实施例中，车辆视频处理模块22包含图形处理单元（GPU）、图形加速器和/或图形卡。在其他实施例中，车辆视频处理模块22包含多个处理器，这些处理器包含一个或多个通用处理器或中央处理器、以及一个或多个GPU、一个或多个图形加速器和/或一个或多个图形卡。车辆视频处理模块22可直接地联接（如图所示）或间接地联接（例如，经由通信总线60）到车辆显示器50和/或其他车辆用户接口52。
车辆摄像头42围绕车辆位于不同位置处，并且被构造成向车辆成像***12提供图像数据，所述图像数据可以被用于提供车辆周围环境的第一人称复合摄像头视图。车辆摄像头42中的每一个可以被用于捕获图像、视频和/或与光有关的其他信息——该信息在本文中被称为“图像数据”——并且可以是任何合适的摄像头类型。车辆摄像头42中的每一个可以是电荷耦合装置（CCD）、互补金属氧化物半导体（CMOS）装置和/或某种其他类型的摄像头装置，并且可具有对于其位置和目的合适的镜头。根据一个非限制性示例，车辆摄像头42中的每一个是具有鱼眼镜头的CMOS摄像头，该鱼眼镜头捕获具有广角视野（FOV）（例如，150°至210°）的图像并为图像内的某些对象提供深度和/或范围（range）信息。摄像头42中的每一个可在摄像头本身中包含处理器和/或存储器，或者具有作为较大模块或单元的一部分的这样的硬件。例如，车辆摄像头42中的每一个可包含处理和存储资源，诸如从模拟视频信号或数字视频流捕获各个静止帧的帧捕获器。在不同示例中，代替被包含在各个车辆摄像头42内的是，一个或多个帧捕获器可以是车辆视频处理模块22的一部分（例如，模块22可包含用于每个车辆摄像头42的单独的帧捕获器）。（一个或多个）帧捕获器可以是模拟帧捕获器或数字帧捕获器，并且还可包含其他类型的图像处理能力。可与摄像头42中的一个或多个一起使用的潜在特征的一些示例包含：用于夜视的红外LED；广角或鱼眼镜头；具有或不具有多个摄像头元件的立体摄像头；表面安装、齐平安装或侧方安装摄像头；单个或多个摄像头；被集成到尾灯、刹车灯、牌照区域、侧视镜、前格栅或围绕车辆的其他部件中的摄像头；以及有线或无线摄像头，引用几种可能性。在一个实施例中，由摄像头42提供的深度和/或范围（range）信息被用于生成第一人称复合摄像头视图，如下文将更详细讨论的。
图2和图3图示了具有四个摄像头的车辆成像***，这四个摄像头包含前（或第一）摄像头42a、后（或第二）摄像头42b、左（或第三）摄像头42c和右（或第四）摄像头42d。然而，应了解，车辆成像***12可以包含任何数目的摄像头，包含比在此示出的更多或更少的摄像头。参考图2，前摄像头42a安装在车辆10的前方，并且面向在车辆前方的目标区域；后摄像头42b安装在车辆的后方，并且面向在车辆后方的目标区域；左摄像头42c安装在车辆的左侧，并且面向车辆左侧的目标区域（即，在驾驶员侧）；并且右摄像头42d安装在车辆10的右侧，并且面向车辆右侧的目标区域（即，乘客侧）。应了解，摄像头42可以安装在任何合适的位置、高度、取向等处，并且不限于在此示出的特定布置。例如，前摄像头42a可以安装在前保险杠、格栅或后视镜组件上或后方；后摄像头42b可以安装在后保险杠、车辆行李箱盖或牌照区域上或嵌入其内；并且左摄像头42c和右摄像头42d可以安装在侧视镜组件或侧门上或被集成在其内，引用几种可能性。摄像头在车辆上的位置在本文中被称为“摄像头位置”，并且每个摄像头捕获具有视野的图像数据，该视野在本文中被称为“摄像头视野”。
摄像头42中的每一个与捕获位于车辆10外部的目标区域的摄像头视野相关联。例如，如图2中所示，前摄像头42a捕获目标区域的图像数据，该目标区域在车辆前方并且对应于部分地由方位角α1限定的摄像头视野。作为另一个示例，左摄像头42c捕获车辆左侧的区域的图像数据，该区域对应于部分地由方位角α3限定的摄像头视野。第一摄像头（例如，前摄像头42a）的摄像头视野的一部分可与第二摄像头（例如，左摄像头42c）的摄像头视野的一部分重叠。在一个实施例中，每个摄像头的摄像头视野与另一个相邻摄像头的至少一个摄像头视野重叠。例如，前摄像头42a的摄像头视野可与左摄像头42c和/或右摄像头42d的摄像头视野重叠。然后，可以在第一人称复合摄像头视图生成过程的组合或拼接步骤期间使用这些重叠部分，如下文所讨论的那样。
车辆传感器44至48向车辆成像***12提供各种类型的传感器数据，所述传感器数据可以被用于提供第一人称复合摄像头视图。例如，传感器44可以是变速器传感器，该变速器传感器是变速器控制单元（TCU）、发动机控制单元（ECU）或某个其他车辆装置、单元和/或模块的一部分，或者它可以是独立的传感器。变速器传感器44确定车辆当前处于哪个档位（例如，空档、停车档、倒档、行车档、第一档、第二档等），并且向车辆成像***12提供代表该档位的变速器数据。在一个实施例中，变速器传感器44经由通信总线60将变速器数据发送到车辆视频处理单元22，并且变速器数据牵动或影响向驾驶员示出的特定摄像头视图。例如，如果变速器传感器44发送指示车辆处于倒档的变速器数据，则车辆成像***和方法可显示包含来自后摄像头42b的图像数据的图像。在该示例中，变速器数据用作“自动摄像头视图控制输入”，其是由车辆电子设备20基于一个或多个预定的车辆状态或操作条件自动生成或确定的输入。
方向盘传感器46直接地或间接地联接到车辆10的方向盘（例如，直接地联接到方向盘或转向柱中的某个部件等），并且将方向盘数据提供给车辆成像***和方法。方向盘数据代表方向盘的状态或条件（例如，方向盘数据可表示方向盘角度、一个或多个车辆车轮相对于车辆的纵向轴线的角度、此类角度的变化率或某个其他与转向相关的参数）。在一个示例中，方向盘传感器46经由通信总线60将方向盘数据发送到车辆视频处理模块22，并且方向盘数据用作自动摄像头视图控制输入。
速度传感器48确定车辆的速度、速率和/或加速度，并且将此类信息以速度数据的形式提供给车辆成像***和方法。速度传感器48可以包含普遍在车辆上发现的任何数目的合适传感器或部件中的一个或多个，诸如车轮速度传感器、全球导航卫星***（GNSS）接收器、车辆速度传感器（VSS）（例如，防抱死制动***（ABS）的VSS）等。此外，速度传感器48可以是某个其他车辆装置、单元和/或模块的一部分，或者它可以是独立的传感器。在一个实施例中，速度传感器48经由通信总线60将速度数据发送到车辆视频处理模块22，其中该速度数据是一种类型的自动摄像头视图控制输入。
车辆电子设备20还包含数个车辆用户接口，所述车辆用户接口向乘员提供与车辆成像***和方法交换信息（提供和/或接收信息）的方式。例如，车辆显示器50和车辆用户接口52（它们可以包含按钮、麦克风和音频***的任何组合）是车辆用户接口的示例。如本文中所使用的，术语“车辆用户接口”广泛地包含电子装置的任何合适形式，包含硬件和软件两者，其使得车辆用户能够与车辆交换信息或数据（例如，将信息提供给车辆和/或从车辆接收信息）。
显示器50是车辆用户接口，并且特别地是可以被用于显示各种图像、视频和/或图形（诸如，第一人称复合摄像头视图）的电子视觉显示器。如本领域技术人员所了解的，显示器50可以是液晶显示器（LCD）、等离子体显示器、发光二极管（LED）显示器、有机LED（OLED）显示器或其他合适的电子显示器。显示器50还可以是触摸屏显示器，其能够检测用户的触摸使得显示器用作输入装置和输出装置两者。例如，显示器50可以是电阻式触摸屏、电容式触摸屏、表面声波（SAW）触摸屏、红外触摸屏或本领域技术人员已知的其他合适的触摸屏显示器。显示器50可以安装作为仪表板的一部分、中央显示器的一部分、信息娱乐***的一部分、后视镜组件的一部分、从车顶反射回来的平视显示器的一部分、或者某个其他车辆装置、单元模块等的一部分。根据非限制性示例，显示器50包含触摸屏，是位于驾驶员和前排乘客之间的中央显示器的一部分，并且联接到车辆视频处理模块22，使得它可以从模块22接收显示数据。
参考图4，示出了如下实施例，其中车辆显示器50正被用于显示第一人称复合摄像头视图202。该第一人称复合摄像头视图示出了通过组合来自多个摄像头的图像数据而形成的图像（“集成”或“复合”图像），其中该图像具有位于车辆内部的观察者（“第一人称”）的视点。第一人称复合摄像头视图被设计成模仿或模拟位于车辆内部并且正向外看的人的参考系，并且在一些实施例中向用户提供围绕车辆的360°视图。根据图4中所示的非限制性示例，第一人称复合摄像头视图202被显示在显示器50的第一部分200中，并且包含与复合图像数据206叠盖、叠加和/或以其他方式组合的增强图形204。在一个实施例中，增强图形204向驾驶员提供关于第一人称复合摄像头视图204的参考系的直观信息或设置。增强图形204可包含车辆的各部分的计算机生成的代表物（representation），如果观察者位于车辆中并沿该特定方向向外看，则所述计算机生成的代表物将通常被该观察者看到。例如，增强图形204可包含以下各者的部分：当第一人称复合摄像头视图是前向视图时为车辆发动机罩（见图4）；当第一人称复合摄像头视图是后向视图时为车辆行李箱盖；当第一人称复合摄像头视图是前向视图时为仪表板或A柱；当第一人称复合摄像头视图是侧向视图时为A柱或B柱；等等。
显示器50还包含：第二部分210，其向用户提供方向指示器214；以及其他摄像头视图控制件，其使得用户能够人工地触碰和/或控制第一人称复合摄像头视图202的某些方面。在图4中，第二部分210显示虚拟车辆212和叠加在其上的方向指示器214。可将代表虚拟车辆212的图形保存在车辆电子设备20中的某个适当位置处，并且在一些情况下，这些图形可被设计成类似于实际车辆10。例如，第二部分210的虚拟背景216包围虚拟车辆212，并且可以基于来自摄像头42的实际图像数据进行渲染（render），或者可以是默认背景。在显示器50是触摸屏的那些实施例中，用户可以通过触碰并旋转方向指示器214来控制第一人称复合摄像头视图202的方向。例如，用户可以触摸位于显示器的第二部分210上的方向指示器214，并且沿顺时针或逆时针方向围绕圆圈拖动或摆动其手指，由此改变位于第一部分200上的第一人称复合摄像头视图202中所示的对应摄像头方向。以这种方式，用户能够人工地触碰并接管对显示器的控制，使得第二部分210用作输入装置以从用户接收信息，并且第一部分200用作输出装置以将信息提供给用户。在不同的实施例中，用户可以通过按压在方向指示器214上并将其保持在固定位置中而在特定区域或感兴趣点上进行放大。这可引起相关摄像头沿用户所选择的方向缩放（例如，受制于摄像头能力，按下方向指示器的时间越长，缩放越大）。有可能所选择的观看角度在抬起用户手指的同时仍然有效，并且直到例如用户的附加轻击或按下引起摄像头缩小为止。当然，其他实施例和示例是可能的。
在一些实施例中，显示器50可被划分或分离，使得第一部分200定位在与第二部分210不同的位置处（而不是如图4所示的那样位于同一个显示器的不同侧上）。例如，有可能第二部分210被呈现在车辆10的另一个显示器上，或者有可能第二部分210被完全省略。在其他实施例中，不同类型的方向指示器或输入技术可以被用于控制第一人称复合摄像头视图的方向。例如，显示器可被构造成用于使用户沿着第一部分200和/或第二部分210从左向右滑动其手指，使得第一人称复合摄像头视图的方向相应地也从左向右改变。在又一实施例中，车辆用户接口52（例如，旋钮、控制件、滑块、箭头等）可以被用于控制第一人称复合摄像头视图的方向。从用户提供给车辆成像***12以用于控制第一人称复合摄像头视图的某个方面的输入（例如，由用户经由方向指示器214提供的输入）在本文中被称为“人工摄像头视图控制输入”，并且是一种类型的摄像头视图控制输入。
车辆电子设备20包含其他车辆用户接口52，所述其他车辆用户接口可以包含硬件和/或（一个或多个）软件按钮、控制件、麦克风、音频***、菜单选项的任何组合，举几个例子。按钮或控制件可以允许人工用户输入到车辆成像***12以达到向用户提供控制***的某个方面的能力的目的（例如，人工摄像头视图控制输入）。音频***可以被用于将音频输出提供给用户，并且可以是专用的独立***或主要车辆音频***的一部分。一个或多个麦克风可以被用于将音频输入提供给车辆成像***12以达到使得驾驶员或其他乘员能够提供语音命令的目的。为此，它可以利用本领域中已知的人机接口（HMI）技术连接到车载自动化语音处理单元，并因此充当人工摄像头视图控制输入。尽管显示器50和其他车辆用户接口52被描绘为直接连接到车辆视频处理模块22，但是在其他实施例中，这些项目间接地连接到模块22、车辆电子设备20中的其他装置、单元、模块等的一部分，或者根据其他布置7提供。
根据各种实施例，本文中所讨论的处理器中的任何一个或多个（例如，处理器24、视频处理模块22或车辆电子设备20的另一个处理器）可以是能够处理电子指令的任何类型的装置，包含微处理器、微控制器、主机处理器、控制器、车辆通信处理器、通用处理单元、加速器、现场可编程门控阵列（FPGA）和专用集成电路（ASIC），引用几种可能性。处理器可以执行各种类型的电子指令（诸如，存储于存储器中的软件和/或固件程序），这些电子指令使得模块能够实施各种功能性。根据各种实施例，本文中所中讨论的存储器中的任何一个或多个（例如，存储器26）可以是非暂时性计算机可读介质；这些包含不同类型的随机存取存储器（RAM）（包含各种类型的动态RAM（DRAM）和静态RAM（SRAM））、只读存储器（ROM）、固态驱动器（SSD）（包含其他固态存储装置，诸如固态混合驱动器（SSHD））、硬盘驱动器（HDD）、磁盘驱动器或光盘驱动器、或电子地存储信息的其他合适的计算机介质。此外，尽管可将车辆电子设备20的某些装置或部件描述为包含处理器和/或存储器，但是此类装置或部件的处理器和/或存储器可与其他装置或部件共享，和/或收容在车辆电子设备20的其他装置或部件中（或者是车辆电子设备20的其他装置或部件的一部分）。例如，这些处理器或存储器中的任一个可以是仅用于特定模块的专用处理器或存储器，或者可以与其他车辆***、模块、装置、部件等共享。
参考图5A和图5B，图示了全貌或第三人称摄像头视图300、310（也被称为碗状视图），其中视点P位于车辆10外部。在这些示例中，第三人称摄像头视图300、310的焦点F（即，摄像头视野的中心）保持朝向车辆10。视点P对应于观察者从其获取第三人称摄像头视图的位置。图5A描绘了从其中观察者（或视点P）位于车辆前方且焦点F向后朝向车辆的位置所获取的后向第三人称摄像头视图300。当车辆以倒档操作时，一些常规的停车解决方案使用了这种后向第三人称摄像头视图。然而，车辆本身在第三人称摄像头视图内的存在阻挡了在车辆10正后方的一些区域。图5B描绘了从其中观察者（或视点P）位于车辆后方且焦点F向前朝向车辆的位置所获取的前向第三人称摄像头视图310。前向第三人称摄像头视图310包含车辆10，该车辆阻挡了观看车辆正前方的区域。在一些情况下，图5A和图5B的第三人称摄像头视图或全貌摄像头视图被称为“碗状视图”。虚线圆圈图示了随着当视图围绕车辆旋转时视点的改变，第三人称摄像头的视点P的潜在位置。
参考图6A和图6B，图示了第一人称摄像头视图400、410，其中视点P总体上是静止的并且位于车辆10内。根据所图示的实施例，例如，当第一人称摄像头视图的方向改变时，视点P的位置总体上不移动——即，例如，对于后向第一人称摄像头视图400（图6A）和前向第一人称摄像头视图410（图6B）两者来说，视点P的位置基本上相同。应了解，在一些实施例中，当第一人称摄像头视图的方向改变时，该摄像头视图的视点P的位置可略微移动；然而，视点P的位置保持在车辆内（这就是所谓的“总体上”或“基本上”静止）。
在一个实施例中，车辆成像***12可以被用于生成和显示第一人称复合摄像头视图。如上文所讨论的，图4图示了一个潜在的第一人称复合摄像头视图202，其对应于图6B的前向第一人称摄像头视图410。在至少一些实施例中，可以基于来自多个摄像头42的图像数据来生成第一人称复合摄像头视图，所述多个摄像头具有基本上位于车辆外部的区域的视野。如下文将更详细解释的，来自多个摄像头的图像数据可以进行组合（例如，拼接在一起）以形成单个第一人称复合摄像头视图。并且，通过图像处理技术，可以将图像数据进行变换和组合，使得第一人称复合摄像头视图模仿或模拟位于车辆内的观察者的视图。由于摄像头可安装在车辆的外部上或靠近车辆的外部安装，因此从摄像头捕获的图像数据可能不包含车辆本身的任何部分。然而，增强图形可以叠盖或以其他方式添加到第一人称复合摄像头视图，使得向车辆用户提供有关第一人称复合摄像头视图正模拟的参考系或视点方向和位置的直观信息。例如，当第一人称复合摄像头视图是前向视图时（如图4、图6B中），发动机罩、前挡风玻璃框架等的一部分的增强图形可以叠盖在第一人称复合摄像头视图的底部处，以便模仿或模拟用户从前窗向外看的实际视图。然而，可省略车辆的将很可能在第一人称复合摄像头视图的视点处对观察者可见的其他部分，以便不会阻挡对车辆外部的区域的观看。
参考图7，示出了图示用于显示第一人称复合摄像头视图的车辆成像方法500的实施例的流程图。在至少一些实施例中，由车辆成像***12实施方法500，该车辆成像***可以包含视频处理模块22、所述多个摄像头42和显示器50。如上文所提到的，车辆成像***12可以包含车辆电子设备20的其他部件或部分，诸如变速器传感器44、方向盘传感器46和速度传感器48。尽管将方法500的步骤描述为以特定顺序实施，但是所构想的到的是，如由本领域技术人员将了解的，可以以任何合适的或技术上可行的顺序实施方法500的步骤。
以步骤510开始，该方法接收指示或信号以起始第一人称复合摄像头视图。可基于车辆的操作自动地接收该指示，或者可经由某种类型的车辆用户接口由用户人工地接收该指示。例如，当车辆置于倒档时，变速器传感器44可自动地将变速器数据发送到车辆视频处理模块22，该变速器数据引起车辆视频处理模块22起始第一人称复合摄像头视图，使得可以向驾驶员显示该第一人称复合摄像头视图。在不同示例中，用户可人工地按下显示器50的触摸屏部分，人工地触碰车辆用户接口52（例如，“示出摄像头视图”按钮），或者人工地说出由麦克风52拾取的命令，使得该方法起始显示第一人称复合摄像头视图的过程，以响应（cite）若干可能性。一旦该步骤完成，方法就可继续进行。
在步骤520中，该方法生成和/或更新第一人称复合摄像头视图。可根据从多个车辆摄像头42聚集的图像数据以及所述摄像头中的每一个的对应摄像头位置和取向数据生成第一人称复合摄像头视图。摄像头的位置和取向数据向该方法提供了关于摄像头的安装位置、对准、取向等的信息，使得可以将由摄像头中的每一个捕获的图像数据以复合图像数据的形式恰当且准确地组合（例如，拼接在一起）。在一个实施例中，使用下文所讨论的图8的过程生成第一人称复合摄像头视图，但是可代替使用其他过程。
在一些情况下，诸如当该方法刚刚在步骤510中起始时，可能需要从头开始生成第一人称复合摄像头视图。在其他情况下，诸如当该方法已在运行并且已经生成第一人称复合摄像头视图时，步骤520可能需要刷新或更新该视图的图像；当方法从步骤550循环回到步骤520时，这在图7中被图示。在此类情况下，生成更新的第一人称复合摄像头视图，这可以包含实施图8的第一人称复合摄像头视图生成过程以获得新图像数据或新摄像头方向。然后，该方法可继续到步骤530。
在步骤530中，该方法将增强图形添加到第一人称复合摄像头视图。如上文所描述的，增强图形可以包含或描绘车辆的各种部分，以便向用户提供有关第一人称复合摄像头视图的视点、方向或某个其他方面的直观信息。可以将有关这些增强图形的信息存储于存储器（例如，存储器26）中，且然后调用并使用该信息以生成图形并将其叠盖到第一人称复合摄像头视图上。在一个实施例中，增强图形与第一人称复合摄像头视图内的特定对象或位置电子地相关联或固定到第一人称复合摄像头视图内的特定对象或位置，使得当第一人称复合摄像头视图的方向改变时，增强图形也改变，从而使得它们呈现为与变化的图像一起自然地移动。步骤530是可选的，因为有可能提供第一人称复合摄像头视图而无增强图形。方法500继续到步骤540。
参考步骤540，该方法在车辆处显示或以其他方式呈现第一人称复合摄像头视图。根据一种可能性，第一人称复合摄像头视图总体上在显示器50上被示为实况视频或视频馈送，并且基于实时地或几乎实时地从所述多个摄像头42聚集的同期图像数据。例如，持续地从摄像头42聚集新的图像数据，并且将该图像数据用于更新第一人称复合摄像头视图，使得它描绘在车辆倒档时的实况条件。技术人员将了解，存在用于聚集、混合、拼接或以其他方式联结来自摄像头的图像数据的众多方法和技术，并且在此可使用其中任一种方法和技术。然后，方法500继续到步骤550。
在步骤550中，该方法确定用户是否已起始某种类型的人工超控（override）。为了图示，考虑以下示例：用户最初将车辆置于倒车，由此在步骤510中起始第一人称复合摄像头视图，使得来自方向盘传感器46的自动摄像头视图控制输入指示摄像头视图的方向（例如，当用户将车辆倒车并转动方向盘时，车辆显示屏50中所示的第一人称复合摄像头视图的方向相应地改变）。如果在该过程期间用户触碰触摸屏并使用他或她的手指来旋转方向指示器214，则来自触摸屏的输出构成了人工摄像头视图控制输入并通知***用户希望人工地超控摄像头视图的方向。以这种方式，在用户希望探索围绕车辆的区域的情况下，步骤550向用户提供了超控第一人称复合摄像头视图的自动地确定的方向的选项。当然，可以以任何数量的不同方式来实施人工地超控或中断软件以适应用户的实际方法，并且该实际方法并不限于图7中所示的示意性说明。如果步骤550从显示器50接收到人工摄像头视图控制输入（即，由用户起始的人工超控信号），则该方法循环回到步骤520，使得可以根据由方向指示器214或某个其他用户输入指示的方向来生成新的第一人称复合摄像头视图。技术人员将了解，可能需要视图之间的平滑反转以最小化对用户的不适，其中方向可基于由用户输入形成的或与用户输入相反的方向形成的较小角度。如果步骤550没有检测到用户人工地超控摄像头视图的任何尝试，则该方法继续。
步骤560确定该方法是否应继续显示第一人称复合摄像头视图或者该方法是否应结束。一种确定此的方式是通过使用摄像头视图控制输入。例如，如果该方法继续接收到摄像头视图控制输入（因此，指示该方法应继续显示第一人称复合摄像头视图），则该方法可循环回到步骤520，使得可以继续生成和/或更新图像。如果该方法没有接收到任何新的摄像头视图控制输入或指示用户希望继续观察第一人称复合摄像头视图的任何其他信息，则该方法可结束。如上文所指示的，存在两种类型的摄像头视图控制输入：自动摄像头视图控制输入和人工摄像头视图控制输入。自动摄像头视图控制输入是由车辆电子设备20基于预定的车辆状态或操作条件自动生成或发送的输入。例如，如果来自变速器传感器44的变速器数据指示车辆不再处于倒档，而是作为替代处于停车档、空挡、行车档等，则步骤550可判定不再需要第一人称复合摄像头视图，因为它总体上被用作停车解决方案。在不同示例中，如果用户触碰示出方向指示器214的触摸屏并人工地旋转或操纵该控制件（人工摄像头视图控制输入的示例），则步骤550可将这解释为意指：即使车辆处于停车档，用户也希望继续观看第一人称复合摄像头视图，使得该方法循环回到步骤520（虽然在大多数实施例中，遵循用户输入的换档位将通常取代用户输入，不过这不是要求的）。在又一示例中，通过选择“结束摄像头视图”选项（通过触碰显示器50上的对应按钮，或者简单地通过向HMI口头陈述此类命令），用户可具体地指示车辆停止显示第一人称复合摄像头视图。该方法可以以这种方式继续，直到接收到停止显示第一人称复合摄像头视图的指示（或者缺少接收到摄像头视图控制输入）为止，此时该方法可结束。
参考图8，示出了第一人称复合摄像头视图生成过程的非限制性实施例。该过程可以作为图7中的步骤520、作为步骤520的一部分或根据某种其他布置来实施，并且表示生成、更新和/或以其他方式提供第一人称复合摄像头视图的一种可能的方式。尽管将过程的步骤描述为以特定顺序实施，但是所构想的到的是，可以以任何合适的或技术上可行的顺序来实施该过程的步骤，并且该过程可包含如在此所示的步骤的不同组合。结合图3和图9来描述以下过程，并且假设存在四个向外看的摄像头（诸如，摄像头42a-d），不过当然可能是其他摄像头构型。
作为过程520中的第一潜在步骤，该方法在数学上构建了投影流形100，可以在该投影流形上投影或呈现第一人称复合摄像头视图，即步骤610。如图9中所图示的，投影流形100是虚拟对象，其具有椭圆形或卵形的圆筒形式并且至少部分地由摄像头平面102、摄像头椭圆104和视点P限定。摄像头平面102是穿过所述多个摄像头位置的平面。在一些情况下，也许不可能将所述多个摄像头42a-d全部拟合到单个平面，并且在此类情况下，可以使用最佳效果的拟合方法。在此类实施例中，最佳效果的拟合方法可能有利于允许竖直误差而不允许水平误差，以减少例如可能的水平运动视差。
一旦摄像头平面102已被限定，驻留在摄像头平面102上的摄像头椭圆104（即，摄像头椭圆和摄像头平面是共面的）就被限定并且具有对应于所述多个摄像头42a-d的位置的边界，如图9中所图示的。再次，也许不可能将摄像头椭圆104确切地拟合在摄像头平面102上，使得它精确地延伸穿过实际摄像头位置中的每一个，且在此类情况下，可以使用最佳效果的拟合方法来选择最接近实际摄像头位置的位置。这样做时，为所述多个摄像头42a-d中的每一个选择有效摄像头位置42a'-d'，其中所述有效摄像头位置沿着摄像头椭圆104的周长驻留，如图3和图9中所示的那样。
可限定或选择第一人称复合摄像头视图的视点P，使得它在摄像头平面102上并且在摄像头椭圆104内（见图9）。在一个实施例中，第一人称复合摄像头视图的视点P位于投影线110a-d的相交部处，其中每条投影线垂直于在某个有效摄像头位置处与摄像头椭圆的周长相切的线（见图3）。换句话说，如果要在有效摄像头位置42a'-d'中的每一个处画出一条投影线110a-d（其中每条投影线垂直于或正交于在该位置处与椭圆周长相切的线），则各种投影线110a-d将在视点位置P处相交，如图3中所示的那样。在该实施例中，投影流形100具有垂直于或正交于摄像头平面102的弯曲表面，投影流形100与摄像头椭圆104局部相切，并且视点P与摄像头椭圆104位于同一摄像头平面102上。
在其他实施例中，第一人称复合摄像头视图的视点P可被选择为在摄像头平面102上方或下方，例如，以适应较高或较矮的用户（可根据用户眼睛的预期高度从摄像头平面102向上或向下调节视点，以便更好地仿效驾驶员将实际看到的东西）。在此类示例中，伪圆锥表面被定义（未示出）为包含在其顶点或顶头（vertex）处的视点P以及沿着其平坦基底的摄像头椭圆104。投影流形可被构建成使得它包含摄像头椭圆104，并且在沿着摄像头椭圆104的周界的每个点处，投影流形局部地垂直于所形成的伪圆锥表面。在该示例中，投影流形局部地垂直于局部切平面，该局部切平面相切地对应于上文所讨论的伪圆锥表面的平面。
一旦已确定视点位置，就可将它存储于存储器26中或别处以供后续检索和使用。例如，在最初完成步骤610之后，可以将摄像头平面、摄像头椭圆和/或视点位置信息存储于存储器中，并且随后在下一次执行过程520时进行检索，使得可以保留处理资源。
在步骤620中，该过程估计用于将图像变换为投影参考系（FOR）的旋转矩阵。对于每个摄像头位置（或有效摄像头位置42a’-d’），可限定局部标准正交基（localorthonormal basis）112，如图9中所示。由于每个车辆摄像头42a-d相对于车辆参考系的取向是已知的（例如，此类信息可以存储于摄像头位置和取向数据中），因此可以将原始参考系和投影参考系之间的旋转矩阵R cp 估计为： ，其中R p 是投影参考系，并且被计算为方向余弦矩阵（DCM），并且其中R c 是原始参考系。
接下来，步骤630从车辆摄像头中的每一个获得图像数据。可以以任何数量的不同方式来实施对从各种车辆摄像头42a-d获得或检索图像数据的处理。在一个示例中，摄像头42中的每一个使用其帧捕获器来提取图像数据帧，然后可以经由通信总线60将所述图像数据帧发送到车辆视频处理模块22，不过可由其他装置在该过程中的其他点以其他方式聚集图像数据。在一些实施例中，可以获得或确定第一人称复合摄像头视图的视点的方向，并且基于该方向，仅某些摄像头可捕获图像数据和/或将图像数据发送到视频处理模块。例如，当第一人称复合摄像头视图的视点的方向是向后时，第一人称复合摄像头视图可能不需要来自前摄像头42a的任何图像数据，且因此，该摄像头42a此时可放弃捕获图像数据。或者，在另一个实施例中，图像数据可由该摄像头42a捕获，但是不发送到视频处理模块22（或者否则在第一人称复合摄像头视图生成过程的当前迭代中不使用）。
一旦从车辆摄像头获得图像数据，步骤640就将图像数据变换到投影流形的对应的参考系。换句话说，既然已在数学上构建了投影流形（步骤610）并且已考虑车辆摄像头中的每一个的单独取向（步骤620），该过程就可将来自车辆摄像头42a-d中的每一个的图像从其初始状态变换或以其他方式修改到它们投影在投影流形上的状态（步骤640）。例如，对于针孔摄像头的变换具有如下的旋转单应性的形式：
其中K是本征校准矩阵，u是初始水平图像（像素）坐标，v是初始竖直图像（像素）坐标，u p 是变换后的水平图像（像素）坐标，v p 是变换后的竖直图像（像素）坐标，并且H cp 是实际的旋转单应性矩阵（Rotation Homography matrix）。如本领域技术人员将了解的，对于不同类型的摄像头（例如，鱼眼摄像头），变换可以是不同的。
然后，步骤650沿着摄像头椭圆的局部切线纠正每个变换后的图像。例如，对于针孔摄像头，可以通过使变换后的图像不失真而沿着摄像头椭圆104的局部切线来纠正变换后的图像（这就是为什么所投影的图像时常看起来不失真或朝向图像的水平中心具有最小失真的原因）。对于鱼眼摄像头，该过程可通过将变换后的图像投影到投影流形100的椭圆形或卵形的圆筒表面上来纠正变换后的图像。以这种方式，沿从视点P看的方向来纠正变换后的图像数据。
然后，一旦已对图像数据进行变换和纠正，就可将来自不同车辆摄像头的所得变换-纠正后的图像数据拼接在一起或以其他方式进行组合以形成复合图像（步骤660）。示例性组合/拼接过程可以包含重叠区域估计技术和混合技术。对于重叠估计技术，基于摄像头的已知位置和取向来估计或识别变换-纠正后的图像数据的重叠区域，所述已知位置和取向可以被存储作为摄像头位置和取向数据的一部分。对于混合技术，重叠区域之间的直接α混合可产生出“重影”（至少在一些情况下），且因此，可期望使用上下文相关的拼接或组合技术，诸如块匹配与后续的局部变形（local warping）技术或多视角平面扫描技术。
在一些实施例中，可以获得关于摄像头视野中的一个或多个内的对象的深度或范围信息，诸如通过使用摄像头或车辆的其他传感器（例如，雷达、激光雷达）。在获得深度或范围信息的一个实施例中，在执行对应的图像变形以补偿视角变化之后，可以将图像数据可虚拟地平移到第一人称复合摄像头视图的视点P。然后，可以实施变换步骤，其中通过变换（例如，旋转单应性）使来自摄像头中的每一个的虚拟地平移后的图像数据相关，且然后实施组合步骤以形成第一人称复合摄像头视图。在此类实施例中，运动视差相对于组合步骤的影响可被减小或者是可忽略的。
将理解的是，前述内容是本发明的一个或多个优选示例性实施例的描述。本发明不限于本文中所公开的（一个或多个）特定实施例，而是仅由以下权利要求限定。此外，除了在上文明确限定术语或短语的情况下，前述描述中所含有的陈述涉及特定实施例，且将不被解释为对本发明的范围或对权利要求中使用的术语的限定的限制。对于本领域技术人员而言，各种其他实施例以及对（一个或多个）所公开的实施例的各种改变和修改将变得明显。所有此类其他实施例、改变和修改均旨在落入所附权利要求的范围内。
如在本说明书和权利要求中使用的，术语“例如”、“如”、“比如”、“诸如”和“等等”以及动词“包括”、“具有”、“包含”及它们的其他动词形式在结合一个或多个部件或其他项目的列表使用时，均将被解释为开放式的，意指该列表将不被视为排除其他、附加的部件或项目。其他术语将使用它们的最广泛的合理含义来解释，除非它们用于要求不同解释的上下文中。另外，术语“和/或”将被解释为包含性的或。作为示例，短语“A、B和/或C”包含：“A”；“B”；“C”;“A和B”；“A和C”；“B和C”；以及“A、B和C”。

Claims (10)

1.一种与车辆成像***一起使用的车辆成像方法，所述车辆成像方法包括以下步骤：
从多个车辆摄像头获得图像数据；
基于来自所述多个车辆摄像头的所述图像数据生成第一人称复合摄像头视图，所述第一人称复合摄像头视图通过组合来自所述多个车辆摄像头的所述图像数据并从位于所述车辆内的观察者的视点呈现所述组合后的图像数据而形成；以及
在车辆显示器上显示所述第一人称复合摄像头视图。
2.根据权利要求1所述的车辆成像方法，其中，所述生成步骤还包括：生成所述第一人称复合摄像头视图，所述第一人称复合摄像头视图包含与复合图像数据组合的增强图形。
3.根据权利要求2所述的车辆成像方法，其中，所述增强图形包含所述车辆的各部分的计算机生成的代表物，如果位于所述车辆内的所述观察者沿特定方向从所述车辆向外看，则所述计算机生成的代表物将通常被所述观察者看到，所述复合图像数据包含来自所述多个车辆摄像头的所述组合后的图像数据，并且所述增强图形被叠加在所述复合图像数据上。
4.根据权利要求3所述的车辆成像方法，其中，所述车辆的各部分的所述计算机生成的代表物与所述第一人称复合摄像头视图内的特定对象或位置电子地相关联，使得当所述观察者的视角的特定方向改变时，所述增强图形也改变，使得它们呈现为与变化的复合图像数据一起自然地移动。
5.根据权利要求3所述的车辆成像方法，其中，当所述第一人称复合摄像头视图是后向视图时，所述增强图形包含车辆行李箱盖的一部分、车辆后窗框架的一部分或两者的计算机生成的代表物。
6.根据权利要求1所述的车辆成像方法，其中，所述生成步骤还包括：从位于所述车辆内的所述观察者的基本上静止的视点呈现所述组合后的图像数据，即使当所述第一人称摄像头视图的方向改变时，所述基本上静止的视点也仍位于所述车辆内。
7.根据权利要求1所述的车辆成像方法，其中，所述生成步骤还包括：生成所述第一人称复合摄像头视图，使得用户具有围绕所述车辆的360°视图。
8.根据权利要求1所述的车辆成像方法，其中，所述生成步骤还包括：响应于摄像头视图控制输入，生成所述第一人称复合摄像头视图。
9.根据权利要求1所述的车辆成像方法，其中，所述生成步骤还包括：构建投影流形，在所述投影流形上能够显示所述第一人称复合摄像头视图，并且所述投影流形是由摄像头平面、摄像头椭圆和位于所述车辆内的观察者的视点至少部分地限定的虚拟对象。
10.根据权利要求9所述的车辆成像方法，其中，所述摄像头平面是对应于所述多个车辆摄像头的位置的虚拟平面，并且对于所述多个车辆摄像头中的每一个，所述摄像头平面要么穿过所述车辆摄像头的实际位置，要么穿过所述车辆摄像头的有效位置。
CN202010151769.9A 2019-03-07 2020-03-06 用于停车解决方案的车辆成像***和方法 Pending CN111669543A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/295,911 US20200282909A1 (en) 2019-03-07 2019-03-07 Vehicle imaging system and method for a parking solution
US16/295911 2019-03-07

Publications (1)

Publication Number Publication Date
CN111669543A true CN111669543A (zh) 2020-09-15

Family

ID=72146747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010151769.9A Pending CN111669543A (zh) 2019-03-07 2020-03-06 用于停车解决方案的车辆成像***和方法

Country Status (3)

Country Link
US (1) US20200282909A1 (zh)
CN (1) CN111669543A (zh)
DE (1) DE102020103653A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11910092B2 (en) * 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system
US20220343038A1 (en) * 2021-04-23 2022-10-27 Ford Global Technologies, Llc Vehicle simulator

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110032357A1 (en) * 2008-05-29 2011-02-10 Fujitsu Limited Vehicle image processing apparatus and vehicle image processing method
US20110063444A1 (en) * 2008-05-19 2011-03-17 Panasonic Corporation Vehicle surroundings monitoring device and vehicle surroundings monitoring method
JP2011114467A (ja) * 2009-11-25 2011-06-09 Alpine Electronics Inc 車両表示装置および表示方法
CN102917205A (zh) * 2011-08-05 2013-02-06 哈曼贝克自动***股份有限公司 车辆环绕视图***
US20160212384A1 (en) * 2015-01-20 2016-07-21 Fujitsu Ten Limited Image generation apparatus
CN107031508A (zh) * 2016-02-03 2017-08-11 通用汽车环球科技运作有限责任公司 用于车辆的后视***及其使用方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP5309442B2 (ja) * 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4924896B2 (ja) * 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
US9126525B2 (en) * 2009-02-27 2015-09-08 Magna Electronics Inc. Alert system for vehicle
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
JP5031801B2 (ja) * 2009-07-28 2012-09-26 日立オートモティブシステムズ株式会社 車載用画像表示装置
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6964276B2 (ja) * 2018-03-07 2021-11-10 パナソニックＩｐマネジメント株式会社 表示制御装置、車両周辺表示システムおよびコンピュータプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110063444A1 (en) * 2008-05-19 2011-03-17 Panasonic Corporation Vehicle surroundings monitoring device and vehicle surroundings monitoring method
US20110032357A1 (en) * 2008-05-29 2011-02-10 Fujitsu Limited Vehicle image processing apparatus and vehicle image processing method
JP2011114467A (ja) * 2009-11-25 2011-06-09 Alpine Electronics Inc 車両表示装置および表示方法
CN102917205A (zh) * 2011-08-05 2013-02-06 哈曼贝克自动***股份有限公司 车辆环绕视图***
US20160212384A1 (en) * 2015-01-20 2016-07-21 Fujitsu Ten Limited Image generation apparatus
CN107031508A (zh) * 2016-02-03 2017-08-11 通用汽车环球科技运作有限责任公司 用于车辆的后视***及其使用方法

Also Published As

Publication number Publication date
DE102020103653A1 (de) 2020-09-10
US20200282909A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
JP6148887B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
CN105383384B (zh) 车辆控制装置
US20190349571A1 (en) Distortion correction for vehicle surround view camera projections
US10647256B2 (en) Method for providing a rear mirror view of a surroundings of a vehicle
US11440475B2 (en) Periphery display control device
US20140114534A1 (en) Dynamic rearview mirror display features
EP2860063B1 (en) Method and apparatus for acquiring image for vehicle
US11087438B2 (en) Merging of partial images to form an image of surroundings of a mode of transport
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
US20120169875A1 (en) Rearward view assistance apparatus
JP4640238B2 (ja) 車両周囲映像作成装置及び車両周囲映像作成方法
JP5697512B2 (ja) 画像生成装置、画像表示システム及び画像表示装置
WO2002089485A1 (fr) Procede et dispositif pour la presentation d'une image de camera embarquee a bord d'un vehicule
WO2013086249A2 (en) Vehicle vision system with customized display
JP7039879B2 (ja) 表示制御装置
WO2015155715A2 (en) Panoramic view blind spot eliminator system and method
JP2010130647A (ja) 車両周辺確認装置
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2017220876A (ja) 周辺監視装置
JP2022095303A (ja) 周辺画像表示装置、表示制御方法
CN111669543A (zh) 用于停车解决方案的车辆成像***和方法
JP2010208359A (ja) 車両用表示装置
US11828947B2 (en) Vehicle and control method thereof
JP2021043815A (ja) 画像処理装置
US11068054B2 (en) Vehicle and control method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200915

WD01 Invention patent application deemed withdrawn after publication