CN108267738A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN108267738A
CN108267738A CN201711403798.4A CN201711403798A CN108267738A CN 108267738 A CN108267738 A CN 108267738A CN 201711403798 A CN201711403798 A CN 201711403798A CN 108267738 A CN108267738 A CN 108267738A
Authority
CN
China
Prior art keywords
image
barrier
visual point
vehicle
virtual visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711403798.4A
Other languages
English (en)
Other versions
CN108267738B (zh
Inventor
畠山友希子
清幸荣
武内环
土生田理惠
元广彬翔
佐藤智之
前岛康平
坂口敦俊
高桥将宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Ten Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd, Toyota Motor Corp filed Critical Denso Ten Ltd
Publication of CN108267738A publication Critical patent/CN108267738A/zh
Application granted granted Critical
Publication of CN108267738B publication Critical patent/CN108267738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/006—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a distance sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像处理设备和图像处理方法。根据一个实施例的图像处理设备包括图像获取单元、信息获取单元、生成单元、合成单元、确定单元、以及显示控制单元。所述图像获取单元获取被捕获图像，其中由图像捕获设备捕获车辆的环境的图像。所述信息获取单元获取关于所述车辆的环境中存在的障碍物的检测到的位置的位置信息。所述生成单元基于所述被捕获图像生成虚拟视点图像，在所述虚拟视点图像中，所述车辆的环境被从虚拟视点观看。所述合成单元将提供在所述检测到的位置处存在所述障碍物的通知的通知图像与所述虚拟视点图像相合成。所述显示控制单元基于所述位置信息来控制与所述虚拟视点图像合成的所述通知图像的显示格式。

Description

图像处理设备和图像处理方法
技术领域
在此讨论的实施例涉及一种图像处理设备和图像处理方法。
背景技术
例如，通常已知一种设备，其通过使用雷达设备等的传感器检测车辆的环境中存在的障碍物，并且向用户呈现检测结果。例如，在日本特许专利公开2012-188057中，在检测到障碍物的情况下，传感器的检测范围被叠加和显示在由摄像机捕获的被捕获图像上。
但是，常规技术在容易地识别障碍物的位置方面具有进一步改进的空间。
例如，在如上所述的常规技术中，仅向用户呈现能够检测到障碍物的范围，并且检测到的障碍物的位置本身未被呈现给该用户。因此，用户可能忽视障碍物。
已通过考虑以上所述提供实施例的一个方面，并且这一方面旨在提供一种能够容易地识别障碍物的位置的图像处理设备和图像处理方法。
发明内容
根据一个实施例的图像处理设备包括图像获取单元、信息获取单元、生成单元、合成单元、确定单元、以及显示控制单元。所述图像获取单元获取被捕获图像，其中由图像捕获设备捕获车辆的环境的图像。所述信息获取单元获取关于所述车辆的环境中存在的障碍物的检测到的位置的位置信息。所述生成单元基于所述被捕获图像生成虚拟视点图像，在所述虚拟视点图像中，所述车辆的环境被从虚拟视点观看。所述合成单元将提供在所述检测到的位置处存在所述障碍物的通知的通知图像与所述虚拟视点图像相合成。所述显示控制单元基于所述位置信息来控制与所述虚拟视点图像合成的所述通知图像的显示格式。
根据一个实施例的一个方面，能够容易地识别障碍物的位置。
附图说明
图1A到图1C是示出根据一个实施例的障碍物呈现***的概要的图；
图2是示出根据一个实施例的障碍物呈现***的配置的框图；
图3是示出根据一个实施例的图像捕获设备的布置的一个示例的图；
图4A和图4B是示出根据一个实施例的由确定单元执行的确定处理的一个示例的图；
图5到图7是示出根据一个实施例的范围图像的图；
图8是示出根据一个实施例的通知图像的示例的图；
图9是示出根据一个实施例的由合成单元生成的合成图像的一个示例的图；
图10是示出根据一个实施例的由图像处理设备执行的图像生成过程的处理步骤的流程图。
具体实施方式
以下，将参考附图详细描述本申请中公开的图形处理设备和图像处理方法的一个实施例。此外，本发明并不限于此类实施例(多个)。
1.障碍物呈现***的概要
将通过使用图1A到图1C描述根据一个实施例的障碍物呈现***1的概要。图1A到图1C是示出根据一个实施例的障碍物呈现***1的概要的图。障碍物呈现***1安装在车辆上，检测车辆周围的障碍物并且向用户(驾驶者)呈现该障碍物。
障碍物呈现***1执行被捕获图像的坐标变换，其中车辆周围的图像由图像捕获设备捕获以生成虚拟视点图像，在虚拟视点图像中，从虚拟视点观看车辆的环境。此外，障碍物呈现***1将提供在此类障碍物的检测到的位置处存在障碍物的通知的通知图像与虚拟视点图像相合成。此外，障碍物呈现***1的雷达设备检测障碍物的位置。在此，障碍物呈现***1根据障碍物是否位于比地面高的位置(例如，护栏等的位置)来改变与虚拟视点图像合成的通知图像的显示格式。
这是因为，在障碍物位于比地面高的位置的情况下，通知图像在虚拟视点图像上的位置(检测到的障碍物位置)不同于在虚拟视点图像中出现的障碍物的位置。即，检测到的障碍物位置是由雷达设备检测到的位置，因此，在根据虚拟视点图像上的坐标执行坐标变换时，在障碍物实际所处的位置处执行虚拟视点图像上的显示。
另一方面，对于被捕获图像，不可能检测障碍物的高度。相应地，障碍物呈现***1生成虚拟视点图像，同时假定被捕获图像上的障碍物被设置在与地面相同的高度处。因此，在假定虚拟视点图像上的障碍物位于比实际障碍物更远的位置处的同时，显示该虚拟视点图像上的障碍物。
因此，在虚拟视点图像上，位于比地面高的位置处的障碍物显示在与由雷达设备提供的检测位置不同的位置处。相应地，例如，当用户确认障碍物本身位于虚拟视点图像上时，存在以这样的方式错误识别的可能性：此类障碍物位于比实际障碍物的检测位置更远的位置。
因此，根据一个实施例的障碍物呈现***1根据障碍物是否位于比地面更高的位置(例如，护栏等的位置)来改变与虚拟视点图像合成的通知图像的显示格式。例如，在障碍物位于比地面高的位置的情况下，突出显示通知图像。
因此，即使在虚拟视点图像上的障碍物从由雷达设备提供的检测位置偏移的情况下，也能够正确地向用户呈现障碍物的位置，并且用户能够更容易地确认障碍物的位置。
障碍物呈现***1包括图像处理设备10、图像捕获设备20、雷达设备30，以及显示设备50。
图像捕获设备20例如具有多个(未示出的)摄像机，它们被布置在车辆的环境中。图像捕获设备20的每个摄像机以恒定时段捕获车辆周围的图像。
雷达设备30在车辆周围发出无线电波并且接收从障碍物反射的反射波，以使得在车辆周围存在的障碍物被检测到。此外，雷达设备30例如检测从车辆到障碍物的距离(将在下面描述为障碍物的位置信息)作为障碍物的位置。
图像处理设备10对由图像捕获设备20捕获的被捕获图像执行坐标变换，以便生成从虚拟视点观看的虚拟视点图像。图像处理设备10生成合成图像并且将其输出到显示设备50，在所述合成图像中，将车辆图像或通知图像与虚拟视点图像相合成。图像处理设备10包括图像获取单元110、信息获取单元120、生成单元130、显示控制单元150、合成单元160、以及确定单元180。
图像获取单元110从图像捕获设备20获取被捕获图像。信息获取单元120从雷达设备30获取障碍物的位置信息。
生成单元130针对由图像获取单元110获取的被捕获图像执行坐标变换过程，以便生成其中从虚拟视点观看车辆的虚拟视点图像。
确定单元180基于由生成单元130生成的虚拟视点图像和由信息获取单元120获取的障碍物的位置信息，确定障碍物是否位于距地面预定高度或高于该预定高度的位置。
例如，确定单元180基于障碍物的位置信息来确定障碍物是否出现在障碍物在虚拟视点图像上所处的位置(检测位置)，以确定障碍物是否位于距地面预定高度或高于该预定高度的位置处。
例如由于图案匹配等原因，确定单元180确定障碍物是否出现在包括障碍物在虚拟视点图像上的所在位置的区域中。在障碍物出现在其中的情况下，确定障碍物位于比预定高度低的位置处。此外，在障碍物不出现在其中的情况下，确定障碍物位于距地面预定高度或高于该预定高度的位置处。
显示控制单元150基于障碍物的位置信息来控制通知图像的显示格式。此外，显示控制单元150基于由确定单元180提供的确定结果来控制通知图像的显示格式。在障碍物位于距地面预定高度或高于该预定高度的位置处的情况下，显示控制单元150以突出显示指示障碍物的存在的通知图像的方式控制合成单元160。
合成单元160将从虚拟视点观看车辆外观的车辆图像与由生成单元130生成的虚拟视点图像相合成。此外，合成单元160基于由信息获取单元120获取的障碍物的位置信息，在障碍物所在位置(障碍物的检测到的位置)处将指示存在障碍物的通知图像与虚拟视点图像相合成。
这里，在障碍物位于距地面预定高度或高于该预定高度的位置处的情况下，合成单元160基于由显示控制单元150执行的控制，突出显示指示障碍物的存在的通知图像。
图1B和图1C示出由合成单元160生成的合成图像的一个示例。图1B示出未突出显示通知图像的情况下的合成图像P1，并且图1C示出执行通知图像的突出显示的情况下的合成图像P2。在图1B或图1C的示例中，合成单元160将通知图像Ps与从正上方观看车辆的概览图像相合成。此外，图1B或图1C所示的范围图像R是指示雷达设备30的检测范围的图像。以下将通过使用图5到图7来描述范围图像R的详细信息。
在图1B所示的合成图像P1中，通知图像Ps以细线显示。另一方面，在图1C所示的合成图像P2中，通知图像Ps以粗线突出显示。此外，在图1C中，作为障碍物的柱子S显示在通知图像Ps的上方，并且偏离障碍物的实际位置(通知图像Ps的显示位置)。
因此，当用户确认合成图像P2上的柱子S时，可能错误地识别到柱子S比其实际位置更远，并且使车辆前行。因此，如图1C所示，通知图像Ps在合成图像P2上突出显示，以便通知用户障碍物位于其附近，并且相撞的风险很高。因此，用户能够更准确地识别障碍物的位置。
显示设备50例如包括显示器，并且显示由合成单元160生成的合成图像P1或P2。由此，能够向用户呈现障碍物。
因此，根据一个实施例的图像处理设备10将车辆图像和通知图像Ps与虚拟视点图像相合成。在此，图像处理设备10根据障碍物是否位于比地面高的位置处来改变通知图像Ps的显示格式。从而，用户能够容易地确认障碍物的位置。
2.障碍物呈现***的细节
接下来，将参考图2至图9描述根据一个实施例的障碍物呈现***1的细节。图2是示出根据一个实施例的障碍物呈现***1的配置的框图。此外，在图2中，描述一个实施例的特性需要的组件由功能块表示，并且通用组件的描述将被省略。
换言之，如图2中所示的每个组件具有功能概念，并且不必如附图中所示的那样进行物理配置。例如，相应功能块的分散或集成的特定配置并不限于附图中所示的配置，并且可以根据各种类型的负载或使用等，可以将这些功能块的全部或部分在功能上或物理上分散或集成在要被配置的任意单元中。
如图2中所示，障碍物呈现***1包括图像捕获设备20、雷达设备30、传感器40、图像处理设备10、以及显示设备50。
2.1图像捕获设备
图像捕获设备20例如具有多个车载摄像机20a至20d，所述车载摄像机具有诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)之类的图像捕获元件。图像捕获设备20将由车载摄像机20a至20d捕获的被捕获图像输出到图像处理设备10。
例如，如图3中所示，车载摄像机20a被布置在车辆C的前部，并且车载摄像机20b被布置在车辆C的后部。此外，车载摄像机20c被布置在车辆C的右侧，并且车载摄像机20d被布置在车辆C的左侧。当相应成像方向是车辆的前部、后部、右侧、以及左侧时，车载摄像机20a至20d执行成像。此外，图3是示出图像捕获设备20的布置的一个示例的图。
此外，采用诸如鱼眼镜头之类的广角镜头作为车载摄像机20a至20d的镜头，并且车载摄像机20a至20d中的每一者具有大于或等于180度的视角。使用车载摄像机20a至20d，以使得能够对车辆C的整个***执行成像。此外，如图3中所示的车载摄像机20a至20d的布置或数量是一个示例，并且并不限于此。只要能够捕获车辆C的环境的图像，车载摄像机的数量可以多于或少于四个。
2.2雷达设备
雷达设备30例如包括多个毫米波雷达30a至30d。如图3中所示，毫米波雷达30a至30d被布置在车辆C的前部，并且检测车辆C的前部存在的障碍物。雷达设备30检测位置信息，例如从车辆C到障碍物的距离或方位方向。雷达设备30将检测到的位置信息输出到图像处理设备10。
此外，如图3中所示的雷达设备30的布置或数量是一个示例，并且并不限于此。例如，还可以在车辆C的后部设置雷达设备，以便检测车辆C的后部的障碍物。此外，被布置在车辆C的前部的毫米波雷达的数量可以多于或少于四个。
2.3图像处理设备
如图2中所示的图像处理设备10对由图像捕获设备20捕获的被捕获图像执行坐标变换，以便生成虚拟视点图像。图像处理设备10将车辆C的移动预测线、车辆图像、通知图像等与虚拟视点图像合成，并且将其输出到显示设备50。
图像处理设备10是具有中央处理单元(CPU)、存储单元170等的微计算机。图像处理设备10例如安装在电子控制单元(ECU)中。
图像处理设备10的CPU例如读取并且执行存储在ROM中的程序，并且从而用作图像获取单元110、信息获取单元120、生成单元130、移动预测单元140、显示控制单元150、合成单元160、以及确定单元180。
此外，还可以合成诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的硬件的图像获取单元110、信息获取单元120、生成单元130、移动预测单元140、显示控制单元150、合成单元160、以及确定单元180中的至少一者或全部。
2.3.1图像获取单元
图像获取单元110按顺序获取由图像捕获设备20捕获的被捕获图像。由图像获取单元110获取的被捕获图像包括由图像捕获设备20的车载摄像机20a至20d(参见图3)捕获的被捕获图像。图像获取单元110将获取的被捕获图像输出到生成单元130。
2.3.2信息获取单元
信息获取单元120从雷达设备30获取位置信息，所述位置信息包括车辆C的周围存在的障碍物的检测到位置。信息获取单元120将获取的位置信息输出到显示控制单元150。
2.3.3生成单元
生成单元130针对由图像获取单元110获取的被捕获图像执行坐标变换过程，并且从而生成其中从任意虚拟视点观看车辆C的环境的虚拟视点图像。此外，通过随后描述的显示控制单元150的视点位置确定单元155确定此类虚拟视点。
例如，生成单元130将被捕获图像投影(映射)到预定投影面上作为坐标变换过程，并且在已被投影到预定投影面上的被捕获图像中，导致当从任意虚拟视点观看时包括在预定视角中的区域的图像成为虚拟视点图像。
例如，生成单元130存储一个表，该表指示包括在被捕获图像中的数据的位置与预定投影面的位置之间的对应关系，并且通过使用这样的表，将包括在被捕获图像中的数据投影到对应位置处的预定投影面上。
此类预定投影面例如具有基本半球形(例如，碗形)，其中其中央区域(例如，碗底部)在车辆C的某个位置处，并且车辆C的某个位置(例如，碗底部之外的部分)的外部对应于车辆C的环境的一个区域。此外，预定投影面不必是曲面，并且例如可以是平面。
生成单元130将生成的虚拟视点图像输出到合成单元160。
2.3.4移动预测单元
移动预测单元140基于传感器40的输出结果，预测车辆C的移动路线。移动预测单元140例如在车辆C的速度小于或等于预定值的情况下，预测车辆C的移动路线。传感器40例如包括检测转向角的转向传感器或者检测换挡状态的换挡传感器。
移动预测单元140基于换挡状态，预测车辆C的移动方向。例如，如果车辆C的换挡状态是“前进”，则移动预测单元140预测车辆C的移动方向是向前。
移动预测单元140基于转向角，预测车辆C的移动角度。例如，移动预测单元140在车辆C开始移动的情况下，从车辆C的转向角、度数和转弯半径等来预测移动角度。
移动预测单元140在车辆C开始移动的情况下，基于已被预测的移动方向和移动角度，对预测路线进行预测。移动预测单元140将预测路线输出到显示控制单元150。
2.3.5确定单元
确定单元180基于由信息获取单元120获取的障碍物的位置信息和由生成单元130生成的虚拟视点图像，确定障碍物是否位于距地面预定高度或高于该预定高度的位置。
将通过使用图4A和图4B来描述由确定单元180执行的确定过程。图4A和4B是示出根据一个实施例的由确定单元180执行的确定过程的一个示例的图。
将描述其中障碍物S位于车辆C的前部并且在高于地面的位置处的情况，如图4A所示。在此类情况下，确定单元180确定障碍物S是否位于从正上方观看车辆C的虚拟视点图像上的由雷达设备30检测到的位置P(也将被描述为实际位置P)处，如图4B所示。确定单元180例如通过使用图案匹配、边缘检测等，从虚拟视点图像检测在该虚拟视点图像中出现的障碍物S。
如图4B所示，在虚拟视点图像中出现的障碍物S的位置不同于由雷达设备30检测的实际位置P的情况下，确定单元180确定障碍物S位于距地面预定高度或高于该预定高度的位置处。
另一方面，在检测到的障碍物S的位置与由雷达设备30检测到的实际位置P相同的情况下，确定单元180确定障碍物位于比距地面预定高度低的位置处。确定单元180将确定的结果输出到显示控制单元150。
另外，此处的确定单元180将诸如图案匹配或边缘检测之类的处理应用于虚拟视点图像以从虚拟视点图像检测障碍物S，但不限于此。例如，在雷达设备30也可以检测障碍物S的高度的情况下，能够基于由雷达设备30检测的高度确定障碍物S是否位于距地面预定高度或高于该预定高度的位置处。
此外，确定单元180可以仅搜索包括实际位置P的虚拟视点图像的预定范围以检测障碍物S。因此，从虚拟视点图像的预定范围检测障碍物S，从而能够减少由确定单元180执行的检测过程的处理量。
2.3.6显示控制单元
显示控制单元150确定通过合成单元160与虚拟视点图像合成的图像，以使得控制在显示设备50上显示的显示图像。显示控制单元150确定将移动预测线、车辆图像、通知图像Ps，以及指示障碍物的检测范围的范围图像中的至少一者与虚拟视点图像相合成。此外，显示控制单元150确定要被合成的图像的显示格式，例如显示颜色或存在或不存在突出显示。
显示控制单元150包括预测线确定单元151、范围图像确定单元152、通知图像确定单元153、以及视点位置确定单元155。
在移动预测单元140对预测路线进行预测的情况下，预测线确定单元151确定指示预测路线的移动预测线被与虚拟视点图像相合成，以便确定移动预测线在显示设备50上被显示。例如，假设移动预测单元140预测车辆C左转的路线。在此类情况下，预测线确定单元151确定从车辆C的右前轮延伸的移动预测线L1被与虚拟视点图像相合成。
范围图像确定单元152确定指示雷达设备30的检测范围的范围图像R在显示设备50上被显示。
首先，将通过使用图5到图7来描述范围图像R。图5到图7是示出根据一个实施例的范围图像R的图。首先，将通过使用图5和图6来描述范围图像R的形状。
如图5所示，范围图像R包括多个范围Ra至Rd。相应范围Ra至Rd分别对应于毫米波雷达30a至30d的检测范围。如图5所示，范围图像R指示相应范围Ra至Rd的边界线。由此，能够在视觉上确认毫米波雷达30a至30d的检测范围中的每一者。
此外，如图5所示，范围Ra至Rd表示为同心的圆形和扇形范围。在此，如图6所示，由于在虚拟视点图像上显示实际检测范围以适应车辆C的形状，因此范围图像R看起来像位于车辆C前方的墙壁。相应地，图5所示的扇形的中心角θ小于图6所示的范围图像R的中心角θ1，从而突出显示范围Ra至Rd的扇形。由此，图像处理设备10能够以在地面上显示范围图像R的方式在虚拟视点图像上表示范围图像R。
因此，当在虚拟视点图像上以预定角度显示范围图像R时，基于障碍物的位置或者车辆C与范围图像R之间的位置关系来改变该预定角度。由此，能够正确地向用户呈现范围图像R。
此外，图5所示的范围图像R是在雷达设备30检测到障碍物的情况下通知给用户的范围，并且可以不同于雷达设备30能够实际检测障碍物的范围。即，显示控制单元150基于由信息获取单元120获取的位置信息，在障碍物被包括在范围Ra至Rd内的情况下向用户通知此类障碍物。下面将通过使用图8来描述这种情况。
此外，在图5所示的示例中，范围图像R包括四个范围Ra至Rd，并且不限于此。包括在范围图像R内的范围数量可以多于或少于四个。
接下来，将通过使用图7来描述范围图像R的显示格式。如图7所示，范围Ra至Rd中的每一者的内部用黑色显示。在此，使得范围Ra至Rd的内部透明。由此，能够容易地确认在范围Ra至Rd上叠加的虚拟视点图像。另外，图7以黑色示出范围Ra至Rd的边界线，并且例如在背景颜色为黑色的情况下，例如以白色显示范围Ra至Rd的边界线。由此，能够更容易地与范围Ra至Rd进行视觉接触。此外，当使用白色显示边界线时，可以向其中添加所谓的火炬状显示，其中径向执行显示并且在预定范围内朝着范围Ra至Rd的外部逐步减轻颜色。在此类情况下，突出边界线，以使得能够更清楚地确定范围Ra至Rd。
返回到图2。在信息获取单元120获取障碍物的位置信息的情况下，即，在障碍物存在于车辆C的环境中的情况下，通知图像确定单元153确定在显示设备50上显示通知图像Ps。
通知图像确定单元153基于由信息获取单元120获取的位置信息，确定在虚拟视点图像上存在障碍物的位置处显示通知图像Ps。
首先，通知图像确定单元153确定障碍物位于检测范围内的何处。具体地说，显示控制单元150将包括在检测范围中的范围Ra至Rd分成多个区域，并且确定哪个划分区域中存在障碍物。例如，在图8中，将范围Ra或Rb分成四个区域，并且将范围Rc或Rd分成五个区域。此外，图8是示出根据一个实施例的通知图像Ps的图。
在此，如图8所示，障碍物位于范围Ra的区域Ra1、范围Rb的区域Rb4，范围Rc的区域Rc2、以及范围Rd的区域Rd3的每一者中。此外，在图8中，障碍物的位置由点S1到S4表示。在此类情况下，通知图像确定单元153将区域Ra1、Rb4、Rc2和Rd3中的每一者确定为用于在其上显示通知图像Ps的区域。
通知图像确定单元153使得其中区域Ra1、Rb4、Rc2和Rd3中的每一者被以预定显示颜色填充的图像成为通知图像Ps。通知图像确定单元153根据到障碍物的距离改变此类显示颜色。
例如，当作为示例描述图8中的范围Ra时，在障碍物位于范围Ra的区域Ra1至Ra4当中的靠近车辆C的区域Ra1或Ra2内的情况下，通知图像确定单元153将通知图像Ps的显示颜色确定为红色作为高危险。此外，在障碍物位于远离车辆C的区域Ra3或Ra4内的情况下，通知图像确定单元153将通知图像Ps的显示颜色确定为黄色作为低危险。
如图7所示，区域Ra1或Rc2靠近车辆C，因此通知图像确定单元153将在区域Ra1或Rc2中显示的通知图像Ps1或Ps2的显示颜色确定为红色。另一方面，区域Rd3或Rb4远离车辆C，因此通知图像确定单元153将在区域Rd3或Rb4中显示的通知图像Ps3或Ps4的显示颜色确定为黄色。
在此，例如，范围图像确定单元152可以将包括区域Ra2的范围Ra的显示颜色确定为与通知图像Ps的显示颜色相同的红色。从而，能够向用户通知存在高危险的障碍物以便增加对其的关注程度。
此外，对于图7和图8所示的区域Rc和Rd，可以使得除了外框线以外的区域的内部透明。在此类情况下，能够参考叠加在区域Rc或Rd上的障碍物。此外，从中心到外框线的渐变可以被应用于区域Rc和Rd的框线的颜色。在此类情况下，能够容易地参考区域Rc和Rd的外部范围。此外，优选将透明度或渐变应用于范围Ra和Rb以外的部分。这是因为此类部分容易叠加在障碍物上。
此外，通知图像确定单元153基于障碍物的位置信息来确定是否突出显示通知图像Ps。在基于障碍物的位置信息确定障碍物位于距地面的预定高度或高于该预定高度的位置处的情况下，通知图像确定单元153以粗线显示通知图像Ps的边界线，以便突出显示通知图像Ps。此外，通知图像确定单元153基于确定单元180的确定结果来确定是否突出显示通知图像Ps。在确定单元180确定障碍物位于距地面的预定高度或高于该预定高度的位置处的情况下，通知图像确定单元153以粗线显示通知图像Ps中的边界线，以便突出显示通知图像Ps。
备选地，通知图像确定单元153可以闪烁显示通知图像Ps，以便突出显示通知图像Ps。此外，通知图像确定单元153可以基于障碍物的高度改变通知图像Ps的显示颜色的灰度。在此类情况下，通知图像确定单元153随障碍物所在位置的升高而加深显示通知图像Ps。
另外，即使在通常以黄色显示的区域(例如，区域Rd3或Rb4)中，在障碍物位于预定高度或高于所述预定高度的位置处的情况下，通知图像确定单元153也能够以红色显示通知图像Ps。
返回到图2。视点位置确定单元155基于来自移动预测单元140的预测路线，确定在显示设备50上显示的虚拟视点图像的虚拟视点位置。
例如，在移动预测单元140预测车辆C沿直线行驶的情况下，视点位置确定单元155确定车辆C的(正)上方的虚拟视点位置。
2.3.7.合成单元
合成单元160根据显示控制单元150的确定，将移动预测线等与由生成单元130生成的虚拟视点图像相合成，以便生成合成图像。
例如，在障碍物位于车辆C的环境中的情况下，合成单元160将移动预测线、范围图像R、通知图像Ps、以及车辆图像与虚拟视点图像相合成。在此类情况下，合成单元160在障碍物处于预定高度或高于预定高度的位置时，根据来自显示控制单元150的指令突出显示通知图像Ps。
将通过使用图9来描述由合成单元160生成的合成图像的一个示例。图9是示出根据一个实施例的由合成单元160生成的合成图像的一个示例的图。在图9的示例中，合成单元160将通知图像Ps与从正上方观看车辆C的虚拟视点图像相合成以生成合成图像P4。
如图9所示，合成图像P4被与车辆图像Pc、移动预测线L1、范围图像R、以及通知图像Ps11至Ps13相合成。此外，通知图像Ps12被突出显示。此外，在图9中，指示距车辆C的预定距离的引导线L2和L3被与虚拟视点图像相合成。因此，图像处理设备10可以显示移动预测线L1之外的引导线。另外，可以以通知图像Ps11至Ps13的宽度随着接近障碍物而增加的方式显示通知图像Ps11至Ps13。在此类情况下，能够容易地识别障碍物正在靠近车辆C。
另一方面，在车辆C的环境中不存在障碍物的情况下，合成单元160将移动预测线L1、范围图像R、以及车辆图像Pc与虚拟视点图像相合成，以便生成合成图像。
此外，合成单元160例如基于存储在存储单元170中的车辆图像信息171或范围图像信息172，将车辆图像Pc或范围图像R与虚拟视点图像相合成。
2.3.8.存储单元
存储单元170存储在图像处理设备10的每个单元的过程中使用的信息，例如车辆图像信息171或范围图像信息172。此外，存储单元170存储每个单元的过程的结果。
存储单元170例如包括RAM或HDD。例如，RAM或HDD能够存储各种类型的程序等的信息，具体取决于由图像处理设备10的每个单元执行的过程。此外，图像处理设备10可以通过借助有线或无线网络连接的另一个计算机或便携式记录介质，获取各种类型的程序等的信息。
2.4.显示设备
显示设备50例如是安装在车辆C上的显示器。显示设备50显示由图像处理设备10生成的显示图像。例如，在(未示出的)导航设备安装在车辆C上的情况下，显示设备50可以是包括在此类导航设备中的显示器。
3.图像生成过程
接下来，将通过使用图10描述根据一个实施例的由图像处理设备10执行的图像生成过程的处理步骤。图10是示出根据一个实施例的由图像处理设备10执行的图像生成过程的处理步骤的流程图。
例如在车辆C以预定速度或更小速度沿直线行驶的情况下，图像处理设备10执行图10中的图像生成过程。
图像处理设备10例如以恒定间隔执行图10中的图像生成过程，以便图像捕获设备20捕获被捕获图像。此外，图像处理设备10执行图像生成过程的间隔并不限于此类恒定间隔。图像处理设备10可以例如在每次获取多个被捕获图像时(即，以长于此类恒定间隔的时段)执行图像生成过程。
如图10中所示，图像处理设备10首先从图像捕获设备20获取被捕获图像(步骤S101)。图像处理设备10基于获取的被捕获图像，生成虚拟视点图像(步骤S102)。
然后，图像处理设备10根据信息获取单元120是否获取位置信息，判定是否检测到障碍物(步骤S103)。在没有检测到障碍物的情况下(步骤S103处的“否”)，图像处理设备10转到步骤S107。
另一方面，在检测到障碍物的情况下(步骤S103处的“是”)，图像处理设备10确定障碍物是否位于预定高度或高于所述预定高度的位置处(步骤S104)。在障碍物处于低于预定高度的位置的情况下(步骤S104处的“否”)，图像处理设备10将通知图像Ps与虚拟视点图像相合成(步骤S105)。
另一方面，在障碍物位于预定高度或所述预定高度以上的位置处的情况下(步骤S104处的“是”)，图像处理设备10突出显示通知图像Ps，并将通知图像Ps与虚拟视点图像相合成(步骤S106)。
图像处理设备10将移动预测线L1和范围图像R与虚拟视点图像相合成(步骤S107)，并将车辆图像Pc与虚拟视点图像相合成以生成合成图像(步骤S108)。图像处理设备10将所生成的合成图像输出到显示设备50以显示合成图像(步骤S109)。
另外，可以改变步骤S107和步骤S108中的处理的顺序。
此外，图像处理设备10在此根据障碍物是否位于预定高度或高于所述预定高度的位置处来突出显示通知图像Ps，并且不限于此。例如，在检测到障碍物的情况下(步骤S103处的“是”)，图像处理设备10可以转到步骤S105，立即突出显示通知图像Ps，并将通知图像Ps与虚拟视点图像相合成。即，可以省略步骤S104和步骤S105。图像处理设备10独立于障碍物的高度并且基于检测到的障碍物位置控制通知图像Ps的显示格式，从而使得用户能够容易地确认障碍物的位置。
如上所述，根据一个实施例的障碍物呈现***1在显示设备50上显示合成图像，在该合成图像中，将车辆图像Pc和通知图像Ps与虚拟视点图像相合成。在此，根据障碍物所在的高度突出显示通知图像Ps。由此，用户能够容易地确认障碍物的位置。
4.效果
根据上述实施例的图像处理设备10包括图像获取单元110、信息获取单元120、生成单元130、合成单元160、确定单元180、以及显示控制单元150。图像获取单元110获取被捕获图像，其中由图像捕获设备20捕获车辆C的环境的图像。信息获取单元120获取关于车辆C的环境中存在的障碍物的检测到的位置的位置信息。生成单元130基于被捕获图像生成虚拟视点图像，在所述虚拟视点图像中，车辆C的环境被从虚拟视点观看。合成单元160将提供在检测到的位置处存在障碍物的通知的通知图像Ps与虚拟视点图像相合成。显示控制单元150基于所述位置信息，控制与所述虚拟视点图像合成的通知图像Ps的显示格式。
由此，用户能够更容易地识别障碍物。
根据上述实施例的图像处理设备10的显示控制单元150基于所述位置信息突出显示通知图像Ps。
由此，能够正确地通知用户障碍物的位置。
根据上述实施例的图像处理设备10的信息获取单元120从检测障碍物的检测设备(雷达设备30)获取关于检测位置的信息。合成单元160将指示检测设备(雷达设30)的检测范围的范围图像R与所述虚拟视点图像相合成。
由此，用户能够识别检测设备的检测范围，以便能够容易地确认是否检测到障碍物。
根据上述实施例的图像处理设备10的合成单元160将看上去被呈现在地面上的范围图像R与所述虚拟视点图像相合成。
由此，用户能够更容易地识别雷达设备30的检测范围。
根据上述实施例的图像处理设备10的合成单元160将包括多个所述检测设备(毫米波雷达30a至30d)的检测范围的边界线的范围图像R与所述虚拟视点图像相合成。
由此，用户能够更容易地识别多个毫米波雷达30a至30d的检测范围。
根据上述实施例的图像处理设备10的合成单元160在预定角度范围内将范围图像R与所述虚拟视点图像相合成，并且基于所述位置信息改变所述预定角度。
由此，能够正确地向用户呈现范围图像R。
根据上述实施例的图像处理设备10进一步包括确定单元180，在所述障碍物在所述虚拟视点图像上的显示位置不同于所述检测到的位置的情况下，确定单元180确定所述障碍物位于比地面高的位置处。在确定单元180确定所述障碍物位于比地面高的位置处的情况下，显示控制单元150控制与所述虚拟视点图像合成的通知图像Ps的显示格式。
由此，图像处理设备10能够确定障碍物是否位于比地面高的位置处。此外，图像处理设备10基于确定的结果来控制通知图像Ps的显示格式，从而能够更正确地根据风险执行有关障碍物的通知。

Claims (8)

1.一种图像处理设备，包括：
图像获取单元，其获取被捕获图像，其中由图像捕获设备捕获车辆的环境的图像；
信息获取单元，其获取关于所述车辆的环境中存在的障碍物的检测到的位置的位置信息；
生成单元，其基于所述被捕获图像生成虚拟视点图像，在所述虚拟视点图像中，所述车辆的环境被从虚拟视点观看；
合成单元，其将提供在所述检测到的位置处存在所述障碍物的通知的通知图像与所述虚拟视点图像相合成；以及
显示控制单元，其基于所述位置信息来控制与所述虚拟视点图像合成的所述通知图像的显示格式。
2.根据权利要求1所述的图像处理设备，其中所述显示控制单元基于所述位置信息突出显示所述通知图像。
3.根据权利要求1或2所述的图像处理设备，其中
所述信息获取单元从检测所述障碍物的检测设备获取所述位置信息；以及
所述合成单元将指示所述检测设备的检测范围的范围图像与所述虚拟视点图像相合成。
4.根据权利要求3所述的图像处理设备，其中所述合成单元将看上去被呈现在地面上的所述范围图像与所述虚拟视点图像相合成。
5.根据权利要求3所述的图像处理设备，其中所述合成单元将包括多个所述检测设备的所述检测范围的边界线的所述范围图像与所述虚拟视点图像相合成。
6.根据权利要求3所述的图像处理设备，其中所述合成单元在预定角度范围内将所述范围图像与所述虚拟视点图像相合成，并且基于所述位置信息改变所述预定角度。
7.根据权利要求1或2所述的图像处理设备，进一步包括
确定单元，其在所述障碍物在所述虚拟视点图像上的显示位置不同于所述检测到的位置的情况下，确定所述障碍物位于比地面高的位置处，其中
所述显示控制单元在所述确定单元确定所述障碍物位于比地面高的位置处的情况下，控制与所述虚拟视点图像合成的所述通知图像的显示格式。
8.一种图像处理方法，包括：
获取被捕获图像，其中由图像捕获设备捕获车辆的环境的图像；
获取关于所述车辆的环境中存在的障碍物的检测到的位置的位置信息；
基于所述被捕获图像生成虚拟视点图像，在所述虚拟视点图像中，所述车辆的环境被从虚拟视点观看；
将指示所述检测到的位置处的所述障碍物的障碍物图像与所述虚拟视点图像相合成，并且将车辆图像与所述虚拟视点图像相合成以生成合成图像；以及
基于所述位置信息来控制与所述合成图像合成的所述障碍物图像的显示格式。
CN201711403798.4A 2017-01-04 2017-12-22 图像处理设备和图像处理方法 Active CN108267738B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017000248A JP6501805B2 (ja) 2017-01-04 2017-01-04 画像処理装置および画像処理方法
JP2017-000248 2017-01-04

Publications (2)

Publication Number Publication Date
CN108267738A true CN108267738A (zh) 2018-07-10
CN108267738B CN108267738B (zh) 2021-12-31

Family

ID=62568064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711403798.4A Active CN108267738B (zh) 2017-01-04 2017-12-22 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US10343603B2 (zh)
JP (1) JP6501805B2 (zh)
CN (1) CN108267738B (zh)
DE (1) DE102017130118B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470465A (zh) * 2018-07-30 2021-03-09 Jvc建伍株式会社 俯瞰图像生成装置、俯瞰图像生成方法以及程序

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7354649B2 (ja) 2019-07-26 2023-10-03 株式会社アイシン 周辺監視装置
CN110682907B (zh) * 2019-10-17 2021-06-01 四川大学 一种汽车防追尾控制***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105579A1 (en) * 2001-03-28 2004-06-03 Hirofumi Ishii Drive supporting device
US20070003162A1 (en) * 2004-03-11 2007-01-04 Olympus Corporation Image generation device, image generation method, and image generation program
US20100290774A1 (en) * 2009-05-14 2010-11-18 Fujitsu Ten Limited On-vehicle lighting apparatus
JP4850531B2 (ja) * 2006-02-13 2012-01-11 アルパイン株式会社 車載レーダ装置
CN105398389A (zh) * 2015-12-23 2016-03-16 安徽安凯汽车股份有限公司 一种汽车安全驾驶辅助检测***及方法
CN106169061A (zh) * 2015-05-21 2016-11-30 富士通天株式会社 图像处理设备和图像处理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4039321B2 (ja) * 2003-06-18 2008-01-30 株式会社デンソー 車両用周辺表示装置
JP4677847B2 (ja) * 2005-08-01 2011-04-27 日産自動車株式会社 車両用周囲監視装置及び車両周囲監視方法
JP5146674B2 (ja) * 2008-08-22 2013-02-20 トヨタ自動車株式会社 レーダ干渉回避装置、及びレーダ干渉回避方法
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP2012065225A (ja) * 2010-09-17 2012-03-29 Panasonic Corp 車載用画像処理装置、周辺監視装置、および、車両
JP2012138876A (ja) 2010-12-28 2012-07-19 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像表示方法
JP2012188057A (ja) 2011-03-14 2012-10-04 Panasonic Corp 表示装置
JP5516997B2 (ja) 2011-06-09 2014-06-11 アイシン精機株式会社 画像生成装置
JP6019959B2 (ja) 2012-09-06 2016-11-02 富士通株式会社 物体検出装置、物体検出プログラムおよび車両
JP5933004B2 (ja) * 2014-04-25 2016-06-08 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法
EP3160138B1 (en) * 2014-06-20 2021-03-17 Clarion Co., Ltd. Image synthesis system, image synthesis device therefor, and image synthesis method
JP6287704B2 (ja) * 2014-09-04 2018-03-07 株式会社デンソー 運転支援装置
JP6548900B2 (ja) * 2015-01-20 2019-07-24 株式会社デンソーテン 画像生成装置、画像生成方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105579A1 (en) * 2001-03-28 2004-06-03 Hirofumi Ishii Drive supporting device
US20070003162A1 (en) * 2004-03-11 2007-01-04 Olympus Corporation Image generation device, image generation method, and image generation program
JP4850531B2 (ja) * 2006-02-13 2012-01-11 アルパイン株式会社 車載レーダ装置
US20100290774A1 (en) * 2009-05-14 2010-11-18 Fujitsu Ten Limited On-vehicle lighting apparatus
CN106169061A (zh) * 2015-05-21 2016-11-30 富士通天株式会社 图像处理设备和图像处理方法
CN105398389A (zh) * 2015-12-23 2016-03-16 安徽安凯汽车股份有限公司 一种汽车安全驾驶辅助检测***及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470465A (zh) * 2018-07-30 2021-03-09 Jvc建伍株式会社 俯瞰图像生成装置、俯瞰图像生成方法以及程序
CN112470465B (zh) * 2018-07-30 2023-09-29 Jvc建伍株式会社 俯瞰图像生成装置以及计算机可读存储介质

Also Published As

Publication number Publication date
JP2018109875A (ja) 2018-07-12
DE102017130118A1 (de) 2018-07-05
CN108267738B (zh) 2021-12-31
DE102017130118B4 (de) 2020-10-29
US20180186287A1 (en) 2018-07-05
JP6501805B2 (ja) 2019-04-17
US10343603B2 (en) 2019-07-09

Similar Documents

Publication Publication Date Title
JP5505702B2 (ja) 車両周辺監視装置
US9073482B2 (en) Image display system, image processing apparatus, and image display method
CN108268833A (zh) 图像处理设备和图像处理方法
CN108267738A (zh) 图像处理设备和图像处理方法
CN106573588B (zh) 驾驶辅助装置、驾驶辅助方法和程序
JPH05242391A (ja) 車両用障害物検出装置
JP7064163B2 (ja) ３次元情報取得システム
US20200167996A1 (en) Periphery monitoring device
JP6177006B2 (ja) カメラ較正装置、およびカメラ較正方法
JP2013239015A (ja) 駐車支援装置、駐車支援方法およびプログラム
WO2021106197A1 (ja) 物体認識装置及び物体認識方法
JP2018181338A (ja) 自律走行する走行車の動作方法
JP2013018406A (ja) 駐車枠の認識装置、駐車枠の認識方法、及び、プログラム
AU2020226982A1 (en) Work vehicle multi-camera vision systems
JP5223563B2 (ja) 警告装置及び警告方法
JP4754283B2 (ja) 監視システム及び設定装置
JP5374549B2 (ja) 車両周辺監視装置
US7710310B2 (en) Detection system, method for detecting objects and computer program therefor
JP2013062657A (ja) 画像表示システム、画像表示装置、画像表示方法、及び画像表示プログラム
JPH0880791A (ja) 車載用後方確認装置
JP6999239B2 (ja) 画像処理装置および画像処理方法
JP2010187413A (ja) 車両用表示装置
JPH095078A (ja) 車両周囲監視モニタ
JP2019104311A (ja) 駐車支援装置および車両
JP2019051811A (ja) 駐車支援装置および車両

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220111

Address after: Aichi Prefecture, Japan

Patentee after: DENSO Corp.

Patentee after: Toyota Motor Corp.

Address before: Japan Hyogo Prefecture

Patentee before: DENSO TEN LTD.

Patentee before: Toyota Motor Corp.