CN112912944A - 图像处理装置、摄像头、移动体以及图像处理方法 - Google Patents

图像处理装置、摄像头、移动体以及图像处理方法 Download PDF

Info

Publication number
CN112912944A
CN112912944A CN201980069381.XA CN201980069381A CN112912944A CN 112912944 A CN112912944 A CN 112912944A CN 201980069381 A CN201980069381 A CN 201980069381A CN 112912944 A CN112912944 A CN 112912944A
Authority
CN
China
Prior art keywords
display
processor
obstacle
specific portion
travel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980069381.XA
Other languages
English (en)
Other versions
CN112912944B (zh
Inventor
平田明史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to CN202310092021.XA priority Critical patent/CN116080530A/zh
Publication of CN112912944A publication Critical patent/CN112912944A/zh
Application granted granted Critical
Publication of CN112912944B publication Critical patent/CN112912944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3826—Terrain data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

图像处理装置(10)具有：接口(12)，获取移动体(1)的周边图像；以及处理器(12)，在周边图像上将表示移动体(1)的特定部位在移动体(1)的行进方向上的行进轨迹的显示重叠于与距路面(3)的特定部位的高度对应的位置。在周边图像所包含的存在于移动体(1)的行进方向的障碍物与特定部位的行进轨迹接触的情况下，处理器(12)使表示行进轨迹的显示变形。

Description

图像处理装置、摄像头、移动体以及图像处理方法
相关申请的相互参照
本申请主张2018年10月29日在日本专利申请的日本特愿2018-203062的优先权，并将该在先申请的全部公开内容援引入本申请。
技术领域
本公开涉及图像处理装置、摄像头、移动体以及图像处理方法。
背景技术
在专利文献1中，公开了一种在车辆后退时，在车辆的后方图像上重叠地显示预测轨迹的技术。预测轨迹是车辆的左右轮通过的轨迹。在该技术中，通过在后方图像上以一定间隔的阶梯状地重叠预测轨迹，从而驾驶员能够识别距离。
现有技术文献
专利文献
专利文献1：日本特开平11-334470号公报
发明内容
一个实施方式的图像处理装置具有：接口，获取移动体的周边图像；以及处理器，在所述周边图像上将表示所述移动体的特定部位在所述移动体的行进方向上的行进轨迹的显示重叠于与距路面的所述特定部位的高度对应的位置。在所述周边图像所包含的存在于所述移动体的行进方向的障碍物与所述特定部位的行进轨迹接触的情况下，所述处理器使表示所述行进轨迹的显示变形。
本公开的实施方式的摄像头具有：拍摄光学***；拍摄元件，对经由所述拍摄光学***而成像的像进行拍摄；接口，获取由所述拍摄元件拍摄到的移动体的周边图像；以及处理器，在所述周边图像上将表示所述移动体的特定部位在所述移动体的行进方向上的行进轨迹的显示重叠于与距路面的所述特定部位的高度对应的位置。在所述周边图像所包含的存在于所述移动体的行进方向的障碍物与所述特定部位的行进轨迹接触的情况下，所述处理器使表示所述行进轨迹的显示变形。
本公开的实施方式的移动体具有显示部以及对所述移动体的周边进行拍摄的摄像头。所述摄像头具有：拍摄光学***；拍摄元件，对经由所述拍摄光学***而成像的像进行拍摄；接口，获取由所述拍摄元件拍摄到的移动体的周边图像；以及处理器，在所述周边图像上将表示所述移动体的特定部位在所述移动体的行进方向上的行进轨迹的显示重叠于与距路面的所述特定部位的高度对应的位置。在所述周边图像所包含的存在于所述移动体的行进方向的障碍物与所述特定部位的行进轨迹接触的情况下，所述处理器使表示所述行进轨迹的显示变形。
本公开的实施方式的图像处理方法用于图像处理装置，包括：获取移动体的周边图像的步骤；在所述周边图像上将表示所述移动体的特定部位在所述移动体的行进方向上的行进轨迹的显示重叠于与距路面的所述特定部位的高度对应的位置的步骤；以及在所述周边图像所包含的存在于所述移动体的行进方向的障碍物与所述特定部位的行进轨迹接触的情况下，使表示所述行进轨迹的显示变形的步骤。
附图说明
图1是表示图像处理装置的结构例的图。
图2是表示在周边图像上重叠表示行进轨迹的显示的一例的图。
图3是用于说明在周边图像上重叠表示行进轨迹的显示的图。
图4是表示在路面上存在障碍物的情况下的、在周边图像上重叠表示行进轨迹的显示的一例的图。
图5是表示在路面上方存在障碍物的情况下的、在周边图像上重叠表示行进轨迹的显示的一例的图。
图6是表示在路面上方存在障碍物的情况下的、在周边图像上重叠表示行进轨迹的显示的另一例的图。
图7是用于说明在路面存在高低差的情况下的、在周边图像上重叠表示行进轨迹的显示的一例的图。
图8是用于说明在路面存在高低差的情况下的、表示行进轨迹的显示的校正的一例的图。
图9是表示在路面存在高低差的情况下的、在周边图像上重叠表示行进轨迹的显示的另一例的图。
图10是用于说明在路面存在高低差的情况下的、表示行进轨迹的显示的校正的另一例的图。
图11是用于说明距障碍物的距离以及障碍物的方向的计算的图。
图12是用于说明在路面存在高低差的情况下的、表示行进轨迹的显示的校正的另一例的图。
图13是用于说明在路面存在高低差的情况下的、表示行进轨迹的显示的校正的另一例的图。
图14是用于说明图像处理装置中的图像处理方法的流程图。
具体实施方式
以下，公开了一种能够使用户识别有无与存在于移动体的行进方向上的障碍物在高度方向上碰撞的可能性的图像处理装置、摄像头、移动体以及图像处理方法等。
以下，参照附图对本公开的实施方式进行例示说明。在各附图中，相同附图标记表示相同或同等的构成要素。
图1是表示本公开的一个实施方式的图像处理装置10的结构例的图。本实施方式的图像处理装置10如图1所示搭载于移动体1。图像处理装置10在对移动体1的周边进行拍摄而得到的周边图像上重叠表示移动体1的特定部位在移动体1的行进方向上的行进轨迹的显示。
移动体1例如是车辆。车辆包括汽车以及工业车辆，但不限于此，也可以包括铁路车辆、生活车辆以及行驶在跑道上的固定翼飞机。汽车包括乘用车、卡车、公共汽车、摩托车以及无轨电车等，但不限于此，也包括行驶在道路上的其他车辆。工业车辆包括面向农业以及面向建筑业的工业车辆。工业车辆包括叉车以及高尔夫球车，但不限于此。面向农业的工业车辆包括拖拉机、耕种机、移植机、收割扎束机、联合收割机以及割草机，但不限于此。面向建筑业的工业车辆包括推土机、铲土机、铲车、吊车、翻斗车以及压路机，但不限于此。车辆包括靠人力行驶的车辆。需要说明的是，车辆的分类不限于上述。例如，汽车可以包括能够在道路行驶的工业车辆，可以在多种分类中包括相同的车辆。
图1所示的图像处理装置10具有接口12、处理器13以及存储器14。在移动体1搭载有获取移动体1的周边图像的拍摄部11。图像处理装置10以及拍摄部11构成搭载于移动体1的摄像头1A。
首先，对拍摄部11进行说明。
拍摄部11是搭载于移动体1的车载摄像头。拍摄部11获取对移动体1的周边进行拍摄而得到的周边图像。拍摄部11也可以在移动体1上搭载有复数台。例如，在移动体1上搭载有四台车载摄像头的情况下，例如，在能够拍摄移动体1的前方的周边区域和移动体1的前侧面中的至少一部分的位置、在能够拍摄移动体1的后方的周边区域和移动体1的后侧面中的至少一部分的位置、在能够拍摄移动体1的左侧方的周边区域和移动体1的左侧面中的至少一部分的位置、以及在能够拍摄移动体1的右侧方的周边区域和移动体1的右侧面中的至少一部分的位置分别配置拍摄部11。通过这样的配置，能够拍摄移动体1的四方的周边区域。
拍摄部11至少具有拍摄光学***11a和拍摄元件11b。
拍摄光学***11a例如包括一个以上的透镜以及光圈等光学构件。拍摄光学***11a所具备的透镜例如也可以是鱼眼透镜等视角光的透镜。拍摄光学***11a使被拍摄体像在拍摄元件11b的受光面上成像。拍摄元件11b例如包括CCD(Charge Coupled Device：电荷耦合器件)图像传感器或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)图像传感器等。在拍摄元件11b的受光面上排列有复数个像素。拍摄元件11b生成对在受光面上成像的被拍摄体像进行拍摄而得到的拍摄图像。拍摄部11也可以向搭载于移动体1的ECU(Electronic Control Unit：电子控制单元)、显示器以及导航装置等外部装置输出周边图像。另外，拍摄部11也可以具有对周边图像实施白平衡调整处理、曝光调整处理以及伽马校正处理等规定的图像处理的功能。
接下来，对图像处理装置10所具备的结构进行说明。
接口12经由有线或者无线与移动体1所具备的各种结构进行通信。例如，接口12获取拍摄部11拍摄到的周边图像，向处理器13输出。
处理器13例如包括DSP(Digital Signal Processor：数字信号处理器)等专用处理器或者CPU(Central Processing Unit：中央处理单元)等通用处理器。处理器13控制图像处理装置10整体的动作。例如，处理器13在接口12获取到的周边图像上，将表示移动体1的特定部位在移动体1的行进方向上的行进轨迹的显示重叠于与距路面的特定部位的高度对应的位置。然后，在检测到周边图像所包含的存在于移动体1的行进方向的障碍物时，在该障碍物与移动体1的特定部位的行进轨迹接触的情况下，处理器13使表示行进轨迹的显示变形。
处理器13将重叠了表示移动体1的特定部位的行进轨迹的显示的周边图像显示于例如移动体1所具备的显示部15。另外，在障碍物与移动体1的特定部位的行进轨迹接触的情况下，处理器13也可以将表示接触的危险性的信号向外部输出。例如，在障碍物与移动体1的特定部位的行进轨迹接触的情况下，处理器13也可以使搭载于移动体1的蜂鸣器输出警告音。在移动体1具备通过声波检测周边的障碍物的声纳的情况下，若障碍物与移动体1的特定部位的行进轨迹不接触，则即使通过声纳检测到与障碍物的接触的可能性，处理器13也可以不进行警告音等的输出。
移动体1的特定部位是指相对于移动体1的移动在高度方向上受到限制的部位。例如，特定部位是移动体1的车体的底面或者车体的上表面。在移动体1是车辆的情况下，特定部位例如是车辆的保险杠底面、车辆的车顶、或者设置于车辆的车顶的设置物等。
存储器14例如包括一次存储装置或二次存储装置等。存储器14存储图像处理装置10的动作所需的各种信息以及程序。
对图像处理装置10的动作进行说明。
图2是表示基于处理器13在周边图像上重叠表示移动体1的特定部位在移动体1的行进方向上的行进轨迹的显示的一例的图。此外，以下，在移动体1后退的情况下，在移动体1的后方的周边图像重叠表示移动体1的特定部位的行进轨迹的显示的情况为例进行说明。另外，在图2中，移动体1的特定部位设为保险杠2的底面。
如图2所示，处理器13在周边图像上重叠表示保险杠2的底面的行进轨迹的显示100。处理器13在周边图像上在与距路面3的保险杠2的底面的高度对应的位置重叠表示保险杠2的底面的行进轨迹的显示100(表示移动体1的车体的底面的行进轨迹的显示)。
图3是用于说明基于处理器13在周边图像上重叠表示行进轨迹的显示的图，是从侧面观察移动体1时的图。以下，说明在从侧面观察移动体1时的侧面图假想地图示重叠于周边图像的表示行进轨迹的显示。
如图3所示，处理器13将从保险杠2的底面2a朝向移动体1的行进方向延伸的平面状的、表示保险杠2的底面2a的行进轨迹的显示100重叠于周边图像。处理器13将表示行进轨迹的显示例如作为规定的颜色的平面而重叠于周边图像。处理器13也可以使该平面为半透明或网格状，并重叠于周边图像。
处理器13检测在移动体1的行进方向上是否存在障碍物。作为检测是否存在障碍物的检测方法，例如有通过朝向移动体1的行进方向拍摄到的周边图像的图像分析来检测的方法，但不限于此，能够使用任意的方法。以下，如图3所示，假设路面3上例如存在挡车器等障碍物200。
当检测到在移动体1的行进方向上存在的障碍物200时，处理器13判定在周边图像中障碍物200的像与表示行进轨迹的显示100是否接触。表示行进轨迹的显示100重叠于与保险杠2的底面2a距路面3的高度对应的位置。因此，处理器13根据障碍物200的像是否比表示移动体1的特定部位的行进轨迹的显示100高，来判定障碍物200的像与表示行进轨迹的显示100是否接触。即，处理器13判定障碍物200与移动体1的特定部位(保险杠2的底面2a)是否接触。
当判定为障碍物200与移动体1的特定部位接触时，如图4所示，处理器13使表示行进轨迹的显示100的一部分变形。具体而言，处理器13使表示行进轨迹的显示100中的、与周边图像所包含的障碍物200的像接触的部分变形。在图4中，如虚线圆圈所示，处理器13使表示与周边图像所包含的障碍物200的像接触的部分的行进轨迹的显示100宛如以进入障碍物200的方式发生变形。
在障碍物200的高度低于移动体1的保险杠2的底面2a的情况下，障碍物200与移动体1的保险杠2的底面2a不接触。假设仅在周边图像上重叠预测轨迹，则无法使用户识别存在于路面3上的障碍物200与移动体1的高度方向的接触的可能性。但是，在本公开中，处理器13在周边图像上将表示移动体1的特定部位的行进轨迹的显示100重叠于与特定部位的高度对应的位置。然后，在障碍物200与特定部位的行进轨迹接触的情况下，处理器13使表示行进轨迹的显示100变形。这样一来，能够使用户容易地识别存在于路面3上的障碍物200与移动体1在高度方向上有无接触的可能性。
图5是表示基于处理器13在周边图像上重叠表示移动体1的特定部位的行进轨迹的显示的另一例的图。在图5中，移动体1的特定部位是设置于车辆的车顶后方的后扰流板4。另外，在图5中，在路面3的上方存在障碍物201。
如图5所示，处理器13在周边图像上重叠表示保险杠2的底面的行进轨迹的显示100。另外，处理器13在周边图像上在与后扰流板4的上表面距路面3的高度对应的位置重叠表示后扰流板4的行进轨迹的显示101(表示移动体1的车体的上表面的行进轨迹的显示)。
当检测到障碍物201时，处理器13判定在周边图像上障碍物201的像与表示行进轨迹的显示101是否接触。表示行进轨迹的显示101重叠于与后扰流板4距路面3的高度对应的位置。因此，处理器13根据障碍物201的像是否比表示移动体1的特定部位的行进轨迹的显示101高，来判定障碍物201与表示行进轨迹的显示101是否接触。即，处理器13判定障碍物201与移动体1的特定部位(后扰流板4)是否接触。
若判定为障碍物201与移动体1的特定部位接触，则如图5所示，处理器13使表示行进轨迹的显示101的一部分变形。具体而言，处理器13使表示行进轨迹的显示101中的、与周边图像所包含的障碍物201的像接触的部分变形。在图5中，如虚线圆圈所示，处理器13使表示行进轨迹的显示101变形，以使表示行进轨迹的显示101中的与障碍物201的像接触的部分被压扁。
在障碍物201的高度高于移动体1的后扰流板4的情况下，障碍物201与后扰流板4不接触。假设仅在周边图像上重叠预测轨迹，无法使用户识别存在于路面3的上方的障碍物201与移动体1的高度方向的接触的可能性。但是，在本公开中，处理器13在周边图像上将表示移动体1的特定部位的行进轨迹的显示101重叠于与特定部位的高度对应的位置。然后，在障碍物201与特定部位的行进轨迹接触的情况下，处理器13使表示行进轨迹的显示101变形。这样一来，能够使用户识别障碍物201与移动体1在高度方向上有无接触的可能性。
在移动体1与障碍物接触的情况下，处理器13也可以将表示接触的危险性的显示重叠于周边图像或者将表示接触的危险性的信号向外部输出。例如，处理器13也可以将表示接触的危险性的信号经由接口12向搭载于移动体1的蜂鸣器输出，使蜂鸣器鸣动。
另外，在移动体1与障碍物不接触的情况下，处理器13也可以计算移动体1的特定部位与障碍物的高度之差，如图6所示，将表示计算出的差的显示102重叠于周边图像。在图6中示出了将表示后扰流板4与障碍物201的高度之差的显示102重叠于周边图像的例子。
至此，以路面3平坦的情况为例进行了说明，但也有路面3存在高低差的情况。以下，说明在路面3存在高低差的情况下在周边图像上重叠表示行进轨迹的显示。
图7是表示从侧面观察移动体1时的例子的图。在图7中，路面3例如由水平的路面3a、位于比路面3a低的位置的水平路面3b、以及连接路面3a和路面3b的下坡斜面的路面3c构成。在图7中，移动体1从路面3a经由路面3c朝向路面3b移动。另外，在路面3b上存在障碍物200。障碍物200的高度高于保险杠2的底面2a距路面3的高度。即，在路面3b上，障碍物200与保险杠2的底面2a接触。另外，在移动体1存在于路面3a的状态下，障碍物200的上端位于比保险杠2的底面2a低的位置。
如图7所示，在移动体1存在于路面3a的情况下，考虑如下方法：在与保险杠2的底面2a距路面3a的高度对应的位置，将朝向移动体1的行进方向延伸的平面状的表示行进轨迹的显示100重叠于周边图像。如上所述，在移动体1存在于路面3a的状态下，障碍物200的上端位于比保险杠2的底面2a更低的位置。因此，如图7所示，在移动体1存在于路面3a的状态下，表示行进轨迹的显示100与障碍物200不接触。即，当由用户观察时，看起来移动体1与障碍物200不接触。然而，如上所述，在路面3b上，障碍物200与保险杠2的底面2a接触。因此，在这样的方法中，无法使用户正确地识别移动体1与障碍物200的接触的可能性。
处理器13根据路面3的高低差，对表示行进轨迹的显示进行校正。具体而言，处理器13根据路面3的高低差，对表示行进轨迹的显示的上下方向的位置进行校正。以下，参照图8和图9对表示行进轨迹的显示的校正进行说明。
如图8所示，将设置于移动体1的拍摄部11距路面3的高度设为H。拍摄部11距路面3的高度为H，是固有的值，是已知的。另外，将拍摄部11距路面3b的高度设为h2。另外，将表示行进轨迹的显示的高度方向的校正值设为x。校正值x与路面3c的高度对应。另外，将从拍摄部11到障碍物200的距离设为d。距离d是拍摄部11与从拍摄部11观察到的障碍物200和路面3b的接触点之间的距离。另外，将水平方向与从拍摄部11朝向障碍物200的方向所成的角度设为β。
在检测到障碍物200时，处理器13求出距离d和角度β。关于求出距离d和角度β的方法的详细情况将在后面说明。处理器13基于求出的距离d以及角度β，按照以下的式(1)，计算出拍摄部11距路面3b的高度h2。
h2＝d×sinβ……式(1)
当计算出拍摄部11距路面3b的高度h2时，处理器13按照以下的式(2)计算校正值x。
x＝h2-H……式(2)
处理器13基于计算出的校正值x，对表示保险杠2的底面2a的行进轨迹的显示100进行校正。具体而言，如图8和图9所示，处理器13在与保险杠2的底面2a距路面3a的高度对应的位置，将朝向移动体1的行进方向延伸的平面状的表示行进轨迹的显示100a重叠于周边图像。另外，处理器13在比表示行进轨迹的显示100a低校正值x的位置，将从障碍物200的近前朝向障碍物200延伸的平面状的表示行进轨迹的显示100b重叠于周边图像。另外，处理器13将连接表示行进轨迹的显示100a和表示行进轨迹的显示100b的表示行进轨迹的显示100c重叠于周边图像。
如图8所示，在表示行进轨迹的显示100b与障碍物200接触的情况下，如图9所示，在表示行进轨迹的显示100b与障碍物200接触的部分中，处理器13使表示行进轨迹的显示100b变形。这样一来，即使在路面3存在高低差的情况下，也能够使用户正确地识别障碍物200与移动体1在高度方向上有无接触的可能性。
在图7至图9中使用路面3朝向移动体1的行进方向呈下坡的例子进行了说明，但如图10所示，即使在路面3朝向移动体1的行进方向呈上坡的情况下，处理器13也通过同样的方法计算校正值x。
在图10中示出了路面3由水平的路面3a、位于比路面3a高的位置的水平的路面3b、以及连接路面3a和路面3b的作为上坡斜面的路面3c构成的例子。
如图10所示，即使在路面3呈上坡的情况下，处理器13也按照上述的式(1)和式(2)来计算校正值x。然后，处理器13基于计算出的校正值x对表示行进轨迹的显示100进行校正。具体而言，处理器13在与保险杠2的底面2a距路面3a的高度对应的位置，将朝向移动体1的行进方向呈平面状的表示行进轨迹的显示100a重叠于周边图像。另外，处理器13在比表示行进轨迹的显示100a高出校正值x的位置，将从障碍物200的近前朝向障碍物200延伸的平面状的表示行进轨迹的显示100b重叠于周边图像。另外，处理器13将连接表示行进轨迹的显示100a和表示行进轨迹的显示100b的表示行进轨迹的显示100c重叠于周边图像。这样一来，即使在路面3是上坡的情况下，处理器13也能够使用户正确地识别障碍物200与移动体1在高度方向上有无接触的可能性。
对上述的求出距离d以及角度β的方法进行说明。
处理器13例如使用立体摄像头、Lidar(Light Detection and Ranging：光探测和测距)装置或者红外线传感器等，检测距离d以及角度β。Lidar装置是指通过射出脉冲状的激光并测量该激光的散射光来检测到对象的距离等的装置。另外，处理器13也可以使用参照图11说明的计算方法，计算距离d以及角度β。
如图11所示，考虑以拍摄部11所具备的透镜的光学中心为原点O的三维坐标系(XYZ坐标系)。在图11中，设拍摄部11的光轴与Z轴一致。另外，将Z轴方向上的拍摄部11所具备的透镜的焦点距离设为f。另外，伴随着移动体1的移动，从拍摄部11观察时，在Z轴上的距原点O的距离为Z0的平面上，障碍物的特征点从位置P1(X1，Y1，Z1)向位置P2(X2，Y2，Z2)在相对于直行方向旋转了角度θ的方向上移动了移动量ΔD。角度θ以及移动量ΔD根据移动体1的移动量是已知的。在该情况下，在Z轴方向上，在距原点O的距离为焦点距离f的U-V平面中，障碍物的特征点从p1(u1，v1)向p2(u2，v2)移动。
在图11所示的坐标系中，处理器13按照以下的式(3)来计算Z0。
f：Z0＝|u2-u1|：ΔD……式(3)
接着，处理器13按照以下的式(4)至式(6)来计算位置P2(X2，Y2，Z2)的坐标。
[数1]
Figure BDA0003030256160000111
Figure BDA0003030256160000112
Figure BDA0003030256160000113
然后，处理器13基于计算出的位置P2(X2，Y2，Z2)的坐标来计算距离d以及角度β。
在图8至图10中，对在路面3存在高低差的情况下的表示移动体1的车体的底面(保险杠2的底面2a)的行进轨迹的显示100的校正进行了说明。在路面3存在高低差的情况下，处理器13也可以基于校正值x来校正表示移动体1的车体的上表面的行进轨迹的显示101。以下，参照图12对表示移动体1的车体的上表面的行进轨迹的显示101的校正进行说明。
在图12中，路面3由水平的路面3a、位于比路面3a低的位置的水平的路面3b、以及连接路面3a和路面3b的作为下坡斜面的路面3c构成。另外，假设在路面3b的上方存在障碍物201。另外，在移动体1存在于路面3a上的状态下，设移动体1的车顶6高于障碍物201的底面。即，在移动体1存在于路面3a上的状态下从移动体1观察障碍物201时，看起来移动体1的车顶6与障碍物201接触。
处理器13通过与参照图8进行了说明的方法同样的方法，计算校正值x。但是，在图12中，处理器13计算障碍物201距移动体1最近的端部201a的正下方的路面3b上的点3b’与拍摄部11之间的距离作为距离d。另外，处理器13计算水平方向与从拍摄部11朝向点3b’的方向所成的角度作为角度β。障碍物201的端部201a的正下方的路面3b上的点3b’例如根据拍摄部11拍摄到的周边图像求出。
接着，处理器13对表示移动体1的车体的上表面(车顶6)的行进轨迹的显示101进行校正。具体而言，处理器13在与车顶6的后方的端部6a距路面3a的高度对应的位置，将朝向移动体1的行进方向延伸的平面状的表示行进轨迹的显示101a重叠于周边图像。另外，处理器13在比表示行进轨迹的显示101a低校正值x的位置，将从障碍物201的近前朝向障碍物201延伸的平面状的表示行进轨迹的显示101b重叠于周边图像。另外，处理器13将连接表示行进轨迹的显示101a和表示行进轨迹的显示101b的表示行进轨迹的显示101c重叠于周边图像。由此，根据路面3的高低差对表示移动体1的车体的上表面的行进轨迹的显示101进行校正。
在图12中示出了障碍物201与表示行进轨迹的显示101b不接触的例子，但在障碍物201与表示行进轨迹的显示101b接触的情况下，处理器13也可以使表示行进轨迹的显示101b的一部分变形。
例如，如下判定障碍物201与表示行进轨迹的显示101b是否接触。如图12所示，将从拍摄部11到障碍物201的高度设为H’，将从拍摄部11到障碍物201的端部201a的距离设为D，将水平方向与从拍摄部11朝向障碍物201的端部201a的方向所成的角设为α。另外，将移动体1的车顶6距路面3的高度设为h3。
处理器13计算距离D以及角度α。距离D以及角度α通过参照图10说明的方法来计算。处理器13按照以下的式(7)计算从拍摄部11到障碍物201的高度H’。
H’＝D×sinα……式(7)
如图12所示，障碍物201的底面的高度表示为H+H’。处理器13通过对障碍物201的高度(H+H’)和车顶6的高度h3进行比较，来判定障碍物201与表示行进轨迹的显示101b是否接触。
在图12中示出了移动体1的车顶6的端部6a位于与轮胎7的路面3的接地点的正上方或其附近的例子，但在移动体1中，有移动体1的车顶6的端部6a设置于比轮胎7与路面3的接地点靠后方的位置。以下，参照图13，对将车顶6的端部6a设置于比轮胎7与路面3的接地点靠后方的移动体1中的在周边图像上重叠表示行进轨迹的显示101进行说明。在图13中，与图12同样地，在移动体1存在于路面3a上的状态下，移动体1的车顶6高于障碍物201的底面。即，在移动体1存在于路面3a上的状态下，当从移动体1观察障碍物201时，看起来移动体1的车顶6与障碍物201接触。
在图13中，移动体1的车顶6的端部6a设置在比轮胎7与路面3的接地点靠后距离L的位置。距离L是固有的值，是已知的。
首先，处理器13计算校正值x。接着，处理器13判定从障碍物201的端部201a的正下方的路面3b上的点3b’朝向移动体1距离L的地点的高度与轮胎7的接地点的高度是否相同。
如上所述，在图13中，在移动体1存在于路面3a上的状态下，移动体1的车顶6高于障碍物201的底面。因此，在从路面3b上的点3b’朝向移动体1距离L的地点位于路面3a上的情况下，若移动体1移动至该地点，则导致移动体1的车顶6的端部6a与障碍物201接触。在该情况下，处理器13不进行使用校正值x的表示行进轨迹的显示101的校正，而在与车顶6距路面3的高度对应的位置，将表示从车顶6的端部6a延伸至障碍物201的行进轨迹的显示101重叠于周边图像。由此，能够使用户识别存在与障碍物201接触的可能性。
接着，参照图14所示的流程图对本实施方式的图像处理装置10中的图像处理方法进行说明。图像处理装置10例如以规定的时间间隔重复图14所示的流程。
接口12获取拍摄部11拍摄到的周边图像(步骤S11)。
处理器13在获取到的周边图像上将表示移动体1的特定部位在移动体1的行进方向上的行进轨迹的显示重叠于与特定部位距路面3的高度对应的位置(步骤S12)。
接着，处理器13判定在移动体1的行进方向上是否存在障碍物(步骤S13)。
在判定为在移动体1的行进方向上不存在障碍物的情况下(步骤S13为否)，处理器13直接进行重叠于周边图像的表示行进轨迹的显示而结束处理。
在判定为在移动体1的行进方向上存在障碍物的情况下(步骤S13为是)，处理器13判定障碍物与移动体1的特定部位的行进轨迹是否接触(步骤S14)。
在判定为障碍物与行进轨迹不接触的情况下(步骤S14为否)，处理器13直接进行重叠于周边图像的表示行进轨迹的显示而结束处理。
在判定为障碍物与行进轨迹接触的情况下(步骤S14为是)，处理器13使表示行进轨迹的显示变形。在此，处理器13使表示行进轨迹的显示中的、周边图像所包含的障碍物的像与特定部位的行进轨迹的显示接触的部分变形。
这样，在本实施方式中，图像处理装置10具有：接口12，获取移动体1的周边图像；以及处理器13，在周边图像上将表示移动体1的特定部位在移动体1的行进方向上的行进轨迹的显示重叠于与距路面的特定部位的高度对应的位置。而且，在周边图像所包含的存在于移动体1的行进方向上的障碍物与特定部位的行进轨迹接触的情况下，处理器13使表示行进轨迹的显示变形。
在周边图像上将表示移动体1的特定部位的行进轨迹的显示重叠于与距路面的特定部位的高度对应的位置，在障碍物与行进轨迹接触的情况下，通过使表示行进轨迹的显示变形，能够使用户更容易地识别移动体1与障碍物在高度方向上的碰撞的可能性。
基于附图和实施例对本公开的一个实施方式进行了说明，需要注意的是，本领域技术人员容易基于本公开进行各种变形和修正。因此，需要注意这些变形和修正包含在本公开的范围内。
附图标记说明
1 移动体
1A 摄像头
2 保险杠
2a 保险杠的底面
3、3a、3b、3c 路面
4 后扰流板
6 车顶
7 轮胎
10 图像处理装置
11 拍摄部
11a 拍摄光学***
11b 拍摄元件
12 接口
13 处理器
14 存储器
15 显示部
100、101 表示行进轨迹的显示
200、201 障碍物

Claims (8)

1.一种图像处理装置，其中，
具有：
接口，获取移动体的周边图像；以及
处理器，在所述周边图像上将表示所述移动体的特定部位在所述移动体的行进方向上的行进轨迹的显示重叠于与距路面的所述特定部位的高度对应的位置，
在所述周边图像所包含的存在于所述移动体的行进方向的障碍物与所述特定部位的行进轨迹接触的情况下，所述处理器使表示所述行进轨迹的显示变形。
2.如权利要求1所述的图像处理装置，其中，
所述处理器使表示所述行进轨迹的显示中的、所述周边图像所包含的所述障碍物的像与所述特定部位的行进轨迹的显示接触的部分变形。
3.如权利要求1或2所述的图像处理装置，其中，
所述特定部位是相对于所述移动体的移动在高度方向上受到限制的部位。
4.如权利要求3所述的图像处理装置，其中，
所述移动体是车辆，
所述特定部位是所述车辆的保险杠底面、所述车辆的车顶、或者设置于所述车辆的车顶的设置物。
5.如权利要求1至4中任一项所述的图像处理装置，其中，
在所述障碍物与所述行进轨迹接触的情况下，所述处理器将表示接触的危险性的显示重叠于所述周边图像，或者将表示接触的危险性的信号向外部输出。
6.一种摄像头，其中，
具有：
拍摄光学***；
拍摄元件，对经由所述拍摄光学***而成像的像进行拍摄；
接口，获取由所述拍摄元件拍摄到的移动体的周边图像；以及
处理器，在所述周边图像上将表示所述移动体的特定部位在所述移动体的行进方向上的行进轨迹的显示重叠于与距路面的所述特定部位的高度对应的位置，
在所述周边图像所包含的存在于所述移动体的行进方向的障碍物与所述特定部位的行进轨迹接触的情况下，所述处理器使表示所述行进轨迹的显示变形。
7.一种移动体，具有显示部以及对所述移动体的周边进行拍摄的摄像头，
所述摄像头具有：
拍摄光学***；
拍摄元件，对经由所述拍摄光学***而成像的像进行拍摄；
接口，获取由所述拍摄元件拍摄到的移动体的周边图像；以及
处理器，在所述周边图像上将表示所述移动体的特定部位在所述移动体的行进方向上的行进轨迹的显示重叠于与距路面的所述特定部位的高度对应的位置，
在所述周边图像所包含的存在于所述移动体的行进方向的障碍物与所述特定部位的行进轨迹接触的情况下，所述处理器使表示所述行进轨迹的显示变形。
8.一种图像处理方法，用于图像处理装置，其中，包括：
获取移动体的周边图像的步骤；
在所述周边图像上将表示所述移动体的特定部位在所述移动体的行进方向上的行进轨迹的显示重叠于与距路面的所述特定部位的高度对应的位置的步骤；以及
在所述周边图像所包含的存在于所述移动体的行进方向的障碍物与所述特定部位的行进轨迹接触的情况下，使表示所述行进轨迹的显示变形的步骤。
CN201980069381.XA 2018-10-29 2019-10-02 图像处理装置、摄像头、移动体以及图像处理方法 Active CN112912944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310092021.XA CN116080530A (zh) 2018-10-29 2019-10-02 图像处理装置、摄像头、移动体以及图像处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-203062 2018-10-29
JP2018203062A JP7088807B2 (ja) 2018-10-29 2018-10-29 画像処理装置、カメラ、移動体および画像処理方法
PCT/JP2019/039011 WO2020090339A1 (ja) 2018-10-29 2019-10-02 画像処理装置、カメラ、移動体および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310092021.XA Division CN116080530A (zh) 2018-10-29 2019-10-02 图像处理装置、摄像头、移动体以及图像处理方法

Publications (2)

Publication Number Publication Date
CN112912944A true CN112912944A (zh) 2021-06-04
CN112912944B CN112912944B (zh) 2023-02-21

Family

ID=70464035

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310092021.XA Pending CN116080530A (zh) 2018-10-29 2019-10-02 图像处理装置、摄像头、移动体以及图像处理方法
CN201980069381.XA Active CN112912944B (zh) 2018-10-29 2019-10-02 图像处理装置、摄像头、移动体以及图像处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310092021.XA Pending CN116080530A (zh) 2018-10-29 2019-10-02 图像处理装置、摄像头、移动体以及图像处理方法

Country Status (5)

Country Link
US (2) US11433810B2 (zh)
EP (1) EP3876214A4 (zh)
JP (2) JP7088807B2 (zh)
CN (2) CN116080530A (zh)
WO (1) WO2020090339A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1371079A (zh) * 2001-02-09 2002-09-25 松下电器产业株式会社 图象合成装置
EP1403138A1 (en) * 2002-09-30 2004-03-31 Aisin Seiki Kabushiki Kaisha Movable body circumstance monitoring apparatus
JP2004147083A (ja) * 2002-10-24 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
CN1928494A (zh) * 2005-09-07 2007-03-14 株式会社日立制作所 驾驶支援装置
CN102696225A (zh) * 2010-01-19 2012-09-26 爱信精机株式会社 车辆周边监视装置
CN106218720A (zh) * 2016-08-24 2016-12-14 北京汽车研究总院有限公司 一种行车轨迹预显示的方法、装置和汽车

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3575279B2 (ja) 1998-05-22 2004-10-13 アイシン精機株式会社 駐車補助装置
JP4350838B2 (ja) * 1999-06-29 2009-10-21 富士通テン株式会社 車両の運転支援装置
JP4499319B2 (ja) * 2001-08-24 2010-07-07 パナソニック株式会社 運転支援装置、運転支援方法および運転ガイドデータ作成方法
JP4052011B2 (ja) * 2002-05-21 2008-02-27 トヨタ自動車株式会社 駐車支援装置
JP2004062380A (ja) * 2002-07-26 2004-02-26 Nissan Motor Co Ltd 車両用障害物接触判定装置
US7298247B2 (en) 2004-04-02 2007-11-20 Denso Corporation Vehicle periphery monitoring system
JP4877813B2 (ja) * 2007-05-10 2012-02-15 アルパイン株式会社 車両運転支援装置
US8350724B2 (en) * 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
JP5501452B2 (ja) * 2010-05-19 2014-05-21 三菱電機株式会社 車両後方監視装置
WO2013081985A1 (en) * 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
GB2518187A (en) * 2013-09-12 2015-03-18 Ford Global Tech Llc Collision warning for a driver controlled vehicle
US20160375831A1 (en) * 2015-06-23 2016-12-29 GM Global Technology Operations LLC Hitching assist with pan/zoom and virtual top-view
DE112017004968T5 (de) * 2016-09-30 2019-06-13 Aisin Seiki Kabushiki Kaisha Umgebungsüberwachungsvorrichtung
JP2018203062A (ja) 2017-06-05 2018-12-27 株式会社ブリヂストン タイヤ
JP6696939B2 (ja) * 2017-07-04 2020-05-20 トヨタ自動車株式会社 周辺画像表示制御装置
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1371079A (zh) * 2001-02-09 2002-09-25 松下电器产业株式会社 图象合成装置
EP1403138A1 (en) * 2002-09-30 2004-03-31 Aisin Seiki Kabushiki Kaisha Movable body circumstance monitoring apparatus
JP2004147083A (ja) * 2002-10-24 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
CN1928494A (zh) * 2005-09-07 2007-03-14 株式会社日立制作所 驾驶支援装置
CN102696225A (zh) * 2010-01-19 2012-09-26 爱信精机株式会社 车辆周边监视装置
CN106218720A (zh) * 2016-08-24 2016-12-14 北京汽车研究总院有限公司 一种行车轨迹预显示的方法、装置和汽车

Also Published As

Publication number Publication date
JP2020071521A (ja) 2020-05-07
US20210394675A1 (en) 2021-12-23
US11924578B2 (en) 2024-03-05
EP3876214A1 (en) 2021-09-08
WO2020090339A1 (ja) 2020-05-07
CN112912944B (zh) 2023-02-21
CN116080530A (zh) 2023-05-09
US11433810B2 (en) 2022-09-06
JP7345601B2 (ja) 2023-09-15
JP2022137030A (ja) 2022-09-21
JP7088807B2 (ja) 2022-06-21
EP3876214A4 (en) 2022-08-03
US20220379809A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
US11756230B2 (en) Vehicular trailer hitching assist system with determination of location of hitch
US10373338B2 (en) Calculation device, camera device, vehicle, and calibration method
CN111696160B (zh) 车载摄像头自动标定方法、设备及可读存储介质
US10558867B2 (en) Image processing apparatus, stereo camera apparatus, vehicle, and image processing method
US10878253B2 (en) Periphery monitoring device
US20210300245A1 (en) Method for detecting an object via a vehicular vision system
US20140009618A1 (en) Lane Departure Warning Device
JP5680436B2 (ja) 車載カメラレンズ用異物付着判定装置
US11165932B2 (en) Imaging apparatus, imaging system, vehicle and foreign matter determination method
CN109389060B (zh) 一种基于视觉的车周碰撞预警方法
JP6456499B2 (ja) 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法
CN112912944B (zh) 图像处理装置、摄像头、移动体以及图像处理方法
JP2018088092A (ja) 画像処理装置、車載システム、車載カメラ、移動体、および画像処理方法
JP3612821B2 (ja) 車載用距離測定装置
US20210403020A1 (en) Vehicular control system with detection and prevention of unintended motion
KR20180081966A (ko) 차량 인식을 통한 영상 교정 방법
EP3540643A1 (en) Image processing apparatus and image processing method
US20230394847A1 (en) Image processing system, image processing method, and storage medium
JP7023212B2 (ja) 画像処理装置、撮像装置、移動体および画像処理方法
US20230375800A1 (en) Semiconductor device and optical structure body
JP2023029065A (ja) 画像処理装置、撮像装置、及び移動体
JP2021086286A (ja) 画像処理装置、撮像装置、および移動体
CA3236544A1 (en) Highly-accurate and self-adjusting imaging sensor auto-calibration for in-vehicle advanced driver assistance system (adas) or other system
KR20190012967A (ko) 긴급 제동 시스템의 제어 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant