CN104285441B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN104285441B
CN104285441B CN201380024639.7A CN201380024639A CN104285441B CN 104285441 B CN104285441 B CN 104285441B CN 201380024639 A CN201380024639 A CN 201380024639A CN 104285441 B CN104285441 B CN 104285441B
Authority
CN
China
Prior art keywords
image
subject
video camera
vehicle
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380024639.7A
Other languages
English (en)
Other versions
CN104285441A (zh
Inventor
藤田伟雄
的场成浩
三次达也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN104285441A publication Critical patent/CN104285441A/zh
Application granted granted Critical
Publication of CN104285441B publication Critical patent/CN104285441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

图像处理装置(81)具有距离信息取得部(35)和图像合成部(30)。距离信息取得部(35)根据由拍摄车辆周边的多个摄像机(10、11、12、13)拍摄到的共同被摄体在多个摄影图像上的位置，计算从车辆的基准位置(O)到共同被摄体的第1被摄体距离，根据第1被摄体距离计算到由多个摄像机(10、11、12、13)中的一个摄像机拍摄到的被摄体的第2被摄体距离。图像合成部(30)根据第1被摄体距离和第2被摄体距离，将以多个摄像机(10、11、12、13)为视点的摄影图像变换成以基准位置(O)为视点的图像，并在一个投影面上连接起来。

Description

图像处理装置
技术领域
本发明涉及车载图像处理装置，利用摄像机拍摄在车辆行驶时产生的死角区域而生成图像，帮助驾驶员确认车辆周围。
背景技术
驾驶员在驾驶车辆时通过视觉进行车辆周围的状况确认。但是，由于存在本车的车体和障碍物，有时产生驾驶员通过视觉不能识别的死角区域。“死角”是指从某个角度无论如何都看不到的范围。在此是指驾驶员看不到的范围。“本车”是指驾驶员乘坐的车辆。为了帮助驾驶员识别这样的死角区域，提出了利用安装于车体的摄像机拍摄车辆周围的图像，并显示在设置于车内的显示装置的画面上的技术。关于这种技术可以列举如下。
专利文献1中记载的技术是，使用侧方摄像机和后方摄像机从各个摄像机图像中切取图像，并进行粘贴来显示。根据车速改变图像的切取范围。在车速较快时，在更宽的范围内切取侧方摄像机的图像。由此，粘贴而成的显示图像的显示区域扩大，能够实现削减死角区域。“侧方摄像机”是指拍摄车辆的左右方向的摄像机。“后方摄像机”是指拍摄车辆的后方的摄像机。“车速”是指车辆的速度。
另外，专利文献2中记载的方式是，将由多个摄像机拍摄到的车辆的周边图像显示在显示装置上，改变显示面积在显示装置的画面中占据的比率而进行合成。能够通过根据方向盘操作的状态改变显示比率，从显示在同一画面的多个摄像图像中使应该关注的图像更醒目。
现有技术文献
专利文献
专利文献1：日本特开2004-312523号公报(第0021～0024段，图2)
专利文献2：日本特开2005-198160号公报(第0030～0038段，图1)
发明内容
发明要解决的问题
但是，在上述专利文献1公开的现有技术中，没有具体披露在进行多个摄像机图像的粘贴时进行视点变换的方法。在独立地进行从各摄像机图像中切取区域和视点变换时，在摄像机图像间的接合部分直线被弯折显示，存在成为从视觉上难以识别被摄体形状的不自然形状的问题。
另外，在上述专利文献2所示的现有技术中，同样是按照方向盘操作等切换待显示的摄像机图像的显示比率。但是，关于图像的视点变换，仅从使朝向一致以使在同时显示的图像彼此间车辆的行进方向相同的观点进行了记载。即，专利文献2所示的现有技术没有考虑到图像间的接合。因此，对于位于多个摄像机的边界区域的被摄体，存在不能正确把握形状，驾驶员难以识别被摄体的问题。
因此，本发明的课题是提供一种图像处理装置，使驾驶员容易确认车辆的周边状况的图像。即，即使在多个摄像机的图像的边界部分，也能够降低被摄体的形状的弯折程度。并且，能够抑制被摄体被重影显示。并且，能够抑制被摄体的显示有缺失。因此，本发明的课题是提供一种图像处理装置，以接近驾驶员实际目视确认时的形状显示画面。
用于解决问题的手段
为了解决上述课题，本发明的图像处理装置具有：距离信息取得部，其根据由拍摄车辆周边的多个摄像机拍摄到的共同被摄体在所述多个摄影图像上的位置，计算从所述车辆的基准位置到所述共同被摄体的第1被摄体距离，根据所述第1被摄体距离计算到由所述多个摄像机中的一个摄像机拍摄到的被摄体的第2被摄体距离；以及图像合成部，其根据所述第1被摄体距离和所述第2被摄体距离，将以所述多个摄像机为视点的所述摄影图像变换成以所述基准位置为视点的图像，并在一个投影面上连接起来。
发明效果
本发明即使在摄像机间的图像的边界部分，也能够降低被摄体的形状的弯折程度，提高目视确认性。
附图说明
图1是表示实施方式1的行驶支援装置的框图。
图2是表示实施方式1的摄像机在车辆上的安装位置的图。
图3是表示实施方式1的被合成后的图像例的图。
图4是表示实施方式1的方向盘的转向角与图像切取位置的对应关系的图。
图5是表示实施方式2的行驶支援装置的框图。
图6是表示实施方式2的被摄体的匹配方法的图。
图7是表示实施方式2的在合成多个摄像机图像时产生的被摄***置偏移的图。
图8是表示实施方式2的投影面的校正方法的图。
图9是表示实施方式2的投影面的校正方法的图。
图10是表示实施方式3的行驶支援装置的框图。
图11是表示实施方式3的方向盘的转向角与车辆后方图像的切取位置的对应关系的图。
图12是表示实施方式3的车辆前方图像和车辆后方图像的显示方法的图。
具体实施方式
实施方式1
图1是表示实施方式1的行驶支援装置100的结构的框图。本发明的行驶支援装置100具有摄像机10、11、12、13、转向角检测部20、图像合成部30、图像切取部32以及显示部40。并且，行驶支援装置100还可以具有存储器31。实施方式1的图像处理装置80具有图像合成部30。并且，图像处理装置80还可以具有图像切取部32。图像处理装置80还可以具有存储器31。
摄像机10、11、12、13拍摄车辆周边。转向角检测部20检测车辆的方向盘转动角。“方向盘转动角”是指转动方向盘的角度。“转动方向盘”是指通过旋转方向盘的操作来改变车辆的行进方向。即，“方向盘转动角”是指旋转方向盘的角度，是表示改变车辆的行进方向的程度的角度。
图像合成部30合成来自摄像机10、11、12、13的输入图像，生成沿着全周表示车辆周围的图像。在此，“合成”是指将各摄像机10、11、12、13拍摄到的图像连接起来。因此，“合成”不包括将各摄像机10、11、12、13拍摄到的图像叠加在一个图像上的情况。另外，在按照后述的方向FR、FL、RR、RL那样由相邻的摄像机双方拍摄到的区域中，预先设定由各摄像机生成的图像的区域，根据该区域的设定，选择任意一个摄像机的图像。并且，图像合成部30也能够合成来自摄像机10、11、12、13的输入图像，生成表示车辆周围的一部分的图像。
存储器31记录从图像合成部30输出的图像数据。图像切取部32参照存储器31中存储的图像，根据转向角检测部20的输出值决定切取区域，进行图像的切取。显示部40显示图像切取部32切取的图像。显示部40与驾驶员的位置相比配置在车辆的前方侧。“图像的切取”是指提取图像的一部分。“切取区域”是指切取图像的区域。
摄像机10、11、12、13安装在车辆的前后左右。以使4个摄像机10、11、12、13的摄像机视场角包含车辆周围的全部方向的方式，配置摄像机10、11、12、13。“车辆周围的全部方向”是指车辆周围的360度的方向。图2是从上方观察车辆的图。并且，图2是表示摄像机10、11、12、13的安装位置的示意图。
图像合成部30进行图像的视点变换和合成。由此，图像合成部30生成将4个摄像机10、11、12、13的图像沿水平方向全部连接起来的图像。为了合成多个摄像机图像而生成以一点为中心的水平方向360度的全周图像，需要将各摄像机图像投影到一个共同的假想面(投影面)。
在图2中，粗实线表示用于对各摄像机10、11、12、13的图像进行投影的共同的投影面5的示例。投影面5是图像被合成时的投影面。如图2所示，例如从车辆的上方观察，投影面5形成以车辆的中心为中心O的圆形。投影面5是围绕车辆的圆筒形状的面。
在图2中，摄像机10被安装在车辆的前方表面的中央。摄像机11被安装在车辆的左侧面的中央。摄像机12被安装在车辆的后方表面的中央。摄像机13被安装在车辆的右侧面的中央。摄像机的视场角范围510是摄像机10的视场角范围。摄像机的视场角范围511是摄像机11的视场角范围。摄像机的视场角范围512是摄像机12的视场角范围。摄像机的视场角范围513是摄像机13的视场角范围。摄像机的视场角范围510、511、512、513用虚线示出。“视场角”是指用角度表示摄像机拍摄的范围。即，“视场角范围”是指摄像机拍摄的范围。
例如，摄像机10拍摄到的被摄体B首先被视作位于连接摄像机10和被摄体B的位置的直线53与投影面5相交的位置A的被摄体。对于位于位置A的被摄体B，求出视点位置从摄像机10的位置移动到车辆的中心位置O时的摄像机图像内的被摄***置的变动，由此进行视点位置的变换。即，在将视点位置从摄像机10的位置移动到车辆的中心位置O的情况下，求出位于位置A的被摄体B在摄像机图像内的被摄***置的变动。“被摄***置的变动”是指被摄体的位置在图像内移动。图像合成部30在将各摄像机10、11、12、13的图像连接起来时进行视点位置的变换。这是因为各摄像机10、11、12、13的视点位置不同。
视点位置的变换是指视点位置从摄像机10、11、12、13的位置移动到车辆的中心O时的变换。例如，图像合成部30对于位于位置A的被摄体B，求出视点位置从摄像机10的位置移动到车辆的中心O时的摄像机图像内的被摄体B的位置的变动。即，假设被摄体B位于位置A，在被摄体B从车辆的中心O起位于位置A的方向时，进行视点位置的变换。
对于摄像机11、摄像机12以及摄像机13拍摄到的图像进行同样的视点位置的变换。例如，在各摄像机的图像重合的区域中，事前决定采用哪个摄像机的图像。
由此，生成以车辆的中心O为视点的车辆的前后左右4个方向的图像。以摄像机间的图像切换的部分为边界，接合这样生成的4幅图像。摄像机10、11、12、13间的图像切换的部分是车辆斜向的部分。
由此，能够生成相对于车辆中心具有360度视点的图像。“车辆斜向”是指相对于车辆的前后方向，前方的右侧45度的方向、前方的左侧45度的方向、后方的右侧45度的方向以及后方的左侧45度的方向。即，后述的图8所示的4个方向FR、FL、RR、RL。
图3是表示使用这种投影方法生成的图像的图。投影面5由平滑的曲面构成。如上所述，在图2中从车辆的上方观察，投影面呈圆形。由此，能够得到被摄体的形状在摄像机10、11、12、13的图像间的边界部分不会弯折且保持接近驾驶员直接沿着全周目视确认时的被摄体形状的合成图像。投影面5只要是平滑的曲面即可，也可以不是图2所示的圆形。因为只要是“平滑的面”，被摄体的形状就不会弯折。
图像切取部32接收来自转向角检测部20的输出信号，在图1中是通过存储器31接收来自转向角检测部20的输出信号。图像切取部32也可以直接接收来自转向角检测部20的输出信号。然后，图像切取部32进行根据方向盘的转向角切换图像的切取范围62(参照图4)的处理。即，根据方向盘的转向角进行图像切取位置的变更。“转向角”是指转动方向盘的角度。
图4是表示方向盘的转向角与图像切取位置的对应关系的图。图4的(A)表示方向盘的转向角为0度的情况。图4的(B)表示方向盘的转向角为向左侧10度的情况。图4的(C)表示方向盘的转向角为向右侧10度的情况。如图4所示，在不转动方向盘的状态下(图4的(A))，图像切取部32进行相对于与车辆正面对应的合成图像6的中心61左右相等距离的图像切取。“左右相等距离”是指与左侧的距离和与右侧的距离相等。在向左转动方向盘时(图4的(B))，图像切取部32使图像的切取范围62向左侧移动。在向右转动方向盘时(图4的(C))，图像切取部32使图像的切取范围62向右侧移动。
也可以利用使切取位置与方向盘的转向角成比例地连续移动的运算式，求出方向盘的转向角与切取位置的对应关系。另外，方向盘的转向角与切取位置的对应关系也可以采用使特定的切取位置对应于固定范围内的方向盘的转向角的分情况处理。在采用运算式的情况下，图像的切取位置连续移动。但是，在采用分情况处理的情况下，图像的切取位置连续移动。然而，在采用分情况处理的情况下，与采用运算式时相比能够降低处理量。在不妨碍驾驶员的目视确认性的情况下，采用分情况处理时具有处理变快的优点。
显示部40在显示画面显示切取出的图像，将前方图像提示给驾驶员。
这样构成的行驶支援装置100能够按照方向盘的转向角显示车辆的行进方向前方的图像。并且，行驶支援装置100能够提高对有无被本车辆的中间立柱等遮挡而难以确认的车辆斜后方的障碍物或其它车辆的目视确认性。“本车辆”是指驾驶员乘坐的车辆。“立柱”是指位于汽车车门等的车窗的柱子。“中间立柱”是指汽车车门的中柱。
另外，能够抑制被摄体的形状在摄像机10、11、12、13的图像间的边界部分弯折，显示保持接近驾驶员直接目视确认时的被摄体的形状的图像。因此，能够提高驾驶员对车辆周边状况的目视确认性。
实施方式2
图5是表示实施方式2的行驶支援装置110的结构的框图。本发明的行驶支援装置110具有摄像机10、11、12、13、转向角检测部20、图像合成部30、图像切取部32、距离信息取得部35以及显示部40。并且，行驶支援装置110还可以具有存储器31。实施方式2的图像处理装置81具有图像合成部30和距离信息取得部35。并且，图像处理装置81还可以具有图像切取部32。图像处理装置81还可以具有存储器31。
行驶支援装置110具有距离信息取得部35，这一点与行驶支援装置100不同。行驶支援装置110的摄像机10、11、12、13、转向角检测部20、图像合成部30、图像切取部32、显示部40以及存储器31具有与行驶支援装置100的摄像机10、11、12、13、转向角检测部20、图像合成部30、图像切取部32、显示部40以及存储器31相同的功能。因此，在没有进行特殊说明的情况下，与在行驶支援装置100中说明的内容相同。另外，关于用语的定义，在没有进行特殊说明的情况下与实施方式1相同。
摄像机10、11、12、13拍摄车辆周边。转向角检测部20检测车辆的方向盘转动角。图像合成部30合成来自摄像机10、11、12、13的输入图像，生成沿着全周表示车辆周围的图像。存储器31记录从图像合成部30输出的图像数据。图像切取部32参照存储器31中存储的图像，根据转向角检测部20的输出值决定切取区域，进行图像的切取。距离信息取得部35参照相邻的摄像机10、11、12、13的图像的同一被摄体部分，根据被摄体在摄像机10、11、12、13的图像上的位置计算到被摄体的距离。显示部40显示切取出的图像。
摄像机10、11、12、13与实施方式1相同地安装在车辆的前后左右。以使4个摄像机10、11、12、13的摄像机视场角包含车辆周围的全部方向的方式，配置摄像机10、11、12、13。“车辆周围的全部方向”是指车辆周围的360度的方向。
距离信息取得部35对于相邻的2个摄像机的图像进行被摄体的匹配。然后，距离信息取得部35计算被摄体距离。距离信息取得部35根据由拍摄车辆周边的多个摄像机10、11、12、13拍摄到的共同被摄体B在多个摄影图像上的位置，计算到共同被摄体B的距离。图6是表示被摄体的匹配方法的说明图。图6的(A)是合成图像时左侧的摄像机的图像。图6的(B)是合成图像时右侧的摄像机的图像。
距离信息取得部35考虑摄像机图像的变形和被摄体距离，在2个摄像机图像中，将拍摄同一被摄体的多个区域指定为候选。在图6中示出用框围起来的部分是针对摄像机图像的匹配框的示例。根据匹配框中的图像信息进行匹配处理。将用匹配框示出的区域设为匹配区域。在左摄像机的图像64L中，距离信息取得部35指定1个匹配区域63L。另一方面，在右摄像机的图像64R中，距离信息取得部35指定3个匹配区域63A、63B、63C。
距离信息取得部35在对匹配区域63L指定的多个位置(匹配区域63A、63B、63C)进行匹配。然后，距离信息取得部35将与匹配结果最大的区域对应的被摄体距离判定为正确的被摄体距离。“匹配结果最大的区域”是指最匹配的区域。在图6中，右摄像机的图像64R的匹配区域63B是最匹配的区域。并且，“被摄体距离”表示被摄入匹配区域中的被摄体B与车辆中心O的距离。假设与匹配区域63A、匹配区域63B以及匹配区域63C对应的被摄体距离的值保持预先计算出的值。
即，当在匹配区域63B的位置拍摄到的被摄体B与在匹配区域63L的位置拍摄到的被摄体B相同的情况下，根据被摄体B在摄像机的图像64L、64R上的位置，求出各摄像机(左摄像机和右摄像机)的光轴与以各摄像机的位置为起点的被摄体B的方向形成的角度。即，求出连接左摄像机和被摄体B的直线与左摄像机的光轴形成的角度。并且，求出连接右摄像机和被摄体B的直线与右摄像机的光轴形成的角度。匹配区域63B是右摄像机的图像64R的匹配区域。匹配区域63L是左摄像机的图像64L的匹配区域。
以后述的图8的摄像机10、13为例进行说明。摄像机10是左摄像机。摄像机13是右摄像机。将被摄体B示作被摄体B1。摄像机10的光轴是光轴OA10。“左摄像机的光轴”是光轴OA10。“连接左摄像机和被摄体B的直线与左摄像机的光轴形成的角度”是角度α。即，摄像机10的光轴OA10与以摄像机10的位置为起点的被摄体B1的方向形成的角度是角度α。摄像机13的光轴是光轴OA13。“右摄像机的光轴”是光轴OA13。“连接右摄像机和被摄体B的直线与右摄像机的光轴形成的角度”是角度β。即，摄像机13的光轴OA13与以摄像机13的位置为起点的被摄体B1的方向形成的角度是角度β。
位置C10表示被摄体B1在摄像机10的图像上的位置。被摄体B1位于连接摄像机10和位置C10的直线S10上。因此，能够根据位置C10求出角度α。同样，位置C13表示被摄体B1在摄像机13的图像上的位置。被摄体B1位于连接摄像机13和位置C13的直线S13上。因此，能够根据位置C13求出角度β。
能够根据从2个摄像机(左摄像机和右摄像机)的光轴到被摄体的角度，计算被摄体的距离。在此，“被摄体的距离”是指从车辆中心O到被摄体B的距离。以后述的图8的摄像机10、13为例进行说明。“被摄体的距离”是指从车辆中心O到被摄体B1的距离。如上所述，根据右摄像机的图像64R和左摄像机的图像64L求出角度α、β。
被摄体B1的位置是直线S10与直线S13的交点位置。摄像机10、13的位置和车辆中心O的位置是已知的。并且，光轴OA10、OA13也是已知的。因此，能够根据摄像机10、13的位置的坐标、车辆中心O的位置的坐标、光轴OA10、OA13以及角度α、β，求出被摄体B1的位置的坐标。能够根据摄像机10的坐标、光轴OA10以及角度α，从摄像机10的坐标的位置引出直线S10。同样，能够根据摄像机13的坐标、光轴OA13以及角度β，从摄像机13的坐标的位置引出直线S13。直线S10与直线S13的交点是被摄体B1的位置。能够根据直线S10和直线S13求出直线S10与直线S13的交点的坐标。
距离信息取得部35根据多个摄像机10、11、12、13的位置、多个摄像机10、11、12、13各自的基准方向以及共同被摄体B所处的方向相对于基准方向的角度，求出被摄体B的位置。
在匹配区域为匹配区域63A或者匹配区域63C时也是同样的。因此，将匹配区域63L固定，预先计算并保持与相对于左摄像机64L的匹配区域63L的右摄像机64R的各匹配区域63A、63B、63C分别对应的被摄体距离DA、DB、DC。这样，能够计算被摄体距离，而且不必每次都进行用于计算与各匹配区域对应的距离的运算。这里的被摄体距离DA、DB、DC是指从车辆中心O到被摄体B的距离。在上述的示例中，将匹配区域63L固定成一个，但是，也能够设定多个匹配区域。
根据上述方法，进行匹配的区域被限定于拍摄同一被摄体的区域，因而能够削减运算量。匹配方法可以举出模板匹配方法。另外，也可举出提取图像的边缘或者顶点这样的特征点来计测特征点的一致度的方法等。
图像合成部30进行图像的视点变换和合成。由此，图像合成部30生成将4个摄像机10、11、12、13的图像沿水平方向全部连接起来的图像。为了合成多个摄像机图像而生成以一点为中心的水平方向360度的全周图像，需要将各摄像机图像投影到一个共同的假想面(投影面)上。图像合成部30在进行图像合成时参照由距离信息取得部35计算出的被摄体距离信息，由此提高合成精度。
图7是表示在合成多个摄像机的图像时产生的被摄体的位置偏移的图。这里的被摄体的位置偏移是指被投影到投影面73上的被摄体B的位置由于被摄体B与投影面73的位置关系而不同。在图7中，图7的(A)表示位于被摄***置74的被摄体B被投影到位于与被摄***置74较近的位置的被摄体的投影面73上时的视点变换方法。另外，图7的(B)表示位于被摄***置74的被摄体B被投影到位于与被摄***置74较远的位置的被摄体的投影面73上时的视点变换方法。被摄体的投影面73位于与被摄***置74相比接近摄像机位置72的位置。被摄体的投影面73位于与被摄***置74相比接近合成图像时的中心位置71的位置。位置A表示将被摄体B投影到投影面73上的位置。
连接摄像机的位置72和被摄体的位置74的直线54表示被摄体在摄像机拍摄到的图像内的方向。即，直线54表示从摄像机的位置72到被摄体B的方向。并且，连接合成图像时的中心位置71和被摄体的位置74的直线55表示从实施视点变换处理后的合成图像时的中心位置71观察的被摄体在图像内的方向。即，直线55表示从中心位置72到被摄体B的方向。
图像合成部30以相对于多个摄像机10、11、12、13的共同基准位置为基准生成投影面，将被摄体投影到连接基准位置和被摄体B的直线与投影面相交的位置。图像合成部30根据到共同被摄体B的距离，将多个摄影图像在一个投影面上连接起来。图像合成部30根据到共同被摄体B的距离，修正投影面上的被摄体的位置A。
如图7所示，为了合成多个摄像机图像而生成以一点为中心的水平方向360度的全周图像，需要将各摄像机图像投影到一个共同面上。此时，摄像机位置72和投影面的中心位置71不同。即，摄像机位置72和合成图像时的中心位置71不同。因此，即使是被摄入到摄像机上的同一位置的被摄体，其正确的投影位置也因被摄体距离而不同。
例如，在如图7的(A)那样被摄体较近的情况下，被摄体B的投影位置A处于与直线54较近的位置。但是，在如图7的(B)那样被摄体较远的情况下，被摄体B的投影位置A处于与直线54较远的位置。由于这样的被摄体B的投影位置的差异，在合成图像的摄像机间的边界部分产生被摄体缺失的现象。或者，在合成图像的摄像机间的边界部分产生重影的现象。因此，计算从投影面73的中心位置71到被摄体B的距离，决定被摄体B在投影面73上的位置。
通过参照由距离信息取得部35计算出的被摄体距离信息，对于相邻的摄像机间的视场角重叠的方向的被摄体，能够得到被摄体距离信息。即，能够从位于相邻的摄像机间的视场角重叠的部分的被摄体，得到被摄体距离信息。即，在4个摄像机10、11、12、13被安装在车辆的前后左右的情况下，能够在相对于车辆为前方右侧的方向FR、前方左侧的方向FL、后方右侧的方向RR以及后方左侧的方向RL上，得到被摄体距离信息。方向FR、FL、RR、RL是以车辆中心O为基点的方向。
与此相对，关于前方右侧的方向FR与前方左侧的方向FL之间的方向、前方左侧的方向FL与后方左侧的方向RL之间的方向、后方左侧的方向RL与后方右侧的方向RR之间的方向、以及后方右侧的方向RR与前方右侧的方向FR之间的方向，不能得到被摄体距离信息。因此，使用相邻的摄像机间的4个方向FR、FL、RR、RL的被摄体距离信息，生成对于中间的角度成为内插的距离这样的投影面来进行图像的投影。“内插”是指求出针对2个点之间的任意点的函数值或者近似值。
“中间的角度”表示从车辆中心O观察，距离信息取得部35能够得到被摄体距离信息的4个方向FR、FL、RR、RL以外的角度。即，中间的角度是指前方右侧的方向FR与前方左侧的方向FL之间的角度、前方左侧的方向FL与后方左侧的方向RL之间的角度、后方左侧的方向RL与后方右侧的方向RR之间的角度、以及后方右侧的方向RR与前方右侧的方向FR之间的角度。
“内插的距离”表示在求出某个角度下的被摄体的距离的情况下，根据与该被摄体最近的能够得到距离信息的2个被摄体的距离信息，通过线性插值求出角度与距离的对应关系。即，“对于中间的角度生成成为内插的距离这样的投影面”，是指根据距离信息取得部35能够得到的位于4个方向FR、FL、RR、RL的被摄体的被摄体距离信息，求出除此以外的方向上的被摄体距离。
位于方向FR、FL、RR、RL以外的方向上的被摄体的被摄体距离的求出方法如下所示。首先，从方向FR、FL、RR、RL中选择与求出被摄体距离的被摄体最近的2个方向。然后，根据位于选择出的2个方向的距离信息已知的被摄体的距离信息，视为被摄体距离与角度形成线性关系，使用线性插值求出。在此，“角度”是表示被摄体的方向的角度。由此，能够抑制被摄体在摄像机的边界缺失的现象。或者，能够抑制在摄像机的边界成为重影的现象。
图8是表示投影面的校正方法的图。图8是从上方观察车辆的图。在图8中用粗实线示出的面表示用于对各摄像机10、11、12、13的图像进行投影的共同投影面的示例。
在图8中，摄像机10被安装在车辆的前方表面的中央。摄像机11被安装在车辆的左侧面的中央。摄像机12被安装在车辆的后方表面的中央。摄像机13被安装在车辆的右侧面的中央。
摄像机的视场角范围510是摄像机10的视场角范围。摄像机的视场角范围511是摄像机11的视场角范围。摄像机的视场角范围512是摄像机12的视场角范围。摄像机的视场角范围513是摄像机13的视场角范围。摄像机的视场角范围510、511、512、513用虚线示出。
投影面51、52是图像被合成时的投影面。校正前的投影面51通过后述的处理被校正成校正后的投影面52。投影面51、52例如从车辆的上方观察呈以车辆中心O为中心的圆形。
图像合成部30使用从距离信息取得部35得到的被摄体的距离信息，对相邻的摄像机间的视场角重叠的部分，校正对摄像机图像进行投影的面(投影面)。校正后的投影面不是如上述的投影面那样以车辆中心O为中心的圆形。通过投影面的校正，能够设定反映实际的被摄体距离的投影面。即，校正后的投影面是根据位于4个方向FR、FL、RR、RL的已计算出被摄体距离的被摄体，改变投影面的形状后的投影面。
因此，在对由多个摄像机拍摄到的图像进行视点变换并合成时，能够抑制由于实际的被摄体距离与投影面的距离不同而造成的在合成图像的边界产生被摄体的缺失或产生重影。另外，在位于4个方向FR、FL、RR、RL的被摄体变化时，校正后的投影面的形状和位置随时变化。
在图8中，相对于校正前的投影面51，校正后的投影面52将车辆的前方后侧的方向FR校正到近前侧。同样，校正后的投影面52将车辆的后方右侧的方向RR的图像校正到近前侧。并且，相对于校正前的投影面51，校正后的投影面52将车辆的前方左侧的方向FL校正到里侧。同样，校正后的投影面52将车辆的后方左侧的方向RL的图像校正到里侧。关于中间的角度，通过插值求出到被摄体的距离，由此校正投影面。在此，“近前侧”表示接近车辆的方向。另外，“里侧”表示远离车辆的方向。
对到将距离不明的被摄体夹在中间的2个共同被摄体的距离和角度的对应关系进行线性插值，从而求出到由一个摄像机拍摄到的被拍摄在2个共同被摄体之间的距离不明的被摄体的距离。
在对到被摄体的距离进行插值时，对角度进行线性插值的情况下，到中间的角度的被摄体的距离L的计算式如下述的式(1)所示。在图8中，用被摄体B2表示中间的角度的被摄体。
L＝L1+(L2-L1)×(k2-k1)/(k-k1)……(1)
其中，角度k是表示求出距离L的被摄体B的方向的角度。即，角度k是连接车辆中心O和被摄体B的直线与在车辆中心O通过的基准轴形成的角度。角度k1是表示在角度k右侧朝向被摄体B最接近角度k的被摄体距离信息已知的方向的角度。角度k2是表示在角度k左侧朝向被摄体最接近角度k的被摄体距离信息已知的方向的角度。即，角度k1、k2是连接车辆中心O和已知位置的直线与在车辆中心O通过的基准轴形成的角度。
在图8中，作为示例将摄像机10的光轴OA10作为基准轴。并且，将被摄体B示作被摄体B2。“被摄体距离信息已知的方向”例如是指4个方向FR、FL、RR、RL。距离L表示到与角度k对应的被摄体的距离。在图8中是指从车辆中心O到被摄体B2的距离。距离L1表示到与角度k1对应的被摄体的距离，在图8中是指从车辆中心O到被摄体B1的距离。距离L2表示到与角度k2对应的被摄体的距离，在图8中是指从车辆中心O到被摄体B3的距离。
如图8所示，位于方向FR的被摄体B1的距离比位于方向FL的被摄体B3的距离短。因此，将车辆的前方右侧的方向FR校正到近前侧。将车辆的前方左侧的方向FL校正到近里侧。这样，投影面51被校正成投影面52。
另外，在对中间的角度进行插值时，为了平滑地连接投影面，也能够进行根据被摄体的距离信息已知的方向，在左侧的投影面和右侧的投影面上使相对于角度变化量的距离变化量一致的插值方法。在图8中，以与平滑地连接被摄体B1和被摄体B3的曲线对应的方式使投影面移动。在进行这样的插值时，参照相对于待插值的角度左右各2个方向的被摄体的距离信息，进行基于三次函数的插值。
此时的距离的运算式如式(2)所示。
L＝ak3+bk2+ck+d……(2)
另外，以满足下述的式(3)(4)(5)(6)的方式决定系数a、b、c、d。
L1＝ak1 3+bk1 2+ck1+d……(3)
L2＝ak2 3+bk2 2+ck2+d……(4)
L3＝ak3 3+bk3 2+ck3+d……(5)
L4＝ak4 3+bk4 2+ck4+d……(6)
其中，角度k是表示求出距离L的被摄体的方向的角度。角度k1是表示在角度k右侧最接近角度k的被摄体距离信息已知的方向的角度。在图8中是指方向FR相对于基准轴OA10的角度。角度k2是表示在角度k左侧最接近角度k的被摄体距离信息已知的方向的角度。在图8中是指方向FL相对于基准轴OA10的角度。角度k3是表示在角度k右侧第二接近角度k的被摄体距离信息已知的方向的角度。在图8中是指方向RR相对于基准轴OA10的角度。角度k4是表示在角度k左侧第二接近角度k的被摄体距离信息已知的方向的角度。在图8中是指方向RL相对于基准轴OA10的角度。“被摄体距离信息已知的方向”例如是指4个方向FR、FL、RR、RL。
距离L表示从位于角度k的被摄体的车辆中心O到被摄体的距离。距离L1表示从位于角度k1的被摄体的车辆中心O到被摄体的距离。距离L2表示从位于角度k2的被摄体的车辆中心O到被摄体的距离。距离L3表示从位于角度k3的被摄体的车辆中心O到被摄体的距离。距离L4表示从位于角度k4的被摄体的车辆中心O到被摄体的距离。
另外，在使用表示被摄体的距离信息已知的方向的角度进行校正时，能够使投影面始终成为圆形。此时，例如使用表示距离信息已知的被摄体的方向的角度和距离信息已知的被摄体的被摄体距离的组合，利用最小二乘法计算投影面的中心位置和半径。
使用图9说明此时的距离的计算方法。图9是表示投影面的校正方法的图。在图9中，校正前的投影面51呈以中心O为中心的圆形。中心O表示车辆的中心位置。校正前的投影面51用虚线示出。校正后的投影面52呈以中心P为中心的圆形。半径R表示校正后的投影面52的半径。校正后的投影面52用实线示出。点201、202、203、204表示被摄体的距离信息已知的被摄体的位置。点201、202、203、204的被摄体的方向和距离信息是已知的。
设使用最小二乘法决定成为投影面的圆时的指标值为值X。值X是根据位置205、206、207、208的距离和距离信息已知的点201、202、203、204的距离，对位置205与点201的距离差的值、位置206与点202的距离差的值、位置207与点203的距离差的值、位置208与点204的距离差的值分别进行平方并相加得到的值。位置205、206、207、208的距离是指从车辆中心O到位置205、206、207、208的距离。点201、202、203、204的距离是指从车辆中心O到点201、202、203、204的距离。位置205、206、207、208是指在连接车辆中心O和距离信息已知的点201、202、203、204的直线56、57上，校正后的投影面52与各直线56、57相交的位置。以使值X最小的方式决定校正后的投影面52的中心P和半径R。
图像切取部32与实施方式1相同地接收来自转向角检测部20的输出信号。在图5中是通过存储器31接收来自图像合成部30的输出信号。图像切取部32也可以直接接收来自图像合成部30的输出信号。然后，图像切取部32按照方向盘的转向角进行切换图像的切取范围的处理。在不转动方向盘的状态下，图像切取部32进行相对于与车辆的正面对应的合成图像的中心左右相等距离的图像切取。在向右转动方向盘时，图像切取部32使图像的切取范围向右侧移动。在向左转动方向盘时，图像切取部32使图像的切取范围向左侧移动。
也可以按照切取位置与方向盘的转向角成比例地连续移动的方式，利用运算式求出方向盘的转向角与切取位置的对应关系。另外，方向盘的转向角与切取位置的对应关系也可以采用使特定的切取位置对应于固定范围内的方向盘转向角的分情况处理。在采用运算式的情况下，图像的切取位置连续移动。但是，在采用分情况处理的情况下，图像的切取位置不连续移动。然而，在采用分情况处理的情况下，与采用运算式时相比能够降低处理量。在不妨碍驾驶员的目视确认性的情况下，采用分情况处理具有处理较快的优点。
显示部40在显示画面显示切取出的图像，将前方图像提示给驾驶员。
如上所述，距离信息取得部35根据由拍摄车辆周边的多个摄像机10、11、12、13拍摄到的共同被摄体B在多个摄影图像上的位置，计算从车辆的中心位置O到共同被摄体B的被摄体距离(第1被摄体距离)，根据该被摄体距离(第1被摄体距离)计算到由多个摄像机10、11、12、13中的一个摄像机拍摄到的被摄体的被摄体距离(第2被摄体距离)。
另外，图像合成部30根据第1被摄体距离(从基准位置O到共同被摄体B的被摄体距离)和第2被摄体距离(到由一个摄像机拍摄到的被摄体的被摄体距离)，将以多个摄像机10、11、12、13为视点的摄影图像变换成以基准位置O为视点的图像，并在一个投影面上连接起来。
另外，距离信息取得部35根据摄像机10、11、12、13的位置、成为该摄像机10、11、12、13的基准方向、该摄像机10、11、12、13的视场角以及共同被摄体在摄影图像上的位置，求出共同被摄体相对于该摄像机10、11、12、13的方向，根据由共同被摄体相对于2个以上的摄像机的方向求出的共同被摄体的位置，计算第1被摄体距离(从基准位置O到共同被摄体B的被摄体距离)。
另外，图像合成部30在连接基准位置O和被摄体B的直线与投影面相交的位置配置被摄体B。
另外，距离信息取得部35根据将具有第2被摄体距离(到由一个摄像机拍摄到的被摄体的被摄体距离)的被摄体夹在中间的2个共同被摄体的第1被摄体距离(从基准位置O到共同被摄体B的被摄体距离)、以及基准位置O相对于基准方向的角度，对被摄体距离和角度的对应关系进行线性插值，从而求出第2被摄体距离(到由一个摄像机拍摄到的被摄体的被摄体距离)。
另外，图像合成部30对多个共同被摄体的从基准位置O到投影面的距离与第1被摄体距离(从基准位置O到共同被摄体B的被摄体距离)之间的差值的平方值相加，以使该相加得到的值最小的方式变更投影面。
这样构成的行驶支援装置110测定到被摄体的距离进行图像的合成。由此，行驶支援装置110能够生成在相邻的摄像机间的图像合成部分，被摄体的重影或者被摄体的缺失降低的高画质的合成图像。并且，行驶支援装置110能够提高驾驶员对车辆的周边状况的目视确认性。
实施方式3
图10是表示实施方式3的行驶支援装置120的结构的框图。本发明的行驶支援装置120具有摄像机10、11、12、13、转向角检测部20、图像合成部30、前方图像切取部33、后方图像切取部34以及显示部40。并且，行驶支援装置120还可以具有存储器31。
实施方式3的图像处理装置82具有图像合成部30。并且，图像处理装置82还可以具有前方图像切取部33和后方图像切取部34。图像处理装置82还可以具有存储器31。
行驶支援装置120的图像切取部32具有前方图像切取部33和后方图像切取部34，这一点与行驶支援装置100不同。行驶支援装置120的摄像机10、11、12、13、转向角检测部20、图像合成部30、显示部40以及存储器31具有与行驶支援装置100的摄像机10、11、12、13、转向角检测部20、图像合成部30、显示部40以及存储器31相同的功能。因此，在没有进行特殊说明的情况下，与在行驶支援装置100中说明的内容相同。另外，关于用语的定义，在没有进行特殊说明的情况下与实施方式1相同。并且，也能够在实施方式2的行驶支援装置110中采用实施方式3的前方图像切取部33和后方图像切取部34。
行驶支援装置120的图像切取部32具有前方图像切取部33和后方图像切取部34。摄像机10、11、12、13拍摄车辆周边。转向角检测部20检测车辆的方向盘转动角。图像合成部30合成来自摄像机10、11、12、13的输入图像，生成沿着全周记录车辆周围的图像。存储器31记录从图像合成部30输出的图像数据。前方图像切取部33参照存储器31中存储的图像，根据转向角检测部20的输出值决定切取区域，切取与车辆的前方对应的图像。后方图像切取部34参照存储器31中存储的图像，根据转向角检测部20的输出值决定切取区域，切取与车辆的后方对应的图像。显示部40显示切取出的图像。
摄像机10、11、12、13与实施方式1相同地安装在车辆的前后左右。以使4个摄像机10、11、12、13的摄像机视场角包括车辆周围的全部方向的方式，配置摄像机10、11、12、13。“车辆周围的全部方向”是指车辆周围的360度的方向。
图像合成部30与实施方式1相同地进行图像的视点变换和合成，由此，生成将4个摄像机10、11、12、13的图像沿水平方向全部连接起来的图像。
前方图像切取部33接收来自转向角检测部20的输出信号。在图10中通过存储器31接收来自转向角检测部20的输出信号。然后，前方图像切取部33按照方向盘的转向角进行切换图像的切取范围的处理。在不转动方向盘的状态下，前方图像切取部33切取相对于与车辆前方的正面对应的合成图像的中心左右相等距离的图像。“左右相等距离”是指与左侧的距离和与右侧的距离相等。在向右转动方向盘时，前方图像切取部33使图像的切取范围向右侧移动。在向左转动方向盘时，前方图像切取部33使图像的切取范围向左侧移动。
也可以按照切取位置与方向盘的转向角成比例地连续移动的方式，利用运算式求出方向盘的转向角与切取位置的对应关系。另外，方向盘的转向角与切取位置的对应关系也可以采用使特定的切取位置对应于固定范围内的方向盘转向角的分情况处理。在采用运算式的情况下，图像的切取位置连续移动。但是，在采用分情况处理的情况下，图像的切取位置不连续移动。然而，在采用分情况处理的情况下，与采用运算式时相比能够降低处理量。在不妨碍驾驶员的目视确认性的情况下，采用分情况处理具有处理变快的优点。
后方图像切取部34接收来自转向角检测部20的输出信号。在图10中通过存储器31接收来自转向角检测部20的输出信号。然后，后方图像切取部34按照方向盘的转向角进行切换图像的切取范围的处理。在不转动方向盘的状态下，后方图像切取部34切取相对于与车辆后方的正面对应的合成图像的中心左右相等距离的图像。在向右转动方向盘时，后方图像切取部34使图像的切取范围向左侧移动。在向左转动方向盘时，后方图像切取部34使图像的切取范围向右侧移动。“后方的正面”是指在从视点位置朝向前面的正面的情况下，从前方的正面向后180度的方向，即正后方。
也可以按照切取位置与方向盘的转向角成比例地连续移动的方式，利用运算式求出方向盘的转向角与切取位置的对应关系。另外，方向盘的转向角与切取位置的对应关系也可以采用使特定的切取位置对应于固定范围内的方向盘转向角的分情况处理。在采用运算式的情况下，图像的切取位置连续移动。但是，在采用分情况处理的情况下，图像的切取位置不连续移动。然而，在采用分情况处理的情况下，与采用运算式时相比能够降低处理量。在不妨碍驾驶员的目视确认性的情况下，采用分情况处理具有处理变快的优点。
另外，在图3所示的合成图像的生成例中，合成后的图像的左端和右端成为图像的后方的正面。即，成为驾驶员回头观察后方时的正面的图像。即，“后方的正面”。为了生成驾驶员回头观察后方时的正面的图像，生成连接图像的左端和右端的图像。但是，在实施方式3中，生成与驾驶员回头观察后方时的正面的图像不同的后方的图像。使朝向前方的驾驶员的左右方向与后方的图像的左右方向一致。即，在直接显示驾驶员回头观察后方时的图像时，朝向前方的驾驶员的左右方向与图像的左右方向相反而不一致。
图像切取部33进行图像的切取，并且进行生成在连接部分连接起来的图像的处理。另外，对于后方的图像，进行将图像左右反转并接合的处理，以便使从驾驶员观察的左右方向与图像的左右方向一致，使得驾驶员在确认图像时不会产生混乱。“左右反转”是指交换左侧和右侧。在此，“从驾驶员观察的左右方向”是指驾驶员观察车辆的前方时的左右方向与后方的图像的左右方向一致。因此，“后方的图像”与驾驶员回头看后方时能够看到的图像不同。
图11是说明方向盘的转向角与车辆的后方图像的切取位置的对应关系的图。如图11所示，根据方向盘的转向角进行图像的切取位置的变更。在不转动方向盘的情况下(图11的(A))，从图像的左端和右端分别切取相等距离的区域，左右反转并接合。接合后的图像67是由将切取图像65A左右反转后的图像66A和将切取图像65B左右反转后的图像66B接合形成的。即，切取图像65A的左端65AL和切取图像65B的右端65BR被连接起来。接合图像67的右侧成为左端65BL，接合图像67的左侧成为右端65AR。在此，“接合”的意思与“合成”相同。“合成”是指将图像连接起来。因此，“合成”不包括将各摄像机拍摄到的图像叠加在一幅图像上的情况。
图11的(A)表示方向盘的转向角为0度的情况。在图11的(A)中，在合成切取图像65A、65B时，将切取图像65A、65B左右反转进行合成。在图11的(A)的情况下，切取图像65A和切取图像65B的宽度相等。图11的(B)表示方向盘的转向角为向左侧10度的情况。在图11的(B)中，在合成切取图像65A、65B时，将切取图像65A、65B左右反转进行合成。在图11的(B)的情况下，切取图像65A的宽度较宽，切取图像65B的宽度较窄。图11的(C)表示方向盘的转向角为向右侧10度的情况。在图11的(C)中，在合成切取图像65A、65B时，将切取图像65A、65B左右反转进行合成。在图11的(C)的情况下，切取图像65A的宽度较窄，切取图像65B的宽度较宽。
在向左转动方向盘的情况下(图11的(B))，扩大从合成图像67的左端起的切取区域，缩小从图像右端起的切取区域。即，使图像的切取范围向右侧移动。相反，在向右转动方向盘的情况下(图11的(C))，扩大从合成图像67的右端起的切取区域，缩小从图像左端其的切取区域。即，使图像的切取范围向左侧移动。通过这样地进行图像的切取、左右反转以及接合，能够根据方向盘的转向角得到方向与车辆的行进方向一致的车辆后方图像。
图像切取部32切取投影面上的图像的一部分。在左侧是指相对于所述车辆的前方为左侧，右侧是指相对于所述车辆的前方为右侧时，图像切取部32对于车辆的后方的图像将在车辆的后方被投影到投影面上的图像切断，切取该切断位置的左侧的图像65A和右侧的图像65B。图像合成部30以使切取位置65AL成为左侧的方式配置左侧的图像65A，以使切取位置65BR成为右侧的方式配置右侧的图像65B，对左侧的图像65A的左右和右侧的图像65B的左右进行交换，将左侧的图像65A和右侧的图像65B的被切断的位置65AL、65BR连接起来。
图像切取部32在待切取的图像的切取位置是车辆的前方的情况下，沿与所述车辆的转向角相同的方向移动所述切取位置。图像切取部32在切取位置是车辆的后方的情况下，沿与车辆的转向角相反的方向移动切取位置。
显示部40进行切取出的图像的画面显示。显示部40将前方的图像和后方的图像接合起来提示给驾驶员。图12是表示车辆的前方的图像的显示方法和车辆的后方的图像的显示方法的图。在图12中，在显示部40的显示画面41同时显示车辆的前方图像42和车辆的后方图像43。在显示画面41中的上侧显示车辆的前方图像42。并且，在显示画面41中的下侧显示车辆的后方图像43。
通过纵向排列显示前方的图像和后方的图像，能够同时确认车辆的前方的障碍物和车辆的后方的障碍物。
这样构成的行驶支援装置120能够根据方向盘的转向角确认车辆的行进方向前方的图像。并且，行驶支援装置120能够提高对有无被本车辆的中柱等遮挡而难以确认的车辆斜前方及车辆后方的障碍物或其它车辆的目视确认性。
另外，通过将车辆的前方的图像和反转后的车辆的后方的图像显示在同一画面上，能够在一个画面内同时确认有无车辆的前方的障碍物或其它车辆以及有无车辆的后方的障碍物或其它车辆。
另外，以上对本发明的实施方式进行了说明，但本发明不限于这些实施方式。
标号说明
10、11、12、13摄像机；100、110、120行驶支援装置；20转向角检测部；201、202、203、204点；205、206、207、208位置；30图像合成部；31存储器；32图像切取部；33前方图像切取部；34后方图像切取部；35距离信息取得部；40显示部；41显示画面；42车辆前方图像；43车辆后方图像；5投影面；510、511、512、513摄像机的视场角范围；51校正前的投影面；52校正后的投影面；53、54、55、56、57直线；60合成图像；61图像的中心；62切取范围；63A、63B、63C、63L匹配区域；64R右摄像机图像；64L左摄像机图像；65A、65B切取图像；66A、66B左右反转后的切取图像；67接合图像；71合成图像时的中心位置；72摄像机位置；73合成图像时的被摄体投影面；74被摄***置；80、81、82图像处理装置；A、C位置；B被摄体；O、P中心；R半径；S直线；L距离；X值；OA光轴；k、k1、k2、α、β角度；a、b、c、d系数；FR前方右侧的方向；FL前方左侧的方向；RR后方右侧的方向；RL后方左侧的方向；DA、DB、DC被摄体距离。

Claims (7)

1.一种图像处理装置，其特征在于，该图像处理装置具有：
距离信息取得部，其根据由配置在互不相同的位置的多个摄像机拍摄到的共同被摄体在多个摄影图像上的位置，计算从基准位置到所述共同被摄体的第1被摄体距离，根据所述第1被摄体距离计算从所述基准位置到由所述多个摄像机中的一个摄像机拍摄到的被摄体的第2被摄体距离；以及
图像合成部，其根据所述第1被摄体距离和所述第2被摄体距离，校正以所述基准位置为视点的作为圆筒形状的面或平滑的曲面的投影面的位置，从多个所述摄影图像变换成投影到所述投影面的图像并连接起来，
所述距离信息取得部根据将具有所述第2被摄体距离的被摄体夹在中间的2个所述共同被摄体的第1被摄体距离、以及表示与各第1被摄体距离对应的共同被摄体的方向的角度，计算所述第2被摄体距离。
2.根据权利要求1所述的图像处理装置，其中，
所述距离信息取得部根据所述摄像机的位置、该摄像机的基准方向、该摄像机的视场角以及所述共同被摄体在摄影图像上的位置，求出以该摄像机的位置为起点的所述共同被摄体的方向，根据由以2个以上的所述摄像机的位置为起点的所述共同被摄体的方向求出的所述共同被摄体的位置，计算所述第1被摄体距离。
3.根据权利要求1或2所述的图像处理装置，其中，
所述图像合成部在连接所述基准位置和所述摄影图像上的包括所述共同被摄体的被摄体的直线与所述投影面相交的位置配置包括所述共同被摄体的所述被摄体。
4.根据权利要求1或2所述的图像处理装置，其中，
所述距离信息取得部按照所述多个摄像机中相邻的2个所述摄像机间的视场角的每个重叠部分计算所述第1被摄体距离，并且，所述距离信息取得部对被摄体距离和角度的对应关系进行线性插值，从而求出所述第2被摄体距离。
5.根据权利要求1或2所述的图像处理装置，其中，
所述图像合成部对所述多个共同被摄体的从所述基准位置到所述投影面的距离与所述第1被摄体距离之间的差值的平方值进行相加，以使该相加得到的值最小的方式变更所述投影面。
6.根据权利要求1或2所述的图像处理装置，其中，
所述多个摄像机设置于车辆，
所述图像处理装置还具有图像切取部，该图像切取部切取所述投影面上的图像的一部分，
在左侧是指相对于所述车辆的前方为左侧，右侧是指相对于所述车辆的前方为右侧时，
所述图像切取部对于所述车辆的后方的图像，将在所述车辆的后方被投影到所述投影面的图像切断，切取该切断位置的左侧的图像和右侧的图像，
所述图像合成部以使所述切取位置为左侧的方式配置所述左侧的图像，以使所述切取位置为右侧的方式配置所述右侧的图像，对所述左侧的图像的左右和所述右侧的图像的左右进行交换，将经过左右交换后的所述左侧的图像的所述切断的位置和经过左右交换后的所述右侧的图像的所述切断的位置连接起来。
7.根据权利要求6所述的图像处理装置，其中，
所述图像切取部在待切取的图像的切取位置是所述车辆的前方的情况下，沿与所述车辆的转向角相同的方向移动所述切取位置，在所述切取位置是所述车辆的后方的情况下，沿与所述车辆的转向角相反的方向移动所述切取位置。
CN201380024639.7A 2012-05-22 2013-05-20 图像处理装置 Active CN104285441B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012116755 2012-05-22
JP2012-116755 2012-05-22
PCT/JP2013/003181 WO2013175753A1 (ja) 2012-05-22 2013-05-20 画像処理装置

Publications (2)

Publication Number Publication Date
CN104285441A CN104285441A (zh) 2015-01-14
CN104285441B true CN104285441B (zh) 2018-01-05

Family

ID=49623463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380024639.7A Active CN104285441B (zh) 2012-05-22 2013-05-20 图像处理装置

Country Status (5)

Country Link
US (1) US10046700B2 (zh)
JP (1) JP5634643B2 (zh)
CN (1) CN104285441B (zh)
DE (1) DE112013002636B4 (zh)
WO (1) WO2013175753A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015115103A1 (ja) * 2014-01-29 2015-08-06 京セラ株式会社 画像処理装置、カメラシステム、および画像処理方法
DE102014204303A1 (de) * 2014-03-10 2015-09-10 Robert Bosch Gmbh Verfahren zum Zusammenfügen von Einzelbildern, die von einem Kamerasystem aus unterschiedlichen Positionen aufgenommen wurden, zu einem gemeinsamen Bild
US9367895B2 (en) * 2014-03-19 2016-06-14 Digitalglobe, Inc. Automated sliver removal in orthomosaic generation
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
JP2017081238A (ja) 2015-10-23 2017-05-18 株式会社小松製作所 表示システムおよび作業車両
JP6561824B2 (ja) * 2015-12-18 2019-08-21 株式会社デンソー 表示制御装置
FR3047339B1 (fr) * 2016-02-01 2018-04-06 Safran Procede de controle non-destructif par redressement
JP6672565B2 (ja) * 2016-07-14 2020-03-25 三井金属アクト株式会社 表示装置
JP6683307B2 (ja) * 2016-10-06 2020-04-15 カイ インコーポレイテッド 多数のカメラを用いた最適の球形映像獲得方法
CN106515582A (zh) * 2016-10-26 2017-03-22 深圳市元征科技股份有限公司 安全驾驶预警方法及装置
US11030468B2 (en) 2016-11-21 2021-06-08 Kyocera Corporation Image processing apparatus
JP2018085584A (ja) * 2016-11-21 2018-05-31 京セラ株式会社 画像処理装置、撮像装置、および表示システム
JP6769859B2 (ja) * 2016-12-19 2020-10-14 株式会社日立エルジーデータストレージ 画像処理装置及び画像処理方法
KR102551099B1 (ko) 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
DE102017201002A1 (de) * 2017-01-23 2018-07-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen einer Umgebung eines Fahrzeuges
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
JP6958163B2 (ja) 2017-09-20 2021-11-02 株式会社アイシン 表示制御装置
JP7147248B2 (ja) * 2018-04-27 2022-10-05 株式会社タダノ クレーン車
WO2020009543A1 (en) * 2018-07-06 2020-01-09 Samsung Electronics Co., Ltd. Electronic device for capturing media using a bendable display and method thereof
TWI693578B (zh) * 2018-10-24 2020-05-11 緯創資通股份有限公司 影像拼接處理方法以及其系統
JP7166725B2 (ja) * 2018-11-20 2022-11-08 アルパイン株式会社 表示装置、表示方法および表示プログラム
EP3899586B1 (en) * 2018-12-18 2022-11-16 Volvo Truck Corporation A method for determining coordinates of a vehicle
US11092456B2 (en) * 2019-03-08 2021-08-17 Aptiv Technologies Limited Object location indicator system and method
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
DE102019216368A1 (de) * 2019-10-24 2021-04-29 Robert Bosch Gmbh Verfahren zum Ausgeben eines Steuersignals an eine Einheit eines Fahrzeugs
WO2021131078A1 (ja) * 2019-12-27 2021-07-01 株式会社ソシオネクスト 画像処理装置、画像処理方法、および画像処理プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
EP1302365A2 (en) * 2001-10-15 2003-04-16 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring system and method for adjusting the same
JP2007049276A (ja) * 2005-08-08 2007-02-22 Sanyo Electric Co Ltd 車載パノラマカメラシステム
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN101498889A (zh) * 2009-03-03 2009-08-05 北京微视新纪元科技有限公司 一种多目立体摄像方法及装置
CN101882306A (zh) * 2010-06-13 2010-11-10 浙江大学 一种表面凹凸物体照片的高精度拼接方法
CN101976460A (zh) * 2010-10-18 2011-02-16 胡振程 车载多目摄像机环视***的虚拟视点图像生成方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3412945B2 (ja) 1995-01-31 2003-06-03 キヤノン株式会社 画像合成装置及び撮影装置
JP3286306B2 (ja) 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
JP3695319B2 (ja) 2000-11-30 2005-09-14 トヨタ自動車株式会社 車両周辺モニタ装置
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP2004046772A (ja) * 2002-05-13 2004-02-12 3D Media Co Ltd 画像処理方法、画像処理システム、及び画像処理装置
JP3871614B2 (ja) 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP2004312523A (ja) 2003-04-09 2004-11-04 Equos Research Co Ltd 車載画像処理装置
JP4467313B2 (ja) 2004-01-09 2010-05-26 株式会社オートネットワーク技術研究所 車両周辺撮像装置
JP4583883B2 (ja) 2004-11-08 2010-11-17 パナソニック株式会社 車両用周囲状況表示装置
JP4468859B2 (ja) 2005-06-06 2010-05-26 アルパイン株式会社 画像合成装置および合成方法
JP4899367B2 (ja) 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4662832B2 (ja) 2005-09-26 2011-03-30 アルパイン株式会社 車両用画像表示装置
JP4674814B2 (ja) 2006-03-20 2011-04-20 アルパイン株式会社 車両用画像表示装置および画像合成方法
JP5163165B2 (ja) 2008-02-05 2013-03-13 日産自動車株式会社 車両周辺画像処理装置及び車両周辺状況提示方法
TW201103787A (en) 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
EP1302365A2 (en) * 2001-10-15 2003-04-16 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring system and method for adjusting the same
JP2007049276A (ja) * 2005-08-08 2007-02-22 Sanyo Electric Co Ltd 車載パノラマカメラシステム
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN101498889A (zh) * 2009-03-03 2009-08-05 北京微视新纪元科技有限公司 一种多目立体摄像方法及装置
CN101882306A (zh) * 2010-06-13 2010-11-10 浙江大学 一种表面凹凸物体照片的高精度拼接方法
CN101976460A (zh) * 2010-10-18 2011-02-16 胡振程 车载多目摄像机环视***的虚拟视点图像生成方法

Also Published As

Publication number Publication date
WO2013175753A1 (ja) 2013-11-28
US10046700B2 (en) 2018-08-14
DE112013002636T5 (de) 2015-03-19
DE112013002636B4 (de) 2019-05-09
US20150130942A1 (en) 2015-05-14
JP5634643B2 (ja) 2014-12-03
CN104285441A (zh) 2015-01-14
JPWO2013175753A1 (ja) 2016-01-12

Similar Documents

Publication Publication Date Title
CN104285441B (zh) 图像处理装置
JP2021170826A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN102271966B (zh) 周边影像生成方法及装置
JP5077307B2 (ja) 車両周囲画像表示制御装置
CN100438623C (zh) 图象处理装置及监视***
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US11528413B2 (en) Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
JP2018531530A5 (zh)
JP4786076B2 (ja) 運転支援表示装置
CN104321224B (zh) 具有摄像机监控***的机动车
JP5715778B2 (ja) 車両用画像表示装置
US11087438B2 (en) Merging of partial images to form an image of surroundings of a mode of transport
WO2003075573A1 (fr) Unite de commande de l'affichage d'images
WO2022061999A1 (zh) 一种 a 柱成像方法
JP2003011762A (ja) 駐車運転支援装置
US20190100145A1 (en) Three-dimensional image driving assistance device
CN105472317B (zh) 周边监视装置及周边监视***
CN111739101A (zh) 一种消除车辆a柱盲区的装置和方法
CN104369698A (zh) 影像显示方法及其装置
KR20190096970A (ko) 차량용 어라운드 뷰 시스템
CN114179725A (zh) 车辆用显示装置
WO2021093391A1 (zh) 一种a柱透视实现方法及***
GB2513703B (en) Method and apparatus for three-dimensional imaging of at least a partial region of a vehicle environment
CN108202666A (zh) 能于车辆转弯时同步显示后方全景与转弯画面的显示方法
US9067538B2 (en) Drive assist display apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant