CN108367710B - 俯瞰影像生成装置、俯瞰影像生成***、以及存储介质 - Google Patents

俯瞰影像生成装置、俯瞰影像生成***、以及存储介质 Download PDF

Info

Publication number
CN108367710B
CN108367710B CN201780004553.6A CN201780004553A CN108367710B CN 108367710 B CN108367710 B CN 108367710B CN 201780004553 A CN201780004553 A CN 201780004553A CN 108367710 B CN108367710 B CN 108367710B
Authority
CN
China
Prior art keywords
vehicle
image
change
image generation
overhead image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780004553.6A
Other languages
English (en)
Other versions
CN108367710A (zh
Inventor
永井亮行
山田康夫
村田聪隆
林启太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN108367710A publication Critical patent/CN108367710A/zh
Application granted granted Critical
Publication of CN108367710B publication Critical patent/CN108367710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明涉及一种俯瞰影像生成装置包括：影像获取部（41），获取通过前方用周边拍摄相机（21）、或后方用周边拍摄相机（22）、或左侧用周边拍摄相机（23）、或右侧用周边拍摄相机（21）拍摄车辆周边而得的多个周边影像；以及姿势变化判定部（44），基于多个周边影像来判定车辆的姿势是否发生了变化。另外，俯瞰影像生成部（45）基于姿势变化判定部（44）的判定结果，生成根据前方用周边拍摄相机（21）、或后方用周边拍摄相机（22）、或左侧用周边拍摄相机（23）、或右侧用周边拍摄相机（24）的姿势的变化而修正了的俯瞰影像。

Description

俯瞰影像生成装置、俯瞰影像生成***、以及存储介质
技术领域
本发明涉及姿势变化判定装置、俯瞰影像生成装置、俯瞰影像生成***、姿势变化判定方法以及程序。
背景技术
已知有：利用设置在车辆周围的相机拍摄车辆的周边、并且作为对所拍摄的影像进行了视点转换的俯瞰影像而显示在监视器上的技术（例如，参见专利文献1）。该技术不管安装有车载相机的车辆的车辆高度或倾斜度如何变化，都能够确保图像质量良好的监视器影像。
在先技术文件
专利文献
专利文献1：日本特开2009-253571号公报。
发明内容
在专利文献1中记载的技术中，为了测量车辆高度的变化或车辆的倾斜度的变化，需要在各车轮上设置用于检测悬架的沉入量的传感器。因此，期望的是：不使用传感器，进一步来说对于不被反映到悬架的沉入量的状态的车辆的姿势变化，也适当地判定车辆的姿势变化的技术、以及生成与车辆的姿势的变化对应的俯瞰影像的技术。
本发明是鉴于上述问题而完成的，其目的在于提供一种不使用传感器就能够容易地应用于车辆，且在车辆的姿势变化时适当地判定车辆的姿势变化之外，还能够提供基于判定结果而被适当地修正的车辆周边的俯瞰影像。
为了解决上述问题并实现目的，本发明所涉及的姿势变化判定装置的特征在于，包括：影像获取部，获取由配置于车辆的多个拍摄装置拍摄所述车辆的周边而得的多个周边影像；以及姿势变化判定部，基于所述影像获取部所获取的多个周边影像来判定所述车辆的姿势是否发生了变化。
本发明所涉及的俯瞰影像生成装置的特征在于，包括：上述的姿势变化判定装置；以及俯瞰影像生成部，生成俯瞰影像，所述俯瞰影像是将所述影像获取部所获取的多个周边影像以从上方俯视所述车辆的方式进行视点转换后合成的俯瞰影像，所述俯瞰影像生成部基于所述姿势变化判定部的判定结果，生成根据所述车辆的姿势变化修正的俯瞰影像。
本发明所涉及的俯瞰影像生成***，其特征在于，具有：上述的俯瞰影像生成装置；以及拍摄装置，配置于所述车辆，拍摄车辆的周边并将向所述影像获取部提供周边影像。
本发明涉及的姿势变化判定方法包括：影像获取步骤，获取通过配置于车辆的多个拍摄装置拍摄所述车辆的周边而得的多个周围影像；以及判定步骤，基于在所述影像获取步骤中获取的多个周边影像来判定所述车辆的姿势是否发生了变化。
本发明涉及的程序，用于使作为姿势变化判定装置而动作的计算机执行以下步骤：影像获取步骤，获取由配置于车辆的多个拍摄装置拍摄所述车辆的周边而得的多个周围影像；以及判定步骤，基于在所述影像获取步骤中获取的多个周边影像来判定所述车辆的姿势是否发生了变化。
根据本发明，能够获得如下效果：不使用传感器而容易地应用于车辆，且在车辆的姿势变化的情况下，除了适当地判定车辆的姿势变化之外，还能够提供根据判定结果适当地进行了修正的车辆周围的俯瞰影像。
附图说明
图1是示出第一实施方式涉及的俯瞰影像生成***的构成例子的框图。
图2是示出在第一实施方式涉及的俯瞰影像生成***中生成的俯瞰影像的图。
图3是说明使用第一实施方式涉及的俯瞰影像生成***的车辆的姿势的俯视图。
图4是说明使用第一实施方式涉及的俯瞰影像生成***的车辆的姿势的侧视图。
图5是说明使用第一实施方式涉及的俯瞰影像生成***的车辆的姿势的侧视图。
图6是说明第一实施方式涉及的俯瞰影像生成***的前方用周边拍摄相机的姿势的示意图。
图7是示出第一实施方式涉及的俯瞰影像生成***的姿势变化判定装置以及俯瞰影像生成装置中的处理流程的流程图。
图8是示出由第一实施方式涉及的俯瞰影像生成***的前方用周边拍摄相机拍摄的图像的一例的图。
图9是示出由第一实施方式涉及的俯瞰影像生成***的前方用周边拍摄相机拍摄的图像的其他例子的图。
图10是示出由第一实施方式涉及的俯瞰影像生成***的前方用周边拍摄相机拍摄的图像的其他例子的图。
图11是示出由第一实施方式涉及的俯瞰影像生成***的前方用周边拍摄相机拍摄的图像的另一例子的图。
图12是说明运动矢量的示意图。
图13是示出以往的俯瞰影像的图。
具体实施方式
以下，参照附图，详细说明本发明所涉及的姿势变化判定装置、俯瞰影像生成装置、俯瞰影像生成***、姿势变化判定方法和程序的实施方式。此外，本发明不受以下实施方式的限制。
[第一实施例]
图1是示出第一实施方式涉及的俯瞰影像生成***的构成例子的框图。图2是示出在第一实施方式涉及的俯瞰影像生成***中生成的俯瞰影像的图。图3是说明使用第一实施方式涉及的俯瞰影像生成***的车辆的姿势的俯视图。图4是说明使用第一实施方式涉及的俯瞰影像生成***的车辆的姿势的侧视图。图5是说明使用第一实施方式涉及的俯瞰影像生成***的车辆的姿势的侧视图。俯瞰影像生成***10生成车辆V（参照图3~图5）的周边的合成影像。在本实施方式中，俯瞰影像生成***10生成车辆V的俯瞰影像300（参照图2）。在本实施方式中，说明如图2所示的俯瞰影像300，俯瞰影像300包含表示车辆V的假想自身车辆图像A，并且是从上方俯视车辆V的俯瞰影像。本实施方式能够应用于以下的任一种状态：车辆V处于前进或者后退的任一行驶过程中显示俯瞰影像300的状态、以及在车速为零且处于停止时显示俯瞰影像300的状态。
使用图1，对俯瞰影像生成***10进行说明。在判定为车辆V的姿势发生了变化的情况下，俯瞰影像生成***10生成根据车辆V的姿势的变化而修正后的俯瞰影像300。俯瞰影像生成***10除了载置在车辆V上之外，也可以是在车辆V上能够使用的可移动型的装置。
俯瞰影像生成***10被载置于车辆V，并以能够向显示面板101发送影像信号的方式连接于显示面板101，显示面板101基于显示控制部46的处理来显示影像。俯瞰影像生成***10以能够从车辆V使用CAN（Controller Area Network，控制器局域网）等收发与车辆V相关的数据的方式连接。在本实施方式中，俯瞰影像生成***10没有包含显示面板101，然而，也可以包含显示面板101。
显示面板101是包括例如液晶显示器（Lcd：Liquid Crystal Display）或有机EL（Organic Electro-Liminescence，有机电致发光）显示器的显示器。显示面板101基于从俯瞰影像生成***10的俯瞰影像生成装置40的显示控制部46输出的影像信号来显示俯瞰影像300。显示面板101可以专用于俯瞰影像生成***10，也可以与包含例如导航***的其他***共用来使用。显示面板101配置在从包含驾驶员的观察者容易看到的位置。
俯瞰影像生成***10包含前方用周边拍摄相机（拍摄装置）21、后方用周边拍摄相机（拍摄装置）22、左侧用周边拍摄相机（拍摄装置）23、右侧用周边拍摄相机（拍摄装置）24、存储装置30、俯瞰影像生成装置40。
使用图3到图5，对前方用周边拍摄相机21、后方用周边拍摄相机22、左侧用周边拍摄相机23以及右侧用周边拍摄相机24（以下设为“周边拍摄相机21~周边拍摄相机24”）进行说明。在图3至图5中，夸大地示出了前方用周边拍摄相机21、左侧用周边拍摄相机23以及右侧用周边拍摄相机24。图3到图5所示的各相机为了容易说明而记载为朝向水平方向，但实际上设置为能够主要对各方向上的车辆V附近的下方进行拍摄的朝向。
前方用周边拍摄相机21配置在车辆V的前方，对以车辆V的前方为主的周边进行拍摄。前方用周边拍摄相机21被固定于车辆V。换而言之，前方用周边拍摄相机21相对于车辆V的安装位置和姿势是固定的。因此，当车辆V相对于包括地面和地板面的接地面的姿势发生变化时，前方用周边拍摄相机21相对于接地面的姿势发生变化。在图4中，车辆V的车轴相对于接地面不发生倾斜，而是沿平行于接地面的方向延伸。此时，前方用周边拍摄相机21的光轴沿与接地面平行的方向延伸。将图4所示的状态设为基准状态。在图5中，车辆V的车轴从后侧向前侧前低后高地相对于接地面倾斜地延伸。此时，前方用周边拍摄相机21的光轴从后侧向前侧前低后高地相对于接地面倾斜地延伸。
使用图6，对前方用周边拍摄相机21的姿势进行说明。图6是说明第一实施方式涉及的俯瞰影像生成***的前方用周边拍摄相机的姿势的示意图。前方用周边拍摄相机21的坐标系为：将前方用周边拍摄相机21的光轴方向设为Z轴，将与Z轴垂直的方向设为X轴和Y轴，将前方用周边拍摄相机21的中心设为坐标系的中心。前方用周边拍摄相机21的姿势由坐标（x1，y1，z1）以及绕X轴、Y轴和Z轴的旋转分量（θX1，θY1，θZ1）六个轴确定。在本实施方式中，前方用周边拍摄相机21的作为绕X轴的旋转分量的倾斜角θX1、表示离地面的高度的Y轴方向的高度y1、以及作为绕Z轴的旋转分量的旋转角θZ1发生变化。
前方用周边拍摄相机21的水平方向的视角例如为120~190°，上下方向的视角例如为90~120°。在本实施方式中，前方用周边拍摄相机21的包含视角的摄像条件被固定。前方用周边拍摄相机21将拍摄到的周边影像输出到俯瞰影像生成装置40的影像获取部41。前方用周边拍摄相机21所拍摄的周边影像例如是每秒60帧的图像所连续的影像数据。
后方用周边拍摄相机22配置在车辆V的后方，对以车辆V的后方为主的周边进行拍摄。后方用周边拍摄相机22固定于车辆V。换而言之，后方用周边拍摄相机22相对于车辆V的安装位置和姿势是固定的。因此，当车辆V相对于包括地面和地板面的接地面的姿势发生变化时，后方用周边拍摄相机22相对于接地面的姿势发生变化。
将后方用周边拍摄相机22的光轴方向为Z轴、将垂直于Z轴的方向为X轴和Y轴、将后方用周边拍摄相机的中心22为坐标系的原点，后方用周边拍摄相机22的姿势通过坐标（x2，y2，z2）以及绕X轴、Y轴和Z轴的旋转分量（θX2，θY2，θZ2）六个轴来确定。在本实施方式中，后方用周边拍摄相机22的作为绕X轴的旋转分量的倾斜角θX2、表示离接地面的高度的Y轴方向的高度y2、以及作为绕Z轴的旋转分量的旋转角θZ2发生变化。
后方用周边拍摄相机22的水平方向的视角例如是120~190°，上下方向的视角例如是90~120°。后方用周边拍摄相机22将所拍摄到的周边影像输出到俯瞰影像生成装置40的影像获取部41。后方用周边拍摄相机22所拍摄的周边影像例如是每秒60帧的图像所连续的影像数据。
左侧用周边拍摄相机23设置在车辆V的左侧，并且对以车辆V的左侧为主的周边进行拍摄。左侧用周边拍摄相机23固定于车辆V。换而言之，左侧用周边拍摄相机23相对于车辆V的安装位置和姿势是固定的。因此，当车辆V相对于包括地面或地板面的接地面的姿势发生变化时，左侧用周边拍摄相机23相对于接地面的姿势发生变化。
左侧用周边拍摄相机23的光轴方向为Z轴、将垂直于Z轴的方向为X轴和Y轴、将左侧用周边拍摄相机23的中心为坐标系的原点，左侧用周边拍摄相机23的姿势通过坐标（x3，y3，z3）以及绕X轴、Y轴、Z轴的旋转分量（θX3，θY3，θZ3）的六个轴来确定。在本实施方式中，左侧用周边拍摄相机23的作为绕X轴的旋转分量的倾斜角θX3、表示离接地面的高度的Y轴方向的高度y3以及作为绕Z轴的旋转分量的旋转角θZ3发生变化。
左侧用周边拍摄相机23的水平方向的视角例如120~190°，上下方向的视角例如是90~120°。左侧用周边拍摄相机23将所拍摄到的周边影像输出到俯瞰影像生成装置40的影像获取部41。由左侧用周边拍摄相机23拍摄的周边影像例如是每秒60帧的图像所连续的影像的数据。
右侧用周边拍摄相机24配置在车辆V的右侧，并对以车辆V的右侧为主的周边进行拍摄。右侧用周边拍摄相机24被固定于车辆V。换而言之，右侧用周边拍摄相机24相对于车辆V的安装位置和姿势是固定的。因此，当车辆V相对于包含底面或地板面的接地面的姿势发生变化时，右侧用周边拍摄相机24相对于接地面的姿势发生变化。
右侧用周边拍摄相机24的姿势以右侧周边拍摄相机24的光轴方向为Z轴、以垂直于Z轴的方向为X轴和Y轴，以右侧用周边拍摄相机24的中心为坐标系的原点，通过坐标（x4，y4，z4）以及绕X轴、Y轴和Z轴的旋转分量（θX4，θY4，θZ4）的六个轴来确定。在本实施方式中，右侧用周边拍摄相机24的作为绕X轴的旋转分量的倾斜角θX4、表示离接地面的高度的Y轴方向的高度y4、以及作为绕Z轴的旋转分量的旋转角θZ4发生变化。
例如，右侧用周边拍摄相机24的水平方向的视角例如是120~190°，上下方向上的视场例如是90~120°。右侧用周边拍摄相机24将所拍摄的周边影像输出到俯瞰影像生成装置40的影像获取部41。由右侧用周边拍摄相机24拍摄的周边影像例如是每秒60帧的图像所连续的影像数据。
返回到图1，存储装置30存储俯瞰影像生成装置40中的各种处理所需的数据和各种处理结果。存储装置30例如是RAM（Random Access Memory，随机存取存储器）、ROM（ReadOnly Memory，只读存储器）或闪存（Flash Memory）等半导体存储元件，或者是硬盘或光盘等存储装置。
存储装置30存储由影像获取部41获取的最新帧的周边影像和紧接之前的帧的周边影像。
存储装置30将由前方用周边拍摄相机21拍摄到的两个周边影像中的消失点P的高度方向的差（高度方向的变化量）、以及前方用周边拍摄相机21的倾斜角θX1的差（倾斜角θX1的变化量）关联起来存储为倾斜角变化数据。存储装置30将由后方用周边拍摄相机22拍摄到的两个周边影像中的消失点P的高度方向的差以及后方用周边拍摄相机22的倾角θX2的差（倾斜角θX2的变化量）对应起来存储为倾斜角变化数据。存储装置30将由左侧用周边拍摄相机23拍摄的两个周边影像中的消失点P的高度方向上的差以及左侧用周边拍摄相机23的倾斜角θX3的差（倾斜角θX3的变化量）对应起来存储为倾斜角变化数据。存储设备30将由右侧用周边拍摄相机24拍摄的两个周边影像中的消失点P的高度方向上的差以及右侧用周边拍摄相机24的倾斜角θX4（倾斜角θX4的变化量）对应起来存储为倾斜角变化数据。由此，如果知道两个周边影像中的消失点P的高度方向的差，则通过参照倾斜角变化数据，能够获取拍摄了两个周边影像的相机的倾斜角θX1~倾斜角θX4之差。
俯瞰影像生成装置40例如是由CPU（Central Processing Unit，中央处理器）等构成的运算处理装置。俯瞰影像生成装置40将存储在存储装置30中的程序加载到存储器中，并执行该程序中所包含的指令。俯瞰影像生成装置40包括：影像获取部41、车辆信息获取部42以及控制部43，所述控制部43具有姿势变化判定部44、俯瞰影像生成部45以及显示控制部46。
姿势变化判定装置50例如是由CPU等构成的运算处理装置。姿势变化判定装置50将存储在存储装置30中的程序加载到存储器中，并执行程序中包含的指令。姿势变化判定装置50实现俯瞰影像生成装置40的一部分功能。具体而言，姿势变化判定装置50包括影像获取部41以及具有姿势变化判定部44的控制部43。
影像获取部41获取对车辆V的周边拍摄而得的周边影像。更具体地，影像获取部41获取由周边拍摄相机21~周边拍摄相机24输出的周边影像。影像获取部41将获取的周边影像输出到姿势变化判定部44和俯瞰影像生成部45。
车辆信息获取部42与车辆V所包括的CAN连接来获取OBD（On Board Diagnosis，车载诊断）II数据等，由此获取车辆V中的各种信息。车辆信息获取部42获取例如档位信息、车速信息来作为车辆V的信息。车辆信息获取部42将获取的车辆信息输出到控制部43。
控制部43在基于由车辆信息获取部42获取的车辆信息来判定为满足用于开始俯瞰影像300的显示的任意条件时，生成俯瞰影像300并输出到显示面板101。任意条件例如为：已经获得了档位为倒档的信息的情况、或行驶速度小于预定的情况、或者检测到被输入了开始俯瞰影像300的显示的操作的情况等。控制部43具有：姿势变化判定部44，根据由影像获取部41获取的周边影像来判定车辆V的姿势的变化；俯瞰影像生成部45，生成俯瞰影像300，该俯瞰影像300是对由影像获取部41获取的周边影像进行视点转换并且基于姿势变化判定部44的判定结果来对其进行修正的；以及显示控制部46，将由俯瞰影像生成部45生成的俯瞰影像300输出到显示面板101。
姿势变化判定部44根据由影像获取部41获取的周边影像来判定车辆V的姿势变化。更具体而言，姿势变化判定部44基于由影像获取部41获取的多个周边影像分别计算出周边拍摄相机21~周边拍摄相机24的倾斜角θX1~倾斜角θX4的变化量、高度y1~高度y4的变化量以及旋转角θZ1~旋转角θZ4的变化量。然后，姿势变化判定部44基于由影像获取部41获取的多个周边影像、并基于周边拍摄相机21~周边拍摄相机24的倾斜角θX1~倾斜角θX4的变化量、高度y1~高度y4的变化量、旋转角θZ1~旋转角θZ4的变化量来判定车辆V的姿势是否变化。
俯瞰影像生成部45作为通常处理将影像获取部41获取的周边影像进行视点转换为从车辆V的上方观看的影像，并合成从上方观看车辆V的假想自身车辆图像A，从而生成俯瞰影像300。俯瞰影像生成部45基于由周边拍摄相机21~周边拍摄相机24拍摄的周边影像，生成俯瞰影像300。生成俯瞰影像300的方法可以是公知的任何方法，并不限定。俯瞰影像生成单元45将生成的俯瞰影像300输出到显示控制部46。
在此，在通常处理中，周边拍摄相机21~周边拍摄相机24处于图4所示的基准状态。在基准状态下，周边拍摄相机21~周边拍摄相机24位于车辆V上的预先设定的高度处，X轴和Z轴沿平行于接地面的方向延伸，并且Y轴沿与接地面正交的方向延伸。
俯瞰影像300包含假想自身车辆图像A、以及前方影像301、后方影像302、左侧影像303和右侧影像304中的至少一个。在本实施方式中，俯瞰影像300被生成为矩形。俯瞰影像300包含显示前方影像301的第一范围F1、显示后方影像302的第二范围F2、显示左侧影像303的第三范围F3以及显示右侧影像304的第四范围F4中的至少任一个。在本实施方式中，俯瞰影像300包含第一范围F1、第二范围F2、第三范围F3以及第四范围F4。
作为修正处理，当姿势变化判定部44的判定结果判定为周边拍摄相机21~周边拍摄相机24中的至少任一个的姿势发生了变化的情况下，俯瞰影像生成部45根据周边拍摄相机21~周边拍摄相机24的姿势的变化修正在影像获取部41中获取的周边影像，并且视点转换为从车辆V的上方观看的影像，并合成从上方观察车辆V的假想自身车辆图像A，生成俯瞰影像300。俯瞰影像生成单元45将生成的俯瞰影像300输出到显示控制部46。
在这里，在修正处理中，根据图像的周边拍摄相机21~周边拍摄相机24的姿势的变化对周边影像进行修正、并且视点转换为从车辆V上方观察的影像是指：例如，考虑周边影像的拍摄位置与基准状态的偏差来进行视点转换。这里所说的周边拍摄相机21~周边拍摄相机24的姿势的变化是指：相对于车辆V位于平面的地面上的情况，由于地面的凹凸等，周边拍摄相机21~周边拍摄相机24相对于地面的高度发生偏差。这样的偏差例如出现在：车辆V所具有的多个车轮中的一部分车轮越过阶梯的中途、或者一部分车轮处于不同的倾斜度时、或者由于车辆V的乘客或负载而车辆V被施加了不水平的负载时等。
显示控制部46将俯瞰影像生成部45生成的俯瞰影像300输出到显示面板101。
接着，参照图7说明俯瞰影像生成***10的姿势变化判定装置50以及俯瞰影像生成装置40的处理流程。图7是示出第一实施方式涉及的俯瞰影像生成***的姿势变化判定装置以及俯瞰影像生成装置的处理流程的流程图。
控制部43计算姿势（步骤S1）。更具体地，控制部43使姿势变化判定部44基于由影像获取部41获取的多个周边影像，分别计算出周边拍摄相机21~周边拍摄相机24的倾斜角θX4的变化量、高度y1~高度y4的变化量、以及旋转角θZ1~旋转角θZ4的变化量。
控制部43使姿势变化判定部44基于由影像获取部41获取的、由周边拍摄相机21~周边拍摄相机24拍摄的周边影像，分别计算出周边拍摄相机21~周边拍摄相机24的倾斜角θX1~倾斜角θX4的变化量。
使用图8和图9，对前方用周边拍摄相机21的倾斜角θX1的变化量的计算进行说明。图8是示出由第一实施方式涉及的俯瞰影像生成***的前方用周边拍摄相机拍摄的影像的一例的图。图9是示出由第一实施方式涉及的俯瞰影像生成***的前方用周边拍摄相机拍摄的影像的另一例的图。周边影像201和周边影像202是由前方用周边拍摄相机21以预定帧差拍摄的周边影像。例如，周边影像202是最新帧的周边影像，周边影像201是紧接之前的帧的周边影像。
控制部43使姿势变化判定部44基于由影像获取部41获取的、由前方用周边拍摄相机21以预定帧差拍摄的周边影像来计算前方用周边拍摄相机21的倾斜角θX1的变化量。
更详细地，控制部43使姿势变化判定部44在图8所示的图像201中提取出例如路面标识或道路的设置物或建筑物等在与接地面平行的方向上直线状延伸的被拍摄物211、被拍摄物212、被拍摄物213、被拍摄物214以及被拍摄物215。道路标识例如包含车道中心线、车道边界线、车道外侧线和路边区的各显示。道路的设置物例如包含护栏、侧壁、路缘石等设置物。被拍摄物211、被拍摄物212以及被拍摄物213是车道。被拍摄物214是路缘石。被拍摄物215是侧壁。然后，控制部43使姿势变化判定部44在周边影像201中延长与被拍摄物211、被拍摄物212、被拍摄物213、被拍摄物214、被拍摄物215对应的直线。然后，控制部43使姿势变化判定部44将直线的交点确定为周边影像201的消失点PA。然后，控制部43使姿势变化判定部44同样地确定图9所示的周边影像202的消失点PB。然后，控制部43使姿势变化判定部44获取周边影像201的消失点PA与周边影像202的消失点PB的高度方向上的差。然后，控制部43使姿势变化判定部44基于存储在存储装置30中的倾斜角变化数据，获取与消失点PA和消失点PB的高度方向的差对应的、前方用周边拍摄相机21的倾斜角θX1的变化量。
控制部43对后方用周边拍摄相机22、左侧用周边拍摄相机23和右侧用周边拍摄相机24中的每一个执行这样的处理，并且获取后方用周边拍摄相机22的倾斜角θX2的变化量、左侧用周边拍摄相机23的倾斜角θX3的变化量以及右侧用周边拍摄相机24的倾斜角θX4的变化量。
控制部43使姿势变化判定部44基于由影像获取部41获取的、由周边拍摄相机21~周边拍摄相机24拍摄的周边影像来计算周边拍摄相机21~周边拍摄相机24的高度y1~高度y4的变化量。
使用图10至图12，对前方用周边拍摄相机21的高度y1的变化量的计算进行说明。图10是示出由第一实施方式涉及的俯瞰影像生成***的前方用周边拍摄相机拍摄的影像的另一例的图。图11是示出由第一实施方式涉及的俯瞰影像生成***的前方用周边拍摄相机拍摄的影像的另一例的图。图12是说明运动矢量的示意图。周边影像203和周边影像204是由前方用周边拍摄相机21以预定的帧差拍摄的影像。例如，周边影像204是最新帧的周边影像，周边影像203是紧接之前的帧的周边影像。
控制部43使姿势变化判定部44基于由影像获取部41获取的、由前方用周边拍摄相机21以预定的帧差所拍摄的周边影像来计算前方用周边拍摄相机21的高度y1的变化量。
更具体地，控制部43使姿势变化判定部44在图10所示的周边影像203中提取位于前方用周边拍摄相机21的正下方的被拍摄物216A。对于位于前方用周边拍摄相机21的正下方的被拍摄物216A，例如可以提取包含在周边影像203的下侧中央的区域中的影像的特征点。然后，控制部43使姿势变化判定部44在图11所示的周边影像204中执行模式匹配，提取出与被拍摄物216A对应的被拍摄物216B。然后，如图12所示，控制部43使姿势变化判定部44基于被拍摄物216A和被拍摄物216B提取运动矢量。然后，控制部43使姿势变化判定部44根据提取出的运动矢量，获取前方用周边拍摄相机21的高度y1的变化量。此外，在该实施例中，由于车辆V停止，所提取的运动矢量表示前方用周边拍摄相机21的高度y1的变化量。
在这里，对运动矢量进行说明。运动矢量是由于图像的移动而图像进行了平移时表示图像的平移量的矢量。提取运动矢量的方法可以是公知的任何方法，不做限定。
控制部43使后方用周边拍摄相机22、左侧用周边拍摄相机23和右侧用周边拍摄相机24中的每个进行这样的处理，获取后方用周边拍摄相机22的高度y2的变化量、左侧用周边拍摄相机23的高度y3的变化量以及右侧用周边拍摄相机24的高度y4的变化量。
控制部43使姿势变化判定部44基于由影像获取部41获取的、由周边拍摄相机21~周边拍摄相机24拍摄的周边影像来计算周边拍摄相机21~周边拍摄相机24的旋转角θZ1~旋转角θZ4的变化量。
更具体地，控制部43使姿势变化判定部44基于左侧用周边拍摄相机23的倾斜角θX3的变化量和高度y3的变化量、以及右侧用周边拍摄相机24的倾斜角θX4的变化量和高度y4的变化量中的至少一个，计算前方用周边拍摄相机21的旋转角θZ1的变化量。
控制部43使姿势变化判定部44基于左侧用周边拍摄相机23的倾斜角θX3的变化量和高度y3的变化量、以及右侧用周边拍摄相机24的倾斜角θX4的变化量和高度y4的变化量中的至少一个，计算后方用周边拍摄相机22的旋转角θZ2的变化量。
控制部43使姿势变化判定部44基于前方用周边拍摄相机21的倾斜角θX1的变化量和高度y1的变化量、以及后方用周边拍摄相机22的倾斜角θX2的变化量和高度y2的变化量中的至少一个，计算左侧用周边拍摄相机23的旋转角θZ3的变化量。
控制部43使姿势变化判定部44基于前方用周边拍摄相机21的倾斜角θX1的变化量和高度y1的变化量、以及后方用周边拍摄相机22的倾斜角θX2的变化量和高度y2的变化量中的至少一个，计算右侧用周边拍摄相机24的旋转角θZ4的变化量。
控制部43判定姿势是否发生变化（步骤S2）。控制部43使姿势变化判定部44在周边拍摄相机21~周边拍摄相机24的、倾斜角θX1~倾角θX4、高度y1~高度y4、旋转角θZ1~旋转角θZ4中的至少一者发生了变化的情况下，判定为姿势发生了变化（是）。控制部43使姿势变化判定部44在周边拍摄相机21~周边拍摄相机24的、倾斜角θX1~倾斜角θX4、高度y1~高度y4、旋转角θZ1~旋转角θZ4中的任一个都没有变化的情况下，判定为姿势没有变化（否）。
当姿势变化判定部44判定为姿势没有变化的情况下（在步骤S2中的“否”），控制部43进入到步骤S3。
当姿势变化判定部44判定姿势发生变化了的情况下（步骤S2中的“是”），控制部43前进到步骤S4。
控制部43使俯瞰影像生成部45作为通常处理而生成俯瞰影像300（步骤S3）。更具体而言，控制部43使俯瞰影像生成部45将由影像获取部41获取的周边影像视点转换为从车辆V的上方观察的影像，并合成从上方观察车辆V的假想自身车辆图像A，生成俯瞰影像300。
控制部43使俯瞰影像生成部45作为修正处理而生成进行了修正的俯瞰影像300（步骤S4）。更具体而言，控制部43使俯瞰影像生成部45根据周边拍摄相机21~周边拍摄相机24的姿势的变化来修正由影像获取部41获取的周边影像，并且视点转换为从车辆V的上方观察的影像，从而生成俯瞰影像300。
具体而言，首先，控制部43使姿势变化判定部44判定前方用周边拍摄相机21的倾斜角θZ1、高度y1以及旋转角θZ1中的至少任一个是否发生了变化。当在姿势变化判定部44中判定为前方用周边拍摄相机21的倾斜角θX1、高度y1以及旋转角θZ1中的至少一者发生了变化的情况下，控制部43使俯瞰影像生成部45生成根据前方用周边拍摄相机21的姿势的变化对由前方用周边拍摄相机21拍摄的周边影像进行修正、并视点转换为从车辆V的上方观察的影像的前方影像301。在姿势变化判定部44中判定为前方用周边拍摄相机21的倾斜角θX1、高度y1以及旋转角θZ1中的哪一个都没有变化的情况下，控制部43使俯瞰影像生成部45生成将由前方用周边拍摄相机21拍摄的周边影像视点转换为从车辆V的上方观看的影像的前方影像301。
控制部43使姿势变化判定部44判定后方用周边拍摄相机22的倾斜角θX2、高度y2以及旋转角θZ2中的至少任一个是否发生变化。当在姿势变化判定部44中判定为后方用周边拍摄相机22的倾斜角θX2、高度y2以及旋转角θZ2中的至少一个发生了变化的情况下，控制部43使俯瞰影像生成部45生成根据后方用拍摄相机22的姿势的变化修正由后方用周边影像相机22拍摄的周边影像、并视点转换为从车辆V的上方观察的影像的后方影像302。当在姿势变化判定部44判定为后方用周边拍摄相机22的倾斜角θX2、高度y2以及旋转角θZ2中的哪一个都没有变化的情况下，控制部43使俯瞰影像生成部45生成将由后方用周边拍摄相机22拍摄的周边影像视点变换为从车辆V的上方观察的影像的后方影像302。
控制部43使姿势变化判定部44判定左侧用周边拍摄相机23的倾斜角θX3、高度y3以及旋转角θZ3中的至少任一个是否发生变化。当在姿势变化判定部44中判定为左侧用周边拍摄相机23的倾斜角θX3、高度y3以及旋转角θZ3中的至少一个发生了变化的情况下，控制部43使俯瞰影像生成部45生成根据左侧用拍摄相机23的姿势的变化修正由左侧用周边影像相机23拍摄的周边影像、并视点转换为从车辆V的上方观察的影像的左侧影像303。当在姿势变化判定部44判定为左侧用周边拍摄相机23的倾斜角θX3、高度y3以及旋转角θZ3中的哪一个都没有变化的情况下，控制部43使俯瞰影像生成部45生成将由左侧用周边拍摄相机23拍摄的周边影像视点变换为从车辆V的上方观察的影像的左侧影像303。
控制部43使姿势变化判定部44判定右侧用周边拍摄相机24的倾斜角θX4、高度y4以及旋转角θZ4中的至少任一个是否发生变化。当在姿势变化判定部44中判定为右侧用周边拍摄相机24的倾斜角θX4、高度y4以及旋转角θZ4中的至少一个发生了变化的情况下，控制部43使俯瞰影像生成部45生成根据右侧用拍摄相机24的姿势的变化修正由右侧用周边影像相机24拍摄的周边影像、并视点转换为从车辆V的上方观察的影像的右侧影像304。当在姿势变化判定部44判定为右侧用周边拍摄相机24的倾斜角θX4、高度y4以及旋转角θZ4中的哪一个都没有变化的情况下，控制部43使俯瞰影像生成部45生成将由右侧用周边拍摄相机24拍摄的周边影像视点变换为从车辆V的上方观察的影像的右侧影像304。
然后，控制部43使俯瞰影像生成部45生成对前方影像301、后方影像302、左侧影像303以及右侧影像304进行合成、并合成从上方观察车辆V时的假想自身车辆图像A的俯瞰影像300。根据每个相机的姿势变化的修正是指周边影像的切出范围的改变、切出位置的改变。
控制部43显示俯瞰影像300（步骤S5）。更具体地说，控制部43使显示控制部46在显示面板101上显示在步骤S3中生成的俯瞰影像300或在步骤S4中生成的俯瞰影像300。
如此，俯瞰影像生成***10生成俯瞰影像300，并将该影像信号输出到搭载于车辆V的显示面板101。显示面板101基于从俯瞰影像生成***10输出的影像信号例如与导航一起显示俯瞰影像300。
如上所述，根据本实施方式，当周边拍摄相机21~周边拍摄相机24中的至少一者的姿势发生变化时，根据周边拍摄相机21~周边拍摄相机24的姿势的变化修正由影像获取部41获取的周边影像，并视点转换为从车辆V的上方观看的影像，合成从上方观看车辆V的假想自身车辆图像A，从而能够生成俯瞰影像300。
在本实施方式中，即使是由于乘客上下车或货物的装载、制动器操作、驶过台阶或进入斜坡等而导致车辆V下沉的情况等，也能够根据周边拍摄相机21~周边拍摄相机24的姿势的变化进行修正来生成适当的俯瞰影像300。
在这里，为了比较，使用图13，对车辆V下沉情况下的以往的俯瞰影像300进行说明。图13是示出以往的俯瞰影像的图。图13示出例如乘客乘坐在停放着的车辆V的前侧而车辆V的前侧下沉的状态下的俯瞰影像300。前方用周边拍摄相机21的高度y1比车辆V下沉前低。此外，为了简化说明，假设后方用周边拍摄相机22、左侧用周边拍摄相机23和右侧用周边拍摄相机24的高度y2~高度y4没有变化。因此，在俯瞰影像300中，前方影像301与左侧影像303和右侧影像304的接缝是不连续的。换而言之，俯瞰影像300的第一范围F1与第三范围F3和第四范围F4之间的边界是不连续的，发生了变形。如此，俯瞰影像300的停车框线L是不连续的，发生了变形。
与此相对，根据本实施方式，如图2所示，俯瞰影像300的停车框线L连续并且抑制了变形。如上所述，根据本实施方式，例如，即使是车辆V的前侧下沉而周边拍摄相机21~周边拍摄相机24的姿势发生了变化的情况下，也能够生成要合成的周边影像的接缝平滑地连续的、抑制了变形的俯瞰影像300。根据本实施方式，即使车辆V的姿势变化，也能够提供适当的车辆周边的俯瞰影像300。
根据本实施方式，能够基于由影像获取部41获取的周边影像来判定周边拍摄相机21~周边拍摄相机24的姿势是否发生了变化。换而言之，在本实施方式中，在车辆V中不配置检测姿势变化的传感器，也能够判定周边拍摄相机21~周边拍摄相机24的姿势是否发生了变化。此外，本实施方式能够基于由影像获取部41获取的周边影像来计算周边拍摄相机21~周边拍摄相机24的姿势的变化。如上所述，本实施方式由于可以不在车辆V侧安装传感器等，因此能够容易地应用于车辆V。
[第二实施方式]
本实施方式的俯瞰影像生成***10与第一实施方式的俯瞰影像生成***10的不同点在于：车辆信息获取部42经由CAN获取车速信息以及控制部43中的处理。在本实施方式中，不限于车辆V停止的情况。
车辆信息获取部42与车辆V所具有的CAN连接并获取OBDII数据等，由此获取车辆V的档位信息和车辆V的车速信息。
控制部43在基于以预定帧差拍摄的周边影像来提取运动矢量时，排除基于车辆V的移动的运动矢量的分量，仅提取前方用周边拍摄相机21的高度方向的变化的运动矢量。基于车辆V在水平方向上的平行移动的运动矢量与由于相机的高度方向（垂直方向）上的移动而导致图像在高度方向上平行移动时的运动矢量在方向上不同。因此，当基于以预定帧差拍摄的周边影像来提取运动矢量时，能够容易地排除基于车辆V的移动的运动矢量的分量。或者，基于车辆V的运动的运动矢量可以基于车辆信息获取部42所获取的车速来计算。
如上所述，根据本实施方式，不管车辆V是停止还是移动，都根据周边拍摄相机21~周边拍摄相机24的姿势变化进行修正，能够提供适当的车辆周边的俯瞰影像300。
到此为止，对本发明涉及的俯瞰影像生成***10进行了说明，但是除了上述实施方式之外，可以以各种不同的方式来实施。
图示的俯瞰影像生成***10的各构成要素是在功能上示意的，在物理上不一定如图所示地构成。即，各装置的具体形式不限于图示的那些，而是可以根据各装置的处理负担、使用情况等将其全部或一部分以任意的单位在功能上或物理上分散或集成。
俯瞰影像生成***10的构成例如通过装载在存储器等中的程序来作为软件来实现。在上述实施方式中，作为通过这些硬件或软件的协作来实现的功能块来进行了说明。即，这些功能块可以通过仅硬件、仅软件或其组合来以各种形式实现。
在上面描述的构成要素中包含本领域技术人员能够容易想到的、实质上相同的内容。此外，上述记载的构成能够适当地组合。另外，在不脱离本发明的主旨的范围内，能够进行构成的各种省略、置换或改变。
说明了控制部43基于由周边拍摄相机21~周边拍摄相机24所拍摄的周边影像的消失点P的高度的变化获取周边拍摄相机21~周边拍摄相机24的倾斜角θX1~倾斜角θX4的变化量，但是，并不限制与此。控制部43可以例如基于由周边拍摄相机21~周边拍摄相机24拍摄的周边影像中的、车辆V的接地面在无限远收敛的收敛线的位置（收敛位置）的变化来获取周边拍摄相机21~周边拍摄相机24的倾斜角θX1~倾斜角θX4的变化量。收敛线例如是地平线或水平线。在该情况下，存储装置30将由周边拍摄相机21~周边拍摄相机24以预定的帧差拍摄的两个周边影像中的收敛线的位置的差与周边拍摄相机21~周边拍摄相机24的倾斜角θX1~倾斜角θX4的差对应起来存储为倾斜角变化数据。
例如，姿势变化判定部44可以在例如倾斜角θX1~倾斜角θX4的变化量为预定值以上时判定为倾斜角θX1~倾斜角θX4发生了变化。姿势变化判定部44可以在例如高度y1~高度y4的变化量为预定值以上时，判定为高度y1~高度y4发生了变化。姿势变化判定部44可以在例如旋转角θZ1~旋转角θZ4的变化量为预定值以上时，判定为旋转角θZ1~旋转角θZ4的发生了变化。通过这样做，当周边拍摄相机21~周边拍摄相机24的姿势持续地发生细微变化时，能够减轻俯瞰影像生成***10的处理负担。
符号说明
10俯瞰影像生成***
21前方用周边拍摄相机（拍摄装置）
22后方用周边拍摄相机（拍摄装置）
23左侧用周边拍摄相机（拍摄装置）
24右侧用周边拍摄相机（拍摄装置）
30存储装置
40俯瞰影像生成装置
41影像获取部
42车辆信息获取部
43控制部
44姿势变化判定部
45俯瞰影像生成部
46显示控制部
50姿势变化判定装置
101显示面板
300俯瞰影像（合成影像）
A 假想自身车辆图像
P消失点
V车辆

Claims (9)

1.一种俯瞰影像生成装置，其特征在于，包括：
影像获取部，获取多个周边影像，所述多个周边影像由朝向车辆的前后左右配置的多个拍摄装置拍摄所述车辆的周边而得；
姿势变化判定部，基于所述影像获取部所获取的多个周边影像，判定所述车辆的姿势是否发生了变化；以及
俯瞰影像生成部，生成俯瞰影像，所述俯瞰影像是将所述影像获取部获取的多个周边影像以从上方俯视所述车辆的方式进行视点转换后合成而得的，
其中，所述姿势变化判定部基于所述周边影像中向纵深方向延伸的直线所收敛的收敛位置的变化来计算所述拍摄装置的倾斜角的变化量，基于所述周边影像中特征点的位置的变化来提取运动矢量，并计算所述拍摄装置的高度的变化量，基于朝向不同的其他所述拍摄装置的倾斜角的变化量和高度的变化量来计算所述拍摄装置的旋转角的变化量，由此判定所述车辆的姿势是否发生了变化，
所述俯瞰影像生成部基于所述姿势变化判定部的判定结果来生成根据所述车辆的姿势变化修正的俯瞰影像。
2.如权利要求1所述的俯瞰影像生成装置，其中，
所述姿势变化判定部基于朝向所述车辆的右方或者左方配置的拍摄装置的倾斜角的变化量和高度的变化量来计算朝向所述车辆的前方或者后方配置的拍摄装置的旋转角的变化量。
3.如权利要求1所述的俯瞰影像生成装置，其中，
所述姿势变化判定部基于朝向所述车辆的前方或者后方配置的拍摄装置的倾斜角的变化量和高度的变化量来计算朝向所述车辆的左方或者右方配置的拍摄装置的旋转角的变化量。
4.如权利要求1所述的俯瞰影像生成装置，其中，
所述收敛位置是在所述周边影像中将多个被拍摄物延长交叉的消失点，所述被拍摄物在与所述车辆接触地面的接地面平行的方向上呈直线状延伸。
5.如权利要求4所述的俯瞰影像生成装置，其中，
所述被拍摄物是路面标识、道路的设置物、建筑物中的至少一个。
6.如权利要求1所述的俯瞰影像生成装置，其中，
所述收敛位置是周边影像中所述车辆接触地面的接地面在无限远处收敛的收敛线。
7.一种俯瞰影像生成***，其特征在于，包括：
权利要求1至6中的任一项所述的俯瞰影像生成装置；以及
拍摄装置，配置于所述车辆，拍摄车辆的周边并向所述影像获取部提供周边影像。
8. 一种俯瞰影像生成方法，其特征在于，包括：
影像获取步骤，获取多个周边影像，所述多个周边影像由朝向车辆的前后左右配置的多个拍摄装置拍摄所述车辆的周边而得；以及
判定步骤，基于在所述影像获取步骤中获取的多个周边影像，判定所述车辆的姿势是否发生了变化；以及
俯瞰影像生成步骤，生成俯瞰影像，所述俯瞰影像是将在所述影像获取步骤中获取的多个周边影像以从上方俯视所述车辆的方式进行视点转换后合成而得的，
其中，在所述判定步骤中，基于所述周边影像中向纵深方向延伸的直线所收敛的收敛位置的变化来计算所述拍摄装置的倾斜角的变化量，基于所述周边影像中特征点的位置的变化来提取运动矢量，并计算所述拍摄装置的高度的变化量，基于朝向不同的其他所述拍摄装置的倾斜角的变化量和高度的变化量来计算所述拍摄装置的旋转角的变化量，由此判定所述车辆的姿势是否发生了变化，
在所述俯瞰影像生成步骤中，基于所述判定步骤的判定结果来生成根据所述车辆的姿势变化修正的俯瞰影像。
9.一种计算机可读的存储介质，存储有用于使作为俯瞰影像生成装置而动作的计算机执行以下步骤的程序：
影像获取步骤，获取多个周边影像，所述多个周边影像由朝向车辆的前后左右配置的多个拍摄装置拍摄所述车辆的周边而得；
判定步骤，基于在所述影像获取步骤中获取的多个周边影像，判定所述车辆的姿势是否发生了变化；以及
俯瞰影像生成步骤，生成俯瞰影像，所述俯瞰影像是将在所述影像获取步骤中获取的多个周边影像以从上方俯视所述车辆的方式进行视点转换后合成而得的，
其中，在所述判定步骤中，基于所述周边影像中向纵深方向延伸的直线所收敛的收敛位置的变化来计算所述拍摄装置的倾斜角的变化量，基于所述周边影像中特征点的位置的变化来提取运动矢量，并计算所述拍摄装置的高度的变化量，基于朝向不同的其他所述拍摄装置的倾斜角的变化量和高度的变化量来计算所述拍摄装置的旋转角的变化量，由此判定所述车辆的姿势是否发生了变化，
在所述俯瞰影像生成步骤中，基于所述判定步骤的判定结果来生成根据所述车辆的姿势变化修正的俯瞰影像。
CN201780004553.6A 2016-06-15 2017-01-24 俯瞰影像生成装置、俯瞰影像生成***、以及存储介质 Active CN108367710B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-118533 2016-06-15
JP2016118533A JP6614042B2 (ja) 2016-06-15 2016-06-15 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
PCT/JP2017/002368 WO2017216998A1 (ja) 2016-06-15 2017-01-24 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム

Publications (2)

Publication Number Publication Date
CN108367710A CN108367710A (zh) 2018-08-03
CN108367710B true CN108367710B (zh) 2021-04-23

Family

ID=60664376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780004553.6A Active CN108367710B (zh) 2016-06-15 2017-01-24 俯瞰影像生成装置、俯瞰影像生成***、以及存储介质

Country Status (5)

Country Link
US (1) US20180322655A1 (zh)
EP (1) EP3418122B1 (zh)
JP (1) JP6614042B2 (zh)
CN (1) CN108367710B (zh)
WO (1) WO2017216998A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109691088B (zh) * 2016-08-22 2022-04-15 索尼公司 图像处理设备、图像处理方法、以及程序
CN109086650B (zh) * 2017-06-14 2022-04-12 现代摩比斯株式会社 校准方法和校准设备
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
CN110858405A (zh) 2018-08-24 2020-03-03 北京市商汤科技开发有限公司 车载摄像头的姿态估计方法、装置和***及电子设备
JP7286986B2 (ja) * 2019-02-11 2023-06-06 株式会社デンソーテン 画像生成装置
JP7188228B2 (ja) * 2019-03-27 2022-12-13 株式会社デンソーテン 画像生成装置
JP7380435B2 (ja) * 2020-06-10 2023-11-15 株式会社Ｊｖｃケンウッド 映像処理装置、及び映像処理システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796417B2 (ja) * 2001-06-27 2006-07-12 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP2003178309A (ja) * 2001-10-03 2003-06-27 Toyota Central Res & Dev Lab Inc 移動量推定装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP4710653B2 (ja) * 2005-03-03 2011-06-29 日産自動車株式会社 車載画像処理装置及び車両用画像処理方法
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
EP2256711B1 (en) * 2008-03-25 2018-11-21 Mitsubishi Electric Corporation Driving support system
JP2009253571A (ja) * 2008-04-04 2009-10-29 Clarion Co Ltd 車両用モニタ映像生成装置
JP2010233080A (ja) * 2009-03-27 2010-10-14 Aisin Aw Co Ltd 運転支援装置、運転支援方法、及び運転支援プログラム
EP2482557B1 (en) * 2009-09-24 2020-03-18 Panasonic Intellectual Property Management Co., Ltd. Driving support display device
JP5552892B2 (ja) * 2010-05-13 2014-07-16 富士通株式会社 画像処理装置および画像処理プログラム
JP2012046081A (ja) * 2010-08-27 2012-03-08 Daihatsu Motor Co Ltd 走行状態判定装置
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム
JP5877053B2 (ja) * 2011-12-14 2016-03-02 パナソニック株式会社 姿勢推定装置および姿勢推定方法
JP2013186245A (ja) * 2012-03-07 2013-09-19 Denso Corp 車両周辺監視装置
JP5510484B2 (ja) * 2012-03-21 2014-06-04 カシオ計算機株式会社 動画撮影装置、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラム
JP5820787B2 (ja) * 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
JP6085212B2 (ja) * 2013-03-28 2017-02-22 本田技研工業株式会社 運転支援装置
WO2015029934A1 (ja) * 2013-08-30 2015-03-05 クラリオン株式会社 カメラ校正装置、カメラ校正システム、及びカメラ校正方法
CN104023221B (zh) * 2014-06-23 2016-04-13 深圳超多维光电子有限公司 立体图像视差调节方法和装置
JP6252783B2 (ja) * 2014-08-29 2017-12-27 マツダ株式会社 車両用歩行者検出装置
JP6371185B2 (ja) * 2014-09-30 2018-08-08 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム

Also Published As

Publication number Publication date
WO2017216998A1 (ja) 2017-12-21
EP3418122A4 (en) 2019-03-27
JP2017222258A (ja) 2017-12-21
CN108367710A (zh) 2018-08-03
US20180322655A1 (en) 2018-11-08
JP6614042B2 (ja) 2019-12-04
EP3418122A1 (en) 2018-12-26
EP3418122B1 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
CN108367710B (zh) 俯瞰影像生成装置、俯瞰影像生成***、以及存储介质
CN106408611B (zh) 静态目标的路过式校准
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
JP4832321B2 (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
JP5109691B2 (ja) 解析装置
US20110298988A1 (en) Moving object detection apparatus and moving object detection method
EP2348279B1 (en) Road measurement device and method for measuring road
WO2014132680A1 (ja) 車両の制御装置、及びプログラム
CN110678872A (zh) 通过使用神经网络图像处理的、作为3d限界框的直接载具检测
CN102163331A (zh) 采用标定方法的图像辅助***
CN105139389A (zh) 全景摄像机***(vpm)与车辆动态
JP2009060499A (ja) 運転支援システム及び連結車両
CN107209930B (zh) 环视图像稳定方法和装置
JP7107931B2 (ja) 移動オブジェクトのレンジを推定する方法および装置
US10733464B2 (en) Method, system and device of obtaining 3D-information of objects
JP5935435B2 (ja) 画像処理装置、画像処理方法
US11562576B2 (en) Dynamic adjustment of augmented reality image
CN108376384B (zh) 视差图的矫正方法、装置及存储介质
CN112129313A (zh) 基于惯性测量单元的ar导航补偿***
CN111854788B (zh) 基于惯性测量单元的ar导航补偿***
WO2022153795A1 (ja) 信号処理装置、信号処理方法及び信号処理システム
JP2020086956A (ja) 撮影異常診断装置
WO2022049880A1 (ja) 画像処理装置
JP5098981B2 (ja) 顔部位検出装置
JP5245471B2 (ja) 撮像装置、並びに、画像処理装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant