CN108353147B - 显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质 - Google Patents

显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质 Download PDF

Info

Publication number
CN108353147B
CN108353147B CN201680060479.5A CN201680060479A CN108353147B CN 108353147 B CN108353147 B CN 108353147B CN 201680060479 A CN201680060479 A CN 201680060479A CN 108353147 B CN108353147 B CN 108353147B
Authority
CN
China
Prior art keywords
vehicle
bird
eye view
movement amount
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680060479.5A
Other languages
English (en)
Other versions
CN108353147A (zh
Inventor
富山圭史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN108353147A publication Critical patent/CN108353147A/zh
Application granted granted Critical
Publication of CN108353147B publication Critical patent/CN108353147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

在显示控制装置(100)中,判定处理部(33)通过在步骤S14中判定本车辆的轮胎的检测旋转量是否是0,在步骤S16以及S20中判定是否有关注对象的位移,来判定基于检测旋转量的本车辆的移动量与基于关注对象的位移的本车辆的移动量是否一致。在判定为基于检测旋转量的本车辆的移动量与基于关注对象的位移的本车辆的移动量不一致的情况下,图像处理部(34)代替根据基于检测旋转量的本车辆的移动量,而根据基于关注对象的位移的本车辆的移动量来使合成鸟瞰图像的车辆基准位置变化。

Description

显示控制装置以及储存有显示控制程序的非暂时性计算机可 读存储介质
技术领域
本发明涉及显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质。
背景技术
公知有利用搭载于车辆的车载相机反复拍摄车辆周边的规定的拍摄范围,将拍摄图像鸟瞰转换为从车辆的上方俯视的视点的图像,并使车辆内的显示装置显示该鸟瞰转换后的鸟瞰图像的技术。
在这样的技术中,有通过在显示装置显示对最新的拍摄图像的鸟瞰图像和过去的拍摄图像的鸟瞰图像进行合成而得到的合成鸟瞰图像,来扩大车辆周边的图像显示范围的技术亦即历史记录合成技术。在该历史记录合成技术中,使基于过去的拍摄图像的合成鸟瞰图像的以车辆为基准的位置基于车辆的移动量变化,并且覆写最新的拍摄图像的鸟瞰图像来更新合成鸟瞰图像。像这样,通过伴随车辆的移动使合成鸟瞰图像的位置变化,能够使显示装置显示比最新的拍摄图像的鸟瞰图像大的范围、例如表示以车辆为中心的恒定范围的鸟瞰图像。这里,车辆的移动量的计算如专利文献1所记载那样使用了从车辆得到的车速信号等。
专利文献1:日本专利第4156214号公报
作为上述的车速信号,通常使用由检测车辆的轮胎的旋转量的传感器亦即旋转量传感器检测出的检测结果亦即检测旋转量,具体而言,通常使用车速脉冲的数量。然而,在根据基于检测旋转量的车辆的移动量使合成鸟瞰图像的位置变化的情况下,会产生如下的问题。
(1)空转
例如在冰冻的路面上,有即使轮胎旋转车辆也不移动与轮胎的旋转量相当的量的情况,换句话说有轮胎空转的情况。
若作为轮胎空转的情况,而考虑即使轮胎旋转车辆也完全不移动的情况,则车辆的实际位置没有变化,所以显示于显示装置的合成鸟瞰图像中的最新的拍摄图像的鸟瞰图像出现的部分亦即实时部分没有变化。而另一方面,由于基于检测旋转量的车辆的移动量表示车辆正在移动,所以显示于显示装置的合成鸟瞰图像中的过去的拍摄图像的鸟瞰图像出现的部分亦即历史记录部分的图像的位置变化。
因此,例如,当在实时部分存在路上的障碍物或道路标识等的情况下轮胎向该障碍物等的方向空转时,障碍物等依然显示于实时部分,但也显示于不存在障碍物等的历史记录部分。
像这样,在根据基于检测旋转量的车辆的移动量使合成鸟瞰图像的位置变化的构成中,若产生轮胎的空转,则历史记录部分不适当的图像显示于显示装置。
(2)滑行
例如当在车辆正高速行驶的情况下突然施加制动时,有车辆移动得比与轮胎的旋转量相当的量大的情况,换句话说有车辆滑行的情况。
若作为车辆滑行的情况,考虑例如轮胎被锁定而完全不旋转后车辆也移动的情况,车辆的实际位置变化,所以合成鸟瞰图像的实时部分变化。而另一方面,基于检测旋转量的车辆的移动量表示车辆未移动,所以历史记录部分的图像的位置没有变化。
因此,例如,当在实时部分存在路上的障碍物等的情况下车辆向该障碍物等的方向滑行时,从实时部分不显示障碍物等,另一方面,在应该存在障碍物等的历史记录部分也不显示障碍物。
像这样,在根据基于检测旋转量的车辆的移动量使合成鸟瞰图像的位置变化的构成中,在车辆滑行的情况下,历史记录部分不适当的图像也显示于显示装置。
发明内容
本发明是鉴于上述而完成的,其目的在于提供在根据基于检测旋转量的车辆的移动量使合成鸟瞰图像的位置变化的历史记录合成技术中,在产生了车辆的轮胎的空转以及车辆的滑行中的至少一方的情况下,也将适当的图像显示在显示装置的技术。
本发明的一方面是在车辆内的显示装置显示车辆的周边的规定范围的拍摄图像的显示控制装置,其具备拍摄图像获取部、鸟瞰转换部、合成创建部、显示处理部以及一致判定部。拍摄图像获取部从搭载于车辆的车载相机反复获取拍摄图像。鸟瞰转换部对拍摄图像获取部反复获取到的拍摄图像实施鸟瞰转换,依次创建拍摄图像的鸟瞰图像亦即拍摄鸟瞰图像。合成创建部创建合成鸟瞰图像,该合成鸟瞰图像是对由鸟瞰转换部依次创建的拍摄鸟瞰图像边错开位置边进行合成而得到的鸟瞰图像。显示处理部使显示装置显示合成鸟瞰图像。一致判定部判定第一移动量与第二移动量是否一致,其中,上述第一移动量是基于检测旋转量的车辆的移动量,该检测旋转量是由检测车辆的轮胎的旋转量的传感器亦即旋转量传感器检测出的检测结果,上述第二移动量是基于移动信息的车辆的移动量,该移动信息是车辆的轮胎的旋转量以外的信息且是受到车辆的移动的影响的信息。合成创建部具备移动处理部和更新处理部。移动处理部基于第一移动量使存储于存储区域的合成鸟瞰图像的以车辆为基准的位置亦即车辆基准位置变化为与当前的车辆位置对应。更新处理部通过在存储区域中对合成鸟瞰图像覆写最新的拍摄鸟瞰图像,来更新合成鸟瞰图像。移动处理部在由一致判定部判定为第一移动量与第二移动量不一致的情况下,代替基于第一移动量而基于第二移动量使车辆基准位置变化。
另外,本发明的另一方面是储存有用于使计算机作为在车辆内的显示装置显示车辆的周边的规定范围的拍摄图像的显示控制装置发挥作用的显示控制程序的非暂时性计算机可读存储介质,显示控制程序使计算机作为拍摄图像获取部、鸟瞰转换部、合成创建部、显示处理部以及一致判定部发挥作用。拍摄图像获取部从搭载于车辆的车载相机反复获取拍摄图像。鸟瞰转换部对拍摄图像获取部反复获取到的拍摄图像实施鸟瞰转换,依次创建拍摄图像的鸟瞰图像亦即拍摄鸟瞰图像。合成创建部创建合成鸟瞰图像,该合成鸟瞰图像是对由鸟瞰转换部依次创建的拍摄鸟瞰图像边错开位置边进行合成而得到的鸟瞰图像。显示处理部使显示装置显示合成鸟瞰图像。一致判定部判定第一移动量与第二移动量是否一致,其中,上述第一移动量是基于检测旋转量的车辆的移动量,该检测旋转量是由检测车辆的轮胎的旋转量的传感器亦即旋转量传感器检测出的检测结果,上述第二移动量是基于移动信息的车辆的移动量,该移动信息是车辆的轮胎的旋转量以外的信息且是受到车辆的移动的影响的信息。合成创建部具备移动处理部和更新处理部。移动处理部基于第一移动量使存储于存储区域的合成鸟瞰图像的以车辆为基准的位置亦即车辆基准位置变化为与当前的车辆位置对应。更新处理部通过在存储区域中对合成鸟瞰图像覆写最新的拍摄鸟瞰图像,来更新合成鸟瞰图像。移动处理部在由一致判定部判定为第一移动量与第二移动量不一致的情况下,代替基于第一移动量而基于第二移动量使车辆基准位置变化。
根据这样的构成,在产生了车辆的轮胎的空转以及车辆的滑行中的至少一方的情况下,适当的图像也能够显示于显示装置。即,历史记录部分不适当的图像在产生了空转以及滑行中的至少一方的情况下也通过根据第一移动量使合成鸟瞰图像的车辆基准位置变化来显示。另外,若产生空转以及滑行中的至少一方,则第一移动量与第二移动量不一致。因此,在判定为第一移动量与第二移动量不一致的情况下,基于第一移动量以外的本车辆的移动量亦即第二移动量使合成鸟瞰图像的车辆基准位置变化,从而在产生了空转以及滑行中的至少一方的情况下,也能够在显示装置显示适当的图像。
附图说明
图1A是表示本发明的第一实施方式的显示控制***的构成的框图。
图1B是第一实施方式的显示控制装置的功能框图。
图2是第一实施方式的空转滑行判定处理的流程图。
图3是第一实施方式的显示控制处理的流程图。
图4是表示车辆正后退的状况下的通过1个周期前的显示控制处理创建的拍摄鸟瞰图像的图。
图5是表示车辆正后退的状况下的通过最新的显示控制处理创建的拍摄鸟瞰图像的图。
图6A是表示本发明的第二实施方式的显示控制***的构成的框图。
图6B是第二实施方式的显示控制装置的功能框图。
图7是第二实施方式的空转滑行判定处理的流程图。
图8是第二实施方式的显示控制处理的流程图。
具体实施方式
以下,参照附图对本发明的实施方式更详细地进行说明。但是,本发明也可以以多个不同的方式来实施,不应该解释为限定于本说明书中描述的实施方式。不如说,这些实施方式是为了彻底并且完全地进行本发明的公开且向本领域技术人员完全地传递本发明的范围而提供的。此外,类似的附图标记在所有附图中表示类似的构件。
1.第一实施方式
1-1.构成
图1A所示的显示控制***1搭载于车辆,具备车载相机10、传感器类20、ECU30以及显示装置40。以下,将搭载有显示控制***1的车辆称为“本车辆”。
车载相机10固定地搭载于本车辆的后端附近,反复(例如以1/30秒周期)拍摄本车辆的周围,具体而言,拍摄本车辆的后方的规定的拍摄范围。换句话说,本实施方式中所说的“拍摄范围”是指以本车辆为基准的范围,且是由车载相机10的特性(视角等)和车载相机10相对于本车辆的搭载位置以及方向等决定的范围。车载相机10将拍摄的结果所得到的拍摄图像输出到ECU30。
传感器类20具备旋转量传感器21、换档传感器22以及转向角传感器23。
旋转量传感器21是检测本车辆的轮胎的旋转量的传感器。在本实施方式中,旋转量传感器21通过产生与本车辆的车轴的旋转量成比例的脉冲信号亦即车速脉冲来检测本车辆的轮胎的旋转量。该车轴固定于本车辆的轮胎,且车轴的旋转量和轮胎的旋转量一致。另外,在本实施方式中,旋转量传感器21设置于驱动轮。
换档传感器22是检测驾驶员操作的换档杆的操作位置亦即换档位置的传感器。
转向角传感器23是检测本车辆的转向角或者横摆率的传感器。旋转量传感器21、换档传感器22以及转向角传感器23将各自的检测结果输出到ECU30。以下,将旋转量传感器21的检测结果称为“检测旋转量”,将检测旋转量、换档传感器22的检测结果以及转向角传感器23的检测结果总体称为“车辆行为信息”。此外,检测旋转量具体而言是车速脉冲的数量。
ECU30是具备输入信号处理部31、32、判定处理部33、图像处理部34、存储部35以及输出信号处理部36的电子控制装置。此外,ECU是Electronic Control Unit(电子控制单元)的简称。
输入信号处理部31是用于将从车载相机10输入的拍摄图像输出到判定处理部33以及图像处理部34的接口。
输入信号处理部32是用于将从传感器类20输入的车辆行为信息输出到图像处理部34的接口。
判定处理部33具备将CPU(central processing unit:中央处理器)、ROM(read-only memory:只读存储器)以及RAM(random access memory:随机存取存储器)等作为构件的微型计算机。判定处理部33通过CPU根据记录于作为非暂时性实质记录介质的ROM的程序执行处理,来判定有无本车辆的轮胎的空转以及本车辆的滑行。具体而言,判定处理部33经由输入信号处理部31从车载相机10获取拍摄图像,另外,经由输入信号处理部32从旋转量传感器21获取检测旋转量。判定处理部33通过基于获取到的这些信息执行图2所示的后述的空转滑行判定处理,来检测本车辆的轮胎的空转以及本车辆的滑行。另外,判定处理部33将空转以及滑行的检测结果输出到图像处理部34。
这里,所谓轮胎的空转是指即使轮胎旋转车辆也不移动与轮胎的旋转量相当的量。另外,滑行是指车辆移动得比与轮胎的旋转量相当的量大。
在本实施方式中,判定处理部33如后述那样仅判定即使轮胎旋转本车辆也完全不移动这样的空转的有无。换言之,判定处理部33不判定虽然本车辆移动但其移动量比与轮胎的旋转量相当的量小这样的空转的有无。
另外,判定处理部33仅判定在轮胎完全不旋转的状态下本车辆移动这样的滑行的有无。换言之,判定处理部33不判定本车辆使轮胎旋转且移动得比与旋转量相当的量大这样的滑行的有无。
图像处理部34具备将CPU、ROM以及RAM等作为构件的微型计算机。图像处理部34根据记录于ROM的程序执行各种处理。具体而言,图像处理部34经由输入信号处理部31从车载相机10获取拍摄图像,另外,从传感器类20获取车辆行为信息,并且,从判定处理部33获取判定结果。图像处理部34通过基于获取到的这些信息执行图3所示的后述的显示控制处理,来至少执行以下的处理。
即,图像处理部34通过对获取到的拍摄图像实施公知的鸟瞰转换,来将该拍摄图像依次转换成从本车辆的上方向正下方或者斜下方俯视的视点的鸟瞰图像。换句话说,图像处理部34依次创建拍摄图像的鸟瞰图像亦即拍摄鸟瞰图像。这里,本实施方式所说的“依次”是指如后述那样每隔恒定时间(例如1/30秒周期)。但是,并不局限于此,例如,也可以将本车辆的移动量作为基准,每隔恒定距离。另外,拍摄鸟瞰图像表示本车辆的周围中的本车辆的后方的规定范围的最新的状况。
另外,图像处理部34通过对依次创建的拍摄鸟瞰图像基于本车辆的移动量边错开位置边进行合成,来创建将拍摄位置不同的拍摄鸟瞰图像连接起来的合成鸟瞰图像。这样创建的合成鸟瞰图像伴随本车辆的移动渐渐地向车载相机10的拍摄范围外扩展。在本实施方式中,通过利用这样创建的合成鸟瞰图像,在显示装置40显示例如图4所示那样的、不仅包括由拍摄鸟瞰图像表示的本车辆的后方,也包括本车辆的左右侧方以及前方的车辆周边范围(例如以本车辆为中心的纵向10m、横向5m)的鸟瞰图像。
作为用于存储各种鸟瞰图像的存储区域,在存储部35预先确保有实时区域35a、历史记录区域35b以及显示用区域35c。
实时区域35a是用于存储最新的拍摄鸟瞰图像的区域。
历史记录区域35b是用于存储通过取出存储于实时区域35a的最新的拍摄鸟瞰图像并对历史记录区域35b上的合成鸟瞰图像进行覆写而更新后的合成鸟瞰图像的存储区域。如上述那样,合成鸟瞰图像为比最新的拍摄鸟瞰图像的范围广的范围的鸟瞰图像。在本实施方式中,历史记录区域35b被设计为能够存储比车辆周边范围大一圈的范围(例如,以本车辆为中心的纵向20m、横向20m)的合成鸟瞰图像。
显示用区域35c是用于存储显示于显示装置40的图像的存储区域。在本实施方式中,显示用区域35c存储有从合成鸟瞰图像切出车辆周边范围所包含的部分的合成鸟瞰图像的一部分。
输出信号处理部36是用于将由图像处理部34创建的合成鸟瞰图像输出到显示装置40的接口。
显示装置40是能够显示各种图像的显示器,被设置于车内的驾驶员能够视觉确认所显示的图像这样的位置。
1-2.空转滑行判定处理
接下来,使用图2的流程图对判定处理部33执行的空转滑行判定处理进行说明。空转滑行判定处理在本车辆的点火开关接通的期间周期性地执行。另外,图3所示的后述的显示控制处理也周期性地执行。在本实施方式中,空转滑行判定处理以及显示控制处理以与车载相机10对拍摄范围进行拍摄时相同的周期执行。具体而言,车载相机10进行拍摄后开始空转滑行判定处理,空转滑行判定处理结束后开始显示控制处理。
在步骤S11中,判定处理部33经由输入信号处理部31从车载相机10获取一张最新的拍摄图像。
在步骤S12中,判定处理部33对在步骤S11中获取到的最新的拍摄图像实施鸟瞰转换,创建拍摄鸟瞰图像。
在步骤S13中,判定处理部33经由输入信号处理部32从旋转量传感器21获取规定期间(例如最近的1/30秒期间)的检测旋转量。
在步骤S14中,判定处理部33判定在步骤S13中获取到的检测旋转量是否是0。此外,在步骤S14中,虽然判定检测旋转量是否是一个值亦即0,但判定方法并不局限于此。例如,也可以考虑由轮胎的微少量的旋转导致的车速脉冲的产生误差,来进行检测旋转量是否包含于包括0的规定范围的判定。对于以后所述的进行判定的处理也相同。
在该步骤S14中,判定处理部33在判定为检测旋转量不是0的情况下,将处理移至步骤S15。
在步骤S15中,判定处理部33判定是否确定出拍摄图像中的位置伴随着本车辆的移动而变化的对象亦即关注对象。在本实施方式中,判定处理部33将在1周期前的步骤S12中创建的拍摄鸟瞰图像和在最新的步骤S12中创建的拍摄鸟瞰图像这双方中出现的物体或者道路标识(以下,称为“物体等”。)确定为关注对象。作为像这样确定为关注对象的物体,例如举出有停车场中的锁定器等或落在地面上的物体等。此外,以下,将在1周期前的步骤S12中创建的拍摄鸟瞰图像简单地称为“1周期前的拍摄鸟瞰图像”,将在最新的步骤S12中创建的拍摄鸟瞰图像简单地称为“最新的拍摄鸟瞰图像”。
判定处理部33具体地如以下那样执行步骤S15的处理。即,判定处理部33首先对最新的拍摄鸟瞰图像进行公知的图像处理亦即边缘检测,识别最新的拍摄鸟瞰图像内的全部的物体等的外缘。此外,这里所说的外缘是指作为二维图像出现在拍摄鸟瞰图像中的物体等的外缘,换句话说作为一维曲线而表示的外缘。
接下来,判定处理部33通过在1周期前的拍摄鸟瞰图像与最新的拍摄鸟瞰图像之间比较识别出的物体等的外缘的形状,来判定是否识别出同一物体等的外缘。这里,判定处理部33不管物体等的外缘的方向而仅基于形状来判定是否识别出同一物体等的外缘。
然后,判定处理部33在判定为识别出同一物体等的外缘的情况下,将具有该外缘的物体等确定为关注对象。此外,判定处理部33在确定出多个关注对象的情况下,对从确定出的关注对象中任意地选择出的一个关注对象执行以后的处理。
例如,在图4以及图5所示的状况下,如以下那样进行步骤S15的处理。图4以及图5示出在停车场中本车辆为了停车而后退的状况。图4示出1周期前的拍摄鸟瞰图像51,图5示出最新的拍摄鸟瞰图像52。此外,在图4以及图5中,1周期前的拍摄鸟瞰图像51以及最新的拍摄鸟瞰图像52作为显示于显示装置40的合成鸟瞰图像的一部分而示出。
在这些拍摄鸟瞰图像51、52中,表示车辆的后轮的停止位置的长方形的线53位于本车辆的后方。另外,本车辆无空转等地直接后退。因此,本车辆与线53的距离变小,从1周期前的拍摄鸟瞰图像51到最新的拍摄鸟瞰图像52,线53向本车辆侧平移。
在该状况下,判定处理部33在1周期前的拍摄鸟瞰图像51与最新的拍摄鸟瞰图像52这双方中识别线53的长方形的外缘。然后,判定处理部33通过在1周期前的拍摄鸟瞰图像51与最新的拍摄鸟瞰图像52之间进行线53的形状的比较来判定为识别出同一线53的外缘,将具有该外缘的线53确定为关注对象。
判定处理部33在步骤S15中判定为确定出关注对象的情况下,使处理移至步骤S16。
在步骤S16中,判定处理部33判定是否有关注对象的位移。这里,判定处理部33在1周期前的拍摄鸟瞰图像与最新的拍摄鸟瞰图像之间,拍摄鸟瞰图像中的关注对象的位置以及方向中的至少一方不一致的情况下,判定为有关注对象的位移。另一方面,在一致的情况下,图像处理部34判定为没有关注对象的位移。
例如,在上述的图4以及图5所示的状况下,在1周期前的拍摄鸟瞰图像51与最新的拍摄鸟瞰图像52之间,确定为关注对象的线53的位置不一致。因此,判定处理部33判定为有关注对象的位移。
在步骤S16中,判定处理部33在判定为有关注对象的位移的情况下,在步骤S17中判定为无空转,结束空转滑行判定处理。另一方面,判定处理部33在判定为没有关注对象的位移的情况下,在步骤S18中判定为有空转,结束空转滑行判定处理。
换句话说,判定处理部33在判定为检测旋转量不是0(换言之,本车辆的轮胎正在旋转),并且判定为没有拍摄鸟瞰图像内的关注对象的位移的情况下,判定为有空转。
另外,在上述的步骤S15中,判定处理部33在判定为未能确定出关注对象的情况下,跳过上述的步骤S16,在步骤S17中判定为无空转,结束空转滑行判定处理。
另一方面,在上述的步骤S14中,判定处理部33在判定为检测旋转量是0的情况下,使处理移至步骤S19。
该步骤S19以及接下来的步骤S20的处理分别是与上述的步骤S15以及步骤S16相同的处理,所以省略说明。
在步骤S20中,判定处理部33在判定为有关注对象的位移的情况下,在步骤S21中判定为有滑行,结束空转滑行判定处理。
换句话说,判定处理部33在判定为检测旋转量是0(换言之,本车辆的轮胎不旋转),并且判定为有关注对象的位移的情况下,判定为有滑行。
另一方面,在步骤S20中,判定处理部33在判定为没有关注对象的位移的情况下,在步骤S22中判定为无滑行,结束空转滑行判定处理。
另外,在上述的步骤S19中,判定处理部33在判定为未能确定出关注对象的情况下,跳过上述的步骤S20,在步骤S22中判定为无滑行,结束空转滑行判定处理。
1-3.显示控制处理
接下来,使用图3的流程图对图像处理部34执行的显示控制处理进行说明。此外,显示控制处理在本车辆的点火开关接通,并且,本车辆的换档位置是倒档(后退位置)的期间周期性地执行。
在步骤S31中,图像处理部34经由输入信号处理部31从车载相机10获取一张最新的拍摄图像。
在步骤S32中,图像处理部34经由输入信号处理部32从传感器类20获取包括检测旋转量的车辆行为信息。
在步骤S33中,图像处理部34判定轮胎的空转以及本车辆的滑行的有无。具体而言,图像处理部34从判定处理部33获取最新的判定结果。然后,图像处理部34判定获取到的判定结果是无空转、有空转、有滑行以及无滑行中的哪一个。判定处理部33在判定为无空转的情况下,使处理移至步骤S34。
在步骤S34中,图像处理部34对在步骤S31中获取到的最新的拍摄图像实施公知的鸟瞰转换,来创建拍摄鸟瞰图像。此外,图像处理部34将所创建的拍摄鸟瞰图像存储到实时区域35a。
在步骤S35中,图像处理部34基于在步骤S32中获取到的车辆行为信息计算本车辆的移动量ΔX1,基于计算出的移动量ΔX1,使存储于历史记录区域35b的合成鸟瞰图像的车辆基准位置变化。
本实施方式中所说的本车辆的移动量ΔX1是指从上次的拍摄图像的获取定时到这次的拍摄图像的获取定时的期间、换句话说拍摄图像的获取间隔中的本车辆的位置以及方向的变化。后述的移动量ΔX2、ΔX3也相同。另外,本实施方式中所说的车辆基准位置是指以本车辆为基准的位置,图像处理部34使合成鸟瞰图像的车辆基准位置变化为与当前的本车辆的位置对应。
在该步骤S35中,特别地,图像处理部34基于检测旋转量计算本车辆的移动量ΔX1。更具体而言,图像处理部34基于与检测旋转量相当的轮胎的旋转数量乘以轮胎的圆周长而得到的量来计算本车辆的移动量。
在步骤S36中,图像处理部34从实时区域35a取出最新的拍摄鸟瞰图像,并将取出的最新的拍摄鸟瞰图像存储到历史记录区域35b。该步骤S36的处理为在历史记录区域35b存储有合成鸟瞰图像的状态下,通过在历史记录区域35b中对合成鸟瞰图像覆写最新的拍摄鸟瞰图像,来更新合成鸟瞰图像的处理。此外,图像处理部34在合成鸟瞰图像中的与当前的本车辆的后方的位置相当的位置覆写最新的拍摄鸟瞰图像。
在步骤S37中,图像处理部34从存储于历史记录区域35b的合成鸟瞰图像切出车辆周边范围所包含的部分并存储到显示用区域35c。存储于显示用区域35c的图像从ECU30输出到显示装置40,显示于显示装置40。
此外,在本实施方式中,为了易于理解显示于显示装置40的图像是以本车辆为中心的图像,而在显示装置40显示有重叠了本车辆的图像的合成鸟瞰图像。但是,显示于显示装置40的合成鸟瞰图像并不局限于此,也可以显示未重叠本车辆的图像的合成鸟瞰图像。
图像处理部34若执行步骤S37的处理,则结束显示控制处理。
另一方面,图像处理部34在上述的步骤S33中判定为有空转的情况下,使处理移至步骤S38。
在步骤S38中,图像处理部34对于存储于显示用区域35c的图像进行影像处理。这里所说的影像处理是使显示于显示装置40的合成鸟瞰图像的显示方式变化的处理。在本实施方式中,影像处理是降低合成鸟瞰图像的对比度的处理。实施了影像处理的合成鸟瞰图像显示于显示装置40。
图像处理部34若执行步骤S38的处理,则结束显示控制处理。换句话说,图像处理部34在步骤S33中判定为有空转的情况下,不执行与上述的步骤S34~步骤S37相当的处理,换言之不执行使合成鸟瞰图像的车辆基准位置变化的处理等。
另一方面,图像处理部34在上述的步骤S33中判定为无滑行的情况下,结束显示控制处理。
换句话说,图像处理部34在判定为无滑行的情况下,换言之,在轮胎不旋转且本车辆不移动的情况下,不执行使合成鸟瞰图像的车辆基准位置变化的处理等。
另一方面,图像处理部34在上述的步骤S33中判定为有滑行的情况下,使处理移至步骤S39。
步骤S39是与上述的步骤S34相同的处理,所以省略说明。
在步骤S40中,图像处理部34基于1周期前的拍摄鸟瞰图像以及最新的拍摄鸟瞰图像计算本车辆的移动量ΔX2,基于计算出的移动量ΔX2,使存储于历史记录区域35b的合成鸟瞰图像的车辆基准位置变化。
具体而言,移动量ΔX2基于由判定处理部33确定出的关注对象的位移来计算,例如,如以下那样计算。图像处理部34首先基于在步骤S32中获取到的转向角传感器23的检测结果,计算从1周期前的拍摄图像的获取定时到最新的拍摄图像的获取定时为止的期间中的本车辆的移动的圆周运动中心点的位置。
这里所说的圆周运动中心点是将从上空观察包括本车辆的一带时的本车辆上的一点(例如本车辆的前后左右方向上的中央的点)的移动视为圆周运动时的、规定该圆周运动的圆的中心点。以下,将上述的本车辆上的一点称为“车辆特定点”。此外,在本车辆沿直线状移动时,圆周运动中心点的位置为无限远离本车辆的位置。
接下来,图像处理部34计算伴随着车辆特定点的圆周运动的关注对象的位移量。这里,图像处理部34任意地选择拍摄鸟瞰图像上的点(例如1像素相当的点)且为构成关注对象的一点。然后,图像处理部34计算选择出的一点的1周期前的拍摄鸟瞰图像与最新的拍摄鸟瞰图像之间的位移量。以下,将该选择出的一点称为“对象特定点”。
另外,图像处理部34视为对象特定点进行以圆周运动中心点为中心的圆周运动。而且,图像处理部34计算对象特定点的该圆周运动的位移量(换言之,作为移动的轨迹的圆弧的长度)。
然后,图像处理部34为了将计算出的对象特定点的位移量换算为本车辆的移动量ΔX2,而对对象特定点的位移量乘以从圆周运动中心点到对象特定点的距离与从圆周运动中心点到车辆特定点的距离的比。由此,计算出移动量ΔX2。
此外,基于关注对象的位移计算出的移动量ΔX2一般是与在上述的步骤S35中基于检测旋转量计算出的移动量ΔX1相比精度低的移动量。
步骤S41~步骤S43是与上述的步骤S36~步骤S38相同的处理,所以省略说明。
换句话说,图像处理部34除了在上述的步骤S33中判定为有空转的情况下之外,还在判定为有滑行的情况下也执行影像处理。
图像处理部34若执行步骤S43的处理,则结束显示控制处理。
1-4.效果
根据以上详述的第一实施方式,得到以下的效果。
(1a)在本实施方式中,判定处理部33判定检测旋转量是否是0。在检测旋转量是0的情况下,基于检测旋转量的本车辆的移动量ΔX1也是0。相反,在检测旋转量不是0的情况下,基于检测旋转量的本车辆的移动量ΔX1也不是0。因此,检测旋转量是否是0的判定实际上为移动量ΔX1是否是0的判定。
另外,判定处理部33判定是否有关注对象的位移。在有关注对象的位移的情况下,基于关注对象的位移的本车辆的移动量ΔX2不是0。相反,在没有关注对象的位移的情况下,基于关注对象的位移的本车辆的移动量ΔX2为0。因此,是否有关注对象的位移的判定实际上为移动量ΔX2是否是0的判定。
换句话说,在本实施方式中,判定处理部33通过判定检测旋转量是否是0以及是否有关注对象的位移,来实际上判定基于检测旋转量的本车辆的移动量ΔX1与基于关注对象的位移的本车辆的移动量ΔX2是否一致。另外,判定处理部33在移动量ΔX1与移动量ΔX2不一致的情况下,判定为有空转或者滑行。
而且,图像处理部34在判定为移动量ΔX1与移动量ΔX2不一致的情况,换言之,在判定为有空转或者滑行的情况下,代替根据基于检测旋转量的本车辆的移动量ΔX1,而根据基于关注对象的位移的本车辆的移动量ΔX2,使合成鸟瞰图像的车辆基准位置变化。因此,在产生了空转以及滑行中的至少一方的情况下,也能够将适当的图像显示于显示装置。
(1b)在本实施方式中,判定处理部33不实际计算移动量ΔX1以及移动量ΔX2,而是简单地判定移动量ΔX1与移动量ΔX2是否一致。因此,与实际计算移动量ΔX1以及移动量ΔX2的情况相比较,能够减少判定处理部33的处理负荷。
(1c)在本实施方式中,基于1周期前的拍摄鸟瞰图像以及最新的拍摄鸟瞰图像,换言之,基于由车载相机10在不同的时刻拍摄的多个拍摄图像,计算出基于检测旋转量的本车辆的移动量ΔX1以外的本车辆的移动量亦即移动量ΔX2。因此,在进行移动量ΔX1与移动量ΔX2是否一致的判定,换言之,进行是否有空转或者滑行的判定时,能够挪用历史记录合成所使用的车载相机10。
(1d)在本实施方式中,基于检测旋转量的本车辆的移动量ΔX1以外的本车辆的移动量是基于关注对象的、1周期前的拍摄鸟瞰图像与最新的拍摄鸟瞰图像之间的位移的本车辆的移动量ΔX2。因此,能够挪用历史记录合成所使用的车载相机10并且计算反映出滑行时的本车辆的实际的移动量的移动量。
(1e)在本实施方式中,图像处理部34在由判定处理部33判定为有空转或者滑行的情况下,换言之,判定为移动量ΔX1与移动量ΔX2不一致的情况下,执行影像处理。换句话说,图像处理部34在由判定处理部33判定为移动量ΔX1与移动量ΔX2一致的情况下和判定为不一致的情况下使显示于显示装置40的合成鸟瞰图像的显示方式不同。因此,能够通过显示装置40的显示使本车辆的驾驶员识别产生了空转以及滑行中的至少一方。
图1B是本实施方式的显示控制装置100的功能框图。显示控制装置100具有判定处理部33以及图像处理部34。
判定处理部33具有用于执行图2所示的空转滑行判定处理中的步骤S11的处理的拍摄图像获取部331和用于执行空转滑行判定处理中的步骤S14、S16、S20的处理的一致判定部332。
图像处理部34具有用于执行图3所示的显示控制处理中的步骤S31的处理的拍摄图像获取部341、用于执行显示控制处理中的步骤S34以及S39的处理的鸟瞰转换部342、用于执行显示控制处理中的步骤S35、S36、S40以及S41的处理的合成创建部343、用于执行显示控制处理中的步骤S37、S38、S42以及S43的处理的显示处理部344、用于执行显示控制处理中的步骤S35以及S40的处理的移动处理部345以及用于执行显示控制处理中的步骤S36以及S41的处理的更新处理部346。
判定处理部33以及图像处理部34的上述各功能模块的功能分别在判定处理部33以及图像处理部34中由CPU执行存储于ROM的程序、加载到RAM的程序来实现。或者,也可以由逻辑电路或模拟电路等实现。
此外,由车载相机10在不同的时刻拍摄到的多个拍摄图像相当于移动信息,基于检测旋转量的本车辆的移动量ΔX1相当于第一移动量。另外,基于关注对象的、1周期前的拍摄鸟瞰图像与最新的拍摄鸟瞰图像之间的位移的本车辆的移动量ΔX2相当于第二移动量。
2.第二实施方式
2-1.与第一实施方式的不同点
第二实施方式的基本构成与第一实施方式相同,所以对共通的构成省略说明,以不同点为中心进行说明。另外,对共通的构成使用相同的附图标记。
图6A所示的第二实施方式的显示控制***2具备车载相机10、传感器类20、显示装置40、加速度传感器60、判定处理部70以及ECU80。换句话说,在第二实施方式的显示控制***2在还具备加速度传感器60、代替ECU30而具备判定处理部70以及ECU80的点上,与第一实施方式的显示控制***1不同。以下,将搭载有显示控制***2的车辆称为“本车辆”。
加速度传感器60是检测本车辆的加速度的传感器。在本实施方式中,加速度传感器60检测x轴、y轴以及z轴的三维方向的加速度。加速度传感器60将检测结果输出到判定处理部70以及ECU80。以下,将加速度传感器60的检测结果称为“检测加速度”。
判定处理部70具备将CPU、ROM以及RAM等作为构件的微型计算机。判定处理部70从传感器类20获取车辆行为信息,另外,从加速度传感器60获取检测加速度。判定处理部70通过基于获取到的这些信息执行图7所示的后述的空转滑行判定处理,来判定本车辆的轮胎的空转以及本车辆的滑行的有无。并且,判定处理部70将判定结果输出到ECU80。这样,在本实施方式中,空转以及滑行的有无的判定由ECU80的外部装置亦即判定处理部70执行。
判定处理部70与第一实施方式的判定处理部33相同地,仅判定即使轮胎旋转本车辆也完全不移动这样的空转的有无。另外,判定处理部70仅判定在轮胎完全不旋转的状态下本车辆移动这样的滑行的有无。
ECU80是具备输入信号处理部31、32、存储部35、输出信号处理部36以及图像处理部81的电子控制装置。换句话说,第二实施方式的ECU80在不具备判定处理部33、代替图像处理部34而具备图像处理部81的点上,与第一实施方式的ECU30不同。
图像处理部81与第一实施方式的图像处理部34相比,硬件构成相同,但执行的处理不同。图像处理部81执行图8所示的后述的显示控制处理。
2-2.空转滑行判定处理
接下来,使用图7的流程图对判定处理部70执行的空转滑行判定处理进行说明。此外,开始第二实施方式的空转滑行判定处理以及后述的显示控制处理的条件、周期以及顺序与第一实施方式相同。
在步骤S51中,判定处理部70从加速度传感器60获取x轴、y轴以及z轴方向的各自的检测加速度。
步骤S52以及S53的处理是与图2所示的第一实施方式的空转滑行判定处理的步骤S13以及S14相同的处理,所以省略说明。
在该步骤S53中,判定处理部70在判定为检测旋转量不是0的情况下,使处理移至步骤S54。
在步骤S54中,判定处理部70判定在步骤S51中获取到的检测加速度是否是0。这里,判定处理部70在x轴、y轴以及z轴方向的检测加速度全部是0的情况下,判定为检测加速度是0。
在该步骤S54中,判定处理部70在判定为检测加速度是0的情况下,在步骤S55中判定为有空转,结束空转滑行判定处理。
换句话说,判定处理部70在判定为检测旋转量不是0(换言之本车辆的轮胎正在旋转),并且判定为检测加速度是0(本车辆未加速)的情况下,判定为有空转。
另一方面,在S54中,判定处理部70在判定为检测加速度不是0的情况下,在步骤S56中判定为无空转,结束空转滑行判定处理。
另一方面,在上述的步骤S53中,判定处理部70在判定为检测旋转量是0的情况下,使处理移至步骤S57。
步骤S57是与上述的步骤S54相同的处理,所以省略说明。
在该步骤S57中,判定处理部70在判定为检测加速度不是0的情况下,在步骤S58中判定为有滑行,结束空转滑行判定处理。
作为在步骤S57中判定为检测加速度不是0的情况,因为在步骤S53中判定为检测旋转量是0(轮胎不旋转),所以假定本车辆正减速的情况。换句话说,判定处理部70在判定为检测旋转量是0(本车辆的轮胎不旋转),并且判定为检测加速度不是0(本车辆正在减速)的情况下,判定为有滑行。
另一方面,在步骤S57中,判定处理部70在判定为检测加速度是0的情况下,在步骤S59中判定为无滑行,结束空转滑行判定处理。
2-3.显示控制处理
接下来,使用图8的流程图对ECU80的图像处理部81执行的显示控制处理进行说明。
在步骤S61中,图像处理部81从加速度传感器60获取x轴、y轴以及z轴方向的各自的检测加速度。
步骤S62~S70是与图3所示的第一实施方式的显示控制处理的步骤S31~39相同的处理,所以省略说明。
在步骤S71中,图像处理部81基于对在步骤S61中获取到的检测加速度进行时间积分而得到的值计算本车辆的移动量ΔX3,基于计算出的移动量ΔX3,使合成鸟瞰图像的车辆基准位置变化。具体而言,图像处理部81如以下那样计算移动量ΔX3。
即,在步骤S71中,图像处理部81计算本车辆的速度。然后,图像处理部81通过对在1个周期前的步骤S71中计算出的本车辆的速度乘以显示控制处理的周期T,来计算拍摄图像的获取间隔中的移动量亦即移动量ΔX3。
这里,本车辆的速度如以下那样计算。首先,在步骤S64的判定结果从有滑行以外变化到有滑行之后的步骤S71(以下称为“第一个步骤S71”。)中,图像处理部81基于判定结果改变之前、换句话说本车辆开始滑行之前的周期的步骤S63中获取到的检测旋转量计算本车辆的速度。
然后,在有滑行这样的判定结果连续多个周期的情况下的第一个步骤S71之后的步骤S71中,图像处理部81通过对在1个周期前的步骤S71中计算出的本车辆的速度加上对在1个周期前的步骤S61中获取到的检测加速度乘以周期T而得到的量,来计算本车辆的速度。
像这样,图像处理部81依次将检测加速度乘以周期T得到的量相加,换言之,用离散时间T对检测加速度进行积分,由此来计算本车辆的速度,进而计算移动量ΔX3。
此外,基于对检测加速度进行时间积分而得到的值的本车辆的移动量ΔX3一般是与基于在上述的步骤S66中计算出的检测旋转量的移动量ΔX1相比精度低的移动量。
步骤S72~S74是与图3所示的第一实施方式的显示控制处理的步骤S41~S43相同的处理,所以省略说明。
2-3.效果
根据以上详述的第二实施方式,除了上述的第一实施方式的效果(1b)以及(1e)以外,还得到以下的效果。
(2a)在本实施方式中,判定处理部70判定检测旋转量是否是0。该判定实际上是移动量ΔX1是否是0的判定。
另外,判定处理部70判定检测加速度是否是0。在检测加速度是0的情况下,基于对检测加速度进行时间积分而得到的值的本车辆的移动量ΔX3也是0。相反,在检测加速度不是0的情况下,基于对检测加速度进行时间积分而得到的值的本车辆的移动量ΔX3也不是0。因此,检测加速度是否是0的判定实际上为移动量ΔX3是否是0的判定。
换句话说,在本实施方式中,判定处理部70实际上判定基于检测旋转量的本车辆的移动量ΔX1与基于对检测加速度进行时间积分而得到的值的本车辆的移动量ΔX3是否一致。
而且,图像处理部34在判定为移动量ΔX1与移动量ΔX3不一致的情况下,换言之在判定为有空转或者滑行的情况下,代替根据基于检测旋转量的本车辆的移动量ΔX1,而根据基于对检测加速度进行时间积分而得到的值的本车辆的移动量ΔX3来使合成鸟瞰图像的车辆基准位置变化。因此,在产生了空转以及滑行中的至少一方的情况下,也能够使适当的图像显示于显示装置40。
(2b)在本实施方式中,使用加速度传感器60的检测结果亦即检测加速度,计算出基于检测旋转量的本车辆的移动量ΔX1以外的本车辆的移动量亦即移动量ΔX3。加速度传感器利用于汽车导航***或车辆的气囊***等,通常搭载于车辆。像这样,在本实施方式中,能够从通常搭载于车辆的构成获取用于计算基于检测旋转量的本车辆的移动量ΔX1以外的本车辆的移动量的信息。
(2c)在本实施方式中,图像处理部81基于对检测加速度进行时间积分而得到的值来计算基于检测旋转量的本车辆的移动量ΔX1以外的本车辆的移动量ΔX3。因此,能够比较高精度地计算本车辆的移动量。
(2d)在本实施方式中,空转滑行判定处理由作为ECU80的外部装置的判定处理部70执行。换言之,ECU80在内部不具备执行空转滑行判定处理的硬件构成。因此,能够对ECU80挪用不进行空转以及滑行的有无的判定的以往的ECU的硬件。
图6B是本实施方式的显示控制装置200的功能框图。显示控制装置200具有判定处理部70以及图像处理部81。
判定处理部70具有用于执行图7所示的空转滑行判定处理中的步骤S53、S54以及S57的处理的一致判定部701。
图像处理部81具有用于执行图8所示的显示控制处理中的步骤S62的处理的拍摄图像获取部811、用于执行显示控制处理中的步骤S65以及S70的处理的鸟瞰转换部812、用于执行显示控制处理中的步骤S66、S67、S71以及S72的处理的合成创建部813、用于执行显示控制处理中的步骤S68、S69、S73以及S74的处理的显示处理部814、用于执行显示控制处理中的步骤S66以及S71的处理的移动处理部815以及用于执行显示控制处理中的步骤S67以及S72的处理的更新处理部816。
判定处理部70以及图像处理部81的上述各功能模块的功能分别在判定处理部70以及图像处理部81中通过由CPU执行存储于ROM的程序、加载到RAM的程序来实现。或者,也可以通过逻辑电路或模拟电路等实现。
此外,加速度传感器60的检测结果相当于移动信息,基于检测旋转量的本车辆的移动量ΔX1相当于第一移动量。另外,基于对检测加速度进行时间积分而得到的值的本车辆的移动量ΔX3相当于第二移动量。
3.其他的实施方式
以上,对本发明的实施方式进行了说明,但本发明并不局限于上述实施方式,可以采取各种方式。
(3a)在上述各实施方式中,判定处理部33、70判定空转以及滑行这双方的有无,但判定处理部判定有无的对象并不局限于此。判定处理部例如也可以判定空转以及滑行中的任意一方的有无。
(3b)在上述第一实施方式中,判定处理部33使用拍摄鸟瞰图像判定空转以及滑行的有无,但在空转滑行判定处理中使用的图像并不局限于此。判定处理部例如也可以使用不是鸟瞰图像的通常的拍摄图像。另外,在上述第一实施方式中,通过对最新的拍摄鸟瞰图像进行边缘检测来确定出关注对象,但关注对象的确定方法并不局限于此。关注对象例如也可以通过使用作为公知的图像处理的模板匹配等方法来确定。
(3c)在上述第一实施方式中,作为基于关注对象的位移的本车辆的移动量ΔX2的计算方法,例示出进行圆周运动中心点的位置的计算等的方法,但移动量ΔX2的计算方法并不局限于此。移动量ΔX2例如也可以简单地计算为拍摄鸟瞰图像上的点且为构成关注对象的一点的位移前的位置与位移后的位置的直线距离。
同样地,基于对检测加速度进行时间积分而得到的值的本车辆的移动量ΔX3的计算方法并不局限于上述第二实施方式的计算方法。移动量ΔX3例如也可以不通过基于时间积分这样的获取到的多个检测加速度的方法来计算,而仅基于获取到的一个检测加速度来计算。
(3d)在上述第一实施方式中,作为关注对象,例示出在1周期前的拍摄鸟瞰图像和最新的拍摄鸟瞰图像这双方出现的物体等,但关注对象并不局限于此。关注对象例如也可以在这样的物体等中特别是相对于地面的位置以及方向不变化的静止物。
(3e)在上述各实施方式中,判定处理部33、70通过进行检测旋转量是否是0的判定等,来判定基于检测旋转量的本车辆的移动量亦即第一移动量与基于移动信息的本车辆的移动量亦即第二移动量是否一致。换言之,判定处理部33、70不实际计算第一移动量以及第二移动量,而是简单地进行第一移动量与第二移动量是否一致的判定。但是,第一移动量与第二移动量是否一致的判定方法并不局限于此。
例如,判定处理部也可以通过实际计算第一移动量和第二移动量,并比较计算出的值来判定两移动量是否一致。
在该情况下,例如,判定处理部也可以基于计算出的值的比较结果,来判定将即使本车辆移动,其移动量也小于与轮胎的旋转量相当的量这样的空转包括在内的空转的有无。另外,例如,判定处理部也可以基于计算出的值的比较结果,来判定将本车辆使轮胎旋转并且移动得比与旋转量相当的量大的滑行包括在内的滑行的有无。具体而言,判定处理部也可以在第一移动量大于第二移动量的情况下判定为有空转,在第一移动量小于第二移动量的情况下判定为有滑行。
另外,在实际计算第一移动量和第二移动量的构成中,不需要只在两移动量严格一致的情况下判定为两移动量一致。判定处理部也可以例如即使两移动量稍有差异也判定为两移动量一致。
(3f)在上述第一实施方式中,作为移动信息,例示出1周期前的拍摄鸟瞰图像以及最新的拍摄鸟瞰图像,换言之,在不同的时刻拍摄到的2张拍摄图像,但作为移动信息来使用的拍摄图像的张数并不局限于此。例如,3张以上的拍摄图像也可以作为移动信息。
另外,移动信息并不局限于拍摄图像,例如,也可以更广范地是表示本车辆周边的物体等与本车辆的相对位置的信息。作为这样的信息,除了上述的多个拍摄图像以外,例如举出有雷达、声纳等能够检测本车辆周边的物体等与本车辆的相对位置的相对位置检测装置的检测结果。
另外,移动信息例如也可以是表示本车辆的绝对位置的信息。作为这样的信息,例如,举出将来自GPS用的人工卫星的发送电波经由GPS天线接收的GPS接收机的输出信号。
另外,在上述第二实施方式中,作为移动信息例示出检测加速度,但移动信息并不局限于此。移动信息例如也可以更广泛地是伴随着本车辆的移动而变化的本车辆的运动量。
(3g)在上述第一实施方式中,通过搭载于一个ECU30的分别独立的微型计算机执行空转滑行判定处理和显示控制处理。但是,执行空转滑行判定处理以及显示控制处理的构成并不局限于此,例如,也可以由搭载于ECU的同一微型计算机执行空转滑行判定处理和显示控制处理。
另外,在上述各实施方式中,也可以由一个或者多个IC等以硬件的方式构成ECU30、80以及判定处理部70执行的功能的一部分或者全部。
(3h)在上述各实施方式中,影像处理是降低合成鸟瞰图像的对比度的处理,图像处理部34、81通过执行该影像处理来使显示于显示装置40的合成鸟瞰图像的显示方式不同,但影像处理并不局限于此。影像处理例如也可以是提高或者降低合成鸟瞰图像的明度、饱和度、亮度等,换言之使其变化的处理。
另外,在上述各实施方式中,在判定为有空转的情况下和判定为有滑行的情况下,执行相同的影像处理,但影像处理并不局限于此。例如,也可以在判定为有空转的情况下和判定为有滑行的情况下,执行不同的内容的影像处理。并且,也可以在判定为有空转的情况下以及判定为有滑行的情况下的至少一方,不执行影像处理。
(3i)在上述实施方式中,作为存储于历史记录区域35b的合成鸟瞰图像的范围,例示出比车辆周边范围大一圈的范围,但存储于历史记录区域35b的合成鸟瞰图像的范围并不局限于此。例如,保存于历史记录区域35b的合成鸟瞰图像的范围也可以是与车辆周边范围相同的范围的合成鸟瞰图像的范围。
(3j)在上述实施方式中,车载相机10搭载于本车辆的后端附近,但搭载位置并不局限于此,例如,也可以搭载于本车辆的前部、左或者右的侧部。另外,在本车辆中搭载有1台车载相机10,但并不局限于此,也可以搭载有多台车载相机。在该情况下,例如,也可以在本车辆的前部以及后部分别搭载1台、共计2台车载相机。另外,例如,也可以在本车辆的前部、后部以及左右的侧部分别搭载1台、共计4台车载相机。
(3k)在上述实施方式中,作为显示装置,例示出设置于车内的显示器亦即显示装置40,但显示装置并不局限于此。作为显示装置的其他的例子,例如举出有HUD(平视显示器)等。
(3l)也可以使上述实施方式中的一个构件具有的功能分散为多个构件,或者使多个构件具有的功能统一到一个构件。另外,也可以省略上述实施方式的构成的一部分。另外,也可以将上述实施方式的构成的至少一部分对其他的上述实施方式的构成进行附加或者置换。此外,仅由权利要求书所记载的句子确定出的技术思想所包含的一切方式均是本发明的实施方式。
(3m)除了上述的判定处理部33、70以及图像处理部34、81以外,还能够以将该判定处理部33以及图像处理部34作为构件的***、将该判定处理部70以及图像处理部81作为构件的***、判定空转以及滑行中的至少一方的有无的方法、基于空转以及滑行中的至少一方的有无的判定的合成鸟瞰图像的创建等的方法、记录有空转滑行判定处理以及显示控制处理的程序的介质等各种形态来实现本发明。

Claims (7)

1.一种显示控制装置,是在车辆内的显示装置(40)显示所述车辆的周边的规定范围的拍摄图像的显示控制装置,其中,所述显示控制装置具备:
拍摄图像获取部(331、341、811),从搭载于所述车辆的车载相机(10)反复获取所述拍摄图像;
鸟瞰转换部(342、812),对所述拍摄图像获取部反复获取到的所述拍摄图像实施鸟瞰转换,依次创建所述拍摄图像的鸟瞰图像亦即拍摄鸟瞰图像;
合成创建部(343、813),创建合成鸟瞰图像,所述合成鸟瞰图像是对由所述鸟瞰转换部依次创建的所述拍摄鸟瞰图像边错开位置边进行合成而得到的鸟瞰图像;
显示处理部(344、814),使所述显示装置显示所述合成鸟瞰图像;以及
一致判定部(332、701),判定第一移动量与第二移动量是否一致,其中,所述第一移动量是基于检测旋转量的所述车辆的移动量,所述检测旋转量是由检测所述车辆的轮胎的旋转量的传感器亦即旋转量传感器(21)检测出的检测结果,所述第二移动量是基于移动信息的所述车辆的移动量,所述移动信息是所述车辆的轮胎的旋转量以外的信息且是受到所述车辆的移动的影响的信息,
所述合成创建部具备:
移动处理部(345、815),基于所述第一移动量使存储于存储区域的所述合成鸟瞰图像的以所述车辆为基准的位置亦即车辆基准位置变化为与当前的所述车辆的位置对应;以及
更新处理部(346、816),通过在所述存储区域中对所述合成鸟瞰图像覆写最新的所述拍摄鸟瞰图像,来更新所述合成鸟瞰图像,
所述移动处理部在由所述一致判定部判定为所述第一移动量与所述第二移动量不一致的情况下,代替基于所述第一移动量而基于所述第二移动量来使所述车辆基准位置变化。
2.根据权利要求1所述的显示控制装置,其中,
所述移动信息是在不同的时刻拍摄到的多个所述拍摄图像。
3.根据权利要求2所述的显示控制装置,其中,
所述第二移动量是基于关注对象的所述多个拍摄图像间的位移的所述车辆的移动量,所述关注对象是所述拍摄图像中的位置伴随着所述车辆的移动而变化的对象。
4.根据权利要求1所述的显示控制装置,其中,
所述移动信息是由检测所述车辆的加速度的传感器亦即加速度传感器(60)检测出的检测结果。
5.根据权利要求4所述的显示控制装置,其中,
所述第二移动量是基于对由所述加速度传感器检测出的检测结果进行时间积分而得到的值的所述车辆的移动量。
6.根据权利要求1~5中的任一项所述的显示控制装置,其中,
所述显示处理部(344、814)在由所述一致判定部(332、701)判定为所述第一移动量与所述第二移动量一致的情况下和判定为不一致的情况下使显示于所述显示装置的所述合成鸟瞰图像的显示方式不同。
7.一种非暂时性计算机可读存储介质,其储存有显示控制程序,所述显示控制程序在被计算机执行时,使所述计算机作为在车辆内的显示装置(40)显示所述车辆的周边的规定范围的拍摄图像的显示控制装置来发挥作用,其中,
所述显示控制程序使所述计算机作为以下部件发挥作用:
拍摄图像获取部(331、341、811),从搭载于所述车辆的车载相机(10)反复获取所述拍摄图像;
鸟瞰转换部(342、812),对所述拍摄图像获取部反复获取到的所述拍摄图像实施鸟瞰转换,依次创建所述拍摄图像的鸟瞰图像亦即拍摄鸟瞰图像;
合成创建部(343、813),创建合成鸟瞰图像,所述合成鸟瞰图像是对由所述鸟瞰转换部依次创建的所述拍摄鸟瞰图像边错开位置边进行合成而得到的鸟瞰图像;
显示处理部(344、814),使所述显示装置显示所述合成鸟瞰图像;以及
一致判定部(332、701),判定第一移动量与第二移动量是否一致,其中,所述第一移动量是基于检测旋转量的所述车辆的移动量,所述检测旋转量是由检测所述车辆的轮胎的旋转量的传感器亦即旋转量传感器(21)检测出的检测结果,所述第二移动量是基于移动信息的所述车辆的移动量,所述移动信息是所述车辆的轮胎的旋转量以外的信息且是受到所述车辆的移动的影响的信息,
所述合成创建部具备:
移动处理部(345、815),基于所述第一移动量使存储于存储区域的所述合成鸟瞰图像的以所述车辆为基准的位置亦即车辆基准位置变化为与当前的所述车辆的位置对应;以及
更新处理部(346、816),通过在所述存储区域中对所述合成鸟瞰图像覆写最新的所述拍摄鸟瞰图像,来更新所述合成鸟瞰图像,
所述移动处理部在由所述一致判定部判定为所述第一移动量与所述第二移动量不一致的情况下,代替基于所述第一移动量而基于所述第二移动量来使所述车辆基准位置变化。
CN201680060479.5A 2015-10-15 2016-10-11 显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质 Active CN108353147B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-203731 2015-10-15
JP2015203731A JP6493143B2 (ja) 2015-10-15 2015-10-15 表示制御装置及び表示制御プログラム
PCT/JP2016/080101 WO2017065132A1 (ja) 2015-10-15 2016-10-11 表示制御装置及び表示制御プログラムを格納した非一時的コンピュータ可読記憶媒体

Publications (2)

Publication Number Publication Date
CN108353147A CN108353147A (zh) 2018-07-31
CN108353147B true CN108353147B (zh) 2020-10-30

Family

ID=58517194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680060479.5A Active CN108353147B (zh) 2015-10-15 2016-10-11 显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质

Country Status (4)

Country Link
JP (1) JP6493143B2 (zh)
CN (1) CN108353147B (zh)
DE (1) DE112016004694B4 (zh)
WO (1) WO2017065132A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160034681A (ko) * 2014-09-22 2016-03-30 에스엘 주식회사 차량의 주변 감시 장치 및 방법
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04156214A (ja) 1990-10-19 1992-05-28 Japan Atom Energy Res Inst 高電圧給電線
JP3033363B2 (ja) * 1992-09-16 2000-04-17 株式会社安川電機 自走台車の絶対位置検出方法
JPH0643516U (ja) * 1992-11-18 1994-06-10 住友電気工業株式会社 位置検出装置
JP4156214B2 (ja) 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3886376B2 (ja) * 2001-12-26 2007-02-28 株式会社デンソー 車両周辺監視システム
JP3980565B2 (ja) 2004-02-16 2007-09-26 松下電器産業株式会社 運転支援装置
JP4697480B2 (ja) * 2008-01-11 2011-06-08 日本電気株式会社 車線認識装置、車線認識方法および車線認識プログラム
CN102906593B (zh) * 2010-05-19 2015-06-17 三菱电机株式会社 车辆后方监视装置
DE102011088332B4 (de) * 2011-12-13 2021-09-02 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
TW201345247A (zh) * 2012-04-27 2013-11-01 Altek Autotronics Corp 鳥瞰圖擷取系統及其鳥瞰圖擷取方法
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP2014110604A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両周辺監視装置
CN105009574B (zh) 2013-03-28 2018-07-17 爱信精机株式会社 周边监视装置及周边监视方法、记录介质
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9533618B2 (en) * 2014-03-07 2017-01-03 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
US9902322B2 (en) * 2015-10-30 2018-02-27 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
KR20160034681A (ko) * 2014-09-22 2016-03-30 에스엘 주식회사 차량의 주변 감시 장치 및 방법

Also Published As

Publication number Publication date
JP2017076890A (ja) 2017-04-20
DE112016004694T5 (de) 2018-06-28
CN108353147A (zh) 2018-07-31
WO2017065132A1 (ja) 2017-04-20
JP6493143B2 (ja) 2019-04-03
DE112016004694B4 (de) 2023-05-17

Similar Documents

Publication Publication Date Title
CN108227703B (zh) 信息处理装置和方法、***作车辆及记录程序的记录介质
US9902323B2 (en) Periphery surveillance apparatus and program
WO2016002163A1 (ja) 画像表示装置、画像表示方法
US20200082185A1 (en) Periphery monitoring device
JP6379967B2 (ja) 画像生成装置および画像生成方法
JP6337811B2 (ja) 画像処理装置及び画像処理方法
JP6471522B2 (ja) カメラパラメータ調整装置
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
CN107077715B (zh) 车辆周边图像显示装置、车辆周边图像显示方法
WO2016047037A1 (ja) 車両用画像処理装置
JP2020042355A (ja) 周辺監視装置
JP2023174682A (ja) 車両用映像処理装置および車両用映像処理方法
CN108353147B (zh) 显示控制装置以及储存有显示控制程序的非暂时性计算机可读存储介质
JP6572862B2 (ja) 表示制御装置
JP2020086956A (ja) 撮影異常診断装置
EP3396620B1 (en) Display control device and display control method
JP6519409B2 (ja) 車両周辺画像表示制御装置及び車両周辺画像表示制御プログラム
JP2021081989A (ja) カメラキャリブレーション装置
WO2017022457A1 (ja) 表示制御装置、表示制御方法、及び表示制御プログラム
US10986286B2 (en) Image creation device
JP7367709B2 (ja) 情報処理装置、情報処理システム、及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant