CN102783145B - 图像控制装置 - Google Patents

图像控制装置 Download PDF

Info

Publication number
CN102783145B
CN102783145B CN201180012249.9A CN201180012249A CN102783145B CN 102783145 B CN102783145 B CN 102783145B CN 201180012249 A CN201180012249 A CN 201180012249A CN 102783145 B CN102783145 B CN 102783145B
Authority
CN
China
Prior art keywords
image
door
car door
camera
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180012249.9A
Other languages
English (en)
Other versions
CN102783145A (zh
Inventor
三好英彦
长岭升
三浦健次
山本欣司
后藤谦二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN102783145A publication Critical patent/CN102783145A/zh
Application granted granted Critical
Publication of CN102783145B publication Critical patent/CN102783145B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

为了提供驾驶人员能够容易确认开放操作了车体车门后乘员上下车时的状况的图像控制装置,具有:摄像头,其拍摄车体的车门附近,监视器,其能够显示该摄像头拍摄而得到的拍摄图像,车门开放检测传感器,其检测车体车门的开放状态;在使用车门开放检测传感器检测出车门的开放状态时将摄像头拍摄而得到的拍摄图像显示在监视器上。

Description

图像控制装置
技术领域
本发明涉及图像控制装置,详细来说,涉及将使用乘用车等车体所具备的摄像头拍摄而得到的拍摄图像显示在驾驶座附近的监视器上的技术。
背景技术
作为如上述那样构成的图像控制装置,在专利文献1中记载有如下结构,即,在车辆的左右车门上具有拍摄后方的摄像头,并且在车内具有在开放(打开)车门的情况下将摄像头的拍摄数据显示在显示器上。
在该专利文献1中,在开放了右侧车门的情况下,将具备在该右车门上的摄像头拍摄而得到的车辆后方的拍摄数据显示在显示器的右侧,在开放了左侧车门的情况下,将具备在该左车门上的摄像头拍摄而得到的车辆后方的拍摄数据显示在显示器的左侧。由此,使乘员通过显示器识别出障碍物与车门接近的情况,从而能够支援(辅助)车门的开闭动作。
另外,在专利文献2中记载有如下的控制方式,即,基于车辆所具备的多个摄像头拍摄而得到的影像(映像)来将车辆周边的俯瞰影像分割成多个拍摄区域显示在显示器上,并且在用户通过触摸而选择了多个拍摄区域中的一个拍摄区域的情况下,在与显示器的俯瞰影像相邻的位置放大显示所选择的拍摄区域。
在该专利文献2中的技术中,在停车的地点存在沟槽或障碍物并且难以从车内直接以视觉辨认沟槽及障碍物的情况下,也能够通过将摄像头视点放大影像或局部放大俯瞰影像显示在显示器上,从而在显示器上容易确认沟槽及障碍物。
现有技术文献
专利文献
专利文献1:日本特开2006‐103526号公报
专利文献2:日本特开2009‐239674号公报
发明内容
发明要解决的问题
在使乘用车停止(停车)并打开车门后乘员上下车的情况下,驾驶座的驾驶人员要确认乘员的上下车情况以及周围的障碍物等。特别地,在道路的路肩上停车的状态下儿童上下车时,还有时在道路侧有其他车辆行驶,因而从安全角度出发也需要可靠地确认上下车。
针对这样的现状,在引用文献1所述的技术中,能够通过驾驶座附近的显示器来以视觉辨认在打开了车门时汽车或摩托车等从车体后方接近的情况。然而,由于并未设想确认乘员上下车,因而难以掌握乘员上下车。
另外,在引用文献2所述的技术中,放大车门附近在显示器上进行显示,在确认乘员上下车的情况下,需要确定乘员上下车的车门,并且需要由驾驶人员指定拍摄该车门的区域,因而耗费时间。
本发明的目的在于,合理地构成驾驶人员能够容易地确认乘员上下车的状况的图像控制装置。
用于解决问题的手段
本发明的特征在于,具有:摄像头,其拍摄车体的车门附近,监视器,其能够显示该摄像头拍摄而得到的拍摄图像,车门开放检测传感器,其检测车体车门的开放状态;在使用所述车门开放检测传感器检测出车门的开放状态时将所述摄像头拍摄而得到的拍摄图像显示在所述监视器上。
根据该结构,在由车门开放检测传感器检测出车门的开放状态时,将摄像头拍摄而得到的拍摄图像显示在监视器上。即,在车门成为开放状态时,即使驾驶人员不进行特别的操作,也能够在驾驶座位置上确认处于开放状态的车门附近的影像。
其结果,能够构成能够由驾驶人员容易确认乘员的上下车状况的图像控制装置。
本发明也可以如下构成:
具有拍摄包括所述车体左侧路面的左侧部区域的左侧摄像头和拍摄包括所述车体右侧路面的右侧部区域的右侧摄像头以作为所述摄像头,并且,具有检测所述车体左侧车门的开放状态的左车门开放检测传感器和检测所述车体右侧车门的开放状态的右车门开放检测传感器以作为所述车门开放检测传感器;
具有显示图像生成单元,该显示图像生成单元基于所述左侧摄像头拍摄而得到的拍摄图像来生成左车门附近的图像以作为左显示图像,并且基于右侧摄像头拍摄而得到的拍摄图像来生成右车门附近的图像以作为右显示图像;
具有信息输出单元,该信息输出单元在由所述左车门开放检测传感器和右车门开放检测传感器中的至少一个传感器检测出开放状态时,将所述左显示图像和右显示图像中的与检测出开放状态的传感器相对应的图像以规定布局显示在所述监视器上。
通过该结构,在左车门开放传感器和右车门开放传感器中的至少一个传感器检测出处于开放状态时,信息输出单元将左显示图像和右显示图像中的与检测出开放状态的传感器相对应的图像以规定布局显示在监视器上。由于以这样决定的布局显示图像,因而基于图像的显示位置也能够容易地确定处于开放状态的车门。
本发明也可以如下构成:所述显示图像生成单元,针对所述左侧摄像头拍摄而得到的拍摄图像中的至少一部分进行镜面翻转左右的处理,来生成所述左显示图像,并且,针对所述右侧摄像头拍摄而得到的拍摄图像中的至少一部分进行镜面翻转左右的处理,来生成所述右显示图像。
通过该结构,将通过对左侧摄像头的拍摄图像中的至少一部分进行镜面翻转左右而生成的左显示图像,和通过对右侧摄像头的拍摄图像中的至少一部分进行镜面翻转左右而生成的右显示图像显示在监视器上,由此能够以从驾驶座通过后视镜目视车门附近的感觉来从监视器掌握车门附近的状况。
本发明也可以如下构成:
具有俯瞰图像生成单元,该俯瞰图像生成单元基于用所述左侧摄像头拍摄而得到的拍摄图像和用所述右侧摄像头拍摄而得到的拍摄图像来生成从上方俯瞰车体周边的俯瞰图像;
所述信息输出单元将所述左显示图像和所述右显示图像中的至少一个图像和所述俯瞰图像以规定布局显示在所述监视器上。
通过该结构,俯瞰图像生成单元基于左侧摄像头拍摄而得到的拍摄图像和右侧摄像头拍摄而得到的拍摄图像来生成俯瞰图像。另外,在左车门开放传感器和右车门开放传感器中的至少一个传感器检测出处于开放状态时,信息输出单元以规定布局将左显示图像和右显示图像中的至少一个图像显示在监视器上,并且将俯瞰图像显示在监视器上,由此能够掌握车门附近的状况和车体周边整体的状况。
本发明也可以如下构成:所述信息输出单元对所述监视器设定显示所述俯瞰图像的俯瞰图像窗口,并且将显示所述左显示图像的左窗口和显示所述右显示图像的右窗口设定为左右并列的位置关系。
通过该结构,例如在左右车门都打开的情况下,信息输出单元将左拍摄图像显示在左窗口上,将右拍摄图像显示在右窗口上。由此,驾驶人员能够从并列配置的左窗口和右窗口,以对位置关系没有不协调感的方式,掌握车门附近的状况。
本发明也可以如下构成:
具有拍摄包括所述车体左侧路面的左侧部区域的左侧摄像头以作为所述摄像头,并且具有检测所述车体左侧车门的开放状态的左车门开放传感器以作为所述车门开放检测传感器;
具有显示图像生成单元,该显示图像生成单元针对所述左侧摄像头拍摄而得到的拍摄图像中的至少一部分进行镜面翻转左右的处理,来生成左车门附近的图像以作为左显示图像。
通过该结构,在由左车门开放传感器检测出处于开放状态时,信息输出单元将左显示图像显示在监视器上。由于这样显示图像,因而能够基于图像的显示位置确认处于开放状态的左侧车门附近的视频。
本发明也可以如下构成:
具有拍摄包括所述车体右侧路面的右侧部区域的右侧摄像头以作为所述摄像头,并且具有检测所述车体右侧车门的开放状态的右车门开放传感器以作为所述车门开放检测传感器;
具有显示图像生成单元,该显示图像生成单元针对所述右侧摄像头拍摄而得到的拍摄图像中的至少一部分进行镜面翻转左右的处理,来生成右车门附近的图像以作为右显示图像。
通过该结构,在由右车门开放传感器检测出处于开放状态时,信息输出单元将右显示图像显示在监视器上。由于这样显示图像,因而能够基于图像的显示位置确认处于开放状态的右侧车门附近的视频。
本发明也可以如下构成:具有控制模式设定部,该控制模式设定部在检测出所述车体处于停止状态并且由所述车门开放检测传感器检测出车门的开放状态时,优先于正在执行的控制模式的信息显示,而控制将所述摄像头拍摄而得到的拍摄图像显示在所述监视器上,以作为上下车确认模式。
通过该结构,即使在执行某控制模式的控制而处于在监视器上显示该控制模式的信息的状况下,如果车体停止后车门处于开放状态,也会由控制模式设定部优先执行上下车确认模式,从而能够通过监视器确认处于开放状态的车门的状况。
附图说明
图1是示出了乘用车的概要结构的俯视图。
图2是乘用车的局部切口立体图。
图3是控制***的模块回路图。
图4是示出了上下车确认画面的布局的图。
图5是示出了开放右后车门时的上下车确认画面的图。
图6是示出了开放左后车门和右后车门时的上下车确认画面的图。
图7是监视器显示控制的流程图。
具体实施方式
下面,基于附图,对本发明的实施方式进行说明。
在本实施方式中,具有图像控制装置,该图像控制装置,根据利用车体1所具备的多个摄像头的拍摄图像,生成从上方俯瞰车体1周边的方式的俯瞰图像并将其显示到监视器21上。特别地,该图像控制装置执行控制,在开放了某个车门的情况下,从多个摄像头中将包含该车门的拍摄区域的拍摄图像显示在监视器21上,由此能够掌握乘员的上下车,下面,对该控制方式和控制结构进行说明。
[基本结构]
如图1及图2所示,乘用车的车体1具有左右前车轮2和左右后车轮3。在该车体1的前部位置具有通过铰链开闭自如的左前部车门4和右前部车门5,并且在车体1的后部位置具有以滑动式开闭自如的左后部车门6和右后部车门7,而且在车体1的后端具有掀背(hatchback)式背门(backdoor)8。
左前部车门4、右前部车门5、左后车门6及右后车门7用于使乘员上下车,在这些车门的外面侧具有外面侧手柄11,在车室内侧具有里面侧手柄12。通过操作该外面侧手柄11或里面侧手柄12,来解除在车门关闭的状态下所保持上锁(latch)状态,从而能够开放(打开)车门。另外,车体1的后端的背门8不能用于乘员上下车。
在车体1的车室内具有驾驶座13、副驾驶座14及多个后部坐席15。在驾驶座13的前方位置具有方向盘16,在该方向盘16的前部配置有具有仪表类的面板。驾驶座13的(驾驶员)脚下配置有油门踏板17和操作前车轮2及后车轮3的制动装置BK的制动踏板18,并且在驾驶座13的侧部配置有实现变速的变速杆19。
显然,前述的右前部车门5在驾驶人员上下驾驶座13时开放,左前部车门4在乘员上下副驾驶座14时开放。前述的左后部车门6和右后部车门7在乘员上下后部坐席15时开放。
在驾驶座13附近的仪表板的上部位置,具有在显示面上形成有触摸面板21T的监视器21。监视器21是具有背光灯(backlight)的液晶监视器。显然,也可以是等离子显示类或CRT类。另外,触摸面板21T由将手指等的接触位置作为位置数据来输出的压力感应类或静电类指示输入装置构成。监视器21还具有扬声器22,但扬声器22也可以配置在车门内侧等其他位置。
在左前部车门4上具有左侧后视镜23,在右前部车门5上具有右侧后视镜24。在本实施方式中,作为拍摄车体周边的拍摄装置,在左侧后视镜23上具有左侧摄像头25,在右侧后视镜24上具有右侧摄像头26,在车体1的前端上具有前部摄像头27,在车体1的后端上具有后部摄像头28。
特别地,左侧摄像头25被设定为拍摄方向朝向下方,用于拍摄包括车体1的左侧的路面的左侧区域,但在该左侧摄像头25的拍摄图像中包含有左后部车门6。与此同样地,右侧摄像头26设定为拍摄方向朝向下方,用于拍摄包括车体1的右侧的路面的右侧区域,但在该右侧摄像头26的拍摄图像中包含右后部车门7。
作为这些拍摄装置的摄像头是内置CCD(chargecoupleddevice:电荷耦合器件)或CIS(CMOSimagesensor:互补金属氧化物半导体型图像传感器)等拍摄器件的数码摄像头,实时输出拍摄而得到的信息作为视频信息。这些摄像头通过具有广角透镜而确保了宽广的视角,拍摄方向设定为在拍摄图像中包含车体1的一部分和车体1附近的路面。
监视器21在导航模式控制中显示导航信息,但在停车支援模式控制中显示停车支援信息。另外,在上下车确认模式控制中,显示用于确认乘员通过左后部车门6和右后部车门7上下车的图像。另外,在本发明中,也可以具有用于在上下车确认模式控制中显示图像的专用监视器。
在车体前部具有将方向盘16的旋转操作力传递至前车轮2来进行驱动操向(操舵)的动力转向单元PS。另外,在车体前部具有发动机E和对从该发动机E输出的动力进行变速并将其传递至前车轮2的由液力变矩器及CVT等构成的变速机构T。
在车体1上具有用于检测驾驶操作及车体1的移动状态的各种传感器。若具体说明,则在方向盘16的操作***中具有对转向操作方向(操舵方向)和操作量(操舵量)进行计测的转向传感器S16。另外,在变速杆19的操作***中具有判别挡位的挡位传感器S19。在油门踏板17的操作***中具有对操作量进行计测的油门传感器S17,在所述制动踏板18的操作***中具有检测操作有无的制动传感器S18。
在后车轮3附近具有根据后车轮3的旋转量来对车体1的移动量进行计测的光断续器类(photo-interruptertype)或拾波器类(pickuptype)移动距离传感器S3。另外,也可以使用根据变速机构T内部的传动***的旋转量来获取移动量的移动距离传感器S3。另外,移动距离传感器S3也可以对前车轮2的旋转量进行计测。并且,也可以通过对前部摄像头27或者后部摄像头28拍摄而得到的拍摄图像进行图像处理来检测出车体1的移动量和转向量。
具有检测左后部车门6的开放状态的左车门开放检测传感器S6和检测右后部车门7的开放状态的右车门开放检测传感器S7。该左车门开放检测传感器S6和右车门开放检测传感器S7例如由限位开关(limitswitch)等构成,该限位开关在车门开始开放动作的时刻输出检测信号,从而检测出开放状态。另外,在这些车门是通过操作这些车门的外面侧手柄11及里面侧手柄12或通过驾驶人员操作开关来打开的自动滑动车门的情况下,也可以使用检测该开关操作的传感器作为左车门开放检测传感器S6和右车门开放检测传感器S7。
[控制结构]
在车体的中央部配置有ECU(电子控制装置)30以作为本发明的停车支援装置的核心的图像控制装置。如图3所示,该ECU30具有由传感器输入接口31和通信接口32构成的接口,并且具有图像输出模块33和语音输出模块34。
在该ECU30中,具有对经由接口取得的信息进行处理的微处理器以及DSP(digitalsignalprocessor:数字信号处理器)等处理***,处理结果从图像输出模块33输出至监视器21,另外,从语音输出模块34输出至扬声器22。
在该ECU30中具有实现导航模式控制的导航控制部35、向导航控制部35提供地图信息的地图数据保存部36、实现停车支援模式控制的停车支援控制部37以及实现上下车确认模式控制的图像处理部38。
导航控制部35,在行驶时从GPS单元41获取用经度信息和纬度信息表示的自身车辆位置,并且获取与该自身车辆位置相对应的地图数据并将其显示在监视器21上。然后,将向目的地引导的导航信息显示在监视器21上,并且从扬声器22用语音输出引导信息。地图数据保存部36进行将与自身车辆位置相对应的地图数据提供给导航控制部35的处理。
停车支援控制部37在停车时将摄像头视图模式(cameraviewmode)和全景视图模式(aroundviewmode)中的至少一个模式的图像显示在监视器21上,并且在该拍摄图像上重叠显示将车体1引导至停车位置的支援信息等。另外,从扬声器22用语音输出转向方向等支援信息以作为支援信息。基于这样的信息来进行转向操作等,由此能够将车体1容易地导入至停车位置上。
图像处理部38具有俯瞰图像生成单元38A、显示图像生成单元38B、显示对象设定单元38C及信息输出单元38D。俯瞰图像生成单元38A生成用于在图4所示的上下车确认画面的俯瞰图像窗口45中显示的俯瞰图像。显示图像生成单元38B生成用于在图4所示的上下车确认画面的左窗口46或右窗口47中显示的显示图像。显示对象设定单元38C设定用于在左窗口46或右窗口47中显示的显示图像。信息输出单元38D在监视器21上显示上下车确认画面,针对该上下车确认画面,以规定布局配置前述的俯瞰图像窗口45、左窗口46、右窗口47等,并且针对各窗口显示图像。
另外,导航控制部35、停车支援控制部37及图像处理部38由软件来构成,这些结构也可以由硬件来构成,也可以由软件和硬件来构成。
ECU30由电路构成,也可以在这样的电路中包含接口及输出***的一部分或全部。另外,ECU30具有构成处理***的电路,或者作为其他元件具有由存储器或记录器等构成的存储部,通过数据总线、地址总线、控制总线等进行信息的输入输出。
传感器输入接口31从转向传感器S16、挡位传感器S19、油门传感器S17、制动传感器S18及移动距离传感器S3接收信息。
通信接口32经由通信线路而与动力转向单元PS、变速机构T、制动装置BK、GPS单元41进行通信。并且,该通信接口32从触摸面板21T、左侧摄像头25、右侧摄像头26、前部摄像头27、后部摄像头28、左车门开放检测传感器S6及右车门开放检测传感器S7获取信息。
图像输出模块33向监视器21输出图像,语音输出模块34向扬声器22输出语音。
[控制方式]
该ECU30实现导航模式控制、停车支援模式控制及上下车确认模式控制。特别地,在上下车确认模式的控制中,在左后部车门6和右后部车门7中的至少一个车门处于开放状态时,将处于开放状态的车门附近的图像放大显示在监视器21上,基于图7的流程图对该控制方式进行说明。
ECU30在基于来自移动距离传感器S3及挡位传感器S19的信号来判断为车体1处于停车状态的状况下,获取来自左车门开放检测传感器S6和右车门开放检测传感器S7的信号,在左后部车门6和右后部车门7均不处于开放状态的情况下,将基于已设定的模式(导航模式或停车支援模式)控制的信息显示在监视器21上(#101~#103步骤)。
另外,在#101步骤中判断为“停车状态”的情况是指,在具有车速传感器时可以是车速为0km/h的情况,或考虑车速传感器的检测延迟而也可以是车速处于极低速(1~2km/h)以下的情况。
与此相反,在根据左车门开放检测传感器S6和右车门开放检测传感器S7的信号来判断为左后部车门6和右后部车门7中的至少一个车门处于开放状态的情况下,转移至上下车确认模式。在该上下车确认模式中,如图4所示,在监视器21上显示上下车确认画面,在该上下车确认画面的俯瞰图像窗口45中显示由俯瞰图像生成单元38A生成的俯瞰图像(#104步骤)。
在该上下车确认画面上,并列设定俯瞰图像窗口45、左窗口46及右窗口47的图像显示区域,并且以图4所示的布局来配置消息显示区域48和图标显示区域49,该布局由信息输出单元38D来设定。
俯瞰图像生成单元38A基于由左侧摄像头25、右侧摄像头26、前部摄像头27、后部摄像头28拍摄而得到的拍摄图像,将这些拍摄图像变换为从上方俯瞰车体周边的图像,并通过合成处理来生成俯瞰图像,由信息输出单元38D将生成的该俯瞰图像输出至监视器21,其中,该合成处理用于,将变换图像映射绘制(mapping)在中央位置的车体俯瞰图像的周围的假想路面上。
在该俯瞰图像显示在俯瞰图像窗口45中的情况下,采用如下显示方式:在中央位置配置车体图像45A,并且以涵盖该车体图像45A周边的方式映射绘制变换图像45B。另外,在该俯瞰图像中以“十”字形状形成以车体1的中心为基准的基准线45C,该基准线45C成为前后位置及左右位置的基准。特别地,通过俯瞰图像生成单元38A和信息输出单元38D对多个摄像头拍摄而得到的拍摄图像实时进行处理,能够通过视频来确认乘员上下车体1的俯瞰图像。
在左窗口46上放大显示左侧摄像头25的拍摄图像的一部分,在右窗口47上放大显示右侧摄像头26的拍摄图像的一部分,在消息显示区域48显示由文字(字符)数据构成的规定的消息,在图标显示区域49显示与从后方观察到的车体1相对应的图标。下面,对这些显示方式进行说明。
在该控制中,通过车体1停止(停车)后左后部车门6和右后部车门7中的至少一个车门成为开放状态而强制地转移至上下车确认模式,但例如也可以设定如下的控制方式:通过在监视器21显示选择画面(未图示),由驾驶人员在该选择画面上用手指等接触上下车确认模式的按钮,从而能够转移至上下车确认模式。
特别地,也可以考虑如下的控制方式:即使处于停车状态,在由挡位传感器S19检测出变速杆19设定在倒退(后退、倒车)挡位上的情况下,优先于所有的控制模式而控制将后部摄像头28的拍摄图像显示在监视器21(后监视器显示)上。在本发明中,即使这样在将由后部摄像头28拍摄而得到的拍摄图像显示在监视器21上的状况下,也可以设定为能够通过用手指接触触摸面板21T等任意操作来转移至上下车确认模式控制这样的控制方式。
接着,在判断为左后部车门6和右后部车门7中的至少一个车门处于开放状态的情况下,将拍摄到处于开放状态的车门附近的图像显示在左窗口46中,或右窗口47中,或左窗口46和右窗口47这两个窗口中。伴随该显示处理而在消息显示区域48上用文字数据显示消息,并在图标显示区域49中显示与从后方观察到的车体1相对应的图标(#105,#106步骤)。
这样在左窗口46及右窗口47中显示图像时,显示图像生成单元38B对左侧摄像头25拍摄而得到的拍摄图像或右侧摄像头26拍摄而得到的拍摄图像实时进行处理,由此能够通过视频确认乘员的上下车体1的情况。
作为第一具体例,在由左车门开放检测传感器S6检测出左后部车门6处于开放状态的情况下,显示对象设定单元38C将显示对象设定为左后部车门6。接着,显示图像生成单元38B从左侧摄像头25拍摄而得到的拍摄图像中取出(切出)并放大左后部车门6附近的图像,并镜面翻转左右而生成左显示图像。信息输出单元38D将这样生成的左显示图像显示在左窗口46上。
另外,信息输出单元38D在消息显示区域48中显示“已打开滑动车门”这样的消息,在图标显示区域49显示图标的左边一半。在这样显示的图标中用影线(hatching)表示拍摄区域。在乘员X处于上下车的情况下在俯瞰图像窗口45和左窗口46中显示乘员X。
作为第二具体例,如图5所示,在由右车门开放检测传感器S7检测出右后部车门7处于开放状态的情况下,显示对象设定单元38C将显示对象设定为右后部车门7,并且显示图像生成单元38B从右侧摄像头26拍摄而得到的拍摄图像中取出(切出)并放大右后部车门7附近的图像,并镜面翻转左右而生成右显示图像。信息输出单元38D将这样生成的右显示图像显示在右窗口47上。
另外,信息输出单元38D在消息显示区域48中显示“已打开滑动车门”这样的消息,在图标显示区域49中显示图标的右边一半。
作为第三具体例,如图6所示,在左后部车门6和右后部车门7同时处于开放状态的情况下,通过进行与前述相同的处理,将左显示图像显示在左窗口46中,将右显示图像显示在右窗口47中。并且,在消息显示区域48中显示“已打开滑动车门”这样的消息,另外,在图标显示区域49中显示整体图标。
此后,在左后部车门6和右后部车门7分别被关闭的情况下,结束上下车确认模式控制,并且在除了结束全部控制的情况之外的情况下,转移至#101步骤的控制。然后,返回之前设定的模式(导航模式或停车支援模式)的控制,并将该模式控制的信息显示在监视器21上(#108步骤)。
这样,根据本发明,在左后部车门6和右后部车门7处于开放状态时,优先于正在执行的模式控制而转移至上下车确认模式控制,并在监视器21上显示上下车确认画面。并且,通过将开放的车门附近放大显示在监视器21上,驾驶人员不需要用于显示的特别操作,另外不需回头向后方观察,而能够通过监视器21掌握乘员上下车。
另外,将左后部车门6附近的放大图像显示在左窗口46中,将右后部车门7附近的图像显示在右窗口47中,并以左右并列的位置关系配置该左窗口46和右窗口47,因而容易判别左右。而且,在左窗口46和右窗口47中显示的图像是通过镜面翻转左右而生成的图像,因而能够以如通过侧后视镜确认后方那样的感觉进行确认,从而也不会产生感觉上的不协调感。
特别地,为了生成俯瞰图像,利用在侧后视镜上具备的摄像头拍摄而得到的图像,因而不需特别具备用于拍摄车门附近的摄像头,从而不会因具备摄像头而导致成本上升。
[其他实施方式]
本发明除了上述实施方式以外也可以如下构成。
(a)在操作了外面侧手柄11或者里面侧手柄12的情况下,在达到车门处于打开的状态以前,也将进行了操作的车门附近的图像显示在监视器上。此时,能够在操作了外面侧手柄11或者里面侧手柄12的时刻开始显示,从而能够实现尽早确认。
(b)在车体上具备用于拍摄车门附近的专用摄像头。此时,设定如用多个摄像头从不同角度拍摄同一车门的附近并将这些图像显示在监视器上这样的显示方式,由此能够掌握更加详细的状况。
(c)设定如在车门处于开放状态时通过语音使驾驶人员识别出车门处于开放状态这样的控制方式。通过这样构成,在驾驶人员的视线不在监视器21上的情况下,也能够将视线转移至监视器21,从而能够从上下车确认画面确认乘员的上下车。另外,语音可以是电子音,也可以是人的语言。
(d)在本实施方式中,侧摄像头的拍摄方向朝向下方,但并不限定于此,例如也可以通过使拍摄方向朝向后方来拍摄车门附近。此时,也能够将摄像头设置为不需如本实施方式那样切出图像。
产业上的可利用性
本发明能够用于具有开闭自如的车门的所有汽车上。
附图标记的说明
1车体
6车门(左后部车门)
7车门(右后部车门)
21监视器
25摄像头/左侧摄像头
26摄像头/右侧摄像头
38A俯瞰图像生成单元
38B显示图像生成单元
38D信息输出单元
39控制模式设定部
45俯瞰图像窗口
46左窗口
47右窗口
S6车门开放检测传感器/左车门开放检测传感器
S7车门开放检测传感器/右车门开放检测传感器

Claims (5)

1.一种图像控制装置,其特征在于,
具有:
左侧摄像头,其拍摄区域包括车体左侧的后部车门,
右侧摄像头,其拍摄区域包括所述车体右侧的后部车门,
监视器,其设在驾驶座附近,能够显示所述左侧摄像头和所述右侧摄像头拍摄而得到的拍摄图像,
车门开放检测传感器,其检测所述车体的左右侧的后部车门的开放状态,
俯瞰图像生成单元,其基于由所述左侧摄像头拍摄而得到的拍摄图像和由所述右侧摄像头拍摄而得到的拍摄图像,来生成从上方俯瞰所述车体周边的俯瞰图像,
信息输出单元,其在所述车门开放检测传感器检测出所述后部车门的开放状态时,将由所述左侧摄像头或所述右侧摄像头中的至少一个摄像头拍摄处于开放状态的所述后部车门而得的拍摄图像,和由所述俯瞰图像生成单元生成的俯瞰图像,以规定布局显示在所述监视器上。
2.如权利要求1所述的图像控制装置,其特征在于,
所述左侧摄像头还拍摄包括所述车体的左侧路面的左侧部区域,所述右侧摄像头还拍摄包括所述车体的右侧路面的右侧部区域,
并且,作为所述车门开放检测传感器,具有检测所述车体左侧车门的开放状态的左车门开放检测传感器和检测所述车体右侧车门的开放状态的右车门开放检测传感器;
具有显示图像生成单元,该显示图像生成单元基于所述左侧摄像头拍摄而得到的拍摄图像来生成左车门附近的图像以作为左显示图像,基于右侧摄像头拍摄而得到的拍摄图像来生成右车门附近的图像以作为右显示图像;
所述信息输出单元,在由所述左车门开放检测传感器和右车门开放检测传感器中的至少一个传感器检测出开放状态时,将所述左显示图像和右显示图像中的与检测出开放状态的传感器相对应的图像以规定布局显示在所述监视器上。
3.如权利要求2所述的图像控制装置,其特征在于,
所述显示图像生成单元,针对所述左侧摄像头拍摄而得到的拍摄图像中的至少一部分进行镜面翻转左右的处理,来生成所述左显示图像,
针对所述右侧摄像头拍摄而得到的拍摄图像中的至少一部分进行镜面翻转左右的处理,来生成所述右显示图像。
4.如权利要求1所述的图像控制装置,其特征在于,
所述信息输出单元对所述监视器设定用于显示所述俯瞰图像的俯瞰图像窗口,并且将用于显示所述左显示图像的左窗口和用于显示所述右显示图像的右窗口设定为左右并列的位置关系。
5.如权利要求1至4中任一项所述的图像控制装置,其特征在于,
具有控制模式设定部,该控制模式设定部在检测出所述车体处于停止状态并且由所述车门开放检测传感器检测出车门的开放状态时,优先于正在执行的控制模式的信息显示而控制将所述摄像头拍摄而得到的拍摄图像显示在所述监视器上,以作为上下车确认模式。
CN201180012249.9A 2010-03-12 2011-02-03 图像控制装置 Expired - Fee Related CN102783145B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010056355A JP5397697B2 (ja) 2010-03-12 2010-03-12 画像制御装置
JP2010-056355 2010-03-12
PCT/JP2011/052259 WO2011111448A1 (ja) 2010-03-12 2011-02-03 画像制御装置

Publications (2)

Publication Number Publication Date
CN102783145A CN102783145A (zh) 2012-11-14
CN102783145B true CN102783145B (zh) 2015-11-25

Family

ID=44563274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180012249.9A Expired - Fee Related CN102783145B (zh) 2010-03-12 2011-02-03 图像控制装置

Country Status (5)

Country Link
US (1) US20130002877A1 (zh)
EP (1) EP2547104B1 (zh)
JP (1) JP5397697B2 (zh)
CN (1) CN102783145B (zh)
WO (1) WO2011111448A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100959347B1 (ko) * 2010-02-24 2010-05-20 조성호 자동차의 좌우후방 시야확보 장치
CN102933428B (zh) * 2010-06-15 2015-07-15 爱信精机株式会社 驾驶支援装置
KR101751405B1 (ko) * 2010-10-22 2017-06-27 히다치 겡키 가부시키 가이샤 작업 기계의 주변 감시 장치
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
CN103975315B (zh) * 2011-12-06 2017-04-12 英特尔公司 用于提高车辆计算平台中的响应性的方法和***
KR101362326B1 (ko) * 2012-08-06 2014-02-24 현대모비스 주식회사 주차 정렬 기능을 갖는 차량 후방 카메라 시스템 및 이를 이용한 차량의 주차 지원 시스템
DE102013000273A1 (de) * 2013-01-09 2014-07-31 Daimler Ag Vorrichtung und Verfahren zum Anzeigen einer Information auf einer Anzeigeeinrichtung in einem Fahrzeug
CN104228714A (zh) * 2013-06-14 2014-12-24 华创车电技术中心股份有限公司 停车影像的提供方法
GB2515099B (en) * 2013-06-14 2015-11-11 Jaguar Land Rover Ltd Door protection system
KR101482171B1 (ko) * 2013-09-05 2015-01-13 현대모비스(주) 어라운드뷰 정차모드 제어방법
CN104063991B (zh) * 2014-06-28 2017-06-30 宁波吉利汽车研究开发有限公司 一种下车安全提醒装置及其检测方法
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP6545108B2 (ja) * 2016-01-14 2019-07-17 アルパイン株式会社 駐車支援装置および駐車支援方法
JP6675206B2 (ja) * 2016-01-19 2020-04-01 株式会社モリタホールディングス 車両用監視表示装置
CN107089190A (zh) * 2016-02-18 2017-08-25 奥迪股份公司 用于辅助用户下车的警告***、警告方法以及相应的车辆
US20170297487A1 (en) * 2016-04-14 2017-10-19 GM Global Technology Operations LLC Vehicle door opening assessments
KR101846666B1 (ko) * 2016-05-02 2018-04-06 현대자동차주식회사 측후방 주시 카메라 시스템 작동 제어장치 및 방법
JP2017210063A (ja) * 2016-05-24 2017-11-30 株式会社東海理化電機製作所 車両用表示装置
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
JP2018043643A (ja) * 2016-09-14 2018-03-22 株式会社東海理化電機製作所 車両用視認装置
JP6737173B2 (ja) * 2016-12-28 2020-08-05 株式会社Jvcケンウッド 映像生成装置、映像生成システム、映像生成方法およびプログラム
JP6730614B2 (ja) * 2017-02-28 2020-07-29 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6769383B2 (ja) * 2017-04-13 2020-10-14 トヨタ自動車株式会社 自動運転装置、及び通知方法
EP3663161A4 (en) * 2017-07-31 2021-06-23 Hitachi Kokusai Electric Inc. VIDEO DISPLAY SYSTEM AND VIDEO DISPLAY METHOD
CN109455140B (zh) * 2017-09-06 2022-03-01 丰田自动车株式会社 图像显示装置
JP6875551B2 (ja) * 2017-12-14 2021-05-26 本田技研工業株式会社 車両のモニタ配置構造
JP6967729B2 (ja) * 2018-03-30 2021-11-17 パナソニックIpマネジメント株式会社 運転支援システム、情報処理装置及び情報処理方法
JP7099914B2 (ja) * 2018-09-07 2022-07-12 株式会社デンソー 電子ミラーの表示制御装置およびそれを備えた電子ミラーシステム
DE102019115645B4 (de) * 2018-10-02 2023-07-20 GM Global Technology Operations LLC Algorithmus zur elektrischen türschliessung
JP2020120278A (ja) * 2019-01-24 2020-08-06 アルパイン株式会社 電子サイドミラーシステム
CN110303986A (zh) * 2019-07-02 2019-10-08 宁波胜维德赫华翔汽车镜有限公司 一种增强视野的摄像头监控***
US20220063559A1 (en) * 2020-08-25 2022-03-03 Deere & Company Work vehicle, door state determination system, and method of determining state of work vehicle door
FR3120030A1 (fr) * 2021-02-25 2022-08-26 Psa Automobiles Sa Procédé et dispositif de rétro-vision numérique utilisé par un véhicule pour remplacer des rétroviseurs extérieurs du véhicule
KR102580653B1 (ko) * 2023-05-22 2023-09-21 고려웍스(주) 차량어라운드뷰 자동전환장치 및 그의 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2589276Y (zh) * 2002-03-11 2003-12-03 东邦科技有限公社 汽车后监视摄像机中用于左右图像颠倒的转换装置
CN1637578A (zh) * 2003-09-08 2005-07-13 株式会社自动车电网络技术研究所 用来监视车辆周围的摄像机单元和装置
CN1801216A (zh) * 2004-10-25 2006-07-12 日产自动车株式会社 驾驶支持***和产生俯视图像的方法
CN101234620A (zh) * 2008-02-28 2008-08-06 上海交通大学 车辆智能后视装置
CN101396988A (zh) * 2007-09-26 2009-04-01 日产自动车株式会社 车辆周边监视设备和车辆周边监视方法
CN201242773Y (zh) * 2008-08-19 2009-05-20 李祖华 公共交通工具人像记录***
CN101633340A (zh) * 2008-07-25 2010-01-27 襄樊学院 汽车后视摄像头

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6348985A (ja) * 1986-08-18 1988-03-01 Matsushita Electric Ind Co Ltd 車内確認装置
JPH07274161A (ja) * 1994-03-29 1995-10-20 Toshiba Corp 車両後方確認装置
US5874989A (en) * 1996-12-09 1999-02-23 Custom Radio Corporation Bus door observation system
JP2001114048A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
SE520075C2 (sv) * 2000-12-01 2003-05-20 Safenet I Harads Ab Förfarande vid klämskyddsanordningar samt anordning för genomförande av förfarandet
US7463281B2 (en) * 2003-08-06 2008-12-09 Microsoft Corporation Smart vehicle video management
US7091833B1 (en) * 2004-04-23 2006-08-15 Everton Davis Automobile theft deterrent system
JP2006103526A (ja) 2004-10-06 2006-04-20 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
JP2006224873A (ja) * 2005-02-18 2006-08-31 Denso Corp 車両周辺監視装置
DE602006014321D1 (de) * 2005-04-20 2010-07-01 Mazda Motor Steuervorrichtung, Steuerverfahren und Computerprogramm für ein Fahrzeug
JP2007118762A (ja) * 2005-10-27 2007-05-17 Aisin Seiki Co Ltd 周辺監視モニタリングシステム
JP2007148618A (ja) * 2005-11-25 2007-06-14 Fujitsu Ten Ltd 車両周辺監視システム及び方法
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP2008018798A (ja) * 2006-07-12 2008-01-31 Pioneer Electronic Corp 表示制御装置、表示制御方法、表示制御プログラムおよびコンピュータに読み取り可能な記録媒体
JP2008168786A (ja) * 2007-01-11 2008-07-24 Denso Corp 車載機器操作案内装置
KR100862041B1 (ko) * 2007-05-09 2008-10-07 홍종운 차량용 승객 보호 장치
JP4973564B2 (ja) * 2008-03-27 2012-07-11 三菱自動車工業株式会社 車両周辺表示装置
WO2009141846A1 (ja) * 2008-05-19 2009-11-26 パナソニック株式会社 車両周囲監視装置および車両周囲監視方法
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2589276Y (zh) * 2002-03-11 2003-12-03 东邦科技有限公社 汽车后监视摄像机中用于左右图像颠倒的转换装置
CN1637578A (zh) * 2003-09-08 2005-07-13 株式会社自动车电网络技术研究所 用来监视车辆周围的摄像机单元和装置
CN1801216A (zh) * 2004-10-25 2006-07-12 日产自动车株式会社 驾驶支持***和产生俯视图像的方法
CN101396988A (zh) * 2007-09-26 2009-04-01 日产自动车株式会社 车辆周边监视设备和车辆周边监视方法
CN101234620A (zh) * 2008-02-28 2008-08-06 上海交通大学 车辆智能后视装置
CN101633340A (zh) * 2008-07-25 2010-01-27 襄樊学院 汽车后视摄像头
CN201242773Y (zh) * 2008-08-19 2009-05-20 李祖华 公共交通工具人像记录***

Also Published As

Publication number Publication date
JP2011193136A (ja) 2011-09-29
US20130002877A1 (en) 2013-01-03
EP2547104B1 (en) 2015-06-10
EP2547104A4 (en) 2013-08-07
JP5397697B2 (ja) 2014-01-22
EP2547104A1 (en) 2013-01-16
CN102783145A (zh) 2012-11-14
WO2011111448A1 (ja) 2011-09-15

Similar Documents

Publication Publication Date Title
CN102783145B (zh) 图像控制装置
CN102812704B (zh) 车辆周边监视装置
CN105539287B (zh) 周边监视装置
EP2981077B1 (en) Periphery monitoring device and program
US9308863B2 (en) Vehicle peripheral observation device
KR101326364B1 (ko) 차량주변표시장치
EP2990265A1 (en) Vehicle control apparatus
JP4623396B2 (ja) 車両周辺表示装置
WO2011158609A1 (ja) 運転支援装置
JP2021043815A (ja) 画像処理装置
CN110884426B (zh) 显示控制装置
JP2020042417A (ja) 表示制御装置
JP5605605B2 (ja) 車両周辺監視装置
JP2020121638A (ja) 表示制御装置
JP2021014245A (ja) 車両周辺表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20210203