CN102149574A - 图像照射***及图像照射方法 - Google Patents

图像照射***及图像照射方法 Download PDF

Info

Publication number
CN102149574A
CN102149574A CN2009801358552A CN200980135855A CN102149574A CN 102149574 A CN102149574 A CN 102149574A CN 2009801358552 A CN2009801358552 A CN 2009801358552A CN 200980135855 A CN200980135855 A CN 200980135855A CN 102149574 A CN102149574 A CN 102149574A
Authority
CN
China
Prior art keywords
image
vehicle
irradiation
simple eye
irradiation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801358552A
Other languages
English (en)
Inventor
小川正俊
稻叶均
奥村治彦
佐佐木隆
冈田直忠
堀田相良
堀内一男
萩原刚
永原收
松林俊明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008235470A external-priority patent/JP2010064714A/ja
Priority claimed from JP2008235469A external-priority patent/JP2010064713A/ja
Priority claimed from JP2008241267A external-priority patent/JP2010073032A/ja
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN102149574A publication Critical patent/CN102149574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

提供不用较大地移动驾驶员的视点就可以让驾驶员高精度地了解车辆室外的图像信息的图像照射***和图像照射方法。图像照射***包括用于拍摄车辆的驾驶员(50)的第一摄像部(10)、根据第一摄像部(10)拍摄到的图像计算驾驶员(50)的单眼位置(501)的位置计算部(206)、生成车辆的室外图像信息的图像信息生成单元以及向由位置计算部(206)计算出的单眼位置(501)照射所述室外图像信息的照射部(40)。

Description

图像照射***及图像照射方法
技术领域
本发明涉及向车辆的驾驶员照射室外的信息图像从而进行辅助驾驶的图像照射***及图像照射方法。
背景技术
用于车辆(汽车)的驾驶员进行安全驾驶的辅助***在现有技术中被进行了各种改良。
例如在车辆前方部分长的双门跑车或轿车等车辆中，驾驶员不能目视车辆的前端部。因此，为了防止墙壁等蹭到车辆的前端部，有时在车辆前端的两侧设置防撞杆(fender pole)。但是，如果设置防撞杆，则会被认为驾驶不熟练或是新手，因此有的驾驶员不愿意安装。
因此，作为防撞杆的替代技术，提出了在车辆上配备超声波声纳，告知车辆周围存在的障碍物的方法(例如，参考专利文献1)。
并且，为了便于驾驶员确认车辆后方，车辆通常具有设置在车辆前端部的两端附近的后视镜(防撞镜)或设置在车辆的前排座两门附近的后视镜(门镜)。
但是，如果设置了防撞镜，则车辆的设计性和空气动力特性将降低。另外，如果设置了门镜，则虽然车辆的设计性和空气动力特性有一些改善，但在确认车辆的后方时，需要较大地移动视点。
因此，提出了将用小型摄像机(camera)拍摄车辆后方的图像显示在设置于车内的仪表盘(dashboard)等上的液晶显示器上的方案(参考专利文献2)。
此外，在下雾或暴风雪等恶劣天气时有可能造成能见度降低。因此担心车辆的驾驶员看不清前进的道路而偏离车道、或不小心撞上前方车辆或障碍物。因此，公开有使用GPS或毫米波雷达检测前方并在液晶显示装置上显示该图像的技术(例如，参考非专利文献1)。
专利文献
专利文献1：日本特开2002-59798号公报
专利文献2：日本特开2005-173882号公报
非专利文献
非专利文献1：高野等《支撑安全的道路环境的ITS》、日立评论、2004年9月、第86卷9号(高野、他、「安全な道路環境を支ぇるITS」、日立評論、2004年9月、第86巻9号)。
在专利文献1所述的方法中，由于超声波声纳的距离分辨率低，因此很难判断诸如车辆的前端是否蹭到墙壁等微妙的车体宽间隔。在专利文献2所述的方法中，虽然无需将后视镜设置在车辆外就可以改善设计性和空气动力特性，但为了确认液晶显示器，驾驶员必须较大地移动视点。另外，根据非专利文献1所示的方法，在下雾或暴风雪中在整个挡风玻璃看起来是白色的状态下利用液晶显示装置的画面显示信息。但是这种情况下，驾驶员的视线固定在液晶显示装置上，有延迟通过挡风玻璃发现真实背景的危险。
发明内容
本发明为了解决上述问题而提出，其目的在于提供不用较大地移动驾驶员的视点且可以让驾驶员高精度地了解车辆驾驶室外面的图像信息的图像照射***和图像照射方法。
为了实现上述目的，本发明的图像照射***和图像照射方法的特征在于，包括：第一摄像部，用于拍摄车辆的驾驶员；位置计算部，用于根据由所述第一摄像部拍摄到的图像计算所述驾驶员的单眼位置；图像信息生 成单元，用于生成所述车辆的室外图像信息；以及照射部，用于向由所述位置计算部计算出的单眼位置照射所述室外图像信息。
根据本发明，可以提供不用较大地移动驾驶员的视点且可以让驾驶员高精度地了解车辆驾驶室外面的图像信息的图像照射***和图像照射方法。
附图说明
图1是第一实施方式涉及的图像照射***的***结构图。
图2是计算YZ面上的单眼位置的方法的说明图。
图3是计算XZ面上的头部位置的方法的说明图。
图4是防撞杆在虚拟屏上的投影图。
图5A是表示理想的照射图像与实际的照射图像的图。
图5B是表示梯形校正前的图像和梯形校正后的图像的图。
图6是表示反射镜角度与图像照射位置的关系图。
图7是驾驶员看到的风景与图像的重叠图。
图8是用于说明第一实施方式涉及的图像照射***的图像生成动作的流程图。
图9是说明第一实施方式涉及的图像照射***的模仿动作的流程图。
图10是第二实施方式的图像照射***的***结构图。
图11是驾驶员看到的风景与图像的重叠图。
图12是第三实施方式的图像照射***的***结构图。
图13是表示照相机的设置位置的图。
图14是图像的截取方法的说明图。
图15是图像的截取方法的说明图。
图16是通过显示位置调整部生成的整体图像的图。
图17是驾驶员看到的风景与图像的重叠图。
图18是截取位置操作部的图像截取位置调整的说明图。
图19是说明第三实施方式涉及的图像照射***的图像生成动作的流程图。
图20是第四实施方式的图像照射***的***结构图。
图21是表示照相机的设置位置的图。
图22是表示通过显示位置调整部生成的整体图像的图。
图23是驾驶员看到的风景与图像的重叠图。
图24是第五实施方式的图像照射***的***结构图。
图25是表示在图像信号生成部506生成的图像的一个示例图。
图26是表示第五实施方式涉及的图像照射***的图像生成动作的流程图。
具体实施方式
下面，参考附图，对本发明的实施方式进行说明。
第一实施方式
下面，参考图1至图9，对本发明的第一实施方式涉及的图像照射***进行说明。
图1是本发明的第一实施方式的图像照射***1的***结构图。该图像照射***1包括摄像装置10、中央运算处理部20、存储装置30以及照射装置40。
下面，对各个结构进行详细的说明。
(摄像装置10)
摄像装置10包括摄像机101、摄像机102。摄像机101设置在驾驶员50的大致正面，按事先确定的时间间隔拍摄驾驶员50的面部。摄像机102设置在驾驶员50的大致正上方，按事先确定的时间间隔拍摄驾驶员50的 头部。摄像机101、102向中央运算处理部20输入拍摄到的驾驶员50的各图像。
(中央运算处理部20)
中央运算处理部20包括图像信号生成部201、位置计算部202(第一位置计算部)、照射位置确定部203、驱动控制部204、位置计算部204(第二位置计算部)、位置计算部206(第三位置计算部)以及变形校正部207。
位置计算部202针对从摄像机101输入的每个图像检测驾驶员50的单眼501。位置计算部202根据检测到的单眼501在图像上的像素位置来计算在与车辆的前进方向垂直的平面(以下称为YZ面)上的位置。
图2是计算单眼501在YZ面上的位置的方法的说明图。图2的Y轴表示水平方向，Z轴表示垂直方向。如图2所示，如果设摄像机101的Y轴方向的视场角为θ1、摄像机101与单眼501之间的垂直距离为L1、摄像机101的Y轴方向的像素为n、每单位像素的Y轴上的距离为ΔY，则以下的公式(1)成立。
ΔY＝(2L1×tan(θ1/2))/n...(1)
位置计算部202利用该公式(1)计算单眼501在YZ面上的位置。具体而言，确定YZ面上的零点，并计算该零点与单眼501的位置之间的像素数。然后，用计算出的像素数乘以公式(1)。可以事先测量摄像机101的Y轴方向的视场角θ1、和摄像机101与单眼501之间的距离L1。因此，根据单眼501在图像上的位置可计算出单眼501在YZ面上的位置。
此外，在该第一实施方式中，以驾驶员50的单眼501只向Y轴方向移动为前提，单眼501不向Z轴方向移动，使Z轴方向上的位置固定。但是，也可以与Y轴方向相同地计算Z轴方向的单眼501的位置。
照射位置确定部203根据由位置计算部202计算出的单眼501的位置来确定照射图像的位置。
驱动控制部204向驱动部406发出向由照射位置确定部203确定的照射位置照射图像的控制信号。
此外，从根据由摄像机101拍摄到的图像计算单眼501的位置直至向该位置照射图像为止需要一定的时间。因此，如果单眼501移动，则照射了图像的位置与实际的单眼501的位置之间有可能产生差异。因此，也可以形成以下结构：如果单眼501移动，则向从由位置计算部202计算出的位置向单眼501的移动方向只推进任意距离的位置照射图像。这样，即使在单眼501的位置发生了移动的情况下，也可以降低照射了图像的位置与实际单眼501的位置之间的误差。
位置计算部205对应从摄像机102输入的每个摄像来检测驾驶员50的头部的中心位置502。位置计算部205根据检测到的头部的中心位置502在图像上的像素位置来计算单眼501在与铅垂方向垂直的平面(以下称为XY面)上的位置。
图3是用于计算头部的中心位置502在XY面上的位置的方法的说明图。图3的X轴表示车辆的前进方向，Y轴表示与图2相同的水平方向。如图3所示，如果设摄像机102在X轴方向的视场角为θ2、摄像机102与头部的中心位置502之间的垂直距离为L2、摄像机102的X轴方向的像素数为m、单位像素在X轴上的距离为ΔX，则以下的公式(2)成立。
ΔX＝(2L2×tan(θ2/2))/m...(2)
位置计算部205利用该公式(2)计算头部的中心位置502在XY面上的位置。具体的计算方法与位置计算部202中的计算方法相同，因此省略重复说明。然后，位置计算部205根据该计算出的头部在XY面上的中心位置502，计算单眼501在XY面上的位置。具体而言，事先测量好单眼501在XY面上的位置(X2，Y2)与头部的中心位置502(X1，Y1)之差(X2-X1，Y2-Y1)(以下称为偏移(offset))。然后，将该计算出的头部在XY面上的中心位置502加上偏移，从而计算出单眼501在XY面上的位置。
另外，根据驾驶员50不同，摄像机102与头部的中心位置502之间的距离L 2也不同。因此，可以事先测量好摄像机102至司机座椅的距离， 让驾驶员50输入座椅高度后计算摄像机102与头部的中心位置502之间的距离L2。另外，通过该距离L2也可以计算单眼501在Z轴上的位置。
位置计算部206根据由位置计算部202计算出的单眼501在YZ面上的位置以及由位置计算部205计算出的单眼501在XY面上的位置，计算单眼501在XYZ空间内的位置并输入图像信号生成部201。
图像信号生成部201对于防撞杆，根据由位置计算部206计算出的单眼501的位置和存储装置30中存储的虚拟设置在车辆上的防撞杆的位置信息之间的对应关系，生成在单眼501的位置看到的防撞杆的图像信号。然后，向变形校正部207输入生成的图像信号。
图4是用于生成防撞杆图像的说明图。如图4所示，图像信号生成部201将虚拟屏设定在虚拟设置在车辆上的防撞杆701、702、与由位置计算部206计算出的单眼501的位置之间。
然后，图像信号生成部201引出连接构成防撞杆701、702的各点与单眼501的线，并生成表示为该线与虚拟屏之间的交点的防撞杆601、602的图像信号。然后，图像信号生成部201向变形校正部207输入生成的图像信号。
变形校正部207根据从驱动控制部204向驱动部406输入的控制信号计算照射位置控制部404所具备的反射镜的转动角度，并从存储装置30读取与计算出的角度对应的变形校正信息。然后，变形校正部207根据从存储装置30读出的变形校正信息来校正从图像信号生成部201输入的图像信号。另外，可通过事先三维测量挡风玻璃408的形状得到上述变形校正信息。
图5A是表示理想的照射图像801与实际的照射图像802的图。图5B是表示变形校正前的图像803和变形校正后的图像804的图。设图5A、5B的水平方向为α轴、垂直方向为β轴。
在利用反射镜反射并照射图像的情况下，照射图像对应反射镜的角度而发生变形。因此，如果不进行变形校正就照射图像，则如图5A的图像 802所示，图像发生变形。因此，如图5B所示，通过照射事先使构成图像的各像素的位置移动的图像803，从而可以得到不变形的图像804。
以下就校正方法进行说明。
首先，分别测量理想的照射图像801和实际照射的图像802的四个角的位置。在此，将图像801的四个角的位置设定为(α1，β1)、(α2，β2)、(α3，β3)以及(α4，β4)。另外，将图像802的四个角的位置设定为(α5，β5)、(α6，β6)、(α7，β7)以及(α8，β8)。
然后，使图像802的四个角的位置(α5，β5)、(α6，β6)、(α7，β7)、(α8，β8)分别向图像801的四个角的位置(α1，β1)、(α2，β2)、(α3，β3)、(α4，β4)移动，即求出两行两列的变换矩阵T。然后利用变换矩阵T校正构成变形校正前的图像803的各像素位置并生成校正后的图像804。
此外，由于反射镜的角度不同，变形也不同。因此，按每个规定的反射镜角度计算变换矩阵T，作为变形校正信息事先存储在存储装置30中。
(存储装置30)
在存储装置30中存储有用于校正上述变形的变形校正信息和虚拟设置在车辆上的防撞杆的位置信息。在此，防撞杆由许多点构成，在存储装置30中存储有构成该防撞杆的各点的位置信息。作为存储装置30可以使用半导体存储器、磁盘、光盘等。
由于在该存储装置30和中央运算处理部20中，用与生成图像相关的部分生成图像信息，因此，可以将两者统一称为图像信息生成单元。
(照射装置40)
照射装置40包括光束生成装置401、照射透镜402、照射范围控制部403、照射位置控制部404、图像扩大部405、驱动部406以及反射部件407。
光束生成装置(图像生成部)401根据从变形校正部207输入的图像信号生成向驾驶员50的单眼501照射的图像，并且经由照射透镜402照射生成的图像。作为光束生成装置401可以使用液晶面板、使用了微镜 (micromirror)的数字微镜设备(DMD)面板、发光二极管(LED)光源投影仪等。
照射范围控制部403控制由光束生成装置401生成的图像的照射范围。优选将照射的图像宽度控制在6cm左右。成人的两眼间隔大约是6cm左右。通过将照射的图像宽度控制在6cm左右，从而可以有效地防止向双眼照射图像。作为照射范围控制部403可以使用透镜状光屏(lenticularscreen)或控制了扩散角度的扩散板等。
照射范围控制部404包括可以向水平方向和垂直方向转动的载台(stage)以及设置在该载台上的反射镜。照射范围控制部404利用载台的转动来控制反射镜的角度，控制由光束生成装置401生成的图像的照射位置。
驱动部406是用于驱动照射范围控制部404包括的载台的电机。驱动部406根据来自驱动控制部204的控制信号驱动电机，使照射范围控制部404的载台进行转动动作。
图6是表示照射范围控制部404的反射镜的角度与图像的照射位置的关系图。如图6所示，反射镜的角度与图像的照射位置是一对一的对应关系。驱动控制部204根据该对应关系，计算为了向驾驶员50的单眼501照射图像所需要的反射镜的角度，并向驱动部406输入控制信号。
图像扩大部405扩大来自照射范围控制部404的图像的照射尺寸。反射部件(合成器(コンバイナ))407反射由图像扩大部405扩大的图像。通过反射部件407反射的图像被向驾驶员50的单眼501照射。反射部件407由于是贴在车辆的挡风玻璃408上的半透明部件，因此驾驶员50可以透过反射部件407视觉确认前方的风景。另外，照射图像的单眼501可以是驾驶员50的左眼也可以是右眼。
另外，例如通过将虚像距离设置得较远，从而将由于挡风玻璃的正反面的反射形成的重影降低到没有影响的程度，则也可以省略上述反射部件407。
图7是在该第一实施方式中驾驶员50看到的风景与图像的重叠图。驾驶员50看到照射到单眼501的防撞杆601、602与实际的风景重叠。除了驾驶员50以外的乘客或车外的人看不见防撞杆601、602。因此，驾驶员50可以知道正在驾驶的车辆的车体宽间隔，而乘客或车外的人不知道。
(图像生成动作)
以下就图像照射***1进行的图像生成动作进行说明。
图8是说明图像照射***1的图像生成动作的流程图。
首先，摄像机101、102分别拍摄驾驶员50的面部和头部(步骤S11)，并向位置计算部202、205输入拍摄到的图像。
然后，位置计算部202根据从摄像机101输入的拍摄图像，检测驾驶员50的单眼501。然后，位置计算部202根据检测出的单眼501在图像上的像素位置来计算单眼501在YZ面的位置。
然后，位置计算部205根据从摄像机102输入的拍摄图像，检测驾驶员50的头部的中心位置502。然后，位置检测部205根据检测出的头部的中心位置502在图像上的像素来位置计算单眼501在XY面的位置。
然后，位置计算部206根据由位置计算部202计算出的单眼501在YZ面的位置和由位置计算部205计算出的单眼501在XY面的位置，计算单眼501在XYZ空间的位置并向图像信号生成部201输入(步骤S12)。
然后，图像信号生成部201对于防撞杆，根据由位置计算部206计算出的单眼501的位置与在存储装置30中存储的虚拟设置在车辆上的防撞杆的位置信息之间的对应关系，生成在单眼501的位置看到的防撞杆的图像信号(步骤S13)。然后，图像信号生成部201向变形校正部207输入生成的图像信号。
然后，变形校正部207生成对由于投影位置控制部404的反射镜的转动而产生的变形进行了校正的图像信号(步骤S14)。然后，位置计算部207向投影装置40输入校正后的图像信号。投影装置40根据从变形校正部207输入的图像信号生成图像并向单眼501照射(步骤S15)。
(照射图像的模仿动作)
以下就通过图像照射***1照射的图像的模仿动作进行说明。图9是说明图像照射***1的模仿动作的流程图。
首先，摄像机101拍摄驾驶员50的面部(步骤S21)，并向位置计算部202输入拍摄到的图像。
然后，位置计算部202针对从摄像机101输入的每个摄像而检测驾驶员50的单眼501。然后，位置计算部202根据检测到的单眼501在图像上的像素位置计算在YZ面的位置(步骤S22)。
然后，照射位置确定部203根据由位置计算部202计算出的单眼501在YZ面的位置确定照射图像的照射位置(步骤S23)。
然后，驱动控制部204向驱动部406输出控制信号，以使向由照射位置确定部203确定的照射位置照射图像(步骤S24)。
如上所述，第一实施方式涉及的图像照射***1由于向驾驶员50的单眼501照射防撞杆的图像，因此驾驶员50可以知道正在驾驶的车辆的车体宽间隔，而乘客或车外的人不知道。
另外，由于只向单眼501照射图像，因此不产生双眼视差。因此，只通过改变防撞杆601、602的大小就能有远近感，且可以知道与设置了实物的防撞杆时大致相同的车体宽间隔。
另外，由于校正了由于投影位置控制部404的反射镜的转动而产生的变形，因此可以有效地降低用单眼501看到的防撞杆的变形。
第二实施方式
图10是第二实施方式涉及的图像照射***2的***结构图。图11是在该第二实施方式中驾驶员50看到的风景和图像的重叠图。在该第二实施方式中，向单眼501照射将设置位置不同的几个防撞杆向虚拟屏上投影而得的图像。以下就具体结构进行说明，与在图1中说明过的构成元件相同的元件使用相同的符号并省略重复说明。
存储装置30A除了第一实施方式的存储装置30存储的信息以外，还存储离车辆最前部5m远虚拟设置的防撞杆的位置信息和离车辆最前部10m远虚拟设置的防撞杆的位置信息。
中央运算处理部20A的图像信号生成部201A生成通过向虚拟屏投影设置在车辆最前部的防撞杆、离车辆最前部5m远设置的防撞杆以及离车辆最前部10m远设置的防撞杆而得的图像信号，并向变形校正部207输入。并且，图像信号的生成方法与图4中说明的方法相同。
其结果如图11所示，驾驶员50看到设置位置彼此不同的多个防撞杆601至606。防撞杆601和602表示车辆前端部的车体宽。防撞杆603和604表示从车辆位置起向前5m的车体宽。防撞杆605和606表示从车辆位置起向前10m的车体宽。因此，驾驶员50可以知道向前5m、10m的车辆的车体宽。
另外，如果总是照射投影了多个防撞杆601至606的图像，则驾驶员50可能会感到繁琐。因此，在该第二实施方式涉及的图像照射***2中，构成为可以只生成所选的防撞杆的图像信号。
选择操作部70是驾驶员50选择操作防撞杆的操作按钮。驾驶员50通过操作选择操作部70，从而可以从防撞杆601和602、防撞杆603和604、防撞杆605和606的各组合中选择生成哪个防撞杆组合的图像信号。
每当驾驶员50按下选择操作部70，则向单眼501照射的图像就更换到只是防撞杆601和602的图像、只是防撞杆603和604的图像、只是防撞杆605和606的图像以及从防撞杆601至606的图像。
选择接受部208指示图像信号生成部201A生成由选择操作部70选择的防撞杆组合的图像信号。
如上所述，第二实施方式涉及的图像照射***2由于向单眼501照射对驾驶员50的单眼501的设置位置彼此不同的多个防撞杆的图像，因此驾驶员50可以知道前方5m、前方10m的车体宽。其结果，在与相反方向的车辆错车或宽度变窄的地点等可以事先知道所驾驶的车辆是否可以通行。
另外，通过操作选择操作部70，从而可以在需要时照射所需要的防撞杆组合的图像，因此可以降低始终显示全部防撞杆601至606引起的繁琐。其他效果与第一实施方式相同。
第三实施方式
图12是本发明的第三实施方式涉及的图像照射***3的***结构图。图13是表示摄影装置10A包括的摄像机103(第一摄像机)和104(第二摄像机)的设置位置图。该第三实施方式涉及的图像照射***3包括摄像装置10A、中央运算处理部20B、存储装置30B、照射装置40以及操作装置80。
以下就各结构进行说明。
(摄像装置10A)
摄像装置10A包括摄像机101至104。摄像机101设置在驾驶员50的大致正面，按规定的时间间隔拍摄驾驶员60的面部。摄像机102设置在驾驶员60的大致正上方，按规定的时间间隔拍摄驾驶员60的头部。这些摄像机都具有与第一实施方式相同的结构和功能。
图13是表示摄像机103和104的设置位置的一个示例图。图13中的点划线表示摄像机103和104的摄像范围。摄像机103设置在设置有右门镜的A点，用于拍摄车辆的右后方。此外，摄像机104设置在设置有左门镜的B点，用于拍摄车辆的左后方。另外，A点和B点是摄像机103和104的设置位置的一个示例，只要是可以拍摄车辆的左右后方的位置，也可以设置在其他地点。
各摄像机101至104向中央运算处理部20B输入拍摄到的图像。另外，由摄像机101、102构成第一摄像部，由摄像机103和104构成第二摄像部。另外，该第三实施方式中的第二摄像部是应向驾驶员照射的图像信息，因此属于图像信息生成单元。
(中央运算处理部20B)
中央运算处理部20B包括位置计算部202、照射位置确定部203、驱动控制部204、位置计算部205、位置计算部206、图像截取部210、显示位置调整部201B、变形校正部207以及操作接受部209。
位置计算部202、照射位置确定部203、驱动控制部204、位置计算部205、位置计算部206以及变形校正部207的功能和动作与第一实施方式基本相同。
如在第一实施方式中所述，位置计算部206计算单眼501在XYZ空间的位置并向图像截取部210输入。
图像截取部210截取由摄像机103和104拍摄到的图像的至少一部分并输入显示位置调整部201B。
图14和图15是图像截取部210的图像截取方法的说明图。首先，对截取由摄像机103拍摄到的图像进行说明。
首先，如图14所示，假想包括虚拟设置在车辆右侧的后视镜M1的***线(框)的平面S1。然后，从由位置计算部206计算出的单眼501的位置向平面S1引出一条垂线L1，假想位于垂线L1的延长线上的单眼501相对平面S1的对称点P1。然后，将与由摄像机103拍摄到的图像对应的虚拟平面V1假想在任意位置。
然后，如图15所示，假想连接从对称点P1到后视镜M1的***线(框)的四个角的直线L2至L5。这样，将该直线L2至L5与虚拟平面V1的之间交点P2至P5作为四个角的区域C1作为截取区域。在此，区域C1与虚拟平面V1的大小比例和相对位置关系与距P1的距离无关，始终是固定的。因此，可以通过对称点P1的位置与后视镜M1的四个角的位置关系来推导截取范围即区域C1的四个角的位置。
而且，鉴于在车辆驾驶期间单眼501的位置不发生较大的变化，用对称点P1的位置与后视镜M1的四个角的位置的一次式来规定区域C1的四个角的位置。另外，也同样用一次式来规定由摄像机104拍摄到的图像的 截取范围。进行如此规定的一次式被作为用于确定由摄像机103和104拍摄到的图像的截取范围的信息而事先存储于后述的存储装置30B。
显示位置调整部201B对从图像截取部210输入的图像的显示位置进行调整。图16是表示通过显示位置调整部201B生成的整体图像701的图。图像701是从由摄像机103拍摄到的图像中截取的图像。图像703是从由摄像机104拍摄到的图像中截取的图像。
如图16所示，显示位置调整部201B将从图像截取部210输入的图像701、703配置在整体图像710的规定位置。由此，调整图像701、703的显示位置。然后，在该图像701、703上，合成存储在后述的存储装置30B中的后视镜图像702、704并生成整体图像710，向变形校正部207输入。另外，上述规定位置是任意的位置。
变形校正部207如第一实施方式所说明的那样，根据从存储装置30读出的变形校正信息，校正从显示位置调整部201B输入的图像，将校正后的图像作为图像信号向光束生成装置401输入。
操作接受部209(第一和第二操作接受部)接受截取位置操作部801和显示位置操作部802的操作。
(存储装置30B)
在存储装置30B中存储有用于确定图14、图15中说明的由摄像机103和104拍摄到的图像的截取范围的信息、图16中说明的后视镜图像702和704的信息以及在第一实施方式中说明的变形校正信息。
(照射装置40)
照射装置40的结构与第一实施方式的基本相同。
图17是在该第三实施方式中驾驶员50看到的风景和图像的重叠图。驾驶员50看到的是照射在单眼501上的图像701、703以及后视镜图像702、704与实际的风景的重叠图。
另外，后视镜图像702、704是为了防止将图像701、703直接重叠在风景上时可视性变差的图像。即，是为了让驾驶员50看见图像701、703与实际风景交界的图像，但并不是必须的。
另外，为了防止不使用后视镜图像702、704就直接将图像701、703与风景重叠时可视性变差，也可以在挡风玻璃408上贴上半透明或遮光性薄膜等。
(操作装置80)
操作装置80具有截取位置操作部801和显示位置操作部802。截取位置操作部801是调整由图像截取部206截取的图像的截取位置的操作部。图像截取部208根据由操作接受部209接受的操作，变更图像的截取位置。图18是截取位置操作部801对图像的截取位置进行调整的说明图。
如图18所示，图像截取部208将从由摄像机103拍摄到的图像901中截取到的图像902的中心P11与通过截取位置操作部801进行了调整的截取图像903的中心位置P12之差作为偏移值并保存。
图像截取部208使从由摄像机103拍摄到的图像901中截取到的图像902的中心位置移动相当于事先保存的偏移而得的图像903向显示位置调整部201B输入。另外，对从由摄像机104拍摄到的图像截取的图像也进行相同的调整。
显示位置操作部802调整图16所示的图像701、703的显示位置。图像截取部208根据由操作接受部209接受的操作，变更图像701、703的显示位置。
显示位置调整部201B与图像截取部210的情况相同，将通过初始设置等设定的图像701、703的显示位置与调整后的图像701、703的显示位置之差作为偏移值并保存。
然后，图像位置调整部201B使图像701、703的显示位置移动相当于事先保存的偏移后，使后视镜图像702、704与该图像701、703的显示位置合成后输入变形校正部207。另外，通过显示位置操作部802可单独 调整图像701和后视镜图像702的显示位置、或图像703和后视镜图像704的显示位置。
(图像生成动作)
以下就图像照射***3的图像生成动作进行说明。图19是说明图像照射***3的图像生成动作的流程图。
首先，摄像机101、102分别拍摄驾驶员50的面部和头部(步骤S11)，并将拍摄到的图像分别输入位置计算部202、205。摄像机103、104分别拍摄车辆右后方和左后方(步骤S11A)，并将拍摄到的图像分别输入图像截取部208。
然后，位置计算部202根据从摄像机101输入的拍摄图像检测驾驶员50的单眼501。然后，位置计算部202根据检测到的单眼501在图像上的像素位置，计算单眼501在YZ面上的位置。
然后，位置计算部205根据从摄像机102输入的摄影图像检测驾驶员50的头部的中心位置502。然后，位置计算部205根据检测到的头部的中心位置502在图像上的像素位置，计算单眼501在XY面上的位置。
然后，位置计算部206根据由位置计算部202计算出的单眼501在YZ面上的位置和由位置计算部205计算出的单眼501在XY面上的位置，计算单眼501在XYZ空间的位置，并向图像截取部208输入(步骤S12)。
然后，图像截取部210根据由位置计算部206计算出的单眼501的位置和在存储装置30B中存储的信息，截取由摄像机103、104拍摄到的至少一部分图像(步骤S13A)。然后，图像截取部210向显示位置调整部201B输入截取到的图像。
然后，显示位置调整部201B对从图像截取部210输入的图像的显示位置进行调整后(步骤S13B)，将后视镜图像与该图像合成并生成整体图像，向变形校正部207输入。
然后，变形校正部207对因照射位置控制部404的反射镜的转动而产生的变形进行校正(步骤S14)，向照射装置40输入校正后的图像信号。 照射装置40根据从变形校正部207输入的图像信号生成图像，向单眼501照射(步骤S15)。
(照射图像的模仿动作)
通过图像照射***3照射的图像的模仿动作基本上与第一实施方式中的图9相同。
如上所述，第三实施方式涉及的图像照射***3向驾驶员50的单眼501照射由摄像机103、104拍摄到的车辆后方的图像。因此，驾驶员50不用较大地移动视点就可以确认车辆的后方。另外，由于无需将后视镜设置在车外，因此车辆的设计性和空气动力性有所改进。
而且，由于只向单眼501照射图像，因此不产生两只眼睛的视差，与通常的后视镜有相同的远近感。因此可以有效地抑制在左右转弯或并线时，由于误认距离而引起的事故。
而且，由于具有截取位置操作部801和显示位置操作部802，因此可根据驾驶员50的偏好更改图像701、703的截取位置和显示位置，非常方便。
而且，由于对因照射位置控制部404具有的反射镜的转动而产生的变形进行了校正，因此可以有效地降低由单眼501看到的图像701、703和后视镜图像702、704的变形。
此外，由于摄像机103、104拍摄的图像的截取位置根据单眼501的位置而变化，因此可以与通常的后视镜同样的感觉进行使用。
第四实施方式
图20是第四实施方式涉及的图像照射***4的结构图。图21是表示摄像装置10B包括的摄像机103至105的设置位置的图。图21中的点划线表示摄像机103至105的摄像范围。图22是表示通过显示位置调整部201C生成的整体图像711的图。图23是在该第四实施方式中驾驶员50看见的风景和图像的重叠图。
在该第四实施方式中，在第二摄像部内还包括用于拍摄车辆后方的摄像机105，向单眼501照射由摄像机105拍摄到的车辆后方的图像。此外，可以从由摄像机103至105拍摄到的图像中选择实际向单眼501照射的图像。以下就具体的结构进行说明。另外，与用图12说明的构成部件相同的构成部件使用相同的符号，省略重复说明。
如图21所示，摄像机105(第三摄像机)设置于车辆后部的C点，用于拍摄车辆后方。图21中的点划线表示各个摄像机103至105的摄像范围。另外，C点是摄像机105的设置位置的一个示例，只要是可以拍摄车辆后方的位置即可，也可以是其他部位。
在存储装置30C中除了第三实施方式涉及的存储装置30B存储的信息之外，还存储有用于确定由摄像机105拍摄到的图像的截取范围的信息。
图像截取部210A根据由位置计算部205计算出的单眼601的位置和存储装置30A中存储的信息，截取由摄像机103至105拍摄到的至少一部分图像。并且，图像截取部210A还向显示位置调整部201C输入截取到的图像。此外，由摄像机105拍摄到的图像的截取方法与利用图14说明的方法相同。
如图22所示，显示位置调整部201C在对从图像截取部210A输入的图像701、703、705的显示位置进行了调整后，将后视镜图像702、704、706与该图像701、703、705合成后生成整体图像711。然后，将该整体图像711输入变形校正部207。此外，显示位置的调整与利用图16说明的方法相同。
其结果是，如图23所示，驾驶员50可以视觉确认照射在单眼501上的图像701、703、705以及后视镜图像702、704、706与实际的风景的重叠。
选择操作部803选择摄像机103至105。车辆的驾驶员进行选择操作部803的操作。操作接受部209A接受在选择操作部803中进行的选择操 作。图像截取部208A只对操作接受部209A接受的摄像机所拍摄的图像进行图像的截取，将截取到的图像向显示位置调整部201C输入。
因此，每当驾驶员50操作该选择操作部803时，向单眼501照射的图像被切换到后视镜图像702、704分别与图像701、703合成的图像、后视镜图像706分别与图像705合成的图像、或者后视镜图像702、704、706分别与图像701、703、705合成的图像。
如上所述，第四实施方式涉及的图像照射***42具有拍摄车辆后方的摄像机105，向单眼501照射车辆后方的图像705。因此，不用较大地移动视点就可以确认车辆后方。而且，由于具有选择图像701、703、705的选择操作部803，因此可以在必要时确认车辆的后方或后方。其他效果与第三实施方式相同。
第五实施方式
图24是本发明的第五实施方式涉及的图像照射***5的结构图。该图像照射***5包括前方监视装置81、车辆位置检测装置82、前进方向检测装置83、摄像装置10、中央运算处理部20D、存储装置30D以及照射装置40。
以下就各结构进行详细说明。
前方监视装置81监视车辆的前方。作为前方监视装置81可以使用立体摄像机(可见光用、远红外线用)、毫米波雷达以及激光雷达的任意一种或这些的组合。另外，立体摄像机、毫米波雷达以及激光雷达用于发挥测量与物体之间的距离的测量部的作用。
在此，优选使构成立体摄像机的摄像装置的一方与从驾驶员50的单眼501起的标准视线方向一致。利用来自该摄像装置的图像，在图像信号生成部201生成图像，从而可以生成在驾驶员50看来更加没有不协调感的图像。
立体摄像机可以由拍摄车辆的前方的一对摄像装置构成。通过使用一对摄像装置，从而可以计算因摄像装置间的视差产生的到对象物(例如障碍物、车辆、路上的白线)的距离(三角测量的一种)。
立体摄像机可以使用可见光用或远红外线用的任何一种。如果使用可见光立体摄像机，则可以判断在雾中的能视觉确认的距离(可视距离(有視界距离))。例如可以根据可用立体摄像机检测的障碍物、路上的白线的距离判断可视距离。如果立体摄像机使用远红外线，则可以通过体温检测到人、动物等。
毫米波雷达例如通过发出76GHz频率的电波(毫米波)，接收对象物(例如障碍物、车辆、路上的白线)反射回来的电波，从而可以监视对象物及其距离。即使在雾中等可视距离短的情况下也可以监视前方的物体。
激光雷达通过发射激光，接收对象物(例如障碍物、车辆、路上的白线)反射回来的激光，从而可以监视对象物及其距离。即使在雾中等可视距离短的情况下也可以监视前方的对象物。另外，如果沿着路边设置了停车标杆(車止めポ一ル)，则可利用激光雷达测量与路边的距离。
车辆位置检测装置82检测车辆的位置，发挥检测车辆位置的位置检测部的功能。作为车辆位置检测装置82例如可以使用GPS(GlobalPositioning System，全球定位***)。也就是说，接收来自三个以上GPS卫星的电波，将发送到接收的时间差乘以电波的传播速度，从而可以检测与各卫星的距离进而检测车辆的位置。另外，通过利用RTK(Real TimeKinematic，载波相位动态实时差分)等在车辆以外的参考点接收到的电波，可以确保0.01m～0.05m左右的位置精确度。
作为车辆位置检测装置82除了GPS，还可以使用磁标记传感器、电波标记传感器。也就是说，沿着行车线将磁标记、电波标记按照一定间隔埋在路面内，利用磁标记传感器(磁传感器)、电波标记传感器(电波传感器)检测其存在。通过这样检测车辆与行车线的相对位置，且可以进一步高精度地检测车辆位置。
前进方向检测装置83用于检测车辆的前进方向，其发挥方向检测部的功能。该检测可以利用车辆位置检测装置82中的检测结果。也就是说，车辆位置检测装置82连续检测车辆的位置，计算这些位置的差，从而可以检测车辆的移动方向和移动速度。
另外，前进方向检测装置83也可以由转向传感器形成。也就是说，通过转向传感器获取方向盘的角度(转向角(操舵角))。如果知道前进方向的初始值，则累加上获取的转向角，从而可以计算出目前的前进方向。另外，也可以通过速度传感器获取车辆的移动速度。
摄像装置10与第一实施方式说明的基本相同。
中央运算处理部20D包括地图信息提取部211、对象检测部212、可视距离确定部213、行驶线路预测部214、危险判断部215、图像信号生成部201、位置计算部206A、照射位置确定部203以及驱动控制部204。另外，在图24中省略了变形校正部207的图示，也可以添加变形校正部207如上所述地进行图像的变形校正。
地图信息提取部211根据车辆位置检测装置82和前进方向检测装置83中的检测结果(车辆位置信息、前进方向信息)，从存储装置30D中提取地图信息。如后所述，在存储装置30D中除了道路、建筑物以外，还存储有包括道路上的标识(距离显示板等)、白线、中间线、路边线、护栏、水平线等三维地图信息。为了与该车辆的位置和前进方向对应，地图信息提取部211提取该地图信息的一部分。这是为了生成从驾驶员50方向看到的车辆前进方向的图像。
对象检测部212例如通过立体摄像机(可见光用、远红外线用)、毫米波雷达、激光雷达等前方监视装置210检测对象物(车辆/障碍物、人/动物、白线)。对象检测部212通过比较从立体摄像机等输出的图像、和在存储装置30D中存储的标准图像，从而检测并分类与对象物对应的图像。如下所述地具体检测各种对象物(车辆/障碍物、人/动物、白线)。
另外，对象检测部212根据通过立体摄像机、毫米波雷达、激光雷达等计算出的与物体的距离的时间变化来检测物体的移动。也就是说，对象检测部212也发挥移动检测部的功能。
(1)车辆
通过使用立体摄像机(可见光用、远红外线用)可以测量前方对象物的大小和距离。如果判断前方的对象物在白线内且是车辆的大小，则判断为车辆。另外，根据通过毫米波雷达和激光雷达中任一个获得的与对象物的距离和相对速度等，将存在于自己车辆前方且是车辆大小的对象物检测为车辆。
(2)障碍物
与(1)同样地根据通过立体摄像机、毫米波雷达、激光雷达的任意一个获得的与对象物的距离和相对速度等来检测障碍物。在具有大于等于规定尺寸(例如几cm)的大小且存在于前进方向检测装置83检测的车辆的前进方向时，也可以作为障碍物。另外，可以根据是否移动来辨别障碍物和车辆。对象物的大小即使与车辆符合，但如果不移动则为障碍物。
(3)人、动物
如果使用远红外线或近红外线的立体摄像机(也可以是单个的摄像元件)，则可获取人、动物体温等相对周边温度有所不同的图像。将该图像与人或动物的特征形状进行图案匹配(pattern matching)，由此检测是人还是动物。该特征形状作为一种标准图像的存储在存储装置30D中。
(4)白线
根据立体摄像机(可见光用、远红外线用)、激光雷达的检测结果，用图像识别检测设置在路上的直线或虚线组，将向着地平线方向具有消失点变化的对象物作为白线。即使实际上不存在消失点而消失点存在于线的延长线上即可。
可视距离确定部213根据通过对象检测部212分类成白线的图像及其距离确定可视距离。也就是说，求出检测到的白线与距离的对应关系，将检测到白线的距离的限度作为可视距离。
另外，不局限于白线，也可以利用立体摄像机获得的距前方障碍物的距离确定可视距离。具体而言，利用立体摄像机测量到多个地点(测量点)的距离，将测量到的距离的最大值确定作为可视距离。在此，为了确保可视距离的测量范围和精度，优选测量到的距离包括一定程度地从近到远且分布成一定的密度。例如可以从立体摄像机的摄像范围内任选足够数量的测量点。
行驶线路预测部214根据由前进方向检测装置83检测到的车辆的前进方向预测在地图上的车辆的行驶线路(预测的行驶轨迹)。
危险判断部215根据对象检测部212的检测结果，如下所述地判断是否有危险(是否要提醒注意)及其种类。
(1)对象物
如果判断通过行驶线路预测部214预测的行驶线路上及其附近配置有或移动来对象物(人、动物以及障碍物)时，判断为有危险。可以根据行驶线路与对象物的位置关系判断是否有危险。另外，根据与对象物的距离判断危险程度。
(2)车辆
车辆配置与由行驶线路预测部214预测的行驶线路上及其附近且与该车辆的距离接近时判断为有危险。可以根据接近车辆的速度判断危险程度。
图像信号生成部201生成向驾驶员50提示的图像。该图像基于以下信息。
(1)地图信息
根据通过地图信息提取部211提取到的地图信息生成图像。该图像包括可以强调距离感的空间认识信息(距离看牌显示、水平线、护栏、路边线、中心线)。
这些空间认识信息不仅通过三维图像真实地叠加显示，有时也歪曲地(デフオルメ)只强调显示特征。
(2)检测结果
生成通过对象检测部212检测、分类的对象物(车辆/障碍物、人/动物、白线)的图像。另外，也可以根据需要显示与对象物的距离。
如上所述，优选使构成立体摄像机的摄像装置的一方与从驾驶员50的单眼501起的标准视线方向一致，利用来自该摄像装置的图像生成对应于检测结果的图像。可以生成在驾驶员50看来更没有不协调感的图像。此外，也可以利用位置计算部206A计算出的驾驶员50的单眼501的位置(视点)，调节显示与对象物对应的图像的位置。
由于下雾等前方能见度差(可视距离短)的情况下，前方监视装置210的监视不够，有可能限制由对象检测部212检测的对象物。在这种情况下，优选也结合基于地图信息的图像来生成由对象检测部212检测的对象物的图像。
(3)危险信息
根据危险判断部215的判断结果显示危险信息。
(4)行驶线路
生成与由行驶线路预测部214预测的行驶线路对应的图像。
图25是表示由图像信息生成部201生成的图像的一个示例。根据地图信息显示表示水平线、护栏、路边线、中心线的背景图像。在该背景图像上重叠显示检测到的车辆图像G1、人的图像G2以及预测行驶线路LO。另外，显示车辆的行驶速度M1和与所检测的车辆的距离M2。
在此，图像信号生成部201可以根据由可视距离确定部213确定的可视距离，控制通过图像信号生成部201有无生成图像信号以及生成的图像范围。
如果可视距离足够大(例如大于规定的标准值的情况下)，则驾驶员50的视觉确认充分，不需要通过图像信号生成部201生成图像或基于照射装置40的照射。
另一方面，如果因下雾、暴风雪等恶劣天气可视距离变小(例如小于规定的标准值的情况下)时，驾驶员50的视觉确认不充分，需要通过图像信号生成部201生成图像或基于照射装置40的照射。在这种情况下，有可能确保一定程度的可视距离(可视觉确认近距离的情况)。此时，一旦用照射装置40照射可以视觉确认的对象物(可视距离的对象物)的图像，则与实际目视的对象物重叠，反而可能目视更困难。在这种情况下，优选用图像信号生成部201生成比可视距离远的对象物的图像，并用照射装置40进行照射。
位置计算部206A针对从摄像机101、102输入的每个摄像来计算驾驶员80的单眼801的三维位置。位置计算部206A根据摄像机101上的图像，计算单眼501在与车辆的前进方向垂直的平面(以下称为YZ面)上的位置。位置计算部206A根据摄像机102上的图像计算头部的中心502在XY面上的位置。位置计算部206A根据在这些YZ面、XY面上的位置计算单眼501的三维位置。也就是说，位置计算部206A兼备第一实施方式的位置计算部202、205和206的各种功能。
计算单眼501在YZ面上的位置的方法与根据图2说明的一样。另外，头部的中心502在YX面上的位置计算方法与根据图3说明的一样。
照射位置确定部203根据由位置计算部206计算出的单眼501的位置来确定照射图像的位置。
驱动控制部204向驱动部406输出控制信号，以便向由照射位置确定部203确定的照射位置照射图像。
在存储装置30D存储有地图信息和标准图像。作为存储装置30D可以使用半导体存储器、磁盘、光盘等。在地图信息中包括空间认识信息(距离看牌显示、水平线、护栏、路边线、中心线)的三维信息。标准图像例如是车辆的标准图像，用于通过对象检测部212检测对象物。存储装置30D发挥用于存储地图信息的存储部的功能。
照射装置40的内部结构和功能与第一实施方式的基本相同。
如上所述，向驾驶员50的单眼501投影重叠了背景图像和前方的车辆/障碍物、人/动物等的图像。在驾驶员50看来，被投影的图像与实际背景一样，看起来隔着挡风玻璃408显示，无需移动视线。在因恶劣天气等可视距离短的情况下这样的投影显示也是有效的。在可视距离短的情况下，如果用例如液晶显示装置显示车辆周围的状态，则必须移动视线，有可能破坏驾驶的安全性。
另外，向单眼501投影图像具有以下的优点。
(1)如果前方视野不好，比通常更强调进深感。即使背景为白色而得不到距离感的状态下，也可以有距离感地看见路边、中间的白线或前方车辆。如果向两只眼睛投影，在一定距离可以看见重叠显示的虚像，因此视觉确认性低，驾驶员容易疲劳。不能认识图像内的进深而看成是一张画。这是因为用两只眼睛看的时候，由于没有背景，所以过多地强调了两只眼睛的视差引起的虚像的距离感。
(2)通过在这些图像上使用三维显示，从而可以具有进深感。使具有前方车辆、人、动物的进深空隙的3D显示和距离信息重叠，可以强调进深方向的距离感。
(3)近距离的实际背景可以目视的情况居多，如果是单眼则可以减少干扰。
(图像照射***5的动作)
以下就图像照射***5的动作进行说明。
图26是表示图像照射***5的图像生成动作的步骤的流程图。
通过车辆位置检测装置82和前进方向检测装置83检测车辆的位置和前进方向(步骤S31)。
通过前方监视装置210和对象检测部212进行前方对象物的检测、分类(步骤S32)。
另外，利用对象检测部212检测到的白线，计算可视距离(步骤S33)。
根据来自前方监视装置210的信息，在危险判断部215进行危险判断，如果判断为危险则生成危险信息。
根据检测结果/危险预测信息生成图像(步骤S34)。也就是说，根据车辆的位置和前进方向提取地图信息，生成背景图像。另外，生成由对象检测部212检测到的对象物的图像(对象物图像)。在生成这些背景图像和对象物图像时，利用可视距离限制生成可视距离内的背景图像和对象物图像。
向单眼501照射生成的图像(步骤S35)。也就是说，利用位置计算部206A计算单眼501的位置，并向该位置照射图像。
在此，连续地进行生成图像、计算单眼501的位置以及照射图像，生成从单眼501的位置看到的正确的图像，并向单眼501照射。
(其他实施方式)
本发明的实施方式不局限于上述实施方式，可以进行扩展、更改，扩展、更改后的实施方式也属于本发明的技术范围内。
产业上的可利用性
本发明可以适用于在道路上行驶的所有车辆。
符号说明
1、2、3、4、5图像照射***
10、10A、10B摄像装置
20、20A、20B、20C、20D中央运算处理部
30、30A、30B、30C、30D存储装置
40照射装置                   50驾驶员
70选择操作部                 80、80A操作装置
81前方监视装置               82车辆位置检测装置
83前进方向检测装置           101、102、103、104、105摄像机
201、201A图像信号生成部      201B、201C显示位置调整部
202位置计算部                203照射位置确定部
204驱动控制部                205位置计算部
206位置计算部                206A位置计算部
207梯形变形校正部            208选择接受部
209操作接受部                210、210A图像截取部
211地图信息提取部            212对象检测部
213可视距离确定部            214行驶线路预测部
215危险判断部                401光束生成部
402照射透镜                  403照射范围控制部
404照射位置控制部            405图像扩大部
406驱动部                    407反射部件
408前封挡玻璃                601～606防撞杆
702、704后视镜图像
权利要求书(按照条约第19条的修改)
1.一种图像照射***，其特征在于，包括：
第一摄像部，用于拍摄车辆的驾驶员；
位置计算部，用于根据由所述第一摄像部拍摄到的图像计算所述驾驶员的单眼位置；
图像信息生成单元，用于生成所述车辆的室外图像信息；以及
照射部，用于向由所述位置计算部计算出的单眼位置照射所述室外图像信息。
2.根据权利要求1所述的图像照射***，其特征在于，
所述图像信息生成单元包括：
存储部，用于存储在所述车辆上虚拟设置的防撞杆的位置信息；以及
图像生成部，用于根据由所述位置计算部计算出的单眼位置和存储在所述存储部中的防撞杆的位置信息之间的对应关系，生成防撞杆在所述单眼位置的投影图像。
3.根据权利要求2所述的图像照射***，其特征在于，
所述图像生成部生成向在虚拟设置的所述防撞杆和所述单眼位置之间设置的虚拟屏投影以会聚在所述单眼位置的所述防撞杆的投影图像。
4.根据权利要求2或3所述的图像照射***，其特征在于，
在所述存储部中存储有设置位置不同的多个防撞杆的位置信息，
所述图像生成部根据由所述位置计算部计算出的单眼位置和存储在所述存储部中的多个防撞杆的位置信息之间的对应关系，生成多个防撞杆在所述单眼位置的投影图像。
5.根据权利要求4所述的图像照射***，其特征在于，
所述图像照射***包括：选择接受部，用于接受从所述多个防撞杆中选择了哪个防撞杆，
所述图像生成部生成由所述选择接受部接受选择的防撞杆的图像。
6.一种图像照射方法，其特征在于，包括：
拍摄车辆的驾驶员的步骤；
根据所述拍摄所得的图像计算所述驾驶员的单眼位置的步骤；
根据在所述车辆上虚拟设置的防撞杆的位置信息和计算出的所述单眼位置之间的对应关系，生成防撞杆在所述单眼位置的图像的步骤；以及
向计算出的所述单眼位置照射生成的所述图像的步骤。
7.根据权利要求1所述的图像照射***，其特征在于，
所述图像信息生成单元包括：
第二摄像部，用于拍摄所述车辆的后方；以及
图像截取部，用于截取通过所述第二摄像部拍摄到的至少一部分图像。
8.根据权利要求7所述的图像照射***，其特征在于，
所述图像截取部根据由所述位置计算部计算出的单眼位置更改由所述第二摄像部拍摄到的图像的截取位置。
9.(删除)
10.(删除)
11.(删除)
12.根据权利要求7所述的图像照射***，其特征在于，
所述图像照射***包括：显示位置调整部，用于调整通过所述图像截取部截取到的图像的显示位置，
所述照射部向由所述位置计算部计算出的单眼位置照射被所述显示位置调整部调整了显示位置的图像。
13.根据权利要求12所述的图像照射***，其特征在于，
所述图像照射***包括：第二操作接受部，用于接受由所述图像截取部截取到的图像的显示位置的调整操作，
所述显示位置调整部根据由所述第二操作接受部接受的操作，更改通过所述图像截取部截取的图像的显示位置。
14.一种图像照射方法，其特征在于，包括：
拍摄车辆的驾驶员的步骤；
拍摄所述车辆的后方的步骤；
根据拍摄到的所述驾驶员的图像计算所述驾驶员的单眼位置的步骤；
截取拍摄到的所述车辆的后方的至少一部分图像的步骤；以及
向计算出的所述单眼位置照射截取到的所述图像的步骤。
15.根据权利要求1所述的图像照射***，其特征在于，
所述图像信息生成单元包括：
存储部，用于存储地图信息；
方向检测部，用于检测所述车辆的前进方向；以及
图像生成部，用于根据所述地图信息、所述位置计算部和所述方向检测部检测到的位置以及前进方向，生成所述车辆的前进方向的图像。
16.(删除)
17.(删除)
18.(删除)
19.(删除)
20.(删除)
21.(删除)
22.(删除)
23.(删除)
24.(删除)
25.一种图像照射方法，其特征在于，包括：
检测车辆的位置的步骤；
检测所述车辆的前进方向的步骤；
根据存储在存储部中的地图信息、检测到的所述位置和前进方向，生成所述车辆的前进方向的图像的步骤；以及
向所述车辆的驾驶员的单眼照射生成的所述图像的步骤。
26.根据权利要求1、2、7或15所述的图像照射***，其特征在于，
所述图像照射***包括：控制部，用于控制照射部的照射方向，以使向由所述位置计算部计算出的单眼位置照射从所述照射部照射的图像。
27.根据权利要求1、2、7或15所述的图像照射***，其特征在于，
由所述照射部进行的图像照射是经由所述车辆的挡风玻璃或贴在挡风玻璃上的反射部件进行的，
所述图像信息生成单元包括：校正单元，用于校正由于所述挡风玻璃的形状变形而导致的图像的变形。

Claims (27)

1.一种图像照射***，其特征在于，包括：
第一摄像部，用于拍摄车辆的驾驶员；
位置计算部，用于根据由所述第一摄像部拍摄到的图像计算所述驾驶员的单眼位置；
图像信息生成单元，用于生成所述车辆的室外图像信息；以及
照射部，用于向由所述位置计算部计算出的单眼位置照射所述室外图像信息。
2.根据权利要求1所述的图像照射***，其特征在于，
所述图像信息生成单元包括：
存储部，用于存储在所述车辆上虚拟设置的防撞杆的位置信息；以及
图像生成部，用于根据由所述位置计算部计算出的单眼位置和存储在所述存储部中的防撞杆的位置信息之间的对应关系，生成防撞杆在所述单眼位置的投影图像。
3.根据权利要求2所述的图像照射***，其特征在于，
所述图像生成部生成向在虚拟设置的所述防撞杆和所述单眼位置之间设置的虚拟屏投影以会聚在所述单眼位置的所述防撞杆的投影图像。
4.根据权利要求2或3所述的图像照射***，其特征在于，
在所述存储部中存储有设置位置不同的多个防撞杆的位置信息，
所述图像生成部根据由所述位置计算部计算出的单眼位置和存储在所述存储部中的多个防撞杆的位置信息之间的对应关系，生成多个防撞杆在所述单眼位置的投影图像。
5.根据权利要求4所述的图像照射***，其特征在于，
所述图像照射***包括：选择接受部，用于接受从所述多个防撞杆中选择了哪个防撞杆，
所述图像生成部生成由所述选择接受部接受选择的防撞杆的图像。
6.一种图像照射方法，其特征在于，包括：
拍摄车辆的驾驶员的步骤；
根据所述拍摄所得的图像计算所述驾驶员的单眼位置的步骤；
根据在所述车辆上虚拟设置的防撞杆的位置信息和计算出的所述单眼位置之间的对应关系，生成防撞杆在所述单眼位置的图像的步骤；以及
向计算出的所述单眼位置照射生成的所述图像的步骤。
7.根据权利要求1所述的图像照射***，其特征在于，
所述图像信息生成单元包括：
第二摄像部，用于拍摄所述车辆的后方；以及
图像截取部，用于截取通过所述第二摄像部拍摄到的至少一部分图像。
8.根据权利要求7所述的图像照射***，其特征在于，
所述图像截取部根据由所述位置计算部计算出的单眼位置更改由所述第二摄像部拍摄到的图像的截取位置。
9.根据权利要求7或8所述的图像照射***，其特征在于，
所述第二摄像部包括用于拍摄所述车辆的右后方的第一摄像机、和用于拍摄所述车辆的左后方的第二摄像机。
10.根据权利要求9所述的图像照射***，其特征在于，
所述第二摄像部还包括用于拍摄所述车辆的后方的第三摄像机。
11.根据权利要求10所述的图像照射***，其特征在于，
所述图像照射***包括：第一操作接受部，用于接受所述第一摄像机和所述第二摄像机、或者所述第三摄像机的选择操作，
所述图像截取部在从所述图像截取部输入的图像中截取由所述第一操作接受部接受的由摄像机拍摄到的至少一部分图像。
12.根据权利要求7所述的图像照射***，其特征在于，
所述图像照射***包括：显示位置调整部，用于调整通过所述图像截取部截取到的图像的显示位置，
所述照射部向由所述位置计算部计算出的单眼位置照射被所述显示位置调整部调整了显示位置的图像。
13.根据权利要求12所述的图像照射***，其特征在于，
所述图像照射***包括：第二操作接受部，用于接受由所述图像截取部截取到的图像的显示位置的调整操作，
所述显示位置调整部根据由所述第二操作接受部接受的操作，更改通过所述图像截取部截取的图像的显示位置。
14.一种图像照射方法，其特征在于，包括：
拍摄车辆的驾驶员的步骤；
拍摄所述车辆的后方的步骤；
根据拍摄到的所述驾驶员的图像计算所述驾驶员的单眼位置的步骤；
截取拍摄到的所述车辆的后方的至少一部分图像的步骤；以及向计算出的所述单眼位置照射截取到的所述图像的步骤。
15.根据权利要求1所述的图像照射***，其特征在于，
所述图像信息生成单元包括：
存储部，用于存储地图信息；
方向检测部，用于检测所述车辆的前进方向；以及
图像生成部，用于根据所述地图信息、所述位置计算部和所述方向检测部检测到的位置以及前进方向，生成所述车辆的前进方向的图像。
16.根据权利要求15所述的图像照射***，其特征在于，
所述图像照射***还包括：车辆/障碍物检测部，用于检测所述车辆的前方的车辆或障碍物，
所述图像生成部生成包括由所述车辆/障碍物检测部检测到的车辆或障碍物的图像。
17.根据权利要求16所述的图像照射***，其特征在于，
所述图像照射***还包括：
预测部，用于根据由所述方向检测部检测的所述前进方向，预测所述车辆的行驶路线；以及
判断部，用于根据由所述预测部预测的所述行驶路线、和所述车辆/障碍物检测部检测到的车辆或障碍物的位置，判断有无危险。
18.根据权利要求16或17所述的图像照射***，其特征在于，
所述车辆/障碍物检测部包括：
用于拍摄可见光或红外光的图像的摄像装置、或用于发送接收电磁波或激光的雷达；以及
用于根据所述摄像装置或所述雷达的图像来检测车辆或障碍物的检测部。
19.根据权利要求15所述的图像照射***，其特征在于，
所述图像照射***还包括：人/动物检测部，用于检测所述车辆的前方的人或动物，
所述图像生成部生成包括由所述人/动物检测部检测到的人或动物的图像。
20.根据权利要求19所述的图像照射***，其特征在于，
所述人/动物检测部包括：
摄像装置，用于拍摄红外光的图像；以及
检测部，用于根据来自所述摄像装置的图像检测人或动物。
21.根据权利要求15所述的图像照射***，其特征在于，
所述图像照射***还包括：测量部，用于测量距所述车辆的可视距离，
所述图像生成部生成超过由所述测量部测量的可视距离的范围的图像。
22.根据权利要求21所述的图像照射***，其特征在于，
所述测量部包括：
用于拍摄路面的一对摄像装置的组合；
检测部，用于根据所述一对摄像装置中的至少任一个的图像，检测所述路面上的白线；
计算部，用于根据所述一对摄像装置的图像，计算与由所述图像检测部检测到的白线的多个地点各自间的距离；以及
确定部，用于将所述多个地点的距离的最大值确定作为所述可视距离。
23.根据权利要求21所述的图像照射***，其特征在于，
所述测量部包括：
用于拍摄路面的一对摄像装置的组合；
选择部，用于根据所述一对摄像装置中的至少任一个图像，选择多个地点；
计算部，用于根据所述一对摄像装置的图像，计算与所述多个地点各自间的距离；以及
确定部，用于将所述多个地点的距离的最大值确定作为所述可视距离。
24.根据权利要求21所述的图像照射***，其特征在于，
所述测量部包括：
雷达，用于相对于路面发送并接收激光，并输出反射图像和距所述反射图像的距离；
检测部，用于根据所述反射图像，检测所述路面上的白线；以及
确定部，用于将由所述图像检测部检测到的白线的多个地点的距离的最大值确定作为所述可视距离。
25.一种图像照射方法，其特征在于，包括：
检测车辆的位置的步骤；
检测所述车辆的前进方向的步骤；
根据存储在存储部中的地图信息、检测到的所述位置和前进方向，生成所述车辆的前进方向的图像的步骤；以及
向所述车辆的驾驶员的单眼照射生成的所述图像的步骤。
26.根据权利要求1、2、7或15所述的图像照射***，其特征在于，
所述图像照射***包括：控制部，用于控制照射部的照射方向，以使向由所述位置计算部计算出的单眼位置照射从所述照射部照射的图像。
27.根据权利要求1、2、7或15所述的图像照射***，其特征在于，
由所述照射部进行的图像照射是经由所述车辆的挡风玻璃或贴在挡风玻璃上的反射部件进行的，
所述图像信息生成单元包括：校正单元，用于校正由于所述挡风玻璃的形状变形而导致的图像的变形。
CN2009801358552A 2008-09-12 2009-09-02 图像照射***及图像照射方法 Pending CN102149574A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2008235470A JP2010064714A (ja) 2008-09-12 2008-09-12 画像照射システム、画像照射方法
JP2008235469A JP2010064713A (ja) 2008-09-12 2008-09-12 画像照射システム、画像照射方法
JP2008-235470 2008-09-12
JP2008-235469 2008-09-12
JP2008241267A JP2010073032A (ja) 2008-09-19 2008-09-19 画像照射システムおよび画像照射方法
JP2008-241267 2008-09-19
PCT/JP2009/004314 WO2010029707A2 (ja) 2008-09-12 2009-09-02 画像照射システム及び画像照射方法

Publications (1)

Publication Number Publication Date
CN102149574A true CN102149574A (zh) 2011-08-10

Family

ID=42005589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801358552A Pending CN102149574A (zh) 2008-09-12 2009-09-02 图像照射***及图像照射方法

Country Status (4)

Country Link
US (1) US20110187844A1 (zh)
EP (1) EP2351668A4 (zh)
CN (1) CN102149574A (zh)
WO (1) WO2010029707A2 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103120588A (zh) * 2011-11-17 2013-05-29 现代摩比斯株式会社 利用红外线摄像头和3d建模的驾驶者姿势监测装置及方法
CN103204105A (zh) * 2013-03-23 2013-07-17 苏州佳世达光电有限公司 抬头显示装置及其影像显示方法
CN103988241A (zh) * 2012-11-13 2014-08-13 株式会社东芝 检测装置、方法以及程序
CN104166238A (zh) * 2013-05-15 2014-11-26 罗伯特·博世有限公司 用于将图像信息投射到车辆的乘员的视野中的装置和方法
CN104260669A (zh) * 2014-09-17 2015-01-07 北京理工大学 一种智能汽车抬头显示器
CN104608695A (zh) * 2014-12-17 2015-05-13 杭州云乐车辆技术有限公司 车载电子后视镜抬头显示装置
CN105682973A (zh) * 2013-10-22 2016-06-15 日本精机株式会社 车辆信息投影***和投影装置
CN106444021A (zh) * 2015-08-05 2017-02-22 Lg电子株式会社 车辆用显示装置
CN106828348A (zh) * 2017-03-31 2017-06-13 华东交通大学 一种车辆底盘智能保护***
CN107444261A (zh) * 2016-03-30 2017-12-08 矢崎总业株式会社 驾驶辅助装置
CN107826082A (zh) * 2016-09-14 2018-03-23 福特全球技术公司 挡风玻璃清洁***及方法
CN107921871A (zh) * 2015-08-26 2018-04-17 富士胶片株式会社 投影型显示装置、投影显示方法及投影显示程序
CN108136954A (zh) * 2015-09-14 2018-06-08 法雷奥照明公司 用于将图像投影到投影表面上的用于机动车辆的投影方法
CN108290521A (zh) * 2015-12-31 2018-07-17 华为技术有限公司 一种影像信息处理方法及增强现实ar设备
CN108567404A (zh) * 2017-09-15 2018-09-25 分界线（天津）网络技术有限公司 一种青少年眼睛假性近视部分的测量***及方法
CN109649275A (zh) * 2018-11-29 2019-04-19 福瑞泰克智能***有限公司 一种基于增强现实的驾驶辅助***及方法
CN110824709A (zh) * 2015-09-30 2020-02-21 麦克赛尔株式会社 平视显示器
CN110834583A (zh) * 2018-08-15 2020-02-25 株式会社小糸制作所 车辆用显示***及车辆
CN111108530A (zh) * 2017-09-25 2020-05-05 三菱电机株式会社 信息显示装置和方法以及程序和记录介质
CN112740007A (zh) * 2018-09-21 2021-04-30 本田技研工业株式会社 车辆检查***
CN114913166A (zh) * 2022-05-30 2022-08-16 东风汽车集团股份有限公司 一种前方视野s区域快速检测方法及***

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5275963B2 (ja) 2009-12-08 2013-08-28 株式会社東芝 表示装置、表示方法及び移動体
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US9230501B1 (en) 2012-01-06 2016-01-05 Google Inc. Device control utilizing optical flow
US8952869B1 (en) 2012-01-06 2015-02-10 Google Inc. Determining correlated movements associated with movements caused by driving a vehicle
JP5734888B2 (ja) 2012-01-31 2015-06-17 株式会社東芝 表示装置、移動体、及び、表示装置の設置方法
US8907867B2 (en) 2012-03-21 2014-12-09 Google Inc. Don and doff sensing using capacitive sensors
US10469916B1 (en) 2012-03-23 2019-11-05 Google Llc Providing media content to a wearable device
KR102145455B1 (ko) * 2012-10-10 2020-08-18 르노 에스.아.에스. 헤드-업 디스플레이 디바이스 및 방법
JP5711721B2 (ja) * 2012-12-03 2015-05-07 富士重工業株式会社 車両の運転支援制御装置
DE102013106347A1 (de) * 2013-06-18 2014-12-18 MULAG FAHRZEUGWERK Heinz Wössner GmbH & Co. KG Verfahren und Vorrichtung zur Überwachung der Augen des Fahrers
CN103442179B (zh) * 2013-08-16 2016-10-26 北京智谷睿拓技术服务有限公司 照明方法和照明***
CN105163972B (zh) 2013-09-13 2017-12-05 日立麦克赛尔株式会社 信息显示***以及信息显示装置
US9915857B2 (en) * 2013-12-09 2018-03-13 Geo Semiconductor Inc. System and method for automated test-pattern-free projection calibration
JP2015215509A (ja) * 2014-05-12 2015-12-03 パナソニックＩｐマネジメント株式会社 表示装置、表示方法およびプログラム
EP3210374B1 (en) * 2014-10-23 2018-10-31 Tofas Turk Otomobil Fabrikasi Anonim Sirketi A rear view system
JP6512080B2 (ja) * 2015-11-27 2019-05-15 株式会社デンソー 表示補正装置
US20190031102A1 (en) * 2016-01-28 2019-01-31 Hon Hai Precision Industry Co., Ltd. Image display system for vehicle use and vehicle equipped with the image display system
US10895741B2 (en) * 2017-10-03 2021-01-19 Industrial Technology Research Institute Ultra-wide head-up display system and display method thereof
JP7035940B2 (ja) * 2018-09-28 2022-03-15 株式会社Ｊｖｃケンウッド ヘッドアップディスプレイ装置
JP7210208B2 (ja) * 2018-09-28 2023-01-23 株式会社デンソー 提供装置
US10884249B2 (en) * 2018-10-23 2021-01-05 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Combiner head up display with separate infrared function
US20220130173A1 (en) * 2019-03-14 2022-04-28 Nec Corporation Information processing device, information processing system, information processing method, and storage medium
US11222476B2 (en) * 2019-05-14 2022-01-11 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America System to add parallax to video for augmented reality head up display
JP7267222B2 (ja) * 2020-02-26 2023-05-01 三菱ロジスネクスト株式会社 処理装置、処理方法、報知システム及びプログラム
DE102021113893A1 (de) * 2021-05-28 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft Monitorsystem für ein Fahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06971U (ja) * 1992-06-17 1994-01-11 株式会社カンセイ 車体のコーナ位置表示装置
JPH07228172A (ja) * 1994-02-21 1995-08-29 Nippondenso Co Ltd 車両用表示装置
JPH11115546A (ja) * 1997-10-17 1999-04-27 Harness Syst Tech Res Ltd 車両用表示装置
JP2000071877A (ja) * 1998-08-26 2000-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2006078635A (ja) * 2004-09-08 2006-03-23 Denso Corp 前方道路標示制御装置および前方道路標示制御プログラム
JP2008062762A (ja) * 2006-09-06 2008-03-21 Fujitsu Ten Ltd 運転支援装置および運転支援方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4135042C1 (en) * 1991-10-24 1993-02-25 Mercedes-Benz Aktiengesellschaft, 7000 Stuttgart, De Optical positioning aid for vehicle driver - uses partially-transparent mirror in driver's field of view to reflect spot of light representing e.g. edge of car
JPH07156685A (ja) * 1993-12-02 1995-06-20 Honda Motor Co Ltd 車両用情報表示装置
US5883739A (en) * 1993-10-04 1999-03-16 Honda Giken Kogyo Kabushiki Kaisha Information display device for vehicle
JPH07257228A (ja) * 1994-03-18 1995-10-09 Nissan Motor Co Ltd 車両用表示装置
JPH1037252A (ja) * 1996-07-22 1998-02-10 Shin Caterpillar Mitsubishi Ltd 車両周辺表示方法およびその装置
JPH10129375A (ja) * 1996-10-30 1998-05-19 Yazaki Corp 車載用前方車両認識装置
JP3680243B2 (ja) * 1999-01-20 2005-08-10 トヨタ自動車株式会社 走路形状表示装置および地図データベース記録媒体
JP2002059798A (ja) 2000-08-22 2002-02-26 Matsushita Electric Ind Co Ltd 車両周辺監視装置
JP4513318B2 (ja) 2003-12-10 2010-07-28 日産自動車株式会社 後側方画像制御装置および方法
JP2005170323A (ja) * 2003-12-15 2005-06-30 Denso Corp 走路形状表示装置
EP1781893A1 (en) * 2004-06-01 2007-05-09 Michael A. Vesely Horizontal perspective simulator
DE102004050574B4 (de) * 2004-10-15 2017-10-19 Continental Automotive Gmbh Vorrichtung zur Darstellung von optischen Informationen mittels eines virtuellen Bildes, insbesondere in einem Kraftfahrzeug
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
JP4604683B2 (ja) * 2004-11-25 2011-01-05 日産自動車株式会社 危険状況警報装置
JP2006248374A (ja) * 2005-03-10 2006-09-21 Seiko Epson Corp 車両安全確認装置及びヘッドアップディスプレイ
JP2006327263A (ja) * 2005-05-23 2006-12-07 Hitachi Kokusai Electric Inc 表示装置
JP4882285B2 (ja) * 2005-06-15 2012-02-22 株式会社デンソー 車両用走行支援装置
JP4888761B2 (ja) * 2005-10-31 2012-02-29 株式会社エクォス・リサーチ 仮想車線表示装置
JP2008021035A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法および車両制御装置
JP4973921B2 (ja) * 2006-11-27 2012-07-11 日本精機株式会社 ヘッドアップディスプレイ装置
JP2008155720A (ja) * 2006-12-22 2008-07-10 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
JP2009128565A (ja) * 2007-11-22 2009-06-11 Toshiba Corp 表示装置、表示方法及びヘッドアップディスプレイ
JP5101257B2 (ja) * 2007-11-26 2012-12-19 株式会社東芝 ヘッドアップディスプレイ用光学フィルム、ヘッドアップディスプレイ及び移動体
JP5075595B2 (ja) * 2007-11-26 2012-11-21 株式会社東芝 表示装置及びそれを用いた移動体
JP2009163084A (ja) * 2008-01-09 2009-07-23 Toshiba Corp 表示装置及び移動体
JP2009229752A (ja) * 2008-03-21 2009-10-08 Toshiba Corp 表示装置、表示方法及びヘッドアップディスプレイ
JP5462443B2 (ja) * 2008-03-27 2014-04-02 株式会社東芝 反射スクリーン、表示装置及び移動体
JP2009246505A (ja) * 2008-03-28 2009-10-22 Toshiba Corp 画像表示装置及び画像表示装置
JP4852062B2 (ja) * 2008-03-28 2012-01-11 株式会社東芝 単眼用画像表示装置及び単眼用画像表示方法
JP2010097193A (ja) * 2008-09-17 2010-04-30 Toshiba Corp 表示装置及び移動体
JP2010070066A (ja) * 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
JP2010072365A (ja) * 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
JP4686586B2 (ja) * 2008-09-19 2011-05-25 株式会社東芝 車載用表示装置及び表示方法
JP4776669B2 (ja) * 2008-09-25 2011-09-21 株式会社東芝 表示装置および移動体
JP4886751B2 (ja) * 2008-09-25 2012-02-29 株式会社東芝 車載用表示システム及び表示方法
JP2010143520A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 車載用表示システム及び表示方法
JP5161760B2 (ja) * 2008-12-26 2013-03-13 株式会社東芝 車載用表示システム及び表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06971U (ja) * 1992-06-17 1994-01-11 株式会社カンセイ 車体のコーナ位置表示装置
JPH07228172A (ja) * 1994-02-21 1995-08-29 Nippondenso Co Ltd 車両用表示装置
JPH11115546A (ja) * 1997-10-17 1999-04-27 Harness Syst Tech Res Ltd 車両用表示装置
JP2000071877A (ja) * 1998-08-26 2000-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2006078635A (ja) * 2004-09-08 2006-03-23 Denso Corp 前方道路標示制御装置および前方道路標示制御プログラム
JP2008062762A (ja) * 2006-09-06 2008-03-21 Fujitsu Ten Ltd 運転支援装置および運転支援方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103120588A (zh) * 2011-11-17 2013-05-29 现代摩比斯株式会社 利用红外线摄像头和3d建模的驾驶者姿势监测装置及方法
CN103988241A (zh) * 2012-11-13 2014-08-13 株式会社东芝 检测装置、方法以及程序
CN103204105B (zh) * 2013-03-23 2015-10-21 苏州佳世达光电有限公司 抬头显示装置及其影像显示方法
CN103204105A (zh) * 2013-03-23 2013-07-17 苏州佳世达光电有限公司 抬头显示装置及其影像显示方法
CN104166238A (zh) * 2013-05-15 2014-11-26 罗伯特·博世有限公司 用于将图像信息投射到车辆的乘员的视野中的装置和方法
CN104166238B (zh) * 2013-05-15 2020-04-14 罗伯特·博世有限公司 用于将图像信息投射到车辆的乘员的视野中的装置和方法
CN105682973A (zh) * 2013-10-22 2016-06-15 日本精机株式会社 车辆信息投影***和投影装置
CN105682973B (zh) * 2013-10-22 2018-06-19 日本精机株式会社 车辆信息投影***和投影装置
CN104260669A (zh) * 2014-09-17 2015-01-07 北京理工大学 一种智能汽车抬头显示器
CN104260669B (zh) * 2014-09-17 2016-08-31 北京理工大学 一种智能汽车抬头显示器
CN104608695A (zh) * 2014-12-17 2015-05-13 杭州云乐车辆技术有限公司 车载电子后视镜抬头显示装置
CN106444021A (zh) * 2015-08-05 2017-02-22 Lg电子株式会社 车辆用显示装置
CN106444021B (zh) * 2015-08-05 2019-11-26 Lg电子株式会社 车辆用显示装置
CN107921871B (zh) * 2015-08-26 2020-05-19 富士胶片株式会社 投影型显示装置、投影显示方法及存储有投影显示程序的非暂时性的计算机可读取的存储介质
CN107921871A (zh) * 2015-08-26 2018-04-17 富士胶片株式会社 投影型显示装置、投影显示方法及投影显示程序
CN108136954B (zh) * 2015-09-14 2021-06-11 法雷奥照明公司 用于将图像投影到投影表面上的用于机动车辆的投影方法
CN108136954A (zh) * 2015-09-14 2018-06-08 法雷奥照明公司 用于将图像投影到投影表面上的用于机动车辆的投影方法
CN110824709A (zh) * 2015-09-30 2020-02-21 麦克赛尔株式会社 平视显示器
CN108290521A (zh) * 2015-12-31 2018-07-17 华为技术有限公司 一种影像信息处理方法及增强现实ar设备
US10712556B2 (en) 2015-12-31 2020-07-14 Huawei Technologies Co., Ltd. Image information processing method and augmented reality AR device
CN107444261A (zh) * 2016-03-30 2017-12-08 矢崎总业株式会社 驾驶辅助装置
CN107826082B (zh) * 2016-09-14 2023-03-07 福特全球技术公司 挡风玻璃清洁***及方法
CN107826082A (zh) * 2016-09-14 2018-03-23 福特全球技术公司 挡风玻璃清洁***及方法
CN106828348A (zh) * 2017-03-31 2017-06-13 华东交通大学 一种车辆底盘智能保护***
CN108567404A (zh) * 2017-09-15 2018-09-25 分界线（天津）网络技术有限公司 一种青少年眼睛假性近视部分的测量***及方法
CN111108530A (zh) * 2017-09-25 2020-05-05 三菱电机株式会社 信息显示装置和方法以及程序和记录介质
CN111108530B (zh) * 2017-09-25 2023-05-12 三菱电机株式会社 信息显示装置和方法以及记录介质
CN110834583A (zh) * 2018-08-15 2020-02-25 株式会社小糸制作所 车辆用显示***及车辆
CN112740007A (zh) * 2018-09-21 2021-04-30 本田技研工业株式会社 车辆检查***
CN112740007B (zh) * 2018-09-21 2023-06-30 本田技研工业株式会社 车辆检查***
CN109649275A (zh) * 2018-11-29 2019-04-19 福瑞泰克智能***有限公司 一种基于增强现实的驾驶辅助***及方法
CN114913166A (zh) * 2022-05-30 2022-08-16 东风汽车集团股份有限公司 一种前方视野s区域快速检测方法及***

Also Published As

Publication number Publication date
WO2010029707A2 (ja) 2010-03-18
WO2010029707A3 (ja) 2010-05-06
EP2351668A4 (en) 2013-03-13
WO2010029707A4 (ja) 2010-08-05
EP2351668A2 (en) 2011-08-03
US20110187844A1 (en) 2011-08-04

Similar Documents

Publication Publication Date Title
CN102149574A (zh) 图像照射***及图像照射方法
CN107878301B (zh) 用于通过机动车辆的投影***投射图像的方法和投影***
EP1961613B1 (en) Driving support method and driving support device
US8094192B2 (en) Driving support method and driving support apparatus
US8035575B2 (en) Driving support method and driving support apparatus
CN107264402B (zh) 环视提供设备和包括其的车辆
EP3888965B1 (en) Head-up display, vehicle display system, and vehicle display method
US20180210210A1 (en) Vehicle display device
US20190016256A1 (en) Projection of a Pre-Definable Light Pattern
CN107249922B (zh) 车辆用显示装置
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
US11525694B2 (en) Superimposed-image display device and computer program
CN101252679B (zh) 驾驶辅助方法及驾驶辅助装置
CN104204847A (zh) 用于可视化车辆的周围环境的方法和装置
JP6796806B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US20230350200A1 (en) Head-up display
JP2012023658A (ja) 車両用画像表示装置
JP2016159656A (ja) 車両用表示装置
WO2018180596A1 (ja) 車両用表示装置
JP6874769B2 (ja) 車両用表示装置
JP2018167669A (ja) ヘッドアップディスプレイ装置
CN112585959A (zh) 生成车辆的环境表示的方法和装置及具有这种装置的车辆
JP7475107B2 (ja) 電子ミラーシステム、画像表示方法、及び移動体
KR20240029664A (ko) 차량 제어 장치 및 그의 따른 제어 방법
JP2013026796A (ja) 画像表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110810