CN1918901A - 驾驶辅助装置 - Google Patents

驾驶辅助装置 Download PDF

Info

Publication number
CN1918901A
CN1918901A CNA2005800044437A CN200580004443A CN1918901A CN 1918901 A CN1918901 A CN 1918901A CN A2005800044437 A CNA2005800044437 A CN A2005800044437A CN 200580004443 A CN200580004443 A CN 200580004443A CN 1918901 A CN1918901 A CN 1918901A
Authority
CN
China
Prior art keywords
shake
image
camera
camera head
assistance device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800044437A
Other languages
English (en)
Other versions
CN100440934C (zh
Inventor
石井浩史
水泽和史
冈田毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Panasonic Automotive Systems Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1918901A publication Critical patent/CN1918901A/zh
Application granted granted Critical
Publication of CN100440934C publication Critical patent/CN100440934C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Accessories Of Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Mechanical Control Devices (AREA)

Abstract

本发明提供一种驾驶辅助装置，可防止杆状的固定装置的抖动造成的图像的紊乱，从而获得良好图像。所述驾驶辅助装置包括：从车辆(11)突出的杆状的杆部(12)；设置于杆部(12)并拍摄车辆(11)周围的摄像头(13)；以及输入由摄像头(13)拍摄的摄像图像，将距摄像头(13)的路面(特定距离面)(19)的抖动作为补偿量X0而将摄像图像平行移动并输出的抖动补偿图像处理单元(14)。

Description

驾驶辅助装置
技术领域
本发明涉及驾驶辅助装置，例如涉及拍摄车辆周围并显示于车内的显示装置的驾驶辅助装置。
背景技术
现有技术为弥补车辆的后方、后侧方或左前侧方等的驾驶者的盲区，采用挡泥板镜(fender mirrors)、后视镜等的镜子，近些年来，出于相同目的有将摄像头设置于车辆上的设想。这是利用设置于车辆上的摄像头拍摄车辆周围并将得到的图像显示于监视器画面上以辅助驾驶员的车辆驾驶操作。
例如，专利文献1公开的技术中，采用监视车辆后方的车辆用摄像头以辅助车辆后退时的驾驶员的操作。这样的车用摄像头根据其用途可设置于车辆的各种位置。
另外，在专利文献2公开的技术中，在杆状的前端设置镜头和摄像元件，可以从自由度更高的视点监视车辆周围，可进一步提高安全性。
但是，由于专利文献2所示的装置将镜头和摄像元件设置于杆状前端，所以存在会发生由杆的抖动而产生摄像图像紊乱的问题。
作为克服所述摄像图像紊乱的技术，专利文献3公开了并不是应用于车辆的技术。专利文献3揭示的技术包括：将监视摄像头安装于可伸缩轴并设置于观察对象处的位置设定装置、和设定作为观察对象监视基准的基准图像的基准图像设定装置，监视摄像头包括：存储由镜头输入的观察对象的监视图像的帧存储单元、在观察对象的监视图像中设定检测区域的检测区域指定单元、根据检测区域的图像判定监视图像和基准图像的相关关系，在判定有相关关系的情况下更新帧存储单元内容的相互关系控制装置，以此防止因杆的抖动造成的监视图像紊乱，使监视作业效率提高。
专利文献1：特开平第2-36417号公报
专利文献2：特开第2003-63310号公报
专利文献3：特开平第09-312836号公报
发明内容
然而，在将专利文献3所示装置应用于车辆的情况下，会产生以下问题，即监视对象的车辆周围的路面、其他车辆或障碍物因自身车辆的驾驶的动作而动，所以不能防止因杆的抖动而造成的监视图像的紊乱。
这里，如图22所示，使用于移动摄像头等的抖动补偿，对于视点位置一定且只有视线旋转的抖动4，一般通过摄像装置1的光学***或图像处理进行抖动补偿，这是因为相对于抖动4，距离不同的对象物2和3在图像上的变化相同所以有效。但是，杆的抖动中还包括图23所示的视点位置的抖动，因此这种情况下距离不同的目标物体6和7在图像上的影响(抖动量)因距离而不同，所以在一般情况下，现有技术的抖动补偿无效。
本发明为了解决这样的问题而完成，其目的在于，提供可防止因杆状固定装置的抖动而造成的图像紊乱以获得良好图像的驾驶辅助装置。
本发明的驾驶辅助装置构成为包括：包括：固定装置，呈杆状且从车辆突出；摄像装置，设置于所述固定装置上并对所述车辆的周围进行拍摄；以及抖动补偿图像处理装置，将距所述摄像装置的特定距离面上的抖动作为补偿量来处理并输出由所述摄像装置拍摄的图像。
根据这样的构成，即使因为杆状固定装置的抖动而产生了摄像装置的旋转抖动和位置抖动，也可以极大抑制在假设距离摄像装置的特定距离面的、例如路面上的监视对象的图像抖动，可以获得质量良好的图像。
另外，根据本发明的驾驶辅助装置构成为：所述抖动补偿图像处理装置通过跟踪被设置于自身车辆的多个特定点，从而检测被安装于所述固定装置上的所述摄像装置的旋转抖动和位置抖动，并进行补偿，以抵消由检测出的所述摄像装置的旋转抖动和位置抖动所造成的对从摄像装置到特定距离面的图像的影响。
根据这样的构成，可以通过跟踪设置于车辆上的多个特定点来检测被安装于固定装置上的摄像装置的旋转抖动和位置抖动，可以极大抑制假设距离摄像装置的特定距离面上、例如路面上的监视对象的图像抖动，可以得到良好的图像。
另外，本发明的驾驶辅助装置构成为：所述驾驶辅助装置包括用于检测所述摄像装置的旋转抖动和位置抖动的检测装置，所述抖动补偿图像处理装置根据由所述检测装置检测出的摄像装置的旋转抖动和位置抖动而进行抖动补偿，以抵消距所述摄像装置的特定距离面上产生的图像上的抖动。
根据这样的构成，可以由检测装置直接检测出摄像装置的旋转抖动和位置抖动，并可以极大抑制假设距离摄像装置的特定距离面上、例如路面上的监视对象的图像抖动，可以得到良好的图像。
另外，本发明的驾驶辅助装置构成为：所述抖动补偿图像处理装置在对距所述摄像装置的特定距离面进行拍摄图像的投影变换后，对未产生抖动的虚拟摄像装置进行逆投影变换的图像合成。
根据这样的构成，通过假设距离摄像装置的某特定距离面比如地面而将摄像图像进行投影变换后进行逆投影变换，并在投影变换与逆投影变换之间对摄像装置的位置抖动和旋转抖动的所产生的影响进行补偿，可以获得容易看清楚的监视图像。
另外，本发明的驾驶辅助装置构成为：所述驾驶辅助装置包括针对所述摄像装置的摄像范围，测量距所述摄像装置的距离的测距装置，所述抖动补偿图像处理装置根据所述测距装置的检测信息，可改变所述特定距离面。
根据这样的构成，当例如其他车辆的保险杆等障碍物进入监视画面内的时候，通过将特定距离面由路面变更为保险杠的高度，可以使得作为待监视目标而比路面更重要的障碍物的保险杆部分能抖动较少，而藉此获得容易看清楚的图像。
另外，本发明的驾驶辅助装置构成为：所述抖动补偿图像处理装置假设多个距离面，对于各个距离面，判定了将所述摄像装置的位置抖动和旋转抖动的影响补偿后的补偿图像与利用过去的图像从自身车辆的移动预测得到的预测图像的一致后，选择在所述摄像装置的画面的各部分中最一致的距离面的补偿图像并合成补偿图像。
根据这样的构成，通过假设多个距离平面，对于各个距离平面，判断已经补偿所述摄像装置的位置抖动和旋转抖动的影响后的补偿图像与利用过去的图像根据自身车辆的移动预测得到预测图像相一致，即使障碍物进入摄像画面范围内，无论障碍物的部分还是路面的部分都可以获得抖动的影响被抑制的容易看清楚的监视图像。
另外，本发明的驾驶辅助装置构成为：所述驾驶辅助装置包括使所述固定装置振动的振动装置，所述抖动补偿图像处理装置在由所述振动装置使所述固定装置振动时，根据相对所述振动的摄像图像的抖动量来检测所述特定距离面。
根据这样的构成，因为振动装置使杆状固定装置发生振动，所以使得摄像装置产生位置抖动，而根据由此产生的图像抖动量可以测得从摄像装置的距离，从而可以检测出特定距离面是路面还是障碍物。
另外，本发明的驾驶辅助装置构成为：所述驾驶辅助装置包括用于显示所述摄像装置拍摄的图像的显示装置。
根据这样的构成，可以容易地监视车辆的周围情况，以更好地确保驾驶的安全性。
从前文描述中将了解到，根据本发明，可以提供能够防止因杆状固定装置抖动而产生的图像抖动，从而具有良好图像的驾驶辅助装置。
附图说明
图1是表示本发明第一实施例的驾驶辅助装置的图，图1(a)是杆部伸长状态下的车辆的示意正面图，图1(b)是杆部伸长状态下的车辆的示意侧视图。
图2是表示本发明第一实施例的驾驶辅助装置的图，其中图2(a)是杆部收缩状态下的车辆的示意正面图，图2(b)是杆部收缩状态下的车辆的示意侧视图。
图3是表示本发明第一实施例的驾驶辅助装置的摄像头拍摄的图像的图。
图4是说明本发明的驾驶辅助装置通过跟踪图像中的两个特定点以估计路面上的抖动的方法的图。
图5是表示在本发明的第一实施例的驾驶辅助装置的杆部分上安装摄像头时另外安装了平衡锤的例子的图。
图6是表示本发明第二实施例的驾驶辅助装置的图，其中图6(a)表示具有驾驶辅助装置的车辆的示意正面图，图6(b)表示具有驾驶辅助装置的车辆的示意侧视图。
图7是本发明第二实施例的驾驶辅助装置的方框图。
图8是说明本发明第二实施例的驾驶辅助装置的抖动补偿处理的工作的图。
图9是本发明第二实施例的驾驶辅助装置的其他结构的方框图。
图10是表示本发明第二实施例的驾驶辅助装置的抖动补偿处理的其他顺序的图。
图11是表示本发明第三实施例的驾驶辅助装置的图，图11(a)表示具有驾驶辅助装置的车辆的示意正面图，图11(b)表示具有驾驶辅助装置的车辆的示意侧视图。
图12是说明本发明第三实施例的驾驶辅助装置的测距传感器和抖动补偿图像处理单元的工作的示意图。
图13是本发明第三实施例的驾驶辅助装置的输出图像，图13(a)表示无障碍物时的输出图像，图13(b)表示检测到障碍物时的输出图像。
图14是根据本发明的驾驶辅助装置的第四实施例的示意图，其中图13(a)表示具有驾驶辅助装置的车辆的示意正面图，图13(b)表示具有驾驶辅助装置的车辆的示意侧视图。
图15是本发明第四实施例的驾驶辅助装置的方框图。
图16是表示本发明第四实施例的驾驶辅助装置的抖动补偿处理的图，图16(a)是表示将摄像画面投影变换时的摄像头和投影范围的图，图16(b)是表示将摄像图像进行逆投影变换时的虚拟摄像头和逆投影范围的图。
图17是表示本发明第四实施例的驾驶辅助装置的输出的图像的图，图17(a)表示无障碍物时的输出图像，图17(b)表示检测到障碍物时的输出图像。
图18是本发明的第四实施例的驾驶辅助装置的另一结构的方框图。
图19是表示本发明第五实施例的驾驶辅助装置的图，图19(a)表示具有驾驶辅助装置的车辆的示意正面图，图19(b)表示具有驾驶辅助装置的车辆的示意侧视图。
图20是本发明第五实施例的驾驶辅助装置的方框图。
图21是说明对本发明第五实施例的驾驶辅助装置进行抖动补偿处理的图，图21(a)是表示振动摄像头时的障碍物与摄像头的位置关系的图，图21(b)是表示振动摄像头时的振幅与时间的关系的图。
图22是说明用于电影摄影机等的一般的抖动补偿的图。
图23是说明本发明的杆部抖动的摄像头的观察点的抖动的图。
标号说明
11：车辆
12：杆部(杆状固定装置)
13：摄像头(摄像装置)
14：抖动补偿图像处理单元(抖动补偿图像处理装置，距离检测装置)
15：显示器(显示装置)
31，81：加速传感器(检测装置)
42：虚拟摄像头(虚拟摄像装置)
71：测距传感器(测距装置)
121：振动装置
具体实施方式
以下参照附图说明本发明的驾驶辅助装置的实施例。
图1至图5是表示本发明第一实施例的驾驶辅助装置的图。
首先说明结构。如图1和图2所示，驾驶辅助装置的构成包括：从车辆11的保险杠11a突出而设置的可自由伸缩的杆部(杆状固定装置)12；作为摄像装置设置于杆部12前端且拍摄车辆11周围的摄像头13；输入由摄像头13拍摄的图像，以距离摄像头的特定距离面的抖动为补偿量而将摄像图像平行移动并输出的抖动补偿图像处理单元(抖动补偿图像处理单元)14；以及作为显示装置安装于车内并显示抖动补偿后的图像的显示器15。
在本实施例中，抖动补偿图像处理单元14通过跟踪设置于车辆11的两个特定点，来检测设置于杆部12的摄像头13的旋转抖动和位置抖动，并进行补偿以抵消由检测出的摄像头的旋转抖动和位置抖动所造成的对距离摄像头的特定距离面的图像的影响。
另外，保险杠11a设有杆收容固定装置16，杆部12由该杆收容固定装置16支持，且在长度方向上收缩时与摄像头共同容纳于杆收容固定装置16。
更具体地说，杆部12设置于车辆11左前方角的保险杠11a的内部，如图1所示，摄像时从车辆11的左前方角的保险杠11a的上方突出，由此，摄像头13由该位置拍摄图像以在停车和穿过狭窄空间等时向驾驶者提供左前方盲区的图像。另外，在不用时，如图2所示，通过收容于杆收容固定装置16内，摄像头13收容于保险杠11a内。
图3和图4是表示抖动补偿图像处理单元14的抖动补偿处理的图。如图1所示，处于伸长状态的杆部12的下方的车辆上设置有上下隔开的标志17和18，杆部12伸长时摄像头13拍摄图3所示的图像。图3表示此时的摄像画面，摄像头13拍摄标志17和18、路面19、路面19上的白线20、杆部12和自身车辆11的保险杠11a。
抖动补偿图像处理单元14跟踪标志17和18的移动并检测摄像头13的位置抖动和旋转抖动，并由该结果预测图1所示路面19的高度的画面上的抖动的影响并对该抖动进行补偿。
所以，由杆部12的抖动造成的图3所示路面19及白线20的图像抖动被补偿，只剩下与驾驶操作所造成的自身车辆11的动作协调一致的画面，从而提高了驾驶者的视觉辨认性。
以下参照图4具体说明抖动补偿处理。
图4显示了通过跟踪车辆11上的两个特定点标志17和18来推测路面19上的抖动的方法。在图4中，标志17和18在车辆11的上下方向上隔开而设，以“Z1”、“Z2”和“Z0”分别表示从摄像头13到标志17、标志18、和路面19的距离。
摄像头13的镜头向正下方，作为摄像头13的抖动，设摄像头13的水平方向的位置抖动为“Dx”，旋转抖动为“Ax”，设图像的抖动为这些抖动的线性和。
因位置抖动“Dx”而造成的的图像抖动(dx0、dx1、dx2)与距摄像头13的距离“Z”有关，可以用Dx0＝Dx·f/Z0、Dx1＝Dx·f/Z1、Dx2＝Dx·f/Z2表示(f为焦点距离)，另外，由旋转抖动Ax造成的抖动与距摄像头13的距离无关，可用ax0＝ax1＝ax2表示。
由于实际可观测的车辆11的两个特定点的抖动(x1、x2)分别是线性和，即x1＝dx1+ax1、x2＝dx2+ax2，所以，路面19上的抖动X0＝dx0+ax0被推测为X0＝(X2-X1)·Z2·Z1/(Z0(Z1-Z2))+(Z1·X1-Z2·X2)/(Z1-Z2)。
抖动补偿图像处理单元14可以将该推测得来的路面19上的抖动“X0”作为补偿量，通过输入画面的平行移动来补偿抖动并输出图像。实际上，图像为二维(X，Y)信息，设X”方向为横向时也对纵向的“Y”方向进行同样的操作，则可补偿“X”和“Y”方向上各自的抖动。
另外，该方法主要对靠近摄像头13的光轴的图像有效，虽然随着摄像对象远离光轴会产生补偿量的误差，但是只要能将输入的图像抖动减少到1/2至1/4以下，就可以获得看得更加清楚的效果。
如上所述本实施例包括：由车辆11突出的棒状杆部12；设置于杆部12的用来拍摄车辆11周围的摄像头13；抖动补偿图像处理单元14，其输入由摄像头13拍摄的图像，以相对于摄像头13的路面19(特定距离面)的抖动为补偿量“X0”将摄像画面从平行移动并输出。所以即使在由杆部12抖动造成摄像头13产生旋转抖动Ax和位置抖动Dx的情况下，也可以最大可能地抑止在假设路面19为监视对象的图像的抖动，从而获得良好的图像。
特别是，本实施例中，抖动补偿图像处理单元14通过跟踪设置于车辆11的标志17和18来检测设置于杆部12的摄像头13的旋转抖动“Ax”和位置抖动“Dx”，进行补偿以抵消检测出的由摄像头13的旋转抖动“Ax”和位置抖动“Dx”而造成的对从摄像头13到路面19的图像的影响，所以可以最大可能地抑止假设路面19为监视对象的图像的抖动从而获得良好的图像。
另外，在本实施例中，摄像头13的拍摄的图像显示于显示器15，易于辨识车辆11周围的状况，从而进一步提高行车的安全性。
还有，本实施例的抖动补偿图像处理单元14以相对与摄像头13的路面19的抖动为补偿量“X0”而将摄像图像平行移动并输出，所以不能应对摄像头13以光轴方向为中心产生旋转抖动的情况，但在这种情况下，如图5所示，将摄像头13设置为在光轴方向上不产生旋转抖动即可。
在图5中，在将摄像头12安装于杆部12时，只要在杆部12的前端摄像头13的相反侧安装配重21即可。
也就是说，所述抖动补偿的方法是通过使图像在X方向和Y方向上独立平行移动从而补偿抖动，除此之外，摄像头13的抖动还有以摄像头13的光轴方向为中心的旋转抖动R。在该旋转抖动R产生的情况下，摄像图像产生以画面中心点为中心的旋转抖动，所以不能由平行移动补偿。
如图5所示，在摄像头13的重心位置22从杆部12的中心轴12a偏离的情况下，车辆的加速减速23会造成摄像头13的重心位置22和杆部12的中心轴12a之间产生转矩25，这样容易产生旋转抖动R。
如图5(b)所示，为抑止该旋转抖动R，通过将配重21的重心位置26设置在与摄像头13的重心位置22相对称的位置上，使两个合成的重心位置27与杆部12的中心相一致。由此，因车辆11的加速减速23而造成的摄像头13和配重21的各自产生的转矩25和28相互抵消，由此摄像头13几乎不产生以光轴方向为中心的旋转抖动R。这样，通过该配重21可抑止摄像头13的以光轴方向为中心的旋转抖动，可获得补偿效果更好的补偿图像。
图6至图10是表示本发明的驾驶辅助装置的第二实施例。与第一实施例相同的结构付以相同的标号并省略说明。
在图6中，在杆部12的前端与摄像头13相同的位置上，设有加速度传感器(检测装置)31，该加速度传感器31检测出摄像头13的位置抖动和旋转抖动，并将该检测信息向抖动补偿图像处理单元14输出。
如图7所示，本实施例的抖动补偿图像处理单元14包括投影变换单元32和逆投影变换单元33，从摄像头13向特定距离面，例如路面19将摄像画面通过投影变换单元32投影后，通过逆投影变换单元33进行向不产生抖动的虚拟摄像装置进行逆投影的图像合成，以补偿抖动。
以下参照图7和图8具体说明抖动补偿处理。
图7是表示抖动补偿图像处理单元14的模块图。图8是说明抖动补偿图像处理单元14的抖动补偿的概念图。还有，在图8中，摄像头13的光轴从大致正下方向大致左前方倾斜设置。
在驾驶中，摄像头13产生位置抖动Dx和旋转抖动Ax，该抖动信息34由加速度传感器31检测后被输入到抖动补偿图像处理单元14。
抖动补偿图像处理单元14使用摄像头13摄制的摄像图像35和从加速度传感器31输入的表示位置抖动Dx和旋转抖动Ax抖动量的抖动信息34，根据图7所示的算法补偿抖动并输出补偿图像。
在本实施例中，摄像头13是采用水平视角为110度至140度的广角镜头，在使用该种广角镜的情况下，镜头失真是不可避免的，所以将该镜头固有的镜头失真或视角等的镜头数据36存储于抖动补偿图像处理单元14的内部。
进而，以摄像头初始位置数据38为基准，采用由加速度传感器31输入的位置抖动Dx和旋转抖动Ax的抖动信息34，计算出拍摄摄像图像35时摄像头13所在的位置和角度，根据这些数据来补偿镜头失真、位置抖动和旋转抖动，并通过投影变换单元32向以车辆11为基准的路面19投影变换输入画面。
参照图8说明该过程，即，在没有抖动的情况下位于初始位置13a的摄像头13由于位置抖动Dx和旋转抖动Ax而变为摄像头位置13b或摄像头位置13c。根据该位置将摄像画面向以车辆11的基准点39为原点的路面19上进行如“W”所示的投影变换。
通过逆投影变换单元33，将该投影变换后的图像与用位于摄像头虚拟视点数据40(位置和方向)且作为带有镜头数据37的虚拟摄像装置的虚拟摄像头42摄像的图像进行合成并输出。
参照图8进行说明，将以车体的基准点39为原点的路面19上如“W”所示投影变换后的图像，进而通过逆投影变换单元33，与设置于虚拟视点41的带有镜头数据37的虚拟摄像头42所可能拍摄的图像相合成。
通过该处理，将输入画面投影变换到路面19上的时刻进行了抖动补偿，进而，在以虚拟摄像头42摄像的图像通过逆投影变换合成输出的图像上也可获得抖动补偿后的良好图像。
该实施例中，通过采用摄像头13的镜头数据36，不仅如第一实施例那样可获得中心附近抖动少的图像，而且可获得图像整体抖动少的良好图像。
另外，通过一次将投影变换到路面19后，进而将从虚拟视点41看到的图像通过逆投影变换单元33合成的方法，即使不采用第一实施例的将摄像头13设置于正下方，而是设置为朝向斜左前方的情况，也可将路面19作为特定平面进行抖动补偿。因此，可将摄像头13朝向斜左前方，所以可进行更广的范围的监视。
还有，摄像头虚拟视点数据40(位置和方向)可以如图8的“W”所示，与在没有抖动的情况下的摄像头13的初始位置的视点相同，也可以是如虚拟视点41所示的与摄像头13的初始位置不同。
另外，镜头数据37可以与实际摄像头13的镜头数据36相同，也可以不同。例如，如图8(b)所示，与实际摄像头13的广角镜头的视角43相比，采用假设视角44稍窄的镜头的镜头数据37，可以防止因为抖动补偿而造成的输出图像的周边部分的丢失。
另外，本实施例采用加速度传感器31检测摄像头13的位置抖动Dx和旋转抖动Ax，也可以是如第一实施例所示，通过跟踪图像上的自身车辆11上的特征点标志17和18来检测摄像头13的位置抖动Dx和旋转抖动Ax。
另外，在本实施例的图7所示中，输入的摄像画面由投影变换部32和逆投影变换部33进行了两次变换，如图9所示的结构，也可以是只进行一次图像变换处理。
以下具体说明该方法。首先，如图10所示，将输入摄像图像分割为竖6列横8列的长方形，将各长方形的顶点作为多边形顶点取样。
这里，各多边形为三角形，例如，图10(a)的长方形61被分割为两个三角形61a和61b。图10(a)的摄像画面被采样为竖7列横9列的多边形顶点。
在图9中，对于该摄像画面的多边形顶点数据51，采用抖动信息34、镜头数据36和摄像头初始位置数据38由多边形顶点坐标投影变换单元52计算投影于路面19上的多边形顶点位置。
图10(b)是表示投影于路面19上的多边形顶点位置的图，例如在图10(a)所示的摄像画面中的一个多边形顶点62变换为图10(b)所示的路面19上的多边形顶点63的位置。在图10(b)中，自身车辆11的保险杠11a的位置64投影于路面19上，该位置64与固定于自身车辆11位置上的路面19的基准点39相连续。
另外，在图9中，多边形顶点坐标逆投影变换单元53采用镜头数据37与摄像头虚拟视点数据40，如图10(c)所示，将投影于图10(b)所示的路面19上的多边形顶点数据逆投影变换到如图8所示的由虚拟摄像头42可能拍摄的图像画面上。
此时，例如如图10(b)所示的路面19上的一个多边形顶点63变换为图10(c)所示的虚拟摄像头摄像图像中的多边形顶点65的位置。在此，由图10(c)所示的虚拟摄像头42可能拍摄的图像画面的框66的外侧的多边形顶点数据也被计算。
另外，如图9所示的多边形图像合成单元54采用图10(c)所示的虚拟摄像头42画面上的多边形顶点数据和摄像画面的多边形顶点51，变换摄像图像并输出抖动补偿图像45。
例如，摄像图像的一个长方形61的两个三角形61a和61b变换为图10(c)上的两个三角形67a和67b，所以其内部的各象素的图像数据通过仿射变换68变为线形。
另外，此时镜头数据36还包括镜头的明暗数据(shading data)55，即画面中央亮周围暗的现象数据，将对其补偿的增益数据附加到多边形顶点数据中，在多边形图像合成单元54进行变换时，通过乘以该增益进行变换，而使由摄像机的抖动而造成的抖动补偿图像上有明暗分布时，其亮度抖动也得到补偿，可得到更易于观看的图像。
另外，虚拟摄像头42的镜头数据37内还含有虚拟摄像头的明暗数据56，所以补偿图像上可合成更有自然明暗亮度的图像。
图11至图13是表示本发明的驾驶辅助装置的第三实施例的图，与第一和第二实施例相同的结构付加相同的标号并省略说明。
在图11中，在杆部12的前端处与摄像头13相同的位置，设有测距传感器(测距装置)71，该测距装置71相对于摄像头13的摄像范围，测量其距摄像头13的距离，并将该检测信息向抖动补偿图像处理单元14输出。
另外，抖动补偿图像处理单元14根据测距传感器71的检测信息可以改变特定距离面，在该抖动补偿图像处理单元14的输出图像上合成测距传感器71检测出的路面、保险杠等的障碍物(特定距离面)警告并显示在显示器15上。
下面，参照图12和图13具体说明抖动补偿方法。
首先，测距传感器71在摄像头13的摄像范围72内没有障碍物的情况下，在摄像范围内将到除自身车辆11之外的最近的物体即路面19距离“Zo”作为测距数据输出。还有，事先在摄像范围内将自身车辆11的部分通过遮蔽而从测距范围删除。
此时，抖动补偿图像处理单元14与第一实施例相同地根据特征点即标志17和18的抖动量“X1”和“X2”，通过下式估计路面上的抖动“X0”，并通过平行移动图像以抵消该抖动进行补偿。
X0＝(X2-X1)·Z2·Z1/(Z0(Z1-Z2))+(Z1·X1-Z2·X2)/(Z1-Z2)
下面，如图12所示，摄像范围内有其他车辆73进入的情况下，测距传感器71将在摄像范围内的除自身车辆以外的最近的物体即其他车辆73的保险杠的距离“Z3”作为测距数据输出。
此时，抖动补偿图像处理单元14与第一实施例相同地，根据特征点即标志17和18的抖动量“X1”和“X2”，通过下式估计图12中距摄像头13有“Z3”的距离的面74的抖动“X3”，并通过将图像平行移动而补偿抖动，以抵消该抖动。
X3＝(X2-X1)·Z2·Z1/(Z3(Z1-Z2))+(Z1·X1-Z2·X2)/(Z1-Z2)
如上所述，在本实施例中，设置测量摄像头13的摄像范围距摄像头13的距离的测距传感器71，抖动补偿图像处理单元14根据测距传感器71的检测信息使特定距离面成为可变，所以在没有障碍物的情况下可获得路面19的抖动少而易于观察的图像。另外，在图像内有其他车辆73的保险杠等的障碍物进入的情况下，可获得比路面19抖动更小的障碍物的图像，使得驾驶者易于确认障碍物与自身车辆接近至何种程度，可更安全地进行驾驶。
另一方面，图13是表示此时显示于显示器15的图像的图。图13(a)是在没有障碍物的情况下，路面19及路面19上的白线20抖动少而易于观察的图像。
另外，图13(b)是表示图像内有其他车辆73的保险杠等的障碍物75进入的图，因为能获得障碍物19的抖动比路面19及路面19上的白线20少的图像，所以驾驶者能容易确认障碍物75和自身车辆11之间的距离76，可更安全地进行驾驶。另外，其他车辆74的保险杠等的障碍物进入图像内的时候，如果在显示器15上使障碍物警告77闪亮，即可以促使驾驶者注意。
特别是，驾驶者并不只是注意车内的显示器15，也有必要经常注视周围进行确认，所以通过使该障碍物警告77闪亮可以减少漏看障碍物的机会，更可以提高目视确认性。
图14至图18是表示本发明的驾驶辅助装置的第四实施例的形态的图，对与第一和第二实施例相同的结构付加相同的标号并省略说明。
在图14中，包括：检测由杆部12的抖动造成的摄像头的位置抖动和旋转抖动的加速度传感器(检测装置)81、检测转向角的转向角传感器82和检测车轮转动的车轮传感器83。
另外，抖动补偿图像处理单元14包括：图15所示的多边形顶点坐标投影变换单元88、多边形顶点坐标逆投影变换单元89、多边形图像合成单元90、流程解析单元91、一致判定图像合成单元92、车辆移动估计单元95和预测图像形成单元98。
在本实施例中，如图16所示，假设在路面19以外被设定了路面19上的多个高度的面84、85和86，并将此作为图15的多个距离平面87，由多边形顶点坐标投影变换单元88及多边形顶点坐标逆投影变换单元89进行多边形坐标的变换计算，由此补偿各自的面的抖动，多边形图像合成单元90输出调整后的多个抖动补偿图像120以补偿84、85、86各个面的抖动。
该多个抖动补偿图像120被输出到存储器94、流程解析单元91和一致判定图像合成单元92。存储器94中存储有过去的多个抖动补偿图像120，流程解析单元91通过与当前的多个抖动补偿图像120比较来获得解析图像各部分变化的流程解析结果，并将向车辆移动估计单元95输出。
车辆移动估计单元95利用来自转向角传感器82的转向角信息96、来自车辆传感器83的车轮信息97估计车辆11的移动情况，同时使用流程解析单元91的解析结果对其进行调整，并向预测图像形成单元98输出。
预测图像形成单元98根据车辆移动估计单元95的输出结果，输出与各多个距离平面87对应的移动估计预测图像。另外，一致判定图像合成单元92在实际的多个抖动补偿图像120的图像各部位，判定选择与各多个距离平面87对应的预测图像最一致的距离平面的抖动补偿图像93从而合成为一个画面的图像。
图17是说明该过程的示意图。图17(a)表示路面19的补偿图像。此时，在自身车辆向箭头99a或99b的方向移动的情况下，补偿图像中的路面19的部分如箭头100所示向大致相反的方向流动。
该流程通过在流程解析91阶段对过去的补偿图像和当前的补偿图像进行比较而被检测。另一方面，从转向角信息96及车轮信息97也可以估计车辆的移动。
在图17(a)表示由转向角信息96及车轮信息97估计的车辆的移动99a。但是，这样估计得来的车辆的移动99a有时会包括车轮打滑等造成的误差。为减少该误差，通过添加考虑流程解析结果100，可得到更正确的车辆的移动99b的估计结果，并向预测图像形成单元98输出。
在预测图像形成单元98，相对该车辆的移动99b的估计结果，输出与多个距离平面87对应的移动估计预测图像。例如，相对车辆移动99b，在路面19上，如图17(a)中的符号101所示一样图像发生变化，或距路面19高H1的面上，如符号102所示一样图像发生变化，即，接近摄像头13越高的面变化越大，通过使各自过去的补偿图像如符号103和104所示那样变化，即可获得当前的补偿图像的预测图像。
一致判定图像合成单元92对多个距离平面87的补偿图像和预测图像的画面各部分进行比较，判定选择最一致的距离平面的补偿图像，并合成一个画面的图像。此时，图像中没有边缘完全一致的情况下，选择离路面近的更低的面。
图17(b)是表示该情况的图。在图17(b)中，路面19及路面19上的白线20的部分与路面19上的补偿图像和预测图像最一致，所以路面19上的补偿图像被选择。
另一方面，其他车辆的保险杠等的障碍物105进入画面时，例如距路面19为高度H1的面的补偿图像和预测图像最一致，所以高度H1的面的补偿图像被选择。
合成如此选择的各部的图像而输出一张抖动补偿图像93。还有，此时，在高度H1的面和路面的补偿图像分别被选择的部分的界线107处，因为图像的不连续性很醒目，所以设置缓冲区域108以使从高位置的H1上某个面的选择部分向低位置的某个路面19的选择部分逐渐扩展，通过在此间一边改变加权一边合成两个补偿图像而抑制图像的不连续性。
该一致判定图像合成单元92判定图像中的哪个部分距离多个距离面87中的哪个接近，该判定结果向车辆移动估计单元95反馈，在下一时刻利用流程解析结果进行车辆移动估计的调整中利用。
另外，因为一致判定图像合成单元92判定图像中哪个部分与多个距离面87中的哪个接近，所以也可以实现障碍物判定。因此，该判定结果也可用于其他障碍物检测警告。在检测到障碍物的情况下，如图17(b)所示，可通过障碍物警告单元109使障碍物检测警告110闪亮，或在障碍物105和路面19的界线的缓冲区域108整体上重叠警告并闪亮。
另外，这里，一致判定图像合成单元92在实际的多个抖动补偿图像120的画面的各部分中，判定选择与多个距离平面87对应的预测图像最一致的距离平面的补偿图像，并合成一个画面的图像，但是作为其他的形式如图18所示的结构也是可以的。
在本实施例中，设定多个距离面87并针对其进行如下判定，即，补偿了摄像头13的位置抖动和旋转抖动影响的补偿图像和从自身车辆11的移动利用过去的图像预测得到的预测图像的一致判定，由此，障碍物105进入画面的时候，在障碍物的部分和路面19的部分均可抑制抖动的影响以得到易于观察的监视图像。
还有，在图18中，设有一致判定单元111、多边形顶点合成单元112和多边形图像合成单元113以取代图15所示的一致判定图像合成单元92。一致判定单元111在多个补偿图像120的画面的各部分只进行与多个距离面87对应的预测画面最一致的距离面的判定，并将其结果向多边形顶点合成单元112输出。
多边形顶点合成单元112根据多边形顶点坐标逆投影变换单元89的输出即多个距离面87上抖动补偿的多边形顶点数据和一致判定单元111的输出，合成图像的各部处与预测图像最一致的距离面的抖动补偿的多边形顶点数据并输出。多边形图像合成单元113根据该多边形顶点数据利用摄像画面35合成图像，以输出抖动补偿图像93。
由此，即使在高度不同的面被选择的部分的界线，也可以用多边形顶点数据线性地插补位置数据，所以可防止图像的不连续性过于醒目。因此，可以不需要如图17(b)所示那样通过设置缓冲区域108，在其间边改变权重边合成两个补偿图像来抑止图像的不连续性。
图19至图21是表示本发明的驾驶辅助装置的第五实施例的形态的图。与第一和第四实施例的形态相同的结构付以相同的标号并省略说明。
在第四实施例中，在输出抖动补偿图像93的同时可以一并输出障碍物检测警告110，自身车辆的移动少，摄像头13的抖动变小的情况下，摄像头13的位置几乎不动，所以在各个距离面上预测图像和补偿图像都一致。此时，即使在图像中有障碍物，在一致判定图像合成单元92中也是路面被选择，所以障碍物的检测精度变差。
在本实施例中，为了更好的发挥第四实施例的效果，将如图19所示的振动装置121安装于杆部12的前端的摄像头13的位置，其特点是主动使摄像头13振动，如图20所示，由振动装置121输出振动的定时信号(timing signal)。
也就是说，在本实施例中包括：使杆部12振动的振动装置121、输入由摄像头13得到的图像，根据源于振动的图像抖动量来检测出路面等特定距离面的抖动补偿图像处理单元(距离检测装置)14、抖动补偿图像处理单元14除了第四实施例的结构以外，如图20所示，根据来自振动装置121的振动的定时信号的输出只选择在振幅的一方的端点拍摄的图像，使多边形顶点合成单元112和多边形图像合成单元113工作合成抖动补偿图像93的开关122。
图21(b)表示了振动的振幅的时间变化141。摄像头13根据来自振动装置121的振动时机信号，在振幅的两端的时间，具体地说是在时间142至147的时机打开快门拍摄图像。因此，振动装置121以30MHz使摄像头位置振动时，摄像头13在其振幅的两端以每秒60张摄制动态图像。
如上所述，如图21(a)所示，通过主动地移动摄像头位置，当障碍物132进入图像内时，该部分的图像与路面19相比，在距离面84等处预测图像和补偿图像一致，所以可通过对此判定而可以检测障碍物。
因此，自身车辆11的移动停止的状态下，当杆部12不抖动时，通过主动抖动摄像头位置可获得稳定的障碍物检测精度。
另外，如图20所示，根据来自振动装置121的振动时机信号的输出，通过开关122只选择在振幅的一方的端点拍摄的图像，使多边形顶点合成单元112和多边形图像合成单元113工作并合成抖动补偿图像93。
另外，在振幅的一方的端点拍摄的图像如图21(b)所示，选择在时间142、144、146拍摄的图像，合成抖动补偿图像93后输出。在这种情况下输出每秒30张的动态图像。
如上所述，在本实施例中，由振动装置121使杆部12振动，从而造成摄像头13发生位置抖动，所以通过由此造成的图像抖动量可以检测出距摄像头13的距离，可检测特定距离面是路面还是障碍物。
这样，抖动补偿图像93的由振动装置121造成的摄像头位置的振幅的影响基本上可以抵消，尽管有振动装置121造成的摄像头位置的振幅，仍可输出与第四实施例大致相等的抖动补偿图像。
工业应用性
如上所述，本发明的驾驶辅助装置具有防止棒状的固定装置的抖动而造成图像紊乱且可获得良好图像的效果，作为对拍摄车辆周围并显示于车内的显示装置的驾驶辅助装置等是有用的。

Claims (8)

1.一种驾驶辅助装置，其特征在于包括：
固定装置，呈杆状且从车辆突出；
摄像装置，设置于所述固定装置上并对所述车辆的周围进行拍摄；以及抖动补偿图像处理装置，将距所述摄像装置的特定距离面上的抖动作为补偿量来处理并输出由所述摄像装置拍摄的图像。
2.根据权利要求1所述的驾驶辅助装置，其特征在于，
所述抖动补偿图像处理装置通过跟踪被设置于所述车辆的多个特定点，从而检测被安装于所述固定装置上的所述摄像装置的旋转抖动和位置抖动，并进行补偿，以抵消由检测出的所述摄像装置的旋转抖动和位置抖动所造成的对从摄像装置到特定距离面的图像的影响。
3.根据权利要求1所述的驾驶辅助装置，其特征在于，
所述驾驶辅助装置包括用于检测所述摄像装置的旋转抖动和位置抖动的检测装置，
所述抖动补偿图像处理装置根据由所述检测装置检测出的摄像装置的旋转抖动和位置抖动而进行抖动补偿，以抵消距所述摄像装置的特定距离面上产生的图像上的抖动。
4.根据权利要求1所述的驾驶辅助装置，其特征在于，
所述抖动补偿图像处理装置在对距所述摄像装置的特定距离面进行拍摄图像的投影变换后，对未产生抖动的虚拟摄像装置进行逆投影变换的图像合成。
5.根据权利要求1至4中任一项所述的驾驶辅助装置，其特征在于，
所述驾驶辅助装置包括针对所述摄像装置的摄像范围，测量距所述摄像装置的距离的测距装置，
所述抖动补偿图像处理装置根据所述测距装置的检测信息，可改变所述特定距离面。
6.根据权利要求1所述的驾驶辅助装置，其特征在于，
所述抖动补偿图像处理装置假设多个距离面，对于各个距离面，判定了将所述摄像装置的位置抖动和旋转抖动的影响补偿后的补偿图像与利用过去的图像从自身车辆的移动预测得到的预测图像的一致后，选择在所述摄像装置的画面的各部分中最一致的距离面的补偿图像并合成补偿图像。
7.根据权利要求1所述的驾驶辅助装置，其特征在于，
所述驾驶辅助装置包括使所述固定装置振动的振动装置，
所述抖动补偿图像处理装置在由所述振动装置使所述固定装置振动时，根据相对所述振动的摄像图像的抖动量来检测所述特定距离面。
8.根据权利要求1所述的驾驶辅助装置，其特征在于，
所述驾驶辅助装置包括用于显示所述摄像装置拍摄的图像的显示装置。
CNB2005800044437A 2004-02-16 2005-02-16 驾驶辅助装置 Active CN100440934C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004038640A JP3980565B2 (ja) 2004-02-16 2004-02-16 運転支援装置
JP038640/2004 2004-02-16

Publications (2)

Publication Number Publication Date
CN1918901A true CN1918901A (zh) 2007-02-21
CN100440934C CN100440934C (zh) 2008-12-03

Family

ID=34857815

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800044437A Active CN100440934C (zh) 2004-02-16 2005-02-16 驾驶辅助装置

Country Status (5)

Country Link
US (1) US20080151053A1 (zh)
EP (1) EP1718062B1 (zh)
JP (1) JP3980565B2 (zh)
CN (1) CN100440934C (zh)
WO (1) WO2005079060A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103358994A (zh) * 2013-07-10 2013-10-23 奇瑞汽车股份有限公司 一种汽车前视摄像***
CN104429059A (zh) * 2012-07-04 2015-03-18 株式会社电装 车辆周围图像显示控制装置、车辆周围图像显示控制方法、由包含该方法的指令构成的持续性有形计算机可读介质
CN106080398A (zh) * 2016-08-27 2016-11-09 时空链（北京）科技有限公司 一种汽车安全监测***和方法
CN107107823A (zh) * 2015-02-10 2017-08-29 Jvc 建伍株式会社 显示控制装置及显示***
CN107627958A (zh) * 2016-07-19 2018-01-26 通用汽车环球科技运作有限责任公司 用于增强车辆环境感知的***和方法
CN110312072A (zh) * 2019-05-14 2019-10-08 深圳市歌美迪实业有限公司 一种流媒体后视镜图像抖动补偿方法及其装置
CN110602393A (zh) * 2019-09-04 2019-12-20 南京博润智能科技有限公司 一种基于图像内容理解的视频防抖方法
CN110836656A (zh) * 2018-08-15 2020-02-25 深圳地平线机器人科技有限公司 用于单目adas的防抖测距方法、装置和电子设备
CN110914113A (zh) * 2017-07-21 2020-03-24 株式会社电装 摄像装置以及车辆用显示装置
CN113380243A (zh) * 2021-05-27 2021-09-10 广州广电运通智能科技有限公司 一种辅助语音交互的方法及***、存储介质
CN115225814A (zh) * 2022-06-17 2022-10-21 苏州蓝博控制技术有限公司 摄像头组件及其视频处理方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4994695B2 (ja) * 2006-04-13 2012-08-08 キヤノン株式会社 像振れ補正装置、鏡筒及び撮像装置
EP2015023A4 (en) * 2006-04-28 2012-09-12 Panasonic Corp NAVIGATION APPARATUS AND METHOD
US20100118112A1 (en) * 2008-11-13 2010-05-13 Polycom, Inc. Group table top videoconferencing device
PL2876721T3 (pl) * 2013-02-15 2023-01-09 Lg Energy Solution, Ltd. Zespół elektrodowy
KR101586249B1 (ko) 2013-12-24 2016-01-18 (주)에프엑스기어 광 시야각 영상 처리 장치 및 방법
JP6095592B2 (ja) * 2014-02-17 2017-03-15 日立建機株式会社 油圧ショベルの監視画像表示装置
DE102014011218B3 (de) * 2014-07-29 2016-02-04 Audi Ag Kraftfahrzeug
WO2016195123A1 (ko) * 2015-05-29 2016-12-08 (주)에프엑스기어 광 시야각 영상 처리 장치 및 방법
US9531996B1 (en) 2015-10-01 2016-12-27 Polycom, Inc. Method and design for optimum camera and display alignment of center of the room video conferencing systems
JP6493143B2 (ja) 2015-10-15 2019-04-03 株式会社デンソー 表示制御装置及び表示制御プログラム
US11122211B2 (en) * 2020-02-18 2021-09-14 GM Global Technology Operations LLC Modular under-vehicle camera

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2682026B2 (ja) 1988-07-26 1997-11-26 日本電気株式会社 ファーストインファーストアウト型半導体メモリ
JPH03260781A (ja) * 1990-03-09 1991-11-20 Mitsubishi Heavy Ind Ltd 画像処理方法
JP3287117B2 (ja) * 1994-07-05 2002-05-27 株式会社日立製作所 撮像装置を用いた車両用の環境認識装置
JPH09312836A (ja) 1996-05-22 1997-12-02 Toshiba Corp 視覚装置
US6160907A (en) * 1997-04-07 2000-12-12 Synapix, Inc. Iterative three-dimensional process for creating finished media content
DE60009114T2 (de) * 1999-09-20 2004-08-05 Matsushita Electric Industrial Co. Ltd. Vorrichtung zur unterstützung von kraftfahrzeugführern
JP3877475B2 (ja) * 1999-09-22 2007-02-07 富士重工業株式会社 車載カメラの取付構造
JP3679988B2 (ja) * 2000-09-28 2005-08-03 株式会社東芝 画像処理装置及び画像処理方法
CN2456967Y (zh) * 2000-12-06 2001-10-31 全安电子股份有限公司 摄像式路况监视装置
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP2003063310A (ja) * 2001-08-23 2003-03-05 Matsushita Electric Ind Co Ltd 車両用撮像装置
JP4187704B2 (ja) * 2004-08-31 2008-11-26 三洋電機株式会社 手ぶれ補正装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104429059A (zh) * 2012-07-04 2015-03-18 株式会社电装 车辆周围图像显示控制装置、车辆周围图像显示控制方法、由包含该方法的指令构成的持续性有形计算机可读介质
CN103358994B (zh) * 2013-07-10 2016-08-10 奇瑞汽车股份有限公司 一种汽车前视摄像***
CN103358994A (zh) * 2013-07-10 2013-10-23 奇瑞汽车股份有限公司 一种汽车前视摄像***
CN107107823B (zh) * 2015-02-10 2020-12-22 Jvc 建伍株式会社 显示装置及显示***
CN107107823A (zh) * 2015-02-10 2017-08-29 Jvc 建伍株式会社 显示控制装置及显示***
CN107627958A (zh) * 2016-07-19 2018-01-26 通用汽车环球科技运作有限责任公司 用于增强车辆环境感知的***和方法
CN107627958B (zh) * 2016-07-19 2021-06-18 通用汽车环球科技运作有限责任公司 用于增强车辆环境感知的***和方法
CN106080398A (zh) * 2016-08-27 2016-11-09 时空链（北京）科技有限公司 一种汽车安全监测***和方法
CN110914113B (zh) * 2017-07-21 2023-09-01 株式会社电装 摄像装置以及车辆用显示装置
CN110914113A (zh) * 2017-07-21 2020-03-24 株式会社电装 摄像装置以及车辆用显示装置
CN110836656A (zh) * 2018-08-15 2020-02-25 深圳地平线机器人科技有限公司 用于单目adas的防抖测距方法、装置和电子设备
CN110312072A (zh) * 2019-05-14 2019-10-08 深圳市歌美迪实业有限公司 一种流媒体后视镜图像抖动补偿方法及其装置
CN110602393A (zh) * 2019-09-04 2019-12-20 南京博润智能科技有限公司 一种基于图像内容理解的视频防抖方法
CN113380243A (zh) * 2021-05-27 2021-09-10 广州广电运通智能科技有限公司 一种辅助语音交互的方法及***、存储介质
CN115225814A (zh) * 2022-06-17 2022-10-21 苏州蓝博控制技术有限公司 摄像头组件及其视频处理方法
CN115225814B (zh) * 2022-06-17 2023-09-05 苏州蓝博控制技术有限公司 摄像头组件及其视频处理方法

Also Published As

Publication number Publication date
US20080151053A1 (en) 2008-06-26
JP2005229529A (ja) 2005-08-25
EP1718062B1 (en) 2015-01-21
EP1718062A4 (en) 2008-03-12
EP1718062A1 (en) 2006-11-02
WO2005079060A1 (ja) 2005-08-25
JP3980565B2 (ja) 2007-09-26
CN100440934C (zh) 2008-12-03

Similar Documents

Publication Publication Date Title
CN1918901A (zh) 驾驶辅助装置
CN1160210C (zh) 驾驶提醒装置
JP5615441B2 (ja) 画像処理装置及び画像処理方法
US8184160B2 (en) Image processor, driving assistance system, and out-of-position detecting method
JP5771117B2 (ja) 移動距離計測装置及び撮影カメラ
JP5249259B2 (ja) 車両搭載用撮影記録装置
CN1637578A (zh) 用来监视车辆周围的摄像机单元和装置
CN104954668A (zh) 变焦倍率算出装置及其控制方法、摄像装置以及移动体
WO2007031248A8 (en) Surveying instrument and method of providing survey data using a surveying instrument
CN1734307A (zh) 用于图像拍摄设备的***和方法
US11393066B2 (en) Display system, electronic apparatus, mobile body, and display method
JP2008085710A (ja) 運転支援システム
US11443718B2 (en) Circuit device, electronic apparatus, and mobile body for generating latency compensated display
JP6250446B2 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JPH0746460A (ja) 車載用撮影装置
JP5907914B2 (ja) 車両用運転支援装置
JP7076988B2 (ja) 撮像装置および制御方法
JP2009278428A (ja) 車両周辺監視装置
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP4134869B2 (ja) 撮像装置
JP3528728B2 (ja) パノラマ映像表示システム
JP2021110920A (ja) 表示システム、電子機器、移動体及び表示方法
JP2000069353A (ja) 手ぶれ検出装置および手ぶれ補正装置
JP2008227807A (ja) 画像スタビライザ
JP6932039B2 (ja) 振れ補正機能付き光学機器の振れ補正特性評価装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address

Address after: Osaka, Japan

Patentee after: Panasonic Holding Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

Country or region before: Japan

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20240418

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: Panasonic Holding Co.,Ltd.

Country or region before: Japan

TR01 Transfer of patent right