CN101055176B - 车辆周边监控***及车辆周边监控方法 - Google Patents

车辆周边监控***及车辆周边监控方法 Download PDF

Info

Publication number
CN101055176B
CN101055176B CN200710090485.8A CN200710090485A CN101055176B CN 101055176 B CN101055176 B CN 101055176B CN 200710090485 A CN200710090485 A CN 200710090485A CN 101055176 B CN101055176 B CN 101055176B
Authority
CN
China
Prior art keywords
image
vehicle
surroundings
previous
supervisory system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200710090485.8A
Other languages
English (en)
Other versions
CN101055176A (zh
Inventor
久门仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN101055176A publication Critical patent/CN101055176A/zh
Application granted granted Critical
Publication of CN101055176B publication Critical patent/CN101055176B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆周边监控***，其中显示车辆周边区域的影像，其包括影像获取装置(10FR，10RR)、存储装置(116)、显示影像生成装置(120)以及显示装置。影像获取装置(10FR，10RR)获取车辆周边区域的至少一部分的影像。存储装置(116)存储由影像获取装置(10FR，10RR)获取的影像。显示影像生成装置(120)利用由影像获取装置(10FR，10RR)获取的最新影像以及在获取最新影像之前获取的先前影像来生成显示用合成影像。在显示装置上显示该合成影像。显示影像生成装置(120)根据在获取先前影像之后经过的时间来降低与所述先前影像相关的影像部分的可见度。

Description

车辆周边监控***及车辆周边监控方法
技术领域
本发明涉及车辆周边监控***及车辆周边监控方法，其中显示车辆周边区域的影像。
背景技术
日本专利申请公开号2003-191810(JP-A-2003-191810)描述了一种车辆周边监控***，其包括影像获取装置、鸟瞰影像转换装置以及显示装置。将影像获取装置设置在车辆的后部内。鸟瞰影像转换装置将由影像获取装置获取的车辆后方区域的影像转换为鸟瞰影像。在显示装置上显示该鸟瞰影像(由鸟瞰影像转换装置将影像转换得到)。该车辆周边监控***还包括合成鸟瞰影像生成装置以及显示控制装置。合成鸟瞰影像生成装置通过将先前的鸟瞰影像与当前的鸟瞰影像进行结合而生成合成鸟瞰影像。显示控制装置在显示装置上显示由合成鸟瞰影像生成装置生成的合成鸟瞰影像以及车辆图像，以表明车辆位置与由合成鸟瞰影像示出的区域之间的关系。
在上述***中，利用在先前获得的先前影像来生成显示用合成影像。通过这种设置，由于使用了先前影像，故利用先前的影像还可以显示影像获取装置的视野之外的情况。因此，相较于仅显示当前影像的设置，可以向使用者提供大量的信息。
但是，因为从获取先前影像的时间点直到当前时间点期间情况会发生改变，故由先前影像提供的信息的可靠性低于由当前影像提供的信息的可靠性。因此，在上述技术中，先前影像被灰色滤波器覆盖以能够将当前影像与先前影像区分开。但是，使用者不能判定先前影像的可靠性的降低程度。即，在其中数个先前影像以相同的形式显示的情况下，使用者不能判定数个先前影像之中可靠性的差异。
发明内容
本发明的目的在于提供一种车辆周边监控***以及车辆周边监控方法，其使得使用者能够容易判定先前影像的可靠性。
本发明的第一方面涉及一种车辆周边监控***，在所述车辆周边监控***中显示所述车辆周边区域的影像。所述车辆周边监控***包括影像获取装置、存储装置、显示影像生成装置以及显示装置。影像获取装置获取至少一部分所述车辆周边区域的影像。存储装置存储由所述影像获取装置获取的所述影像。显示影像生成装置利用由所述影像获取装置获取的最新的影像以及在获取所述最新影像之前获取的先前影像，来生成显示用合成影像。显示装置在其上显示所述合成影像。所述显示影像生成装置根据在获取所述先前影像之后经过的时间来降低与所述先前影像相关的影像部分的可见度。
在根据上述方面的车辆周边监控***中，所述显示影像生成装置可以利用在不同时间点获取的复数个先前影像来生成所述合成影像。因此，生成合成影像使得与各个先前影像相关的影像部分的可见度根据获取各个先前影像之后经过的时间以逐级的方式或连续的方式改变。因此，使用者可容易地判定先前影像之间可靠性的差异。
在根据上述方面的车辆周边监控***中，当所述显示影像生成装置利用特定先前影像在复数个帧中生成所述合成影像时，所述显示影像生成装置可以根据在获取所述特定先前影像之后经过的时间来逐渐降低所述复数个帧中的每个所述合成影像中与所述特定先前影像相关的影像部分的可见度。因此，可以与人类记忆随时间逐渐消失的方式类似的方式改变每个合成影像中与先前影像相关的影像部分的可见度。
在根据上述方面的车辆周边监控***中，所述显示影像生成装置通过修正对比度及亮度中至少一者来降低与所述先前影像相关的所述影像部分的可见度。
根据上述方面的车辆周边监控***还可包括车辆影像存储装置，其用于预先存储车辆影像。存储在所述车辆影像存储装置中的所述车辆影像可被叠加在所述合成影像中，并显示在所述显示装置上。
根据上述方面的车辆周边监控***还可包括俯视影像转换装置，其用于通过进行预处理而将由所述影像获取装置获取的所述影像转换为俯视影像。所述存储装置可对由所述俯视影像转换装置通过进行所述预处理将所述影像转换得到的所述俯视影像进行存储。
在根据上述方面的车辆周边监控***中，由所述俯视影像转换装置进行的所述预处理可包括坐标变换、畸变矫正以及透视矫正中至少一者。
在根据上述方面的车辆周边监控***中，当所述车辆周边区域的特定部分的影像未被包含在与所述最新影像相关的影像部分中时，就可使用所述特定部分的先前影像。
在根据上述方面的车辆周边监控***中，可设置复数个所述影像获取装置。当由所述复数个影像获取装置获取的所述影像彼此部分地重叠时，所述复数个影像获取装置就可彼此配合获取所述影像。
根据上述方面的车辆周边监控***还可包括车门状态判定装置，用于判定所述车辆的至少一个车门的打开/关闭状态。所述影像获取装置可配置在所述至少一个车门中。所述存储装置可根据所述至少一个车门的打开/关闭状态来存储由配置在所述至少一个车门中的所述影像获取装置获取的影像。
在根据上述方面的车辆周边监控***中，所述车门状态判定装置可以通过对当帧改变时由配置在所述至少一个车门中的所述影像获取装置获取的影像的改变方式进行监控来判定所述至少一个车门的打开/关闭状态。
根据上述方面的车辆周边监控***还可包括车辆影像存储装置，用于预先存储表明所述至少一个车门的不同打开/关闭状态的复数个车辆影像。可根据由所述车门状态判定装置进行的判定来从所述车辆影像存储装置读取所述复数个车辆影像中的车辆影像。
本发明的第二方面涉及一种车辆周边监控方法，其中显示所述车辆周边区域的影像。所述方法包括获取至少一部分所述车辆周边区域的影像；存储获取的所述影像；利用获取的最新影像以及在获取所述最新影像之前获取的先前影像来生成合成影像；显示所述合成影像；并且根据在获取所述先前影像之后经过的时间来降低与所述先前影像相关的影像部分的可见度。
在根据上述方面的车辆周边监控方法中，可使用在不同时间点获取的复数个先前影像来生成合成影像。因此，对显示影像进行合成使得根据在获取各个先前影像之后经过的时间以逐级方式或连续方式来改变与各个先前影像相关的影像部分的可见度。因此，使用者可容易地判定先前影像之间可靠性的差异。
在根据上述方面的车辆周边监控方法中，当利用特定先前影像生成在复数个帧中的合成影像时，就可以根据在获取特定先前影像之后经过的时间来降低与复数个帧中的每个合成影像中与特定先前影像相关的影像部分的可见度。因此，可以与人类记忆随时间逐渐消失的方式类似的方式改变各个合成影像中与先前影像相关的影像部分的可见度。
在根据上述方面的车辆周边监控方法中，可以通过修正对比度及亮度中至少一者来降低与所述先前影像相关的所述影像部分的可见度。
根据本发明，能够提供方便使用者判定先前影像的可靠性的车辆周边监控***及车辆周边监控方法。
附图说明
根据下文中参考附图对示例性实施例的说明，可以更加明了本发明的前述及/或其他的目的、特征及优点，附图中相同的标号用于代表相同的元件，其中：
图1是示出了根据本发明的第一实施例的车辆周边监控***的***结构图；
图2是平面图，示意性地示出了根据本发明的第一实施例设置了摄像机的形式的示例以及由该摄像机获取了其影像的区域的示例；
图3是示意性地示出了根据第一实施例显示在显示器上的显示影像的示例的视图；
图4是功能框图，示出了根据第一实施例的影像合成装置的主要功能；
图5是平面视图，示意性地示出了根据第一实施例的车辆周边环境的示例；
图6是示意性地示出了根据第一实施例在停车开始时间点生成的影像的视图；
图7是平面图，示意性地示出了根据第一实施例位于停车过程位置的车辆的周边环境的示例；
图8是示意性地示出根据第一实施例在停车过程时间点生成的显示影像(合成影像)的视图；
图9是平面图，示出了根据本发明的第二实施例设置了摄像机的形式的示例以及由该摄像机获取了其影像的区域的示例；
图10是功能框图，示出了根据第二实施例的影像合成装置的主要功能；以及
图11是示意性地示出根据第二实施例在判定车门处于打开状态的时间点生成的显示影像。
具体实施方式
下面将参考附图对本发明的示例性实施例进行说明。
一.第一实施例
图1是示出了根据本发明的第一实施例的车辆周边监控***的***结构图。根据第一实施例的车辆周边监控***70包括影像合成装置100。根据由设置在车辆中的摄像机10获取的影像，影像合成装置100利用设置在车辆内的显示器20来显示车辆周边区域的影像(屏幕影像)。例如，显示器20可以是液晶显示器。将显示器20布置在可使乘客方便地观看显示器20的位置。例如，可将显示器20布置在仪表板中。根据本发明，摄像机10被视为“影像获取部”，而显示器20被视为“显示部”。
图2平面图，示出其中设置有摄像机10的形式的示例以及其影像被摄像机10获取的区域的示例。如图2所示，将一个摄像机10设置在车辆的前部中，而将另一摄像机10设置在车辆的后部中。即，总共将摄像机10设置在两个位置。利用诸如CCD(电荷耦合装置)及CMOS(互补金属氧化物半导体)的成像器件，每个摄像机10(10FR及10RR)均可获取包括路面在内的周边区域的影像。每个摄像机10均可以是具有鱼眼透镜的广角摄像机。
如图2示意性所示，将前方摄像机10FR设置在车辆的前部中(例如靠近保险杠)以获取包括车辆前方的路面在内的周边区域的影像。如图2示意性所示，将后方摄像机10RR设置在车辆的后部中(例如靠近后保险杠或在后车门内)以获取包括车辆后方的路面在内的周边区域的影像。
图2示意性地示出了由摄像机10获取影像的区域的示例。在图2所示的示例中，每个摄像机10均是广角摄像机。其影像被各个摄像机10获取的区域以扇形示出。在图2中，由阴影来强调其影像由前方摄像机10FR获取的成像区域Rf以及其影像由后方摄像机10RR获取的成像区域Rr。
图3示意性地示出了显示在显示器20上的显示影像的示例。通过结合由两个摄像机10FR及10RR所获取的影像来合成显示影像。在图3所示的示例中，在显示影像的中央影像部分示出表示车辆的影像(车辆影像)。可以使用预先形成并存储在预定存储器(以下将描述的车辆影像存储部115)中的车辆影像。通过将车辆影像布置在中央影像部分，并将由摄像机10获取的影像布置在其他影像部分，来获得显示影像。由摄像机10获取的影像经过适当的预处理(例如，坐标变换、畸变矫正以及透视矫正)，由此将获取的影像转换为路面的俯视影像(从上方观察的影像(即，鸟瞰影像))。然后，在显示器20上显示俯视影像。在图3中，每个阴影部分均示出了从上方观察的路面以及路面上的物体。通过合适地布置由摄像机10FR或10RR在先前获取的先前影像来生成位于图3的车辆侧面的影像部分R3。例如，当车辆前进时，影像部分R3被由前方摄像机10FR在先前获取的先前影像覆盖。当车辆后倒时，影像部分R3被由后方摄像机10RR在先前获取的先前影像覆盖。以下将详细描述显示先前影像的方式。因此，能够生成围绕在车辆的各个方向上的区域的影像，而无需将摄像机设置在车辆的侧部。因此，乘车人可判定围绕在车辆的各个方向上的路面的状况以及道路上物体的状况(例如，道路上的划线以及障碍物的位置)。
图4是示出根据本实施例的影像合成装置100的主要功能的功能框图。影像合成装置100的硬件结构主要包括微计算机。即，影像合成装置100包括CPU、存储器(例如，ROM、RAM及EEPROM)、计时器、计数器以及输入/输出界面等。CPU根据预定执行程序执行处理。存储器存储由CPU执行的执行程序、影像数据以及计算的结果等。通过数据总线将CPU、存储器以及输入/输出界面彼此连接。通过可由CPU访问的存储器以及由CPU执行的程序来实现影像合成装置100的一部分(将在以下描述)。
根据本实施例的影像合成装置100包括俯视影像转换部112、车辆影像存储部115、先前影像存储部116以及影像合成部120。根据本发明，先前影像存储部116被视为“存储部”，而影像合成部120被视为“显示影像生成部”。
影像合成装置100经由诸如CAN(控制器局域网络)的通信线路实时接收必要的信息。上述信息可包括从诸如车速传感器、横摆率传感器及转向角传感器的传感器输出的信息，以及从诸如停车辅助ECU的ECU传输的信息。
影像合成装置100经由通信线路实时接收由摄像机10FR及10RR获取的影像。可以合适的帧速将影像以流格式(stream format)传输至影像合成装置100。如图3所示，影像合成装置100通过进行将在以下描述的处理而在各个帧中生成显示影像。因此，每次当帧改变时都对显示在显示器20上的显示影像进行更新(即，显示器20上的显示影像是活动的)。
俯视影像转换部112进行诸如坐标变换的适当的预处理，由此将由摄像机10FR及10RR获取的影像转换为俯视影像(从上方观察的路面的影像(即，鸟瞰影像))。根据摄像机10FR及10RR的瞄准线的已知方向以及摄像机10FR及10RR所设置的已知位置来适当地设定坐标变换公式。将由俯视影像转换部112生成的俯视影像供应至影像合成部120，并供应至先前影像存储部116。
先前影像存储部116存储并保留由俯视影像转换部112生成的俯视影像作为先前影像。每个先前影像均设置涉及获取先前影像时的时间点的信息(即，时间标志)。然后，将每个先前影像存储在先前影像存储部116中。因此，影像合成部120(随后描述)可判定获取存储在先前影像存储部116中的各个先前影像时的时间点。先前影像存储部116可根据FIFO(先进先出)方法仅保留在当前时间点之前预定时间点之后获取的先前影像以有效地使用存储容量。
如图3所示，车辆影像存储部115对待布置在显示影像的大致中央影像部分中的车辆影像进行存储。如图3所示，车辆影像示意性地表示车辆的俯视图像。
影像合成部120通过将在当前帧周期期间获取的最新俯视影像(当前影像)与在最近帧周期期间或在最近帧周期之前获取的、并存储在先前影像存储部116中的先前影像进行结合来合成显示影像。
在根据摄像机10FR及10RR的瞄准线的已知方向，以及摄像机10FR及10RR所设置的已知位置等适当地确定的固定位置来示出当前影像。需要根据车辆运动来改变示出先前影像的位置。因此，根据车辆从获取先前影像的时间点运动到当前时间点的方式来合适地确定示出先前影像的位置。
例如，影像合成部120根据来自车速传感器的信号判定从先前影像获取位置到车辆当前位置的运动距离β。此外，影像合成部120根据来自转向角传感器及车速传感器的信号，计算在从获取先前影像时的时间点至当前时间点的期间内车辆方向的改变量(以下将该改变量称为“偏向角α”)。当偏向角α为正值时，偏向角α表示车辆在顺时针方向转向。当偏向角α为负值时，偏向角α表示车辆在逆时针方向转向。根据下述等式(1)来大致计算偏向角α。在等式(1)中，“ds”表示车辆运动的较短距离，而“γ”表示道路曲率(其等于车辆转向半径的倒数)。利用等式(1)来计算偏向角α，偏向角α是当车辆运动β米的距离时车辆方向的改变量。
α = ∫ - β 0 γ · ds . . . ( 1 )
通过改变等式(1)而获得等式(2)。每次当车辆运动预定距离(在本实施例中为0.5米)时，影像合成部120就计算小偏向角αi。此外，根据等式(2)，影像合成部120通过将小偏向角α1至αk相加来计算偏向角α。
α = Σ i = 1 k α i , α i = ∫ - 0.5 0 γ · ds . . . ( 2 )
通过对来自车速传感器的信号输出(即，轮速脉冲)进行时间积分来监控车辆是否运动了预定距离(在本实施例中为0.5米)。根据从转向角传感器获得的转向角Ha来确定道路曲率γ。例如，根据等式γ＝Ha/L×η来计算道路曲率γ。在该等式中，L表示轴距长度，而η表示车辆的总传动比(即，转向角Ha与车轮转角的比率)。可以通过将每次车辆运动0.01米的较短距离时获得的道路曲率γ乘以0.01米的较短距离，然后在车辆运动0.5米的距离时对乘法获得的结果值进行积分来计算小偏向角αi。可以根据预先在每个车辆中获得的关系数据来制作表明道路曲率γ与转向角Ha之间关系的图，可将该图存储在可由影像合成装置100访问的存贮器中。
在该情况下，影像合成部120根据以上述方式确定的运动距离β来相对于当前影像示出的位置确定示出先前影像的位置。此外，影像合成部120根据以上述方式确定的偏向角α来确定先前影像的取向方向(即，先前影像的旋转角度)。用来确定示出先前影像的位置的方法以及用来确定先前影像取向方向的方法不限于上述方法。可以根据基于影像识别结果而提取的特征点的位置或方向来确定示出先前影像的位置以及先前影像的取向方向。或者，可以利用其他传感器(例如，横摆率传感器)来确定示出先前影像的位置以及先前影像的取向方向。
然后参考图4至图8，将描述根据本实施例影像合成部120生成显示影像的方式。以下，作为示例，将描述影像合成部120生成用于在停车辅助时提供后视辅助的显示影像的方式。
图5是平面图，示意性地示出车辆周边区域的示例，该车辆处于车辆开始后倒以停车的位置(该位置在以下被称为“停车开始位置”)。图5示出了设置有根据本实施例的车辆周边监控***70的车辆(主车辆)开始后倒进入由框线界定的停车区域的情况。另一车辆X在该车辆的右后方。脚踏车停放在停车区域中。根据图5中的虚线，车辆从图5所示的位置后倒。
图6示意性地示出了在图5所示的时间点(即，当车辆开始后倒以停车的时间点(在以下被称为“停车开始时间点”))生成的显示影像(合成影像)。在该示例中，影像合成装置100利用由后方摄像机10RR为提供后视辅助而获取的影像(当前影像以及先前影像)生成显示影像。因此，图6中的显示影像中示出后方区域的影像部分大于图3中显示影像中的影像部分。
如图6所示，可在显示影像中示出边界线T。边界线T界定了示出当前影像的影像部分R1。因此，使用者可容易地识别由边界线T界定的影像部分是相关于显示影像中的当前影像，因此影像部分中由边界线T界定的影像为实时影像。
如图5所示，因为在停车开始时间点在后方摄像机10RR的视野中存在另一车辆X，故在影像部分R1中，根据当前影像，将另一车辆X的影像示于显示影像中车辆影像的右后方的位置。尽管在图5中示出了另一车辆X的示意性影像，但另一车辆X的实际影像是逼真的(脚踏车的实际影像(在以下描述)也是逼真的)。因此，使用者可容易地识别在上述车辆右后方存在另一车辆X。
例如，在图6所示的示例中，位于车辆影像两侧的整个影像部分R3为白色，即，影像部分3类似于因为过度曝光而变白的部分。换言之，在影像部分R3中实际上未示出任何影像。这表示如图5所示当车辆向前运动至停车开始位置时未获取车辆两侧的区域的影像(即，不存在车辆两侧的区域的先前影像)。但是，如果当车辆向前运动至停车开始位置时前方摄像机10FR获取了车辆两侧的区域的影像，则可根据类似于用于示出先前影像的方法的方法(将在以下描述)，利用由前方摄像机10FR获取的先前影像，在车辆影像两侧的影像部分R3中示出影像。
图7是平面图，示意性地示出了在车辆后倒时位于特定位置的车辆周边区域的示例(以下该位置被称为“停车过程位置”)。如图7所示，另一车辆X(其在车辆开始后倒时在车辆右后方(参考图5))已经运动至后方摄像机10RR的视野之外，然后已经向右侧运动。
图8示意性地示出了在车辆后倒时于特定时间点(以下该时间点被称为“停车过程时间点”)生成的显示影像(合成影像)。在图7所示的停车过程时间点，停放的脚踏车位于后方摄像机10RR的视野内。因此，根据当前影像，在影像部分R1中，在显示影像中车辆影像后方的位置示出了停放脚踏车的影像。因此，使用者可容易地识别脚踏车现在停放在车辆后方。根据由后方摄像机10RR在从停车开始时间点至停车过程时间点期间获取并存储在先前影像存储部116中的至少一个先前影像，在影像部分R3中于显示影像中车辆影像的两侧示出了车辆两侧区域的影像。当影像合成部120在影像部分R3中利用复数个先前影像来示出影像时，复数个先前影像会彼此部分地重叠。在此情况下，在最前面示出复数个先前影像中的最新影像，并适当地修整其他先前影像。即，复数个先前影像中的最新影像覆盖在其他先前影像上。因此，利用复数个先前影像在影像部分R3中示出了无缝影像。
在图8所示的示例中，利用在不同时间点获取的四个先前影像示出影像部分R3中的位于车辆影像两侧的影像。在图8中，利用在时间点t1获取的先前影像示出的影像G1被显示在影像部分R3d中，利用在时间点t2获取的先前影像示出的影像G2被显示在影像部分R3c中，利用在时间点t3获取的先前影像示出的影像G3被显示在影像部分R3b中，而利用在时间点t4获取的先前影像示出的影像G4被显示在影像部分R3a中。在该示例中，停车开始时间点为t0，而图7所示的停车过程时间点(当前时间点)为时间点t5。时间点之间的关系由公式t0＜t1＜t2＜t3＜t4＜t5表示。
图8利用阴影颜色示意性地示出了显示影像的对比度。如图8所示，根据获取先前影像(用于在影像部分中示出影像G1至G4)的时间点，影像合成部120使得影像G1至G4的对比度不相同。例如可通过修正对比度过滤器或色调曲线来修正对比度。
具体而言，如图8所示，影像合成部120利用影像部分R3a中的最新先前影像以最高对比度L4示出影像G4。影像G4的对比度L4低于根据当前影像示出影像的影像部分R1的对比度(即，标准对比度)。影像合成部120分别利用影像部分R3b、R3c及R3d中的先前影像示出影像G3至G1，使得随着先前影像越来越陈旧，对比度逐渐从L3降低至L1。因此，影像合成部120利用影像部分R3d中最陈旧的先前影像以最低对比度L1示出影像G1。因此，生成显示影像使得对比度逐级地从影像G4的对比度L4降低至影像G1的对比度L1。
其中影像是利用先前影像示出的影像部分的可靠性会随着时间经过而降低。因此，其中影像是利用很久以前获取的先前影像示出的影像部分的可靠性会与其中影像是利用刚刚获取的先前影像示出的影像部分的可靠性有极大的差异。因此，不希望以相同的方式显示在不同时间点获取的先前影像，因为这样会使使用者不能判定可靠性。
但是，如上所述，根据本实施例，当通过将先前影像与当前影像结合来合成显示影像时，根据在获取每个先前影像之后经过的时间来改变每个影像部分的对比度。因此，使用者可容易地判定由每个先前影像提供的信息的可靠性。此外，根据本实施例，随着获取先前影像之后经过的时间的增加，对比度降低，即，可见度减低。因此，可以根据可靠性减低的程度来显示每个先前影像。例如，在图8的示例中，在影像部分R3d中示出了实际上并不存在的另一车辆X的影像G1。但是，因为影像G1的对比度L1最低，且影像G1的可见度最低，故使用者会看到另一车辆X的模糊影像。因此，使用者可认识到另一车辆X的影像的可靠性较低。在利用先前影像在影像部分中示出的影像G1至G4的对比度中，利用最新先前影像在影像部分R3a中示出的影像G4的对比度L4最高。因此，使用者可相对容易地直观识别在影像G4中示出的物体。在该示例中，当使用者看到影像G4时，使用者可直观并容易地识别界定出停车区域的水平线与车辆后部之间的位置关系。
此外，在本实施例中，根据在获取特定先前影像之后经过的时间来降低其中在复数个帧中的每个显示影像中示出的特定先前影像的影像部分的对比度。因此，可以与其中人类记忆随着时间消失的方式类似的方式来生成复数个帧中的显示影像。例如，车辆可无需停止而以恒定的速度后倒。在此情况下，以以下方式示出先前影像，该先前影像示出另一车辆X，并且用于在影像部分中示出影像G1。在时间点t1，以标准对比度示出作为影像部分R1中当前影像的影像。在时间点t2，以低于标准对比度的对比度L4在影像部分R3a中示出先前影像(参考图8)。在时间点t3，以低于对比度L4的对比度L3在影像部分R3b中示出先前影像。在时间点t4，以低于对比度L3的对比度L2在影像部分R3c中示出先前影像。在时间点t5，以低于对比度L2的对比度L1在影像部分R3d中示出先前影像(等于图8中的影像G1)。即，其中在每个显示影像中示出先前影像的影像部分的对比度从时间点t1至时间点t5逐渐降低。因此，可以与其中使用者关于另一车辆的记忆随时间消失的方式类似的方式来降低另一车辆X的影像的对比度。
在本实施例中，如果车辆在停车过程时间点临时停止，则根据不断供应的当前影像，在影像部分R1中保持具有标准对比度的影像。随着时间逐渐降低与先前影像相关的影像部分R3的对比度。例如，当车辆停止时，随着时间将影像部分R3a的对比度(时间点t5的对比度L4)从对比度L4逐渐降低至对比度L1。如果时间进一步经过，可将影像部分R3a的对比度保持在对比度L1。或者，影像部分R3a的对比度可以降低至零。在此情况下，如图6所示，其中利用先前影像示出影像的影像部分R3类似于由于过度曝光而变白的部分。
在参考图8描述的示例中，使用在不同时间点获取的四个先前影像。但是，根据其中车辆运动以及帧循环等的方式来适当地确定所使用的先前影像的数量。可以利用一个先前影像及当前影像，或者利用五个或更多先前影像及当前影像来生成显示影像。
二.第二实施例
第二实施例主要在设置摄像机的方式上以及在使用先前影像的方式上不同于第一实施例。在以下描述中，以相同参考标号来表示与第一实施例具有相同结构的部分，并省去对其的描述。
图9是平面图，示出了其中设置摄像机10的方式的示例以及其影像由摄像机10获取的区域的示例。如图9所示，分别在车辆的前部、侧部及后部中设置了四个摄像机10FR、10SL、10SR及10RR。与第一实施例中类似，每个摄像机10FR、10SL、10SR及10RR均为具有鱼眼透镜的广角摄像机。
如图9示意性所示，在左侧反光镜中设置左侧摄像机10SL来获取包括车辆左侧的路面在内的周边区域的影像。如图9示意性所示，在右侧反光镜中设置右侧摄像机10SR来获取包括车辆右侧的路面在内的周边区域的影像。
图9示意性地示出了其影像由摄像机10获取的区域的示例。在图9所示的示例中，每个摄像机10均为广角摄像机。其影像由每个摄像机10获取的区域以扇形示出。在图9中，通过阴影来强调其影像由前方摄像机10FR获取的成像区域Rf以及其影像由右侧摄像机10SR获取的成像区域Rs。如图9所示，每个成像区域可包括与其他成像区域重叠的至少一个区域(例如，图9中的区域Rsf)。因此，在图9所示的示例中，四个摄像机10FR、10SL、10SR及10RR彼此配合来获取车辆的整个周围的风景的影像。因此，乘车人可判定路面的状况以及在围绕车辆的各个方向上道路上物体的状况(例如，道路上的划线以及障碍物的位置)。对于其中成像区域彼此重叠的区域的最终显示影像(例如，图9中的区域Rsf)，可通过利用成像区域的影像中所选择的一个影像或者通过配合方式利用两者成像区域中的影像来生成。
图10是功能框图，示出了根据第二实施例的影像合成装置100’的主要功能。影像合成装置100’的硬件配置主要包括微计算机。即，影像合成装置100’包括CPU、存储器(例如，ROM、RAM及EEPROM)、计时器、计数器以及输入/输出界面等。CPU根据预定执行程序执行处理。存储器存储由CPU执行的执行程序、影像数据以及计算的结果等。通过数据总线将CPU、存储器以及输入/输出界面彼此连接。通过可由CPU访问的存储器以及由CPU执行的程序来实现影像合成装置100’的一部分(将在以下描述)。
根据本实施例的影像合成装置100’包括俯视影像转换部112、车门状态判定部114、车辆影像存储部115’、先前影像存储部116’以及影像合成部120’。根据本发明，先前影像存储部116’被视为“存储部”，而影像合成部120’被视为“显示影像生成部”。
影像合成装置100’经由诸如CAN(控制器局域网络)的通信线路实时接收必要的信息。上述信息可包括从车速传感器获得的车速信息以及将在以下描述的车门状态判定处理所需的信息(例如，来自车门开关30的开/关信号)。影像合成装置100’经由通信线路实时接收由摄像机10FR、10SL、10SR及10RR获取的影像。可以合适的帧速将影像以流格式(stream format)传输至影像合成装置100’。影像合成装置100’通过进行将在以下描述的处理而在各个帧中生成显示影像。因此，每次当帧改变时都对显示在显示器20上的显示影像进行更新(即，显示器20上的显示影像是活动的)。
车门状态判定部114判定设置有左右侧摄像机10SL及10SR的车门是否处于打开状态或关闭状态。具体而言，车门状态判定部114至少判定设置有左侧摄像机10SL的左前车门是否处于打开状态或关闭状态，以及设置有右侧摄像机10SR的右前车门是否处于打开状态或关闭状态。车门状态判定部114可判定可被打开/关闭的全部车门的每一个是否处于打开状态或关闭状态。
例如，车门状态判定部114可根据来自通常设置在车门中的车门开关30(即，用于报警的开关，其在车门打开时输出开信号)的输出来判定每个车门是否处于打开状态或关闭状态。
或者，车门状态判定部114可根据由左右侧摄像机10SL及10SR获取的影像来判定车门是否处于打开状态或关闭状态，因为左右侧摄像机10SL及10SR的瞄准线(光轴)根据车门的打开/关闭状态而改变，故根据车门的打开/关闭状态，物体的位置或方向在由左右侧摄像机10SL及10SR获取的影像中改变。例如，车门状态判定部114对由左右侧摄像机10SL及10SR获取的影像进行边缘处理等，由此提取相关于特定物体的特征点(例如，相关于道路上的划线的特征点)。然后，车门状态判定部114监控当帧改变时相关于特定物体的特征点的位置或方向改变的方式。即使车辆的位置还未改变，但当相关于特定物体的特征点的位置或方向已经改变时，则车门状态判定部114就判定车门是打开或是关闭。
车辆影像存储部115’存储布置在显示影像的大致中央部分中的车辆影像。可以准备示出车门的打开/关闭状态的不同组合的复数个车辆影像。即，例如可以模板形式准备并存储示出全部车门均处于关闭状态的车辆影像，示出左前车门处于打开状态的车辆影像，示出右前车门处于打开状态的车辆影像，以及示出左前车门及右前车门处于打开状态的车辆影像等。
当车门状态判定部114根据判定结果判定车门处于关闭状态时，先前影像存储部116’存储并保留由左右侧摄像机10SL及10SR获取的侧面影像。先前影像存储部116’无需存储如上所述随时间持续供应的全部侧面影像。当车门处于关闭状态时，先前影像存储部116’可以仅存储并保持由左右侧摄像机10SL及10SR获取的最新侧面影像。即，当在当前帧循环中车门状态判定部114判定车门处于关闭状态时，就删除先前存储的侧面影像(即，在最新帧循环中或在最新帧循环之前获取的侧面影像)，并可存储并保持在当前帧循环中获取的侧面影像。例如，当车门状态判定部114判定右前车门打开时，先前影像存储部116’不存储或保持随后由右侧摄像机10SR获取的影像，尽管可以在其他存储部分中临时存储由右侧摄像机10SR获取的影像。如下所述，由影像合成部120’使用以上述方式存储在先前影像存储部116中的侧面影像。俯视影像转换部112对由左右侧摄像机10SL及10SR获取的影像进行适当的预处理以将获取的影像转换为车辆两侧的路面的俯视影像(从上方观察的影像)。然后，先前影像存储部116’存储俯视影像。
当车门状态判定部114判定车门处于关闭状态时，影像合成部120’根据由摄像机10FR、10SL、10SR及10RR获取并当每次帧改变时持续供应的影像生成并更新显示影像。具体而言，影像合成部120’读取存储在车辆影像存储部115’中的“示出全部车门均处于关闭状态的车辆影像”。然后，影像合成部120’在显示影像的中央影像部分示出车辆影像。此外，影像合成部120’在围绕显示影像中车辆影像的合适影像部分中示出由摄像机10FR、10SL、10SR及10RR获取的影像。由此生成显示影像。根据当车门处于关闭状态时其影像由摄像机10FR、10SL、10SR及10RR获取的成像区域，预先确定其中示出由摄像机10FR、10SL、10SR及10RR获取的影像的位置(部分)(参考图9)。在显示器20上显示以上述方式生成的显示影像。
当车门状态判定部114判定右前及左前车门中至少一者处于打开状态时，影像合成部120’通过组合在当前帧循环中获取最新俯视影像(即，当前影像)以及在最近帧循环中或在最近帧循环之前获取并存储在先前影像存储部116’中的至少一个先前影像来合成显示影像。
图11示意性地示出了在判定右前及左前车门中至少一者处于打开状态时的时间点生成的显示影像。作为示例，图11示出了当右前车门处于打开状态时生成的显示影像。
如本实施例中，当设置有右侧摄像机10SR的右前车门打开时，右侧摄像机10SR的瞄准线的方向改变。因此，直到右前车门关闭为至，随后便不能获取右前车门后方区域的影像。即，右前车门后方区域变为“盲区”。因此，当右前车门处于图11所示的打开状态时，如果仅使用由右侧摄像机10SR获取的当前影像，就不能够在显示影像中车辆影像右侧的影像部分R3r中示出合适的影像。
但是，在本实施例中，使用了右前车门后方的先前影像。即，当车门状态判定部114判定右前车门处于打开状态时，影像合成部120’读取存储在车辆影像存储部115’中的“示出右前车门处于打开状态的车辆影像”。然后，影像合成部120’在显示影像的中央影像部分中示出车辆影像。此外，影像合成部120’分别在显示影像的前、左及后侧影像部分中示出由摄像机10FR、10SL以及10RR获取的影像。此外，影像合成部120’在位于显示影像中的车辆影像右侧的影像部分中示出先前影像。由此生成显示影像。如上所述，上述先前影像是当右前车门处于关闭状态时获取的最新影像(即，在右前车门马上就要打开之前获取的影像)。因此，在从获取该先前影像的时间点直至当前时间点(即，车门打开的时间点)期间，右前车门后方区域(盲区)的情况不太可能会有很大的改变。因此，因为利用了盲区的先前影像对显示影像做了补充，故在提供右侧摄像机10SR不能获取的盲区的影像的同时，显示影像可向使用者提供极其可靠的信息。
与第一实施例类似，第二实施例中的影像合成部120’根据车门打开之后经过的时间来降低先前影像的对比度。即，将其中在判定车门打开时的时间点最初示出先前影像的影像部分的对比度设定为较高的值(例如，第一实施例中的对比度L4)。然后，在车门保持打开的同时，根据经过的时间逐渐降低示出先前影像的影像部分的对比度。如上所述，这是因为由先前影像提供的信息的可靠性随着时间经过而降低。因此，可以根据可靠性的降低来显示先前影像。此外，根据在获取特定先前影像之后经过的时间来逐渐降低其中在复数个帧中的每个显示影像中示出特定先前影像的影像部分的对比度。因此，可以与人类记忆随时间逐渐消失的方式类似的方式来生成在复数个帧中的显示影像。
在本实施例中，例如，当未设置有摄像机10的车门(例如，后车门)打开，且打开的后车门会干扰摄像机10的视野由此产生盲区时，可以使用盲区的先前影像。在此情况下，影像合成部120’也根据车门打开之后经过的时间来降低先前影像的对比度。
尽管已经详细描述了本发明的示例性实施例，但本发明并不限于上述实施例。不脱离本发明的精神可以进行各种改变及替换。
例如，在上述实施例每一者中，影像合成部120(120’)可修正对比度或锐度，由此根据经过时间减低相关于先前影像的影像部分的可见度。但是，除了修正对比度或锐度之外，可替代地，或额外地，影像合成部120(120’)例如可通过灰度校正来提高或降低先前影像的亮度或辉度，由此根据经过的时间来降低与先前影像相关的影像部分的可见度。例如，影像合成部120(120’)可修正对比度及亮度，由此根据经过的时间来降低可见度直至影像部分变白(或变黑)。此外，只要可通过改变诸如色调及色彩的其他参数来改变可见度，就可以使用这些参数。

Claims (16)

1.一种车辆周边监控***，在所述车辆周边监控***中显示所述车辆周边区域的影像，所述车辆周边监控***的特征在于包括：
影像获取装置(10)，用于获取至少一部分所述车辆周边区域的影像；
存储装置(116；116’)，用于存储由所述影像获取装置(10)获取的所述影像；
显示影像生成装置(120；120’)，用于利用由所述影像获取装置(10)获取的最新的影像以及在获取所述最新影像之前获取的先前影像，来生成显示用合成影像；以及
在其上显示所述合成影像的显示装置(20)，其中所述显示影像生成装置(120；120’)根据从获取所述先前影像的时间点到当前时间点经过的时间随着所经过的时间变长来降低与所述先前影像相关的影像部分的可见度。
2.根据权利要求1所述的车辆周边监控***，其中，所述显示影像生成装置(120；120’)利用在不同时间点获取的复数个先前影像来生成所述合成影像。
3.根据权利要求1或2所述的车辆周边监控***，其中，当所述显示影像生成装置(120；120’)利用特定先前影像在复数个帧中生成所述合成影像时，所述显示影像生成装置(120；120’)根据在获取所述特定先前影像之后经过的时间来逐渐降低与所述复数个帧中每个所述合成影像中的所述特定先前影像相关的影像部分的可见度。
4.根据权利要求1所述的车辆周边监控***，其中，所述显示影像生成装置(120；120’)通过修正对比度及亮度中至少一者来降低与所述先前影像相关的所述影像部分的可见度。
5.根据权利要求1所述的车辆周边监控***，还包括，
车辆影像存储装置(115；115’)，其用于预先存储车辆影像，其中存储在所述车辆影像存储装置(115；115’)中的所述车辆影像被叠加在所述合成影像中，并显示在所述显示装置(20)上。
6.根据权利要求1所述的车辆周边监控***，还包括，
俯视影像转换装置(112)，其用于通过进行预处理而将由所述影像获取装置(10)获取的所述影像转换为上空影像，其中所述存储装置(116；116’)对由所述俯视影像转换装置(112)通过进行所述预处理将所述影像转换得到的所述俯视影像进行存储。
7.根据权利要求6所述的车辆周边监控***，其中，
由所述俯视影像转换装置(112)进行的所述预处理包括坐标变换、畸变矫正以及透视矫正中至少一者。
8.根据权利要求1所述的车辆周边监控***，其中，
当所述车辆周边区域的特定部分的影像未被包含在与所述最新影像相关的影像部分中时，就使用所述特定部分的先前影像。
9.根据权利要求1所述的车辆周边监控***，其中，
设置复数个所述影像获取装置(10)；并且
当由所述复数个影像获取装置(10)获取的影像彼此部分地重叠时，所述复数个影像获取装置(10)就彼此配合获取所述影像。
10.根据权利要求1所述的车辆周边监控***，还包括，
车门状态判定装置(114)，用于判定所述车辆的至少一个车门的打开/关闭状态，其中：
所述影像获取装置(10)配置在所述至少一个车门中；并且
所述存储装置(116；116’)根据所述至少一个车门的打开/关闭状态来存储由配置在所述至少一个车门中的所述影像获取装置(10)获取的影像。
11.根据权利要求10所述的车辆周边监控***，其中，
所述车门状态判定装置(114)通过对当帧改变时由配置在所述至少一个车门中的所述影像获取装置获取的影像的改变方式进行监控来判定所述至少一个车门的打开/关闭状态。
12.根据权利要求10所述的车辆周边监控***，还包括，
车辆影像存储装置(115；115’)，用于预先存储表明所述至少一个车门的不同打开/关闭状态的复数个车辆影像，其中根据由所述车门状态判定装置(114)进行的判定来从所述车辆影像存储装置(115；115’)读取所述复数个车辆影像中的车辆影像。
13.一种车辆周边监控方法，其中显示所述车辆周边区域的影像，所述车辆周边监控方法的特征于包括：
获取至少一部分所述车辆周边区域的影像；
存储所获取的影像；
利用获取的最新影像以及在获取所述最新影像之前获取的先前影像来生成合成影像；
显示所述合成影像；并且
根据从获取所述先前影像的时间点到当前时间点经过的时间随着所经过的时间变长来降低与所述先前影像相关的影像部分的可见度。
14.根据权利要求13所述的车辆周边监控方法，其中，利用在不同时间点获取的复数个先前影像来生成所述合成影像。
15.根据权利要求13或14所述的车辆周边监控方法，其中，当利用特定先前影像在复数个帧中生成所述合成影像时，根据在获取所述特定先前影像之后经过的时间来降低与所述复数个帧中每个所述合成影像中的所述特定先前影像相关的影像部分的可见度。
16.根据权利要求13所述的车辆周边监控方法，其中，通过修正对比度及亮度中至少一者来降低与所述先前影像相关的所述影像部分的可见度。
CN200710090485.8A 2006-04-12 2007-04-12 车辆周边监控***及车辆周边监控方法 Expired - Fee Related CN101055176B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006-110262 2006-04-12
JP2006110262 2006-04-12
JP2006110262A JP4321543B2 (ja) 2006-04-12 2006-04-12 車両周辺監視装置

Publications (2)

Publication Number Publication Date
CN101055176A CN101055176A (zh) 2007-10-17
CN101055176B true CN101055176B (zh) 2013-08-14

Family

ID=38514874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710090485.8A Expired - Fee Related CN101055176B (zh) 2006-04-12 2007-04-12 车辆周边监控***及车辆周边监控方法

Country Status (4)

Country Link
US (1) US8009869B2 (zh)
JP (1) JP4321543B2 (zh)
CN (1) CN101055176B (zh)
DE (1) DE102007017038B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875613B2 (en) 2020-03-19 2024-01-16 Toyota Motor North America, Inc. Motion-based transport assessment

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195629A1 (en) 2004-03-02 2005-09-08 Leddige Michael W. Interchangeable connection arrays for double-sided memory module placement
DE102008060684B4 (de) * 2008-03-28 2019-05-23 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs
FR2929196B1 (fr) * 2008-03-31 2010-04-30 Imra Europ Sas Assistant de manoeuvre avec affichage a realite augmentee
GB2469438B (en) * 2009-03-09 2014-04-09 Applic Solutions Electronics & Vision Ltd Display movement of an object
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
JP5299688B2 (ja) * 2009-06-03 2013-09-25 アイシン精機株式会社 車両周辺監視方法及び車両周辺監視装置
TW201100279A (en) * 2009-06-23 2011-01-01 Automotive Res & Testing Ct Composite-image-type parking auxiliary system
DE102009028832A1 (de) * 2009-08-24 2011-03-03 Robert Bosch Gmbh Verfahren zur Kennzeichnung historischer Daten in Fahrzeugumgebungskarten
US8339253B2 (en) * 2009-09-08 2012-12-25 GM Global Technology Operations LLC Methods and systems for displaying vehicle rear camera images in different modes
US20110157426A1 (en) * 2009-12-30 2011-06-30 Altek Corporation Video processing apparatus and video processing method thereof
JP5397697B2 (ja) * 2010-03-12 2014-01-22 アイシン精機株式会社 画像制御装置
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
CA2741510A1 (en) * 2010-05-26 2011-11-26 James H. Lacey Door mountable camera surveillance device and method
DE102010062254B4 (de) * 2010-12-01 2024-05-02 Robert Bosch Gmbh Verfahren zur Darstellung einer mittels Sensoren erfassten Umgebung und Vorrichtung zur Darstellung einer von fahrzeuggestützten Sensoren erfassten Umgebung
CN102646434B (zh) * 2011-02-18 2015-03-18 倚强科技股份有限公司 影像存储装置与影像纪录器
KR101803973B1 (ko) * 2011-05-09 2017-12-01 엘지이노텍 주식회사 주차용 카메라 시스템과 그의 구동 방법
US10019841B2 (en) 2011-05-18 2018-07-10 Magna Electronics Inc. Driver assistance systems for vehicle
JP2012244600A (ja) * 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
DE102011077143A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Fahrzeugkamerasystem und Verfahren zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung
WO2012172923A1 (ja) * 2011-06-16 2012-12-20 アイシン精機株式会社 車両周辺監視装置
JP5435307B2 (ja) * 2011-06-16 2014-03-05 アイシン精機株式会社 車載カメラ装置
CN102970460B (zh) * 2011-08-31 2015-08-26 帷享科技有限公司台中分公司 调校车用影像装置的方法及其***
DE102011112578A1 (de) 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
EP2581268B2 (en) 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
FR2985350B1 (fr) * 2012-01-04 2014-01-24 Peugeot Citroen Automobiles Sa Procede de traitement d'image d'une camera embarquee sur un vehicule et dispositif de traitement correspondant
JP5230828B1 (ja) * 2012-02-09 2013-07-10 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
DE102012005400A1 (de) * 2012-03-16 2013-09-19 Connaught Electronics Ltd. Kamerasystem für ein Kraftfahrzeug, Kraftfahrzeug und Verfahren zum Betreiben eines Kamerasystems in einem Kraftfahrzeug
KR20130125111A (ko) * 2012-05-08 2013-11-18 현대모비스 주식회사 어라운드뷰 시스템 및 그 영상 밝기 보정 방법
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
KR101376210B1 (ko) * 2012-08-06 2014-03-21 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법
KR101384332B1 (ko) * 2012-09-06 2014-04-10 현대모비스 주식회사 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
JP6024581B2 (ja) * 2013-04-15 2016-11-16 株式会社デンソー 車両用画像処理装置
DE102013010233B4 (de) * 2013-06-18 2018-08-30 Volkswagen Aktiengesellschaft Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug
DE102013217699A1 (de) * 2013-09-05 2015-03-05 Robert Bosch Gmbh Verfahren zum Manövrieren eines Fahrzeuges
JP6326869B2 (ja) * 2014-03-05 2018-05-23 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
KR101611194B1 (ko) * 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR102159354B1 (ko) * 2014-05-12 2020-09-23 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법
JP6361415B2 (ja) * 2014-09-24 2018-07-25 株式会社デンソー 車両用画像処理装置
DE102014115334A1 (de) * 2014-10-21 2016-04-21 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Parklücke, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102014223941A1 (de) * 2014-11-25 2016-05-25 Robert Bosch Gmbh Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
KR102426631B1 (ko) * 2015-03-16 2022-07-28 현대두산인프라코어 주식회사 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
DE102015204949A1 (de) * 2015-03-19 2016-09-22 Robert Bosch Gmbh Verfahren zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
DE102015208345A1 (de) 2015-05-06 2016-11-10 Robert Bosch Gmbh Fortbewegungsmittel, Fahrerassistenzsystem und Verfahren zur Anzeige eines aus einem ersten und einem zweiten Sensorsignal eines Fahrerassistenzsystems gefügten Bildes
JPWO2017033991A1 (ja) * 2015-08-26 2018-06-14 住友建機株式会社 ショベルの計測装置
EP3393888B1 (en) 2015-12-22 2020-07-15 Continental Automotive Systems, Inc. Wireless capability and display for collision warning of a vehicle-trailer unit
JP6545108B2 (ja) * 2016-01-14 2019-07-17 アルパイン株式会社 駐車支援装置および駐車支援方法
US10576892B2 (en) 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
CN106204687B (zh) * 2016-07-20 2017-09-12 广州小鹏汽车科技有限公司 一种基于贝塞尔曲线的倒车雷达图实现方法
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
CN107493493B (zh) * 2016-09-23 2019-11-22 宝沃汽车（中国）有限公司 一种车用影像终端、服务器、***及显示方法
KR101949438B1 (ko) 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
US20190333252A1 (en) * 2016-12-07 2019-10-31 Mitsubishi Electric Corporation Display control device, display system, and display control method
JP6737173B2 (ja) * 2016-12-28 2020-08-05 株式会社Ｊｖｃケンウッド 映像生成装置、映像生成システム、映像生成方法およびプログラム
JP6439233B2 (ja) * 2017-03-31 2018-12-19 マツダ株式会社 車両用画像表示装置及び画像処理方法
JP6639444B2 (ja) * 2017-06-07 2020-02-05 本田技研工業株式会社 情報提供装置及び情報提供方法
JP6271068B1 (ja) * 2017-06-22 2018-01-31 株式会社ショーワ 障害物検知装置、車両、および、障害物検知システム
JP7006460B2 (ja) * 2018-04-02 2022-01-24 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
GB2573792B (en) * 2018-05-17 2022-11-09 Denso Corp Surround monitoring system for vehicles
EP3598259B1 (en) * 2018-07-19 2021-09-01 Panasonic Intellectual Property Management Co., Ltd. Information processing method and information processing system
DE102018214874B3 (de) 2018-08-31 2019-12-19 Audi Ag Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung
CN109410636A (zh) * 2018-11-01 2019-03-01 云赛智联股份有限公司 一种智能停车场综合管理***
EP3905670A4 (en) * 2018-12-26 2022-08-10 Pioneer Corporation DISPLAY CONTROL DEVICE, METHOD AND PROGRAM
KR102140526B1 (ko) * 2019-04-26 2020-08-04 주식회사 켐트로닉스 어라운드 뷰 장치
DE102019123778A1 (de) * 2019-09-05 2021-03-11 Valeo Schalter Und Sensoren Gmbh Darstellen einer Fahrzeugumgebung zum Bewegen des Fahrzeugs zu einer Zielposition
US11097735B1 (en) 2020-03-19 2021-08-24 Toyota Motor North America, Inc. Transport lane usage
US11720114B2 (en) 2020-03-19 2023-08-08 Toyota Motor North America, Inc. Safety of transport maneuvering
CN113469115B (zh) * 2021-07-20 2024-07-02 阿波罗智联(北京)科技有限公司 用于输出信息的方法和装置
CN113525253B (zh) * 2021-09-15 2021-12-10 大连理工江苏研究院有限公司 一种车载用图像识别装置及方法
JP7388623B1 (ja) * 2022-10-20 2023-11-29 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
KR102605938B1 (ko) * 2022-11-01 2023-11-24 한화시스템 주식회사 병합 프레임의 생성 방법 및 촬영장치
DE102023112476B3 (de) 2023-05-11 2024-04-18 Cariad Se Kameravorrichtung zur Umgebungserfassung, Fahrzeug mit einer derartigen Kameravorrichtung und zugehöriges Betriebsverfahren

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10115425A1 (de) * 2001-03-29 2002-10-17 Siemens Ag Verfahren zum Darstellen von Bildern
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3886376B2 (ja) 2001-12-26 2007-02-28 株式会社デンソー 車両周辺監視システム
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
US7280696B2 (en) * 2002-05-20 2007-10-09 Simmonds Precision Products, Inc. Video detection/verification system
JP2004235965A (ja) 2003-01-30 2004-08-19 Fuji Photo Film Co Ltd 車両走行時画像データ記録システム
JP3961969B2 (ja) 2003-02-27 2007-08-22 株式会社日本自動車部品総合研究所 車両周辺画像処理システム
DE10346482B4 (de) * 2003-10-02 2008-08-28 Daimler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE102004026847A1 (de) * 2004-06-02 2005-12-22 Robert Bosch Gmbh Nachtsichtgerät für Kraftfahrzeuge

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875613B2 (en) 2020-03-19 2024-01-16 Toyota Motor North America, Inc. Motion-based transport assessment

Also Published As

Publication number Publication date
DE102007017038A1 (de) 2007-10-18
DE102007017038B4 (de) 2009-11-12
CN101055176A (zh) 2007-10-17
JP4321543B2 (ja) 2009-08-26
US20080129539A1 (en) 2008-06-05
JP2007288282A (ja) 2007-11-01
US8009869B2 (en) 2011-08-30

Similar Documents

Publication Publication Date Title
CN101055176B (zh) 车辆周边监控***及车辆周边监控方法
US20220250610A1 (en) Vehicular automated parking system
US7983475B2 (en) Vehicular actuation system
JP3972722B2 (ja) 車載画像処理装置
CN106232428B (zh) 车辆的车载图像显示装置和方法及车载图像设置装置
CN105580359B (zh) 预测前进道路提示装置以及预测前进道路提示方法
EP1038734A1 (en) Driving assisting device and recording medium
US20020039136A1 (en) Image processor and monitoring system
EP1148461A2 (en) Driving operation assisting method and system
US8073620B2 (en) On-vehicle display system and display panel control device
KR100488728B1 (ko) 자동차의 2중 노출 카메라 시스템 및 영상 취득방법
WO2005084027A1 (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
JP2010009235A (ja) 画像表示装置
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
JP2009023471A (ja) 車両情報表示装置
JP3769442B2 (ja) 眼の状態検出装置
CN110053616A (zh) 车辆驾驶辅助***和方法
JP2004114709A (ja) 車載画像表示装置
WO2018093541A1 (en) Vehicle display
CN108621954A (zh) 自主车辆中的侧后视镜的控制
CN109835258A (zh) 基于通信的无照明车辆指示
JP2004350303A (ja) 車両の画像処理装置
CN108621953A (zh) 自主车辆中的侧后视镜的控制
CN105346458B (zh) 一种用于车辆的双镜面自动调节外后视镜
JP2007302238A (ja) 車両の画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130814

Termination date: 20200412