WO2017057007A1 - 車両用画像処理装置 - Google Patents
車両用画像処理装置 Download PDFInfo
- Publication number
- WO2017057007A1 WO2017057007A1 PCT/JP2016/077188 JP2016077188W WO2017057007A1 WO 2017057007 A1 WO2017057007 A1 WO 2017057007A1 JP 2016077188 W JP2016077188 W JP 2016077188W WO 2017057007 A1 WO2017057007 A1 WO 2017057007A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- vehicle
- unit
- line
- additional
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
Definitions
- an image processing apparatus that controls a display device to display a camera image like an image reflected on a door mirror is known.
- an image display system 10 that generates an output image Io as shown in FIG.
- the image display system 10 can display an output image Io corresponding to the situation of the vehicle 1.
- the image display system 10 may be incorporated into a system that uses the output image Io to control the vehicle 1, for example, a driving support system or a parking support system.
- the monitor device 24 includes a display unit 24a, an input unit 24b, and an audio output device 24c.
- the display unit 24a is, for example, an LCD (liquid crystal display).
- the audio output device 24c is, for example, a speaker.
- the input unit 24b is transparent and covers the display unit 24a.
- the input unit 24b is, for example, a touch panel. The user can visually recognize an image displayed on the display screen of the display unit 24a via the input unit 24b. Further, the user can perform input by touching, pushing, or moving the input unit 24b with a finger or the like at a position corresponding to the image displayed on the display screen of the display unit 24a. And these display part 24a, input part 24b, audio
- the lane marking detection unit 33 detects a lane marking from image data captured by the imaging unit 12 by image processing.
- the lane markings can be detected by performing image processing on the captured image data, for example, depending on whether the grouped and labeled images satisfy the conditions such as position, size, shape, inclination, and color.
- the sign image Ii1 is, for example, on a flat ground Gr on which the vehicle 1 rides, a line L1 along the vehicle front-rear direction that is a distance D greater than the vehicle width W of the vehicle 1 from the end 2a in the vehicle width direction of the vehicle body 2 (first Line).
- the sign image Ii1 is a band-like region centered on the line L1 along the line L1. In this case, the user can distinguish between the other vehicle 3 that is relatively smaller than the sign image Ii1 and that is relatively less affected than the sign image Ii1.
- the sign image generation unit 34 is an example of an additional image generation unit.
- the sign image Ii is an example of an additional image added to the captured image Ic.
- the sign image Ii1 is an example of a first sign image.
- the variable setting unit 38 can change the marking image Ii included in the output image Io.
- the change of the indication image Ii by the variable setting unit 38 can be performed based on data input by the user's operation of the input units 24b and 10a. Thereby, the sign image Ii selected according to the user's preference is set.
- the variable setting part 38 can change the display image Ii according to the detection result by the sensor and device of the vehicle 1, a signal, data, etc., for example.
- the sensors and devices are, for example, the non-contact measuring device 13, the steering angle sensors 14, 15a, the GPS 16, the brake sensor 18a, the accelerator sensor 19, the torque sensor 20a, the shift sensor 21, and the direction indicator 22.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
Abstract
実施形態の車両用画像処理装置は、例えば、撮影画像に付加される付加画像を生成する付加画像生成部と、撮影画像と付加画像とを含む出力画像を生成する出力画像生成部と、を備え、付加画像は、車両の車幅方向の端部から当該車両の車幅以上離れた車両前後方向に沿う第一の線を示す第一の標示画像を含む。
Description
本発明の実施形態は、車両用画像処理装置に関する。
従来、カメラ画像をドアミラーに映る画像のように表示するよう表示装置を制御する画像処理装置が、知られている。
この種の画像処理装置では、例えば、降雨、積雪等の視界が悪い状況や、区画線のかすれが生じている状況等にあっては、道路の区画線が見え難くなる場合があった。そこで、本発明の実施形態の課題の一つは、例えば、道路の区画線が見え難い状況にあっても、自車と周辺との相対的な位置や距離を把握しやすい出力画像を得ることである。
実施形態の車両用画像処理装置は、例えば、撮影画像に付加される付加画像を生成する付加画像生成部と、上記撮影画像と上記付加画像とを含む出力画像を生成する出力画像生成部と、を備え、上記付加画像は、車両の車幅方向の端部から当該車両の車幅以上離れた車両前後方向に沿う第一の線を示す第一の標示画像を含む。よって、本実施形態によれば、例えば、ユーザは、他車や物体を第一の線と比較することにより、自車と他車や物体との車幅方向の距離を把握しやすくなる。
また、上記車両用画像処理装置は、例えば、道路の区画線を検出する区画線検出部を備え、上記付加画像生成部は、上記区画線検出部によって上記区画線が検出されなかった場合に、上記付加画像として、上記第一の標示画像を生成する。よって、例えば、ユーザは、区画線を視認し難い場合に、他車や物体を第一の線と比較することにより、自車と他車や物体との車幅方向の距離を把握しやすくなる。
また、上記車両用画像処理装置では、例えば、上記付加画像は、車両の車幅方向の端部と上記第一の線との間で車両前後方向に沿った第二の線を示す第二の標示画像を含む。よって、例えば、ユーザは、他車や物体を第一の線および第二の線と比較することにより、自車と他車や物体との車幅方向の距離をより一層把握しやすくなる。
また、上記車両用画像処理装置では、例えば、上記付加画像は、車両の車幅方向に位置して車両前後方向に延びる帯状の領域を示す第三の標示画像を含む。よって、例えば、ユーザは、他車や物体を帯状の領域と比較することにより、自車と他車や物体との車幅方向の距離を把握しやすくなる。
また、上記車両用画像処理装置では、例えば、上記付加画像は、車両から所定距離以内に位置する物体を示す第一の付加画像を含む。よって、例えば、ユーザは、第一の付加画像により、自車に近い物体の存在を把握しやすくなる。
以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。
また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。
図1は、画像表示システムの例示的な概略構成図である。図1に示されるように、車両1に装備される画像表示システム10は、ECU11(electronic control unit)を備えている。ECU11は、撮像部12による撮影画像を画像処理して出力画像を生成する。ECU11は、出力画像が表示されるよう、表示部24aを制御する。ECU11は、画像処理装置あるいは表示制御部の一例である。
<画像表示システム>
まずは、図4以降に示されるような出力画像Ioを生成する画像表示システム10について説明する。画像表示システム10は、車両1の状況に応じた出力画像Ioを表示することができる。画像表示システム10は、出力画像Ioを車両1の制御に利用するシステム、例えば、走行支援システムや、駐車支援システムに組み込まれてもよい。
まずは、図4以降に示されるような出力画像Ioを生成する画像表示システム10について説明する。画像表示システム10は、車両1の状況に応じた出力画像Ioを表示することができる。画像表示システム10は、出力画像Ioを車両1の制御に利用するシステム、例えば、走行支援システムや、駐車支援システムに組み込まれてもよい。
図1に示されるように、画像表示システム10に含まれる装置や電気部品は、例えば、車内ネットワーク23を介して電気的にあるいは通信可能に接続される。装置や電気部品は、例えば、非接触計測装置13や、舵角センサ14、舵角センサ15a、GPS16、車輪速センサ17、ブレーキセンサ18a、アクセルセンサ19、トルクセンサ20a、シフトセンサ21、方向指示器22、入力部24b等である。車内ネットワーク23は、例えば、CAN(controller area network)である。なお、各電気部品は、CAN以外を介して電気的にあるいは通信可能に接続されてもよい。
撮像部12は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部12は、所定のフレームレートで画像データすなわち動画データを出力することができる。
図2は、撮像部12による撮像範囲の一例が示された平面図である。図2に例示されるように、車体2には、車外を撮像する撮像部12が、車体2の前部、右側の側部、左側の側部、および後部のそれぞれに、設けられている。車体2の前部に設けられる撮像部12は、例えば、フロントグリルに設けられうる。車体2の左右の側部に設けられる撮像部12は、例えば、ドアミラーに設けられうる。車体2の後部に設けられる撮像部12は、例えば、リヤハッチに設けられうる。なお、図示されないが、撮像部12は、例えば、車体2の後端部の左右の角部にそれぞれ設けられてもよい。撮像部12は、例えば、広角レンズまたは魚眼レンズである。撮像部12は、車体2(車両1)の周辺の撮影画像のデータを取得する。なお、撮像部12は、三つ以下でも良いし、五つ以上でもよい。また、複数の撮像部12のそれぞれの撮像範囲は異なってもよい。
非接触計測装置13は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等である。ECU11は、非接触計測装置13の検出結果により、車両1の周囲に位置された障害物の有無や障害物までの距離を測定することができる。すなわち、非接触計測装置13は、物体検出部や、測距部とも称されうる。
舵角センサ14は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。また、舵角センサ15aは、後輪の操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。なお、操舵量は、例えば、回転角度として検出される。
GPS16(global positioning system)は、人工衛星から受信した電波に基づいて、現在位置を取得することができる。
車輪速センサ17は、車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ECU11は、車輪速センサ17から取得したデータに基づいて車両1の移動量などを演算することができる。車輪速センサ17は、ブレーキシステム18に設けられる場合もある。
ブレーキシステム18は、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強する電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、不図示のアクチュエータを介して、車輪に制動力を与え、車両1を減速する。ブレーキセンサ18aは、例えば、ブレーキペダルの操作量を検出するセンサである。
アクセルセンサ19は、アクセルペダルの操作量を検出するセンサである。トルクセンサ20aは、運転者が操舵部に与えるトルクを検出する。シフトセンサ21は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器22は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。
画像表示システム10には、入力部10aが設けられてもよい。この場合、入力部10aは、例えば、押しボタン、スイッチ、つまみ等として構成されうる。
モニタ装置24は、表示部24a、入力部24b、および音声出力装置24cを有する。表示部24aは、例えば、LCD(liquid crystal display)である。音声出力装置24cは、例えば、スピーカである。入力部24bは透明であり、表示部24aを覆っている。入力部24bは、例えば、タッチパネル等である。ユーザは、入力部24bを介して表示部24aの表示画面に表示される画像を視認することができる。また、ユーザは、表示部24aの表示画面に表示される画像に対応した位置にて手指等で入力部24bを触れたり押したり動かしたりして操作することで、入力を実行することができる。そして、これら表示部24aや、入力部24b、音声出力装置24c等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置24に設けられうる。モニタ装置24は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない入力部を有することができる。モニタ装置24は、ナビゲーションシステムやオーディオシステムと兼用されうる。
ECU11は、例えば、CPU11a(central processing unit)や、ROM11b(read only memory)、RAM11c(random access memory)、フラッシュメモリ11d、表示制御部11e、音声制御部11f等を有している。フラッシュメモリ11dは、SSD(solid state drive)であってもよい。CPU11aは、各種演算を実行することができる。CPU11aは、ROM11bやフラッシュメモリ11d等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。RAM11cは、CPU11aでの演算で用いられる各種のデータを一時的に記憶する。また、フラッシュメモリ11dは、書き換え可能な不揮発性の記憶部であり、ECU11の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部11eは、主として、撮像部12で得られた画像データを用いた一般的な画像処理や、表示部24aで表示される画像データの一般的な画像処理等を実行することができる。また、音声制御部11fは、主として、音声出力装置24cで出力される音声データの処理を実行することができる。なお、CPU11aや、ROM11b、RAM11c等は、同一パッケージ内に集積されることができる。また、ECU11は、CPU11aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、フラッシュメモリ11dに替えてHDD(hard disk drive)が設けられてもよいし、フラッシュメモリ11dやHDDは、ECU11とは別に設けられてもよい。
図3は、ECU11の例示的かつ模式的なブロック図である。ECU11は、ハードウエアとソフトウエア(プログラム)との協働によって、画像処理装置として機能することができる。ECU11は、図1に示されるように、表示制御部11eや音声制御部11fの他、図3に示されるように、画像処理部30および記憶部40を含むことができる。画像処理部30は、例えば、CPU11aによって構成されうる。この場合、CPU11aは、画像処理部30の各部、すなわち、画像データ取得部31、データ取得部32、区画線検出部33、標示画像生成部34、出力画像生成部35、物体検出部36、注意画像生成部37、および可変設定部38等として機能する。記憶部40は、ROM11b、RAM11c、およびフラッシュメモリ11dを含む。なお、画像処理部30で実行される画像処理の少なくとも一部は表示制御部11eで実行されてもよい。画像処理部30の各部は、プログラムのモジュールに対応しうるし、画像処理部30の少なくとも一部はハードウエアとして構成されてもよい。
画像データ取得部31は、複数の撮像部12で撮影された複数の撮影画像のデータを取得する。
データ取得部32は、撮像画像以外のデータ、例えば、入力部24b,10aによって入力されたデータや、センサ等の検出結果のデータを取得する。
区画線検出部33は、撮像部12による撮影画像のデータから、画像処理により、区画線を検出する。区画線は、撮影画像のデータにおける画像処理により、例えば、グルーピングかつラベリングされた画像の、位置、大きさ、形状、傾き、色等の条件を満たすか否かによって、検出されうる。
標示画像生成部34は、出力画像に撮影画像とともに含める標示画像を生成する。標示画像は、ユーザが、出力画像において、自車と周辺との位置や距離を把握する際の参照とするために付加される。
出力画像生成部35は、撮影画像と標示画像とを含む出力画像を生成する。図4は、出力画像Ioの一例が示された図である。この出力画像Ioには、撮影画像Icと標示画像Ii(Ii0)とが含まれている。
撮影画像Icは、ドアミラーに設けられた撮像部12による撮影画像に基づく画像であり、ドアミラーに映る写像のように描画される。図4の例では、撮影画像Icの無限遠の収束点が表示領域の左上に設定され、車両前後方向の前方は、当該収束点から放射方向に延びる。撮影画像Icには、車体2の車幅方向の端部2aを含む車両1(自車)の画像Ivや、他車3(物体)の画像Ib、区画線の画像Id等が含まれている。なお、撮影画像Icは、座標変換や、視点変換、投影変換等によって、変換された画像であってもよいし、明るさや、鮮明度、大きさの調整など、画像処理が施された画像であってもよい。
標示画像Ii0は、車幅方向に延びる線(線分)である。複数の標示画像Ii0が、車両前後方向に間隔をあけて、例えば、等間隔で、配置されている。なお、標示画像Iiは、撮影画像Icを透過する透明な画像であってもよい。
図4の出力画像Ioにおいては、ユーザは、標示画像Ii0によって、車両1(自車)に対する他車3の距離や位置が把握しやすい。また、ユーザは、区画線の画像Idにより、車両1と他車3との車幅方向の距離を把握しやすい。
図4のように区画線の画像Idが視認できる場合には、ユーザは、区画線の画像Idに基づいて車両1と他車3との車幅方向の距離を把握しやすい。これに対し、天候等の影響で視界が悪く、区画線の画像Idが見え難い場合には、ユーザは、車両1と他車3との車幅方向の距離を把握し難い。
そこで、本実施形態では、標示画像生成部34は、区画線検出部33において区画線が検出されなかった場合に、車両1の車幅方向に位置して車両前後方向に沿う標示画像Ii1を生成する。図5には、このような場合における出力画像Ioの一例が示されている。
この出力画像Ioには、撮影画像Icとともに、車幅方向に沿った標示画像Ii0と、車両前後方向に沿った標示画像Ii1とが、含まれている。これにより、ユーザは、区画線の画像が見え難い場合にあっても、標示画像Ii1を参照して、車両1と他車3との車幅方向の距離を把握しやすい。
標示画像Ii1は、例えば、車両1が乗る平坦な地面Grにおいて、車体2の車幅方向の端部2aから車両1の車幅W以上の距離D離れた車両前後方向に沿う線L1(第一の線)を示す。図5の例では、標示画像Ii1は、当該線L1に沿って、当該線L1を中心とする帯状の領域である。この場合、ユーザは、標示画像Ii1よりも離れた比較的影響の小さい他車3と、標示画像Ii1よりも近い比較的影響の大きい他車3とに区別することができる。標示画像生成部34は、付加画像生成部の一例である。標示画像Iiは、撮影画像Icに付加される付加画像の一例である。標示画像Ii1は、第一の標示画像の一例である。
物体検出部36は、撮影画像Ic中から、車両1(自車)から所定距離以内に位置する他車3等の物体を検出する。物体は、撮影画像Icのデータにおける画像処理により、例えば、グルーピングかつラベリングされた画像の、位置、大きさ、形状、傾き、色等の条件を満たすか否かによって、検出されうる。なお、物体検出部36は、非接触計測装置13の検出結果に基づいて、車両1から所定距離以内に位置する物体を検出してもよい。また、物体検出部36によって検出する物体の距離は、任意に設定されうる。
注意画像生成部37は、物体検出部36によって検出された物体が、車両1から所定距離以内に位置する場合には、物体を示す注意画像を生成する。この場合、出力画像生成部35は、出力画像Ioに注意画像も含める。
図6は、画像表示システム10による出力画像Ioの一例が示された図である。この出力画像Ioには、図5の例と同様、撮影画像Icとともに、車幅方向に沿った標示画像Ii0と、車両前後方向に沿った標示画像Ii1とが、含まれている。さらに、図6の出力画像Ioには、他車3に対応した注意画像Ieが含まれている。注意画像Ieは、画像処理により撮影画像Icから抽出された所定の大きさ以上の物体に対応して生成される。図6の例では、注意画像Ieは、物体としての他車3のエッジに重なった所定幅の線である。また、注意画像Ieの、線種、形状、明るさ等のスペックは、標示画像Ii0,Ii1のスペックとは異なっている。これにより、ユーザは、所定距離よりも近い他車3等の物体を把握しやすい。なお、注意画像生成部37は、出力画像Ioに第一の線を示す標示画像Ii1が含まれる場合には、当該第一の線までの車幅方向の距離に対する大小により、注意画像を含めるか否かを切り替えてもよい。この場合、物体との距離が所定距離以内である場合には、注意画像生成部37は、出力画像Ioにおける標示画像Ii1の有無によらず、注意画像Ieを生成し、出力画像生成部35が、当該注意画像Ieを出力画像Ioに含めてもよい。注意画像生成部37は、付加画像生成部の一例である。注意画像Ieは、第一の付加画像の一例である。
図7~9は、それぞれ、画像表示システム10による出力画像Ioの一例が示された図である。図7の例に示される標示画像Ii2は、車体2(車両1)の車幅方向の端部2aと標示画像Ii1(図5,6)に対応する第一の線L1との間で車両前後方向に沿った第二の線L2を示す。標示画像Ii2は、第二の標示画像の一例である。図8の出力画像Ioの例には、図5,6に示されたのと同様の標示画像Ii1と、図7に示されたのと同様の標示画像Ii2とが、含まれている。また、図9の出力画像Ioの例には、より広い帯状の標示画像Ii3が含まれている。標示画像Ii3の車両1から遠い側の端部は、標示画像Ii1(図5,6)に対応する第一の線L1と重なり、標示画像Ii3の車両1に近い側の端部は、標示画像Ii2(図7,8)に対応する第二の線L2と重なっている。標示画像Ii3は、第三の標示画像の一例である。このように、標示画像Iiは、種々の形態で表示されうる。なお、標示画像Ii1,Ii2,Ii3は、区画線検出部33によって区画線が検出されなかった場合に出力画像Ioに含まれ、区画線が検出された場合には出力画像Ioに含まれなくてもよいし、区画線検出部33による区画線の検出結果によらず出力画像Ioに含まれてもよい。
可変設定部38は、出力画像Ioに含める標示画像Iiを変更することができる。可変設定部38による標示画像Iiの変更は、入力部24b,10aのユーザの操作によって入力されたデータに基づいて行われうる。これにより、ユーザの嗜好に応じて選択された標示画像Iiが設定される。また、可変設定部38は、例えば、車両1のセンサやデバイスによる検出結果や、信号、データ等に応じて、標示画像Iiを変更することができる。センサやデバイスは、例えば、非接触計測装置13や、舵角センサ14,15a、GPS16、ブレーキセンサ18a、アクセルセンサ19、トルクセンサ20a、シフトセンサ21、方向指示器22等である。
以上、説明したように、本実施形態では、例えば、標示画像生成部34(付加画像生成部)は、車両1の車幅方向に位置して車両前後方向に沿う標示画像Ii1,Ii2,Ii3(付加画像)を生成する。出力画像生成部35は、出力画像Ioに、標示画像Ii1,Ii2,Ii3を含める。よって、本実施形態によれば、例えば、ユーザは、標示画像Ii1,Ii2,Ii3を参照することにより、車両1と周辺との相対的な位置や間隔を把握しやすくなる。
また、本実施形態では、例えば、区画線検出部が区画線を検出しなかった場合に、出力画像生成部35は、出力画像Ioに、標示画像Ii1,Ii2,Ii3を含める。よって、本実施形態によれば、例えば、ユーザは、撮影画像Icにおいて、区画線を視認し難い場合に、標示画像Ii1,Ii2,Ii3を参照することにより、車両1と周辺との相対的な位置や間隔を把握しやすくなる。
また、本実施形態では、例えば、出力画像Ioに含まれる標示画像Iiは、車体2(車両1)の車幅方向の端部2aから当該車両1の車幅W以上の距離D離れた車両前後方向に沿う第一の線L1を示す標示画像Ii1(第一の標示画像)を含む。よって、例えば、ユーザは、他車3や物体を第一の線L1と比較することにより、車両1(自車)と他車3や物体との車幅方向の距離を把握しやすくなる。
また、本実施形態では、例えば、出力画像Ioに含まれる標示画像Iiは、車体2(車両1)の車幅方向の端部2aと第一の線L1との間で車両前後方向に沿った第二の線L2を示す標示画像Ii2(第二の標示画像)を含む。よって、例えば、ユーザは、他車3や物体を第一の線L1および第二の線L2と比較することにより、車両1(自車)と他車3や物体との車幅方向の距離をより一層把握しやすくなる。
また、本実施形態では、例えば、出力画像Ioに含まれる標示画像Iiは、車両1の車幅方向に位置して車両前後方向に延びる帯状の領域を示す標示画像Ii3(第三の標示画像)を含む。よって、例えば、ユーザは、他車3や物体を第一の線L1と第二の線L2との間の帯状の領域と比較することにより、車両1(自車)と他車3や物体との車幅方向の距離をより一層把握しやすくなる。
また、本実施形態では、例えば、出力画像Ioには、車両1から所定距離(例えばW)以内に位置する物体を示す注意画像Ie(第一の付加画像)を含む。よって、例えば、ユーザは、注意画像Ieにより、車両1(自車)に近い物体の存在を把握しやすくなる。
以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック(構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、色、パターン等)は、適宜に変更して実施することができる。
また、出力画像(表示画像)は、複数の表示装置で表示されてもよいし、ナビゲーション装置等とは別の表示装置で表示されてもよい。表示装置は、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内のダッシュボードやセンターコンソール等に設けられた表示パネルであってもよい。なお、表示パネルは、コックピットモジュール、インストルメントパネル、フェイシア等に設けられてもよい。
1…車両、2…車体、2a…端部、11…ECU(画像処理装置)、33…区画線検出部、34…標示画像生成部(付加画像生成部)、35…出力画像生成部、Io…出力画像、Ic…撮影画像、Id…区画線(の画像)、Ii…標示画像(付加画像)、Ii1…標示画像(第一の標示画像)、Ii2…標示画像(第二の標示画像)、Ii3…標示画像(第三の標示画像)、Ie…注意画像(第一の付加画像、付加画像)、L1…第一の線、L2…第二の線、W…車幅。
Claims (5)
- 撮影画像に付加される付加画像を生成する付加画像生成部と、
前記撮影画像と前記付加画像とを含む出力画像を生成する出力画像生成部と、
を備え、
前記付加画像は、車両の車幅方向の端部から当該車両の車幅以上離れた車両前後方向に沿う第一の線を示す第一の標示画像を含む、車両用画像処理装置。 - 道路の区画線を検出する区画線検出部を備え、
前記付加画像生成部は、前記区画線検出部によって前記区画線が検出されなかった場合に、前記付加画像として、前記第一の標示画像を生成する、請求項1に記載の車両用画像処理装置。 - 前記付加画像は、車両の車幅方向の端部と前記第一の線との間で車両前後方向に沿った第二の線を示す第二の標示画像を含む、請求項2に記載の車両用画像処理装置。
- 前記付加画像は、車両の車幅方向に位置して車両前後方向に延びる帯状の領域を示す第三の標示画像を含む、請求項1~3のうちいずれか一つに記載の車両用画像処理装置。
- 前記付加画像は、車両から所定距離以内に位置する物体を示す第一の付加画像を含む、請求項1~4のうちいずれか一つに記載の車両用画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/755,759 US10807529B2 (en) | 2015-09-30 | 2016-09-14 | Driving assistant apparatus with lane marking |
CN201680050326.2A CN107925747B (zh) | 2015-09-30 | 2016-09-14 | 车辆用图像处理装置 |
EP16851181.4A EP3358841B1 (en) | 2015-09-30 | 2016-09-14 | Image processing device for vehicles |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015192827A JP6555058B2 (ja) | 2015-09-30 | 2015-09-30 | 車両用画像処理装置 |
JP2015-192827 | 2015-09-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017057007A1 true WO2017057007A1 (ja) | 2017-04-06 |
Family
ID=58423545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/077188 WO2017057007A1 (ja) | 2015-09-30 | 2016-09-14 | 車両用画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10807529B2 (ja) |
EP (1) | EP3358841B1 (ja) |
JP (1) | JP6555058B2 (ja) |
CN (1) | CN107925747B (ja) |
WO (1) | WO2017057007A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021016101A (ja) * | 2019-07-12 | 2021-02-12 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
EP3785994A1 (en) * | 2019-08-29 | 2021-03-03 | Ningbo Geely Automobile Research & Development Co. Ltd. | A system and method for highlighting of an object to a vehicle occupant |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007264714A (ja) * | 2006-03-27 | 2007-10-11 | Fuji Heavy Ind Ltd | 車線認識装置 |
JP2007334566A (ja) * | 2006-06-14 | 2007-12-27 | Honda Motor Co Ltd | 運転支援装置 |
JP2009029203A (ja) * | 2007-07-25 | 2009-02-12 | Honda Motor Co Ltd | 運転支援装置 |
JP2009116723A (ja) * | 2007-11-08 | 2009-05-28 | Denso Corp | 車線変更支援装置 |
WO2015079623A1 (ja) * | 2013-11-27 | 2015-06-04 | 株式会社デンソー | 運転支援装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005048336A1 (de) * | 2005-10-10 | 2007-04-12 | Robert Bosch Gmbh | Verfahren und System zur Unterstützung des Fahrers eines Kraftfahrzeugs bei der Erkennung der Umgebung des Kraftfahrzeugs |
US20110181728A1 (en) * | 2008-12-19 | 2011-07-28 | Delphi Technologies, Inc. | Electronic side view display system |
US8559675B2 (en) | 2009-04-23 | 2013-10-15 | Panasonic Corporation | Driving support device, driving support method, and program |
JP5562311B2 (ja) | 2011-10-11 | 2014-07-30 | 本田技研工業株式会社 | 車両の運転支援装置 |
DE102012002149B3 (de) * | 2012-02-04 | 2013-06-20 | Audi Ag | Verfahren zur Visualisierung des Umfelds eines Kraftfahrzeugs und zugehöriges Kraftfahrzeug |
DE102012022486A1 (de) | 2012-11-19 | 2013-08-01 | Daimler Ag | Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftwagens |
US20140267415A1 (en) * | 2013-03-12 | 2014-09-18 | Xueming Tang | Road marking illuminattion system and method |
US10331956B2 (en) * | 2015-09-23 | 2019-06-25 | Magna Electronics Inc. | Vehicle vision system with detection enhancement using light control |
-
2015
- 2015-09-30 JP JP2015192827A patent/JP6555058B2/ja active Active
-
2016
- 2016-09-14 EP EP16851181.4A patent/EP3358841B1/en active Active
- 2016-09-14 WO PCT/JP2016/077188 patent/WO2017057007A1/ja unknown
- 2016-09-14 CN CN201680050326.2A patent/CN107925747B/zh active Active
- 2016-09-14 US US15/755,759 patent/US10807529B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007264714A (ja) * | 2006-03-27 | 2007-10-11 | Fuji Heavy Ind Ltd | 車線認識装置 |
JP2007334566A (ja) * | 2006-06-14 | 2007-12-27 | Honda Motor Co Ltd | 運転支援装置 |
JP2009029203A (ja) * | 2007-07-25 | 2009-02-12 | Honda Motor Co Ltd | 運転支援装置 |
JP2009116723A (ja) * | 2007-11-08 | 2009-05-28 | Denso Corp | 車線変更支援装置 |
WO2015079623A1 (ja) * | 2013-11-27 | 2015-06-04 | 株式会社デンソー | 運転支援装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3358841A4 * |
Also Published As
Publication number | Publication date |
---|---|
US10807529B2 (en) | 2020-10-20 |
EP3358841A1 (en) | 2018-08-08 |
US20190023181A1 (en) | 2019-01-24 |
EP3358841A4 (en) | 2018-08-08 |
JP6555058B2 (ja) | 2019-08-07 |
JP2017069749A (ja) | 2017-04-06 |
CN107925747A (zh) | 2018-04-17 |
EP3358841B1 (en) | 2020-06-10 |
CN107925747B (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6575445B2 (ja) | 車両用画像処理装置 | |
JP6056612B2 (ja) | 画像表示制御装置および画像表示システム | |
US9738276B2 (en) | Parking assist system | |
US10031227B2 (en) | Parking assist system | |
US10150486B2 (en) | Driving assistance device and driving assistance system | |
US20190066514A1 (en) | Parking assist device | |
US20160114795A1 (en) | Parking assist system and parking assist method | |
US20170259812A1 (en) | Parking assistance device and parking assistance method | |
JP6446925B2 (ja) | 画像表示制御装置および画像表示システム | |
JP2016097896A (ja) | 画像表示制御装置 | |
JP2016060219A (ja) | 車両位置検出装置 | |
CN107791951B (zh) | 显示控制装置 | |
JP2016060241A (ja) | 駐車支援装置 | |
JP6413477B2 (ja) | 画像表示制御装置および画像表示システム | |
JP6554866B2 (ja) | 画像表示制御装置 | |
US20200035207A1 (en) | Display control apparatus | |
WO2018003188A1 (ja) | 周辺監視装置 | |
CN110877575A (zh) | 周边监视装置 | |
WO2017057007A1 (ja) | 車両用画像処理装置 | |
WO2017056989A1 (ja) | 車両用画像処理装置 | |
US10922977B2 (en) | Display control device | |
JP2014000921A (ja) | 車両周辺監視装置、車両周辺監視方法およびプログラム | |
JP2016060237A (ja) | 駐車支援装置及び駐車支援システム | |
JP6601097B2 (ja) | 表示制御装置 | |
JP2017198599A (ja) | 周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16851181 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |