WO2017057007A1 - 車両用画像処理装置 - Google Patents

車両用画像処理装置 Download PDF

Info

Publication number
WO2017057007A1
WO2017057007A1 PCT/JP2016/077188 JP2016077188W WO2017057007A1 WO 2017057007 A1 WO2017057007 A1 WO 2017057007A1 JP 2016077188 W JP2016077188 W JP 2016077188W WO 2017057007 A1 WO2017057007 A1 WO 2017057007A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
unit
line
additional
Prior art date
Application number
PCT/JP2016/077188
Other languages
English (en)
French (fr)
Inventor
渡邊　一矢
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US15/755,759 priority Critical patent/US10807529B2/en
Priority to CN201680050326.2A priority patent/CN107925747B/zh
Priority to EP16851181.4A priority patent/EP3358841B1/en
Publication of WO2017057007A1 publication Critical patent/WO2017057007A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Definitions

  • an image processing apparatus that controls a display device to display a camera image like an image reflected on a door mirror is known.
  • an image display system 10 that generates an output image Io as shown in FIG.
  • the image display system 10 can display an output image Io corresponding to the situation of the vehicle 1.
  • the image display system 10 may be incorporated into a system that uses the output image Io to control the vehicle 1, for example, a driving support system or a parking support system.
  • the monitor device 24 includes a display unit 24a, an input unit 24b, and an audio output device 24c.
  • the display unit 24a is, for example, an LCD (liquid crystal display).
  • the audio output device 24c is, for example, a speaker.
  • the input unit 24b is transparent and covers the display unit 24a.
  • the input unit 24b is, for example, a touch panel. The user can visually recognize an image displayed on the display screen of the display unit 24a via the input unit 24b. Further, the user can perform input by touching, pushing, or moving the input unit 24b with a finger or the like at a position corresponding to the image displayed on the display screen of the display unit 24a. And these display part 24a, input part 24b, audio
  • the lane marking detection unit 33 detects a lane marking from image data captured by the imaging unit 12 by image processing.
  • the lane markings can be detected by performing image processing on the captured image data, for example, depending on whether the grouped and labeled images satisfy the conditions such as position, size, shape, inclination, and color.
  • the sign image Ii1 is, for example, on a flat ground Gr on which the vehicle 1 rides, a line L1 along the vehicle front-rear direction that is a distance D greater than the vehicle width W of the vehicle 1 from the end 2a in the vehicle width direction of the vehicle body 2 (first Line).
  • the sign image Ii1 is a band-like region centered on the line L1 along the line L1. In this case, the user can distinguish between the other vehicle 3 that is relatively smaller than the sign image Ii1 and that is relatively less affected than the sign image Ii1.
  • the sign image generation unit 34 is an example of an additional image generation unit.
  • the sign image Ii is an example of an additional image added to the captured image Ic.
  • the sign image Ii1 is an example of a first sign image.
  • the variable setting unit 38 can change the marking image Ii included in the output image Io.
  • the change of the indication image Ii by the variable setting unit 38 can be performed based on data input by the user's operation of the input units 24b and 10a. Thereby, the sign image Ii selected according to the user's preference is set.
  • the variable setting part 38 can change the display image Ii according to the detection result by the sensor and device of the vehicle 1, a signal, data, etc., for example.
  • the sensors and devices are, for example, the non-contact measuring device 13, the steering angle sensors 14, 15a, the GPS 16, the brake sensor 18a, the accelerator sensor 19, the torque sensor 20a, the shift sensor 21, and the direction indicator 22.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

実施形態の車両用画像処理装置は、例えば、撮影画像に付加される付加画像を生成する付加画像生成部と、撮影画像と付加画像とを含む出力画像を生成する出力画像生成部と、を備え、付加画像は、車両の車幅方向の端部から当該車両の車幅以上離れた車両前後方向に沿う第一の線を示す第一の標示画像を含む。

Description

車両用画像処理装置
　本発明の実施形態は、車両用画像処理装置に関する。
　従来、カメラ画像をドアミラーに映る画像のように表示するよう表示装置を制御する画像処理装置が、知られている。
特許第５５６２３１１号公報
　この種の画像処理装置では、例えば、降雨、積雪等の視界が悪い状況や、区画線のかすれが生じている状況等にあっては、道路の区画線が見え難くなる場合があった。そこで、本発明の実施形態の課題の一つは、例えば、道路の区画線が見え難い状況にあっても、自車と周辺との相対的な位置や距離を把握しやすい出力画像を得ることである。
　実施形態の車両用画像処理装置は、例えば、撮影画像に付加される付加画像を生成する付加画像生成部と、上記撮影画像と上記付加画像とを含む出力画像を生成する出力画像生成部と、を備え、上記付加画像は、車両の車幅方向の端部から当該車両の車幅以上離れた車両前後方向に沿う第一の線を示す第一の標示画像を含む。よって、本実施形態によれば、例えば、ユーザは、他車や物体を第一の線と比較することにより、自車と他車や物体との車幅方向の距離を把握しやすくなる。
　また、上記車両用画像処理装置は、例えば、道路の区画線を検出する区画線検出部を備え、上記付加画像生成部は、上記区画線検出部によって上記区画線が検出されなかった場合に、上記付加画像として、上記第一の標示画像を生成する。よって、例えば、ユーザは、区画線を視認し難い場合に、他車や物体を第一の線と比較することにより、自車と他車や物体との車幅方向の距離を把握しやすくなる。
　また、上記車両用画像処理装置では、例えば、上記付加画像は、車両の車幅方向の端部と上記第一の線との間で車両前後方向に沿った第二の線を示す第二の標示画像を含む。よって、例えば、ユーザは、他車や物体を第一の線および第二の線と比較することにより、自車と他車や物体との車幅方向の距離をより一層把握しやすくなる。
　また、上記車両用画像処理装置では、例えば、上記付加画像は、車両の車幅方向に位置して車両前後方向に延びる帯状の領域を示す第三の標示画像を含む。よって、例えば、ユーザは、他車や物体を帯状の領域と比較することにより、自車と他車や物体との車幅方向の距離を把握しやすくなる。
　また、上記車両用画像処理装置では、例えば、上記付加画像は、車両から所定距離以内に位置する物体を示す第一の付加画像を含む。よって、例えば、ユーザは、第一の付加画像により、自車に近い物体の存在を把握しやすくなる。
図１は、実施形態の画像表示システムの例示的な概略構成図である。 図２は、実施形態の画像表示システムの撮像部による撮像範囲の一例が示された平面図である。 図３は、実施形態の画像表示システムに含まれる画像処理装置の例示的かつ模式的なブロック図である。 図４は、実施形態の画像表示システムによる出力画像の一例が示された図である。 図５は、実施形態の画像表示システムによる出力画像の一例が示された図である。 図６は、実施形態の画像表示システムによる出力画像の一例が示された図である。 図７は、実施形態の画像表示システムによる出力画像の一例が示された図である。 図８は、実施形態の画像表示システムによる出力画像の一例が示された図である。 図９は、実施形態の画像表示システムによる出力画像の一例が示された図である。
　以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。
　また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。
　図１は、画像表示システムの例示的な概略構成図である。図１に示されるように、車両１に装備される画像表示システム１０は、ＥＣＵ１１（electronic　control　unit）を備えている。ＥＣＵ１１は、撮像部１２による撮影画像を画像処理して出力画像を生成する。ＥＣＵ１１は、出力画像が表示されるよう、表示部２４ａを制御する。ＥＣＵ１１は、画像処理装置あるいは表示制御部の一例である。
＜画像表示システム＞
　まずは、図４以降に示されるような出力画像Ｉｏを生成する画像表示システム１０について説明する。画像表示システム１０は、車両１の状況に応じた出力画像Ｉｏを表示することができる。画像表示システム１０は、出力画像Ｉｏを車両１の制御に利用するシステム、例えば、走行支援システムや、駐車支援システムに組み込まれてもよい。
　図１に示されるように、画像表示システム１０に含まれる装置や電気部品は、例えば、車内ネットワーク２３を介して電気的にあるいは通信可能に接続される。装置や電気部品は、例えば、非接触計測装置１３や、舵角センサ１４、舵角センサ１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、入力部２４ｂ等である。車内ネットワーク２３は、例えば、ＣＡＮ（controller　area　network）である。なお、各電気部品は、ＣＡＮ以外を介して電気的にあるいは通信可能に接続されてもよい。
　撮像部１２は、例えば、ＣＣＤ（charge　coupled　device）やＣＩＳ（CMOS　image　sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データすなわち動画データを出力することができる。
　図２は、撮像部１２による撮像範囲の一例が示された平面図である。図２に例示されるように、車体２には、車外を撮像する撮像部１２が、車体２の前部、右側の側部、左側の側部、および後部のそれぞれに、設けられている。車体２の前部に設けられる撮像部１２は、例えば、フロントグリルに設けられうる。車体２の左右の側部に設けられる撮像部１２は、例えば、ドアミラーに設けられうる。車体２の後部に設けられる撮像部１２は、例えば、リヤハッチに設けられうる。なお、図示されないが、撮像部１２は、例えば、車体２の後端部の左右の角部にそれぞれ設けられてもよい。撮像部１２は、例えば、広角レンズまたは魚眼レンズである。撮像部１２は、車体２（車両１）の周辺の撮影画像のデータを取得する。なお、撮像部１２は、三つ以下でも良いし、五つ以上でもよい。また、複数の撮像部１２のそれぞれの撮像範囲は異なってもよい。
　非接触計測装置１３は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された障害物の有無や障害物までの距離を測定することができる。すなわち、非接触計測装置１３は、物体検出部や、測距部とも称されうる。
　舵角センサ１４は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。また、舵角センサ１５ａは、後輪の操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。なお、操舵量は、例えば、回転角度として検出される。
　ＧＰＳ１６（global　positioning　system）は、人工衛星から受信した電波に基づいて、現在位置を取得することができる。
　車輪速センサ１７は、車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。
　ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock　brake　system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic　stability　control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（brake　by　wire）等である。ブレーキシステム１８は、不図示のアクチュエータを介して、車輪に制動力を与え、車両１を減速する。ブレーキセンサ１８ａは、例えば、ブレーキペダルの操作量を検出するセンサである。
　アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器２２は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。
　画像表示システム１０には、入力部１０ａが設けられてもよい。この場合、入力部１０ａは、例えば、押しボタン、スイッチ、つまみ等として構成されうる。
　モニタ装置２４は、表示部２４ａ、入力部２４ｂ、および音声出力装置２４ｃを有する。表示部２４ａは、例えば、ＬＣＤ（liquid　crystal　display）である。音声出力装置２４ｃは、例えば、スピーカである。入力部２４ｂは透明であり、表示部２４ａを覆っている。入力部２４ｂは、例えば、タッチパネル等である。ユーザは、入力部２４ｂを介して表示部２４ａの表示画面に表示される画像を視認することができる。また、ユーザは、表示部２４ａの表示画面に表示される画像に対応した位置にて手指等で入力部２４ｂを触れたり押したり動かしたりして操作することで、入力を実行することができる。そして、これら表示部２４ａや、入力部２４ｂ、音声出力装置２４ｃ等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２４に設けられうる。モニタ装置２４は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない入力部を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用されうる。
　ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central　processing　unit）や、ＲＯＭ１１ｂ（read　only　memory）、ＲＡＭ１１ｃ（random　access　memory）、フラッシュメモリ１１ｄ、表示制御部１１ｅ、音声制御部１１ｆ等を有している。フラッシュメモリ１１ｄは、ＳＳＤ（solid　state　drive）であってもよい。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやフラッシュメモリ１１ｄ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、フラッシュメモリ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、主として、撮像部１２で得られた画像データを用いた一般的な画像処理や、表示部２４ａで表示される画像データの一般的な画像処理等を実行することができる。また、音声制御部１１ｆは、主として、音声出力装置２４ｃで出力される音声データの処理を実行することができる。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital　signal　processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、フラッシュメモリ１１ｄに替えてＨＤＤ（hard　disk　drive）が設けられてもよいし、フラッシュメモリ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。
　図３は、ＥＣＵ１１の例示的かつ模式的なブロック図である。ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像処理装置として機能することができる。ＥＣＵ１１は、図１に示されるように、表示制御部１１ｅや音声制御部１１ｆの他、図３に示されるように、画像処理部３０および記憶部４０を含むことができる。画像処理部３０は、例えば、ＣＰＵ１１ａによって構成されうる。この場合、ＣＰＵ１１ａは、画像処理部３０の各部、すなわち、画像データ取得部３１、データ取得部３２、区画線検出部３３、標示画像生成部３４、出力画像生成部３５、物体検出部３６、注意画像生成部３７、および可変設定部３８等として機能する。記憶部４０は、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ、およびフラッシュメモリ１１ｄを含む。なお、画像処理部３０で実行される画像処理の少なくとも一部は表示制御部１１ｅで実行されてもよい。画像処理部３０の各部は、プログラムのモジュールに対応しうるし、画像処理部３０の少なくとも一部はハードウエアとして構成されてもよい。
　画像データ取得部３１は、複数の撮像部１２で撮影された複数の撮影画像のデータを取得する。
　データ取得部３２は、撮像画像以外のデータ、例えば、入力部２４ｂ，１０ａによって入力されたデータや、センサ等の検出結果のデータを取得する。
　区画線検出部３３は、撮像部１２による撮影画像のデータから、画像処理により、区画線を検出する。区画線は、撮影画像のデータにおける画像処理により、例えば、グルーピングかつラベリングされた画像の、位置、大きさ、形状、傾き、色等の条件を満たすか否かによって、検出されうる。
　標示画像生成部３４は、出力画像に撮影画像とともに含める標示画像を生成する。標示画像は、ユーザが、出力画像において、自車と周辺との位置や距離を把握する際の参照とするために付加される。
　出力画像生成部３５は、撮影画像と標示画像とを含む出力画像を生成する。図４は、出力画像Ｉｏの一例が示された図である。この出力画像Ｉｏには、撮影画像Ｉｃと標示画像Ｉｉ（Ｉｉ０）とが含まれている。
　撮影画像Ｉｃは、ドアミラーに設けられた撮像部１２による撮影画像に基づく画像であり、ドアミラーに映る写像のように描画される。図４の例では、撮影画像Ｉｃの無限遠の収束点が表示領域の左上に設定され、車両前後方向の前方は、当該収束点から放射方向に延びる。撮影画像Ｉｃには、車体２の車幅方向の端部２ａを含む車両１（自車）の画像Ｉｖや、他車３（物体）の画像Ｉｂ、区画線の画像Ｉｄ等が含まれている。なお、撮影画像Ｉｃは、座標変換や、視点変換、投影変換等によって、変換された画像であってもよいし、明るさや、鮮明度、大きさの調整など、画像処理が施された画像であってもよい。
　標示画像Ｉｉ０は、車幅方向に延びる線（線分）である。複数の標示画像Ｉｉ０が、車両前後方向に間隔をあけて、例えば、等間隔で、配置されている。なお、標示画像Ｉｉは、撮影画像Ｉｃを透過する透明な画像であってもよい。
　図４の出力画像Ｉｏにおいては、ユーザは、標示画像Ｉｉ０によって、車両１（自車）に対する他車３の距離や位置が把握しやすい。また、ユーザは、区画線の画像Ｉｄにより、車両１と他車３との車幅方向の距離を把握しやすい。
　図４のように区画線の画像Ｉｄが視認できる場合には、ユーザは、区画線の画像Ｉｄに基づいて車両１と他車３との車幅方向の距離を把握しやすい。これに対し、天候等の影響で視界が悪く、区画線の画像Ｉｄが見え難い場合には、ユーザは、車両１と他車３との車幅方向の距離を把握し難い。
　そこで、本実施形態では、標示画像生成部３４は、区画線検出部３３において区画線が検出されなかった場合に、車両１の車幅方向に位置して車両前後方向に沿う標示画像Ｉｉ１を生成する。図５には、このような場合における出力画像Ｉｏの一例が示されている。
　この出力画像Ｉｏには、撮影画像Ｉｃとともに、車幅方向に沿った標示画像Ｉｉ０と、車両前後方向に沿った標示画像Ｉｉ１とが、含まれている。これにより、ユーザは、区画線の画像が見え難い場合にあっても、標示画像Ｉｉ１を参照して、車両１と他車３との車幅方向の距離を把握しやすい。
　標示画像Ｉｉ１は、例えば、車両１が乗る平坦な地面Ｇｒにおいて、車体２の車幅方向の端部２ａから車両１の車幅Ｗ以上の距離Ｄ離れた車両前後方向に沿う線Ｌ１（第一の線）を示す。図５の例では、標示画像Ｉｉ１は、当該線Ｌ１に沿って、当該線Ｌ１を中心とする帯状の領域である。この場合、ユーザは、標示画像Ｉｉ１よりも離れた比較的影響の小さい他車３と、標示画像Ｉｉ１よりも近い比較的影響の大きい他車３とに区別することができる。標示画像生成部３４は、付加画像生成部の一例である。標示画像Ｉｉは、撮影画像Ｉｃに付加される付加画像の一例である。標示画像Ｉｉ１は、第一の標示画像の一例である。
　物体検出部３６は、撮影画像Ｉｃ中から、車両１(自車）から所定距離以内に位置する他車３等の物体を検出する。物体は、撮影画像Ｉｃのデータにおける画像処理により、例えば、グルーピングかつラベリングされた画像の、位置、大きさ、形状、傾き、色等の条件を満たすか否かによって、検出されうる。なお、物体検出部３６は、非接触計測装置１３の検出結果に基づいて、車両１から所定距離以内に位置する物体を検出してもよい。また、物体検出部３６によって検出する物体の距離は、任意に設定されうる。
　注意画像生成部３７は、物体検出部３６によって検出された物体が、車両１から所定距離以内に位置する場合には、物体を示す注意画像を生成する。この場合、出力画像生成部３５は、出力画像Ｉｏに注意画像も含める。
　図６は、画像表示システム１０による出力画像Ｉｏの一例が示された図である。この出力画像Ｉｏには、図５の例と同様、撮影画像Ｉｃとともに、車幅方向に沿った標示画像Ｉｉ０と、車両前後方向に沿った標示画像Ｉｉ１とが、含まれている。さらに、図６の出力画像Ｉｏには、他車３に対応した注意画像Ｉｅが含まれている。注意画像Ｉｅは、画像処理により撮影画像Ｉｃから抽出された所定の大きさ以上の物体に対応して生成される。図６の例では、注意画像Ｉｅは、物体としての他車３のエッジに重なった所定幅の線である。また、注意画像Ｉｅの、線種、形状、明るさ等のスペックは、標示画像Ｉｉ０，Ｉｉ１のスペックとは異なっている。これにより、ユーザは、所定距離よりも近い他車３等の物体を把握しやすい。なお、注意画像生成部３７は、出力画像Ｉｏに第一の線を示す標示画像Ｉｉ１が含まれる場合には、当該第一の線までの車幅方向の距離に対する大小により、注意画像を含めるか否かを切り替えてもよい。この場合、物体との距離が所定距離以内である場合には、注意画像生成部３７は、出力画像Ｉｏにおける標示画像Ｉｉ１の有無によらず、注意画像Ｉｅを生成し、出力画像生成部３５が、当該注意画像Ｉｅを出力画像Ｉｏに含めてもよい。注意画像生成部３７は、付加画像生成部の一例である。注意画像Ｉｅは、第一の付加画像の一例である。
　図７～９は、それぞれ、画像表示システム１０による出力画像Ｉｏの一例が示された図である。図７の例に示される標示画像Ｉｉ２は、車体２（車両１）の車幅方向の端部２ａと標示画像Ｉｉ１（図５，６）に対応する第一の線Ｌ１との間で車両前後方向に沿った第二の線Ｌ２を示す。標示画像Ｉｉ２は、第二の標示画像の一例である。図８の出力画像Ｉｏの例には、図５，６に示されたのと同様の標示画像Ｉｉ１と、図７に示されたのと同様の標示画像Ｉｉ２とが、含まれている。また、図９の出力画像Ｉｏの例には、より広い帯状の標示画像Ｉｉ３が含まれている。標示画像Ｉｉ３の車両１から遠い側の端部は、標示画像Ｉｉ１（図５，６）に対応する第一の線Ｌ１と重なり、標示画像Ｉｉ３の車両１に近い側の端部は、標示画像Ｉｉ２（図７，８）に対応する第二の線Ｌ２と重なっている。標示画像Ｉｉ３は、第三の標示画像の一例である。このように、標示画像Ｉｉは、種々の形態で表示されうる。なお、標示画像Ｉｉ１，Ｉｉ２，Ｉｉ３は、区画線検出部３３によって区画線が検出されなかった場合に出力画像Ｉｏに含まれ、区画線が検出された場合には出力画像Ｉｏに含まれなくてもよいし、区画線検出部３３による区画線の検出結果によらず出力画像Ｉｏに含まれてもよい。
　可変設定部３８は、出力画像Ｉｏに含める標示画像Ｉｉを変更することができる。可変設定部３８による標示画像Ｉｉの変更は、入力部２４ｂ，１０ａのユーザの操作によって入力されたデータに基づいて行われうる。これにより、ユーザの嗜好に応じて選択された標示画像Ｉｉが設定される。また、可変設定部３８は、例えば、車両１のセンサやデバイスによる検出結果や、信号、データ等に応じて、標示画像Ｉｉを変更することができる。センサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。
　以上、説明したように、本実施形態では、例えば、標示画像生成部３４（付加画像生成部）は、車両１の車幅方向に位置して車両前後方向に沿う標示画像Ｉｉ１，Ｉｉ２，Ｉｉ３（付加画像）を生成する。出力画像生成部３５は、出力画像Ｉｏに、標示画像Ｉｉ１，Ｉｉ２，Ｉｉ３を含める。よって、本実施形態によれば、例えば、ユーザは、標示画像Ｉｉ１，Ｉｉ２，Ｉｉ３を参照することにより、車両１と周辺との相対的な位置や間隔を把握しやすくなる。
　また、本実施形態では、例えば、区画線検出部が区画線を検出しなかった場合に、出力画像生成部３５は、出力画像Ｉｏに、標示画像Ｉｉ１，Ｉｉ２，Ｉｉ３を含める。よって、本実施形態によれば、例えば、ユーザは、撮影画像Ｉｃにおいて、区画線を視認し難い場合に、標示画像Ｉｉ１，Ｉｉ２，Ｉｉ３を参照することにより、車両１と周辺との相対的な位置や間隔を把握しやすくなる。
　また、本実施形態では、例えば、出力画像Ｉｏに含まれる標示画像Ｉｉは、車体２（車両１）の車幅方向の端部２ａから当該車両１の車幅Ｗ以上の距離Ｄ離れた車両前後方向に沿う第一の線Ｌ１を示す標示画像Ｉｉ１（第一の標示画像）を含む。よって、例えば、ユーザは、他車３や物体を第一の線Ｌ１と比較することにより、車両１（自車）と他車３や物体との車幅方向の距離を把握しやすくなる。
　また、本実施形態では、例えば、出力画像Ｉｏに含まれる標示画像Ｉｉは、車体２（車両１）の車幅方向の端部２ａと第一の線Ｌ１との間で車両前後方向に沿った第二の線Ｌ２を示す標示画像Ｉｉ２（第二の標示画像）を含む。よって、例えば、ユーザは、他車３や物体を第一の線Ｌ１および第二の線Ｌ２と比較することにより、車両１（自車）と他車３や物体との車幅方向の距離をより一層把握しやすくなる。
　また、本実施形態では、例えば、出力画像Ｉｏに含まれる標示画像Ｉｉは、車両１の車幅方向に位置して車両前後方向に延びる帯状の領域を示す標示画像Ｉｉ３（第三の標示画像）を含む。よって、例えば、ユーザは、他車３や物体を第一の線Ｌ１と第二の線Ｌ２との間の帯状の領域と比較することにより、車両１（自車）と他車３や物体との車幅方向の距離をより一層把握しやすくなる。
　また、本実施形態では、例えば、出力画像Ｉｏには、車両１から所定距離（例えばＷ）以内に位置する物体を示す注意画像Ｉｅ（第一の付加画像）を含む。よって、例えば、ユーザは、注意画像Ｉｅにより、車両１（自車）に近い物体の存在を把握しやすくなる。
　以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、色、パターン等）は、適宜に変更して実施することができる。
　また、出力画像（表示画像）は、複数の表示装置で表示されてもよいし、ナビゲーション装置等とは別の表示装置で表示されてもよい。表示装置は、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内のダッシュボードやセンターコンソール等に設けられた表示パネルであってもよい。なお、表示パネルは、コックピットモジュール、インストルメントパネル、フェイシア等に設けられてもよい。
　１…車両、２…車体、２ａ…端部、１１…ＥＣＵ（画像処理装置）、３３…区画線検出部、３４…標示画像生成部（付加画像生成部）、３５…出力画像生成部、Ｉｏ…出力画像、Ｉｃ…撮影画像、Ｉｄ…区画線（の画像）、Ｉｉ…標示画像（付加画像）、Ｉｉ１…標示画像（第一の標示画像）、Ｉｉ２…標示画像（第二の標示画像）、Ｉｉ３…標示画像（第三の標示画像）、Ｉｅ…注意画像（第一の付加画像、付加画像）、Ｌ１…第一の線、Ｌ２…第二の線、Ｗ…車幅。

Claims (5)

  1. 　撮影画像に付加される付加画像を生成する付加画像生成部と、
    　前記撮影画像と前記付加画像とを含む出力画像を生成する出力画像生成部と、
    　を備え、
    　前記付加画像は、車両の車幅方向の端部から当該車両の車幅以上離れた車両前後方向に沿う第一の線を示す第一の標示画像を含む、車両用画像処理装置。
  2. 　道路の区画線を検出する区画線検出部を備え、
    　前記付加画像生成部は、前記区画線検出部によって前記区画線が検出されなかった場合に、前記付加画像として、前記第一の標示画像を生成する、請求項１に記載の車両用画像処理装置。
  3. 　前記付加画像は、車両の車幅方向の端部と前記第一の線との間で車両前後方向に沿った第二の線を示す第二の標示画像を含む、請求項２に記載の車両用画像処理装置。
  4. 　前記付加画像は、車両の車幅方向に位置して車両前後方向に延びる帯状の領域を示す第三の標示画像を含む、請求項１～３のうちいずれか一つに記載の車両用画像処理装置。
  5. 　前記付加画像は、車両から所定距離以内に位置する物体を示す第一の付加画像を含む、請求項１～４のうちいずれか一つに記載の車両用画像処理装置。
PCT/JP2016/077188 2015-09-30 2016-09-14 車両用画像処理装置 WO2017057007A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/755,759 US10807529B2 (en) 2015-09-30 2016-09-14 Driving assistant apparatus with lane marking
CN201680050326.2A CN107925747B (zh) 2015-09-30 2016-09-14 车辆用图像处理装置
EP16851181.4A EP3358841B1 (en) 2015-09-30 2016-09-14 Image processing device for vehicles

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015192827A JP6555058B2 (ja) 2015-09-30 2015-09-30 車両用画像処理装置
JP2015-192827 2015-09-30

Publications (1)

Publication Number Publication Date
WO2017057007A1 true WO2017057007A1 (ja) 2017-04-06

Family

ID=58423545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077188 WO2017057007A1 (ja) 2015-09-30 2016-09-14 車両用画像処理装置

Country Status (5)

Country Link
US (1) US10807529B2 (ja)
EP (1) EP3358841B1 (ja)
JP (1) JP6555058B2 (ja)
CN (1) CN107925747B (ja)
WO (1) WO2017057007A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021016101A (ja) * 2019-07-12 2021-02-12 トヨタ自動車株式会社 車両用周辺監視装置
EP3785994A1 (en) * 2019-08-29 2021-03-03 Ningbo Geely Automobile Research & Development Co. Ltd. A system and method for highlighting of an object to a vehicle occupant

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264714A (ja) * 2006-03-27 2007-10-11 Fuji Heavy Ind Ltd 車線認識装置
JP2007334566A (ja) * 2006-06-14 2007-12-27 Honda Motor Co Ltd 運転支援装置
JP2009029203A (ja) * 2007-07-25 2009-02-12 Honda Motor Co Ltd 運転支援装置
JP2009116723A (ja) * 2007-11-08 2009-05-28 Denso Corp 車線変更支援装置
WO2015079623A1 (ja) * 2013-11-27 2015-06-04 株式会社デンソー 運転支援装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005048336A1 (de) * 2005-10-10 2007-04-12 Robert Bosch Gmbh Verfahren und System zur Unterstützung des Fahrers eines Kraftfahrzeugs bei der Erkennung der Umgebung des Kraftfahrzeugs
US20110181728A1 (en) * 2008-12-19 2011-07-28 Delphi Technologies, Inc. Electronic side view display system
US8559675B2 (en) 2009-04-23 2013-10-15 Panasonic Corporation Driving support device, driving support method, and program
JP5562311B2 (ja) 2011-10-11 2014-07-30 本田技研工業株式会社 車両の運転支援装置
DE102012002149B3 (de) * 2012-02-04 2013-06-20 Audi Ag Verfahren zur Visualisierung des Umfelds eines Kraftfahrzeugs und zugehöriges Kraftfahrzeug
DE102012022486A1 (de) 2012-11-19 2013-08-01 Daimler Ag Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftwagens
US20140267415A1 (en) * 2013-03-12 2014-09-18 Xueming Tang Road marking illuminattion system and method
US10331956B2 (en) * 2015-09-23 2019-06-25 Magna Electronics Inc. Vehicle vision system with detection enhancement using light control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264714A (ja) * 2006-03-27 2007-10-11 Fuji Heavy Ind Ltd 車線認識装置
JP2007334566A (ja) * 2006-06-14 2007-12-27 Honda Motor Co Ltd 運転支援装置
JP2009029203A (ja) * 2007-07-25 2009-02-12 Honda Motor Co Ltd 運転支援装置
JP2009116723A (ja) * 2007-11-08 2009-05-28 Denso Corp 車線変更支援装置
WO2015079623A1 (ja) * 2013-11-27 2015-06-04 株式会社デンソー 運転支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3358841A4 *

Also Published As

Publication number Publication date
US10807529B2 (en) 2020-10-20
EP3358841A1 (en) 2018-08-08
US20190023181A1 (en) 2019-01-24
EP3358841A4 (en) 2018-08-08
JP6555058B2 (ja) 2019-08-07
JP2017069749A (ja) 2017-04-06
CN107925747A (zh) 2018-04-17
EP3358841B1 (en) 2020-06-10
CN107925747B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
JP6575445B2 (ja) 車両用画像処理装置
JP6056612B2 (ja) 画像表示制御装置および画像表示システム
US9738276B2 (en) Parking assist system
US10031227B2 (en) Parking assist system
US10150486B2 (en) Driving assistance device and driving assistance system
US20190066514A1 (en) Parking assist device
US20160114795A1 (en) Parking assist system and parking assist method
US20170259812A1 (en) Parking assistance device and parking assistance method
JP6446925B2 (ja) 画像表示制御装置および画像表示システム
JP2016097896A (ja) 画像表示制御装置
JP2016060219A (ja) 車両位置検出装置
CN107791951B (zh) 显示控制装置
JP2016060241A (ja) 駐車支援装置
JP6413477B2 (ja) 画像表示制御装置および画像表示システム
JP6554866B2 (ja) 画像表示制御装置
US20200035207A1 (en) Display control apparatus
WO2018003188A1 (ja) 周辺監視装置
CN110877575A (zh) 周边监视装置
WO2017057007A1 (ja) 車両用画像処理装置
WO2017056989A1 (ja) 車両用画像処理装置
US10922977B2 (en) Display control device
JP2014000921A (ja) 車両周辺監視装置、車両周辺監視方法およびプログラム
JP2016060237A (ja) 駐車支援装置及び駐車支援システム
JP6601097B2 (ja) 表示制御装置
JP2017198599A (ja) 周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851181

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE