JP6327115B2 - 車両周辺画像表示装置、車両周辺画像表示方法 - Google Patents
車両周辺画像表示装置、車両周辺画像表示方法 Download PDFInfo
- Publication number
- JP6327115B2 JP6327115B2 JP2014223966A JP2014223966A JP6327115B2 JP 6327115 B2 JP6327115 B2 JP 6327115B2 JP 2014223966 A JP2014223966 A JP 2014223966A JP 2014223966 A JP2014223966 A JP 2014223966A JP 6327115 B2 JP6327115 B2 JP 6327115B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- history
- area
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 113
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 136
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 136
- 230000002093 peripheral effect Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000000126 substance Substances 0.000 description 29
- 239000000463 material Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
A.装置構成 :
図1には、画像表示装置100を搭載した車両1が示されている。尚、本実施例では、画像表示装置100が本発明における「車両周辺画像表示装置」に対応する。
図示されるように車両1は、車両1の前方に搭載された車載カメラ10Fと、車両1の後方に搭載された車載カメラ10Rと、車室内に搭載された表示画面11と、画像表示装置100などを備えている。尚、本実施例では、車両1の前方および後方にそれぞれ車載カメラ10F,10Rが搭載されているものとして説明するが、車載カメラ10Fあるいは車載カメラ10Rの何れか一方を搭載した車両1に対しても、本願発明を適用することができる。
画像表示装置100は、車載カメラ10F,10Rで撮影した車両1の周辺の画像を受け取ると、その画像を、車両1の上方から撮影したような俯瞰画像に変換した後、得られた画像を表示画面11に表示する。
尚、これら8つの「部」は、画像表示装置100が車両1の周辺の画像を表示画面11に表示する機能に着目して、画像表示装置100の内部を便宜的に分類した抽象的な概念であり、画像表示装置100が物理的に8つの部分に区分されることを表すものではない。従って、これらの「部」は、CPUで実行されるコンピュータープログラムとして実現することもできるし、LSIやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
尚、本実施例では、撮影画像取得部101が本発明における「撮影画像取得手段」に対応する。
撮影俯瞰画像生成部102は、生成した撮影俯瞰画像を、撮影俯瞰画像記憶部107と、画像表示部103とに出力する。
尚、画像表示部103は、車両1の左右方向に存在する死角領域についても、後述する方法によって俯瞰画像を表示することが可能である。
移動情報取得部104は、操舵角センサー12や、車速センサー13や、シフト位置センサー14に接続されている。移動情報取得部104は、これらセンサーの出力に基づいて、車両1の移動情報を取得する。ここで、車両1の移動情報とは、車両1が前進しているのか、後進しているのか、停車しているのかといった情報や、車両1が真っ直ぐ進んでいるのか、右旋回しているのか、左旋回しているのか、旋回している場合には旋回の大きさに関する情報や、車両1の走行速度に関する情報などである。本実施例では、移動情報取得部104が、本発明における「移動情報取得手段」に対応する。
異物除去部106は、履歴画像切出部108から表示前の履歴画像を一旦受け取り、該履歴画像から異物を除去して、履歴画像切出部108に出力する(異物が除去された履歴画像を切り出す)。こうすることにより、車載カメラ10F,10Rに異物が付着して撮影画像に異物が写り込んでしまっても、異物が除去された履歴画像(俯瞰画像)を表示画面11に表示することができる。以上のように、本実施例では、異物検出部105や、異物除去部106、履歴画像切出部108が協働して、異物が検出されなければ履歴画像をそのまま切りだし、異物が検出されれば異物が除去された履歴画像を切り出す。従って、異物検出部105、異物除去部106、履歴画像切出部108は本発明における「履歴画像切出手段」に対応している。
一例として、車両1の車載カメラ10F(あるいは車載カメラ10R)で撮影した地面に、複数の目印が等間隔で格子状に描かれていた場合について考える。
図3(a)には、車両1の前方の地面に等間隔で格子状に描かれた複数の丸い目印を、車両1の上方から見た状態が示されている。図中で、車載カメラ10Fから斜め方向に伸びる2本の一点鎖線は、車載カメラ10Fの撮影領域と死角領域との境界を表している。また、丸い目印が太い実線で表示されているのは、その目印が車載カメラ10Fの撮影領域内にあることを表しており、丸い目印が細い破線で表示されているのは、その目印が車載カメラ10Fの死角領域内にあることを表している。車載カメラ10F(あるいは車載カメラ10R)は、このような地面を斜め上方から撮影する。
このように、車載カメラ10Fの撮影範囲内の地面上の座標と、撮影画像上の座標との間には1対1の対応関係が存在する。従って、この対応関係を利用すれば、図3(b)に例示した撮影画像を、図3(a)に例示したように車両1の上方から地面を見下ろしたような画像(俯瞰画像)に変換することができる。これが、車載カメラ10F(あるいは車載カメラ10R)の撮影画像を視線変換して俯瞰画像を生成する際の考え方である。
そこで、車載カメラ10Fの撮影画像を視線変換して得られた俯瞰画像(撮影俯瞰画像)を記憶しておき、車両1の移動に伴って、過去の撮影俯瞰画像の中から、現在の死角領域に対応する部分の画像(履歴画像)を切り出して表示してやればよい。
図示されているように、時刻Taで得られた撮影俯瞰画像の一部は時刻Tbで新たに得られた撮影俯瞰画像と重なっているが、重なっていない部分も存在する。この重なっていない部分が、時刻Tbで車載カメラ10Fの死角領域に入った部分(今回新たに死角領域となった部分)に該当する。そこで時刻Tbでは、時刻Taの撮影俯瞰画像の中から、時刻Tbの撮影俯瞰画像に重なっていない部分の画像を履歴画像として切り出して、車両1の左右の死角領域に表示する。また、時刻Tbの撮影俯瞰画像も、後ほど履歴画像を切り出すために記憶する。
尚、車載カメラ10F,10Rは、約30Hzの周期で画像を撮影するので、時刻Taから時刻Tbまでに車両1が移動する距離は短いが、図示が煩雑となることを避けるために、図5では、車両1の移動距離が実際よりも長く表示されている。従って、実際には、時刻Taの撮影俯瞰画像の多くの部分が時刻Tbの撮影俯瞰画像に重なっており、履歴画像として切り出されるのは、図示されているよりも小さな画像となる。
時刻Tbで死角領域に既に表示されている履歴画像は、時刻Tbから時刻Tc間の車両1の移動に伴って、表示位置を車両1の進行方向と逆方向に移動(シフト)される。例えば、図示されるように車両1が前進している場合は、表示位置が車両1の後方向にシフトされる。また、車両1の移動に伴って新たに死角領域となった部分については、該当部分を履歴画像として撮影俯瞰画像から切り出す。ここでは、時刻Taと時刻Tbの複数の撮影俯瞰画像が存在するが何れにも死角領域となった部分が含まれるので、新しい方の時刻Tbの撮影俯瞰画像から履歴画像を切り出す。そして、この履歴画像を、新たな死角領域に対応する位置に表示する。
また、時刻Tcの撮影俯瞰画像も履歴画像を切り出すために記憶しておく。
この理由について、図6を用いて説明する。例えば、時刻Taで車載カメラ10F(あるいは車載カメラ10R)に異物が付着して撮影画像に異物が写り込んだとする。撮影画像に異物が写り込むと、該撮影画像を視線変換した撮影俯瞰画像にも異物が写り込む。図中で時刻Taの撮影俯瞰画像に塗りつぶした円形で示されているのは、撮影俯瞰画像に異物が写り込んでいることを表している。この例では、撮影俯瞰画像の画像領域のうち、時刻Tbで履歴画像として切り出される領域に異物が写り込んでいる。従って、時刻Tbでは、切り出された履歴画像にも異物が表示され、その後の時刻でも、該履歴画像がシフトされながら表示される限りは、異物が表示されたままとなる。
そこで、このような事態を回避するために、本実施例の画像表示装置100では、次のような方法で、車両1の周辺の俯瞰画像を表示する。
図7および図8には、上述した第1実施例の俯瞰画像表示処理のフローチャートが示されている。この処理は、画像表示装置100によって実行される。
図示されるように、第1実施例の俯瞰画像表示処理を開始すると、先ず始めに車載カメラ10Fおよび車載カメラ10Rから、車両1の前方および後方の撮影画像を取得する(S101)。
続いて、車両1の移動情報を取得する(S102)。ここで、車両1の移動情報とは、操舵角センサー12や、車速センサー13、シフト位置センサー14などから取得された情報である。
そして、表示画面11上で車載カメラ10Fおよび車載カメラ10Rの撮影領域に対応するフレームメモリーに、前方および後方の撮影俯瞰画像を書き込む(S104)。ここで、フレームメモリーとは、表示画面11に画像を表示するために用いられるメモリー領域である。表示画面11に表示される画像は一旦、フレームメモリー上に生成された後、映像信号として出力されることによって、表示画面11に表示される。フレームメモリー上の1つ1つのアドレス(例えば24ビットのアドレス領域)は、表示画面11上の1つ1つの画素と対応している。S104では、表示画面11上で車載カメラ10Fの撮影領域に対応するフレームメモリーの各アドレスには前方の撮影俯瞰画像を書き込み、車載カメラ10Rの撮影領域に対応するフレームメモリーの各アドレスには後方の撮影俯瞰画像を書き込む。
その結果、車両1が前進中であった場合は(S107:yes)、車両1の前方に表示した過去の撮影俯瞰画像の中から最新の(1つ前の)撮影俯瞰画像を選択する。すなわち、この最新の撮影俯瞰画像は、直前まで撮影領域を撮影した画像であるので、今回新たに車両1の死角領域となった部分を写していた撮影俯瞰画像である。尚、過去の撮影俯瞰画像の中には最新の撮影俯瞰画像でなくても、新たに死角領域となった部分を写していた撮影画像が存在することもあるところ、現在の車両1の周辺状況により近い俯瞰画像(履歴画像)を表示するべく、最新の撮影俯瞰画像を選択する。
一方、車両1が後進中であった場合は(S107:no)、車両1の後方に表示した過去の撮影俯瞰画像の中から、今回新たに死角領域となった部分を写していた過去の(最新の)撮影俯瞰画像を選択する(S109)。
こうして過去の履歴画像をシフトすると、フレームメモリー上の死角領域に対応するアドレスの一部が空いて履歴画像が記憶されていない状態となる。この空いたフレームメモリー上のアドレスは、新たな死角領域に対応するアドレスである。そこで、このアドレスにS110で切り出された新たな履歴画像を書き込む(S114)。
また、撮影領域については車両1の前方および後方の撮影俯瞰画像が、図8のS104で既にフレームメモリーに書き込まれているので、死角領域において過去の履歴画像がシフトされると共に新たな履歴画像が書き込まれることによって、フレームメモリー上で表示画面11に表示する画像が完成する。
そこで、画像表示装置100は、フレームメモリー上の画像を表示画面11に出力する(S114)。その結果、表示画面11には、車両1の周辺を上方から見たような俯瞰画像が表示されることになる。
これに対して、表示を終了すると判断した場合は(S115:yes)、第1実施例の俯瞰画像表示処理を終了する。
また、上述した例では、撮影俯瞰画像の探索画像領域を探索して異物画像領域(異物)を検出することとしたが、撮影画像の履歴画像に対応する領域を探索画像領域として決定し、撮影画像の探索画像領域を探索して異物画像領域(異物)を検出することとしてもよい。
そこで、探索画像領域に異物画像領域が検出された場合(切り出した履歴画像に異物が写り込む場合)は、異物が写り込む履歴画像を他の履歴画像に置き換えることによって、切り出した履歴画像から異物を除去する。本実施例では、図12(b)に示すように、切り出した履歴画像(異物が写り込んだ履歴画像)は表示せず(図中、破線×印)、該履歴画像を切り出した撮影俯瞰画像よりも1つ前に(過去に)記憶された撮影俯瞰画像を読み出す。そして、この1つ前に記憶された撮影俯瞰画像から、履歴画像(異物が写り込んだ履歴画像)と同じ死角領域が写った画像領域(以下「代替画像領域」という)を新たな履歴画像として切り出して表示する(図中、実線矢印)。すなわち、車両が移動していれば、今回の撮影俯瞰画像では探索画像領域に写っている死角領域も、過去の撮影俯瞰画像では別の画像領域(代替画像領域)に写っているので、該画像領域を新たな履歴画像とする。これにより、履歴画像から異物を除去することができる。尚、図中にクロスハッチングで示すように、撮影領域には、撮影俯瞰画像がそのまま表示される。
代替画像領域の異物画像領域の大きさ、すなわち、新たに切り出そうとしている履歴画像に写り込んでいる異物の大きさが、既に切り出されている履歴画像に写り込んでいる異物の大きさ以上である場合は、代替画像領域(新たに履歴画像)を切り出すことはしない。
そして、異物が写り込んでいない代替画像領域を見つけられないまま、過去の撮影俯瞰画像に代替画像領域が存在しなくなったら(S303:no)、図11に示す異物除去処理を終了して、図8に示す俯瞰画像表示処理に復帰する。この場合は、図8に示す俯瞰画像表示処理において、異物除去処理に続くS112〜S114の処理が行われることによって、現時点でメモリーに記憶されている履歴画像が表示されることとなる。つまり、写り込んでいる異物が最も小さい履歴画像が表示されることとなる。こうすると、車両1の死角領域のうち異物に隠されて表示されなかった部分を完全になくすことはできなくても、該領域を小さくすることができ、俯瞰画像の画質を向上させることが可能となる。
次に、第2実施例の俯瞰画像表示処理について説明する。図14には、第2実施例の異物除去処理の概要が示されている。図14において、車両1は前進しているものとする。第2実施例では、探索画像領域において異物画像領域が検出されると(切り出した履歴画像に異物が写り込む場合は)、第1実施例とは別の方法で異物を除去する。第2実施例では、図14に示すように、切り出した履歴画像(異物が写り込んだ履歴画像)のうち異物が写り込んでいない画像領域(異物画像領域以外の画像領域)についてはそのまま表示する(図中、実線矢印)。また、異物が写り込んだ画像領域(異物画像領域)については、代わりの画像に置き換える(図中、破線矢印)。すなわち、履歴画像(異物が写り込んだ履歴画像)を切り出した撮影俯瞰画像よりも1つ前に(過去に)記憶された撮影俯瞰画像を読み出す。そして、この1つ前に記憶された撮影俯瞰画像から、履歴画像の異物画像領域に対応する死角領域が写った画像領域、換言すると、履歴画像においては異物に隠されて表示されなかった死角領域が写った画像領域(以下「部分画像領域」という)を読み出して合成する。これにより、履歴画像から異物を除去することができる。尚、図中にクロスハッチングで示すように、撮影領域には、撮影俯瞰画像がそのまま表示される。
新たに切り出そうとしている部分画像領域の異物画像領域の大きさ、すなわち、新たに切り出そうとしている部分画像領域に写り込んでいる異物の大きさが、履歴画像に写り込んでいる異物の大きさ以上である場合は、部分画像領域を履歴画像に合成することはしない。
そして、異物が写り込んでいない部分画像領域を見つけられないまま、過去の撮影俯瞰画像に部分画像領域が存在しなくなったら(S403:no)、図15に示す異物除去処理を終了して、図8に示す俯瞰画像表示処理に復帰する。この場合は、図8に示す俯瞰画像表示処理において、異物除去処理に続くS112〜S114の処理が行われることによって、現時点でメモリーに記憶されている履歴画像が表示されることとなる。つまり、写り込んでいる異物が最も小さい部分画像領域が合成された履歴画像が表示されることとなる。こうすると、車両1の死角領域のうち異物に隠されて表示されなかった部分を完全になくすことはできなくても、該領域を小さくすることができ、俯瞰画像の画質を向上させることが可能となる。
また、上述した第2実施例では、履歴画像の異物画像領域に過去の撮影俯瞰画像の部分画像領域を合成して表示することによって異物を除去するとしたが、これに限らず、異物画像領域の画像(色情報)を、履歴画像の異物画像領域に予め定められた画像(色情報)や、異物画像領域の周辺領域と同様の画像(色情報)に置き換えることによって異物を除去することとしてもよい。こうすると、異物の除去にかかる処理負担を軽減しつつ、異物が目立って表示されることを抑制することができる。
11…表示画面、 12…操舵角センサー、 13…車速センサー、
14…シフト位置センサー、 100…画像表示装置、
101…撮影画像取得部、 102…撮影俯瞰画像生成部、
103…画像表示部、 104…移動情報取得部、
105…異物検出部、 106…異物除去部、
107…撮影俯瞰画像記憶部、 108…履歴画像切出部。
Claims (6)
- 車載カメラ(10F,10R)を用いて車両(1)の周辺領域を撮影した画像を、表示画面(11)上に表示する車両周辺画像表示装置(100)であって、
前記車載カメラから撮影画像を取得する撮影画像取得手段(101)と、
前記撮影画像に対して、前記車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成手段(102)と、
前記撮影俯瞰画像を、前記表示画面上で前記車載カメラが撮影した前記周辺領域に対応する位置に表示する撮影俯瞰画像表示手段(103)と、
前記車両の移動量に関する移動情報を取得する移動情報取得手段(104)と、
前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成され且つ該死角領域を撮影した前記撮影俯瞰画像の中から該死角領域に対応する部分の画像である履歴画像を、前記移動情報に基づいて切り出す履歴画像切出手段(108)と、
前記履歴画像を、前記表示画面上で前記死角領域に対応する位置に表示する履歴画像表示手段(103)と、
を備え、
前記履歴画像切出手段は、前記撮影俯瞰画像中の前記履歴画像として切り出す部分から、前記車載カメラに付着した異物を検出し、該異物が検出された場合には、該異物が除去された状態で前記履歴画像を切り出す手段(105、106、108)である
車両周辺画像表示装置。 - 請求項1に記載の車両周辺画像表示装置であって、
前記履歴画像切出手段は、前記移動情報に基づいて前記車両が走行中であるか否かを判断し、前記車両が走行中である場合は、該車両の走行中に生成される複数の撮影俯瞰画像に基づいて、前記撮影俯瞰画像中の移動していない部分を検出することによって、前記異物を検出する手段である
車両周辺画像表示装置。 - 請求項2に記載の車両周辺画像表示装置であって、
前記履歴画像切出手段は、前記移動情報に基づいて前記車両の走行速度を検出し、該車両の走行速度に応じた時間に亘って生成される複数の前記撮影俯瞰画像に基づいて、前記異物を検出する手段である
車両周辺画像表示装置。 - 請求項1ないし請求項3の何れか一項に記載の車両周辺画像表示装置であって、
前記履歴画像切出手段は、前記異物が検出された場合は、該異物が検出された部分については、前記履歴画像を切り出す撮影俯瞰画像よりも前に生成された撮影俯瞰画像から画像を切り出すことにより、前記異物が除去された前記履歴画像を切り出す手段である
車両周辺画像表示装置。 - 請求項1ないし請求項3の何れか一項に記載の車両周辺画像表示装置であって、
前記履歴画像切出手段は、前記異物が検出された場合は、該異物が検出された部分の周辺の画像に基づいて前記異物が除去された前記履歴画像を切り出す手段である
車両周辺画像表示装置。 - 車載カメラを用いて車両の周辺領域を撮影した画像を、表示画面上に表示する車両周辺画像表示方法(S100)であって、
前記車載カメラから撮影画像を取得する撮影画像取得工程(S101)と、
前記撮影画像に対して、前記車載カメラに写った前記周辺領域を前記車両の上方から撮影した画像に変換する視線変換を施すことによって、撮影俯瞰画像を生成する撮影俯瞰画像生成工程(S103)と、
前記撮影俯瞰画像を、前記表示画面上で前記車載カメラが撮影した前記周辺領域に対応する位置に表示する撮影俯瞰画像表示工程(S114)と、
前記車両の移動量に関する移動情報を取得する移動情報取得工程(S102)と、
前記車両の周辺領域の中で前記車載カメラの死角となる死角領域については、前記車両が現在の位置に達する前に生成され且つ該死角領域を撮影した前記撮影俯瞰画像の中から該死角領域に対応する部分の画像である履歴画像を、前記移動情報に基づいて切り出す履歴画像切出工程(S110)と、
前記履歴画像を、前記表示画面上で前記死角領域に対応する位置に表示する履歴画像表示工程(S114)と、
を備え、
前記履歴画像切出工程は、前記撮影俯瞰画像中の前記履歴画像として切り出す部分から、前記車載カメラに付着した異物を検出し、該異物が検出された場合には、該異物が除去された状態で前記履歴画像を切り出す工程(S106、S110、S111)である
車両周辺画像表示方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014223966A JP6327115B2 (ja) | 2014-11-04 | 2014-11-04 | 車両周辺画像表示装置、車両周辺画像表示方法 |
PCT/JP2015/080010 WO2016072300A1 (ja) | 2014-11-04 | 2015-10-23 | 車両周辺画像表示装置、車両周辺画像表示方法 |
CN201580059716.1A CN107077715B (zh) | 2014-11-04 | 2015-10-23 | 车辆周边图像显示装置、车辆周边图像显示方法 |
EP15857211.5A EP3217352B1 (en) | 2014-11-04 | 2015-10-23 | Vehicle periphery image display device and vehicle periphery image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014223966A JP6327115B2 (ja) | 2014-11-04 | 2014-11-04 | 車両周辺画像表示装置、車両周辺画像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016091250A JP2016091250A (ja) | 2016-05-23 |
JP6327115B2 true JP6327115B2 (ja) | 2018-05-23 |
Family
ID=55909026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014223966A Active JP6327115B2 (ja) | 2014-11-04 | 2014-11-04 | 車両周辺画像表示装置、車両周辺画像表示方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3217352B1 (ja) |
JP (1) | JP6327115B2 (ja) |
CN (1) | CN107077715B (ja) |
WO (1) | WO2016072300A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109935107B (zh) * | 2017-12-18 | 2023-07-14 | 姜鹏飞 | 一种提升交通通视范围的方法及装置 |
US20200184321A1 (en) * | 2018-12-11 | 2020-06-11 | Fotonation Limited | Multi-processor neural network processing apparatus |
CN112622761B (zh) * | 2019-09-24 | 2022-07-29 | 博泰车联网科技(上海)股份有限公司 | 一种倒车显示方法、装置及计算机存储介质 |
WO2023192753A1 (en) * | 2022-04-01 | 2023-10-05 | Nvidia Corporation | Under vehicle reconstruction for vehicle environment visualization |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005301517A (ja) * | 2004-04-08 | 2005-10-27 | Toyota Motor Corp | 画像処理装置および画像処理方法 |
JP4321643B2 (ja) * | 2007-08-10 | 2009-08-26 | トヨタ自動車株式会社 | 周辺監視装置 |
US8503728B2 (en) * | 2007-10-30 | 2013-08-06 | Nec Corporation | Road marking image processing device, road marking image processing method, and program |
JP2010273014A (ja) * | 2009-05-20 | 2010-12-02 | Toshiba Alpine Automotive Technology Corp | 移動体用カメラ装置及び付着物検出方法 |
JP2010274813A (ja) * | 2009-05-29 | 2010-12-09 | Fujitsu Ten Ltd | 画像生成装置及び画像表示システム |
JP5126549B2 (ja) * | 2009-07-21 | 2013-01-23 | アイシン精機株式会社 | 運転支援装置、運転支援方法、及び運転支援プログラム |
JP5500369B2 (ja) * | 2009-08-03 | 2014-05-21 | アイシン精機株式会社 | 車両周辺画像生成装置 |
JP5790335B2 (ja) * | 2011-09-01 | 2015-10-07 | 株式会社デンソー | 車両周辺画像表示制御装置 |
US8559727B1 (en) * | 2012-04-09 | 2013-10-15 | GM Global Technology Operations LLC | Temporal coherence in clear path detection |
JP6003226B2 (ja) * | 2012-05-23 | 2016-10-05 | 株式会社デンソー | 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム |
JP5994437B2 (ja) * | 2012-07-04 | 2016-09-21 | 株式会社デンソー | 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム |
-
2014
- 2014-11-04 JP JP2014223966A patent/JP6327115B2/ja active Active
-
2015
- 2015-10-23 WO PCT/JP2015/080010 patent/WO2016072300A1/ja active Application Filing
- 2015-10-23 EP EP15857211.5A patent/EP3217352B1/en active Active
- 2015-10-23 CN CN201580059716.1A patent/CN107077715B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP3217352A1 (en) | 2017-09-13 |
JP2016091250A (ja) | 2016-05-23 |
WO2016072300A1 (ja) | 2016-05-12 |
EP3217352B1 (en) | 2018-12-12 |
CN107077715B (zh) | 2021-01-08 |
EP3217352A4 (en) | 2017-11-15 |
CN107077715A (zh) | 2017-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016002163A1 (ja) | 画像表示装置、画像表示方法 | |
KR100550299B1 (ko) | 차량 주변 이미지 처리 장치 및 기록 매체 | |
JP5262976B2 (ja) | 車載表示装置 | |
JP5680436B2 (ja) | 車載カメラレンズ用異物付着判定装置 | |
JP5915923B2 (ja) | 画像処理装置及び運転支援システム | |
JP6327115B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
US20170028917A1 (en) | Driving assistance device and driving assistance method | |
JP6375633B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP2010016805A (ja) | 画像処理装置、運転支援システム、及び画像処理方法 | |
JP6326869B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP2015171106A (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP5849942B2 (ja) | 車載画像処理装置 | |
JP6407596B2 (ja) | 画像処理装置、及び、運転支援システム | |
JP4857159B2 (ja) | 車両運転支援装置 | |
JP5477394B2 (ja) | 車両周辺監視装置 | |
WO2015001747A1 (ja) | 走行路面標示検知装置および走行路面標示検知方法 | |
JP2004040523A (ja) | 車両周囲監視装置 | |
JP2005182305A (ja) | 車両走行支援装置 | |
WO2017122688A1 (ja) | 車載カメラのレンズ異常検出装置 | |
JP6958485B2 (ja) | 物体検知装置 | |
JP4598011B2 (ja) | 車両用表示装置 | |
JP2011095846A (ja) | 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム | |
JP7236556B2 (ja) | 物体検知装置および物体検知プログラム | |
JP2019125894A (ja) | 車載画像処理装置 | |
JP2005324593A (ja) | トップビュー画像生成装置及びトップビュー画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180320 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180402 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6327115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |