JP2017119485A - 車両用表示装置および車両用表示方法 - Google Patents
車両用表示装置および車両用表示方法 Download PDFInfo
- Publication number
- JP2017119485A JP2017119485A JP2015257083A JP2015257083A JP2017119485A JP 2017119485 A JP2017119485 A JP 2017119485A JP 2015257083 A JP2015257083 A JP 2015257083A JP 2015257083 A JP2015257083 A JP 2015257083A JP 2017119485 A JP2017119485 A JP 2017119485A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- distance
- processing unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】俯瞰画像に表示される物体までの距離を正確に反映する技術を提供する。【解決手段】画像取得部52は、車両の周辺を撮像した画像を取得する。距離取得部54は、画像取得部52において取得した画像に含まれた第1の物体と車両との第1の距離を取得する。生成部64は、距離取得部54において取得した第1の距離に応じて、画像取得部52において取得した画像に含まれた第1の物体の下方に位置する第2の物体の少なくとも一部を遮蔽した状態となるように、車両の上方から見たように視点を変換した俯瞰画像を生成する。表示処理部60は、生成部64において生成した俯瞰画像を表示部62に表示させる。【選択図】図3
Description
本発明は、車両用表示技術に関し、特に画像を表示する車両用表示装置および車両用表示方法に関する。
車両の複数個所にカメラを設置する場合がある。その際、撮影された画像を視点変換して合成することによって、俯瞰画像が生成される(例えば、特許文献1参照)。
視点変換では、上下方向の位置の差がある物体間の距離を正確に表すことができず、違和感を生じたり、物体までの距離を正確に把握できなかったりする場合がある。例えば、複数の車両を並べて駐車する駐車場において、後退により駐車区画への駐車を行う場合、後方の車両の端部直下に駐車枠線があっても、視点変換を行った画像では、枠線と後方の車両には距離があるように見えてしまう。このような場合、後方の車両の端部直下の枠線が、自車の駐車範囲を示す枠線である場合、後方にある車両までの距離が適切に把握できない。
本発明はこうした状況に鑑みてなされたものであり、その目的は、俯瞰画像に表示される物体までの距離を正確に反映する技術を提供することである。
上記課題を解決するために、本発明のある態様の車両用表示装置は、車両の周辺を撮像した画像を取得する画像取得部と、画像取得部において取得した画像に含まれた第1の物体と車両との第1の距離を取得する距離取得部と、距離取得部において取得した第1の距離に応じて、画像取得部において取得した画像に含まれた第1の物体の下方に位置する第2の物体の少なくとも一部を遮蔽した状態となるように、車両の上方から見たように視点を変換した俯瞰画像を生成する生成部と、生成部において生成した俯瞰画像を表示部に表示させる表示処理部と、を備える。
本発明の別の態様は、車両用表示方法である。この方法は、車両の周辺を撮像した画像を取得するステップと、取得した画像に含まれた第1の物体と車両との第1の距離を取得するステップと、取得した第1の距離に応じて、取得した画像に含まれた第1の物体の下方に位置する第2の物体の少なくとも一部を遮蔽した状態となるように、車両の上方から見たように視点を変換した俯瞰画像を生成するステップと、生成した俯瞰画像を表示部に表示させるステップと、を備える。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、俯瞰画像に表示される物体までの距離を正確に反映できる。
(実施例1)
本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例1は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。複数の車両を並べて駐車する駐車場において後退により駐車区画への駐車を行う場合、後方の他車両の端部直下に描画された駐車枠線は、上方から見ると他車両の下方に遮蔽されて見えないはずである。しかしながら、視点変換によって生成した俯瞰画像において、駐車枠線が他車両に遮蔽されず、本車両側に近づいて配置されることがある。そのため、運転者には、駐車枠線からさらに離れて、後方の他車両が存在するように見えてしまい、後方にある他の車両までの距離が適切に把握できない。
本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例1は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。複数の車両を並べて駐車する駐車場において後退により駐車区画への駐車を行う場合、後方の他車両の端部直下に描画された駐車枠線は、上方から見ると他車両の下方に遮蔽されて見えないはずである。しかしながら、視点変換によって生成した俯瞰画像において、駐車枠線が他車両に遮蔽されず、本車両側に近づいて配置されることがある。そのため、運転者には、駐車枠線からさらに離れて、後方の他車両が存在するように見えてしまい、後方にある他の車両までの距離が適切に把握できない。
これに対応するために、本実施例に係る車両用表示装置は、車両の設置された複数の撮像部において撮像した車両周辺画像から他車両のような物体を検出するとともに、検出した物体までの距離を取得する。また、車両用表示装置は、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を車両で遮蔽させる処理を行う。さらに、車両用表示装置は、駐車枠線を隠した画像に対して、視点変換を実行することによって俯瞰画像を生成し、生成した俯瞰画像を表示する。
以下、本発明の実施例について、図面を参照しつつ説明する。かかる実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
図1は、本発明の実施例1に係る車両100の周辺に形成される撮像範囲を示す斜視図である。車両100の前方部分、例えばバンパー、ボンネット等には、前方撮像部12が設置される。前方撮像部12は、前方撮像部12から前方に向かうように前方撮像領域20を形成し、前方撮像領域20において画像を撮像する。車両の左側方部分、例えば、左側ドアミラーの下部等には、左側方撮像部14が設置される。左側方撮像部14は、左側方撮像部14から左方に向かうように左側方撮像領域22を形成し、左側方撮像領域22において画像を撮像する。
車両の後方部分、例えば、バンパー、トランク等には、後方撮像部16が設置される。後方撮像部16は、後方撮像部16から後方に向かうように後方撮像領域24を形成し、後方撮像領域24において画像を撮像する。左側方撮像部14と左右対称になるように、車両の右側部分には、図示しない右側方撮像部18が設置される。右側方撮像部18は、右側方撮像部18から右方に向かうように、右側方撮像領域26を形成し、右側方撮像領域26において画像を撮像する。前方撮像部12、左側方撮像部14、後方撮像部16および右側方撮像部18を撮像部10とし、撮像部10において撮像した画像によって、車両100の周辺が撮像される。
図2(a)−(b)は、本発明の実施例の比較対象における処理の概要を示す。比較対象では、図1に示すように、車両100に設置された撮像部10において画像を撮像する場合を想定する。特に、比較対象では、画像に対する視点変換により俯瞰画像を生成するための処理が、これまでなされていた処理に相当する。図2(a)は、図1の車両100を左側方から見た場合を示す。前述のごとく、車両100の後方部分には後方撮像部16が設置されている。また、車両100の後方には、他車両110が駐車あるいは停車している。さらに、地面には枠線30が描画されており、枠線30は、他車両110の前方端部の下に存在する。そのため、車両100、他車両110を上方から見下ろした場合、枠線30は他車両110に遮蔽される。一方、後方撮像部16は、車両100の上方ではない位置から斜めに他車両110および枠線30を撮像しているので、後方撮像部16によって撮像された画像には、他車両110の前方端部、枠線30が含まれる。
図2(b)は、撮像部10において撮像した画像に対して、視点変換を実行して生成した俯瞰画像48を示す。前述のごとく、俯瞰画像48を生成するための処理には、これまでなされていた処理が実行されている。俯瞰画像48の中央部分には、車両100が配置される。車両100の前方には前方画像40が配置され、車両100の左側方には左側方画像42が配置され、車両100の後方には後方画像44が配置され、車両100の右側方には右側方画像46が配置される。特に、後方画像44は、図2(a)における撮像範囲32を撮像した画像をもとに生成されている。そのため、後方画像44では、車両100の後方に他車両110が配置されるとともに、車両100と他車両110との間に枠線30が配置される。つまり、本来、他車両110に遮蔽されるはずの枠線30が、他車両110に遮蔽されなくなり、俯瞰画像48と実際の状況とが異なる。
図3は、本発明の実施例1に係る車両用表示装置50の構成を示す。車両用表示装置50は、撮像部10を構成する前方撮像部12、左側方撮像部14、後方撮像部16、右側方撮像部18に接続される。車両用表示装置50は、画像取得部52、距離取得部54、生成部64、表示処理部60、表示部62を含む。生成部64は、画像処理部56、視点変換処理部58を含む。
前方撮像部12、左側方撮像部14、後方撮像部16、右側方撮像部18は、前述のごとく、画像を撮像する。画像は動画像であるが、静止画像であってもよい。前方撮像部12、左側方撮像部14、後方撮像部16、右側方撮像部18は、画像を画像取得部52に出力する。
画像取得部52は、前方撮像部12、左側方撮像部14、後方撮像部16、右側方撮像部18のそれぞれから画像を入力する。つまり、画像取得部52は、車両100の周辺を撮像した画像を取得する。図4は、後方撮像部16において撮像された画像の例を示す。図4に示す画像の例は、説明を容易にするために、撮像部10の各々が広角撮像可能なカメラであることによる画像の歪みは表していない。ここで、図2(a)のごとく、車両100の後方に他車両110が駐車しており、他車両110の下方の地面に枠線30が描写されているとする。画像には、他車両110と枠線30とが含まれている。図3に戻る。画像取得部52は、取得した画像を生成部64に出力する。
距離取得部54は、第1の物体と車両100との距離を取得する。距離取得部54において距離を取得する対象となる物体は、例えば、他車両110である。距離取得部54は、物体との距離を検出する方向に存在する物体までの距離を常時取得していてもよく、画像処理部56により第1の物体が検出されたときに、第1の物体を検出対象として動作してもよい。物体との測距には、公知の技術が使用されればよいが、例えば、ステレオ測距、二眼カメラが使用される。これは、複数の光学系間に生じる視差を算出し、視差をもとに、物体までの距離を測定する。この場合、後方撮像部16には、複数の光学系が備えられる。また、物体との測距に、距離センサが使用されてもよい。図示しない距離センサが、後方撮像部16の近傍に備えられており、距離センサは、赤外光やレーザ光などを物体に照射してから、その反射光を受光することによって、結像位置情報から距離を算出する。距離センサには、ミリ波などを用いてもよい。
また、距離取得部54は、物体との測距に、画像取得部52から取得した画像を用いたベクトル検出処理を適用してもよい。ベクトル検出処理は、画像中の特定点を検出するとともに、特定点のベクトル移動量を算出することによって、物体との距離を測定する。図5(a)−(b)は、車両用表示装置50における処理の概要を示す。図5(a)は、図2(a)と同様に示される。距離取得部54は、第1の距離として距離「d1」を測定する。図5(b)は後述し、図3に戻る。距離取得部54は、取得した第1の距離を画像処理部56に出力する。
画像処理部56は、画像取得部52から画像を入力する。以下では、説明を明瞭にするために、後方撮像部16において撮像した画像に対する処理を説明するが、他の画像に対しても同様の処理がなされればよい。画像処理部56は、画像に対して、エッジ検出処理を実行する。エッジ検出処理は、特徴検出や特徴抽出の一種であり、画像の明るさが不連続に変化している箇所を特定するためのアルゴリズムである。画像処理部56は、画像に含まれた第1の物体、例えば他車両110を検出する。また、画像処理部56は、同様に画像に含まれた第2の物体、例えば、枠線30も検出する。なお、エッジ検出処理は公知の技術であるので、ここでは詳細な説明を省略する。ここでいう枠線30は、一般的には路面に描画された白線であり、撮像した画像に基づく公知の白線検出技術が適用可能である。また、枠線30ではなく縁石である場合も同様である。
また、画像処理部56は、検出した第1の物体と第2の物体の位置関係も取得する。画像処理部56は、検出した第1の物体および第2の物体に関する情報をもとに、第2の物体が第1の物体の下方に存在するか否かを判定する。図4の場合、第2の物体である枠線30が、第1の物体である他車両110の下方に存在する。つまり、画像処理部56は、画像上において、第2の物体の位置が第1の物体の下方であり、かつその間の画素数で表される第2の距離が第2のしきい値より短い場合、第2の物体が第1の物体の下方に存在すると判定する。第2の物体が第1の物体の下方に存在する判断においては、第2の物体が撮像方向に直交して配置されていることを条件に加えてもよい。図4の場合、第2の物体である枠線30の画面横方向に延びている部分を対象とする。第2の物体が第1の物体の下方に存在する場合、画像処理部56は、下記の処理を実行する。
画像処理部56は、車両100と第1の物体との距離に対する第1のしきい値を予め保持しており、距離取得部54から入力した第1の距離と第1のしきい値とを比較する。例えば、図5(a)に示した第1の距離である距離d1が第1のしきい値よりも短い場合に、画像処理部56は、画像に含まれかつ第1の物体の下方に位置する第2の物体を遮蔽した状態とする処理を行う。具体的に説明すると、画像処理部56は、第1の物体の外形を切り出してから、第2の物体に重ねて貼り付ける。その結果が、図6であり、図6は、画像処理部56において処理された画像を示す。このように、枠線30の一部が遮蔽されるように、他車両110は枠線30に重ねられる。ここで、画像処理部56は、枠線30よりも本車両100に近づけるように、他車両110の外形を貼り付ける。図3に戻る。画像処理部56は、画像を視点変換処理部58に出力する。
視点変換処理部58は、画像処理部56から画像を入力する。視点変換処理部58は、画像に対して、車両100の上方から見たように視点を変換することによって俯瞰画像を生成する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に画像の各画素を投影するとともに、車両100の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した画像に相当する。視点を変換した画像の一例が、図5(b)である。図5(b)における俯瞰画像78の中央部分には、車両100が配置される。車両100の前方には前方画像70が配置され、車両100の左側方には左側方画像72が配置され、車両100の後方には後方画像74が配置され、車両100の右側方には右側方画像76が配置される。特に、後方画像74では、枠線30の上から重なるように他車両110が示されており、枠線30の一部が他車両110に遮蔽された状態となる。
図7(a)−(b)は、車両用表示装置50における別の処理の概要を示す。図7(a)は、図5(a)と同様に示されるが、これらにおいて、車両100と他車両110との距離が異なっており、枠線30は、他車両110の前方端部の下に存在しない。図7(a)では、車両100と他車両110は、第1の距離として距離d2だけ離れている。ここで、距離d2は、距離d1よりも長く、第1のしきい値以上である。そのため、画像処理部56において、他車両110は移動されず、枠線30は遮蔽されない。図7(b)における俯瞰画像78は、図5(b)と同様に示されるが、後方画像74において、車両100と他車両110との間に枠線30が含まれる。図3に戻る。視点変換処理部58は、変換した画像である俯瞰画像78を表示処理部60に出力する。
表示処理部60は、視点変換処理部58から俯瞰画像78を入力する。表示処理部60は、俯瞰画像78を表示部62に表示させる。表示部62は、図5(b)、図7(b)のような俯瞰画像78を表示する。
画像処理部56が、第2の物体が第1の物体の下方に存在することを判定するために第2の距離を求める処理を具体的に説明する。画像処理部56は、第1の物体、第2の物体に関する情報をもとに、第1の物体と第2の物体との間の画素数を特定する。また、画像処理部56は、画像の画角情報を用い距離取得部54が取得した第1の距離に基づく画素数と実際の距離との関係を導出する。画像処理部56は、第1の物体と第2の物体との間の特定した画素数と画角とをもとに、第1の物体と第2の物体との間の第2の距離を導出する。導出された第2の距離は、図5(a)において距離d3と示され、図7(a)において距離d4と示される。
画像処理部56は、前述の第1のしきい値とは別の第2のしきい値を予め保持しており、導出した第2の距離と第2のしきい値とを比較する。第2の距離が第2のしきい値よりも短い場合に、画像処理部56は、画像に含まれた模様などの第2の物体がであって、かつ第1の物体の下方に位置する第2の物体を遮蔽した状態とする処理を行う。図5(a)における距離d3は第2のしきい値よりも短く、図7(a)における距離d4は第2のしきい値以上である。そのため、これまでと同様に、画像処理部56は、図5(a)における枠線30に他車両110を重ね、図7(a)において他車両110を移動させない。
図8は、車両用表示装置50における処理の概要を示す。これは、図5(a)、図7(a)と同様に示される。図8において、例えば、撮像部高80は500mmに設定され、車間82は700mmに設定され、他車後下端部地上高90は150mmに設定され、枠線30の幅は100mmに設定される。また、枠線手前端84は、枠線30のうちの最も車両100に近い部分であり、枠線奥側端86は、枠線30のうちの最も車両100から遠い部分である。他車後下端部88は、他車両110において、車両100側の下端である。さらに、車両100の高さ方向における後方撮像部16の向きは−45度に設定され、撮像範囲32、つまり画角は±25度に設定される。
このような状況下において、後方撮像部16において撮像した画像の縦方向の画素数を「1080」であるとした場合、画像の上端から他車後下端部88までの画素数は「142」になる。図9(a)−(b)は、車両用表示装置50における処理の概要を示す。図9(a)の左側は、枠線30の枠線手前端84が、他車後下端部88よりも200mmだけ車両100(図示せず)から離れている場合を示す。その際、画像の上端から枠線奥側端86までの画素数は「142」であり、画像の上端から枠線手前端84までの画素数は「196」であるので、他車後下端部88と枠線奥側端86との間の画素数は「0」になる。この場合の俯瞰画像は、右側に示されるように、枠線30は他車両110に遮蔽されていないので、他車両110の移動が必要になる。
図9(b)の左側は、枠線30の枠線手前端84が、他車後下端部88よりも100mmだけ車両100(図示せず)から離れている場合を示す。その際、画像の上端から枠線奥側端86までの画素数は「196」であり、画像の上端から枠線手前端84までの画素数は「259」であるので、他車後下端部88と枠線奥側端86との間の画素数は「54」になる。この場合の俯瞰画像は、右側に示されるように、枠線30は他車両110に遮蔽されていないので、他車両110の移動が必要になる。
図10(a)−(b)は、車両用表示装置50における処理の概要を示す。図10(a)の左側は、枠線30の枠線手前端84が、他車後下端部88に合っている場合を示す。その際、画像の上端から枠線奥側端86までの画素数は「259」であり、画像の上端から枠線手前端84までの画素数は「336」であるので、他車後下端部88と枠線奥側端86との間の画素数は「117」になる。この場合の俯瞰画像は、右側に示されるように、枠線30は他車両110に遮蔽されていないので、他車両110の移動が必要になる。
図10(b)の左側は、枠線30の枠線手前端84が、他車後下端部88よりも100mmだけ車両100(図示せず)に近い場合を示す。その際、画像の上端から枠線奥側端86までの画素数は「336」であり、画像の上端から枠線手前端84までの画素数は「428」であるので、他車後下端部88と枠線奥側端86との間の画素数は「194」になる。この場合の俯瞰画像は、右側に示されるように、枠線30は他車両110に隠されていないが、他車両110の移動が不要である。図9(a)−(b)、図10(a)−(b)をまとめると、画像処理部56における第2のしきい値は、「120」前後に設定される。
画像処理部56における2種類の処理を説明したが、いずれにおいても第2のしきい値は、固定値とされている。一方、第2のしきい値は、後方撮像部16等が取り付けられた位置に応じて設定されてもよい。つまり、画像処理部56は、後方撮像部16等の地面からの高さに応じて、第2のしきい値を設定してもよい。後方撮像部16等の高さが高くなるほど、後方撮像部16等において撮像される画像と、車両100の上方から見た画像とが近くなる。その場合、実際は他車両110の下に枠線30が存在しているにもかかわらず、視点変換すると、車両100と他車両110との間に枠線30が示されているような状況が発生しにくくなる。そのため、他車両110がされにくくなるように第2のしきい値が調節されるべきである。これらを考慮して、距離取得部54は、後方撮像部16等の高さが高くなるほど、短くなるような第2のしきい値を設定する。例えば、後方撮像部16等を車両100に取り付ける際に、外部から第2のしきい値が設定される。
この構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
以上の構成による車両用表示装置50の動作を説明する。図11は、車両用表示装置50による表示手順を示すフローチャートである。距離取得部54は、第1の物体である後方の他車両110との距離を第1の距離として取得する(S10)。第1の距離が第1のしきい値よりも短ければ(S12のY)、画像処理部56は、他車両110を移動する処理を実行する(S14)。一方、第1の距離が第1のしきい値よりも短くなければ(S12のN)、ステップS16へ推移する。視点変換処理部58は、画像の視点を変換する(S16)。表示処理部60は、表示部62に画像を表示させる(S18)。
図12は、車両用表示装置50による別の表示手順を示すフローチャートである。距離取得部54は、第1の物体である後方の他車両110との距離を第1の距離として取得する(S50)。画像処理部56は、第1の物体である後方の他車両110と第2の物体である枠線30との間の距離を第2の距離として導出する(S52)。第2の距離が第2のしきい値よりも短ければ(S54のY)、画像処理部56は、他車両110を移動する処理を実行する(S56)。一方、第2の距離が第2のしきい値よりも短くなければ(S54のN)、ステップS58へ推移する。視点変換処理部58は、画像の視点を変換する(S58)。表示処理部60は、表示部62に画像を表示させる(S60)。
本実施例によれば、他車両との距離に応じて、他車両の下方に位置する枠線を遮蔽して俯瞰画像を生成するので、俯瞰画像において他車両に遮蔽されるべき枠線が表示されてしまうことを回避できる。また、俯瞰画像において他車両に遮蔽されるべき枠線が表示されてしまうことが回避されるので、実際の状況に近い俯瞰画像を表示することができる。また、実際の状況に近い俯瞰画像を表示するため物体までの距離を正確に把握することができる。また、他車両との距離としきい値とを比較するだけなので、処理を簡易にできる。また、他車両と枠線との間の距離としきい値とを比較するので、処理の精度を向上できる。また、物体の外形を切り出してから、模様に重ねて貼り付けるので、処理を簡易にできる。また、模様よりも本車両に近づけて、物体の外形を貼り付けるので、衝突の危険性を低減できる。
(実施例2)
次に、実施例2を説明する。実施例2は、実施例1と同様に、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。実施例1に係る車両用表示装置は、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を車両で隠してから、視点変換を実行することによって俯瞰画像を生成している。一方、実施例2では、視点変換を実行することによって俯瞰画像を生成してから、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を車両で遮蔽する。つまり、処理の順序が、実施例1とは異なる。ここでは、実施例1との差異を中心に説明する。
次に、実施例2を説明する。実施例2は、実施例1と同様に、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。実施例1に係る車両用表示装置は、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を車両で隠してから、視点変換を実行することによって俯瞰画像を生成している。一方、実施例2では、視点変換を実行することによって俯瞰画像を生成してから、距離がしきい値よりも短い場合、他車両の物体の下方に位置する駐車枠線を車両で遮蔽する。つまり、処理の順序が、実施例1とは異なる。ここでは、実施例1との差異を中心に説明する。
図13は、本発明の実施例2に係る車両用表示装置50の構成を示す。車両用表示装置50は、図3と同様の構成要素を含む。図13における生成部64は、図3と異なり、視点変換処理部58、画像処理部56の順に配置される。
視点変換処理部58は、画像取得部52において取得した画像に対して、車両の上方から見たように視点を変換した俯瞰画像を生成する。画像処理部56は、距離取得部54において取得した距離に応じて、視点変換処理部58において生成した俯瞰画像に含まれた物体の下方に位置する模様を遮蔽させる処理を行う。模様を遮蔽させるための処理は、これまでと同様に他車両110を移動されればよい。
なお、画像処理部56は、他車両110を移動させる代わりに、物体の外形を模した疑似物体120を、模様に重ねて貼り付けてもよい。図14は、車両用表示装置50における処理の概要を示す。疑似物体120は、他車両110の画像ではなく、図示されたような図形であればよい。なお、疑似物体120のサイズは、他車両110のサイズ以上にされる。このような疑似物体120は、実施例1において使用されてもよい。
本実施例によれば、始点を変換してから、模様を遮蔽させるので、俯瞰画像において他車両に遮蔽されるべき枠線が表示されてしまうことを回避できる。また、物体の外形を模した疑似物体を、模様に重ねて貼り付けるので、処理を簡易にできる。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施例1、2においては、後方撮像部16が撮像した後方画像74への適用について説明したが、前方撮像部12が撮像した前方画像70、左側方撮像部14が撮像した左側方画像72、右側方撮像部18が撮像した右側方画像76への適用も可能である。後方撮像部16が撮像した後方画像74に本発明を適用する場合は、例えば駐車場での後退駐車時に有用である。前方撮像部12が撮像した前方画像70に本発明を適用する場合は、例えば駐車場での前進駐車時に有用である。左側方撮像部14が撮像した左側方画像72または右側方撮像部18が撮像した右側方画像76に本発明を適用する場合は、例えば側方への幅寄せ駐車や狭い道でのすれ違い時に有用である。
10 撮像部、 12 前方撮像部、 14 左側方撮像部、 16 後方撮像部、 18 右側方撮像部、 50 車両用表示装置、 52 画像取得部、 54 距離取得部、 56 画像処理部、 58 視点変換処理部、 60 表示処理部、 62 表示部、 64 生成部、 100 車両。
Claims (10)
- 車両の周辺を撮像した画像を取得する画像取得部と、
前記画像取得部において取得した画像に含まれた第1の物体と前記車両との第1の距離を取得する距離取得部と、
前記距離取得部において取得した前記第1の距離に応じて、前記画像取得部において取得した画像に含まれた前記第1の物体の下方に位置する第2の物体の少なくとも一部を遮蔽した状態となるように、前記車両の上方から見たように視点を変換した俯瞰画像を生成する生成部と、
前記生成部において生成した俯瞰画像を表示部に表示させる表示処理部と、
を備えることを特徴とする車両用表示装置。 - 前記生成部は、
前記距離取得部において取得した前記第1の距離に応じて、前記画像取得部において取得した画像に含まれた前記第1の物体の下方に位置する前記第2の物体の少なくとも一部を遮蔽した状態とする処理を行う画像処理部と、
前記画像処理部において前記第2の物体の少なくとも一部を遮蔽した状態とした画像に対して、前記車両の上方から見たように視点を変換した俯瞰画像を生成する視点変換処理部とを備えることを特徴とする請求項1に記載の車両用表示装置。 - 前記生成部は、
前記画像取得部において取得した画像に対して、前記車両の上方から見たように視点を変換した俯瞰画像を生成する視点変換処理部と、
前記距離取得部において取得した前記第1の距離に応じて、前記視点変換処理部において生成した俯瞰画像に含まれた前記第1の物体の下方に位置する前記第2の物体の少なくとも一部を遮蔽した状態とする処理を行う画像処理部とを備えることを特徴とする請求項1に記載の車両用表示装置。 - 前記画像処理部は、前記距離取得部において取得した前記第1の距離が第1のしきい値よりも短い場合に、前記第2の物体の少なくとも一部を遮蔽した状態とする処理を行うことを特徴とする請求項2または3に記載の車両用表示装置。
- 前記画像処理部は、前記取得部において取得した前記第1の距離をもとに、前記第1の物体と前記第2の物体との間の第2の距離を導出し、導出した前記第2の距離が第2のしきい値よりも短い場合に、前記第2の物体の少なくとも一部を遮蔽したい状態とする処理を行うことを特徴とする請求項2または3に記載の車両用表示装置。
- 前記画像処理部は、前記第1の物体の外形を切り出してから、前記第2の物体に重ねて貼り付けることを特徴とする請求項2から5のいずれかに記載の車両用表示装置。
- 前記画像処理部は、前記第2の物体よりも本車両に近づけて、前記第1の物体の外形を貼り付けることを特徴とする請求項6に記載の車両用表示装置。
- 前記画像処理部は、前記第1の物体の外形を模した疑似物体を、前記第2の物体に重ねて貼り付けることを特徴とする請求項2から5のいずれかに記載の車両用表示装置。
- 前記距離取得部において距離を取得する対象となる前記第1の物体は、他の車両であり、
前記生成部において遮蔽させる対象となる前記第2の物体は、地面に描画または載置された区画であることを特徴とする請求項1から8のいずれかに記載の車両用表示装置。 - 車両の周辺を撮像した画像を取得するステップと、
取得した画像に含まれた第1の物体と前記車両との第1の距離を取得するステップと、
取得した前記第1の距離に応じて、取得した画像に含まれた前記第1の物体の下方に位置する第2の物体の少なくとも一部を遮蔽した状態となるように、前記車両の上方から見たように視点を変換した俯瞰画像を生成するステップと、
生成した俯瞰画像を表示部に表示させるステップと、
を備えることを特徴とする車両用表示方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015257083A JP6565674B2 (ja) | 2015-12-28 | 2015-12-28 | 車両用表示装置および車両用表示方法 |
PCT/JP2016/066186 WO2017033518A1 (ja) | 2015-08-27 | 2016-06-01 | 車両用表示装置および車両用表示方法 |
CN201680025389.2A CN107531182B (zh) | 2015-08-27 | 2016-06-01 | 车辆用显示装置以及车辆用显示方法 |
EP16838865.0A EP3342644B1 (en) | 2015-08-27 | 2016-06-01 | Display device for vehicle and display method for vehicle |
US15/845,267 US10427683B2 (en) | 2015-08-27 | 2017-12-18 | Vehicle display device and vehicle display method for displaying images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015257083A JP6565674B2 (ja) | 2015-12-28 | 2015-12-28 | 車両用表示装置および車両用表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017119485A true JP2017119485A (ja) | 2017-07-06 |
JP6565674B2 JP6565674B2 (ja) | 2019-08-28 |
Family
ID=59271507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015257083A Active JP6565674B2 (ja) | 2015-08-27 | 2015-12-28 | 車両用表示装置および車両用表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6565674B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049709A1 (ja) * | 2017-09-07 | 2019-03-14 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像表示システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007090939A (ja) * | 2005-09-27 | 2007-04-12 | Clarion Co Ltd | 駐車支援装置 |
JP2007116377A (ja) * | 2005-10-19 | 2007-05-10 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2008227646A (ja) * | 2007-03-09 | 2008-09-25 | Clarion Co Ltd | 障害物検知装置 |
JP2010232723A (ja) * | 2009-03-25 | 2010-10-14 | Nippon Soken Inc | 車両周辺表示装置 |
JP2015105070A (ja) * | 2013-12-02 | 2015-06-08 | 株式会社デンソー | 駐車支援装置 |
-
2015
- 2015-12-28 JP JP2015257083A patent/JP6565674B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007090939A (ja) * | 2005-09-27 | 2007-04-12 | Clarion Co Ltd | 駐車支援装置 |
JP2007116377A (ja) * | 2005-10-19 | 2007-05-10 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2008227646A (ja) * | 2007-03-09 | 2008-09-25 | Clarion Co Ltd | 障害物検知装置 |
JP2010232723A (ja) * | 2009-03-25 | 2010-10-14 | Nippon Soken Inc | 車両周辺表示装置 |
JP2015105070A (ja) * | 2013-12-02 | 2015-06-08 | 株式会社デンソー | 駐車支援装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049709A1 (ja) * | 2017-09-07 | 2019-03-14 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像表示システム |
EP3681151A4 (en) * | 2017-09-07 | 2020-07-15 | Sony Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE DISPLAY SYSTEM |
US11004226B2 (en) | 2017-09-07 | 2021-05-11 | Sony Corporation | Image processing device, image processing method, and image display system for grasping a distance from an obstacle with a smaller visual line shift |
Also Published As
Publication number | Publication date |
---|---|
JP6565674B2 (ja) | 2019-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10097812B2 (en) | Stereo auto-calibration from structure-from-motion | |
JP5470886B2 (ja) | 物体検出装置 | |
KR101093316B1 (ko) | 차량주행중 영상정합 방법 및 그 시스템 | |
JP5299296B2 (ja) | 車両周辺画像表示装置及び車両周辺画像表示方法 | |
KR20160145598A (ko) | 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치 | |
JP6699427B2 (ja) | 車両用表示装置および車両用表示方法 | |
JP4797877B2 (ja) | 車両用映像表示装置及び車両周囲映像の表示方法 | |
WO2018222122A1 (en) | Methods for perspective correction, computer program products and systems | |
JP5299101B2 (ja) | 周辺表示装置 | |
WO2017033518A1 (ja) | 車両用表示装置および車両用表示方法 | |
WO2022160232A1 (zh) | 一种检测方法、装置和车辆 | |
JP6565674B2 (ja) | 車両用表示装置および車両用表示方法 | |
JP7047291B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP5984714B2 (ja) | 立体物検出装置、運転支援装置および立体物検出方法 | |
JP2017126847A (ja) | 車両用表示装置および車両用表示方法 | |
JP7146608B2 (ja) | 画像処理装置 | |
KR20130024066A (ko) | 차량의 주차 보조 장치 및 그 동작 방법 | |
WO2017086057A1 (ja) | 車両用表示装置および車両用表示方法 | |
KR20140118115A (ko) | 차량 주위 영상 보정 시스템 및 차량 주위 영상 보정 방법 | |
JP6519408B2 (ja) | 車両用表示装置および車両用表示方法 | |
WO2023095340A1 (ja) | 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置 | |
JP2012118885A (ja) | 移動量推定装置および移動量推定方法 | |
JP2017200000A (ja) | 周辺監視装置及び周辺監視方法 | |
JP2020110001A (ja) | 車両用表示装置、車両用表示方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6565674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |