JP2017126847A - Display device for vehicle and display method for vehicle - Google Patents
Display device for vehicle and display method for vehicle Download PDFInfo
- Publication number
- JP2017126847A JP2017126847A JP2016004134A JP2016004134A JP2017126847A JP 2017126847 A JP2017126847 A JP 2017126847A JP 2016004134 A JP2016004134 A JP 2016004134A JP 2016004134 A JP2016004134 A JP 2016004134A JP 2017126847 A JP2017126847 A JP 2017126847A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- distance
- unit
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、車両用表示技術に関し、特に画像を表示する車両用表示装置および車両用表示方法に関する。 The present invention relates to a vehicle display technology, and more particularly to a vehicle display device and a vehicle display method for displaying an image.
車両に設置されたカメラで当該車両の周辺を撮影した撮影画像を鳥瞰画像へと変換する視点変換処理がなされる。このような視点変換処理では、撮影画像に写り込んだ被写体は路面上に投影されていると仮定し、その投影された被写体を仮想視点から見た画像に変換するので、立体物が被写体である場合に、被写体が歪み、いびつなものとなることがある。この歪みを抑制するために、探査波を送受信した結果にもとづいて特定した立体物の輪郭によって鳥瞰画像が修正される（例えば、特許文献１参照）。 A viewpoint conversion process is performed in which a captured image obtained by photographing the periphery of the vehicle with a camera installed in the vehicle is converted into a bird's-eye view image. In such a viewpoint conversion process, it is assumed that the subject reflected in the photographed image is projected on the road surface, and the projected subject is converted into an image viewed from the virtual viewpoint, so the three-dimensional object is the subject. In some cases, the subject may be distorted and distorted. In order to suppress this distortion, the bird's-eye view image is corrected by the contour of the three-dimensional object specified based on the result of transmitting / receiving the exploration wave (see, for example, Patent Document 1).
さらに、鳥瞰画像、つまり俯瞰画像を生成するための視点変換では、一般的に、車両の周辺に存在し上下方向の位置の差がある物体間の距離や位置関係を正確に表すことができない。そのため、違和感を生じたり、物体までの距離や位置関係を正確に把握できなかったりする場合がある。物体までの距離や位置関係が正確に把握できなければ、物体に接触する危険性が生じる。 Furthermore, viewpoint conversion for generating a bird's-eye view image, that is, a bird's-eye view image, generally cannot accurately represent the distance and positional relationship between objects that exist in the vicinity of the vehicle and have a difference in vertical position. For this reason, a sense of incongruity may occur, or the distance to the object and the positional relationship may not be accurately grasped. If the distance and positional relationship to the object cannot be accurately grasped, there is a risk of contact with the object.
本発明はこうした状況に鑑みてなされたものであり、その目的は、俯瞰画像を用いた車両周辺状況を把握しながら余裕のある対応を行うことができ、障害物等の物体が存在する場合に、物体との接触の危険性を低減することができる技術を提供することである。 The present invention has been made in view of such a situation, and the purpose of the present invention is to perform a generous response while grasping a vehicle surrounding situation using a bird's-eye view image, and when an object such as an obstacle exists. To provide a technique capable of reducing the risk of contact with an object.
上記課題を解決するために、本発明のある態様の車両用表示装置は、車両の周辺を撮像した画像を取得する画像取得部と、画像取得部において取得した画像に対して、車両の上方から見たように視点を変換することによって、俯瞰画像を生成する生成部と、画像取得部において取得した画像に撮像された物体との距離を取得する距離取得部と、距離取得部において取得した物体の距離のうちの少なくとも１つを選択する選択部と、選択部において選択した少なくとも１つの距離をもとに、生成部において生成した俯瞰画像に対して、車両を示す画像が含まれている第１領域と、選択部において選択した少なくとも１つの距離だけ隔てた物体が含まれている第２領域とを識別可能な俯瞰画像とする画像処理部と、画像処理部において第１領域と第２領域とが識別可能な俯瞰画像を表示部に表示させる表示処理部と、を備える。 In order to solve the above problems, a display device for a vehicle according to an aspect of the present invention includes an image acquisition unit that acquires an image obtained by capturing an image of the periphery of the vehicle, and an image acquired by the image acquisition unit from above the vehicle. The generation unit that generates the overhead image by converting the viewpoint as seen, the distance acquisition unit that acquires the distance between the object captured by the image acquired by the image acquisition unit, and the object acquired by the distance acquisition unit A selection unit that selects at least one of the distances of the distances, and a bird's-eye view image generated by the generation unit based on at least one distance selected by the selection unit includes an image indicating a vehicle. An image processing unit that can identify a region and a second region that includes an object separated by at least one distance selected by the selection unit, and a first region in the image processing unit, And 2 region and a display processing unit that causes a display section to display an overhead image can be identified.
本発明の別の態様は、車両用表示方法である。この方法は、車両の周辺を撮像した画像を取得するステップと、取得した画像に対して、車両の上方から見たように視点を変換することによって、俯瞰画像を生成するステップと、取得した画像に撮像された物体との距離を取得するステップと、取得した物体の距離のうちの少なくとも１つを選択するステップと、選択した少なくとも１つの距離をもとに、生成した俯瞰画像に対して、車両を示す画像が含まれている第１領域と、選択した少なくとも１つの距離だけ隔てた物体が含まれている第２領域とを識別可能な俯瞰画像とするステップと、第１領域と第２領域とが識別可能な俯瞰画像を表示部に表示させるステップと、を備える。 Another aspect of the present invention is a vehicle display method. The method includes a step of acquiring an image obtained by imaging the periphery of a vehicle, a step of generating a bird's-eye view image by converting the viewpoint as viewed from above the vehicle, and the acquired image. A step of acquiring a distance to the object imaged in the step, a step of selecting at least one of the distances of the acquired object, and an overhead image generated based on the selected at least one distance, A first area including an image showing a vehicle and a second area including an object separated by at least one selected distance are set as distinguishable overhead images, and the first area and the second area Displaying a bird's-eye view image that can be identified from the region on the display unit.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、俯瞰画像を用いた車両周辺状況を把握しながら余裕のある対応を行うことができ、障害物等の物体が存在する場合に、物体との接触の危険性を低減することができる。 Advantageous Effects of Invention According to the present invention, it is possible to perform a generous response while grasping a vehicle surrounding situation using a bird's-eye view image, and reduce the risk of contact with an object when an object such as an obstacle exists. Can do.
本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。視点変換では、撮像した画像が地面上の平面にマッピングされるので、撮像した画像に含まれた各物体が地面の平面上に並んでいるように表示される。そのため、視点変換によって、俯瞰画像に示される自車を示すアイコンと障害物との距離や位置関係が、実際の距離や位置関係と異なる場合がある。 Before describing the present invention specifically, the premise will be described first. An embodiment of the present invention relates to a vehicle display device that generates a bird's-eye view image by viewpoint conversion with respect to images taken by a plurality of imaging units installed in a vehicle and displays the generated bird's-eye view image. In the viewpoint conversion, the captured image is mapped to a plane on the ground, so that each object included in the captured image is displayed so as to be arranged on the ground plane. Therefore, depending on the viewpoint conversion, the distance and positional relationship between the icon indicating the host vehicle shown in the overhead image and the obstacle may be different from the actual distance and positional relationship.
例えば、実際の障害物までの距離よりも、俯瞰画像における障害物までの距離が離れるように表示される。具体的に説明すると、物体が立体物であっても、地面上に張り付いているように表示されるので、立体物までの距離は、立体物の下端の距離が一番近くに見える。立体物が地面に接地している場合、接地面までの距離が立体物までの実際の距離となるが、地面に接地していない場合、立体物までの距離は実際の距離より遠くに見える。このような状況下において、運転者が、モニタに表示された俯瞰画像を見ながら車庫入れ等を実行すると、障害物など車両の周辺に存在する物体とに接触しないと判断して操舵した場合であっても、物体に接触したり、適切な回避が困難となったりする可能性がある。 For example, the distance to the obstacle in the bird's-eye view image is displayed so as to be farther than the distance to the actual obstacle. More specifically, even if the object is a three-dimensional object, it is displayed as if it is stuck on the ground, so that the distance to the three-dimensional object appears closest to the lower end of the three-dimensional object. When the three-dimensional object is in contact with the ground, the distance to the ground surface is the actual distance to the three-dimensional object. When the three-dimensional object is not in contact with the ground, the distance to the three-dimensional object appears farther than the actual distance. Under such circumstances, when the driver performs garage entry while looking at the overhead image displayed on the monitor, he / she determines that he / she does not come into contact with an object such as an obstacle around the vehicle. Even in such a case, it may come into contact with an object or it may be difficult to avoid appropriately.
これに対応するために、本実施例に係る車両用表示装置は、次の処理を実行する。車両用表示装置は、撮像した画像に含まれた物体までの距離を測定し、測定した距離をもとに物体が含まれた領域を識別可能な俯瞰映像を生成する。さらに、車両用表示装置は、生成された俯瞰画像を表示する。物体を含んだ領域が識別可能として運転者に対して実際の距離の目安を提供し、視点変換による錯誤があることを警告する。 In order to cope with this, the vehicular display device according to the present embodiment executes the following processing. The vehicular display device measures the distance to the object included in the captured image, and generates a bird's-eye view video that can identify the region including the object based on the measured distance. Furthermore, the vehicle display device displays the generated overhead image. The area including the object is identifiable, and the driver is provided with an indication of the actual distance and warns that there is an error due to the viewpoint conversion.
以下、本発明の実施例について、図面を参照しつつ説明する。実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。 Embodiments of the present invention will be described below with reference to the drawings. Specific numerical values and the like shown in the examples are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. .
図１は、本発明の実施例に係る車両１００の周辺に形成される撮像範囲を示す斜視図である。車両１００の前方部分、例えばバンパー、ボンネット等には、前方撮像部１２が設置される。前方撮像部１２は、前方撮像部１２から前方に向かうように前方撮像領域２０を形成し、前方撮像領域２０において画像を撮像する。車両の左側方部分、例えば、左側ドアミラーの下部等には、左側方撮像部１４が設置される。左側方撮像部１４は、左側方撮像部１４から左方に向かうように左側方撮像領域２２を形成し、左側方撮像領域２２において画像を撮像する。
FIG. 1 is a perspective view showing an imaging range formed around a
車両の後方部分、例えば、バンパー、トランク等には、後方撮像部１６が設置される。後方撮像部１６は、後方撮像部１６から後方に向かうように後方撮像領域２４を形成し、後方撮像領域２４において画像を撮像する。左側方撮像部１４と左右対称になるように、車両の右側部分には、図示しない右側方撮像部１８が設置される。右側方撮像部１８は、右側方撮像部１８から右方に向かうように、右側方撮像領域２６を形成し、右側方撮像領域２６において画像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６および右側方撮像部１８を撮像部１０とし、撮像部１０において撮像した画像によって、車両１００の周辺が撮像される。
A
図２（ａ）−（ｂ）は、本発明の実施例の比較対象における処理の概要を示す。比較対象では、図１に示すように、車両１００に設置された撮像部１０において画像を撮像する場合を想定する。特に、比較対象では、画像に対する視点変換により俯瞰画像を生成するための処理が、これまでなされていた処理に相当する。図２（ａ）は、図１の車両１００を左側方から見た場合を示す。前述のごとく、車両１００の後方部分には後方撮像部１６が設置されている。また、車両１００の後方には、他車両１１０が駐車あるいは停車している。
2 (a)-(b) shows an overview of the processing in the comparison target of the embodiment of the present invention. As a comparison target, as illustrated in FIG. 1, it is assumed that an image is captured by the
さらに、地面には枠線６０が描画されており、枠線６０は、他車両１１０の前方端部の下に存在する。ここで、他車両１１０のタイヤによって、他車両１１０の前方端部と図面との間には隙間がある。そのため、車両１００、他車両１１０を上方から見下ろした場合、枠線６０は他車両１１０に遮蔽される。一方、後方撮像部１６は、車両１００の上方ではない位置から斜めに他車両１１０および枠線６０を撮像しているので、後方撮像部１６によって撮像された画像には、他車両１１０の前方端部、枠線６０が含まれる。
Further, a
図２（ｂ）は、撮像部１０において撮像した画像に対して、視点変換を実行して生成した俯瞰画像７８を示す。前述のごとく、俯瞰画像７８を生成するための処理には、これまでなされていた処理が実行されている。俯瞰画像７８の中央部分には、車両１００を示す画像である自車アイコン８０が配置される。自車アイコン８０の前方には前方画像７０が配置され、自車アイコン８０の左側方には左側方画像７２が配置され、車両１００の後方には後方画像７４が配置され、車両１００の右側方には右側方画像７６が配置される。特に、後方画像７４は、図２（ａ）における撮像範囲６２を撮像した画像をもとに生成されている。そのため、後方画像７４では、車両１００の後方に他車両１１０が配置されるとともに、車両１００と他車両１１０との間に枠線６０が配置される。つまり、本来、上方から見た場合に他車両１１０に遮蔽されるはずの枠線６０が、他車両１１０に遮蔽されなくなり、俯瞰画像７８と実際の状況とが異なる。このため、運転者において、他車両１１０が、地面上の枠線６０より後方にあると錯誤する可能性がある。
FIG. 2B shows an
図３は、本発明の実施例に係る車両用表示装置３０の構成を示す。車両用表示装置３０は、撮像部１０を構成する前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８に接続されるとともに、表示部５０にも接続される。車両用表示装置３０は、画像取得部３２、生成部３４、距離取得部３６、選択部３８、画像処理部４０、表示制御部４２を含む。
FIG. 3 shows a configuration of the
前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、前述のごとく、画像を撮像する。画像は動画像であるが、静止画像であってもよい。前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、画像を画像取得部３２に出力する。画像取得部３２は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８のそれぞれから画像を取得する。つまり、画像取得部３２は、車両１００の周辺を撮像した画像を取得する。画像取得部３２は、取得した画像を生成部３４、距離取得部３６に出力する。
The
生成部３４は、画像取得部３２からの画像を入力する。生成部３４は、画像に対して、車両１００の上方から見たように視点を変換することによって俯瞰画像を生成する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に画像の各画素を投影するとともに、車両１００の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した画像に相当する。
The
図４は、生成部３４において生成される俯瞰画像９８を示す。図４における俯瞰画像９８の中央部分には、自車アイコン８０が配置される。自車アイコン８０は、車両１００を上方から見た画像であり、かつ俯瞰画像９８における車両１００のサイズを有する。自車アイコン８０の前方には前方画像９０が配置され、自車アイコン８０の左側方には左側方画像９２が配置され、自車アイコン８０の後方には後方画像９４が配置され、自車アイコン８０の右側方には右側方画像９６が配置される。また、俯瞰画像９８には、車両１００の周囲に存在する物体の例として、第１物体１４０、第２物体１４２が示される。ここで、第１物体１４０、第２物体１４２が立体物である場合、地面に接地しているか否かは、不明である。図３に戻る。生成部３４は、俯瞰画像９８を画像処理部４０に出力する。
FIG. 4 shows an
距離取得部３６は、画像取得部３２において取得した画像に撮像された物体との距離を取得する。また、距離取得部３６は、画像取得部３２において取得した画像に撮像された物体の高さ情報も取得する。画像から、物体までの距離と、高さを測定する方法としては、例えば、次の２つの方法が示される。１つ目では、車両１００が移動することにより、移動前後の画像を比較して測定し、２つ目では、複数の撮像部１０からの画像を比較して測定する。距離取得部３６は、ミリ波レーダやレーザレーダなど他の手法を用いまたは併用してもよいが、画像取得部３２において取得した画像を用いることで、装置の簡素化が可能である。まず、図５を使用しながら、１つ目を説明する。
The
図５は、距離取得部３６における処理の概要を示す。図示のごとく、直交座標系であるｘ軸、ｙ軸、ｚ軸が規定される。ｘ軸は、地面上の横方向を示し、ｙ軸は、地面状の縦方向を示し、ｚ軸は、地面に垂直な方向を示す。車両１００、後方撮像部１６は、前述の通りである。また、車両１００が示された位置に、最初の状態において車両１００が存在している。後退後車両２００は、後方、つまりｚ軸の負方向側に移動した車両１００に相当する。後退後車両２００における後方撮像部１６が後退後後方撮像部２１６である。障害物１２０は、車両１００の後方に存在する立体物であり、図形１２２は、地面上の平面図、例えば、前述の枠線６０である。なお、図形１２２は、後方撮像部１６において撮像した画像において、障害物１２０に重なっているとする。
FIG. 5 shows an outline of processing in the
ここで、後方撮像部１６の位置から地面に垂直に交わる点を原点として、地面から後方撮像部１６までの高さを「ａ」とした場合、障害物１２０と図形１２２の上面は以下のように導出される。後方撮像部１６からは、障害物１２０も図形１２２も同じものに見えるので、後方撮像部１６からの第１直線２５０として示される。第１直線２５０は、ｚ軸からの角度を「θ１」とし、ｘ軸からの角度を「φ１」とした場合、次のように示される。
（ｘ／（ｓｉｎθ１×ｃｏｓφ１））＝（ｙ／（ｓｉｎθ１×ｓｉｎφ１））＝（（ｚ＋ａ）／（ｃｏｓθ１））・・・式（１）
Here, if the height from the ground to the
(X / (sin θ1 × cos φ1)) = (y / (sin θ1 × sin φ1)) = ((z + a) / (cos θ1)) (1)
また、後退後後方撮像部２１６から障害物１２０への第２直線２５２は、車両の移動量を「ｂ」とし、ｚ軸からの角度を「θ２」とし、ｘ軸からの角度を「φ２」とした場合、次のように示される。
（（ｘ−ｂ）／（ｓｉｎθ２×ｃｏｓφ２））＝（ｙ／（ｓｉｎθ２×ｓｉｎφ２））＝（（ｚ＋ａ）／（ｃｏｓθ２））・・・式（２）
さらに、後退後後方撮像部２１６から図形１２２への第３直線２５４は、ｚ軸からの角度を「θ３」とし、ｘ軸からの角度を「φ３」とした場合、次のように示される。
（（ｘ−ｂ）／（ｓｉｎθ３＊ｃｏｓφ３））＝（ｙ／（ｓｉｎθ３＊ｓｉｎφ３））＝（（ｚ＋ａ）／（ｃｏｓθ３））・・・式（３）
In addition, the second
((X−b) / (sin θ2 × cos φ2)) = (y / (sin θ2 × sin φ2)) = ((z + a) / (cos θ2)) (2)
Further, the third
((X−b) / (sin θ3 * cos φ3)) = (y / (sin θ3 * sin φ3)) = ((z + a) / (cos θ3)) (3)
距離取得部３６は、式（１）、式（２）の連立方程式を解くことによって、式（１）と式（２）の交点である障害物１２０の位置を導出する。また、距離取得部３６は、式（１）、式（３）の連立方程式を解くことによって、式（１）と式（３）の交点である図形１２２の位置を導出する。さらに、距離取得部３６は、連立方程式の解のｘ軸の値から移動量「ｂ」を減算することによって、車両１００の後端から障害物１２０、図形１２２への距離を導出する。距離取得部３６は、連立方程式の解のｙ軸の値から車両の幅の半分を減算することによって、車両側面から障害物１２０、図形１２２への距離を導出する。距離取得部３６は、連立方程式の解のｚ軸の値を障害物１２０、図形１２２の高さとする。
The
ここでは、後方撮像部１６を使用した場合を説明したが、同様な方法で、前方撮像部１２、左側方撮像部１４、右側方撮像部１８でも障害物の位置を測定することが可能である。車両１００の移動を利用した測定では、撮像部１０の移動が前提となるので、車両１００が静止した状態では測定不可能である。しかしながら、１つの撮像部だけで測定が可能なので、他の撮像部もそれぞれ使用することによって、車両１００の全周囲の測定が可能になる。
Here, although the case where the
次に、図６を使用しながら、２つ目を説明する。図６は、距離取得部３６における別の処理の概要を示す。図６でも図５と同様の直交座標系が規定される。車両１００、後方撮像部１６、右側方撮像部１８、障害物１２０、図形１２２は、前述の通りである。ここで、後方撮像部１６の位置から地面に垂直に交わる点を原点として、地面から後方撮像部１６までの高さを「ａ」とした場合、障害物１２０と図形１２２の上面は以下のように導出される。
Next, the second will be described with reference to FIG. FIG. 6 shows an outline of another process in the
右側方撮像部１８からは、障害物１２０も図形１２２も同じものに見えるので、右側方撮像部１８からの第１直線２６０として示される。第１直線２６０は、右側方撮像部１８のｙ軸からの距離を「ｂ」とし、ｘ軸からの距離を「ｃ」とし、地面からの距離を「ｄ」とし、ｚ軸からの角度を「θ１」とし、ｘ軸からの角度を「φ１」とした場合、次のように示される。
（（ｘ＋ｃ）／（ｓｉｎθ１＊ｃｏｓφ１））＝（（ｙ＋ｂ）／（ｓｉｎθ１＊ｓｉｎφ１））＝（（ｚ＋ｄ）／（ｃｏｓθ１））・・・式（４）
Since the
((X + c) / (sin θ1 * cos φ1)) = ((y + b) / (sin θ1 * sin φ1)) = ((z + d) / (cos θ1)) (4)
一方、後方撮像部１６からは、障害物１２０も図形１２２が異なったものとして見えるので、後方撮像部１６から障害物１２０への第２直線２６２は、ｚ軸からの角度を「θ２」とし、ｘ軸からの角度を「φ２」とした場合、次のように示される。
（ｘ／（ｓｉｎθ２＊ｃｏｓφ２））＝（ｙ／（ｓｉｎθ２＊ｓｉｎφ２））＝（（ｚ＋ａ）／（ｃｏｓθ２））・・・式（５）
さらに、後方撮像部１６から図形１２２への第３直線２６４は、ｚ軸からの角度を「θ３」とし、ｘ軸からの角度を「φ３」とした場合、次のように示される。
（ｘ／（ｓｉｎθ３＊ｃｏｓφ３））＝（ｙ／（ｓｉｎθ３＊ｓｉｎφ３））＝（（ｚ＋ａ）／（ｃｏｓθ３））・・・式（６）
On the other hand, since the
(X / (sin θ2 * cos φ2)) = (y / (sin θ2 * sin φ2)) = ((z + a) / (cos θ2)) (5)
Further, the third
(X / (sin θ3 * cos φ3)) = (y / (sin θ3 * sin φ3)) = ((z + a) / (cos θ3)) (6)
距離取得部３６は、式（４）、式（５）の連立方程式を解くことによって、式（４）と式（５）の交点である障害物１２０の位置を導出する。また、距離取得部３６は、式（４）、式（６）の連立方程式を解くことによって、式（４）と式（６）の交点である図形１２２の位置を導出する。さらに、距離取得部３６は、連立方程式の解のｘ軸の値を、車両１００から障害物１２０、図形１２２への距離とし、連立方程式の解のｚ軸の値を障害物１２０、図形１２２の高さとする。また、距離取得部３６は、連立方程式の解のｙ軸の値から車両の幅の半分を減算することによって、車両側面から障害物１２０、図形１２２への距離を導出する。
The
ここでは、後方撮像部１６、右側方撮像部１８を使用した場合を説明したが、同様な方法で、左側方撮像部１４あるいは右側方撮像部１８と、前方撮像部１２でも障害物の位置を測定することが可能である。２つ目の方法では、車両１００が静止した状態でも測定が可能である。図３に戻る。距離取得部３６は、１つ目の方法あるいは２つ目の方法で導出した物体までの距離、高さの情報を選択部３８に出力する。なお、複数の物体が画像に含まれる場合、距離取得部３６は、それらの距離、高さの情報を選択部３８に出力する。
Here, the case where the
選択部３８は、距離取得部３６から、１つ上の物体に関する距離、高さの情報を入力する。選択部３８は、距離取得部３６において取得した物体の距離のうちの少なくとも１つを選択する。具体的に説明すると、選択部３８は、入力した１つ以上の情報をもとに、（１）取得した高さの情報が予め設定された高さ以上である物体までの距離を選択する。ここで、「予め設定された高さ」は、例えば、５ｃｍのように設定される。予め設定された高さは、車両１００が乗り越えることが困難な高さや、障害物として回避すべき物体の高さが設定される。また、「予め設定された高さ」の別の設定例として、例えば２０ｃｍのように設定される。この高さは、車両１００の車体が接触してしまう高さが設定される。また、選択部３８は、入力した１つ以上の情報をもとに、（２）予め設定された距離未満の距離を選択する。ここで、「予め設定された距離」は、例えば、５０ｃｍのように設定される。予め設定された距離は、例えば駐車動作や徐行動作時に物体の存在を把握しなければならない距離が設定される。なお、選択部３８は、（１）と（２）のいずれか一方の選択を実行してもよいし、（１）と（２）の両方を満たした距離を選択してもよい。また、同一の方向に複数の物体が存在するときは、車両１００に最も近い物体までの距離を選択する。このような選択は、車両１００との衝突の危険性の低い物体を無視したり、車両１００から十分に離れた物体を無視したりすることに相当する。選択部３８は、選択した少なくとも１つの距離の情報を画像処理部４０に出力する。
The
画像処理部４０は、生成部３４からの俯瞰画像９８を入力するとともに、選択部３８から、少なくとも１つの距離の情報を入力する。さらに、画像処理部４０は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）から、選択されているギアに関する情報も取得する。画像処理部４０は、リバースギアが選択されていない場合、生成部３４からの俯瞰画像９８を表示制御部４２に出力する。一方、画像処理部４０は、リバースギアが選択されている場合、次の処理を実行する。リバースギアの選択による次の処理の実行は一例であり、例えば、現在位置情報および走行速度情報にもとづき駐車動作が行われていることが判断された場合であってもよい。また、運転者の操作によって開始されてもよい。
The
画像処理部４０は、少なくとも１つの距離をもとに、生成部３４において生成した俯瞰画像９８に対して、本車両１００の自車アイコン８０が表示されている第１領域１３０と、選択部３８において選択した少なくとも１つの距離だけ隔てた物体が含まれている第２領域１３２とを識別可能な俯瞰画像を生成する。ここでは、図７を使用しながら、この処理を具体的に説明する。
The
図７は、画像処理部４０において生成される俯瞰画像９８を示しており、図４と同様に示される。ここで、画像処理部４０は、一例として、第１物体１４０までの距離の情報と、第２物体１４２までの距離の情報とを入力する。画像処理部４０は、俯瞰画像９８上において第１物体１４０を特定することによって、第１物体１４０が車両１００の後方に存在することを認識する。また、画像処理部４０は、車両１００である自車アイコン８０の後部に平行になり、かつ第１物体１４０までの距離だけ離れた第１境界線１３４ａを生成して俯瞰画像９８に重畳する。第１境界線１３４ａは、自車アイコン８０が含まれた第１領域１３０と、第１物体１４０が含まれた第１−第２領域１３２ａとを区別するための境界であり、例えば、直線で示される。ここで、第１領域１３０、第１−第２領域１３２ａは、いずれも矩形状を有する。なお、第１物体１４０は地面に接していない障害物であるので、第１境界線１３４ａは、第１物体１４０よりも車両１００側に重畳される。また、第１−第２領域１３２ａ内には、第１領域１３０との識別を容易にするために着色がなされる。
FIG. 7 shows a bird's-
画像処理部４０は、第２物体１４２に対しても同様の処理を実行し、車両１００である自車アイコン８０の右側方に平行になり、かつ第２物体１４２までの距離だけ離れた第２境界線１３４ｂを生成して俯瞰画像９８に重畳する。第２境界線１３４ｂは、自車アイコン８０が含まれた第１領域１３０と、第２物体１４２が含まれた第２−第２領域１３２ｂとを区別するための境界である。なお、第２物体１４２は地面に接している障害物であるので、第２境界線１３４ｂは、第２物体１４２の画像に接する。また、第２−第２領域１３２ｂ内にも、第１領域１３０との識別を容易にするために着色がなされる。
The
ここで、車両１００に対して同一方向に複数の物体が存在する場合、画像処理部４０は、最も近い物体に対して、前述の処理を実行すればよい。また、第１−第２領域１３２ａ、第２−第２領域１３２ｂ内に着色がなされず、第１境界線１３４ａ、第２境界線１３４ｂが重畳されるだけであってもよい。また、第１境界線１３４ａ、第２境界線１３４ｂを重畳させずに、第１−第２領域１３２ａ、第２−第２領域１３２ｂの着色のみであってもよい。第２領域１３２に着色する場合は、俯瞰画像９８に写し出されている物体や路面の状況などが判別可能であり、かつ第１領域１３０との識別が可能となるように着色する。具体的には、薄い灰色を透過させた表示とする。第１領域と第２領域とが表示部５０の表示画面上で識別可能であれば、識別可能とする表示形態は任意である。画像処理部４０におけるこのような処理は、生成部３４において俯瞰画像９８が更新されるごと、あるいは短い一定期間ごとになされるので、車両１００が移動しても、第２領域１３２および境界線１３４はそれに追従される。画像処理部４０は、俯瞰画像９８、あるいは境界線１３４が重畳された俯瞰画像９８（以下、これもまた「俯瞰画像９８」という）を表示制御部４２に出力する。
Here, when there are a plurality of objects in the same direction with respect to the
表示制御部４２は、画像処理部４０からの俯瞰画像９８を入力する。表示制御部４２は、俯瞰画像９８を表示する処理を実行することによって、俯瞰画像９８を表示部５０に表示させる。表示部５０は、例えば、表示パネルである。表示部５０には、図７のような俯瞰画像９８が表示される。
The
この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。 This configuration can be realized in terms of hardware by a CPU, memory, or other LSI of any computer, and in terms of software, it can be realized by a program loaded in the memory, but here it is realized by their cooperation. Draw functional blocks. Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
以上の構成による車両用表示装置３０の動作を説明する。図８は、車両用表示装置３０による表示手順例を示すフローチャートである。画像処理部４０がリバースギアが選択された情報を取得した場合（Ｓ１０のＹ）、表示制御部４２は、生成部３４において生成した俯瞰画像９８を表示部５０に表示させる（Ｓ１２）。画像処理部４０がリバースギアが選択された情報を取得していない場合（Ｓ１０のＮ）、処理は終了される。距離取得部３６は、少なくとも１つの物体までの距離を取得する（Ｓ１４）。予め設定された高さ以上であり（Ｓ１６のＹ）、かつ予め設定された距離未満である（Ｓ１８のＹ）ような距離は、選択部３８に選択される（Ｓ２０）。画像処理部４０は、距離をもとに、俯瞰画像９８に境界線１３４を重畳する（Ｓ２２）。距離が予め設定された高さ以上でない場合（Ｓ１６のＮ）、あるいは距離が予め設定された距離未満でない場合（Ｓ１８のＮ）、ステップ２０、ステップ２２はスキップされる。表示制御部４２は、俯瞰画像９８を表示部５０に表示させる（Ｓ２４）。画像処理部４０が、リバースギア解除の情報を取得しなければ（Ｓ２６のＮ）、ステップ１４に戻る。一方、画像処理部４０が、リバースギア解除の情報を取得すれば（Ｓ２６のＹ）、処理は終了される。
The operation of the
本実施例によれば、物体までの距離をもとに、本車両が含まれている第１領域と、物体が含まれている第２領域とを区別するための境界線を俯瞰画像に重畳するので、物体までの距離の目安を運転者に提供できる。また、物体までの距離の目安を運転者に提供するので、運転者は、俯瞰画像を用いた車両周辺状況を把握しながら余裕のある対応を行うことができる。また、物体までの距離の目安を運転者に提供するので、障害物等の物体が存在する場合に、物体との接触の危険性を低減することができる。また、撮像した画像のみから見えている物体にかかわらず、実際の物体までの距離の目安を提供するので、表示上の錯誤による事故の発生を抑制できる。また、境界線を直線とするので、処理を簡易にできる。また、物体の高さを制限するので、車止め等の障害にならない物体を排除できる。また、物体までの距離を制限するので、車両から離れた物体を排除できる。 According to the present embodiment, based on the distance to the object, the boundary line for distinguishing the first area including the vehicle from the second area including the object is superimposed on the overhead image. Therefore, it is possible to provide the driver with an indication of the distance to the object. In addition, since the driver is provided with an indication of the distance to the object, the driver can perform a generous response while grasping the vehicle surrounding situation using the overhead view image. In addition, since the driver is provided with an indication of the distance to the object, the risk of contact with the object can be reduced when an object such as an obstacle is present. Moreover, since the standard of the distance to an actual object is provided irrespective of the object visible only from the captured image, the occurrence of an accident due to a display error can be suppressed. Moreover, since the boundary line is a straight line, the processing can be simplified. Further, since the height of the object is limited, an object that does not become an obstacle such as a car stop can be excluded. Further, since the distance to the object is limited, an object away from the vehicle can be excluded.
以上、実施例をもとに本発明を説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 In the above, this invention was demonstrated based on the Example. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to the combination of each component and each processing process, and such modifications are also within the scope of the present invention. .
本実施例において、画像処理部４０は、直線である境界線１３４を俯瞰画像９８に重畳している。しかしながらこれに限らず例えば、俯瞰画像９８に含まれた曲面上に境界線１３４を重畳する場合、境界線１３４は、当該曲面に沿った曲線であってもよい。この場合、第２領域１３２の形状は、矩形状ではなく、曲面になる。本変形例によれば、俯瞰画像９８に適合した第２領域１３２、境界線１３４を表示できる。
In the present embodiment, the
１０ 撮像部、 １２ 前方撮像部、 １４ 左側方撮像部、 １６ 後方撮像部、 １８ 右側方撮像部、 ３０ 車両用表示装置、 ３２ 画像取得部、 ３４ 生成部、 ３６ 距離取得部、 ３８ 選択部、 ４０ 画像処理部、 ４２ 表示制御部、 ５０ 表示部、 １００ 車両。
DESCRIPTION OF
Claims (8)
前記画像取得部において取得した画像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰画像を生成する生成部と、
前記画像取得部において取得した画像に撮像された物体との距離を取得する距離取得部と、
前記距離取得部において取得した物体の距離のうちの少なくとも１つを選択する選択部と、
前記選択部において選択した少なくとも１つの距離をもとに、前記生成部において生成した俯瞰画像に対して、前記車両を示す画像が含まれている第１領域と、前記選択部において選択した少なくとも１つの距離だけ隔てた物体が含まれている第２領域とを識別可能な俯瞰画像とする画像処理部と、
前記画像処理部において前記第１領域と前記第２領域とが識別可能な俯瞰画像を表示部に表示させる表示処理部と、
を備えることを特徴とする車両用表示装置。 An image acquisition unit that acquires an image of the periphery of the vehicle;
A generation unit that generates a bird's-eye view image by converting the viewpoint as viewed from above the vehicle with respect to the image acquired in the image acquisition unit;
A distance acquisition unit that acquires a distance from an object captured in the image acquired by the image acquisition unit;
A selection unit that selects at least one of the distances of the objects acquired in the distance acquisition unit;
Based on at least one distance selected by the selection unit, a first area including an image showing the vehicle with respect to the overhead image generated by the generation unit, and at least one selected by the selection unit An image processing unit for making a bird's-eye view image identifiable from a second region containing an object separated by two distances;
A display processing unit that causes the display unit to display an overhead image in which the first region and the second region can be identified in the image processing unit;
A vehicle display device comprising:
前記選択部は、前記距離取得部において取得した物体の距離のうち、前記距離取得部において取得した高さ情報が予め設定された高さ以上である物体までの距離を選択することを特徴とする請求項１から３のいずれか１項に記載の車両用表示装置。 The distance acquisition unit also acquires height information of an object captured in the image acquired by the image acquisition unit,
The selection unit selects a distance to an object whose height information acquired in the distance acquisition unit is equal to or higher than a preset height among the distances of the objects acquired in the distance acquisition unit. The vehicular display device according to any one of claims 1 to 3.
取得した画像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰画像を生成するステップと、
取得した画像に撮像された物体との距離を取得するステップと、
取得した物体の距離のうちの少なくとも１つを選択するステップと、
選択した少なくとも１つの距離をもとに、生成した俯瞰画像に対して、前記車両を示す画像が含まれている第１領域と、選択した少なくとも１つの距離だけ隔てた物体が含まれている第２領域とを識別可能な俯瞰画像とするステップと、
前記第１領域と前記第２領域とが識別可能な俯瞰画像を表示部に表示させるステップと、
を備えることを特徴とする車両用表示方法。 Obtaining an image of the periphery of the vehicle;
Generating a bird's-eye view image by converting the viewpoint as seen from above the vehicle with respect to the acquired image;
Obtaining a distance from an imaged object in the obtained image;
Selecting at least one of the obtained object distances;
Based on the selected at least one distance, the generated overhead image includes a first region that includes the vehicle image and an object that is separated by at least one selected distance. A step of making the bird's-eye view image distinguishable from the two regions;
Displaying a bird's-eye view image in which the first region and the second region can be identified on a display unit;
A vehicle display method comprising the steps of:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016004134A JP6679939B2 (en) | 2016-01-13 | 2016-01-13 | Vehicle display device and vehicle display method |
| JP2020047460A JP6950775B2 (en) | 2016-01-13 | 2020-03-18 | Vehicle display devices, vehicle display methods and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016004134A JP6679939B2 (en) | 2016-01-13 | 2016-01-13 | Vehicle display device and vehicle display method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020047460A Division JP6950775B2 (en) | 2016-01-13 | 2020-03-18 | Vehicle display devices, vehicle display methods and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017126847A true JP2017126847A (en) | 2017-07-20 |
| JP6679939B2 JP6679939B2 (en) | 2020-04-15 |
Family
ID=59364496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016004134A Active JP6679939B2 (en) | 2016-01-13 | 2016-01-13 | Vehicle display device and vehicle display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6679939B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110877572A (en) * | 2018-09-06 | 2020-03-13 | 爱信精机株式会社 | Periphery monitoring device |
| EP4258653A1 (en) * | 2022-04-06 | 2023-10-11 | Canon Kabushiki Kaisha | Image processing device that can measure distance to object, movable apparatus, image processing method, and storage medium |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001063500A (en) * | 1999-08-26 | 2001-03-13 | Matsushita Electric Works Ltd | Monitoring device for obstacle around vehicle |
| JP2004104478A (en) * | 2002-09-10 | 2004-04-02 | Auto Network Gijutsu Kenkyusho:Kk | Device and method for assisting parking |
| JP2004260449A (en) * | 2003-02-25 | 2004-09-16 | Denso Corp | Rear part confirmation supporting device for vehicle |
| JP2011004201A (en) * | 2009-06-19 | 2011-01-06 | Konica Minolta Opto Inc | Circumference display |
| JP2011071932A (en) * | 2009-09-28 | 2011-04-07 | Mitsubishi Motors Corp | Vehicle surroundings monitoring apparatus |
| WO2012169352A1 (en) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | Work vehicle vicinity monitoring device |
| WO2013088613A1 (en) * | 2011-12-15 | 2013-06-20 | パナソニック株式会社 | Drive assistance device |
| JP2014064144A (en) * | 2012-09-20 | 2014-04-10 | Komatsu Ltd | Periphery monitoring system for work vehicle and work vehicle |
-
2016
- 2016-01-13 JP JP2016004134A patent/JP6679939B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001063500A (en) * | 1999-08-26 | 2001-03-13 | Matsushita Electric Works Ltd | Monitoring device for obstacle around vehicle |
| JP2004104478A (en) * | 2002-09-10 | 2004-04-02 | Auto Network Gijutsu Kenkyusho:Kk | Device and method for assisting parking |
| JP2004260449A (en) * | 2003-02-25 | 2004-09-16 | Denso Corp | Rear part confirmation supporting device for vehicle |
| JP2011004201A (en) * | 2009-06-19 | 2011-01-06 | Konica Minolta Opto Inc | Circumference display |
| JP2011071932A (en) * | 2009-09-28 | 2011-04-07 | Mitsubishi Motors Corp | Vehicle surroundings monitoring apparatus |
| WO2012169352A1 (en) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | Work vehicle vicinity monitoring device |
| WO2013088613A1 (en) * | 2011-12-15 | 2013-06-20 | パナソニック株式会社 | Drive assistance device |
| JP2014064144A (en) * | 2012-09-20 | 2014-04-10 | Komatsu Ltd | Periphery monitoring system for work vehicle and work vehicle |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110877572A (en) * | 2018-09-06 | 2020-03-13 | 爱信精机株式会社 | Periphery monitoring device |
| EP4258653A1 (en) * | 2022-04-06 | 2023-10-11 | Canon Kabushiki Kaisha | Image processing device that can measure distance to object, movable apparatus, image processing method, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6679939B2 (en) | 2020-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4600760B2 (en) | Obstacle detection device | |
| EP3382336B1 (en) | Stereo camera device | |
| JP5470886B2 (en) | Object detection device | |
| JP4893212B2 (en) | Perimeter monitoring device | |
| JP4797877B2 (en) | VEHICLE VIDEO DISPLAY DEVICE AND VEHICLE AROUND VIDEO DISPLAY METHOD | |
| JP7263731B2 (en) | Image processing device | |
| JPWO2005107261A1 (en) | Vehicle surrounding display device | |
| US10099617B2 (en) | Driving assistance device and driving assistance method | |
| JP2006268076A (en) | Driving assistance system | |
| JP2017220178A (en) | Substance detection device and substance detection method | |
| CN111751824B (en) | Method, device and equipment for detecting obstacles around vehicle | |
| JP2017098932A (en) | Vehicle display device and vehicle display method | |
| WO2015122124A1 (en) | Vehicle periphery image display apparatus and vehicle periphery image display method | |
| JP2019046069A (en) | Driving support device and driving support method | |
| JP2004203068A (en) | Mobile body periphery monitor device | |
| JP2005075190A (en) | Display device for vehicle | |
| JP2017126847A (en) | Display device for vehicle and display method for vehicle | |
| US9827906B2 (en) | Image processing apparatus | |
| WO2022160232A1 (en) | Detection method and apparatus, and vehicle | |
| CN107531182B (en) | Display device for vehicle and display method for vehicle | |
| JP6950775B2 (en) | Vehicle display devices, vehicle display methods and programs | |
| US10189501B2 (en) | Parking assist apparatus and parking assist method | |
| JP2005170290A (en) | Obstacle detecting device | |
| JP5395373B2 (en) | Perimeter monitoring device | |
| JP6565674B2 (en) | VEHICLE DISPLAY DEVICE AND VEHICLE DISPLAY METHOD |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200302 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6679939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |