JP2018050277A - Overhead video generation device, overhead video generation system, overhead video generation method and program - Google Patents
Overhead video generation device, overhead video generation system, overhead video generation method and program Download PDFInfo
- Publication number
- JP2018050277A JP2018050277A JP2017073368A JP2017073368A JP2018050277A JP 2018050277 A JP2018050277 A JP 2018050277A JP 2017073368 A JP2017073368 A JP 2017073368A JP 2017073368 A JP2017073368 A JP 2017073368A JP 2018050277 A JP2018050277 A JP 2018050277A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- overhead
- video
- vehicle
- icon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。 The present invention relates to an overhead video generation device, an overhead video generation system, an overhead video generation method, and a program.
車両の俯瞰映像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている(例えば、特許文献1参照)。 A technique related to a vehicle periphery display device that displays an overhead view video of a vehicle together with a vehicle image is known (for example, see Patent Document 1).
車両の周辺をより確認しやすくするため、車両の周辺において検出した障害物の障害物情報を俯瞰映像に重畳させて表示する技術がある。ところが、障害物情報を俯瞰映像に重畳させると、俯瞰映像に映った障害物の視認性が阻害されるおそれがある。 In order to make it easier to confirm the periphery of the vehicle, there is a technique for displaying obstacle information of an obstacle detected in the vicinity of the vehicle so as to be superimposed on the overhead image. However, when the obstacle information is superimposed on the overhead view video, the visibility of the obstacle reflected in the overhead view video may be hindered.
本発明は、上記に鑑みてなされたものであって、車両周辺の障害物を適切に確認可能にすることを目的とする。 The present invention has been made in view of the above, and an object thereof is to enable appropriate confirmation of obstacles around a vehicle.
上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周辺を撮影した周辺映像を取得する映像取得部と、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得部と、前記映像取得部が取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成部と、前記障害物情報取得部が取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成部と、前記重畳映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部とを有することを特徴とする。 In order to solve the above-described problems and achieve the object, an overhead image generation apparatus according to the present invention includes a video acquisition unit that acquires a peripheral video obtained by photographing the periphery of a vehicle, and obstacles detected in the vicinity of the vehicle. An obstacle information acquisition unit that acquires obstacle information, an overhead image generation unit that generates an overhead image obtained by performing viewpoint conversion processing so as to look down on the vehicle from above from the peripheral image acquired by the image acquisition unit, and the obstacle Based on the obstacle information acquired by the object information acquisition unit, a superimposed video generation unit that generates an overhead video by superimposing information indicating the obstacle on a central part surrounded by the overhead video, and the superimposed video generation unit includes: And a display control unit that displays the generated overhead image on the display unit.
本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影部と、前記車両の周辺において障害物を検出し前記障害物情報取得部に障害物情報を供給する障害物検出部とを有することを特徴とする。 An overhead video generation system according to the present invention includes the above-described overhead video generation device, an imaging unit that captures the periphery of the vehicle and supplies a peripheral image to the image acquisition unit, detects an obstacle in the vicinity of the vehicle, and It has an obstacle detection part which supplies obstacle information to an obstacle information acquisition part, It is characterized by the above-mentioned.
本発明に係る俯瞰映像生成方法は、車両の周辺を撮影した周辺映像を取得する映像取得ステップと、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成ステップと、前記障害物情報取得ステップで取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、前記重畳映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップとを含む。 The bird's-eye view video generation method according to the present invention includes a video acquisition step of acquiring a peripheral video obtained by photographing the periphery of a vehicle, an obstacle information acquisition step of acquiring obstacle information of an obstacle detected in the periphery of the vehicle, Based on the obstacle information acquired in the obstacle information acquisition step, an overhead image generation step of generating an overhead image that performs viewpoint conversion processing so as to look down on the vehicle from above from the surrounding image acquired in the image acquisition step, A superimposed video generation step of generating a bird's-eye view video in which information indicating the obstacle is superimposed on a central portion surrounded by the overhead view video; and a display control step of causing the display unit to display the overhead view video generated in the superimposed video generation step; including.
本発明に係るプログラムは、車両の周辺を撮影した周辺映像を取得する映像取得ステップと、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成ステップと、前記障害物情報取得ステップで取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、前記重畳映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップとを俯瞰映像生成装置として動作するコンピュータに実行させる。 The program according to the present invention includes a video acquisition step of acquiring a peripheral video obtained by photographing the periphery of a vehicle, an obstacle information acquisition step of acquiring obstacle information of an obstacle detected in the vicinity of the vehicle, and the video acquisition step. Based on the obstacle information acquired in the obstacle information acquisition step, an overhead image generation step of generating an overhead image that has been subjected to viewpoint conversion processing so as to look down on the vehicle from above from the surrounding image acquired in And a display control step for displaying the overhead image generated in the superimposed image generation step on the display unit, and a display control step for displaying the overhead image generated in the superimposed image generation step on the display unit. A computer operating as a generation device is executed.
本発明によれば、車両周辺の障害物を適切に確認可能にすることができるという効果を奏する。 According to the present invention, there is an effect that obstacles around the vehicle can be appropriately confirmed.
以下に添付図面を参照して、本発明に係る俯瞰映像生成装置40、俯瞰映像生成システム1、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
DESCRIPTION OF EMBODIMENTS Embodiments of an overhead
[第一実施形態]
図1は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム1は、車両の俯瞰映像100(図2参照)を生成する。俯瞰映像生成装置40および俯瞰映像生成システム1は、車両に搭載されている。俯瞰映像生成装置40および俯瞰映像生成システム1は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。
[First embodiment]
FIG. 1 is a block diagram illustrating a configuration example of an overhead video generation system according to the first embodiment. The bird's-eye view video generation system 1 generates a bird's-eye view video 100 (see FIG. 2). The overhead
図1を用いて、俯瞰映像生成システム1について説明する。俯瞰映像生成システム1は、前方カメラ(撮影部)11と、後方カメラ(撮影部)12と、左側方カメラ(撮影部)13と、右側方カメラ(撮影部)14と、前方左センサ(障害物検出部)21と、前方中央センサ(障害物検出部)22と、前方右センサ(障害物検出部)23と、後方左センサ(障害物検出部)24と、後方中央センサ(障害物検出部)25と、後方右センサ(障害物検出部)26と、表示パネル31と、俯瞰映像生成装置40とを有する。
The overhead view video generation system 1 will be described with reference to FIG. The overhead view video generation system 1 includes a front camera (shooting unit) 11, a rear camera (shooting unit) 12, a left side camera (shooting unit) 13, a right side camera (shooting unit) 14, and a front left sensor (failure). (Object detection unit) 21, front center sensor (obstacle detection unit) 22, front right sensor (obstacle detection unit) 23, rear left sensor (obstacle detection unit) 24, and rear center sensor (obstacle detection) Unit) 25, a rear right sensor (obstacle detection unit) 26, a
前方カメラ11は、車両の前方に配置され、車両の前方を中心とした周辺を撮影する。前方カメラ11は、撮影した映像を俯瞰映像生成装置40の映像取得部42へ出力する。
The
後方カメラ12は、車両の後方に配置され、車両の後方を中心とした周辺を撮影する。後方カメラ12は、撮影した映像を俯瞰映像生成装置40の映像取得部42へ出力する。
The
左側方カメラ13は、車両の左側方に配置され、車両の左側方を中心とした周辺を撮影する。左側方カメラ13は、撮影した映像を俯瞰映像生成装置40の映像取得部42へ出力する。
The left-
右側方カメラ14は、車両の右側方に配置され、車両の右側方を中心とした周辺を撮影する。右側方カメラ14は、撮影した映像を俯瞰映像生成装置40の映像取得部42へ出力する。
The right-
前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで、車両の全方位を撮影する。
The
前方左センサ21は、車両の前方左側に配置され、車両の前方左側における障害物を検出する。前方左センサ21は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方左センサ21は、車両と接触するおそれがある、地上から高さを有するものを検出する。前方左センサ21は、例えば、車両から5m程度までの距離の障害物を検出する。前方左センサ21は、鉛直方向視において、センサの中央部を中心とした、例えば、40°程度の範囲の障害物を検出する。前方左センサ21の検出範囲は、前方中央センサ22の検出範囲の一部と重複していてもよい。前方左センサ21は、検出した障害物の障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。障害物情報の例としては、前方左センサ21の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
The front left sensor 21 is disposed on the front left side of the vehicle and detects an obstacle on the front left side of the vehicle. The front left sensor 21 is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be configured by a combination thereof. The front left sensor 21 detects an object having a height from the ground that may come into contact with the vehicle. The front left sensor 21 detects an obstacle at a distance of about 5 m from the vehicle, for example. The front left sensor 21 detects an obstacle in a range of, for example, about 40 ° with the central portion of the sensor as the center when viewed in the vertical direction. The detection range of the front left sensor 21 may overlap with a part of the detection range of the front center sensor 22. The front left sensor 21 outputs obstacle information of the detected obstacle to the obstacle
前方中央センサ22は、車両の前方中央に配置され、車両の前方中央における障害物を検出する。前方中央センサ22は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方中央センサ22は、車両と接触するおそれがある、地上から高さを有するものを検出する。前方中央センサ22は、例えば、車両から5m程度までの距離の障害物を検出する。前方中央センサ22は、鉛直方向視において、センサの中央部を中心とした、例えば、40°程度の範囲の障害物を検出する。前方中央センサ22の検出範囲は、前方左センサ21および前方右センサ23の検出範囲の一部と重複していてもよい。前方中央センサ22は、検出した障害物の障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。障害物情報の例としては、前方中央センサ22の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
The front center sensor 22 is disposed at the front center of the vehicle and detects an obstacle at the front center of the vehicle. The front center sensor 22 is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be configured by a combination thereof. The front center sensor 22 detects an object having a height from the ground that may come into contact with the vehicle. The front center sensor 22 detects an obstacle at a distance of about 5 m from the vehicle, for example. The front center sensor 22 detects an obstacle in a range of, for example, about 40 ° with the center of the sensor as the center when viewed in the vertical direction. The detection range of the front center sensor 22 may overlap with a part of the detection range of the front left sensor 21 and the front
前方右センサ23は、車両の前方右側に配置され、車両の前方右側における障害物を検出する。前方右センサ23は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方右センサ23は、車両と接触するおそれがある、地上から高さを有するものを検出する。前方右センサ23は、例えば、車両から5m程度までの距離の障害物を検出する。前方右センサ23は、鉛直方向視において、センサの中央部を中心とした、例えば、40°程度の範囲の障害物を検出する。前方右センサ23の検出範囲は、前方中央センサ22の検出範囲の一部と重複していてもよい。前方右センサ23は、検出した障害物の障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。障害物情報の例としては、前方右センサ23の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
The front
前方左センサ21と前方中央センサ22と前方右センサ23とで、車両の前方の障害物を検出する。
The front left sensor 21, the front center sensor 22, and the front
後方左センサ24は、車両の後方左側に配置され、車両の後方左側における障害物を検出する。後方左センサ24は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。後方左センサ24は、車両と接触するおそれがある、地上から高さを有するものを検出する。後方左センサ24は、例えば、車両から5m程度までの距離の障害物を検出する。後方左センサ24は、鉛直方向視において、センサの中央部を中心とした、例えば、40°程度の範囲の障害物を検出する。後方左センサ24の検出範囲は、後方中央センサ25の検出範囲の一部と重複していてもよい。後方左センサ24は、検出した障害物の障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。障害物情報の例としては、後方左センサ24の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
The rear
後方中央センサ25は、車両の後方中央に配置され、車両の後方中央における障害物を検出する。後方中央センサ25は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。後方中央センサ25は、車両と接触するおそれがある、地上から高さを有するものを検出する。後方中央センサ25は、例えば、車両から5m程度までの距離の障害物を検出する。後方中央センサ25は、鉛直方向視において、センサの中央部を中心とした、例えば、40°程度の範囲の障害物を検出する。後方中央センサ25の検出範囲は、後方左センサ24および後方右センサ26の検出範囲の一部と重複していてもよい。後方中央センサ25は、検出した障害物の障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。障害物情報の例としては、後方中央センサ25の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
The rear center sensor 25 is disposed at the rear center of the vehicle and detects an obstacle at the rear center of the vehicle. The rear center sensor 25 is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be configured by a combination thereof. The rear center sensor 25 detects an object having a height from the ground that may come into contact with the vehicle. The rear center sensor 25 detects an obstacle at a distance of about 5 m from the vehicle, for example. The rear center sensor 25 detects an obstacle in a range of, for example, about 40 ° with the center of the sensor as the center when viewed in the vertical direction. The detection range of the rear center sensor 25 may overlap a part of the detection range of the rear
後方右センサ26は、車両の後方右側に配置され、車両の後方右側における障害物を検出する。後方右センサ26は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。後方右センサ26は、車両と接触するおそれがある、地上から高さを有するものを検出する。後方右センサ26は、例えば、車両から5m程度までの距離の障害物を検出する。後方右センサ26は、鉛直方向視において、センサの中央部を中心とした、例えば、40°程度の範囲の障害物を検出する。後方右センサ26の検出範囲は、後方中央センサ25の検出範囲の一部と重複していてもよい。後方右センサ26は、検出した障害物の障害物情報を俯瞰映像生成装置40の障害物情報取得部43へ出力する。障害物情報の例としては、後方右センサ26の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。
The rear right sensor 26 is disposed on the rear right side of the vehicle and detects an obstacle on the rear right side of the vehicle. The rear right sensor 26 is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be configured by a combination thereof. The rear right sensor 26 detects an object having a height from the ground that may come into contact with the vehicle. The rear right sensor 26 detects an obstacle at a distance of about 5 m from the vehicle, for example. The rear right sensor 26 detects an obstacle in a range of, for example, about 40 ° with the central portion of the sensor as the center when viewed in the vertical direction. The detection range of the rear right sensor 26 may overlap with a part of the detection range of the rear center sensor 25. The rear right sensor 26 outputs the detected obstacle information of the obstacle to the obstacle
後方左センサ24と後方中央センサ25と後方右センサ26とで、車両の後方の障害物を検出する。
The rear
表示パネル31は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro−Luminescence)ディスプレイを含むディスプレイである。表示パネル31は、俯瞰映像生成システム1の俯瞰映像生成装置40から出力された映像信号に基づいて、俯瞰映像100を表示する。表示パネル31は、俯瞰映像生成システム1に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル31は、運転者から視認容易な位置に配置されている。
The
俯瞰映像生成装置40は、制御部41と、記憶部49とを有する。
The overhead
制御部41は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置である。制御部41は、記憶部49に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部41は、映像取得部42と、障害物情報取得部43と、車両情報取得部44と、俯瞰映像生成部45と、重畳映像生成部46と、表示制御部47とを有する。
The
映像取得部42は、車両の周辺を撮影した周辺映像を取得する。より詳しくは、映像取得部42は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とが出力した映像を取得する。映像取得部42は、取得した映像を俯瞰映像生成部45に出力する。
The
障害物情報取得部43は、車両の周辺において検出した障害物の障害物情報を取得する。本実施形態では、障害物情報取得部43は、検出した障害物までの距離を含む障害物情報を取得する。より詳しくは、障害物情報取得部43は、前方左センサ21と前方中央センサ22と前方右センサ23と後方左センサ24と後方中央センサ25と後方右センサ26とが出力した障害物情報を取得する。障害物情報取得部43は、取得した障害物情報を重畳映像生成部46に出力する。
The obstacle
車両情報取得部44は、車両のギア操作情報など、俯瞰映像を表示させるためのトリガとなる車両情報を、CAN(Controller Area Network)や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部44は、取得した車両情報を俯瞰映像生成部45に出力する。
The vehicle
俯瞰映像生成部45は、映像取得部42で取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像100を生成する。より詳しくは、俯瞰映像生成部45は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで撮影した映像に基づいて、俯瞰映像100を生成する。俯瞰映像100を生成する方法は、公知のいずれの方法でもよく、限定されない。俯瞰映像生成部45は、生成した俯瞰映像100を表示制御部47に出力する。
The bird's-eye view
図2を用いて、俯瞰映像100について説明する。図2は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像および障害物報知アイコンを示す図である。俯瞰映像100は、縦長の矩形状である。俯瞰映像100は、前方映像101と後方映像102と左側方映像103と右側方映像104と、前方映像101と後方映像102と左側方映像103と右側方映像104とで囲まれた中央部に位置する中央映像105とを含む。前方映像101と後方映像102と左側方映像103と右側方映像104と、中央映像105とは、枠状の境界線で区切られていてもよい。
The
中央映像105は、縦長の矩形状に生成される。中央映像105は、前方映像101と後方映像102と左側方映像103と右側方映像104との境界が線で区切られている。中央映像105は、俯瞰映像100における車両の位置を示す。
The
図2においては、前方映像101と後方映像102と左側方映像103と右側方映像104との境界を示す斜めの破線を説明のために図示しているが、実際に表示パネル31に表示される俯瞰映像100には当該破線は表示されない。他の図も同様である。
In FIG. 2, diagonal broken lines indicating boundaries between the
重畳映像生成部46は、障害物情報取得部43が取得した障害物情報に基づいて、障害物を示す情報を、俯瞰映像100の中央映像105に重畳した俯瞰映像100を生成する。本実施形態では、重畳映像生成部46は、障害物情報取得部43が取得した障害物情報に基づいて、俯瞰映像100の中央映像105に障害物を検出した方向を示す情報を重畳した俯瞰映像100を生成する。本実施形態では、重畳映像生成部46は、障害物を検出した方向を示す情報を障害物報知アイコン(障害物を示す情報)110で示す。障害物報知アイコン110は、障害物を検出する各センサの水平方向における検出方向を模式的に示しており、複数の円弧の配置方向は、センサの取付位置を起点とした検出方向、または車両を中心とした放射状の配置などである。障害物報知アイコン110を構成する円弧の幅は、障害物を検出する各センサの検出範囲を示していてもよく、各センサの検出範囲によらず検出方向に対応した固定幅であってもよい。
Based on the obstacle information acquired by the obstacle
障害物報知アイコン110は、障害物を報知するアイコンである。障害物報知アイコン110は、障害物までの距離と方向とを示す。障害物報知アイコン110は、前方左アイコン(障害物を示す情報)111と前方中央アイコン(障害物を示す情報)112と前方右アイコン(障害物を示す情報)113と後方左アイコン(障害物を示す情報)114と後方中央アイコン(障害物を示す情報)115と後方右アイコン(障害物を示す情報)116とを含む。
The
前方左アイコン111は、車両の前方左側の障害物を報知するアイコンである。より詳しくは、前方左アイコン111は、前方左センサ21で障害物を検出したことを報知するアイコンである。前方左アイコン111は、図2において、俯瞰映像100の中央映像105の左上に重畳される。
The front
本実施形態では、前方左アイコン111は、3重の弧状の曲線で構成される。弧状の曲線は、俯瞰映像100の外側に向かって膨出している。3重の弧状の曲線は、俯瞰映像100の外側から中心側に向かって半径が小さくなっている。3重の弧状の曲線は、俯瞰映像100の外側から中心側に向かって短くなっている。
In the present embodiment, the front
前方左アイコン111は、障害物までの距離に応じて、色を変化させてもよい。例えば、前方左アイコン111は、障害物までの距離が第一所定距離以上の場合、緑色で表示する。前方左アイコン111は、障害物までの距離が第一所定距離未満かつ第一所定距離より小さい第二所定距離以上の場合、黄色で表示する。前方左アイコン111は、障害物までの距離が第二所定距離未満の場合、赤色で表示する。
The front
前方左アイコン111は、障害物までの距離に応じて、弧状の曲線の本数を変化させてもよい。例えば、前方左アイコン111は、障害物までの距離が第一所定距離以上の場合、3重の弧状の曲線のうち、最も外側の弧状の曲線を表示する。前方左アイコン111は、障害物までの距離が第一所定距離未満かつ第二所定距離以上の場合、3重の弧状の曲線のうち、最も外側の弧状の曲線と中央の弧状の曲線とを表示する。前方左アイコン111は、障害物までの距離が第二所定距離未満の場合、3重の弧状の曲線をすべて表示する。
The front
前方中央アイコン112は、車両の前方中央の障害物を報知するアイコンである。より詳しくは、前方中央アイコン112は、前方中央センサ22で障害物を検出したことを報知するアイコンである。前方中央アイコン112は、図2において、俯瞰映像100の中央映像105の上側中央に重畳される。前方中央アイコン112は、前方左アイコン111と同様に構成されている。
The
前方右アイコン113は、車両の前方右側の障害物を報知するアイコンである。より詳しくは、前方右アイコン113は、前方右センサ23で障害物を検出したことを報知するアイコンである。前方右アイコン113は、図2において、俯瞰映像100の中央映像105の右上に重畳される。前方右アイコン113は、前方左アイコン111と同様に構成されている。
The front
後方左アイコン114は、車両の後方左側の障害物を報知するアイコンである。より詳しくは、後方左アイコン114は、後方左センサ24で障害物を検出したことを報知するアイコンである。後方左アイコン114は、図2において、俯瞰映像100の中央映像105の左下に重畳される。後方左アイコン114は、前方左アイコン111と同様に構成されている。
The rear
後方中央アイコン115は、車両の後方中央の障害物を報知するアイコンである。より詳しくは、後方中央アイコン115は、後方中央センサ25で障害物を検出したことを報知するアイコンである。後方中央アイコン115は、図2において、俯瞰映像100の中央映像105の下側中央に重畳される。後方中央アイコン115は、前方左アイコン111と同様に構成されている。
The
後方右アイコン116は、車両の後方右側の障害物を報知するアイコンである。より詳しくは、後方右アイコン116は、後方右センサ26で障害物を検出したことを報知するアイコンである。後方右アイコン116は、図2において、俯瞰映像100の中央映像105の右下に重畳される。後方右アイコン116は、前方左アイコン111と同様に構成されている。
The rear
表示制御部47は、重畳映像生成部46が生成した俯瞰映像100を表示パネル31に表示させる。
The
記憶部49は、俯瞰映像生成装置40における各種処理に要するデータおよび各種処理結果を記憶する。記憶部49は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
The
次に、図3を用いて、俯瞰映像生成システム1の俯瞰映像生成装置40における処理の流れについて説明する。図3は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。
Next, the flow of processing in the overhead view
制御部41は、俯瞰映像表示を開始するか否かを判定する(ステップS11)。俯瞰映像表示を開始する判定の例として、制御部41は、後退トリガの有無に基づいて、俯瞰映像表示を開示するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両の進行方向が車両の前後方向の後方となったことをいう。制御部41は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し(ステップS11でNo)、ステップS11の処理を再度実行する。制御部41は、後退トリガがある場合、俯瞰映像表示を開始すると判定し(ステップS11でYes)、ステップS12に進む。
The
制御部41は、俯瞰映像100を生成し表示する(ステップS12)。より詳しくは、制御部41は、俯瞰映像生成部45で、映像取得部42が取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像100を生成させる。そして、制御部41は、表示制御部47で、生成した俯瞰映像100を表示パネル31に表示させる。
The
制御部41は、障害物を検出したか否かを判定する(ステップS13)。より詳しくは、制御部41は、障害物情報取得部43で障害物情報が取得されたか否かを判定する。制御部41は、障害物情報取得部43で障害物情報が取得されたと判定した場合(ステップS13でYes)、ステップS14に進む。制御部41は、障害物情報取得部43で障害物情報が取得されていないと判定した場合(ステップS13でNo)、ステップS15に進む。
The
制御部41は、俯瞰映像100の中央部に障害物を示す障害物報知アイコン110を重畳表示する(ステップS14)。より詳しくは、制御部41は、重畳映像生成部46で、障害物情報取得部43が取得した障害物情報に基づいて、俯瞰映像100の中央映像105に、障害物を検出した方向を示すように障害物報知アイコン110を重畳した俯瞰映像100を生成させる。そして、制御部41は、表示制御部47で、生成した俯瞰映像100を表示パネル31に表示させる。
The
制御部41は、前方左センサ21と前方中央センサ22と前方右センサ23と後方左センサ24と後方中央センサ25と後方右センサ26の複数のセンサからの障害物情報を取得した場合、重畳映像生成部46で、俯瞰映像100の中央映像105に、複数の障害物報知アイコン110を重畳した俯瞰映像100を生成させる。
When the
制御部41は、俯瞰映像表示を終了するか否かを判定する(ステップS15)。より詳しくは、制御部41は、後退トリガの有無に基づいて、俯瞰映像表示を終了するか否かを判定する。制御部41は、後退トリガがない場合、言い換えると、後退トリガが解除された場合、俯瞰映像表示を終了すると判定し(ステップS15でYes)、処理を終了する。制御部41は、後退トリガがある場合、俯瞰映像表示を終了しないと判定し(ステップS15でNo)、ステップS13に戻って処理を継続する。
The
このようにして、俯瞰映像生成システム1は、障害物が検出されると、俯瞰映像100の中央部に、障害物を検出した方向を示すように障害物報知アイコン110を重畳して、表示パネル31に映像信号を出力する。表示パネル31は、俯瞰映像生成システム1から出力された映像信号に基づいて、例えば、ナビゲーション画面とともに俯瞰映像100を表示する。
In this way, when an obstacle is detected, the overhead image generation system 1 superimposes the
例えば、車両の後退時、後方左側に障害物を検出した場合の一例を、図4を用いて説明する。図4は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。図4において、俯瞰映像100の後方映像102には、後方左側の障害物の障害物映像200が含まれている。
For example, an example of detecting an obstacle on the left rear side when the vehicle is moving backward will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of an overhead video generated by the overhead video generation system according to the first embodiment. In FIG. 4, the
制御部41は、ステップS13において、障害物を検出したと判定する。そして、制御部41は、ステップS14において、重畳映像生成部46で、障害物情報取得部43が取得した障害物情報に基づいて、俯瞰映像100の中央映像105に、障害物を検出した後左方向を示すように障害物報知アイコン110を重畳した俯瞰映像100を生成させる。そして、制御部41は、表示制御部47で、生成した俯瞰映像100を表示パネル31に表示させる。
In step S13, the
車両の後退時、後方左側に障害物を検出した場合の他の例を、図5を用いて説明する。図5は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 Another example in the case where an obstacle is detected on the rear left side when the vehicle is moving backward will be described with reference to FIG. FIG. 5 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the first embodiment.
図5においては、俯瞰映像100の中央映像105に、車両を上方から見た、車両を示す自車アイコンである自車アイコン120が合成されている。制御部41は、ステップS14において、重畳映像生成部46で、自車アイコン120に、障害物を検出した後左方向を示すように障害物報知アイコン110を重畳した俯瞰映像100を生成させる。
In FIG. 5, a
上述したように、本実施形態は、車両の周辺に障害物が検出されると、俯瞰映像100の中央映像105に、障害物を検出した方向を示すように障害物報知アイコン110を重畳した俯瞰映像100を表示パネル31に表示させる。本実施形態は、障害物報知アイコン110が俯瞰映像100の中央映像105に重畳されるので、障害物報知アイコン110と俯瞰映像100に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像100に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
As described above, according to the present embodiment, when an obstacle is detected in the vicinity of the vehicle, the
本実施形態は、障害物報知アイコン110で、障害物を検出した方向と距離とを報知することができる。
In the present embodiment, the
本実施形態は、図4に示すように、俯瞰映像100の中央映像105に自車アイコン120を表示しない場合、障害物報知アイコン110の視認性をより向上することができる。このように、本実施形態は、車両周辺の障害物をより適切に確認可能にすることができる。
In the present embodiment, as shown in FIG. 4, the visibility of the
本実施形態は、図5に示すように、俯瞰映像100の中央映像105に自車アイコン120を表示してもよい。これにより、本実施形態は、車両に対する障害物の方向をより認識しやすい俯瞰映像100を表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
In the present embodiment, as shown in FIG. 5, the
[第二実施形態]
図6、図7を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図6は、第二実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。図7は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像生成システム1は、基本的な構成は第一実施形態の俯瞰映像生成システム1と同様である。以下の説明においては、俯瞰映像生成システム1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成装置40の障害物情報取得部43と重畳映像生成部46と制御部41における処理とが、第一実施形態の俯瞰映像生成システム1と異なる。
[Second Embodiment]
The overhead view video generation system 1 according to the present embodiment will be described with reference to FIGS. FIG. 6 is a flowchart showing a flow of processing in the overhead video generation device of the overhead video generation system according to the second embodiment. FIG. 7 is a diagram illustrating an example of an overhead video generated by the overhead video generation system according to the second embodiment. The overhead image generation system 1 has the same basic configuration as the overhead image generation system 1 of the first embodiment. In the following description, components similar to those in the overhead view video generation system 1 are denoted by the same reference numerals or corresponding reference numerals, and detailed description thereof is omitted. The overhead image generation system 1 of the present embodiment is different from the overhead image generation system 1 of the first embodiment in the processing in the obstacle
障害物報知アイコン110は、第一実施形態の前方左アイコン111と前方中央アイコン112と前方右アイコン113と後方左アイコン114と後方中央アイコン115と後方右アイコン116とに加えて、第二前方左アイコン(障害物を示す情報)と第二前方中央アイコン(障害物を示す情報)と第二前方右アイコン(障害物を示す情報)と第二後方左アイコン(障害物を示す情報)と第二後方中央アイコン(障害物を示す情報)と第二後方右アイコン(障害物を示す情報)とを含む。図7においては、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方中央アイコンと第二後方右アイコンは図示されておらず、第二後方左アイコン(障害物を示す情報)が示されている。
The
前方左アイコン111は、障害物までの距離が閾値未満の、車両の前方左側の障害物を報知するアイコンである。より詳しくは、前方左アイコン111は、前方左センサ21で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
The front
前方中央アイコン112は、障害物までの距離が閾値未満の、車両の前方中央の障害物を報知するアイコンである。より詳しくは、前方中央アイコン112は、前方中央センサ22で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
The
前方右アイコン113は、障害物までの距離が閾値未満の、車両の前方右側の障害物を報知するアイコンである。より詳しくは、前方右アイコン113は、前方右センサ23で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
The front
後方左アイコン114は、障害物までの距離が閾値未満の、車両の後方左側の障害物を報知するアイコンである。より詳しくは、後方左アイコン114は、後方左センサ24で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
The rear
後方中央アイコン115は、障害物までの距離が閾値未満の、車両の後方中央の障害物を報知するアイコンである。より詳しくは、後方中央アイコン115は、後方中央センサ25で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
The
後方右アイコン116は、障害物までの距離が閾値未満の、車両の後方右側の障害物を報知するアイコンである。より詳しくは、後方右アイコン116は、後方右センサ26で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。
The rear
第二前方左アイコンは、障害物までの距離が閾値以上の、車両の前方左側の障害物を報知するアイコンである。より詳しくは、第二前方左アイコンは、前方左センサ21で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二前方左アイコンは、俯瞰映像100の中央映像105より外側の左上に重畳される。第二前方左アイコンは、前方左アイコン111と同様に構成されている。
A 2nd front left icon is an icon which alert | reports the obstruction of the vehicle front left side where the distance to an obstruction is more than a threshold value. More specifically, the second front left icon is an icon for notifying that the front left sensor 21 has detected an obstacle whose distance to the obstacle is not less than a threshold value. The second front left icon is superimposed on the upper left outside the
第二前方中央アイコンは、障害物までの距離が閾値以上の、車両の前方中央の障害物を報知するアイコンである。より詳しくは、第二前方中央アイコンは、前方中央センサ22で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二前方中央アイコンは、俯瞰映像100の中央映像105より外側の上側中央に重畳される。第二前方中央アイコンは、前方左アイコン111と同様に構成されている。
A 2nd front center icon is an icon which alert | reports the obstruction of the front center of a vehicle whose distance to an obstruction is more than a threshold value. More specifically, the second front center icon is an icon for notifying that the front center sensor 22 has detected an obstacle whose distance to the obstacle is a threshold value or more. The second front center icon is superimposed on the upper center outside the
第二前方右アイコンは、障害物までの距離が閾値以上の、車両の前方右側の障害物を報知するアイコンである。より詳しくは、第二前方右アイコンは、前方右センサ23で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二前方右アイコンは、俯瞰映像100の中央映像105より外側の右上に重畳される。第二前方右アイコンは、前方左アイコン111と同様に構成されている。
The second front right icon is an icon that notifies an obstacle on the right front side of the vehicle whose distance to the obstacle is equal to or greater than a threshold value. More specifically, the second front right icon is an icon for notifying that the front
第二後方左アイコンは、障害物までの距離が閾値以上の、車両の後方左側の障害物を報知するアイコンである。より詳しくは、第二後方左アイコンは、後方左センサ24で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二後方左アイコンは、俯瞰映像100の中央映像105より外側の左下に重畳される。第二後方左アイコンは、前方左アイコン111と同様に構成されている。
A 2nd back left icon is an icon which alert | reports the obstruction of the back left side of a vehicle whose distance to an obstruction is more than a threshold value. More specifically, the second rear left icon is an icon for informing that the rear
第二後方中央アイコンは、障害物までの距離が閾値以上の、車両の後方中央の障害物を報知するアイコンである。より詳しくは、第二後方中央アイコンは、後方中央センサ25で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二後方中央アイコンは、俯瞰映像100の中央映像105より外側の下側中央に重畳される。第二後方中央アイコンは、前方左アイコン111と同様に構成されている。
A 2nd back center icon is an icon which alert | reports the obstruction of the back center of a vehicle whose distance to an obstruction is more than a threshold value. More specifically, the second rear center icon is an icon for notifying that the rear center sensor 25 has detected an obstacle whose distance to the obstacle is a threshold value or more. The second rear center icon is superimposed on the lower center outside the
第二後方右アイコンは、障害物までの距離が閾値以上の、車両の後方右側の障害物を報知するアイコンである。より詳しくは、第二後方右アイコンは、後方右センサ26で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二後方右アイコンは、俯瞰映像100の中央映像105より外側の右下に重畳される。第二後方右アイコンは、前方左アイコン111と同様に構成されている。
A 2nd back right icon is an icon which alert | reports the obstacle on the back right side of a vehicle whose distance to an obstacle is more than a threshold value. More specifically, the second rear right icon is an icon for informing that the rear right sensor 26 has detected an obstacle whose distance to the obstacle is a threshold value or more. The second rear right icon is superimposed on the lower right outside the
障害物情報取得部43は、検出した障害物までの距離を含む情報を取得する。障害物情報取得部43は、取得した障害物までの距離を含む情報を重畳映像生成部46に出力する。
The obstacle
重畳映像生成部46は、障害物情報取得部43で取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値以上であれば、俯瞰映像100の中央映像105に自車アイコン120を表示させ、障害物を示す情報である障害物報知アイコン110を俯瞰映像100の中央部の外側に重畳させた俯瞰映像100を生成する。
If the distance to the detected obstacle is greater than or equal to a predetermined threshold based on the obstacle information acquired by the obstacle
重畳映像生成部46は、障害物情報取得部43で取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値未満であれば、障害物報知アイコン110を、俯瞰映像100の中央映像105に重畳した俯瞰映像100を生成する。
If the distance to the detected obstacle is less than a predetermined threshold based on the obstacle information acquired by the obstacle
次に、図6を用いて、俯瞰映像生成システム1の俯瞰映像生成装置40における処理の流れについて説明する。図6に示すフローチャートのステップS21、ステップS23、ステップS26、ステップS27の処理は、図3に示すフローチャートのステップS11、ステップS13、ステップS14、ステップS15の処理と同様である。
Next, the flow of processing in the overhead view
制御部41は、自車アイコン120を重畳した俯瞰映像100を生成し表示する(ステップS22)。より詳しくは、制御部41は、俯瞰映像生成部45で、映像取得部42が取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像100を生成させる。制御部41は、表示制御部47で、生成した俯瞰映像100の中央部に自車アイコン120を合成する。そして、制御部41は、表示制御部47で、生成した俯瞰映像100を表示パネル31に表示させる。
The
制御部41は、障害物までの距離が閾値以上であるか否かを判定する(ステップS24)。より詳しくは、制御部41は、障害物情報取得部43で取得された、検出した障害物までの距離が所定閾値以上である場合(ステップS24でYes)、ステップS25に進む。制御部41は、障害物情報取得部43で取得された、検出した障害物までの距離が所定閾値未満である場合(ステップS24でNo)、ステップS26に進む。
The
所定閾値は、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンとが表示される位置が、俯瞰映像100の障害物の映像と重複しない値に設定される。より詳しくは、所定閾値は、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンの最も外側の円弧状の曲線の位置に対応する車両からの距離以上の値であればよい。例えば、所定閾値は、2m程度としてもよい。
The predetermined threshold indicates that the position at which the second front left icon, the second front center icon, the second front right icon, the second rear left icon, the second rear center icon, and the second rear right icon are displayed is an
制御部41は、自車アイコン120の外側の俯瞰映像100に、障害物報知アイコン110を重畳表示する(ステップS25)。より詳しくは、制御部41は、重畳映像生成部46で、障害物情報取得部43が取得した障害物情報に基づいて、自車アイコン120の外側の俯瞰映像100に、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンとの少なくともいずれかを重畳した俯瞰映像100を生成させる。そして、制御部41は、表示制御部47で、生成した俯瞰映像100を表示パネル31に表示させる。
The
このようにして、俯瞰映像生成システム1は、障害物までの距離が所定閾値以上であると、自車アイコン120の外側の俯瞰映像100に、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンとの少なくともいずれかを重畳した俯瞰映像100を生成し、表示パネル31に映像信号を出力する。俯瞰映像生成システム1は、障害物までの距離が所定閾値未満であると、俯瞰映像100の中央映像105に、前方左アイコン111と前方中央アイコン112と前方右アイコン113と後方左アイコン114と後方中央アイコン115と後方右アイコン116との少なくともいずれかを重畳した俯瞰映像100を生成し、表示パネル31に映像信号を出力する。
In this manner, when the distance to the obstacle is equal to or greater than the predetermined threshold, the overhead view video generation system 1 displays the second forward left icon, the second forward center icon, and the first
例えば、車両の後退時、後方左側の所定閾値上の距離に障害物を検出した場合の一例を、図7を用いて説明する。 For example, an example in the case where an obstacle is detected at a distance above a predetermined threshold on the left rear side when the vehicle is moving backward will be described with reference to FIG.
制御部41は、ステップS23において、障害物を検出したと判定する。そして、制御部41は、ステップS24において、障害物情報取得部43で取得された、検出した障害物までの距離が所定閾値以上であると判定する(ステップS24でYes)。そして、制御部41は、ステップS25において、自車アイコン120の外側の俯瞰映像100に、障害物を検出した後左方向を示す第二後方左アイコン117を重畳した、図7に示す俯瞰映像100を生成させる。そして、制御部41は、生成した俯瞰映像100を表示パネル31に表示させる。
In step S23, the
上述したように、本実施形態は、障害物までの距離が所定閾値以上であると、自車アイコン120の外側の俯瞰映像100に、障害物報知アイコン110を重畳した俯瞰映像100を生成し表示パネル31に表示させる。本実施形態は、障害物までの距離が所定閾値以上の場合、障害物報知アイコン110が自車アイコン120の外側の俯瞰映像100に重畳されるので、障害物報知アイコン110と俯瞰映像100に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像100に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
As described above, in the present embodiment, when the distance to the obstacle is equal to or greater than the predetermined threshold, the
本実施形態は、障害物までの距離が所定閾値未満であると、俯瞰映像100の中央映像105に、障害物報知アイコン110を重畳した俯瞰映像100を生成し表示パネル31に表示させる。本実施形態は、障害物までの距離が所定閾値未満の場合、障害物報知アイコン110が俯瞰映像100の中央映像105に重畳されるので、障害物報知アイコン110と俯瞰映像100に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像100に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。
In the present embodiment, when the distance to the obstacle is less than a predetermined threshold, the
このように、本実施形態は、障害物までの距離に応じて、車両周辺の障害物を適切に確認可能にすることができる。 Thus, this embodiment can make it possible to appropriately check obstacles around the vehicle according to the distance to the obstacle.
本実施形態は、障害物までの距離に応じて、俯瞰映像100における障害物報知アイコン110の表示位置が変化する。このため、本実施形態は、障害物までの距離をより把握しやすくすることができる。
In the present embodiment, the display position of the
[第三実施形態]
図8を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図8は、第三実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成装置40の障害物情報取得部43と重畳映像生成部46と制御部41における処理とが、第二実施形態の俯瞰映像生成システム1と異なる。
[Third embodiment]
The overhead view video generation system 1 according to the present embodiment will be described with reference to FIG. FIG. 8 is a flowchart showing the flow of processing in the overhead video generation device of the overhead video generation system according to the third embodiment. The overhead image generation system 1 of the present embodiment is different from the overhead image generation system 1 of the second embodiment in the processing of the obstacle
前方左センサ21と前方中央センサ22と前方右センサ23と後方左センサ24と後方中央センサ25と後方右センサ26とは、俯瞰映像100として表示する範囲より遠方の範囲を検出範囲とする。
The front left sensor 21, the front center sensor 22, the front
障害物情報取得部43は、俯瞰映像100として表示する範囲より遠方の範囲において検出した障害物の障害物情報を取得する。
The obstacle
重畳映像生成部46は、障害物情報取得部43で取得した障害物情報に基づいて、検出した障害物までの距離が俯瞰映像100として表示する範囲より遠方であれば、俯瞰映像100の中央部に自車アイコン120を表示させ、障害物報知アイコン110を自車アイコン120の外側の俯瞰映像100に重畳させた俯瞰映像100を生成する。
Based on the obstacle information acquired by the obstacle
重畳映像生成部46は、障害物情報取得部43で取得した障害物情報に基づいて、検出した障害物までの距離が俯瞰映像100として表示する範囲に含まれる範囲であれば、障害物報知アイコン110を、俯瞰映像100の中央映像105に障害物を検出した方向を示すように重畳した俯瞰映像100を生成する。
The superimposed
次に、図8を用いて、俯瞰映像生成システム1の俯瞰映像生成装置40における処理の流れについて説明する。図8に示すフローチャートのステップS31〜ステップS33、ステップS35〜ステップS37の処理は、図6に示すフローチャートのステップS21〜ステップS23、ステップS25〜ステップS27の処理と同様である。
Next, the flow of processing in the overhead view
制御部41は、障害物までの距離は俯瞰映像100の表示範囲以上であるか否かを判定する(ステップS34)。制御部41は、障害物情報取得部43で取得された、検出した障害物までの距離が俯瞰映像100の表示範囲より遠方の範囲である場合(ステップS34でYes)、ステップS35に進む。制御部41は、障害物情報取得部43で取得された、検出した障害物までの距離が俯瞰映像100の表示範囲に含まれる場合(ステップS34でNo)、ステップS36に進む。
The
このようにして、俯瞰映像生成システム1は、障害物までの距離が俯瞰映像100の表示範囲より遠方の範囲であると、自車アイコン120の外側の俯瞰映像100に、障害物報知アイコン110を重畳した俯瞰映像100を生成し、表示パネル31に映像信号を出力する。俯瞰映像生成システム1は、障害物までの距離が俯瞰映像100の表示範囲に含まれると、俯瞰映像100の中央映像105に、障害物報知アイコン110を重畳した俯瞰映像100を生成し、表示パネル31に映像信号を出力する。
In this way, the overhead view video generation system 1 displays the
上述したように、本実施形態は、障害物までの距離が俯瞰映像100の表示範囲より遠方の範囲であると、自車アイコン120の外側の俯瞰映像100に、障害物報知アイコン110を重畳した俯瞰映像100を生成し表示パネル31に表示させる。本実施形態は、障害物までの距離が俯瞰映像100の表示範囲より遠方の範囲の場合、障害物報知アイコン110が自車アイコン120の外側に重畳されるので、障害物報知アイコン110と俯瞰映像100に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像100に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
As described above, in the present embodiment, when the distance to the obstacle is a range farther than the display range of the bird's-
本実施形態は、障害物までの距離が俯瞰映像100の表示範囲に含まれると、俯瞰映像100の中央映像105に、障害物報知アイコン110を重畳した俯瞰映像100を生成し表示パネル31に表示させる。本実施形態は、障害物までの距離が俯瞰映像100の表示範囲に含まれる場合、障害物報知アイコン110が俯瞰映像100の中央映像105に重畳されるので、障害物報知アイコン110と俯瞰映像100に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像100に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。
In the present embodiment, when the distance to the obstacle is included in the display range of the
このように、本実施形態は、障害物までの距離に応じて、車両周辺の障害物を適切に確認可能にすることができる。 Thus, this embodiment can make it possible to appropriately check obstacles around the vehicle according to the distance to the obstacle.
本実施形態は、俯瞰映像100の表示範囲より遠方の範囲に障害物がある場合にも、障害物報知アイコン110を表示させることができる。このため、本実施形態は、俯瞰映像100の表示範囲より遠方の範囲の障害物を報知することができる。
In the present embodiment, the
[第四実施形態]
本実施形態に係る俯瞰映像生成システム1について説明する。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成装置40の重畳映像生成部46と制御部41における処理とが、第一実施形態の俯瞰映像生成システム1と異なる。より詳しくは、制御部41における障害物を検出したか否かの判定において、車両の進行方向に位置する障害物を検出する点が第一実施形態の俯瞰映像生成システム1と異なる。
[Fourth embodiment]
The overhead view video generation system 1 according to the present embodiment will be described. The overhead video generation system 1 of the present embodiment is different from the overhead video generation system 1 of the first embodiment in processing in the superimposed
重畳映像生成部46は、障害物情報取得部43が取得した障害物情報に基づいて、車両の進行方向に位置する障害物について、障害物報知アイコン110を俯瞰映像100の中央映像105に重畳した俯瞰映像100を生成する。
Based on the obstacle information acquired by the obstacle
次に、俯瞰映像生成システム1の俯瞰映像生成装置40における処理の流れについて説明する。
Next, the flow of processing in the overhead view
制御部41は、ステップS13において、障害物情報取得部43で取得した障害物情報に基づいて、車両の進行方向に障害物が検出されたか否かを判定する。制御部41は、車両の進行方向に障害物を検出したと判定した場合(ステップS13でYes)、ステップS14に進む。制御部41は、車両の進行方向に障害物が検出されていないと判定した場合(ステップS13でNo)、ステップS15に進む。
In step S <b> 13, the
このようにして、制御部41は、車両に近づく障害物に対して、障害物報知アイコン110を表示し、車両から遠ざかる障害物に対して、障害物報知アイコン110を非表示とする。
In this way, the
上述したように、本実施形態は、車両周辺の障害物をより適切に確認可能にすることができる。 As described above, this embodiment can make it possible to more appropriately check obstacles around the vehicle.
[第五実施形態]
図9ないし図12を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図9は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。図10は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図11は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図12は、障害物報知アイコンにおける、円弧間の間隔と障害物までの距離との関係の一例を示すグラフである。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成装置40の重畳映像生成部46における処理が、第一実施形態の俯瞰映像生成システム1と異なる。
[Fifth embodiment]
The overhead view video generation system 1 according to the present embodiment will be described with reference to FIGS. 9 to 12. FIG. 9 is a diagram showing an example of an overhead video generated by the overhead video generation system according to the fifth embodiment. FIG. 10 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the fifth embodiment. FIG. 11 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the fifth embodiment. FIG. 12 is a graph showing an example of the relationship between the distance between the arcs and the distance to the obstacle in the obstacle notification icon. The overhead video generation system 1 of the present embodiment differs from the overhead video generation system 1 of the first embodiment in the processing in the superimposed
図9ないし図11に示すように、障害物報知アイコン110は、障害物を検出した方向を向いた複数の構成要素を有し、複数の構成要素の間隔によって障害物までの距離を示す。本実施形態では、障害物報知アイコン110は、三重の円弧を構成要素としている。本実施形態では、障害物報知アイコン110は、円弧の間隔で障害物までの距離を示す。本実施形態では、障害物報知アイコン110は、障害物までの距離が大きいほど円弧の間隔を広く、障害物までの距離が小さいほど円弧の間隔を狭く示す。
As shown in FIGS. 9 to 11, the
障害物報知アイコン110の円弧の間隔は、図12において実線で示すように、障害物までの距離が大きいほど広くなるように、直線状に設定されていてもよい。
The interval between the arcs of the
障害物報知アイコン110の円弧の間隔は、図12において破線で示すように、障害物までの距離が大きいほど広くなるように、階段状に設定されていてもよい。より詳しくは、障害物までの距離が第一閾値以上の場合、例えば、2m以上の場合、円弧の間隔を第一間隔d1とする。第一閾値は、俯瞰映像100として表示する範囲に含まれる境界の距理としてもよい。障害物までの距離が第一閾値以上の場合、最も外側の円弧状の曲線を俯瞰映像100の中央映像105の外部に表示してもよい。障害物までの距離が第一閾値未満かつ第二閾値以上の場合、例えば、2m未満1m以上の場合、円弧の間隔を第一間隔d1より小さい第二間隔d2とする。障害物までの距離が第二閾値未満の場合、例えば、1m未満の場合、円弧の間隔を第二間隔d2より小さい第三間隔d3とする。さらに障害物までの距離が小さくなった場合、円弧の間隔をゼロとして円弧を重ねてもよい。
The interval between the arcs of the
障害物までの距離とは、障害物を検出する各センサから障害物までの距離である。障害物までの距離は、車両の障害物方向の端部から障害物までの距離とほぼ一致する。 The distance to the obstacle is a distance from each sensor that detects the obstacle to the obstacle. The distance to the obstacle substantially coincides with the distance from the end of the vehicle in the obstacle direction to the obstacle.
重畳映像生成部46は、障害物情報取得部43で取得された、検出した障害物までの距離に基づいて、円弧の間隔を変化させた障害物報知アイコン110を俯瞰映像100の中央映像105に重畳した俯瞰映像100を生成する。
The superimposed
車両の後退時、後方左側に障害物を検出した場合の例を、図9ないし図11を用いて説明する。 An example in which an obstacle is detected on the rear left side when the vehicle is moving backward will be described with reference to FIGS.
例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が2mである場合の一例を、図9を用いて説明する。ステップS14において、制御部41は、重畳映像生成部46で、俯瞰映像100の中央映像105に、円弧の膨出方向で障害物を検出した後左方向を示し、円弧の間隔で障害物までの距離を示す障害物報知アイコン110を重畳した俯瞰映像100を生成させる。障害物報知アイコン110は、円弧の間隔が第一間隔d1である。障害物報知アイコン110は、最も外側の円弧状の曲線が中央映像105の外部に位置する。制御部41は、重畳映像生成部46で、図9に示す、生成した俯瞰映像100を表示パネル31に表示させる。障害物報知アイコン110の円弧の間隔と、最も外側の円弧状の曲線が中央映像105の外部に位置していることから、障害物が俯瞰映像100として表示する範囲の境界付近に位置していることがわかる。
For example, an example in which an obstacle is detected on the left rear side when the vehicle is reversing and the distance to the obstacle is 2 m will be described with reference to FIG. In step S14, the
例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が1.5mである場合の一例を、図10を用いて説明する。ステップS14において、制御部41は、重畳映像生成部46で、俯瞰映像100の中央映像105に、円弧の膨出方向で障害物を検出した後左方向を示し、円弧の間隔で障害物までの距離を示す障害物報知アイコン110を重畳した俯瞰映像100を生成させる。障害物報知アイコン110は、円弧の間隔が第二間隔d2である。制御部41は、重畳映像生成部46で、図10に示す、生成した俯瞰映像100を表示パネル31に表示させる。障害物報知アイコン110の円弧の間隔から、障害物が俯瞰映像100として表示する範囲内に位置していることがわかる。
For example, an example in which an obstacle is detected on the rear left side when the vehicle is reversing and the distance to the obstacle is 1.5 m will be described with reference to FIG. In step S14, the
例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が1mである場合の一例を、図11を用いて説明する。ステップS14において、制御部41は、重畳映像生成部46で、俯瞰映像100の中央映像105に、円弧の膨出方向で障害物を検出した後左方向を示し、円弧の間隔で障害物までの距離を示す障害物報知アイコン110を重畳した俯瞰映像100を生成させる。障害物報知アイコン110は、円弧の間隔が第三間隔d3である。制御部41は、重畳映像生成部46で、図11に示す、生成した俯瞰映像100を表示パネル31に表示させる。障害物報知アイコン110の円弧の間隔が狭いことから、障害物が車両の後端部の近傍に位置していることがわかる。
For example, an example in which an obstacle is detected on the left rear side when the vehicle is reversing and the distance to the obstacle is 1 m will be described with reference to FIG. In step S14, the
このようにして、制御部41は、検出した障害物までの距離に基づいて、円弧の間隔を変化させた障害物報知アイコン110を俯瞰映像100の中央映像105に重畳した俯瞰映像100を生成する。
In this way, the
上述したように、本実施形態は、車両の周辺に障害物が検出されると、俯瞰映像100の中央映像105に、障害物を検出した方向を示し、円弧の間隔で障害物までの距離を示すように障害物報知アイコン110を重畳した俯瞰映像100を表示パネル31に表示させる。本実施形態は、障害物報知アイコン110によって、障害物の方向と、障害物までの距離を表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
As described above, in the present embodiment, when an obstacle is detected in the vicinity of the vehicle, the
[第六実施形態]
図13ないし図15を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図13は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。図14は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図15は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。本実施形態の俯瞰映像生成システム1は、俯瞰映像生成装置40の重畳映像生成部46における処理が、第一実施形態の俯瞰映像生成システム1と異なる。
[Sixth embodiment]
The overhead view video generation system 1 according to the present embodiment will be described with reference to FIGS. 13 to 15. FIG. 13 is a diagram illustrating an example of an overhead video generated by the overhead video generation system according to the sixth embodiment. FIG. 14 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the sixth embodiment. FIG. 15 is a diagram illustrating another example of an overhead video generated by the overhead video generation system according to the sixth embodiment. The overhead video generation system 1 of the present embodiment differs from the overhead video generation system 1 of the first embodiment in the processing in the superimposed
図13ないし図15に示すように、障害物報知アイコン110は、アイコン自身の水平方向の幅によって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅を示す。本実施形態では、障害物報知アイコン110は、障害物を検出しているセンサの水平方向における検出範囲が広いほど円弧の長さを大きく、障害物を検出しているセンサの水平方向における検出範囲が狭いほど円弧の長さを小さく示す。本実施形態では、障害物報知アイコン110は、障害物の水平方向の幅が広いほど円弧の長さを大きく、障害物の水平方向の幅が狭いほど円弧の長さを小さく示す。
As shown in FIGS. 13 to 15, the
より詳しくは、例えば、障害物報知アイコン110は、俯瞰映像100の中央部から障害物の水平方向の両端部までの投影幅を円弧の長さとしてもよい。
More specifically, for example, the
重畳映像生成部46は、障害物情報取得部43が取得した障害物情報に基づいて、障害物を示す情報の幅を、検出した障害物の水平方向幅に対応させた幅として俯瞰映像100の中央映像105に重畳した俯瞰映像100を生成する。
Based on the obstacle information acquired by the obstacle
車両の後退時、後方左側に障害物を検出した場合の例を、図13ないし図15を用いて説明する。 An example in which an obstacle is detected on the left rear side when the vehicle is reversing will be described with reference to FIGS.
例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が2mである場合の一例を、図13を用いて説明する。ステップS14において、制御部41は、重畳映像生成部46で、俯瞰映像100の中央映像105に、アイコン自身の水平方向の幅によって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅を示す障害物報知アイコン110を重畳した俯瞰映像100を生成させる。ここでいう障害物の水平方向の幅とは、センサで検出した見かけの幅、つまり投影幅である。制御部41は、重畳映像生成部46で、図13に示す、生成した俯瞰映像100を表示パネル31に表示させる。障害物報知アイコン110の水平方向の幅によって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅が狭いことがわかる。
For example, an example in which an obstacle is detected on the rear left side when the vehicle is reversing and the distance to the obstacle is 2 m will be described with reference to FIG. In step S <b> 14, the
例えば、図13に示す状態から、障害物までの距離が1mであった場合の一例を、図14を用いて説明する。ステップS14において、制御部41は、重畳映像生成部46で、俯瞰映像100の中央映像105に、障害物報知アイコン110を重畳した俯瞰映像100を生成させる。俯瞰映像100の中央部から障害物の水平方向の両端部までの投影幅が広くなるので、障害物報知アイコン110は、水平方向の幅が、図13の障害物報知アイコン110の水平方向の幅より広い。制御部41は、重畳映像生成部46で、図14に示す、生成した俯瞰映像100を表示パネル31に表示させる。障害物報知アイコン110の水平方向の幅が図13より広くなっていることによって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅が広がっている、すなわち、障害物が車両の後端に近づいていることがわかる。
For example, an example when the distance from the state shown in FIG. 13 to the obstacle is 1 m will be described with reference to FIG. In step S <b> 14, the
このように、重畳映像生成部46は、障害物の近接状況に応じて、障害物報知アイコン110の水平方向の幅を、図13から図14に示すように変化させて表示させる。障害物報知アイコン110の水平方向の幅の変化によって、障害物が車両に近づいているのか遠ざかっているのかがわかる。
As described above, the superimposed
例えば、車両の後退時、後方左側に、図14に示す障害物より水平方向の幅が狭い障害物を検出した場合の一例を、図15を用いて説明する。ステップS14において、制御部41は、重畳映像生成部46で、俯瞰映像100の中央映像105に、障害物報知アイコン110を重畳した俯瞰映像100を生成させる。障害物報知アイコン110は、水平方向の幅が、図14の障害物報知アイコン110の水平方向の幅より狭い。制御部41は、重畳映像生成部46で、図15に示す、生成した俯瞰映像100を表示パネル31に表示させる。障害物報知アイコン110の水平方向の幅が図14より狭くなっていることによって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅が狭くなっている、すなわち、障害物の水平方向の幅が狭いことがわかる。
For example, an example in the case where an obstacle having a width smaller in the horizontal direction than the obstacle shown in FIG. 14 is detected on the left rear side when the vehicle is reversing will be described with reference to FIG. In step S <b> 14, the
上述したように、本実施形態は、車両の周辺に障害物が検出されると、俯瞰映像100の中央映像105に、障害物を検出した方向を示し、円弧の水平方向の幅で障害物の水平方向の幅を示すように障害物報知アイコン110を重畳した俯瞰映像100を表示パネル31に表示させる。本実施形態は、障害物報知アイコン110によって、障害物の方向と、障害物の水平方向の幅を表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
As described above, in the present embodiment, when an obstacle is detected around the vehicle, the
さらに、本実施形態は、障害物までの距離が変化すると、障害物報知アイコン110の水平方向の幅を、例えば、図13から図14に示すように変化させて表示させる。これにより、本実施形態によれば、障害物報知アイコン110の水平方向の幅の変化で、障害物の近接状況を確認可能にすることができる。
Further, in the present embodiment, when the distance to the obstacle changes, the horizontal width of the
さて、これまで本発明に係る俯瞰映像生成システム1について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。 Now, the overhead video generation system 1 according to the present invention has been described so far, but may be implemented in various different forms other than the above-described embodiment.
図示した俯瞰映像生成システム1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the illustrated bird's-eye view video generation system 1 is functionally conceptual and may not necessarily be physically configured as illustrated. That is, the specific form of each device is not limited to the one shown in the figure, and all or a part of them is functionally or physically distributed or integrated in arbitrary units according to the processing load or usage status of each device. May be.
俯瞰映像生成システム1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the overhead view video generation system 1 is realized by, for example, a program loaded in a memory as software. The above embodiment has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily assumed by those skilled in the art and those that are substantially the same. Furthermore, the above-described configurations can be appropriately combined. In addition, various omissions, substitutions, or changes in the configuration can be made without departing from the scope of the present invention.
重畳映像生成部46は、例えば、最も近い障害物までの距離が所定閾値未満の場合、俯瞰映像100の中央映像105に、障害物報知アイコン110とともに障害物までの距離を数値で表示してもよい。または、重畳映像生成部46は、例えば、最も近い障害物までの距離が所定閾値未満の場合、俯瞰映像100の中央映像105に、障害物報知アイコン110とともに障害物までの距離に応じて形状や色が変化する図形を表示してもよい。俯瞰映像生成システム1は、障害物までの距離に応じた障害物報知アイコン110の変化に加えて、障害物までの距離を報知することができる。これにより、俯瞰映像生成システム1は、車両周辺の障害物をより適切に確認可能にすることができる。
For example, when the distance to the nearest obstacle is less than a predetermined threshold, the superimposed
制御部41は、障害物が複数ある場合、優先順位の高い障害物について、障害物報知アイコン110を表示するようにしてもよい。例えば、優先順位は、障害物までの距離が最も小さいものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が動体であるものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が動体で、かつ、車両に近づいてきているものを最も高い優先順位としてもよい。
When there are a plurality of obstacles, the
障害物が動体であることが検出された場合、俯瞰映像100の中央映像105に、動体であることを示すアイコンを表示してもよい。動体であることを示すアイコンは、例えば、歩行者を示すアイコンや車両であることを示すアイコンとしてもよい。これにより、俯瞰映像生成システム1は、車両周辺の障害物をより適切に確認可能にすることができる。
When it is detected that the obstacle is a moving object, an icon indicating that the obstacle is a moving object may be displayed in the
障害物報知アイコン110は、3重の弧状の曲線で構成されるものとして説明したが、これに限定されない。障害物報知アイコン110は、例えば、障害物の方向を示す矢印状の図形でもよい。この場合、障害物報知アイコン110は、障害物までの距離に応じて、太さや大きさを変えた矢印状の図形としてもよい。
Although the
本実施形態では、障害物検出部であるセンサとして、前方左センサ21と前方中央センサ22と前方右センサ23と後方左センサ24と後方中央センサ25と後方右センサ26との6つのセンサを有するものとしたが、センサの数は限定されない。障害物の方向をより細分化して検出したい場合、センサの数を増やしてもよい。
In the present embodiment, the sensor that is an obstacle detection unit includes six sensors including a front left sensor 21, a front center sensor 22, a front
本実施形態では、障害物報知アイコン110は、センサの数に対応して、前方左アイコン111と前方中央アイコン112と前方右アイコン113と後方左アイコン114と後方中央アイコン115と後方右アイコン116とを含むものとしたが、これに限定されない。言い換えると、障害物報知アイコン110は、各センサの検出結果と表示させるアイコンとが対応付けられていればよい。
In the present embodiment, the
1 俯瞰映像生成システム
11 前方カメラ(撮影部)
12 後方カメラ(撮影部)
13 左側方カメラ(撮影部)
14 右側方カメラ(撮影部)
21 前方左センサ(障害物検出部)
22 前方中央センサ(障害物検出部)
23 前方右センサ(障害物検出部)
24 後方左センサ(障害物検出部)
25 後方中央センサ(障害物検出部)
26 後方右センサ(障害物検出部)
31 表示パネル
40 俯瞰映像生成装置
41 制御部
42 映像取得部
43 障害物情報取得部
44 車両情報取得部
45 俯瞰映像生成部
46 重畳映像生成部
47 表示制御部
49 記憶部
100 俯瞰映像
110 障害物報知アイコン(障害物を示す情報)
111 前方左アイコン(障害物を示す情報)
112 前方中央アイコン(障害物を示す情報)
113 前方右アイコン(障害物を示す情報)
114 後方左アイコン(障害物を示す情報)
115 後方中央アイコン(障害物を示す情報)
116 後方右アイコン(障害物を示す情報)
120 自車アイコン
1 Overhead
12 Rear camera (shooting unit)
13 Left-side camera (shooting unit)
14 Right-side camera (shooting unit)
21 Front left sensor (obstacle detection unit)
22 Front center sensor (obstacle detection unit)
23 Front right sensor (obstacle detection unit)
24 Rear left sensor (obstacle detection unit)
25 Rear center sensor (obstacle detection unit)
26 Rear right sensor (obstacle detection unit)
111 Front left icon (information indicating an obstacle)
112 Front center icon (information indicating an obstacle)
113 Front right icon (information indicating an obstacle)
114 Rear left icon (information indicating an obstacle)
115 Rear center icon (information indicating obstacles)
116 Rear right icon (information indicating an obstacle)
120 own car icon
Claims (11)
前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得部と、
前記映像取得部が取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成部と、
前記障害物情報取得部が取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成部と、
前記重畳映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部と
を有することを特徴とする俯瞰映像生成装置。 A video acquisition unit that acquires a peripheral video of the periphery of the vehicle;
An obstacle information acquisition unit for acquiring obstacle information of obstacles detected in the vicinity of the vehicle;
An overhead video generation unit that generates an overhead video obtained by performing a viewpoint conversion process so as to look down on the vehicle from above from the peripheral video acquired by the video acquisition unit;
Based on the obstacle information acquired by the obstacle information acquisition unit, a superimposed video generation unit that generates an overhead video in which information indicating the obstacle is superimposed on a central part surrounded by the overhead video;
A bird's-eye-view video generation device, comprising: a display control unit that causes the display unit to display the bird's-eye-view video generated by the superimposed video generation unit.
前記重畳映像生成部は、前記障害物情報取得部が取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値以上であれば、前記俯瞰映像で囲まれた中央部に前記車両を示す自車アイコンを表示させ、前記障害物を示す情報を前記俯瞰映像に重畳させた俯瞰映像を生成し、前記障害物情報取得部が取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値未満であれば、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する請求項1に記載の俯瞰映像生成装置。 The obstacle information acquisition unit acquires obstacle information including a distance to the detected obstacle,
If the distance to the detected obstacle is greater than or equal to a predetermined threshold based on the obstacle information acquired by the obstacle information acquisition unit, the superimposed image generation unit is configured to display the vehicle in a central portion surrounded by the overhead image. The vehicle icon is displayed to generate an overhead video in which the information indicating the obstacle is superimposed on the overhead video, and the detected obstacle is acquired based on the obstacle information acquired by the obstacle information acquisition unit. The bird's-eye view video generation apparatus according to claim 1, wherein if the distance is less than a predetermined threshold, a bird's-eye view image is generated by superimposing information indicating the obstacle on a central portion surrounded by the bird's-eye view image.
前記重畳映像生成部は、前記障害物情報取得部が取得した障害物情報に基づいて、検出した障害物までの距離が前記俯瞰映像として表示する範囲より遠方であれば、前記俯瞰映像で囲まれた中央部に前記車両を示す自車アイコンを表示させ、前記障害物を示す情報を前記俯瞰映像に重畳させた俯瞰映像を生成し、前記障害物情報取得部が取得した障害物情報に基づいて、検出した障害物までの距離が前記俯瞰映像として表示する範囲に含まれる範囲であれば、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する請求項2に記載の俯瞰映像生成装置。 The obstacle information acquisition unit acquires obstacle information of an obstacle detected in a range farther than a range to be displayed as the overhead image,
The superimposed video generation unit is surrounded by the overhead view video if the distance to the detected obstacle is farther than the range displayed as the overhead video based on the obstacle information acquired by the obstacle information acquisition unit. Based on the obstacle information acquired by the obstacle information acquisition unit, displaying an own vehicle icon indicating the vehicle in the center, generating an overhead image in which information indicating the obstacle is superimposed on the overhead image. If the distance to the detected obstacle is a range included in the range to be displayed as the overhead image, the overhead image is generated by superimposing information indicating the obstacle on a central portion surrounded by the overhead image. The overhead view video generation device according to 2.
前記重畳映像生成部は、検出した障害物までの距離に基づいて、前記複数の構成要素の間隔を変化させる、
請求項1から5のいずれか一項に記載の俯瞰映像生成装置。 The information indicating the obstacle has a plurality of components facing the direction in which the obstacle is detected, and indicates the distance to the obstacle by the interval of the plurality of components,
The superimposed video generation unit changes the interval between the plurality of components based on the distance to the detected obstacle.
The overhead image generation apparatus according to any one of claims 1 to 5.
前記障害物を示す情報は、検出した障害物の水平方向幅を示す情報を含み、
前記重畳映像生成部は、前記障害物情報取得部が取得した障害物情報に基づいて、前記障害物を示す情報の幅を、検出した障害物の水平方向幅に対応させた幅として前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する、
請求項1から6のいずれか一項に記載の俯瞰映像生成装置。 The obstacle information acquisition unit acquires obstacle information including a horizontal width of the detected obstacle,
The information indicating the obstacle includes information indicating a horizontal width of the detected obstacle,
The superimposed video generation unit, based on the obstacle information acquired by the obstacle information acquisition unit, sets the width of information indicating the obstacle as a width corresponding to the horizontal width of the detected obstacle. Generate a bird's-eye view image superimposed on the center part surrounded by
The overhead image generation device according to any one of claims 1 to 6.
前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影部と、
前記車両の周辺において障害物を検出し前記障害物情報取得部に障害物情報を供給する障害物検出部と
を有することを特徴とする俯瞰映像生成システム。 An overhead view video generation device according to any one of claims 1 to 8,
A photographing unit for photographing the periphery of the vehicle and supplying the peripheral image to the video acquisition unit;
An overhead view video generation system comprising: an obstacle detection unit that detects an obstacle around the vehicle and supplies the obstacle information to the obstacle information acquisition unit.
前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、
前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成ステップと、
前記障害物情報取得ステップで取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、
前記重畳映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと
を含む俯瞰映像生成方法。 A video acquisition step for acquiring a peripheral video of the periphery of the vehicle;
Obstacle information acquisition step for acquiring obstacle information of obstacles detected in the vicinity of the vehicle;
An overhead view video generation step of generating an overhead view image obtained by performing a viewpoint conversion process so as to look down on the vehicle from above from the surrounding video acquired in the video acquisition step;
Based on the obstacle information acquired in the obstacle information acquisition step, a superimposed video generation step of generating an overhead video in which information indicating the obstacle is superimposed on a central portion surrounded by the overhead video;
And a display control step of displaying the overhead view video generated in the superimposed video generation step on a display unit.
前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、
前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成ステップと、
前記障害物情報取得ステップで取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、
前記重畳映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと
を俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。 A video acquisition step for acquiring a peripheral video of the periphery of the vehicle;
Obstacle information acquisition step for acquiring obstacle information of obstacles detected in the vicinity of the vehicle;
An overhead view video generation step of generating an overhead view image obtained by performing a viewpoint conversion process so as to look down on the vehicle from above from the surrounding video acquired in the video acquisition step;
Based on the obstacle information acquired in the obstacle information acquisition step, a superimposed video generation step of generating an overhead video in which information indicating the obstacle is superimposed on a central portion surrounded by the overhead video;
A program for causing a computer that operates as an overhead video generation device to execute a display control step of displaying the overhead video generated in the superimposed video generation step on a display unit.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201780023741.3A CN109076195B (en) | 2016-09-20 | 2017-07-04 | Overhead image generation device, system, method and storage medium |
PCT/JP2017/024558 WO2018055873A1 (en) | 2016-09-20 | 2017-07-04 | Overhead view video image generation device, overhead view video image generation system, overhead view video image generation method, and program |
EP17852654.7A EP3462733B1 (en) | 2016-09-20 | 2017-07-04 | Overhead view video image generation device, overhead view video image generation system, overhead view video image generation method, and program |
US16/208,650 US10587801B2 (en) | 2016-09-20 | 2018-12-04 | Bird's-eye view video generation device, bird'S-eye view video generation system, bird's-eye view video generation method, and non-transitory storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016183103 | 2016-09-20 | ||
JP2016183103 | 2016-09-20 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020109458A Division JP7196881B2 (en) | 2016-09-20 | 2020-06-25 | OVERALL VIEW VIDEO GENERATION DEVICE AND OVERALL VIEW VIDEO GENERATION METHOD |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018050277A true JP2018050277A (en) | 2018-03-29 |
JP2018050277A5 JP2018050277A5 (en) | 2019-12-19 |
JP6730617B2 JP6730617B2 (en) | 2020-07-29 |
Family
ID=61767876
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017073368A Active JP6730617B2 (en) | 2016-09-20 | 2017-04-03 | Overhead video generation device, overhead video generation system, overhead video generation method and program |
JP2020109458A Active JP7196881B2 (en) | 2016-09-20 | 2020-06-25 | OVERALL VIEW VIDEO GENERATION DEVICE AND OVERALL VIEW VIDEO GENERATION METHOD |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020109458A Active JP7196881B2 (en) | 2016-09-20 | 2020-06-25 | OVERALL VIEW VIDEO GENERATION DEVICE AND OVERALL VIEW VIDEO GENERATION METHOD |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6730617B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019189422A (en) * | 2018-04-27 | 2019-10-31 | 株式会社タダノ | Crane vehicle |
WO2020026836A1 (en) | 2018-07-30 | 2020-02-06 | 株式会社Jvcケンウッド | Overhead image generation apparatus, overhead image generation method, and program |
JP2021097283A (en) * | 2019-12-13 | 2021-06-24 | 本田技研工業株式会社 | Vehicle surroundings monitoring device, vehicle, vehicle surroundings monitoring method, and program |
JP2023133828A (en) * | 2022-03-14 | 2023-09-27 | 本田技研工業株式会社 | Control device, control method, and control program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006341641A (en) * | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | Image display apparatus and image display method |
JP2008174076A (en) * | 2007-01-18 | 2008-07-31 | Xanavi Informatics Corp | Vehicle periphery monitoring device, and its displaying method |
WO2012144076A1 (en) * | 2011-04-22 | 2012-10-26 | トヨタ自動車株式会社 | Vehicle periphery monitoring device and display method for vehicle periphery monitoring information |
JP2015065515A (en) * | 2013-09-24 | 2015-04-09 | 日立建機株式会社 | System for detecting moving object around vehicle |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5381847B2 (en) * | 2010-03-24 | 2014-01-08 | 株式会社デンソー | Vehicle display device |
JP2012244600A (en) * | 2011-05-24 | 2012-12-10 | Fujitsu Ten Ltd | Image display system, image processing apparatus, and image display method |
JP2016063390A (en) * | 2014-09-18 | 2016-04-25 | 富士通テン株式会社 | Image processing system and image display system |
-
2017
- 2017-04-03 JP JP2017073368A patent/JP6730617B2/en active Active
-
2020
- 2020-06-25 JP JP2020109458A patent/JP7196881B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006341641A (en) * | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | Image display apparatus and image display method |
JP2008174076A (en) * | 2007-01-18 | 2008-07-31 | Xanavi Informatics Corp | Vehicle periphery monitoring device, and its displaying method |
WO2012144076A1 (en) * | 2011-04-22 | 2012-10-26 | トヨタ自動車株式会社 | Vehicle periphery monitoring device and display method for vehicle periphery monitoring information |
JP2015065515A (en) * | 2013-09-24 | 2015-04-09 | 日立建機株式会社 | System for detecting moving object around vehicle |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019189422A (en) * | 2018-04-27 | 2019-10-31 | 株式会社タダノ | Crane vehicle |
WO2019208283A1 (en) * | 2018-04-27 | 2019-10-31 | 株式会社タダノ | Crane vehicle |
CN111954637A (en) * | 2018-04-27 | 2020-11-17 | 株式会社多田野 | Crane vehicle |
JP7147248B2 (en) | 2018-04-27 | 2022-10-05 | 株式会社タダノ | crane truck |
US11772941B2 (en) | 2018-04-27 | 2023-10-03 | Tadano Ltd. | Crane vehicle |
WO2020026836A1 (en) | 2018-07-30 | 2020-02-06 | 株式会社Jvcケンウッド | Overhead image generation apparatus, overhead image generation method, and program |
EP3817373A4 (en) * | 2018-07-30 | 2021-07-14 | JVCKenwood Corporation | Overhead image generation apparatus, overhead image generation method, and program |
US11498484B2 (en) | 2018-07-30 | 2022-11-15 | Jvckenwood Corporation | Overhead image generation device, overhead image generation method, and program |
JP2021097283A (en) * | 2019-12-13 | 2021-06-24 | 本田技研工業株式会社 | Vehicle surroundings monitoring device, vehicle, vehicle surroundings monitoring method, and program |
JP7065068B2 (en) | 2019-12-13 | 2022-05-11 | 本田技研工業株式会社 | Vehicle surroundings monitoring device, vehicle, vehicle surroundings monitoring method and program |
JP2023133828A (en) * | 2022-03-14 | 2023-09-27 | 本田技研工業株式会社 | Control device, control method, and control program |
Also Published As
Publication number | Publication date |
---|---|
JP7196881B2 (en) | 2022-12-27 |
JP6730617B2 (en) | 2020-07-29 |
JP2020182220A (en) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109076195B (en) | Overhead image generation device, system, method and storage medium | |
JP7196881B2 (en) | OVERALL VIEW VIDEO GENERATION DEVICE AND OVERALL VIEW VIDEO GENERATION METHOD | |
US11657618B2 (en) | Display apparatus | |
CN105308620B (en) | Information processing apparatus, proximity object notification method, and program | |
JP5704902B2 (en) | Driving support device and driving support method | |
JP5741173B2 (en) | Image display device and image display method | |
WO2016067544A1 (en) | Vehicle-mounted attention-attracting system and notification control device | |
WO2013046408A1 (en) | Image display device and image display method | |
WO2017110144A1 (en) | Overhead view video image generation device, overhead view video image generation system, overhead view video image generation method, and program | |
WO2018159016A1 (en) | Bird's eye view image generation device, bird's eye view image generation system, bird's eye view image generation method and program | |
JP2007233770A (en) | On-vehicle circumstance indication device | |
JP4259368B2 (en) | Nose view monitor device | |
US11394926B2 (en) | Periphery monitoring apparatus | |
JP6081247B2 (en) | Display switching device and display switching method for vehicle rear image | |
WO2016092967A1 (en) | Image generation device and image generation method | |
US10000154B2 (en) | Vehicle camera system having live video indication | |
WO2018096792A1 (en) | Bird's-eye-view video image generation device, bird's-eye-view video image generation system, bird's-eye-view video image generation method, and program | |
JP2011211432A (en) | In-vehicle imaging apparatus | |
JP2017114218A (en) | Bird's-eye video generation device, bird's-eye video generation system, bird's-eye video generation method and program | |
WO2018055873A1 (en) | Overhead view video image generation device, overhead view video image generation system, overhead view video image generation method, and program | |
JP2017073040A (en) | Visual recognition device for vehicle and visual recognition control program for vehicle | |
JP2018195935A (en) | Overhead image generation device, overhead image display system, overhead image generating method and program | |
JP5529097B2 (en) | Vehicle driving support device | |
JP6590538B2 (en) | Image processing apparatus and image processing method | |
JP2018142883A (en) | Bird's eye video creation device, bird's eye video creation system, bird's eye video creation method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191031 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6730617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |