JP6730617B2 - Overhead video generation device, overhead video generation system, overhead video generation method and program - Google Patents

Overhead video generation device, overhead video generation system, overhead video generation method and program Download PDF

Info

Publication number
JP6730617B2
JP6730617B2 JP2017073368A JP2017073368A JP6730617B2 JP 6730617 B2 JP6730617 B2 JP 6730617B2 JP 2017073368 A JP2017073368 A JP 2017073368A JP 2017073368 A JP2017073368 A JP 2017073368A JP 6730617 B2 JP6730617 B2 JP 6730617B2
Authority
JP
Japan
Prior art keywords
obstacle
bird
eye view
image
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017073368A
Other languages
Japanese (ja)
Other versions
JP2018050277A (en
JP2018050277A5 (en
Inventor
恒夫 里見
恒夫 里見
浅山　学
学 浅山
俊夫 森
俊夫 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to CN201780023741.3A priority Critical patent/CN109076195B/en
Priority to PCT/JP2017/024558 priority patent/WO2018055873A1/en
Priority to EP17852654.7A priority patent/EP3462733B1/en
Publication of JP2018050277A publication Critical patent/JP2018050277A/en
Priority to US16/208,650 priority patent/US10587801B2/en
Publication of JP2018050277A5 publication Critical patent/JP2018050277A5/ja
Application granted granted Critical
Publication of JP6730617B2 publication Critical patent/JP6730617B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。 The present invention relates to a bird's-eye view video generation device, a bird's-eye view video generation system, a bird's-eye view video generation method, and a program.

車両の俯瞰映像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている（例えば、特許文献１参照）。 A technique related to a vehicle peripheral display device that displays a bird's-eye view image of a vehicle together with a vehicle image is known (for example, see Patent Document 1).

特開２０１５−０７６６４５号公報Japanese Unexamined Patent Publication No. 2005-076645

車両の周辺をより確認しやすくするため、車両の周辺において検出した障害物の障害物情報を俯瞰映像に重畳させて表示する技術がある。ところが、障害物情報を俯瞰映像に重畳させると、俯瞰映像に映った障害物の視認性が阻害されるおそれがある。 In order to make it easier to check the surroundings of the vehicle, there is a technique for displaying obstacle information of obstacles detected around the vehicle by superimposing them on a bird's-eye view image. However, if the obstacle information is superimposed on the bird's-eye view image, the visibility of the obstacle in the bird's-eye view image may be impaired.

本発明は、上記に鑑みてなされたものであって、車両周辺の障害物を適切に確認可能にすることを目的とする。 The present invention has been made in view of the above, and an object thereof is to make it possible to appropriately check an obstacle around a vehicle.

上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周辺を撮影した周辺映像を取得する映像取得部と、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得部と、前記映像取得部が取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成部と、前記障害物情報取得部が取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成部と、前記重畳映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部とを有することを特徴とする。 In order to solve the above-mentioned problems and achieve the object, the bird's-eye view image generation device according to the present invention includes an image acquisition unit that acquires a peripheral image captured around the vehicle, and an obstacle detected around the vehicle. An obstacle information acquisition unit that acquires obstacle information, an overhead image generation unit that generates an overhead image that has been subjected to viewpoint conversion processing so that the vehicle is looked down from above from the peripheral images acquired by the image acquisition unit, and the obstacle Based on the obstacle information acquired by the object information acquisition unit, a superimposed image generation unit that generates an overhead view image in which information indicating the obstacle is superimposed on a central portion surrounded by the overhead view image, and the superimposed image generation unit. And a display control unit for displaying the generated bird's-eye view image on the display unit.

本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影部と、前記車両の周辺において障害物を検出し前記障害物情報取得部に障害物情報を供給する障害物検出部とを有することを特徴とする。 A bird's-eye view image generation system according to the present invention includes the above-mentioned bird's-eye view image generation device, a photographing unit that photographs the periphery of the vehicle and supplies a peripheral image to the image acquisition unit, and detects an obstacle in the periphery of the vehicle. An obstacle detection unit that supplies obstacle information to the obstacle information acquisition unit.

本発明に係る俯瞰映像生成方法は、車両の周辺を撮影した周辺映像を取得する映像取得ステップと、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成ステップと、前記障害物情報取得ステップで取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、前記重畳映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップとを含む。 A bird's-eye view image generation method according to the present invention includes a video acquisition step of acquiring a peripheral video image of the vicinity of a vehicle, an obstacle information acquisition step of acquiring obstacle information of an obstacle detected in the vicinity of the vehicle, Based on the obstacle information acquired in the obstacle information acquisition step, and a bird's-eye view image generation step of generating a bird's-eye view image that has been subjected to viewpoint conversion processing so as to look down on the vehicle from above from the peripheral image acquired in the image acquisition step, A superimposed image generation step of generating an overhead image in which information indicating the obstacle is superimposed on a central portion surrounded by the overhead image; and a display control step of displaying the overhead image generated in the superimposed image generation step on a display unit. including.

本発明に係るプログラムは、車両の周辺を撮影した周辺映像を取得する映像取得ステップと、前記車両の周辺において検出した障害物の障害物情報を取得する障害物情報取得ステップと、前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成ステップと、前記障害物情報取得ステップで取得した障害物情報に基づいて、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、前記重畳映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップとを俯瞰映像生成装置として動作するコンピュータに実行させる。 A program according to the present invention includes a video acquisition step of acquiring a peripheral video image of the periphery of a vehicle, an obstacle information acquisition step of acquiring obstacle information of an obstacle detected around the vehicle, and the video acquisition step. Based on the obstacle information acquired in the obstacle information acquisition step and an overhead view image generation step that generates an overhead view image that has been subjected to viewpoint conversion processing so as to look down the vehicle from above from the peripheral image acquired in Is displayed on the display unit, and a display control step for displaying the bird's-eye view image generated in the superimposed image generation step on the display unit. It is executed by a computer that operates as a generation device.

本発明によれば、車両周辺の障害物を適切に確認可能にすることができるという効果を奏する。 According to the present invention, there is an effect that an obstacle around the vehicle can be appropriately confirmed.

図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of an overhead view video generation system according to the first embodiment. 図２は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像および障害物報知アイコンを示す図である。FIG. 2 is a diagram showing a bird's-eye view image and an obstacle notification icon generated by the bird's-eye view image generation system according to the first embodiment. 図３は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。FIG. 3 is a flowchart showing the flow of processing in the bird's-eye view video generation device of the bird's-eye view video generation system according to the first embodiment. 図４は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。FIG. 4 is a diagram showing an example of an overhead view image generated by the overhead view image generation system according to the first embodiment. 図５は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。FIG. 5 is a diagram showing another example of the bird's-eye view video generated by the bird's-eye view video generation system according to the first embodiment. 図６は、第二実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。FIG. 6 is a flowchart showing the flow of processing in the bird's-eye view video generation device of the bird's-eye view video generation system according to the second embodiment. 図７は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。FIG. 7 is a diagram showing an example of an overhead view image generated by the overhead view image generation system according to the second embodiment. 図８は、第三実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。FIG. 8 is a flowchart showing the flow of processing in the bird's-eye view video generation device of the bird's-eye view video generation system according to the third embodiment. 図９は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。FIG. 9 is a diagram showing an example of a bird's-eye view image generated by the bird's-eye view image generation system according to the fifth embodiment. 図１０は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。FIG. 10 is a diagram showing another example of the overhead view video generated by the overhead view video generation system according to the fifth embodiment. 図１１は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。FIG. 11 is a diagram showing another example of the bird's-eye view video generated by the bird's-eye view video generation system according to the fifth embodiment. 図１２は、障害物報知アイコンにおける、円弧間の間隔と障害物までの距離との関係の一例を示すグラフである。FIG. 12 is a graph showing an example of the relationship between the distance between arcs and the distance to an obstacle in the obstacle notification icon. 図１３は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。FIG. 13 is a diagram showing an example of an overhead view image generated by the overhead view image generation system according to the sixth embodiment. 図１４は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。FIG. 14 is a diagram showing another example of the bird's-eye view video generated by the bird's-eye view video generation system according to the sixth embodiment. 図１５は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。FIG. 15 is a diagram showing another example of the overhead view video generated by the overhead view video generation system according to the sixth embodiment.

以下に添付図面を参照して、本発明に係る俯瞰映像生成装置４０、俯瞰映像生成システム１、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。 Embodiments of an overhead view video generation device 40, an overhead view video generation system 1, an overhead view video generation method, and a program according to the present invention will be described in detail below with reference to the accompanying drawings. The present invention is not limited to the embodiments described below.

［第一実施形態］
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム１は、車両の俯瞰映像１００（図２参照）を生成する。俯瞰映像生成装置４０および俯瞰映像生成システム１は、車両に搭載されている。俯瞰映像生成装置４０および俯瞰映像生成システム１は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。 [First embodiment]
FIG. 1 is a block diagram showing a configuration example of an overhead view video generation system according to the first embodiment. The bird's-eye view video generation system 1 generates a bird's-eye view video 100 (see FIG. 2) of the vehicle. The bird's-eye view video generation device 40 and the bird's-eye view video generation system 1 are mounted on a vehicle. The bird's-eye view image generation device 40 and the bird's-eye view image generation system 1 may be portable devices that can be used in the vehicle in addition to those mounted on the vehicle.

図１を用いて、俯瞰映像生成システム１について説明する。俯瞰映像生成システム１は、前方カメラ（撮影部）１１と、後方カメラ（撮影部）１２と、左側方カメラ（撮影部）１３と、右側方カメラ（撮影部）１４と、前方左センサ（障害物検出部）２１と、前方中央センサ（障害物検出部）２２と、前方右センサ（障害物検出部）２３と、後方左センサ（障害物検出部）２４と、後方中央センサ（障害物検出部）２５と、後方右センサ（障害物検出部）２６と、表示パネル３１と、俯瞰映像生成装置４０とを有する。 The overhead view video generation system 1 will be described with reference to FIG. The overhead view image generation system 1 includes a front camera (photographing unit) 11, a rear camera (photographing unit) 12, a left side camera (photographing unit) 13, a right side camera (photographing unit) 14, and a front left sensor (obstacle). Object detector 21, front center sensor (obstacle detector) 22, front right sensor (obstacle detector) 23, rear left sensor (obstacle detector) 24, rear center sensor (obstacle detection) Unit 25, a rear right sensor (obstacle detection unit) 26, a display panel 31, and a bird's-eye view image generation device 40.

前方カメラ１１は、車両の前方に配置され、車両の前方を中心とした周辺を撮影する。前方カメラ１１は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。 The front camera 11 is arranged in front of the vehicle and takes a picture around the front of the vehicle. The front camera 11 outputs the captured video to the video acquisition unit 42 of the overhead view video generation device 40.

後方カメラ１２は、車両の後方に配置され、車両の後方を中心とした周辺を撮影する。後方カメラ１２は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。 The rear camera 12 is arranged at the rear of the vehicle and captures an image around the rear of the vehicle. The rear camera 12 outputs the captured video to the video acquisition unit 42 of the overhead view video generation device 40.

左側方カメラ１３は、車両の左側方に配置され、車両の左側方を中心とした周辺を撮影する。左側方カメラ１３は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。 The left side camera 13 is arranged on the left side of the vehicle and takes an image around the left side of the vehicle. The left camera 13 outputs the captured video to the video acquisition unit 42 of the overhead view video generation device 40.

右側方カメラ１４は、車両の右側方に配置され、車両の右側方を中心とした周辺を撮影する。右側方カメラ１４は、撮影した映像を俯瞰映像生成装置４０の映像取得部４２へ出力する。 The right side camera 14 is arranged on the right side of the vehicle and takes an image around the right side of the vehicle. The right camera 14 outputs the captured image to the image acquisition unit 42 of the overhead image generation device 40.

前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両の全方位を撮影する。 The front camera 11, the rear camera 12, the left-side camera 13, and the right-side camera 14 photograph all directions of the vehicle.

前方左センサ２１は、車両の前方左側に配置され、車両の前方左側における障害物を検出する。前方左センサ２１は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方左センサ２１は、車両と接触するおそれがある、地上から高さを有するものを検出する。前方左センサ２１は、例えば、車両から５ｍ程度までの距離の障害物を検出する。前方左センサ２１は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。前方左センサ２１の検出範囲は、前方中央センサ２２の検出範囲の一部と重複していてもよい。前方左センサ２１は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、前方左センサ２１の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。 The front left sensor 21 is arranged on the front left side of the vehicle and detects an obstacle on the front left side of the vehicle. The front left sensor 21 is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be configured by a combination thereof. The front left sensor 21 detects an object having a height from the ground that may come into contact with the vehicle. The front left sensor 21 detects, for example, an obstacle at a distance of about 5 m from the vehicle. The front left sensor 21 detects an obstacle within a range of, for example, about 40° around the center of the sensor as viewed in the vertical direction. The detection range of the front left sensor 21 may partially overlap with the detection range of the front center sensor 22. The front left sensor 21 outputs the detected obstacle information of the obstacle to the obstacle information acquisition unit 43 of the overhead view image generation device 40. Examples of obstacle information include the presence/absence of an obstacle in the detection range of the front left sensor 21, the distance to the obstacle, the existence range of the obstacle in the horizontal direction, and the like.

前方中央センサ２２は、車両の前方中央に配置され、車両の前方中央における障害物を検出する。前方中央センサ２２は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方中央センサ２２は、車両と接触するおそれがある、地上から高さを有するものを検出する。前方中央センサ２２は、例えば、車両から５ｍ程度までの距離の障害物を検出する。前方中央センサ２２は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。前方中央センサ２２の検出範囲は、前方左センサ２１および前方右センサ２３の検出範囲の一部と重複していてもよい。前方中央センサ２２は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、前方中央センサ２２の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。 The front center sensor 22 is arranged in the front center of the vehicle and detects an obstacle in the front center of the vehicle. The front center sensor 22 is, for example, an infrared sensor or an ultrasonic sensor, a millimeter wave radar, or the like, and may be configured by a combination thereof. The front center sensor 22 detects an object having a height from the ground that may come into contact with the vehicle. The front center sensor 22 detects, for example, an obstacle at a distance of about 5 m from the vehicle. The front center sensor 22 detects an obstacle in the range of, for example, about 40° around the center of the sensor as viewed in the vertical direction. The detection range of the front center sensor 22 may overlap a part of the detection range of the front left sensor 21 and the front right sensor 23. The front center sensor 22 outputs the detected obstacle information of the obstacle to the obstacle information acquisition unit 43 of the overhead view image generation device 40. Examples of obstacle information include presence/absence of an obstacle in the detection range of the front center sensor 22, a distance to the obstacle, and an existing range of the obstacle in the horizontal direction.

前方右センサ２３は、車両の前方右側に配置され、車両の前方右側における障害物を検出する。前方右センサ２３は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方右センサ２３は、車両と接触するおそれがある、地上から高さを有するものを検出する。前方右センサ２３は、例えば、車両から５ｍ程度までの距離の障害物を検出する。前方右センサ２３は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。前方右センサ２３の検出範囲は、前方中央センサ２２の検出範囲の一部と重複していてもよい。前方右センサ２３は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、前方右センサ２３の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。 The front right sensor 23 is arranged on the front right side of the vehicle and detects an obstacle on the front right side of the vehicle. The front right sensor 23 is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be configured by a combination thereof. The front right sensor 23 detects an object having a height from the ground that may come into contact with the vehicle. The front right sensor 23 detects, for example, an obstacle at a distance of about 5 m from the vehicle. The front right sensor 23 detects an obstacle in a range of, for example, about 40° around the center of the sensor when viewed in the vertical direction. The detection range of the front right sensor 23 may partially overlap with the detection range of the front center sensor 22. The front right sensor 23 outputs the detected obstacle information of the obstacle to the obstacle information acquisition unit 43 of the overhead view image generation device 40. Examples of obstacle information include the presence/absence of an obstacle in the detection range of the front right sensor 23, the distance to the obstacle, and the range in which the obstacle exists in the horizontal direction.

前方左センサ２１と前方中央センサ２２と前方右センサ２３とで、車両の前方の障害物を検出する。 The front left sensor 21, the front center sensor 22, and the front right sensor 23 detect an obstacle in front of the vehicle.

後方左センサ２４は、車両の後方左側に配置され、車両の後方左側における障害物を検出する。後方左センサ２４は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。後方左センサ２４は、車両と接触するおそれがある、地上から高さを有するものを検出する。後方左センサ２４は、例えば、車両から５ｍ程度までの距離の障害物を検出する。後方左センサ２４は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。後方左センサ２４の検出範囲は、後方中央センサ２５の検出範囲の一部と重複していてもよい。後方左センサ２４は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、後方左センサ２４の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。 The rear left sensor 24 is arranged on the rear left side of the vehicle and detects an obstacle on the rear left side of the vehicle. The rear left sensor 24 is, for example, an infrared sensor or an ultrasonic sensor, a millimeter wave radar, or the like, and may be configured by a combination thereof. The rear left sensor 24 detects an object having a height from the ground that may come into contact with the vehicle. The rear left sensor 24 detects, for example, an obstacle at a distance of about 5 m from the vehicle. The rear left sensor 24 detects an obstacle in the range of, for example, about 40° around the center of the sensor when viewed in the vertical direction. The detection range of the rear left sensor 24 may partially overlap with the detection range of the rear center sensor 25. The rear left sensor 24 outputs the detected obstacle information to the obstacle information acquisition unit 43 of the bird's-eye view video generation device 40. Examples of the obstacle information include the presence/absence of an obstacle in the detection range of the rear left sensor 24, the distance to the obstacle, the existence range of the obstacle in the horizontal direction, and the like.

後方中央センサ２５は、車両の後方中央に配置され、車両の後方中央における障害物を検出する。後方中央センサ２５は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。後方中央センサ２５は、車両と接触するおそれがある、地上から高さを有するものを検出する。後方中央センサ２５は、例えば、車両から５ｍ程度までの距離の障害物を検出する。後方中央センサ２５は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。後方中央センサ２５の検出範囲は、後方左センサ２４および後方右センサ２６の検出範囲の一部と重複していてもよい。後方中央センサ２５は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、後方中央センサ２５の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。 The rear center sensor 25 is arranged in the rear center of the vehicle and detects an obstacle in the rear center of the vehicle. The rear center sensor 25 is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be configured by a combination thereof. The rear center sensor 25 detects an object having a height from the ground that may come into contact with the vehicle. The rear center sensor 25 detects, for example, an obstacle at a distance of about 5 m from the vehicle. The rear center sensor 25 detects an obstacle in the range of, for example, about 40° around the center of the sensor when viewed in the vertical direction. The detection range of the rear center sensor 25 may partially overlap with the detection range of the rear left sensor 24 and the rear right sensor 26. The rear center sensor 25 outputs the detected obstacle information of the obstacle to the obstacle information acquisition unit 43 of the overhead view image generation device 40. Examples of the obstacle information include the presence/absence of an obstacle in the detection range of the rear center sensor 25, the distance to the obstacle, the existence range of the obstacle in the horizontal direction, and the like.

後方右センサ２６は、車両の後方右側に配置され、車両の後方右側における障害物を検出する。後方右センサ２６は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。後方右センサ２６は、車両と接触するおそれがある、地上から高さを有するものを検出する。後方右センサ２６は、例えば、車両から５ｍ程度までの距離の障害物を検出する。後方右センサ２６は、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の障害物を検出する。後方右センサ２６の検出範囲は、後方中央センサ２５の検出範囲の一部と重複していてもよい。後方右センサ２６は、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。障害物情報の例としては、後方右センサ２６の検出範囲における障害物の有無、障害物までの距離、水平方向における障害物の存在範囲などである。 The rear right sensor 26 is arranged on the rear right side of the vehicle and detects an obstacle on the rear right side of the vehicle. The rear right sensor 26 is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be configured by a combination thereof. The rear right sensor 26 detects an object having a height from the ground that may come into contact with the vehicle. The rear right sensor 26 detects, for example, an obstacle at a distance of about 5 m from the vehicle. The rear right sensor 26 detects an obstacle in the range of, for example, about 40° around the center of the sensor as viewed in the vertical direction. The detection range of the rear right sensor 26 may partially overlap with the detection range of the rear center sensor 25. The rear right sensor 26 outputs the detected obstacle information of the obstacle to the obstacle information acquisition unit 43 of the overhead view image generation device 40. Examples of the obstacle information include the presence/absence of an obstacle in the detection range of the rear right sensor 26, the distance to the obstacle, the existence range of the obstacle in the horizontal direction, and the like.

後方左センサ２４と後方中央センサ２５と後方右センサ２６とで、車両の後方の障害物を検出する。 The rear left sensor 24, the rear center sensor 25, and the rear right sensor 26 detect an obstacle behind the vehicle.

表示パネル３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示パネル３１は、俯瞰映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、俯瞰映像１００を表示する。表示パネル３１は、俯瞰映像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル３１は、運転者から視認容易な位置に配置されている。 The display panel 31 is a display including, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Organic Electro-Luminescence) display. The display panel 31 displays the bird's-eye view video 100 based on the video signal output from the bird's-eye view video generation device 40 of the bird's-eye view video generation system 1. The display panel 31 may be dedicated to the bird's-eye view image generation system 1 or may be used together with another system including a navigation system, for example. The display panel 31 is arranged at a position where it can be easily viewed by the driver.

俯瞰映像生成装置４０は、制御部４１と、記憶部４９とを有する。 The overhead view video generation device 40 includes a control unit 41 and a storage unit 49.

制御部４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。制御部４１は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４１は、映像取得部４２と、障害物情報取得部４３と、車両情報取得部４４と、俯瞰映像生成部４５と、重畳映像生成部４６と、表示制御部４７とを有する。 The control unit 41 is, for example, an arithmetic processing unit including a CPU (Central Processing Unit) and the like. The control unit 41 loads the program stored in the storage unit 49 into the memory and executes the instructions included in the program. The control unit 41 includes an image acquisition unit 42, an obstacle information acquisition unit 43, a vehicle information acquisition unit 44, an overhead view image generation unit 45, a superimposed image generation unit 46, and a display control unit 47.

映像取得部４２は、車両の周辺を撮影した周辺映像を取得する。より詳しくは、映像取得部４２は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した映像を取得する。映像取得部４２は、取得した映像を俯瞰映像生成部４５に出力する。 The image acquisition unit 42 acquires a peripheral image of the surroundings of the vehicle. More specifically, the image acquisition unit 42 acquires the images output by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The video acquisition unit 42 outputs the acquired video to the overhead video generation unit 45.

障害物情報取得部４３は、車両の周辺において検出した障害物の障害物情報を取得する。本実施形態では、障害物情報取得部４３は、検出した障害物までの距離を含む障害物情報を取得する。より詳しくは、障害物情報取得部４３は、前方左センサ２１と前方中央センサ２２と前方右センサ２３と後方左センサ２４と後方中央センサ２５と後方右センサ２６とが出力した障害物情報を取得する。障害物情報取得部４３は、取得した障害物情報を重畳映像生成部４６に出力する。 The obstacle information acquisition unit 43 acquires obstacle information of obstacles detected around the vehicle. In the present embodiment, the obstacle information acquisition unit 43 acquires obstacle information including the distance to the detected obstacle. More specifically, the obstacle information acquisition unit 43 acquires obstacle information output by the front left sensor 21, the front center sensor 22, the front right sensor 23, the rear left sensor 24, the rear center sensor 25, and the rear right sensor 26. To do. The obstacle information acquisition unit 43 outputs the acquired obstacle information to the superimposed image generation unit 46.

車両情報取得部４４は、車両のギア操作情報など、俯瞰映像を表示させるためのトリガとなる車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部４４は、取得した車両情報を俯瞰映像生成部４５に出力する。 The vehicle information acquisition unit 44 acquires vehicle information, such as gear operation information of the vehicle, which is a trigger for displaying a bird's-eye view image from a CAN (Controller Area Network) or various sensors that sense the state of the vehicle. The vehicle information acquisition unit 44 outputs the acquired vehicle information to the overhead view video generation unit 45.

俯瞰映像生成部４５は、映像取得部４２で取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像１００を生成する。より詳しくは、俯瞰映像生成部４５は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した映像に基づいて、俯瞰映像１００を生成する。俯瞰映像１００を生成する方法は、公知のいずれの方法でもよく、限定されない。俯瞰映像生成部４５は、生成した俯瞰映像１００を表示制御部４７に出力する。 The bird's-eye view video generation unit 45 generates the bird's-eye view video 100 that has been subjected to the viewpoint conversion processing so that the vehicle is looked down from above from the peripheral video acquired by the video acquisition unit 42. More specifically, the bird's-eye view video generation unit 45 generates the bird's-eye view video 100 based on the videos taken by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The method of generating the overhead view image 100 may be any known method and is not limited. The overhead view video generation unit 45 outputs the generated overhead view video 100 to the display control unit 47.

図２を用いて、俯瞰映像１００について説明する。図２は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像および障害物報知アイコンを示す図である。俯瞰映像１００は、縦長の矩形状である。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とで囲まれた中央部に位置する中央映像１０５とを含む。前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、中央映像１０５とは、枠状の境界線で区切られていてもよい。 The overhead view video 100 will be described with reference to FIG. FIG. 2 is a diagram showing a bird's-eye view image and an obstacle notification icon generated by the bird's-eye view image generation system according to the first embodiment. The bird's-eye view image 100 has a vertically long rectangular shape. The bird's-eye view image 100 is located in a central portion surrounded by a front image 101, a rear image 102, a left side image 103, a right side image 104, a front image 101, a rear image 102, a left side image 103, and a right side image 104. Center image 105 to be displayed. The front image 101, the rear image 102, the left side image 103, the right side image 104, and the center image 105 may be separated by a frame-shaped boundary line.

中央映像１０５は、縦長の矩形状に生成される。中央映像１０５は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４との境界が線で区切られている。中央映像１０５は、俯瞰映像１００における車両の位置を示す。 The central image 105 is generated in a vertically long rectangular shape. In the center image 105, the boundaries between the front image 101, the rear image 102, the left side image 103, and the right side image 104 are separated by lines. The central image 105 shows the position of the vehicle in the overhead image 100.

図２においては、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４との境界を示す斜めの破線を説明のために図示しているが、実際に表示パネル３１に表示される俯瞰映像１００には当該破線は表示されない。他の図も同様である。 In FIG. 2, an oblique broken line indicating the boundary between the front image 101, the rear image 102, the left side image 103, and the right side image 104 is shown for the purpose of explanation, but it is actually displayed on the display panel 31. The broken line is not displayed in the overhead view image 100. The same applies to the other figures.

重畳映像生成部４６は、障害物情報取得部４３が取得した障害物情報に基づいて、障害物を示す情報を、俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。本実施形態では、重畳映像生成部４６は、障害物情報取得部４３が取得した障害物情報に基づいて、俯瞰映像１００の中央映像１０５に障害物を検出した方向を示す情報を重畳した俯瞰映像１００を生成する。本実施形態では、重畳映像生成部４６は、障害物を検出した方向を示す情報を障害物報知アイコン（障害物を示す情報）１１０で示す。障害物報知アイコン１１０は、障害物を検出する各センサの水平方向における検出方向を模式的に示しており、複数の円弧の配置方向は、センサの取付位置を起点とした検出方向、または車両を中心とした放射状の配置などである。障害物報知アイコン１１０を構成する円弧の幅は、障害物を検出する各センサの検出範囲を示していてもよく、各センサの検出範囲によらず検出方向に対応した固定幅であってもよい。 The superimposed image generation unit 46 generates the bird's-eye view image 100 in which the information indicating the obstacle is superimposed on the central image 105 of the bird's-eye view image 100 based on the obstacle information acquired by the obstacle information acquisition unit 43. In the present embodiment, the superimposed image generation unit 46 superimposes the information indicating the direction in which the obstacle is detected on the central image 105 of the overhead image 100 based on the obstacle information acquired by the obstacle information acquisition unit 43. Generate 100. In the present embodiment, the superimposed image generation unit 46 indicates the information indicating the direction in which the obstacle is detected by the obstacle notification icon (information indicating the obstacle) 110. The obstacle notification icon 110 schematically shows the detection direction in the horizontal direction of each sensor that detects an obstacle. The arrangement direction of a plurality of arcs is the detection direction starting from the mounting position of the sensor or the vehicle. It is a radial arrangement around the center. The width of the arc forming the obstacle notification icon 110 may indicate the detection range of each sensor that detects an obstacle, or may be a fixed width corresponding to the detection direction regardless of the detection range of each sensor. ..

障害物報知アイコン１１０は、障害物を報知するアイコンである。障害物報知アイコン１１０は、障害物までの距離と方向とを示す。障害物報知アイコン１１０は、前方左アイコン（障害物を示す情報）１１１と前方中央アイコン（障害物を示す情報）１１２と前方右アイコン（障害物を示す情報）１１３と後方左アイコン（障害物を示す情報）１１４と後方中央アイコン（障害物を示す情報）１１５と後方右アイコン（障害物を示す情報）１１６とを含む。 The obstacle notification icon 110 is an icon that notifies an obstacle. The obstacle notification icon 110 indicates the distance and direction to the obstacle. The obstacle notification icon 110 includes a front left icon (information indicating an obstacle) 111, a front center icon (information indicating an obstacle) 112, a front right icon (information indicating an obstacle) 113, and a rear left icon (displaying an obstacle). Information 114), a rear center icon (information indicating an obstacle) 115, and a rear right icon (information indicating an obstacle) 116.

前方左アイコン１１１は、車両の前方左側の障害物を報知するアイコンである。より詳しくは、前方左アイコン１１１は、前方左センサ２１で障害物を検出したことを報知するアイコンである。前方左アイコン１１１は、図２において、俯瞰映像１００の中央映像１０５の左上に重畳される。 The front left icon 111 is an icon that reports an obstacle on the front left side of the vehicle. More specifically, the front left icon 111 is an icon that notifies that the front left sensor 21 has detected an obstacle. The front left icon 111 is superimposed on the upper left of the center image 105 of the overhead view image 100 in FIG.

本実施形態では、前方左アイコン１１１は、３重の弧状の曲線で構成される。弧状の曲線は、俯瞰映像１００の外側に向かって膨出している。３重の弧状の曲線は、俯瞰映像１００の外側から中心側に向かって半径が小さくなっている。３重の弧状の曲線は、俯瞰映像１００の外側から中心側に向かって短くなっている。 In the present embodiment, the front left icon 111 is composed of a triple arc-shaped curve. The arc-shaped curve bulges toward the outside of the overhead view image 100. The triple arc-shaped curve has a radius that decreases from the outside to the center of the overhead view image 100. The triple arc-shaped curve is shortened from the outside to the center of the bird's-eye view image 100.

前方左アイコン１１１は、障害物までの距離に応じて、色を変化させてもよい。例えば、前方左アイコン１１１は、障害物までの距離が第一所定距離以上の場合、緑色で表示する。前方左アイコン１１１は、障害物までの距離が第一所定距離未満かつ第一所定距離より小さい第二所定距離以上の場合、黄色で表示する。前方左アイコン１１１は、障害物までの距離が第二所定距離未満の場合、赤色で表示する。 The front left icon 111 may change its color depending on the distance to the obstacle. For example, the front left icon 111 is displayed in green when the distance to the obstacle is the first predetermined distance or more. The front left icon 111 is displayed in yellow when the distance to the obstacle is less than the first predetermined distance and equal to or more than the second predetermined distance smaller than the first predetermined distance. The front left icon 111 is displayed in red when the distance to the obstacle is less than the second predetermined distance.

前方左アイコン１１１は、障害物までの距離に応じて、弧状の曲線の本数を変化させてもよい。例えば、前方左アイコン１１１は、障害物までの距離が第一所定距離以上の場合、３重の弧状の曲線のうち、最も外側の弧状の曲線を表示する。前方左アイコン１１１は、障害物までの距離が第一所定距離未満かつ第二所定距離以上の場合、３重の弧状の曲線のうち、最も外側の弧状の曲線と中央の弧状の曲線とを表示する。前方左アイコン１１１は、障害物までの距離が第二所定距離未満の場合、３重の弧状の曲線をすべて表示する。 The front left icon 111 may change the number of arc-shaped curves according to the distance to the obstacle. For example, the front left icon 111 displays the outermost arc-shaped curve among the triple arc-shaped curves when the distance to the obstacle is equal to or greater than the first predetermined distance. The front left icon 111 displays the outermost arc-shaped curve and the center arc-shaped curve among the triple-arc-shaped curves when the distance to the obstacle is less than the first predetermined distance and is equal to or more than the second predetermined distance. To do. The front left icon 111 displays all triple arc-shaped curves when the distance to the obstacle is less than the second predetermined distance.

前方中央アイコン１１２は、車両の前方中央の障害物を報知するアイコンである。より詳しくは、前方中央アイコン１１２は、前方中央センサ２２で障害物を検出したことを報知するアイコンである。前方中央アイコン１１２は、図２において、俯瞰映像１００の中央映像１０５の上側中央に重畳される。前方中央アイコン１１２は、前方左アイコン１１１と同様に構成されている。 The front center icon 112 is an icon that notifies an obstacle in the front center of the vehicle. More specifically, the front center icon 112 is an icon that notifies that the front center sensor 22 has detected an obstacle. The front center icon 112 is superimposed on the upper center of the center image 105 of the overhead view image 100 in FIG. The front center icon 112 has the same configuration as the front left icon 111.

前方右アイコン１１３は、車両の前方右側の障害物を報知するアイコンである。より詳しくは、前方右アイコン１１３は、前方右センサ２３で障害物を検出したことを報知するアイコンである。前方右アイコン１１３は、図２において、俯瞰映像１００の中央映像１０５の右上に重畳される。前方右アイコン１１３は、前方左アイコン１１１と同様に構成されている。 The front right icon 113 is an icon that notifies an obstacle on the front right side of the vehicle. More specifically, the front right icon 113 is an icon for notifying that the front right sensor 23 has detected an obstacle. The front right icon 113 is superimposed on the upper right of the central image 105 of the overhead image 100 in FIG. The front right icon 113 has the same configuration as the front left icon 111.

後方左アイコン１１４は、車両の後方左側の障害物を報知するアイコンである。より詳しくは、後方左アイコン１１４は、後方左センサ２４で障害物を検出したことを報知するアイコンである。後方左アイコン１１４は、図２において、俯瞰映像１００の中央映像１０５の左下に重畳される。後方左アイコン１１４は、前方左アイコン１１１と同様に構成されている。 The rear left icon 114 is an icon that reports an obstacle on the rear left side of the vehicle. More specifically, the rear left icon 114 is an icon for notifying that the rear left sensor 24 has detected an obstacle. The rear left icon 114 is superimposed on the lower left of the center image 105 of the overhead view image 100 in FIG. The rear left icon 114 has the same configuration as the front left icon 111.

後方中央アイコン１１５は、車両の後方中央の障害物を報知するアイコンである。より詳しくは、後方中央アイコン１１５は、後方中央センサ２５で障害物を検出したことを報知するアイコンである。後方中央アイコン１１５は、図２において、俯瞰映像１００の中央映像１０５の下側中央に重畳される。後方中央アイコン１１５は、前方左アイコン１１１と同様に構成されている。 The rear center icon 115 is an icon that notifies an obstacle in the rear center of the vehicle. More specifically, the rear center icon 115 is an icon for notifying that the rear center sensor 25 has detected an obstacle. The rear center icon 115 is superimposed on the lower center of the center image 105 of the overhead view image 100 in FIG. The rear center icon 115 has the same configuration as the front left icon 111.

後方右アイコン１１６は、車両の後方右側の障害物を報知するアイコンである。より詳しくは、後方右アイコン１１６は、後方右センサ２６で障害物を検出したことを報知するアイコンである。後方右アイコン１１６は、図２において、俯瞰映像１００の中央映像１０５の右下に重畳される。後方右アイコン１１６は、前方左アイコン１１１と同様に構成されている。 The rear right icon 116 is an icon that notifies an obstacle on the rear right side of the vehicle. More specifically, the rear right icon 116 is an icon that notifies that the rear right sensor 26 has detected an obstacle. The rear right icon 116 is superimposed on the lower right of the center image 105 of the bird's-eye view image 100 in FIG. The rear right icon 116 has the same configuration as the front left icon 111.

表示制御部４７は、重畳映像生成部４６が生成した俯瞰映像１００を表示パネル３１に表示させる。 The display control unit 47 causes the display panel 31 to display the bird's-eye view image 100 generated by the superimposed image generation unit 46.

記憶部４９は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。 The storage unit 49 stores data required for various processes in the bird's-eye view video generation device 40 and various process results. The storage unit 49 is, for example, a semiconductor memory device such as a RAM (Random Access Memory), a ROM (Read Only Memory), or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.

次に、図３を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図３は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 Next, the flow of processing in the bird's-eye view video generation device 40 of the bird's-eye view video generation system 1 will be described with reference to FIG. FIG. 3 is a flowchart showing the flow of processing in the bird's-eye view video generation device of the bird's-eye view video generation system according to the first embodiment.

制御部４１は、俯瞰映像表示を開始するか否かを判定する（ステップＳ１１）。俯瞰映像表示を開始する判定の例として、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を開示するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両の進行方向が車両の前後方向の後方となったことをいう。制御部４１は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。制御部４１は、後退トリガがある場合、俯瞰映像表示を開始すると判定し（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。 The control unit 41 determines whether or not to start the overhead view image display (step S11). As an example of the determination to start the overhead view image display, the control unit 41 determines whether or not to disclose the overhead view image display based on the presence/absence of the backward trigger. The backward trigger means that the shift position is set to "reverse", for example. Alternatively, the backward trigger means that the traveling direction of the vehicle is behind the vehicle in the front-rear direction. When there is no backward trigger, the control unit 41 determines not to start the bird's-eye view image display (No in step S11), and executes the process of step S11 again. When there is a backward trigger, the control unit 41 determines to start the bird's-eye view image display (Yes in step S11), and proceeds to step S12.

制御部４１は、俯瞰映像１００を生成し表示する（ステップＳ１２）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、映像取得部４２が取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像１００を生成させる。そして、制御部４１は、表示制御部４７で、生成した俯瞰映像１００を表示パネル３１に表示させる。 The control unit 41 generates and displays the overhead view image 100 (step S12). More specifically, the control unit 41 causes the bird's-eye view image generation unit 45 to generate the bird's-eye view image 100 from which the viewpoint conversion process has been performed so that the vehicle is looked down from above from the peripheral images acquired by the image acquisition unit 42. Then, the control unit 41 causes the display control unit 47 to display the generated bird's-eye view image 100 on the display panel 31.

制御部４１は、障害物を検出したか否かを判定する（ステップＳ１３）。より詳しくは、制御部４１は、障害物情報取得部４３で障害物情報が取得されたか否かを判定する。制御部４１は、障害物情報取得部４３で障害物情報が取得されたと判定した場合（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。制御部４１は、障害物情報取得部４３で障害物情報が取得されていないと判定した場合（ステップＳ１３でＮｏ）、ステップＳ１５に進む。 The control unit 41 determines whether or not an obstacle is detected (step S13). More specifically, the control unit 41 determines whether the obstacle information acquisition unit 43 has acquired the obstacle information. When the control unit 41 determines that the obstacle information acquisition unit 43 has acquired the obstacle information (Yes in step S13), the control unit 41 proceeds to step S14. If the obstacle information acquisition unit 43 determines that the obstacle information has not been acquired (No in step S13), the control unit 41 proceeds to step S15.

制御部４１は、俯瞰映像１００の中央部に障害物を示す障害物報知アイコン１１０を重畳表示する（ステップＳ１４）。より詳しくは、制御部４１は、重畳映像生成部４６で、障害物情報取得部４３が取得した障害物情報に基づいて、俯瞰映像１００の中央映像１０５に、障害物を検出した方向を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。そして、制御部４１は、表示制御部４７で、生成した俯瞰映像１００を表示パネル３１に表示させる。 The control unit 41 superimposes and displays the obstacle notification icon 110 indicating an obstacle in the central portion of the overhead view image 100 (step S14). More specifically, the control unit 41 causes the superimposed image generation unit 46 to indicate the direction in which the obstacle is detected in the central image 105 of the bird's-eye view image 100 based on the obstacle information acquired by the obstacle information acquisition unit 43. A bird's-eye view image 100 with an obstacle notification icon 110 superimposed thereon is generated. Then, the control unit 41 causes the display control unit 47 to display the generated bird's-eye view image 100 on the display panel 31.

制御部４１は、前方左センサ２１と前方中央センサ２２と前方右センサ２３と後方左センサ２４と後方中央センサ２５と後方右センサ２６の複数のセンサからの障害物情報を取得した場合、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、複数の障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。 When the control unit 41 acquires obstacle information from a plurality of sensors including the front left sensor 21, the front center sensor 22, the front right sensor 23, the rear left sensor 24, the rear center sensor 25, and the rear right sensor 26, the superimposed image is displayed. The generation unit 46 causes the central image 105 of the overhead image 100 to generate the overhead image 100 in which a plurality of obstacle notification icons 110 are superimposed.

制御部４１は、俯瞰映像表示を終了するか否かを判定する（ステップＳ１５）。より詳しくは、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を終了するか否かを判定する。制御部４１は、後退トリガがない場合、言い換えると、後退トリガが解除された場合、俯瞰映像表示を終了すると判定し（ステップＳ１５でＹｅｓ）、処理を終了する。制御部４１は、後退トリガがある場合、俯瞰映像表示を終了しないと判定し（ステップＳ１５でＮｏ）、ステップＳ１３に戻って処理を継続する。 The control unit 41 determines whether or not to end the overhead view image display (step S15). More specifically, the control unit 41 determines whether or not to end the bird's-eye view image display based on the presence/absence of the backward trigger. When there is no backward trigger, in other words, when the backward trigger is released, the control unit 41 determines to end the bird's-eye view image display (Yes in step S15), and ends the process. When there is a backward trigger, the control unit 41 determines not to end the bird's-eye view image display (No in step S15), and returns to step S13 to continue the process.

このようにして、俯瞰映像生成システム１は、障害物が検出されると、俯瞰映像１００の中央部に、障害物を検出した方向を示すように障害物報知アイコン１１０を重畳して、表示パネル３１に映像信号を出力する。表示パネル３１は、俯瞰映像生成システム１から出力された映像信号に基づいて、例えば、ナビゲーション画面とともに俯瞰映像１００を表示する。 In this way, when the obstacle is detected, the bird's-eye view image generation system 1 superimposes the obstacle notification icon 110 on the central portion of the bird's-eye view image 100 so as to indicate the direction in which the obstacle is detected, and displays the display panel. The video signal is output to 31. The display panel 31 displays the bird's-eye view image 100 along with the navigation screen, for example, based on the video signal output from the bird's-eye view video generation system 1.

例えば、車両の後退時、後方左側に障害物を検出した場合の一例を、図４を用いて説明する。図４は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。図４において、俯瞰映像１００の後方映像１０２には、後方左側の障害物の障害物映像２００が含まれている。 For example, an example in which an obstacle is detected on the left rear side when the vehicle moves backward will be described with reference to FIG. FIG. 4 is a diagram showing an example of an overhead view image generated by the overhead view image generation system according to the first embodiment. In FIG. 4, a rear image 102 of the overhead view image 100 includes an obstacle image 200 of an obstacle on the left rear side.

制御部４１は、ステップＳ１３において、障害物を検出したと判定する。そして、制御部４１は、ステップＳ１４において、重畳映像生成部４６で、障害物情報取得部４３が取得した障害物情報に基づいて、俯瞰映像１００の中央映像１０５に、障害物を検出した後左方向を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。そして、制御部４１は、表示制御部４７で、生成した俯瞰映像１００を表示パネル３１に表示させる。 The control part 41 determines with having detected the obstacle in step S13. Then, in step S14, the control unit 41 detects the obstacle in the central image 105 of the bird's-eye view image 100 based on the obstacle information acquired by the obstacle information acquisition unit 43 in the superimposed image generation unit 46, and then detects the left side. The bird's-eye view image 100 on which the obstacle notification icon 110 is superimposed so as to indicate the direction is generated. Then, the control unit 41 causes the display control unit 47 to display the generated bird's-eye view image 100 on the display panel 31.

車両の後退時、後方左側に障害物を検出した場合の他の例を、図５を用いて説明する。図５は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。 Another example of the case where an obstacle is detected on the rear left side when the vehicle moves backward will be described with reference to FIG. FIG. 5 is a diagram showing another example of the bird's-eye view video generated by the bird's-eye view video generation system according to the first embodiment.

図５においては、俯瞰映像１００の中央映像１０５に、車両を上方から見た、車両を示す自車アイコンである自車アイコン１２０が合成されている。制御部４１は、ステップＳ１４において、重畳映像生成部４６で、自車アイコン１２０に、障害物を検出した後左方向を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。 In FIG. 5, the center image 105 of the bird's-eye view image 100 is combined with the own vehicle icon 120 that is the own vehicle icon showing the vehicle when the vehicle is viewed from above. In step S14, the control unit 41 causes the superimposed image generation unit 46 to generate the overhead view image 100 in which the own vehicle icon 120 is superimposed with the obstacle notification icon 110 so as to indicate the left direction after detecting the obstacle.

上述したように、本実施形態は、車両の周辺に障害物が検出されると、俯瞰映像１００の中央映像１０５に、障害物を検出した方向を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、障害物報知アイコン１１０が俯瞰映像１００の中央映像１０５に重畳されるので、障害物報知アイコン１１０と俯瞰映像１００に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像１００に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。 As described above, in the present embodiment, when an obstacle is detected around the vehicle, the bird's-eye view in which the obstacle notification icon 110 is superimposed on the central image 105 of the bird's-eye view image 100 so as to indicate the direction in which the obstacle is detected. The image 100 is displayed on the display panel 31. In the present embodiment, since the obstacle notification icon 110 is superimposed on the central image 105 of the bird's-eye view image 100, the obstacle notification icon 110 and the obstacle shown in the bird's-eye view image 100 do not overlap. In other words, the present embodiment can clearly display the obstacle without impairing the visibility of the obstacle shown in the overhead view image 100. As described above, the present embodiment can appropriately confirm the obstacle around the vehicle.

本実施形態は、障害物報知アイコン１１０で、障害物を検出した方向と距離とを報知することができる。 In the present embodiment, the obstacle notification icon 110 can notify the direction and distance at which the obstacle is detected.

本実施形態は、図４に示すように、俯瞰映像１００の中央映像１０５に自車アイコン１２０を表示しない場合、障害物報知アイコン１１０の視認性をより向上することができる。このように、本実施形態は、車両周辺の障害物をより適切に確認可能にすることができる。 In the present embodiment, as shown in FIG. 4, when the vehicle icon 120 is not displayed in the center image 105 of the bird's-eye view image 100, the visibility of the obstacle notification icon 110 can be further improved. In this way, the present embodiment can make it possible to more appropriately check obstacles around the vehicle.

本実施形態は、図５に示すように、俯瞰映像１００の中央映像１０５に自車アイコン１２０を表示してもよい。これにより、本実施形態は、車両に対する障害物の方向をより認識しやすい俯瞰映像１００を表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。 In the present embodiment, as shown in FIG. 5, the own vehicle icon 120 may be displayed on the center image 105 of the overhead view image 100. Thereby, the present embodiment can display the bird's-eye view image 100 that makes it easier to recognize the direction of the obstacle with respect to the vehicle. As described above, the present embodiment can appropriately confirm the obstacle around the vehicle.

［第二実施形態］
図６、図７を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図６は、第二実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。図７は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像生成システム１は、基本的な構成は第一実施形態の俯瞰映像生成システム１と同様である。以下の説明においては、俯瞰映像生成システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０の障害物情報取得部４３と重畳映像生成部４６と制御部４１における処理とが、第一実施形態の俯瞰映像生成システム１と異なる。 [Second embodiment]
The overhead view image generation system 1 according to the present embodiment will be described with reference to FIGS. 6 and 7. FIG. 6 is a flowchart showing the flow of processing in the bird's-eye view video generation device of the bird's-eye view video generation system according to the second embodiment. FIG. 7 is a diagram showing an example of an overhead view image generated by the overhead view image generation system according to the second embodiment. The bird's-eye view video generation system 1 has the same basic configuration as the bird's-eye view video generation system 1 of the first embodiment. In the following description, the same components as those of the bird's-eye view video generation system 1 are designated by the same or corresponding symbols, and detailed description thereof is omitted. The bird's-eye view image generation system 1 of the present embodiment is different from the bird's-eye view video generation system 1 of the first embodiment in the processing in the obstacle information acquisition unit 43, the superimposed image generation unit 46, and the control unit 41 of the bird's-eye view video generation device 40. ..

障害物報知アイコン１１０は、第一実施形態の前方左アイコン１１１と前方中央アイコン１１２と前方右アイコン１１３と後方左アイコン１１４と後方中央アイコン１１５と後方右アイコン１１６とに加えて、第二前方左アイコン（障害物を示す情報）と第二前方中央アイコン（障害物を示す情報）と第二前方右アイコン（障害物を示す情報）と第二後方左アイコン（障害物を示す情報）と第二後方中央アイコン（障害物を示す情報）と第二後方右アイコン（障害物を示す情報）とを含む。図７においては、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方中央アイコンと第二後方右アイコンは図示されておらず、第二後方左アイコン（障害物を示す情報）が示されている。 The obstacle notification icon 110 includes the front left icon 111, the front center icon 112, the front right icon 113, the rear left icon 114, the rear center icon 115, and the rear right icon 116 of the first embodiment, as well as the second front left. Icon (information indicating an obstacle), second front center icon (information indicating an obstacle), second front right icon (information indicating an obstacle), second rear left icon (information indicating an obstacle), second It includes a rear center icon (information indicating an obstacle) and a second rear right icon (information indicating an obstacle). In FIG. 7, the second front left icon, the second front center icon, the second front right icon, the second rear center icon, and the second rear right icon are not shown, and the second rear left icon (obstacle Information to be shown) is shown.

前方左アイコン１１１は、障害物までの距離が閾値未満の、車両の前方左側の障害物を報知するアイコンである。より詳しくは、前方左アイコン１１１は、前方左センサ２１で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。 The front left icon 111 is an icon for notifying an obstacle on the front left side of the vehicle whose distance to the obstacle is less than a threshold value. More specifically, the front left icon 111 is an icon for notifying that the front left sensor 21 has detected an obstacle whose distance to the obstacle is less than a threshold value.

前方中央アイコン１１２は、障害物までの距離が閾値未満の、車両の前方中央の障害物を報知するアイコンである。より詳しくは、前方中央アイコン１１２は、前方中央センサ２２で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。 The front center icon 112 is an icon for notifying an obstacle in the front center of the vehicle whose distance to the obstacle is less than a threshold value. More specifically, the front center icon 112 is an icon for notifying that the front center sensor 22 has detected an obstacle whose distance to the obstacle is less than a threshold value.

前方右アイコン１１３は、障害物までの距離が閾値未満の、車両の前方右側の障害物を報知するアイコンである。より詳しくは、前方右アイコン１１３は、前方右センサ２３で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。 The front right icon 113 is an icon for notifying an obstacle on the front right side of the vehicle whose distance to the obstacle is less than a threshold value. More specifically, the front right icon 113 is an icon for notifying that the front right sensor 23 has detected an obstacle whose distance to the obstacle is less than a threshold value.

後方左アイコン１１４は、障害物までの距離が閾値未満の、車両の後方左側の障害物を報知するアイコンである。より詳しくは、後方左アイコン１１４は、後方左センサ２４で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。 The rear left icon 114 is an icon for notifying an obstacle on the left rear side of the vehicle whose distance to the obstacle is less than a threshold value. More specifically, the rear left icon 114 is an icon for notifying that the rear left sensor 24 has detected an obstacle whose distance to the obstacle is less than a threshold value.

後方中央アイコン１１５は、障害物までの距離が閾値未満の、車両の後方中央の障害物を報知するアイコンである。より詳しくは、後方中央アイコン１１５は、後方中央センサ２５で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。 The rear center icon 115 is an icon for notifying an obstacle in the rear center of the vehicle whose distance to the obstacle is less than a threshold value. More specifically, the rear center icon 115 is an icon for notifying that the rear center sensor 25 has detected an obstacle whose distance to the obstacle is less than a threshold value.

後方右アイコン１１６は、障害物までの距離が閾値未満の、車両の後方右側の障害物を報知するアイコンである。より詳しくは、後方右アイコン１１６は、後方右センサ２６で、障害物までの距離が閾値未満の障害物を検出したことを報知するアイコンである。 The rear right icon 116 is an icon for notifying an obstacle on the rear right side of the vehicle whose distance to the obstacle is less than a threshold value. More specifically, the rear right icon 116 is an icon for notifying that the rear right sensor 26 has detected an obstacle whose distance to the obstacle is less than a threshold value.

第二前方左アイコンは、障害物までの距離が閾値以上の、車両の前方左側の障害物を報知するアイコンである。より詳しくは、第二前方左アイコンは、前方左センサ２１で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二前方左アイコンは、俯瞰映像１００の中央映像１０５より外側の左上に重畳される。第二前方左アイコンは、前方左アイコン１１１と同様に構成されている。 The second front left icon is an icon for notifying an obstacle on the front left side of the vehicle whose distance to the obstacle is a threshold value or more. More specifically, the second front left icon is an icon for notifying that the front left sensor 21 has detected an obstacle whose distance to the obstacle is a threshold value or more. The second front left icon is superimposed on the upper left outside the central image 105 of the bird's-eye view image 100. The second front left icon has the same configuration as the front left icon 111.

第二前方中央アイコンは、障害物までの距離が閾値以上の、車両の前方中央の障害物を報知するアイコンである。より詳しくは、第二前方中央アイコンは、前方中央センサ２２で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二前方中央アイコンは、俯瞰映像１００の中央映像１０５より外側の上側中央に重畳される。第二前方中央アイコンは、前方左アイコン１１１と同様に構成されている。 The second front center icon is an icon that notifies an obstacle in the front center of the vehicle whose distance to the obstacle is a threshold value or more. More specifically, the second front center icon is an icon for notifying that the front center sensor 22 has detected an obstacle whose distance to the obstacle is a threshold value or more. The second front center icon is superimposed on the upper center outside the center image 105 of the overhead view image 100. The second front center icon has the same configuration as the front left icon 111.

第二前方右アイコンは、障害物までの距離が閾値以上の、車両の前方右側の障害物を報知するアイコンである。より詳しくは、第二前方右アイコンは、前方右センサ２３で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二前方右アイコンは、俯瞰映像１００の中央映像１０５より外側の右上に重畳される。第二前方右アイコンは、前方左アイコン１１１と同様に構成されている。 The second front right icon is an icon for notifying an obstacle on the front right side of the vehicle whose distance to the obstacle is a threshold value or more. More specifically, the second front right icon is an icon for notifying that the front right sensor 23 has detected an obstacle whose distance to the obstacle is equal to or greater than a threshold value. The second front right icon is superimposed on the upper right outside the central image 105 of the overhead view image 100. The second front right icon has the same configuration as the front left icon 111.

第二後方左アイコンは、障害物までの距離が閾値以上の、車両の後方左側の障害物を報知するアイコンである。より詳しくは、第二後方左アイコンは、後方左センサ２４で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二後方左アイコンは、俯瞰映像１００の中央映像１０５より外側の左下に重畳される。第二後方左アイコンは、前方左アイコン１１１と同様に構成されている。 The second rear left icon is an icon for notifying an obstacle on the left rear side of the vehicle whose distance to the obstacle is a threshold value or more. More specifically, the second rear left icon is an icon for notifying that the rear left sensor 24 has detected an obstacle whose distance to the obstacle is a threshold value or more. The second rear left icon is superimposed on the lower left outside the central image 105 of the overhead view image 100. The second rear left icon has the same configuration as the front left icon 111.

第二後方中央アイコンは、障害物までの距離が閾値以上の、車両の後方中央の障害物を報知するアイコンである。より詳しくは、第二後方中央アイコンは、後方中央センサ２５で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二後方中央アイコンは、俯瞰映像１００の中央映像１０５より外側の下側中央に重畳される。第二後方中央アイコンは、前方左アイコン１１１と同様に構成されている。 The second rear center icon is an icon for notifying an obstacle at the rear center of the vehicle whose distance to the obstacle is a threshold value or more. More specifically, the second rear center icon is an icon for notifying that the rear center sensor 25 has detected an obstacle whose distance to the obstacle is a threshold value or more. The second rear center icon is superimposed on the lower center outside the center image 105 of the overhead view image 100. The second rear center icon has the same configuration as the front left icon 111.

第二後方右アイコンは、障害物までの距離が閾値以上の、車両の後方右側の障害物を報知するアイコンである。より詳しくは、第二後方右アイコンは、後方右センサ２６で、障害物までの距離が閾値以上の障害物を検出したことを報知するアイコンである。第二後方右アイコンは、俯瞰映像１００の中央映像１０５より外側の右下に重畳される。第二後方右アイコンは、前方左アイコン１１１と同様に構成されている。 The second rear right icon is an icon for notifying an obstacle on the rear right side of the vehicle whose distance to the obstacle is a threshold value or more. More specifically, the second rear right icon is an icon for notifying that the rear right sensor 26 has detected an obstacle whose distance to the obstacle is equal to or greater than a threshold value. The second rear right icon is superimposed on the lower right outside the central image 105 of the overhead view image 100. The second rear right icon has the same configuration as the front left icon 111.

障害物情報取得部４３は、検出した障害物までの距離を含む情報を取得する。障害物情報取得部４３は、取得した障害物までの距離を含む情報を重畳映像生成部４６に出力する。 The obstacle information acquisition unit 43 acquires information including the distance to the detected obstacle. The obstacle information acquisition unit 43 outputs information including the acquired distance to the obstacle to the superimposed image generation unit 46.

重畳映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値以上であれば、俯瞰映像１００の中央映像１０５に自車アイコン１２０を表示させ、障害物を示す情報である障害物報知アイコン１１０を俯瞰映像１００の中央部の外側に重畳させた俯瞰映像１００を生成する。 Based on the obstacle information acquired by the obstacle information acquisition unit 43, if the distance to the detected obstacle is equal to or greater than a predetermined threshold, the superimposed image generation unit 46 displays the vehicle icon 120 in the center image 105 of the overhead view image 100. Is displayed and an obstacle notification icon 110, which is information indicating an obstacle, is superimposed on the outside of the central portion of the overhead view image 100 to generate an overhead view image 100.

重畳映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値未満であれば、障害物報知アイコン１１０を、俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。 If the distance to the detected obstacle is less than the predetermined threshold value based on the obstacle information acquired by the obstacle information acquisition unit 43, the superimposed image generation unit 46 displays the obstacle notification icon 110 in the center of the overhead view image 100. The bird's-eye view image 100 superimposed on the image 105 is generated.

次に、図６を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図６に示すフローチャートのステップＳ２１、ステップＳ２３、ステップＳ２６、ステップＳ２７の処理は、図３に示すフローチャートのステップＳ１１、ステップＳ１３、ステップＳ１４、ステップＳ１５の処理と同様である。 Next, the flow of processing in the bird's-eye view video generation device 40 of the bird's-eye view video generation system 1 will be described with reference to FIG. The processes of steps S21, S23, S26 and S27 of the flowchart shown in FIG. 6 are the same as the processes of steps S11, S13, S14 and S15 of the flowchart shown in FIG.

制御部４１は、自車アイコン１２０を重畳した俯瞰映像１００を生成し表示する（ステップＳ２２）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、映像取得部４２が取得した周辺映像から車両を上方から見下ろすように視点変換処理を行った俯瞰映像１００を生成させる。制御部４１は、表示制御部４７で、生成した俯瞰映像１００の中央部に自車アイコン１２０を合成する。そして、制御部４１は、表示制御部４７で、生成した俯瞰映像１００を表示パネル３１に表示させる。 The control unit 41 generates and displays the bird's-eye view image 100 on which the vehicle icon 120 is superimposed (step S22). More specifically, the control unit 41 causes the bird's-eye view image generation unit 45 to generate the bird's-eye view image 100 from which the viewpoint conversion process has been performed so that the vehicle is looked down from above from the peripheral images acquired by the image acquisition unit 42. The control unit 41 causes the display control unit 47 to combine the own-vehicle icon 120 in the central portion of the generated bird's-eye view image 100. Then, the control unit 41 causes the display control unit 47 to display the generated bird's-eye view image 100 on the display panel 31.

制御部４１は、障害物までの距離が閾値以上であるか否かを判定する（ステップＳ２４）。より詳しくは、制御部４１は、障害物情報取得部４３で取得された、検出した障害物までの距離が所定閾値以上である場合（ステップＳ２４でＹｅｓ）、ステップＳ２５に進む。制御部４１は、障害物情報取得部４３で取得された、検出した障害物までの距離が所定閾値未満である場合（ステップＳ２４でＮｏ）、ステップＳ２６に進む。 The control unit 41 determines whether or not the distance to the obstacle is equal to or greater than the threshold value (step S24). More specifically, when the distance to the detected obstacle acquired by the obstacle information acquisition unit 43 is equal to or greater than the predetermined threshold value (Yes in step S24), the control unit 41 proceeds to step S25. When the distance to the detected obstacle acquired by the obstacle information acquisition unit 43 is less than the predetermined threshold value (No in step S24), the control unit 41 proceeds to step S26.

所定閾値は、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンとが表示される位置が、俯瞰映像１００の障害物の映像と重複しない値に設定される。より詳しくは、所定閾値は、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンの最も外側の円弧状の曲線の位置に対応する車両からの距離以上の値であればよい。例えば、所定閾値は、２ｍ程度としてもよい。 The predetermined threshold is a position where the second front left icon, the second front center icon, the second front right icon, the second rear left icon, the second rear center icon, and the second rear right icon are displayed in the overhead view image 100. It is set to a value that does not overlap the image of the obstacle. More specifically, the predetermined threshold is a second front left icon, a second front center icon, a second front right icon, a second rear left icon, a second rear center icon and a second rear right icon in the outermost arc shape. It may be a value equal to or greater than the distance from the vehicle corresponding to the position of the curve. For example, the predetermined threshold may be about 2 m.

制御部４１は、自車アイコン１２０の外側の俯瞰映像１００に、障害物報知アイコン１１０を重畳表示する（ステップＳ２５）。より詳しくは、制御部４１は、重畳映像生成部４６で、障害物情報取得部４３が取得した障害物情報に基づいて、自車アイコン１２０の外側の俯瞰映像１００に、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンとの少なくともいずれかを重畳した俯瞰映像１００を生成させる。そして、制御部４１は、表示制御部４７で、生成した俯瞰映像１００を表示パネル３１に表示させる。 The control unit 41 superimposes and displays the obstacle notification icon 110 on the bird's-eye view image 100 outside the vehicle icon 120 (step S25). More specifically, the control unit 41 causes the superimposed image generation unit 46 to display the second front left icon in the bird's-eye view image 100 outside the vehicle icon 120 based on the obstacle information acquired by the obstacle information acquisition unit 43. A bird's-eye view image 100 in which at least one of the second front center icon, the second front right icon, the second rear left icon, the second rear center icon, and the second rear right icon is superimposed is generated. Then, the control unit 41 causes the display control unit 47 to display the generated bird's-eye view image 100 on the display panel 31.

このようにして、俯瞰映像生成システム１は、障害物までの距離が所定閾値以上であると、自車アイコン１２０の外側の俯瞰映像１００に、第二前方左アイコンと第二前方中央アイコンと第二前方右アイコンと第二後方左アイコンと第二後方中央アイコンと第二後方右アイコンとの少なくともいずれかを重畳した俯瞰映像１００を生成し、表示パネル３１に映像信号を出力する。俯瞰映像生成システム１は、障害物までの距離が所定閾値未満であると、俯瞰映像１００の中央映像１０５に、前方左アイコン１１１と前方中央アイコン１１２と前方右アイコン１１３と後方左アイコン１１４と後方中央アイコン１１５と後方右アイコン１１６との少なくともいずれかを重畳した俯瞰映像１００を生成し、表示パネル３１に映像信号を出力する。 In this way, when the distance to the obstacle is equal to or greater than the predetermined threshold, the bird's-eye view image generation system 1 displays the second front left icon, the second front center icon, and the second front center icon in the bird's-eye view image 100 outside the vehicle icon 120. An overhead image 100 in which at least one of the second front right icon, the second rear left icon, the second rear center icon, and the second rear right icon is superimposed is generated, and a video signal is output to the display panel 31. When the distance to the obstacle is less than the predetermined threshold, the bird's-eye view image generation system 1 displays the front left icon 111, the front center icon 112, the front right icon 113, the rear left icon 114, and the rear in the center image 105 of the bird's-eye view image 100. A bird's-eye view image 100 in which at least one of the center icon 115 and the rear right icon 116 is superimposed is generated, and a video signal is output to the display panel 31.

例えば、車両の後退時、後方左側の所定閾値上の距離に障害物を検出した場合の一例を、図７を用いて説明する。 For example, an example in which an obstacle is detected at a distance above a predetermined threshold value on the left rear side when the vehicle moves backward will be described with reference to FIG. 7.

制御部４１は、ステップＳ２３において、障害物を検出したと判定する。そして、制御部４１は、ステップＳ２４において、障害物情報取得部４３で取得された、検出した障害物までの距離が所定閾値以上であると判定する（ステップＳ２４でＹｅｓ）。そして、制御部４１は、ステップＳ２５において、自車アイコン１２０の外側の俯瞰映像１００に、障害物を検出した後左方向を示す第二後方左アイコン１１７を重畳した、図７に示す俯瞰映像１００を生成させる。そして、制御部４１は、生成した俯瞰映像１００を表示パネル３１に表示させる。 The control part 41 determines with having detected the obstacle in step S23. Then, in step S24, the control unit 41 determines that the distance to the detected obstacle acquired by the obstacle information acquisition unit 43 is equal to or greater than a predetermined threshold value (Yes in step S24). Then, in step S25, the control unit 41 superimposes the second rear left icon 117 indicating the left direction after detecting the obstacle on the bird's-eye view image 100 outside the vehicle icon 120, as shown in FIG. Is generated. Then, the control unit 41 displays the generated bird's-eye view image 100 on the display panel 31.

上述したように、本実施形態は、障害物までの距離が所定閾値以上であると、自車アイコン１２０の外側の俯瞰映像１００に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し表示パネル３１に表示させる。本実施形態は、障害物までの距離が所定閾値以上の場合、障害物報知アイコン１１０が自車アイコン１２０の外側の俯瞰映像１００に重畳されるので、障害物報知アイコン１１０と俯瞰映像１００に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像１００に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。 As described above, in the present embodiment, when the distance to the obstacle is equal to or greater than the predetermined threshold, the bird's-eye view image 100 in which the obstacle notification icon 110 is superimposed on the bird's-eye view image 100 outside the vehicle icon 120 is generated and displayed. Display on the panel 31. In the present embodiment, when the distance to the obstacle is equal to or greater than the predetermined threshold value, the obstacle notification icon 110 is superimposed on the bird's-eye view image 100 outside the own vehicle icon 120, so that the obstacle notification icon 110 and the bird's-eye view image 100 are displayed. Do not overlap with obstacles. In other words, the present embodiment can clearly display the obstacle without impairing the visibility of the obstacle shown in the overhead view image 100. As described above, the present embodiment can appropriately confirm the obstacle around the vehicle.

本実施形態は、障害物までの距離が所定閾値未満であると、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し表示パネル３１に表示させる。本実施形態は、障害物までの距離が所定閾値未満の場合、障害物報知アイコン１１０が俯瞰映像１００の中央映像１０５に重畳されるので、障害物報知アイコン１１０と俯瞰映像１００に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像１００に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。 In the present embodiment, when the distance to the obstacle is less than the predetermined threshold, the bird's-eye view image 100 in which the obstacle notification icon 110 is superimposed on the center image 105 of the bird's-eye view image 100 is generated and displayed on the display panel 31. In the present embodiment, when the distance to the obstacle is less than the predetermined threshold value, the obstacle notification icon 110 is superimposed on the central image 105 of the bird's-eye view image 100, so the obstacle notification icon 110 and the obstacle shown in the bird's-eye view image 100. And do not overlap. In other words, the present embodiment can clearly display the obstacle without impairing the visibility of the obstacle shown in the overhead view image 100.

このように、本実施形態は、障害物までの距離に応じて、車両周辺の障害物を適切に確認可能にすることができる。 As described above, according to the present embodiment, it is possible to appropriately confirm the obstacle around the vehicle according to the distance to the obstacle.

本実施形態は、障害物までの距離に応じて、俯瞰映像１００における障害物報知アイコン１１０の表示位置が変化する。このため、本実施形態は、障害物までの距離をより把握しやすくすることができる。 In the present embodiment, the display position of the obstacle notification icon 110 in the overhead view image 100 changes according to the distance to the obstacle. Therefore, in the present embodiment, the distance to the obstacle can be more easily grasped.

［第三実施形態］
図８を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図８は、第三実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０の障害物情報取得部４３と重畳映像生成部４６と制御部４１における処理とが、第二実施形態の俯瞰映像生成システム１と異なる。 [Third embodiment]
The bird's-eye view video generation system 1 according to the present embodiment will be described with reference to FIG. 8. FIG. 8 is a flowchart showing the flow of processing in the bird's-eye view video generation device of the bird's-eye view video generation system according to the third embodiment. The overhead view video generation system 1 of the present embodiment is different from the overhead view video generation system 1 of the second embodiment in the processing in the obstacle information acquisition unit 43, the superimposed video generation unit 46, and the control unit 41 of the overhead view video generation device 40. ..

前方左センサ２１と前方中央センサ２２と前方右センサ２３と後方左センサ２４と後方中央センサ２５と後方右センサ２６とは、俯瞰映像１００として表示する範囲より遠方の範囲を検出範囲とする。 The front left sensor 21, the front center sensor 22, the front right sensor 23, the rear left sensor 24, the rear center sensor 25, and the rear right sensor 26 have a detection range in a range farther than the range displayed as the overhead view image 100.

障害物情報取得部４３は、俯瞰映像１００として表示する範囲より遠方の範囲において検出した障害物の障害物情報を取得する。 The obstacle information acquisition unit 43 acquires obstacle information of obstacles detected in a range farther than the range displayed as the overhead view image 100.

重畳映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、検出した障害物までの距離が俯瞰映像１００として表示する範囲より遠方であれば、俯瞰映像１００の中央部に自車アイコン１２０を表示させ、障害物報知アイコン１１０を自車アイコン１２０の外側の俯瞰映像１００に重畳させた俯瞰映像１００を生成する。 If the distance to the detected obstacle is farther than the range displayed as the bird's-eye view image 100 based on the obstacle information acquired by the obstacle information acquisition unit 43, the superimposed image generation unit 46 outputs the central portion of the bird's-eye view image 100. The vehicle icon 120 is displayed on the screen and the obstacle notification icon 110 is superimposed on the bird's-eye image 100 outside the vehicle icon 120 to generate the bird's-eye image 100.

重畳映像生成部４６は、障害物情報取得部４３で取得した障害物情報に基づいて、検出した障害物までの距離が俯瞰映像１００として表示する範囲に含まれる範囲であれば、障害物報知アイコン１１０を、俯瞰映像１００の中央映像１０５に障害物を検出した方向を示すように重畳した俯瞰映像１００を生成する。 If the distance to the detected obstacle is within the range displayed as the bird's-eye view image 100 based on the obstacle information acquired by the obstacle information acquisition unit 43, the superimposed image generation unit 46 will display the obstacle notification icon. The bird's-eye view image 100 is generated by superimposing 110 on the center image 105 of the bird's-eye view image 100 so as to indicate the direction in which the obstacle is detected.

次に、図８を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図８に示すフローチャートのステップＳ３１〜ステップＳ３３、ステップＳ３５〜ステップＳ３７の処理は、図６に示すフローチャートのステップＳ２１〜ステップＳ２３、ステップＳ２５〜ステップＳ２７の処理と同様である。 Next, the flow of processing in the bird's-eye view video generation device 40 of the bird's-eye view video generation system 1 will be described with reference to FIG. The processes of steps S31 to S33 and steps S35 to S37 of the flowchart shown in FIG. 8 are the same as the processes of steps S21 to S23 and steps S25 to S27 of the flowchart shown in FIG.

制御部４１は、障害物までの距離は俯瞰映像１００の表示範囲以上であるか否かを判定する（ステップＳ３４）。制御部４１は、障害物情報取得部４３で取得された、検出した障害物までの距離が俯瞰映像１００の表示範囲より遠方の範囲である場合（ステップＳ３４でＹｅｓ）、ステップＳ３５に進む。制御部４１は、障害物情報取得部４３で取得された、検出した障害物までの距離が俯瞰映像１００の表示範囲に含まれる場合（ステップＳ３４でＮｏ）、ステップＳ３６に進む。 The control unit 41 determines whether or not the distance to the obstacle is greater than or equal to the display range of the overhead view image 100 (step S34). When the distance to the detected obstacle acquired by the obstacle information acquisition unit 43 is farther than the display range of the overhead view image 100 (Yes in step S34), the control unit 41 proceeds to step S35. When the distance to the detected obstacle acquired by the obstacle information acquisition unit 43 is included in the display range of the overhead view image 100 (No in step S34), the control unit 41 proceeds to step S36.

このようにして、俯瞰映像生成システム１は、障害物までの距離が俯瞰映像１００の表示範囲より遠方の範囲であると、自車アイコン１２０の外側の俯瞰映像１００に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し、表示パネル３１に映像信号を出力する。俯瞰映像生成システム１は、障害物までの距離が俯瞰映像１００の表示範囲に含まれると、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し、表示パネル３１に映像信号を出力する。 In this way, when the distance to the obstacle is farther than the display range of the bird's-eye view image 100, the bird's-eye view image generation system 1 displays the obstacle notification icon 110 on the bird's-eye view image 100 outside the vehicle icon 120. The superimposed bird's-eye view image 100 is generated and a video signal is output to the display panel 31. When the distance to the obstacle is included in the display range of the bird's-eye view image 100, the bird's-eye view image generation system 1 generates the bird's-eye view image 100 in which the obstacle notification icon 110 is superimposed on the central image 105 of the bird's-eye view image 100, and the display panel. The video signal is output to 31.

上述したように、本実施形態は、障害物までの距離が俯瞰映像１００の表示範囲より遠方の範囲であると、自車アイコン１２０の外側の俯瞰映像１００に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し表示パネル３１に表示させる。本実施形態は、障害物までの距離が俯瞰映像１００の表示範囲より遠方の範囲の場合、障害物報知アイコン１１０が自車アイコン１２０の外側に重畳されるので、障害物報知アイコン１１０と俯瞰映像１００に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像１００に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。 As described above, in the present embodiment, when the distance to the obstacle is farther than the display range of the bird's-eye view image 100, the obstacle notification icon 110 is superimposed on the bird's-eye view image 100 outside the vehicle icon 120. An overhead image 100 is generated and displayed on the display panel 31. In the present embodiment, when the distance to the obstacle is farther than the display range of the overhead view image 100, the obstacle notification icon 110 is superimposed on the outside of the own vehicle icon 120, so the obstacle notification icon 110 and the overhead view image. The obstacle shown in 100 does not overlap. In other words, the present embodiment can clearly display the obstacle without impairing the visibility of the obstacle shown in the overhead view image 100. As described above, the present embodiment can appropriately confirm the obstacle around the vehicle.

本実施形態は、障害物までの距離が俯瞰映像１００の表示範囲に含まれると、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成し表示パネル３１に表示させる。本実施形態は、障害物までの距離が俯瞰映像１００の表示範囲に含まれる場合、障害物報知アイコン１１０が俯瞰映像１００の中央映像１０５に重畳されるので、障害物報知アイコン１１０と俯瞰映像１００に映った障害物とが重畳しない。言い換えると、本実施形態は、俯瞰映像１００に映った障害物の視認性を損なわず、障害物を明瞭に表示することができる。 In the present embodiment, when the distance to the obstacle is included in the display range of the overhead view image 100, the overhead view image 100 in which the obstacle notification icon 110 is superimposed on the central image 105 of the overhead view image 100 is generated and displayed on the display panel 31. Let In the present embodiment, when the distance to the obstacle is included in the display range of the overhead view image 100, the obstacle notification icon 110 is superimposed on the central image 105 of the overhead view image 100, so the obstacle notification icon 110 and the overhead view image 100. Does not overlap the obstacles reflected in. In other words, the present embodiment can clearly display the obstacle without impairing the visibility of the obstacle shown in the overhead view image 100.

このように、本実施形態は、障害物までの距離に応じて、車両周辺の障害物を適切に確認可能にすることができる。 As described above, according to the present embodiment, it is possible to appropriately confirm the obstacle around the vehicle according to the distance to the obstacle.

本実施形態は、俯瞰映像１００の表示範囲より遠方の範囲に障害物がある場合にも、障害物報知アイコン１１０を表示させることができる。このため、本実施形態は、俯瞰映像１００の表示範囲より遠方の範囲の障害物を報知することができる。 In the present embodiment, the obstacle notification icon 110 can be displayed even when there is an obstacle in a range farther than the display range of the overhead view image 100. Therefore, in the present embodiment, an obstacle in a range farther than the display range of the overhead view image 100 can be notified.

［第四実施形態］
本実施形態に係る俯瞰映像生成システム１について説明する。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０の重畳映像生成部４６と制御部４１における処理とが、第一実施形態の俯瞰映像生成システム１と異なる。より詳しくは、制御部４１における障害物を検出したか否かの判定において、車両の進行方向に位置する障害物を検出する点が第一実施形態の俯瞰映像生成システム１と異なる。 [Fourth Embodiment]
The bird's-eye view video generation system 1 according to the present embodiment will be described. The bird's-eye view video generation system 1 of the present embodiment is different from the bird's-eye view video generation system 1 of the first embodiment in the processing in the superimposed video generation unit 46 and the control unit 41 of the bird's-eye view video generation device 40. More specifically, the control unit 41 differs from the overhead view image generation system 1 of the first embodiment in that an obstacle located in the traveling direction of the vehicle is detected in determining whether or not an obstacle is detected.

重畳映像生成部４６は、障害物情報取得部４３が取得した障害物情報に基づいて、車両の進行方向に位置する障害物について、障害物報知アイコン１１０を俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。 The superimposed image generation unit 46 superimposes the obstacle notification icon 110 on the central image 105 of the bird's-eye view image 100 for the obstacle located in the traveling direction of the vehicle based on the obstacle information acquired by the obstacle information acquisition unit 43. An overhead image 100 is generated.

次に、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。 Next, the flow of processing in the bird's-eye view video generation device 40 of the bird's-eye view video generation system 1 will be described.

制御部４１は、ステップＳ１３において、障害物情報取得部４３で取得した障害物情報に基づいて、車両の進行方向に障害物が検出されたか否かを判定する。制御部４１は、車両の進行方向に障害物を検出したと判定した場合（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。制御部４１は、車両の進行方向に障害物が検出されていないと判定した場合（ステップＳ１３でＮｏ）、ステップＳ１５に進む。 In step S13, the control unit 41 determines whether an obstacle is detected in the traveling direction of the vehicle based on the obstacle information acquired by the obstacle information acquisition unit 43. When it is determined that the obstacle is detected in the traveling direction of the vehicle (Yes in step S13), the control unit 41 proceeds to step S14. When the control unit 41 determines that no obstacle is detected in the traveling direction of the vehicle (No in step S13), the process proceeds to step S15.

このようにして、制御部４１は、車両に近づく障害物に対して、障害物報知アイコン１１０を表示し、車両から遠ざかる障害物に対して、障害物報知アイコン１１０を非表示とする。 In this way, the control unit 41 displays the obstacle notification icon 110 for an obstacle approaching the vehicle and hides the obstacle notification icon 110 for an obstacle moving away from the vehicle.

上述したように、本実施形態は、車両周辺の障害物をより適切に確認可能にすることができる。 As described above, the present embodiment can make it possible to more appropriately check obstacles around the vehicle.

［第五実施形態］
図９ないし図１２を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図９は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。図１０は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図１１は、第五実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図１２は、障害物報知アイコンにおける、円弧間の間隔と障害物までの距離との関係の一例を示すグラフである。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０の重畳映像生成部４６における処理が、第一実施形態の俯瞰映像生成システム１と異なる。 [Fifth Embodiment]
The bird's-eye view video generation system 1 according to the present embodiment will be described with reference to FIGS. 9 to 12. FIG. 9 is a diagram showing an example of a bird's-eye view image generated by the bird's-eye view image generation system according to the fifth embodiment. FIG. 10 is a diagram showing another example of the overhead view video generated by the overhead view video generation system according to the fifth embodiment. FIG. 11 is a diagram showing another example of the bird's-eye view video generated by the bird's-eye view video generation system according to the fifth embodiment. FIG. 12 is a graph showing an example of the relationship between the distance between arcs and the distance to an obstacle in the obstacle notification icon. The bird's-eye view video generation system 1 of this embodiment is different from the bird's-eye view video generation system 1 of the first embodiment in the processing in the superimposed video generation unit 46 of the bird's-eye view video generation apparatus 40.

図９ないし図１１に示すように、障害物報知アイコン１１０は、障害物を検出した方向を向いた複数の構成要素を有し、複数の構成要素の間隔によって障害物までの距離を示す。本実施形態では、障害物報知アイコン１１０は、三重の円弧を構成要素としている。本実施形態では、障害物報知アイコン１１０は、円弧の間隔で障害物までの距離を示す。本実施形態では、障害物報知アイコン１１０は、障害物までの距離が大きいほど円弧の間隔を広く、障害物までの距離が小さいほど円弧の間隔を狭く示す。 As shown in FIGS. 9 to 11, the obstacle notification icon 110 has a plurality of constituent elements facing in the direction in which the obstacle is detected, and indicates the distance to the obstacle by the intervals between the plurality of constituent elements. In the present embodiment, the obstacle notification icon 110 has a triple arc as a constituent element. In the present embodiment, the obstacle notification icon 110 indicates the distance to the obstacle at arc intervals. In the present embodiment, the obstacle notification icon 110 indicates a wider arc interval as the distance to the obstacle is larger, and a narrower arc interval as the distance to the obstacle is smaller.

障害物報知アイコン１１０の円弧の間隔は、図１２において実線で示すように、障害物までの距離が大きいほど広くなるように、直線状に設定されていてもよい。 The interval between the arcs of the obstacle notification icon 110 may be set linearly so that the greater the distance to the obstacle, the wider the arc interval, as shown by the solid line in FIG.

障害物報知アイコン１１０の円弧の間隔は、図１２において破線で示すように、障害物までの距離が大きいほど広くなるように、階段状に設定されていてもよい。より詳しくは、障害物までの距離が第一閾値以上の場合、例えば、２ｍ以上の場合、円弧の間隔を第一間隔ｄ１とする。第一閾値は、俯瞰映像１００として表示する範囲に含まれる境界の距理としてもよい。障害物までの距離が第一閾値以上の場合、最も外側の円弧状の曲線を俯瞰映像１００の中央映像１０５の外部に表示してもよい。障害物までの距離が第一閾値未満かつ第二閾値以上の場合、例えば、２ｍ未満１ｍ以上の場合、円弧の間隔を第一間隔ｄ１より小さい第二間隔ｄ２とする。障害物までの距離が第二閾値未満の場合、例えば、１ｍ未満の場合、円弧の間隔を第二間隔ｄ２より小さい第三間隔ｄ３とする。さらに障害物までの距離が小さくなった場合、円弧の間隔をゼロとして円弧を重ねてもよい。 The distance between the arcs of the obstacle notification icon 110 may be set in a stepwise manner such that the distance increases as the distance to the obstacle increases, as indicated by the broken line in FIG. More specifically, when the distance to the obstacle is equal to or more than the first threshold value, for example, 2 m or more, the arc interval is set to the first interval d1. The first threshold may be the distance of the boundary included in the range displayed as the overhead view image 100. When the distance to the obstacle is equal to or larger than the first threshold, the outermost arc-shaped curve may be displayed outside the central image 105 of the overhead view image 100. When the distance to the obstacle is less than the first threshold value and equal to or more than the second threshold value, for example, less than 2 m and 1 m or more, the arc interval is set to the second interval d2 smaller than the first interval d1. When the distance to the obstacle is less than the second threshold, for example, less than 1 m, the arc interval is set to the third interval d3 smaller than the second interval d2. When the distance to the obstacle becomes smaller, the arcs may be overlapped with each other with the interval between the arcs set to zero.

障害物までの距離とは、障害物を検出する各センサから障害物までの距離である。障害物までの距離は、車両の障害物方向の端部から障害物までの距離とほぼ一致する。 The distance to the obstacle is the distance from each sensor that detects the obstacle to the obstacle. The distance to the obstacle substantially matches the distance from the end of the vehicle in the obstacle direction to the obstacle.

重畳映像生成部４６は、障害物情報取得部４３で取得された、検出した障害物までの距離に基づいて、円弧の間隔を変化させた障害物報知アイコン１１０を俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。 The superimposed image generation unit 46 displays the obstacle notification icon 110 with the arc interval changed in the central image 105 of the bird's-eye view image 100 based on the distance to the detected obstacle acquired by the obstacle information acquisition unit 43. A superposed overhead view image 100 is generated.

車両の後退時、後方左側に障害物を検出した場合の例を、図９ないし図１１を用いて説明する。 An example of a case where an obstacle is detected on the rear left side when the vehicle moves backward will be described with reference to FIGS. 9 to 11.

例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が２ｍである場合の一例を、図９を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、円弧の膨出方向で障害物を検出した後左方向を示し、円弧の間隔で障害物までの距離を示す障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。障害物報知アイコン１１０は、円弧の間隔が第一間隔ｄ１である。障害物報知アイコン１１０は、最も外側の円弧状の曲線が中央映像１０５の外部に位置する。制御部４１は、重畳映像生成部４６で、図９に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の円弧の間隔と、最も外側の円弧状の曲線が中央映像１０５の外部に位置していることから、障害物が俯瞰映像１００として表示する範囲の境界付近に位置していることがわかる。 For example, an example in which an obstacle is detected on the left rear side when the vehicle moves backward and the distance to the obstacle is 2 m will be described with reference to FIG. 9. In step S14, the control unit 41 indicates the left direction after detecting the obstacle in the bulging direction of the arc in the central image 105 of the overhead view image 100 by the superimposing image generation unit 46, and displays the obstacle to the obstacle at intervals of the arc. The bird's-eye view image 100 on which the obstacle notification icon 110 indicating the distance is superimposed is generated. The obstacle notification icon 110 has a first arc interval d1. The outermost arc-shaped curve of the obstacle notification icon 110 is located outside the central image 105. The control unit 41 causes the display panel 31 to display the generated overhead view image 100 shown in FIG. 9 by the superimposed image generation unit 46. Since the interval between the arcs of the obstacle notification icon 110 and the outermost arc-shaped curve are located outside the central image 105, the obstacle is located near the boundary of the range displayed as the overhead image 100. I understand.

例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が１．５ｍである場合の一例を、図１０を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、円弧の膨出方向で障害物を検出した後左方向を示し、円弧の間隔で障害物までの距離を示す障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。障害物報知アイコン１１０は、円弧の間隔が第二間隔ｄ２である。制御部４１は、重畳映像生成部４６で、図１０に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の円弧の間隔から、障害物が俯瞰映像１００として表示する範囲内に位置していることがわかる。 For example, an example in which an obstacle is detected on the rear left side when the vehicle moves backward and the distance to the obstacle is 1.5 m will be described with reference to FIG. In step S14, the control unit 41 indicates the left direction after detecting the obstacle in the bulging direction of the arc in the central image 105 of the overhead view image 100 by the superimposing image generation unit 46, and displays the obstacle to the obstacle at intervals of the arc. The bird's-eye view image 100 on which the obstacle notification icon 110 indicating the distance is superimposed is generated. The obstacle notification icon 110 has a second arc interval d2. The control unit 41 causes the display panel 31 to display the generated bird's-eye view image 100 shown in FIG. From the arc interval of the obstacle notification icon 110, it can be seen that the obstacle is located within the range displayed as the bird's-eye view image 100.

例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が１ｍである場合の一例を、図１１を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、円弧の膨出方向で障害物を検出した後左方向を示し、円弧の間隔で障害物までの距離を示す障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。障害物報知アイコン１１０は、円弧の間隔が第三間隔ｄ３である。制御部４１は、重畳映像生成部４６で、図１１に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の円弧の間隔が狭いことから、障害物が車両の後端部の近傍に位置していることがわかる。 For example, an example in which an obstacle is detected on the left rear side when the vehicle moves backward and the distance to the obstacle is 1 m will be described with reference to FIG. 11. In step S14, the control unit 41 indicates the left direction after detecting the obstacle in the bulging direction of the arc in the central image 105 of the overhead view image 100 by the superimposing image generation unit 46, and displays the obstacle to the obstacle at intervals of the arc. The bird's-eye view image 100 on which the obstacle notification icon 110 indicating the distance is superimposed is generated. The obstacle notification icon 110 has a third arc interval d3. The control unit 41 causes the display panel 31 to display the generated bird's-eye view image 100 shown in FIG. Since the distance between the arcs of the obstacle notification icon 110 is narrow, it can be seen that the obstacle is located near the rear end of the vehicle.

このようにして、制御部４１は、検出した障害物までの距離に基づいて、円弧の間隔を変化させた障害物報知アイコン１１０を俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。 In this way, the control unit 41 generates the bird's-eye view image 100 in which the obstacle notification icon 110 with the arc interval changed is superimposed on the center image 105 of the bird's-eye view image 100 based on the detected distance to the obstacle. ..

上述したように、本実施形態は、車両の周辺に障害物が検出されると、俯瞰映像１００の中央映像１０５に、障害物を検出した方向を示し、円弧の間隔で障害物までの距離を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、障害物報知アイコン１１０によって、障害物の方向と、障害物までの距離を表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。 As described above, in the present embodiment, when an obstacle is detected in the vicinity of the vehicle, the central image 105 of the overhead view image 100 indicates the direction in which the obstacle is detected, and the distance to the obstacle is set at arc intervals. As shown, the bird's-eye view image 100 on which the obstacle notification icon 110 is superimposed is displayed on the display panel 31. In the present embodiment, the obstacle notification icon 110 can display the direction of the obstacle and the distance to the obstacle. As described above, the present embodiment can appropriately confirm the obstacle around the vehicle.

［第六実施形態］
図１３ないし図１５を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１３は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。図１４は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。図１５は、第六実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の他の例を示す図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成装置４０の重畳映像生成部４６における処理が、第一実施形態の俯瞰映像生成システム１と異なる。 [Sixth Embodiment]
The overhead view image generation system 1 according to the present embodiment will be described with reference to FIGS. 13 to 15. FIG. 13 is a diagram showing an example of an overhead view image generated by the overhead view image generation system according to the sixth embodiment. FIG. 14 is a diagram showing another example of the bird's-eye view video generated by the bird's-eye view video generation system according to the sixth embodiment. FIG. 15 is a diagram showing another example of the overhead view video generated by the overhead view video generation system according to the sixth embodiment. The bird's-eye view video generation system 1 of this embodiment is different from the bird's-eye view video generation system 1 of the first embodiment in the processing in the superimposed video generation unit 46 of the bird's-eye view video generation apparatus 40.

図１３ないし図１５に示すように、障害物報知アイコン１１０は、アイコン自身の水平方向の幅によって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅を示す。本実施形態では、障害物報知アイコン１１０は、障害物を検出しているセンサの水平方向における検出範囲が広いほど円弧の長さを大きく、障害物を検出しているセンサの水平方向における検出範囲が狭いほど円弧の長さを小さく示す。本実施形態では、障害物報知アイコン１１０は、障害物の水平方向の幅が広いほど円弧の長さを大きく、障害物の水平方向の幅が狭いほど円弧の長さを小さく示す。 As shown in FIGS. 13 to 15, the obstacle notification icon 110 has a horizontal detection range of a sensor detecting an obstacle and a horizontal direction of the detected obstacle depending on the horizontal width of the icon itself. Indicates the width. In the present embodiment, the obstacle notification icon 110 has a larger arc length as the horizontal detection range of the sensor detecting the obstacle increases, and the horizontal detection range of the sensor detecting the obstacle. The smaller is, the smaller the arc length is. In the present embodiment, the obstacle notification icon 110 has a larger arc length as the horizontal width of the obstacle is wider, and a smaller arc length as the horizontal width of the obstacle is narrower.

より詳しくは、例えば、障害物報知アイコン１１０は、俯瞰映像１００の中央部から障害物の水平方向の両端部までの投影幅を円弧の長さとしてもよい。 More specifically, for example, the obstacle notification icon 110 may have an arc length as a projection width from the central portion of the overhead view image 100 to both ends of the obstacle in the horizontal direction.

重畳映像生成部４６は、障害物情報取得部４３が取得した障害物情報に基づいて、障害物を示す情報の幅を、検出した障害物の水平方向幅に対応させた幅として俯瞰映像１００の中央映像１０５に重畳した俯瞰映像１００を生成する。 Based on the obstacle information acquired by the obstacle information acquisition unit 43, the superimposed image generation unit 46 sets the width of the information indicating the obstacle as a width corresponding to the horizontal width of the detected obstacle in the overhead view image 100. The bird's-eye view image 100 superimposed on the central image 105 is generated.

車両の後退時、後方左側に障害物を検出した場合の例を、図１３ないし図１５を用いて説明する。 An example of the case where an obstacle is detected on the rear left side when the vehicle moves backward will be described with reference to FIGS. 13 to 15.

例えば、車両の後退時、後方左側に障害物を検出し、障害物までの距離が２ｍである場合の一例を、図１３を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、アイコン自身の水平方向の幅によって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅を示す障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。ここでいう障害物の水平方向の幅とは、センサで検出した見かけの幅、つまり投影幅である。制御部４１は、重畳映像生成部４６で、図１３に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の水平方向の幅によって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅が狭いことがわかる。 For example, an example in which an obstacle is detected on the left rear side when the vehicle moves backward and the distance to the obstacle is 2 m will be described with reference to FIG. In step S14, the control unit 41 causes the superimposed image generation unit 46 to detect a horizontal detection range of a sensor that detects an obstacle in the central image 105 of the overhead view image 100 according to the horizontal width of the icon itself. A bird's-eye view image 100 on which an obstacle notification icon 110 indicating the horizontal width of the detected obstacle is superimposed is generated. The width of the obstacle in the horizontal direction is the apparent width detected by the sensor, that is, the projected width. The control unit 41 causes the display panel 31 to display the generated bird's-eye view image 100 shown in FIG. The horizontal width of the obstacle notification icon 110 indicates that the horizontal detection range of the sensor detecting the obstacle and the horizontal width of the detected obstacle are narrow.

例えば、図１３に示す状態から、障害物までの距離が１ｍであった場合の一例を、図１４を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。俯瞰映像１００の中央部から障害物の水平方向の両端部までの投影幅が広くなるので、障害物報知アイコン１１０は、水平方向の幅が、図１３の障害物報知アイコン１１０の水平方向の幅より広い。制御部４１は、重畳映像生成部４６で、図１４に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の水平方向の幅が図１３より広くなっていることによって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅が広がっている、すなわち、障害物が車両の後端に近づいていることがわかる。 For example, an example in which the distance from the state shown in FIG. 13 to the obstacle is 1 m will be described with reference to FIG. In step S14, the control unit 41 causes the superimposed image generation unit 46 to generate the overhead image 100 in which the obstacle notification icon 110 is superimposed on the central image 105 of the overhead image 100. Since the projection width from the central portion of the bird's-eye view image 100 to both ends in the horizontal direction of the obstacle is wide, the horizontal width of the obstacle notification icon 110 is the horizontal width of the obstacle notification icon 110 of FIG. Wider. The control unit 41 causes the display panel 31 to display the generated bird's-eye view image 100 shown in FIG. Since the horizontal width of the obstacle notification icon 110 is wider than that in FIG. 13, the horizontal detection range of the sensor detecting the obstacle and the horizontal width of the detected obstacle are widened. That is, it can be seen that the obstacle is approaching the rear end of the vehicle.

このように、重畳映像生成部４６は、障害物の近接状況に応じて、障害物報知アイコン１１０の水平方向の幅を、図１３から図１４に示すように変化させて表示させる。障害物報知アイコン１１０の水平方向の幅の変化によって、障害物が車両に近づいているのか遠ざかっているのかがわかる。 In this way, the superimposed image generation unit 46 changes and displays the width of the obstacle notification icon 110 in the horizontal direction as shown in FIGS. 13 to 14 according to the approach state of the obstacle. The change in the width of the obstacle notification icon 110 in the horizontal direction makes it possible to know whether the obstacle is approaching or moving away from the vehicle.

例えば、車両の後退時、後方左側に、図１４に示す障害物より水平方向の幅が狭い障害物を検出した場合の一例を、図１５を用いて説明する。ステップＳ１４において、制御部４１は、重畳映像生成部４６で、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０を重畳した俯瞰映像１００を生成させる。障害物報知アイコン１１０は、水平方向の幅が、図１４の障害物報知アイコン１１０の水平方向の幅より狭い。制御部４１は、重畳映像生成部４６で、図１５に示す、生成した俯瞰映像１００を表示パネル３１に表示させる。障害物報知アイコン１１０の水平方向の幅が図１４より狭くなっていることによって、障害物を検出しているセンサの水平方向における検出範囲と、検出した障害物の水平方向の幅が狭くなっている、すなわち、障害物の水平方向の幅が狭いことがわかる。 For example, an example of a case where an obstacle having a width smaller in the horizontal direction than the obstacle shown in FIG. 14 is detected on the left rear side when the vehicle moves backward will be described with reference to FIG. In step S14, the control unit 41 causes the superimposed image generation unit 46 to generate the overhead image 100 in which the obstacle notification icon 110 is superimposed on the central image 105 of the overhead image 100. The width of the obstacle notification icon 110 in the horizontal direction is smaller than the width of the obstacle notification icon 110 in FIG. 14 in the horizontal direction. The control unit 41 causes the display panel 31 to display the generated bird's-eye view image 100 shown in FIG. Since the horizontal width of the obstacle notification icon 110 is narrower than that of FIG. 14, the horizontal detection range of the sensor detecting the obstacle and the horizontal width of the detected obstacle are narrowed. That is, the horizontal width of the obstacle is narrow.

上述したように、本実施形態は、車両の周辺に障害物が検出されると、俯瞰映像１００の中央映像１０５に、障害物を検出した方向を示し、円弧の水平方向の幅で障害物の水平方向の幅を示すように障害物報知アイコン１１０を重畳した俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、障害物報知アイコン１１０によって、障害物の方向と、障害物の水平方向の幅を表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。 As described above, in the present embodiment, when an obstacle is detected around the vehicle, the central image 105 of the bird's-eye view image 100 indicates the direction in which the obstacle is detected, and the obstacle has a horizontal width of the arc. The bird's-eye view image 100 on which the obstacle notification icon 110 is superimposed so as to indicate the width in the horizontal direction is displayed on the display panel 31. In the present embodiment, the obstacle notification icon 110 can display the direction of the obstacle and the horizontal width of the obstacle. As described above, the present embodiment can appropriately confirm the obstacle around the vehicle.

さらに、本実施形態は、障害物までの距離が変化すると、障害物報知アイコン１１０の水平方向の幅を、例えば、図１３から図１４に示すように変化させて表示させる。これにより、本実施形態によれば、障害物報知アイコン１１０の水平方向の幅の変化で、障害物の近接状況を確認可能にすることができる。 Further, in the present embodiment, when the distance to the obstacle changes, the horizontal width of the obstacle notification icon 110 is changed and displayed as shown in FIGS. 13 to 14, for example. As a result, according to the present embodiment, it is possible to confirm the approach status of the obstacle by the change in the horizontal width of the obstacle notification icon 110.

さて、これまで本発明に係る俯瞰映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。 Now, the bird's-eye view image generation system 1 according to the present invention has been described so far, but it may be implemented in various different forms other than the above-described embodiment.

図示した俯瞰映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the illustrated bird's-eye view image generation system 1 is functionally conceptual and does not necessarily have to be physically configured as illustrated. That is, the specific form of each device is not limited to the one shown in the figure, and all or part of the device may be functionally or physically dispersed or integrated in arbitrary units according to the processing load or usage condition of each device. May be.

俯瞰映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the bird's-eye view video generation system 1 is realized by, for example, a program loaded in a memory as software. In the above-described embodiment, the functional blocks have been described as those realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by only hardware, only software, or a combination thereof.

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily conceived by those skilled in the art and those that are substantially the same. Furthermore, the configurations described above can be appropriately combined. In addition, various omissions, substitutions, or changes in the configuration are possible without departing from the scope of the present invention.

重畳映像生成部４６は、例えば、最も近い障害物までの距離が所定閾値未満の場合、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０とともに障害物までの距離を数値で表示してもよい。または、重畳映像生成部４６は、例えば、最も近い障害物までの距離が所定閾値未満の場合、俯瞰映像１００の中央映像１０５に、障害物報知アイコン１１０とともに障害物までの距離に応じて形状や色が変化する図形を表示してもよい。俯瞰映像生成システム１は、障害物までの距離に応じた障害物報知アイコン１１０の変化に加えて、障害物までの距離を報知することができる。これにより、俯瞰映像生成システム１は、車両周辺の障害物をより適切に確認可能にすることができる。 For example, when the distance to the nearest obstacle is less than the predetermined threshold, the superimposed image generation unit 46 displays the distance to the obstacle numerically on the central image 105 of the overhead view image 100 together with the obstacle notification icon 110. Good. Alternatively, for example, when the distance to the nearest obstacle is less than a predetermined threshold, the superimposed image generation unit 46 displays the shape of the center image 105 of the overhead view image 100 along with the obstacle notification icon 110 according to the distance to the obstacle. You may display the figure which a color changes. The overhead view image generation system 1 can notify the distance to the obstacle in addition to the change of the obstacle notification icon 110 according to the distance to the obstacle. Thereby, the bird's-eye view image generation system 1 can make it possible to more appropriately check obstacles around the vehicle.

制御部４１は、障害物が複数ある場合、優先順位の高い障害物について、障害物報知アイコン１１０を表示するようにしてもよい。例えば、優先順位は、障害物までの距離が最も小さいものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が動体であるものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が動体で、かつ、車両に近づいてきているものを最も高い優先順位としてもよい。 When there are a plurality of obstacles, the control unit 41 may display the obstacle notification icon 110 for an obstacle having a high priority. For example, the priority may be set such that the smallest distance to the obstacle is the highest priority. Alternatively, for example, the priority may be that the obstacle is a moving object as the highest priority. Alternatively, for example, the highest priority may be given to an obstacle that is a moving body and is approaching a vehicle.

障害物が動体であることが検出された場合、俯瞰映像１００の中央映像１０５に、動体であることを示すアイコンを表示してもよい。動体であることを示すアイコンは、例えば、歩行者を示すアイコンや車両であることを示すアイコンとしてもよい。これにより、俯瞰映像生成システム１は、車両周辺の障害物をより適切に確認可能にすることができる。 When it is detected that the obstacle is a moving body, an icon indicating the moving body may be displayed in the central image 105 of the overhead view image 100. The icon indicating a moving body may be, for example, an icon indicating a pedestrian or an icon indicating a vehicle. Thereby, the bird's-eye view image generation system 1 can make it possible to more appropriately check obstacles around the vehicle.

障害物報知アイコン１１０は、３重の弧状の曲線で構成されるものとして説明したが、これに限定されない。障害物報知アイコン１１０は、例えば、障害物の方向を示す矢印状の図形でもよい。この場合、障害物報知アイコン１１０は、障害物までの距離に応じて、太さや大きさを変えた矢印状の図形としてもよい。 Although the obstacle notification icon 110 has been described as being configured with a triple arc-shaped curve, the present invention is not limited to this. The obstacle notification icon 110 may be, for example, an arrow-shaped graphic indicating the direction of the obstacle. In this case, the obstacle notification icon 110 may be an arrow-shaped graphic whose thickness and size are changed according to the distance to the obstacle.

本実施形態では、障害物検出部であるセンサとして、前方左センサ２１と前方中央センサ２２と前方右センサ２３と後方左センサ２４と後方中央センサ２５と後方右センサ２６との６つのセンサを有するものとしたが、センサの数は限定されない。障害物の方向をより細分化して検出したい場合、センサの数を増やしてもよい。 In this embodiment, there are six sensors, which are a front left sensor 21, a front center sensor 22, a front right sensor 23, a rear left sensor 24, a rear center sensor 25, and a rear right sensor 26, as sensors that are obstacle detection units. However, the number of sensors is not limited. The number of sensors may be increased when it is desired to detect the direction of the obstacle by subdividing it.

本実施形態では、障害物報知アイコン１１０は、センサの数に対応して、前方左アイコン１１１と前方中央アイコン１１２と前方右アイコン１１３と後方左アイコン１１４と後方中央アイコン１１５と後方右アイコン１１６とを含むものとしたが、これに限定されない。言い換えると、障害物報知アイコン１１０は、各センサの検出結果と表示させるアイコンとが対応付けられていればよい。 In the present embodiment, the obstacle notification icons 110 are the front left icon 111, the front center icon 112, the front right icon 113, the rear left icon 114, the rear center icon 115, and the rear right icon 116 corresponding to the number of sensors. However, the present invention is not limited to this. In other words, the obstacle notification icon 110 may be associated with the detection result of each sensor and the icon to be displayed.

１ 俯瞰映像生成システム
１１ 前方カメラ（撮影部）
１２ 後方カメラ（撮影部）
１３ 左側方カメラ（撮影部）
１４ 右側方カメラ（撮影部）
２１ 前方左センサ（障害物検出部）
２２ 前方中央センサ（障害物検出部）
２３ 前方右センサ（障害物検出部）
２４ 後方左センサ（障害物検出部）
２５ 後方中央センサ（障害物検出部）
２６ 後方右センサ（障害物検出部）
３１ 表示パネル
４０ 俯瞰映像生成装置
４１ 制御部
４２ 映像取得部
４３ 障害物情報取得部
４４ 車両情報取得部
４５ 俯瞰映像生成部
４６ 重畳映像生成部
４７ 表示制御部
４９ 記憶部
１００ 俯瞰映像
１１０ 障害物報知アイコン（障害物を示す情報）
１１１ 前方左アイコン（障害物を示す情報）
１１２ 前方中央アイコン（障害物を示す情報）
１１３ 前方右アイコン（障害物を示す情報）
１１４ 後方左アイコン（障害物を示す情報）
１１５ 後方中央アイコン（障害物を示す情報）
１１６ 後方右アイコン（障害物を示す情報）
１２０ 自車アイコン 1 Bird's eye view video generation system 11 Front camera (photographing section)
12 Rear camera (photographing section)
13 Left camera (shooting section)
14 Right side camera (shooting section)
21 Front left sensor (obstacle detector)
22 Front center sensor (obstacle detection part)
23 Front right sensor (obstacle detector)
24 Rear left sensor (obstacle detector)
25 Rear center sensor (obstacle detector)
26 Rear right sensor (obstacle detector)
31 display panel 40 overhead view image generation device 41 control unit 42 image acquisition unit 43 obstacle information acquisition unit 44 vehicle information acquisition unit 45 overhead view image generation unit 46 superimposed image generation unit 47 display control unit 49 storage unit 100 overhead view image 110 obstacle notification Icon (information indicating an obstacle)
111 Front left icon (information indicating an obstacle)
112 Front center icon (information indicating an obstacle)
113 Forward right icon (information indicating an obstacle)
114 Rear left icon (information indicating an obstacle)
115 Rear center icon (information indicating obstacles)
116 Rear right icon (information indicating an obstacle)
120 car icon

Claims (10)

車両の周辺を撮影した周辺映像を取得する映像取得部と、
前記車両の周辺において検出した障害物の、前記車両から前記障害物までの距離を含む障害物情報を取得する障害物情報取得部と、
前記映像取得部が取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成部と、
前記障害物情報取得部が取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値以上であれば、前記俯瞰映像で囲まれた中央部に前記車両を示す自車アイコンを表示させ、前記障害物を示す情報を前記俯瞰映像に重畳させた俯瞰映像を生成し、検出した障害物までの距離が所定閾値未満であれば、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成部と、
前記重畳映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部と
を有することを特徴とする俯瞰映像生成装置。 An image acquisition unit that acquires peripheral images of the surroundings of the vehicle,
An obstacle detected in the vicinity of the vehicle, an obstacle information acquisition unit that acquires obstacle information including a distance from the vehicle to the obstacle ,
A bird's-eye view image generation unit that generates a bird's-eye view image obtained by performing a viewpoint conversion process so that the vehicle is looked down from above from the peripheral image acquired by the image acquisition unit;
Based on the obstacle information acquired by the obstacle information acquisition unit , if the distance to the detected obstacle is equal to or more than a predetermined threshold value, the own vehicle icon indicating the vehicle is displayed in the central portion surrounded by the bird's-eye view image. When the distance to the detected obstacle is less than a predetermined threshold value, the information indicating the obstacle is surrounded by the bird's-eye view image. And a superimposed image generation unit that generates a bird's-eye view image superimposed on the central portion,
A bird's-eye view image generation device, comprising: a display control unit that causes the display unit to display the bird's-eye view image generated by the superimposed image generation unit. 前記障害物情報取得部は、前記俯瞰映像として表示する範囲より遠方の範囲において検出した障害物の障害物情報を取得し、
前記重畳映像生成部は、前記障害物情報取得部が取得した障害物情報に基づいて、検出した障害物までの距離が前記俯瞰映像として表示する範囲より遠方であれば、前記俯瞰映像で囲まれた中央部に前記車両を示す自車アイコンを表示させ、前記障害物を示す情報を前記俯瞰映像に重畳させた俯瞰映像を生成し、前記障害物情報取得部が取得した障害物情報に基づいて、検出した障害物までの距離が前記俯瞰映像として表示する範囲に含まれる範囲であれば、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する請求項１に記載の俯瞰映像生成装置。 The obstacle information acquisition unit acquires obstacle information of obstacles detected in a range farther than the range displayed as the bird's-eye view image,
Based on the obstacle information acquired by the obstacle information acquisition unit, if the distance to the detected obstacle is farther than the range displayed as the bird's-eye view image, the superimposed image generator is surrounded by the bird's-eye view image. A vehicle icon showing the vehicle is displayed in the center part, and an overhead view image in which information indicating the obstacle is superimposed on the overhead view image is generated, and based on the obstacle information acquired by the obstacle information acquisition unit. If the distance to the detected obstacle is within the range displayed as the bird's-eye view image, the bird's-eye view image is generated by superimposing the information indicating the obstacle on the central portion surrounded by the bird's-eye view image. 1. The bird's-eye view video generation device described in 1 . 前記障害物を示す情報は、前記障害物を検出した方向を示す情報である請求項１または２に記載の俯瞰映像生成装置。 Information indicating the obstacle, the bird's-eye view image generating apparatus according to claim 1 or 2 which is information indicating a direction detected the obstacle. 前記障害物を示す情報は、検出した障害物までの距離に応じて変化する請求項１から３のいずれか一項に記載の俯瞰映像生成装置。 Information indicating the obstacle, the bird's-eye view image generating apparatus according to any one of claims 1 to vary according to the distance to the detected obstacle 3. 前記障害物を示す情報は、前記障害物を検出した方向を向いた複数の構成要素を有し、前記複数の構成要素の間隔によって前記障害物までの距離を示し、
前記重畳映像生成部は、検出した障害物までの距離に基づいて、前記複数の構成要素の間隔を変化させる、
請求項１から４のいずれか一項に記載の俯瞰映像生成装置。 The information indicating the obstacle has a plurality of components facing the direction in which the obstacle is detected, and indicates the distance to the obstacle by the interval of the plurality of components,
The superimposed image generation unit changes the intervals between the plurality of components based on the distance to the detected obstacle,
The bird's-eye view video generation device according to any one of claims 1 to 4 . 車両の周辺を撮影した周辺映像を取得する映像取得部と、
前記車両の周辺において検出した障害物の水平方向幅を含む障害物情報を取得する障害物情報取得部と、
前記映像取得部が取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成部と、
前記障害物情報取得部が取得した障害物情報に基づいて、前記障害物を示す情報の幅を、検出した障害物の水平方向幅に対応させた幅として前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成部と、
前記重畳映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部と
を有することを特徴とする俯瞰映像生成装置。 An image acquisition unit that acquires peripheral images of the surroundings of the vehicle,
An obstacle information acquisition unit that acquires obstacle information including the horizontal width of the obstacle detected in the vicinity of the vehicle,
A bird's-eye view image generation unit that generates a bird's-eye view image obtained by performing a viewpoint conversion process so that the vehicle is looked down from above from the peripheral image acquired by the image acquisition unit;
Based on the obstacle information acquired by the obstacle information acquisition unit, the width of the information indicating the obstacle is set as a width corresponding to the horizontal width of the detected obstacle in the central portion surrounded by the overhead view image. A superimposed image generation unit that generates a superimposed overhead image,
A bird's-eye view image generation device, comprising: a display control unit that causes the display unit to display the bird's-eye view image generated by the superimposed image generation unit. 前記重畳映像生成部は、前記障害物情報取得部が取得した障害物情報に基づいて、前記車両の進行方向に位置する前記障害物について、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する請求項１から６のいずれか一項に記載の俯瞰映像生成装置。 The superimposed image generation unit encloses information indicating the obstacle in the bird's-eye view image with respect to the obstacle located in the traveling direction of the vehicle based on the obstacle information acquired by the obstacle information acquisition unit. The bird's-eye view video generation device according to any one of claims 1 to 6 , which generates a bird's-eye view video superimposed on the central portion. 請求項１から７のいずれか一項に記載の俯瞰映像生成装置と、
前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影部と、
前記車両の周辺において障害物を検出し前記障害物情報取得部に障害物情報を供給する障害物検出部と
を有することを特徴とする俯瞰映像生成システム。 A bird's-eye view video generation device according to any one of claims 1 to 7 ,
A photographing unit that photographs the periphery of the vehicle and supplies a peripheral image to the image acquisition unit,
An obstacle detection unit that detects an obstacle in the vicinity of the vehicle and supplies obstacle information to the obstacle information acquisition unit. 車両の周辺を撮影した周辺映像を取得する映像取得ステップと、
前記車両の周辺において検出した障害物の、前記車両から前記障害物までの距離を含む障害物情報を取得する障害物情報取得ステップと、
前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成ステップと、
前記障害物情報取得ステップで取得した障害物情報に基づいて、検出した障害物までの距離が所定閾値以上であれば、前記俯瞰映像で囲まれた中央部に前記車両を示す自車アイコンを表示させ、前記障害物を示す情報を前記俯瞰映像に重畳させた俯瞰映像を生成し、検出した障害物までの距離が所定閾値未満であれば、前記障害物を示す情報を前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、
前記重畳映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと
を俯瞰映像生成装置が実行する俯瞰映像生成方法。 An image acquisition step of acquiring a peripheral image of the surroundings of the vehicle,
An obstacle information acquisition step of acquiring obstacle information including a distance from the vehicle to the obstacle, which is an obstacle detected in the vicinity of the vehicle,
A bird's-eye view image generation step of generating a bird's-eye view image obtained by performing a viewpoint conversion process so that the vehicle is looked down from above from the peripheral image acquired in the image acquisition step;
Based on the obstacle information acquired in the obstacle information acquisition step, if the distance to the detected obstacle is equal to or more than a predetermined threshold value, the own vehicle icon indicating the vehicle is displayed in the central portion surrounded by the bird's-eye view image. When the distance to the detected obstacle is less than a predetermined threshold value, the information indicating the obstacle is surrounded by the bird's-eye view image. A superimposed image generation step of generating a bird's-eye view image superimposed on the central part,
A bird's-eye view image generation method in which the bird's-eye view video generation device executes a display control step of displaying the bird's-eye view video generated in the superimposed video generation step on a display unit. 車両の周辺を撮影した周辺映像を取得する映像取得ステップと、
前記車両の周辺において検出した障害物の水平方向幅を含む障害物情報を取得する障害物情報取得ステップと、
前記映像取得ステップで取得した周辺映像から前記車両を上方から見下ろすように視点変換処理を行った俯瞰映像を生成する俯瞰映像生成部ステップと、
前記障害物情報取得ステップで取得した障害物情報に基づいて、前記障害物を示す情報の幅を、検出した障害物の水平方向幅に対応させた幅として前記俯瞰映像で囲まれた中央部に重畳した俯瞰映像を生成する重畳映像生成ステップと、
前記重畳映像生成で生成した俯瞰映像を表示部に表示させる表示制御ステップと
を俯瞰映像生成装置が実行する俯瞰映像生成方法。

 An image acquisition step of acquiring a peripheral image of the surroundings of the vehicle,
An obstacle information acquisition step of acquiring obstacle information including a horizontal width of the obstacle detected around the vehicle;
A bird's-eye view image generation unit step of generating a bird's-eye view image obtained by performing a viewpoint conversion process so that the vehicle is looked down from above from the peripheral image acquired in the image acquisition step;
Based on the obstacle information acquired in the obstacle information acquisition step, the width of the information indicating the obstacle is set as a width corresponding to the horizontal width of the detected obstacle in the central portion surrounded by the overhead view image. A superimposed image generation step for generating a superimposed bird's-eye view image,
A bird's-eye view video generation method in which the bird's-eye view video generation apparatus executes a display control step of displaying the bird's-eye view video generated by the superimposed video generation on a display unit.

JP2017073368A 2016-09-20 2017-04-03 Overhead video generation device, overhead video generation system, overhead video generation method and program Active JP6730617B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780023741.3A CN109076195B (en) 2016-09-20 2017-07-04 Overhead image generation device, system, method and storage medium
PCT/JP2017/024558 WO2018055873A1 (en) 2016-09-20 2017-07-04 Overhead view video image generation device, overhead view video image generation system, overhead view video image generation method, and program
EP17852654.7A EP3462733B1 (en) 2016-09-20 2017-07-04 Overhead view video image generation device, overhead view video image generation system, overhead view video image generation method, and program
US16/208,650 US10587801B2 (en) 2016-09-20 2018-12-04 Bird's-eye view video generation device, bird'S-eye view video generation system, bird's-eye view video generation method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016183103 2016-09-20
JP2016183103 2016-09-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020109458A Division JP7196881B2 (en) 2016-09-20 2020-06-25 OVERALL VIEW VIDEO GENERATION DEVICE AND OVERALL VIEW VIDEO GENERATION METHOD

Publications (3)

Publication Number Publication Date
JP2018050277A JP2018050277A (en) 2018-03-29
JP2018050277A5 JP2018050277A5 (en) 2019-12-19
JP6730617B2 true JP6730617B2 (en) 2020-07-29

Family

ID=61767876

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017073368A Active JP6730617B2 (en) 2016-09-20 2017-04-03 Overhead video generation device, overhead video generation system, overhead video generation method and program
JP2020109458A Active JP7196881B2 (en) 2016-09-20 2020-06-25 OVERALL VIEW VIDEO GENERATION DEVICE AND OVERALL VIEW VIDEO GENERATION METHOD

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020109458A Active JP7196881B2 (en) 2016-09-20 2020-06-25 OVERALL VIEW VIDEO GENERATION DEVICE AND OVERALL VIEW VIDEO GENERATION METHOD

Country Status (1)

Country Link
JP (2) JP6730617B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7147248B2 (en) * 2018-04-27 2022-10-05 株式会社タダノ crane truck
JP7180172B2 (en) 2018-07-30 2022-11-30 株式会社Ｊｖｃケンウッド OVERALL VIEW IMAGE GENERATING DEVICE, OVERALL VIEW IMAGE GENERATING METHOD AND PROGRAM
JP7065068B2 (en) * 2019-12-13 2022-05-11 本田技研工業株式会社 Vehicle surroundings monitoring device, vehicle, vehicle surroundings monitoring method and program
JP7421584B2 (en) * 2022-03-14 2024-01-24 本田技研工業株式会社 Control device, control method, and control program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341641A (en) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd Image display apparatus and image display method
JP5294562B2 (en) * 2007-01-18 2013-09-18 クラリオン株式会社 Vehicle periphery monitoring device and display method thereof
JP5381847B2 (en) * 2010-03-24 2014-01-08 株式会社デンソー Vehicle display device
WO2012144076A1 (en) * 2011-04-22 2012-10-26 トヨタ自動車株式会社 Vehicle periphery monitoring device and display method for vehicle periphery monitoring information
JP2012244600A (en) * 2011-05-24 2012-12-10 Fujitsu Ten Ltd Image display system, image processing apparatus, and image display method
JP6339337B2 (en) * 2013-09-24 2018-06-06 日立建機株式会社 Moving object detection system around the vehicle
JP2016063390A (en) * 2014-09-18 2016-04-25 富士通テン株式会社 Image processing system and image display system

Also Published As

Publication number Publication date
JP7196881B2 (en) 2022-12-27
JP2018050277A (en) 2018-03-29
JP2020182220A (en) 2020-11-05

Similar Documents

Publication Publication Date Title
CN109076195B (en) Overhead image generation device, system, method and storage medium
JP7196881B2 (en) OVERALL VIEW VIDEO GENERATION DEVICE AND OVERALL VIEW VIDEO GENERATION METHOD
CN105308620B (en) Information processing apparatus, proximity object notification method, and program
WO2013046408A1 (en) Image display device and image display method
WO2018159016A1 (en) Bird's eye view image generation device, bird's eye view image generation system, bird's eye view image generation method and program
JP4259368B2 (en) Nose view monitor device
JP6081247B2 (en) Display switching device and display switching method for vehicle rear image
WO2018030491A1 (en) Peripheral inspection device
WO2016092967A1 (en) Image generation device and image generation method
JP2016190575A (en) Parking support device and parking support system
WO2018096792A1 (en) Bird's-eye-view video image generation device, bird's-eye-view video image generation system, bird's-eye-view video image generation method, and program
JP5172482B2 (en) Vehicle periphery monitoring device
JP2019188855A (en) Visual confirmation device for vehicle
JP2011211432A (en) In-vehicle imaging apparatus
JP2017114218A (en) Bird's-eye video generation device, bird's-eye video generation system, bird's-eye video generation method and program
WO2018055873A1 (en) Overhead view video image generation device, overhead view video image generation system, overhead view video image generation method, and program
JP6703183B2 (en) Display control device and display control method
JP2018195935A (en) Overhead image generation device, overhead image display system, overhead image generating method and program
JP4685050B2 (en) Display device
JP4598011B2 (en) Vehicle display device
JP6644256B2 (en) Overhead video generation device, overhead video generation system, overhead video generation method and program
JP6590538B2 (en) Image processing apparatus and image processing method
JP2019176330A (en) Display device
JP2018142883A (en) Bird's eye video creation device, bird's eye video creation system, bird's eye video creation method, and program
JP5459324B2 (en) Vehicle periphery monitoring device

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6730617

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150