JP7300316B2 - Moving object detector - Google Patents
Moving object detector Download PDFInfo
- Publication number
- JP7300316B2 JP7300316B2 JP2019101291A JP2019101291A JP7300316B2 JP 7300316 B2 JP7300316 B2 JP 7300316B2 JP 2019101291 A JP2019101291 A JP 2019101291A JP 2019101291 A JP2019101291 A JP 2019101291A JP 7300316 B2 JP7300316 B2 JP 7300316B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image
- detection
- reliability
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車両に搭載されたカメラにより生成された画像から移動物を検出する移動物検出装置に関する。 The present invention relates to a moving object detection device that detects a moving object from an image generated by a camera mounted on a vehicle.
車両に搭載された複数のカメラにより生成された複数の画像から、俯瞰画像を生成する技術が知られている。俯瞰画像は、車両の上方に設定された仮想視点から、車両と車両の周辺領域とを俯瞰した画像である。 2. Description of the Related Art Techniques for generating a bird's-eye view image from a plurality of images generated by a plurality of cameras mounted on a vehicle are known. A bird's-eye view image is a bird's-eye view of the vehicle and the surrounding area of the vehicle from a virtual viewpoint set above the vehicle.
また、車両に搭載されたカメラにより生成された画像から移動物を検出する移動物検出装置が知られている。移動物検出装置は、カメラにより生成された画像から移動物を検出した場合、移動物の存在を車両の運転者に報知する。これにより、運転者は、移動物の存在を把握することが可能となる。 Also known is a moving object detection device that detects a moving object from an image generated by a camera mounted on a vehicle. The moving object detection device notifies the presence of the moving object to the driver of the vehicle when the moving object is detected from the image generated by the camera. This enables the driver to grasp the presence of the moving object.
特許文献１は、車両に搭載された前方カメラ、後方カメラ、右カメラ及び左カメラにより撮影された画像から俯瞰画像を生成する車両周辺監視装置を開示している。この車両周辺監視装置は、俯瞰画像から特徴点を抽出し、俯瞰画像における特徴点の位置の変化を追跡する。特徴点は、例えば、車両の周辺を移動する移動物である。つまり、特許文献1に係る車両周辺監視装置は、俯瞰画像を用いて移動物を検出する。
しかし、車両と移動物との位置関係によっては、カメラにより生成された画像から検出された移動物の検出精度が、俯瞰画像から検出された移動物の検出精度よりも高くなる場合がある。つまり、特許文献１に係る車両周辺監視装置には、検出精度の向上の余地がある。
However, depending on the positional relationship between the vehicle and the moving object, the detection accuracy of the moving object detected from the image generated by the camera may be higher than the detection accuracy of the moving object detected from the overhead image. In other words, the vehicle periphery monitoring device according to
本発明の目的は、移動物の検出精度を向上できる移動物検出装置を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a moving object detection device capable of improving detection accuracy of a moving object.
上記課題を解決するため、第１の発明は、車両に搭載され、かつ、各々の撮影領域の一部が重複する第１カメラ及び第２カメラにより生成された画像を用いて、車両の周囲を移動する移動物を検出する移動物検出装置であって、第１検出部と、第２検出部と、俯瞰画像生成部と、第３検出部と、結果選択部と、出力部とを備える。第１検出部は、第１カメラにより生成された第１画像から第１移動物を検出し、検出された第１移動物の検出精度を示す第１信頼度を第１画像における第１移動物の位置に基づいて取得する。第２検出部は、第２カメラにより生成された第２画像から第２移動物を検出し、検出された第２移動物の検出精度を示す第２信頼度を第２画像における第２移動物の位置に基づいて取得する。俯瞰画像生成部は、第１画像及び第２画像に含まれる各画素を予め設定された仮想投影面に投影することにより、所定の仮想視点から車両を俯瞰した俯瞰画像を生成する。第３検出部は、俯瞰画像生成部により生成された俯瞰画像から第３移動物を検出する。結果選択部は、第１信頼度と第２信頼度とに基づいて、検出された第１移動物を示す第１検出情報と、検出された第２移動物を示す第２検出情報と、第３検出部により検出された第３移動物を示す第３検出情報とのうち少なくとも１つを選択する。出力部は、結果選択部により選択された検出情報を出力する。
In order to solve the above problems, the first invention uses images generated by a first camera and a second camera that are mounted on a vehicle and that partially overlap each photographing area to capture the surroundings of the vehicle. A moving object detection device for detecting a moving moving object includes a first detection unit, a second detection unit, an overhead image generation unit, a third detection unit, a result selection unit, and an output unit. The first detection unit detects a first moving object from a first image generated by the first camera, and calculates a first reliability indicating detection accuracy of the detected first moving object from the first moving object in the first image. Get based on the position of the . The second detection unit detects the second moving object from the second image generated by the second camera, and calculates a second reliability indicating detection accuracy of the detected second moving object from the second moving object in the second image. Get based on the position of the . The bird's-eye view image generator projects each pixel included in the first image and the second image onto a preset virtual projection plane to generate a bird's-eye view image of the vehicle viewed from a predetermined virtual viewpoint. The third detection unit detects a third moving object from the overhead image generated by the overhead image generation unit. Based on the first reliability and the second reliability, the result selection unit selects first detection information indicating the detected first moving object, second detection information indicating the detected second moving object, 3. At least one of third detection information indicating a third moving object detected by the detection unit is selected. The output unit outputs the detection information selected by the result selection unit.
第１の発明によれば、結果選択部は、第１移動物の検出精度及び第２移動物の検出精度に基づいて、第１検出情報と第２検出情報と第３検出情報との中から少なくとも１つを選択する。第１移動物の検出精度及び第２移動物の検出精度に応じて出力する検出情報を変更することにより、移動物の検出精度を向上させることができる。 According to the first invention, the result selection unit selects from among the first detection information, the second detection information, and the third detection information based on the detection accuracy of the first moving object and the detection accuracy of the second moving object. Choose at least one. By changing the detection information to be output according to the detection accuracy of the first moving object and the detection accuracy of the second moving object, it is possible to improve the detection accuracy of the moving object.
第２の発明は、第１の発明であって、第１信頼度及び第２信頼度のうち一方の信頼度が予め設定された基準値よりも高く、かつ、他方の信頼度が基準値以下である場合、結果選択部は第３検出情報を選択する。 A second invention is the first invention, wherein one of the first reliability and the second reliability is higher than a preset reference value, and the other reliability is equal to or less than the reference value , the result selection unit selects the third detection information.
第２の発明によれば、第１信頼度及び第２信頼度のうち一方の信頼度が基準値よりも高く、かつ、他方の信頼度が基準値以下である場合、俯瞰画像から検出された第３移動物を示す第３検出情報が選択される。これにより、移動物検出装置は、第１移動物が第２移動物と同じ物体であるか否かを判断しなくてもよいため、検出情報の選択を簡略化できるとともに、移動物の誤検出を防ぐことができる。 According to the second invention, when one of the first reliability and the second reliability is higher than the reference value and the other reliability is equal to or less than the reference value, the Third detection information indicative of a third moving object is selected. As a result, the moving object detection device does not need to determine whether the first moving object is the same object as the second moving object. can be prevented.
第３の発明は、第１又は第２の発明であって、さらに、判断部を備える。判断部は、第１信頼度及び第２信頼度が予め設定された基準値よりも高い場合、検出された第１移動物が検出された同一物体であるか否かを判断する。判断部が、検出された第１移動物が検出された第２移動物と同一物体であると判断した場合、結果選択部は、第１信頼度及び第２信頼度のうち高い信頼度に対応する移動物の検出情報を選択する。 A third invention is the first or second invention, further comprising a determination unit. The determination unit determines whether the detected first moving object is the same detected object when the first reliability and the second reliability are higher than a preset reference value. If the determining unit determines that the detected first moving object is the same object as the detected second moving object, the result selecting unit corresponds to the higher reliability out of the first reliability and the second reliability. Select the moving object detection information to be used.
第３の発明によれば、第１移動物が第２移動物と同じ物体である場合、移動物検出装置は、第１信頼度及び第２信頼度のうち高い信頼度に対応する移動物の検出情報を選択する。これにより、移動物検出装置は、精度の高い移動物の検出結果を出力することができる。 According to the third invention, when the first moving object is the same object as the second moving object, the moving object detection device detects the moving object corresponding to the higher reliability out of the first reliability and the second reliability. Select discovery information. As a result, the moving object detection device can output a moving object detection result with high accuracy.
第４の発明は、第３の発明であって、判断部が、検出された第１移動物が検出された第２移動物と異なる物体であると判断した場合、結果選択部は、第１検出情報及び第２検出情報を選択する。 In a fourth invention based on the third invention, when the determination unit determines that the detected first moving object is different from the detected second moving object, the result selection unit selects the first Select detection information and second detection information.
第４の発明によれば、移動物検出装置は、第１移動物と第２移動物との各々の検出結果を出力することができる。 According to the fourth invention, the moving object detection device can output detection results of each of the first moving object and the second moving object.
第５の発明は、第１～第４の発明のいずれかであって、結果選択部は、第１信頼度の変化量に基づいて第１信頼度を重み付けし、重み付けされた第１信頼度と第２検出部により取得された第２信頼度とに基づいて第１検出情報と第２検出情報と第３検出情報とのうち少なくとも１つを選択する。 A fifth invention is any one of the first to fourth inventions, wherein the result selection unit weights the first reliability based on the amount of change in the first reliability, and weights the weighted first reliability and the second reliability obtained by the second detection unit, at least one of the first detection information, the second detection information, and the third detection information is selected.
第５の発明によれば、移動物検出装置は、選択される検出情報の変更が頻繁に変更することを防ぐことができる。 According to the fifth invention, the moving object detection device can prevent frequent changes in the selected detection information.
第６の発明は、第１の発明であって、第１検出部は、第１画像から第１移動物を検出した場合、第１画像における第１移動物の移動方向を特定する。第２検出部は、第２画像から第２移動物を検出した場合、第２画像における第２移動物の移動方向を特定する。第１信頼度及び第２信頼度のうち一方の信頼度が予め設定された基準値よりも高く、かつ、他方の信頼度が基準値以下である場合、結果選択部は、一方の信頼度に対応する移動物の移動方向に基づいて、第１画像及び第２画像のうち他方の信頼度に対応する移動物が検出された画像に検出領域を設定する。第１検出部又は第２検出部は、検出領域が設定された画像を新たに取得した場合、新たに取得した画像のうち検出領域の画像から移動物を検出する。 A sixth aspect of the invention is the first aspect of the invention, wherein when the first moving object is detected from the first image, the first detecting section specifies the moving direction of the first moving object in the first image. The second detection unit identifies the movement direction of the second moving object in the second image when the second moving object is detected from the second image. If one of the first reliability and the second reliability is higher than a preset reference value and the other reliability is equal to or less than the reference value, the result selection unit selects one reliability Based on the moving direction of the corresponding moving object, the detection area is set in the image in which the moving object corresponding to the reliability of the other of the first image and the second image is detected. The first detection unit or the second detection unit detects a moving object from the image of the detection area in the newly acquired image when the image in which the detection area is set is newly acquired.
第６の発明によれば、基準値よりも低い信頼度に対応する移動物が検出された画像において、移動物を検出すべき領域を限定することができる。これにより、移動物の検出精度を向上させるとともに、移動物の検出負荷を低減することができる。 According to the sixth invention, it is possible to limit the area in which the moving object should be detected in the image in which the moving object corresponding to the reliability lower than the reference value is detected. As a result, the moving object detection accuracy can be improved, and the moving object detection load can be reduced.
第７の発明は、車両に搭載され、かつ、各々の撮影領域の一部が重複する第１カメラ及び第２カメラにより生成された画像を用いて、車両の周囲を移動する移動物を検出する移動物検出方法であって、第１検出ステップと、第２検出ステップと、画像生成ステップと、第３検出ステップと、結果選択ステップと、出力ステップとを備える。第１検出ステップは、第１カメラにより生成された第１画像から第１移動物を検出し、検出された第１移動物の検出精度を示す第１信頼度を第１画像における第１移動物の位置に基づいて取得する。第２検出ステップは、第２カメラにより生成された第２画像から第２移動物を検出し、検出された第２移動物の検出精度を示す第２信頼度を第２画像における第２移動物の位置に基づいて取得する。画像生成ステップは、第１画像及び第２画像を用いて、所定の仮想視点から車両を俯瞰した俯瞰画像を生成する。第３検出ステップは、生成された俯瞰画像から第３移動物を検出する。結果選択ステップは、第１信頼度と第２信頼度とに基づいて、検出された第１移動物を示す第１検出情報と、検出された第２移動物を示す第２検出情報と、検出された第３移動物を示す第３検出情報とのうち少なくとも１つを選択する。出力ステップは、選択された検出情報を出力する。 A seventh invention detects a moving object moving around the vehicle by using images generated by a first camera and a second camera mounted on the vehicle and having partially overlapping imaging areas. A moving object detection method comprising a first detection step, a second detection step, an image generation step, a third detection step, a result selection step, and an output step. The first detection step detects the first moving object from the first image generated by the first camera, and calculates a first reliability indicating detection accuracy of the detected first moving object from the first moving object in the first image. Get based on the position of the . The second detection step detects the second moving object from the second image generated by the second camera, and calculates a second reliability indicating detection accuracy of the detected second moving object from the second moving object in the second image. Get based on the position of the . The image generating step uses the first image and the second image to generate a bird's-eye view image of the vehicle from a predetermined virtual viewpoint. The third detection step detects a third moving object from the generated overhead image. The result selection step includes first detection information indicating the detected first moving object, second detection information indicating the detected second moving object, and detection and third detection information indicating the detected third moving object. The output step outputs the selected detection information.
第７の発明は、第１の発明に用いられる。 A seventh invention is used for the first invention.
本発明によれば、移動物の検出精度を向上できる移動物検出装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the moving object detection apparatus which can improve the detection accuracy of a moving object can be provided.
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The same reference numerals are given to the same or corresponding parts in the drawings, and the description thereof will not be repeated.
［１．車両１００の構成］
図１は、本発明の一実施の形態に係る移動物検出装置１０を搭載する車両１００の構成を示す機能ブロック図である。図１を参照して、車両１００は、車体１と、左前輪１ＦＬと、右前輪１ＦＲと、左後輪１ＲＬと、右後輪１ＲＲと、車軸１ＳＦ及び１ＳＲとを備える。
[1. Configuration of vehicle 100]
FIG. 1 is a functional block diagram showing the configuration of a
左前輪１ＦＬは、車体１の左前方に配置される。右前輪１ＦＲは、車体１の右前方に配置される。左前輪１ＦＬ及び右前輪１ＦＲは、車体１の前方に配置された車軸１ＳＦを回転軸として回転する。車軸１ＳＦは、車両１００のドライブシャフトであり、図示しないエンジンの出力を左前輪１ＦＬ及び右前輪１ＦＲに伝える。左前輪１ＦＬ及び右前輪１ＦＲは、車両１００の操舵輪である。左前輪１ＦＬ及び右前輪１ＦＲの舵角は、図示しないステアリングホイールの回転に応じて変化する。
The left front wheel 1FL is arranged on the front left side of the
左後輪１ＲＬは、車体１の左後方に配置される。右後輪１ＲＲは、車体１の右後方に配置される。左後輪１ＲＬ及び右後輪１ＲＲは、車体１の後方に配置された車軸１ＳＲを回転軸として回転する。
The left rear wheel 1RL is arranged on the rear left side of the
車両１００は、さらに、方向指示スイッチ４と、表示装置５と、移動物検出装置１０と、フロントカメラ２１と、左サイドカメラ２４と、リアカメラ２３と、右サイドカメラ２２とを備える。以下の説明において、フロントカメラ２１と、左サイドカメラ２４と、リアカメラ２３と、右サイドカメラ２２とを総称する場合、単に「カメラ」と記載する。
方向指示スイッチ４は、車両１００の運転者によって操作される。方向指示スイッチ４は、運転者の操作に応じて、方向指示信号４Ｓを移動物検出装置１０に出力する。方向指示信号４Ｓは、図示しない左ウィンカー又は右ウィンカーの点滅を指示する信号である。
表示装置５は、液晶表示装置等の薄型パネルであり、運転者から見やすい位置に配置される。例えば、表示装置５は、車両１００のスピードメータの近傍に配置される。表示装置５は、移動物の検出結果を示す結果画像５０を移動物検出装置１０から受け、その受けた結果画像５０を表示する。結果画像５０の詳細については、後述する。
The
フロントカメラ２１は、車両１００の前方の景色を撮影して前方画像３１を生成し、その生成した前方画像３１を移動物検出装置１０に供給する。左サイドカメラ２４は、車両１００の左方の景色を撮影して左方画像３４を生成し、その生成した左方画像３４を移動物検出装置１０に供給する。リアカメラ２３は、車両１００の後方の景色を撮影して後方画像３３を生成し、その生成した後方画像３３を移動物検出装置１０に供給する。右サイドカメラ２２は、車両１００の右方の景色を撮影して右方画像３４を生成し、その生成した右方画像３４を移動物検出装置１０に供給する。
The
以下の説明において、前方画像３１、左方画像３４、後方画像３３及び右方画像３４を総称して「撮影画像」と記載する場合がある。撮影画像は、動画像を構成するフレームである。車両１００に搭載されたカメラの各々は、撮影画像を所定の時間間隔で生成して、その生成した撮影画像を移動物検出装置１０に出力する。
In the following description, the
移動物検出装置１０は、カメラにより撮影された撮影画像を用いて、車両１００の周辺を移動する移動物を検出する。移動物は、例えば、歩行者や自転車である。移動物検出装置１０は、移動物を検出した場合、結果画像５０を表示装置５に出力して、移動物を検出したことを運転者に通知する。これにより、運転者は、車両１００を周囲を移動する移動物の存在を把握できる。
The moving
［２．カメラの配置］
図２は、図１に示すカメラの配置の一例を示す図である。最初に、ワールド座標系を説明する。ワールド座標系の原点Ｏｗは、車両１００の重心である。Ｙ軸は、車両１００の直進方向に延びる。Ｙ軸の正方向は、車両１００の後端面から前端面に向かう方向である。Ｘ軸は、車両１００の直進方向及び鉛直方向の両者に垂直な方向に延びる。Ｘ軸の正方向は、車両１００の左側面から右側面に向かう方向である。
[2. camera placement]
FIG. 2 is a diagram showing an example of arrangement of the cameras shown in FIG. First, the world coordinate system will be explained. The origin Ow of the world coordinate system is the center of gravity of the
フロントカメラ２１は、車両１００の前端に取り付けられたナンバープレートの近傍に設けられ、その光軸２１ＫはＹ軸の正方向に向けられている。リアカメラ２３は、車両１００の後端に取り付けられたナンバープレートの近傍に設けられ、その光軸２３ＫはＹ軸の負方向に向けられている。フロントカメラ２１及びリアカメラ２３の取付位置は、Ｘ軸上であることが望ましいが、Ｘ軸から多少ずれた位置であってもよい。
The
左サイドカメラ２４は、車両１００における左のドアミラー６Ｌに設けられ、その光軸２２ＫはＸ軸の負方向に向けられている。右サイドカメラ２２は、車両１００における右のドアミラー６Ｒに設けられ、その光軸２４ＫはＸ軸の正方向に向けられている。
The
カメラのレンズは、１８０°以上の画角を有する広角レンズである。車両１００に搭載される４台のカメラを用いることにより、車両１００の全周囲の撮影が可能である。
The camera lens is a wide-angle lens with an angle of view of 180° or more. By using four cameras mounted on the
車両１００は、左ウィンカー７Ｌ及び右ウィンカー７Ｒをさらに備える。左ウィンカー７Ｌ及び右ウィンカー７Ｒは、方向指示スイッチ４から出力される方向指示信号４Ｓに応じて点滅する。
［３．移動物検出装置１０の構成］
図３は、図１に示す移動物検出装置１０の構成を示す機能ブロック図である。図３を参照して、移動物検出装置１０は、画像選択部１１と、第１検出部１２と、第２検出部１３と、判断部１４と、俯瞰画像生成部１５と、第３検出部１６と、結果選択部１７と、結果出力部１８と、挙動特定部１９とを備える。
[3. Configuration of moving object detection device 10]
FIG. 3 is a functional block diagram showing the configuration of the moving
挙動特定部１９は、方向指示信号４Ｓを方向指示スイッチ４から受け、前方画像３１をフロントカメラ２１から受ける。挙動特定部１９は、その受けた方向指示信号４Ｓ及び前方画像３１を用いて、車両１００の挙動を判断する。挙動特定部１９は、車両１００が右折又は左折をすると判断した場合、車両１００が右折又は左折することを通知するための挙動情報１９Ａを画像選択部１１に出力する。
The
画像選択部１１は、撮影画像（前方画像３１、右方画像３２、後方画像３３及び左方画像３４）をカメラから取得し、挙動情報１９Ａを挙動特定部１９から取得する。画像選択部１１は、取得した挙動情報１９Ａに基づいて、第１検出部１２に出力する第１画像４１と第２検出部１３に出力する第２画像４２とを取得した撮影画像の中から選択する。撮影画像の選択の詳細は後述する。画像選択部１１は、選択した第１画像４１を第１検出部１２に出力し、選択した第２画像４２を第２検出部に出力する。
The image selection unit 11 acquires the captured images (the
第１検出部１２は、第１画像４１を画像選択部１１から受け、その受けた第１画像４１から第１移動物を検出する。第１検出部１２は、第１移動物の検出結果に基づいて、検出された第１移動物の確からしさを示す第１信頼度を取得する。第１検出部１２は、第１信頼度と第１移動物の検出結果とを含む検出情報４２Ａを、判断部１４及び結果選択部１７に出力する。第１移動物の検出結果は、第１画像４１における第１移動物の位置及び第１移動物の移動方向を含む。
The
第２検出部１３は、第２画像４２を画像選択部１１から受け、その受けた第２画像４２から第２移動物を検出する。第２検出部１３は、第２移動物の検出結果に基づいて、検出された第２移動物の確からしさを示す第２信頼度を取得する。第２検出部１３は、第２信頼度と、第２移動物の検出結果とを含む検出情報４２Ａを判断部１４及び結果選択部１７に出力する。第２移動物の検出結果は、第２画像４２における第２移動物の位置及び第２移動物の移動方向を含む。
The
判断部１４は、検出情報４１Ａを第１検出部１２から受け、検出情報４２Ａを第２検出部１３から受ける。判断部１４は、その受けた検出情報４１Ａ及び４２Ａに基づいて、第１移動物が第２移動物と同じ物体であるか否かを判断する。判断部１４は、第１移動物が第２移動物と同じ物体であるか否かを示す同一判断情報４４を結果選択部１７に出力する。
The
俯瞰画像生成部１５は、撮影画像をカメラから取得し、取得した撮影画像を用いて俯瞰画像４３を生成する。俯瞰画像４３は、車両１００の上方に設定された仮想視点から、車両１００と車両１００の周辺領域とを俯瞰した画像である。俯瞰画像生成部１５は、生成した俯瞰画像４３を第３検出部１６及び結果出力部１８に出力する。
The bird's-eye view
第３検出部１６は、俯瞰画像４３を俯瞰画像生成部１５から受け、その受けた俯瞰画像４３から第３移動物を検出する。第３検出部１６は、第３移動物の検出結果を示す検出情報４３Ａを結果選択部１７に出力する。第３移動物の検出結果は、俯瞰画像４３における第３移動物の位置及び移動方向を含む。
The
結果選択部１７は、検出情報４１Ａを第１検出部１２から受け、検出情報４２Ａを第２検出部１３から受け、第３検出部１６から検出情報４３Ａを受ける。結果選択部１７は、検出情報４１Ａ及び４２Ａに記録された信頼度に基づいて、検出情報４１Ａ～４３Ａのうち少なくとも１つを選択する。結果選択部１７は、選択された検出情報を通知対象情報４５として結果出力部１８に出力する。
The
結果選択部１７は、同一判断情報４４を判断部１４から受ける。結果選択部１７は、検出情報４１Ａ及び４２Ａを選択可能と判断した場合、受けた同一判断情報４４に基づいて、検出情報４１Ａ及び４２Ａの両者を通知対象情報４５として出力するか否かを判断する。具体的には、同一判断情報４４が、第１移動物が第２移動物と同じ物体であることを示す場合、結果選択部１７は、検出情報４１Ａ及び４２Ａのいずれか一方を通知対象情報４５として結果出力部１８に出力する。同一判断情報４４が、第１移動物が第２移動物と異なる物体であることを示す場合、結果選択部１７は、検出情報４１Ａ及び４２Ａの両者を通知対象情報４５として結果出力部１８に出力する。
The
結果出力部１８は、前方画像３１をフロントカメラ２１から受け、俯瞰画像４３を俯瞰画像生成部１５から受け、通知対象情報４５を結果選択部１７から受ける。結果出力部１８は、受けた前方画像３１及び俯瞰画像４３のうちいずれか一方を、受けた通知対象情報４５に基づいて選択する。結果出力部１８は、受けた通知対象情報４５に基づいて、移動物が存在する領域を選択した画像において強調する。結果出力部１８は、移動物が存在する領域が強調された画像を結果画像５０として表示装置５に出力する。
The
［４．移動物検出装置１０の動作
［４．１．動作概略］
図４は、図１に示す移動物検出装置１０の動作概略を説明する図である。図４を参照しながら、車両１００が右折する場合を例にして、移動物検出装置１０の動作概略を説明する。図４において、道路Ｒ１は南北方向に延び、道路Ｒ２は東西方向に延びる。道路Ｒ１及び道路Ｒ２は、交差点Ｐにおいて交差する。
[4. Operation of moving object detection device 10 [4.1. Operation outline]
4A and 4B are diagrams for explaining an outline of the operation of the moving
図４において、車両１００は、道路Ｒ１を交差点Ｐに向かって走行し、交差点Ｐにおいて右折する。具体的には、車両１００は、右ウィンカー７Ｒの点滅を時刻ｔ１から開始し、時刻ｔ１よりも後の時刻ｔ２に交差点Ｐに進入する。車両１００は、時刻ｔ２よりも後の時刻ｔ３において、右ウィンカー７Ｒの点滅を終了する。自転車２５は、移動物検出装置１０によって検出される移動物である。自転車２５は、道路Ｒ１を交差点Ｐに向かって走行し、横断歩道Ｃ２を渡る。
In FIG. 4,
移動物検出装置１０は、図示しない車両１００のイグニッションスイッチがオンされている期間において、前方画像３１から横断歩道を検出する処理を繰り返す。
The moving
時刻ｔ１において、移動物検出装置１０は、交差点Ｐの横断歩道Ｃ１を検出し、右ウィンカー７Ｒの点滅を指示する方向指示信号４Ｓを方向指示スイッチ４から受ける。この結果、移動物検出装置１０は、車両１００が右折すると判断する（ステップＳ１）。
At time t1, moving
移動物検出装置１０は、車両１００が右折すると判断した場合、前方画像３１及び右方画像３２の各々から移動物を検出する（ステップＳ２）。なお、前方画像３１が第１画像４１に相当し、右方画像３２が第２画像４２に相当する。この結果、時刻ｔ１において、自転車２５が、前方画像３１及び右方画像３４の各々から検出される。フロントカメラ３１の撮影領域の一部が右サイドカメラ３４の撮影領域の一部と重複するためである。
When the moving
移動物検出装置１０は、前方画像３１から検出された自転車２５の検出精度を示す第１信頼度と、右方画像３４から検出された自転車２５の検出精度を示す信頼度とを取得する（ステップＳ３）。
The moving
また、移動物検出装置１０は、時刻ｔ１に取得された撮影画像を用いて俯瞰画像４３を生成する。移動物検出装置１０は、生成した俯瞰画像４３から自転車２５を検出する（ステップＳ４）。すなわち、移動物検出装置１０は、時刻ｔ１において、前方画像３１と、右方画像３４と、俯瞰画像４３との各々から自転車２５を検出する。移動物検出装置１０は、ステップＳ３で取得された第１信頼度及び第２信頼度の各々を予め設定された基準値比較する。移動物検出装置１０は、その比較結果に基づいて前方画像３１、右方画像３１及び俯瞰画像４３の各々から得られた検出情報のうち、検出情報を少なくとも１つ選択する（ステップＳ５）。
Further, the moving
図４に示す前方画像３１において、自転車２５の前輪のみが前方画像３１の右下端部に表れている。前方画像３１から検出された自転車２５の第１信頼度は、比較的低く、基準値を下回る。一方、右方画像３４において、自転車２５の全体が右方画像３４に表れており、自転車２５は右方画像３４の中央付近に位置している。右方画像３４から検出された自転車２５の第２信頼度は、比較的高く、基準値を上回る。この場合、移動物検出装置１０は、俯瞰画像４３から得られた検出情報４３Ａを選択する。つまり、第１信頼度及び第２信頼度の一方が基準値を超え、かつ、他方が基準値を下回る場合、移動物検出装置１０は、俯瞰画像４３から検出された第３移動物を示す検出情報４３Ａが選択される。
In the
移動物が前方画像３１から検出され、かつ、移動物が右方画像３２から検出されなかった場合、移動物検出装置１０は、前方画像３１から得られた検出情報４１Ａが選択される。移動物が右方画像３２のみから検出され、かつ、移動物が前方画像３１から検出されなかった場合、結果画像５０は、右方画像３２から得られた検出情報４２Ａが選択される。
When a moving object is detected from the
第１信頼度及び第２信頼度の両者が基準値を超える場合、移動物検出装置１０は、ステップＳ６において、検出情報４１Ａ及び４２Ａを選択可能と判断する。この場合、移動物検出装置１０は、検出情報４１Ａ及び４２Ａのうち信頼度の高い検出情報が選択される。
When both the first reliability and the second reliability exceed the reference values, the moving
移動物検出装置１０は、ステップＳ６で選択された検出情報を用いて、結果画像５０を生成する（ステップＳ６）。移動物検出装置１０は、右ウィンカー７Ｒの点滅終了を指示する方向指示信号４Ｓを方向指示スイッチ４から受けた場合、車両１００の右折が終了したと判断する。この場合、移動物検出装置１０は、移動物の検出を終了する（ステップＳ７）。
The moving
図４に示す例では、方向指示信号４Ｓは、時刻ｔ１から時刻ｔ３までの期間にかけて、右ウィンカー７Ｒの点滅を指示する。従って、移動物検出装置１０は、時刻ｔ１から時刻ｔ３までの期間において、前方画像３１及び右方画像３２を用いて移動物を検出する。
In the example shown in FIG. 4, the
このように、移動物検出装置１０は、第１信頼度及び第２信頼度に基づいて検出情報４１Ａ～４３Ａのうち少なくとも１つを選択し、選択した検出情報を用いて移動物の存在を運転者に通知する。移動物検出装置１０は、検出情報４１Ａ～４３Ａのうち適切な検出情報を用いることができるため、移動物の検出精度の向上することができる。
In this way, the moving
［４．２．詳細動作］
図５は、図１に示す移動物検出装置１０の動作を示すフローチャートである。図５を参照して、移動物検出装置１０は、図示しない車両１００のイグニッションスイッチがオンされた場合、図５に示す処理を開始する。
[4.2. Detailed operation]
FIG. 5 is a flow chart showing the operation of the moving
移動物検出装置１０は、カメラから撮影画像を取得する（ステップＳ１１）。上述のように、撮影画像は、動画像を構成するフレームである。このため、移動物検出装置１０は、車両１００に搭載された４台のカメラの全てからフレームを取得した場合、ステップＳ１２に進む。
The moving
移動物検出装置１０において、挙動特定部１９は、ステップＳ１１で取得した前方画像３１及び方向指示スイッチ４から受ける方向指示信号４Ｓに基づいて、車両１００が右折又は左折するかを判断する（ステップＳ１２）。
In the moving
具体的には、挙動特定部１９は、ステップＳ２１で取得した前方画像３１から横断歩道を検出する処理を実行する。例えば、挙動特定部１９は、各々が車両１００の進行方向に延びる複数の白線を検出する。挙動特定部１９は、検出した複数の白線が車両１００の左右方向に配列されている場合、横断歩道を検出したと判断する。
Specifically, the
横断歩道が検出され、かつ、方向指示信号４Ｓが左ウィンカー７Ｌ及び右ウィンカー７Ｒのいずれか一方の点滅を示す場合、挙動特定部１９は、車両１００が右折又は左折すると判断する（ステップＳ１２においてＹｅｓ）。横断歩道が検出されない場合、又は、方向指示信号４Ｓが左ウィンカー７Ｌ又は右ウィンカー７Ｒの点滅を指示しない場合、移動物検出装置１０は、車両１００が直進すると判断する（ステップＳ１２においてＮｏ）。この場合、移動物検出装置１０は、後述ステップＳ１８に進む。
When a pedestrian crossing is detected and the
画像選択部１１は、車両１００が右折又は左折すると判断された場合（ステップＳ１２においてＹｅｓ）、移動物の検出に用いるカメラを選択する（ステップＳ１３）。車両１００が右折する場合、車両１００は、車両１００の右方を移動する移動物と衝突する虞がある。このため、画像選択部１１は、車両１００が右折すると判断した場合、フロントカメラ２１及び右サイドカメラ２２を選択する。車両１００が左折する場合、車両１００は、車両１００の左方を移動する移動物と衝突する虞がある。このため、画像選択部１１は、車両１００が左折すると判断した場合、フロントカメラ２１及び左サイドカメラ２４を選択する。
When it is determined that
以下、特に説明のない限り、車両１００が右折する場合を例にして、移動物検出装置１０の動作を説明する。この場合、フロントカメラ２１及び右サイドカメラ２２が選択される（ステップＳ１３）。画像選択部１１は、前方画像３１を第１検出部１２に出力し、右方画像３２を第２検出部１３に出力する。前方画像３１は、図３に示す第１画像４１に対応する。右方画像３２は、図３に示す第２画像４２に対応する。このため、前方画像３１から検出された移動物を「第１移動物」、右方画像３２から検出された移動物を「第２移動物」と記載する。
Hereinafter, unless otherwise specified, the operation of the moving
移動物検出装置１０は、前方画像３１と、右方画像３２と、俯瞰画像４３との各々から移動物を検出する（ステップＳ１４）。具体的には、第１検出部１２は、前方画像３１から第１移動物を検出した場合、第１信頼度を取得し、検出情報４１Ａを生成する。第２検出部１３は、右方画像３２から第２移動物を検出した場合、第２信頼度を取得し、検出情報４２Ａを生成する。第３検出部１６は、俯瞰画像４３から第３移動物を検出した場合、検出情報４３Ａを生成する。第３検出部１６は、第３移動物の信頼度を取得しない。なお、ステップＳ１４の詳細については、後述する。
The moving
結果選択部１７が、ステップＳ１４の結果として生成される検出情報４１Ａ～４３Ａの中から、移動物の検出通知に用いられる少なくとも１つの検出情報を選択する（ステップＳ１５）。検出情報４１Ａに含まれる第１信頼度と、検出情報４２Ａに含まれる第２信頼度とが、検出情報の選択に用いられる。ステップＳ１５の詳細については、後述する。
The
結果出力部１８が、ステップＳ１５で選択された検出情報に基づいて、結果画像５０を生成する（ステップＳ１６）。具体的には、結果出力部１８は、選択された検出情報に基づいて、前方画像３１及び俯瞰画像４３のいずれか一方を選択する。移動物検出装置１０は、選択した画像に含まれる移動物を強調し、移動物が強調された画像を結果画像５０として表示装置５に出力する。ステップＳ１６の詳細については、後述する。
The
移動物検出装置１０は、車両１００が右折又は左折を終了したか否かを判断する（ステップＳ１７）。例えば、移動物検出装置１０は、ステップＳ１７の判断において、方向指示信号４Ｓを用いる。
The moving
方向指示信号４Ｓが右ウィンカー７Ｒ又は左ウィンカー７Ｌの点滅を指示する場合、移動物検出装置１０は、車両１００が右折又は左折中であると判断する（ステップＳ１７においてＮｏ）。移動物検出装置１０は、ステップＳ１１で取得した撮影画像と異なる撮影画像を新たに取得する（ステップＳ１９）。移動物検出装置１０は、新たに取得した撮影画像を用いて、移動物検出処理（ステップＳ１４）を再び実行する。
When
方向指示信号４Ｓが右ウィンカー７Ｒ又は左ウィンカー７Ｌの点滅終了を指示する場合、移動物検出装置１０は、車両１００が右折又は左折を終了したと判断する（ステップＳ１７においてＹｅｓ）。移動物検出装置１０は、移動物の検出を終了し、ステップＳ１８に進む。
When the
イグニッションスイッチのオンが継続している場合（ステップＳ１８においてＮｏ）、移動物検出装置１０は、ステップＳ１１に戻る。イグニッションスイッチがオンからオフに変化した場合（ステップＳ１８においてＹｅｓ）、移動物検出装置１０は、図５に示す処理を終了する。
If the ignition switch continues to be on (No in step S18), the moving
［４．３．移動物検出処理（ステップＳ１４）］
（撮影画像からの移動物の検出）
図６は、図５に示す移動物検出処理（ステップＳ１４）のフローチャートである。図６を参照して、第１検出部１２は、検出領域が前方画像３１（第１画像４１）に設定されているか否かを判断する（ステップＳ４０１）。詳細については後述するが、検出領域は、所定の条件が満たされた場合に第１画像４１及び第２画像４２の一方に設定される。
[4.3. Moving Object Detection Processing (Step S14)]
(Detection of moving objects from captured images)
FIG. 6 is a flow chart of the moving object detection process (step S14) shown in FIG. Referring to FIG. 6,
検出領域が前方画像３１に設定されている場合（ステップＳ４０１においてＹｅｓ）、第１検出部１２は、前方画像３１のうち検出領域に含まれる画像から第１移動物を検出する（ステップＳ４０２）。検出領域が前方画像３１に設定されていない場合（ステップＳ４０１においてＮｏ）、第１検出部１２は、前方画像３１の全体から第１移動物を検出する（ステップＳ４０３）。第１検出部１２は、ステップＳ４０２又はＳ４０３の結果、前方画像３１における第１移動物の位置と、前方画像３１における第１移動物の移動方向とを取得する。
When the detection area is set in the front image 31 (Yes in step S401), the
第２検出部１３は、検出領域が右方画像３２（第２画像４２）に設定されているか否かを判断する（ステップＳ４０４）。検出領域が右方画像３２に設定されている場合（ステップＳ４０４においてＹｅｓ）、第２検出部１３は、右方画像３２のうち検出領域に含まれる画像から第２移動物を検出する（ステップＳ４０５）。検出領域が右方画像３２に設定されていない場合（ステップＳ４０４においてＮｏ）、第２検出部１３は、右方画像３２の全体から第２移動物を検出する（ステップＳ４０６）。第２検出部１３は、ステップＳ４０５又はＳ４０６の結果、右方画像３２における第２移動物の位置と、右方画像３２における第２移動物の移動方向とを取得する。
The
図７は、図４に示す右方画像３２の拡大図である。図７を参照しながら、検出領域の具体例について説明する。検出領域２２Ｌが右方画像３２に設定されている。検出領域２２Ｌは右方画像３２における左半分の領域である。検出領域２２Ｌが右方画像３２に設定されている場合、第２検出部１３は、右方画像３２のうち、検出領域２２Ｌに含まれる画像から第２移動物を検出する。右方画像３２の右半分の領域は、第２移動物の検出対象から除外される。
FIG. 7 is an enlarged view of the
移動物の検出（ステップＳ１４）について、図７に示す右方画像３２から自転車２５を検出する場合を例に説明する。なお、検出領域２２Ｌが右方画像３２に設定されていないと仮定する。
Moving object detection (step S14) will be described with an example of detecting a
第２検出部１３は、右方画像３２から図示しないエッジ画像を生成し、生成したエッジ画像からエッジにより囲まれた領域２５Ｒを抽出する。第２検出部１３は、抽出した領域２５Ｒのサイズが予め設定された基準サイズよりも大きい場合、抽出した領域２５Ｒが物体であると判断する。領域２５Ｒで囲まれる物体は、自転車２５である。説明の便宜上、領域２５Ｒを図７において矩形で示している。第２検出部１３は、抽出した領域２５Ｒの中心を自転車２５の位置２５Ｐに決定する。
The
第２検出部１３は、自転車２５の位置２５Ｐ及び領域２５Ｒに基づいて、自転車２５が移動物であるか否かを判断する。以下、図７に示す右方画像３２を「現在右方画像」と記載し、現在画像の直前に取得された右方画像３２Ａを「過去右方画像」と記載する。図７において、過去領域２６Ｒは、過去右方画像から検出された自転車２５の領域である。過去位置２６Ｐは、過去領域２６Ｒの中心である。図７において、位置２５Ｐから過去位置２６Ｐまでの距離Ｄを誇張して表現している。
The
位置２５Ｐ及び過去位置２６Ｐは、右方画像３２の画素座標系により記述される。画素座標系の原点は右方画像３２の左上頂点である。画素座標系において、Ｘａ軸は原点から右方向に延び、Ｙａ軸は原点から下方向に延びる。
第２検出部１３は、以下の２つの条件が満たされた場合、現在右方画像から検出された自転車２５が移動物であると判断する。
The
第１条件は、領域２５Ｒのサイズと過去領域２６Ｒのサイズとの比が所定範囲内であることである。現在右方画像の生成時刻と過去右方画像の生成時刻との差は、右サイドカメラ３２により生成される動画像のフレーム間隔に相当する。自転車２５が現在右方画像及び過去右方画像の両者から検出された場合、領域２５Ｒのサイズは、過去領域２６Ｒのサイズから大幅に変化しないと想定される。
The first condition is that the ratio between the size of the
第２条件は、距離Ｄが所定距離以下であることである。車両１００の速さ及び動画像のフレーム間隔を考慮した場合、距離Ｄは、所定距離以下であると想定されるためである。
A second condition is that the distance D is equal to or less than a predetermined distance. This is because the distance D is assumed to be less than or equal to the predetermined distance when the speed of the
第２検出部１３は、上記の２つの条件に基づいて現在右方画像から自転車２５を検出したと判断した場合、現在右方画像における自転車２５の位置及び移動方向を特定する。
When the
領域２５Ｒの位置２５Ｐが、現在右方画像における自転車２５の位置として特定される。第２検出部１３は、現在右方画像における自転車２５の移動方向を示すベクトル２５Ｖを生成する。ベクトル２５Ｖにおいて、始点は過去位置２６Ｐであり、終点は位置２５Ｐである。
A
（信頼度の取得）
移動物検出装置１０は、ステップＳ４０３及びＳ４０６により検出された第１移動物及び第２移動物の信頼度を取得する（ステップＳ４０７）。具体的には、第１検出部１２は、ステップＳ４０３で特定された第１移動物の位置に基づいて、第１移動物の検出精度を示す第１信頼度を決定する。第２検出部１３は、ステップＳ４０６で特定された第２移動物の位置に基づいて、第２移動物の検出精度を示す第２信頼度を決定する。
(Acquisition of reliability)
The moving
以下、第２信頼度の決定を例にして、ステップＳ４０７を説明する。第１信頼度は、第２信頼度と同様に決定されるため、第１信頼度の決定の説明を省略する。図７を参照して、第２検出部１３は、ステップＳ４０３において特定された自転車２５の位置２５Ｐに基づいて、第２信頼度を決定する。具体的には、第２検出部１３は、第２信頼度は、自転車２５の位置２５Ｐが右方画像３２の中心Ｃから離れるに従って第２信頼度を低下させる。
The step S407 will be described below using the determination of the second reliability as an example. Since the first reliability is determined in the same manner as the second reliability, the description of the determination of the first reliability is omitted. Referring to FIG. 7,
右方画像３２に含まれる物体は、右サイドカメラ２２のレンズの焦点距離や収差に起因して中心Ｃから離れるに従ってぼやけ、不鮮明になる。従って、エッジ検出を移動物の検出に用いた場合、物体の検出精度は、右方画像３２の中心Ｃから離れるに従って低下する。第２信頼度と中心Ｃからの距離との対応関係は、右サイドカメラ２２が備える光学系の焦点距離などの特性に基づいて、第２検出部１３に予め設定されている。
Due to the focal length and aberration of the lens of the
ステップＳ４０７の後に、検出情報４１Ａが第１検出部１２により生成され、検出情報４２Ａが第２検出部１３により生成される。検出情報４１Ａ及び４２Ａの各々は、判断部１４及び結果選択部１７に出力される。
After step S407,
図８は、第２検出部１３により生成される検出情報４２Ａの一例を示す図である。図８を参照して、検出情報４２Ａは、移動物が検出された撮影画像を特定する情報と、撮影画像における第２移動物の位置と、撮影画像における第２移動物の移動方向と、第２移動物の信頼度を記録する。
FIG. 8 is a diagram showing an example of
（俯瞰画像からの移動物の検出）
再び、図６を参照して、俯瞰画像生成部１５は、カメラから取得した撮影画像を用いて俯瞰画像４３を生成する（ステップＳ４０８）。例えば、俯瞰画像生成部１５は、撮影画像に含まれる各画素を予め設定された仮想投影面に投影することにより、俯瞰画像４３を生成する。俯瞰画像生成部１５は、生成した俯瞰画像４３を第３検出部１６及び結果出力部１８に出力する。
(Detection of moving object from bird's-eye view image)
Again referring to FIG. 6, the bird's-eye view
第３検出部１６は、俯瞰画像４３を俯瞰画像生成部１５から受け、その受けた俯瞰画像４３から第３移動物を検出する（ステップＳ４０９）。第３検出部１６は、第１検出部１２及び第２検出部１３で用いられる処理と同様の処理を用いて、移動物を検出する。なお、第３検出部１６は、第３移動物の信頼度を取得しない。第３検出部１６は、ステップＳ４０９の結果を記録した検出情報４３Ａを生成し、その生成した検出情報４３Ａを結果選択部１７に出力する。検出情報４３Ａは、第３移動物の信頼度を記録しない点を除き、図８に示す検出情報４２Ａと同様の内容を記録する。
The
［４．４．検出情報選択処理（ステップＳ１５）］
図９は、図５に示す検出情報選択処理（ステップＳ１５）のフローチャートである。図９を参照しながら、検出情報選択処理（ステップＳ１５）について詳しく説明する。結果選択部１７は、検出情報４１Ａ～４３Ａを取得した場合、図９に示す処理を開始する。
[4.4. Detection information selection process (step S15)]
FIG. 9 is a flow chart of the detection information selection process (step S15) shown in FIG. The detection information selection process (step S15) will be described in detail with reference to FIG. The
結果選択部１７は、検出情報４１Ａ及び４２Ａを参照して、第１移動物及び第２移動物のうちいずれか一方のみが検出されたか否かを判断する（ステップＳ５０１）。
The
例えば、検出情報４１Ａが、未検出メッセージを含み、かつ、検出情報４２Ａが、第２移動物の位置を記録している場合、結果選択部１７は、第２移動物のみが検出されたと判断する(ステップＳ５０１においてＹｅｓ)。この場合、結果選択部１７は、後述するステップＳ５０２を実行する。検出情報４１Ａ及び４２Ａが移動物の位置を記録している場合、あるいは、検出情報４１Ａ及び４２が未検出メッセージを記録している場合（ステップＳ５０１においてＮｏ）、結果選択部１７は、後述するステップＳ５０６を実行する。
For example, when the
ステップＳ５０２において、結果選択部１７は、検出情報４１Ａ及び４２Ａのうち、移動物の位置が記録された検出情報を特定する。結果選択部１７は、特定した検出情報に記録された信頼度が予め設定された基準値よりも高いか否かを判断する（ステップＳ５０３）。
In step S502, the
特定した検出情報に記録された信頼度が基準値以下である場合（ステップＳ５０３においてＮｏ）、結果選択部１７は、検出情報を選択しないことを決定する（ステップＳ５０５）。移動物ではない物体が、誤って移動物と判断された可能性が高いためである。結果選択部１７は、未検出メッセージを含む通知対象情報４５を結果出力部１８に出力する。
If the reliability recorded in the specified detection information is equal to or lower than the reference value (No in step S503), the
特定した検出情報に記録された信頼度が基準値よりも高い場合（ステップＳ５０３においてＹｅｓ）、結果選択部１７は、特定した検出情報を選択する（ステップＳ５０４）。結果選択部１７は、ステップＳ５０４で選択された検出情報を含む通知対象情報４５を結果出力部１８に出力する。
If the reliability recorded in the specified detection information is higher than the reference value (Yes in step S503), the
ステップＳ５０６において、結果選択部１７は、検出情報４１Ａ及び検出情報４２Ａに基づいて、第１移動物及び第２移動物が検出されたか否かを判断する。
In step S506, the
検出情報４１Ａ及び４２が未検出メッセージを含む場合、結果選択部１７は、第１移動物及び第２移動物が検出されなかったと判断する（ステップＳ５０６においてＮｏ）。結果選択部１７は、検出情報を選択しないことを決定する（ステップＳ５１４）。結果選択部１７は、未検出メッセージを含む通知対象情報４５を結果出力部１８に出力する。
When the
検出情報４１Ａ及び４２が移動物の位置を記録している場合、結果選択部１７は、第１移動物及び第２移動物が検出されたと判断する（ステップＳ５０６においてＹｅｓ）。結果選択部１７は、検出情報４１Ａに記録された第１信頼度と検出情報４２Ａに記録された第２信頼度との各々を基準値と比較する（ステップＳ５０７）。
When the
第１信頼度及び第２信頼度の少なくとも一方が基準値以下である場合（ステップＳ５０７においてＮｏ）、結果選択部１７は、ステップＳ５１１に進む。ステップＳ５１１については、後述する。
If at least one of the first reliability and the second reliability is equal to or less than the reference value (No in step S507), the
第１信頼度及び第２信頼度の両者が基準値よりも大きい場合（ステップＳ５０７においてＹｅｓ）、判断部１４が、第１移動物が第２移動物と同じ物体であるか否かを判断する（ステップＳ５０８）。
If both the first reliability and the second reliability are greater than the reference value (Yes in step S507), the
具体的には、判断部１４が、最初に、検出情報４１Ａに記録されている第１移動物の位置を、ワールド座標系における位置に変換する。第１移動物の位置は、検出情報４１Ａにおいて、前方画像３１における画素座標系に従って記述されている。判断部１４は、ワールド座標系と前方画像３１の画素座標系との対応関係を示すテーブルを用いて、ワールド座標系における第１移動物の位置を特定する。同様に、判断部１４は、ワールド座標系と右方画像３２の画素座標系との対応関係を示すテーブルを用いて、ワールド座標系における第２移動物の位置を特定する。
Specifically, the
判断部１４は、次に、ワールド座標系における第１移動物から第２移動物までの距離を算出し、算出した距離を予め設定された同一判断距離と比較する。同一判断距離は、第１移動物が第２移動物と同一物体であるとみなすことができる距離である。算出した距離が同一判断距離以下である場合、判断部１４は、第１移動物が第２移動物を同じ物体であると判断する（ステップＳ５０８においてＹｅｓ）。算出した距離が同一判断距離よりも大きい場合、判断部１４は、第１移動物と第２移動物とは互いに異なる物体であると判断する（ステップＳ５０８においてＮｏ）。判断部１４は、第１移動物が第２移動物と同じ物体であるか否かを示す同一判断情報４４を結果選択部１７に出力する。
Next, the
同一判断情報４４が、第１移動物と第２移動物とが異なる物体であることを示す場合（ステップＳ５０８においてＮｏ）、結果選択部１７は、第１移動物及び第２移動物の各々が高い精度で検出されているため、第１移動物及び第２移動物の両者の存在を運転者に通知する必要があると判断する。結果選択部１７は、検出情報４１Ａ及び４２Ａを選択する（ステップＳ５１０）。結果選択部１７は、検出情報４１Ａ及び４２Ａを含む通知対象情報４５を結果出力部１８に出力する。
If the
同一判断情報４４が、第１移動物と第２移動物とが同じ物体であることを示している場合（ステップＳ５０８においてＹｅｓ）、結果選択部１７は、検出情報４１Ａ及び４２Ａのうち、信頼度の高い検出情報を選択する（ステップＳ５０９）。より検出精度の高い検出結果を用いて、移動物の存在を運転者に通知するためである。
If the
図１０を参照して、第１信頼度及び第２信頼度の両者が基準値よりも大きい場合の例を説明する。図１０は、図１に示す車両１００の周囲を移動する移動物の位置の一例を示す図である。図１０に示す車両１００の位置は、図５に示す時刻ｔ１の位置に対応する。撮影領域２１Ｓは、フロントカメラ２１が被写体を撮影できる範囲である。撮影領域２２Ｓは、右サイドカメラ２２が被写体を撮影できる範囲である。
An example in which both the first reliability and the second reliability are greater than the reference value will be described with reference to FIG. FIG. 10 is a diagram showing an example of positions of moving objects moving around the
第１移動物が位置Ｐ１において移動中であり、自転車２５（第２移動物）が位置Ｐ３を交差点Ｐに向かって移動中であると仮定する。位置Ｐ１は、撮影領域２１Ｓ内にある。前方画像３１に含まれる第１移動物は、前方画像３１の中心に比較的近いと仮定する。位置Ｐ３は、撮影領域２２Ｓ内にある。右方画像３２に含まれる自転車２５が右方画像３２の中心に比較的近いと仮定する。この結果、第１移動物の検出精度を示す第１信頼度と、自転車２５（第２移動物）の検出精度を示す第２信頼度とは、基準値よりも高くなる（図５に示すステップＳ５０７においてＹｅｓ）。
Assume that the first moving object is moving at position P1 and the bicycle 25 (second moving object) is moving at position P3 toward intersection P. The position P1 is within the
位置Ｐ１から位置Ｐ３までの距離Ｄ１３が同一判断距離以上であるため、位置Ｐ１における第１移動物は、位置Ｐ２における自転車２５（第２移動物）と異なる物体（ステップＳ５０８においてＹｅｓ）。従って、移動物検出装置１０は、位置Ｐ１における第１移動物と、位置Ｐ３における自転車２５との存在を運転者に通知する。
Since the distance D13 from the position P1 to the position P3 is equal to or greater than the same judgment distance, the first moving object at the position P1 is different from the bicycle 25 (second moving object) at the position P2 (Yes in step S508). Therefore, the moving
図１０を参照して、第１移動物が第２移動物と同一物体である場合の例を説明する。自転車２５が、図１０に示す位置Ｐ２を交差点Ｐに向かって移動している。位置Ｐ２は、撮影領域２１Ｓ及び２２Ｐの各々に含まれる。従って、自転車２５が位置Ｐ２を走行している場合、自転車２５は、第１検出部１２により第１移動物として検出され、第２検出部１３により第２移動物として検出される。
An example in which the first moving object is the same object as the second moving object will be described with reference to FIG. A
第１信頼度及び第２信頼度が基準値より高く（ステップＳ５０７においてＹｅｓ）、かつ、第１移動物から第２移動物までの距離が同一判断距離よりも短い（ステップＳ５０８においてＹｅｓ）と仮定する。この場合、判断部１４は、第２信頼度を記録した検出情報４２Ａを選択する（ステップＳ５０９）。位置Ｐ２は、フロントカメラ２１の光軸２１Ｋよりも右サイドカメラ２２の光軸２２Ｋに近いことから、第２移動物が、第１移動物よりも画像の中心に近くに位置すると考えられるためである。
Assume that the first reliability and the second reliability are higher than the reference value (Yes in step S507) and the distance from the first moving object to the second moving object is shorter than the same judgment distance (Yes in step S508) do. In this case, the
ステップＳ５１１について説明する。第１信頼度及び第２信頼度の両者が基準値よりも低い場合（ステップＳ５１１においてＮｏ）、結果選択部１７は、検出情報を選択しないことを決定する（ステップＳ５１４）。結果選択部１７は、未検出メッセージを含む通知対象情報４５を結果出力部１８に出力する。つまり、第１移動物及び第２移動物の両者の検出精度が低い場合、移動物の存在が運転者に通知されない。これにより、誤った移動物の検出情報を運転者に通知することを防ぐことができる。
Step S511 will be described. If both the first reliability and the second reliability are lower than the reference value (No in step S511), the
第１信頼度及び第２信頼度のうち、一方が基準値よりも高く、他方が基準値以下である場合（ステップＳ５１１においてＹｅｓ）、結果選択部１７は、俯瞰画像４３から検出された第３移動物を示す検出情報４３Ａを選択することを決定する（ステップＳ５１２）。
If one of the first reliability and the second reliability is higher than the reference value and the other is equal to or lower than the reference value (Yes in step S511), the
このように、第１移動物及び第２移動物の一方の信頼度が基準値以下である場合、移動物検出装置１０は、俯瞰画像４３の検出結果を選択することにより、誤った検出結果を運転者に通知することを防ぐことができる。以下、詳しく説明する。
As described above, when the reliability of one of the first moving object and the second moving object is equal to or less than the reference value, the moving
最初に、第１移動物及び第２移動物の一方の信頼度が基準値以下である場合に、ステップＳ５０８と同様の同一物体判断を行うことにより発生する問題点を説明する。 First, a problem caused by performing the same object determination as in step S508 when the reliability of one of the first moving object and the second moving object is lower than the reference value will be described.
図１１は、前方画像３１において俯瞰画像の生成に用いられる領域の一例を示す図である。自転車２５が図１０に示す位置Ｐ３を走行している場合、前方画像３１は、図１１に示すように、自転車２５の全体ではなく、自転車２５の前輪を含む。前方画像３１において、自転車２５の前輪は、前方画像３１の右下端部に位置しており、前方画像３１の中心から離れている。従って、前方画像３１から検出される自転車２５の第１信頼度は、基準値よりも低くなる。
FIG. 11 is a diagram showing an example of a region in the
図１２は、右方画像３２において俯瞰画像の生成に用いられる領域の一例を示す図である。自転車２５が図１０に示す位置Ｐ３を走行している場合、右方画像２５は、図１２に示すように、自転車２５の全体を含む。図１２に示す右方画像３２において、自転車２５は、右方画像３２の中心Ｃに近い。従って、右方画像３２から検出される自転車２５の第２信頼度は、基準値よりも高い。
FIG. 12 is a diagram showing an example of a region in the
第１移動物及び第２移動物の一方の信頼度が基準値よりも低い場合、第１移動物が第２移動物と同一物体であるか否かの判断精度が、後述するように低くなる。この結果、図１１及び図１２の各々に示す自転車２５が、互いに異なる物体であると誤判断される可能性が高くなる。
When the reliability of one of the first moving object and the second moving object is lower than the reference value, the accuracy of determining whether the first moving object is the same object as the second moving object decreases as described later. . As a result, there is a high possibility that the
第１移動物が第２移動物と同一物体であるか否かの判断精度が低下する理由を説明する。撮影画像の１画素あたりの距離は、画素が撮影画像の中心から離れるにつれて大きくなる。つまり、移動物が撮影画像の中心から離れるにつれて、移動物の信頼度が低下し、かつ、ワールド座標系における移動物の位置精度が低下する。ワールド座標系における移動物の位置精度が低下した場合、第１移動物から第２移動物までの距離の精度が低下する。この結果、第１移動物及び第２移動物のうち一方の信頼度が基準値を下回る場合、第１移動物が第２移動物と同一の物体であるか否かの判断精度が低下する。 The reason why the accuracy of determining whether the first moving object is the same object as the second moving object is lowered will be explained. The distance per pixel of the captured image increases as the pixel moves away from the center of the captured image. That is, as the moving object moves away from the center of the captured image, the reliability of the moving object decreases, and the positional accuracy of the moving object in the world coordinate system decreases. When the positional accuracy of the moving object in the world coordinate system decreases, the accuracy of the distance from the first moving object to the second moving object decreases. As a result, when the reliability of one of the first moving object and the second moving object is lower than the reference value, the accuracy of determining whether the first moving object is the same object as the second moving object decreases.
これに対して、移動物検出装置１０は、俯瞰画像４３を用いることにより、基準値以下の信頼度を有する移動物を検出することを防ぐことができる。俯瞰画像４３は、４つの撮影画像から生成された４つの視点変換画像を合成することにより生成される。俯瞰画像生成部１５は、４つの視点変換画像を合成する際に、４つの視点変換画像の各々に設定された指定領域の画像を、４つの視点変換画像の各々から切り出す。
On the other hand, the moving
図１１を参照して、指定領域２１Ｔは、前方画像３１に描かれた１点鎖線よりも内側の領域である。図１１において、自転車２５の前輪は、指定領域２１Ｔよりも外に位置する。従って、俯瞰画像４３は、前方画像３１に由来する自転車２５を含まない。
Referring to FIG. 11 , designated
図１２を参照して、指定領域２２Ｔは、右方画像３２に描かれた１点鎖線よりも内側の領域である。図１２に示す右方画像３２において、自転車２５の全体は、指定領域２２Ｔの中に位置する。従って、俯瞰画像４３は、右方画像３２に由来する自転車２５の全体を含む。
Referring to FIG. 12 , designated
図１３は、図１１に示す前方画像３１及び図１２に示す右方画像３２を用いて生成された俯瞰画像４３の一例を示す図である。図１３は、図４に示す俯瞰画像４３の拡大図に相当する。図１３を参照して、前方画像３１に含まれる自転車２５の前輪は、俯瞰画像４３に表れない。右方画像３２に含まれる自転車２５の全体は、俯瞰画像４３に含まれる。つまり、俯瞰画像４３を用いることにより、信頼度が基準値以下となる移動物が検出されることを防ぐことできる。第１移動物及び第２移動物の一方の信頼度が基準値以下である場合において、移動物検出装置１０は、移動物の存在を誤って通知することを防ぐことができる。
FIG. 13 is a diagram showing an example of a bird's-
図９の説明に戻る。第１信頼度及び第２信頼度の一方が基準値以下である場合（ステップＳ５１１においてＹｅｓ）、結果選択部１７は、俯瞰画像４３から検出された第３移動物の検出結果を示す検出情報４３Ａを選択する。その後、結果選択部１７は、基準値以下である信頼度を有する移動物が検出された撮影画像に検出領域を設定する（ステップＳ５１３）。
Returning to the description of FIG. If one of the first reliability and the second reliability is equal to or less than the reference value (Yes in step S511), the
具体的には、結果選択部１７は、基準値よりも大きい信頼度を有する移動物の検出情報に基づいて、検出領域を設定する。以下、詳しく説明する。検出領域の設定の説明において、基準値よりも大きい信頼度を有する移動物を「基準移動物」と記載する。基準値以下である信頼度を有する移動物が検出された撮影画像を「対象画像」と記載する。
Specifically, the
結果選択部１７は、基準移動物の検出情報に記録されたベクトルを、ワールド座標系のベクトルに変換する。結果選択部１７は、変換されたベクトルに基づいて、新たに取得される対象画像において、基準移動物が検出されるであろう予測位置を取得する。
The
例えば、図１０を参照して、自転車２５が位置Ｐ３を走行していると仮定する。この場合、対象画像は、前方画像３１である。対象移動物は、右方画像３２から検出された自転車２５である。結果選択部１７は、検出情報４２Ａに記録されたベクトル２５Ｖを、ワールド座標系のベクトル２５Ｖｗに変換する。結果選択部１７は、ベクトル２５Ｖｗの起点が位置Ｐ３となるようにベクトル２５Ｖｗを移動させる。移動後のベクトル２５が示す位置を、自転車２５の予測位置として決定する。予測位置が位置Ｐ２である場合、結果選択部１７は、位置Ｐ２に対応する前方画像３１の画素を特定し、特定した画素を含む領域を、前方画像３１の検出領域に設定する。検出領域のサイズは、前方画像３１のサイズよりも小さければ、特に限定されない。なお、検出領域を設定するか否かは、フレームごとに決定されることが望ましい。移動物の移動方向を示すベクトル２５Ｖが移動物の実際の動きに応じて変化することに伴い、予測位置も変動するためである。
For example, referring to FIG. 10, assume
この結果、移動物検出装置１０は、前方画像３１を新たに取得した場合、前方画像３１の全体ではなく、前方画像３１のうち検出領域２２Ｌから移動物を検出する。これにより、移動物を検出する負荷を低減できる。また、信頼度の高い移動物の検出結果に基づいて、信頼度の低い移動物が検出された撮影画像に検出領域を設定することにより、前方画像３１における移動物の検出精度を低減することができる。
As a result, when the
［４．５．結果画像生成処理（ステップＳ１６）］
図１４は、図５に示す結果画像生成処理（ステップＳ１６）のフローチャートである。図１４を参照しながら、結果出力部１８が結果画像５０を生成する動作を説明する。
[4.5. Result image generation processing (step S16)]
FIG. 14 is a flow chart of the result image generation process (step S16) shown in FIG. The operation of generating the
結果出力部１８は、通知対象情報４５を結果選択部１７から受けた場合、図１４に示す処理を開始する。結果出力部１８は、受けた通知対象情報４５に基づいて、移動物が検出されたか否かを判断する（ステップＳ６０１）。
When receiving the
通知対象情報４５が未検出メッセージを含む場合（ステップＳ６０１においてＮｏ）、結果出力部１８は、結果出力部１８から前方画像３１を取得し、その取得した前方画像３１を結果画像５０として出力する（ステップＳ６０８）。この場合、結果出力部１８は、車両１００の周囲の確認を促すメッセージを付した前方画像３１を、結果画像５０として出力してもよい。すなわち、結果出力部１８が、ステップＳ６０８において、前方画像３１に対して所定の画像処理を施してもよい。
通知対象情報４５が検出情報を含む場合、結果出力部１８は、移動物が検出されたと判断する（ステップＳ６０１においてＹｅｓ）。結果出力部１８は、俯瞰画像４３から検出された移動物を示す検出情報４３Ａが通知対象情報４５に含まれているか否かを判断する
（ステップＳ６０２）。
通知対象情報４５が検出情報４３Ａを含む場合（ステップＳ６０２においてＹｅｓ）、結果出力部１８は、結果画像５０の生成に用いる画像として俯瞰画像４３を選択する（ステップＳ６０３）。この場合、移動物が、フロントカメラ２１の撮影領域２１Ｓと右サイドカメラ２２の撮影領域２２Ｓとが重複する領域内に位置しているため、車両１００のピラーなどにより形成される死角を移動する可能性がある。結果出力部１８は、結果画像５０の生成に用いることにより、運転者の死角に位置する移動物を運転者に通知できる。また、また、結果出力部１８は、結果画像５０の生成に用いることにより、運転者が車両１００と移動物との位置関係を直感的に把握できる。
If the
If the
If the
結果出力部１８は、ステップＳ６０３で選択された俯瞰画像４３において、検出情報４３Ａに記録された第３移動物を強調する（ステップＳ６０４）。例えば、俯瞰画像４３に含まれる第３移動物が、赤枠で囲まれることにより、第３移動物が強調される。結果出力部１８は、ステップＳ６０４により生成された結果画像５０を表示装置５に出力し（ステップＳ６０５）、図１４に示す処理を終了する。
The
ステップＳ６０２の説明に戻る。通知対象情報４５が検出情報４３Ａを含まない場合（ステップＳ６０２においてＮｏ）、結果出力部１８は、右方画像３２から検出された移動物を示す検出情報４２Ａが通知対象情報４５に含まれるか否かを判断する（ステップＳ６０６）。
Returning to the description of step S602. When the
通知対象情報４５が検出情報４２Ａを含む場合（ステップＳ６０６においてＹｅｓ）、結果出力部１８は、結果画像５０の生成に用いる画像として、俯瞰画像４３を選択する（ステップＳ６０３）。この場合、移動物が車両１００の右方を移動している。右方画像３２を結果画像５０として用いた場合、運転者は、移動物と車両１００との位置関係を直感的に判断することは難しい。結果画像５０が俯瞰画像４３から生成されることにより、運転者は、移動物と車両１００との位置関係を直感的に把握することができる。
If the
通知対象情報４５が検出情報４２Ａを含まない場合（ステップＳ６０６においてＮｏ）、前方画像３１から検出された移動物を示す検出情報４１Ａのみが通知対象情報４５に含まれる。この場合、結果出力部１８は、結果画像５０の生成に用いる画像として、前方画像３１を選択する（ステップＳ６０７）。この場合、結果出力部１８は、運転者から見える景色と同様の景色を撮影した前方画像３１を結果画像５０の生成に用いる。運転席から見た景色とほぼ同じ景色を示す撮影画像において移動物が強調されるため、運転者は、移動物の存在を容易に把握できる。
When the
なお、車両１００が左折する場合、移動物検出装置１０は、フロントカメラ２１及び左サイドカメラ２４を選択する。前方画像３１が第１画像４１に対応し、左方画像３４が第２画像４２に対応する。この場合における移動物検出装置１０の動作は、上記と同様であるため、その説明を省略する。
Note that when the
以上説明したように、移動物検出装置１０は、第１画像４１から検出された第１移動物の信頼度と第２画像４２から検出された第２移動物の信頼度とに基づいて、第１画像４１と第２画像４２と俯瞰画像４３とのうち少なくとも１つの画像から得られた移動物の検出結果を選択する。移動物検出装置１０は、移動物の検出状況に応じて検出結果を選択できるため、移動物の検出精度を向上させることができる。
As described above, the moving
［変形例１］
上記実施の形態では、移動物検出装置１０が、第１移動物の検出精度を示す第１信頼度と第２移動物の検出精度を示す第２信頼度とに基づいて、検出情報を選択する例を説明したが、これに限られない。移動物検出装置１０は、重み付けされた第１信頼度及び第２信頼度に基づいて、検出情報を選択してもよい。
[Modification 1]
In the above embodiment, the moving
図１５は、図１に示す第１検出部１２及び第２検出部１３により取得される第１信頼度及び第２信頼度の時間変化の一例を示す図である。図１５を参照して、第１信頼度５１は、時刻Ｔａから時刻Ｔｆの期間において単調減少する。第２信頼度５２は、時刻Ｔｂから時刻Ｔｇまでの期間において単調増加する。
FIG. 15 is a diagram showing an example of temporal changes in the first reliability and the second reliability obtained by the
第１信頼度５１及び第２信頼度５２が図１５に示すように変化する場合、結果選択部１７は、図１５に示す基準値Ｔｈを用いて、以下のように検出情報を選択する。すなわち、時刻Ｔａから時刻Ｔｂまでの期間Ａ１と、時刻Ｔｃから時刻Ｔｄまでの期間Ｃ１において、結果選択部１７は、検出情報４２Ａを選択する。時刻Ｔｂから時刻Ｔｃまでの期間Ｂ１と、時刻Ｔｅから時刻Ｔｆまでの期間Ｅ１において、結果選択部１７は、検出情報４３Ａを選択する。時刻Ｔｄから時刻Ｔｅまでの期間Ｄ１と、時刻Ｔｆから時刻Ｔｇまでの期間Ｆ１において、結果選択部１７は、検出情報４１Ａを選択する。
When the
図１６は、第１信頼度及び第２信頼度のうち第２信頼度を重み付けした場合における、第１信頼度及び第２信頼度の時間変化の一例を示す図である。図１６に示す第１信頼度５１は、図１５に示す第１信頼度５１と同じである。図１６に示す第２信頼度５２Ａは、図１５に示す第２信頼度５２に、１よりも小さい係数を乗じることにより重み付けすることにより算出される。具体的には、結果選択部１７は、単調増加する信頼度に１よりも小さい係数を乗じる。単調減少する信頼度は、重み付けされない。
FIG. 16 is a diagram illustrating an example of temporal changes in the first reliability and the second reliability when the second reliability is weighted among the first reliability and the second reliability. The
第２信頼度５２が図１６に示すように重み付けされた場合、結果選択部１７は、基準値Ｔｈを用いて、以下のように検出情報を選択する。すなわち、時刻Ｔａから時刻Ｔｂまでの期間Ａ２において、結果選択部１７は、検出情報４２Ａを選択する。時刻Ｔｂから時刻Ｔｆまでの期間Ｂ２において、結果選択部１７は、検出情報４３Ａを選択する。時刻Ｔｆから時刻Ｔｇまでの期間Ｃ２において、結果選択部１７は、検出情報４１Ａを選択する。
When the
このように信頼度を重み付けすることにより、移動物検出装置１０は、ステップＳ５において選択される検出情報の変更回数を削減することができる。結果画像５０の生成に用いられる画像の変更回数が削減されるため、表示装置５において、前方画像３１と俯瞰画像４３との切換が頻繁に発生することを防ぐことができる。
By weighting the reliability in this way, the moving
なお、結果選択部１７は、単調増加する信頼度に１よりも大きい係数を乗ずることにより、信頼度を重み付けしてもよい。この場合であっても、移動物検出装置１０は、選択される検出情報の変更回数を削減することができる。
Note that the
［変形例２］
上記実施の形態では、車両１００が右折又は左折をする場合に移動物検出装置１０が移動物を検出する例を説明したが、これに限られない。移動物検出装置１０は、車両１００が駐車場を走行している時に移動物を検出してもよい。
[Modification 2]
In the above embodiment, an example in which the moving
移動物検出装置１０は、前方画像３１を用いて、車両１００が駐車場を走行しているか否かを判断する。移動物検出装置１０は、予め設定された駐車場の白線のパターンを前方画像３１から検出した場合、車両１００が駐車場を走行していると判断する。あるいは、移動物検出装置１０は、駐車場の位置が設定された地図情報と、図示しないＧＰＳ装置から取得した現在位置とに基づいて、車両１００が駐車場を走行しているか否かを判断してもよい。
The moving
移動物検出装置１０は、車両１００が駐車場を走行していると判断した場合、撮影領域が重複する２つのカメラを所定の順番で選択することにより、移動物を検出する。例えば、後述する第１～第４の組み合わせが所定の順序に従って選択される。第１の組み合わせは、フロントカメラ２１及び右サイドカメラ２２である。第２の組み合わせは、右サイドカメラ２２及びリアカメラ２３である。第３の組み合わせは、リアカメラ２３及び左サイドカメラ２４である。第４の組み合わせは、左サイドカメラ２４及びフロントカメラ２１である。
When the moving
移動物検出装置１０は、選択した２つのカメラにより撮影された２つの撮影画像から移動物を検出し、移動物の検出結果に基づいて検出情報を選択すればよい。移動物検出装置１０は、車両１００が駐車場を走行している場合、選択された検出情報に基づいて、俯瞰画像４３を用いて結果画像５０を生成する。これにより、移動物検出装置１０は、車両１００が駐車場を走行する場合において、車両１００の周囲を移動する移動物を検出することができる。
The moving
［変形例３］
上記実施の形態において、移動物検出装置１０は、移動物が検出された撮影画像に基づいて、結果画像５０の生成に用いる撮影画像を変更する例を説明したがこれに限られない。例えば、移動物検出装置１０は、移動物が検出された撮影画像に関係なく、俯瞰画像４３を用いて結果画像５０を生成してもよい。
[Modification 3]
In the above-described embodiment, the moving
［変形例４］
上記実施の形態において、移動物検出装置１０が撮影画像を用いて結果画像５０を生成する例を説明したが、これに限られない。結果画像５０が通知対象情報４５を用いて移動物の存在を通知することができれば、移動物の存在を通知する方法は特定に限定されない。
[Modification 4]
In the above embodiment, an example in which the moving
［その他の変形例］
上記実施の形態において、車両１００が右折又は左折する場合、あるいは、車両１００が駐車場を走行する場合に、移動物の検出を開始する例を説明した。しかし、移動物検出装置は、車両１００の移動状況が所定の条件を満たす場合に、移動物の検出を開始してもよい。所定の条件は、上記実施の形態の他に、車両１００のスピードが所定の検出開始速度よりも遅いことである。所定の検出開始速度は、例えば、２０ｋｍ／ｈである。このように、車両の移動状況に応じて移動物の検出を開始することにより、移動物の検出負荷が恒常的に高くなることを抑制できる。
[Other Modifications]
In the above-described embodiment, an example has been described in which detection of a moving object is started when
上記実施の形態において、挙動特定部１９が、横断歩道の検出及びウィンカーの点滅指示に基づいて、車両１００が交差点で右折又は左折すると判断する例を説明したが、これに限られない。例えば、挙動特定部１９は、車両１００に搭載されたカーナビゲーション装置から取得した車両１００の走行ルートに基づいて、車両１００が右折又は左折をすると判断してもよい。走行ルートは、車両１００が右折又は左折をする交差点を指定する情報を含む。挙動特定部１９は、車両１００の現在位置と取得した走行ルートとに基づいて、車両１００の現在位置から、右折又は左折が指定された交差点までの距離を算出する。挙動特定部１９は、算出した距離が所定距離以下である場合、車両１００が右折又は左折すると判断すればよい。
In the above-described embodiment, an example has been described in which the
あるいは、挙動特定部１９は、前方撮影画像３１Ａを用いて車両１００が走行する車線を特定し、特定した車線に基づいて車両１００が右折又は左折をする交差点に進入するか否かを判断してもよい。挙動特定部１９は、右折専用レーンを前方撮影画像３１Ａから検出した場合に、車両１００が右折すると判断する。挙動特定部１９は、左折専用レーンを前方撮影画像３１Ａから検出した場合に、車両１００が左折すると判断する。
Alternatively, the
あるいは、挙動特定部１９は、左ウィンカー７Ｌ又は右ウィンカー７Ｒのいずれか一方が点滅した場合に、初期検出画像２１Ａから移動物を検出する処理を開始してもよい。左ウィンカー７Ｌが点滅している場合、左方撮影画像３２Ａが初期検出画像２１Ａとして選択される。右ウィンカー７Ｒが点滅している場合、右方画像３４が初期検出画像２１Ａとして選択される。
Alternatively, the
上記実施の形態において、移動物検出装置１０が挙動特定部１９を備える例を説明したが、これに限られない。移動物検出装置は、挙動特定部１９を備えなくてもよい。つまり、移動物検出装置１０は、車両１００の挙動に関係なく、移動物を検出してもよい。
In the above embodiment, an example in which the moving
また、上記実施の形態で説明した移動物検出装置１０において、各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
Further, in the moving
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。 Although LSI is used here, it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。 Further, the method of circuit integration is not limited to LSI, and may be implemented by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure connections and settings of circuit cells inside the LSI may be used.
また、上記各実施の形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。 Also, part or all of the processing of each functional block in each of the above embodiments may be implemented by a program. Part or all of the processing of each functional block in each of the above embodiments is performed by a central processing unit (CPU) in a computer. A program for performing each process is stored in a storage device such as a hard disk or ROM, and is read from the ROM or RAM and executed.
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。 Further, each process of the above embodiment may be realized by hardware, or may be realized by software (including cases where it is realized together with an OS (operating system), middleware, or a predetermined library). . Furthermore, it may be realized by mixed processing of software and hardware.
例えば、上記実施の形態（変形例を含む）の各機能ブロックを、ソフトウェアにより実現する場合、図１７に示したハードウェア構成（例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。 For example, when the functional blocks of the above embodiments (including modifications) are implemented by software, the hardware configuration shown in FIG. Each functional unit may be realized by software processing using a hardware configuration connected by
また、上記実施の形態における処理方法の実行順序は、必ずしも、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。 Also, the execution order of the processing methods in the above embodiment is not necessarily limited to the description of the above embodiment, and the execution order can be changed without departing from the gist of the invention.
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。 A computer program that causes a computer to execute the method described above and a computer-readable recording medium that records the program are included in the scope of the present invention. Examples of computer-readable recording media include flexible disks, hard disks, CD-ROMs, MOs, DVDs, DVD-ROMs, DVD-RAMs, large-capacity DVDs, next-generation DVDs, and semiconductor memories. .
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。 The computer program is not limited to being recorded on the recording medium, and may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, or the like.
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。 Although the embodiments of the present invention have been described above, the above-described embodiments are merely examples for carrying out the present invention. Therefore, the present invention is not limited to the above-described embodiment, and can be implemented by appropriately modifying the above-described embodiment without departing from the spirit of the present invention.
１０ 移動物検出装置
１１ 画像選択部
１２ 第１検出部
１３ 第２検出部
１４ 判断部
１５ 俯瞰画像生成部
１６ 第３検出部
１７ 結果選択部
１８ 結果出力部
10 moving object detection device 11
Claims (7)
前記第１カメラにより生成された第１画像から第１移動物を検出し、検出された第１移動物の検出精度を示す第１信頼度を前記第１画像における第１移動物の位置に基づいて取得する第１検出部と、
前記第２カメラにより生成された第２画像から第２移動物を検出し、検出された第２移動物の検出精度を示す第２信頼度を前記第２画像における第２移動物の位置に基づいて取得する第２検出部と、
前記第１画像及び第２画像に含まれる各画素を予め設定された仮想投影面に投影することにより、所定の仮想視点から前記車両を俯瞰した俯瞰画像を生成する俯瞰画像生成部と、
前記俯瞰画像から第３移動物を検出する第３検出部と、
前記第１信頼度と前記第２信頼度とに基づいて、前記検出された第１移動物を示す第１検出情報と、前記検出された第２移動物を示す第２検出情報と、前記第３検出部により検出された第３移動物を示す第３検出情報とのうち少なくとも１つを選択する結果選択部と、
前記選択された検出情報を出力する出力部と、を備える移動物検出装置。 A moving object detection device that detects a moving object moving around a vehicle by using images generated by a first camera and a second camera that are mounted on a vehicle and that partially overlap each other in their photographing areas. There is
A first moving object is detected from a first image generated by the first camera, and a first reliability indicating detection accuracy of the detected first moving object is based on a position of the first moving object in the first image. a first detection unit obtained by
detecting a second moving object from a second image generated by the second camera, and determining a second reliability indicating detection accuracy of the detected second moving object based on the position of the second moving object in the second image; a second detection unit that acquires
a bird's-eye view image generator that generates a bird's-eye view image of the vehicle from a predetermined virtual viewpoint by projecting each pixel included in the first image and the second image onto a preset virtual projection plane;
a third detection unit that detects a third moving object from the bird's-eye view image;
First detection information indicating the detected first moving object, second detection information indicating the detected second moving object, and the second detection information indicating the detected second moving object, based on the first reliability and the second reliability. a result selection unit that selects at least one of third detection information indicating a third moving object detected by the three detection units;
and an output unit that outputs the selected detection information.
前記第１信頼度及び前記第２信頼度のうち一方の信頼度が予め設定された基準値よりも高く、かつ、他方の信頼度が前記基準値以下である場合、前記結果選択部は第３検出情報を選択する、移動物検出装置。 The moving object detection device according to claim 1,
When one of the first reliability and the second reliability is higher than a preset reference value and the other reliability is equal to or less than the reference value, the result selection unit performs a third A moving object detection device that selects detection information.
前記第１信頼度及び前記第２信頼度が予め設定された基準値よりも高い場合、前記検出された第１移動物が前記検出された同一物体であるか否かを判断する判断部、を備え、
前記判断部が、前記検出された第１移動物が前記検出された第２移動物と同一物体であると判断した場合、前記結果選択部は、前記第１信頼度及び第２信頼度のうち高い信頼度に対応する移動物の検出情報を選択する、移動物検出装置。 The moving object detection device according to claim 1 or 2, further comprising:
a determination unit that determines whether the detected first moving object is the same detected object when the first reliability and the second reliability are higher than a preset reference value; prepared,
If the determination unit determines that the detected first moving object is the same object as the detected second moving object, the result selection unit selects A moving object detection device for selecting moving object detection information corresponding to high reliability.
前記判断部が、前記検出された第１移動物が前記検出された第２移動物と異なる物体であると判断した場合、前記結果選択部は、前記第１検出情報及び第２検出情報を選択する、移動物検出装置。 The moving object detection device according to claim 3,
When the determination unit determines that the detected first moving object is an object different from the detected second moving object, the result selection unit selects the first detection information and the second detection information. , a moving object detection device.
前記結果選択部は、前記第１信頼度の変化量に基づいて前記第１信頼度を重み付けし、重み付けされた第１信頼度と前記第２検出部により取得された第２信頼度とに基づいて第１検出情報と前記第２検出情報と前記第３検出情報とのうち少なくとも１つを選択する、移動物検出装置。 The moving object detection device according to any one of claims 1 to 4,
The result selection unit weights the first reliability based on the amount of change in the first reliability, and based on the weighted first reliability and the second reliability acquired by the second detection unit a moving object detection device that selects at least one of the first detection information, the second detection information, and the third detection information.
前記第１検出部は、前記第１画像から前記第１移動物を検出した場合、前記第１画像における前記第１移動物の移動方向を特定し、
前記第２検出部は、前記第２画像から前記第２移動物を検出した場合、前記第２画像における前記第２移動物の移動方向を特定し、
前記第１信頼度及び前記第２信頼度のうち一方の信頼度が予め設定された基準値よりも高く、かつ、他方の信頼度が前記基準値以下である場合、前記結果選択部は、前記一方の信頼度に対応する移動物の移動方向に基づいて、前記第１画像及び前記第２画像のうち前記他方の信頼度に対応する移動物が検出された画像に検出領域を設定し、
前記第１検出部又は前記第２検出部は、前記検出領域が設定された画像を新たに取得した場合、新たに取得した画像のうち検出領域の画像から移動物を検出する、移動物検出装置。 The moving object detection device according to claim 1,
When the first moving object is detected from the first image, the first detecting unit identifies a moving direction of the first moving object in the first image,
When the second moving object is detected from the second image, the second detection unit identifies a moving direction of the second moving object in the second image,
If one of the first reliability and the second reliability is higher than a preset reference value and the other reliability is equal to or less than the reference value, the result selection unit setting a detection region in an image in which a moving object corresponding to the other reliability is detected from the first image and the second image, based on the moving direction of the moving object corresponding to one reliability;
The moving object detection device, wherein the first detection unit or the second detection unit detects a moving object from the image of the detection area in the newly acquired image when the image in which the detection area is set is newly acquired. .
前記第１カメラにより生成された第１画像から第１移動物を検出し、検出された第１移動物の検出精度を示す第１信頼度を前記第１画像における第１移動物の位置に基づいて取得する第１検出ステップと、
前記第２カメラにより生成された第２画像から第２移動物を検出し、検出された第２移動物の検出精度を示す第２信頼度を前記第２画像における第２移動物の位置に基づいて取得する第２検出ステップと、
前記第１画像及び第２画像に含まれる各画素を予め設定された仮想投影面に投影することにより、所定の仮想視点から前記車両を俯瞰した俯瞰画像を生成する画像生成ステップと、
前記俯瞰画像から第３移動物を検出する第３検出ステップと、
前記第１信頼度と前記第２信頼度とに基づいて、前記検出された第１移動物を示す第１検出情報と、前記検出された第２移動物を示す第２検出情報と、前記検出された第３移動物を示す第３検出情報とのうち少なくとも１つを選択する選択ステップと、
前記選択された検出情報を出力する出力ステップと、を備える移動物検出方法。 A moving object detection method for detecting a moving object moving around a vehicle by using images generated by a first camera and a second camera mounted on the vehicle and having partially overlapping photographing areas. There is
A first moving object is detected from a first image generated by the first camera, and a first reliability indicating detection accuracy of the detected first moving object is based on a position of the first moving object in the first image. a first detection step obtained by
detecting a second moving object from a second image generated by the second camera, and determining a second reliability indicating detection accuracy of the detected second moving object based on the position of the second moving object in the second image; a second detection step obtained by
an image generation step of generating a bird's-eye view image of the vehicle from a predetermined virtual viewpoint by projecting each pixel included in the first image and the second image onto a preset virtual projection plane;
a third detection step of detecting a third moving object from the overhead image;
First detection information indicating the detected first moving object, second detection information indicating the detected second moving object, and the detection, based on the first reliability and the second reliability. a selecting step of selecting at least one of third detection information indicating the third moving object that has been detected;
and an output step of outputting the selected detection information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019101291A JP7300316B2 (en) | 2019-05-30 | 2019-05-30 | Moving object detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019101291A JP7300316B2 (en) | 2019-05-30 | 2019-05-30 | Moving object detector |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020194492A JP2020194492A (en) | 2020-12-03 |
| JP7300316B2 true JP7300316B2 (en) | 2023-06-29 |
Family
ID=73546444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019101291A Active JP7300316B2 (en) | 2019-05-30 | 2019-05-30 | Moving object detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7300316B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011077772A (en) | 2009-09-30 | 2011-04-14 | Hitachi Automotive Systems Ltd | Apparatus for assisting checking of surroundings |
-
2019
- 2019-05-30 JP JP2019101291A patent/JP7300316B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011077772A (en) | 2009-09-30 | 2011-04-14 | Hitachi Automotive Systems Ltd | Apparatus for assisting checking of surroundings |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020194492A (en) | 2020-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240132154A1 (en) | Road profile along a predicted path | |
| US20190197323A1 (en) | Travel assistance device and computer program | |
| US10477102B2 (en) | Method and device for determining concealed regions in the vehicle environment of a vehicle | |
| JP2011118482A (en) | In-vehicle device and recognition support system | |
| EP3800111A1 (en) | Periphery monitoring device | |
| JP2007221200A (en) | Vehicle periphery monitoring system | |
| CN104369698A (en) | Image displaying method and apparatus therefor | |
| CN111186432A (en) | Vehicle blind area early warning method and device | |
| JP6081247B2 (en) | Display switching device and display switching method for vehicle rear image | |
| JP2009231938A (en) | Surrounding monitoring device for vehicle | |
| CN108680157A (en) | A kind of planing method, device and the terminal in detection of obstacles region | |
| JP5422622B2 (en) | Head-up display device | |
| JP2012153256A (en) | Image processing apparatus | |
| JP2018074286A (en) | Driving support device | |
| JP4930432B2 (en) | Vehicle periphery monitoring device | |
| US11100353B2 (en) | Apparatus of controlling region of interest of image and method for controlling the same | |
| JP7300316B2 (en) | Moving object detector | |
| US10864856B2 (en) | Mobile body surroundings display method and mobile body surroundings display apparatus | |
| JP7218237B2 (en) | Moving object detector | |
| JP6174884B2 (en) | Outside environment recognition device and outside environment recognition method | |
| RU2706757C1 (en) | Control method and unit for rear view | |
| JP7244562B2 (en) | Mobile body control device, control method, and vehicle | |
| JP4218441B2 (en) | On-vehicle moving body detection device | |
| CN112734981A (en) | Vehicle surroundings monitoring device and vehicle surroundings monitoring method | |
| CN113538965A (en) | Display control device, display control method, and recording medium having program recorded thereon |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230619 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7300316 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |