JP2021163096A - Object detection method, object detection apparatus, and program - Google Patents

Object detection method, object detection apparatus, and program Download PDF

Info

Publication number
JP2021163096A
JP2021163096A JP2020063012A JP2020063012A JP2021163096A JP 2021163096 A JP2021163096 A JP 2021163096A JP 2020063012 A JP2020063012 A JP 2020063012A JP 2020063012 A JP2020063012 A JP 2020063012A JP 2021163096 A JP2021163096 A JP 2021163096A
Authority
JP
Japan
Prior art keywords
vehicle
person
moving object
unit
disappearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020063012A
Other languages
Japanese (ja)
Inventor
正和 中澤
Masakazu Nakazawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020063012A priority Critical patent/JP2021163096A/en
Publication of JP2021163096A publication Critical patent/JP2021163096A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

To provide an object detection method, or the like, for accurately detecting an object existing in a space under a vehicle body.SOLUTION: An object detection method include: acquiring videos obtained by imaging the surroundings of a vehicle 100 from each of imaging apparatuses 10a-10d while the vehicle 100 is stopped (S12); detecting disappearance of a moving object existing in imaging areas Ra-Rd of the imaging apparatuses 10-10d, in the vicinity of the vehicle 100, on the basis of the videos (S13); detecting appearance of the moving object from the vicinity of the vehicle 100 into the imaging areas Ra-Rd on the basis of the videos (S16); determining whether the moving object exists under the vehicle 100 on the basis of results of detecting disappearance and appearance, at the end of stopping of the vehicle 100 (S20); and outputs information indicating that the moving object exists under the vehicle 100 (S21) when the moving object exists under the vehicle 100 (Yes in S20).SELECTED DRAWING: Figure 3

Description

本開示は、物体検出方法、物体検出装置、及び、プログラムに関する。 The present disclosure relates to object detection methods, object detection devices, and programs.

車両、特にダンプカー又はトラックなどの大型車両には、自車両の車体下部に広い空間が存在する。そのような車体下部の空間に物体（例えば、人）が存在している状態で、当該車両が発車すると事故につながる危険がある。そこで、特許文献１には、車両の車体下部に超音波を送受波する装置を設置し、受波された超音波の反射波に基づいて、車体下部の空間に存在する物体を検出する物体検出装置が開示されている。 Vehicles, especially large vehicles such as dump trucks or trucks, have a large space under the vehicle body of the own vehicle. If an object (for example, a person) is present in the space under the vehicle body and the vehicle departs, there is a risk of causing an accident. Therefore, in Patent Document 1, a device for transmitting and receiving ultrasonic waves is installed in the lower part of the vehicle body, and object detection is performed to detect an object existing in the space under the vehicle body based on the reflected wave of the received ultrasonic waves. The device is disclosed.

特開２０１５−７５３７２号公報Japanese Unexamined Patent Publication No. 2015-75372

しかしながら、特許文献１に記載の技術では、車体下部の環境又は路面の状態の影響を受けて、物体を精度よく検出できない場合がある。 However, the technique described in Patent Document 1 may not be able to accurately detect an object due to the influence of the environment under the vehicle body or the condition of the road surface.

そこで、本開示は、車体下部の空間に存在する移動物体を精度よく検出することができる物体検出方法、物体検出装置、及び、プログラムを提供することを目的とする。 Therefore, an object of the present disclosure is to provide an object detection method, an object detection device, and a program capable of accurately detecting a moving object existing in the space under the vehicle body.

本開示の一態様に係る物体検出方法は、周囲を撮像する複数の撮像装置を備える車両における物体検出方法であって、前記車両が停車している状態で、前記複数の撮像装置のそれぞれから前記車両の前記周囲を撮像した映像を取得し、複数の前記映像に基づいて、前記複数の撮像装置の撮像領域内に存在している移動物体の、前記車両の近傍での消失を検出し、複数の前記映像に基づいて、前記車両の近傍から前記撮像領域内への移動物体の出現を検出し、前記車両の前記停車が終了した時点において、前記消失の検出結果及び前記出現の検出結果に基づいて、前記車両の下に移動物体が存在するか否かを判定し、前記車両の下に移動物体が存在する場合、前記車両の下に移動物体が存在することを示す情報を出力する。 The object detection method according to one aspect of the present disclosure is an object detection method in a vehicle provided with a plurality of imaging devices for imaging the surroundings, and the object detection method is performed from each of the plurality of imaging devices while the vehicle is stopped. Images of the surroundings of the vehicle are acquired, and based on the plurality of images, the disappearance of moving objects existing in the imaging regions of the plurality of imaging devices in the vicinity of the vehicle is detected, and a plurality of images are taken. Based on the above-mentioned image, the appearance of a moving object from the vicinity of the vehicle into the imaging region is detected, and when the stop of the vehicle is completed, the disappearance detection result and the appearance detection result are used. It is determined whether or not there is a moving object under the vehicle, and if there is a moving object under the vehicle, information indicating that the moving object exists under the vehicle is output.

本開示の一態様に係る物体検出装置は、周囲を撮像する複数の撮像装置を備える車両における物体検出装置であって、前記車両が停車している状態で、前記複数の撮像装置のそれぞれから前記車両の前記周囲を撮像した映像を取得する取得部と、複数の前記映像に基づいて、前記複数の撮像装置の撮像領域内に存在している移動物体の、前記車両の近傍での消失を検出する第１検出部と、複数の前記映像に基づいて、前記車両の近傍から前記撮像領域内への移動物体の出現を検出する第２検出部と、前記車両の前記停車が終了した時点において、前記消失の検出結果及び前記出現の検出結果に基づいて、前記車両の下に移動物体が存在するか否かを判定する制御部と、前記車両の下に移動物体が存在する場合、前記車両の下に移動物体が存在することを示す情報を出力する出力部とを備える。 The object detection device according to one aspect of the present disclosure is an object detection device in a vehicle including a plurality of image pickup devices that image the surroundings, and the object detection device is described from each of the plurality of image pickup devices while the vehicle is stopped. Based on the acquisition unit that acquires images of the surroundings of the vehicle and the plurality of images, the disappearance of moving objects existing in the imaging regions of the plurality of imaging devices in the vicinity of the vehicle is detected. The first detection unit, the second detection unit that detects the appearance of a moving object from the vicinity of the vehicle into the imaging region based on the plurality of the images, and the second detection unit that detects the appearance of the moving object from the vicinity of the vehicle, and at the time when the stop of the vehicle is completed. A control unit that determines whether or not a moving object exists under the vehicle based on the disappearance detection result and the appearance detection result, and if a moving object exists under the vehicle, the vehicle It is provided with an output unit that outputs information indicating that a moving object exists below.

本開示の一態様に係るプログラムは、上記の物体検出方法をコンピュータに実行させるためのプログラムである。 The program according to one aspect of the present disclosure is a program for causing a computer to execute the above-mentioned object detection method.

本開示の一態様に係る物体検出方法等によれば、車体下部の空間に存在する移動物体を精度よく検出することができる。 According to the object detection method or the like according to one aspect of the present disclosure, it is possible to accurately detect a moving object existing in the space under the vehicle body.

図１は、実施の形態に係る物体検出システムの機能構成を示すブロック図である。FIG. 1 is a block diagram showing a functional configuration of an object detection system according to an embodiment. 図２は、実施の形態に係るカメラシステムを説明するための図である。FIG. 2 is a diagram for explaining a camera system according to an embodiment. 図３は、実施の形態に係る物体検出システムの動作を示すフローチャートである。FIG. 3 is a flowchart showing the operation of the object detection system according to the embodiment. 図４は、実施の形態に係る移動物体の消失及び出現を説明するための図である。FIG. 4 is a diagram for explaining the disappearance and appearance of the moving object according to the embodiment. 図５Ａは、実施の形態に係る車体下部に人が存在することを示す通知の一例を示す図である。FIG. 5A is a diagram showing an example of a notification indicating that a person is present in the lower part of the vehicle body according to the embodiment. 図５Ｂは、実施の形態に係る車体下部に人が存在することを示す通知の他の一例を示す図である。FIG. 5B is a diagram showing another example of the notification indicating that a person is present in the lower part of the vehicle body according to the embodiment. 図６は、実施の形態の変形例に係る物体検出システムの動作を示すフローチャートである。FIG. 6 is a flowchart showing the operation of the object detection system according to the modified example of the embodiment.

（本開示に至った経緯）
上記特許文献１では、超音波を送受波する装置（超音波送受波装置）を車両の車体下部に設置する。車両の車体下部には、様々な設備が配置されており、例えば、大型車両などでは原動機などが配置されていることがある。このため、車体下部に超音波送受波装置を設置すると、原動機の振動など、様々な設備からの振動、熱などの影響を受ける。また、路面の状態により、反射波の状態が変化することも起こり得る。このように、特許文献１に記載の技術では、車体下部の環境又は路面の状態の影響により、物体を精度よく検出できない場合がある。 (Background to this disclosure)
In Patent Document 1, a device for transmitting and receiving ultrasonic waves (ultrasonic wave transmitting and receiving device) is installed in the lower part of the vehicle body. Various equipments are arranged in the lower part of the vehicle body, and for example, a motor may be arranged in a large vehicle or the like. Therefore, if an ultrasonic wave transmitting / receiving device is installed in the lower part of the vehicle body, it is affected by vibrations from various facilities such as vibrations of the prime mover and heat. In addition, the state of the reflected wave may change depending on the state of the road surface. As described above, in the technique described in Patent Document 1, the object may not be detected accurately due to the influence of the environment of the lower part of the vehicle body or the condition of the road surface.

そこで、本願発明者は、車体下部の空間に存在する物体を精度よく検出することができる物体検出方法等について、鋭意検討を行い、以下に説明する物体検出方法等を創案した。 Therefore, the inventor of the present application has diligently studied an object detection method and the like capable of accurately detecting an object existing in the space under the vehicle body, and devised an object detection method and the like described below.

本開示の一態様に係る物体検出方法は、周囲を撮像する複数の撮像装置を備える車両における物体検出方法であって、前記車両が停車している状態で、前記複数の撮像装置のそれぞれから前記車両の前記周囲を撮像した映像を取得し、複数の前記映像に基づいて、前記複数の撮像装置の撮像領域内に存在している移動物体の、前記車両の近傍での消失を検出し、複数の前記映像に基づいて、前記車両の近傍から前記撮像領域内への移動物体の出現を検出し、前記車両の前記停車が終了した時点において、前記消失の検出結果及び前記出現の検出結果に基づいて、前記車両の下に移動物体が存在するか否かを判定し、前記車両の下に移動物体が存在する場合、前記車両の下に移動物体が存在することを示す情報を出力する。 The object detection method according to one aspect of the present disclosure is an object detection method in a vehicle provided with a plurality of imaging devices for imaging the surroundings, and the object detection method is performed from each of the plurality of imaging devices while the vehicle is stopped. Images of the surroundings of the vehicle are acquired, and based on the plurality of images, the disappearance of moving objects existing in the imaging regions of the plurality of imaging devices in the vicinity of the vehicle is detected, and a plurality of images are taken. Based on the above-mentioned image, the appearance of a moving object from the vicinity of the vehicle into the imaging region is detected, and when the stop of the vehicle is completed, the disappearance detection result and the appearance detection result are used. It is determined whether or not there is a moving object under the vehicle, and if there is a moving object under the vehicle, information indicating that the moving object exists under the vehicle is output.

これにより、物体検出方法は、車両の周囲を撮像する複数の撮像装置からの映像に基づいて、移動物体の消失及び出現を検出する。つまり、映像に基づいて物体を検出しており、超音波の跳ね返り等により直接物体を検出していないので、路面の状態の影響を受けにくい。よって、本開示に係る物体検出方法によれば、路面の状態の影響を受けにくいので、車体下部の空間に存在する物体を精度よく検出することができる。 Thereby, the object detection method detects the disappearance and appearance of the moving object based on the images from a plurality of imaging devices that image the surroundings of the vehicle. That is, since the object is detected based on the image and the object is not directly detected due to the bounce of ultrasonic waves or the like, it is not easily affected by the condition of the road surface. Therefore, according to the object detection method according to the present disclosure, since it is not easily affected by the condition of the road surface, it is possible to accurately detect an object existing in the space under the vehicle body.

また、例えば、前記消失の検出結果が前記消失の検出を含む場合、さらに、複数の前記映像に基づいて、消失した移動物体が人であるか否かを判定し、前記出現の検出結果が前記出現の検出を含む場合、さらに、複数の前記映像に基づいて、出現した移動物体が人であるか否かを判定し、前記車両の前記停車が終了した時点において、前記消失の判定結果及び前記出現の判定結果に基づいて、前記車両の下に人が存在するか否かを判定し、前記車両の下に人が存在する場合、前記車両の下に人が存在することを示す情報を出力してもよい。 Further, for example, when the disappearance detection result includes the disappearance detection, it is further determined based on the plurality of the images whether or not the disappeared moving object is a person, and the appearance detection result is the said. When the detection of appearance is included, it is further determined whether or not the moving object that has appeared is a person based on the plurality of the images, and when the stop of the vehicle is completed, the determination result of the disappearance and the said Based on the appearance determination result, it is determined whether or not there is a person under the vehicle, and if there is a person under the vehicle, information indicating that a person exists under the vehicle is output. You may.

これにより、車体下部に人がいるか否かを精度よく検出することができる。例えば、車体下部に人がいることに気づかずにドライバが車両を発車させてしまい重大な事故が発生することを抑制することができる。 As a result, it is possible to accurately detect whether or not there is a person in the lower part of the vehicle body. For example, it is possible to prevent the driver from starting the vehicle without noticing that there is a person in the lower part of the vehicle body and causing a serious accident.

また、例えば、消失した移動物体が人である場合、さらに、複数の前記映像に基づいて、当該消失した人の特徴量を取得し、取得した特徴量を記憶部に記憶し、出現した移動物体が人である場合、さらに、複数の前記映像に基づいて、当該出現した人の特徴量を取得し、前記消失した人の特徴量と、前記出現した人の特徴量とに基づいて、前記消失した人と前記出現した人とが同一人物であるか否かを判定し、同一人物と判定された場合、当該人に対応する特徴量を前記記憶部から削除してもよい。 Further, for example, when the disappeared moving object is a person, the feature amount of the disappeared person is acquired based on the plurality of the images, the acquired feature amount is stored in the storage unit, and the appearing moving object is stored. When is a person, further, the feature amount of the appearing person is acquired based on the plurality of the images, and the disappearance is based on the feature amount of the disappeared person and the feature amount of the appearing person. It is determined whether or not the person who has made the appearance and the person who has appeared are the same person, and if it is determined that the person is the same person, the feature amount corresponding to the person may be deleted from the storage unit.

これにより、車体下部にいる人をさらに精度よく検出することができる。 As a result, the person at the lower part of the vehicle body can be detected more accurately.

また、例えば、さらに、前記車両が停車したか否かを判定してもよい。 Further, for example, it may be further determined whether or not the vehicle has stopped.

これにより、車両が停車すると自動で車体下部に対する物体検出の処理を行うことができるので、検出開始タイミングを車両の停車タイミングに制御することができる。例えば、ドライバ自身が検出開始タイミングを指示する場合など、車両の停車タイミングと、検出開始タイミングとがズレている（例えば、検出開始タイミングが停車タイミングより遅い）場合に比べて、車両の下に移動物体が存在するか否かの判定を正確に行うことができる。 As a result, when the vehicle is stopped, the object detection process for the lower part of the vehicle body can be automatically performed, so that the detection start timing can be controlled to the vehicle stop timing. For example, when the driver himself instructs the detection start timing, the vehicle moves under the vehicle as compared with the case where the stop timing of the vehicle and the detection start timing are different (for example, the detection start timing is later than the stop timing). It is possible to accurately determine whether or not an object exists.

また、例えば、前記複数の撮像装置のそれぞれは、前記車両のサラウンドビューシステムが有するカメラであってもよい。 Further, for example, each of the plurality of imaging devices may be a camera included in the surround view system of the vehicle.

これにより、サラウンドビューシステムを搭載している車両であれば、追加の装置を設置することなく、車体下部の空間に存在する物体を精度よく検出することができる。つまり、サラウンドビューシステムから取得する画像（車両の全周囲の画像）を利用して、車体下部の空間に存在する物体を精度よく検出することができる。 As a result, if the vehicle is equipped with a surround view system, it is possible to accurately detect an object existing in the space under the vehicle body without installing an additional device. That is, it is possible to accurately detect an object existing in the space under the vehicle body by using an image (an image of the entire circumference of the vehicle) acquired from the surround view system.

また、例えば、前記車両の停車中には、前記車両の下に人が存在することを示す情報を出力しなくてもよい。 Further, for example, when the vehicle is stopped, it is not necessary to output information indicating that a person is present under the vehicle.

これにより、車両の停車中に当該車両の下に人が存在することを示す情報を出力している場合に比べて通信量を削減することができる。 As a result, the amount of communication can be reduced as compared with the case where information indicating that a person exists under the vehicle is output while the vehicle is stopped.

また、本開示の一態様に係る物体検出装置は、周囲を撮像する複数の撮像装置を備える車両における物体検出装置であって、前記車両が停車している状態で、前記複数の撮像装置のそれぞれから前記車両の前記周囲を撮像した映像を取得する取得部と、複数の前記映像に基づいて、前記複数の撮像装置の撮像領域内に存在している移動物体の、前記車両の近傍での消失を検出する第１検出部と、複数の前記映像に基づいて、前記車両の近傍から前記撮像領域内への移動物体の出現を検出する第２検出部と、前記車両の前記停車が終了した時点において、前記消失の検出結果及び前記出現の検出結果に基づいて、前記車両の下に移動物体が存在するか否かを判定する制御部と、前記車両の下に移動物体が存在する場合、前記車両の下に移動物体が存在することを示す情報を出力する出力部とを備える。また、本開示の一態様に係るプログラムは、上記の物体検出方法をコンピュータに実行させるためのプログラムである。 Further, the object detection device according to one aspect of the present disclosure is an object detection device in a vehicle including a plurality of image pickup devices that image the surroundings, and each of the plurality of image pickup devices is in a state where the vehicle is stopped. The acquisition unit that acquires an image of the surroundings of the vehicle from the vehicle, and the moving object existing in the imaging region of the plurality of imaging devices based on the plurality of images disappears in the vicinity of the vehicle. A first detection unit that detects the appearance of a moving object from the vicinity of the vehicle to the imaging region based on the plurality of images, and a time point when the vehicle has stopped. In the control unit for determining whether or not a moving object exists under the vehicle based on the disappearance detection result and the appearance detection result, and when the moving object exists under the vehicle, the above. It is provided with an output unit that outputs information indicating that a moving object exists under the vehicle. Further, the program according to one aspect of the present disclosure is a program for causing a computer to execute the above-mentioned object detection method.

これにより、上記の物体検出方法と同様の効果を奏する。 As a result, the same effect as that of the above-mentioned object detection method is obtained.

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。 It should be noted that these general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a non-temporary recording medium such as a computer-readable CD-ROM, and the system, the method, the integrated. It may be realized by any combination of circuits, computer programs or recording media. The program may be stored in the recording medium in advance, or may be supplied to the recording medium via a wide area communication network including the Internet or the like.

以下、実施の形態について、図面を参照しながら具体的に説明する。 Hereinafter, embodiments will be specifically described with reference to the drawings.

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。例えば、数値は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。 It should be noted that all of the embodiments described below show comprehensive or specific examples. Numerical values, shapes, components, arrangement positions and connection forms of components, steps, step order, and the like shown in the following embodiments are examples, and are not intended to limit the present disclosure. For example, a numerical value is not an expression that expresses only a strict meaning, but an expression that includes a substantially equivalent range, for example, a difference of about several percent. Further, among the components in the following embodiments, the components not described in the independent claims will be described as arbitrary components. Further, each figure is a schematic view and is not necessarily exactly illustrated. Further, in each figure, the same components are designated by the same reference numerals.

（実施の形態）
以下、本実施の形態に係る物体検出システムついて、図１〜図５Ｂを参照しながら説明する。 (Embodiment)
Hereinafter, the object detection system according to the present embodiment will be described with reference to FIGS. 1 to 5B.

［１．物体検出システムの構成］
まず、本実施の形態に係る物体検出システムの構成について、図１を参照しながら説明する。図１は、本実施の形態に係る物体検出システム１の機能構成を示すブロック図である。図２は、本実施の形態に係るカメラシステムを説明するための図である。なお、図２では、撮像装置の撮像領域をドット状のハッチングで示している。 [1. Object detection system configuration]
First, the configuration of the object detection system according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a functional configuration of the object detection system 1 according to the present embodiment. FIG. 2 is a diagram for explaining a camera system according to the present embodiment. In FIG. 2, the imaging region of the imaging apparatus is shown by dot-shaped hatching.

図１に示すように、物体検出システム１は、撮像装置１０ａ〜１０ｄと、物体検出装置２０と、表示装置７０とを備える。なお、以降では、物体検出システム１が備える各構成要素は、車両１００（図２参照）に搭載されている例について説明するが、これに限定されない。 As shown in FIG. 1, the object detection system 1 includes image pickup devices 10a to 10d, an object detection device 20, and a display device 70. In the following, each component included in the object detection system 1 will be described with reference to an example in which the object detection system 1 is mounted on the vehicle 100 (see FIG. 2), but the present invention is not limited to this.

撮像装置１０ａ〜１０ｄは、車両１００に搭載され、車両１００の周囲を撮像する。撮像装置１０ａ〜１０ｄのそれぞれは、例えば、可視光カメラである。また、撮像装置１０ａ〜１０ｄのそれぞれは、広角レンズを有していてもよい。つまり、撮像装置１０ａ〜１０ｄのそれぞれは、広角カメラであってもよい。 The image pickup devices 10a to 10d are mounted on the vehicle 100 and take an image of the surroundings of the vehicle 100. Each of the image pickup devices 10a to 10d is, for example, a visible light camera. Further, each of the imaging devices 10a to 10d may have a wide-angle lens. That is, each of the image pickup devices 10a to 10d may be a wide-angle camera.

撮像装置１０ａ〜１０ｄのそれぞれは、例えば、車両１００のサラウンドビューシステムが有する車載カメラであってもよい。これにより、車両１００がサラウンドビューシステムを搭載する車両である場合、追加の設備を設置することなく、車両１００の車体下部の空間に存在する移動物体を間接的に検出することができる。なお、移動物体は、停車している車両１００に対して移動している物体を意味する。 Each of the image pickup devices 10a to 10d may be, for example, an in-vehicle camera included in the surround view system of the vehicle 100. As a result, when the vehicle 100 is a vehicle equipped with a surround view system, it is possible to indirectly detect a moving object existing in the space under the vehicle body of the vehicle 100 without installing additional equipment. The moving object means an object that is moving with respect to the stopped vehicle 100.

図２に示すように、本実施の形態では、車両１００には、４台の撮像装置１０ａ〜１０ｄが搭載され、当該４台の撮像装置１０ａ〜１０ｄにより、車両１００の全視界を十分にカバーするように配置されている。撮像装置１０ａは、車両１００の前方を撮像する前方カメラであり、例えば、車両１００の前方部（例えば、フロントグリル付近）に取り付けられる。撮像装置１０ｂは、車両１００の右方を撮像する右方カメラであり、例えば、車両１００の右側のサイドミラーに取り付けられる。撮像装置１０ｃは、車両１００の左方を撮像する左方カメラであり、例えば、車両１００の左側のサイドミラーに取り付けられる。撮像装置１０ｄは、車両１００の後方を撮像する後方カメラであり、例えば、車両１００の後方部に取り付けられる。撮像装置１０ａ〜１０ｄは、複数の撮像装置の一例である。 As shown in FIG. 2, in the present embodiment, the vehicle 100 is equipped with four image pickup devices 10a to 10d, and the four image pickup devices 10a to 10d sufficiently cover the entire field of view of the vehicle 100. It is arranged to do. The image pickup device 10a is a front camera that images the front of the vehicle 100, and is attached to, for example, a front portion of the vehicle 100 (for example, near the front grille). The image pickup device 10b is a right-hand camera that images the right side of the vehicle 100, and is attached to, for example, a side mirror on the right side of the vehicle 100. The image pickup device 10c is a left-side camera that images the left side of the vehicle 100, and is attached to, for example, a side mirror on the left side of the vehicle 100. The image pickup device 10d is a rear camera that images the rear of the vehicle 100, and is attached to, for example, the rear portion of the vehicle 100. The image pickup devices 10a to 10d are examples of a plurality of image pickup devices.

撮像領域Ｒａは、撮像装置１０ａの撮像領域を示す。撮像領域Ｒｂは、撮像装置１０ｂの撮像領域を示す。撮像領域Ｒｃは、撮像装置１０ｃの撮像領域を示す。撮像領域Ｒｄは、撮像装置１０ｄの撮像領域を示す。撮像領域Ｒａ〜Ｒｄはそれぞれ、半円状の領域である。また、１つの撮像装置の撮像領域は、当該１つの撮像装置と車両１００の周囲方向に隣接する２つの撮像装置の撮像領域と少なくとも一部が重なっていてもよい。例えば、撮像領域Ｒａの撮像領域は、撮像領域Ｒｂ及びＲｃのそれぞれと少なくとも一部が重なっていてもよい。これにより、撮像装置１０ａ〜１０ｄのそれぞれを用いて、車両１００の全周囲（全視界）を撮像可能である。 The imaging region Ra indicates an imaging region of the imaging device 10a. The image pickup area Rb indicates an image pickup area of the image pickup apparatus 10b. The imaging region Rc indicates an imaging region of the imaging device 10c. The image pickup area Rd indicates an image pickup area of the image pickup apparatus 10d. The imaging regions Ra to Rd are semicircular regions, respectively. Further, the imaging region of one imaging device may overlap at least a part of the imaging region of the one imaging device and two imaging devices adjacent to each other in the peripheral direction of the vehicle 100. For example, the imaging region of the imaging region Ra may overlap at least a part of each of the imaging regions Rb and Rc. As a result, the entire circumference (total field of view) of the vehicle 100 can be imaged using each of the image pickup devices 10a to 10d.

なお、車両が備える撮像装置の数及び設置位置は、上記に特に限定されない。例えば、車両は、撮像装置を１〜３台備えていてもよいし、５台以上備えていてもよい。また、撮像装置１０ａ〜１０ｄは、例えば、車両１００の車両下部以外の部分に取り付けられる。撮像装置１０ａ〜１０ｄは、例えば、車体側部に取り付けられるが、これに限定されない。 The number and installation positions of the imaging devices provided in the vehicle are not particularly limited to the above. For example, the vehicle may be provided with 1 to 3 imaging devices, or may be provided with 5 or more imaging devices. Further, the image pickup devices 10a to 10d are attached to a portion of the vehicle 100 other than the lower portion of the vehicle, for example. The image pickup devices 10a to 10d are attached to, for example, a vehicle body side portion, but are not limited thereto.

図１を再び参照して、物体検出装置２０は、撮像装置１０ａ〜１０ｄのそれぞれから、車両１００の周囲を撮像した映像を取得し、取得した映像に基づいて、車両１００が停車しているときに当該車両１００の車体下部の空間に所定の物体が存在するか否かを判定する。なお、映像は、画像が時系列に並んで構成される。また、本明細書における停車は、物体検出システム１の各構成要素に電力が供給されており、かつ、車両１００が停止している状態を意味する。例えば、車両１００が信号待ちなどの停車中にエンジンを停止したアイドリングストップの状態なども、本明細書における停車に含まれる。停止とは、車両１００の速度が実質的にゼロであることを意味する。物体検出装置２０は、取得部３０と、制御部４０と、記憶部５０と、出力部６０とを有する。 With reference to FIG. 1 again, the object detection device 20 acquires images of the surroundings of the vehicle 100 from each of the image pickup devices 10a to 10d, and when the vehicle 100 is stopped based on the acquired images. It is determined whether or not a predetermined object exists in the space under the vehicle body of the vehicle 100. The video is composed of images arranged in chronological order. Further, the stop in the present specification means a state in which electric power is supplied to each component of the object detection system 1 and the vehicle 100 is stopped. For example, the state of idling stop in which the engine is stopped while the vehicle 100 is stopped such as waiting for a traffic light is also included in the stop in the present specification. Stopping means that the speed of the vehicle 100 is substantially zero. The object detection device 20 includes an acquisition unit 30, a control unit 40, a storage unit 50, and an output unit 60.

取得部３０は、撮像装置１０ａ〜１０ｄのそれぞれと通信可能に接続されており、撮像装置１０ａ〜１０ｄのそれぞれから映像を取得する。取得部３０は、例えば、取得した映像をフレームごとの画像に変換して制御部４０に出力する。取得部３０は、例えば、撮像装置１０ａ〜１０ｄそれぞれの映像をフレームごとの画像に変換し、撮像装置１０ａ〜１０ｄのそれぞれにおいて同時刻に撮像された画像を、１つの画像群として制御部４０に出力する。取得部３０は、例えば、撮像装置１０ａ〜１０ｄのそれぞれから取得した映像を、同一フレームの画像（画像群）に変換し、同一フレームの画像の各々を制御部４０に出力する。 The acquisition unit 30 is communicatively connected to each of the image pickup devices 10a to 10d, and acquires an image from each of the image pickup devices 10a to 10d. For example, the acquisition unit 30 converts the acquired video into an image for each frame and outputs it to the control unit 40. For example, the acquisition unit 30 converts the images of the image pickup devices 10a to 10d into images for each frame, and the images captured by the image pickup devices 10a to 10d at the same time are combined into one image group by the control unit 40. Output. For example, the acquisition unit 30 converts the images acquired from each of the imaging devices 10a to 10d into images (image groups) of the same frame, and outputs each of the images of the same frame to the control unit 40.

取得部３０は、例えば、車両１００の底部以外の部分に取り付けられた撮像装置（例えば、撮像装置１０ａ〜１０ｄ）から映像を取得するとも言える。取得部３０は、例えば、車両１００の車体側部に取り付けられた撮像装置から映像を取得してもよい。 It can be said that the acquisition unit 30 acquires an image from, for example, an image pickup device (for example, image pickup devices 10a to 10d) attached to a portion other than the bottom of the vehicle 100. The acquisition unit 30 may acquire an image from, for example, an image pickup device attached to a vehicle body side portion of the vehicle 100.

なお、取得部３０は、必ずしも映像をフレームごとの画像に変換できる必要はなく、時系列的に並んだ画像を複数の撮像装置から取得できるものであればよい。 The acquisition unit 30 does not necessarily have to be able to convert an image into an image for each frame, and may be capable of acquiring images arranged in time series from a plurality of imaging devices.

制御部４０は、物体検出装置２０の各構成要素を制御する制御装置であり、取得部３０からの画像に基づいて、車両１００の停車終了時に、当該車両１００の車体下部の空間に移動物体が存在するか否かを判定する処理を行う。制御部４０は、合成部４１と、消失検出部４２と、認識部４３と、出現検出部４４と、追跡部４５とを有する。 The control unit 40 is a control device that controls each component of the object detection device 20, and based on the image from the acquisition unit 30, a moving object is moved into the space under the vehicle body of the vehicle 100 at the end of the stop of the vehicle 100. Performs a process of determining whether or not it exists. The control unit 40 includes a synthesis unit 41, a disappearance detection unit 42, a recognition unit 43, an appearance detection unit 44, and a tracking unit 45.

合成部４１は、撮像装置１０ａ〜１０ｄのそれぞれの映像を合成することで、例えば、図２に示すような鳥瞰画像を生成する。合成部４１は、取得部３０から取得した画像群に含まれる同一フレームの複数の画像（本実施の形態では、４枚の画像）を合成することで、鳥瞰画像を生成する。合成部４１は、フレームごとに鳥瞰画像を生成する。 The compositing unit 41 synthesizes the respective images of the imaging devices 10a to 10d to generate, for example, a bird's-eye view image as shown in FIG. The synthesizing unit 41 generates a bird's-eye view image by synthesizing a plurality of images of the same frame (four images in the present embodiment) included in the image group acquired from the acquisition unit 30. The compositing unit 41 generates a bird's-eye view image for each frame.

消失検出部４２は、合成部４１が生成した鳥瞰画像の時系列データに基づいて、移動物体が車両１００の近傍で消失したことを検出する。移動物体が車両１００付近で消失した場合、移動物体が車両１００の車体下部の空間に潜り込んだ可能性がある。消失検出部４２は、撮像装置１０ａ〜１０ｄのいずれかの撮像領域内に存在している移動物体の車両１００の近傍での消失を検出するとも言える。なお、車両１００の近傍とは、例えば、撮像範囲内における車両１００と近い領域を意味しており、鳥瞰画像における車両１００の外形線付近の領域であってもよい。 The disappearance detection unit 42 detects that the moving object has disappeared in the vicinity of the vehicle 100 based on the time-series data of the bird's-eye view image generated by the synthesis unit 41. If the moving object disappears in the vicinity of the vehicle 100, there is a possibility that the moving object has slipped into the space under the vehicle body of the vehicle 100. It can be said that the disappearance detection unit 42 detects the disappearance of a moving object existing in any of the imaging regions of the imaging devices 10a to 10d in the vicinity of the vehicle 100. The vicinity of the vehicle 100 means, for example, a region close to the vehicle 100 within the imaging range, and may be a region near the outline of the vehicle 100 in the bird's-eye view image.

消失検出部４２が移動物体の消失を検出する手法は特に限定されないが、例えば、オプティカルフローの計算、又は、ニューラルネットワーク等の学習済モデルを用いた検出技術により行われてもよい。オプティカルフローの計算を用いる場合、消失検出部４２は、例えば、鳥瞰画像の時系列データに基づいて、複数の鳥瞰画像間におけるオプティカルフローを算出し、算出したオプティカルフローに基づいて物体検出を行う。消失検出部４２は、例えば、車両１００の周囲にあった移動物体の移動ベクトルが次のフレームの鳥瞰画像において消えた場合、当該移動物体が消失したことを検出する。これにより、消失検出部４２は、撮像装置１０ａ〜１０ｄの撮像領域内において移動する物体の消失を検出することが可能である。 The method by which the disappearance detection unit 42 detects the disappearance of a moving object is not particularly limited, but may be performed by, for example, calculation of an optical flow or a detection technique using a learned model such as a neural network. When the optical flow calculation is used, the disappearance detection unit 42 calculates the optical flow between a plurality of bird's-eye view images based on, for example, the time-series data of the bird's-eye view image, and performs object detection based on the calculated optical flow. The disappearance detection unit 42 detects that the moving object has disappeared, for example, when the moving vector of the moving object around the vehicle 100 disappears in the bird's-eye view image of the next frame. As a result, the disappearance detection unit 42 can detect the disappearance of a moving object in the imaging region of the imaging devices 10a to 10d.

また、ニューラルネットワーク等の学習済モデルの検出技術を用いる場合、消失検出部４２は、例えば、学習済モデルに鳥瞰画像の時系列データを入力し、移動物体の消失の有無を学習済モデルの出力として取得する。このような学習済モデルは、ニューラルネットワークを用いて、深層学習（ディープラーニング）により生成される。学習済モデルは、例えば、回帰型のニューラルネットワーク構造を有する。学習済モデルは、例えば、複数のＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）ブロックを有するＬＳＴＭのニューラルネットワーク構造を有していてもよいし、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、又は、ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）などのニューラルネットワーク構造を有していてもよい。なお、学習済モデルは、上記に限定されず、既知のいかなる回帰型のニューラルネットワーク構造を有していてもよい。学習済モデルは、例えば、鳥瞰画像の時系列データを訓練データとし、そのときの移動物体の消失の有無を正解データとして機械学習を用いて生成されるが、学習済モデルの生成方法はこれに限定されない。 Further, when using a learning model detection technique such as a neural network, the disappearance detection unit 42 inputs, for example, time-series data of a bird's-eye view image into the trained model, and outputs the presence or absence of disappearance of the moving object to the trained model. Get as. Such a trained model is generated by deep learning using a neural network. The trained model has, for example, a recurrent neural network structure. The trained model may have, for example, an LSTM neural network structure having a plurality of LSTM (Long Short-Term Memory) blocks, an RNN (Recurrent Neural Network), a GRU (Gated Recurrent Unit), or the like. May have a neural network structure of. The trained model is not limited to the above, and may have any known regression type neural network structure. The trained model is generated by using machine learning, for example, using the time-series data of the bird's-eye view image as training data and the presence or absence of disappearance of the moving object at that time as the correct answer data. Not limited.

上記では、消失検出部４２は、オプティカルフローによる計算又は学習済モデルにより移動物体の消失を検出したが、画像（例えば、鳥瞰画像）により移動物体の消失を検出することができれば、上記以外の方法により移動物体の消失が検出されてもよい。また、消失検出部４２は、撮像装置１０ａ〜１０ｄが撮像した撮像画像（合成前の画像）に基づいて、移動物体の消失を検出してもよい。消失検出部４２は、第１検出部の一例である。 In the above, the disappearance detection unit 42 detects the disappearance of the moving object by the calculation by the optical flow or the learned model, but if the disappearance of the moving object can be detected by the image (for example, a bird's-eye view image), a method other than the above can be used. May detect the disappearance of moving objects. Further, the disappearance detection unit 42 may detect the disappearance of the moving object based on the captured image (image before composition) captured by the imaging devices 10a to 10d. The disappearance detection unit 42 is an example of the first detection unit.

認識部４３は、鳥瞰画像又は撮像装置が撮像した画像（以降において、撮像画像とも記載する）に基づいて、消失検出部４２が消失したことを検出した移動物体が所定の物体であるか否かを認識する。認識部４３は、消失した移動物体が所定の物体であるか否かを判定するとも言える。認識部４３は、消失検出部４２により移動物体が消失したことが検出されたフレームより過去のフレーム（例えば、１フレーム前のフレーム）の鳥瞰画像又は撮像画像に基づいて、消失した移動物体が所定の物体であるか否かを判定する。以下では、所定の物体は、人である例について説明するが、所定の物体は人に限定されない。所定の物体は、人以外の動物、又は、人が取りに来ることが想定される物体（例えば、遊具）などであってもよい。所定の物体は、例えば、犬、猫などの動物であってもよいし、ボールなどの遊具であってもよい。なお、所定の物体には、路上のゴミ（例えば、空き缶など）、道路に固定されている物体などは含まれない。 Whether or not the moving object that the recognition unit 43 has detected that the disappearance detection unit 42 has disappeared is a predetermined object based on the bird's-eye view image or the image captured by the imaging device (hereinafter, also referred to as an captured image). Recognize. It can be said that the recognition unit 43 determines whether or not the disappeared moving object is a predetermined object. The recognition unit 43 determines the disappeared moving object based on a bird's-eye view image or a captured image of a frame (for example, a frame one frame before) before the frame in which the disappearance detection unit 42 detects that the moving object has disappeared. It is determined whether or not it is an object of. In the following, an example in which a predetermined object is a person will be described, but the predetermined object is not limited to a person. The predetermined object may be an animal other than a human being, or an object (for example, a playset) that is expected to be picked up by a human being. The predetermined object may be, for example, an animal such as a dog or a cat, or a playset such as a ball. The predetermined object does not include dust on the road (for example, an empty can), an object fixed to the road, and the like.

認識部４３が人を認識する手法は特に限定されないが、例えば、パターン認識技術、又は、ニューラルネットワーク等の学習済モデルを用いた認識技術により行われてもよい。パターン認識技術により行われる場合、認識部４３は、例えば、鳥瞰画像又は撮像画像に基づいて、移動物体の形状を抽出し、抽出した抽出結果を用いて、人の認識を行う。認識部４３は、例えば、抽出結果に対してサポートベクタマシン等のパターン認識技術により人の形状の認識を行ってもよい。 The method by which the recognition unit 43 recognizes a person is not particularly limited, but may be performed by, for example, a pattern recognition technique or a recognition technique using a learned model such as a neural network. When the pattern recognition technique is used, the recognition unit 43 extracts the shape of a moving object based on, for example, a bird's-eye view image or a captured image, and recognizes a person using the extracted extraction result. For example, the recognition unit 43 may recognize the shape of a person with respect to the extraction result by a pattern recognition technique such as a support vector machine.

また、ニューラルネットワーク等の学習済モデルの検出技術を用いる場合、認識部４３は、例えば、学習済モデルに消失した移動物体が写っている鳥瞰画像又は撮像画像を入力し、移動物体が人であるか否かの結果を学習済モデルの出力として取得する。このような学習済モデルは、ニューラルネットワークを用いて、深層学習により生成される。学習済モデルは、例えば、順伝搬型のニューラルネットワーク構造を有する。学習済モデルは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのニューラルネットワーク構造を有していてもよい。なお、学習済モデルは、上記に限定されず、既知のいかなる順伝搬型のニューラルネットワーク構造を有していてもよい。学習済モデルは、例えば、鳥瞰画像又は撮像画像を訓練データとし、画像に写る移動物体が人であるか否かを正解データとして機械学習を用いて生成されるが、学習済モデルの生成方法はこれに限定されない。 Further, when using a detection technique of a trained model such as a neural network, the recognition unit 43 inputs, for example, a bird's-eye view image or a captured image of a disappeared moving object in the trained model, and the moving object is a person. The result of whether or not is acquired as the output of the trained model. Such a trained model is generated by deep learning using a neural network. The trained model has, for example, a forward propagation type neural network structure. The trained model may have a neural network structure such as CNN (Convolutional Neural Network). The trained model is not limited to the above, and may have any known forward propagation type neural network structure. The trained model is generated by using machine learning, for example, using a bird's-eye view image or a captured image as training data and determining whether or not the moving object in the image is a person as correct answer data. Not limited to this.

上記では、認識部４３は、パターン認識又は学習済モデルにより人の認識をしたが、鳥瞰画像又は撮像画像により人を認識することができれば、上記以外の方法により人の認識を行ってもよい。例えば、認識部４３は、テンプレートマッチングにより人の認識を行ってもよい。 In the above, the recognition unit 43 recognizes the person by the pattern recognition or the trained model, but if the person can be recognized by the bird's-eye view image or the captured image, the person may be recognized by a method other than the above. For example, the recognition unit 43 may recognize a person by template matching.

出現検出部４４は、合成部４１が生成した鳥瞰画像の時系列データに基づいて、移動物体が車両１００の近傍で出現したことを検出する。移動物体が車両１００付近で出現した場合、車両１００の車体下部の空間に潜り込んだ移動物体が当該車体下部から這い出てきた可能性がある。出現検出部４４は、撮像装置１０ａ〜１０ｄそれぞれの撮像領域内に存在していなかった移動物体の車両１００の近傍での出現を検出するとも言える。 The appearance detection unit 44 detects that a moving object has appeared in the vicinity of the vehicle 100 based on the time-series data of the bird's-eye view image generated by the synthesis unit 41. When a moving object appears in the vicinity of the vehicle 100, there is a possibility that the moving object that has sneaked into the space under the vehicle body of the vehicle 100 has crawled out from the lower portion of the vehicle body. It can be said that the appearance detection unit 44 detects the appearance of a moving object that did not exist in each of the imaging regions of the imaging devices 10a to 10d in the vicinity of the vehicle 100.

出現検出部４４が移動物体の出現を検出する手法は特に限定されないが、例えば、オプティカルフローの計算、又は、ニューラルネットワーク等の学習済モデルを用いた検出技術により行われてもよい。オプティカルフローの計算を用いる場合、出現検出部４４は、例えば、鳥瞰画像の時系列データに基づいて、複数の鳥瞰画像間におけるオプティカルフローを算出し、算出したオプティカルフローに基づいて物体検出を行う。出現検出部４４は、車両１００の周囲になかった移動ベクトルが次のフレームの鳥瞰画像において出現した場合、移動物体が出現したことを検出する。これにより、出現検出部４４は、撮像装置１０ａ〜１０ｄの撮像領域において移動する物体を検出することが可能である。 The method by which the appearance detection unit 44 detects the appearance of a moving object is not particularly limited, but may be performed by, for example, calculation of an optical flow or a detection technique using a learned model such as a neural network. When the optical flow calculation is used, the appearance detection unit 44 calculates the optical flow between a plurality of bird's-eye view images based on, for example, the time-series data of the bird's-eye view image, and performs object detection based on the calculated optical flow. The appearance detection unit 44 detects that a moving object has appeared when a movement vector that was not around the vehicle 100 appears in the bird's-eye view image of the next frame. As a result, the appearance detection unit 44 can detect a moving object in the image pickup region of the image pickup apparatus 10a to 10d.

また、ニューラルネットワーク等の学習済モデルの検出技術を用いる場合、出現検出部４４は、例えば、学習済モデルに鳥瞰画像の時系列データを入力し、移動物体の出現の有無を学習済モデルの出力として取得する。このような学習済モデルは、ニューラルネットワークを用いて、深層学習により生成される。学習済モデルは、例えば、回帰型のニューラルネットワーク構造を有する。学習済モデルは、例えば、複数のＬＳＴＭブロックを有するＬＳＴＭのニューラルネットワーク構造を有していてもよいし、ＲＮＮ、又は、ＧＲＵなどのニューラルネットワーク構造を有していてもよい。なお、学習済モデルは、上記に限定されず、既知のいかなる回帰型のニューラルネットワーク構造を有していてもよい。また、出現検出部４４が用いる学習済モデルのニューラルネットワーク構造は、消失検出部４２が用いる学習済モデルのニューラルネットワーク構造と同じであってもよいし、異なっていてもよい。学習済モデルは、例えば、鳥瞰画像の時系列データを訓練データとし、そのときの移動物体の出現の有無を正解データとして機械学習を用いて生成される。 When a trained model detection technique such as a neural network is used, the appearance detection unit 44 inputs, for example, time-series data of a bird's-eye view image into the trained model, and outputs the presence or absence of the appearance of a moving object to the trained model. Get as. Such a trained model is generated by deep learning using a neural network. The trained model has, for example, a recurrent neural network structure. The trained model may have, for example, an LSTM neural network structure having a plurality of LSTM blocks, or may have a neural network structure such as RNN or GRU. The trained model is not limited to the above, and may have any known regression type neural network structure. Further, the neural network structure of the trained model used by the appearance detection unit 44 may be the same as or different from the neural network structure of the trained model used by the disappearance detection unit 42. The trained model is generated by using machine learning, for example, using time-series data of a bird's-eye view image as training data and using machine learning as correct answer data regarding the presence or absence of the appearance of a moving object at that time.

上記では、出現検出部４４は、オプティカルフローによる計算又は学習済モデルにより移動物体の出現を検出したが、画像（例えば、鳥瞰画像）により移動物体の出現を検出することができれば、上記以外の方法により移動物体の出現が検出されてもよい。また、出現検出部４４は、撮像装置１０ａ〜１０ｄが撮像した撮像画像（合成前の画像）に基づいて、移動物体の出現を検出してもよい。出現検出部４４は、第２検出部の一例である。 In the above, the appearance detection unit 44 detects the appearance of the moving object by the calculation by the optical flow or the learned model, but if the appearance of the moving object can be detected by the image (for example, a bird's-eye view image), a method other than the above can be used. May detect the appearance of moving objects. Further, the appearance detection unit 44 may detect the appearance of a moving object based on the captured image (image before composition) captured by the imaging devices 10a to 10d. The appearance detection unit 44 is an example of the second detection unit.

追跡部４５は、鳥瞰画像又は撮像画像に基づいて、出現検出部４４が出現したことを検出した移動物体が所定の物体であるか否かを認識する。追跡部４５における所定の物体と、認識部４３における所定の物体とは、例えば、同じ物体（例えば、人）である。追跡部４５は、出現した移動物体が所定の物体であるか否かを判定するとも言える。また、追跡部４５は、消失したフレーム及び出現したフレーム間で、同一の移動物体を追跡するとも言える。追跡部４５は、出現検出部４４により移動物体が出現したことが検出されたフレーム又は当該フレームより新しいフレーム（例えば、１フレーム後のフレーム）の鳥瞰画像又は撮像画像に基づいて、出現した移動物体が所定の物体（例えば、人）であるか否かを判定する。 The tracking unit 45 recognizes whether or not the moving object that has detected the appearance of the appearance detection unit 44 is a predetermined object based on the bird's-eye view image or the captured image. The predetermined object in the tracking unit 45 and the predetermined object in the recognition unit 43 are, for example, the same object (for example, a person). It can be said that the tracking unit 45 determines whether or not the moving object that appears is a predetermined object. It can also be said that the tracking unit 45 tracks the same moving object between the disappeared frame and the appearing frame. The tracking unit 45 is a moving object that appears based on a bird's-eye view image or a captured image of a frame in which a moving object is detected by the appearance detection unit 44 or a frame newer than the frame (for example, a frame one frame later). Determines if is a predetermined object (eg, a person).

追跡部４５が人を認識する手法は特に限定されないが、例えば、パターン認識技術、又は、ニューラルネットワーク等の学習済モデルを用いた認識技術により行われてもよい。パターン認識技術により行われる場合、追跡部４５は、例えば、鳥瞰画像又は撮像画像に基づいて、出現した移動物体の形状を抽出し、抽出した抽出結果を用いて、人の認識を行う。追跡部４５は、例えば、抽出結果に対してサポートベクタマシン等のパターン認識技術により人の形状の認識を行う。 The method by which the tracking unit 45 recognizes a person is not particularly limited, but may be performed by, for example, a pattern recognition technique or a recognition technique using a learned model such as a neural network. When performed by the pattern recognition technique, the tracking unit 45 extracts the shape of the moving object that appears based on, for example, a bird's-eye view image or a captured image, and recognizes a person by using the extracted extraction result. The tracking unit 45 recognizes the shape of a person by using a pattern recognition technique such as a support vector machine for the extraction result, for example.

また、ニューラルネットワーク等の学習済モデルの検出技術を用いる場合、追跡部４５は、例えば、出現した移動物体が写っている鳥瞰画像又は撮像画像を学習済モデルに入力し、移動物体が人であるか否かの結果を学習済モデルの出力として取得する。このような学習済モデルは、ニューラルネットワークを用いて、深層学習により生成される。学習済モデルは、例えば、順伝搬型のニューラルネットワーク構造を有する。学習済モデルは、例えば、ＣＮＮなどのニューラルネットワーク構造を有していてもよい。なお、学習済モデルは、上記に限定されず、既知のいかなる順伝搬型のニューラルネットワーク構造を有していてもよい。学習済モデルは、例えば、鳥瞰画像又は撮像画像を訓練データとし、画像に写る移動物体が人であるか否かを正解データとして機械学習を用いて生成される。 Further, when using a learning model detection technique such as a neural network, the tracking unit 45 inputs, for example, a bird's-eye view image or a captured image of an appearing moving object into the trained model, and the moving object is a person. The result of whether or not is acquired as the output of the trained model. Such a trained model is generated by deep learning using a neural network. The trained model has, for example, a forward propagation type neural network structure. The trained model may have a neural network structure such as CNN. The trained model is not limited to the above, and may have any known forward propagation type neural network structure. The trained model is generated by using machine learning, for example, using a bird's-eye view image or a captured image as training data and using machine learning as correct answer data as to whether or not the moving object shown in the image is a person.

なお、上記では、追跡部４５は、パターン認識又は学習済モデルにより人の認識をしたが、鳥瞰画像又は撮像画像により人を認識することができれば、上記以外の方法により人の認識を行ってもよい。例えば、追跡部４５は、テンプレートマッチングにより人の認識を行ってもよい。 In the above, the tracking unit 45 recognizes the person by the pattern recognition or the trained model, but if the person can be recognized by the bird's-eye view image or the captured image, the person may be recognized by a method other than the above. good. For example, the tracking unit 45 may recognize a person by template matching.

記憶部５０は、取得部３０が取得した撮像画像、合成部４１が生成した鳥瞰画像などを記憶する記憶装置である。記憶部５０は、消失検出部４２が検出した車両１００近傍で消失した移動物体に関する情報を記憶してもよい。移動物体に関する情報は、例えば、消失時刻、消失位置、認識部４３の認識結果、消失したフレーム及びその前後のフレームの鳥瞰画像又は撮像画像、撮像領域内における移動物体の移動軌跡の少なくとも１つを含む。 The storage unit 50 is a storage device that stores an captured image acquired by the acquisition unit 30, a bird's-eye view image generated by the synthesis unit 41, and the like. The storage unit 50 may store information about a moving object that has disappeared in the vicinity of the vehicle 100 detected by the disappearance detection unit 42. The information about the moving object includes, for example, the disappearance time, the disappearance position, the recognition result of the recognition unit 43, the bird's-eye view image or the captured image of the disappeared frame and the frames before and after the disappearance, and at least one of the movement loci of the moving object in the imaging region. include.

また、認識部４３及び追跡部４５の少なくとも一方がパターン認識により所定の物体であるか否かを判定する場合、当該所定の物体のパターンに関する情報を記憶してもよい。記憶部５０は、例えば、人の形状に関するデータを記憶していてもよい。記憶部５０は、例えば、半導体メモリなどにより実現される。 Further, when determining whether or not at least one of the recognition unit 43 and the tracking unit 45 is a predetermined object by pattern recognition, information regarding the pattern of the predetermined object may be stored. The storage unit 50 may store data relating to the shape of a person, for example. The storage unit 50 is realized by, for example, a semiconductor memory or the like.

出力部６０は、表示装置７０と通信可能に接続され、車両１００の車体下部の空間に所定の物体が存在する場合、車両１００の車体下部に所定の物体が存在することを示す情報を出力する。出力部６０は、少なくとも車両１００の停車が終了した時点において、車両１００の車体下部に所定の物体が存在する場合（例えば、車両１００の車体下部に下に人が存在する場合）、車両１００の車体下部に所定の物体が存在することを示す危険情報をドライバに通知するための情報を出力する。本実施の形態では、表示装置７０が表示によりドライバに当該通知を行うので、出力部６０は、表示装置７０に車両１００の車体下部に所定の物体が存在することを示す危険情報を表示させるための情報を表示装置７０に出力する。 The output unit 60 is communicably connected to the display device 70, and when a predetermined object exists in the space under the vehicle body of the vehicle 100, outputs information indicating that the predetermined object exists in the lower portion of the vehicle body of the vehicle 100. .. When a predetermined object exists in the lower part of the vehicle body of the vehicle 100 (for example, when a person exists under the lower part of the vehicle body of the vehicle 100), the output unit 60 of the vehicle 100 It outputs information for notifying the driver of danger information indicating that a predetermined object exists in the lower part of the vehicle body. In the present embodiment, since the display device 70 notifies the driver by display, the output unit 60 causes the display device 70 to display danger information indicating that a predetermined object exists under the vehicle body of the vehicle 100. Information is output to the display device 70.

上記では、物体検出システム１において、車両１００の車体下部に所定の物体が存在することを画像によりドライバに通知する例を説明したが、通知態様はこれに限定されない。物体検出システム１は、例えば、音、光、振動などの少なくとも１つによりドライバに危険情報を通知してもよいし、画像、音、光、振動の少なくとも２以上の組み合わせによりドライバに危険情報を通知してもよい。 In the above, in the object detection system 1, an example of notifying the driver of the existence of a predetermined object in the lower part of the vehicle body of the vehicle 100 by an image has been described, but the notification mode is not limited to this. The object detection system 1 may notify the driver of danger information by at least one of sound, light, vibration and the like, and may notify the driver of danger information by a combination of at least two or more of images, sound, light and vibration. You may notify.

表示装置７０は、出力部６０から出力された情報を表示する。表示装置７０は、例えば、車両１００の車体下部に所定の物体が存在することを示す危険情報を表示する。表示装置７０は、車両１００に搭載されたナビゲーションシステムに備えられていてもよい。表示装置７０は、例えば、液晶ディスプレイなどにより実現される。なお、表示装置７０は、ドライバが所持する携帯端末が備えていてもよい。表示装置７０は、例えば、スマートフォンなどが備えていてもよい。なお、表示装置７０が携帯端末である場合、当該携帯端末の送信先アドレスは、予め記憶部５０に記憶されている。 The display device 70 displays the information output from the output unit 60. The display device 70 displays, for example, danger information indicating that a predetermined object exists in the lower part of the vehicle body of the vehicle 100. The display device 70 may be provided in the navigation system mounted on the vehicle 100. The display device 70 is realized by, for example, a liquid crystal display or the like. The display device 70 may be provided by a mobile terminal owned by the driver. The display device 70 may be provided by, for example, a smartphone or the like. When the display device 70 is a mobile terminal, the transmission destination address of the mobile terminal is stored in the storage unit 50 in advance.

［２．物体検出システムの動作］
続いて、本実施の形態に係る物体検出システム１の動作について、図３〜５Ｂを参照しながら説明する。図３は、本実施の形態に係る物体検出システム１の動作を示すフローチャートである。図３は、物体検出装置２０における動作を示す。 [2. Operation of object detection system]
Subsequently, the operation of the object detection system 1 according to the present embodiment will be described with reference to FIGS. 3 to 5B. FIG. 3 is a flowchart showing the operation of the object detection system 1 according to the present embodiment. FIG. 3 shows the operation of the object detection device 20.

図３に示すように、物体検出装置２０は、車両１００が停車したか否かを判定する（Ｓ１１）。物体検出装置２０は、例えば、車両１００の速度が実質的にゼロであり、かつ、物体検出システム１の各構成要素に電力が供給されている状態であれば、車両１００が停車したと判定する。物体検出装置２０は、例えば、車両１００に搭載された各種センサ（図示しない）のセンシング結果に基づいて、車両１００が停車したか否かを判定してもよい。物体検出装置２０は、例えば、車両１００が備える速度センサから車両１００の速度がゼロとなったことを示す情報を取得してもよい。なお、センシング結果は、例えば、取得部３０を介して取得される。 As shown in FIG. 3, the object detection device 20 determines whether or not the vehicle 100 has stopped (S11). The object detection device 20 determines that the vehicle 100 has stopped, for example, if the speed of the vehicle 100 is substantially zero and power is supplied to each component of the object detection system 1. .. The object detection device 20 may determine whether or not the vehicle 100 has stopped, for example, based on the sensing results of various sensors (not shown) mounted on the vehicle 100. The object detection device 20 may acquire information indicating that the speed of the vehicle 100 has become zero from, for example, a speed sensor included in the vehicle 100. The sensing result is acquired via, for example, the acquisition unit 30.

物体検出装置２０は、車両１００が停車すると（Ｓ１１でＹｅｓ）、移動物体の消失及び出現の検出を開始する（Ｓ１２）。このように、物体検出装置２０は、車両１００が停車したことをトリガとして、移動物体の消失及び出現の検出を開始する。具体的には、取得部３０は撮像装置１０ａ〜１０ｄのそれぞれからの映像の取得を開始し、かつ、消失検出部４２及び出現検出部４４は、当該映像から生成された鳥瞰画像の時系列データに基づいて、移動物体の消失及び出現を検出する。ステップＳ１２は、車両１００が停車している状態で、複数の撮像装置１０ａ〜１０ｄのそれぞれから車両１００の周囲を撮像した映像を取得することの一例である。また、物体検出装置２０は、車両１００が停車していないと（Ｓ１１でＮｏ）、ステップＳ１１に戻り停車するまで移動物体の消失及び出現の検出を開始しない。 When the vehicle 100 stops (Yes in S11), the object detection device 20 starts detecting the disappearance and appearance of the moving object (S12). In this way, the object detection device 20 starts detecting the disappearance and appearance of the moving object by using the vehicle 100 as a trigger. Specifically, the acquisition unit 30 starts acquiring images from the imaging devices 10a to 10d, and the disappearance detection unit 42 and the appearance detection unit 44 are time-series data of the bird's-eye view image generated from the images. Detects the disappearance and appearance of moving objects based on. Step S12 is an example of acquiring an image of the surroundings of the vehicle 100 from each of the plurality of image pickup devices 10a to 10d while the vehicle 100 is stopped. Further, if the vehicle 100 is not stopped (No in S11), the object detection device 20 does not start detecting the disappearance and appearance of the moving object until the vehicle returns to step S11 and stops.

次に、消失検出部４２は、鳥瞰画像に基づいて、オプティカルフローによる計算又は学習済モデルを用いて、移動物体の消失を検知したか否かを判定する（Ｓ１３）。消失検出部４２は、複数の映像に基づいて、複数の撮像装置１０ａ〜１０ｄの撮像領域Ｒａ〜Ｒｄ内に存在している移動物体の、車両１００の近傍での消失を検出するとも言える。オプティカルフローによる移動物体の消失の検出について、図４を参照しながら説明する。図４は、本実施の形態に係る移動物体の消失及び出現を説明するための図である。図４に示す位置Ｐ１〜Ｐ１１は、人の移動軌跡を示しており、人は位置Ｐ１から位置Ｐ１１へ移動したとする。位置Ｐ１は、例えば、第１フレームの鳥瞰画像における人の位置を示しており、位置Ｐ２は例えば、第１フレームより後の第２フレームの鳥瞰画像における人の位置を示している。位置Ｐ３以降においても、同様である。 Next, the disappearance detection unit 42 determines whether or not the disappearance of the moving object is detected by using the calculation by the optical flow or the learned model based on the bird's-eye view image (S13). It can be said that the disappearance detection unit 42 detects the disappearance of moving objects existing in the imaging regions Ra to Rd of the plurality of imaging devices 10a to 10d in the vicinity of the vehicle 100 based on the plurality of images. The detection of the disappearance of a moving object by the optical flow will be described with reference to FIG. FIG. 4 is a diagram for explaining the disappearance and appearance of the moving object according to the present embodiment. The positions P1 to P11 shown in FIG. 4 indicate the movement locus of a person, and it is assumed that the person has moved from the position P1 to the position P11. The position P1 indicates, for example, the position of a person in the bird's-eye view image of the first frame, and the position P2 indicates, for example, the position of a person in the bird's-eye view image of the second frame after the first frame. The same applies to the position P3 and thereafter.

また、図４に示す実線丸で示す位置Ｐ１〜Ｐ３、及び、位置Ｐ９〜Ｐ１１は、鳥瞰画像において実際に人が写っている位置である。また、破線丸で示す位置Ｐ４〜Ｐ８は、鳥瞰画像において実際に人が写っていないときの位置である。つまり、破線丸は、人が車両１００の車体下部の空間に潜り込んだときの位置を示す。また、矢印は、移動ベクトルを示す。 Further, the positions P1 to P3 and the positions P9 to P11 shown by the solid circles shown in FIG. 4 are the positions where a person is actually shown in the bird's-eye view image. Further, the positions P4 to P8 indicated by the broken line circles are the positions when no person is actually captured in the bird's-eye view image. That is, the broken line circle indicates the position when a person sneaks into the space under the vehicle body of the vehicle 100. The arrow indicates a movement vector.

図４に示すように、消失検出部４２は、例えば、第２フレームの位置Ｐ２、及び、第３フレームの位置Ｐ３に基づいて、移動ベクトルを算出する。当該移動ベクトルは、例えば、人が車両１００に接近していることを示す。また、消失検出部４２は、人が車両１００の車体下部の空間に潜り込んだので、第４フレームの位置Ｐ４を検出することができない。つまり、第３フレームの後の第４フレームにおいて、車両１００の周囲にあった移動ベクトルが消えてしまう。消失検出部４２は、当該移動ベクトルが消えた場合、人が車両１００の車体下部の空間に潜り込んだ、つまり人が消失したことを検出する。 As shown in FIG. 4, the disappearance detection unit 42 calculates the movement vector based on, for example, the position P2 of the second frame and the position P3 of the third frame. The movement vector indicates, for example, that a person is approaching the vehicle 100. Further, the disappearance detection unit 42 cannot detect the position P4 of the fourth frame because a person has slipped into the space under the vehicle body of the vehicle 100. That is, in the fourth frame after the third frame, the movement vector around the vehicle 100 disappears. When the movement vector disappears, the disappearance detection unit 42 detects that a person has slipped into the space under the vehicle body of the vehicle 100, that is, the person has disappeared.

なお、図４では、車両１００の前方の位置において人が車両１００の車体下部の空間に潜り込んだ例について説明したが、人が車両１００の車体下部の空間に潜り込む位置は前方に限定されない。 Although FIG. 4 has described an example in which a person sneaks into the space under the vehicle body of the vehicle 100 at a position in front of the vehicle 100, the position where the person sneaks into the space under the vehicle body of the vehicle 100 is not limited to the front.

なお、消失検出部４２は、ステップＳ１３において、移動物体の移動ベクトルが消えて、かつ、当該移動ベクトルが消えた時点で車両１００に当該移動物体が乗車したことが検出されていない場合に、当該移動物体が消失したことを検出してもよい。消失検出部４２は、取得部３０を介して車両１００に搭載された各種センサからセンシング結果を取得し、取得したセンシング結果に基づいて、移動物体が車両１００に乗車したか否かを判定してもよい。 In addition, when the movement vector of the moving object disappears in step S13 and the movement vector has not been detected that the moving object has boarded the vehicle 100 at the time when the movement vector disappears, the disappearance detection unit 42 said. It may be detected that the moving object has disappeared. The disappearance detection unit 42 acquires sensing results from various sensors mounted on the vehicle 100 via the acquisition unit 30, and determines whether or not a moving object has boarded the vehicle 100 based on the acquired sensing results. May be good.

消失検出部４２は、移動物体の移動ベクトルが消えた時点及び当該時点の前後の時点において、移動物体が乗車したことを示すセンシング結果を取得した場合、移動ベクトルが消えた移動物体は車両１００の車体下部の空間に潜り込んだのではなく当該車両１００に乗車したので、当該移動物体の消失を検出しない。この場合、消失検出部４２は、ステップＳ１３でＮｏと判定する。 When the disappearance detection unit 42 acquires a sensing result indicating that the moving object has boarded at the time when the moving vector of the moving object disappears and at the time before and after the time, the moving object whose movement vector has disappeared is the vehicle 100. Since he got on the vehicle 100 instead of sneaking into the space under the vehicle body, the disappearance of the moving object is not detected. In this case, the disappearance detection unit 42 determines No in step S13.

各種センサは座席に設けられた感圧センサであってもよいし、車内を撮像する車内カメラであってもよいし、ドアの開閉を検出するセンサであってもよいし、シートベルトが絞められたことを検出するセンサであってもよいし、その他の移動物体（例えば、人）を検出できるその他のセンサであってもよい。 The various sensors may be a pressure-sensitive sensor provided in the seat, an in-vehicle camera that images the inside of the vehicle, a sensor that detects the opening / closing of the door, or the seat belt is fastened. It may be a sensor that detects that, or it may be another sensor that can detect other moving objects (for example, a person).

これにより、例えば、人が車両１００に乗車したことを、人が車両１００の車体下部の空間に潜り込んだと誤検出されてしまうことを抑制することができる。 Thereby, for example, it is possible to prevent a person from being erroneously detected as having entered the space under the vehicle body of the vehicle 100 when the person has boarded the vehicle 100.

また、消失検出部４２は、移動物体の移動ベクトルが消えた時点及び当該時点の前後の時点において、移動物体が乗車したことを示すセンシング結果を取得していない場合、移動ベクトルが消えた移動物体は車両１００の車体下部の空間に潜り込んだので、当該移動物体の消失を検出する。この場合、消失検出部４２は、ステップＳ１３でＹｅｓと判定する。 Further, if the disappearance detection unit 42 has not acquired the sensing result indicating that the moving object has boarded at the time when the moving vector of the moving object disappears and at the time before and after the time, the moving object whose movement vector has disappeared. Has sneaked into the space under the vehicle body of the vehicle 100, and therefore detects the disappearance of the moving object. In this case, the disappearance detection unit 42 determines Yes in step S13.

図３を再び参照して、認識部４３は、消失検出部４２が移動物体の消失を検出すると（Ｓ１３でＹｅｓ）、消失検出部４２が移動物体の消失を検出したフレームの前のフレームの鳥瞰画像又は撮像画像に基づいて、当該移動物体が人であるか否かを判定する（Ｓ１４）。認識部４３は、消失の検出結果が消失の検出を含む場合、つまりステップＳ１３で消失を検出した場合、さらに、複数の映像に基づいて、消失した移動物体が人であるか否かを判定するとも言える。認識部４３は、例えば、パターン認識又は学習済モデルを用いて、消失した移動物体が人であるか否かを判定する。人は、所定の物体の一例である。なお、認識部４３は、ステップＳ１４の認識に用いた鳥瞰画像又は撮像画像を、記憶部５０に記憶してもよい。 With reference to FIG. 3 again, when the disappearance detection unit 42 detects the disappearance of the moving object (Yes in S13), the recognition unit 43 gives a bird's-eye view of the frame before the frame in which the disappearance detection unit 42 detects the disappearance of the moving object. Based on the image or the captured image, it is determined whether or not the moving object is a person (S14). When the disappearance detection result includes the disappearance detection, that is, when the disappearance is detected in step S13, the recognition unit 43 further determines whether or not the disappeared moving object is a person based on a plurality of images. Can also be said. The recognition unit 43 determines whether or not the disappeared moving object is a person by using, for example, a pattern recognition or a trained model. A person is an example of a predetermined object. The recognition unit 43 may store the bird's-eye view image or the captured image used for the recognition in step S14 in the storage unit 50.

認識部４３は、消失した移動物体が人である場合（Ｓ１４でＹｅｓ）、つまり消失した移動物体を人と認識した場合、当該人の消失を記憶部５０に記憶する（Ｓ１５）。認識部４３は、例えば、１人の人が車両１００の車体下部に潜り込んだことを示す情報を記憶部５０に記憶する。また、認識部４３は、ステップＳ１５において、記憶部５０に記憶されている現時点における車両１００の車体下部にいる人の人数を更新してもよい。つまり、認識部４３は、ステップＳ１４でＹｅｓの場合、車両１００の車体下部にいる人の人数を１増やしてもよい。人数を１増やすことは、人の消失を記憶することの一例である。また、認識部４３は、さらに、消失時刻、消失位置などを記憶部５０に記憶してもよい。 When the disappeared moving object is a person (Yes in S14), that is, when the disappeared moving object is recognized as a person, the recognition unit 43 stores the disappearance of the person in the storage unit 50 (S15). The recognition unit 43 stores, for example, information in the storage unit 50 indicating that one person has slipped into the lower portion of the vehicle body of the vehicle 100. Further, in step S15, the recognition unit 43 may update the number of people currently stored in the storage unit 50 under the vehicle body of the vehicle 100. That is, in the case of Yes in step S14, the recognition unit 43 may increase the number of people in the lower part of the vehicle body of the vehicle 100 by one. Increasing the number of people by 1 is an example of remembering the disappearance of a person. Further, the recognition unit 43 may further store the disappearance time, the disappearance position, and the like in the storage unit 50.

次に、出現検出部４４は、ステップＳ１３及びＳ１４でＮｏである場合、又は、ステップＳ１５の次に、鳥瞰画像を用いて、移動物体が出現したか否かを判定する（Ｓ１６）。出現検出部４４は、例えば、消失の検出の処理に用いられた映像に対して、出現の検出の処理を実行する。出現検出部４４は、複数の映像に基づいて、車両１００の近傍から撮像領域Ｒａ〜Ｒｄ内への移動物体の出現を検出するとも言える。オプティカルフローによる移動物体の出現の検出について、図４を参照しながら説明する。 Next, the appearance detection unit 44 determines whether or not a moving object has appeared when No in steps S13 and S14, or after step S15, using a bird's-eye view image (S16). The appearance detection unit 44 executes, for example, the appearance detection process for the video used for the disappearance detection process. It can be said that the appearance detection unit 44 detects the appearance of a moving object in the imaging regions Ra to Rd from the vicinity of the vehicle 100 based on a plurality of images. The detection of the appearance of a moving object by the optical flow will be described with reference to FIG.

図４に示すように、出現検出部４４は、例えば、人が車両１００の車体下部に潜り込んでいるので、第８フレームの位置Ｐ８を検出することができない。また、出現検出部４４は、第９フレームでは人が車両１００に車体下部から這い出ているので、第９フレームの位置Ｐ９以降の位置を検出することができる。出現検出部４４は、例えば、第９フレームの位置Ｐ９、及び、第１０フレームの位置Ｐ１０に基づいて、移動ベクトルを算出する。つまり、第９フレームの後の第１０フレームにおいて、車両１００の周囲になかった移動ベクトルが現れる。出現検出部４４は、当該移動ベクトルが現れた場合、人が車両１００の車体下部から出てきた、つまり人が出現したことを検出する。なお、当該移動ベクトルは、例えば、人が車両１００から離れていくことを示す。 As shown in FIG. 4, the appearance detection unit 44 cannot detect the position P8 of the eighth frame because, for example, a person has slipped into the lower part of the vehicle body of the vehicle 100. Further, since the person crawls out from the lower part of the vehicle body to the vehicle 100 in the ninth frame, the appearance detection unit 44 can detect the position after the position P9 in the ninth frame. The appearance detection unit 44 calculates the movement vector based on, for example, the position P9 of the 9th frame and the position P10 of the 10th frame. That is, in the tenth frame after the ninth frame, a movement vector that was not around the vehicle 100 appears. When the movement vector appears, the appearance detection unit 44 detects that a person has come out from the lower part of the vehicle body of the vehicle 100, that is, a person has appeared. The movement vector indicates, for example, that a person moves away from the vehicle 100.

なお、図４では、車両１００の後方の位置において人が車両１００の車体下部から現れた例について説明したが、人が車両１００の車体下部から現れる位置は後方に限定されない。 In FIG. 4, an example in which a person appears from the lower part of the vehicle body of the vehicle 100 at a position behind the vehicle 100 has been described, but the position where a person appears from the lower part of the vehicle body of the vehicle 100 is not limited to the rear.

なお、出現検出部４４は、ステップＳ１６において、移動物体の移動ベクトルが現れて、かつ、当該移動ベクトルが現れた時点で車両１００から当該移動物体が降車したことが検出されていない場合に、当該移動物体が出現したと判定してもよい。出現検出部４４は、取得部３０を介して車両１００に搭載された各種センサからセンシング結果を取得し、取得したセンシング結果に基づいて、移動物体が車両１００から降車したか否かを判定してもよい。 In addition, when the movement vector of the moving object appears in step S16 and the movement vector has not been detected from the vehicle 100 at the time when the movement vector appears, the appearance detection unit 44 corresponds to the case. It may be determined that a moving object has appeared. The appearance detection unit 44 acquires sensing results from various sensors mounted on the vehicle 100 via the acquisition unit 30, and determines whether or not a moving object has disembarked from the vehicle 100 based on the acquired sensing results. May be good.

出現検出部４４は、移動物体の移動ベクトルが現れた時点及び当該時点の前後の時点において、移動物体が降車したことを示すセンシング結果を取得した場合、移動ベクトルが現れた移動物体は車両１００から降車したので、当該移動物体の出現を検出しない。この場合、出現検出部４４は、ステップＳ１６でＮｏと判定する。 When the appearance detection unit 44 acquires the sensing result indicating that the moving object has disembarked at the time when the moving vector of the moving object appears and at the time before and after the time, the moving object in which the moving vector appears is from the vehicle 100. Since the vehicle got off, the appearance of the moving object is not detected. In this case, the appearance detection unit 44 determines No in step S16.

各種センサは座席に設けられた感圧センサであってもよいし、車内を撮像する車内カメラであってもよいし、ドアの開閉を検出するセンサであってもよいし、シートベルトが外されたことを検出するセンサであってもよいし、移動物体（例えば、人）の降車を検出できるその他のセンサであってもよい。 The various sensors may be a pressure-sensitive sensor provided in the seat, an in-vehicle camera that images the inside of the vehicle, a sensor that detects the opening / closing of the door, or the seat belt is removed. It may be a sensor that detects that, or it may be another sensor that can detect the getting off of a moving object (for example, a person).

これにより、例えば、人が車両１００から降車したことを、人が車両１００の車体下部から出てきたと判定されてしまうことを抑制することができる。 Thereby, for example, it is possible to suppress that a person getting off the vehicle 100 is determined to have come out from the lower part of the vehicle body of the vehicle 100.

また、出現検出部４４は、移動物体の移動ベクトルが現れた時点及び当該時点の前後の時点において、移動物体が降車したことを示すセンシング結果を取得していない場合、移動ベクトルが現れた移動物体は車両１００の車体下部の空間から出てきたので、当該移動物体の出現を検出する。この場合、出現検出部４４は、ステップＳ１６でＹｅｓと判定する。 Further, when the appearance detection unit 44 has not acquired the sensing result indicating that the moving object has disembarked at the time when the moving vector of the moving object appears and at the time before and after the time, the moving object in which the moving object appears. Has come out of the space under the vehicle body of the vehicle 100, and therefore detects the appearance of the moving object. In this case, the appearance detection unit 44 determines Yes in step S16.

図３を再び参照して、追跡部４５は、出現検出部４４が移動物体の出現を検出すると（Ｓ１６でＹｅｓ）、出現検出部４４が移動物体の出現を検出したフレームの鳥瞰画像又は撮像画像に基づいて、当該移動物体が人であるか否かを判定する（Ｓ１７）。追跡部４５は、出現の検出結果が出現の検出を含む場合、つまりステップＳ１６で出現を検出した場合、さらに、複数の映像に基づいて、出現した移動物体が人であるか否かを判定するとも言える。追跡部４５は、例えば、パターン認識又は学習済モデルを用いて、出現した移動物体が人であるか否かを判定する。なお、追跡部４５は、ステップＳ１７の判定に用いた鳥瞰画像又は撮像画像を、記憶部５０に記憶してもよい。また、追跡部４５は、出現検出部４４が移動物体の出現を検出していないと（Ｓ１６でＮｏ）、ステップＳ１９に進む。 With reference to FIG. 3 again, when the appearance detection unit 44 detects the appearance of the moving object (Yes in S16), the tracking unit 45 detects a bird's-eye view image or a captured image of the frame in which the appearance detection unit 44 detects the appearance of the moving object. Based on the above, it is determined whether or not the moving object is a person (S17). When the appearance detection result includes the appearance detection, that is, when the appearance is detected in step S16, the tracking unit 45 further determines whether or not the appearing moving object is a person based on a plurality of images. Can also be said. The tracking unit 45 uses, for example, pattern recognition or a trained model to determine whether or not the appearing moving object is a human. The tracking unit 45 may store the bird's-eye view image or the captured image used for the determination in step S17 in the storage unit 50. Further, if the appearance detection unit 44 does not detect the appearance of the moving object (No in S16), the tracking unit 45 proceeds to step S19.

追跡部４５は、出現した移動物体が人である場合（Ｓ１７でＹｅｓ）、つまり出現した移動物体を人と認識した場合、当該人の出現を記憶部５０に記憶する（Ｓ１８）。追跡部４５は、例えば、１人の人が車両１００の車体下部から現れたことを示す情報を記憶部５０に記憶する。また、追跡部４５は、ステップＳ１８において、記憶部５０に記憶されている現時点における車両１００の車体下部にいる人の人数を更新してもよい。つまり、追跡部４５は、ステップＳ１７でＹｅｓの場合、車両１００の車体下部にいる人の人数を１減らしてもよい。人数を１減らすことは、人の出現を記憶することの一例である。そして、ステップＳ１９に進む。また、追跡部４５は、出現した移動物体が人ではない場合（Ｓ１７でＮｏ）、ステップＳ１９に進む。 When the appearing moving object is a person (Yes in S17), that is, when the appearing moving object is recognized as a person, the tracking unit 45 stores the appearance of the person in the storage unit 50 (S18). The tracking unit 45 stores, for example, information in the storage unit 50 indicating that one person has appeared from the lower part of the vehicle body of the vehicle 100. Further, in step S18, the tracking unit 45 may update the number of people currently stored in the storage unit 50 under the vehicle body of the vehicle 100. That is, in the case of Yes in step S17, the tracking unit 45 may reduce the number of people in the lower part of the vehicle body of the vehicle 100 by one. Reducing the number of people by 1 is an example of remembering the appearance of a person. Then, the process proceeds to step S19. Further, when the moving object that appears is not a person (No in S17), the tracking unit 45 proceeds to step S19.

次に、物体検出装置２０は、車両１００の停車が終了したか否かを判定する（Ｓ１９）。物体検出装置２０は、例えば、車両１００に搭載された各種センサ（図示しない）のセンシング結果に基づいて、車両１００の停車が終了したか否かを判定してもよい。物体検出装置２０は、車両１００が信号で停車していた場合、撮像装置１０ａの撮像画像に基づいて、信号機が青に変わったことを検出すると、車両１００の停車が終了したと判定してもよい。また、物体検出装置２０は、ドライバが運転操作を開始したことを検出すると、車両１００の停車が終了したと判定してもよい。運転操作を開始するとは、例えば、ドライバがブレーキペダルを緩めたことなどであってもよいし、ドライバがハンドルを握ったことであってもよいし、ドライバがシフトレバーを操作したことであってもよい。また、物体検出装置２０は、例えば、ドライバが車両１００の外に出ていた場合、当該ドライバが車両１００に戻ってきた（乗車した）ことを座席に設けられた感圧センサ又は車内カメラ（例えば、図４に示す車内カメラ１１０）のセンシング結果に基づいて検出すると、車両１００の停車が終了したと判定してもよい。なお、センシング結果は、例えば、取得部３０を介して取得される。 Next, the object detection device 20 determines whether or not the vehicle 100 has finished stopping (S19). The object detection device 20 may determine, for example, whether or not the vehicle 100 has finished stopping based on the sensing results of various sensors (not shown) mounted on the vehicle 100. When the object detection device 20 detects that the traffic light has turned blue based on the image captured by the image pickup device 10a when the vehicle 100 is stopped at a traffic light, the object detection device 20 may determine that the stop of the vehicle 100 has been completed. good. Further, when the object detection device 20 detects that the driver has started the driving operation, it may determine that the stop of the vehicle 100 has been completed. Starting a driving operation may mean, for example, that the driver has loosened the brake pedal, that the driver has grasped the steering wheel, or that the driver has operated the shift lever. May be good. Further, the object detection device 20 is, for example, a pressure sensor or an in-vehicle camera (for example, an in-vehicle camera) provided in the seat that indicates that the driver has returned (boarded) to the vehicle 100 when the driver has gone out of the vehicle 100. If it is detected based on the sensing result of the in-vehicle camera 110) shown in FIG. 4, it may be determined that the vehicle 100 has stopped. The sensing result is acquired via, for example, the acquisition unit 30.

次に、物体検出装置２０は、車両１００の停車が終了した場合（Ｓ１９でＹｅｓ）、車両１００の車体下部に人がいるか否かを判定する（Ｓ２０）。物体検出装置２０の制御部４０は、例えば、ステップＳ１５において記憶された人の消失に関する情報と、ステップＳ１８において記憶された人の出現に関する情報とに基づいて、車両１００の車体下部に人がいるか否かを判定してもよい。制御部４０は、車両１００の停車が終了した時点において、消失の検出結果及び出現の検出結果に基づいて、車両１００の下に移動物体が存在するか否かを判定するとも言える。出現の検出結果は、ステップＳ１３における消失の検出の結果であり、出現の検出結果は、ステップＳ１６における出現の検出の結果である。なお、所定の物体が人である場合、制御部４０は、車両の停車が終了した時点において、消失の判定結果及び出現の判定結果に基づいて、車両１００の下に人が存在するか否かを判定するとも言える。 Next, when the vehicle 100 has finished stopping (Yes in S19), the object detection device 20 determines whether or not there is a person in the lower part of the vehicle body of the vehicle 100 (S20). The control unit 40 of the object detection device 20 has, for example, whether there is a person in the lower part of the vehicle body of the vehicle 100 based on the information on the disappearance of the person stored in step S15 and the information on the appearance of the person stored in step S18. It may be determined whether or not. It can be said that the control unit 40 determines whether or not a moving object exists under the vehicle 100 based on the disappearance detection result and the appearance detection result when the vehicle 100 is stopped. The appearance detection result is the result of the disappearance detection in step S13, and the appearance detection result is the result of the appearance detection in step S16. When the predetermined object is a person, the control unit 40 determines whether or not there is a person under the vehicle 100 based on the disappearance determination result and the appearance determination result at the time when the vehicle has stopped stopping. It can be said that

また、制御部４０は、例えば、車両１００の車体下部にいる人の最新の人数を取得し、取得した人数に基づいて、車両１００の車体下部に人がいるか否かを判定してもよい。制御部４０は、例えば、車両１００の車体下部にいる人の人数がゼロである場合、車両１００の車体下部に人がいないと判定し、車両１００の車体下部にいる人の人数がゼロ以外である場合、車両１００の車体下部に人がいると判定してもよい。 Further, the control unit 40 may acquire, for example, the latest number of people in the lower part of the vehicle body of the vehicle 100, and determine whether or not there are people in the lower part of the vehicle body of the vehicle 100 based on the acquired number of people. For example, when the number of people in the lower part of the vehicle body of the vehicle 100 is zero, the control unit 40 determines that there are no people in the lower part of the vehicle body of the vehicle 100, and the number of people in the lower part of the vehicle body of the vehicle 100 is other than zero. In some cases, it may be determined that there is a person in the lower part of the vehicle body of the vehicle 100.

次に、制御部４０は、車両１００の車体下部（下）に人がいる場合（Ｓ２０でＹｅｓ）、車両１００の車体下部に人がいることを示す情報をドライバに通知する（Ｓ２１）。例えば、制御部４０は、車両１００の車体下部に人がいることを示す情報を、出力部６０を介して表示装置７０に出力する。このように、制御部４０は、車両１００の停車終了後に、車両１００の車体下部に人がいることを示す情報を、出力部６０を介して表示装置７０に出力する。言い換えると、制御部４０は、車両１００の停車中には、車両１００の車体下部に人がいることを示す情報を、出力部６０を介して表示装置７０に出力しない。 Next, when there is a person in the lower part (lower) of the vehicle body of the vehicle 100 (Yes in S20), the control unit 40 notifies the driver of information indicating that there is a person in the lower part of the vehicle body of the vehicle 100 (S21). For example, the control unit 40 outputs information indicating that there is a person under the vehicle body of the vehicle 100 to the display device 70 via the output unit 60. In this way, the control unit 40 outputs information indicating that there is a person under the vehicle body of the vehicle 100 to the display device 70 via the output unit 60 after the vehicle 100 has stopped. In other words, the control unit 40 does not output information indicating that there is a person under the vehicle body of the vehicle 100 to the display device 70 via the output unit 60 while the vehicle 100 is stopped.

また、制御部４０は、車両１００の車体下部に人がいない場合（Ｓ２０でＮｏ）、処理を終了する。制御部４０は、例えば、停車中に車両１００の車体下部に人が潜り込んでも、停車終了時に車両１００の車体下部に人がいない場合、ドライバに通知を行わない。なお、制御部４０は、ステップＳ２０でＮｏである場合、車両１００の車体下部に人がいないことを示す情報を、出力部６０を介して表示装置７０に出力してもよい。 Further, when there is no person in the lower part of the vehicle body of the vehicle 100 (No in S20), the control unit 40 ends the process. For example, even if a person sneaks into the lower part of the vehicle body of the vehicle 100 while the vehicle is stopped, the control unit 40 does not notify the driver if there is no person in the lower part of the vehicle body of the vehicle 100 at the end of the stop. If No in step S20, the control unit 40 may output information indicating that there is no person in the lower part of the vehicle body of the vehicle 100 to the display device 70 via the output unit 60.

ここで、表示装置７０が表示する情報について、図５Ａ及び図５Ｂを参照しながら説明する。図５Ａは、本実施の形態に係る車両１００の車体下部に人が存在することを示す通知の一例を示す図である。図５Ａは、車室から前方を見た場合の模式図である。 Here, the information displayed by the display device 70 will be described with reference to FIGS. 5A and 5B. FIG. 5A is a diagram showing an example of a notification indicating that a person is present in the lower part of the vehicle body of the vehicle 100 according to the present embodiment. FIG. 5A is a schematic view when the front is viewed from the passenger compartment.

図５Ａに示すように、制御部４０は、車両１００に搭載されたナビゲーションシステム１２０の表示部１２１に、車両１００の車体下部に人がいることを示す表示を行わせてもよい。また、制御部４０は、さらにドライバに推奨される行動を表示部１２１に表示させてもよい。制御部４０は、例えば、車両１００の下を確認することを推奨する情報を表示させてもよい。なお、表示部１２１は、図１に示す表示装置７０の一例である。 As shown in FIG. 5A, the control unit 40 may cause the display unit 121 of the navigation system 120 mounted on the vehicle 100 to display that there is a person in the lower part of the vehicle body of the vehicle 100. Further, the control unit 40 may further display the behavior recommended by the driver on the display unit 121. The control unit 40 may display information that recommends checking under the vehicle 100, for example. The display unit 121 is an example of the display device 70 shown in FIG.

図５Ｂは、本実施の形態に係る車両１００の車体下部に人が存在することを示す通知の他の一例を示す図である。 FIG. 5B is a diagram showing another example of a notification indicating that a person is present in the lower part of the vehicle body of the vehicle 100 according to the present embodiment.

図５Ｂに示すように、制御部４０は、車両１００のサラウンドビューシステムが備える撮像装置１０ａ〜１０ｄから撮像画像を取得することで、車両１００を含む鳥瞰画像上に、車両１００の車体下部に人がいることを示す表示を行わせてもよい。制御部４０は、さらに、鳥瞰画像上に、人の消失位置１２２を表示してもよい。これにより、ドライバは、消失位置１２２を参考に車両１００の車体下部を確認することができる。 As shown in FIG. 5B, the control unit 40 acquires an image taken from the image pickup devices 10a to 10d included in the surround view system of the vehicle 100, so that a person is placed on the lower part of the vehicle body of the vehicle 100 on a bird's-eye view image including the vehicle 100. It may be displayed to indicate that there is. The control unit 40 may further display the disappearance position 122 of the person on the bird's-eye view image. As a result, the driver can confirm the lower part of the vehicle body of the vehicle 100 with reference to the disappearance position 122.

図３を再び参照して、物体検出装置２０は、車両１００の停車が終了していない場合（Ｓ１９でＮｏ）、ステップＳ１３に戻り、次のフレームの画像に対してステップＳ１３以降の処理を行う。ステップＳ１３〜Ｓ１９の処理は、車両１００が停車している期間中、繰り返し実行される。 With reference to FIG. 3 again, when the vehicle 100 has not finished stopping (No in S19), the object detection device 20 returns to step S13 and performs the processing after step S13 on the image of the next frame. .. The processes of steps S13 to S19 are repeatedly executed during the period when the vehicle 100 is stopped.

なお、上記では、出力部６０は、車両１００の停車が終了した時点で、車両１００の車体下部に人がいる場合に、ドライバに通知を行う例について説明したが、停車中にドライバに所定の通知を行ってもよい。出力部６０は、例えば、消失検出部４２が移動物体の消失を検出する、又は、認識部４３が移動物体を人であると認識するごとに、検出結果又は認識結果をドライバに通知してもよい。 In the above description, the output unit 60 has described an example in which the output unit 60 notifies the driver when there is a person in the lower part of the vehicle body of the vehicle 100 when the vehicle 100 is stopped. Notification may be given. Even if the output unit 60 notifies the driver of the detection result or the recognition result each time the disappearance detection unit 42 detects the disappearance of the moving object or the recognition unit 43 recognizes the moving object as a person, for example. good.

以上のように、本実施の形態に係る物体検出装置２０は、車両１００に搭載された複数の撮像装置１０ａ〜１０ｄから取得した映像に基づいて、車両１００の車体下部に所定の物体（例えば、人）がいるか否かを判定する。 As described above, the object detection device 20 according to the present embodiment is a predetermined object (for example, for example,) on the lower part of the vehicle body of the vehicle 100 based on the images acquired from the plurality of image pickup devices 10a to 10d mounted on the vehicle 100. Determine if there is a person).

物体検出装置２０は、超音波の跳ね返り等により直接物体を検出しておらず、映像に基づいて物体を間接的に検出するので、路面の状態の影響を受けにくい。よって、本開示に係る物体検出装置２０によれば、路面の状態の影響を受けにくいので、車体下部の空間に存在する物体を精度よく検出することができる。 Since the object detection device 20 does not directly detect the object by the bounce of ultrasonic waves or the like and indirectly detects the object based on the image, it is not easily affected by the condition of the road surface. Therefore, according to the object detection device 20 according to the present disclosure, since it is not easily affected by the state of the road surface, it is possible to accurately detect an object existing in the space under the vehicle body.

また、このような車両１００の周囲を撮像する撮像装置１０ａ〜１０ｄが車両１００の車体下部以外の部分（例えば、車体側部）に取り付けられている場合、つまり、取得部３０が車体底部以外に取り付けられた撮像装置１０ａ〜１０ｄから映像を取得する場合、取得される映像は、車体下部に設置された様々な設備などの車体下部の環境の影響を受けにくい映像となる。この場合、物体検出装置２０は、車体底部以外の部分に取り付けられた撮像装置１０ａ〜１０ｄから映像を取得するので、物体検出における車体下部の環境の影響を受けにくく、車体下部の空間に存在する物体をさらに精度よく検出することができる。 Further, when the image pickup devices 10a to 10d that image the surroundings of the vehicle 100 are attached to a portion other than the lower portion of the vehicle body (for example, the vehicle body side portion) of the vehicle 100, that is, the acquisition portion 30 is other than the bottom portion of the vehicle body. When an image is acquired from the attached imaging devices 10a to 10d, the acquired image is an image that is not easily affected by the environment of the lower part of the vehicle body such as various facilities installed in the lower part of the vehicle body. In this case, since the object detection device 20 acquires images from the image pickup devices 10a to 10d attached to a portion other than the bottom of the vehicle body, it is not easily affected by the environment of the lower part of the vehicle body in the object detection and exists in the space of the lower part of the vehicle body. Objects can be detected more accurately.

（実施の形態の変形例）
以下、本変形例に係る物体検出システムついて、図６を参照しながら説明する。なお、本変形例に係る物体検出システムの機能構成は、実施の形態と同様であり、実施の形態と同様の符号を付して説明を行う。本変形例では、主に追跡部４５が、消失した人と出現した人とが同一人物であるか否かを判定する点において、実施の形態と相違する。以下において、実施の形態との相違点を中心に説明する。 (Modified example of the embodiment)
Hereinafter, the object detection system according to this modification will be described with reference to FIG. The functional configuration of the object detection system according to this modification is the same as that of the embodiment, and the description will be given with the same reference numerals as those of the embodiment. This modification is different from the embodiment in that the tracking unit 45 mainly determines whether or not the disappeared person and the appearing person are the same person. Hereinafter, differences from the embodiments will be mainly described.

追跡部４５は、鳥瞰画像又は撮像画像に基づいて、認識部４３が認識した所定の物体と、出現検出部４４が検出した移動物体とが同一の物体であるか否かを認識する。以下では所定の物体は人である例について説明するが、所定の物体は人に限定されない。本実施の形態では、追跡部４５は、鳥瞰画像又は撮像画像に基づいて、認識部４３が認識した人と、出現検出部４４が検出した移動物体とが同一の物体（同一の人物）であるか否かを認識する。 Based on the bird's-eye view image or the captured image, the tracking unit 45 recognizes whether or not the predetermined object recognized by the recognition unit 43 and the moving object detected by the appearance detection unit 44 are the same object. Hereinafter, an example in which a predetermined object is a person will be described, but the predetermined object is not limited to a person. In the present embodiment, the tracking unit 45 is an object (same person) in which the person recognized by the recognition unit 43 and the moving object detected by the appearance detection unit 44 are the same based on the bird's-eye view image or the captured image. Recognize whether or not.

追跡部４５は、認識部４３が認識した人と、出現検出部４４が検出した移動物体とが同一の人物であるか否かを認識してもよいし、出現検出部４４が検出した移動物体が人であると認識した場合に、認識部４３が認識した人と、追跡部４５が認識した人物とが同一人物であるか否かをさらに認識してもよい。 The tracking unit 45 may recognize whether or not the person recognized by the recognition unit 43 and the moving object detected by the appearance detection unit 44 are the same person, or the moving object detected by the appearance detection unit 44 may be recognized. When the person is recognized as a person, it may be further recognized whether or not the person recognized by the recognition unit 43 and the person recognized by the tracking unit 45 are the same person.

追跡部４５が同一人物を認識する手法は特に限定されないが、例えば、特徴マッチング技術、又は、ニューラルネットワーク等の学習済モデルを用いた認識技術により行われてもよい。特徴マッチング技術により行われる場合、追跡部４５は、例えば、認識部４３が人と認識したときの鳥瞰画像又は撮像画像における人の特徴量と、出現検出部４４が移動物体を検出したときの鳥瞰画像又は撮像画像における当該移動物体の特徴量とに基づいて、同一人物であるか否かを認識してもよい。追跡部４５は、認識部４３が人と認識したときの鳥瞰画像又は撮像画像に基づいて、人の特徴量を抽出する。また、追跡部４５は、出現検出部４４が移動物体を検出したときの鳥瞰画像又は撮像画像に基づいて、移動物体の特徴量を抽出する。そして、追跡部４５は、抽出された２つの画像それぞれの特徴量を比較することで、認識部４３が認識した人と、出現検出部４４が検出した移動物体とが同一の人物であるか否かを認識する。追跡部４５は、抽出された２つの画像それぞれの特徴量を比較することで、認識部４３が認識した人と、出現検出部４４が検出した移動物体とが同一の人物であるか否かを判定するとも言える。また、追跡部４５は、消失したフレーム及び出現したフレーム間で、同一人物を追跡するとも言える。 The method by which the tracking unit 45 recognizes the same person is not particularly limited, but may be performed by, for example, a feature matching technique or a recognition technique using a learned model such as a neural network. When performed by the feature matching technique, the tracking unit 45 has, for example, a bird's-eye view image or a captured image of a person when the recognition unit 43 recognizes the person, and a bird's-eye view when the appearance detection unit 44 detects a moving object. Whether or not they are the same person may be recognized based on the feature amount of the moving object in the image or the captured image. The tracking unit 45 extracts the feature amount of a person based on the bird's-eye view image or the captured image when the recognition unit 43 recognizes the person. Further, the tracking unit 45 extracts the feature amount of the moving object based on the bird's-eye view image or the captured image when the appearance detecting unit 44 detects the moving object. Then, the tracking unit 45 compares the feature amounts of the two extracted images to determine whether the person recognized by the recognition unit 43 and the moving object detected by the appearance detection unit 44 are the same person. Recognize. By comparing the feature amounts of each of the two extracted images, the tracking unit 45 determines whether or not the person recognized by the recognition unit 43 and the moving object detected by the appearance detection unit 44 are the same person. It can be said to judge. It can also be said that the tracking unit 45 tracks the same person between the disappeared frame and the appearing frame.

また、ニューラルネットワーク等の学習済モデルの認識技術を用いる場合、追跡部４５は、例えば、学習済モデルに鳥瞰画像又は撮像画像を入力し、当該移動物体のニューラルネットワークの認識時における任意の中間層の特徴量（例えば、スコアであり、中間生成物の一例）を取得し、取得された特徴量に基づいて、同一人物であるか否かを認識してもよい。追跡部４５は、認識部４３が人と認識したときの鳥瞰画像又は撮像画像を学習済モデルに入力し、消失した人の特徴量を取得する。また、追跡部４５は、出現検出部４４が移動物体を検出したときの鳥瞰画像又は撮像画像を学習済モデルに入力し、出現した人の特徴量を取得する。そして、追跡部４５は、取得された２つの画像それぞれの特徴量を比較することで、認識部４３が認識した人と、出現検出部４４が検出した移動物体とが同一の人物であるか否かを認識する。追跡部４５は、抽出された２つの画像それぞれの特徴量を比較することで、認識部４３が認識した人と、出現検出部４４が検出した移動物体とが同一の人物であるか否かを判定するとも言える。なお、特徴量は、例えば、画像勾配、色分布のヒストグラムなどを含んでいてもよい。 Further, when using a recognition technique of a trained model such as a neural network, the tracking unit 45 inputs, for example, a bird's-eye view image or a captured image into the trained model, and any intermediate layer at the time of recognizing the neural network of the moving object. (For example, it is a score and an example of an intermediate product) may be acquired, and it may be recognized whether or not the person is the same person based on the acquired feature quantity. The tracking unit 45 inputs the bird's-eye view image or the captured image when the recognition unit 43 recognizes the person into the trained model, and acquires the feature amount of the disappeared person. Further, the tracking unit 45 inputs the bird's-eye view image or the captured image when the appearance detection unit 44 detects the moving object into the trained model, and acquires the feature amount of the person who appears. Then, the tracking unit 45 compares the feature amounts of the two acquired images to determine whether the person recognized by the recognition unit 43 and the moving object detected by the appearance detection unit 44 are the same person. Recognize. By comparing the feature amounts of each of the two extracted images, the tracking unit 45 determines whether or not the person recognized by the recognition unit 43 and the moving object detected by the appearance detection unit 44 are the same person. It can be said to judge. The feature amount may include, for example, an image gradient, a histogram of the color distribution, and the like.

このような学習済モデルは、実施の形態の追跡部４５が有する学習済モデルであってもよい。つまり、本変形例に係る追跡部４５は、実施の形態の追跡部４５が有する学習済モデルを用いて、人の認識及び同一人物の認識を行ってもよい。また、学習済モデルは、入力層で次元数を意味するニューロン数が多く、徐々に後続の層のニューロンの数が減っていき、中心部分の隠れ層で最も次元数が圧縮されてニューロンの数が少なくなるニューラルネットワーク構造を有していてもよい。つまり、学習済モデルは、入力情報の次元を削減することができる、いわゆるエンコーダを有していてもよい。なお、次元が削減された入力情報は、例えば、入力情報における特徴量を示す。言い換えると、学習済モデルは、入力情報から特徴量を抽出するように学習されているとも言える。学習済モデルは、例えば、エンコーダ、及び、特徴量に基づいて入力情報が復元するデコーダを有するオートエンコーダであってもよい。なお、追跡部４５は、主成分分析により画像の次元を圧縮してもよい。 Such a trained model may be a trained model included in the tracking unit 45 of the embodiment. That is, the tracking unit 45 according to the present modification may recognize a person and the same person by using the learned model of the tracking unit 45 of the embodiment. In the trained model, the number of neurons, which means the number of dimensions, is large in the input layer, the number of neurons in the subsequent layer gradually decreases, and the number of neurons is compressed most in the hidden layer in the central part. It may have a neural network structure in which is reduced. That is, the trained model may have a so-called encoder that can reduce the dimension of the input information. The input information with reduced dimensions indicates, for example, a feature amount in the input information. In other words, it can be said that the trained model is trained to extract features from the input information. The trained model may be, for example, an encoder and an autoencoder having a decoder in which input information is restored based on a feature amount. The tracking unit 45 may compress the dimension of the image by principal component analysis.

続いて、本変形例に係る物体検出システム１の動作について、図６を参照しながら説明する。図６は、本変形例に係る物体検出システム１の動作を示すフローチャートである。図６は、物体検出装置２０における動作を示す。なお、実施の形態の物体検出装置２０における動作と同一又は類似の動作については、図３と同一の符号を付し、説明を省略又は簡略化する。 Subsequently, the operation of the object detection system 1 according to this modification will be described with reference to FIG. FIG. 6 is a flowchart showing the operation of the object detection system 1 according to this modification. FIG. 6 shows the operation of the object detection device 20. The same or similar operations as those in the object detection device 20 of the embodiment are designated by the same reference numerals as those in FIG. 3, and the description thereof will be omitted or simplified.

図６に示すように、認識部４３は、消失した移動物体が人である場合（Ｓ１４でＹｅｓ）、ステップＳ１３で消失した人の情報を記憶部５０に記憶する（Ｓ１０１）。認識部４３は、例えば、消失した移動物体が人である場合、さらに、複数の映像に基づいて、当該消失した人の特徴量を取得し、取得した特徴量を記憶する。認識部４３は、ステップＳ１０１において、ステップＳ１３で消失した人の情報を記憶することで、車両１００の車体下部にいる人の情報を更新するとも言える。 As shown in FIG. 6, when the disappeared moving object is a person (Yes in S14), the recognition unit 43 stores the information of the person lost in step S13 in the storage unit 50 (S101). For example, when the disappeared moving object is a person, the recognition unit 43 acquires the feature amount of the disappeared person based on a plurality of images and stores the acquired feature amount. It can be said that the recognition unit 43 updates the information of the person in the lower part of the vehicle body of the vehicle 100 by storing the information of the person lost in step S13 in step S101.

人の情報は、例えば、当該人の特徴量であってもよいし、消失検出部４２が移動物体を検出し、かつ、認識部４３が移動物体を人と認識した画像であってもよい。認識部４３は、学習済モデルを用いて人の認識を行う場合、ニューラルネットワークの認識時における任意の層の特徴量を記憶部５０に記憶してもよいし、次元圧縮された特徴量を記憶部５０に記憶してもよい。つまり、本変形例では、認識部４３は、人の消失だけではなく、消失した人を特定可能な情報を記憶部５０に記憶する。 The information on a person may be, for example, a feature amount of the person, or an image in which the disappearance detection unit 42 detects a moving object and the recognition unit 43 recognizes the moving object as a person. When recognizing a person using the trained model, the recognition unit 43 may store the feature amount of an arbitrary layer at the time of recognition of the neural network in the storage unit 50, or store the dimensionally compressed feature amount. It may be stored in the part 50. That is, in this modification, the recognition unit 43 stores not only the disappearance of the person but also the information that can identify the disappeared person in the storage unit 50.

そして、追跡部４５は、出現検出部４４が移動物体の出現を検出すると（Ｓ１６でＹｅｓ）、出現検出部４４が移動物体の出現を検出したフレームの鳥瞰画像又は撮像画像に基づいて、当該移動物体がステップＳ１３で消失した人であるか否かを判定する（Ｓ１０２）。追跡部４５は、例えば、特徴マッチング又は学習済モデルを用いて、出現した移動物体がステップＳ１３で消失した人と同一人物であるか否かを判定する。追跡部４５は、出現した移動物体が人である場合、さらに、複数の映像に基づいて、例えば、当該出現した人の特徴量を取得し、消失した人の特徴量と、出現した人の特徴量とに基づいて、消失した人と出現した人とが同一人物であるか否かを判定する。追跡部４５は、例えば、ステップＳ１６で出現した移動物体（人）が、ステップＳ１３で消失した人のうちのいずれの人であるかを特定することを含む処理を実行するとも言える。なお、追跡部４５は、ステップＳ１０２の判定に用いた鳥瞰画像又は撮像画像を、記憶部５０に記憶してもよい。 Then, when the appearance detection unit 44 detects the appearance of the moving object (Yes in S16), the tracking unit 45 moves the movement based on the bird's-eye view image or the captured image of the frame in which the appearance detection unit 44 detects the appearance of the moving object. It is determined whether or not the object is the person who disappeared in step S13 (S102). The tracking unit 45 uses, for example, feature matching or a trained model to determine whether the appearing moving object is the same person as the person who disappeared in step S13. When the moving object that appears is a person, the tracking unit 45 further acquires, for example, the feature amount of the appearing person based on a plurality of images, and the feature amount of the disappeared person and the feature of the appearing person. Based on the amount, it is determined whether or not the disappeared person and the appearing person are the same person. It can be said that the tracking unit 45 executes, for example, a process including identifying which of the people who disappeared in step S13 is the moving object (person) that appeared in step S16. The tracking unit 45 may store the bird's-eye view image or the captured image used for the determination in step S102 in the storage unit 50.

次に、追跡部４５は、同一人物である場合（Ｓ１０２でＹｅｓ）、例えば、ステップＳ１６で出現した移動物体（人）が、ステップＳ１３で消失した人のうちのいずれの人であるかを特定できた場合、ステップＳ１３で消失した人の情報を記憶部５０から削除する。つまり、追跡部４５は、ステップＳ１０１で記憶された人の情報のうち、ステップＳ１０２で同一人物であると判定された人の情報を記憶部５０から削除する。追跡部４５は、例えば、同一人物であると判定された人に対応する特徴量、つまりステップＳ１０１で記憶された当該人に対応する特徴量を記憶部５０から削除する。追跡部４５は、ステップＳ１０３において、ステップＳ１３で消失した人の情報を記憶部５０から削除することで、車両１００の車体下部にいる人の情報を更新するとも言える。 Next, when the tracking unit 45 is the same person (Yes in S102), for example, the tracking unit 45 identifies which of the people who disappeared in step S13 is the moving object (person) that appeared in step S16. If possible, the information of the person lost in step S13 is deleted from the storage unit 50. That is, the tracking unit 45 deletes the information of the person determined to be the same person in step S102 from the storage unit 50 among the information of the person stored in step S101. For example, the tracking unit 45 deletes the feature amount corresponding to the person determined to be the same person, that is, the feature amount memorized in step S101 corresponding to the person, from the storage unit 50. It can be said that the tracking unit 45 updates the information of the person in the lower part of the vehicle body of the vehicle 100 by deleting the information of the person lost in step S13 from the storage unit 50 in step S103.

また、追跡部４５は、同一人物でない場合（Ｓ１０２Ｎｏ）、例えば、ステップＳ１６で出現した移動物体（人）が、ステップＳ１３で消失した人のうちのいずれの人であるかを特定できなかった場合、ドライバに検出異常を通知する（Ｓ１０４）。ここでの検出異常は、例えば、消失を検出していない人が出現したことを示す。例えば、車両１００に乗車している人が降車した場合、出現検出部４４が検出ミスした場合などにより検出異常は発生し得る。追跡部４５は、ステップＳ１０４において、消失を検出していない人が出現したことを示す情報を、ドライバに通知するとも言える。例えば、追跡部４５は、出力部６０を介して当該情報をドライバの携帯端末に出力する。追跡部４５は、例えば、ステップＳ１６の処理で用いた画像を当該情報に含めてドライバの携帯端末に出力してもよい。 Further, when the tracking unit 45 is not the same person (S102No), for example, when the moving object (person) appearing in step S16 cannot identify which of the people disappeared in step S13. , Notify the driver of the detection error (S104). The detection abnormality here indicates, for example, that a person who has not detected the disappearance has appeared. For example, when a person in the vehicle 100 gets off, a detection abnormality may occur due to a detection error caused by the appearance detection unit 44. It can be said that the tracking unit 45 notifies the driver of information indicating that a person who has not detected the disappearance has appeared in step S104. For example, the tracking unit 45 outputs the information to the driver's mobile terminal via the output unit 60. For example, the tracking unit 45 may include the image used in the process of step S16 in the information and output it to the mobile terminal of the driver.

なお、追跡部４５は、ステップＳ１０２でＮｏである場合、ドライバに検出異常を通知することに限定されない。追跡部４５は、例えば、当該人の出現を記憶部５０に記憶してもよい。追跡部４５は、例えば、消失を検出していない人が車両１００の下から現れたことを示す情報を記憶部５０に記憶してもよい。また、追跡部４５は、ステップＳ１０２でＮｏである場合、ステップＳ１６で出現を検出した移動物体に関する処理（例えば、通知、記憶などの処理）を行わずにステップＳ１９に進んでもよい。 If the tracking unit 45 is No in step S102, the tracking unit 45 is not limited to notifying the driver of the detection abnormality. The tracking unit 45 may store the appearance of the person in the storage unit 50, for example. The tracking unit 45 may store, for example, information in the storage unit 50 indicating that a person who has not detected the disappearance has appeared from under the vehicle 100. If the tracking unit 45 is No in step S102, the tracking unit 45 may proceed to step S19 without performing processing (for example, processing such as notification and storage) related to the moving object whose appearance is detected in step S16.

なお、本変形例の場合、物体検出装置２０の制御部４０は、ステップＳ１３で消失が検出された人の全てが、ステップＳ１６で検出された場合、ステップＳ２０でＹｅｓと判定してもよい。また、制御部４０は、消失を検出していない人が車両１００の下から現れたことを示す情報が記憶部５０に記憶されている場合、ステップＳ２０でＮｏと判定してもよい。 In the case of this modification, the control unit 40 of the object detection device 20 may determine Yes in step S20 when all the people whose disappearance is detected in step S13 are detected in step S16. Further, the control unit 40 may determine No in step S20 when the storage unit 50 stores information indicating that a person who has not detected the disappearance has appeared from under the vehicle 100.

以上のように、本変形例に係る物体検出装置２０の追跡部４５は、消失した人と出現した人とが同一人物であるか否かを判定する。そして、追跡部４５は、同一人物である場合、記憶部５０に記憶されている当該人の情報を削除する。 As described above, the tracking unit 45 of the object detection device 20 according to the present modification determines whether or not the disappeared person and the appearing person are the same person. Then, when the person is the same person, the tracking unit 45 deletes the information of the person stored in the storage unit 50.

これにより、物体検出装置２０は、車体下部にいる人をさらに精度よく検出することができる。物体検出装置２０は、車両下部にいる人を正確に検出することができるとも言える。制御部４０は、車両１００の停車終了時に車体下部に人がいる場合、ステップＳ１３で消失を検出した人のうち、どの人が車体下部にいるかを特定することができる。制御部４０は、例えば、どのフレームに写っていた人が車体下部にいるかを特定することができる。この場合、制御部４０は、車体下部にいる人が写っている画像を、表示装置７０に表示させてもよい。当該画像は、車両１００の下に人が存在することを示す情報の一例である。 As a result, the object detection device 20 can detect a person in the lower part of the vehicle body with higher accuracy. It can be said that the object detection device 20 can accurately detect a person in the lower part of the vehicle. When there is a person in the lower part of the vehicle body at the end of the stop of the vehicle 100, the control unit 40 can identify which person is in the lower part of the vehicle body among the persons who have detected the disappearance in step S13. The control unit 40 can identify, for example, which frame the person in the lower part of the vehicle body is in. In this case, the control unit 40 may display an image of a person in the lower part of the vehicle body on the display device 70. The image is an example of information indicating that a person exists under the vehicle 100.

（その他の実施の形態）
以上、一つまたは複数の態様に係る物体検出方法等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示に含まれてもよい。 (Other embodiments)
Although the object detection method and the like according to one or more aspects have been described above based on the embodiment, the present disclosure is not limited to this embodiment. As long as the purpose of the present disclosure is not deviated, various modifications that can be conceived by those skilled in the art may be applied to the present embodiment, or a form constructed by combining components in different embodiments may be included in the present disclosure. ..

例えば、上記実施の形態等では、物体検出システムが備える複数の撮像装置は、サラウンドビューシステムが備えるカメラシステムである例について説明したが、物体検出システムが備える複数の撮像装置はサラウンドビューシステムが備えるカメラシステムであることに限定されない。物体検出システムは、例えば、サラウンドビューシステムを備えない車両に設置された複数の撮像装置を備えていてもよい。 For example, in the above-described embodiment, the example in which the plurality of imaging devices included in the object detection system is a camera system included in the surround view system has been described, but the plurality of imaging devices included in the object detection system are included in the surround view system. It is not limited to a camera system. The object detection system may include, for example, a plurality of imaging devices installed in a vehicle that does not have a surround view system.

また、上記実施の形態等では、鳥瞰画像を用いて移動物体の消失及び出現の検出を行ったが、これに限定されない。例えば、撮像画像を用いて、移動物体の消失及び出現の検出が行われてもよい。この場合、物体検出装置は、合成部を有していなくてもよい。 Further, in the above-described embodiment and the like, the disappearance and appearance of the moving object are detected by using the bird's-eye view image, but the present invention is not limited to this. For example, the disappearance and appearance of a moving object may be detected by using a captured image. In this case, the object detection device does not have to have a compositing unit.

また、上記実施の形態等では、物体検出装置は、認識部及び追跡部を有する例について説明したが、これに限定されない。物体検出装置は、認識部及び追跡部の少なくとも一方を有していなくてもよい。物体検出装置は、例えば、認識部及び追跡部の両方を有していなくてもよい。この場合、物体検出装置は、消失検出部の消失の検出結果、及び、出現検出部の出現の検出結果に基づいて、車両下に移動物体がいるか否かを判定してもよい。 Further, in the above-described embodiment and the like, an example in which the object detection device has a recognition unit and a tracking unit has been described, but the present invention is not limited thereto. The object detection device may not have at least one of a recognition unit and a tracking unit. The object detection device may not have, for example, both a recognition unit and a tracking unit. In this case, the object detection device may determine whether or not there is a moving object under the vehicle based on the disappearance detection result of the disappearance detection unit and the appearance detection result of the appearance detection unit.

また、上記実施の形態等で説明した物体検出システムは、サラウンドビューシステムの一部として実現されてもよい。 Further, the object detection system described in the above-described embodiment or the like may be realized as a part of the surround view system.

また、上記実施の形態等では、物体検出装置は車両の一例である自動車に搭載される例について説明したが、これに限定されない。車両は、ダンプカー、ブルドーザーなどの建築車両、トラクターなどの農業機械、又は、電車などの鉄道車両に搭載されてもよい。 Further, in the above-described embodiment and the like, the example in which the object detection device is mounted on an automobile, which is an example of a vehicle, has been described, but the present invention is not limited to this. The vehicle may be mounted on a construction vehicle such as a dump truck or a bulldozer, an agricultural machine such as a tractor, or a railroad vehicle such as a train.

また、上記実施の形態等では、図５Ａ及び図５Ｂに示すような画像が表示される例について説明したが、表示される画像はこれに限定されない。例えば、表示装置は、撮像装置が撮像した画像であって、車体下部にいる人が写っている画像を、表示装置に表示してもよい。 Further, in the above-described embodiment and the like, an example in which an image as shown in FIGS. 5A and 5B is displayed has been described, but the displayed image is not limited to this. For example, the display device may display on the display device an image captured by the image pickup device and showing a person in the lower part of the vehicle body.

また、上記実施の形態における、移動物体の消失を検出するフローと、移動物体の出現を検出するフローとは、並行して行われてもよい。 Further, the flow for detecting the disappearance of a moving object and the flow for detecting the appearance of a moving object in the above embodiment may be performed in parallel.

また、上記実施の形態等では、物体検出システムの各構成要素は、車両に搭載される例について説明したが、これに限定されない。 Further, in the above-described embodiment and the like, each component of the object detection system has been described as an example of being mounted on a vehicle, but the present invention is not limited thereto.

また、上記実施の形態等に係る物体検出装置は、複数の装置により実現されてもよい。物体検出装置が複数の装置によって実現される場合、当該物体検出装置が有する各構成要素は、複数の装置にどのように振り分けられてもよい。また、物体検出装置が備える各構成要素の少なくとも１つは、サーバ装置により実現されてもよい。例えば、取得部、合成部、消失検出部、認識部、出現検出部、追跡部、出力部などの処理部の少なくとも１つは、サーバ装置により実現されてもよい。また、物体検出装置がサーバ装置を含む複数の装置で実現される場合、当該複数の装置間の通信方法は、特に限定されず、無線通信であってもよいし、有線通信であってもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。なお、本明細書では、物体検出装置が複数の装置で実現されている、いわゆるシステムにより実現されている場合も、物体検出装置と記載する。つまり、１つの装置により物体検出装置の機能が実現される、及び、複数の装置により物体検出装置の機能が実現されるものを、本明細書では物体検出装置と記載する。 Further, the object detection device according to the above embodiment or the like may be realized by a plurality of devices. When the object detection device is realized by a plurality of devices, each component of the object detection device may be distributed to the plurality of devices in any way. Further, at least one of the components included in the object detection device may be realized by the server device. For example, at least one of the processing units such as the acquisition unit, the synthesis unit, the disappearance detection unit, the recognition unit, the appearance detection unit, the tracking unit, and the output unit may be realized by the server device. When the object detection device is realized by a plurality of devices including a server device, the communication method between the plurality of devices is not particularly limited, and may be wireless communication or wired communication. .. Further, wireless communication and wired communication may be combined between the devices. In this specification, even when the object detection device is realized by a plurality of devices, that is, it is realized by a so-called system, it is also described as an object detection device. That is, a device in which the function of the object detection device is realized by one device and the function of the object detection device is realized by a plurality of devices is described as an object detection device in this specification.

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が他のステップと同時（並列）に実行されてもよいし、上記ステップの一部は実行されなくてもよい。 Further, the order in which each step in the flowchart is executed is for exemplifying the present disclosure in detail, and may be an order other than the above. Further, a part of the above steps may be executed simultaneously with other steps (parallel), or a part of the above steps may not be executed.

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。 Further, the division of the functional block in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be transferred to other functional blocks. You may. Further, the functions of a plurality of functional blocks having similar functions may be processed by a single hardware or software in parallel or in a time division manner.

また、上記実施の形態における物体検出装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。 Further, a part or all of the components included in the object detection device in the above embodiment may be composed of one system LSI (Large Scale Integration: large-scale integrated circuit).

システムＬＳＩは、複数の処理部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。 The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of processing units on one chip, and specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. It is a computer system configured to include. A computer program is stored in the ROM. The system LSI achieves its function by operating the microprocessor according to the computer program.

また、本開示の一態様は、図３又は図６などに示す物体検出方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。例えば、プログラムは、コンピュータに実行させるためのプログラムであってもよい。また、本開示の一態様は、そのようなプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布又は流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。 Further, one aspect of the present disclosure may be a computer program that causes a computer to execute each characteristic step included in the object detection method shown in FIG. 3 or FIG. For example, the program may be a program to be executed by a computer. Also, one aspect of the present disclosure may be a computer-readable, non-temporary recording medium on which such a program is recorded. For example, such a program may be recorded on a recording medium and distributed or distributed. For example, by installing the distributed program on a device having another processor and causing the processor to execute the program, it is possible to cause the device to perform each of the above processes.

本開示は、車両に搭載される物体検出装置に有用である。 The present disclosure is useful for an object detection device mounted on a vehicle.

１ 物体検出システム
１０ａ、１０ｂ、１０ｃ、１０ｄ 撮像装置
２０ 物体検出装置
３０ 取得部
４０ 制御部
４１ 合成部
４２ 消失検出部（第１検出部）
４３ 認識部
４４ 出現検出部（第２検出部）
４５ 追跡部
５０ 記憶部
６０ 出力部
７０ 表示装置
１００ 車両
１１０ 車内カメラ
１２０ ナビゲーションシステム
１２１ 表示部
１２２ 消失位置
Ｒａ、Ｒｂ、Ｒｃ、Ｒｄ 撮像領域 1 Object detection system 10a, 10b, 10c, 10d Imaging device 20 Object detection device 30 Acquisition unit 40 Control unit 41 Synthesis unit 42 Disappearance detection unit (first detection unit)
43 Recognition unit 44 Appearance detection unit (second detection unit)
45 Tracking unit 50 Storage unit 60 Output unit 70 Display device 100 Vehicle 110 In-vehicle camera 120 Navigation system 121 Display unit 122 Disappearance position Ra, Rb, Rc, Rd Imaging area

Claims (8)

周囲を撮像する複数の撮像装置を備える車両における物体検出方法であって、
前記車両が停車している状態で、前記複数の撮像装置のそれぞれから前記車両の前記周囲を撮像した映像を取得し、
複数の前記映像に基づいて、前記複数の撮像装置の撮像領域内に存在している移動物体の、前記車両の近傍での消失を検出し、
複数の前記映像に基づいて、前記車両の近傍から前記撮像領域内への移動物体の出現を検出し、
前記車両の前記停車が終了した時点において、前記消失の検出結果及び前記出現の検出結果に基づいて、前記車両の下に移動物体が存在するか否かを判定し、
前記車両の下に移動物体が存在する場合、前記車両の下に移動物体が存在することを示す情報を出力する
物体検出方法。 It is an object detection method in a vehicle equipped with a plurality of imaging devices that image the surroundings.
While the vehicle is stopped, images of the surroundings of the vehicle are acquired from each of the plurality of imaging devices.
Based on the plurality of the images, the disappearance of the moving object existing in the imaging region of the plurality of imaging devices in the vicinity of the vehicle is detected.
Based on the plurality of the images, the appearance of a moving object from the vicinity of the vehicle into the imaging region is detected.
At the time when the stop of the vehicle is completed, it is determined whether or not there is a moving object under the vehicle based on the detection result of the disappearance and the detection result of the appearance.
An object detection method that outputs information indicating that a moving object exists under the vehicle when a moving object exists under the vehicle. 前記消失の検出結果が前記消失の検出を含む場合、さらに、複数の前記映像に基づいて、消失した移動物体が人であるか否かを判定し、
前記出現の検出結果が前記出現の検出を含む場合、さらに、複数の前記映像に基づいて、出現した移動物体が人であるか否かを判定し、
前記車両の前記停車が終了した時点において、前記消失の判定結果及び前記出現の判定結果に基づいて、前記車両の下に人が存在するか否かを判定し、前記車両の下に人が存在する場合、前記車両の下に人が存在することを示す情報を出力する
請求項１に記載の物体検出方法。 When the disappearance detection result includes the disappearance detection, it is further determined whether or not the disappeared moving object is a person based on the plurality of the images.
When the detection result of the appearance includes the detection of the appearance, it is further determined whether or not the moving object that appears is a person based on the plurality of the images.
At the time when the stop of the vehicle is completed, it is determined whether or not there is a person under the vehicle based on the determination result of the disappearance and the determination result of the appearance, and the person is present under the vehicle. The object detection method according to claim 1, wherein the information indicating that a person exists under the vehicle is output. 消失した移動物体が人である場合、さらに、複数の前記映像に基づいて、当該消失した人の特徴量を取得し、取得した特徴量を記憶部に記憶し、
出現した移動物体が人である場合、さらに、複数の前記映像に基づいて、当該出現した人の特徴量を取得し、
前記消失した人の特徴量と、前記出現した人の特徴量とに基づいて、前記消失した人と前記出現した人とが同一人物であるか否かを判定し、
同一人物と判定された場合、当該人に対応する特徴量を前記記憶部から削除する
請求項２に記載の物体検出方法。 When the disappeared moving object is a person, the feature amount of the disappeared person is further acquired based on the plurality of the images, and the acquired feature amount is stored in the storage unit.
When the moving object that appears is a person, the feature amount of the appearing person is further acquired based on the plurality of the images.
Based on the feature amount of the disappeared person and the feature amount of the appearing person, it is determined whether or not the disappeared person and the appearing person are the same person.
The object detection method according to claim 2, wherein when the same person is determined, the feature amount corresponding to the person is deleted from the storage unit. さらに、前記車両が停車したか否かを判定する
請求項１〜３のいずれか１項に記載の物体検出方法。 Further, the object detection method according to any one of claims 1 to 3, wherein it is determined whether or not the vehicle has stopped. 前記複数の撮像装置のそれぞれは、前記車両のサラウンドビューシステムが有するカメラである
請求項１〜４のいずれか１項に記載の物体検出方法。 The object detection method according to any one of claims 1 to 4, wherein each of the plurality of imaging devices is a camera included in the surround view system of the vehicle. 前記車両の停車中には、前記車両の下に人が存在することを示す情報を出力しない
請求項１〜５のいずれか１項に記載の物体検出方法。 The object detection method according to any one of claims 1 to 5, wherein information indicating that a person exists under the vehicle is not output while the vehicle is stopped. 周囲を撮像する複数の撮像装置を備える車両における物体検出装置であって、
前記車両が停車している状態で、前記複数の撮像装置のそれぞれから前記車両の前記周囲を撮像した映像を取得する取得部と、
複数の前記映像に基づいて、前記複数の撮像装置の撮像領域内に存在している移動物体の、前記車両の近傍での消失を検出する第１検出部と、
複数の前記映像に基づいて、前記車両の近傍から前記撮像領域内への移動物体の出現を検出する第２検出部と、
前記車両の前記停車が終了した時点において、前記消失の検出結果及び前記出現の検出結果に基づいて、前記車両の下に移動物体が存在するか否かを判定する制御部と、
前記車両の下に移動物体が存在する場合、前記車両の下に移動物体が存在することを示す情報を出力する出力部とを備える
物体検出装置。 An object detection device in a vehicle equipped with a plurality of image pickup devices for capturing the surroundings.
An acquisition unit that acquires an image of the surroundings of the vehicle from each of the plurality of imaging devices while the vehicle is stopped.
A first detection unit that detects the disappearance of a moving object existing in the imaging region of the plurality of imaging devices in the vicinity of the vehicle based on the plurality of the images.
A second detection unit that detects the appearance of a moving object from the vicinity of the vehicle into the imaging region based on the plurality of images.
A control unit that determines whether or not a moving object exists under the vehicle based on the detection result of the disappearance and the detection result of the appearance at the time when the stop of the vehicle is completed.
An object detection device including an output unit that outputs information indicating that a moving object exists under the vehicle when a moving object exists under the vehicle. 請求項１〜６のいずれか１項に記載の物体検出方法をコンピュータに実行させるためのプログラム。 A program for causing a computer to execute the object detection method according to any one of claims 1 to 6.
JP2020063012A 2020-03-31 2020-03-31 Object detection method, object detection apparatus, and program Pending JP2021163096A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020063012A JP2021163096A (en) 2020-03-31 2020-03-31 Object detection method, object detection apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020063012A JP2021163096A (en) 2020-03-31 2020-03-31 Object detection method, object detection apparatus, and program

Publications (1)

Publication Number Publication Date
JP2021163096A true JP2021163096A (en) 2021-10-11

Family

ID=78004872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020063012A Pending JP2021163096A (en) 2020-03-31 2020-03-31 Object detection method, object detection apparatus, and program

Country Status (1)

Country Link
JP (1) JP2021163096A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176854A1 (en) * 2022-03-15 2023-09-21 オムロン株式会社 Bird's-eye data generation device, learning device, bird's-eye data generation program, bird's-eye data generation method, and robot
JP7438515B2 (en) 2022-03-15 2024-02-27 オムロン株式会社 Bird's-eye view data generation device, learning device, bird's-eye view data generation program, bird's-eye view data generation method, and robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176854A1 (en) * 2022-03-15 2023-09-21 オムロン株式会社 Bird's-eye data generation device, learning device, bird's-eye data generation program, bird's-eye data generation method, and robot
JP7438515B2 (en) 2022-03-15 2024-02-27 オムロン株式会社 Bird's-eye view data generation device, learning device, bird's-eye view data generation program, bird's-eye view data generation method, and robot

Similar Documents

Publication Publication Date Title
WO2018092265A1 (en) Driving assistance device and driving assistance method
JP5240316B2 (en) Vehicle occupant non-operation driving system
JP6917827B2 (en) Vehicle control devices, vehicles, vehicle control methods and programs
CN110103878B (en) Method and device for controlling unmanned vehicle
JP6613623B2 (en) On-vehicle device, operation mode control system, and operation mode control method
US10948915B2 (en) Computer-assisted or autonomous driving vehicle incident management method and apparatus
JP2009202610A (en) Parking assist system
JP7031072B2 (en) Cognitive function estimation device, learning device, and cognitive function estimation method
JP2021163096A (en) Object detection method, object detection apparatus, and program
JP2018151693A (en) Drive supporting device and drive supporting method
US20200175474A1 (en) Information processing system, program, and control method
CN106710267A (en) Vehicle driving data processing method and vehicle driving data processing device
WO2018163490A1 (en) Visual recognition support device, method, and program
JP2017129973A (en) Driving support apparatus and driving support method
US11221495B2 (en) Aid for a driver with impaired field of view
JP2021140423A (en) Vehicle controller
CN111612701A (en) Periphery monitoring device
WO2019187626A1 (en) Image processing device, image capturing device, and moving body
CN116461534A (en) Driver monitoring device, driver monitoring method, and driver monitoring computer program
JP2020093575A (en) Control apparatus and control system
JP2020187456A (en) Travel information recording device, travel information recording method, and travel information recording program
JP7068156B2 (en) Information processing equipment and programs
JP2020071594A (en) History storage device and history storage program
CN113753057A (en) State determination device and state determination method
CN112349084A (en) Driving behavior evaluation device, method, and recording medium