JP7499140B2

JP7499140B2 - Object Recognition Device

Info

Publication number: JP7499140B2
Application number: JP2020172983A
Authority: JP
Inventors: 健遠藤; 健永崎; 春樹的野; 正幸小林
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-10-14
Filing date: 2020-10-14
Publication date: 2024-06-13
Anticipated expiration: 2040-10-14
Also published as: WO2022080049A1; CN116348937A; DE112021004200T5; JP2022064388A

Description

本発明は、物体認識装置に関する。 The present invention relates to an object recognition device.

自動運転の実現や交通事故防止のために、広角なセンシング領域における立体物の認識技術に期待が寄せられている。広角なセンシングを実現するため、特許文献１では視野が重複するステレオ領域と視野が重複しない単眼領域を持つステレオカメラにおける、物体の認識手法を開示している。特許文献１では、単眼領域からステレオ領域に物体が移動することを想定し、単眼領域で検出した物体が次回のフレームにおいてステレオ領域に進入するか否かを判定し、進入すると判定された場合に次回のフレーム以降では視差の情報に基づき物体の種別を判定する。 Hope is high for technology to recognize three-dimensional objects in wide-angle sensing areas in order to realize autonomous driving and prevent traffic accidents. To achieve wide-angle sensing, Patent Document 1 discloses an object recognition method in a stereo camera that has a stereo area with an overlapping field of view and a monocular area with a non-overlapping field of view. Patent Document 1 assumes that an object moves from the monocular area to the stereo area, and determines whether an object detected in the monocular area will enter the stereo area in the next frame, and if it is determined that the object will enter, the type of object is determined based on the parallax information in the next frame and onward.

特開２０１４－６７１９８号公報JP 2014-67198 A

そのため、物体がステレオ領域と単眼領域を跨ぐ形で撮像される場合、特許文献１では、ステレオ領域の視差の情報に基づき物体を認識することとなる。しかしながら、物体がステレオ領域に進入したフレームでは、ステレオ領域に撮像される物体領域は一部のみとなるため、部分的な情報に基づき種別を判定することとなり、安定的な認識が課題となる。
本発明は、このような課題に鑑み、視野重複領域と視野非重複領域に跨り撮像された物体を高精度に認識する物体認識装置の提供を目的とする。 Therefore, when an object is captured across a stereo area and a monocular area, the object is recognized based on the parallax information of the stereo area in Patent Document 1. However, in a frame in which an object enters the stereo area, only a part of the object area is captured in the stereo area, so the type is determined based on partial information, and stable recognition becomes an issue.
In view of the above problems, the present invention has an object to provide an object recognition device that recognizes with high accuracy an object imaged across a field-of-view overlap region and a field-of-view non-overlapping region.

上記課題を解決する本願発明の物体認識装置は、第一のセンサと第二のセンサの視野重複領域から３次元情報を取得する３次元情報取得部と、前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、前記３次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、前記視野重複領域の前記３次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備えることを特徴とする。 The object recognition device of the present invention that solves the above problem is characterized by comprising: a three-dimensional information acquisition unit that acquires three-dimensional information from the field of view overlap region of a first sensor and a second sensor; a texture information acquisition unit that acquires texture information of the field of view overlap region and the field of view non-overlapping region of the first sensor and the second sensor; an object detection unit that detects an object imaged in the field of view overlap region and the field of view non-overlapping region based on the information acquired by the three-dimensional information acquisition unit and the texture information acquisition unit; a reliability calculation unit having a first reliability calculation unit that calculates a first reliability, which is an object identification result, based on the three-dimensional information of the field of view overlap region, and a second reliability calculation unit that calculates a second reliability, which is an object identification result, based on the texture information of the field of view overlap region and the field of view non-overlapping region; and an object type identification unit that identifies the type of object based on the reliability calculated by the reliability calculation unit.

本発明によれば、視野重複領域と視野非重複領域に跨り撮像された物体を高精度に認識することができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 According to the present invention, an object captured across a visual field overlap region and a visual field non-overlapping region can be recognized with high accuracy. Further features related to the present invention will become apparent from the description of this specification and the accompanying drawings. In addition to the above, problems, configurations, and effects will become apparent from the description of the following embodiments.

本発明に係る第１実施形態の物体認識装置の構成を示す機能ブロック図である。1 is a functional block diagram showing a configuration of an object recognition device according to a first embodiment of the present invention. 図１に開示した実施形態における物体認識装置の動作例１を説明するための、認識対象の位置関係を示す図である。2 is a diagram showing the positional relationship of recognition targets for explaining an operation example 1 of the object recognition device in the embodiment disclosed in FIG. 1 . 図１に開示した実施形態における物体認識装置の動作例１を示すフローチャートである。4 is a flowchart illustrating a first operation example of the object recognition device in the embodiment disclosed in FIG. 1 . 図１に開示した実施形態における物体認識装置の立体物検出に関するフローチャートである。2 is a flowchart relating to three-dimensional object detection by the object recognition device in the embodiment disclosed in FIG. 1 . 図１に開示した実施形態における物体認識装置の識別スコアに対する重み計算のフローチャートである。2 is a flowchart of a weight calculation for a classification score of the object recognition device in the embodiment disclosed in FIG. 1 . 図１に開示した実施形態における物体認識装置の車両制御に関するフローチャートである。2 is a flowchart relating to vehicle control of the object recognition device in the embodiment disclosed in FIG. 1 . 図１に開示した実施形態における物体認識装置の畳込みニューラルネットワークに基づく重み計算の概念図である。FIG. 2 is a conceptual diagram of weight calculation based on a convolutional neural network of the object recognition device in the embodiment disclosed in FIG. 1 . 図１に開示した実施形態における物体認識装置の視差の折り返し処理の概念図である。2 is a conceptual diagram of a parallax aliasing process of the object recognition device in the embodiment disclosed in FIG. 1 . 図１に開示した実施形態における物体認識装置の物体検出方法のフローチャートである。2 is a flowchart of an object detection method of the object recognition device in the embodiment disclosed in FIG. 1 . 図１に開示した実施形態における物体認識装置の３次元位置の算出方法に関するフローチャートである。2 is a flowchart showing a method for calculating a three-dimensional position of the object recognition device in the embodiment disclosed in FIG. 1 .

以下に、本発明の実施形態について詳細に説明する。 The following describes in detail an embodiment of the present invention.

（実施例１）
図１は、実施例１の物体認識装置１の構成を示す機能ブロック図である。
本実施形態の物体認識装置１は、例えば自車の車両に搭載され、自車の前方に存在する物体を認識して識別する処理を行う。物体認識装置１は、カメラ、コンピュータ、メモリおよび記憶装置などで構成されており、コンピュータが、メモリ等に格納された制御プログラムを実行することにより各種機能部として動作する。 Example 1
FIG. 1 is a functional block diagram showing a configuration of an object recognition device 1 according to a first embodiment.
The object recognition device 1 of this embodiment is mounted on, for example, a vehicle and performs processing to recognize and identify objects present in front of the vehicle. The object recognition device 1 is composed of a camera, a computer, a memory, a storage device, etc., and the computer executes a control program stored in the memory, etc. to operate as various functional units.

図１に示すように、物体認識装置１は、カメラやコンピュータの動作により実現される機能部として第一のセンサ１００、第二のセンサ１０１、３次元情報取得部１０２、テクスチャ情報取得部１０３、物体検出部１０４、第一の信頼度算出部１０６と第二の信頼度算出部１０７から構成される信頼度算出部１０５、物体種別特定部１０８、及び車両制御部１０９を有している。 As shown in FIG. 1, the object recognition device 1 has, as functional units realized by the operation of a camera and a computer, a first sensor 100, a second sensor 101, a three-dimensional information acquisition unit 102, a texture information acquisition unit 103, an object detection unit 104, a reliability calculation unit 105 consisting of a first reliability calculation unit 106 and a second reliability calculation unit 107, an object type identification unit 108, and a vehicle control unit 109.

第一のセンサ１００と第二のセンサ１０１は、画像を取得可能なカメラや、３次元情報を取得可能なミリ波レーダやLidar等によって構成される。第一のセンサ１００と第二のセンサ１０１は、テクスチャ（輝度）の情報と３次元情報を取得できる構成を有している。一例として２台のカメラの組み合わせからなる構成（いわゆるステレオカメラ）や、カメラとミリ波レーダの組み合わせからなる構成がある。第一のセンサ１００と第二のセンサ１０１は、互いに視野を共有している視野重複領域と、視野を重複していない視野非重複領域を備えている。なお、本発明における視野とは、画像の視野に限定されるものではなく、センサの検出範囲を示す広い概念である。 The first sensor 100 and the second sensor 101 are composed of a camera capable of acquiring images, a millimeter wave radar or Lidar capable of acquiring three-dimensional information, etc. The first sensor 100 and the second sensor 101 are configured to acquire texture (brightness) information and three-dimensional information. As an example, there is a configuration consisting of a combination of two cameras (a so-called stereo camera), or a configuration consisting of a combination of a camera and a millimeter wave radar. The first sensor 100 and the second sensor 101 have a field of view overlap region where they share a field of view with each other, and a field of view non-overlapping region where their fields of view do not overlap. Note that the field of view in this invention is not limited to the field of view of an image, but is a broad concept that indicates the detection range of a sensor.

３次元情報取得部１０２では、第一のセンサ１００と第二のセンサ１０１の少なくとも１つの情報に基づき３次元情報を取得する。具体的には、第一のセンサ１００と第二のセンサ１０１が２台のカメラから構成されている場合には、それぞれのカメラの位置関係とカメラの内部パラメータに基づき三角測量を実施することで３次元情報を取得する。また、第一のセンサ１００がミリ波レーダであり、第二のセンサ１０１がカメラである場合には、ミリ波レーダの測定結果を３次元情報として取得する。 The three-dimensional information acquisition unit 102 acquires three-dimensional information based on information from at least one of the first sensor 100 and the second sensor 101. Specifically, when the first sensor 100 and the second sensor 101 are composed of two cameras, the three-dimensional information is acquired by performing triangulation based on the positional relationship between the respective cameras and the internal parameters of the cameras. In addition, when the first sensor 100 is a millimeter wave radar and the second sensor 101 is a camera, the measurement results of the millimeter wave radar are acquired as three-dimensional information.

テクスチャ情報取得部１０３では、第一のセンサ１００と第二のセンサ１０１の少なくとも１つの情報として物体のテクスチャ情報を取得する。第一のセンサ１００と第二のセンサ１０１が２台のカメラから構成されている場合には、第一のセンサ１００と第二のセンサ１０１で取得した画像情報がテクスチャ情報となる。また、第一のセンサ１００がミリ波レーダであり、第二のセンサ１０１がカメラである場合には、第二のセンサ１０１で取得した画像情報がテクスチャ情報となる。 The texture information acquisition unit 103 acquires texture information of an object as information from at least one of the first sensor 100 and the second sensor 101. When the first sensor 100 and the second sensor 101 are composed of two cameras, the image information acquired by the first sensor 100 and the second sensor 101 becomes the texture information. When the first sensor 100 is a millimeter wave radar and the second sensor 101 is a camera, the image information acquired by the second sensor 101 becomes the texture information.

物体検出部１０４では、３次元情報取得部１０２とテクスチャ情報取得部１０３で取得した情報に基づき物体を検出する。物体の検出方法として、３次元情報に基づき検出処理を実施したのち、テクスチャ情報に基づき検出位置を拡張しても良いし、テクスチャ情報に基づき物体を検出したのち、３次元情報に基づき検出位置を補正しても良い。３次元情報に基づく物体の検出方法として、３次元情報のクラスタリング手法がある。また、第一のセンサと第二のセンサがカメラである場合に、３次元情報を２次元の画像情報に投影し、距離画像若しくは視差画像を生成し、距離若しくは視差に対するクラスタリング処理を実施することで物体を検出してもよい。テクスチャ情報に基づく物体の検出の方法として、統計的な機械学習による手段がある。また、認識する物体に対するテンプレート画像を事前に計算しておき、テンプレートマッチングにより物体を検出してもよい。 The object detection unit 104 detects an object based on the information acquired by the three-dimensional information acquisition unit 102 and the texture information acquisition unit 103. As a method for detecting an object, a detection process may be performed based on the three-dimensional information, and then the detection position may be expanded based on the texture information, or an object may be detected based on the texture information, and then the detection position may be corrected based on the three-dimensional information. As a method for detecting an object based on three-dimensional information, there is a three-dimensional information clustering method. Furthermore, when the first sensor and the second sensor are cameras, the three-dimensional information may be projected onto two-dimensional image information, a distance image or a parallax image may be generated, and a clustering process for the distance or parallax may be performed to detect the object. As a method for detecting an object based on texture information, there is a statistical machine learning method. Furthermore, a template image for the object to be recognized may be calculated in advance, and the object may be detected by template matching.

信頼度算出部１０５は、３次元情報に基づき物体の識別スコア（識別結果）を算出する第一の信頼度算出部１０６とテクスチャ情報に基づき物体の識別スコア（識別結果）を算出する第二の信頼度算出部１０７から構成される。第一の信頼度算出部１０６では、物体検出部１０４で検出した領域の３次元情報に基づき第一の信頼度を算出し、第一の信頼度による物体の識別処理を実施する。３次元情報に基づく識別処理では、ミリ波レーダの出力距離や、Lidarの点群情報、ステレオカメラの距離情報などを入力とした機械学習を用いることができる。その他にも、取得した３次元情報を２次元の画像上に重畳することで距離画像や視差画像を生成し、生成した距離画像や視差画像に基づき識別処理を実施しても良い。第二の信頼度算出部１０７では、物体検出部１０４で検出した領域のテクスチャ情報に基づき第二の信頼度を算出し、第二の信頼度による物体の識別処理を実施する。物体の識別処理は特定のテンプレートを利用したテンプレートマッチングでも良いし、統計的な機械学習により物体の識別を実施しても良い。 The reliability calculation unit 105 is composed of a first reliability calculation unit 106 that calculates an object identification score (identification result) based on three-dimensional information and a second reliability calculation unit 107 that calculates an object identification score (identification result) based on texture information. The first reliability calculation unit 106 calculates a first reliability based on three-dimensional information of the area detected by the object detection unit 104, and performs object identification processing based on the first reliability. In the identification processing based on three-dimensional information, machine learning using the output distance of a millimeter wave radar, point cloud information of a Lidar, distance information of a stereo camera, etc. as input can be used. In addition, a distance image or a parallax image may be generated by superimposing the acquired three-dimensional information on a two-dimensional image, and identification processing may be performed based on the generated distance image or parallax image. The second reliability calculation unit 107 calculates a second reliability based on texture information of the area detected by the object detection unit 104, and performs object identification processing based on the second reliability. The object identification processing may be template matching using a specific template, or object identification may be performed by statistical machine learning.

物体種別特定部１０８では、信頼度算出部１０５で算出した信頼度に基づき物体の物体種別を特定する。具体的には、第一の信頼度算出部１０６と第二の信頼度算出部１０７で算出した信頼度である識別スコアを統合し、統合した識別スコアが最大となる種別とその種別のスコアを出力する。 The object type identification unit 108 identifies the object type of the object based on the reliability calculated by the reliability calculation unit 105. Specifically, the identification scores, which are the reliability calculated by the first reliability calculation unit 106 and the second reliability calculation unit 107, are integrated, and the type with the largest integrated identification score and the score for that type are output.

車両制御部１０９では、認識した物体の３次元位置から物体との衝突リスクを判定し、衝突する可能性があると判断された場合に、車両制御を実施する。また、物体種別特定部１０８が出力したスコアに応じて、実施する車両制御方法を選択することができる。 The vehicle control unit 109 determines the risk of collision with the recognized object from the three-dimensional position of the object, and implements vehicle control if it determines that there is a possibility of collision. In addition, the vehicle control method to be implemented can be selected according to the score output by the object type identification unit 108.

（動作例１）
次に、図２に示すシーンにおける本実施形態の物体認識装置１の動作例を、図３のフローチャートを参照して詳細に説明する。以降の動作例では、物体認識装置１は車両の前方を監視する形式で設置されているものとする。また、第一のセンサ１００と第二のセンサ１０１は両方ともカメラとして説明する。 (Operation example 1)
Next, an operation example of the object recognition device 1 of this embodiment in the scene shown in Fig. 2 will be described in detail with reference to the flowchart of Fig. 3. In the following operation example, it is assumed that the object recognition device 1 is installed in a form that monitors the front of the vehicle. Also, the first sensor 100 and the second sensor 101 will both be described as cameras.

図２は、隣接する追い越し車線を車両V１００が走行しているシーンである。自車は、左側のレーンを走行しており、車両V１００は、自車の前方で右側のレーンを自車と同じ方向に向かって走行している。F１０１は２台のカメラの視野重複領域を示しており、テクスチャ情報だけでなく３次元情報を取得可能な領域である。また、F１００とF１０２は２台のカメラの視野非重複領域を示しており、テクスチャ情報のみ取得可能な領域となっている。R１００は車両V１００のうち、視野重複領域Ｆ１０１に撮像された３次元情報を取得可能な領域を示しており、R１０１は視野重複領域Ｆ１０１と視野非重複領域Ｆ１０２に跨り撮像された車両V１００の全体の領域でありテクスチャ情報を取得可能な領域となっている。 Figure 2 shows a scene in which vehicle V100 is traveling in the adjacent passing lane. The vehicle is traveling in the left lane, and vehicle V100 is traveling in the same direction as the vehicle in the right lane in front of the vehicle. F101 indicates the field of view overlap region of the two cameras, which is an area where not only texture information but also three-dimensional information can be acquired. F100 and F102 indicate the field of view non-overlapping regions of the two cameras, which are areas where only texture information can be acquired. R100 indicates the area of vehicle V100 where three-dimensional information captured in the field of view overlap region F101 can be acquired, and R101 is the entire area of vehicle V100 captured across the field of view overlap region F101 and the field of view non-overlapping region F102, and is an area where texture information can be acquired.

動作例１の物体認識装置１は、テクスチャ取得処理（P１０１）、視差算出処理（P１０２）、立体物検出処理（P１０３）、視差スコア算出処理（P１０４）、テクスチャスコア算出処理（P１０５）、重み算出処理（P１０６）、種別判定処理（P１０７）、及び車両制御処理（P１０８）を順に実施し、車両V１００に対する自車の車両制御を実施する。 The object recognition device 1 of operation example 1 sequentially performs texture acquisition processing (P101), disparity calculation processing (P102), three-dimensional object detection processing (P103), disparity score calculation processing (P104), texture score calculation processing (P105), weight calculation processing (P106), type determination processing (P107), and vehicle control processing (P108), and performs vehicle control of the host vehicle with respect to vehicle V100.

テクスチャ取得処理（P１０１）では、２台のカメラで撮像された図２におけるF１００、F１０１、及びF１０２の領域における画像のテクスチャ情報を取得する。 The texture acquisition process (P101) acquires texture information for images in areas F100, F101, and F102 in Figure 2 captured by two cameras.

視差算出処理（P１０２）では、２台のカメラに対する対応点探索を実施し、第一カメラと第二カメラの画像上でのオフセットである視差を算出する。ここで、視差の有効・無効判定を実施する。対応点探索を実施した際に、閾値以上のマッチングスコアの視差は有効だと判定し、所定値以下のマッチングスコアの視差は無効だと判定する。また、算出した視差の情報と、カメラの位置・姿勢、カメラの内部パラメータの情報とに基づいてカメラからの距離も測定する。 In the parallax calculation process (P102), a corresponding point search is performed for the two cameras, and the parallax, which is the offset on the images from the first and second cameras, is calculated. Here, a determination is made as to whether the parallax is valid or invalid. When the corresponding point search is performed, a parallax with a matching score equal to or greater than a threshold is determined to be valid, and a parallax with a matching score equal to or less than a predetermined value is determined to be invalid. In addition, the distance from the camera is also measured based on the calculated parallax information, the position and orientation of the camera, and information on the internal parameters of the camera.

立体物検出処理（P１０３）では、視差情報による物体の初期検知を行い、その後、テクスチャ情報に基づく検知枠の拡張を実施することで画像上における物体の領域を特定する。図４に立体物検出処理（P１０３）の処理フローを示す。 In the three-dimensional object detection process (P103), an initial detection of an object is performed using disparity information, and then the detection frame is expanded based on texture information to identify the area of the object in the image. Figure 4 shows the processing flow of the three-dimensional object detection process (P103).

立体物検出処理（P１０３）では、初めに視差グルーピング処理（P２０１）を実施する（第一の検出処理）。視差グルーピング処理では視差画像上の同一視差をクラスタリングすることで図２のF１０１に示す視野重複領域の物体領域R１００を特定する。次に、立体物フィルタリング処理（P２０２）を実施する（第二の検出処理）。立体物フィルタリング処理（P２０２）では、図２のF１０１に示す視野重複領域の境界周辺で検出された物体のみを抽出する。これにより、視野重複領域と視野非重複領域に跨り撮像される可能性の高い物体のみを抽出する。物体を抽出することができた（条件該当する）場合、抽出された物体に対して、処理領域拡張処理（P２０３）を実施する。処理領域拡張処理（P２０３）では、視野重複領域F１０１で検出された物体領域R１００に基づき視野重複領域F１０１、及び視野非重複領域F１０２に跨り撮像された車両V１００を包含する領域R１０３を設定する。領域R１０３の設定方法として、物体までの距離を測定し、距離とカメラパラメータに従い処理領域を設定する。物体再検知処理（P２０４）では、領域R１０３のテクスチャ情報を解析することで物体を検出する。検出する方法として、畳込みニューラルネットワークを用いる。畳込みニューラルネットワークでは、物体の左上の画像位置と右下の画像位置を出力する。畳込みニューラルネットワークの出力により、視野重複領域F１０１、及び視野非重複領域F１０２に跨り撮像された車両V１００の領域R１０１を特定することができる。 In the three-dimensional object detection process (P103), first, a disparity grouping process (P201) is performed (first detection process). In the disparity grouping process, the same disparity on the disparity image is clustered to identify the object region R100 in the field of view overlap region shown in F101 of FIG. 2. Next, a three-dimensional object filtering process (P202) is performed (second detection process). In the three-dimensional object filtering process (P202), only objects detected around the boundary of the field of view overlap region shown in F101 of FIG. 2 are extracted. This allows only objects that are likely to be captured across the field of view overlap region and the field of view non-overlapping region to be extracted. If an object can be extracted (conditions are met), a processing region expansion process (P203) is performed on the extracted object. In the processing region expansion process (P203), a region R103 is set that includes the vehicle V100 captured across the field of view overlap region F101 and the field of view non-overlapping region F102 based on the object region R100 detected in the field of view overlap region F101. The method for setting region R103 is to measure the distance to the object and set the processing region according to the distance and camera parameters. In the object redetection process (P204), the object is detected by analyzing the texture information of region R103. A convolutional neural network is used as the detection method. The convolutional neural network outputs the image position of the object's top left and bottom right. The output of the convolutional neural network makes it possible to identify region R101 of vehicle V100, which is captured across the field of view overlap region F101 and the field of view non-overlapping region F102.

視差スコア算出処理（P１０４）では、立体物検出処理（P１０３）で検出した物体領域R１００の視差情報に基づき物体の識別処理を実施する。物体の識別には畳込みニューラルネットワークを用い、識別スコアScore＿Dを出力する。 In the disparity score calculation process (P104), object identification processing is performed based on the disparity information of the object region R100 detected in the three-dimensional object detection process (P103). A convolutional neural network is used to identify the object, and an identification score Score_D is output.

テクスチャスコア算出処理（P１０５）では、立体物検出処理（P１０３）で検出したR１０１のテクスチャ情報に基づき物体の識別処理を実施する。物体の識別には畳込みニューラルネットワークを用い、識別スコアScore＿Tを出力する。 In the texture score calculation process (P105), object identification processing is performed based on the texture information of R101 detected in the three-dimensional object detection process (P103). A convolutional neural network is used to identify the object, and an identification score Score_T is output.

重み算出処理（P１０６）では、視差スコア算出処理（P１０４）で算出した識別スコアScore＿Dとテクスチャスコア算出処理（P１０５）で算出した識別スコアScore＿Tを統合する際の重みを計算する。図５に重み算出処理（P１０６）の処理フローを示す。視差取得面積・密度計算処理（P３０１）では、処理領域である物体領域R１００の面積である画素数Area＿Dを計算する。また、Area＿Dのうち、視差計算時において有効だと判定された画素数Area_Vを計算する。Area_V/Area＿Dに従い（画素数Area_Vを画素数Area＿Dで割り算し）、視差密度Density＿Dを計算する。テクスチャ取得面積計算処理（P３０２）では、領域R１０１の画素数Area＿Tを計算する。その後、視差・テクスチャ重み計算処理（P３０３）を実施する。視差・テクスチャ重み計算処理（P３０３）では、Score＿Dに対する重みWeight＿D、及びScore＿Tに対する重みWeight＿Tを求める。Weight＿D、及びWeight＿Tは次式に従い計算する。
Weight＿D ＝（Area＿D）/（Area＿D＋Area＿T）* Density＿D ・・（１）
Weight＿T ＝（Area＿T）/（Area＿D＋Area＿T）・・・・・・・・・（２） In the weight calculation process (P106), a weight is calculated when integrating the identification score Score_D calculated in the parallax score calculation process (P104) and the identification score Score_T calculated in the texture score calculation process (P105). FIG. 5 shows the process flow of the weight calculation process (P106). In the parallax acquisition area/density calculation process (P301), the number of pixels Area_D, which is the area of the object area R100, which is the processing area, is calculated. In addition, the number of pixels Area_V determined to be valid at the time of parallax calculation is calculated from Area_D. According to Area_V/Area_D (the number of pixels Area_V is divided by the number of pixels Area_D), the parallax density Density_D is calculated. In the texture acquisition area calculation process (P302), the number of pixels Area_T of the area R101 is calculated. After that, the parallax/texture weight calculation process (P303) is performed. In the parallax and texture weight calculation process (P303), a weight Weight_D for Score_D and a weight Weight_T for Score_T are calculated. Weight_D and Weight_T are calculated according to the following formulas.
Weight_D = (Area_D) / (Area_D + Area_T) * Density_D (1)
Weight_T = (Area_T) / (Area_D + Area_T) ................................... (2)

種別判定処理（P１０７）では、視差スコア算出処理（P１０４）で算出した識別スコアScore＿Dとテクスチャスコア算出処理（P１０５）で算出した識別スコアScore＿Tと重み算出処理（P１０６）で算出した重みWeight＿D、Weight＿Tに基づき、物体の識別スコアTotal＿Scoreを算出し、物体の種別を特定する。物体の識別スコアTotal＿Scoreは次式により計算する。
Total＿Score ＝ Score＿D*Weight＿D + Score＿T*Weight＿T ・・・・（３）
式（３）に従いTotal＿Scoreを計算し、所定の閾値と比較し、閾値以上であった場合に、認識対象の物体であると判定する。 In the type determination process (P107), an object identification score Total_Score is calculated based on the identification score Score_D calculated in the disparity score calculation process (P104), the identification score Score_T calculated in the texture score calculation process (P105), and the weights Weight_D and Weight_T calculated in the weight calculation process (P106), to identify the type of the object. The object identification score Total_Score is calculated using the following formula.
Total_Score = Score_D*Weight_D + Score_T*Weight_T ... (3)
The Total_Score is calculated according to equation (3) and compared with a predetermined threshold value. If the score is equal to or greater than the threshold value, the object is determined to be a recognition target object.

車両制御処理（P１０８）では、物体までの距離情報に基づき物体の衝突する可能性を判定し、衝突する可能性があると判断された場合に車両制御を実施する。図６に車両制御処理（P１０８）の処理フローを記載する。３次元位置計測処理（P４０１）では、視差算出処理（P１０２）で計算した距離情報と立体物検出処理（P１０３）の検出結果に基づき物体までの３次元位置を測定する。具体的には、検出した物体領域R１００に対する距離情報の中央値を取得することで、物体までの距離を計算する。また、計算した物体までの距離と画像上での横方向位置と縦方向位置に基づき物体の３次元位置を計算する。車両制御内容決定処理（P４０２）では、種別判定処理（P１０７）での識別スコアTotal＿Scoreに基づいて車両に対してどのような車両制御を実施するかを決定する。車両制御内容決定処理（P４０２）では、ブレーキ実施閾値Brake＿Threと警報実施閾値Warning＿Threの２つの閾値に基づき車両制御内容を決定する。ブレーキ実施閾値Brake＿Threと警報実施閾値Warning＿ThreはBrake＿Thre＞Warning＿Threの関係にあり、Total＿Score＞Brake＿Threの場合には制御内容としてブレーキ制御を選択する。一方で、Brake＿Thre＞Total＿Score＞Warning＿Threの場合には、制御内容として警報制御を選択する。また、Warning＿Thre＞Total＿Scoreの場合には、車両制御を実施しないと判断し、車両制御処理（P１０８）を終了する。車両制御内容決定処理（P４０２）でブレーキ制御、若しくは警報制御が選択された場合、車両制御実施判定処理（P４０３）を実行する。車両制御実施判定処理（P４０３）では、過去フレームと今回フレームの物体の３次元位置情報に基づき物体の衝突する可能性を判断する。具体的には、過去フレームと今回フレームの３次元位置情報から物体の移動軌跡に対して、曲線フィッティング処理を実施する。同様に、現在の車速センサ、ヨーレートセンサから自車両の将来の移動軌跡を推定する。曲線フィッティングにより求めた曲線と自車両の移動軌跡が交わる時刻が等しい場合に、衝突する可能性があると判断する。衝突すると判断された場合に、車両制御内容決定処理（P４０２）で決定した車両制御内容を実施する。 In the vehicle control process (P108), the possibility of collision of the object is judged based on the distance information to the object, and vehicle control is performed if it is judged that there is a possibility of collision. The process flow of the vehicle control process (P108) is described in FIG. 6. In the three-dimensional position measurement process (P401), the three-dimensional position of the object is measured based on the distance information calculated in the parallax calculation process (P102) and the detection result of the three-dimensional object detection process (P103). Specifically, the distance to the object is calculated by obtaining the median value of the distance information for the detected object area R100. In addition, the three-dimensional position of the object is calculated based on the calculated distance to the object and its horizontal and vertical positions on the image. In the vehicle control content determination process (P402), the type of vehicle control to be performed on the vehicle is determined based on the identification score Total_Score in the type determination process (P107). In the vehicle control content determination process (P402), the vehicle control content is determined based on two thresholds, the brake execution threshold Brake_Thre and the warning execution threshold Warning_Thre. The brake execution threshold Brake_Thre and the warning execution threshold Warning_Thre have a relationship of Brake_Thre>Warning_Thre, and when Total_Score>Brake_Thre, brake control is selected as the control content. On the other hand, when Brake_Thre>Total_Score>Warning_Thre, warning control is selected as the control content. Also, when Warning_Thre>Total_Score, it is determined that vehicle control is not to be performed, and the vehicle control process (P108) is terminated. When brake control or warning control is selected in the vehicle control content decision process (P402), a vehicle control execution determination process (P403) is executed. In the vehicle control execution determination process (P403), the possibility of an object collision is determined based on the three-dimensional position information of the object in the past frame and the current frame. Specifically, a curve fitting process is performed on the movement trajectory of the object from the three-dimensional position information of the past frame and the current frame. Similarly, the future movement trajectory of the host vehicle is estimated from the current vehicle speed sensor and yaw rate sensor. If the time when the curve obtained by curve fitting intersects with the vehicle's movement trajectory is the same, it is determined that there is a possibility of a collision. If it is determined that a collision will occur, the vehicle control content determined in the vehicle control content determination process (P402) is implemented.

以上より、本実施形態の物体認識装置１は、視野重複領域と視野非重複領域に跨り撮像された物体に対して、視野重複領域から取得される限定的な視差情報と、視野重複領域及び視野非重複領域から取得される広域のテクスチャ情報と、を組み合わせ認識処理を実施することで、より安定的に物体を認識できる。 As described above, the object recognition device 1 of this embodiment can more stably recognize objects captured across overlapping and non-overlapping areas of the visual field by performing a recognition process that combines limited disparity information acquired from the overlapping and non-overlapping areas of the visual field.

また、立体物検出処理では、視差情報に基づき物体の検出を実施し、その後テクスチャ情報を解析することで物体を検出する。これにより、一般に処理負荷の高いテクスチャ解析を実施する領域を限定することができ、処理負荷を低減することができる。 In addition, in the three-dimensional object detection process, objects are detected based on disparity information, and then the texture information is analyzed to detect the objects. This makes it possible to limit the area in which texture analysis, which generally requires a high processing load, is performed, thereby reducing the processing load.

また、視差に基づく識別スコアとテクスチャに基づく識別スコアとを統合する際に、視差を取得した面積とテクスチャを取得した面積に応じて重みづけを実施する。これにより、視差を取得した面積とテクスチャを取得した面積が大きく異なり、識別スコア自体の信頼度が異なる場合に対して、より安定的に物体を認識することができる。また視差の重みを計算する際、面積だけでなく視差の密度を考慮することで、夜間や雨などで有効な視差がフレーム毎に異なる場合に対しても、適応的に視差の識別スコアに対する重みを調整することができる。これにより、夜間や雨などでも高精度に物体を認識することができる。 In addition, when combining the parallax-based identification score and the texture-based identification score, weighting is performed according to the area where the parallax was obtained and the area where the texture was obtained. This allows for more stable object recognition in cases where the area where the parallax was obtained and the area where the texture was obtained are significantly different, resulting in different reliability of the identification score itself. In addition, by taking into account not only the area but also the density of the parallax when calculating the weight of the parallax, the weight for the parallax identification score can be adaptively adjusted even in cases where the effective parallax differs from frame to frame, such as at night or in the rain. This allows for highly accurate object recognition even at night or in the rain.

また、車両制御を実施する際に物体の認識スコアに応じ車両制御内容を変更する。これにより、認識に対する信頼度が低い場合に対して誤ってブレーキ制御を実行することを防止することができる。 In addition, when implementing vehicle control, the vehicle control content is changed according to the object recognition score. This makes it possible to prevent brake control from being erroneously implemented when the reliability of recognition is low.

（動作例２）
次に、物体認識装置１の２つめの動作例に関して述べる。動作例２の処理フローは図３に示した動作例１の処理フローと同一であり、重み算出処理（P１０６）で実施する処理内容が異なる。そのため、以降では動作例２における重み算出処理（P１０６）に関してのみ説明する。 (Operation example 2)
Next, a second operation example of the object recognition device 1 will be described. The process flow of the operation example 2 is the same as the process flow of the operation example 1 shown in Fig. 3, but the process contents performed in the weight calculation process (P106) are different. Therefore, only the weight calculation process (P106) in the operation example 2 will be described hereinafter.

動作例２の重み算出処理（P１０６）では、統計的な機械学習により視差スコアとテクスチャスコアの重みを計算する。図７に重み算出処理（P１０６）の概念図を示す。図７においてI１０１はテクスチャスコア算出処理（P１０５）で利用するテクスチャ画像（輝度画像）であり、I１０２は視差スコア算出処理（P１０４）で利用する視差画像を示している。重み算出処理（P１０６）では、I１０１で利用したテクスチャ情報とI１０２で利用した視差情報を畳込みニューラルネットワークへの入力として、重みWeight＿D、及びWeight＿Tを出力する。重み算出処理（P１０６）で利用する畳込みニューラルネットワークは、図７に示すように学習される。学習では入力として、輝度画像I１０１、及び視差画像I１０２に示すテクスチャ情報と視差情報だけでなく、テクスチャに基づく識別スコアScore＿T、及び視差に基づく識別スコアScore＿Dを利用する。輝度画像I１０１、及び視差画像I１０２を畳込みニューラルネットワークに入力し、Weight＿T、及びWeight＿Dを出力し、Score＿T、及びScore＿Dと式（３）に従い統合スコアを計算する。計算した統合スコアの誤識別率が最小化されるように学習を実施する。 In the weight calculation process (P106) of the second operation example, the weights of the parallax score and the texture score are calculated by statistical machine learning. FIG. 7 shows a conceptual diagram of the weight calculation process (P106). In FIG. 7, I101 is a texture image (luminance image) used in the texture score calculation process (P105), and I102 is a parallax image used in the parallax score calculation process (P104). In the weight calculation process (P106), the texture information used in I101 and the parallax information used in I102 are input to the convolutional neural network, and weights Weight_D and Weight_T are output. The convolutional neural network used in the weight calculation process (P106) is trained as shown in FIG. 7. In the training, not only the texture information and parallax information shown in the luminance image I101 and the parallax image I102, but also the texture-based identification score Score_T and the parallax-based identification score Score_D are used as inputs. The luminance image I101 and the parallax image I102 are input to a convolutional neural network, Weight_T and Weight_D are output, and an integrated score is calculated according to Score_T and Score_D and equation (3). Learning is performed so that the misclassification rate of the calculated integrated score is minimized.

動作例２では、テクスチャ情報と視差情報を解析し、解析した結果に基づき適応的に重みを出力することができる。特に、入力情報と識別スコアの関係を考慮した学習を実施することで、識別処理が苦手とするパターンなどに対しては重みを弱め、識別処理が得意とするパターンに対しては重みを強めることができるようになり、より高精度に物体を認識することができる。 In operation example 2, texture information and disparity information are analyzed, and weights can be adaptively output based on the analysis results. In particular, by performing learning that takes into account the relationship between input information and classification scores, it becomes possible to weaken weights for patterns that classification processing is weak at, and strengthen weights for patterns that classification processing is strong at, enabling objects to be recognized with higher accuracy.

（動作例３）
次に、物体認識装置１の３つめの動作例に関して述べる。動作例３の処理フローは図３に示した動作例１の処理フローと同一であり、視差スコア算出処理（P１０４）、及び重み算出処理（P１０６）で実施する処理内容が異なる。そのため、以降では動作例３における視差スコア算出処理（P１０４）、及び重み算出処理（P１０６）に関してのみ説明する。 (Operation example 3)
Next, a third operation example of the object recognition device 1 will be described. The process flow of the operation example 3 is the same as the process flow of the operation example 1 shown in Fig. 3, but the process contents performed in the disparity score calculation process (P104) and the weight calculation process (P106) are different. Therefore, hereinafter, only the disparity score calculation process (P104) and the weight calculation process (P106) in the operation example 3 will be described.

視差スコア算出処理（P１０４）では、視野重複領域で取得した視差情報を視野非重複領域に拡張する。視差スコア算出処理（P１０４）の概念図を図８に示す。図８において、R２００は視差が算出された視野重複領域を示している。R２０２は立体物検出処理（P１０３）において検出された視野非重複領域の領域を示している。視差スコア算出処理（P１０４）では初めに、立体物検出処理（P１０３）において検出された領域の横方向中心位置R２０３を推定する。そして、横方向中心位置R２０３を基準に、視野重複領域R２００に示す視差を折り返す。つまり、視野重複領域R２００に示す視差画像を、横方向中心位置R２０３を軸にして右側に反転させ、視差画像を視野非重複領域R２０２まで広げる処理を行う。そして、視野非重複領域の領域R２０２における視差情報を計算する。視差スコア算出処理（P１０４）では、視野重複領域と視野非重複領域から取得した視差情報R２０４に基づき識別処理を実施する。 In the parallax score calculation process (P104), the parallax information acquired in the field of view overlap region is extended to the field of view non-overlapping region. A conceptual diagram of the parallax score calculation process (P104) is shown in FIG. 8. In FIG. 8, R200 indicates the field of view overlap region in which the parallax is calculated. R202 indicates the field of view non-overlapping region detected in the three-dimensional object detection process (P103). In the parallax score calculation process (P104), the horizontal center position R203 of the region detected in the three-dimensional object detection process (P103) is first estimated. Then, the parallax shown in the field of view overlap region R200 is folded back based on the horizontal center position R203. In other words, the parallax image shown in the field of view overlap region R200 is inverted to the right with the horizontal center position R203 as the axis, and the parallax image is extended to the field of view non-overlapping region R202. Then, the parallax information in the field of view non-overlapping region R202 is calculated. In the disparity score calculation process (P104), a classification process is performed based on the disparity information R204 obtained from the field of view overlapping area and the field of view non-overlapping area.

重み算出処理（P１０６）では、視野重複領域と視野非重複領域から取得した視差情報R２０４に基づき重みWeight＿Dを計算する。視差を取得した面積Area＿DはR２０４の画素数である。また、密度計算に利用するArea＿Vは、視差の有効・無効情報も折り返すことで計算する。計算したArea＿DとArea＿Vに基づきWeight＿Dを計算する。 In the weight calculation process (P106), the weight Weight_D is calculated based on the parallax information R204 obtained from the field of view overlap region and the field of view non-overlapping region. The area Area_D from which the parallax was obtained is the number of pixels in R204. Additionally, Area_V used in the density calculation is calculated by folding back the valid/invalid parallax information. Weight_D is calculated based on the calculated Area_D and Area_V.

動作例３では、物体の左右対称性を仮定し、物体の中心位置を基準とした視差の折り返し処理を実施する。これにより、視野非重複領域では通常算出できない視差情報を、視野重複領域の情報を活用して取得できる。これにより、より広域の視差情報に基づき識別処理を実施することが可能となり、認識性能を向上させることができる。 In operation example 3, the left-right symmetry of the object is assumed, and a parallax folding process is performed based on the center position of the object. This makes it possible to obtain parallax information that cannot normally be calculated in non-overlapping areas of the field of view by utilizing information from the overlapping areas of the field of view. This makes it possible to perform identification processing based on disparity information over a wider area, improving recognition performance.

（動作例４）
次に、物体認識装置１の４つめの動作例に関して述べる。動作例４の処理フローは図３に示した動作例１の処理フローと同一であり、立体物検出処理（P１０３）で実施する処理内容が異なる。そのため、以降では動作例４における立体物検出処理（P１０３）に関してのみ説明する。 (Operation example 4)
Next, a fourth operation example of the object recognition device 1 will be described. The processing flow of operation example 4 is the same as the processing flow of operation example 1 shown in Fig. 3, but the processing content performed in the three-dimensional object detection processing (P103) is different. Therefore, only the three-dimensional object detection processing (P103) in operation example 4 will be described hereinafter.

動作例４における立体物検出処理（P１０３）の処理フローを図９に示す。立体物検出処理（P１０３）では、初めにテクスチャ情報に基づく物体の検出処理を実施し、物体が検出された領域における視差情報を解析することで検知枠を補正する。テクスチャ解析処理（P５０１）では、テクスチャ情報を入力とした畳込みニューラルネットワークにより物体を検出する。検出した領域に対して、物体フィルタリング処理（P５０２）を実施する。物体フィルタリング処理（P５０２）では、検出した物体が視野重複領域に含まれるか判定する。含まれる（条件該当する）と判断された場合には視差解析処理（P５０３）を実施し、含まれない（条件該当しない）場合には立体物検出処理（P１０３）を終了する。視差解析処理（P５０３）では、視差画像を解析し、テクスチャ解析処理（P５０１）で検出した領域を補正する。視差画像の解析には、視差の変化量を利用する。隣接する画素の視差値が一定以上離れている画素をラベリングする。例えば画像を横方向に走査し、隣接する画素との距離の差が閾値以上の画素に色づけ（ラベリング）をすることによって、立体物と背景との境界に沿って線が描かれる。このラベリングされた画素に対して直線フィッティング処理を実施し、求めた直線を物体の端であると判断し、テクスチャ解析処理（P５０１）の検出結果を補正する。この補正により、検知枠を物体の端まで寄せることができる。 The processing flow of the three-dimensional object detection process (P103) in the operation example 4 is shown in Figure 9. In the three-dimensional object detection process (P103), first, an object detection process based on texture information is performed, and the detection frame is corrected by analyzing the disparity information in the area where the object is detected. In the texture analysis process (P501), an object is detected by a convolutional neural network with texture information as input. The detected area is subjected to object filtering process (P502). In the object filtering process (P502), it is determined whether the detected object is included in the field of view overlap area. If it is determined that the object is included (condition is met), the disparity analysis process (P503) is performed, and if it is not included (condition is not met), the three-dimensional object detection process (P103) is terminated. In the disparity analysis process (P503), the disparity image is analyzed, and the area detected in the texture analysis process (P501) is corrected. The amount of change in disparity is used to analyze the disparity image. Pixels in which the disparity values of adjacent pixels are apart by a certain amount or more are labeled. For example, the image is scanned horizontally, and pixels whose difference in distance to adjacent pixels is equal to or greater than a threshold are colored (labeled) to draw a line along the boundary between the solid object and the background. A line fitting process is then performed on these labeled pixels, and the resulting line is determined to be the edge of the object, correcting the detection results of the texture analysis process (P501). This correction makes it possible to move the detection frame closer to the edge of the object.

動作例４では、テクスチャ解析処理により検出した物体領域を、視差を解析することで補正する。立体物と背景の距離差は一般に大きくなる。そのため、視差に基づき物体の境界を補正することでより正確に物体領域を検出することができる。 In operation example 4, the object area detected by texture analysis processing is corrected by analyzing the parallax. The difference in distance between a three-dimensional object and the background is generally large. Therefore, by correcting the object boundary based on the parallax, the object area can be detected more accurately.

（動作例５）
次に、物体認識装置１の５つめの動作例に関して述べる。動作例５の処理フローは図３に示した動作例１の処理フローと同一であり、車両制御処理（P１０８）で実施する処理内容が異なる。そのため、以降では動作例５における車両制御処理（P１０８）に関してのみ説明する。 (Operation example 5)
Next, a fifth operation example of the object recognition device 1 will be described. The processing flow of operation example 5 is the same as the processing flow of operation example 1 shown in Fig. 3, but the processing content performed in the vehicle control processing (P108) is different. Therefore, only the vehicle control processing (P108) in operation example 5 will be described hereinafter.

車両制御処理（P１０８）における、動作例１と動作例５の差異は、物体の３次元位置の計測方法である。動作例５における物体の３次元位置の測定方法を図１０に示す。視差取得面積・密度計算処理（P６０１）では、視差を取得する面積Area＿Dと取得した領域における視差密度Density＿D（密度情報）を計算する。次に、テクスチャ取得面積計算処理（P６０２）では、テクスチャを取得する面積Area＿Tを計算する。距離測定方法決定処理（P６０３）では、第一の信頼度算出部１０６で利用した３次元情報の取得領域情報若しくは密度情報と第二の信頼度算出部１０７で利用したテクスチャ情報の取得領域情報に基づき物体の３次元位置の決定方法を変更する処理を行う。具体的には、距離測定方法決定処理（P６０３）では、視差を取得する面積Area＿D、視差密度Density＿D、テクスチャを取得する面積Area＿Tに基づき、次式により計算する。
Area＿D * Density＿D ＜ α * （Area＿T）・・・・・（４） The difference between the first and fifth operation examples in the vehicle control process (P108) is the method of measuring the three-dimensional position of an object. The method of measuring the three-dimensional position of an object in the fifth operation example is shown in FIG. 10. In the parallax acquisition area/density calculation process (P601), the area Area_D where the parallax is acquired and the parallax density Density_D (density information) in the acquired area are calculated. Next, in the texture acquisition area calculation process (P602), the area Area_T where the texture is acquired is calculated. In the distance measurement method determination process (P603), a process is performed to change the method of determining the three-dimensional position of an object based on the acquisition area information or density information of the three-dimensional information used in the first reliability calculation unit 106 and the acquisition area information of the texture information used in the second reliability calculation unit 107. Specifically, in the distance measurement method determination process (P603), calculations are performed based on the area Area_D where the parallax is acquired, the parallax density Density_D, and the area Area_T where the texture is acquired, using the following formula.
Area_D * Density_D < α * (Area_T) ... (4)

ここで、αはテクスチャと視差の信頼度を調整するパラメータであり、実験により適切な値を決定する。式（４）の条件を満たす場合にテクスチャベース測距方式により物体の３次元位置を計測する。つまり、得られる視差画像の範囲が所定値よりも狭い場合にはテクスチャベース測距方式が選択される。一方、式（４）の条件を満たさない場合に視差ベース測距方式により物体の３次元位置を計測する。つまり、得られる視差画像の範囲が所定値以上広い場合には、視差ベース測距方式が選択される。視差ベース測距方式では視野重複領域の視差情報に基づき物体の３次元位置を計測する。検出した物体領域の視差情報の中央値を取得することで、物体までの距離を計算する。そして、計算した物体までの距離と画像上での横方向位置と縦方向位置に基づき物体の３次元位置を計算する。テクスチャベース測距方式では視野非重複領域の物体の検知位置情報に基づき物体の距離を測定する。路面推定処理（P６０５）では、視野重複領域における視差情報を解析し、画像上での各縦方向位置に対して路面の距離情報を取得する。接地位置特定処理（P６０６）では、視野重複領域における物体の下端位置を接地位置と判定する。そして、路面推定処理（P６０５）で推定した路面の距離情報と物体の接地位置の情報に基づき物体の距離情報を推定する。推定した距離情報に基づき物体の３次元位置を取得する。 Here, α is a parameter that adjusts the reliability of the texture and disparity, and an appropriate value is determined by experiment. When the condition of formula (4) is satisfied, the three-dimensional position of the object is measured by the texture-based ranging method. In other words, when the range of the obtained disparity image is narrower than a predetermined value, the texture-based ranging method is selected. On the other hand, when the condition of formula (4) is not satisfied, the three-dimensional position of the object is measured by the disparity-based ranging method. In other words, when the range of the obtained disparity image is wider than a predetermined value, the disparity-based ranging method is selected. In the disparity-based ranging method, the three-dimensional position of the object is measured based on the disparity information of the field of view overlap area. The distance to the object is calculated by obtaining the median value of the disparity information of the detected object area. Then, the three-dimensional position of the object is calculated based on the calculated distance to the object and the horizontal and vertical positions on the image. In the texture-based ranging method, the distance to the object is measured based on the detected position information of the object in the non-overlapping field of view. In the road surface estimation process (P605), the disparity information in the field of view overlap area is analyzed, and distance information of the road surface is obtained for each vertical position on the image. In the ground contact position identification process (P606), the bottom end position of the object in the field of view overlap area is determined to be the ground contact position. Then, distance information of the object is estimated based on the distance information of the road surface estimated in the road surface estimation process (P605) and the information of the ground contact position of the object. The three-dimensional position of the object is obtained based on the estimated distance information.

動作例５では、取得できる視差数とテクスチャ数に応じ、適応的に物体の距離算出方法を切り替える。物体から取得できる視差の数が非常に限定的であり、視差により物体の距離を正確に算出できない場合に、テクスチャ情報に基づく距離算出を行うことで、物体までの３次元位置を正確に算出することができる。
また、上記した式（４）は以下の式（５）の条件に変更することもできる。
Score＿D ＜ β * （Score＿T）・・・・・（５） In operation example 5, the method of calculating the distance to an object is adaptively switched depending on the number of parallaxes and the number of textures that can be acquired. When the number of parallaxes that can be acquired from an object is very limited and the distance to the object cannot be accurately calculated based on the parallax, the three-dimensional position to the object can be accurately calculated by calculating the distance based on the texture information.
Moreover, the above formula (4) can be changed to the condition of the following formula (5).
Score_D < β * (Score_T) ... (5)

ここで、βはテクスチャと視差の信頼度を調整するパラメータであり、実験により適切な値を決定する。式（５）により、識別スコアに応じて測距方式を切り替えることができる。視差に基づく識別スコアが低いということは、視差自体の信頼度が低いと判断できる。そのため、誤った視差情報による距離推定の誤差を低減することができる。
また、式（４）、及び式（５）ではなく、次式に従い距離の測定方法を変更することができる。
Density＿D ≦ ０・・・・・（６） Here, β is a parameter that adjusts the reliability of the texture and disparity, and an appropriate value is determined by experiment. Using formula (5), the distance measurement method can be switched depending on the identification score. A low identification score based on disparity means that the reliability of the disparity itself is low. Therefore, it is possible to reduce errors in distance estimation due to erroneous disparity information.
Also, the method of measuring distance can be changed according to the following equation, instead of equations (4) and (5).
Density_D≦0 (6)

上記式（６）では、Density_Dが０よりも値が大きい場合、つまり有効な視差値が１つ以上あった場合に、視野重複領域の視差情報に基づき距離推定を実施する。これにより、視野非重複領域において他の物体の遮蔽により接地位置を特定できないような場面に対しても、視野重複領域の視差情報を利用することで物体の３次元位置を測定することができる。 In the above formula (6), when Density_D is greater than 0, i.e., when there is one or more valid disparity values, distance estimation is performed based on the disparity information of the field of view overlap region. As a result, even in a scene where the ground position cannot be identified due to occlusion by other objects in the field of view non-overlapping region, the 3D position of the object can be measured by using the disparity information of the field of view overlap region.

以上、実施例１を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。 The present invention has been described above with reference to Example 1, but the present invention is not limited to the above embodiment.

本願発明の構成や詳細には、本願発明のスコープ内で当事者が理解し得る様々な変更を加えることができる。 The configuration and details of the present invention may be modified in various ways that are understandable to those skilled in the art and fall within the scope of the present invention.

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 Although the embodiments of the present invention have been described above in detail, the present invention is not limited to the above-described embodiments, and various design changes can be made without departing from the spirit of the present invention described in the claims. For example, the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those having all of the configurations described. In addition, it is possible to replace part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Furthermore, it is possible to add, delete, or replace part of the configuration of each embodiment with other configurations.

１００第一のセンサ
１０１第二のセンサ
１０２３次元情報取得部
１０３テクスチャ情報取得部
１０４物体検出部
１０５信頼度算出部
１０６第一の信頼度算出部
１０７第二の信頼度算出部
１０８物体種別特定部
１０９車両制御部（車両制御装置） REFERENCE SIGNS LIST 100 First sensor 101 Second sensor 102 Three-dimensional information acquisition unit 103 Texture information acquisition unit 104 Object detection unit 105 Reliability calculation unit 106 First reliability calculation unit 107 Second reliability calculation unit 108 Object type identification unit 109 Vehicle control unit (vehicle control device)

Claims

第一のセンサと第二のセンサの視野重複領域から３次元情報を取得する３次元情報取得部と、
前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、
前記３次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、
前記視野重複領域の前記３次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、
前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備え、
前記物体種別特定部は、前記信頼度算出部が算出した信頼度に対する重みを推定し、推定した前記重みに基づいて前記第一の信頼度算出部と前記第二の信頼度算出部で算出した前記第一の信頼度と前記第二の信頼度を統合することで物体種別を特定することを特徴とする物体認識装置。 a three-dimensional information acquisition unit that acquires three-dimensional information from an overlapping region of the fields of view of the first sensor and the second sensor;
a texture information acquisition unit that acquires texture information of the field of view overlap region and the field of view non-overlapping region of the first sensor and the second sensor;
an object detection unit that detects an object captured in the field of view overlap region and the field of view non-overlapping region based on the information acquired by the three-dimensional information acquisition unit and the texture information acquisition unit;
a reliability calculation unit including a first reliability calculation unit that calculates a first reliability, which is an object identification result, based on the three-dimensional information of the field of view overlap region, and a second reliability calculation unit that calculates a second reliability, which is an object identification result, based on texture information of the field of view overlap region and the field of view non-overlapping region;
an object type identification unit that identifies a type of an object based on the reliability calculated by the reliability calculation unit ,
The object recognition device is characterized in that the object type identification unit estimates a weight for the reliability calculated by the reliability calculation unit, and identifies the object type by integrating the first reliability and the second reliability calculated by the first reliability calculation unit and the second reliability calculation unit based on the estimated weight .

前記物体種別特定部は、前記第一の信頼度算出部で利用した前記３次元情報の取得領域情報若しくは密度情報と前記第二の信頼度算出部で利用したテクスチャ情報の取得領域情報により前記重みを推定することを特徴とする、請求項１に記載の物体認識装置。 2. The object recognition device according to claim 1, wherein the object type identification unit estimates the weights based on acquisition area information or density information of the three-dimensional information used in the first reliability calculation unit and acquisition area information of the texture information used in the second reliability calculation unit.

前記物体種別特定部は、前記第一の信頼度算出部で利用した前記３次元情報と前記第二の信頼度算出部で利用したテクスチャ情報を入力とする畳込みニューラルネットワークにより前記重みを推定することを特徴とする、請求項１に記載の物体認識装置。 2. The object recognition device according to claim 1, wherein the object type identification unit estimates the weights by a convolutional neural network that receives as input the three-dimensional information used in the first reliability calculation unit and the texture information used in the second reliability calculation unit.

第一のセンサと第二のセンサの視野重複領域から３次元情報を取得する３次元情報取得部と、
前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、
前記３次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、
前記視野重複領域の前記３次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、
前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備え、
前記第一の信頼度算出部は、前記物体検出部で検出した物体の中心位置に基づき前記視野重複領域から取得した前記３次元情報を前記視野非重複領域に拡張し、前記視野重複領域と前記視野非重複領域に拡張された前記３次元情報により前記第一の信頼度を算出することを特徴とする物体認識装置。 a three-dimensional information acquisition unit that acquires three-dimensional information from an overlapping region of the fields of view of the first sensor and the second sensor;
a texture information acquisition unit that acquires texture information of the field of view overlap region and the field of view non-overlapping region of the first sensor and the second sensor;
an object detection unit that detects an object captured in the field of view overlap region and the field of view non-overlapping region based on the information acquired by the three-dimensional information acquisition unit and the texture information acquisition unit;
a reliability calculation unit including a first reliability calculation unit that calculates a first reliability, which is an object identification result, based on the three-dimensional information of the field of view overlap region, and a second reliability calculation unit that calculates a second reliability, which is an object identification result, based on texture information of the field of view overlap region and the field of view non-overlapping region;
an object type identification unit that identifies a type of an object based on the reliability calculated by the reliability calculation unit ,
The object recognition device is characterized in that the first reliability calculation unit extends the three-dimensional information obtained from the field of view overlap region to the field of view non-overlapping region based on the central position of the object detected by the object detection unit, and calculates the first reliability using the three-dimensional information extended to the field of view overlap region and the field of view non-overlapping region .

第一のセンサと第二のセンサの視野重複領域から３次元情報を取得する３次元情報取得部と、
前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、
前記３次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、
前記視野重複領域の前記３次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、
前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備え、
前記物体検出部は、前記テクスチャ情報取得部で取得した情報に基づき前記物体の領域を検出する第二の検出処理を実施し、前記第二の検出処理により検出された前記物体の領域に含まれる領域の視差情報に基づき前記第二の検出処理の検出結果を補正することで前記物体を検出することを特徴とする物体認識装置。 a three-dimensional information acquisition unit that acquires three-dimensional information from an overlapping region of the fields of view of the first sensor and the second sensor;
a texture information acquisition unit that acquires texture information of the field of view overlap region and the field of view non-overlapping region of the first sensor and the second sensor;
an object detection unit that detects an object captured in the field of view overlap region and the field of view non-overlapping region based on the information acquired by the three-dimensional information acquisition unit and the texture information acquisition unit;
a reliability calculation unit including a first reliability calculation unit that calculates a first reliability, which is an object identification result, based on the three-dimensional information of the field of view overlap region, and a second reliability calculation unit that calculates a second reliability, which is an object identification result, based on texture information of the field of view overlap region and the field of view non-overlapping region;
an object type identification unit that identifies a type of an object based on the reliability calculated by the reliability calculation unit ,
The object detection unit performs a second detection process to detect the area of the object based on the information acquired by the texture information acquisition unit, and detects the object by correcting the detection result of the second detection process based on disparity information of an area included in the area of the object detected by the second detection process .

第一のセンサと第二のセンサの視野重複領域から３次元情報を取得する３次元情報取得部と、
前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、
前記３次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、
前記視野重複領域の前記３次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、
前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備え、
前記物体検出部は、前記第一の信頼度算出部で利用した前記３次元情報の取得領域情報若しくは密度情報と前記第二の信頼度算出部で利用したテクスチャ情報の取得領域情報に基づき物体の３次元位置の決定方法を変更することを特徴とする物体認識装置。 a three-dimensional information acquisition unit that acquires three-dimensional information from an overlapping region of the fields of view of the first sensor and the second sensor;
a texture information acquisition unit that acquires texture information of the field of view overlap region and the field of view non-overlapping region of the first sensor and the second sensor;
an object detection unit that detects an object captured in the field of view overlap region and the field of view non-overlapping region based on the information acquired by the three-dimensional information acquisition unit and the texture information acquisition unit;
a reliability calculation unit including a first reliability calculation unit that calculates a first reliability, which is an object identification result, based on the three-dimensional information of the field of view overlap region, and a second reliability calculation unit that calculates a second reliability, which is an object identification result, based on texture information of the field of view overlap region and the field of view non-overlapping region;
an object type identification unit that identifies a type of an object based on the reliability calculated by the reliability calculation unit ,
The object detection unit changes a method of determining the three-dimensional position of an object based on acquisition area information or density information of the three-dimensional information used in the first reliability calculation unit and acquisition area information of the texture information used in the second reliability calculation unit .