JP7499140B2 - Object Recognition Device - Google Patents
Object Recognition Device Download PDFInfo
- Publication number
- JP7499140B2 JP7499140B2 JP2020172983A JP2020172983A JP7499140B2 JP 7499140 B2 JP7499140 B2 JP 7499140B2 JP 2020172983 A JP2020172983 A JP 2020172983A JP 2020172983 A JP2020172983 A JP 2020172983A JP 7499140 B2 JP7499140 B2 JP 7499140B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- reliability
- view
- information
- calculation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 122
- 238000004364 calculation method Methods 0.000 claims description 89
- 238000001514 detection method Methods 0.000 claims description 48
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 38
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
本発明は、物体認識装置に関する。 The present invention relates to an object recognition device.
自動運転の実現や交通事故防止のために、広角なセンシング領域における立体物の認識技術に期待が寄せられている。広角なセンシングを実現するため、特許文献1では視野が重複するステレオ領域と視野が重複しない単眼領域を持つステレオカメラにおける、物体の認識手法を開示している。特許文献1では、単眼領域からステレオ領域に物体が移動することを想定し、単眼領域で検出した物体が次回のフレームにおいてステレオ領域に進入するか否かを判定し、進入すると判定された場合に次回のフレーム以降では視差の情報に基づき物体の種別を判定する。 Hope is high for technology to recognize three-dimensional objects in wide-angle sensing areas in order to realize autonomous driving and prevent traffic accidents. To achieve wide-angle sensing, Patent Document 1 discloses an object recognition method in a stereo camera that has a stereo area with an overlapping field of view and a monocular area with a non-overlapping field of view. Patent Document 1 assumes that an object moves from the monocular area to the stereo area, and determines whether an object detected in the monocular area will enter the stereo area in the next frame, and if it is determined that the object will enter, the type of object is determined based on the parallax information in the next frame and onward.
そのため、物体がステレオ領域と単眼領域を跨ぐ形で撮像される場合、特許文献1では、ステレオ領域の視差の情報に基づき物体を認識することとなる。しかしながら、物体がステレオ領域に進入したフレームでは、ステレオ領域に撮像される物体領域は一部のみとなるため、部分的な情報に基づき種別を判定することとなり、安定的な認識が課題となる。
本発明は、このような課題に鑑み、視野重複領域と視野非重複領域に跨り撮像された物体を高精度に認識する物体認識装置の提供を目的とする。
Therefore, when an object is captured across a stereo area and a monocular area, the object is recognized based on the parallax information of the stereo area in Patent Document 1. However, in a frame in which an object enters the stereo area, only a part of the object area is captured in the stereo area, so the type is determined based on partial information, and stable recognition becomes an issue.
In view of the above problems, the present invention has an object to provide an object recognition device that recognizes with high accuracy an object imaged across a field-of-view overlap region and a field-of-view non-overlapping region.
上記課題を解決する本願発明の物体認識装置は、第一のセンサと第二のセンサの視野重複領域から3次元情報を取得する3次元情報取得部と、前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、前記3次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、前記視野重複領域の前記3次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備えることを特徴とする。 The object recognition device of the present invention that solves the above problem is characterized by comprising: a three-dimensional information acquisition unit that acquires three-dimensional information from the field of view overlap region of a first sensor and a second sensor; a texture information acquisition unit that acquires texture information of the field of view overlap region and the field of view non-overlapping region of the first sensor and the second sensor; an object detection unit that detects an object imaged in the field of view overlap region and the field of view non-overlapping region based on the information acquired by the three-dimensional information acquisition unit and the texture information acquisition unit; a reliability calculation unit having a first reliability calculation unit that calculates a first reliability, which is an object identification result, based on the three-dimensional information of the field of view overlap region, and a second reliability calculation unit that calculates a second reliability, which is an object identification result, based on the texture information of the field of view overlap region and the field of view non-overlapping region; and an object type identification unit that identifies the type of object based on the reliability calculated by the reliability calculation unit.
本発明によれば、視野重複領域と視野非重複領域に跨り撮像された物体を高精度に認識することができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 According to the present invention, an object captured across a visual field overlap region and a visual field non-overlapping region can be recognized with high accuracy. Further features related to the present invention will become apparent from the description of this specification and the accompanying drawings. In addition to the above, problems, configurations, and effects will become apparent from the description of the following embodiments.
以下に、本発明の実施形態について詳細に説明する。 The following describes in detail an embodiment of the present invention.
(実施例1)
図1は、実施例1の物体認識装置1の構成を示す機能ブロック図である。
本実施形態の物体認識装置1は、例えば自車の車両に搭載され、自車の前方に存在する物体を認識して識別する処理を行う。物体認識装置1は、カメラ、コンピュータ、メモリおよび記憶装置などで構成されており、コンピュータが、メモリ等に格納された制御プログラムを実行することにより各種機能部として動作する。
Example 1
FIG. 1 is a functional block diagram showing a configuration of an object recognition device 1 according to a first embodiment.
The object recognition device 1 of this embodiment is mounted on, for example, a vehicle and performs processing to recognize and identify objects present in front of the vehicle. The object recognition device 1 is composed of a camera, a computer, a memory, a storage device, etc., and the computer executes a control program stored in the memory, etc. to operate as various functional units.
図1に示すように、物体認識装置1は、カメラやコンピュータの動作により実現される機能部として第一のセンサ100、第二のセンサ101、3次元情報取得部102、テクスチャ情報取得部103、物体検出部104、第一の信頼度算出部106と第二の信頼度算出部107から構成される信頼度算出部105、物体種別特定部108、及び車両制御部109を有している。
As shown in FIG. 1, the object recognition device 1 has, as functional units realized by the operation of a camera and a computer, a
第一のセンサ100と第二のセンサ101は、画像を取得可能なカメラや、3次元情報を取得可能なミリ波レーダやLidar等によって構成される。第一のセンサ100と第二のセンサ101は、テクスチャ(輝度)の情報と3次元情報を取得できる構成を有している。一例として2台のカメラの組み合わせからなる構成(いわゆるステレオカメラ)や、カメラとミリ波レーダの組み合わせからなる構成がある。第一のセンサ100と第二のセンサ101は、互いに視野を共有している視野重複領域と、視野を重複していない視野非重複領域を備えている。なお、本発明における視野とは、画像の視野に限定されるものではなく、センサの検出範囲を示す広い概念である。
The
3次元情報取得部102では、第一のセンサ100と第二のセンサ101の少なくとも1つの情報に基づき3次元情報を取得する。具体的には、第一のセンサ100と第二のセンサ101が2台のカメラから構成されている場合には、それぞれのカメラの位置関係とカメラの内部パラメータに基づき三角測量を実施することで3次元情報を取得する。また、第一のセンサ100がミリ波レーダであり、第二のセンサ101がカメラである場合には、ミリ波レーダの測定結果を3次元情報として取得する。
The three-dimensional
テクスチャ情報取得部103では、第一のセンサ100と第二のセンサ101の少なくとも1つの情報として物体のテクスチャ情報を取得する。第一のセンサ100と第二のセンサ101が2台のカメラから構成されている場合には、第一のセンサ100と第二のセンサ101で取得した画像情報がテクスチャ情報となる。また、第一のセンサ100がミリ波レーダであり、第二のセンサ101がカメラである場合には、第二のセンサ101で取得した画像情報がテクスチャ情報となる。
The texture
物体検出部104では、3次元情報取得部102とテクスチャ情報取得部103で取得した情報に基づき物体を検出する。物体の検出方法として、3次元情報に基づき検出処理を実施したのち、テクスチャ情報に基づき検出位置を拡張しても良いし、テクスチャ情報に基づき物体を検出したのち、3次元情報に基づき検出位置を補正しても良い。3次元情報に基づく物体の検出方法として、3次元情報のクラスタリング手法がある。また、第一のセンサと第二のセンサがカメラである場合に、3次元情報を2次元の画像情報に投影し、距離画像若しくは視差画像を生成し、距離若しくは視差に対するクラスタリング処理を実施することで物体を検出してもよい。テクスチャ情報に基づく物体の検出の方法として、統計的な機械学習による手段がある。また、認識する物体に対するテンプレート画像を事前に計算しておき、テンプレートマッチングにより物体を検出してもよい。
The
信頼度算出部105は、3次元情報に基づき物体の識別スコア(識別結果)を算出する第一の信頼度算出部106とテクスチャ情報に基づき物体の識別スコア(識別結果)を算出する第二の信頼度算出部107から構成される。第一の信頼度算出部106では、物体検出部104で検出した領域の3次元情報に基づき第一の信頼度を算出し、第一の信頼度による物体の識別処理を実施する。3次元情報に基づく識別処理では、ミリ波レーダの出力距離や、Lidarの点群情報、ステレオカメラの距離情報などを入力とした機械学習を用いることができる。その他にも、取得した3次元情報を2次元の画像上に重畳することで距離画像や視差画像を生成し、生成した距離画像や視差画像に基づき識別処理を実施しても良い。第二の信頼度算出部107では、物体検出部104で検出した領域のテクスチャ情報に基づき第二の信頼度を算出し、第二の信頼度による物体の識別処理を実施する。物体の識別処理は特定のテンプレートを利用したテンプレートマッチングでも良いし、統計的な機械学習により物体の識別を実施しても良い。
The
物体種別特定部108では、信頼度算出部105で算出した信頼度に基づき物体の物体種別を特定する。具体的には、第一の信頼度算出部106と第二の信頼度算出部107で算出した信頼度である識別スコアを統合し、統合した識別スコアが最大となる種別とその種別のスコアを出力する。
The object
車両制御部109では、認識した物体の3次元位置から物体との衝突リスクを判定し、衝突する可能性があると判断された場合に、車両制御を実施する。また、物体種別特定部108が出力したスコアに応じて、実施する車両制御方法を選択することができる。
The
(動作例1)
次に、図2に示すシーンにおける本実施形態の物体認識装置1の動作例を、図3のフローチャートを参照して詳細に説明する。以降の動作例では、物体認識装置1は車両の前方を監視する形式で設置されているものとする。また、第一のセンサ100と第二のセンサ101は両方ともカメラとして説明する。
(Operation example 1)
Next, an operation example of the object recognition device 1 of this embodiment in the scene shown in Fig. 2 will be described in detail with reference to the flowchart of Fig. 3. In the following operation example, it is assumed that the object recognition device 1 is installed in a form that monitors the front of the vehicle. Also, the
図2は、隣接する追い越し車線を車両V100が走行しているシーンである。自車は、左側のレーンを走行しており、車両V100は、自車の前方で右側のレーンを自車と同じ方向に向かって走行している。F101は2台のカメラの視野重複領域を示しており、テクスチャ情報だけでなく3次元情報を取得可能な領域である。また、F100とF102は2台のカメラの視野非重複領域を示しており、テクスチャ情報のみ取得可能な領域となっている。R100は車両V100のうち、視野重複領域F101に撮像された3次元情報を取得可能な領域を示しており、R101は視野重複領域F101と視野非重複領域F102に跨り撮像された車両V100の全体の領域でありテクスチャ情報を取得可能な領域となっている。 Figure 2 shows a scene in which vehicle V100 is traveling in the adjacent passing lane. The vehicle is traveling in the left lane, and vehicle V100 is traveling in the same direction as the vehicle in the right lane in front of the vehicle. F101 indicates the field of view overlap region of the two cameras, which is an area where not only texture information but also three-dimensional information can be acquired. F100 and F102 indicate the field of view non-overlapping regions of the two cameras, which are areas where only texture information can be acquired. R100 indicates the area of vehicle V100 where three-dimensional information captured in the field of view overlap region F101 can be acquired, and R101 is the entire area of vehicle V100 captured across the field of view overlap region F101 and the field of view non-overlapping region F102, and is an area where texture information can be acquired.
動作例1の物体認識装置1は、テクスチャ取得処理(P101)、視差算出処理(P102)、立体物検出処理(P103)、視差スコア算出処理(P104)、テクスチャスコア算出処理(P105)、重み算出処理(P106)、種別判定処理(P107)、及び車両制御処理(P108)を順に実施し、車両V100に対する自車の車両制御を実施する。 The object recognition device 1 of operation example 1 sequentially performs texture acquisition processing (P101), disparity calculation processing (P102), three-dimensional object detection processing (P103), disparity score calculation processing (P104), texture score calculation processing (P105), weight calculation processing (P106), type determination processing (P107), and vehicle control processing (P108), and performs vehicle control of the host vehicle with respect to vehicle V100.
テクスチャ取得処理(P101)では、2台のカメラで撮像された図2におけるF100、F101、及びF102の領域における画像のテクスチャ情報を取得する。 The texture acquisition process (P101) acquires texture information for images in areas F100, F101, and F102 in Figure 2 captured by two cameras.
視差算出処理(P102)では、2台のカメラに対する対応点探索を実施し、第一カメラと第二カメラの画像上でのオフセットである視差を算出する。ここで、視差の有効・無効判定を実施する。対応点探索を実施した際に、閾値以上のマッチングスコアの視差は有効だと判定し、所定値以下のマッチングスコアの視差は無効だと判定する。また、算出した視差の情報と、カメラの位置・姿勢、カメラの内部パラメータの情報とに基づいてカメラからの距離も測定する。 In the parallax calculation process (P102), a corresponding point search is performed for the two cameras, and the parallax, which is the offset on the images from the first and second cameras, is calculated. Here, a determination is made as to whether the parallax is valid or invalid. When the corresponding point search is performed, a parallax with a matching score equal to or greater than a threshold is determined to be valid, and a parallax with a matching score equal to or less than a predetermined value is determined to be invalid. In addition, the distance from the camera is also measured based on the calculated parallax information, the position and orientation of the camera, and information on the internal parameters of the camera.
立体物検出処理(P103)では、視差情報による物体の初期検知を行い、その後、テクスチャ情報に基づく検知枠の拡張を実施することで画像上における物体の領域を特定する。図4に立体物検出処理(P103)の処理フローを示す。 In the three-dimensional object detection process (P103), an initial detection of an object is performed using disparity information, and then the detection frame is expanded based on texture information to identify the area of the object in the image. Figure 4 shows the processing flow of the three-dimensional object detection process (P103).
立体物検出処理(P103)では、初めに視差グルーピング処理(P201)を実施する(第一の検出処理)。視差グルーピング処理では視差画像上の同一視差をクラスタリングすることで図2のF101に示す視野重複領域の物体領域R100を特定する。次に、立体物フィルタリング処理(P202)を実施する(第二の検出処理)。立体物フィルタリング処理(P202)では、図2のF101に示す視野重複領域の境界周辺で検出された物体のみを抽出する。これにより、視野重複領域と視野非重複領域に跨り撮像される可能性の高い物体のみを抽出する。物体を抽出することができた(条件該当する)場合、抽出された物体に対して、処理領域拡張処理(P203)を実施する。処理領域拡張処理(P203)では、視野重複領域F101で検出された物体領域R100に基づき視野重複領域F101、及び視野非重複領域F102に跨り撮像された車両V100を包含する領域R103を設定する。領域R103の設定方法として、物体までの距離を測定し、距離とカメラパラメータに従い処理領域を設定する。物体再検知処理(P204)では、領域R103のテクスチャ情報を解析することで物体を検出する。検出する方法として、畳込みニューラルネットワークを用いる。畳込みニューラルネットワークでは、物体の左上の画像位置と右下の画像位置を出力する。畳込みニューラルネットワークの出力により、視野重複領域F101、及び視野非重複領域F102に跨り撮像された車両V100の領域R101を特定することができる。 In the three-dimensional object detection process (P103), first, a disparity grouping process (P201) is performed (first detection process). In the disparity grouping process, the same disparity on the disparity image is clustered to identify the object region R100 in the field of view overlap region shown in F101 of FIG. 2. Next, a three-dimensional object filtering process (P202) is performed (second detection process). In the three-dimensional object filtering process (P202), only objects detected around the boundary of the field of view overlap region shown in F101 of FIG. 2 are extracted. This allows only objects that are likely to be captured across the field of view overlap region and the field of view non-overlapping region to be extracted. If an object can be extracted (conditions are met), a processing region expansion process (P203) is performed on the extracted object. In the processing region expansion process (P203), a region R103 is set that includes the vehicle V100 captured across the field of view overlap region F101 and the field of view non-overlapping region F102 based on the object region R100 detected in the field of view overlap region F101. The method for setting region R103 is to measure the distance to the object and set the processing region according to the distance and camera parameters. In the object redetection process (P204), the object is detected by analyzing the texture information of region R103. A convolutional neural network is used as the detection method. The convolutional neural network outputs the image position of the object's top left and bottom right. The output of the convolutional neural network makes it possible to identify region R101 of vehicle V100, which is captured across the field of view overlap region F101 and the field of view non-overlapping region F102.
視差スコア算出処理(P104)では、立体物検出処理(P103)で検出した物体領域R100の視差情報に基づき物体の識別処理を実施する。物体の識別には畳込みニューラルネットワークを用い、識別スコアScore_Dを出力する。 In the disparity score calculation process (P104), object identification processing is performed based on the disparity information of the object region R100 detected in the three-dimensional object detection process (P103). A convolutional neural network is used to identify the object, and an identification score Score_D is output.
テクスチャスコア算出処理(P105)では、立体物検出処理(P103)で検出したR101のテクスチャ情報に基づき物体の識別処理を実施する。物体の識別には畳込みニューラルネットワークを用い、識別スコアScore_Tを出力する。 In the texture score calculation process (P105), object identification processing is performed based on the texture information of R101 detected in the three-dimensional object detection process (P103). A convolutional neural network is used to identify the object, and an identification score Score_T is output.
重み算出処理(P106)では、視差スコア算出処理(P104)で算出した識別スコアScore_Dとテクスチャスコア算出処理(P105)で算出した識別スコアScore_Tを統合する際の重みを計算する。図5に重み算出処理(P106)の処理フローを示す。視差取得面積・密度計算処理(P301)では、処理領域である物体領域R100の面積である画素数Area_Dを計算する。また、Area_Dのうち、視差計算時において有効だと判定された画素数Area_Vを計算する。Area_V/Area_Dに従い(画素数Area_Vを画素数Area_Dで割り算し)、視差密度Density_Dを計算する。テクスチャ取得面積計算処理(P302)では、領域R101の画素数Area_Tを計算する。その後、視差・テクスチャ重み計算処理(P303)を実施する。視差・テクスチャ重み計算処理(P303)では、Score_Dに対する重みWeight_D、及びScore_Tに対する重みWeight_Tを求める。Weight_D、及びWeight_Tは次式に従い計算する。
Weight_D = (Area_D)/(Area_D+Area_T)* Density_D ・・(1)
Weight_T = (Area_T)/(Area_D+Area_T) ・・・・・・・・・(2)
In the weight calculation process (P106), a weight is calculated when integrating the identification score Score_D calculated in the parallax score calculation process (P104) and the identification score Score_T calculated in the texture score calculation process (P105). FIG. 5 shows the process flow of the weight calculation process (P106). In the parallax acquisition area/density calculation process (P301), the number of pixels Area_D, which is the area of the object area R100, which is the processing area, is calculated. In addition, the number of pixels Area_V determined to be valid at the time of parallax calculation is calculated from Area_D. According to Area_V/Area_D (the number of pixels Area_V is divided by the number of pixels Area_D), the parallax density Density_D is calculated. In the texture acquisition area calculation process (P302), the number of pixels Area_T of the area R101 is calculated. After that, the parallax/texture weight calculation process (P303) is performed. In the parallax and texture weight calculation process (P303), a weight Weight_D for Score_D and a weight Weight_T for Score_T are calculated. Weight_D and Weight_T are calculated according to the following formulas.
Weight_D = (Area_D) / (Area_D + Area_T) * Density_D (1)
Weight_T = (Area_T) / (Area_D + Area_T) ................................... (2)
種別判定処理(P107)では、視差スコア算出処理(P104)で算出した識別スコアScore_Dとテクスチャスコア算出処理(P105)で算出した識別スコアScore_Tと重み算出処理(P106)で算出した重みWeight_D、Weight_Tに基づき、物体の識別スコアTotal_Scoreを算出し、物体の種別を特定する。物体の識別スコアTotal_Scoreは次式により計算する。
Total_Score = Score_D*Weight_D + Score_T*Weight_T ・・・・(3)
式(3)に従いTotal_Scoreを計算し、所定の閾値と比較し、閾値以上であった場合に、認識対象の物体であると判定する。
In the type determination process (P107), an object identification score Total_Score is calculated based on the identification score Score_D calculated in the disparity score calculation process (P104), the identification score Score_T calculated in the texture score calculation process (P105), and the weights Weight_D and Weight_T calculated in the weight calculation process (P106), to identify the type of the object. The object identification score Total_Score is calculated using the following formula.
Total_Score = Score_D*Weight_D + Score_T*Weight_T ... (3)
The Total_Score is calculated according to equation (3) and compared with a predetermined threshold value. If the score is equal to or greater than the threshold value, the object is determined to be a recognition target object.
車両制御処理(P108)では、物体までの距離情報に基づき物体の衝突する可能性を判定し、衝突する可能性があると判断された場合に車両制御を実施する。図6に車両制御処理(P108)の処理フローを記載する。3次元位置計測処理(P401)では、視差算出処理(P102)で計算した距離情報と立体物検出処理(P103)の検出結果に基づき物体までの3次元位置を測定する。具体的には、検出した物体領域R100に対する距離情報の中央値を取得することで、物体までの距離を計算する。また、計算した物体までの距離と画像上での横方向位置と縦方向位置に基づき物体の3次元位置を計算する。車両制御内容決定処理(P402)では、種別判定処理(P107)での識別スコアTotal_Scoreに基づいて車両に対してどのような車両制御を実施するかを決定する。車両制御内容決定処理(P402)では、ブレーキ実施閾値Brake_Threと警報実施閾値Warning_Threの2つの閾値に基づき車両制御内容を決定する。ブレーキ実施閾値Brake_Threと警報実施閾値Warning_ThreはBrake_Thre>Warning_Threの関係にあり、Total_Score>Brake_Threの場合には制御内容としてブレーキ制御を選択する。一方で、Brake_Thre>Total_Score>Warning_Threの場合には、制御内容として警報制御を選択する。また、Warning_Thre>Total_Scoreの場合には、車両制御を実施しないと判断し、車両制御処理(P108)を終了する。車両制御内容決定処理(P402)でブレーキ制御、若しくは警報制御が選択された場合、車両制御実施判定処理(P403)を実行する。車両制御実施判定処理(P403)では、過去フレームと今回フレームの物体の3次元位置情報に基づき物体の衝突する可能性を判断する。具体的には、過去フレームと今回フレームの3次元位置情報から物体の移動軌跡に対して、曲線フィッティング処理を実施する。同様に、現在の車速センサ、ヨーレートセンサから自車両の将来の移動軌跡を推定する。曲線フィッティングにより求めた曲線と自車両の移動軌跡が交わる時刻が等しい場合に、衝突する可能性があると判断する。衝突すると判断された場合に、車両制御内容決定処理(P402)で決定した車両制御内容を実施する。 In the vehicle control process (P108), the possibility of collision of the object is judged based on the distance information to the object, and vehicle control is performed if it is judged that there is a possibility of collision. The process flow of the vehicle control process (P108) is described in FIG. 6. In the three-dimensional position measurement process (P401), the three-dimensional position of the object is measured based on the distance information calculated in the parallax calculation process (P102) and the detection result of the three-dimensional object detection process (P103). Specifically, the distance to the object is calculated by obtaining the median value of the distance information for the detected object area R100. In addition, the three-dimensional position of the object is calculated based on the calculated distance to the object and its horizontal and vertical positions on the image. In the vehicle control content determination process (P402), the type of vehicle control to be performed on the vehicle is determined based on the identification score Total_Score in the type determination process (P107). In the vehicle control content determination process (P402), the vehicle control content is determined based on two thresholds, the brake execution threshold Brake_Thre and the warning execution threshold Warning_Thre. The brake execution threshold Brake_Thre and the warning execution threshold Warning_Thre have a relationship of Brake_Thre>Warning_Thre, and when Total_Score>Brake_Thre, brake control is selected as the control content. On the other hand, when Brake_Thre>Total_Score>Warning_Thre, warning control is selected as the control content. Also, when Warning_Thre>Total_Score, it is determined that vehicle control is not to be performed, and the vehicle control process (P108) is terminated. When brake control or warning control is selected in the vehicle control content decision process (P402), a vehicle control execution determination process (P403) is executed. In the vehicle control execution determination process (P403), the possibility of an object collision is determined based on the three-dimensional position information of the object in the past frame and the current frame. Specifically, a curve fitting process is performed on the movement trajectory of the object from the three-dimensional position information of the past frame and the current frame. Similarly, the future movement trajectory of the host vehicle is estimated from the current vehicle speed sensor and yaw rate sensor. If the time when the curve obtained by curve fitting intersects with the vehicle's movement trajectory is the same, it is determined that there is a possibility of a collision. If it is determined that a collision will occur, the vehicle control content determined in the vehicle control content determination process (P402) is implemented.
以上より、本実施形態の物体認識装置1は、視野重複領域と視野非重複領域に跨り撮像された物体に対して、視野重複領域から取得される限定的な視差情報と、視野重複領域及び視野非重複領域から取得される広域のテクスチャ情報と、を組み合わせ認識処理を実施することで、より安定的に物体を認識できる。 As described above, the object recognition device 1 of this embodiment can more stably recognize objects captured across overlapping and non-overlapping areas of the visual field by performing a recognition process that combines limited disparity information acquired from the overlapping and non-overlapping areas of the visual field.
また、立体物検出処理では、視差情報に基づき物体の検出を実施し、その後テクスチャ情報を解析することで物体を検出する。これにより、一般に処理負荷の高いテクスチャ解析を実施する領域を限定することができ、処理負荷を低減することができる。 In addition, in the three-dimensional object detection process, objects are detected based on disparity information, and then the texture information is analyzed to detect the objects. This makes it possible to limit the area in which texture analysis, which generally requires a high processing load, is performed, thereby reducing the processing load.
また、視差に基づく識別スコアとテクスチャに基づく識別スコアとを統合する際に、視差を取得した面積とテクスチャを取得した面積に応じて重みづけを実施する。これにより、視差を取得した面積とテクスチャを取得した面積が大きく異なり、識別スコア自体の信頼度が異なる場合に対して、より安定的に物体を認識することができる。また視差の重みを計算する際、面積だけでなく視差の密度を考慮することで、夜間や雨などで有効な視差がフレーム毎に異なる場合に対しても、適応的に視差の識別スコアに対する重みを調整することができる。これにより、夜間や雨などでも高精度に物体を認識することができる。 In addition, when combining the parallax-based identification score and the texture-based identification score, weighting is performed according to the area where the parallax was obtained and the area where the texture was obtained. This allows for more stable object recognition in cases where the area where the parallax was obtained and the area where the texture was obtained are significantly different, resulting in different reliability of the identification score itself. In addition, by taking into account not only the area but also the density of the parallax when calculating the weight of the parallax, the weight for the parallax identification score can be adaptively adjusted even in cases where the effective parallax differs from frame to frame, such as at night or in the rain. This allows for highly accurate object recognition even at night or in the rain.
また、車両制御を実施する際に物体の認識スコアに応じ車両制御内容を変更する。これにより、認識に対する信頼度が低い場合に対して誤ってブレーキ制御を実行することを防止することができる。 In addition, when implementing vehicle control, the vehicle control content is changed according to the object recognition score. This makes it possible to prevent brake control from being erroneously implemented when the reliability of recognition is low.
(動作例2)
次に、物体認識装置1の2つめの動作例に関して述べる。動作例2の処理フローは図3に示した動作例1の処理フローと同一であり、重み算出処理(P106)で実施する処理内容が異なる。そのため、以降では動作例2における重み算出処理(P106)に関してのみ説明する。
(Operation example 2)
Next, a second operation example of the object recognition device 1 will be described. The process flow of the operation example 2 is the same as the process flow of the operation example 1 shown in Fig. 3, but the process contents performed in the weight calculation process (P106) are different. Therefore, only the weight calculation process (P106) in the operation example 2 will be described hereinafter.
動作例2の重み算出処理(P106)では、統計的な機械学習により視差スコアとテクスチャスコアの重みを計算する。図7に重み算出処理(P106)の概念図を示す。図7においてI101はテクスチャスコア算出処理(P105)で利用するテクスチャ画像(輝度画像)であり、I102は視差スコア算出処理(P104)で利用する視差画像を示している。重み算出処理(P106)では、I101で利用したテクスチャ情報とI102で利用した視差情報を畳込みニューラルネットワークへの入力として、重みWeight_D、及びWeight_Tを出力する。重み算出処理(P106)で利用する畳込みニューラルネットワークは、図7に示すように学習される。学習では入力として、輝度画像I101、及び視差画像I102に示すテクスチャ情報と視差情報だけでなく、テクスチャに基づく識別スコアScore_T、及び視差に基づく識別スコアScore_Dを利用する。輝度画像I101、及び視差画像I102を畳込みニューラルネットワークに入力し、Weight_T、及びWeight_Dを出力し、Score_T、及びScore_Dと式(3)に従い統合スコアを計算する。計算した統合スコアの誤識別率が最小化されるように学習を実施する。 In the weight calculation process (P106) of the second operation example, the weights of the parallax score and the texture score are calculated by statistical machine learning. FIG. 7 shows a conceptual diagram of the weight calculation process (P106). In FIG. 7, I101 is a texture image (luminance image) used in the texture score calculation process (P105), and I102 is a parallax image used in the parallax score calculation process (P104). In the weight calculation process (P106), the texture information used in I101 and the parallax information used in I102 are input to the convolutional neural network, and weights Weight_D and Weight_T are output. The convolutional neural network used in the weight calculation process (P106) is trained as shown in FIG. 7. In the training, not only the texture information and parallax information shown in the luminance image I101 and the parallax image I102, but also the texture-based identification score Score_T and the parallax-based identification score Score_D are used as inputs. The luminance image I101 and the parallax image I102 are input to a convolutional neural network, Weight_T and Weight_D are output, and an integrated score is calculated according to Score_T and Score_D and equation (3). Learning is performed so that the misclassification rate of the calculated integrated score is minimized.
動作例2では、テクスチャ情報と視差情報を解析し、解析した結果に基づき適応的に重みを出力することができる。特に、入力情報と識別スコアの関係を考慮した学習を実施することで、識別処理が苦手とするパターンなどに対しては重みを弱め、識別処理が得意とするパターンに対しては重みを強めることができるようになり、より高精度に物体を認識することができる。 In operation example 2, texture information and disparity information are analyzed, and weights can be adaptively output based on the analysis results. In particular, by performing learning that takes into account the relationship between input information and classification scores, it becomes possible to weaken weights for patterns that classification processing is weak at, and strengthen weights for patterns that classification processing is strong at, enabling objects to be recognized with higher accuracy.
(動作例3)
次に、物体認識装置1の3つめの動作例に関して述べる。動作例3の処理フローは図3に示した動作例1の処理フローと同一であり、視差スコア算出処理(P104)、及び重み算出処理(P106)で実施する処理内容が異なる。そのため、以降では動作例3における視差スコア算出処理(P104)、及び重み算出処理(P106)に関してのみ説明する。
(Operation example 3)
Next, a third operation example of the object recognition device 1 will be described. The process flow of the operation example 3 is the same as the process flow of the operation example 1 shown in Fig. 3, but the process contents performed in the disparity score calculation process (P104) and the weight calculation process (P106) are different. Therefore, hereinafter, only the disparity score calculation process (P104) and the weight calculation process (P106) in the operation example 3 will be described.
視差スコア算出処理(P104)では、視野重複領域で取得した視差情報を視野非重複領域に拡張する。視差スコア算出処理(P104)の概念図を図8に示す。図8において、R200は視差が算出された視野重複領域を示している。R202は立体物検出処理(P103)において検出された視野非重複領域の領域を示している。視差スコア算出処理(P104)では初めに、立体物検出処理(P103)において検出された領域の横方向中心位置R203を推定する。そして、横方向中心位置R203を基準に、視野重複領域R200に示す視差を折り返す。つまり、視野重複領域R200に示す視差画像を、横方向中心位置R203を軸にして右側に反転させ、視差画像を視野非重複領域R202まで広げる処理を行う。そして、視野非重複領域の領域R202における視差情報を計算する。視差スコア算出処理(P104)では、視野重複領域と視野非重複領域から取得した視差情報R204に基づき識別処理を実施する。 In the parallax score calculation process (P104), the parallax information acquired in the field of view overlap region is extended to the field of view non-overlapping region. A conceptual diagram of the parallax score calculation process (P104) is shown in FIG. 8. In FIG. 8, R200 indicates the field of view overlap region in which the parallax is calculated. R202 indicates the field of view non-overlapping region detected in the three-dimensional object detection process (P103). In the parallax score calculation process (P104), the horizontal center position R203 of the region detected in the three-dimensional object detection process (P103) is first estimated. Then, the parallax shown in the field of view overlap region R200 is folded back based on the horizontal center position R203. In other words, the parallax image shown in the field of view overlap region R200 is inverted to the right with the horizontal center position R203 as the axis, and the parallax image is extended to the field of view non-overlapping region R202. Then, the parallax information in the field of view non-overlapping region R202 is calculated. In the disparity score calculation process (P104), a classification process is performed based on the disparity information R204 obtained from the field of view overlapping area and the field of view non-overlapping area.
重み算出処理(P106)では、視野重複領域と視野非重複領域から取得した視差情報R204に基づき重みWeight_Dを計算する。視差を取得した面積Area_DはR204の画素数である。また、密度計算に利用するArea_Vは、視差の有効・無効情報も折り返すことで計算する。計算したArea_DとArea_Vに基づきWeight_Dを計算する。 In the weight calculation process (P106), the weight Weight_D is calculated based on the parallax information R204 obtained from the field of view overlap region and the field of view non-overlapping region. The area Area_D from which the parallax was obtained is the number of pixels in R204. Additionally, Area_V used in the density calculation is calculated by folding back the valid/invalid parallax information. Weight_D is calculated based on the calculated Area_D and Area_V.
動作例3では、物体の左右対称性を仮定し、物体の中心位置を基準とした視差の折り返し処理を実施する。これにより、視野非重複領域では通常算出できない視差情報を、視野重複領域の情報を活用して取得できる。これにより、より広域の視差情報に基づき識別処理を実施することが可能となり、認識性能を向上させることができる。 In operation example 3, the left-right symmetry of the object is assumed, and a parallax folding process is performed based on the center position of the object. This makes it possible to obtain parallax information that cannot normally be calculated in non-overlapping areas of the field of view by utilizing information from the overlapping areas of the field of view. This makes it possible to perform identification processing based on disparity information over a wider area, improving recognition performance.
(動作例4)
次に、物体認識装置1の4つめの動作例に関して述べる。動作例4の処理フローは図3に示した動作例1の処理フローと同一であり、立体物検出処理(P103)で実施する処理内容が異なる。そのため、以降では動作例4における立体物検出処理(P103)に関してのみ説明する。
(Operation example 4)
Next, a fourth operation example of the object recognition device 1 will be described. The processing flow of operation example 4 is the same as the processing flow of operation example 1 shown in Fig. 3, but the processing content performed in the three-dimensional object detection processing (P103) is different. Therefore, only the three-dimensional object detection processing (P103) in operation example 4 will be described hereinafter.
動作例4における立体物検出処理(P103)の処理フローを図9に示す。立体物検出処理(P103)では、初めにテクスチャ情報に基づく物体の検出処理を実施し、物体が検出された領域における視差情報を解析することで検知枠を補正する。テクスチャ解析処理(P501)では、テクスチャ情報を入力とした畳込みニューラルネットワークにより物体を検出する。検出した領域に対して、物体フィルタリング処理(P502)を実施する。物体フィルタリング処理(P502)では、検出した物体が視野重複領域に含まれるか判定する。含まれる(条件該当する)と判断された場合には視差解析処理(P503)を実施し、含まれない(条件該当しない)場合には立体物検出処理(P103)を終了する。視差解析処理(P503)では、視差画像を解析し、テクスチャ解析処理(P501)で検出した領域を補正する。視差画像の解析には、視差の変化量を利用する。隣接する画素の視差値が一定以上離れている画素をラベリングする。例えば画像を横方向に走査し、隣接する画素との距離の差が閾値以上の画素に色づけ(ラベリング)をすることによって、立体物と背景との境界に沿って線が描かれる。このラベリングされた画素に対して直線フィッティング処理を実施し、求めた直線を物体の端であると判断し、テクスチャ解析処理(P501)の検出結果を補正する。この補正により、検知枠を物体の端まで寄せることができる。 The processing flow of the three-dimensional object detection process (P103) in the operation example 4 is shown in Figure 9. In the three-dimensional object detection process (P103), first, an object detection process based on texture information is performed, and the detection frame is corrected by analyzing the disparity information in the area where the object is detected. In the texture analysis process (P501), an object is detected by a convolutional neural network with texture information as input. The detected area is subjected to object filtering process (P502). In the object filtering process (P502), it is determined whether the detected object is included in the field of view overlap area. If it is determined that the object is included (condition is met), the disparity analysis process (P503) is performed, and if it is not included (condition is not met), the three-dimensional object detection process (P103) is terminated. In the disparity analysis process (P503), the disparity image is analyzed, and the area detected in the texture analysis process (P501) is corrected. The amount of change in disparity is used to analyze the disparity image. Pixels in which the disparity values of adjacent pixels are apart by a certain amount or more are labeled. For example, the image is scanned horizontally, and pixels whose difference in distance to adjacent pixels is equal to or greater than a threshold are colored (labeled) to draw a line along the boundary between the solid object and the background. A line fitting process is then performed on these labeled pixels, and the resulting line is determined to be the edge of the object, correcting the detection results of the texture analysis process (P501). This correction makes it possible to move the detection frame closer to the edge of the object.
動作例4では、テクスチャ解析処理により検出した物体領域を、視差を解析することで補正する。立体物と背景の距離差は一般に大きくなる。そのため、視差に基づき物体の境界を補正することでより正確に物体領域を検出することができる。 In operation example 4, the object area detected by texture analysis processing is corrected by analyzing the parallax. The difference in distance between a three-dimensional object and the background is generally large. Therefore, by correcting the object boundary based on the parallax, the object area can be detected more accurately.
(動作例5)
次に、物体認識装置1の5つめの動作例に関して述べる。動作例5の処理フローは図3に示した動作例1の処理フローと同一であり、車両制御処理(P108)で実施する処理内容が異なる。そのため、以降では動作例5における車両制御処理(P108)に関してのみ説明する。
(Operation example 5)
Next, a fifth operation example of the object recognition device 1 will be described. The processing flow of operation example 5 is the same as the processing flow of operation example 1 shown in Fig. 3, but the processing content performed in the vehicle control processing (P108) is different. Therefore, only the vehicle control processing (P108) in operation example 5 will be described hereinafter.
車両制御処理(P108)における、動作例1と動作例5の差異は、物体の3次元位置の計測方法である。動作例5における物体の3次元位置の測定方法を図10に示す。視差取得面積・密度計算処理(P601)では、視差を取得する面積Area_Dと取得した領域における視差密度Density_D(密度情報)を計算する。次に、テクスチャ取得面積計算処理(P602)では、テクスチャを取得する面積Area_Tを計算する。距離測定方法決定処理(P603)では、第一の信頼度算出部106で利用した3次元情報の取得領域情報若しくは密度情報と第二の信頼度算出部107で利用したテクスチャ情報の取得領域情報に基づき物体の3次元位置の決定方法を変更する処理を行う。具体的には、距離測定方法決定処理(P603)では、視差を取得する面積Area_D、視差密度Density_D、テクスチャを取得する面積Area_Tに基づき、次式により計算する。
Area_D * Density_D < α * (Area_T) ・・・・・(4)
The difference between the first and fifth operation examples in the vehicle control process (P108) is the method of measuring the three-dimensional position of an object. The method of measuring the three-dimensional position of an object in the fifth operation example is shown in FIG. 10. In the parallax acquisition area/density calculation process (P601), the area Area_D where the parallax is acquired and the parallax density Density_D (density information) in the acquired area are calculated. Next, in the texture acquisition area calculation process (P602), the area Area_T where the texture is acquired is calculated. In the distance measurement method determination process (P603), a process is performed to change the method of determining the three-dimensional position of an object based on the acquisition area information or density information of the three-dimensional information used in the first
Area_D * Density_D < α * (Area_T) ... (4)
ここで、αはテクスチャと視差の信頼度を調整するパラメータであり、実験により適切な値を決定する。式(4)の条件を満たす場合にテクスチャベース測距方式により物体の3次元位置を計測する。つまり、得られる視差画像の範囲が所定値よりも狭い場合にはテクスチャベース測距方式が選択される。一方、式(4)の条件を満たさない場合に視差ベース測距方式により物体の3次元位置を計測する。つまり、得られる視差画像の範囲が所定値以上広い場合には、視差ベース測距方式が選択される。視差ベース測距方式では視野重複領域の視差情報に基づき物体の3次元位置を計測する。検出した物体領域の視差情報の中央値を取得することで、物体までの距離を計算する。そして、計算した物体までの距離と画像上での横方向位置と縦方向位置に基づき物体の3次元位置を計算する。テクスチャベース測距方式では視野非重複領域の物体の検知位置情報に基づき物体の距離を測定する。路面推定処理(P605)では、視野重複領域における視差情報を解析し、画像上での各縦方向位置に対して路面の距離情報を取得する。接地位置特定処理(P606)では、視野重複領域における物体の下端位置を接地位置と判定する。そして、路面推定処理(P605)で推定した路面の距離情報と物体の接地位置の情報に基づき物体の距離情報を推定する。推定した距離情報に基づき物体の3次元位置を取得する。 Here, α is a parameter that adjusts the reliability of the texture and disparity, and an appropriate value is determined by experiment. When the condition of formula (4) is satisfied, the three-dimensional position of the object is measured by the texture-based ranging method. In other words, when the range of the obtained disparity image is narrower than a predetermined value, the texture-based ranging method is selected. On the other hand, when the condition of formula (4) is not satisfied, the three-dimensional position of the object is measured by the disparity-based ranging method. In other words, when the range of the obtained disparity image is wider than a predetermined value, the disparity-based ranging method is selected. In the disparity-based ranging method, the three-dimensional position of the object is measured based on the disparity information of the field of view overlap area. The distance to the object is calculated by obtaining the median value of the disparity information of the detected object area. Then, the three-dimensional position of the object is calculated based on the calculated distance to the object and the horizontal and vertical positions on the image. In the texture-based ranging method, the distance to the object is measured based on the detected position information of the object in the non-overlapping field of view. In the road surface estimation process (P605), the disparity information in the field of view overlap area is analyzed, and distance information of the road surface is obtained for each vertical position on the image. In the ground contact position identification process (P606), the bottom end position of the object in the field of view overlap area is determined to be the ground contact position. Then, distance information of the object is estimated based on the distance information of the road surface estimated in the road surface estimation process (P605) and the information of the ground contact position of the object. The three-dimensional position of the object is obtained based on the estimated distance information.
動作例5では、取得できる視差数とテクスチャ数に応じ、適応的に物体の距離算出方法を切り替える。物体から取得できる視差の数が非常に限定的であり、視差により物体の距離を正確に算出できない場合に、テクスチャ情報に基づく距離算出を行うことで、物体までの3次元位置を正確に算出することができる。
また、上記した式(4)は以下の式(5)の条件に変更することもできる。
Score_D < β * (Score_T) ・・・・・(5)
In operation example 5, the method of calculating the distance to an object is adaptively switched depending on the number of parallaxes and the number of textures that can be acquired. When the number of parallaxes that can be acquired from an object is very limited and the distance to the object cannot be accurately calculated based on the parallax, the three-dimensional position to the object can be accurately calculated by calculating the distance based on the texture information.
Moreover, the above formula (4) can be changed to the condition of the following formula (5).
Score_D < β * (Score_T) ... (5)
ここで、βはテクスチャと視差の信頼度を調整するパラメータであり、実験により適切な値を決定する。式(5)により、識別スコアに応じて測距方式を切り替えることができる。視差に基づく識別スコアが低いということは、視差自体の信頼度が低いと判断できる。そのため、誤った視差情報による距離推定の誤差を低減することができる。
また、式(4)、及び式(5)ではなく、次式に従い距離の測定方法を変更することができる。
Density_D ≦ 0 ・・・・・(6)
Here, β is a parameter that adjusts the reliability of the texture and disparity, and an appropriate value is determined by experiment. Using formula (5), the distance measurement method can be switched depending on the identification score. A low identification score based on disparity means that the reliability of the disparity itself is low. Therefore, it is possible to reduce errors in distance estimation due to erroneous disparity information.
Also, the method of measuring distance can be changed according to the following equation, instead of equations (4) and (5).
Density_D≦0 (6)
上記式(6)では、Density_Dが0よりも値が大きい場合、つまり有効な視差値が1つ以上あった場合に、視野重複領域の視差情報に基づき距離推定を実施する。これにより、視野非重複領域において他の物体の遮蔽により接地位置を特定できないような場面に対しても、視野重複領域の視差情報を利用することで物体の3次元位置を測定することができる。 In the above formula (6), when Density_D is greater than 0, i.e., when there is one or more valid disparity values, distance estimation is performed based on the disparity information of the field of view overlap region. As a result, even in a scene where the ground position cannot be identified due to occlusion by other objects in the field of view non-overlapping region, the 3D position of the object can be measured by using the disparity information of the field of view overlap region.
以上、実施例1を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。 The present invention has been described above with reference to Example 1, but the present invention is not limited to the above embodiment.
本願発明の構成や詳細には、本願発明のスコープ内で当事者が理解し得る様々な変更を加えることができる。 The configuration and details of the present invention may be modified in various ways that are understandable to those skilled in the art and fall within the scope of the present invention.
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 Although the embodiments of the present invention have been described above in detail, the present invention is not limited to the above-described embodiments, and various design changes can be made without departing from the spirit of the present invention described in the claims. For example, the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those having all of the configurations described. In addition, it is possible to replace part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Furthermore, it is possible to add, delete, or replace part of the configuration of each embodiment with other configurations.
100 第一のセンサ
101 第二のセンサ
102 3次元情報取得部
103 テクスチャ情報取得部
104 物体検出部
105 信頼度算出部
106 第一の信頼度算出部
107 第二の信頼度算出部
108 物体種別特定部
109 車両制御部(車両制御装置)
REFERENCE SIGNS
Claims (6)
前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、
前記3次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、
前記視野重複領域の前記3次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、
前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備え、
前記物体種別特定部は、前記信頼度算出部が算出した信頼度に対する重みを推定し、推定した前記重みに基づいて前記第一の信頼度算出部と前記第二の信頼度算出部で算出した前記第一の信頼度と前記第二の信頼度を統合することで物体種別を特定することを特徴とする物体認識装置。 a three-dimensional information acquisition unit that acquires three-dimensional information from an overlapping region of the fields of view of the first sensor and the second sensor;
a texture information acquisition unit that acquires texture information of the field of view overlap region and the field of view non-overlapping region of the first sensor and the second sensor;
an object detection unit that detects an object captured in the field of view overlap region and the field of view non-overlapping region based on the information acquired by the three-dimensional information acquisition unit and the texture information acquisition unit;
a reliability calculation unit including a first reliability calculation unit that calculates a first reliability, which is an object identification result, based on the three-dimensional information of the field of view overlap region, and a second reliability calculation unit that calculates a second reliability, which is an object identification result, based on texture information of the field of view overlap region and the field of view non-overlapping region;
an object type identification unit that identifies a type of an object based on the reliability calculated by the reliability calculation unit ,
The object recognition device is characterized in that the object type identification unit estimates a weight for the reliability calculated by the reliability calculation unit, and identifies the object type by integrating the first reliability and the second reliability calculated by the first reliability calculation unit and the second reliability calculation unit based on the estimated weight .
前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、
前記3次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、
前記視野重複領域の前記3次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、
前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備え、
前記第一の信頼度算出部は、前記物体検出部で検出した物体の中心位置に基づき前記視野重複領域から取得した前記3次元情報を前記視野非重複領域に拡張し、前記視野重複領域と前記視野非重複領域に拡張された前記3次元情報により前記第一の信頼度を算出することを特徴とする物体認識装置。 a three-dimensional information acquisition unit that acquires three-dimensional information from an overlapping region of the fields of view of the first sensor and the second sensor;
a texture information acquisition unit that acquires texture information of the field of view overlap region and the field of view non-overlapping region of the first sensor and the second sensor;
an object detection unit that detects an object captured in the field of view overlap region and the field of view non-overlapping region based on the information acquired by the three-dimensional information acquisition unit and the texture information acquisition unit;
a reliability calculation unit including a first reliability calculation unit that calculates a first reliability, which is an object identification result, based on the three-dimensional information of the field of view overlap region, and a second reliability calculation unit that calculates a second reliability, which is an object identification result, based on texture information of the field of view overlap region and the field of view non-overlapping region;
an object type identification unit that identifies a type of an object based on the reliability calculated by the reliability calculation unit ,
The object recognition device is characterized in that the first reliability calculation unit extends the three-dimensional information obtained from the field of view overlap region to the field of view non-overlapping region based on the central position of the object detected by the object detection unit, and calculates the first reliability using the three-dimensional information extended to the field of view overlap region and the field of view non-overlapping region .
前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、
前記3次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、
前記視野重複領域の前記3次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、
前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備え、
前記物体検出部は、前記テクスチャ情報取得部で取得した情報に基づき前記物体の領域を検出する第二の検出処理を実施し、前記第二の検出処理により検出された前記物体の領域に含まれる領域の視差情報に基づき前記第二の検出処理の検出結果を補正することで前記物体を検出することを特徴とする物体認識装置。 a three-dimensional information acquisition unit that acquires three-dimensional information from an overlapping region of the fields of view of the first sensor and the second sensor;
a texture information acquisition unit that acquires texture information of the field of view overlap region and the field of view non-overlapping region of the first sensor and the second sensor;
an object detection unit that detects an object captured in the field of view overlap region and the field of view non-overlapping region based on the information acquired by the three-dimensional information acquisition unit and the texture information acquisition unit;
a reliability calculation unit including a first reliability calculation unit that calculates a first reliability, which is an object identification result, based on the three-dimensional information of the field of view overlap region, and a second reliability calculation unit that calculates a second reliability, which is an object identification result, based on texture information of the field of view overlap region and the field of view non-overlapping region;
an object type identification unit that identifies a type of an object based on the reliability calculated by the reliability calculation unit ,
The object detection unit performs a second detection process to detect the area of the object based on the information acquired by the texture information acquisition unit, and detects the object by correcting the detection result of the second detection process based on disparity information of an area included in the area of the object detected by the second detection process .
前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、
前記3次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、
前記視野重複領域の前記3次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、
前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備え、
前記物体検出部は、前記第一の信頼度算出部で利用した前記3次元情報の取得領域情報若しくは密度情報と前記第二の信頼度算出部で利用したテクスチャ情報の取得領域情報に基づき物体の3次元位置の決定方法を変更することを特徴とする物体認識装置。 a three-dimensional information acquisition unit that acquires three-dimensional information from an overlapping region of the fields of view of the first sensor and the second sensor;
a texture information acquisition unit that acquires texture information of the field of view overlap region and the field of view non-overlapping region of the first sensor and the second sensor;
an object detection unit that detects an object captured in the field of view overlap region and the field of view non-overlapping region based on the information acquired by the three-dimensional information acquisition unit and the texture information acquisition unit;
a reliability calculation unit including a first reliability calculation unit that calculates a first reliability, which is an object identification result, based on the three-dimensional information of the field of view overlap region, and a second reliability calculation unit that calculates a second reliability, which is an object identification result, based on texture information of the field of view overlap region and the field of view non-overlapping region;
an object type identification unit that identifies a type of an object based on the reliability calculated by the reliability calculation unit ,
The object detection unit changes a method of determining the three-dimensional position of an object based on acquisition area information or density information of the three-dimensional information used in the first reliability calculation unit and acquisition area information of the texture information used in the second reliability calculation unit .
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020172983A JP7499140B2 (en) | 2020-10-14 | 2020-10-14 | Object Recognition Device |
DE112021004200.9T DE112021004200T5 (en) | 2020-10-14 | 2021-09-10 | object detection device |
PCT/JP2021/033256 WO2022080049A1 (en) | 2020-10-14 | 2021-09-10 | Object recognition device |
CN202180067146.6A CN116348937A (en) | 2020-10-14 | 2021-09-10 | Object recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020172983A JP7499140B2 (en) | 2020-10-14 | 2020-10-14 | Object Recognition Device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022064388A JP2022064388A (en) | 2022-04-26 |
JP7499140B2 true JP7499140B2 (en) | 2024-06-13 |
Family
ID=81208370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020172983A Active JP7499140B2 (en) | 2020-10-14 | 2020-10-14 | Object Recognition Device |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7499140B2 (en) |
CN (1) | CN116348937A (en) |
DE (1) | DE112021004200T5 (en) |
WO (1) | WO2022080049A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023166065A (en) * | 2022-05-09 | 2023-11-21 | 日立Astemo株式会社 | Abnormality diagnostic device |
JP2023180611A (en) * | 2022-06-10 | 2023-12-21 | 日立Astemo株式会社 | Environment recognition device and environment recognition method |
JP2024097571A (en) * | 2023-01-06 | 2024-07-19 | 株式会社日立製作所 | Environment recognition device and environment recognition method |
WO2024150471A1 (en) * | 2023-01-13 | 2024-07-18 | 日立Astemo株式会社 | Image processing device and image processing method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106026A (en) | 2017-12-13 | 2019-06-27 | 日立オートモティブシステムズ株式会社 | On-vehicle environment recognizing device |
JP2019522287A (en) | 2016-07-12 | 2019-08-08 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Method and system for processing images acquired by a moving body |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010079582A (en) * | 2008-09-25 | 2010-04-08 | Toshiba Corp | Apparatus, method and program for detecting object |
JP6014440B2 (en) | 2012-09-26 | 2016-10-25 | 日立オートモティブシステムズ株式会社 | Moving object recognition device |
JP7042185B2 (en) * | 2018-07-27 | 2022-03-25 | 日立Astemo株式会社 | Distance calculation device |
-
2020
- 2020-10-14 JP JP2020172983A patent/JP7499140B2/en active Active
-
2021
- 2021-09-10 WO PCT/JP2021/033256 patent/WO2022080049A1/en active Application Filing
- 2021-09-10 DE DE112021004200.9T patent/DE112021004200T5/en active Pending
- 2021-09-10 CN CN202180067146.6A patent/CN116348937A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019522287A (en) | 2016-07-12 | 2019-08-08 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Method and system for processing images acquired by a moving body |
JP2019106026A (en) | 2017-12-13 | 2019-06-27 | 日立オートモティブシステムズ株式会社 | On-vehicle environment recognizing device |
Also Published As
Publication number | Publication date |
---|---|
WO2022080049A1 (en) | 2022-04-21 |
CN116348937A (en) | 2023-06-27 |
DE112021004200T5 (en) | 2023-06-15 |
JP2022064388A (en) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7499140B2 (en) | Object Recognition Device | |
US11816852B2 (en) | Associating LIDAR data and image data | |
US8406472B2 (en) | Method and system for processing image data | |
EP3349041B1 (en) | Object detection system | |
EP2422320B1 (en) | Object detection device | |
Ferryman et al. | Visual surveillance for moving vehicles | |
US9429650B2 (en) | Fusion of obstacle detection using radar and camera | |
US6744380B2 (en) | Apparatus for monitoring area adjacent to vehicle | |
WO2014192137A1 (en) | Movement trajectory prediction device, and movement trajectory prediction method | |
CN110794405A (en) | Target detection method and system based on camera and radar fusion | |
US11151395B2 (en) | Roadside object detection device, roadside object detection method, and roadside object detection system | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
KR20210060535A (en) | Analysis of dynamic spatial scenarios | |
US11281916B2 (en) | Method of tracking objects in a scene | |
JP2020077293A (en) | Lane line detection device and lane line detection method | |
JP7003972B2 (en) | Distance estimation device, distance estimation method and computer program for distance estimation | |
KR102003387B1 (en) | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program | |
Poiesi et al. | Detection of fast incoming objects with a moving camera. | |
JP2017211765A (en) | Object recognition device | |
Hwang et al. | Vehicle detection system design based on stereo vision sensors | |
WO2022270183A1 (en) | Computation device and speed calculation method | |
Shen et al. | Stereo vision based full-range object detection and tracking | |
US11010625B2 (en) | Vehicle exterior environment recognition apparatus and method of recognizing exterior environment outside vehicle | |
US11842552B2 (en) | Vehicle exterior environment recognition apparatus | |
Ragavendran et al. | Modelling, Simulation and Virtual validation of Adaptive Cruise Control (ACC) Algorithm based on Sensor Fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7499140 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |