JP7154470B2 - 情報処理システム、情報処理装置、プログラム及び情報処理方法 - Google Patents
情報処理システム、情報処理装置、プログラム及び情報処理方法 Download PDFInfo
- Publication number
- JP7154470B2 JP7154470B2 JP2022545963A JP2022545963A JP7154470B2 JP 7154470 B2 JP7154470 B2 JP 7154470B2 JP 2022545963 A JP2022545963 A JP 2022545963A JP 2022545963 A JP2022545963 A JP 2022545963A JP 7154470 B2 JP7154470 B2 JP 7154470B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- imaging
- ranging
- targets
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
従来の物体検出装置は、カメラセンサ装置で検出された物標の横幅に応じた閾値の範囲内に、レーダセンサ装置で検出された物標が含まれている場合に、カメラセンサ装置で検出された物標と、レーダセンサ装置で検出された物標とが同じであると判断している。
図1は、実施の形態1に係る情報処理システムとしての車両制御システム100の構成を概略的に示すブロック図である。
車両制御システム100は、測距処理部101と、撮像処理部104と、車両制御部107と、情報処理装置110とを備える。
車両制御システム100は、図示しない車両に搭載される。車両は、自動車又は列車等である。
測距処理部101は、測距部102と、測距制御部103とを備える。
測距制御部103は、測距部102での検出結果から、検出された物標の距離及び方向を示す測距情報を生成する。そして、測距制御部103は、生成された測距情報を情報処理装置110に与える。
撮像処理部104は、撮像部105と、撮像制御部106とを備える。
ここで、車両情報は、車両の舵角、スピード又はヨーレート等を示す。なお、実施の形態1では、情報処理装置110は、車両情報を用いていないので、車両制御部107は、備えられてなくてもよい。
情報処理装置110は、通信インターフェース部(以下、通信I/F部という)111と、車内ネットワークインターフェース部(以下、車内NWI/F部という)112と、記憶部113と、制御部114とを備える。
暫定値テーブル113aは、種別列113bと、幅列113cと、高さ列113dとを有するテーブル情報である。
種別列113bは、物標の種別を格納する。
幅列113cは、物標の幅を格納する。
高さ列113dは、物標の高さを格納する。
暫定値テーブル113aにより、暫定値である物標の幅及び高さからなる物標のサイズを特定することができる。
制御部114は、一致確率算出部115と、結合対象決定部116と、結合部117とを備える。
図4は、撮像部105で撮影される画像の範囲と、測距物標と、撮像物標とを上方から見た図である。
その撮像範囲A1~A2には、撮像物標C1及び撮像物標C2が含まれている。
また、その撮像範囲A1~A2において、測距物標R1、測距物標R2及び測距物標R3が検出されているものとする。
なお、図4において、B1~B2の範囲が、測距部102の検出範囲であるものとする。図4では、撮像範囲A1~A2は、検出範囲B1~B2を含んでいるが、これらの少なくとも一部が重なっていればよい。
撮像部105で撮像された画像には、撮像物標C1及び撮像物標C2が写っており、その画像において、測距情報で示される方向に測距物標R1、測距物標R2及び測距物標R3が投影されている。
ここで、図5に示されている撮像物標C1の領域及び撮像物標C2の領域のそれぞれが物標領域である。
なお、以下では、一致する測距物標を特定する一つの撮像物標を対象撮像物標ともいう。
一致確率算出部115は、特定されたサイズから、測距物標の距離に応じたサイズで、撮像部105で撮像された画像に、測距物標に対応する暫定領域を投影する。
図6では、撮像物標C1及び撮像物標C2の両方の種別が同じ場合を示しているものとする。ここでは、撮像物標C1及び撮像物標C2の両方が車(正面)である場合を示しているものとする。
ここでは、一致確率算出部115は、下記の(1)式により、一致確率を算出する。
このため、(1)式は、撮像された画像における暫定領域と対象撮像物標との重なり部分の大きさを、撮像された画像における対象撮像物標の大きさで除算したものとなる。
また、対象撮像物標が撮像物標C2である場合には、撮像物標C2の大きさと、暫定領域T1、暫定領域T2及び暫定領域T3のそれぞれの大きさとに基づいて、一致確率が算出される。
ここで、結合の方法は、公知の方法でよいが、例えば、撮像情報で示される距離及び対象測距物標で示される距離の何れか一方、又は、撮像情報で示される方向及び対象測距物標で示される方向の何れか一方が選択されてもよい。また、撮像情報で示される距離及び対象測距物標で示される距離が予め定められた重み付けをして加算若しくは乗算されてもよく、又は、撮像情報で示される方向及び対象測距物標で示される方向が予め定められた重み付けをして加算若しくは乗算されてもよい。
車両制御システム100は、測距センサ140と、測距センサECU(Electronic Control Unit)141と、カメラ142と、カメラECU143と、車両制御ECU144と、情報処理装置110とを備える。
情報処理装置110は、通信I/F145と、CAN(Controller Area Network)I/F146と、メモリ147と、プロセッサ148とを備える。
図1に示されている撮像部105は、撮像装置としてのカメラ142により実現される。
図1に示されている撮像制御部106は、カメラECU143により実現される。
図1に示されている車両制御部107は、車両制御ECU144により実現される。
図1に示されている車内NWI/F部112は、CANI/F146により実現される。
図1に示されている記憶部113は、メモリ147により実現される。
以上のように、情報処理装置110は、いわゆるコンピュータにより実現することができる。
通信I/F部111は、測距処理部101から測距情報を取得する(S10)。取得された測距情報は、制御部114に与えられる。
通信I/F部111は、撮像処理部104から撮像情報及び画像データを取得する(S11)。取得された撮像情報及び画像データは、制御部114に与えられる。
そして、一致確率算出部115は、与えられた撮像情報を参照して、特定された対象撮像物標に対応する種別を特定し、記憶部113に記憶されているその種別に対応する暫定値である幅及び高さを特定する(S13)。
そして、一致確率算出部115は、撮像情報で示される全ての撮像物標を対象撮像物標として特定したか否かを判断する(S19)。全ての撮像物標を対象撮像物標として特定した場合(S19でYes)には、処理は終了し、まだ特定していない撮像物標が残っている場合(S19でNo)には、処理はステップS12に戻る。ステップS12では、一致確率算出部115は、まだ対象撮像物標として特定していない撮像物標を、対象撮像物標として特定する。
図1に示されているように、実施の形態2に係る車両制御システム200は、測距処理部101と、撮像処理部104と、車両制御部107と、情報処理装置210とを備える。
実施の形態2に係る車両制御システム200における測距処理部101、撮像処理部104及び車両制御部107は、実施の形態1に係る車両制御システム100における測距処理部101、撮像処理部104及び車両制御部107と同様である。
実施の形態2に係る情報処理装置210の、通信I/F部111、車内NWI/F部112及び記憶部113は、実施の形態1に係る情報処理装置110の、通信I/F部111、車内NWI/F部112及び記憶部113と同様である。
実施の形態2における制御部214の結合対象決定部116及び結合部117は、実施の形態1における制御部114の結合対象決定部116及び結合部117と同様である。
ここでは、一致確率算出部215は、下記の(2)式により、一致確率を算出する。
対象撮像物標が撮像物標C2である場合、R_Cは、撮像物標C2の距離であり、これは、撮像情報に含まれている。そして、R_Rは、測距物標R1、測距物標R2及び測距物標R3の各々の距離であり、測距情報に含まれている。
図1に示されているように、実施の形態3に係る車両制御システム300は、測距処理部101と、撮像処理部104と、車両制御部107と、情報処理装置310とを備える。
実施の形態3に係る車両制御システム300における測距処理部101、撮像処理部104及び車両制御部107は、実施の形態1に係る車両制御システム100における測距処理部101、撮像処理部104及び車両制御部107と同様である。
実施の形態3に係る情報処理装置310の、通信I/F部111、車内NWI/F部112及び記憶部113は、実施の形態1に係る情報処理装置110の、通信I/F部111、車内NWI/F部112及び記憶部113と同様である。
実施の形態3における制御部314の結合対象決定部116及び結合部117は、実施の形態1における制御部114の結合対象決定部116及び結合部117と同様である。
図9は、撮像部105で撮影される画像の範囲と、測距物標と、撮像物標とを情報から見た図である。
その撮像範囲A1~A2には、撮像物標C1及び撮像物標C2が含まれている。
また、その撮像範囲A1~A2において、測距物標R1、測距物標R2及び測距物標R4が検出されているものとする。
具体的には、一致確率算出部315は、対象撮像物標の種別を撮像情報から特定し、特定された種別に対応するサイズを暫定値テーブル113aから特定する。
一致確率算出部315は、特定されたサイズから、測距物標の距離に応じたサイズで、撮像部105で撮像された画像に、測距物標に対応する暫定領域を投影する。ここまでの処理については、実施の形態1における一致確率算出部115が行う処理と同様である。
図10は、実施の形態3において、撮像部105で撮像された画像に、測距物標R1、測距物標R2及び測距物標R4を投影した画像IM3を示す概略図である。
撮像部105で撮像された画像には、撮像物標C1及び撮像物標C2が写っており、その画像において、測距情報で示される方向に測距物標R1、測距物標R2及び測距物標R4が投影されている。
また、対象撮像物標が撮像物標C2である場合には、一致確率算出部315は、撮像物標C2内の予め定められた点である中心点PC2から、測距物標R1、測距物標R2及び測距物標R4の各々までの距離を算出する。ここでは、予め定められた点は、中心点としているが、例えば、重心又はその他の点であってもよい。
ここでは、一致確率算出部315は、下記の(3)式により、一致確率を算出する。
また、uMaxは、画像の左端の画素位置、uMinは、画像の右端の画素位置であり、uMax-uMin+1は、画像の横方向の画素数(長さ)である。
図1に示されているように、実施の形態4に係る車両制御システム400は、測距処理部101と、撮像処理部104と、車両制御部107と、情報処理装置410とを備える。
実施の形態4に係る車両制御システム400における測距処理部101、撮像処理部104及び車両制御部107は、実施の形態1に係る車両制御システム100における測距処理部101、撮像処理部104及び車両制御部107と同様である。
実施の形態4に係る情報処理装置410の、通信I/F部111、車内NWI/F部112及び記憶部113は、実施の形態1に係る情報処理装置110の、通信I/F部111、車内NWI/F部112及び記憶部113と同様である。
制御部414は、一致確率算出部415と、結合対象決定部116と、結合部117と、信頼度算出部418とを備える。
実施の形態4における制御部414の結合対象決定部116及び結合部117は、実施の形態1における制御部114の結合対象決定部116及び結合部117と同様である。
例えば、信頼度算出部418は、対象撮像物標の方向及び距離、並びに、複数の測距物標の各々の方向及び距離のそれぞれを検出項目として、カルマンフィルタを用いて計算する。
そして、信頼度算出部418は、観測値を入力として、各検出項目の検出値を、カルマンフィルタを用いて計算する。
なお、信頼度算出部418は、マハラノビス距離θtと、カルマンゲインKtとの少なくとも一方に重み付けした上で、マハラノビス距離θtとカルマンゲインKtとを乗じて信頼度を計算してもよい。
具体的には、一致確率算出部415は、上記のように算出された複数の検出値のうち、上記のように算出された信頼度が、予め定められた閾値として機能する信頼度以上の場合には、最も信頼度が高い検出値を、出力値として選択する。信頼度が高いとは、マハラノビス距離とカルマンゲインとを乗じて得られた値が小さいという意味である。
通信I/F部111は、測距処理部101から測距情報を取得する(S20)。取得された測距情報は、制御部414に与えられる。
通信I/F部111は、撮像処理部104から撮像情報及び画像データを取得する(S21)。取得された撮像情報及び画像データは、制御部414に与えられる。
図1に示されているように、実施の形態5に係る車両制御システム500は、測距処理部101と、撮像処理部104と、車両制御部107と、情報処理装置510とを備える。
実施の形態5に係る車両制御システム500における測距処理部101、撮像処理部104及び車両制御部107は、実施の形態1に係る車両制御システム100における測距処理部101、撮像処理部104及び車両制御部107と同様である。
実施の形態5に係る情報処理装置510の、通信I/F部111、車内NWI/F部112及び記憶部113は、実施の形態1に係る情報処理装置110の、通信I/F部111、車内NWI/F部112及び記憶部113と同様である。
制御部514は、一致確率算出部515と、結合対象決定部116と、結合部117と、走行軌道特定部519とを備える。
実施の形態5における制御部514の結合対象決定部116及び結合部117は、実施の形態1における制御部114の結合対象決定部116及び結合部117と同様である。
例えば、走行軌道特定部519は、撮像処理部104からの画像データで示される画像から、車両が走行しているレーンを区別するための線を特定することで、走行軌道を特定することができる。また、走行軌道特定部519は、車両制御部107から得られる車両情報で示される車両の舵角又はヨーレート等から車両の走行軌道を特定してもよい。
そして、一致確率算出部515は、影響撮像物標から対象撮像物標を特定し、対象撮像物標と、測距物標との一致確率を算出する。ここでの処理については、実施の形態1と同様である。
図14は、撮像部105で撮影される画像の範囲と、測距物標と、撮像物標とを上方から見た図である。
その撮像範囲A1~A2には、撮像物標C3が含まれている。
また、その撮像範囲A1~A2において、測距物標R5及び測距物標R6が検出されているものとする。
そして、撮像物標C3は、線L1及び線L2に一部が重なっているため、影響撮像物標となる。
図15では、影響撮像物標としての撮像物標C3が車(正面)である場合を示しているものとする。
その撮像範囲A1~A2には、撮像物標C1及び撮像物標C2が含まれている。
また、その撮像範囲A1~A2において、測距物標R2、測距物標R3及び測距物標R7~測距物標R9が検出されているものとする。
図17に示されている例では、測距物標R9の暫定領域T9に、他の測距物標R7及び測距物標R8が含まれているため、一致確率算出部115~515は、測距物標R7~R9をまとめた一つの集約測距物標R#を特定する。
その撮像範囲A1~A2には、撮像物標C1及び撮像物標C2が含まれている。
また、その撮像範囲A1~A2において、測距物標R1、測距物標R2、測距物標R3及び測距物標R10が検出されているものとする。測距物標R10は、レンズ位置Pに対して、非常に近い距離に検出されている。
図19でも、撮像物標C1及び撮像物標C2の両方の種別が車(正面)である場合を示しているものとする。
このため、第2の変形例では、例えば、図18に示されているように、閾値となる閾値距離RThを予め決定しておく。そして、一致確率算出部115~515は、測距情報で示される距離が閾値距離RTh未満の測距物標については、対象撮像物標との一致確率を算出しないようにする。
Claims (15)
- 検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を検出し、前記複数の測距物標の各々の距離及び方向を示す測距情報を生成する測距処理部と、
前記検出範囲に撮像範囲の少なくとも一部が重なるように画像を撮影して、前記画像を示す画像データを生成し、前記画像に含まれる物標である撮像物標の距離、方向及び種別を特定して、前記撮像物標の距離、方向及び種別を示す撮像情報を生成する撮像処理部と、
前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出する一致確率算出部と、を備えること
を特徴とする情報処理システム。 - 前記一致確率算出部は、前記複数の暫定領域の各々と、前記物標領域とが重なっている部分の大きさが大きいほど大きくなるように前記一致確率を算出すること
を特徴とする請求項1に記載の情報処理システム。 - 前記一致確率算出部は、前記複数の暫定領域の各々と、前記物標領域とが重なっている部分の面積が大きいほど大きくなるように前記一致確率を算出すること
を特徴とする請求項2に記載の情報処理システム。 - 前記一致確率算出部は、前記複数の暫定領域の各々と、前記物標領域とが重なっている部分の横幅が大きいほど大きくなるように前記一致確率を算出すること
を特徴とする請求項2に記載の情報処理システム。 - 前記一致確率算出部は、前記複数の暫定領域の各々と、前記物標領域とが重なっている部分の大きさが大きいほど大きくなるとともに、前記複数の測距物標の各々の距離と、前記撮像物標との距離が近いほど大きくなるように、前記一致確率を算出すること
を特徴とする請求項1に記載の情報処理システム。 - 前記一致確率算出部は、前記複数の暫定領域の各々と、前記物標領域とが重なっている部分の大きさが大きいほど大きくなるとともに、前記画像に前記複数の測距物標を投影した場合において、前記撮像物標と、前記複数の測距物標の各々との距離が近いほど大きくなるように、前記一致確率を算出すること
を特徴とする請求項1に記載の情報処理システム。 - 前記撮像情報で示される前記撮像物標の距離及び方向、並びに、前記測距情報で示される前記複数の測距物標の各々の距離及び方向の信頼度を算出する信頼度算出部をさらに備え、
前記一致確率算出部は、前記複数の測距物標の全ての前記信頼度が予め定められた閾値よりも低い場合に、前記一致確率を算出すること
を特徴とする請求項1から6の何れか一項に記載の情報処理システム。 - 前記情報処理システムが搭載されている車両の走行軌道を特定する走行軌道特定部をさらに備え、
前記一致確率算出部は、前記撮像物標が前記走行軌道に影響を与える場合に、前記撮像物標と、前記複数の測距物標の各々との間で、前記一致確率を算出すること
を特徴とする請求項1から7の何れか一項に記載の情報処理システム。 - 前記複数の測距物標の内、前記一致確率が最も高い測距物標を結合対象として決定する結合対象決定部と、
前記測距物標の距離及び方向と、前記結合対象の距離及び方向とを結合する結合部と、をさらに備えること
を特徴とする請求項1から8の何れか一項に記載の情報処理システム。 - 前記一致確率算出部は、前記撮像情報に含まれている種別に対応する前記暫定値を特定すること
を特徴とする請求項1から9の何れか一項に記載の情報処理システム。 - 前記一致確率算出部は、前記複数の測距物標の内の二以上の測距物標が隣接関係にある場合には、前記二以上の測距物標を一つに集約した集約測距物標を特定し、前記撮像物標と、前記集約測距物標との間で前記一致確率を算出すること
を特徴とする請求項1から10の何れか一項に記載の情報処理システム。 - 前記一致確率算出部は、前記複数の測距物標の内の少なくとも一つの測距物標の距離が予め定められた閾値距離未満である場合には、前記撮像物標と前記少なくとも一つの測距物標との間において前記一致確率を算出しないこと
を特徴とする請求項1から10の何れか一項に記載の情報処理システム。 - 検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を示す測距情報と、前記検出範囲に撮像範囲の少なくとも一部が重なるように撮影された画像を示す画像データと、前記画像に含まれる物標である撮像物標の距離、方向及び種別を示す撮像情報と、を取得する通信インターフェース部と、
前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出する一致確率算出部と、を備えること
を特徴とする情報処理装置。 - コンピュータを、
検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を示す測距情報と、前記検出範囲に撮像範囲の少なくとも一部が重なるように撮影された画像を示す画像データと、前記画像に含まれる物標である撮像物標の距離、方向及び種別を示す撮像情報と、を取得する通信インターフェース部、及び、
前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出する一致確率算出部、として機能させること
を特徴とするプログラム。 - 検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を検出し、
前記複数の測距物標の各々の距離及び方向を示す測距情報を生成し、
前記検出範囲に撮像範囲の少なくとも一部が重なるように画像を撮影して、前記画像を示す画像データを生成し、
前記画像に含まれる物標である撮像物標の距離、方向及び種別を特定して、前記撮像物標の距離、方向及び種別を示す撮像情報を生成し、
前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、
前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、
前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出すること
を特徴とする情報処理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/035982 WO2022064588A1 (ja) | 2020-09-24 | 2020-09-24 | 情報処理システム、情報処理装置、プログラム及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022064588A1 JPWO2022064588A1 (ja) | 2022-03-31 |
JP7154470B2 true JP7154470B2 (ja) | 2022-10-17 |
Family
ID=80845622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022545963A Active JP7154470B2 (ja) | 2020-09-24 | 2020-09-24 | 情報処理システム、情報処理装置、プログラム及び情報処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230206600A1 (ja) |
JP (1) | JP7154470B2 (ja) |
CN (1) | CN116324506A (ja) |
DE (1) | DE112020007433B4 (ja) |
WO (1) | WO2022064588A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004117071A (ja) | 2002-09-24 | 2004-04-15 | Fuji Heavy Ind Ltd | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
JP2008002817A (ja) | 2006-06-20 | 2008-01-10 | Alpine Electronics Inc | 物体識別システム |
JP2014006123A (ja) | 2012-06-22 | 2014-01-16 | Toyota Motor Corp | 物体検出装置、情報処理装置、物体検出方法 |
US20170206436A1 (en) | 2016-01-19 | 2017-07-20 | Delphi Technologies, Inc. | Object Tracking System With Radar/Vision Fusion For Automated Vehicles |
JP2018106511A (ja) | 2016-12-27 | 2018-07-05 | 株式会社デンソー | 物体検出装置、物体検出方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7243311B2 (ja) | 2019-03-11 | 2023-03-22 | ニプロ株式会社 | 医療用容器 |
-
2020
- 2020-09-24 CN CN202080105256.2A patent/CN116324506A/zh active Pending
- 2020-09-24 JP JP2022545963A patent/JP7154470B2/ja active Active
- 2020-09-24 DE DE112020007433.1T patent/DE112020007433B4/de active Active
- 2020-09-24 WO PCT/JP2020/035982 patent/WO2022064588A1/ja active Application Filing
-
2023
- 2023-03-07 US US18/118,417 patent/US20230206600A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004117071A (ja) | 2002-09-24 | 2004-04-15 | Fuji Heavy Ind Ltd | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
JP2008002817A (ja) | 2006-06-20 | 2008-01-10 | Alpine Electronics Inc | 物体識別システム |
JP2014006123A (ja) | 2012-06-22 | 2014-01-16 | Toyota Motor Corp | 物体検出装置、情報処理装置、物体検出方法 |
US20170206436A1 (en) | 2016-01-19 | 2017-07-20 | Delphi Technologies, Inc. | Object Tracking System With Radar/Vision Fusion For Automated Vehicles |
JP2018106511A (ja) | 2016-12-27 | 2018-07-05 | 株式会社デンソー | 物体検出装置、物体検出方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230206600A1 (en) | 2023-06-29 |
DE112020007433B4 (de) | 2024-07-11 |
JPWO2022064588A1 (ja) | 2022-03-31 |
CN116324506A (zh) | 2023-06-23 |
DE112020007433T5 (de) | 2023-05-11 |
WO2022064588A1 (ja) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6942712B2 (ja) | コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出 | |
US9599706B2 (en) | Fusion method for cross traffic application using radars and camera | |
JP5689907B2 (ja) | 車両において通行物***置検出を向上する方法 | |
JP2018060326A (ja) | トラッキング装置及びプログラム | |
JP2004037239A (ja) | 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置 | |
JP6458651B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
JP2009169776A (ja) | 検出装置 | |
CN111891124B (zh) | 目标信息融合的方法、***、计算机设备和可读存储介质 | |
JP6936098B2 (ja) | 対象物推定装置 | |
JP2018091652A (ja) | 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム | |
US11151395B2 (en) | Roadside object detection device, roadside object detection method, and roadside object detection system | |
JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
JPH09226490A (ja) | 横断物の検出装置 | |
CN111497741B (zh) | 碰撞预警方法及装置 | |
WO2019021876A1 (ja) | 車載カメラのキャリブレーション装置及び方法 | |
JP6988873B2 (ja) | 位置推定装置および位置推定用コンピュータプログラム | |
CN111989541B (zh) | 立体摄像机装置 | |
JP2012168788A (ja) | 運動推定装置及びプログラム | |
JP7003972B2 (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
CN104471436A (zh) | 用于计算对象的成像比例的变化的方法和设备 | |
JP7154470B2 (ja) | 情報処理システム、情報処理装置、プログラム及び情報処理方法 | |
CN112304293B (zh) | 道路高度检测方法、装置、可读存储介质和电子设备 | |
JP5425500B2 (ja) | キャリブレーション装置およびキャリブレーション方法 | |
WO2021132229A1 (ja) | 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220727 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221004 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7154470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |