JP7154470B2 - 情報処理システム、情報処理装置、プログラム及び情報処理方法 - Google Patents

情報処理システム、情報処理装置、プログラム及び情報処理方法 Download PDF

Info

Publication number
JP7154470B2
JP7154470B2 JP2022545963A JP2022545963A JP7154470B2 JP 7154470 B2 JP7154470 B2 JP 7154470B2 JP 2022545963 A JP2022545963 A JP 2022545963A JP 2022545963 A JP2022545963 A JP 2022545963A JP 7154470 B2 JP7154470 B2 JP 7154470B2
Authority
JP
Japan
Prior art keywords
target
imaging
ranging
targets
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022545963A
Other languages
English (en)
Other versions
JPWO2022064588A1 (ja
Inventor
亮太 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022064588A1 publication Critical patent/JPWO2022064588A1/ja
Application granted granted Critical
Publication of JP7154470B2 publication Critical patent/JP7154470B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本開示は、情報処理システム、情報処理装置、プログラム及び情報処理方法に関する。
運転支援システム又は自動運転システムといった車両制御システムでは、複数のセンサを用いた補完又は冗長化により、センサの検出精度を向上させることが行われている。
例えば、特許文献１は、レーダセンサ装置と、カメラセンサ装置とを用いたセンサフュージョンを行う物体検出装置が開示されている。
従来の物体検出装置は、カメラセンサ装置で検出された物標の横幅に応じた閾値の範囲内に、レーダセンサ装置で検出された物標が含まれている場合に、カメラセンサ装置で検出された物標と、レーダセンサ装置で検出された物標とが同じであると判断している。
特開２０１４－６１２３号公報
しかしながら、従来の物体検出装置は、カメラセンサ装置で検出された物標の横幅に応じた閾値の範囲内に、レーダセンサ装置で検出された物標が含まれていれば、遠方のどのような物標であっても同じものと判断してしまうため、異なる物標を同じ物標と判断する判断誤りが発生する場合がある。
そこで、本開示の一又は複数の態様は、物標の同一性を判断する際における判断誤りを軽減することを目的とする。
本開示の一態様に係る情報処理システムは、検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を検出し、前記複数の測距物標の各々の距離及び方向を示す測距情報を生成する測距処理部と、前記検出範囲に撮像範囲の少なくとも一部が重なるように画像を撮影して、前記画像を示す画像データを生成し、前記画像に含まれる物標である撮像物標の距離、方向及び種別を特定して、前記撮像物標の距離、方向及び種別を示す撮像情報を生成する撮像処理部と、前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出する一致確率算出部と、を備えることを特徴とする。
本開示の一態様に係る情報処理装置は、検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を示す測距情報と、前記検出範囲に撮像範囲の少なくとも一部が重なるように撮影された画像を示す画像データと、前記画像に含まれる物標である撮像物標の距離、方向及び種別を示す撮像情報と、を取得する通信インターフェース部と、前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出する一致確率算出部と、を備えることを特徴とする。
本開示の一態様に係るプログラムは、コンピュータを、検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を示す測距情報と、前記検出範囲に撮像範囲の少なくとも一部が重なるように撮影された画像を示す画像データと、前記画像に含まれる物標である撮像物標の距離、方向及び種別を示す撮像情報と、を取得する通信インターフェース部、及び、前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出する一致確率算出部、として機能させることを特徴とする。
本開示の一態様に係る情報処理方法は、検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を検出し、前記複数の測距物標の各々の距離及び方向を示す測距情報を生成し、前記検出範囲に撮像範囲の少なくとも一部が重なるように画像を撮影して、前記画像を示す画像データを生成し、前記画像に含まれる物標である撮像物標の距離、方向及び種別を特定して、前記撮像物標の距離、方向及び種別を示す撮像情報を生成し、前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出することを特徴とする。
本開示の一又は複数の態様によれば、物標の同一性を判断する際の判断誤りを軽減することができる。
実施の形態１～５に係る車両制御システムの構成を概略的に示すブロック図である。 暫定値情報の一例である暫定値テーブルを示す概略図である。 実施の形態１～３における制御部の構成を概略的に示すブロック図である。 実施の形態１において、測距情報で示される物標と、撮像情報で示される物標とを説明するための概略図である。 実施の形態１において、撮像部で撮像された画像に、測距物標を投影した画像を示す概略図である。 実施の形態１において、撮像部で撮像された画像に、測距物標に対応する暫定領域を投影した画像を示す概略図である。 車両制御システムのハードウェア構成例を示すブロック図である。 実施の形態１に係る情報処理装置での処理を示すフローチャートである。 実施の形態３において、測距情報で示される物標と、撮像情報で示される物標とを説明するための概略図である。 実施の形態３において、撮像部で撮像された画像に、測距物標を投影した画像を示す概略図である。 実施の形態４における制御部の構成を概略的に示すブロック図である。 実施の形態４に係る情報処理装置での処理を示すフローチャートである。 実施の形態５における制御部の構成を概略的に示すブロック図である。 実施の形態５において、測距情報で示される物標と、撮像情報で示される物標とを説明するための概略図である。 実施の形態５において、撮像部で撮像された画像に、測距物標に対応する暫定領域を投影した画像を示す概略図である。 実施の形態１～５の第１の変形例における、撮像部で撮影される画像の範囲と、測距物標と、撮像物標とを上方から見た図である。 第１の変形例において、測距物標の暫定領域を示す概略図である。 実施の形態１～５の第２の変形例における、撮像部で撮影される画像の範囲と、測距物標と、撮像物標とを上方から見た図である。 第２の変形例において、撮像部で撮像された画像に、測距物標に対応する暫定領域を投影した画像を示す概略図である。
実施の形態１．
図１は、実施の形態１に係る情報処理システムとしての車両制御システム１００の構成を概略的に示すブロック図である。
車両制御システム１００は、測距処理部１０１と、撮像処理部１０４と、車両制御部１０７と、情報処理装置１１０とを備える。
車両制御システム１００は、図示しない車両に搭載される。車両は、自動車又は列車等である。
測距処理部１０１は、検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を検出し、その複数の測距物標の各々の距離及び方向を示す測距情報を生成する。生成された測距情報は、情報処理装置１１０に与えられる。
測距処理部１０１は、測距部１０２と、測距制御部１０３とを備える。
測距部１０２は、物標の距離を測定する。測距部１０２は、測定結果を測距制御部１０３に与える。例えば、測距部１０２は、ミリ波又はパルスレーザ等を用いた公知の方法で、物標の距離を測定すればよい。
測距制御部１０３は、測距部１０２での検出結果から、検出された物標の距離及び方向を示す測距情報を生成する。そして、測距制御部１０３は、生成された測距情報を情報処理装置１１０に与える。
撮像処理部１０４は、測距処理部１０１の検出範囲に撮像範囲の少なくとも一部が重なるように画像を撮影して、その画像を示す画像データを生成する。そして、撮像処理部１０４は、撮影された画像に含まれる物標である撮像物標の距離、方向及び種別を特定して、その撮像物標の距離、方向及び種別を示す撮像情報を生成する。生成された撮像情報は、情報処理装置１１０に与えられる。
撮像処理部１０４は、撮像部１０５と、撮像制御部１０６とを備える。
撮像部１０５は、物標の画像を撮影する。撮像部１０５は、撮影された画像を示す画像データを撮像制御部１０６に与える。
撮像制御部１０６は、撮像部１０５から与えられた画像データで示される画像に含まれる物標を特定し、その物標の距離、方向及び種別を特定する。なお、その画像に複数の物標が含まれる場合には、撮像制御部１０６は、物標毎にその距離、方向及び種別を特定する。ここで、撮像制御部１０６は、視差又はパターンマッチング等を用いた公知の方法で、物標の距離、方向及び種別を特定すればよい。そして、撮像制御部１０６は、特定された距離、方向及び種別を物標毎に示す撮像情報及び画像データを情報処理装置１１０に与える。
車両制御部１０７は、車両制御システム１００が搭載されている車両の走行に関する情報である車両情報を生成し、その車両情報を情報処理装置１１０に与える。
ここで、車両情報は、車両の舵角、スピード又はヨーレート等を示す。なお、実施の形態１では、情報処理装置１１０は、車両情報を用いていないので、車両制御部１０７は、備えられてなくてもよい。
情報処理装置１１０は、車両制御システム１００において検出対象となる物標の距離及び方向を特定する処理を行う。
情報処理装置１１０は、通信インターフェース部（以下、通信Ｉ／Ｆ部という）１１１と、車内ネットワークインターフェース部（以下、車内ＮＷＩ／Ｆ部という）１１２と、記憶部１１３と、制御部１１４とを備える。
通信Ｉ／Ｆ部１１１は、測距処理部１０１及び撮像処理部１０４と通信を行う。例えば、通信Ｉ／Ｆ部１１１は、測距処理部１０１から測距情報を取得して、その測距情報を制御部１１４に与える。また、通信Ｉ／Ｆ部１１１は、撮像処理部１０４から撮像情報及び画像データを取得して、その撮像情報及び画像データを制御部１１４に与える。
車内ＮＷＩ／Ｆ部１１２は、車両制御部１０７と通信を行う。例えば、車内ＮＷＩ／Ｆ部１１２は、車両制御部１０７から車両情報を取得して、その車両情報を制御部１１４に与える。
記憶部１１３は、情報処理装置１１０での処理に必要な情報及びプログラムを記憶する。例えば、記憶部１１３は、物標の種別と、物標のサイズを示す暫定値とを対応付けた暫定値情報を記憶する。
図２は、暫定値情報の一例である暫定値テーブル１１３ａを示す概略図である。
暫定値テーブル１１３ａは、種別列１１３ｂと、幅列１１３ｃと、高さ列１１３ｄとを有するテーブル情報である。
種別列１１３ｂは、物標の種別を格納する。
幅列１１３ｃは、物標の幅を格納する。
高さ列１１３ｄは、物標の高さを格納する。
暫定値テーブル１１３ａにより、暫定値である物標の幅及び高さからなる物標のサイズを特定することができる。
図１に戻り、制御部１１４は、情報処理装置１１０での処理を制御する。例えば、制御部１１４は、測距処理部１０１から与えられる測距情報で示される物標と、撮像処理部１０４から与えられる撮像情報で示される物標とが同一であるか否かを判断し、これらが同一である場合に、測距情報で示される距離及び方向と、撮像情報で示される距離及び方向とを結合する。
図３は、実施の形態１における制御部１１４の構成を概略的に示すブロック図である。
制御部１１４は、一致確率算出部１１５と、結合対象決定部１１６と、結合部１１７とを備える。
一致確率算出部１１５は、撮像処理部１０４からの撮像情報を用いて、複数の測距物標のサイズを示す暫定値を特定し、その暫定値及び測距処理部１０１からの測距情報に従って、複数の測距物標が画像データで示される画像において投影される複数の領域である複数の暫定領域を特定する。そして、一致確率算出部１１５は、その複数の暫定領域の各々と、画像において撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、撮像物標と複数の測距物標の各々とが一致する可能性を示す一致確率を算出する。
例えば、一致確率算出部１１５は、複数の暫定領域の各々と、物標領域とが重なっている部分の大きさが大きいほど大きくなるように一致確率を算出する。具体的には、一致確率算出部１１５は、複数の暫定領域の各々と、物標領域とが重なっている部分の面積が大きいほど大きくなるように一致確率を算出する。また、一致確率算出部１１５は、複数の暫定領域の各々と、物標領域とが重なっている部分の横幅が大きいほど大きくなるように一致確率を算出してもよい。
図４は、実施の形態１において、測距情報で示される物標と、撮像情報で示される物標とを説明するための概略図である。
図４は、撮像部１０５で撮影される画像の範囲と、測距物標と、撮像物標とを上方から見た図である。
撮像部１０５のレンズの位置であるレンズ位置Ｐに対して、ある画角となる撮像範囲Ａ１～Ａ２の画像が撮影される。
その撮像範囲Ａ１～Ａ２には、撮像物標Ｃ１及び撮像物標Ｃ２が含まれている。
また、その撮像範囲Ａ１～Ａ２において、測距物標Ｒ１、測距物標Ｒ２及び測距物標Ｒ３が検出されているものとする。
なお、図４において、Ｂ１～Ｂ２の範囲が、測距部１０２の検出範囲であるものとする。図４では、撮像範囲Ａ１～Ａ２は、検出範囲Ｂ１～Ｂ２を含んでいるが、これらの少なくとも一部が重なっていればよい。
図５は、実施の形態１において、撮像部１０５で撮像された画像に、測距物標Ｒ１、測距物標Ｒ２及び測距物標Ｒ３を投影した画像ＩＭ１を示す概略図である。
撮像部１０５で撮像された画像には、撮像物標Ｃ１及び撮像物標Ｃ２が写っており、その画像において、測距情報で示される方向に測距物標Ｒ１、測距物標Ｒ２及び測距物標Ｒ３が投影されている。
ここで、図５に示されている撮像物標Ｃ１の領域及び撮像物標Ｃ２の領域のそれぞれが物標領域である。
以上のような状況で、一致確率算出部１１５は、撮像物標毎に、一致する測距物標を特定するために、一致確率を算出する。
なお、以下では、一致する測距物標を特定する一つの撮像物標を対象撮像物標ともいう。
具体的には、一致確率算出部１１５は、対象撮像物標の種別を撮像情報から特定し、特定された種別に対応するサイズを暫定値テーブル１１３ａから特定する。
一致確率算出部１１５は、特定されたサイズから、測距物標の距離に応じたサイズで、撮像部１０５で撮像された画像に、測距物標に対応する暫定領域を投影する。
図６は、実施の形態１において、撮像部１０５で撮像された画像に、測距物標Ｒ１に対応する暫定領域Ｔ１、測距物標Ｒ２に対応する暫定領域Ｔ２及び測距物標Ｒ３に対応する暫定領域Ｔ３を投影した画像ＩＭ２を示す概略図である。
図６では、撮像物標Ｃ１及び撮像物標Ｃ２の両方の種別が同じ場合を示しているものとする。ここでは、撮像物標Ｃ１及び撮像物標Ｃ２の両方が車（正面）である場合を示しているものとする。
図６に示されているように、暫定領域Ｔ１、暫定領域Ｔ２及び暫定領域Ｔ３は、それぞれ車（正面）に対応する暫定領域であるが、測距物標Ｒ１、測距物標Ｒ２及び測距物標Ｒ３が検出されている距離に応じて、そのサイズが異なっている。なお、暫定領域のサイズは、暫定値テーブル１１３ａで示されているサイズを、画像のサイズ及び測距物標の距離に応じて変換することで、算出することができる。即ち、暫定領域Ｔ１、暫定領域Ｔ２及び暫定領域Ｔ３のサイズは、暫定値テーブル１１３ａで示されているサイズの物標が、それぞれの距離で画像に写っていたと仮定した場合のサイズとなっている。
なお、撮像物標Ｃ１及び撮像物標Ｃ２については、画像に含まれている物標の外枠を検出してしてもよく、また、撮像物標Ｃ１及び撮像物標Ｃ２の外枠が四角形で近似されてもよい。
そして、一致確率算出部１１５は、対象撮像物標と、暫定領域との重なりの大きさが大きくなるほど大きな値となる一致確率を算出する。
ここでは、一致確率算出部１１５は、下記の（１）式により、一致確率を算出する。
Figure 0007154470000001
 なお、Ｒは、撮像された画像における暫定領域の面積又は横幅を示し、Ｃは、撮像された画像における対象撮像物標の面積又は横幅を示す。Ｒが暫定領域の面積であれば、Ｃも対象撮像物標の面積となり、Ｒが暫定領域の横幅であれば、Ｃも撮像領域の面積となる。
また、（１）式の分子は、撮像された画像における、暫定領域の面積又は横幅と、対象撮像物標の面積又は横幅の重なり部分の面積又は横幅である。
このため、（１）式は、撮像された画像における暫定領域と対象撮像物標との重なり部分の大きさを、撮像された画像における対象撮像物標の大きさで除算したものとなる。
例えば、図６の例では、対象撮像物標が撮像物標Ｃ１である場合には、撮像物標Ｃ１の大きさと、暫定領域Ｔ１、暫定領域Ｔ２及び暫定領域Ｔ３のそれぞれの大きさとに基づいて、一致確率が算出される。
また、対象撮像物標が撮像物標Ｃ２である場合には、撮像物標Ｃ２の大きさと、暫定領域Ｔ１、暫定領域Ｔ２及び暫定領域Ｔ３のそれぞれの大きさとに基づいて、一致確率が算出される。
図３に戻り、結合対象決定部１１６は、対象撮像物標毎に、一致確率算出部１１５が算出した一致確率が最も大きい測距物標を、その対象撮像物標に結合する対象である結合対象として特定する。ここで、結合対象として特定された測距物標を、対象測距物標ともいう。
結合部１１７は、対象撮像物標の撮像情報で示される距離及び方向と、対象測距物標で示される距離及び方向とを結合することで、結合した値を出力値とする。
ここで、結合の方法は、公知の方法でよいが、例えば、撮像情報で示される距離及び対象測距物標で示される距離の何れか一方、又は、撮像情報で示される方向及び対象測距物標で示される方向の何れか一方が選択されてもよい。また、撮像情報で示される距離及び対象測距物標で示される距離が予め定められた重み付けをして加算若しくは乗算されてもよく、又は、撮像情報で示される方向及び対象測距物標で示される方向が予め定められた重み付けをして加算若しくは乗算されてもよい。
図７は、実施の形態１に係る車両制御システム１００のハードウェア構成例を示すブロック図である。
車両制御システム１００は、測距センサ１４０と、測距センサＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１４１と、カメラ１４２と、カメラＥＣＵ１４３と、車両制御ＥＣＵ１４４と、情報処理装置１１０とを備える。
情報処理装置１１０は、通信Ｉ／Ｆ１４５と、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）Ｉ／Ｆ１４６と、メモリ１４７と、プロセッサ１４８とを備える。
図１に示されている測距部１０２は、測距センサ１４０により実現される。測距センサ１４０は、例えば、ミリ波を送信する送信アンテナ及びミリ波を受信する受信アンテナを備えるミリ波レーダ、又は、レーザー光を用いて測距を行うＬｉｄａｒ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）である。
図１に示されている測距制御部１０３は、測距センサＥＣＵ１４１により実現される。
図１に示されている撮像部１０５は、撮像装置としてのカメラ１４２により実現される。
図１に示されている撮像制御部１０６は、カメラＥＣＵ１４３により実現される。
図１に示されている車両制御部１０７は、車両制御ＥＣＵ１４４により実現される。
図１に示されている通信Ｉ／Ｆ部１１１は、通信Ｉ／Ｆ１４５により実現される。
図１に示されている車内ＮＷＩ／Ｆ部１１２は、ＣＡＮＩ／Ｆ１４６により実現される。
図１に示されている記憶部１１３は、メモリ１４７により実現される。
図１に示されている制御部１１４は、メモリ１４７に格納されているプログラムをＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ１４８が実行することにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
以上のように、情報処理装置１１０は、いわゆるコンピュータにより実現することができる。
図８は、実施の形態１に係る情報処理装置１１０での処理を示すフローチャートである。
通信Ｉ／Ｆ部１１１は、測距処理部１０１から測距情報を取得する（Ｓ１０）。取得された測距情報は、制御部１１４に与えられる。
通信Ｉ／Ｆ部１１１は、撮像処理部１０４から撮像情報及び画像データを取得する（Ｓ１１）。取得された撮像情報及び画像データは、制御部１１４に与えられる。
一致確率算出部１１５は、与えられた撮像情報で示される撮像物標から、一つの撮像物標を対象撮像物標として特定する（Ｓ１２）。
そして、一致確率算出部１１５は、与えられた撮像情報を参照して、特定された対象撮像物標に対応する種別を特定し、記憶部１１３に記憶されているその種別に対応する暫定値である幅及び高さを特定する（Ｓ１３）。
一致確率算出部１１５は、ステップＳ１０で取得された測距情報で示される測距物標に、ステップＳ１３で特定された幅及び高さを適用することで、測距物標のサイズを特定する（Ｓ１４）。
一致確率算出部１１５は、ステップＳ１１で取得された画像データで示される画像において、ステップＳ１４で特定されたサイズの測距物標を、測距情報で示される対応する方向及び距離に応じて配置することで、その画像における測距物標の暫定領域を特定する（Ｓ１５）。
一致確率算出部１１５は、画像における対象撮像物標と、測距物標の暫定領域との重なりの大きさから、測距物標毎に一致確率を算出する（Ｓ１７）。
次に、結合対象決定部１１６は、ステップＳ１７で算出された一致確率から、対象撮像物標と最も一致する可能性の高い測距物標を、結合対象である対象測距物標として特定する（Ｓ１７）。
次に、結合部１１７は、対象撮像物標の距離及び方向と、対象測距物標の距離及び方向とを結合することで、出力値を生成する（Ｓ１８）。
そして、一致確率算出部１１５は、撮像情報で示される全ての撮像物標を対象撮像物標として特定したか否かを判断する（Ｓ１９）。全ての撮像物標を対象撮像物標として特定した場合（Ｓ１９でＹｅｓ）には、処理は終了し、まだ特定していない撮像物標が残っている場合（Ｓ１９でＮｏ）には、処理はステップＳ１２に戻る。ステップＳ１２では、一致確率算出部１１５は、まだ対象撮像物標として特定していない撮像物標を、対象撮像物標として特定する。
なお、ステップＳ１０及びステップＳ１１の処理については、順番が入れ替わってもよい。
以上のように、実施の形態１によれば、撮影された画像から物標の種別を特定し、その特定された種別に基づいて、測距された物標のサイズを特定し、測距された距離に応じてそのサイズを変更することができるため、測距された距離に基づいて、物標が一致するか否かを適切に判断することができる。これにより、物標の同一性を判断する際における判断誤りを軽減することができる。例えば、測距された物品のサイズとして、測距された方向における画像に含まれている物標のサイズを使用すると、撮像部１０５の画角上での見切れ、又は、オクルージョンが発生したときに、急激に重なりが変化してしまう。この点、画像から識別された種別に基づいてサイズを特定することで、このような急激な重なりの変化を防止することができる。
実施の形態２．
図１に示されているように、実施の形態２に係る車両制御システム２００は、測距処理部１０１と、撮像処理部１０４と、車両制御部１０７と、情報処理装置２１０とを備える。
実施の形態２に係る車両制御システム２００における測距処理部１０１、撮像処理部１０４及び車両制御部１０７は、実施の形態１に係る車両制御システム１００における測距処理部１０１、撮像処理部１０４及び車両制御部１０７と同様である。
情報処理装置２１０は、通信Ｉ／Ｆ部１１１と、車内ＮＷＩ／Ｆ部１１２と、記憶部１１３と、制御部２１４とを備える。
実施の形態２に係る情報処理装置２１０の、通信Ｉ／Ｆ部１１１、車内ＮＷＩ／Ｆ部１１２及び記憶部１１３は、実施の形態１に係る情報処理装置１１０の、通信Ｉ／Ｆ部１１１、車内ＮＷＩ／Ｆ部１１２及び記憶部１１３と同様である。
制御部２１４は、情報処理装置２１０での処理を制御する。例えば、制御部２１４は、測距処理部１０１から与えられる測距情報で示される物標と、撮像処理部１０４から与えられる撮像情報で示される物標とが同一であるか否かを判断し、これらが同一である場合に、測距情報で示される距離及び方向と、撮像情報で示される距離及び方向とを結合する。
図３に示されているように制御部２１４は、一致確率算出部２１５と、結合対象決定部１１６と、結合部１１７とを備える。
実施の形態２における制御部２１４の結合対象決定部１１６及び結合部１１７は、実施の形態１における制御部１１４の結合対象決定部１１６及び結合部１１７と同様である。
一致確率算出部２１５は、測距情報で示される物標と、撮像情報で示される物標とが一致する可能性を示す一致確率を算出する。実施の形態２における一致確率算出部２１５は、一致確率の算出方法において、実施の形態１における一致確率算出部１１５と異なっている。
実施の形態２では、一致確率算出部２１５は、複数の暫定領域の各々と、物標領域とが重なっている部分の大きさが大きいほど大きくなるとともに、複数の測距物標の各々の距離と、撮像物標との距離が近いほど大きくなるように、一致確率を算出する。
ここでは、一致確率算出部２１５は、下記の（２）式により、一致確率を算出する。
Figure 0007154470000002
 なお、Ｒ＿Ｃは、対象撮像物標の距離であり、Ｒ＿Ｒは、測距物標の距離である。また、α及びβは、重み付け係数であり、予め定められているものとする。
例えば、測距情報で示される物標と、撮像情報で示される物標とが、図４に示されているようになっている場合を用いて説明する。
対象撮像物標が撮像物標Ｃ２である場合、Ｒ＿Ｃは、撮像物標Ｃ２の距離であり、これは、撮像情報に含まれている。そして、Ｒ＿Ｒは、測距物標Ｒ１、測距物標Ｒ２及び測距物標Ｒ３の各々の距離であり、測距情報に含まれている。
以上のように、実施の形態２では、検出された物標の距離に応じた値が、一致するか否かを判定するための値に加算されるため、より適切に、物標が一致するか否かを適切に判断することができる。これにより、物標の同一性を判断する際における判断誤りを軽減することができる。
実施の形態３．
図１に示されているように、実施の形態３に係る車両制御システム３００は、測距処理部１０１と、撮像処理部１０４と、車両制御部１０７と、情報処理装置３１０とを備える。
実施の形態３に係る車両制御システム３００における測距処理部１０１、撮像処理部１０４及び車両制御部１０７は、実施の形態１に係る車両制御システム１００における測距処理部１０１、撮像処理部１０４及び車両制御部１０７と同様である。
情報処理装置３１０は、通信Ｉ／Ｆ部１１１と、車内ＮＷＩ／Ｆ部１１２と、記憶部１１３と、制御部３１４とを備える。
実施の形態３に係る情報処理装置３１０の、通信Ｉ／Ｆ部１１１、車内ＮＷＩ／Ｆ部１１２及び記憶部１１３は、実施の形態１に係る情報処理装置１１０の、通信Ｉ／Ｆ部１１１、車内ＮＷＩ／Ｆ部１１２及び記憶部１１３と同様である。
制御部３１４は、情報処理装置３１０での処理を制御する。例えば、制御部３１４は、測距処理部１０１から与えられる測距情報で示される物標と、撮像処理部１０４から与えられる撮像情報で示される物標とが同一であるか否かを判断し、これらが同一である場合に、測距情報で示される距離及び方向と、撮像情報で示される距離及び方向とを結合する。
図３に示されているように制御部３１４は、一致確率算出部３１５と、結合対象決定部１１６と、結合部１１７とを備える。
実施の形態３における制御部３１４の結合対象決定部１１６及び結合部１１７は、実施の形態１における制御部１１４の結合対象決定部１１６及び結合部１１７と同様である。
一致確率算出部３１５は、測距情報で示される物標と、撮像情報で示される物標とが一致する可能性を示す一致確率を算出する。実施の形態２における一致確率算出部２１５は、一致確率の算出方法において、実施の形態１における一致確率算出部１１５と異なっている。
実施の形態３においては、一致確率算出部３１５は、複数の暫定領域の各々と、物標領域とが重なっている部分の大きさが大きいほど大きくなるとともに、画像データで示される画像に複数の測距物標を投影した場合において、撮像物標と、複数の測距物標の各々との距離が近いほど大きくなるように、一致確率を算出する。
図９は、実施の形態３において、測距情報で示される物標と、撮像情報で示される物標とを説明するための概略図である。
図９は、撮像部１０５で撮影される画像の範囲と、測距物標と、撮像物標とを情報から見た図である。
撮像部１０５のレンズの位置であるレンズ位置Ｐに対して、ある画角となる撮像範囲Ａ１～Ａ２の画像が撮影される。
その撮像範囲Ａ１～Ａ２には、撮像物標Ｃ１及び撮像物標Ｃ２が含まれている。
また、その撮像範囲Ａ１～Ａ２において、測距物標Ｒ１、測距物標Ｒ２及び測距物標Ｒ４が検出されているものとする。
以上のような状況で、一致確率算出部３１５は、撮像物標毎に、一致する測距物標を特定するために、一致確率を算出する。
具体的には、一致確率算出部３１５は、対象撮像物標の種別を撮像情報から特定し、特定された種別に対応するサイズを暫定値テーブル１１３ａから特定する。
一致確率算出部３１５は、特定されたサイズから、測距物標の距離に応じたサイズで、撮像部１０５で撮像された画像に、測距物標に対応する暫定領域を投影する。ここまでの処理については、実施の形態１における一致確率算出部１１５が行う処理と同様である。
次に、一致確率算出部３１５は、対象撮像物標から測距物標の各々までの距離を算出する。
図１０は、実施の形態３において、撮像部１０５で撮像された画像に、測距物標Ｒ１、測距物標Ｒ２及び測距物標Ｒ４を投影した画像ＩＭ３を示す概略図である。
撮像部１０５で撮像された画像には、撮像物標Ｃ１及び撮像物標Ｃ２が写っており、その画像において、測距情報で示される方向に測距物標Ｒ１、測距物標Ｒ２及び測距物標Ｒ４が投影されている。
例えば、対象撮像物標が撮像物標Ｃ１である場合には、一致確率算出部３１５は、撮像物標Ｃ１内の予め定められた点である中心点ＰＣ１から、測距物標Ｒ１、測距物標Ｒ２及び測距物標Ｒ４の各々までの距離を算出する。
また、対象撮像物標が撮像物標Ｃ２である場合には、一致確率算出部３１５は、撮像物標Ｃ２内の予め定められた点である中心点ＰＣ２から、測距物標Ｒ１、測距物標Ｒ２及び測距物標Ｒ４の各々までの距離を算出する。ここでは、予め定められた点は、中心点としているが、例えば、重心又はその他の点であってもよい。
そして、一致確率算出部３１５は、対象撮像物標と、暫定領域との重なりの大きさが大きくなるほど、また、対象撮像物標との距離が近いほど大きな値となる一致確率を算出する。
ここでは、一致確率算出部３１５は、下記の（３）式により、一致確率を算出する。
Figure 0007154470000003
 なお、ｕ＿Ｃは、画像における対象撮像物標の予め定められた点の画素位置であり、ｕ＿Ｒは、測距物標の画素位置である。そして、｜ｕ＿Ｃ－ｕ＿Ｒ｜は、対象撮像物標と、測距物標との間の画素数（距離）である。
また、ｕＭａｘは、画像の左端の画素位置、ｕＭｉｎは、画像の右端の画素位置であり、ｕＭａｘ－ｕＭｉｎ＋１は、画像の横方向の画素数（長さ）である。
以上のように、実施の形態３によれば、撮影された画像における物標の距離に応じた値が、一致するか否かを判定するための値に加算されるため、より適切に、物標が一致するか否かを適切に判断することができる。これにより、物標の同一性を判断する際における判断誤りを軽減することができる。
実施の形態４．
図１に示されているように、実施の形態４に係る車両制御システム４００は、測距処理部１０１と、撮像処理部１０４と、車両制御部１０７と、情報処理装置４１０とを備える。
実施の形態４に係る車両制御システム４００における測距処理部１０１、撮像処理部１０４及び車両制御部１０７は、実施の形態１に係る車両制御システム１００における測距処理部１０１、撮像処理部１０４及び車両制御部１０７と同様である。
情報処理装置４１０は、通信Ｉ／Ｆ部１１１と、車内ＮＷＩ／Ｆ部１１２と、記憶部１１３と、制御部４１４とを備える。
実施の形態４に係る情報処理装置４１０の、通信Ｉ／Ｆ部１１１、車内ＮＷＩ／Ｆ部１１２及び記憶部１１３は、実施の形態１に係る情報処理装置１１０の、通信Ｉ／Ｆ部１１１、車内ＮＷＩ／Ｆ部１１２及び記憶部１１３と同様である。
制御部４１４は、情報処理装置４１０での処理を制御する。例えば、制御部４１４は、測距処理部１０１から与えられる測距情報で示される物標と、撮像処理部１０４から与えられる撮像情報で示される物標とが同一であるか否かを判断し、これらが同一である場合に、測距情報で示される距離及び方向と、撮像情報で示される距離及び方向とを結合する。
図１１は、実施の形態４における制御部４１４の構成を概略的に示すブロック図である。
制御部４１４は、一致確率算出部４１５と、結合対象決定部１１６と、結合部１１７と、信頼度算出部４１８とを備える。
実施の形態４における制御部４１４の結合対象決定部１１６及び結合部１１７は、実施の形態１における制御部１１４の結合対象決定部１１６及び結合部１１７と同様である。
信頼度算出部４１８は、撮像情報で示される撮像物標の距離及び方向、並びに、測距情報で示される複数の測距物標の各々の距離及び方向の信頼度を算出する。
例えば、信頼度算出部４１８は、対象撮像物標の方向及び距離、並びに、複数の測距物標の各々の方向及び距離のそれぞれを検出項目として、カルマンフィルタを用いて計算する。
具体的には、信頼度算出部４１８は、対象撮像物標の方向及び距離を観測値として取得する。また、信頼度算出部４１８は、測距情報で示される複数の測距物標の各々の方向及び距離を観測値として取得する。
そして、信頼度算出部４１８は、観測値を入力として、各検出項目の検出値を、カルマンフィルタを用いて計算する。
例えば、信頼度算出部４１８は、検出項目について、下記の（４）式に示す物標の運動モデルと、下記の（５）式に示す物標の観測モデルとに対して、カルマンフィルタを用いることにより、検出値を計算する。
Figure 0007154470000004
Figure 0007154470000005
ここで、Ｘｔ｜ｔ－１は、時刻ｔ－１における時刻ｔの状態ベクトルである。Ｆｔ｜ｔ －１は、時刻ｔ－１から時刻ｔにおける遷移行列である。Ｘｔ－１｜ｔ－１は、時刻ｔ－１における物標の状態ベクトルの現在値である。Ｇｔ｜ｔ－１は、時刻ｔ－１から時刻ｔにおける駆動行列である。Ｕｔ－１は、時刻ｔ－１における平均が０であり、共分散行列Ｑｔ－１の正規分布に従うシステム雑音ベクトルである。Ｚｔは、時刻ｔにおける観測値を示す観測ベクトルである。Ｈｔは、時刻ｔにおける観測関数である。Ｖｔは、時刻ｔにおける平均が０であり、共分散行列Ｒｔの正規分布に従う観測雑音ベクトルである。
信頼度算出部４１８は、拡張カルマンフィルタを用いる場合には、検出項目について、下記の（６）式～（７）式に示す予測処理と、（８）式～（１３）式に示す平滑処理とを実行することにより、検出値を計算する。
Figure 0007154470000006
Figure 0007154470000007
Figure 0007154470000008
Figure 0007154470000009
Figure 0007154470000010
Figure 0007154470000011
Figure 0007154470000012
Figure 0007154470000013
ここで、Ｘ＾ｔ｜ｔ－１は、時刻ｔ－１における時刻ｔの予測ベクトルである。Ｘ＾ｔ －１｜ｔ－１は、時刻ｔ－１における平滑ベクトルである。Ｐｔ｜ｔ－１は、時刻ｔ－１における時刻ｔの予測誤差共分散行列である。Ｐｔ－１｜ｔ－１は、時刻ｔ－１における平滑誤差共分散行列である。Ｓｔは、時刻ｔにおける残差共分散行列である。θｔは、時刻ｔにおけるマハラノビス距離である。Ｋｔは、時刻ｔにおけるカルマンゲインである。Ｘ＾ｔ｜ｔは、時刻ｔにおける平滑ベクトルであり、時刻ｔにおける各検出項目の検出値を示す。Ｐｔ｜ｔは、時刻ｔにおける平滑誤差共分散行列である。Ｉは、単位行列である。なお、行列に上付きで示されているＴは転置行列であることを示し、－１は逆行列であることを示している。
信頼度算出部４１８は、マハラノビス距離θｔと、カルマンゲインＫｔと、時刻ｔにおける平滑ベクトルＸ＾ｔ｜ｔといった、計算によって得られる各種データを記憶部１１３に書き込む。
次に、信頼度算出部４１８は、測距情報から得られる複数の測距物標の観測値と、撮像情報から得られる対象撮像物標の観測値との間における、対応する時刻のマハラノビス距離を計算する。ここでのマハラノビス距離の計算方法は、上述したマハラノビス距離の計算方法と計算対象となるデータが異なるだけである。
信頼度算出部４１８は、マハラノビス距離が閾値以下の場合に、測距情報及び撮像情報から得られた観測値が同一の物体を観測して得られた観測値であるとして、これらの観測値を同じグループに分類する。
次に、信頼度算出部４１８は、複数の検出項目それぞれを対象の検出項目として、上記のように計算された対象の検出項目の検出値の信頼度を計算する。
具体的には、信頼度算出部４１８は、測距情報及び撮像情報から得られた対象の検出項目の観測値と、上記の検出値が計算された計算時に用いられた、対象時刻の前の時刻に予測された対象時刻における物体の検出項目の値である予測値との間のマハラノビス距離を取得する。つまり、信頼度算出部４１８は、Ｘ＾ｔ｜ｔが計算された際に、上記のようにして計算されたマハラノビス距離θｔを記憶部１１３から読み出すことで、その値を取得する。
また、信頼度算出部４１８は、上記のように検出値が計算された計算時に得られたカルマンゲインを取得する。つまり、信頼度算出部４１８は、Ｘ＾ｔ｜ｔが計算された際に、計算されたカルマンゲインＫｔを記憶部１１３から読み出すことで、その値を取得する。
そして、信頼度算出部４１８は、マハラノビス距離θｔと、カルマンゲインＫｔとを用いて、測距情報及び撮像情報から得られた観測値に基づき計算された対象の検出項目の検出値の信頼度を計算する。具体的には、信頼度算出部４１８は、下記の（１４）式に示すように、マハラノビス距離θｔとカルマンゲインＫｔとを乗じて、対象の検出項目の検出値の信頼度を計算する。
Figure 0007154470000014
ここで、ＭＸは、方向Ｘについての信頼度であり、ＭＹは、距離Ｙについての信頼度である。ＫＸは、方向Ｘについてのカルマンゲインであり、ＫＹは、距離Ｙについてのカルマンゲインである。
なお、信頼度算出部４１８は、マハラノビス距離θｔと、カルマンゲインＫｔとの少なくとも一方に重み付けした上で、マハラノビス距離θｔとカルマンゲインＫｔとを乗じて信頼度を計算してもよい。
一致確率算出部４１５は、複数の測距物標の全ての信頼度が予め定められた閾値よりも低い場合に、一致確率を算出する。
具体的には、一致確率算出部４１５は、上記のように算出された複数の検出値のうち、上記のように算出された信頼度が、予め定められた閾値として機能する信頼度以上の場合には、最も信頼度が高い検出値を、出力値として選択する。信頼度が高いとは、マハラノビス距離とカルマンゲインとを乗じて得られた値が小さいという意味である。
ここで、信頼度は、同一の物体を検出した観測値として設定された各観測値に基づき計算された複数の検出値から、採用する検出値を選択する際に用いられるものである。そのため、信頼度算出部４１８は、上記のようにグループに分類された各観測値に基づいて信頼度を計算すればよい。
一致確率算出部４１５は、信頼度算出部４１８により算出された信頼度が予め定められた閾値として機能する信頼度未満である場合に、実施の形態１と同様に、一致確率を算出する。
図１２は、実施の形態４に係る情報処理装置４１０での処理を示すフローチャートである。
通信Ｉ／Ｆ部１１１は、測距処理部１０１から測距情報を取得する（Ｓ２０）。取得された測距情報は、制御部４１４に与えられる。
通信Ｉ／Ｆ部１１１は、撮像処理部１０４から撮像情報及び画像データを取得する（Ｓ２１）。取得された撮像情報及び画像データは、制御部４１４に与えられる。
一致確率算出部４１５は、与えられた撮像情報で示される撮像物標から、一つの対象撮像物標を特定する（Ｓ２２）。
次に、信頼度算出部４１８は、特定された対象撮像物標に対応する方向及び距離と、測距情報で示される測距物標に対応する方向及び距離とを観測値として、信頼度を算出する（Ｓ２３）。
そして、一致確率算出部４１５は、少なくとも一つの検出項目において、算出された信頼度の全てが閾値となる信頼度未満であるか否かを判断する（Ｓ２４）。少なくとも一つの検出項目において、全ての信頼度が閾値となる信頼度未満である場合（Ｓ２４でＹｅｓ）には、処理はステップＳ２５に進み、全ての検出項目において、少なくとも一つの信頼度が閾値となる信頼度以上である場合（Ｓ２４でＮｏ）には、処理はステップＳ３１に進む。
ステップＳ２５では、一致確率算出部１１５は、与えられた撮像情報を参照して、特定された対象撮像物標に対応する種別を特定し、記憶部１１３に記憶されている暫定値テーブル１１３ａを参照することで、その種別に対応する暫定値である幅及び高さを特定する。
一致確率算出部４１５は、ステップＳ２０で取得された測距情報で示される測距物標に、ステップＳ２５で特定された幅及び高さを適用することで、測距物標のサイズを特定する（Ｓ２６）。
一致確率算出部４１５は、ステップＳ２１で取得された画像データで示される画像において、ステップＳ２６で特定されたサイズの測距物標を、測距情報で示される対応する方向及び距離に応じて配置することで、その画像における測距物標の暫定領域を特定する（Ｓ２７）。
一致確率算出部４１５は、画像における対象撮像物標と、測距物標の暫定領域との重なりの大きさから、測距物標毎に一致確率を算出する（Ｓ２８）。
次に、結合対象決定部１１６は、ステップＳ２８で算出された一致確率から、対象撮像物標と最も一致する可能性の高い測距物標を、結合対象である対象測距物標として特定する（Ｓ２９）。
次に、結合部１１７は、対象撮像物標の距離及び方向と、対象測距物標の距離及び方向とを結合することで、出力値を生成する（Ｓ３０）。そして、処理はステップＳ３２に進む。
一方、ステップＳ２４において、全ての検出項目において、少なくとも一つの信頼度が閾値となる信頼度以上である場合（Ｓ２４でＮｏ）には、処理はステップＳ３１に進み、ステップＳ３１では、一致確率算出部４１５は、検出項目の各々において、最も信頼度の高い検出値を出力値として特定する。そして、処理はステップＳ３２に進む。
ステップＳ３２では、一致確率算出部４１５は、撮像情報で示される全ての撮像物標を対象撮像物標として特定したか否かを判断する。全ての撮像物標を対象撮像物標として特定した場合（Ｓ３２でＹｅｓ）には、処理は終了し、まだ特定していない撮像物標が残っている場合（Ｓ３２でＮｏ）には、処理はステップＳ２２に戻る。ステップＳ２２では、一致確率算出部４１５は、まだ対象撮像物標として特定していない撮像物標を、対象撮像物標として特定する。
なお、ステップＳ２０及びステップＳ２１の処理については、順番が入れ替わってもよい。
以上のように、実施の形態４によれば、信頼度の高い検出値のみを、そのまま出力値として用いることができるため、物標の同一性を判断する際における判断誤りを軽減することができる。
なお、実施の形態４では、一致確率算出部４１５は、複数の測距物標の全ての信頼度が予め定められた閾値よりも低い場合に、実施の形態１と同様に一致確率を算出しているが、実施の形態４は、このような例に限定されない。例えば、一致確率算出部４１５は、実施の形態２又は３と同様に、一致確率を算出してもよい。
実施の形態５．
図１に示されているように、実施の形態５に係る車両制御システム５００は、測距処理部１０１と、撮像処理部１０４と、車両制御部１０７と、情報処理装置５１０とを備える。
実施の形態５に係る車両制御システム５００における測距処理部１０１、撮像処理部１０４及び車両制御部１０７は、実施の形態１に係る車両制御システム１００における測距処理部１０１、撮像処理部１０４及び車両制御部１０７と同様である。
情報処理装置５１０は、通信Ｉ／Ｆ部１１１と、車内ＮＷＩ／Ｆ部１１２と、記憶部１１３と、制御部５１４とを備える。
実施の形態５に係る情報処理装置５１０の、通信Ｉ／Ｆ部１１１、車内ＮＷＩ／Ｆ部１１２及び記憶部１１３は、実施の形態１に係る情報処理装置１１０の、通信Ｉ／Ｆ部１１１、車内ＮＷＩ／Ｆ部１１２及び記憶部１１３と同様である。
制御部５１４は、情報処理装置５１０での処理を制御する。例えば、制御部５１４は、測距処理部１０１から与えられる測距情報で示される物標と、撮像処理部１０４から与えられる撮像情報で示される物標とが同一であるか否かを判断し、これらが同一である場合に、測距情報で示される距離及び方向と、撮像情報で示される距離及び方向とを結合する。
図１３は、実施の形態５における制御部５１４の構成を概略的に示すブロック図である。
制御部５１４は、一致確率算出部５１５と、結合対象決定部１１６と、結合部１１７と、走行軌道特定部５１９とを備える。
実施の形態５における制御部５１４の結合対象決定部１１６及び結合部１１７は、実施の形態１における制御部１１４の結合対象決定部１１６及び結合部１１７と同様である。
走行軌道特定部５１９は、車両制御システム５００が搭載されている車両の走行軌道を特定する。走行軌道特定部５１９は、公知の方法を用いて、走行軌道を特定すればよい。
例えば、走行軌道特定部５１９は、撮像処理部１０４からの画像データで示される画像から、車両が走行しているレーンを区別するための線を特定することで、走行軌道を特定することができる。また、走行軌道特定部５１９は、車両制御部１０７から得られる車両情報で示される車両の舵角又はヨーレート等から車両の走行軌道を特定してもよい。
一致確率算出部５１５は、撮像物標が走行軌道に影響を与える場合に、撮像物標と、複数の測距物標の各々との間で、一致確率を算出する。
具体的には、一致確率算出部５１５は、撮像処理部１０４からの画像データで示される画像において、走行軌道特定部５１９により特定された走行軌道に影響を及ぼす撮像物標を影響撮像物標として特定する。例えば、一致確率算出部５１５は、画像に含まれている物標の少なくとも一部が走行軌道に含まれている場合に、その物標を影響撮像物標として特定する。
そして、一致確率算出部５１５は、影響撮像物標から対象撮像物標を特定し、対象撮像物標と、測距物標との一致確率を算出する。ここでの処理については、実施の形態１と同様である。
図１４は、実施の形態５において、測距情報で示される物標と、撮像情報で示される物標とを説明するための概略図である。
図１４は、撮像部１０５で撮影される画像の範囲と、測距物標と、撮像物標とを上方から見た図である。
撮像部１０５のレンズの位置であるレンズ位置Ｐに対して、ある画角となる撮像範囲Ａ１～Ａ２の画像が撮影される。
その撮像範囲Ａ１～Ａ２には、撮像物標Ｃ３が含まれている。
また、その撮像範囲Ａ１～Ａ２において、測距物標Ｒ５及び測距物標Ｒ６が検出されているものとする。
図１４では、走行軌道特定部５１９が車両の走行軌道として、レーンの左側の線Ｌ１と、右側の線Ｌ２とを検出しているものとする。
そして、撮像物標Ｃ３は、線Ｌ１及び線Ｌ２に一部が重なっているため、影響撮像物標となる。
図１５は、実施の形態５において、撮像部１０５で撮像された画像に、測距物標Ｒ５に対応する暫定領域Ｔ５及び測距物標Ｒ６に対応する暫定領域Ｔ６を投影した画像ＩＭ４を示す概略図である。
図１５では、影響撮像物標としての撮像物標Ｃ３が車（正面）である場合を示しているものとする。
図１５に示されているように、暫定領域Ｔ５及び暫定領域Ｔ６は、それぞれ車（正面）に対応する暫定領域であるが、測距物標Ｒ５及び測距物標Ｒ６が検出されている距離に応じて、そのサイズが異なっている。
以上のような状況において、一致確率算出部５１５は、影響撮像物標として特定された撮像物標Ｃ３と、暫定領域Ｔ５及び暫定領域Ｔ６のそれぞれとの重なりの大きさにより、一致確率を算出する。
以上のように、実施の形態５によれば、車両制御システム５００が搭載されている車両の走行に影響を及ぼす物標、例えば、先行車、又は、走行軌道上の物品若しくは人等を精度よく検出することができる。
なお、以上に記載した実施の形態５では、実施の形態１に走行軌道特定部５１９を追加する例を示したが、実施の形態５は、このような例に限定されない。例えば、実施の形態２から４に走行軌道特定部５１９を追加することも可能である。
以上に記載された実施の形態１～５においては、測距情報で示されている測距物標の各々と、対象撮像物標との一致確率が算出されているが、実施の形態１～５は、このような例に限定されない。例えば、複数の測距物標をまとめて、一つの暫定領域が生成されてもよい。具体的には、複数の測距物標の距離が予め定められた閾値以下である場合、又は、画像において、ある測距物標の位置が別の測距物標の暫定領域に含まれる場合等のように、複数の測距物標が隣接関係にある場合には、一致確率算出部１１５～５１５は、そのような複数の測距物標をまとめた一つの測距物標とすることができる。なお、まとめられたその一つの測距物標を集約測距物標ともいう。
言い換えると、一致確率算出部１１５～５１５は、複数の測距物標の内の二以上の測距物標が隣接関係にある場合には、その二以上の測距物標を一つに集約した集約測距物標を特定し、撮像物標と、集約測距物標との間で一致確率を算出してもよい。
図１６は、実施の形態１～５の第１の変形例における、撮像部１０５で撮影される画像の範囲と、測距物標と、撮像物標とを上方から見た図である。
撮像部１０５のレンズの位置であるレンズ位置Ｐに対して、ある画角となる撮像範囲Ａ１～Ａ２の画像が撮影される。
その撮像範囲Ａ１～Ａ２には、撮像物標Ｃ１及び撮像物標Ｃ２が含まれている。
また、その撮像範囲Ａ１～Ａ２において、測距物標Ｒ２、測距物標Ｒ３及び測距物標Ｒ７～測距物標Ｒ９が検出されているものとする。
図１７は、第１の変形例において、測距物標Ｒ７の暫定領域Ｔ７、測距物標Ｒ８の暫定領域Ｔ８及び測距物標Ｒ９の暫定領域Ｔ９を示す概略図である。
図１７に示されている例では、測距物標Ｒ９の暫定領域Ｔ９に、他の測距物標Ｒ７及び測距物標Ｒ８が含まれているため、一致確率算出部１１５～５１５は、測距物標Ｒ７～Ｒ９をまとめた一つの集約測距物標Ｒ＃を特定する。
ここでは、一致確率算出部１１５～５１５は、測距物標Ｒ７～Ｒ９から算出される代表点である中心点を集約測距物標Ｒ＃としているが、第１の変形例は、このような例に限定されない。まとめられる測距物標Ｒ７～Ｒ９の何れか一つ、例えば、他の測距物標Ｒ７及び測距物標Ｒ８を暫定領域Ｔ９に含む一つの測距物標Ｒ９が集約測距物標として選択されてもよい。
そして、一致確率算出部１１５～５１５は、対象撮像物標と、集約測距物標Ｒ＃との一致確率を算出すればよい。
以上のように、第１の変形例によれば、一つの物品又は一人の人から複数の測距物標が検出されている場合、又は、例えば、自転車及びその自転車に乗っている人のように一つの測距物標として扱うことが適切な場合等に、複数の測距物標を一つに集訳することができる。なお、集約測距物標の距離及び方向は、集約される複数の測距物標の距離及び方向の代表値、例えば、平均値又は中央値等が使用されればよい。
また、以上に記載された実施の形態１～５では、測距物標の距離が短すぎると、測距物標の暫定領域が大きくなりすぎる場合がある。このような場合への対処を施した例を、第２の変形例として提示する。
例えば、第２の変形例では、一致確率算出部１１５～５１５は、複数の測距物標の内の少なくとも一つの測距物標の距離が予め定められた閾値距離未満である場合には、撮像物標とその少なくとも一つの測距物標との間において一致確率を算出しないようにすることができる。以下、説明する。
図１８は、実施の形態１～５の第２の変形例における、撮像部１０５で撮影される画像の範囲と、測距物標と、撮像物標とを上方から見た図である。
撮像部１０５のレンズの位置であるレンズ位置Ｐに対して、ある画角となる撮像範囲Ａ１～Ａ２の画像が撮影される。
その撮像範囲Ａ１～Ａ２には、撮像物標Ｃ１及び撮像物標Ｃ２が含まれている。
また、その撮像範囲Ａ１～Ａ２において、測距物標Ｒ１、測距物標Ｒ２、測距物標Ｒ３及び測距物標Ｒ１０が検出されているものとする。測距物標Ｒ１０は、レンズ位置Ｐに対して、非常に近い距離に検出されている。
図１９は、第２の変形例におけて、撮像部１０５で撮像された画像に、測距物標Ｒ１に対応する暫定領域Ｔ１、測距物標Ｒ２に対応する暫定領域Ｔ２、測距物標Ｒ３に対応する暫定領域Ｔ３及び測距物標Ｒ１０に対応する暫定領域Ｔ１０を投影した画像ＩＭ５を示す概略図である。
図１９でも、撮像物標Ｃ１及び撮像物標Ｃ２の両方の種別が車（正面）である場合を示しているものとする。
図１９に示されているように、測距物標Ｒ１０は、非常に近い距離で検出されているため、その暫定領域Ｔ１０が非常に大きくなり、撮像物標Ｃ１及び撮像物標Ｃ２と、測距物標Ｒ１～Ｒ３のそれぞれとの一致確率を適切に算出することができなくなる。
このため、第２の変形例では、例えば、図１８に示されているように、閾値となる閾値距離ＲＴｈを予め決定しておく。そして、一致確率算出部１１５～５１５は、測距情報で示される距離が閾値距離ＲＴｈ未満の測距物標については、対象撮像物標との一致確率を算出しないようにする。
以上のように、第２の変形例によれば、測距物標の距離が近すぎて、適切に一致確率を算出することができないような場合でも、適切に一致確率を算出することができる。第２の変形例は、例えば、測距処理部１０１でも測距にエラーが発生している場合等に有効である。
なお、以上に記載された実施の形態１～５では結合部１１７、４１７で結合された出力値が出力されているが、実施の形態１～５は、このような例に限定されない。例えば、一致確率算出部１１５～５１５で算出された一致確率が出力されてもよい。このような場合、結合対象決定部１１６，４１６及び結合部１１７，４１７を省略することができる。
１００，２００，３００，４００，５００ 車両制御システム、 １０１ 測距処理部、 １０２ 測距部、 １０３ 測距制御部、 １０４ 撮像処理部、 １０５ 撮像部、 １０６ 撮像制御部、 １０７ 車両制御部、 １１０，２１０，３１０，４１０，５１０ 情報処理装置、 １１１ 通信Ｉ／Ｆ部、 １１２ 車内ＮＷＩ／Ｆ部、 １１３ 記憶部、 １１４，２１４，３１４，４１４，５１４ 制御部、 １１５，２１５，３１５，４１５，５１５ 一致確率算出部、 １１６，４１６ 結合対象決定部、 １１７，４１７ 結合部、 ４１８ 信頼度算出部、 ５１９ 走行軌道特定部。

Claims (15)

  1. 検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を検出し、前記複数の測距物標の各々の距離及び方向を示す測距情報を生成する測距処理部と、
    前記検出範囲に撮像範囲の少なくとも一部が重なるように画像を撮影して、前記画像を示す画像データを生成し、前記画像に含まれる物標である撮像物標の距離、方向及び種別を特定して、前記撮像物標の距離、方向及び種別を示す撮像情報を生成する撮像処理部と、
    前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出する一致確率算出部と、を備えること
    を特徴とする情報処理システム。
  2. 前記一致確率算出部は、前記複数の暫定領域の各々と、前記物標領域とが重なっている部分の大きさが大きいほど大きくなるように前記一致確率を算出すること
    を特徴とする請求項１に記載の情報処理システム。
  3. 前記一致確率算出部は、前記複数の暫定領域の各々と、前記物標領域とが重なっている部分の面積が大きいほど大きくなるように前記一致確率を算出すること
    を特徴とする請求項２に記載の情報処理システム。
  4. 前記一致確率算出部は、前記複数の暫定領域の各々と、前記物標領域とが重なっている部分の横幅が大きいほど大きくなるように前記一致確率を算出すること
    を特徴とする請求項２に記載の情報処理システム。
  5. 前記一致確率算出部は、前記複数の暫定領域の各々と、前記物標領域とが重なっている部分の大きさが大きいほど大きくなるとともに、前記複数の測距物標の各々の距離と、前記撮像物標との距離が近いほど大きくなるように、前記一致確率を算出すること
    を特徴とする請求項１に記載の情報処理システム。
  6. 前記一致確率算出部は、前記複数の暫定領域の各々と、前記物標領域とが重なっている部分の大きさが大きいほど大きくなるとともに、前記画像に前記複数の測距物標を投影した場合において、前記撮像物標と、前記複数の測距物標の各々との距離が近いほど大きくなるように、前記一致確率を算出すること
    を特徴とする請求項１に記載の情報処理システム。
  7. 前記撮像情報で示される前記撮像物標の距離及び方向、並びに、前記測距情報で示される前記複数の測距物標の各々の距離及び方向の信頼度を算出する信頼度算出部をさらに備え、
    前記一致確率算出部は、前記複数の測距物標の全ての前記信頼度が予め定められた閾値よりも低い場合に、前記一致確率を算出すること
    を特徴とする請求項１から６の何れか一項に記載の情報処理システム。
  8. 前記情報処理システムが搭載されている車両の走行軌道を特定する走行軌道特定部をさらに備え、
    前記一致確率算出部は、前記撮像物標が前記走行軌道に影響を与える場合に、前記撮像物標と、前記複数の測距物標の各々との間で、前記一致確率を算出すること
    を特徴とする請求項１から７の何れか一項に記載の情報処理システム。
  9. 前記複数の測距物標の内、前記一致確率が最も高い測距物標を結合対象として決定する結合対象決定部と、
    前記測距物標の距離及び方向と、前記結合対象の距離及び方向とを結合する結合部と、をさらに備えること
    を特徴とする請求項１から８の何れか一項に記載の情報処理システム。
  10. 前記一致確率算出部は、前記撮像情報に含まれている種別に対応する前記暫定値を特定すること
    を特徴とする請求項１から９の何れか一項に記載の情報処理システム。
  11. 前記一致確率算出部は、前記複数の測距物標の内の二以上の測距物標が隣接関係にある場合には、前記二以上の測距物標を一つに集約した集約測距物標を特定し、前記撮像物標と、前記集約測距物標との間で前記一致確率を算出すること
    を特徴とする請求項１から１０の何れか一項に記載の情報処理システム。
  12. 前記一致確率算出部は、前記複数の測距物標の内の少なくとも一つの測距物標の距離が予め定められた閾値距離未満である場合には、前記撮像物標と前記少なくとも一つの測距物標との間において前記一致確率を算出しないこと
    を特徴とする請求項１から１０の何れか一項に記載の情報処理システム。
  13. 検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を示す測距情報と、前記検出範囲に撮像範囲の少なくとも一部が重なるように撮影された画像を示す画像データと、前記画像に含まれる物標である撮像物標の距離、方向及び種別を示す撮像情報と、を取得する通信インターフェース部と、
    前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出する一致確率算出部と、を備えること
    を特徴とする情報処理装置。
  14. コンピュータを、
    検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を示す測距情報と、前記検出範囲に撮像範囲の少なくとも一部が重なるように撮影された画像を示す画像データと、前記画像に含まれる物標である撮像物標の距離、方向及び種別を示す撮像情報と、を取得する通信インターフェース部、及び、
    前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出する一致確率算出部、として機能させること
    を特徴とするプログラム。
  15. 検出範囲内に存在する複数の物標である複数の測距物標の各々の距離及び方向を検出し、
    前記複数の測距物標の各々の距離及び方向を示す測距情報を生成し、
    前記検出範囲に撮像範囲の少なくとも一部が重なるように画像を撮影して、前記画像を示す画像データを生成し、
    前記画像に含まれる物標である撮像物標の距離、方向及び種別を特定して、前記撮像物標の距離、方向及び種別を示す撮像情報を生成し、
    前記撮像情報を用いて、前記複数の測距物標のサイズを示す暫定値を特定し、
    前記暫定値及び前記測距情報に従って、前記複数の測距物標が前記画像において投影される複数の領域である複数の暫定領域を特定し、
    前記複数の暫定領域の各々と、前記画像において前記撮像物標が撮影されている領域である物標領域との重なりの大きさを用いて、前記撮像物標と前記複数の測距物標の各々とが一致する可能性を示す一致確率を算出すること
    を特徴とする情報処理方法。
JP2022545963A 2020-09-24 2020-09-24 情報処理システム、情報処理装置、プログラム及び情報処理方法 Active JP7154470B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/035982 WO2022064588A1 (ja) 2020-09-24 2020-09-24 情報処理システム、情報処理装置、プログラム及び情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2022064588A1 JPWO2022064588A1 (ja) 2022-03-31
JP7154470B2 true JP7154470B2 (ja) 2022-10-17

Family

ID=80845622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022545963A Active JP7154470B2 (ja) 2020-09-24 2020-09-24 情報処理システム、情報処理装置、プログラム及び情報処理方法

Country Status (5)

Country Link
US (1) US20230206600A1 (ja)
JP (1) JP7154470B2 (ja)
CN (1) CN116324506A (ja)
DE (1) DE112020007433B4 (ja)
WO (1) WO2022064588A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117071A (ja) 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2008002817A (ja) 2006-06-20 2008-01-10 Alpine Electronics Inc 物体識別システム
JP2014006123A (ja) 2012-06-22 2014-01-16 Toyota Motor Corp 物体検出装置、情報処理装置、物体検出方法
US20170206436A1 (en) 2016-01-19 2017-07-20 Delphi Technologies, Inc. Object Tracking System With Radar/Vision Fusion For Automated Vehicles
JP2018106511A (ja) 2016-12-27 2018-07-05 株式会社デンソー 物体検出装置、物体検出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243311B2 (ja) 2019-03-11 2023-03-22 ニプロ株式会社 医療用容器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117071A (ja) 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2008002817A (ja) 2006-06-20 2008-01-10 Alpine Electronics Inc 物体識別システム
JP2014006123A (ja) 2012-06-22 2014-01-16 Toyota Motor Corp 物体検出装置、情報処理装置、物体検出方法
US20170206436A1 (en) 2016-01-19 2017-07-20 Delphi Technologies, Inc. Object Tracking System With Radar/Vision Fusion For Automated Vehicles
JP2018106511A (ja) 2016-12-27 2018-07-05 株式会社デンソー 物体検出装置、物体検出方法

Also Published As

Publication number Publication date
US20230206600A1 (en) 2023-06-29
DE112020007433B4 (de) 2024-07-11
JPWO2022064588A1 (ja) 2022-03-31
CN116324506A (zh) 2023-06-23
DE112020007433T5 (de) 2023-05-11
WO2022064588A1 (ja) 2022-03-31

Similar Documents

Publication Publication Date Title
JP6942712B2 (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
US9599706B2 (en) Fusion method for cross traffic application using radars and camera
JP5689907B2 (ja) 車両において通行物***置検出を向上する方法
JP2018060326A (ja) トラッキング装置及びプログラム
JP2004037239A (ja) 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP6458651B2 (ja) 路面標示検出装置及び路面標示検出方法
JP2009169776A (ja) 検出装置
CN111891124B (zh) 目标信息融合的方法、***、计算机设备和可读存储介质
JP6936098B2 (ja) 対象物推定装置
JP2018091652A (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
US11151395B2 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
JP6816401B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US8160300B2 (en) Pedestrian detecting apparatus
JPH09226490A (ja) 横断物の検出装置
CN111497741B (zh) 碰撞预警方法及装置
WO2019021876A1 (ja) 車載カメラのキャリブレーション装置及び方法
JP6988873B2 (ja) 位置推定装置および位置推定用コンピュータプログラム
CN111989541B (zh) 立体摄像机装置
JP2012168788A (ja) 運動推定装置及びプログラム
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
CN104471436A (zh) 用于计算对象的成像比例的变化的方法和设备
JP7154470B2 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法
CN112304293B (zh) 道路高度检测方法、装置、可读存储介质和电子设备
JP5425500B2 (ja) キャリブレーション装置およびキャリブレーション方法
WO2021132229A1 (ja) 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220727

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221004

R150 Certificate of patent or registration of utility model

Ref document number: 7154470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150