JP7019118B1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP7019118B1
JP7019118B1 JP2021572532A JP2021572532A JP7019118B1 JP 7019118 B1 JP7019118 B1 JP 7019118B1 JP 2021572532 A JP2021572532 A JP 2021572532A JP 2021572532 A JP2021572532 A JP 2021572532A JP 7019118 B1 JP7019118 B1 JP 7019118B1
Authority
JP
Japan
Prior art keywords
image
points
identification
unit
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021572532A
Other languages
English (en)
Other versions
JPWO2021192032A1 (ja
Inventor
道学 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2021192032A1 publication Critical patent/JPWO2021192032A1/ja
Application granted granted Critical
Publication of JP7019118B1 publication Critical patent/JP7019118B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

画像データで示される画像から予め定められた物体を識別物体として識別する物体識別部（１３１）と、測距データで示される複数の測距点に対応する複数の対象点を画像に重畳するとともに、識別物体の周囲を囲む矩形を画像に重畳することで、重畳画像を生成するマッピング部（１３２）と、重畳画像において、矩形内において矩形の左右の線分に最も近い二つの対象点を特定する同一物判定部（１３３）と、空間において、特定された二つの対象点に対応する二つの測距点の各々から、識別物体の左右のエッジを示す点である二つのエッジ点の位置を特定し、空間において、二つのエッジ点とは異なる予め定められた二つの対応点の位置である二つの奥行き位置を算出する奥行き付与部（１３４）と、二つのエッジ点の位置と、二つの奥行き位置とから、識別物体を示す俯瞰図を生成する俯瞰図生成部（１３５）とを備える。

Description

本開示は、情報処理装置及び情報処理方法に関する。
車の自動運転システム又は先進運転支援システムを実現するため、対象車両の周辺に存在する別の車両等の移動可能な物体の将来の位置を予測する技術が開発されている。
このような技術では、対象車両の周辺の状況を上空から見た俯瞰図が用いられることが多い。俯瞰図を作る方式としてカメラで撮像した画像に対しセマンティックセグメンテーションを行い、その結果に対しレーダを利用して奥行きを与え、占有格子地図を作って移動予測を行う方式が提案されている（例えば、特許文献１参照）。
特開２０１９－２８８６１号公報
しかしながら、従来の技術では、俯瞰図の作成に占有格子地図が使いられているため、データ量が多くなり、処理量が多くなる。このため、リアルタイム性が失われてしまう。
そこで、本開示の一又は複数の態様は、少ないデータ量及び処理量で俯瞰図を生成できるようにすることを目的とする。
本開示の一態様に係る情報処理装置は、空間を撮像した画像を示す画像データに基づいて、前記画像から予め定められた物体を識別物体として識別する物体識別部と、前記空間における複数の測距点までの距離を示す測距データに基づいて、前記画像の前記複数の測距点に対応する位置に、前記複数の測距点に対応する複数の対象点を前記画像に重畳するとともに、前記物体識別部での識別結果を参照して、前記識別物体の周囲を囲む矩形を前記画像に重畳することで、重畳画像を生成する重畳部と、前記重畳画像において、前記複数の対象点の中から、前記矩形内において前記矩形の左右の線分に最も近い二つの対象点を特定する対象点特定部と、前記特定された二つの対象点から前記左右の線分の内の近い方の線分に下ろした垂線の足の前記空間における位置を、前記識別物体の左右のエッジを示す点である二つのエッジ点の位置として特定し、前記空間において、前記二つのエッジ点とは異なる予め定められた二つの対応点の位置である二つの奥行き位置を算出する奥行き付与部と、前記二つのエッジ点の位置と、前記二つの奥行き位置とを、予め定められた二次元の画像に投影することで、前記識別物体を示す俯瞰図を生成する俯瞰図生成部と、を備えることを特徴とする。
本開示の一態様に係る情報処理方法は、空間を撮像した画像を示す画像データに基づいて、前記画像から予め定められた物体を識別物体として識別し、前記空間における複数の測距点までの距離を示す測距データに基づいて、前記画像の前記複数の測距点に対応する位置に、前記複数の測距点に対応する複数の対象点を前記画像に重畳するとともに、前記識別物体を識別した結果を参照して、前記識別物体の周囲を囲む矩形を前記画像に重畳することで、重畳画像を生成し、前記重畳画像において、前記複数の対象点の中から、前記矩形内において前記矩形の左右の線分に最も近い二つの対象点を特定し、前記特定された二つの対象点から前記左右の線分の内の近い方の線分に下ろした垂線の足の前記空間における位置を、前記識別物体の左右のエッジを示す点である二つのエッジ点の位置として特定し、前記空間において、前記二つのエッジ点とは異なる予め定められた二つの対応点の位置である二つの奥行き位置を算出し、前記二つのエッジ点の位置と、前記二つの奥行き位置とを、予め定められた二次元の画像に投影することで、前記識別物体を示す俯瞰図を生成することを特徴とする。
本開示の一又は複数の態様によれば、少ないデータ量及び処理量で俯瞰図を生成することができる。
移動予測システムの構成を概略的に示すブロック図である。 移動予測システムの利用例を示す概略図である。 測距装置による測距点を説明するための俯瞰図である。 （Ａ）及び（Ｂ）は、測距装置による測距と、撮像装置による撮像と、俯瞰図とを説明するための斜視図である。 撮像装置で撮像された画像を示す平面図である。 ピンホールモデルを説明するための概略図である。 移動予測装置のハードウェア構成例を示すブロック図である。 移動予測装置での処理を示すフローチャートである。 奥行き計算処理を示すフローチャートである。
実施の形態．
図１は、実施の形態に係る情報処理装置としての移動予測装置１３０を含む移動予測システム１００の構成を概略的に示すブロック図である。
図２は、移動予測システム１００の配置例を示す概略図である。
図１に示されているように、移動予測システム１００は、撮像装置１１０と、測距装置１２０と、移動予測装置１３０とを備える。
撮像装置１１０は、ある空間を撮像し、その撮像された画像を示す画像データを生成する。撮像装置１１０は、その画像データを移動予測装置１３０に与える。
測距装置１２０は、その空間において複数の測距点までの距離を測定し、その複数の測距点までの距離を示す測距データを生成する。測距装置１２０は、その測距データを移動予測装置１３０に与える。
図２に示されているように、移動予測システム１００は、車両１０１に搭載される。
図２では、撮像装置１１０の例として、２次元画像を取得するセンサとしてカメラ１１１が車両１０１に搭載されている。
また、測距装置１２０の例として、ミリ波レーダ１２１及びレーザーセンサ１２２が車両１０１に搭載されている。なお、測距装置１２０としては、ミリ波レーダ１２１及びレーザーセンサ１２２の少なくとも何れか一方が搭載されていればよい。
なお、撮像装置１１０、測距装置１２０及び移動予測装置１３０は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）又はＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワークで接続されている。
ミリ波レーダ１２１又はレーザーセンサ１２２で構成される測距装置１２０について、図３を用いて説明する。
図３は、測距装置１２０による測距点を説明するための俯瞰図である。
測距装置１２０から放射状に右方向に延びている線の各々が、光線である。その光線が車両１０１に当たり、反射して測距装置１２０に返ってくるまでの時間をもとに、測距装置１２０は、車両１０１までの距離を測定する。
図３に示されている点Ｐ０１、Ｐ０２、Ｐ０３は、測距装置１２０が車両１０１までの距離を測定する測距点である。
放射状に延びる光線と光線との間は、０．１度等のように測距装置１２０の仕様に従い解像度が決まっている。この解像度は、撮像装置１１０として機能するカメラ１１１よりも疎である。例えば、図３では、車両１０１に対して、３点の測距点Ｐ０１～Ｐ０３しか取得されない。
図４（Ａ）及び（Ｂ）は、測距装置１２０による測距と、撮像装置１１０による撮像と、俯瞰図とを説明するための斜視図である。
図４（Ａ）は、測距装置１２０による測距と、撮像装置１１０による撮像と、を説明するための斜視図である。
図４（Ａ）に示されているように、撮像装置１１０は、撮像装置１１０が搭載されている車両である搭載車両の前方向の画像を撮像するように設置されているものとする。
また、図４（Ａ）に示されている点Ｐ１１～Ｐ１９は、測距装置１２０で測距が行なわれた測距点である。測距点Ｐ１１～Ｐ１９も、搭載車両の前方向に配置されている。
なお、図４（Ａ）に示されているように、測距及び撮像を行なう空間の左右方向をＸ軸、垂直方向をＹ軸、及び、奥行き方向をＺ軸とする。なお、Ｚ軸は、撮像装置１１０のレンズの光軸に対応する。
図４（Ａ）に示されているように、測距装置１２０の前方左側に別の車両１０３が、その前方右側には建物１０４が存在している。
図４（Ｂ）は、俯瞰図を斜め方向から見た斜視図である。
図５は、図４（Ａ）に示されている撮像装置１１０で撮像された画像を示す平面図である。
図５に示されているように、画像は、Ｘ軸と、Ｙ軸との二つの軸の二次元の画像である。
画像の左側に別の車両１０３が撮像され、その右側に建物１０４が撮像されている。
なお、図５には、説明のために、測距点Ｐ１１～Ｐ１３、Ｐ１６～Ｐ１８が描かれているが、実際の画像には、測距点Ｐ１１～Ｐ１３、Ｐ１６～Ｐ１８は撮像されていない。
図５に示されているように、前方の別の車両１０３に三つの測距点Ｐ１６～Ｐ１８が存在しており、これは画像より疎な情報である。
図１に戻り、移動予測装置１３０は、物体識別部１３１と、マッピング部１３２と、同一物判定部１３３と、奥行き付与部１３４と、俯瞰図生成部１３５と、移動予測部１３６とを備える。
物体識別部１３１は、撮像装置１１０で撮像された画像を示す画像データを取得して、その画像データで示される画像から予め定められた物体を識別する。ここで識別された物体を識別物体ともいう。例えば、物体識別部１３１は、機械学習により、画像内の物体を識別をする。機械学習として、特に、ＤＥＥＰ Ｌｅａｒｎｉｎｇが利用され、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が利用されてもよい。物体識別部１３１は、物体の識別結果をマッピング部１３２に与える。
マッピング部１３２は、測距装置１２０で生成された測距データを取得して、その測距データで示される複数の測距点に対応する位置に、その複数の測距点に対応する複数の対象点を、画像データで示される画像に重畳する。さらに、マッピング部１３２は、図５に示されているように、物体識別部１３１での識別結果を参照して、画像内で識別された物体（ここでは、別の車両１０３）の周囲を囲うように、矩形であるバウンディングボックス１０５を画像データで示される画像に重畳する。
以上のように、マッピング部１３２は、複数の対象点及びバウンディングボックス１０５を重畳する重畳部として機能する。なお、測距点及びバウンディングボックス１０５が重畳された画像を重畳画像ともいう。バウンディングボックス１０５のサイズは、例えば、ＣＮＮの手法による画像認識により決定される。その画像認識では、バウンディングボックス１０５は、画像内において識別された物体に対して、予め定められた程度、大きなサイズとなる。
具体的には、マッピング部１３２は、測距装置１２０で取得された測距点と、バウンディングボックス１０５を、画像データで示される画像上にマッピングする。撮像装置１１０で撮像される画像と、測距装置１２０で検出される位置とは事前にキャリブレーションが行われている。例えば、撮像装置１１０の予め定められた軸と、測距装置１２０の予め定められた軸とを一致させるための移動量と、回転量とは既知になっている。その移動量と、回転量とから、測距装置１２０の軸は、撮像装置１１０の軸である中心の座標に変換される。
測距点のマッピングには、例えば、図６に示されているピンホールモデルが利用される。
図６に示されているピンホールモデルは、上空から俯瞰したときの図を示しており、撮像面への投射は下記の（１）式で行われる。
Figure 0007019118000001
 ここで、ｕは、横軸方向のピクセル値、ｆは、撮像装置１１０として使用されているカメラ１１１のｆ値、Ｘは、実際の物体の横軸の位置、Ｚは、物体の奥行き方向の位置を示す。なお、画像の縦方向の位置についてもＸを縦方向（Ｙ軸）の位置（Ｙ）に変更するだけで求めることができる。これにより測距点を画像に投射し、投射された位置に対象点が重畳される。
図１に示されている同一物判定部１３３は、重畳画像において、識別物体の左右の端部に最も近い２つの位置で識別物体への距離を測定した二つの測距点に対応する二つの対象点を特定する対象点特定部である。
例えば、同一物判定部１３３は、重畳画像において、バウンディングボックス１０５の内側に存在する対象点のうち、バウンディングボックス１０５の左右の線分に最も近い二つの対象点を特定する。
例えば、図５に示されている画像において、バウンディングボックス１０５の左側の線分に近い対象点を特定する場合を説明する。
バウンディングボックス１０５の左上端のピクセル値を（ｕ１，ｖ１）とした場合、測距点Ｐ１８に対応するピクセル値(ｕ３，ｖ３)の対象点は、値ｕ１で示される線分に最も近い対象点である。この手法例として、バウンディングボックス１０５内に含まれている対象点の内、値ｕ１から横軸の値を減算した減算値の絶対値が最小となる対象点が特定さればよい。他の例として、バウンディングボックス１０５の左端の線分までの距離が最小となる対象点が特定されてもよい。
以上と同様にして、バウンディングボックス１０５の右側の線分に最も近い測距点Ｐ１６に対応する対象点も特定することができる。なお、測距点Ｐ１６に対応する対象点のピクセル値は、（ｕ４，ｕ４）とする。
図１に示されている奥行き付与部１３４は、空間において、同一物判定部１３３により特定された二つの測距点とは異なる予め定められた二つの対応点の位置である奥行き位置を算出する。
例えば、奥行き付与部１３４は、空間において、同一物判定部１３３により特定された二つの測距点までの距離から、重畳画像の左右方向に延びる軸（ここでは、Ｘ軸）に対するその特定された二つの測距点を結ぶ直線の傾きを算出し、その直線に垂直方向の識別物体の長さに対応する線分である対応線分を、算出された傾きに従ってその軸の左右方向に傾かせ、その対応線分の端部の位置により奥行き位置を算出する。
ここで、二つの対応点は、撮像装置１１０が撮像した識別物体の面とは、反対側の面における、同一物判定部１３３により特定された二つの測距点に対応する点であることが想定されている。
具体的には、奥行き付与部１３４は、重畳画像において、左右のエッジに近い対象点を実際の物***置に再投射する。左端に近い測距点Ｐ１６に対応する対象点（ｕ３，ｖ３）は、実際の位置（Ｘ３，Ｙ３，Ｚ３）で測距されているものとする。ここでは、図６に示されている値Ｚ、値ｆ、値ｕは、既知であり、Ｘ軸の値が求めればよい。Ｘ軸の値は、下記の（２）式で求めることができる。
Figure 0007019118000002
 この結果、図５に示されているように、バウンディングボックス１０５の左右の線分の内、測距点Ｐ１８に対応する対象点に近い方の線分における、測距点Ｐ１８に対応する対象点と同じ高さのエッジ点Ｑ０１の実際の位置が（Ｘ１，Ｚ３）として求まり、図４（Ｂ）に示されている俯瞰図の別の車両１０３の左側のエッジの位置が求まる。
上記と同様にして、右端に近い測距点Ｐ１６に対応する対象点と同じ高さのエッジ点Ｑ２の実際の位置も（Ｘ２，Ｚ４）として求まる。
次に、奥行き付与部１３４は、エッジ点Ｑ０１と、エッジ点Ｑ０２とを結ぶ直線のＸ軸に対する角度を求める。
図５に示されている例では、エッジ点Ｑ０１と、エッジ点Ｑ０２とを結ぶ直線のＸ軸に対する角度は、下記の（３）式で求められる。
Figure 0007019118000003
画像内の物体は、画像認識が行われており、認識された物体の奥行きが測定できる場合はその値が利用されればよいが、認識された物体の奥行きが測定できない場合は、事前に奥行きを予め定められた値である固定値として保持しておく必要がある。例えば、車は、奥行きが４．５ｍとする等により、図４（Ｂ）に示されている奥行きＬを決めておく必要がある。
例えば、図４（Ｂ）の別の車両１０３における左側のエッジの奥行き方向における端部の位置Ｃ１の座標を（Ｘ５，Ｚ５）とすると、その座標値は、下記の（４）式及び（５）式で求めることができる。
Figure 0007019118000004
Figure 0007019118000005
同様に、別の車両１０３における右側のエッジの奥行き方向における端部の位置Ｃ２の座標を（Ｘ６，Ｚ６）とすると、その座標値は、下記の（６）式及び（７）式で求めることができる。
Figure 0007019118000006
Figure 0007019118000007
以上のようにして、奥行き付与部１３４は、空間において、同一物判定部１３３により特定された二つの対象点の各々からバウンディングボックス１０５の左右の線分の内の近い方の線分に下ろした垂線の足の位置を、識別物体の左右のエッジを示す点である二つのエッジ点Ｑ０１、Ｑ０２の位置として特定する。また、奥行き付与部１３４は、空間において、二つのエッジ点Ｑ０１、Ｑ０２とは異なる予め定められた二つの対応点の位置である奥行き位置Ｃ１、Ｃ２を算出することができる。
なお、奥行き付与部１３４は、空間において、二つの測距点Ｐ１６、Ｐ１８を結ぶ直線の、その空間における左右方向の軸（ここでは、Ｘ軸）に対する傾きを算出し、その直線に対して垂直方向の識別物体の長さに対応する線分である対応線分を、算出された傾きに従ってその軸に対して左右方向に傾かせた対応線分の端部の位置を、奥行き位置として算出する。
これにより、奥行き付与部１３４は、画像から認識された物体（ここでは、別の車両１０３）の四隅（ここでは、エッジ点Ｑ０１、エッジ点Ｑ０２、位置Ｃ１及び位置Ｃ２）の座標を特定することができる。
図１に示されている俯瞰図生成部１３５は、二つのエッジ点Ｑ０１、Ｑ０２の位置と、二つの対応点の位置Ｃ１、Ｃ２とを、予め定められた二次元の画像に投影することで、識別物体を示す俯瞰図を生成する。
ここでは、俯瞰図生成部１３５は、奥行き付与部１３４で特定された識別物体の四隅の座標と、残りの対象点で俯瞰図を生成する。
具体的には、俯瞰図生成部１３５は、撮像装置１１０で撮像された画像から認識された全ての物体に対応する全てのバウンディングボックスに含まれる全ての対象点を奥行き付与部１３４で処理した後、いずれのバウンディングボックスにも含まれなかった対象点を特定する。
ここで特定された対象点は、物体が存在するものの画像から認識できなかった物体の対象点である。俯瞰図生成部１３５は、この対象点に対応する測距点を俯瞰図に投射する。その手法として、例えば、高さ方向をゼロにする方法がある。他の手法としては、対象点に対応する測距点から俯瞰図に垂直に交わる点を計算する方法がある。この処理により、バウンディングボックスに含まれる物体に対応する部分の画像と、残りの測距点に対応する点とを示す俯瞰図が完成する。例えば、図４（Ｂ）が完成した俯瞰図を斜め方向から見た図である。
図１に示されている移動予測部１３６は、俯瞰図に含まれている識別物体の移動を予測する。例えば、移動予測部１３６は、機械学習により、識別物体の移動予測を行うことができる。例えば、ＣＮＮが用いられればよい。移動予測部１３６への入力は現時点の俯瞰図であり、その出力は予測したい時刻の俯瞰図である。この結果、将来の俯瞰図がわかり識別物体の移動を予測することができる。
図７は、移動予測装置１３０のハードウェア構成例を示すブロック図である。
移動予測装置１３０は、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ１１と、撮像装置１１０及び測距装置１２０を接続するためのインターフェース（Ｉ／Ｆ）１２とを備えるコンピュータ１３により構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
なお、Ｉ／Ｆ１２は、撮像装置１１０から画像データの入力を受ける画像入力部、及び、測距装置１２０から測距点を示す測距点データの入力を受ける測距点入力部として機能する。
図８は、移動予測装置１３０での処理を示すフローチャートである。
まず、物体識別部１３１は、撮像装置１１０で撮像された画像を示す画像データを取得して、その画像データで示される画像内の物体を識別する（Ｓ１０）。
次に、マッピング部１３２は、測距装置１２０で検出された測距点を示す測距点データを取得して、撮像装置１１０で撮像された画像内に、測距点データで示される測距点に対応する対象点を重畳する（Ｓ１１）。
次に、マッピング部１３２は、ステップＳ１０での物体識別結果から、一つの識別物体を特定する（Ｓ１０）。識別物体は、ステップＳ１０での物体識別により識別された物体である。
次に、マッピング部１３２は、撮像装置１１０で撮像された画像に、ステップＳ１０での識別結果を反映する（Ｓ１２）。ここでは、物体識別部１３１は、ステップＳ１２で特定された一つの識別物体の周囲を囲むように、バウンディングボックスを重畳させる。
次に、同一物判定部１３３は、対象点及びバウンディングボックスが重畳された画像である重畳画像において、バウンディングボックスの内側に存在する対象点を特定する（Ｓ１４）。
次に、同一物判定部１３３は、ステップＳ１４において対象点を特定することができたか否かを判断する（Ｓ１５）。対象点を特定することができた場合（Ｓ１５でＹｅｓ）には、処理はステップＳ１６に進み、対象点を特定することができなかった場合（Ｓ１５でＮｏ）には、処理はステップＳ１９に進む。
ステップＳ１６では、同一物判定部１３３は、ステップＳ１４で特定された対象点の内、バウンディングボックスの左右の線分に最も近い二つの対象点を特定する。
次に、奥行き付与部１３４は、ステップＳ１６で特定された二つの対象点から二つのエッジ点の位置を算出して、その二つのエッジ点に奥行きを付与する奥行き計算処理を実行する（Ｓ１７）。奥行き計算処理については、図９を用いて詳細に説明する。
次に、奥行き付与部１３４は、ステップＳ１７で算出された識別物体のエッジ点の位置の傾きから、識別物体の奥行き方向におけるエッジ点の位置を上記の（４）式～（７）式で算出し、識別物体の四隅の座標を特定し、その座標を一時的に記憶する（Ｓ１８）。
次に、マッピング部１３２は、ステップＳ１０での物体識別結果で示される識別物体の内、未特定の識別物体が存在するか否かを判断する。未特定の識別物体が存在する場合（Ｓ１９）には、処理はステップＳ１２に戻り、未特定の識別物体から一つの識別物体を特定する。未特定の識別物体が存在しない場合（Ｓ１９）には、処理はステップＳ２０に進む。
ステップＳ２０では、俯瞰図生成部１３５は、ステップＳ１０で物体として識別されなかった測距点を特定する。
そして、俯瞰図生成部１３５は、奥行き付与部１３４で一時的に記憶された識別物体の四隅の座標と、ステップＳ２０で特定された測距点で俯瞰図を生成する（Ｓ２１）。
次に、移動予測部１３６は、俯瞰図に含まれている移動物体の移動予測を行う（Ｓ２２）。
図９は、奥行き付与部１３４が実行する奥行き計算処理を示すフローチャートである。
まず、奥行き付与部１３４は、バウンディングボックスの左右の線分に最も近い二つの測距点から、二つのエッジ点を特定し、その二つのエッジ点を奥行き方向（ここでは、Ｚ軸）へ投射したときのそれぞれの距離を算出する（Ｓ３０）。
次に、奥行き付与部１３４は、ステップＳ３０で算出された二つのエッジ点の距離を、識別物体のエッジの距離として特定する（Ｓ３１）。
次に、奥行き付与部１３４は、左右それぞれのエッジの画像情報の位置を示すピクセル値と、ステップＳ３１で特定された距離と、カメラのｆ値とから、上記の（２）式により、識別物体のエッジのＸ軸の値を算出する（Ｓ３２）。
次に、奥行き付与部１３４は、二つのエッジ点から算出された識別物体のエッジの位置の傾きを上記の（３）式で算出する（Ｓ３３）。
以上のように、本実施の形態によれば、複数のセンサをフュージョンさせ、画像全体ではなく一部特徴を利用することで処理量を減らすことが可能となり、システムをリアルタイムに動作させることができる。
１００ 移動予測システム、 １１０ 撮像装置、 １２０ 測距装置、 １３０ 移動予測装置、 １３１ 物体識別部、 １３２ マッピング部、 １３３ 同一物判定部、 １３４ 奥行き付与部、 １３５ 俯瞰図生成部、 １３６ 移動予測部。

Claims (7)

  1. 空間を撮像した画像を示す画像データに基づいて、前記画像から予め定められた物体を識別物体として識別する物体識別部と、
    前記空間における複数の測距点までの距離を示す測距データに基づいて、前記画像の前記複数の測距点に対応する位置に、前記複数の測距点に対応する複数の対象点を前記画像に重畳するとともに、前記物体識別部での識別結果を参照して、前記識別物体の周囲を囲む矩形を前記画像に重畳することで、重畳画像を生成する重畳部と、
    前記重畳画像において、前記複数の対象点の中から、前記矩形内において前記矩形の左右の線分に最も近い二つの対象点を特定する対象点特定部と、
    前記特定された二つの対象点から前記左右の線分の内の近い方の線分に下ろした垂線の足の前記空間における位置を、前記識別物体の左右のエッジを示す点である二つのエッジ点の位置として特定し、前記空間において、前記二つのエッジ点とは異なる予め定められた二つの対応点の位置である二つの奥行き位置を算出する奥行き付与部と、
    前記二つのエッジ点の位置と、前記二つの奥行き位置とを、予め定められた二次元の画像に投影することで、前記識別物体を示す俯瞰図を生成する俯瞰図生成部と、を備えること
    を特徴とする情報処理装置。
  2. 前記奥行き付与部は、前記空間において、前記二つの測距点を結ぶ直線の、前記空間における左右方向の軸に対する傾きを算出し、前記直線に対して垂直方向の前記識別物体の長さに対応する線分である対応線分を、前記算出された傾きに従って前記軸に対して左右方向に傾かせた前記対応線分の端部の位置を、前記奥行き位置として算出すること
    を特徴とする請求項１に記載の情報処理装置。
  3. 前記長さは、予め定められていること
    を特徴とする請求項２に記載の情報処理装置。
  4. 前記物体識別部は、機械学習により、前記画像から前記識別物体を識別すること
    を特徴とする請求項１から３の何れか一項に記載の情報処理装置。
  5. 前記俯瞰図を用いて、前記識別物体の移動を予測する移動予測部をさらに備えること
    を特徴とする請求項１から４の何れか一項に記載の情報処理装置。
  6. 前記移動予測部は、機械学習により、前記移動を予測すること
    を特徴とする請求項５に記載の情報処理装置。
  7. 空間を撮像した画像を示す画像データに基づいて、前記画像から予め定められた物体を識別物体として識別し、
    前記空間における複数の測距点までの距離を示す測距データに基づいて、前記画像の前記複数の測距点に対応する位置に、前記複数の測距点に対応する複数の対象点を前記画像に重畳するとともに、前記識別物体を識別した結果を参照して、前記識別物体の周囲を囲む矩形を前記画像に重畳することで、重畳画像を生成し、
    前記重畳画像において、前記複数の対象点の中から、前記矩形内において前記矩形の左右の線分に最も近い二つの対象点を特定し、
    前記特定された二つの対象点から前記左右の線分の内の近い方の線分に下ろした垂線の足の前記空間における位置を、前記識別物体の左右のエッジを示す点である二つのエッジ点の位置として特定し、
    前記空間において、前記二つのエッジ点とは異なる予め定められた二つの対応点の位置である二つの奥行き位置を算出し、
    前記二つのエッジ点の位置と、前記二つの奥行き位置とを、予め定められた二次元の画像に投影することで、前記識別物体を示す俯瞰図を生成すること
    を特徴とする情報処理方法。
JP2021572532A 2020-03-24 2020-03-24 情報処理装置及び情報処理方法 Active JP7019118B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013009 WO2021192032A1 (ja) 2020-03-24 2020-03-24 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2021192032A1 JPWO2021192032A1 (ja) 2021-09-30
JP7019118B1 true JP7019118B1 (ja) 2022-02-14

Family

ID=77891204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021572532A Active JP7019118B1 (ja) 2020-03-24 2020-03-24 情報処理装置及び情報処理方法

Country Status (5)

Country Link
US (1) US20220415031A1 (ja)
JP (1) JP7019118B1 (ja)
CN (1) CN115244594B (ja)
DE (1) DE112020006508T5 (ja)
WO (1) WO2021192032A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043028A1 (ja) * 2016-08-29 2018-03-08 株式会社デンソー 周辺監視装置及び周辺監視方法
JP2018036915A (ja) * 2016-08-31 2018-03-08 アイシン精機株式会社 駐車支援装置
JP2018048949A (ja) * 2016-09-23 2018-03-29 トヨタ自動車株式会社 物体識別装置
JP2019139420A (ja) * 2018-02-08 2019-08-22 株式会社リコー 立体物認識装置、撮像装置および車両
US20190291723A1 (en) * 2018-03-26 2019-09-26 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3514607B2 (ja) * 1997-06-04 2004-03-31 パイオニア株式会社 地図表示制御装置及び地図表示制御用プログラムを記録した記録媒体
JP5422902B2 (ja) * 2008-03-27 2014-02-19 三洋電機株式会社 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
JP2010124300A (ja) * 2008-11-20 2010-06-03 Clarion Co Ltd 画像処理装置およびこれを用いたリヤビューカメラシステム
JP2010287029A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 周辺表示装置
JP6084434B2 (ja) * 2012-10-31 2017-02-22 クラリオン株式会社 画像処理システム及び画像処理方法
JP6975929B2 (ja) * 2017-04-18 2021-12-01 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
JP6984215B2 (ja) 2017-08-02 2021-12-17 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043028A1 (ja) * 2016-08-29 2018-03-08 株式会社デンソー 周辺監視装置及び周辺監視方法
JP2018036915A (ja) * 2016-08-31 2018-03-08 アイシン精機株式会社 駐車支援装置
JP2018048949A (ja) * 2016-09-23 2018-03-29 トヨタ自動車株式会社 物体識別装置
JP2019139420A (ja) * 2018-02-08 2019-08-22 株式会社リコー 立体物認識装置、撮像装置および車両
US20190291723A1 (en) * 2018-03-26 2019-09-26 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network

Also Published As

Publication number Publication date
WO2021192032A1 (ja) 2021-09-30
CN115244594B (zh) 2023-10-31
JPWO2021192032A1 (ja) 2021-09-30
DE112020006508T5 (de) 2022-11-17
US20220415031A1 (en) 2022-12-29
CN115244594A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
US9965870B2 (en) Camera calibration method using a calibration target
CN112444242B (zh) 一种位姿优化方法及装置
CN107025663A (zh) 视觉***中用于3d点云匹配的杂波评分***及方法
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
CN113256740A (zh) 一种雷达与相机的标定方法、电子设备及存储介质
KR101090082B1 (ko) 단일 카메라 및 레이저를 이용한 계단 치수 측정 시스템 및 방법
CN112036359B (zh) 一种车道线的拓扑信息获得方法、电子设备及存储介质
JP2023029441A (ja) 計測装置、計測システムおよび車両
CN114842106A (zh) 栅格地图的构建方法及构建装置、自行走装置、存储介质
JPH1144533A (ja) 先行車両検出装置
JP7019118B1 (ja) 情報処理装置及び情報処理方法
JP7298687B2 (ja) 物体認識装置及び物体認識方法
US20220414925A1 (en) Tracking with reference to a world coordinate system
JP2006317418A (ja) 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
JPH10312463A (ja) 物体認識方法およびその装置
CN114051627A (zh) 相机校准方法
CN113591640A (zh) 一种道路护栏的检测方法、装置及车辆
JP6546898B2 (ja) ３次元空間特定装置、方法、及びプログラム
JP5964093B2 (ja) 車両サイズ測定装置、車両サイズ測定方法、およびプログラム
JP2004020398A (ja) 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体
JP3519296B2 (ja) 熱画像の自動測定方法及び自動測定装置
JPH10283478A (ja) 特徴抽出方法およびその方法を用いた物体認識装置
JP7390743B2 (ja) 物体測定装置及び物体測定方法
KR102602319B1 (ko) 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적기반 교통 정보 수집 시스템 및 방법
CN116704138B (zh) 倾斜摄影三维模型的建立方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211206

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220201

R150 Certificate of patent or registration of utility model

Ref document number: 7019118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150