JP6984215B2 - 信号処理装置、および信号処理方法、プログラム、並びに移動体 - Google Patents

信号処理装置、および信号処理方法、プログラム、並びに移動体 Download PDF

Info

Publication number
JP6984215B2
JP6984215B2 JP2017149686A JP2017149686A JP6984215B2 JP 6984215 B2 JP6984215 B2 JP 6984215B2 JP 2017149686 A JP2017149686 A JP 2017149686A JP 2017149686 A JP2017149686 A JP 2017149686A JP 6984215 B2 JP6984215 B2 JP 6984215B2
Authority
JP
Japan
Prior art keywords
unit
information
distance
distance measurement
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017149686A
Other languages
English (en)
Other versions
JP2019028861A (ja
Inventor
琢人 元山
辰吾 鶴見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2017149686A priority Critical patent/JP6984215B2/ja
Priority to PCT/JP2018/028415 priority patent/WO2019026832A1/en
Priority to US16/633,593 priority patent/US11543532B2/en
Priority to EP18762638.7A priority patent/EP3662446B1/en
Publication of JP2019028861A publication Critical patent/JP2019028861A/ja
Application granted granted Critical
Publication of JP6984215B2 publication Critical patent/JP6984215B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Description

本開示は、信号処理装置、および信号処理方法、プログラム、並びに移動体に関し、特に、高精度に移動体自らの周辺の環境マップを生成できるようにした信号処理装置、および信号処理方法、プログラム、並びに移動体に関する。
移動体の自律移動を実現するために、自己の周囲のローカルマップを生成し、自己位置を推定する技術が開発されている。
このような技術として、単眼カメラ(画像)とレーダ(電波)とを用いて得られる結果を、状況に応じて重み付けして物体検出を行うことで、ローカルマップを生成する技術が提案されている(特許文献1参照)。
特開2007−255979号公報
しかしながら、一般的に単眼カメラにより撮像された画像に基づいた、距離推定は、精度が低く、レーダは物体種別の判別精度が低いため、両者を重み付しただけでは、高精細なマップを生成することはできない。
本開示は、このような状況に鑑みてなされたものであり、特に、高精度に移動体自らの周辺の環境マップを生成できるようにするものである。
本開示の一側面の信号処理装置は、撮像された被写体の種別に応じてラベリングするラベリング部と、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToF(Time of Flight)カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部とを含み、前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する信号処理装置である。
前記ラベリング部には、セマンティックセグメンテーションにより、前記画像内の領域を被写体の種別に応じてラベリングさせるようにすることができる。
前記補間生成部には、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の垂直に長い枠内の測距情報を用いて、前記距離情報を補間生成させるようにすることができる。
前記補間生成部には、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の測距情報を用いて、前記距離情報を補間生成する位置の周辺の平面を特定し、前記平面を用いて距離情報を補間生成させるようにすることができる。
前記補間生成部には、前記路面にラベリングされた被写体の、前記距離情報を補間生成しようとする位置から近い、少なくとも3点の測距情報を用いて、前記距離情報を補間生成する位置の周辺を構成する平面を特定し、前記平面を用いて距離情報を補間生成させるようにすることができる。
前記占有格子地図を蓄積し、時間の経過に伴って統合する時間統合部をさらに含ませるようにすることができる。
前記時間統合部には、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合させるようにすることができる。
前記時間統合部には、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合した後、最新の前記動物体の情報を含む前記占有格子地図の情報を付加して出力させるようにすることができる。
前記補間生成部には、前記ラベリング部によるラベリング結果に基づいて、ラベルマップを生成させるようにすることができる。
本開示の一側面の信号処理方法は、撮像された被写体の種別に応じてラベリングし、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToF(Time of Flight)カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を取得し、ラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する処理を含み、前記ラベリング結果において、所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する信号処理方法である。
本開示の一側面のプログラムは、撮像された被写体の種別に応じてラベリングするラベリング部と、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToF(Time of Flight)カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部とを含む処理をコンピュータに実行させ、前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成するプログラムである。
本開示の一側面の移動体は、撮像された被写体の種別に応じてラベリングするラベリング部と、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToF(Time of Flight)カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と、前記補間生成部により生成された距離情報に基づいて、環境マップを生成する環境マッピング部と、前記環境マップに基づいて行動計画を生成する計画部と、生成された前記行動計画に基づいて移動体の動作を制御する制御部とを含み、前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する移動体である。
本開示の一側面においては、画像内の領域が被写体の種別に応じてラベリングされ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToF(Time of Flight)カメラによって測定された測距情報で、離散的に配置された測距点における測距情報が得られ、ラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報が補間生成され、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報が補間生成され、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図が生成される。
本開示の一側面によれば、特に、高精度に移動体自らの周辺の環境マップを生成させることが可能となる。
LiDARを用いた障害物の検出方法を説明する図である。 LiDARとカメラの特性の違いを説明する図である。 LiDAR点群の画像への重畳を説明する図である。 本開示の移動体制御システムの好適な実施の形態の構成例を示すブロック図である。 本開示の移動体制御システムにおける環境マップを生成するブロックの構成例を説明するブロック図である。 LiDARとカメラとの座標系の変換を説明する図である。 セマンティックセグメンテーションを説明する図である。 適応環境マッピングによる路面の距離情報の補正方法を説明する図である。 適応環境マッピングによる路面の距離情報の補正方法を説明する図である。 適応環境マッピングによる障害物の距離情報の補正方法を説明する図である。 適応環境マッピングによる障害物の距離情報の補正方法を説明する図である。 適応環境マッピングによる空の距離情報の補正方法を説明する図である。 環境マップとラベルマップの生成方法を説明する図である。 環境マップの時間統合を説明する図である。 時間統合部の構成例を説明する図である。 動物体を除外して環境マップを蓄積する理由を説明する図である。 環境マップ生成処理を説明するフローチャートである。 適応環境マッピング処理を説明するフローチャートである。 時間統合処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.本開示の好適な実施の形態
2.ソフトウェアにより実行させる例
<<1.本開示の好適な実施の形態>>
<LiDARにより生成されるローカルマップ>
まず、図1を参照して、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)21を備えた移動体11における障害物12を検出する原理を説明する。ここで、図1の上段は、移動体11を上から見たときの図であり、図1の下段は、図1の上段に対応する、移動体11の周囲のローカルマップである占有格子地図(Occupancy Grid Map)の例を示している。
また、図1においては、移動体11は、例えば、図中右方向である、進行方向に向かって移動している状態を示しており、移動体11の移動方向前方であって、正面よりやや右側には障害物12が存在する。
LiDAR21は、移動方向前方に対して、垂直方向に複数の角度で配置された投光部を、水平方向に回転させながら、図1の上段で示されるような放射状の投光方向Lのそれぞれに対してレーザ光を投光し、障害物12により反射される反射光を受光することで、投光時刻と、反射光の受光時刻との差分となる往復時間より距離を求めることで、障害物12までの距離と方向と測定する。
LiDAR21による測定結果から、図1の下段で示されるようなローカルマップである占有格子地図(Occupancy Grid Map)が求められる。
占有格子地図(Occupancy Grid Map)は、移動体11周囲の空間をグリッドにより複数のセルに分割して、LiDAR21による測定結果をレイトレーシングの原理により、各セルを、障害物あり、障害物がないフリースペース、および未知の領域のいずれかに分類することで生成されるマップである。
図1の下段における占有格子地図では、LiDAR21による測距結果が無い範囲(投光方向外である範囲)については、白色で示されており、未知であることを示す領域Z32が設定されている。
また、LiDAR21により、障害物12からの反射光の受光が確認されない範囲(投光方向であるが反射光の受光がない範囲)については、フリースペース(障害物が存在する可能性が低い範囲)であることを示す灰色からなる領域Z31が設定されている。
さらに、LiDAR21により、反射光が受光されて測距された範囲については、障害物12が存在する可能性が高いことを示す黒色からなる領域Z33が設定されている。
<誤検出が生じるケース>
ところで、LiDAR21を用いる場合、投光方向に対して、直交する水平方向および垂直方向からなる2次元の空間内において、レーザ光が離散的に投光されるため、隣接する投光方向の間に小さな障害物が存在するようなときには、障害物として検出できない恐れがある。
すなわち、図2の左上部で示されるように、投光方向L11,L12間に小さな障害物41が存在するような場合、反射光を受光することができないので、図2の左下部で示されるように、ローカルマップである占有格子地図には反映されない恐れがある。図2の左下部の占有格子地図においては、投光したレーザ光が障害物41では反射されないので、占有格子地図には反映されていないことが点線で示されている。
これに対して、図2の右上部で示されるように、移動体11にLiDAR21に代えて単眼のカメラ51を設けて、カメラ51により撮像された画像に基づいて、障害物の距離と方向を検出することが考えられる。カメラ51は、小さな障害物41であっても、撮像方向に対して直交する2次元の空間的には画素レベルで連続的に物体の有無と距離を検出することができるので、障害物41はほぼ確実にとらえることができる。
しかしながら、カメラ51により撮像された画像に基づいて、ローカルマップである占有格子地図を生成しようとすると、障害物12,41までの測距精度については、LiDAR21よりも低い。このため、占有格子地図を生成した場合、例えば、図2の右下部の領域Z33’,Z41’で示されるように、障害物12,41の付近に物体が存在する確率が拡散して設定されることになるので、障害物12,41の存在を確認することはできても、方向と距離はいずれもぼんやりとしたものとなる。
<LiDARとカメラとの特徴とその違い>
すなわち、図3の左部で示されるように、LiDAR21は、監視する方向に対して直交する2次元の空間に対して、投光方向L1乃至Lnで示されるように、離散的な範囲となるので、空間解像度が低いが、高精度に距離を測定することができる。これに対して、カメラ51は、撮像面Dで示されるように、監視する方向に対して直交する2次元の空間に対して、画素レベルで、ほぼ連続的な範囲となるので、空間解像度は高いが、測距精度が低い。
また、図3の右部で示されるように、カメラ51は、撮像面Dの全体に対して略連続な範囲について、物体を捉えることができるので、物体認識精度が高い。これに対して、LiDAR21は、撮像面Dに対して、図中の丸印で示されるように、離散的にしか障害物を検出することができないので、障害物の物体認識精度が低い。
本開示においては、LiDAR21とカメラ51とを組み合わせて、上述したそれぞれの特徴を生かし、空間解像度、物体認識精度、および距離精度を向上させ、高精度のローカルマップを生成できるようにするものである。
<本開示の移動体を制御する移動体制御システムの構成例>
図4は、本開示の移動体91を制御する移動体制御システム100の概略的な機能の構成例を示すブロック図である。尚、図4の移動体制御システム100は、本技術が適用され得る様々な移動体に適用可能な制御システムの一例であり、例えば、車両、航空機、船舶、ドローン、およびロボットなどを制御するシステムとして適用することもできる。
移動体制御システム100は、入力部101、データ取得部102、通信部103、移動体内部機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、記憶部109、及び、自動運転制御部110を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、記憶部109、及び、自動運転制御部110は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した通信ネットワークやバス等からなる。なお、移動体制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、移動体制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部110が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部110が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム100の各部に供給する。
データ取得部102は、移動体制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体制御システム100の各部に供給する。
例えば、データ取得部102は、移動体の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、移動体の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、移動体の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。尚、本開示の移動体制御システム100においては、データ取得部102は、撮像装置として、後述するカメラ302(図5)を備えており、また、周囲情報検出センサとして、LiDAR301(図5)を備えている。
さらに、例えば、データ取得部102は、移動体の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、移動体内部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、移動体室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部103は、移動体内部機器104、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム100の各部から供給されるデータを送信したり、受信したデータを移動体制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、移動体内部機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、移動体内部機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、移動体の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、移動体91が車両の場合、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、移動体と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
移動体内部機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、移動体に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、移動体の搭乗者又は移動体外部に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、移動体の搭乗者又は移動体外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、移動体の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
記憶部109は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部109は、移動体制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部109は、ダイナミックマップ等の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部110は、自律移動又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部110は、移動体の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、移動体の衝突警告、又は、移動体のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部110は、運転者の操作に拠らずに自律的に移動する自動運転等を目的とした協調制御を行う。自動運転制御部110は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、移動体外部情報検出部141、移動体内部情報検出部142、及び、移動体状態検出部143を備える。
移動体外部情報検出部141は、移動体制御システム100の各部からのデータ又は信号に基づいて、移動体の外部の情報の検出処理を行う。例えば、移動体外部情報検出部141は、移動体の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、他の移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部141は、移動体の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、及び、状況認識部152、並びに、動作制御部135の緊急事態回避部171等に供給する。
移動体内部情報検出部142は、移動体制御システム100の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部152、及び、動作制御部135の緊急事態回避部171等に供給する。
移動体状態検出部143は、移動体制御システム100の各部からのデータ又は信号に基づいて、移動体の状態の検出処理を行う。検出対象となる移動体の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部152、及び、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、移動体外部情報検出部141、及び、状況分析部133の状況認識部152等の移動体制御システム100の各部からのデータ又は信号に基づいて、移動体の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、及び、状況認識部152等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部109に記憶させる。
状況分析部133は、移動体及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、状況認識部152、及び、状況予測部153を備える。
マップ解析部151は、自己位置推定部132及び移動体外部情報検出部141等の移動体制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部109に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、状況認識部152、状況予測部153、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
状況認識部152は、自己位置推定部132、移動体外部情報検出部141、移動体内部情報検出部142、移動体状態検出部143、及び、マップ解析部151等の移動体制御システム100の各部からのデータ又は信号に基づいて、移動体に関する状況の認識処理を行う。例えば、状況認識部152は、移動体の状況、移動体の周囲の状況、及び、移動体の運転者の状況等の認識処理を行う。また、状況認識部152は、必要に応じて、移動体の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップとも称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる移動体の状況には、例えば、移動体の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部152は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部153等に供給する。また、状況認識部152は、状況認識用マップを記憶部109に記憶させる。
状況予測部153は、マップ解析部151、及び状況認識部152等の移動体制御システム100の各部からのデータ又は信号に基づいて、移動体に関する状況の予測処理を行う。例えば、状況予測部153は、移動体の状況、移動体の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる移動体の状況には、例えば、移動体の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体の周囲の状況には、例えば、移動体の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部153は、予測処理の結果を示すデータを、及び状況認識部152からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部153等の移動体制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部153等の移動体制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に移動するための移動体の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、移動速度、及び、追い越し等の計画を行う。行動計画部162は、計画した移動体の行動を示すデータを動作計画部163等に供給する
動作計画部163は、マップ解析部151及び状況予測部153等の移動体制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための移動体の動作を計画する。例えば、動作計画部163は、加速、減速、及び、移動軌道等の計画を行う。動作計画部163は、計画した移動体の動作を示すデータを、動作制御部135等に供給する。
動作制御部135は、移動体の動作の制御を行う。
より詳細には、動作制御部135は、移動体外部情報検出部141、移動体内部情報検出部142、及び、移動体状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、移動体の異常等の緊急事態の検出処理を行う。動作制御部135は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体の動作を計画する。
また、動作制御部135は、動作計画部163により計画された移動体の動作を実現するための加減速制御を行う。例えば、動作制御部135は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
動作制御部135は、動作計画部163により計画された移動体の動作を実現するための方向制御を行う。例えば、動作制御部135は、動作計画部163により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
<環境マップを生成する構成例>
次に、図5を参照して、図4の移動体制御システム100のうち、環境マップを生成する詳細な構成例について説明する。尚、ここでいう環境マップは、上述した、移動体の周囲の状況の認識に用いるローカルマップ、すなわち、状況認識用マップであり、より具体的には、占有格子地図(Occupancy Grid Map)である。
環境マップを生成する詳細な構成例は、図5で示されるように、データ取得部102、自動運転制御部110の検出部131における移動体外部情報検出部141、および状況分析部133の状況認識部152より構成される。
データ取得部102は、LiDAR301、および、カメラ302を備えている。
移動体外部情報検出部141は、カメラ画像重畳部311、およびセマンティックセグメンテーション部312を備えている。
状況認識部152は、適応環境マッピング部321および時間統合部322を備えている。
LiDAR301は、移動体91の移動方向前方に対して、垂直方向に複数の角度で配置された投光部を、水平方向に回転させながら、図1の上段で示されるような放射状の投光方向Lのそれぞれに対してレーザ光を投光し、障害物12により反射される反射光を受光することで、投光時刻と、反射光の受光時刻との差分となる往復時間より距離を求めることで、障害物12までの距離と方向と測定するものである。
LiDAR301は、いわゆる、ToF(Time of Flight)法により、投光方向毎に、移動体91から障害物までの距離を測定し、3次元点群からなる測定結果をカメラ画像重畳部311に出力する。
尚、LiDAR301は、2次元アレイ状に投光部およぶ受光部を設けるようにして、2次元の測距情報を取得する構成であってもよいし、1個の投光部および受光部が2次元的にスキャンする構成であってもよい。
また、3次元点群が取得可能な2次元の測距情報が測定できれば、LiDAR301でなくてもよく、たとえば、ToFカメラなどであってもよい。
カメラ302は、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子からなり、移動体91の前方を撮像して、デモザイク処理や事前キャリブレーション結果に基づく歪補正等の画像補正を行った後、補正されたRGB画像としてセマンティックセグメンテーション部312に出力する。
カメラ画像重畳部311は、LiDAR301の測距結果を、LiDAR301の座標系の情報から、カメラ302の座標系の情報に変換し、カメラ302により撮像される画像に対応する距離画像にして、セマンティックセグメンテーション部312および適応環境マッピング部321に出力する。
セマンティックセグメンテーション部312は、カメラ302により撮像されたRGB画像と距離画像とに基づいて、セマンティクセグメンテーションにより、画素単位で、被写体の種別を分類し、分類結果に対応するセマンティックラベルを付与して適応環境マッピング部321、および時間統合部322に出力する。尚、セマンティックセグメンテーションにおいては、RGB画像と距離画像との両方が必須ではなく、RGB画像のみで行うようにしてもよいし、距離画像のみで行うようにしてもよい。また、RGB画像でなくてもよく、例えば、白黒画像であってもよい。ただし、RGB画像(または白黒画像)、および距離画像の両方を用いたセマンティックセグメンテーションの方が高精度である。
適応環境マッピング部321は、距離画像、および、画素単位で付与されているセマンティックラベルとに基づいて、環境適応マッピング処理により、現時刻における環境マップを生成して、時間統合部322に出力する。
時間統合部322は、適応環境マッピング部321より供給される、順次、時系列に生成される環境マップを蓄積して統合し、グローバルマップを構成し、最終的な環境マップとして出力する。
<LiDARの測定結果である3次元点群の画像重畳>
LiDAR301の測定結果は、3次元空間内における点群の情報であるが、この測定結果をカメラ302により撮像された画像に重畳し距離画像を生成する。
例えば、図6の左上部で示される、カメラ302の画像P11に対して、LiDAR301の投光方向Lp毎の測距結果を重畳させることにより距離画像が生成される。
カメラ画像重畳部311は、LiDAR301とカメラ302との相対位置、並びにカメラ302の画像中心および焦点距離の情報を事前情報として取得しているため、事前情報を利用して、以下のような演算により距離画像を生成する。
まず、カメラ画像重畳部311は、LiDAR301の座標系を、カメラ302の座標系に統合する。
すなわち、図6の右上部で示されるように、LiDAR301の座標系である、座標XLiDAR(=[xl,yl,zl]の転置行列)と、カメラ302の座標系の撮像面D上の座標Xcam(=[xc,yc,zc]の転置行列)との相対位置関係は、キャリブレーションにより事前情報として知られており、例えば、以下の式(1)として求められている。
Xcam=RXLiDAR+T
・・・(1)
ここで、Rは、LiDAR301とカメラ302との間の予めキャリブレーションにより既知にされている回転を示す回転行列であり、Tは、やはりキャリブレーションにより予め既知にされている並進ベクトルである。
上述した式(1)が演算されることにより、LiDAR301の座標系の情報として測定された測距結果の点Xの座標が、カメラ座標系に変換される。
次に、カメラ画像重畳部311は、LiDAR301の測距結果と、カメラ302の撮像面上の座標系とを対応付ける。
すなわち、LiDAR301により検出された障害物の位置Xcam(=[xc,yc,zc]転置)が求められると、図6の右下部で示されるように、撮像面D内における障害物の撮像面Dの画像中心Pcを基準とした、像面内のxi座標を以下の式(2)として求めることができる。
xi=f×xc/zc
・・・(2)
ここで、fは、カメラ302の焦点距離である。
また、同様に、yi座標を以下の式(3)により求めることができる。
yi=f×yc/zc
・・・(3)
結果として、撮像面D上の障害物の位置を特定することができる。
すなわち、LiDAR301で検出された3次元の点の座標XLiDAR(=[xl,yl,zl])は、投光方向に基づいて、カメラ302の座標系における3次元の点の座標Xcam(=[xc,yc,zc])に変換される。さらに、カメラ302の座標系における3次元の点の座標Xcam(=[xc,yc,zc])に対応する撮像面Dを中心とした撮像面上の座標(xi,yi)は、式(2),式(3)により、カメラ302の焦点距離fに基づいて算出される。
この処理により、カメラ画像重畳部311は、図6の左下部で示されるような距離画像P12を生成する。
距離画像P12は、カメラ302の画像と同一の画素配置とされており、上述した座標系の変換により、各画素(xi,yi)のうち、LiDAR301の投光方向であり測距結果がある場合については、対応付けて距離データ(図6の右下部におけるzc)が格納されており、投光方向ではなく測距結果がない場合、例えば、0が距離のデータとして格納されている。
<セマンティックセグメンテーション>
次に、図7を参照して、セマンティックセグメンテーション部312によるセマンティックセグメンテーションについて説明する。
例えば、カメラ302が、図7の左部で示されるように、静止構造物342−1,342−2に左右から挟まれた空間内に路面341があり、その路面341上に人344が存在し、その奥に空343が見えるような構図となる画角Z1でRGB画像からなる画像P31を撮像することを考える。
セマンティックセグメンテーション部312は、ディープラーニング等の機械学習により、図7の中央上部で示されるように、RGB画像からなる画像P31と、距離画像P32とに基づいて、画像P31内の被写体の種別を画素単位で分類し、ラベリングする。
図7の右上部で示されるRGB画像からなる画像P31と、距離画像P32との場合、例えば、図7の右下部のラベリング画像P41で示されるように、セマンティックセグメンテーションにより分類されてラベリングされる。
すなわち、ラベリング画像P41においては、画像内の下部における領域Z341に属する各画素が、路面341として分類され、領域Z342−1,Z342−2に属する画素が、それぞれ左右の静止構造物342−1,342−2として分類され、領域Z343に属する画素が、奥手の上方の空343として分類され、領域Z344に属する画素が、人344として分類されている。
セマンティックセグメンテーション部312は、図7の例以外にも、RGB画像と距離画像とに基づいて、例えば、RGB画像内の路面、静止構造物(壁、ガードレール、木、電柱など)、車両(自動車、トラック、バスなど)、二輪車(バイク、自転車)、人、水平バー(踏切、ETCバー、駐車場ゲートのバー)、空を画素単位で識別し、ラベリングする。
尚、セマンティックセグメンテーションは、機械学習により、RGB画像のみでも、距離画像のみでも、被写体を分類することは可能であるが、RGB画像と距離画像とを併せて用いた場合よりも精度が低下する。
<適応環境マッピング(路面の場合)>
次に、図8を参照して、適応環境マッピング部321による適応環境マッピングについて説明する。
適応環境マッピング部321は、距離画像とセマンティックセグメンテーションにより被写体毎に分類されたセマンティックラベルとに基づいて、適応的に環境マップを生成する。
より具体的には、カメラ302により撮像されたRGB画像に対応する各画素に距離画像が存在する場合、適応環境マッピング部321は、その情報を利用して環境マップを生成することができる。
しかしながら、上述したように、LiDAR301により距離が求められているのは、図6の距離画像P12でも示されているように、丸印で示される離散的な範囲のみである。
そこで、適応環境マッピング部321は、RGB画像の各画素について、距離の情報を補間生成し、より高精度の距離画像を生成する。
ここでは、図8を参照して、適応環境マッピング部321が、セマンティックラベルにより路面に分類された領域における各画素に、既知の距離情報を用いて、距離情報が存在しない画素について、距離情報を補間生成する手法について説明する。
適応環境マッピング部321は、セマンティックラベルが路面に分類された領域Z341のうち、図8の上段で示されるように、画素Ipに対応する距離情報を補間生成する場合、図8の中段の点線で囲まれた範囲で示されるように、画素Ipに最も近傍の距離情報を備えた画素Lp1乃至Lp3の3次元空間内の座標S(Lp1)乃至S(Lp3)を読み出す。
平面は、3点が既知であれば特定できるので、図8の下段で示されるように、適応環境マッピング部321は、画素Lp1乃至Lp3の3次元空間内の座標S(Lp1)乃至S(Lp3)の情報から、以下の式(4)で定義される路面341を構成する平面Sを求める。
Figure 0006984215
・・・(4)
そして、適応環境マッピング部321は、図9で示されるように、カメラ302から画素Ipへの視線ベクトルVeに基づいて、路面341を構成する平面S上の画素Ipに対応する座標S(Ip)を求める。
すなわち、カメラ302の視点から路面341を構成する平面S上の画素Ipに対応する交点S(Ip)は、以下の式(5)で示される。
Figure 0006984215
・・・(5)
ここで、sは、係数であり、スカラ量である。また、xi,yiは、撮像面Dを画像中心を原点とした撮像面上の画素Ipの座標であり、fは焦点距離である。すなわち、カメラ302を始点とした交点S(Ip)までのベクトルは、視線ベクトルVeの係数s倍となる。このため、上述した式(4)で定義される、路面を構成する平面Sの方程式に、式(5)を代入すると定数sが求められ、この定数sが求められることで、平面S上の交点S(Ip)の座標が求められる。
<適応環境マッピング(静止構造物や人等の障害物の場合)>
次に、図10を参照して、適応環境マッピング部321が、セマンティックラベルが静止構造物や人等の障害物に分類された領域における各画素に、既知の距離情報を用いて、距離情報が存在しない画素について距離情報を補間生成する手法について説明する。
尚、ここでは、図10の左部で示されるように、静止構造物342−2の領域Z342−2における画素の距離情報を補間生成する例について説明する。
セマンティックラベルが静止構造物342−2に分類された領域Z342−2のうち、図10の左部で示されるように、画素Ipに対応する距離情報を補間生成する場合、適応環境マッピング部321は、図10の中央部で示されるように、画素Ipを中心とした垂直方向に長い枠Wで囲まれた範囲内の、白い丸印で示される、距離情報が既知の画素の3次元空間内の座標を読み出す。
ここで、枠Wが、距離情報を補間生成する黒い丸印で示される画素Ipを中心として、垂直方向に長い範囲にされるのは、同一のラベルが付された領域内では、被写体の多くが、垂直方向には、距離情報が同一である傾向が強いことに基づくものである。
同一ラベルの領域Z342−2のうち、枠Wで囲まれた範囲内の、白い丸印で示される、距離情報が既知の画素が存在する場合、図10の右上部で示されるように、適応環境マッピング部321は、既知の画素の3次元空間内の座標の情報を読み出し、読み出した情報を用いて、画素Ipの3次元空間内の座標を補間生成する。このとき、適応環境マッピング部321は、既知の画素の3次元空間内の座標の情報を用いて、画素Ipからの位置関係の応じた重み付き線形和により、画素Ipの3次元空間内の座標を補間生成する。
一方、例えば、図10の右下部で示されるように、同一ラベルの領域Z344のように、距離情報を補間生成したい画素Ipの周辺に、距離情報が既知の画素が存在しない場合、適応環境マッピング部321は、同一ラベルの領域の鉛直下方で路面341に分類された領域Z341と接しているか否かを判定する。
すなわち、静止構造物や人などの障害物は、路面341に立っているものであるので、同一ラベルの領域の鉛直下方において、図10の右下部の境界部Cpのように、路面341に接している場合、同一ラベルの領域の鉛直下方で接した部分の路面341上の距離情報と同一であるものと考えることができる。そこで、同一ラベルの領域の鉛直下方において、路面341に接している場合、適応環境マッピング部321は、対応する路面341上の座標における距離情報と同一の距離情報を画素Ipの距離情報に設定する。尚、路面341の距離情報については、上述した手法により求められた路面341の距離情報を利用する。
さらに、同一ラベルの領域の鉛直下方において、路面341に接していない場合、適応環境マッピング部321は、画素Ipの距離情報を未知であることを示す0に設定する。
<適応環境マッピング(水平バーの場合)>
次に、図11を参照して、適応環境マッピング部321が、セマンティックラベルが出入口のゲートなどに用いられる水平バーに分類された領域における各画素に、既知の距離情報を用いて、距離情報が存在しない画素について距離情報を補間生成する手法について説明する。
図11の左部で示されるように、セマンティックラベルが出入口のゲートなどに用いられる水平バー361に分類された領域Z361の場合、LiDAR301などでは、解像度が低く距離情報が求められている画素が少ない。
このような場合、適応環境マッピング部321は、同一のラベルの領域のうち、距離情報を補間生成しようとする画素Ipの近傍の距離情報を備えた画素の情報を流用する。
より詳細には、適応環境マッピング部321は、図11の右部で示されるように、領域Z361内において、白い丸印で示される距離情報が既知の画素Lp1乃至Lp4の距離情報の平均値や最近傍の画素Lp1の距離情報を、画素Ipの距離情報として利用する。
<適応環境マッピング(空の場合)>
次に、図12を参照して、適応環境マッピング部321が、セマンティックラベルが空に分類された領域における各画素に距離情報を補間生成する手法について説明する。
図12のセマンティックラベル結果P51で示されるように、空343に分類された領域Z343については、距離が無限大であることが多いため測距できないことが多く、また、測距されていても太陽光等によるノイズであることが多いので、適応環境マッピング部321は、距離情報を備えていない画素Ipの距離情報については、未知であることを示す0を補間結果として付与する。
<適応環境マッピング(環境マップの生成)>
以上の処理により、適応環境マッピング部321は、カメラ302により撮像された画像の各画素について距離情報が付与されることにより、環境マップを生成する。
より詳細には、適応環境マッピング部321は、水平方向と奥行きとの平面(XZ平面)上にグリッドを設定し、グリッドにより構成されるセル毎に、各画素の距離情報に基づいて、障害物の有無を決定することで、占有格子地図を完成させる。
すなわち、LiDAR301から投光した光が障害物により反射したとみなされる距離と方向の情報が画素単位の距離情報であるので、路面や未知であることを示す0でなければ、各画素には、距離情報に対応して障害物が存在するとみなすべきセルが存在することになる。
したがって、距離情報により、多くの画素から障害物が存在するとみなされるセルは、静止構造物や人などの障害物が存在する可能性が高いと考えることができる。
そこで、適応環境マッピング部321は、各セルについて、距離情報から障害物であるとみなす画素数が所定数より多いセルを障害物の存在する可能性の高いセルとして特定する。図13の右上部においては、黒色の領域Z372−1,Z372−2,Z373が障害物の領域である。また、領域Z372−1,Z372−2,Z373の各領域は、図13の左上部の補間生成された距離情報から生成される距離画像P71における静止構造物372−1,372−2および人373に対応する。
また、移動体91からみて、障害物の領域Z372−1,Z372−2,Z373の手前までの範囲については、障害物がない(フリースペースである)ことを示す領域Z371が設定され、領域Z373が設定された範囲より遠方の範囲は、測距結果がないので未知であることを示す領域374が設定される。
また、適応環境マッピング部321は、カメラ302により撮像された画像の各画素の距離情報とセマンティックラベルの情報に基づいて、ラベルマップを生成する。
すなわち、適応環境マッピング部321は、各セルについて、同一ラベルの画素数が最も多いラベルをセルのラベルとして特定する。図13の右下部の領域Z341が、図13の左下部のセマンティックラベルから構成されるラベル画像P72の路面341に対応する。また、図13の右下部の領域Z342−1,Z342−2が、図13の左下部の静止構造物372−1,372−2に対応する領域である。また、図13の右下部の領域Z344は、図13の左下部の人344に対応する。
<環境マップの時間統合>
適応環境マッピング部321は、リアルタイムで順次、時系列に環境マップを生成するが、時間統合部322は、時系列に生成された環境マップを時間方向に統合してグローバルマップを生成し、グローバルマップを最終的な環境マップとして出力する。
グローバルマップとは、図14の右部で示される、時系列で生成される環境マップM1に対して、図14の左部で示される複数の環境マップM1を重ね合わせて構成されるマップM2である。
環境マップM1は、図中の下部において、カメラ302が上方を撮像していることが示されているが、グローバルマップM2においては、時系列に時刻t1においてカメラ302−1により撮像された画像に基づいて生成された環境マップV1−1、時刻t2においてカメラ302−2により撮像された画像に基づいて生成された環境マップV1−2、および、時刻t3において、カメラ302−3により撮像された画像に基づいて生成された環境マップV1−3が重ね合わせて構成されている。尚、図14の左部においては、環境マップV1−1乃至V1−3は、図14の右部における環境マップM1の画角を示すV1のみをトレースしたものだけを時系列に描いたものであり、実際の環境マップではない。
また、図14の右部における環境マップM1は、図14の左部における環境マップV1−3に対応するものである。
このように環境マップが時系列に貼り合わされるように蓄積されることにより、グローバルマップM2が順次拡張されていく。これにより、例えば、環境マップM1で示されるように、現時刻では、障害物として検出されたセル381は全体としてどのようなものであるのかを認識することができないが、時系列に蓄積されたグローバルマップM2により、セル391のように直線上に配置された静止構造物のようなものとして認識できる。結果として、自己位置や自己の周囲の状況を詳細に認識することが可能となる。
<時間統合部の構成例>
図15は、時間統合部322の構成例を示している。時間統合部322は、グローバル座標変換部401,402、時間統合処理部403、バッファ404、および動物体配置部405を備えている。
グローバル座標変換部401は、動物体としてラベリングされた被写体を自己位置の情報に基づいて、グローバルマップの座標系であるグローバル座標に変換し、時間統合処理部403、および動物体配置部405に出力する。尚、自己位置については、最初の基準の自己位置がわかれば、順次、直前の自己位置からの変化量だけでもよい。
グローバル座標変換部402は、環境マップを自己位置の情報に基づいて、グローバルマップの座標系であるグローバル座標に変換し、時間統合処理部403に出力する。尚、自己位置については、最初の基準の自己位置がわかれば、順次、直前の自己位置からの変化量だけでもよい。
時間統合処理部403は、グローバルマップの座標系に変換された動物体の情報に基づいて、グルーバルマップの座標系に変換された環境マップより動物体のセルを排除してバッファ404に記憶されているグローバルマップ上に追加して蓄積し、バッファ404に記憶させると共に、動物体配置部405に出力する。
時間統合処理部403は、時系列に供給される環境マップをグローバルマップに加えて蓄積する処理を、自己位置を加味して繰り返すことにより統合する。時間統合処理部403における環境マップのグローバルマップへの統合方法は、Bayes理論やDempster Shafer理論、およびKalman filterなどを用いるようにしてもよい。
また、環境マップをグローバルマップに追加して順次蓄積する際、例えば、図16の左部の環境マップM21で示されるように、時刻t−1において、動物体からなるセル391が含まれているものとする。そして、その次の時刻tにおいて、図16の中央部の環境マップM22で示されるように、動物体のセル391に対応する被写体がセル392に移動するものとする。
この環境マップM21,M22をそのまま重ねて蓄積すると、図16の右部の環境マップM23で示されるように、同一の被写体を表現するはずのセル391,392が両方蓄積されてしまい、不適切なグローバルマップを生成してしまう。
そこで、時間統合処理部403は、動物体については、排除して、動きのない動物体以外のセルのみからなる環境マップをグローバルマップに蓄積させる。
動物体配置部405は、時間統合処理部403より供給されるグローバルマップに、動物体ラベルに基づいて、現時刻における環境マップを付加して出力する。この処理により、最新の動物体のセルのみがグローバルマップに反映される。
尚、以上においては、環境マップとして占有格子地図が時系列に蓄積される例について説明してきたが、ラベルxマップについても同様に蓄積し、グローバルマップ状にしてもよい。
<環境マップ生成処理>
次に、図17のフローチャートを参照して、環境マップ生成処理について説明する。
ステップS11において、LiDAR301は、移動方向前方に対して、垂直方向に複数の角度で配置された投光部を、水平方向に回転させながら、水平方向に放射状に投光し、それぞれの投光方向において、レーザ光を投光し、障害物により反射される反射光を受光することで、投光時刻と、反射光の受光時刻との差分となる往復時間より距離を求め、3次元点群の情報としてカメラ画像重畳部311に出力する。
ステップS12において、カメラ画像重畳部311は、図6を参照して説明した手法により、3次元点群の情報より距離画像を生成し、適応環境マッピング部321、およびセマンティックセグメンテーション部312に出力する。
ステップS13において、カメラ302は、移動方向前方のRGB画像を撮像し、セマンティックセグメンテーション部312に出力する。
ステップS14において、セマンティックセグメンテーション部312は、図7を参照して説明した手法により、RGB画像と距離画像とからセマンティクセグメンテーションにより画素単位で被写体の分類結果をセマンティクラベルとして付与し、適応環境マッピング部321、および時間統合部322に出力する。
ステップS15において、適応環境マッピング部321は、適応環境マッピング処理を実行し、距離画像と、セマンティックラベルとに基づいて、現時刻における環境マップを生成して、時間統合部322に出力する。尚、適応環境マッピング処理については、図18のフローチャートを参照して後述する。
ステップS16において、時間統合部322は、時間統合処理を実行して、現時刻における環境マップと、セマンティックラベルとに基づいて、環境マップを順次蓄積して、グローバルマップを生成し、グローバルマップとしての環境マップを出力する。尚、時間統合処理については、図19のフローチャートを参照して後述する。
ステップS17において、終了が指示されたか否かが判定され、終了が指示されていない場合、処理は、ステップS11に戻り、それ以降の処理が繰り返される。そして、ステップS17において、終了が指示された場合、処理は、終了する。
以上の処理により、LiDAR301により生成される3次元点群の情報と、カメラ302により撮像されたRGB画像とから、RGB画像における各画素のうち、LiDAR301により距離情報が求められていない画素については、LiDAR301により求められている距離情報に基づいて、補間生成することが可能となり、全画素に対して距離情報を備えた距離画像を生成することが可能となる。
結果として、高精度の距離情報を付与することが可能となるので、高精細な環境マップを生成することが可能となる。
また、時系列の環境マップが順次蓄積されることにより、グローバルマップが生成されるので、自己位置や自己の周囲の状況を詳細に認識することが可能となる。
<適応環境マッピング処理>
次に、図18のフローチャートを参照して、適応環境マッピング処理について説明する。
ステップS31において、適応環境マッピング部321は、セマンティックラベルの情報に基づいて、路面のラベルが付された領域のRGB画像と、距離画像とを抽出する。
ステップS32において、適応環境マッピング部321は、図8および図9を参照して説明したように、路面のラベルが付された領域の画素について、距離情報が付されていない画素については、距離情報が付された画素の情報を用いて補間生成する。
ステップS33において、適応環境マッピング部321は、路面以外のラベルのうち、未処理のラベルを処理対象ラベルに設定する。
ステップS34において、適応環境マッピング部321は、処理対象ラベルとなる領域内に、有効な距離情報が含まれている画素があるか否かを判定する。すなわち、図10の中央部を参照して説明したように、距離情報を求めたい黒い丸印で示される画素Ipに対して設定された枠W内に、白い丸印で示されるような距離情報を備えた画素が存在する場合、または、図11を参照して説明した水平バーと同一ラベルの領域内に距離情報が含まれている画素がある場合、距離情報が含まれている画素があるとみなされて、処理は、ステップS35に進む。
ステップS35において、適応環境マッピング部321は、処理対象ラベルとなる領域の距離情報を備えていない各画素について、処理対象ラベル内の近傍の距離情報を含む画素の距離情報に基づいて、距離情報を補間生成する。
一方、ステップS34において、適応環境マッピング部321は、処理対象ラベルとなる領域内に、距離情報が含まれている画素が存在しないとみなされた場合、処理は、ステップS36に進む。例えば、図12を参照して説明したセマンティックラベルが空などの場合については、有効な距離情報を含む画素が存在しないものとみなすようにしてもよい。
ステップS36において、適応環境マッピング部321は、処理対象ラベルに設定された領域の鉛直下部が路面に接しているか否かを判定する。
ステップS36において、例えば、図10の右下部で示されるように、人344の領域Z344の鉛直下部が路面341の領域Z341と境界部Cpで接している場合、処理対象ラベルに設定された領域の鉛直下部が路面に接しているとみなされて、処理は、ステップS37に進む。
ステップS37において、適応環境マッピング部321は、処理対象ラベルの領域の画素について、接している路面の距離情報を付加する。
さらに、ステップS36において、処理対象ラベルに設定された領域の鉛直下部が路面に接していないとみなされた場合、処理は、ステップS38に進む。
ステップS38において、適応環境マッピング部321は、処理対象ラベルの領域の画素について、距離情報を未知であることを示す0に設定する。すなわち、適応環境マッピング部321は、図12を参照して説明したように、空に分類されるラベルなどの領域については、未知であることを示す0を設定する。
ステップS39において、適応環境マッピング部321は、未処理のラベルがあるか否かを判定し、未処理のラベルがある場合、処理は、ステップS33に戻る。すなわち、未処理のラベルがなくなるまで、ステップS33乃至S39の処理が繰り返される。
そして、ステップS39において、全てのラベルについて、処理が終了し、未処理のラベルがないとみなされた場合、処理は、ステップS40に進む。
ステップS40において、適応環境マッピング部321は、図13を参照して説明したように、RGB画像に対応する全ての画素について、距離情報が求められた距離画像の情報と、セマンティックラベルとに基づいて、占有格子地図およびラベルマップを環境マップとして生成し、時間統合部322に出力し、処理を終了する。
すなわち、以上の処理により、同一ラベルに分類された領域毎に、距離情報を含まない画素の距離情報を、分類されたラベルに応じて適応的に補間生成することが可能となる。結果として、高精度の距離画像を生成することが可能となり、高精度な環境マップを生成することが可能となる。
<時間統合処理>
次に、図19のフローチャートを参照して、時間統合処理について説明する。
ステップS51において、時間統合部322におけるグローバル座標変換部401は、セマンティックラベルの情報に基づいて、動物体とみなされるラベルのセルの環境マップの座標をグローバル座標に変換して、時間統合処理部403、および動物体配置部405に出力する。
ステップS52において、グローバル座標変換部402は、環境マップの座標をグローバル座標に変換して、時間統合処理部403に出力する。
ステップS53において、時間統合処理部403は、グローバルマップの座標系に変換された動物体の情報に基づいて、グルーバルマップの座標系に変換された環境マップより動物体のセルを排除してバッファ404に記憶されているグローバルマップ上に追加して、同一領域を重ね合わせるように蓄積し、再びバッファ404に記憶させると共に、動物体配置部405に出力する。
ステップS54において、動物体配置部405は、時間統合処理部403より供給されるグローバルマップに、動物体ラベルに基づいて、現時刻における環境マップを付加して出力する。すなわち、現時刻の環境マップに含まれる動物体を表すセルのみがグローバルマップに反映させることが可能となる。
以上の処理により、時系列に生成される環境マップを蓄積することが可能となり、自己位置や自己位置周辺の状況が認識し易いグローバルマップを生成することが可能となり、最終的な環境マップとして出力することが可能となる。
以上の如く、カメラ302が得意とする空間解像度と画像認識精度とを生かして、LiDAR301が苦手とする空間解像度の弱点を補い、カメラ302が苦手とする距離精度をLiDAR301で補うようにすることで、高精細な距離画像を生成することが可能となり、高精細な環境マップを生成することが可能となる。
<<2.ソフトウェアにより実行させる例>>
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図20は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図20におけるCPU1001が、図4における自動運転制御部110の機能を実現させる。また、図20における記憶部1008が、図4における記憶部109を実現する。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
<1> 撮像された被写体の種別に応じてラベリングするラベリング部と、
離散的に配置された測距点における測距情報を得る測距部と、
前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と
を含む信号処理装置。
<2> 前記ラベリング部は、セマンティックセグメンテーションにより、前記画像内の領域を被写体の種別に応じてラベリングする
<1>に記載の信号処理装置。
<3> 前記測距部は、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToF(Time of Flight)カメラ、または、ステレオカメラである
<1>または<2>に記載の信号処理装置。
<4> 前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の垂直に長い枠内の測距情報を用いて、前記距離情報を補間生成する
<1>乃至<3>のいずれかに記載の信号処理装置。
<5> 前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の測距情報を用いて、前記距離情報を補間生成する位置の周辺の平面を特定し、前記平面を用いて距離情報を補間生成する
<1>に記載の信号処理装置。
<6> 前記補間生成部は、路面にラベリングされた被写体の、前記距離情報を補間生成しようとする位置から近い、少なくとも3点の測距情報を用いて、前記距離情報を補間生成する位置の周辺を構成する平面を特定し、前記平面を用いて距離情報を補間生成する
<5>に記載の信号処理装置。
<7> 前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において前記路面にラベリングされた被写体との境界が存在するとき、前記境界における前記路面にラベリングされた被写体の測距情報を補間結果として用いる
<6>に記載の信号処理装置。
<8> 前記補間生成部は、前記測距情報に基づいて、前記距離情報が補間された距離情報からなる距離画像に基づいて、占有格子地図を生成する
<5>に記載の信号処理装置。
<9> 前記占有格子地図を蓄積し、時間の経過に伴って統合する時間統合部をさらに含む
<8>に記載の信号処理装置。
<10> 前記時間統合部は、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合する
<9>に記載の信号処理装置。
<11> 前記時間統合部は、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合した後、最新の前記動物体の情報を含む前記占有格子地図の情報を付加して出力する
<9>に記載の信号処理装置。
<12> 前記補間生成部は、前記ラベリング部によるラベリング結果に基づいて、ラベルマップを生成する
<5>に記載の信号処理装置。
<13> 撮像された被写体の種別に応じてラベリングし、
離散的に配置された測距点における測距情報を取得し、
ラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する
処理を含む信号処理方法。
<14> 撮像された被写体の種別に応じてラベリングするラベリング部と、
離散的に配置された測距点における測距情報を得る測距部と、
前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と
を含む処理をコンピュータに実行させるプログラム。
<15> 撮像された被写体の種別に応じてラベリングするラベリング部と、
離散的に配置された測距点における測距情報を得る測距部と、
前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と、
前記補間生成部により生成された距離情報に基づいて、環境マップを生成する環境マッピング部と、
前記環境マップに基づいて行動計画を生成する計画部と、
生成された前記行動計画に基づいて移動体の動作を制御する制御部と
を含む移動体。
91 移動体, 100 移動体制御システム, 102 データ取得部, 110 自動運転制御部, 141 移動体外部情報検出部, 152 状況認識部, 301 LiDAR, 302 カメラ, 311 カメラ画像重畳部, 312 セマンティックセグメンテーション部, 321 環境マッピング部, 322 時間統合部, 401,402 グローバル座標変換部, 403 時間統合部, 404 バッファ, 405 動物体配置部

Claims (12)

  1. 撮像された被写体の種別に応じてラベリングするラベリング部と、
    LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToF(Time of Flight)カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、
    前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部とを含み、
    前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する
    信号処理装置。
  2. 前記ラベリング部は、セマンティックセグメンテーションにより、被写体の種別に応じてラベリングする
    請求項1に記載の信号処理装置。
  3. 前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の垂直に長い枠内の測距情報を用いて、前記距離情報を補間生成する
    請求項1に記載の信号処理装置。
  4. 前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体の測距情報を用いて、前記距離情報を補間生成する位置の周辺の平面を特定し、前記平面を用いて距離情報を補間生成する
    請求項1に記載の信号処理装置。
  5. 前記補間生成部は、前記路面にラベリングされた被写体の、前記距離情報を補間生成しようとする位置から近い、少なくとも3点の測距情報を用いて、前記距離情報を補間生成する位置の周辺を構成する平面を特定し、前記平面を用いて距離情報を補間生成する
    請求項に記載の信号処理装置。
  6. 前記占有格子地図を蓄積し、時間の経過に伴って統合する時間統合部をさらに含む
    請求項に記載の信号処理装置。
  7. 前記時間統合部は、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合する
    請求項に記載の信号処理装置。
  8. 前記時間統合部は、前記占有格子地図に含まれる動物体の情報を除去して蓄積し、時間の経過に伴って統合した後、最新の前記動物体の情報を含む前記占有格子地図の情報を付加して出力する
    請求項に記載の信号処理装置。
  9. 前記補間生成部は、前記ラベリング部によるラベリング結果に基づいて、ラベルマップを生成する
    請求項に記載の信号処理装置。
  10. 撮像された被写体の種別に応じてラベリングし、
    LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToF(Time of Flight)カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を取得し、
    ラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する処理を含み、
    前記ラベリング結果において、所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する
    信号処理方法。
  11. 撮像された被写体の種別に応じてラベリングするラベリング部と、
    LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToF(Time of Flight)カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、
    前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と
    を含む処理をコンピュータに実行させ
    前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成す
    プログラム。
  12. 撮像された被写体の種別に応じてラベリングするラベリング部と、
    LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToF(Time of Flight)カメラによって測定された測距情報で、離散的に配置された測距点における測距情報を得る測距部と、
    前記ラベリング部によるラベリング結果に基づいて、同一の種別にラベリングされた被写体上の隣接する前記測距点間の距離情報を補間生成する補間生成部と、
    前記補間生成部により生成された距離情報に基づいて、環境マップを生成する環境マッピング部と、
    前記環境マップに基づいて行動計画を生成する計画部と、
    生成された前記行動計画に基づいて移動体の動作を制御する制御部と
    を含み、
    前記補間生成部は、前記ラベリング部によるラベリング結果が所定の種別にラベリングされた被写体に、前記距離情報を補間生成するための測距情報が存在しない場合、前記被写体における鉛直下部において路面にラベリングされた被写体との境界が存在するとき、前記離散的に配置された測距点における測距情報に基づいて生成された、前記路面にラベリングされた被写体との前記境界における測距情報に基づいて、前記距離情報を補間生成し、補間生成された前記距離情報からなる距離画像に基づいて、占有格子地図を生成する
    移動体。
JP2017149686A 2017-08-02 2017-08-02 信号処理装置、および信号処理方法、プログラム、並びに移動体 Active JP6984215B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017149686A JP6984215B2 (ja) 2017-08-02 2017-08-02 信号処理装置、および信号処理方法、プログラム、並びに移動体
PCT/JP2018/028415 WO2019026832A1 (en) 2017-08-02 2018-07-30 GENERATING AN ENVIRONMENT CARD AROUND A MOBILE OBJECT WITH GREAT PRECISION
US16/633,593 US11543532B2 (en) 2017-08-02 2018-07-30 Signal processing apparatus, signal processing method, program, and mobile object for map generation baded on LiDAR and image processing
EP18762638.7A EP3662446B1 (en) 2017-08-02 2018-07-30 Generating an environment map around a mobile object with high accuracy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017149686A JP6984215B2 (ja) 2017-08-02 2017-08-02 信号処理装置、および信号処理方法、プログラム、並びに移動体

Publications (2)

Publication Number Publication Date
JP2019028861A JP2019028861A (ja) 2019-02-21
JP6984215B2 true JP6984215B2 (ja) 2021-12-17

Family

ID=63449623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017149686A Active JP6984215B2 (ja) 2017-08-02 2017-08-02 信号処理装置、および信号処理方法、プログラム、並びに移動体

Country Status (4)

Country Link
US (1) US11543532B2 (ja)
EP (1) EP3662446B1 (ja)
JP (1) JP6984215B2 (ja)
WO (1) WO2019026832A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343107B (zh) * 2017-08-07 2023-03-24 广东轻工职业技术学院 一种能自动识别移动终端前方障碍物的装置的方法
DE102017122440A1 (de) * 2017-09-27 2019-03-28 Valeo Schalter Und Sensoren Gmbh Verfahren zum Lokalisieren und Weiterbilden einer digitalen Karte durch ein Kraftfahrzeug; Lokalisierungseinrichtung
US11067693B2 (en) * 2018-07-12 2021-07-20 Toyota Research Institute, Inc. System and method for calibrating a LIDAR and a camera together using semantic segmentation
EP3855215A4 (en) * 2018-09-18 2021-11-10 Panasonic Intellectual Property Management Co., Ltd. DEPTH ACQUISITION DEVICE, DEPTH ACQUISITION PROCESS AND PROGRAM
WO2020217377A1 (ja) * 2019-04-25 2020-10-29 三菱電機株式会社 移動量推定装置、移動量推定方法、および移動量推定プログラム
JP7223629B2 (ja) * 2019-05-13 2023-02-16 日立Astemo株式会社 車載システム、外界認識センサ、電子制御装置
CN112313534A (zh) * 2019-05-31 2021-02-02 深圳市大疆创新科技有限公司 一种多通道激光雷达点云插值的方法和测距装置
CN112017239B (zh) * 2019-05-31 2022-12-20 北京市商汤科技开发有限公司 确定目标对象朝向方法、智能驾驶控制方法和装置及设备
US11240426B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Pulsed illumination in a hyperspectral, fluorescence, and laser mapping imaging system
JP2021010970A (ja) * 2019-07-05 2021-02-04 京セラドキュメントソリューションズ株式会社 ロボットシステム及びロボット制御方法
JP7265441B2 (ja) * 2019-07-25 2023-04-26 株式会社Soken 画像認識装置および画像認識方法
JP7269694B2 (ja) * 2019-08-13 2023-05-09 Kddi株式会社 事象発生推定のための学習データ生成方法・プログラム、学習モデル及び事象発生推定装置
JP7120181B2 (ja) * 2019-08-22 2022-08-17 トヨタ自動車株式会社 物体認識装置
CN110456371B (zh) * 2019-08-28 2022-07-22 上海禾赛科技有限公司 一种激光雷达***及相关测量方法
WO2021048985A1 (ja) * 2019-09-12 2021-03-18 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法、及び、プログラム
JP7272197B2 (ja) * 2019-09-13 2023-05-12 株式会社豊田自動織機 位置姿勢推定装置
JP7151676B2 (ja) * 2019-09-23 2022-10-12 株式会社デンソー 物体認識装置及び物体認識プログラム
JP7344743B2 (ja) * 2019-10-09 2023-09-14 日産自動車株式会社 占有マップの作成方法、及び、占有マップの作成装置
JP7288393B2 (ja) 2019-11-28 2023-06-07 株式会社日立製作所 演算システム、演算方法
US11180080B2 (en) * 2019-12-13 2021-11-23 Continental Automotive Systems, Inc. Door opening aid systems and methods
JP7384083B2 (ja) * 2020-03-19 2023-11-21 株式会社明電舎 トロリ線検測装置及びトロリ線検測方法
WO2021192032A1 (ja) 2020-03-24 2021-09-30 三菱電機株式会社 情報処理装置及び情報処理方法
US11527076B2 (en) * 2020-03-26 2022-12-13 Baidu Usa Llc Point cloud-based low-height obstacle detection system
CN111486855B (zh) * 2020-04-28 2021-09-14 武汉科技大学 一种具有物体导航点的室内二维语义栅格地图构建方法
US20220185324A1 (en) * 2020-12-10 2022-06-16 Motional Ad Llc Merging LiDAR Information and Camera Information
CN112528974B (zh) * 2021-02-08 2021-05-14 成都睿沿科技有限公司 测距方法、装置、电子设备及可读存储介质
US20240157245A1 (en) * 2021-03-22 2024-05-16 Sony Group Corporation Information processing apparatus, information processing method, and program
DE112022002520T5 (de) * 2021-05-11 2024-06-13 Ssy.Ai Inc Verfahren zur automatischen Kalibrierung von Kameras und Erstellung von Karten
US11274921B1 (en) * 2021-06-22 2022-03-15 Walz Scale Payload measurement system and method
US12003763B2 (en) * 2021-07-02 2024-06-04 Bitmovin, Inc. Per-title encoding using spatial and temporal resolution downscaling
US11810049B2 (en) * 2021-08-20 2023-11-07 Ford Global Technologies, Llc Systems and methods to generate a last mile travel route for a delivery robot
WO2023062862A1 (ja) * 2021-10-13 2023-04-20 パナソニックIpマネジメント株式会社 データ処理装置およびデータ処理方法
JP7412665B2 (ja) * 2022-01-24 2024-01-12 三菱電機株式会社 Slam装置、slam攻撃対策プログラムおよび自律型モビリティ
WO2023157621A1 (ja) * 2022-02-15 2023-08-24 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP7392221B2 (ja) * 2022-03-29 2023-12-06 防衛装備庁長官 物体認識システム
TWI816387B (zh) * 2022-05-05 2023-09-21 勝薪科技股份有限公司 語意距離地圖的建構方法及其相關移動裝置
WO2023219058A1 (ja) * 2022-05-13 2023-11-16 ソニーグループ株式会社 情報処理方法、情報処理装置及び情報処理システム
JP2024017636A (ja) * 2022-07-28 2024-02-08 株式会社小糸製作所 データ生成方法、データ生成システム、制御装置及びプログラム
CN115290098B (zh) * 2022-09-30 2022-12-23 成都朴为科技有限公司 一种基于变步长的机器人定位方法和***

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4857840B2 (ja) 2006-03-22 2012-01-18 日産自動車株式会社 物体検出方法および物体検出装置
JP5380789B2 (ja) * 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8737769B2 (en) * 2010-11-26 2014-05-27 Microsoft Corporation Reconstruction of sparse data
CN105849585B (zh) * 2013-12-26 2017-10-13 株式会社日立制作所 物体识别装置
JP2016134090A (ja) * 2015-01-21 2016-07-25 株式会社東芝 画像処理装置及びそれを用いた運転支援システム
JP6458577B2 (ja) * 2015-03-19 2019-01-30 トヨタ自動車株式会社 画像測距装置
CN205671994U (zh) * 2015-12-16 2016-11-09 小米科技有限责任公司 自动清洁设备
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
CN105982621B (zh) * 2016-04-14 2019-12-13 北京小米移动软件有限公司 自动清洁设备的风路结构和自动清洁设备
US10210411B2 (en) * 2017-04-24 2019-02-19 Here Global B.V. Method and apparatus for establishing feature prediction accuracy

Also Published As

Publication number Publication date
EP3662446A1 (en) 2020-06-10
WO2019026832A1 (en) 2019-02-07
US11543532B2 (en) 2023-01-03
JP2019028861A (ja) 2019-02-21
EP3662446B1 (en) 2022-03-16
US20200209401A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7351293B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7103359B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
JP7259749B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
US20200409387A1 (en) Image processing apparatus, image processing method, and program
US20220036043A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
JP7497298B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20220292296A1 (en) Information processing device, information processing method, and program
US20220397675A1 (en) Imaging systems, devices and methods
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
US20240071122A1 (en) Object recognition method and time-of-flight object recognition circuitry
US11987271B2 (en) Information processing apparatus, information processing method, mobile-object control apparatus, and mobile object
CN115128566A (zh) 雷达数据确定电路及雷达数据确定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211108

R151 Written notification of patent or utility model registration

Ref document number: 6984215

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151