JP2019211900A - 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 - Google Patents
物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 Download PDFInfo
- Publication number
- JP2019211900A JP2019211900A JP2018106087A JP2018106087A JP2019211900A JP 2019211900 A JP2019211900 A JP 2019211900A JP 2018106087 A JP2018106087 A JP 2018106087A JP 2018106087 A JP2018106087 A JP 2018106087A JP 2019211900 A JP2019211900 A JP 2019211900A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- viewpoint
- warp
- coordinate system
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000006243 chemical reaction Methods 0.000 claims abstract description 147
- 238000003384 imaging method Methods 0.000 claims abstract description 74
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 78
- 238000013527 convolutional neural network Methods 0.000 claims description 59
- 238000011176 pooling Methods 0.000 claims description 48
- 238000000605 extraction Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 32
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 13
- 239000010410 layer Substances 0.000 description 97
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 31
- 240000004050 Pentaglottis sempervirens Species 0.000 description 16
- 241000905137 Veronica schmidtiana Species 0.000 description 15
- 238000004590 computer program Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】物体をより適切に把握可能な物体識別装置を提供する。【解決手段】物体識別装置としてのECUは、車両に搭載された撮像部と通信可能に接続され、車両の外界の物体を識別する。ECUは、撮像部が撮影した画像を取得する画像取得部と、画像取得部が取得した画像のデータが畳み込みニューラルネットワークを経て、画像を撮影視点とは別の視点に変換した視点変換マップMBを出力する視点変換マップ生成部60と、を備える。視点変換マップ生成部60は、画像のデータに、畳み込み演算を適用し、撮像座標系における物体の特徴マップを抽出するエンコーダ部61と、鳥瞰座標系の位置が、撮像座標系のどの位置に対応しているかを関係付けるワープ関数を、エンコーダ部61により抽出された特徴マップに適用し、鳥瞰座標系の領域における物体が識別された視点変換マップMBを出力するワープ適用部65及びデコーダ部66と、を有する。【選択図】図10
Description
この明細書による開示は、物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置に関する。
従来技術として、例えば特許文献1は、先進運転支援システムに用いられる画像認識方法として、撮像部で撮影した入力画像を畳み込みニューラルネットワークに入力し、入力画像中の物体(認識対象)の中央領域を推定させ、当該中央領域を示す値を出力させる方法を開示している。
特許文献1では、上述の方法により、画像上で一部重なっている複数の物体をそれぞれ正しく識別することが可能とされている。しかしながら、特許文献1では、撮像部の撮影視点に撮影座標系において物体を認識するものであり、このような手法で認識された物体は、奥行き等の位置(又は複数の物体の位置関係)を把握し難い。このため、識別された物体の位置をより把握し易くすることが求められている。
開示されるひとつの目的は、物体をより適切に把握可能な物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置を提供することにある。
ここに開示された物体識別装置は、移動体(1)に搭載された撮像部(10)と通信可能に接続され、移動体の外界の物体を識別する物体識別装置であって、
撮像部が所定の撮影視点(PVP)から撮影した外界の画像(IM)を取得する画像取得部(40a)と、
畳み込みニューラルネットワークを構成し、画像取得部が取得した画像のデータが畳み込みニューラルネットワークに入力され、畳み込みニューラルネットワークを経て、画像を撮影視点とは別の視点に変換した視点変換マップ(MB)を出力する視点変換マップ生成部(60,260)と、を備え、
視点変換マップ生成部は、
画像のデータに、畳み込みニューラルネットワークの畳み込み演算を適用し、撮影視点に基づく第1座標系(CV)における物体の特徴マップを抽出する特徴抽出処理部(61,261,266)と、
別の視点に基づく第2座標系(CB)の位置が、第1座標系のどの位置に対応しているかを関係付けるワープ関数を、特徴抽出処理部により抽出された特徴マップに適用し、第2座標系の領域における物体が識別された視点変換マップを出力する出力処理部(65,66,271)と、を有する。
撮像部が所定の撮影視点(PVP)から撮影した外界の画像(IM)を取得する画像取得部(40a)と、
畳み込みニューラルネットワークを構成し、画像取得部が取得した画像のデータが畳み込みニューラルネットワークに入力され、畳み込みニューラルネットワークを経て、画像を撮影視点とは別の視点に変換した視点変換マップ(MB)を出力する視点変換マップ生成部(60,260)と、を備え、
視点変換マップ生成部は、
画像のデータに、畳み込みニューラルネットワークの畳み込み演算を適用し、撮影視点に基づく第1座標系(CV)における物体の特徴マップを抽出する特徴抽出処理部(61,261,266)と、
別の視点に基づく第2座標系(CB)の位置が、第1座標系のどの位置に対応しているかを関係付けるワープ関数を、特徴抽出処理部により抽出された特徴マップに適用し、第2座標系の領域における物体が識別された視点変換マップを出力する出力処理部(65,66,271)と、を有する。
また、開示された移動体用システムは、移動体(1)に用いられる移動体システムであって、
移動体に搭載され、所定の撮影視点(PVP)から移動体の外界を撮影して画像(IM)を生成する撮像部(10)と、
撮像部と通信可能に接続され、移動体の外界の物体を識別する物体識別装置(40)と、を具備し、
物体識別装置は、畳み込みニューラルネットワークを構成し、画像のデータが畳み込みニューラルネットワークに入力され、畳み込みニューラルネットワークを経て、画像を撮影視点とは別の視点に変換した視点変換マップ(MB)を出力する視点変換マップ生成部(60)を、備え、
視点変換マップ生成部は、
画像のデータに、畳み込みニューラルネットワークの畳み込み演算を適用し、撮影視点に基づく第1座標系(CV)における物体の特徴マップを抽出する特徴抽出処理部(61,261,266)と、
別の視点に基づく第2座標系(CB)の位置が、第1座標系のどの位置に対応しているかを関係付けるワープ関数を、特徴抽出処理部により抽出された特徴マップに適用し、第2座標系の領域における物体が識別された視点変換マップを出力する出力処理部(65,66,271)と、を有する。
移動体に搭載され、所定の撮影視点(PVP)から移動体の外界を撮影して画像(IM)を生成する撮像部(10)と、
撮像部と通信可能に接続され、移動体の外界の物体を識別する物体識別装置(40)と、を具備し、
物体識別装置は、畳み込みニューラルネットワークを構成し、画像のデータが畳み込みニューラルネットワークに入力され、畳み込みニューラルネットワークを経て、画像を撮影視点とは別の視点に変換した視点変換マップ(MB)を出力する視点変換マップ生成部(60)を、備え、
視点変換マップ生成部は、
画像のデータに、畳み込みニューラルネットワークの畳み込み演算を適用し、撮影視点に基づく第1座標系(CV)における物体の特徴マップを抽出する特徴抽出処理部(61,261,266)と、
別の視点に基づく第2座標系(CB)の位置が、第1座標系のどの位置に対応しているかを関係付けるワープ関数を、特徴抽出処理部により抽出された特徴マップに適用し、第2座標系の領域における物体が識別された視点変換マップを出力する出力処理部(65,66,271)と、を有する。
これらの態様によると、撮像部が撮影した画像が畳み込みニューラルネットワークを経て、当該画像を撮影視点とは別の視点に基づく視点変換マップが出力される。視点変換マップを参照することで、移動体に搭載された撮像部の撮影視点にとらわれずに物体を識別することができるので、識別された物体の位置の把握は、容易なものとなる。
このような視点変換マップの生成において、画像のデータに畳み込み演算を適用して得られた撮影視点に基づく第1座標系の特徴マップに、別の視点に基づく第2座標系の位置が、第1座標系のどの位置に対応しているかを関係づけるワープ関数を適用する。ワープ関数の適用によって、第1座標系での局所的な関係性を演算する畳み込み演算を、補完するように、第2座標系の領域での物体の識別を行なうことができるので、ニューラルネットワーク構造が深くなり過ぎることを抑制しつつ、物体の識別における汎化性能を向上させることができる。以上により、移動体の外界の物体をより適切に把握可能な物体識別装置又は移動体用システムを提供することができる。
また、開示された物体識別方法は、撮影視点(PVP)から物体が撮影された撮影画像(IM)のデータを畳み込みニューラルネットワークに入力し、撮影画像のデータに畳み込み演算を適用して、撮影視点に基づく第1座標系(CV)における特徴マップを抽出することと、
撮影視点とは別の視点に基づく第2座標系(CB)の位置が、第1座標系のどの位置に対応しているかを関連付けるワープ関数を、特徴マップに適用することと、
ワープ関数が適用された特徴マップに基づいて、撮影画像のデータが撮影視点から別の視点に変換されていると共に、物体が識別された視点変換マップ(MB)を得ることと、を含む。
撮影視点とは別の視点に基づく第2座標系(CB)の位置が、第1座標系のどの位置に対応しているかを関連付けるワープ関数を、特徴マップに適用することと、
ワープ関数が適用された特徴マップに基づいて、撮影画像のデータが撮影視点から別の視点に変換されていると共に、物体が識別された視点変換マップ(MB)を得ることと、を含む。
このような態様によると、画像のデータに畳み込み演算を適用して得られた撮影視点に基づく第1座標系の特徴マップに、別の視点に基づく第2座標系の位置が、第1座標系のどの位置に対応しているかを関係づけるワープ関数を適用する。ワープ関数の適用によって、第1座標系での局所的な関係性を演算する畳み込み演算を、補完するように、第2座標系の領域での物体の識別を行なうことができるので、ニューラルネットワーク構造が深くなり過ぎることを抑制しつつ、物体の識別における汎化性能を向上させることができる。したがって、ワープ関数が適用された特徴マップに基づいて得られたマップであって、撮影視点から別の視点において物体が識別された視点変換マップは、より信頼性の高いものとなる。
また、開示された物体識別モデルの学習方法は、畳み込みニューラルネットワークと、畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造と、を構成する物体識別モデルにおいて、別の座標系(CB)の位置が、ワープ前の座標系(CV)のどの位置に対応しているかを関係付けるためのワープパラメータをワープ構造に用意することと、
物体識別モデルに物体が撮影された撮影画像(IM)を入力すると、別の座標系において物体が識別された視点変換マップ(MB)が出力されるように、ワープパラメータを学習させることと、を含む。
物体識別モデルに物体が撮影された撮影画像(IM)を入力すると、別の座標系において物体が識別された視点変換マップ(MB)が出力されるように、ワープパラメータを学習させることと、を含む。
このような態様によると、別の座標系の位置が、ワープ前の座標系のどの位置に対応しているかを関係付けるためのワープパラメータを学習させるので、物体識別モデルにおいて出力されるマップを、ワープ前の座標系から、別の座標系へと、円滑に変換することができる。こうして視点変換マップを参照することで、撮影画像の撮影視点にとらわれずに物体を識別することができる。故に、物体をより適切に把握可能な物体識別モデルを実現することができる。
また、開示された物体識別モデルの学習装置は、物体識別モデル(83)を学習する学習装置であって、
畳み込みニューラルネットワークと、畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造と、を構成する物体識別モデルの演算処理を実行可能に構成された演算回路(81)と、
撮影視点(PVP)から物体が撮影された撮影画像(IM)のデータと、撮影視点とは別の視点に基づく座標系(CB)において物体が識別された出力マップ(MB)のデータとの組を、設定する教師データ設定部(84)と、
撮影画像を物体識別モデルに入力した場合に、正解データにより近いデータを出力するように、畳み込みニューラルネットワークのカーネルに用いるカーネルのパラメータ及びワープ構造に用いるワープパラメータを学習する学習部(85)と、
学習部が学習したカーネルのパラメータ及びワープパラメータを、記憶するためのメモリ装置(82)と、を備える。
畳み込みニューラルネットワークと、畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造と、を構成する物体識別モデルの演算処理を実行可能に構成された演算回路(81)と、
撮影視点(PVP)から物体が撮影された撮影画像(IM)のデータと、撮影視点とは別の視点に基づく座標系(CB)において物体が識別された出力マップ(MB)のデータとの組を、設定する教師データ設定部(84)と、
撮影画像を物体識別モデルに入力した場合に、正解データにより近いデータを出力するように、畳み込みニューラルネットワークのカーネルに用いるカーネルのパラメータ及びワープ構造に用いるワープパラメータを学習する学習部(85)と、
学習部が学習したカーネルのパラメータ及びワープパラメータを、記憶するためのメモリ装置(82)と、を備える。
このような態様によると、物体識別モデルを学習させるにあたり、畳み込みニューラルネットワークと、畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造とを構成する物体識別モデルの演算処理を実行可能に構成された演算回路を設け、この演算回路を利用するようにした。ここで、撮影画像を当該物体識別モデルに入力した場合に、正解データにより近いデータを出力するように、カーネルのパラメータとワープパラメータを学習し、学習後にメモリ装置に記憶可能とした。したがって、ワープ構造を含む物体識別モデルの学習を、円滑に行なうことができるので、より汎化性能の高い学習モデルとして物体識別モデルを構築可能となる。以上により、物体をより適切に把握可能な物体識別モデルを実現することは、容易に可能となる。
また、開示された物体識別装置は、移動体(1)に搭載されたカメラ(11)と通信可能に接続され、移動体の外界の物体を識別する物体識別装置であって、
カメラと接続され、カメラが撮影した外界の画像(IM)を取得する画像取得部(40a)と、
学習値が保存された学習値メモリ(51)と、
学習値メモリからカーネルパラメータを読み込んで、複数の特徴量抽出ユニット(62a〜e)を備えるエンコーダ部(61)と、複数の識別ユニット(67a〜e)を備えるデコーダ部(66)とからなる畳み込みニューラルネットワークを構成し、エンコーダ部によって、画像取得部が取得した画像のデータから物体の特徴量の特徴マップを抽出し、学習値メモリからワープパラメータを読み込んで、複数の識別ユニットに対応する複数のワープ関数を作成し、特徴マップに複数のワープ関数を適用してそれぞれ対応する識別ユニットに読み込ませることにより、デコーダ部によってカメラが撮影した視点とは別の視点に変換した視点変換マップ(MB)を生成する演算装置(60)と、を有する物体識別装置。
カメラと接続され、カメラが撮影した外界の画像(IM)を取得する画像取得部(40a)と、
学習値が保存された学習値メモリ(51)と、
学習値メモリからカーネルパラメータを読み込んで、複数の特徴量抽出ユニット(62a〜e)を備えるエンコーダ部(61)と、複数の識別ユニット(67a〜e)を備えるデコーダ部(66)とからなる畳み込みニューラルネットワークを構成し、エンコーダ部によって、画像取得部が取得した画像のデータから物体の特徴量の特徴マップを抽出し、学習値メモリからワープパラメータを読み込んで、複数の識別ユニットに対応する複数のワープ関数を作成し、特徴マップに複数のワープ関数を適用してそれぞれ対応する識別ユニットに読み込ませることにより、デコーダ部によってカメラが撮影した視点とは別の視点に変換した視点変換マップ(MB)を生成する演算装置(60)と、を有する物体識別装置。
このような態様によると、学習値が保存された学習値メモリから、カーネルパラメータを読み込んで、エンコーダ部とデコーダ部とからなる畳み込みニューラルネットワークが構成される。そして、学習値メモリからワープパラメータを読み込んで、デコーダ部の複数の識別ユニットに対応する複数のワープ関数が作成される。特徴マップへの複数のワープ関数の適用においては、局所的な関係性を考慮して演算が適用される畳み込みニューラルネットワークを補完するように、デコーダ部の識別ユニットに、別の視点に基づいた局所的な関係性を考慮させるように、ワープ関数が作用する。この結果、デコーダ部での識別過程での別の視点に基づいた局所的な関係性が十分に反映された視点変換マップを出力することができる。
なお、括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。
以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
(第1実施形態)
本開示の第1実施形態による移動体用システムは、図1に示すように、移動体としての車両に用いられる車両システム9であって、当該車両1に搭載されている。ここでいう車両1とは、他車両4と区別する上では、厳密には自車両を意味しているが、以下の説明において、自車両を単に「車両」と記載し(一部の例外を除く)、他車両を「他車両」と記載することとする。車両システム9は、撮像部10、自律センサ部15、HMI機器部20、車両走行制御部30、及びECU(Electronic Control Unit)40等により構成されている。
本開示の第1実施形態による移動体用システムは、図1に示すように、移動体としての車両に用いられる車両システム9であって、当該車両1に搭載されている。ここでいう車両1とは、他車両4と区別する上では、厳密には自車両を意味しているが、以下の説明において、自車両を単に「車両」と記載し(一部の例外を除く)、他車両を「他車両」と記載することとする。車両システム9は、撮像部10、自律センサ部15、HMI機器部20、車両走行制御部30、及びECU(Electronic Control Unit)40等により構成されている。
撮像部10は、複数のカメラ11を有している。各カメラ11は、撮像素子、レンズ、及び制御部としての回路ユニット12を有している。撮像素子は、光電変換により光を電気信号に変換する素子であり、例えばCCDイメージセンサないしはCMOSイメージセンサを採用することができる。撮像素子は、画素を2次元に配列した矩形状の領域を形成している。レンズは、撮影対象を撮像素子上に結像させるために、撮像対象と撮影素子との間に配置されている。
回路ユニット12は、少なくとも1つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路である。プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラム及びデータを非一時的に格納するための非遷移的実体的記憶媒体である。回路ユニット12は、撮像素子と電気的に接続されていることにより、撮像素子を制御すると共に、画像IMを各画素の検出結果からなるデータとして生成し、ECU40へ向けて当該データを電気信号として出力する。
このようにして、撮像部10の各カメラ11は、車両1の外界を、その配置に基づく所定の撮影視点PVPから逐次撮影して画像IMのデータを生成する。本実施形態では、複数のカメラ11は、互いに異なる撮影視点PVPにて、車両1の外界のうち互いに異なる方向を撮影するようになっている。複数のカメラ11には、車両1のフロント部に配置され、車両1の外界のうち前方を撮影するカメラ11が含まれている(図5も参照)。
自律センサ部15は、撮像部10を補助するように、車両1の外界における歩行者、他車両4、路上の落下物、交通信号、ガードレール、縁石、道路標識、道路表示、及び区画線等の物体を検出する。自律センサ部15は、例えばライダユニット、ミリ波レーダ、ソナー等のうち少なくとも1つの自律センサを有している。自律センサ部15は、ECU40と通信可能となっていることにより、各自律センサ部15の検出結果データを、ECU40へ向けて電気信号として出力する。
HMI機器部20は、HMI(Human Machine Interface)を実現するための機器群を主体として構成されている。具体的にHMI機器部20は、情報提示部21、警報部22及び振動部23を有している。
情報提示部21は、主に視覚的情報を車両1の乗員へ向けて提示する。情報提示部21は、例えば画像を表示する表示器を備えたコンビネーションメータ、画像を車両1のウインドシールド等に投影して虚像表示するヘッドアップディスプレイ、ナビゲーション画像を表示可能に構成されたカーナビゲーション用ディスプレイ等のうち、少なくとも1つのディスプレイを有している。情報提示部21は、ECU40と通信可能となっていることにより、ECU40からの電気信号の入力に応じた視覚的情報の提供を行なう。
警報部22は、車両1の乗員へ向けた警報を行なう。警報部22は、例えばスピーカ、ブザー等のうち、少なくとも1つの音発振装置を有している。警報部22は、ECU40と通信可能となっていることにより、ECU40からの電気信号の入力に応じた警報を行なう。
振動部23は、車両1の乗員へ向けて振動による情報提供又は警報を行なう。振動部23は、例えば車両1の操舵ハンドルを振動させるアクチュエータ、乗員が着座する座席を振動させるアクチュエータ等のうち、少なくとも1つのアクチュエータを有している。振動部23は、ECU40と通信可能となっていることにより、ECU40から電気信号の入力に応じた振動を行なう。
また、上記HMI機器部20には、情報提示部21、警報部22及び振動部23を制御する制御部としての回路ユニット20aを設けることができる。回路ユニット20aは、少なくとも1つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路である。プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラム及びデータを非一時的に格納するための非遷移的実体的記憶媒体である。回路ユニット20aは、ECU40からの電気信号を、情報提示部21、警報部22及び振動部23に対応した信号に変換することができ、後に詳述する情報提示処理及び警報処理の一部を分担することができる。
車両走行制御部30は、少なくとも1つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路として構成されている。プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラム及びデータを非一時的に格納するための非一時的実体的記憶媒体である。車両走行制御部30は、ECU40、車両1の駆動装置、制動装置及び操舵装置と通信可能となっていることにより、ECU40からの電気信号が入力されるようになっていると共に、車両1の駆動装置、制動装置及び操舵装置へ向けて電気信号を出力するようになっている。
車両走行制御部30は、コンピュータプログラムの実行により発現される機能ブロックとして、自動運転制御部31、駆動制御部32、制動制御部33及び操舵制御部34を有している。
自動運転制御部31は、車両1の運転操作のうち少なくとも一部範囲を乗員としての運転者から代行可能な自動運転機能を備えている。自動運転制御部31は、自動運転機能が作動している場合に、ECU40の統合メモリ52(詳細は後述)から自動運転に有用な情報を取得し、当該情報を利用して、車両1の自動運転制御を実施する。具体的に、自動運転制御部31は、駆動制御部32を介して車両1の駆動装置を制御し、制動制御部33を介して車両1の制動装置を制御し、操舵制御部34を介して車両1の操舵装置を制御する。自動運転制御部31は、駆動装置、制動装置及び操舵装置を互いに連携させて、車両1の走行を制御し、車両1の外界の状況によっては、当該車両1に来襲し得る危険を回避する。
ECU40は、いわゆるコンピュータであり、車両1の外界における物体を識別する物体識別装置として機能している。ECU40は、図2に示すように、少なくとも1つのプロセッサ40b、メモリ装置40c、入出力インターフェース(例えば画像取得部40a)を含む電子回路を主体として構成されている。プロセッサ40bは、メモリ装置40cに記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置40cは、例えば半導体メモリ等によって提供され、プロセッサ40bによって読み取り可能なコンピュータプログラム及びデータを非一時的に格納するための非遷移的実体的記憶媒体である。コンピュータプログラムのうち少なくとも一部は、ニューラルネットワークを用いた人工知能アルゴリズムに置き換えることができ、本実施形態においても、詳細は後述するが、一部の機能がニューラルネットワークによって実現されている。
図1に示すようにECU40は、上述のように、撮像部10、自律センサ部15、HMI機器部20及び車両走行制御部30と通信可能に接続されている。加えて、ECU40は、通信を用いた電気信号の入力によって、車両1の走行情報、車両1の制御情報、車両1の自己位置情報、クラウド3からの情報及び他車両4からの情報を取得可能に構成され、さらにはクラウド3及び他車両4へ情報を提供することが可能となっている。ここでクラウド3とは、クラウドコンピューティングにより実現されたネットワーク及びネットワークにより接続されたコンピュータの一方又は両方を意味し、データを共有したり、車両1に対する各種サービスを提供することができる。
なお、本実施形態においてECU40と各要素との間の通信は、例えばCAN(登録商標)等の車内ネットワーク、及び例えば携帯電話網、インターネット等の公衆通信ネットワークにより提供されるが、有線通信、無線通信を問わず各種の好適な通信方式が採用され得る。
またなお、図1において、クラウド3は、便宜上、2箇所に記載されているが、これらは互いに同一のクラウドであってもよいし、互いに別のクラウドであってもよい。他車両4についても同様である。本実施形態では、これらは同一であるとして、同じ符号を付して説明を続ける。車両1と通信を行なう他車両4とは別の他車両には、別の符号を付すか、符号を付さないで区別する。
ECU40は、機能ブロックとして、自車両情報理解部41、他車両情報理解部42、視点変換マップ生成部60、統合認識部48及び将来情報推測部49を有している。またECU40は、メモリ装置40cの一部を占有するメモリ領域により規定された学習値メモリ51を有している。またECU40は、メモリ装置40cの一部を占有するメモリ領域により規定された統合メモリ52を有している。
自車両情報理解部41は、自律センサ部15からの情報、車両1の走行情報、制御情報及び自己位置情報、すなわち自車両に関する情報を、入出力インターフェースを介して逐次取得し、これら情報を整理及び理解する。
他車両情報理解部42は、クラウド3からの情報及び他車両4からの情報、まとめていえば他車両4に関する情報を、入出力インターフェースを介して逐次取得し、これら情報を整理及び理解する。
視点変換マップ生成部60は、コンピュータを用いた演算装置として機能し、撮像部10が所定の撮影視点PVPから撮影した図3に示すような外界の画像IMが入力され、当該画像IMを当該撮影視点PVPとは別の視点に変換した図4に示すような視点変換マップMBを出力する。画像IMの入力は、撮像部10からの画像データを取得する入出力インターフェース及び信号変換回路である画像取得部40aを介して行われる。
具体的に、所定の撮影視点PVPとは、図5に示すように、撮像部10の各カメラ11が車両1に搭載されているので、車両1から当該車両1の外界へ向けた視点である。一方、変換後の別の視点とは、車両1から当該車両1の外界へ向けた視点とは異なった視点であり、例えば上空から車両1の外界を鳥瞰した視点が採用される。
すなわち、撮影視点PVPに基づく第1座標系(以下、撮像座標系CVという)の画像データが別の視点に基づく第2座標系(以下、鳥瞰座標系CB)の視点変換マップMBに変換された上、出力される。鳥瞰座標系CBは、車両1の移動可能方向を含む2次元空間の座標系であり、特に本実施形態では車両1の縦中心面に垂直な仮想の面に沿った2次元空間の座標系として定義される。
さらに視点変換マップ生成部60は、視点変換マップMBにおける領域を、その性質に基づいて区分し、区分された領域に当該性質に対応したラベルを付与する。ここでいう性質とは、物体の存在有無又は物体の存在可能性、さらに物体が存在している可能性が高い場合のその物体の種類を意味する。ラベルは、物体の種類に準じた記号、例えば歩行者(pedestrian)、他車両(car)、車道(road)、歩道(sidewalk)、電柱(pole)等である。このような領域の区分手法は、セマンティックセグメンテーション(Semantic Segmentation)と称される。この区分によって、物体が識別されることとなる。
統合認識部48は、図1に示すように、視点変換マップ生成部60が生成した視点変換マップMBに加えて、自車両情報理解部41が理解した情報及び他車両情報理解部42が理解した情報、さらには撮像部10が過去に撮影した画像IMから得られた視点変換マップMBを統合して認識することにより、領域及び物体の識別精度を高める。
具体的に、統合認識部48は、自車両情報理解部41が理解した情報を加味する。例えば、自律センサ部15が、撮影視点PVPから物体の死角となる死角領域BSの内部の一部を検出している場合、その検出された領域の物体の識別精度を高めることができる。そして、統合認識部48は、この検出結果等の情報を視点変換マップMBに反映させることができる。
また、統合認識部48は、他車両情報理解部42が理解した情報を加味する。例えば、他車両4に搭載された撮像部10が、車両1の撮像部10による死角領域BSの内部の一部を認識している場合、その領域及び物体の識別精度を高めることができる。そして、統合認識部48は、この他車両4からの情報を視点変換マップMBに反映させることができる。
例えば図6に示すように、車両1の撮像部10が当該車両1の前方を撮影した画像IMから得られた視点変換マップMBと、当該車両1よりも前方に位置する他車両4の撮像部10が当該他車両4の後方を撮影した画像から得られた視点変換マップMBとが、統合される。これにより、車両1と他車両4との間にさらに別の他車両4X及び電柱等の物体が存在していたとしても、死角領域BSが狭められて、精度の高い識別結果を得ることができる。
将来情報推測部49は、統合認識部48と連携して、将来の予測を行なう。例えば、将来情報推測部49は、現在の視点変換マップMBにおける死角領域BSの内部にて歩行者の存在可能性が高い位置PPと、当該歩行者の過去の移動速度及び移動方向から、当該歩行者が何時ごろ死角領域BSの内部から死角領域BSの外部へ現出するかを推測することができる。
具体的に図7に示すように、車両1に対する前方の他車両4Yが、例えば赤信号等により停止しており、当該他車両4Yが死角領域BSを形成している場合を考える。過去である時刻t−nの領域データ(但しnは1より大きい任意の数)と、過去である時刻t−1の領域データにおいて、死角領域BSの外部に識別されている歩行者の位置PPから、歩行者の移動速度及び移動方向が割り出される。そして、現在である時刻tの画像IMにおいて歩行者が認識されなかったとしても、割り出された移動速度及び移動方向に基づいて、死角領域BSの内部に歩行者の存在可能性が高い位置が推測される。さらには、将来である時刻t+nに、歩行者が再び死角領域BSの外部に現出することが推測される。
こうして推測結果が付加された視点変換マップMBは、図1に示すように、統合メモリ52に記憶され、蓄積される。
また統合認識部48は、歩行者等の存在可能性に基づいてHMI機器部20の警報部22による警報及び振動部23による振動が必要であるか否かを判定する。
統合メモリ52に記憶された視点変換マップMBは、HMI機器部20、車両走行制御部30、クラウド3及び他車両4へ向けて、通信を用いた電気信号として出力可能となっている。
視点変換マップMBの出力先であるHMI機器部20の情報提示部21は、ECU40の統合メモリ52から、情報の提示に必要なデータ、例えば最新の視点変換マップMB等を取得する(図8のステップS11参照)。情報提示部21は、取得した視点変換マップMBを可視化した視覚的情報として、車両1の乗員へ向けて提示する。具体的に、図4に示されるような視点変換マップMBが視覚的情報として、コンビネーションメータの表示器、ヘッドアップディスプレイ及びカーナビゲーション用ディスプレイのうち例えば1つにより、画像として表示される(図8のステップS12参照)。
HMI機器部20の警報部22は、警報が必要であると判定された場合に、ECU40の統合メモリ52を介して、警報の内容を取得する。そして、警報部22は、車両1の乗員に向けた警報を行なう。具体的に、スピーカが発する音声による警報、又はブザーが発する警報音による警報が実施される。
HMI機器部20の振動部23は、振動が必要であると判定された場合に、ECU40の統合メモリ52を介して、振動の内容を取得する。そして、振動部23は、車両1の乗員が感知できるような形態で、振動を発生させる。振動部23は、警報部22による警報と連動していることが好ましい。
視点変換マップMBの出力先である車両走行制御部30の自動運転制御部31は、ECU40の統合メモリ52から、自動運転に必要なデータ、例えば最新の視点変換マップMB等を取得する(図9のステップS21参照)。自動運転制御部31は、取得したデータを用いて、車両1の走行の制御を行なう。
ここで、視点変換マップMBには、車両1の外界を鳥瞰した視点に基づいた、車両1の移動可能方向を含む2次元空間の座標系が採用されているので、車両1が移動不可能な鉛直方向の情報は排除されている。その分、視点変換マップMBのデータ量の増大が抑制されていることとなる。故に、車両1の走行を制御することに適した2次元空間の情報を、遅延少なく自動運転制御部31に提供でき、自動運転制御部31での情報処理時間を低減できるため、高度な自動運転機能を実現することができる。
自動運転制御部31において、将来情報推測部49の推測結果も加味されると、より自動運転機能の妥当性を高めることができる。
以上説明した車両システム9において、視点変換マップ生成部60による処理を、以下により詳細に説明する。
視点変換マップ生成部60は、より機能が細分化されたサブ機能ブロックとして、エンコーダ部61、ワープ適用部65、及びデコーダ部66を有している。図10に示すように、第1実施形態では、エンコーダ部61及びデコーダ部66によって、ひとかたまりとみなすことが可能なニューラルネットワーク(より詳細には畳み込みニューラルネットワーク)が構成されており、ワープ適用部65によるワープ構造を含む視点変換マップ生成部60全体として、当該ニューラルネットワークを主体とした人工知能アルゴリズムによる物体識別モデルが構成されている。物体識別モデルは、エンコーダ部61、ワープ適用部65、及びデコーダ部66が以下に説明する機能を発揮するように、コンピュータを機能させる。
エンコーダ部61は、複数(例えば5つ)の特徴抽出ユニット62a,62b,62c,62d,62eを、入力側から出力側へ直列的に接続するように有している。各特徴抽出ユニット62a〜eは、畳み込み層(Convolutional Layer)63a,63b,63c,63d,63eと、当該各畳み込み層63a〜eの出力側に配置されたプーリング層(Pooling Layer)64a,64b,64c,64d,64eとを、互いに直列的に接続するように有している。なお、図10では、プーリング層64a〜eを畳み込み層63a〜eと区別して図示するために、プーリング層64a〜eにドットのハッチングが付与されている。
同じ特徴抽出ユニット62a〜eに属する各層63a〜e,64a〜eでの幅及び高さ(すなわちマップの行列のサイズ)は、互いに実質同一となっている。一方、特徴抽出ユニット62a〜eが出力側に位置する程、サイズは、小さくなっている。
最も入力側に位置する特徴抽出ユニット62aに属する各層63a〜e,64a〜eでのサイズは、撮像部10のカメラ11の画素の配列数に対応しており、例えば画像取得部40aにより取得された画像IMにおける各画素の検出結果(例えばピクセル値)からなるデータが、画素の配列を相対的に維持した行列状に入力可能となるように、設定されている。もちろん、画像取得部40a等で画像IMの解像度が低減されていれば、それに合わせてサイズを小さくすることは可能である。こうして最も入力側に位置する特徴抽出ユニット62aにおける畳み込み層63a〜eに、画像取得部40aによって取得された画像データが入力されることとなる。
各畳み込み層63a〜eは、それぞれ入力されるデータに対して、各畳み込み層63a〜e毎に定められた所定のサイズ(例えば3×3、5×5)を有する局所的なフィルタ(これをカーネル又は特徴抽出器という)を畳み込む演算を行なう。例えば、カーネルの各要素に対応する位置に入力された入力値と、カーネルに予め設定された重み係数とを各要素毎に乗算し、これら要素毎の乗算値の線形和が算出される。この線形和に、カーネルに予め設定されたバイアスを加算することで、畳み込み演算が行なわれる。本実施形態では、重み係数と、バイアスとを総称して、後述するワープパラメータξと区別するために、カーネルのパラメータと呼ぶこととする。
このような畳み込み演算の結果は、活性化関数で変換される。活性化関数としては、例えばReLU(Rectified Linear Unit)が採用され得る。
また、畳み込み層63a〜eは、上述の畳み込み演算及び活性化関数による変換を複数回行なうことで、図10の図示のように、多層化することができる。例えば本実施形態では、畳み込み層63a〜eが2〜3層に多層化されている。このようにして、エンコーダ部61に入力された画像IMから特徴マップを得ることができる。
プーリング層64a〜eは、個別に対応し、入力側に接続された上位層である畳み込み層63a〜eから出力された特徴マップの局所の統計量を計算する。具体的に、上位層の位置に対応する所定のサイズ(例えば2×2、3×3)のウインドウを設定し、ウインドウ内の入力値から局所の統計量を算出する。局所の統計量としては、例えば最大値が採用され得る。すなわち、ウインドウ内の入力値の最大値をプーリングの結果として採用することで、ウインドウ内の入力値を統合することができる。
このプーリング演算に設定されたウインドウは、畳み込み演算に設定されたカーネルとは異なり、互いに位置を重複させない場合が多い(ただし、一部重複させてもよい)。この結果、プーリング層64a〜dから出力される特徴マップのサイズは、ウインドウのサイズに応じて縮小される。これをダウンサンプリングと称する。
プーリング層が最も出力側の特徴抽出ユニット62eに属するプーリング層64eでない場合、プーリング層64a〜dから出力される特徴マップは、次の特徴抽出ユニット62b〜eの畳み込み層63b〜eに入力される。プーリング層64a〜dにて特徴マップがダウンサンプリングされているため、次の特徴抽出ユニット62b〜eのサイズは、ダウンサンプリング後の特徴マップが行列状に入力可能な、入力側より小さなサイズであればよいこととなる。
プーリング層が最も出力側の特徴抽出ユニット62eに属するプーリング層64eである場合、プーリング層64eから出力される特徴マップは、例えばそのままエンコーダ部61から出力され、デコーダ部66に入力される。
このようにして、エンコーダ部61は、ダウンサンプリングされた特徴マップを出力する。このダウンサンプリングにより、エンコーダ部61は、特徴マップを圧縮(encode)しているといえる。ここで、エンコーダ部61の各層63a〜e,64a〜eは、画素の配列を相対的に維持した行列状に入力された画像データを、2次元空間の相対位置を崩さずに処理しているので、エンコーダ部61は、撮像座標系CVにおける外界の領域における物体の特徴を、特徴マップという形態にて抽出しているといえる。
また、プーリング層が最も出力側の特徴抽出ユニット62eに属するプーリング層64eでない場合、プーリング層64a〜dから出力される特徴マップは、エンコーダ部61から出力され、ワープ適用部65に入力される。すなわち、エンコーダ部61の中間層の特徴マップがワープ適用部65へと出力される。本実施形態では、最も出力側のプーリング層64eを除く4つの特徴抽出ユニット62a〜dのプーリング層64a〜dから、4つの特徴マップがワープ適用部65へと出力される。
ワープ適用部65は、入力された特徴マップに、鳥瞰座標系CBの位置が、撮像座標系CVのどの位置に対応しているかを関係付けるワープ関数を適用し、ワープドコピー(Warped Copy)を生成する。具体的に、ワープ適用部65は、以下の数1で表されるワープ関数に基づいて、ワープドコピーを生成する。
また、Fb(i,j,k)は、ワープドコピー、すなわち変換後の特徴マップである。w(数1の下付き文字の記載は省略)は、変換前の特徴マップの位置に対応して予め設定された重みを表すパラメータである。ξv,ξu(以下、2つを纏めて単にξと記載する)は、撮像座標系CVの位置(ハット付のi,ハット付のj)から鳥瞰座標系CBの位置(i,j)へのワープを実施するための変数(以下、ワープパラメータ)である。
すなわち、ワープドコピーは、ワープパラメータξによってワープされた特徴マップFvを、パラメータwによって補正することによって、生成される。すなわち、位置(i,j)は、当然に離散的な値(整数)であるから、ワープパラメータξによって返された値を整数にしなければ、変換前の行列の位置と変換後の行列の位置との対応関係が不明確となる。この対応関係を明確にするために、パラメータwは、ワープパラメータξによって返された値を整数に補正するための係数として機能する。
このようなワープドコピーは、最も出力側の特徴抽出ユニット62eを除く各特徴抽出ユニット62a〜dのプーリング層64a〜d毎に、生成され、ワープ適用部65から出力され、デコーダ部66へと入力される。
なお、各特徴抽出ユニット62a〜dから出力された特徴マップは、互いにサイズが異なっているため、ワープ関数のワープパラメータξとしては、各特徴抽出ユニット62a〜dに個別に対応して、互いに異なるパラメータが用意される。しかしながら、ワープパラメータξの相違は、適用対象の特徴マップのサイズに起因する解像度の違いによるものであり、各ワープ関数は、互いに相似な機能を発揮する。
本実施形態におけるワープとは、ワープパラメータξと呼ばれる奥行きに相当する変数を用いて、抽出した特徴を、撮像座標系CVから鳥瞰座標系CBへと変換することを意味する。分かり易く換言すると、鳥瞰座標系CBの各位置でのピクセル値を、撮像座標系CVのどのピクセル値から取得してくればよいのかを、ワープ関数が示していることとなる。
ここで注意すべきは、ワープにおいて、撮像座標系CVの全ての位置のピクセル値がワープドコピーを介してデコーダ部66にコピーされないということである。例えば、エンコーダ部61に入力される画像IMにおいて、空が撮影されている画素が存在している場合、その画素は、鳥瞰座標系CBの視点変換マップMBにおいては全く不要な情報であるから、コピーされない。逆に、鳥瞰座標系CBの視点変換マップMBの奥行きを表現する上で、鳥瞰座標系CBの複数の位置において、物体が撮影されている同じ画素(撮像座標系CVの位置)が重複して選択される場合がある。すなわち、物体が撮影されている画像IM上の1つの位置から、鳥瞰座標系CBの複数の位置に、コピーされることがある。
なお、このワープパラメータξは、数1に開示されるように撮像座標系CVの位置の関数であるが、エンコーダ部61に入力される入力画像IMの関数でもある。また、ワープパラメータξは、自律センサ部15の自律センサの検出値又はこの検出値を補正した値を参照するように構成される場合には、加えて、自律センサの検出値(検出された物体の奥行き値)の関数となる。
デコーダ部66は、複数(例えば特徴抽出ユニット62a〜eと同数である5つ)の識別ユニット67e,67d,67c,67b,67aを、入力側から出力側へ直列的に接続するように有していると共に、最も出力側にソフトマックス層(Softmax Layer)70を有している。各識別ユニット67e〜aは、逆プーリング層(Unpooling Layer)68e,68d,68c,68b,68aと、当該逆プーリング層68e〜aの出力側に配置された逆畳み込み層(Deconvolution Layer)69e,69d,69c,69b,69aとを、互いに直列的に接続するように有している。
各識別ユニット67a〜eは、各特徴抽出ユニット62a〜eと対をなすように構成されている。最も入力側の特徴抽出ユニット62aから出力側に数えてn番目(但しnは自然数)の特徴抽出ユニット62b〜eと、最も出力側の識別ユニット67eから入力側に数えてn番目の識別ユニット67d〜aとは、対をなし、1対1で個別に対応付けられている。
このように、各逆プーリング層68a〜eは、特徴抽出ユニット62a〜eの各プーリング層64a〜eと、1対1で個別に対応付けられ、対応付けられた対は、実質同じサイズである。逆プーリング層68e〜aは、エンコーダ部61にてダウンサンプリングされた特徴マップのサイズを再び拡大する。これをアップサンプリングと称し、逆プーリング層68e〜aをアップサンプリング層とも呼ぶこととする。
最も入力側の識別ユニット67eに属する逆プーリング層68eには、特徴抽出ユニット62eからの特徴マップがワープ処理されずに入力される。このとき、この上位層に位置するプーリング層64eからの入力値は、逆プーリング層68において、サイズの拡大に応じた隣接する範囲(例えばサイズを4倍にする場合2×2の範囲)を構成する複数の位置に、それぞれ入力される。したがって、本実施形態の逆プーリング層68は、密なマップ(値が0の要素が少ないマップ)を構成する。
最も入力側の識別ユニット67eに属する逆プーリング層を除く逆プーリング層68d〜aには、入力側に接続されている逆畳み込み層69e〜bからの入力値と、ワープドコピーとを、結合する(concatenate)ために、複数(例えば2つ)のチャンネルが設定されている。すなわち、逆プーリング層68d〜aの1つのチャンネルに、上位層からの入力値が格納される。逆プーリング層68d〜aの他の1つのチャンネルに、個別に対応したプーリング層64d〜aから出力された特徴マップを、ワープ処理したワープドコピーが格納される。
逆畳み込み層69e〜aは、入力された特徴マップに対して、逆畳み込み(転置畳み込みともいう)演算を行なう。逆畳み込み演算とは、入力された特徴マップが特定のカーネルを用いて畳み込み演算された結果であるという推定の下、畳み込み演算される前の特徴マップを復元する演算である。この演算では、例えば、特定のカーネルから生成された行列の転置行列と入力された特徴マップとの積を算出することで、出力用の特徴マップを生成することができる。
逆畳み込み層69e〜aは、畳み込み層63a〜eと同様に、多層化することが可能であり、例えば本実施形態では、逆畳み込み層69e〜aが2〜3層に多層化されている。
エンコーダ部61では、畳み込み層63a〜eの畳み込み演算を演算の主体としていることにより、撮像部10により撮像された画像IMにおいて、互いに近い画素の関係性が演算対象となっており、互いに離れた画素の関係性が十分に考慮されない。すなわち、鳥瞰座標系CBにおいて互いに隣接する位置同士は、本来、強い関係性があるはずであるが、これが考慮されない。これに対して、逆畳み込み層69e〜aでは、ワープドコピーがコピー及び結合された逆プーリング層68e〜aを入力値として、逆畳み込み演算が行なわれることにより、鳥瞰座標系CBでの考慮すべき関係性を結果に反映させることができる。
デコーダ部66において最も出力側の最終層には、ソフトマックス層70が設けられている。ソフトマックス層70は、入力側に接続された逆畳み込み層69aからの入力値に、ソフトマックス関数を適用することにより、各位置(画素)毎での、物体を識別するためのラベルの確率を出力する。つまり本実施形態における物体の識別とは、物体のラベルが一意的に決定されてなくてもよく、ラベルの確率が決定されているだけであってもよい。
デコーダ部66におけるアップサンプリングの過程で、撮像座標系CVの特徴マップを鳥瞰座標系CBにワープさせたワープドコピーが逆プーリング層68d〜aを介して逆畳み込み層69d〜aに作用するので、デコーダ部66のソフトマックス層70から最終的に出力される特徴マップは、鳥瞰座標系CBの領域における物体が識別された視点変換マップMBとなっている。本実施形態において畳み込みニューラルネットワークを経て出力される視点変換マップMBは、上空から車両1の外界を鳥瞰した視点の平面的なマップである。アップサンプリングにより、デコーダ部66は、特徴マップを復元(decode)しているといえる。
また、サイズの異なる複数のワープドコピーが個別に対応する各逆プーリング層68d〜aに作用することにより、最終的に出力される視点変換マップMBにおいて、低周波の情報と、高周波の情報とが両方反映されることとなる。
ここで、視点変換マップMBにて識別結果を出力するためには、視点変換マップ生成部60が物体識別モデルとして学習されたものであることが好ましい。視点変換マップ生成部60による畳み込みニューラルネットワークにて、カーネルのパラメータは、事前の機械学習によって設定され、学習値メモリ51に非一時的に記憶されている。これと共に、ワープパラメータξも、事前の機械学習によって設定され、学習値メモリ51に非一時的に記憶されている。
本実施形態のワープ構造を含む物体識別モデルにおける機械学習では、当該物体識別モデル自体が非凸関数であるため、入力される画像IM及び出力される視点変換マップMBに教師を与えても、カーネルのパラメータと、ワープパラメータξとを、全て同時に学習させることは困難である。
このため、本実施形態では、図11のフローチャートにも示されているような、以下に説明する学習方法が採用されている。
この方法では、まず、エンコーダ部61に入力させる入力画像IMのデータと、当該入力画像IMのデータに対応した正解データである視点変換マップMBのデータとの組を、複数用意する(図11のステップS31参照)。このデータの組が教師となる。
次に、用意した各組に対して、入力画像IM上に映り込んでいる物体の奥行き(撮像部10から物体までの距離)を示す奥行きデータを、用意する(図11のステップS32参照)。この奥行きデータも、実質的に教師として使用される。なお、ステップS31とS32とは、順序を入れ替えてもよい。
この奥行きデータを参照して、ワープパラメータξのうち一部の変位量を、確定する(図11のステップS33参照)。すなわち、奥行きデータによって、入力画像IMにおいて物体が映り込んでいる画素の位置と、視点変換マップMBにおいて、物体の車両1側を向く表層部の位置とが、対応していることを確定することができる。換言すると、視点変換マップMBの死角領域BSの外部位置に対応するワープパラメータξの変位量を、確定することができる。
ここでいう変位量の確定とは、ワープパラメータξ(ハット付のi,ハット付のj)を変数から定数に固定するものであるが、ワープパラメータξが自律センサの検出値の関数になっている場合には、この検出値を変数から定数に固定するものであってもよい。
そして、ワープパラメータξのうち一部の変位量が、確定された状態で、入力画像IMをこの物体識別モデルに入力した場合に、当該入力画像IMと組をなし、正解データとして存在する視点変換マップMBのデータに、より近いデータが、物体識別モデルから出力されるように、カーネルのパラメータと、ワープパラメータξのうち非確定状態の他部とを、同時に学習させる(図11のステップS34参照)。
具体的に、入力画像IMをこの物体識別モデルに入力し、当該物体識別モデルから出力されたデータと、正解データとの差分を算出する。この差分としては、例えば、確率分布間の差異を計る尺度であるKL情報量(KL divergence)を用いることができる。この各組に対して算出されたKL情報量の和を取ってコスト(目的関数)とし、例えば勾配降下法等を用いて、このコストを最小にするようなカーネルのパラメータと、ワープパラメータξのうち非確定状態の他部と、探索して算出する。
このコスト計算において、ワープパラメータξのうち死角領域BSの外部位置に対応する一部の変位量が、確定されているので、カーネルのパラメータとワープパラメータξの関数であるコストにおいて、局所的最小解の数を低減することができる。この結果、カーネルのパラメータ及びワープパラメータξより最適な値に収束させることができるので、物体識別モデルの汎化性能を高めることができる。
このワープパラメータξの機械学習が意味するところは、鳥瞰座標系CBの視点変換マップMBにおける死角領域BSの各位置のラベルを、撮像座標系CVの入力画像IMのどの画素に対応させるかという問題を解くことである。この問題を学習することによって、この物体識別モデルは、撮像部10により撮影された画像上の物体の死角となる死角領域BSを、推測することが可能となる。詳細に、物体識別モデルは、物体の裏側の奥行き及び形状を推測することによって、鳥瞰座標系CBの視点変換マップMBにおける死角領域BSを、物体の存在可能性が高い領域(すなわち、物体の奥行き分に相当する領域)と、物体が存在しない可能性が高い領域(すなわち、物体の裏側の空間)とを区別することが可能となるのである。
より詳細に、上述の探索においては、死角領域BSに対応する視点変換マップMB上の位置が、入力画像IM上のどの位置に対応しているかを、探索することとなる。具体的に、死角領域BSに対応する視点変換マップMB上の位置(i,j)について、ランダムな初期値に基づいて位置(ハット付のi,ハット付のj)を指定する。そして、位置(ハット付のi,ハット付のj)が位置(i,j)にワープされるようなワープパラメータξのときのコストを算出していき、コストがより小さくなるような位置(ハット付のi,ハット付のj)に位置を少しずつ変更しながら、コストを最小にするようなワープパラメータξが探索される。
機械学習は、例えば図12,13に示す学習装置80によって実施することができる。また、学習装置80により実施されるフローチャートが図14に示されている。
学習装置80は、図12に示すように、いわゆるコンピュータであり、少なくとも1つのプロセッサ81、メモリ装置82、入出力インターフェースを含む電子回路を主体として構成されている。プロセッサ81は、メモリ装置82に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置82は、例えば半導体メモリによって提供され、プロセッサ81によって読み取り可能なコンピュータプログラム及びデータを非一時的に格納するための非遷移的実体的記憶媒体である。プロセッサ81は、上述の物体識別モデル83の演算処理を実行可能に構成されている。
また、学習装置80は、図13に示すように、物体識別モデル83の演算処理を実行するプロセッサ81又は他の追加のプロセッサを用いて構築される機能ブロックとして、教師データ設定部84及び学習部85を有している。
教師データ設定部84は、教師とするための上述のデータの組を、設定する(図14のステップS41参照)。この設定とは、例えば学習装置80を操作する操作者が入力したデータの組を、学習部85が学習に用いることが可能な形態に変換することであってもよい。またこの設定とは、学習装置80が車両1等の外部装置又はクラウド3等と通信可能に接続されている場合には、教師データ設定部84がこれらの外部装置又はクラウド3から、データの組を収集し、学習部85が学習に用いることが可能な形態に変換することであってもよい。
学習部85は、入力画像IMをこの物体識別モデル83に入力した場合に、当該入力画像IMと組をなし、正解データとして存在する視点変換マップMBのデータに、より近いデータが、物体識別モデル83から出力されるように、カーネルのパラメータ及びワープパラメータξを学習する(図14のステップS42参照)。学習手順の詳細は、上述の学習方法の説明にてした通りである。
こうして学習したカーネルのパラメータ及びワープパラメータξは、メモリ装置82に記憶される(図14のステップS43参照)。このメモリ装置82に記憶されたカーネルのパラメータ及びワープパラメータξは、入出力インターフェース等を介して学習装置80の外部に取り出すことができる。
(作用効果)
以上説明した第1実施形態の作用効果を以下に説明する。
以上説明した第1実施形態の作用効果を以下に説明する。
第1実施形態のECU40又は車両システム9によると、撮像部10が撮影した画像IMが畳み込みニューラルネットワークを経て、当該画像IMを撮影視点PVPとは別の視点に基づく視点変換マップMBが出力される。視点変換マップMBを参照することで、車両1に搭載された撮像部10の撮影視点PVPにとらわれずに物体を識別することができるので、識別された物体の位置の把握は、容易なものとなる。
このような視点変換マップMBの生成において、画像データに畳み込み演算を適用して得られた撮影視点PVPに基づく撮像座標系CVの特徴マップに、別の視点に基づく鳥瞰座標系CBの位置が、撮像座標系CVのどの位置に対応しているかを関係づけるワープ関数を適用する。ワープ関数の適用によって、撮像座標系CVでの局所的な関係性を演算する畳み込み演算を、補完するように、鳥瞰座標系CBの領域での物体の識別を行なうことができるので、ニューラルネットワーク構造が深くなり過ぎることを抑制しつつ、物体の識別における汎化性能を向上させることができる。以上により、車両1の外界の物体をより適切に把握可能とすることができる。
また、第1実施形態によると、別の視点に基づく鳥瞰座標系CBは、車両1の移動可能方向を含む2次元空間の座標系である。このように、車両1の移動可能方向を含む2次元空間の鳥瞰座標系CBの視点変換マップMBが出力されることにより、3次元空間よりも情報量を削減して迅速な物体識別を可能とすると共に、車両1の移動(走行)において障害物となり得る物体を適切に把握可能となる。故に、車両1の円滑な移動を支援することができる。
また、第1実施形態によると、メモリ装置40cが畳み込みニューラルネットワークのカーネルに用いるカーネルのパラメータと、ワープ関数のワープパラメータξと、を記憶し、プロセッサ40bがカーネルのパラメータを用いた畳み込み演算と、ワープパラメータを用いたワープ関数の適用演算と、を処理する。故に、カーネルのパラメータ及びワープパラメータξを、畳み込み演算及びワープ関数の適用演算に、適切かつ迅速に活用することができるため、車両1の外界の物体を識別するECU40を、容易に実現することができる。
また、第1実施形態によると、視点変換マップ生成部60にて、ワープ関数を、エンコーダ部61により抽出された特徴マップに適用するワープ適用部65と、ワープ関数が適用されたワープドコピーを畳み込みニューラルネットワークに結合し、鳥瞰座標系CBの領域における物体が識別された視点変換マップMBを出力するデコーダ部66と、が設けられている。ワープドコピーが畳み込みニューラルネットワークに結合されて、さらに演算されることで、鳥瞰座標系CBでの互いに隣接する位置同士の関係性が十分に考慮された視点変換マップMBを生成可能となる。故に、視点変換マップMBが出力する識別結果の精度を高めることができる。
また、第1実施形態によると、逆プーリング層68a〜eによるアップサンプリングの過程で、入力側に接続された逆畳み込み層69a〜eからの出力結果と、ワープドコピーとが結合される。このような結合データに基づいて、また逆畳み込み演算が順次適用されていくので、デコーダ部66にて徐々に解像度を高めながら、鳥瞰座標系CBでの互いに隣接する位置同士の関係性が十分に考慮された視点変換マップMBを出力可能となる。故に、視点変換マップMBが出力する識別結果の精度を高めることができる。
また、第1実施形態によると、学習値が保存された学習値メモリ51から、カーネルパラメータを読み込んで、エンコーダ部61とデコーダ部66とからなる畳み込みニューラルネットワークが構成される。そして、学習値メモリ51からワープパラメータξを読み込んで、デコーダ部66の複数の識別ユニット67a〜eに対応する複数のワープ関数が作成される。特徴マップへの複数のワープ関数の適用においては、局所的な関係性を考慮して演算が適用される畳み込みニューラルネットワークを補完するように、デコーダ部66の識別ユニット67a〜eに対して、別の視点に基づいた局所的な関係性を考慮させるように、ワープ関数が作用する。この結果、デコーダ部66での識別過程での別の視点に基づいた局所的な関係性が十分に反映された視点変換マップMBを出力することができる。
また、第1実施形態によると、画像表示部としての情報提示部21によって、視点変換マップMBを可視化した画像が表示される。このような視点変換マップMBは、2次元情報としての物体の距離関係を理解し易いので、可視化された画像の視認者は、車両1の外界の物体をより適切に把握可能となる。
また、第1実施形態によると、移動制御部としての車両走行制御部30によって、視点変換マップMBを用いた車両1の走行の制御が実施される。この態様では、車両走行制御部30が2次元情報としての物体の距離関係を迅速に理解及び処理可能となるので、リアルタイムかつ高度な車両1の走行の制御を実現することができる。
また、第1実施形態の物体識別方法によると、画像データに畳み込み演算を適用して得られた撮影視点PVPに基づく撮像座標系CVの特徴マップに、別の視点に基づく鳥瞰座標系CBの位置が、撮像座標系CVのどの位置に対応しているかを関係づけるワープ関数を適用する。ワープ関数の適用によって、撮像座標系CVでの局所的な関係性を演算する畳み込み演算を、補完するように、鳥瞰座標系CBの領域での物体の識別を行なうことができるので、ニューラルネットワーク構造が深くなり過ぎることを抑制しつつ、物体の識別における汎化性能を向上させることができる。したがって、ワープ関数が適用された特徴マップに基づいて得られたマップであって、撮影視点PVPから別の視点において物体が識別された視点変換マップMBは、より信頼性の高いものとなる。
また、第1実施形態の物体識別モデル83の学習方法によると、ワープ後の座標系CBの位置が、ワープ前の座標系CVのどの位置に対応しているかを関係付けるためのワープパラメータξを学習させるので、物体識別モデルにおいて出力されるマップMBを、ワープ前の座標系CVから、別の座標系CBへと、円滑に変換することができる。視点変換マップMBを参照することで、撮影画像IMの撮影視点PVPにとらわれずに物体を識別することができる。故に、物体をより適切に把握可能な物体識別モデルを実現することができる。
また、第1実施形態の学習方法によると、カーネルのパラメータと、ワープパラメータξとを、共通のデータの組を用いて学習させるので、学習のための工数を低減することができる。また、視点変換モデルにおいて、畳み込みニューラルネットワークとワープ構造とがより一体的に機能し、汎化性能の高い学習モデルとして物体識別モデルを構築可能となる。故に、物体をより適切に把握可能な物体識別モデルを実現することができる。
また、第1実施形態の学習方法によると、学習時に、ワープパラメータξのうち一部の変位量であって、入力画像IM上の物体の死角となる死角領域BS外の位置に対応する変位量を、確定した状態で、カーネルのパラメータと、ワープパラメータξのうち非確定状態の他部とを、同時に学習させる。このようにワープパラメータξのうち一部の変位量を確定させると、学習に用いるコストにおいて、局所的最小解の数を低減させることができるので、カーネルのパラメータと、ワープパラメータξをより最適な値に収束させて、物体識別モデルの汎化性能を高めることができる。
また、第1実施形態の学習方法によると、学習時に、死角領域BSに対応する出力マップ上の位置が、入力画像IM上のどの位置に対応しているかを、探索する。このような探索によって、ワープ関数における両位置の関係付けがより適切なものとなるので、体識別モデルの汎化性能を高めることができる。
また、第1実施形態の物体識別モデル83の学習装置80によると、物体識別モデル83を学習させるにあたり、畳み込みニューラルネットワークと、畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造とを構成する物体識別モデル83の演算処理を実行可能に構成された演算回路としてのプロセッサ81を設け、このプロセッサ81を利用するようにした。ここで、撮影画像IMを当該物体識別モデル83に入力した場合に、正解データにより近いデータを出力するように、カーネルのパラメータとワープパラメータを学習し、学習後にメモリ装置82に記憶可能とした。したがって、ワープ構造を含む物体識別モデル83の学習を、円滑に行なうことができるので、より汎化性能の高い学習モデルとして物体識別モデル83を構築可能となる。以上により、物体をより適切に把握可能な物体識別モデル83を実現することは、容易に可能となる。
なお、第1実施形態では、エンコーダ部61が「特徴抽出処理部」に相当し、ワープ適用部65及びデコーダ部66が「出力処理部」に相当する。また、デコーダ部66が「識別処理部」に相当する。
(第2実施形態)
図15〜17に示すように、第2実施形態は第1実施形態の変形例である。第2実施形態について、第1実施形態とは異なる点を中心に説明する。
図15〜17に示すように、第2実施形態は第1実施形態の変形例である。第2実施形態について、第1実施形態とは異なる点を中心に説明する。
第2実施形態の視点変換マップ生成部260は、図15,16に示すように、エンコーダ部261、デコーダ部266、及びワープ変換部271を有している。
エンコーダ部261は、第1実施形態と同様に、複数(例えば5つ)の特徴抽出ユニット62a〜eを、入力側から出力側へ直列的に接続するように有している。各特徴抽出ユニット62a〜eは、畳み込み層63a〜eと、当該畳み込み層63a〜eの出力側に配置されたプーリング層64a〜eとを、互いに直列的に接続するように有している。
デコーダ部266は、第1実施形態と同様に、複数(例えば特徴抽出ユニット62a〜eと同数である5つ)の識別ユニット67a〜eを、入力側から出力側へ直列的に接続するように有していると共に、最も出力側にソフトマックス層70を有している。各識別ユニット67a〜eは、逆プーリング層68a〜eと、当該逆プーリング層68a〜eの出力側に配置された逆畳み込み層69a〜eとを、互いに直列的に接続するように有している。
エンコーダ部261及びデコーダ部266の各層におけるカーネルのパラメータは、後述するようにワープ構造が異なるので、第1実施形態と同じ値である必要はない。
第1実施形態とは異なり、各プーリング層64a〜dから出力される特徴マップは、ワープ処理されずに、単なるコピーによって、各プーリング層64a〜dに個別に対応する逆プーリング層68d〜aに入力される。この単なるコピーは、逆プーリング層68d〜aにおいて、入力側に隣接する逆畳み込み層69e〜bからの入力値と、結合される。
そして、第2実施形態のデコーダ部266のソフトマックス層70から最終的に出力される特徴マップは、セマンティックセグメンテーションによって物体が識別されているものの、撮像座標系CVに基づいた、すなわち視点変換されていない視点無変換マップMVとなっている。
ワープ変換部271は、デコーダ部266から出力された視点無変換マップMVを、鳥瞰座標系CBの位置が、撮像座標系CVのどの位置に対応しているかを関係づけるワープ関数によって変換する。このワープ関数は、第1実施形態の数1と同様であるが、ワープパラメータξは、第1実施形態と異なるものであってもよい。
この変換によって、ワープ変換部271は、最終的に出力される特徴マップとして、鳥瞰座標系CBの領域における物体が識別された視点変換マップMBを生成して出力することができる。
第2実施形態の視点変換マップ生成部260による物体識別モデルの学習方法においても、第1実施形態と同様の方法を採用し、第1実施形態と同様の学習装置80によって学習することが可能である。また、図17のフローチャートに示すように、先にエンコーダ部261及びデコーダ部266を主体としている構成されている畳み込みニューラルネットワークのカーネルのパラメータの学習を実施し、その後、ワープ関数のワープパラメータξを学習する学習方法を採用することも可能である。
まず、畳み込みニューラルネットワークのカーネルのパラメータを学習させる。詳細に、エンコーダ部261に入力させる入力画像IMのデータと、当該入力画像IMのデータに対応した正解データである上述の視点無変換マップMVのデータとの組を、複数用意する(図17のステップS51参照)。このデータの組が、畳み込みニューラルネットワークに対する教師となる。
そして、入力画像IMをこの畳み込みニューラルネットワークに入力した場合に、当該入力画像IMと組をなし、正解データとして存在する視点無変換マップMVのデータに、より近いデータが、畳み込みニューラルネットワークから出力されるように、カーネルのパラメータを、学習させる(図17のステップS52参照)。具体的に、入力画像IMをこの畳み込みニューラルネットワークに入力し、当該畳み込みニューラルネットワークから出力されたデータと、正解データとの差分を算出してコストを最小化するカーネルのパラメータを求める。これにより、物体識別モデルのうち畳み込みニューラルネットワークの部分の学習を完了する。
次に、ワープパラメータξを学習させる。詳細に、ワープ処理前の視点無変換マップMVのデータと、当該視点無変換マップMVに対応する正解データである視点変換マップMBのデータとの組を、複数用意する(図17のステップS53参照)。
そして、視点無変換マップMVをワープ変換部271に入力した場合に、当該入力画像IMと組をなし、正解データとして存在する視点変換マップMBのデータに、より近いデータが、ワープ変換部271から出力されるように、ワープパラメータξを学習させる(図17のステップS54参照)。具体的に、視点無変換マップMVをこのワープ変換部271に入力し、当該ワープ変換部271から出力されたデータと、正解データとの差分を算出してコストを最小化するワープパラメータξを求める。これにより、物体識別モデルのうちワープ構造の部分の学習を完了する。
以上説明した第2実施形態によると、エンコーダ部261及びデコーダ部266は、撮像座標系CVの領域における物体が識別された視点無変換マップMVを出力し、ワープ変換部271は、ワープ関数を、視点無変換マップMVに適用して、鳥瞰座標系CBの領域における物体が識別された視点変換マップMBとして出力させる。このようにすると、エンコーダ部261及びデコーダ部266により構成される部分と、ワープ変換部271により構成される部分とを、別々に学習又はメンテナンスすることが容易となる。故に、ECU40の物体識別装置としての実現及び利用が容易なものとなる。
なお、第2実施形態では、エンコーダ部261及びデコーダ部266が便宜上「特徴抽出処理部」に相当し、ワープ変換部271が「出力処理部」に相当する。
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
具体的に、変形例1としては、ECU40、車両走行制御部30及び学習装置80等がハードウエアである電子回路によって提供される場合、それは多数の論理回路を含むデジタル回路、又はアナログ回路によって提供することができる。
変形例2としては、メモリ装置40c,82は、複数の記憶媒体を組み合わせて構成されていてもよい。
変形例3としては、車両走行制御部30又はHMI機器部20が有する少なくとも一部の機能は、ECU40により実現されていてもよい。この例として、ECU40と車両走行制御部30が1つの装置に統合されていてもよい。逆に、ECU40が有する一部の機能が、車両走行制御部30又はHMI機器部20により実現されていてもよい。
変形例4としては、車両システム9に、HMI機器部20が含まれていなくてもよい。この例として、視点変換マップ生成部60が生成した視点変換マップMBを、専ら自動運転制御部31による車両1の走行の制御に利用するようにしてもよい。
変形例5としては、車両システム9に、車両走行制御部30が含まれていなくてもよい。この例として、視点変換マップ生成部60が生成した視点変換マップMBを、専らHMI機器部20による視覚的情報の提供、警報及び振動のうち少なくとも1つに利用するようにしてもよい。
変形例6としては、ECU40は、クラウド3及び他車両4のうち少なくとも1つと情報のやりとりをしないものであってもよい。
第1実施形態に関する変形例7としては、エンコーダ部61の最も出力側のプーリング層64eから、デコーダ部66の最も入力側の逆プーリング層68eへの特徴マップの受け渡しの際に、当該特徴マップにワープ関数を適用するようにしてもよい。
第1実施形態に関する変形例8としては、プーリング層64a〜dではなく、畳み込み層63a〜eが出力する特徴マップがワープ適用部65に出力されて、そのワープドコピーがデコーダ部66へ入力されるようにしてもよい。
第2実施形態に関する変形例9としては、エンコーダ部261及びデコーダ部266を主体として構成されている畳み込みニューラルネットワークの構造として、種々の構造が採用され得る。この例として、全層畳み込みニューラルネットワークを採用することができる。
変形例10としては、ECU40は、車両1に搭載された撮像部10と通信可能に接続されていれば、車両1に搭載されていなくてもよい。
変形例11としては、撮影視点PVPとは別の視点に基づく、車両1の移動可能方向を含む2次元空間の鳥瞰座標系CBとして、縦中心面に垂直な仮想の面に沿う座標系、すなわち車両1を基準とした座標系でなく、重力方向に垂直な水平面に沿う座標系、すなわち地球を基準とした座標系が採用されてもよい。
変形例12としては、物体識別装置は、車両以外の、船舶、飛行機等の各種移動体に適用することができる。物体識別装置が飛行機に適用された場合には、撮影視点PVPとは別の視点に基づく、移動体の移動可能方向を含む2次元空間の座標系として、重力方向を含む面に沿った座標系が採用されてもよい。このような座標系を採用した視点変換マップを用いると、重力方向の物体の位置を識別することができるので、飛行機の運航高度をより的確に設定することが可能となる。また、物体識別装置は、無人の搬送車、ドローン等の無人の移動体に適用することもできる。
1 車両、9 車両システム(移動体用システム)、10 撮像部、11 カメラ、40 ECU(物体識別装置)、40a 画像取得部、60,260 視点変換マップ生成部(演算装置)、51 学習値メモリ、61,261 エンコーダ部、62a〜e 特徴抽出ユニット(特徴量抽出ユニット)、65 ワープ適用部、66,266 デコーダ部、67a〜e 識別ユニット、271 ワープ変換部、80 学習装置、81 プロセッサ(演算回路)、82 メモリ装置、83 物体識別モデル、84 教師データ設定部、85 学習部、CB 鳥瞰座標系(第2座標系)、CV 撮像座標系(第1座標系)、MB 視点変換マップ、PVP 撮影視点
Claims (16)
- 移動体(1)に搭載された撮像部(10)と通信可能に接続され、前記移動体の外界の物体を識別する物体識別装置であって、
前記撮像部が所定の撮影視点(PVP)から撮影した前記外界の画像(IM)を取得する画像取得部(40a)と、
畳み込みニューラルネットワークを構成し、前記画像取得部が取得した前記画像のデータが前記畳み込みニューラルネットワークに入力され、前記畳み込みニューラルネットワークを経て、前記画像を前記撮影視点とは別の視点に変換した視点変換マップ(MB)を出力する視点変換マップ生成部(60,260)と、を備え、
前記視点変換マップ生成部は、
前記画像のデータに、前記畳み込みニューラルネットワークの畳み込み演算を適用し、前記撮影視点に基づく第1座標系(CV)における前記物体の特徴マップを抽出する特徴抽出処理部(61,261,266)と、
前記別の視点に基づく第2座標系(CB)の位置が、前記第1座標系のどの位置に対応しているかを関係付けるワープ関数を、前記特徴抽出処理部により抽出された前記特徴マップに適用し、前記第2座標系の領域における前記物体が識別された前記視点変換マップを出力する出力処理部(65,66,271)と、を有する物体識別装置。
- 前記第2座標系は、前記移動体の移動可能方向を含む2次元空間の座標系である請求項1に記載の物体識別装置。
- 前記畳み込みニューラルネットワークのカーネルに用いるカーネルのパラメータと、前記ワープ関数のワープパラメータと、を記憶しているメモリ装置(40c)と、
前記カーネルのパラメータを用いた前記畳み込み演算と、前記ワープパラメータを用いた前記ワープ関数の適用演算と、を処理する演算回路(40b)とを、さらに備える請求項1又は2に記載の物体識別装置。 - 前記出力処理部は、
前記ワープ関数を、前記特徴抽出処理部により抽出された前記特徴マップに適用するワープ適用部(65)と、
前記ワープ関数が適用された前記特徴マップを前記畳み込みニューラルネットワークに結合し、前記第2座標系の領域における前記物体が識別された前記視点変換マップを出力する識別処理部(66)と、を有する請求項1から3のいずれか1項に記載の物体識別装置。 - 前記特徴抽出処理部は、前記畳み込み演算を行なう畳み込み層(63a〜e)と、前記畳み込み層からの出力結果をプーリングを用いてダウンサンプリングするプーリング層(64a〜e)とを有する複数の特徴抽出ユニット(62a〜e)を、直列的に接続し、
前記識別処理部は、アップサンプリングするアップサンプリング層(68a〜e)と、前記アップサンプリング層からの出力結果に対して逆畳み込み演算を適用する逆畳み込み層(69a〜e)とを有する複数の識別ユニット(67a〜e)を、直列的に接続し、
前記ワープ関数が適用された前記特徴マップは、前記アップサンプリング層に入力され、
前記アップサンプリング層は、入力側に接続された前記逆畳み込み層からの出力結果と、前記ワープ関数が適用された前記特徴マップとを、結合して出力する請求項4に記載の物体識別装置。 - 前記特徴抽出処理部は、前記第1座標系の領域における前記物体が識別された前記特徴マップを出力し、
前記出力処理部は、前記ワープ関数を、前記第1座標系の領域における前記物体が識別された前記特徴マップに適用して、前記視点変換マップとして出力させる請求項1から3のいずれか1項に記載の物体識別装置。 - 移動体(1)に用いられる移動体システムであって、
前記移動体に搭載され、所定の撮影視点(PVP)から前記移動体の外界を撮影して画像(IM)を生成する撮像部(10)と、
前記撮像部と通信可能に接続され、前記移動体の外界の物体を識別する物体識別装置(40)と、を具備し、
前記物体識別装置は、畳み込みニューラルネットワークを構成し、前記画像のデータが前記畳み込みニューラルネットワークに入力され、前記畳み込みニューラルネットワークを経て、前記画像を前記撮影視点とは別の視点に変換した視点変換マップ(MB)を出力する視点変換マップ生成部(60)を、備え、
前記視点変換マップ生成部は、
前記画像のデータに、前記畳み込みニューラルネットワークの畳み込み演算を適用し、前記撮影視点に基づく第1座標系(CV)における前記物体の特徴マップを抽出する特徴抽出処理部(61,261,266)と、
前記別の視点に基づく第2座標系(CB)の位置が、前記第1座標系のどの位置に対応しているかを関係付けるワープ関数を、前記特徴抽出処理部により抽出された前記特徴マップに適用し、前記第2座標系の領域における前記物体が識別された前記視点変換マップを出力する出力処理部(65,66,271)と、を有する移動体用システム。 - 前記視点変換マップを可視化した画像を表示する画像表示部(21)をさらに具備する請求項7に記載の移動体用システム。
- 前記視点変換マップを用いて、前記移動体の移動を制御する移動制御部(30)をさらに具備する請求項7又は8に記載の移動体用システム。
- 撮影視点(PVP)から物体が撮影された撮影画像(IM)のデータを畳み込みニューラルネットワークに入力し、前記撮影画像のデータに畳み込み演算を適用して、前記撮影視点に基づく第1座標系(CV)における特徴マップを抽出することと、
前記撮影視点とは別の視点に基づく第2座標系(CB)の位置が、前記第1座標系のどの位置に対応しているかを関連付けるワープ関数を、前記特徴マップに適用することと、
前記ワープ関数が適用された前記特徴マップに基づいて、前記撮影画像のデータが前記撮影視点から前記別の視点に変換されていると共に、前記物体が識別された視点変換マップ(MB)を得ることと、を含む物体識別方法。 - 畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造と、を構成する物体識別モデルにおいて、前記別の座標系(CB)の位置が、前記ワープ前の座標系(CV)のどの位置に対応しているかを関係付けるためのワープパラメータを前記ワープ構造に用意することと、
前記物体識別モデルに物体が撮影された撮影画像(IM)を入力すると、前記別の座標系において前記物体が識別された視点変換マップ(MB)が出力されるように、前記ワープパラメータを学習させることと、を含む物体識別モデルの学習方法。 - 前記学習させることの前に、前記物体が撮影された前記撮影画像のデータと、前記撮影画像のデータに対応した正解データである前記別の座標系において前記物体が識別された前記視点変換マップのデータとの組を、用意することを、さらに含み、
前記学習させることにおいては、前記撮影画像のデータを前記物体識別モデルに入力した場合に、前記正解データにより近いデータを出力するように、前記畳み込みニューラルネットワークに用いるカーネルのパラメータと、前記ワープパラメータとを、同時に学習させる請求項11に記載の物体識別モデルの学習方法。 - 前記撮影画像上の前記物体の奥行きを示す奥行きデータを、用意することと、
前記学習させることの前に、前記ワープパラメータのうち一部の変位量であって、前記撮影画像上の前記物体の死角となる死角領域(BS)外の位置に対応する前記変位量を、前記奥行きデータを参照して確定することと、をさらに含み、
前記学習させることにおいて、前記一部の変位量を確定した状態で、前記畳み込みニューラルネットワークに用いるカーネルのパラメータと、前記ワープパラメータのうち非確定状態の他部とを、同時に学習させる請求項11又は12に記載の物体識別モデルの学習方法。 - 前記学習させることにおいて、前記死角領域に対応する前記視点変換マップ上の位置が、前記撮影画像上のどの位置に対応しているかを、探索する請求項13に記載の物体識別モデルの学習方法。
- 物体識別モデル(83)を学習する学習装置であって、
畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークにて抽出された特徴マップを別の座標系にワープするワープ構造と、を構成する前記物体識別モデルの演算処理を実行可能に構成された演算回路(81)と、
撮影視点(PVP)から物体が撮影された撮影画像(IM)のデータと、正解データである前記撮影視点とは別の視点に基づく座標系(CB)において前記物体が識別された出力マップ(MB)とを、設定する教師データ設定部(84)と、
前記撮影画像を前記物体識別モデルに入力した場合に、前記正解データにより近いデータを出力するように、前記畳み込みニューラルネットワークのカーネルに用いるカーネルのパラメータ及び前記ワープ構造に用いるワープパラメータを学習する学習部(85)と、
前記学習部が学習した前記カーネルのパラメータ及び前記ワープパラメータを、記憶するためのメモリ装置(82)と、を備える物体識別モデルの学習装置。 - 移動体(1)に搭載されたカメラ(11)と通信可能に接続され、前記移動体の外界の物体を識別する物体識別装置であって、
前記カメラと接続され、前記カメラが撮影した前記外界の画像(IM)を取得する画像取得部(40a)と、
学習値が保存された学習値メモリ(51)と、
前記学習値メモリからカーネルパラメータを読み込んで、複数の特徴量抽出ユニット(62a〜e)を備えるエンコーダ部(61)と、複数の識別ユニット(67a〜e)を備えるデコーダ部(66)とからなる畳み込みニューラルネットワークを構成し、前記エンコーダ部によって、前記画像取得部が取得した前記画像のデータから前記物体の特徴量の特徴マップを抽出し、前記学習値メモリからワープパラメータを読み込んで、前記複数の識別ユニットに対応する複数のワープ関数を作成し、前記特徴マップに前記複数のワープ関数を適用してそれぞれ対応する前記識別ユニットに読み込ませることにより、前記デコーダ部によって前記カメラが撮影した視点とは別の視点に変換した視点変換マップ(MB)を生成する演算装置(60)と、を有する物体識別装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018106087A JP6766844B2 (ja) | 2018-06-01 | 2018-06-01 | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 |
PCT/JP2019/018724 WO2019230339A1 (ja) | 2018-06-01 | 2019-05-10 | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 |
US17/105,148 US11734918B2 (en) | 2018-06-01 | 2020-11-25 | Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018106087A JP6766844B2 (ja) | 2018-06-01 | 2018-06-01 | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019211900A true JP2019211900A (ja) | 2019-12-12 |
JP6766844B2 JP6766844B2 (ja) | 2020-10-14 |
Family
ID=68698740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018106087A Expired - Fee Related JP6766844B2 (ja) | 2018-06-01 | 2018-06-01 | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11734918B2 (ja) |
JP (1) | JP6766844B2 (ja) |
WO (1) | WO2019230339A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021144897A1 (ja) * | 2020-01-15 | 2021-07-22 | 日本電信電話株式会社 | 3次元点群識別装置、学習装置、3次元点群識別方法、学習方法、及びプログラム |
JPWO2020031531A1 (ja) * | 2018-08-10 | 2021-09-30 | コニカミノルタ株式会社 | 移動行動異常判定装置および該方法ならびに被監視者監視支援システム |
CN113743179A (zh) * | 2020-05-27 | 2021-12-03 | 丰田自动车株式会社 | 路上障碍物检知装置、方法及记录介质 |
WO2022004423A1 (ja) * | 2020-07-02 | 2022-01-06 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
WO2022097426A1 (ja) * | 2020-11-04 | 2022-05-12 | 株式会社日立製作所 | 状態判定装置、状態判定システム及び状態判定方法 |
WO2022137921A1 (ja) * | 2020-12-25 | 2022-06-30 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
WO2023234171A1 (ja) * | 2022-05-31 | 2023-12-07 | 浜松ホトニクス株式会社 | 画像処理装置および画像処理方法 |
JP7450654B2 (ja) | 2022-02-10 | 2024-03-15 | 本田技研工業株式会社 | 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム |
JP7511673B2 (ja) | 2020-05-11 | 2024-07-05 | 華為技術有限公司 | 車両走行可能領域検出方法、システム、及びそのシステムを使用する自律車両 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111666960B (zh) * | 2019-03-06 | 2024-01-19 | 南京地平线机器人技术有限公司 | 图像识别方法、装置、电子设备及可读存储介质 |
US11354913B1 (en) * | 2019-11-27 | 2022-06-07 | Woven Planet North America, Inc. | Systems and methods for improving vehicle predictions using point representations of scene |
JP7420607B2 (ja) * | 2020-03-19 | 2024-01-23 | 本田技研工業株式会社 | 情報処理装置、情報処理方法、車両、情報処理サーバ、及びプログラム |
US11107228B1 (en) | 2020-04-02 | 2021-08-31 | Ford Global Technologies, Llc | Realistic image perspective transformation using neural networks |
US20220301128A1 (en) * | 2021-03-16 | 2022-09-22 | Samsung Electronics Co., Ltd. | Method and device for deep guided filter processing |
CN114264298B (zh) * | 2021-12-30 | 2024-02-20 | 神思电子技术股份有限公司 | 一种室内地图的导航路径生成方法、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150633A (ja) * | 2010-01-25 | 2011-08-04 | Toyota Central R&D Labs Inc | 対象物検出装置及びプログラム |
JP2018005520A (ja) * | 2016-06-30 | 2018-01-11 | クラリオン株式会社 | 物体検出装置及び物体検出方法 |
WO2018066712A1 (ja) * | 2016-10-07 | 2018-04-12 | アイシン・エィ・ダブリュ株式会社 | 走行支援装置及びコンピュータプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009087097A (ja) | 2007-09-28 | 2009-04-23 | Panasonic Corp | 交通情報生成装置及び交通情報提供システム |
BR112014001837B1 (pt) * | 2011-08-02 | 2021-04-20 | Nissan Motor Co., Ltd. | dispositivos e métodos de detecção de corpo em movimento |
JP2017059207A (ja) | 2015-09-18 | 2017-03-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像認識方法 |
CN106548127B (zh) | 2015-09-18 | 2022-11-04 | 松下电器(美国)知识产权公司 | 图像识别方法 |
JP6662356B2 (ja) * | 2017-08-03 | 2020-03-11 | トヨタ自動車株式会社 | 車両制御装置 |
EP3673233A4 (en) * | 2018-04-18 | 2021-05-19 | Mobileye Vision Technologies Ltd. | VEHICLE ENVIRONMENT MODELING WITH A CAMERA |
-
2018
- 2018-06-01 JP JP2018106087A patent/JP6766844B2/ja not_active Expired - Fee Related
-
2019
- 2019-05-10 WO PCT/JP2019/018724 patent/WO2019230339A1/ja active Application Filing
-
2020
- 2020-11-25 US US17/105,148 patent/US11734918B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150633A (ja) * | 2010-01-25 | 2011-08-04 | Toyota Central R&D Labs Inc | 対象物検出装置及びプログラム |
JP2018005520A (ja) * | 2016-06-30 | 2018-01-11 | クラリオン株式会社 | 物体検出装置及び物体検出方法 |
WO2018066712A1 (ja) * | 2016-10-07 | 2018-04-12 | アイシン・エィ・ダブリュ株式会社 | 走行支援装置及びコンピュータプログラム |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020031531A1 (ja) * | 2018-08-10 | 2021-09-30 | コニカミノルタ株式会社 | 移動行動異常判定装置および該方法ならびに被監視者監視支援システム |
JP7352197B2 (ja) | 2018-08-10 | 2023-09-28 | コニカミノルタ株式会社 | 移動行動異常判定装置および該方法ならびに被監視者監視支援システム |
JP7310932B2 (ja) | 2020-01-15 | 2023-07-19 | 日本電信電話株式会社 | 3次元点群識別装置、学習装置、3次元点群識別方法、学習方法、及びプログラム |
JPWO2021144897A1 (ja) * | 2020-01-15 | 2021-07-22 | ||
WO2021144897A1 (ja) * | 2020-01-15 | 2021-07-22 | 日本電信電話株式会社 | 3次元点群識別装置、学習装置、3次元点群識別方法、学習方法、及びプログラム |
JP7511673B2 (ja) | 2020-05-11 | 2024-07-05 | 華為技術有限公司 | 車両走行可能領域検出方法、システム、及びそのシステムを使用する自律車両 |
JP7310718B2 (ja) | 2020-05-27 | 2023-07-19 | トヨタ自動車株式会社 | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム |
JP2021189625A (ja) * | 2020-05-27 | 2021-12-13 | トヨタ自動車株式会社 | 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム |
CN113743179A (zh) * | 2020-05-27 | 2021-12-03 | 丰田自动车株式会社 | 路上障碍物检知装置、方法及记录介质 |
WO2022004423A1 (ja) * | 2020-07-02 | 2022-01-06 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
WO2022097426A1 (ja) * | 2020-11-04 | 2022-05-12 | 株式会社日立製作所 | 状態判定装置、状態判定システム及び状態判定方法 |
JP7427569B2 (ja) | 2020-11-04 | 2024-02-05 | 株式会社日立製作所 | 状態判定装置、状態判定システム及び状態判定方法 |
WO2022137921A1 (ja) * | 2020-12-25 | 2022-06-30 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
JP7450654B2 (ja) | 2022-02-10 | 2024-03-15 | 本田技研工業株式会社 | 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム |
WO2023234171A1 (ja) * | 2022-05-31 | 2023-12-07 | 浜松ホトニクス株式会社 | 画像処理装置および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210081681A1 (en) | 2021-03-18 |
WO2019230339A1 (ja) | 2019-12-05 |
US11734918B2 (en) | 2023-08-22 |
JP6766844B2 (ja) | 2020-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6766844B2 (ja) | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 | |
US10970871B2 (en) | Estimating two-dimensional object bounding box information based on bird's-eye view point cloud | |
CN112912920B (zh) | 用于2d卷积神经网络的点云数据转换方法和*** | |
CN113348422B (zh) | 用于生成预测占据栅格地图的方法和*** | |
US11315266B2 (en) | Self-supervised depth estimation method and system | |
CN114723955B (zh) | 图像处理方法、装置、设备和计算机可读存储介质 | |
JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
EP3561727A1 (en) | A device and a method for extracting dynamic information on a scene using a convolutional neural network | |
Yang et al. | Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot | |
KR20200039589A (ko) | 선박 및 항만 모니터링 장치 및 방법 | |
CN109214986A (zh) | 从下采样的低分辨率lidar 3-d点云和摄像机图像生成高分辨率3-d点云 | |
CN109214987A (zh) | 从上采样的低分辨率lidar 3-d点云和摄像机图像生成高分辨率3-d点云 | |
CN109215067A (zh) | 基于cnn和crf模型生成高分辨率3-d点云 | |
JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
JP5663352B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
CN111563415A (zh) | 一种基于双目视觉的三维目标检测***及方法 | |
CN113936139A (zh) | 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及*** | |
US11836884B2 (en) | Real-time generation of functional road maps | |
US20220051425A1 (en) | Scale-aware monocular localization and mapping | |
US11430199B2 (en) | Feature recognition assisted super-resolution method | |
KR20200094644A (ko) | V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
JP7077726B2 (ja) | 車両システム、空間領域推測方法及び空間領域推測装置 | |
CN115359326A (zh) | 单目3d目标检测方法及装置 | |
Kim et al. | MOD: Multi-camera based local position estimation for moving objects detection | |
Li et al. | Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200831 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6766844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |