JP6994950B2 - 画像認識システムおよびニューラルネットワークの学習方法 - Google Patents

Description

本発明は、ニューラルネットワークを用いた画像認識システムおよび画像認識システムにおけるニューラルネットワークの学習方法に関する。

車載カメラを使って他車両や歩行者などを検知し、それら対象物体の存在をドライバに注意喚起するシステムや、それらの対象物体の存在に応じて自動制御を行うシステムにおいて、対象物体までの距離を正確に求めることは重要な要素技術である。

従来技術として、単眼カメラで得られた静止画に対してニューラルネットワークを利用したパターン認識を行い、対象物体までの距離などの物理量を推定する方法などがある。

しかしながら、従来技術による方法では、精度よく物理量を求められないことがある。特に、単眼カメラによる上記の方法は既に相当程度成熟しており、大幅な改善が見込めない。

従来技術による方法で精度が十分でない理由の１つとして、従来は、１枚の静止画の見えのみを考慮してニューラルネットワークが最適化されていることにある。そのようなニューラルネットワークを用いて得られた物理量は、静止画に対しては適切な結果が得られるものの、得られた物理量を時系列で捉えると物理的知見とは乖離していることも少なくない。例えば、対象物体までの距離が短時間で大きく変化することを示していることもある。

本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、より精度よく物理量を推定できる画像認識システムおよび画像認識システムにおけるニューラルネットワークの学習方法を提供することである。

本発明の一態様によれば、複数の画像のそれぞれに含まれる対象の見えに関する観測をニューラルネットワークを用いて推定し、推定された前記観測から前記対象の物理量を算出する画像認識システムにおけるニューラルネットワークの学習方法であって、前記観測に対する真値と、前記物理量に関する事前知識とを用いて、前記ニューラルネットワークにおける重みを最適化する、ニューラルネットワークの学習方法が提供される。

前記観測の推定精度を示す第１コスト項と、前記物理量の算出精度を示す第２コスト項と、の総和が最小となるよう、前記ニューラルネットワークにおける重みを最適化するのが望ましい。

この場合、前記第２コスト項は、算出される前記物理量が事前知識に基づく値に近いほど小さい値をとるものであってもよい。
あるいは、前記第２コスト項は、算出される前記物理量の分布が事前知識に基づく分布に近いほど小さい値をとるものであってもよい。

前記物理量は加速度またはジャークであってもよい。

前記画像認識システムは、前記複数の画像のそれぞれから外乱を推定し、推定された前記観測および前記外乱から前記対象の物理量を算出し、前記外乱に関する事前知識も用いて、前記ニューラルネットワークにおける重みを最適化してもよい。

そして、前記観測の推定精度を示す第１コスト項と、前記物理量の算出精度を示す第２コスト項と、前記外乱の推定精度を示す第３コスト項と、の総和が最小となるよう、前記ニューラルネットワークにおける重みを最適化するのが望ましい。

この場合、前記第３コスト項は、推定される前記外乱が事前知識に基づく値に近いほど小さい値をとるものであってもよい。
あるいは、前記第３コスト項は、推定される前記外乱の分布が事前知識に基づく分布に近いほど小さい値をとるものであってもよい。

前記外乱は、路面の傾き、前記複数の画像のそれぞれを撮影するカメラの取り付け高さのずれ、および、前記カメラのピッチ角の少なくとも１つを含んでもよい。

前記対象の見えに関する観測は、前記複数の画像において前記対象を囲う矩形であってもよい。

また、本発明の別の態様によれば、複数の画像のそれぞれに含まれる対象の見えに関する観測をニューラルネットワークを用いて推定し、推定された前記観測から前記対象の物理量を算出する画像認識システムであって、前記観測に対する真値と、前記物理量に関する事前知識とを用いて、前記ニューラルネットワークにおける重みを最適化する、画像認識システムが提供される。

物理量の推定精度が向上する。

画像認識システムの一例を模式的に示す図。 画像認識システムの概略構成を示す模式図。 第１の実施形態における観測、外乱および物理量のモデルを説明する図。 第１の実施形態に係る物理量推定部２の内部構成の一例を示すブロック図。 学習時の物理量推定部２を説明する図。 本手法による加速度の推定結果と従来手法による加速度の推定結果とを比較するグラフ。 本手法による距離の推定結果と従来手法による距離の推定結果とを比較するグラフ。 第２の実施形態における観測および物理量のモデルを説明する図。 第２の実施形態に係る物理量推定部２の内部構成の一例を示すブロック図。

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。

（第１の実施形態）
図１は、画像認識システムの一例を模式的に示す図である。本例では、自車両１００に搭載されたカメラ１による撮影によって得られた画像から、該画像に含まれる対象車両２００に関する物理量を、事前に学習が行われた畳み込みニューラルネットワークを利用して推定するものである。出力される物理量から衝突の危険判定などが行われる。

物理量とは、例えば対象車両２００の大きさ、距離、速度、加速度などである。これらの物理量は、まず画像における対象車両２００の位置を推定し、次いで推定結果に対して予め設定したモデルに基づく幾何計算を行って求められる。

ここで、画像における対象車両２００の位置は、予め真値が分かっている画像（例えば、手動で真値を与えた画像）を大量に用いた教師あり学習が可能であり、従来技術によって高い精度で推定可能である。

一方、対象車両２００の大きさ、距離、速度、加速度といった物理量は、これらの真値を得るのは容易ではなく、事前に教師あり学習を行うのは困難である。そのため、これらの物理量は外乱の影響を受けると、誤差が大きくなることがある。特に、加速度は距離を２階微分して得られるものであるため、わずかな外乱に対しても特に誤差が大きくなる傾向にある。

そこで、本実施形態では、外乱がある場合でも、大きさ、距離、速度、加速度といったダイナミクスの物理量も精度よく検出できる学習法を提示する。なお、「速度」は、正確には自車両１００に対する対象車両２００の「相対速度」であるが、本明細書では単に速度という。加速度などについても同様とする。

図２は、画像認識システムの概略構成を示す模式図である。画像認識システムは、センサの一例であるカメラ１と、物理量推定部２と、時系列フィルタ３とを備えている。

カメラ１は、図１に示したように自車両１００に搭載された単眼カメラであり、前方の特定範囲を撮影する。撮影された画像は動画像ではあるが、連続する複数時刻の静止画像として物理量推定部２に入力される。なお、本実施形態では、「複数時刻」が連続する５時刻（ｔ－２～ｔ＋２）であるとする。

物理量推定部２は、複数時刻の画像から、対象車両２００に関する物理量を畳み込みニューラルネットワークを利用して推定する。本実施形態における物理量は、対象車両２００の大きさ（より具体的には、車高や車幅）、対象車両２００との距離、対象車両２００の速度および加速度などであり、詳細は図３を用いて後述する。また、物理量推定部２の具体的な構成例は、図４Ａを用いて後述する。

時系列フィルタ３は、例えばカルマンフィルタであり、物理量推定部２からの出力を補正する。本実施形態では、距離のみならず、速度や加速度も時系列フィルタ３に入力されるため、補正の精度が向上する。

図３は、第１の実施形態における観測、外乱および物理量のモデルを説明する図である。カメラ１の光軸をＺ軸（紙面右向き）とし、鉛直方向をＹ軸（紙面下向き、鉛直下向きを正）とし、Ｚ軸およびＹ軸と直交する方向をＸ軸（紙面と垂直）とする。また、カメラ１の焦点位置（既知）を原点とする。そして、外乱がない場合、路面はＺ軸と平行であり、カメラ１は路面から高さＨ（既知）に取り付けられているとする。なお、路面には凹凸がないものと仮定する。

本実施形態では、観測Γ_T，Γ_B，Γ_R，Γ_L、外乱α，ΔＨおよび物理量Ｄｙ，Ｄｘ，Ｚ，ｄＺ／ｄｔ，ｄ²Ｚ／ｄｔ²を次のように定義する。

まずは、画像に含まれる対象車両２００の見えに関する指標である観測Γ_T，Γ_B，Γ_R，Γ_Lについて説明する。Γ_Tは、画像上で対象車両２００を矩形で囲んだ場合に、カメラ１および矩形の上端中点を通る直線を示すレイである。同様に、Γ_B，Γ_R，Γ_Lは、カメラ１および矩形の下端中点、右端中点および左端中点を通る直線をそれぞれ示すレイである。すなわち、以下の式が成立する。
Ｙ＝Γ_T＊Ｚ ・・・（１）
Ｙ＝Γ_B＊Ｚ ・・・（２）

観測Γ_T，Γ_B，Γ_R，Γ_Lは画像において対象車両２００を囲う矩形を示すもの、言い換えると、画像における対象車両２００の位置を示すともいえる。以下では、Γ_T，Γ_B，Γ_R，Γ_LをまとめてΓと表記する。

次に、外乱α，ΔＨについて説明する。外乱αは路面の傾きαであり、自車両１００のピッキングの影響などによって生じ得る。外乱ΔＨはカメラ１の高さずれ、正確には、カメラ１の取り付け高さＨからの差分であり、自車両１００におけるサスペンションの影響などによって生じ得る。この場合、外乱α，ΔＨを考慮した真の路面は次のように表わされる。
Ｙ＝（Ｈ＋ΔＨ）＋α＊Ｚ ・・・（３）

その他、外乱としてピッチ角を考慮してもよい。ピッチ角はＸＺ平面におけるカメラ１の回転移動であり、自車両１００のピッチングによって生じる。

次に、最終的に求めたい値である物理量Ｚ，ｄＺ／ｄｔ，ｄ²Ｚ／ｄｔ²，Ｄｘ，Ｄｙについて説明する。

物理量Ｚはカメラ１から対象車両２００までの距離であり、上記（２），（３）式から算出される。
Ｚ＝（Ｈ＋ΔＨ）／（Γ_B－α） ・・・（４）
なお、実際の距離は、上記（４）式の距離Ｚにカメラ１の焦点距離ｆ（既知の内部パラメタ）を乗じることで得られる。

物理量ｄＺ／ｄｔ，ｄ²Ｚ／ｄｔ²はそれぞれ対象車両２００の速度および加速度であり、距離Ｚを離散微分することで算出される。

物理量Ｄｙは対象車両２００の高さ（車高）であり、上記（１），（２），（４）式から算出される。
Ｄｙ＝（Γ_B－Γ_T）＊（Ｈ＋ΔＨ）／（Γ_B－α） ・・・（５）

物理量Ｄｘは対象車両２００の幅（車幅）であり、ピッチ角を考慮することで車高Ｄｙと同様に算出される。

以上説明したように、本実施形態における物理量Ｄｘ，Ｄｙ，Ｚ，ｄＺ／ｄｔ，ｄ²Ｚ／ｄｔ²は、いずれも観測Γおよび外乱α，ΔＨに基づいて直ちに算出可能である。

図４Ａは、第１の実施形態に係る物理量推定部２の内部構成の一例を示すブロック図である。物理量推定部２は、観測推定部２１と、外乱推定部２２と、物理量算出部２３とを有する。なお、図４Ａでは、説明のために観測推定部２１および外乱推定部２２に分けているが、単一の畳み込みニューラルネットワークで構成することもできる。また、各部の一部または全部は、コンピュータのプロセッサが所定のプログラムを実行することによって実現されてもよい。

観測推定部２１は、時刻ｔ－２～ｔ＋２における各画像から、後述する事前学習が行われた畳み込みニューラルネットワーク（例えば、パターン認識器）を利用して５時刻分の観測Γ（ｔ－２）～Γ（ｔ＋２）を推定するものであり、いわゆるブラックボックスとなっている。

外乱推定部２２は、時刻ｔ－２～ｔ＋２における各画像から、後述する事前学習が行われた畳み込みニューラルネットワークを利用して５時刻分の外乱α（ｔ－２）～α（ｔ＋２），ΔＨ（ｔ－２）～ΔＨ（ｔ＋２）を推定する。

物理量算出部２３は、観測推定部２１で推定された観測Γ（ｔ－２）～Γ（ｔ＋２）と、外乱推定部２２で推定された外乱α（ｔ－２）～α（ｔ＋２），ΔＨ（ｔ－２）～ΔＨ（ｔ＋２）から、上記（４），（５）式などを適用し、５時刻分の物理量Ｚ（ｔ－２）～Ｚ（ｔ＋２），Ｄｙ（ｔ－２）～Ｄｙ（ｔ＋２），Ｄｘ（ｔ－２）～Ｄｘ（ｔ＋２）を算出する。さらに、物理量算出部２３は距離Ｚを離散微分して速度ｄＺ（ｔ）／ｄｔおよび加速度ｄ²Ｚ（ｔ）／ｄｔ²を算出する。なお、速度ｄＺ（ｔ）／ｄｔおよび加速度ｄ²Ｚ（ｔ）／ｄｔ²は離散微分によって得られるため、５時刻分あるわけではない。

物理量算出部２３は、畳み込みニューラルネットワークを利用して推定を行う必要はなく、物理量を幾何計算によって「算出」するホワイトボックスとなっている。

続いて、観測推定部２１および外乱推定部２２における畳み込みニューラルネットワークの事前の学習について説明する。畳み込みニューラルネットワークは複数段の畳み込み層および全結合層から構成される。畳み込み層は、前段の畳み込み層からの出力（初段の畳み込み層においては、入力される複数時刻の画像）に対してフィルタを適用して畳み込みを行う。フィルタには重みが設定されており、事前学習とはこの重みを最適化することである。

図４Ｂは、学習時の物理量推定部２を説明する図である。本実施形態では、観測推定部２１、外乱推定部２２および物理量算出部２３のそれぞれに、コスト項Ｊ１，Ｊ２，Ｊ３を設定する。そして、これらの総和であるコスト関数Ｊが最小となるよう重みを最適化する。

観測推定部２１では、対象車両２００を囲う矩形（すなわち、観測Γ）の真値を予め得ることが容易であるため、教師あり学習を行うのが望ましい。よって、観測推定部２１には、５時刻分の画像と、そのそれぞれについて、矩形領域（すなわち、観測Γ）の真値が教師データとして入力される。そして、観測の推定精度を示すコスト項Ｊ１を定義する。例えば、観測Γの真値と、推定された観測Γとの差分の２乗の総和をコスト項Ｊ１とすることができる。

なお、観測推定部２１の前段に推定器（不図示）を設け、５時刻分の画像のそれぞれを静止画としてみなして対象車両２００の矩形（観測）を推定し、これを初期値Γ０として観測推定部２１の全結合層に入力してもよい。この場合、観測推定部２１は初期値Γ０を補正して観測Γを推定することとなり、画像に複数の車両が含まれる場合にも適用可能となる。このような推定器を設けない場合、画像に複数の車両がある場合には画像の領域ごとに真値を設定すればよい。

外乱推定部２２では、外乱α，ΔＨの真値を予め得るのが困難であるため、教師なし学習を行うこととなる。よって、外乱推定部２２には教師データは入力されない。代わりに、本実施形態では、以下のような外乱α，ΔＨに関する事前知識を利用することとする。

路面の傾きαの分布は、平均値０、標準偏差σ_αの正規分布に従うものとする。平均値０とするのは、自車両１００のピッチングや路面形状の変化が正側にも負側にも現れ得るためである。標準偏差σ_αは、現実的な路面の傾きを考慮すると１／１００オーダ程度が妥当であって、１／１０オーダ以上でないことは経験から自明である。

カメラ１の高さずれΔＨの分布は、平均値０、標準偏差σ_Hの正規分布に従うものとする。平均値０とするのは、ΔＨが元々カメラ１の取り付け高さからのずれとして定義されているためである。標準偏差σ_Hは、設計者の事前知識を反映して設定されるべき値であり、１ｃｍオーダ程度が妥当であって、１ｍオーダ以上でないことは経験から自明である。

そして、外乱の推定精度を示すコスト項Ｊ２を定義する。例えば、推定された５時刻分の外乱α，ΔＨのそれぞれの分布が、上記事前知識に基づく正規分布に近いほど小さな値をとるコスト項Ｊ２を設定する。より具体的には、外乱α，ΔＨの分布と、上記事前知識に基づく正規分布とのカルバックライブラー距離（ＫＬ距離）の対数の総和をコスト項Ｊ２とすることができる。別の例として、推定された５時刻分の外乱α，ΔＨが事前知識に基づく平均値（ここでは０）に近いほど小さな値をとるコスト項Ｊ２を設定してもよい。より具体的には、推定された外乱α，ΔＨの２乗または絶対値（平均値０であるため）の総和をコスト項Ｊ２としてもよい。

物理量算出部２３では、物理量の真値を事前に得るのが困難であるため、教師なし学習を行うこととなる。よって、物理量算出部２３には教師データは入力されない。代わりに、本実施形態では、以下のような物理量ｄ²Ｚ／ｄｔ²，Ｄｙ，Ｄｘに関する事前知識を利用することとする。

加速度ｄ²Ｚ／ｄｔ²の分布は、平均値０、標準偏差σ_Z2の正規分布に従うものとする。平均値０とするのは、加速と減速とが同頻度と考えられるためである。標準偏差σ_Z2は、現実的な自車両１００および対象車両２００の加速度を考慮すると、０．０１Ｇ（Ｇは重力加速度）オーダ程度が妥当であって、０．１Ｇオーダ以上でないことは経験から自明である。

車高Ｄｙおよび車幅Ｄｘの分布は、平均値が時系列平均（その対象車両２００の車高および車幅）であり、標準偏差σ_Dy，σ_Dxの正規分布に従うものとする。標準偏差σ_Dy，σ_Dxは、設計者の事前知識を反映して設定されるべき値であり、１ｃｍオーダ程度が妥当であって、１ｍオーダ以上でないことは経験から自明である。

そして、物理量の算出精度を示すコスト項Ｊ３を定義する。例えば、算出された物理量ｄ²Ｚ／ｄｔ²および５時刻分の物理量Ｄｙ，Ｄｘのそれぞれの分布が、上記事前知識に基づく正規分布に近いほど小さな値となるコスト項Ｊ３を設定する。より具体的には、物理量ｄ²Ｚ／ｄｔ²，Ｄｙ，Ｄｘの分布と、上記事前知識に基づく正規分布とのカルバックライブラー距離（ＫＬ距離）の対数の総和をコスト項Ｊ３とすることができる。別の例として、標準偏差σ_z2，σ_Dy，σ_Dxを０と考え、推定された物理量ｄ²Ｚ／ｄｔ²，Ｄｙ，Ｄｘの推定値が事前知識に基づく平均値に近いほど小さな値をとるコスト項Ｊ３を設定してもよい。より具体的には、算出された物理量ｄ²Ｚ／ｄｔ²，Ｄｙ，Ｄｘと、それぞれの平均値との差分の２乗または絶対値の総和をコスト項Ｊ３としてもよい。あるいは、走行用テストコースで、高精度ＰＧＳあるいはミリ波レーダを用いた計測で加速度の真値を得られるのであれば、真値がある画像について教師あり学習を、真値がない画像について教師なし学習を行ってもよい。

また、距離Ｚや速度ｄＺ／ｄｔについても、真値が得られれば教師あり学習を行い、得られないのであれば事前知識に基づく教師なし学習を行うようにしてもよい。

以上のコスト項Ｊ１～Ｊ３の総和をコスト関数とし、コスト関数が最小となるよう重みを最適化する。具体的には、ニューラルネットワーク学習における標準的手法である、ミニバッチ確率的勾配降下法を適用できる。ミニバッチとは、最適化の各反復において、複数個のランダムサンプリングされた学習標本を指す。本実施形態では、連続する５時刻分の画像が１つの学習標本である。ミニバッチサイズ（１ミニバッチ内の学習標本数）は十分に大きい。

観測推定部２１においては、推定される観測Γが真値に近づくだけでなく、物理量算出部２３によって算出される物理量の分布が事前知識に従うよう、内部の重みが最適化される。同様に、外乱推定部２２においては、推定される外乱α，ΔＨが事前知識に従うだけでなく、物理量算出部２３によって算出される物理量の分布が事前知識に従うよう、内部の重みが最適化される。

その結果、観測推定部２１は真値に近い観測Γを推定できるようになり、かつ、外乱推定部２２は事前知識に基づく確率分布に程よく従う外乱α，ΔＨを推定できるようになり、かつ、物理量算出部２３は事前知識に基づく確率分布に程よく従う物理量ｄ²Ｚ／ｄｔ²，Ｄｙ，Ｄｘを算出できるようになる。このことは、例えば路面の傾きαが１／１０程度になるとか、加速度ｄ²Ｚ／ｄｔ²が０．１Ｇ程度になるといった、物理的にあり得ない推定結果が得られにくくなり、物理的に意味のある結果が得られるようになることを意味する。

図５は、本手法による加速度の推定結果と従来手法による加速度の推定結果とを比較するグラフである。横軸は対象までの真の距離であり、縦軸は推定された加速度の２乗平方平均値（Root Mean Square、単位は重力加速度Ｇ）である。なお、観測Γは推定値ではなく、真値を与えている。

従来手法によれば、加速度の絶対値が異常に大きく（通常の加速度はせいぜい０．２Ｇ程度のはずである）、明らかに誤った値が頻繁に得られることが分かる。これは、観測Γが理想的であっても、必ずしも正確な物理量が得られるわけではないことを示している。

一方、本手法によれば、対象までの距離が長い場合であっても、加速度は従来手法より十分に低く、より現実に近い結果が得られている。

図６は、本手法による距離の推定結果と従来手法による距離の推定結果とを比較するグラフである。横軸は対象までの真の距離であり、縦軸は推定された距離と真の距離との誤差の２乗平方平均値（Root Mean Square Error）である。

従来手法によれば、誤差は大きく、特に対象までの距離が離れるほど誤差が大きいことが分かる。一方、本手法によれば、従来手法より正確に距離が得られていることが分かる。

このように、第１の実施形態では、連続する複数の画像から推定される加速度を、事前知識を用いて学習する。そのため、事前知識が反映され、得られる物理量が物理的により現実に近い高精度なものとなる。また、事前に真値を用意することが困難な外乱も事前知識を用いて学習することで、推定精度がさらに向上する。

（第２の実施形態）
次に説明する第２の実施形態は、外乱を考慮しないものである。以下、第１の実施形態との相違点を中心に説明する。

図７は、第２の実施形態における観測および物理量のモデルを説明する図である。座標の定義は図３と共通するが、路面が傾くことは考慮しない。

本実施形態では、第１の実施形態の観測Γ_T，Γ_B，Γ_R，Γ_Lに加え、観測Γ_Cを次のように定義する。観測Γ_Cは、画像上で、カメラ１と、対象車両２００を囲う矩形において路面からカメラ１の取り付け高さＨだけ鉛直上方向に移動した点とを通る直線を示すカメラ高レイである。すなわち、以下の式が成立する。
Ｙ＝Γ_C＊Ｚ ・・・（６）

この場合でも、物理量である距離Ｚおよび車高Ｄｙは次のように「算出」される。
Ｚ＝Ｈ／（Γ_B－Γ_C） ・・・（７）
Ｄｙ＝（Γ_B－Γ_T）＊Ｈ／（Γ_B－Γ_C） ・・・（８）
同様にして、車幅Ｄｘや、車速ｄＺ／ｄｔ、加速度ｄ²Ｚ／ｄｔ²も算出される。

図８は、第２の実施形態に係る物理量推定部２の内部構成の一例を示すブロック図である。本実施形態では外乱を考慮しないため、図４と比較すると外乱推定部２２を設けなくてもよい。観測推定部２１および物理量算出部２３の動作は第１の実施形態とほぼ同様である。すなわち、観測推定部２１では、観測Γ_Cの真値も用いて教師あり学習が行われる。物理量算出部２３では、事前知識を用いた教師なし学習が行われる。

このように、第２の実施形態でも、連続する複数の画像から推定される加速度を事前知識を用いて学習する。そのため、外乱を考慮しなくても、事前知識が反映されて、推定精度が向上する。

上述した各実施形態において、物理量算出部２３は、加速度ｄ²Ｚ／ｄｔ²に限らず、他の物理量（車高Ｄｙや車幅Ｄｘといった対象車両２００の大きさ、距離Ｚ、速度ｄＺ／ｄｔ、ジャークｄ³Ｚ／ｄｔ³（あるいはさらに高次の離散微分））の少なくとも１つを事前知識を用いて学習することにより、物理量の推定精度が向上する。ただし、衝突の危険判断などに有用であり、かつ、推定誤差が大きくなりがちな加速度ｄ²Ｚ／ｄｔ²を事前知識を用いて学習し、推定するのが特に望ましい。

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。

１ カメラ
２ 物理量推定部
３ 時系列フィルタ
２１ 観測推定部
２２ 外乱推定部
２３ 物理量算出部
１００ 自車両
２００ 対象車両

Claims (12)

1. 複数の画像のそれぞれに含まれる対象の見えに関する観測をニューラルネットワークを用いて推定し、推定された前記観測から前記対象の物理量を算出する画像認識システムにおけるニューラルネットワークの学習方法であって、
   前記観測に対する真値と、前記物理量に関する事前知識とを用いて、前記観測の推定精度を示す第１コスト項と、前記物理量の算出精度を示す第２コスト項と、の総和が最小となるよう、前記ニューラルネットワークにおける重みを最適化する、ニューラルネットワークの学習方法。
2. 前記第２コスト項は、算出される前記物理量が事前知識に基づく値に近いほど小さい値をとる、請求項１に記載のニューラルネットワークの学習方法。
3. 前記第２コスト項は、算出される前記物理量の分布が事前知識に基づく分布に近いほど小さい値をとる、請求項１に記載のニューラルネットワークの学習方法。
4. 複数の画像のそれぞれに含まれる対象の見えに関する観測をニューラルネットワークを用いて推定し、推定された前記観測から前記対象の物理量を算出する画像認識システムにおけるニューラルネットワークの学習方法であって、
   前記画像認識システムは、前記複数の画像のそれぞれから外乱を推定し、推定された前記観測および前記外乱から前記対象の物理量を算出し、
   前記観測に対する真値と、前記物理量に関する事前知識と、前記外乱に関する事前知識と、を用いて、前記ニューラルネットワークにおける重みを最適化する、ニューラルネットワークの学習方法。
5. 前記観測の推定精度を示す第１コスト項と、前記物理量の算出精度を示す第２コスト項と、前記外乱の推定精度を示す第３コスト項と、の総和が最小となるよう、前記ニューラルネットワークにおける重みを最適化する、請求項４に記載のニューラルネットワークの学習方法。
6. 前記第３コスト項は、推定される前記外乱が事前知識に基づく値に近いほど小さい値をとる、請求項５に記載のニューラルネットワークの学習方法。
7. 前記第３コスト項は、推定される前記外乱の分布が事前知識に基づく分布に近いほど小さい値をとる、請求項５に記載のニューラルネットワークの学習方法。
8. 前記外乱は、路面の傾き、前記複数の画像のそれぞれを撮影するカメラの取り付け高さのずれ、および、前記カメラのピッチ角の少なくとも１つを含む、請求項４乃至７のいずれかに記載のニューラルネットワークの学習方法。
9. 前記物理量は加速度またはジャークである、請求項１乃至８のいずれかに記載のニューラルネットワークの学習方法。
10. 前記対象の見えに関する観測は、前記複数の画像において前記対象を囲う矩形である、請求項１乃至９のいずれかに記載のニューラルネットワークの学習方法。
11. 複数の画像のそれぞれに含まれる対象の見えに関する観測をニューラルネットワークを用いて推定し、推定された前記観測から前記対象の物理量を算出する画像認識システムであって、
    前記観測に対する真値と、前記物理量に関する事前知識とを用いて、前記観測の推定精度を示す第１コスト項と、前記物理量の算出精度を示す第２コスト項と、の総和が最小となるよう、前記ニューラルネットワークにおける重みを最適化する、画像認識システム。
12. 複数の画像のそれぞれに含まれる対象の見えに関する観測をニューラルネットワークを用いて推定し、推定された前記観測から前記対象の物理量を算出する画像認識システムであって、
    前記画像認識システムは、前記複数の画像のそれぞれから外乱を推定し、推定された前記観測および前記外乱から前記対象の物理量を算出し、
    前記観測に対する真値と、前記物理量に関する事前知識と、前記外乱に関する事前知識と、を用いて、前記ニューラルネットワークにおける重みを最適化する、画像認識システム。
    
    
    

Images