JP7230896B2 - 車載センシング装置及びセンサパラメータ最適化装置。 - Google Patents

Description

本発明は車載センシング装置及びセンサパラメータ最適化装置に関する。

特許文献１には、車両前方の領域をカメラが撮像し、画像処理部が、カメラから送られてくる映像信号に基づいて、車線を区切る白線や黄線などの道路区画線を検出・推定し、道路区画線に対する自車両の横位置を算出する技術が開示されている。

また特許文献２には、自車両の前方の識別対象領域を含む領域を撮像装置が撮像し、撮像装置からの撮像画像に基づいて、画像特徴量を抽出し、画像特徴量と識別モデルとを比較して歩行者らしさを示すスコアを算出し、歩行者を検出する処理をコンピュータが行う技術が開示されている。

特開２００７－２５７４４９号公報 特開２０１３－１９０９４９号公報

特許文献１は道路区画線の認識に特化した技術であり、特許文献２は歩行者の認識に特化した技術であるが、車両の周辺には道路区画線や歩行者以外にも様々な物体が出現する可能性がある。そこで、車両の周辺に様々な物体が存在している状況をセンサによって各々測定することで得られた学習用の測定信号を用いて、例えば多層ニューラルネットワーク等の信号処理部に予め学習をさせておくことが考えられる。これにより、センサが車両の周辺を新たに測定した場合に、センサからの測定信号に対して信号処理部で信号処理を行い、その結果に基づき車両の周辺に存在する物体を識別することが可能となる。

しかしながら、センサによる測定における測定パラメータは、後段の処理とは独立してセンサの内部で制御される。例えばセンサがカメラである場合、測定パラメータの一例であるシャッタ速度は、画像全体又は画像内の所定の領域の輝度が高ければシャッタ速度が速くなり、輝度が低ければシャッタ速度が遅くなるように制御される。また、例えばセンサがレーザレーダである場合、測定パラメータの一例である受光素子の感度や検出閾値は、測距点の明るさに応じて制御される。そして、センサから出力される測定信号は、センサの測定パラメータに応じて変化する。

このように、センサの測定パラメータは後段の処理とは独立して制御されるので、センサが後段の信号処理に至適なデータを取得するとは限らない。その結果、後段における信号処理の精度が低下し、物体識別の精度が低下するおそれがあった。

本発明は上記事実を考慮して成されたもので、物体を識別する後段の信号処理に至適なデータを提供し、物体を識別する精度を向上させる車載センシング装置及びセンサパラメータ最適化装置を得ることが目的である。

第１の態様に係る車載センシング装置は、各々異なるパラメータに従って周辺環境の画像データを所定数取得するセンサと、前記センサから出力された画像データに対し、学習データを用いて予め学習された結果に基づく信号処理を行うことにより、前記センサが取得した画像データ内に存在する物体の識別結果を出力する識別処理を実行する識別部と、前記識別部による前記所定数の画像データの各々の識別結果に基づいて、前記所定数の画像データから後段処理群に出力する画像データを選択する選択部と、を含んでいる。

第１の態様では、センサが、各々異なるパラメータに従って周辺環境の画像データを所定数取得する。また、識別部は、取得した画像データ内に存在する物体の識別及び当該識別の尤度を表す尤度情報を含む識別結果を出力する。そして選択部は、所定数の画像データから後段処理群に出力する画像データを選択する。

ここで、第１の態様では、選択部が、識別部による所定数の画像データの各々の識別結果に基づいて、後段処理群に出力する画像データを選択する。これにより、物体を識別する後段の信号処理に至適なデータを提供し、物体を識別する精度を向上させることができる。

第２の態様は、第１の態様において、前記選択部は、前記識別部が出力した画像データの識別結果のうち、検出された物体の数、該物体の位置、該物体の種別、及び該物体の識別の尤度の総計の少なくともいずれか１つに基づいて前記後段処理群に出力する画像データを選択する。

これにより、複数の条件を参酌して、後段の信号処理に至適な画像データを選択することができる。

第３の態様は、第１の態様又は第２の態様において、前記識別部が前記センサから出力された第１の画像データの識別結果を出力した際に、前記第１の画像データの取得時に前記センサに適用したパラメータを変更し、該変更したパラメータに基づいて前記センサが画像データを取得するように前記センサを制御するパラメータ制御部をさらに含む。

これにより、前の画像データの取得時のパラメータを変更して次の画像データを取得することにより、後段の信号処理に至適な画像データの複数の候補を担保できる。

第４の態様は、第１の態様～第３の態様の何れか１つの態様において、前記後段処理群は、前記識別部と同じ学習データを用いて予め学習される。

第５の態様は、第１の態様～第４の態様の何れか１つの態様において、前記識別部における前記信号処理は、前記後段処理群の信号処理よりも計算負荷が小さい。

第６の態様は、第１の態様～第４の態様の何れか１つの態様において、前記後段処理群が、前記選択された画像データの識別処理を実行する間に、前記センサから次に出力された前記所定数の画像データの各々に対して識別処理を行う。

第７の態様は、第１の態様～第６の態様の何れか１つの態様において、前記識別部は、前記後段処理群による識別処理における物体の分類よりも包括的な分類に従って識別処理を行う。

第８の態様は、第１の態様～第７の態様の何れか１つの態様において、前記センサと前記識別部との間に、前記センサが取得した画像データのデータ量を圧縮する圧縮部をさらに含み、前記識別部は、前記圧縮部が出力した画像データに対して識別処理を実行する。

これにより、画像データの識別処理を行う識別部の演算負荷を抑制でき、識別処理の処理時間を短縮することが可能となる。

第９の態様は、第２の態様～第８の態様の何れか１つの態様において、前記識別部は、前記所定数の画像データに含まれる複数の画像データ内に同じ物体が識別される場合、該物体の識別の尤度を合成した値に応じた識別処理の信頼度を前記後段処理群に出力する。

第１０の態様は、第１の態様～第９の態様の何れか１つの態様において、前記センサは、設定された測定パラメータに従って周辺環境の画像データを撮影することを、各々異なる前記測定パラメータを用いて繰り返す。

第１１の態様は、第１の態様～第９の態様の何れか１つの態様において、前記センサは、周辺環境の画像データを撮影し、設定された処理パラメータに従って前記撮影された画像データに対して前処理を行うことを、各々異なる前記処理パラメータを用いて繰り返す。

第１２の態様は、設定された各々異なるパラメータに従って周辺環境のデータを所定数取得するセンサと、前記センサから出力された前記所定数のデータの各々に対し、学習データを用いて予め学習された結果に基づく信号処理を行うことにより、任意に設定した所望の識別結果を出力する識別処理を実行する識別部と、前記識別部による前記所定数のデータの各々の識別結果に基づいたラベルを前記所定数のデータの各々に付加する評価部と、前記センサによるデータ取得、前記識別部による識別処理、及び前記評価部によるラベルの付加を含む一連の行程を１回以上繰り返して得た前記ラベルが付加されたデータを用いた学習により、前記センサのパラメータ設定に係るパラメータ制御器モデルを生成する後段処理群と、を含んでいる。

第１２の態様では、センサが、各々異なるパラメータに従って周辺環境の画像データを所定数取得する。また、識別部は、取得した画像データ内に存在する物体の識別及び当該識別の尤度を表す尤度情報を含む識別結果を出力する。そして評価部は、所定数のデータの各々の識別結果に基づいたラベルを付加した所定数のデータの各々を後段処理群に出力する。

ここで、第１２の態様では、後段処理群が、ラベルが付加されたデータを用いた学習でセンサのパラメータ設定に係るパラメータ制御器モデルを生成することにより、センサのパラメータを最適化できる。

第１３の態様は、第１２の態様において、前記ラベルが付加されたデータは、前記センサが取得したデータに、さらに前記データを取得した際の前記センサのパラメータを含む。

第１４の態様は、第１２の態様又は第１３の態様において、前記評価部は、前記識別結果に基づいて前記所定数のデータから最良データを選択し、該最良データを取得した際の前記センサのパラメータに基づいた前記ラベルを前記所定数のデータの各々に付加する。

これにより、最良データを基準としたラベル付けが可能となる。

第１５の態様は、第１４の態様において、前記評価部は、前記センサが取得するデータが画像データの場合、前記識別部が出力した画像データの識別結果のうち、検出された物体の数、該物体の位置、該物体の種別、及び該物体の識別の尤度の少なくとも１つに基づいて最良データを選択する。

これにより、物体識別が良好なデータを最良データとして採用できる。

第１６の態様は、第１５の態様において、前記評価部は、前記最良データを取得した際のセンサのパラメータと前記所定数の画像データの各々を取得した際のセンサの各々のパラメータとの差分を前記ラベルとして前記所定数の画像データの各々に付加する。

これにより、最良データとのパラメータの乖離を定量的に把握できる。

第１７の態様は、第１５の態様において、前記評価部は、前記最良データを取得した際のセンサのパラメータを前記ラベルとして前記所定数の画像データの各々に付加する。

これにより、最良データとのパラメータを把握できる。

第１８の態様は、第１４の態様において、前記評価部は、前記センサが取得するデータが時系列データの場合、前記識別部が出力した時系列データの識別結果のうち、正答率が最大となった時系列データ及び誤答率が最小となった時系列データのいずれかを最良データとして選択する。

これにより、正答率が良好なデータ又は誤答率が少ないデータを最良データとして採用できる。

第１９の態様は、第１２の態様～第１７の態様の何れか１つの態様において、前記後段処理群は、前記センサが取得するデータが画像データの場合、該画像データの解像度を低下させて前記ラベルと共に前記学習に供する。

第２０の態様は、第１９の態様において、前記後段処理群は、サイズ変更及びトリミング処理のいずれかを適用して縦横比を１：１にした画像と前記ラベルとを前記学習に供する。

これにより、画像データを畳み込み処理による学習に適した形態に変換できる。

第２１の態様は、第１９の態様又は第２０の態様において、任意に設定した所望の識別結果を出力する識別処理を実行する後段識別部をさらに含み、前記パラメータ制御器モデルは、前記学習後、前記センサで取得した新たな画像から前記センサのパラメータを設定すると共に、前記新たな画像をそのままの状態で前記後段識別部に出力する。

これにより、センサで取得した画像は、画像処理等を行わないそのままの状態で後段識別部に出力されるので、後段識別部による物体識別の処理速度はパラメータ制御モデルによるパラメータ設定の影響を受けず、後段識別部は物体識別を迅速に行うことができる。

第２２の態様は、第１８の態様において、前記パラメータ制御器モデルは、前記学習後、前記センサで取得した新たな時系列データから前記センサのパラメータを設定すると共に、前記新たな時系列データをそのままの状態で認識部に出力する。

これにより、センサで取得した時系列データは、そのままの状態で認識部に出力されるので、認識部による認識の処理速度はパラメータ制御モデルによるパラメータ設定の影響を受けず、認識部は時系列データの認識を迅速に行うことができる。

本発明は、物体を識別する後段の信号処理に至適なデータを提供し、物体を識別する精度を向上させる、という効果を有する。

本発明の第１の実施形態に係る車載センシング装置のブロック図である。 （Ａ）は測定パラメータである露光時間が最も長い露光時間１で取得した画像、（Ｂ）は露光時間が露光時間１よりも短い露光時間２で取得した画像、（Ｃ）は露光時間が露光時間２よりも短い露光時間３で取得した画像、（Ｄ）は露光時間が露光時間３よりも短い露光時間４で取得した画像から各々検出した検出結果、識別結果及び尤度の一例を示した説明図である。 前段処理群と後段処理群との動作タイミングの一例を示した説明図である。 前段処理群の物体識別器及び後段処理群の物体識別器で用いられるＤＮＮの一例を示した説明図である。 本発明の第１の実施形態に係る車載センシング装置１００における処理の一例を示したシーケンス図である。 本発明の第１の実施形態に係る車載センシング装置の前段処理群の処理の一例を示したフローチャートである。 取得画像内に一つの物体のみ存在する場合における、評価器での評価方法の一例を示した説明図で、（Ａ）は物体識別の尤度が３０％、（Ｂ）は物体識別の尤度が９０％、（Ｃ）は物体識別の尤度が７０％である。 取得画像内に物体が複数存在する可能性がある場合における、評価器での評価方法の一例を示した説明図で、（Ａ）は１台の車を尤度３０％で、１羽の鳥を尤度４０％で各々識別した場合、（Ｂ）は１台の車を尤度５０％で、もう１台の車を尤度９０％で各々識別した場合、（Ｃ）は１台の車を尤度４０％で、もう１台の車を尤度７０％で、さらにもう１台の車を尤度１０％で、１羽の鳥を尤度５０％で各々識別した場合を各々示している。 図９（Ａ）は取得画像の一例を示した概略図であり、（Ｂ）は取得画像から識別した物体の尤度に基づく信頼度マップの一例を示した説明図である。 本発明の第１の実施形態の変形例に係る車載センシング装置の一例を示したブロック図である。 本発明の第２の本実施形態の係る車載センシング装置の一例を示したブロック図である。 （Ａ）は測定パラメータである露光時間が最も長い露光時間１で取得した画像、（Ｂ）は露光時間が露光時間１よりも短い露光時間２で取得した画像、（Ｃ）は露光時間が露光時間２よりも短い露光時間３で取得した画像、（Ｄ）は露光時間が露光時間３よりも短い露光時間４で取得した画像から各々検出した検出結果、識別結果及び尤度の一例を示した説明図である。 本発明の第２の実施形態に係る車載センシング装置における処理の一例を示したシーケンス図である。 （Ａ）は、本発明の第２の実施形態に係る車載センシング装置の学習データ取得・正解ラベル付加段階及び学習段階の処理の一例を示したフローチャートであり、（Ｂ）は、本発明の第２の実施形態に係る車載センシング装置の運用段階の処理の一例を示したフローチャートである。 正解ラベル付加方法の説明に係るブロック図である。 （Ａ）～（Ｃ）は、取得画像内に１つの物体のみ存在する場合における、評価器の評価方法の一例を示した説明図である。 （Ａ）～（Ｃ）は、取得画像内に物体が複数存在する可能性がある場合における、評価器での評価方法の一例を示した説明図である。 最良画像選択を示した説明図であり、（Ａ）は過度の露出オーバー、（Ｂ）は露出オーバー、（Ｃ）は軽度の露出オーバー、（Ｄ）は適正露出、（Ｅ）は軽度の露出アンダー、（Ｄ）は過度の露出アンダーの状態を各々示している。 （Ａ）～（Ｆ）は、正解ラベル生成の一例を示した説明図である。センサ１０へのパラメータ制御信号への適用に適している。 （Ａ）～（Ｆ）は、正解ラベル生成の他の例を示した説明図である。 図２１は、学習器に入力する画像データの前処理の一例を示した説明図であり、（Ａ）は、処理前の元画像であり、（Ｂ）は、前処理１により元画像を縮小して解像度を低下させた画像であり、（Ｃ）は、解像度を低下させた画像を前処理２によりリサイズした画像であり、（Ｄ）は、リサイズした画像を前処理３によりトリミングして生成した縦横比が１：１の画像である。 学習器によりセンサパラメータ制御モデルを生成して、前処理した正解ラベル付きの画像からパラメータの増減値を出力する処理の一例を示したフローチャートである。 学習後の車載センシング装置のブロック図である。 本発明の第２の実施形態の変形例に係る認識装置の一例を示したブロック図である。 学習後の認識装置のブロック図である。

［第１の実施形態］
以下、図面を参照して本発明の第１の実施形態の一例を詳細に説明する。

図１に示すように、本実施形態に係る車載センシング装置１００は、車載センサ１０とコンピュータ２０とを含んでいる。車載センサ１０は、車両に搭載され、車両の周辺を検知範囲とし、設定された測定パラメータ及び処理パラメータに従って検知範囲内の物理量を繰り返し測定し、各回の測定結果を測定信号として出力すると共に、測定パラメータ及び処理パラメータの設定が外部から変更可能に構成されている。車載センサ１０は、例えば、カメラである。当該カメラは、一般的な可視光カメラを用いてもよいし、一般的な可視光カメラ以外にも、近赤外カメラ、中赤外カメラ、遠赤外カメラ、テラヘルツカメラ、紫外線カメラ、Ｘ線カメラ、単一フォトダイオード等をアレイ化した装置等である。従って、車載センサ１０は、物体の検出及び分類が可能な１次元的、２次元的な撮像データを取得可能で、当該撮像データの取得に影響を及ぼす測定パラメータ及び処理パラメータを変更可能な装置を全て含む。車載センサ１０は、ステレオカメラ等の３次元的な（又は３次元以上の）撮像データを取得可能な装置でもよい。また、車載センサ１０は物体の検出が可能であれば、ミリ波レーダ又は超音波センサ等でもよい。

車載センサ１０がカメラである場合、車載センサ１０は、レンズ等の光学系と受光の強度に応じた信号を出力する撮像素子とを含むセンサデバイス１４と、センサデバイス１４が出力した信号を画像ファイルへ変換する、いわゆる画像エンジンである前処理器１２とを含む。カメラである車載センサ１０の測定パラメータとしては、センサデバイス１４に対するシャッタ速度（露光時間）、ゲイン（感度）、画角、絞り（Ｆナンバー）、フォーカス（焦点）及びフレームレート（測定周期）等である。前処理器に対する処理パラメータは、ホワイトバランス、コントラスト、空間解像度（画素数）、などが挙げられる。又は、処理パラメータは、階調変換、及びエッジ抽出等の画像処理に係るパラメータを含み、前処理器１２は、当該処理パラメータに従って、階調変換、及びエッジ抽出等の画像処理を行ってもよい。

車載センサ１０は、画像取得開始時はセンサデバイス１４及び前処理器１２の各々に予め設定された初期パラメータで画像取得を行い、その後は、初期パラメータを変更した測定パラメータ及び処理パラメータに従って画像取得を行う。

センサデバイス１４と前処理器１２とが一体で構成されている場合は、ホワイトバランス等の処理をセンサデバイス１４で行うことと同義となる。また、フレームレートの変更をセンサデバイス１４でのフレームの間引きであるコマ落としで行うことも可能な場合があるので、測定パラメータと処理パラメータとを峻別することが困難となる。従って、測定パラメータと処理パラメータとを特段区別せずに扱ってもよい。

コンピュータ２０は、ＣＰＵ、メモリ、各種の処理を実行するためのプログラムなどを記憶した不揮発性の記憶部及びネットワークインタフェースなどを含んでいる。コンピュータ２０は、機能的には、車載センサ１０で取得した画像が入力される前段処理群３０と前段処理群３０が出力した選択画像が入力される後段処理群５０を備える。前段処理群３０は、車載センサ１０から出力された画像（取得画像）内の物体の検出および識別を実行して画像内の物***置を示す検出結果、当該物体が何であるかを示す識別結果、及び当該物体の確からしさを示す信頼度である尤度（確度、信頼度、可能性を示す値、確率、確証度、likelihood、possibility、probability）を出力する物体識別器３２と、物体識別器３２が出力した検出結果、識別結果及び尤度を、物体識別器３２が当該検出結果、当該識別結果及び当該尤度を検出した取得画像に対応付けて記録する記録器３４と、記録器３４に記録された取得画像、並びに当該取得画像に対応付けされた検出結果、識別結果及び尤度を、評価指標記憶部３８に格納された評価指標に基づいて判定して、最良と思われる画像を選択して後段処理群５０に出力する評価器３６と、初期パラメータから変更した測定パラメータ及び処理パラメータに従って次の画像を取得するようにセンサデバイス１４及び前処理器１２を制御するパラメータ制御器４０とを含む。パラメータ制御器４０におけるパラメータの変更は、物体識別器３２が取得画像から物体を識別したことを示す識別完了信号を出力する毎に、初期パラメータから徐々に段階的に変更するが、識別完了信号に物体識別器３２による識別結果を含ませ、識別完了信号に含ませた識別結果に基づいて初期パラメータをより適切と思われる値に変更してもよい。

後段処理群５０は、前段処理群３０から出力された最良画像から物体検出等の任意の処理を行い、最終的な結果を出力する。

後述するように、前段処理群３０の物体識別器３２と、後段処理群５０の物体識別器５２は、共にＤＮＮ（Deep Neural Network）に基づいた信号処理を行うが、前段処理群３０の物体識別器３２は、後段処理群５０の物体識別器５２よりも軽量なニューラルネットワークを用いており、後段処理群５０の物体識別器５２よりも高速な処理が可能に構成されている。

図２（Ａ）は測定パラメータである露光時間が最も長い露光時間１で取得した画像、（Ｂ）は露光時間が露光時間１よりも短い露光時間２で取得した画像、（Ｃ）は露光時間が露光時間２よりも短い露光時間３で取得した画像、（Ｄ）は露光時間が露光時間３よりも短い露光時間４で取得した画像から各々検出した検出結果、識別結果及び尤度の一例を示した説明図である。

前段処理群３０のパラメータ制御器４０は、露光時間が例えば露光時間１から露光時間４まで段階的に異なる画像を取得するように、車載センサ１０の画像取得時の露光時間を段階的に変化させるパラメータ制御信号を車載センサ１０に逐次出力する。

図２（Ａ）は、いわゆる露出オーバーの場合であり、図の左側と右側とに各々存在する物体の位置が検出されると共に、当該物体が車及びバスであることを識別しているが、尤度は車と識別された物体が２０％、バスと識別された物体が１０％にとどまっている。

図２（Ｂ）は、図２（Ａ）よりも軽度の露出オーバーの場合であり、図からの左側と右側とに各々存在する物体の位置が検出されると共に、当該物体が車及びバスであることを識別しており、尤度は車と識別された物体が６０％、バスと識別された物体が５０％である。

図２（Ｃ）は、露光時間が適正な場合であり、図の左側に車と識別された物体と図の右側にバスと識別された物体と共に、図の中央左寄りにトラックと識別された物体が検出され、尤度は車と識別された物体が４０％、バスと識別された物体が３０％、トラックと識別された物体が３０％である。

図２（Ｄ）は、露光時間が不足した場合であり、図の左側に車と識別された物体が検出されるのみであり、車と識別された物体の尤度は３０％である。

前段処理群３０の評価器３６は、図２に示したような検出結果、識別結果及び尤度に基づいて後段処理群５０に出力する最良画像を選択する。最良画像の選択に際しては、評価指標記憶部３８に格納された評価指数が参酌される。評価器３６による評価の詳細については後述するが、評価指数は、一例として（１）物体検出数が一番多い画像を選択する、（２）尤度の総計が一番高い画像を選択する、（３） 自車正面に衝突危険性が高い車両等の物体が検出された画像を選択する、（４）歩行者の検出数が一番多い画像を選択する、（５）優先順位の高い物（例：車）の尤度が最も高い画像を選択する等がある。

上記（１）～（５）の評価指数を図２に適用すると、評価指数（１）では図２（Ｃ）が、評価指数（２）では図２（Ｂ）が、評価指数（３）では図２（Ｃ）が、評価指数（５）では図２（Ｂ）が、各々最良画像として選択される。

評価器３６で、いかなる評価指数を採用するかは、コンピュータ２０を評価器３６として機能させるアプリケーション又は評価対象である取得画像の態様により異なる。例えば、歩行者の未検出が許されないアプリケーションを用いるのであれば、歩行者の検出数を優先する評価指数（４）を採用する。

図３は、前段処理群３０と後段処理群５０との動作タイミングの一例を示した説明図である。図３に示したように、後段処理群５０が前段処理群３０から出力された最良画像を用いた処理を行っている間に、前段処理群３０は測定パラメータ及び処理パラメータを各々変更した所定枚数の画像の取得及び当該画像から新たな最良画像を選定する処理を行い、当該新たな最良画像を後段処理群５０に出力する。

前段処理群３０及び後段処理群５０のいずれにおいても物体の未検出が最も問題となるので、前段処理群３０では物体の誤検出を許容し、物体の検出数を優先するアルゴリズムを採用してもよい。ただし、誤検出が異常に増えると評価器３６での評価が難しくなるため、前段処理群３０の物体識別器３２で識別できる物体を、車載センシング装置１００で真に必要な物体（例：車、人、又はバイク等）に限定し、誤検出が出にくいようにする。例えば、前段処理群３０の物体識別器３２では車両を乗用自動車、バス、トラックといった車種別に識別せず、車両を全て「車」等の包括的な分類に従って識別してもよい。

本実施形態では、後段処理群５０が処理をしている間に、前段処理群３０は複数回の処理を行う必要があるため、前段処理群３０は後段処理群５０よりも高速に動作する必要がある。例えば、前段処理群３０は、後段処理群５０による識別処理における物体の分類よりも包括的な分類に従って物体を識別することによって計算負荷を低減し、処理の高速化を図る。

前述のように、前段処理群３０の物体識別器３２と、後段処理群５０の物体識別器５２とは、共にＤＮＮベースの識別器である。本実施形態では、前段処理群３０の物体識別器３２にはネットワーク層数が少ない軽量な識別器（精度犠牲、速度重視）を使用し、後段処理群５０の物体識別器５２には層数の多い重量ネットワークを用いた識別器（精度優先）を使用する。前段処理群３０の物体識別器３２と後段処理群５０の物体識別器５２との各々は、同じ学習データセット（教師データ）で学習されているとよい。

図４は、前段処理群３０の物体識別器３２及び後段処理群５０の物体識別器５２で用いられるＤＮＮの一例を示した説明図である。本実施形態に係るＤＮＮは、一例として、畳み込みニューラルネットワーク (Convolutional Neural Networks: ＣＮＮ)であり、事前の学習結果に基づいて入力画像を車種等のカテゴリに分類し、出力層からカテゴリ毎の尤度が出力される。尤度は、例えば、soft-max関数を用いて、前述のカテゴリに応じて０～９までの１０段階で出力され、全段階の尤度を合計すると１（百分率表現では１００％）となるように正規化されている。本実施形態に係るＤＮＮは、例えば、尤度が最も高いカテゴリを分類結果とする。

図５は、本実施形態に係る車載センシング装置１００における処理の一例を示したシーケンス図である。図５に示した処理では、ステップＳ０で、後段処理群５０の物体識別器５２により、前段処理群３０から出力された最良画像から物体の位置、当該物体の識別及び当該物体識別の尤度を検出する検出・分類処理が実行される間に、ステップＳ１において次の最良画像を選択するための前段処理が開始される。

ステップＳ２では、１回目のパラメータ設定（Ｐ設定）を行い、設定したパラメータを車載センサ１０に出力する。設定するパラメータは測定パラメータでも処理パラメータでもよい。図５に示した処理では、都合３回、パラメータを設定し、３個の画像データを取得する。「３」は、特許請求の範囲に記載の所定数の一例である。前段処理群３０が後段処理群５０に対して十分に高速である場合、３よりも大きな値を所定数としてもよい。

ステップＳ３では、車載センサ１０は、設定されたパラメータに従い１回目の撮影を行って画像を取得し、ステップＳ４では、取得画像を前段処理群３０に送信する（１回目の画像送信）。

ステップＳ５では、物体識別器３２により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する１回目の検出・分類処理を行う。

ステップＳ６では、ステップＳ５で検出した物***置、物体の識別及び物体識別の尤度と共に１回目の取得画像を記録器３４に記録する１回目の結果と画像の記録を行う。

ステップＳ７では、２回目のパラメータ設定を行い、設定したパラメータを車載センサ１０に出力する。２回目に設定するパラメータは、１回目に設定したパラメータとは異なる値にする。

ステップＳ８では、車載センサ１０は、設定されたパラメータに従い２回目の撮影を行って画像を取得し、ステップＳ９では、取得画像を前段処理群３０に送信する（２回目の画像送信）。

ステップＳ１０では、物体識別器３２により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する２回目の検出・分類処理を行う。

ステップＳ１１では、ステップＳ１０で検出した物***置、物体の識別及び物体識別の尤度と共に２回目の取得画像を記録器３４に記録する２回目の結果と画像の記録を行う。

ステップＳ１２では、３回目のパラメータ設定を行い、設定したパラメータを車載センサ１０に出力する。３回目に設定するパラメータは、１回目に設定したパラメータ及び２回目に設定したパラメータの各々とは異なる値にする。

ステップＳ１３では、車載センサ１０は、設定されたパラメータに従い３回目の撮影を行って画像を取得し、ステップＳ１４では、取得画像を前段処理群３０に送信する（３回目の画像送信）。

ステップＳ１５では、物体識別器３２により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する３回目の検出・分類処理を行う。

ステップＳ１６では、ステップＳ１５で検出した物***置、物体の識別及び物体識別の尤度と共に３回目の取得画像を記録器３４に記録する３回目の結果と画像の記録を行う。

ステップＳ１７では、後段処理群５０の物体識別器５２により最良画像から検出された物体の位置、当該物体の識別及び当該物体識別の尤度を示す検出結果が出力される。

ステップＳ１８では、前段処理群３０の評価器３６で、評価指標記憶部３８に格納された評価指数を参酌して１回目の取得画像、２回目の取得画像、及び３回目の取得画像のいずれかから最良画像を選択する評価を行い、ステップＳ１９では、選択した最良画像を後段処理群５０に出力する。

ステップＳ２０では、後段処理群５０の物体識別器５２により、前段処理群３０から出力された新たな最良画像から物体の位置、当該物体の識別及び当該物体識別の尤度を検出する検出・分類処理を開始する。

ステップＳ２１では、次の最良画像を選択するための前段処理が開始される。そして、ステップＳ２２では、１回目のパラメータ設定を行い、設定したパラメータを車載センサ１０に出力する。ステップＳ１９では最良画像を選択しているので、ステップＳ２２では当該最良画像を撮影した際のパラメータを設定してもよい。

ステップＳ２３では、車載センサ１０は、設定されたパラメータに従い１回目の撮影を行って画像を取得し、ステップＳ２４では、取得画像を前段処理群３０に送信する（１回目の画像送信）。

ステップＳ２５では、物体識別器３２により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する１回目の検出・分類処理を行う。

ステップＳ２６では、ステップＳ５で検出した物***置、物体の識別及び物体識別の尤度と共に１回目の取得画像を記録器３４に記録する１回目の結果と画像の記録を行う。

ステップＳ２７では、２回目のパラメータ設定を行い、設定したパラメータを車載センサ１０に出力する。２回目に設定するパラメータは、１回目に設定したパラメータとは異なる値にする。

ステップＳ２８では、車載センサ１０は、設定されたパラメータに従い２回目の撮影を行って画像を取得し、ステップＳ２９では、取得画像を前段処理群３０に送信する（２回目の画像送信）。以下、ステップＳ１０～Ｓ１９と同様の手順を経て、新たな最良画像を選択して後段処理群５０に出力する。

図６は、本実施形態に係る車載センシング装置１００の前段処理群３０の処理の一例を示したフローチャートである。図６のステップ６００～６１６の各々の手順は、図５のステップＳ１、Ｓ２、Ｓ５～Ｓ７、Ｓ１０～Ｓ１２、Ｓ１５、Ｓ１６、Ｓ１８、Ｓ１９の各々の手順に相当する。

ステップ６００では、カウンタをｎ＝１に設定する。ステップ６０２では、パラメータ設定（Ｐ設定）を行い、設定したパラメータを車載センサ１０に出力する。設定するパラメータは測定パラメータでも処理パラメータでもよい。

ステップ６０４では、車載センサ１０が撮影した画像を取得する。そして、ステップ６０６では、物体識別器３２により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する検出・分類処理を行う。

ステップ６０８では、ステップ６０６で検出した物***置、物体の識別及び物体識別の尤度と共に取得画像を記録器３４に記録する結果と画像との記録を行い、ステップ６１０では、カウンタを１インクリメントする。

ステップ６１２では、カウンタがｎ＝３か否かを判定する。ステップ６１２で、カウンタがｎ＝３の場合は手順をステップ６１４に移行し、カウンタがｎ＝３ではない場合は手順をステップ６０２に移行する。

ステップ６１４では、評価器３６で、評価指標記憶部３８に格納された評価指数を参酌して複数の取得画像のいずれかから最良画像を選択する評価を行う。そして、ステップ６１６では、選択した最良画像を後段処理群５０に出力して処理を終了する。

図７は、取得画像内に一つの物体のみ存在する場合における、評価器３６での評価方法の一例を示した説明図で、（Ａ）は物体識別の尤度が３０％、（Ｂ）は物体識別の尤度が９０％、（Ｃ）は物体識別の尤度が７０％である。図７に示した場合では、前述の評価指数（２）を適用して、尤度の総計が一番高い画像である図７（Ｂ）を最良画像として選択する。

図８は、取得画像内に物体が複数存在する可能性がある場合における、評価器３６での評価方法の一例を示した説明図で、（Ａ）は１台の車を尤度３０％で、１羽の鳥を尤度４０％で各々識別した場合、（Ｂ）は１台の車を尤度５０％で、もう１台の車を尤度９０％で各々識別した場合、（Ｃ）は１台の車を尤度４０％で、もう１台の車を尤度７０％で、さらにもう１台の車を尤度１０％で、１羽の鳥を尤度５０％で各々識別した場合を各々示している。

上述の評価指数（１）～（５）を図８に適用すると、物体検出数が一番多い画像を選択する評価指数（１）では図８（Ｃ）が、尤度の総計が一番高い画像を選択する評価指数（２）では図８（Ｃ）が、自車正面に衝突危険性が高い車両等の物体が検出された画像を選択する評価指数（３）では図８（Ｂ）が、優先順位の高い物（例：車）の尤度が最も高い画像を選択する評価指数（５）では図８（Ｂ）が、各々最良画像として選択される。

本実施形態では、評価指数（１）～（５）のいずれか１つに依拠して最良画像を選択してもよいが、評価指数（１）～（５）の各条件を合成した条件を充足する取得画像を最良画像として選択してもよい。

例えば、図８（Ｃ）は、評価指数（１）及び評価指数（２）の各々の条件を充足するが、評価指数（３）及び評価指数（５）の条件も図８（Ｂ）に次いで高いスコアで充足する。従って、評価指数（１）～（５）の各条件を合成した条件下では、例えば図８（Ｃ）を最良画像として選択する。

物体識別器３２における検出・分類処理では、取得画像によっては、画像から物体が検出されない場合があり得る。前述のように、かかる未検出が最も問題となるので、本実施形態に係る車載センシング装置１００では、検出数を優先するアルゴリズムを採用してもよい。例えば図８（Ａ）及び図８（Ｂ）に示したような結果しか得られなかった場合のように、物体の検出数は同じであるが、検出されている物体が異なる場合、換言すれば未検出の物体が異なる場合は、後段処理群５０に図８（Ａ）及び図８（Ｂ）のような２枚の画像を出力し、後段処理群５０で一時的に処理性能を上げることにより、最終的な物体検出及び物体識別の精度を担保してもよい。

図９（Ａ）は取得画像の一例を示した概略図であり、（Ｂ）は取得画像から識別した物体の尤度に基づく信頼度マップの一例を示した説明図である。測定パラメータ又は処理パラメータを変更しても複数の画像内に同じ物体が識別される場合は、その識別結果は非常に信頼度が高いと判断できる。従って、前段処理群３０は、後段処理群５０に、各パラメータで取得したデータを合成した信頼度データ（信頼度マップ）を併せて後段処理群５０に出力する。データの合成は、各画像の尤度の総計でもよいし、正規化等の処理によって各画像の尤度の範囲を０～１の間に収める処理をしてもよい。一例として、図９（Ｂ）では、複数画像の尤度を合計して、車：低、車：中、車：高、鳥：高のように信頼度が示されている。

後段処理群５０では、後段処理群５０の物体識別器５２の出力結果と、図９（Ｂ）に示したような信頼度マップとを照合することにより、車載センシング装置１００としてより信頼性の高い結果を得ることができる。

以上説明したように、本実施形態では、予め前段処理群３０で、後段処理群５０での処理結果が最良となるような撮影条件で取得された画像を後段処理群５０に渡すことで物体の未検知、誤検知等の発生を抑制することができる。

一般的なカメラを用いた車載センシング装置では、取得画像に基づいて次に取得する画像の撮影条件等のパラメータを制御する場合があるが、当該パラメータの制御はカメラ内で独立した制御であるため、後段処理群での結果を保証していない。従って、必ずしも後段処理群での処理結果が良好となるようなパラメータをカメラが設定するとは限らないという問題があった。

本実施形態では、カメラ等の車載センサ１０に後続する前段処理群３０で、取得画像から識別した物体の尤度に基づいて、車載センサ１０のパラメータを変更して得た複数の取得画像から、後段処理群５０の画僧処理に適した最良画像を選択する。その結果、後段処理群での処理結果が良好となるようにパラメータを設定して取得した画像を後段処理群５０に出力可能となるので、取得画像内に存在する物体を識別する精度を向上させることができる。

なお、前段処理群３０はカメラ（車載センサ１０）に内蔵されてもよい。また、車載センサ１０と前段処理群３０と後段処理群５０との全てを一体としてもよい。又は画像エンジン等である前処理器１２が車載センサ１０の外に独立して存在する構成でもよい。

［変形例］
図１０は、本実施形態の変形例に係る車載センシング装置２００の一例を示したブロック図である。図１０に示した車載センシング装置２００は、コンピュータ１２０に設けられた前段処理群１３０に車載センサ１０で取得した画像の解像度を低下させて、当該画像データのデータ量を圧縮する解像度変換器１４０を備え、物体識別器３２は、解像度変換器１４０が出力した圧縮後の画像で検出・分類処理を行う点で前述の車載センシング装置１００と相違する。しかしながら、その他の構成は図１に示した車載センシング装置１００と同じなので、車載センシング装置１００と同じ構成については、図１と同一の符号を付して詳細な説明は省略する。

解像度変換器１４０により解像度を低下させた画像に対して検出・分類処理を行うことにより、当該処理を行う物体識別器３２の演算負荷を抑制でき、その結果、前段処理群３０での処理時間を短縮することが可能となる。又は、図１に示した車載センシング装置１００と同一時間内であれば、車載センシング装置１００よりも多くの画像に対して検出・分類処理を行うことができる。

車載センシング装置２００において、記録器３４には、解像度を低下させる前の取得画像が記録されるので、後段処理群５０には、解像度が低下していない最良画像を受け渡すことができる。

上記では、モデルの一例としてのニューラルネットワークモデルをディープラーニングによって学習させる態様を説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを、ディープラーニングとは異なる他の学習方法によって学習させてもよい。

［第２の実施形態］
以下、図面を参照して本発明の第２の実施形態の一例を詳細に説明する。図１１は、本実施形態の係る車載センシング装置３００の一例を示したブロック図である。図１１に示した車載センシング装置３００は、車載センサ１０等の一部の構成は図１に示した車載センシング装置１００と同じなので、車載センシング装置１００と同じ構成については、図１と同一の符号を付して詳細な説明は省略する。車載センシング装置３００は、取得した画像から車載センサ１０のパラメータを最適化するセンサパラメータ最適化装置として機能する。

前段処理群３３０は、ＣＰＵ、メモリ、各種の処理を実行するためのプログラムなどを記憶した不揮発性の記憶部及びネットワークインタフェースなどを含んでいる。前段処理群３３０には、車載センサ１０で取得した画像及び当該画像を取得した際のパラメータが入力される。そして、入力された画像及び当該画像を取得した際のパラメータは、物体識別器３３２と記録器３３４とに供給される。前段処理群３３０は、車載センサ１０から出力された画像内の物体の検出および識別を実行して画像内の物***置を示す検出結果、当該物体が何であるかを示す識別結果、及び当該物体の確からしさを示す信頼度である尤度を出力する物体識別器３３２と、物体識別器３３２が出力した検出結果、識別結果及び尤度を、当該検出結果、当該識別結果及び当該尤度を検出した取得画像に対応付けて記録する記録器３３４と、記録器３３４に記録された取得画像、並びに当該取得画像に対応付けされた検出結果、識別結果及び尤度を、評価指標記憶部３３８に格納された評価指標に基づいて判定して、最良と思われる画像（最良画像）を選択すると共に、車載センサ１０が取得した全画像及び当該全画像を取得した際のパラメータと、最良画像のパラメータとを後続するラベル生成器３４２に出力する評価器３３６と、最良画像のパラメータに基づいて、各画像に正解ラベルを付加し、画像及び正解ラベル、又は画像と正解ラベルと画像を取得した時のパラメータとを後段処理群３５０の学習データサーバー３５２に出力するラベル生成器３４２と、初期パラメータから変更した測定パラメータ及び処理パラメータに従って次の画像を取得するようにセンサデバイス１４及び前処理器１２を制御する単純パラメータ制御器３４０と、を含む。単純パラメータ制御器３４０におけるパラメータの変更は、物体識別器３３２が取得画像から物体を識別したことを示す識別完了信号を出力する毎に、初期パラメータから徐々に段階的に変更するが、識別完了信号に物体識別器３３２による識別結果を含ませ、識別完了信号に含ませた識別結果に基づいて初期パラメータをより適切と思われる値に変更してもよい。ラベル生成器３４２は、画像と正解ラベルと画像を取得した時のパラメータとを後段処理群３５０の学習データサーバー３５２に出力する際に、画像と画像を取得した時のパラメータとが組み合わさった状態で学習データサーバー３５２に出力する。

前段処理群３３０の物体識別器３３２は、第１の実施形態に係る物体識別器３２と同様にＤＮＮに基づいた信号処理を行う。しかしながら、前段処理群３３０の物体識別器３３２は、第１の実施形態に係る物体識別器３２よりも重量なニューラルネットワークを用いており、第１の実施形態に係る物体識別器３２よりも正確な物体識別が可能なように構成されている。

後段処理群３５０は、前段処理群３３０から出力されて学習データサーバー３５２に格納された画像及び正解ラベルのデータを用いて、学習器３５４を学習し、センサパラメータ制御モデル３５６を生成する。図２３を用いて後述するように、本実施形態では、前段処理群３３０の物体識別器３３２による物体の識別結果に基づいて後段処理群３５０を最適化し、最適化した後段処理群３５０のセンサパラメータ制御モデル３５６が車載センサ１０のパラメータを設定する。後段処理装置である物体識別器３５８（図２３参照）は、センサパラメータ制御モデル３５６によって設定されたパラメータに従って取得された画像を用いて物体識別を行う。センサパラメータ制御モデル３５６は、車載センサ１０で取得した画像から、最良の撮影条件にするためのパラメータの増減値を予測し、カメラに入力するパラメータを変更して車載センサ１０に出力する。そして車載センサ１０は、変更されたパラメータに従って画像を取得する。

図１２（Ａ）は測定パラメータである露光時間が最も長い露光時間１で取得した画像、（Ｂ）は露光時間が露光時間１よりも短い露光時間２で取得した画像、（Ｃ）は露光時間が露光時間２よりも短い露光時間３で取得した画像、（Ｄ）は露光時間が露光時間３よりも短い露光時間４で取得した画像から各々検出した検出結果、識別結果及び尤度の一例を示した説明図である。

図１２（Ａ）～（Ｄ）は、単純パラメータ制御器３４０に予め設定された初期条件（例：初期露光時間１ｍｓ、１００ｍｓ毎に４枚撮影等）に基づいて車載センサ１０で取得したパラメータの異なる複数の画像を、物体識別器３３２により画像内の物体の検出および識別を実行した結果が併記されている。具体的には、画像内の物***置（例：矩形枠）を示す検出結果と、当該物体が何であるかを示す分類結果及び当該分類結果の確からしさを示す尤度が、図１２（Ａ）～（Ｄ）の各々に記載されている。

前段処理群３３０の単純パラメータ制御器３４０は、露光時間が例えば露光時間１から露光時間４まで段階的に異なる画像を取得するように、車載センサ１０の画像取得時の露光時間を段階的に変化させるパラメータ制御信号を車載センサ１０に逐次出力する。

図１２（Ａ）は、いわゆる露出オーバーの場合であり、検出数は０、信頼度計も０であり、有意な検出結果は得られていない。

図１２（Ｂ）は、図１２（Ａ）よりも軽度の露出オーバーの場合であり、図からの左側と右側とに各々存在する物体の位置が検出されると共に、当該物体が車であることを識別している。尤度は車と識別された左の物体が７５％、車と識別された右の物体が９３％で、各々の物体識別の尤度の合計である信頼度計は１６８％である。

図１２（Ｃ）は、露光時間が適正な場合であり、図の左側に車と識別された物体と図の右側に車と識別された物体が検出され、尤度は車と識別された右の物体が９８％、車と識別された右の物体が９５％で、各々の物体識別の尤度の合計である信頼度計は１９３％である。

図１２（Ｄ）は、露光時間が不足した場合であり、図の左側に車と識別された物体が検出されるのみであり、車と識別された物体の尤度は９３％である。

前段処理群３３０の評価器３３６は、図１２に示したような検出結果、識別結果及び尤度に基づいてラベル生成器３４２に出力する最良画像を選択する。最良画像の選択に際しては、評価指標記憶部３３８に格納された評価指数が参酌される。評価器３３６による評価の詳細については後述するが、評価指数は、一例として（１）物体検出数が一番多い画像を選択する、（２）尤度の総計が一番高い画像を選択する、（３） 自車正面に衝突危険性が高い車両等の物体が検出された画像を選択する、（４）歩行者の検出数が一番多い画像を選択する等がある。

上記（１）～（４）の評価指数を図１２に適用すると、評価指数（１）では図１２（Ｂ）及び図１２（Ｃ）が、評価指数（２）では図１２（Ｃ）が、評価指数（３）では図１２（Ｂ）、図１２（Ｃ）及び図１２（Ｄ）が、各々最良画像として選択される。

評価器３３６で、いかなる評価指数を採用するかは、コンピュータを評価器３３６として機能させるアプリケーション又は評価対象である取得画像の態様により異なる。例えば、歩行者の未検出が許されないアプリケーションを用いるのであれば、歩行者の検出数を優先する評価指数（４）を採用する。

図１３は、本実施形態に係る車載センシング装置３００における処理の一例を示したシーケンス図である。図１３に示した処理では、ステップＳ１００において前段処理が開始される。

ステップＳ１０１では、１回目のパラメータ設定（Ｐ設定）を行い、設定したパラメータを車載センサ１０に出力する。設定するパラメータは測定パラメータでも処理パラメータでもよい。図１３に示した処理では、都合３回、パラメータを設定し、３個の画像データを取得する。３よりも大きな値を所定数としてもよい。

ステップＳ１０２では、車載センサ１０は、設定されたパラメータに従い１回目の撮影を行って画像を取得し、ステップＳ１０３では、取得画像を前段処理群３３０に送信する（１回目の画像送信）。

ステップＳ１０４では、物体識別器３３２により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する１回目の検出・分類処理を行う。

ステップＳ１０５では、ステップＳ１０４で検出した物***置、物体の識別及び物体識別の尤度と共に１回目の取得画像を記録器３３４に記録する１回目の結果と画像の記録を行う。

ステップＳ１０６では、２回目のパラメータ設定を行い、設定したパラメータを車載センサ１０に出力する。２回目に設定するパラメータは、１回目に設定したパラメータとは異なる値にする。

ステップＳ１０７では、車載センサ１０は、設定されたパラメータに従い２回目の撮影を行って画像を取得し、ステップＳ１０８では、取得画像を前段処理群３３０に送信する（２回目の画像送信）。

ステップＳ１０９では、物体識別器３３２により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する２回目の検出・分類処理を行う。

ステップＳ１１０では、ステップＳ１０９で検出した物***置、物体の識別及び物体識別の尤度と共に２回目の取得画像を記録器３３４に記録する２回目の結果と画像の記録を行う。

ステップＳ１１１では、３回目のパラメータ設定を行い、設定したパラメータを車載センサ１０に出力する。３回目に設定するパラメータは、１回目に設定したパラメータ及び２回目に設定したパラメータの各々とは異なる値にする。

ステップＳ１１２では、車載センサ１０は、設定されたパラメータに従い３回目の撮影を行って画像を取得し、ステップＳ１１３では、取得画像を前段処理群３３０に送信する（３回目の画像送信）。

ステップＳ１１４では、物体識別器３３２により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する３回目の検出・分類処理を行う。

ステップＳ１１５では、ステップＳ１１４で検出した物***置、物体の識別及び物体識別の尤度と共に３回目の取得画像を記録器３３４に記録する３回目の結果と画像の記録を行う。

ステップＳ１１６では、前段処理群３３０の評価器３３６で、評価指標記憶部３３８に格納された評価指数を参酌して１回目の取得画像、２回目の取得画像、及び３回目の取得画像のいずれかから最良画像を選択すると共に、取得した全画像と、当該全画像を取得した際のパラメータと、最良画像のパラメータとをラベル生成器３４２に出力する。

ステップＳ１１７では、ラベル生成器３４２において、最良画像のパラメータに基づいて、各画像に正解ラベルを付加する。

ステップＳ１１８では、学習データサーバー３５２及び学習器３５４にラベルが付加された画像データを記録する。

以上のステップＳ１０１からステップＳ１１８までが学習データ取得・正解ラベル付加段階４００である。学習データ取得・正解ラベル付加段階４００は、学習に必要な画像データのバリエーションを増やすために、ステップＳ１０１からステップＳ１１８までの手順を複数回繰り返してもよい。

ステップＳ１２０では、学習データサーバー３５２及び学習器３５４において、ラベルが付加された画像データを用いた学習を行う。

ステップＳ１２０での学習の結果に基づいて、ステップＳ１２１では、後段処理群３５０にセンサパラメータ制御モデル３５６が生成される。ステップＳ１２０及びステップＳ１２１は、畳み込み処理を用いた学習段階４０２である。学習段階４０２における学習の詳細は後述する。

ステップＳ１２２以降は、学習済みのセンサパラメータ制御モデル３５６を軸とした画像取得及び画像処理を実際に行う運用段階４０４である。学習データ取得・正解ラベル付加段階４００及び学習段階４０２は、車載センシング装置３００の機能を最適化するための準備段階である。

ステップＳ１２２では、初期パラメータ設定を行い、設定した初期パラメータを車載センサ１０に出力する。設定するパラメータは測定パラメータでも処理パラメータでもよいが、前述の学習段階４０２での学習に基づくものである。

ステップＳ１２３では、車載センサ１０は、設定されたパラメータに従い撮影を行って画像を取得し、ステップＳ１２４では、取得画像をセンサパラメータ制御モデル３５６に送信する。

ステップＳ１２５では、画像を物体識別器３５８に送信し、ステップＳ１２６では、物体識別器３５８により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する検出・分類処理を行う。ステップＳ１２６での検出・分類の結果は、ステップＳ１２７で出力される。

ステップＳ１２８では、センサパラメータ制御モデル３５６の出力結果に基づいて再びパラメータ設定を行い、設定したパラメータを車載センサ１０に出力する。

ステップＳ１２９では、車載センサ１０は、設定されたパラメータに従い撮影を行って画像を取得し、ステップＳ１３０では、取得画像をセンサパラメータ制御モデル３５６に送信する。

ステップＳ１３１では、画像を物体識別器３５８に送信し、ステップ１３２では、物体識別器３５８により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する検出・分類処理を行う。ステップＳ１３２での検出・分類の結果は、ステップＳ１３３で出力される。以降、パラメータ設定と画像取得と画像内からの物体の識別とが反復される。

図１４（Ａ）は、本実施形態に係る車載センシング装置３００の学習データ取得・正解ラベル付加段階４００及び学習段階４０２の処理の一例を示したフローチャートであり、（Ｂ）は、本実施形態に係る車載センシング装置３００の運用段階４０４の処理の一例を示したフローチャートである。図１４（Ａ）のステップ１００～１２０の各々の手順は、図１３のステップＳ１００、Ｓ１０１、Ｓ１０４～Ｓ１０６、Ｓ１０９～Ｓ１１１、Ｓ１１４～Ｓ１２１の各々の手順に相当する。また、図１４（Ｂ）のステップ２００～２０６の各々の手順は、図１３のステップＳ１２２、Ｓ１２５、Ｓ１２６～Ｓ１２８、Ｓ１３０～Ｓ１３３の各々の手順に相当する

ステップ１００では、カウンタをｎ＝１に設定する。ステップ１０２では、パラメータ設定を行い、設定したパラメータを車載センサ１０に出力する。設定するパラメータは測定パラメータでも処理パラメータでもよい。

ステップ１０４では、車載センサ１０が撮影した画像を取得する。そして、ステップ１０６では、物体識別器３３２により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する検出・分類処理を行う。

ステップ１０８では、ステップ１０６で検出した物***置、物体の識別及び物体識別の尤度と共に取得画像を記録器３３４に記録する画像と識別結果との記録を行い、ステップ１１０では、カウンタを１インクリメントする。

ステップ１１２では、カウンタがｎ＝１０に達したか否かを判定する。ステップ１１２で、カウンタがｎ＝１０の場合は手順をステップ１１４に移行し、カウンタがｎ＝１０ではない場合は手順をステップ１０２に移行する。

ステップ１１４では、評価器３３６で、評価指標記憶部３３８に格納された評価指数を参酌して複数の取得画像のいずれかから最良画像を選択する評価を行う。そして、ステップ１１６では、最良画像のパラメータに基づいて、各画像に正解ラベルを付加する。

ステップ１１８では、画像と正解ラベルとを学習データサーバー３５２に出力する。図１４（Ａ）のステップ１００からステップ１１８までが、学習データ取得・正解ラベル付加段階４００に相当する。図１４（Ａ）のステップ１００からステップ１１８までの手順は、学習に必要な画像データのバリエーションを増やすために複数回繰り返してもよい。

ステップ１２０では、学習データサーバー３５２及び学習器３５４において、ラベルが付加された画像データを用いた学習を行ってセンサパラメータ制御モデル３５６を生成して処理を終了する。ステップ１２０で生成したセンサパラメータ制御モデル３５６は、図１４（Ｂ）のステップ２０４で車載センサ１０のパラメータ予測に用いられる。

図１４（Ｂ）のステップ２００では、パラメータ設定を行い、設定したパラメータを車載センサ１０に出力する。設定するパラメータは測定パラメータでも処理パラメータでもよい。

ステップ２０２では、車載センサ１０が撮影した画像を取得する。ステップ２０４では、センサパラメータ制御モデル３５６により撮影した画像から車載センサ１０のパラメータを予測し、予測したパラメータはステップ２００のパラメータ設定にフィードバックされる。

ステップ２０６では、物体識別器３５８により、取得画像内の物体の位置、当該物体の識別、及び当該物体の識別の尤度を検出する検出・分類処理を行って処理を終了する。

図１５は、正解ラベル付加方法の説明に係るブロック図である。本実施形態では、単純パラメータ制御器３４０で任意の回数分、例えば露光時間を図１４（Ａ）に示したように１０段階変更し、各々のパラメータで画像を取得し、取得した画像から物体を検出する。そして、画像からの物体検出の結果及び画像は記録器３３４に記録する。画像からの物体検出を任意の回数で実行したら、画像と検出結果とを評価器３３６に入力し、検出数等の評価指標で最良画像を判断する。すべての画像と最良画像のパラメータとをラベル生成器３４２に入力し、正解ラベルを付加し、画像と正解ラベルとを、学習データサーバー３５２に格納する。

図１５において、実線で示された経路上の手順は、上述の任意の回数分実行され、破線で示された経路上の手順は、実線で示された経路上の手順が任意の回数分実行された後に実行される。

図１６は、取得画像内に１つの物体のみ存在する場合における、評価器３３６の評価方法の一例を示した説明図である。本実施形態では、画像内に１つの物体のみ存在する場合、尤度が最も高い画像を選定する。図１６（Ａ）は尤度が３０％、図１６（Ｂ）は尤度が９０％、図１６（Ｃ）は尤度が７０％なので、図１６（Ｂ）を選択し、図１６（Ｂ）に示した画像の取得に係るＰ２（パラメータ２）を選択する。

図１７は、取得画像内に物体が複数存在する可能性がある場合における、評価器３３６での評価方法の一例を示した説明図で、（Ａ）は１台の車を画素数３０×１００の大きさ及び尤度３０％で、１羽の鳥を画素数２００×２００の大きさ及び尤度４０％で各々識別した場合、（Ｂ）は１台の車を画素数３０×１００の大きさ及び尤度５０％で、もう１台の車を画素数３０×１００の大きさ及び尤度９０％で各々識別した場合、（Ｃ）は１台の車を画素数３０×１００の大きさ及び尤度４０％で、もう１台の車を画素数３０×１００の大きさ及び尤度７０％で、さらにもう１台の車を画素数２０×８０の大きさ及び尤度１０％で各々識別した場合を各々示している。

図１７に示したような取得画像内に物体が複数存在する可能性がある場合には、一例として下記のような評価指数が適用される。
（ａ）検出数が最も多い画像を選択。
（ｂ）尤度の合計が最も高い画像を選択。
（ｃ）優先順位の高い物（例：車）の尤度が最も高い画像を選択。
（ｄ）自車の正面において衝突危険性が高い物体の尤度が最も高い画像を選択。
（ｅ）最も大きい物体（自車との距離が近く衝突危険性が高い物）を検出した画像を選択。
（ｆ）各条件を合成した条件で画像を選択。

上述の評価指数（ａ）～（ｆ）を図１７に適用すると、物体検出数が最も多い画像を選択する評価指数（ａ）では図１７（Ｃ）が、尤度の合計が最も高い画像を選択する評価指数（ｂ）では図１７（Ｃ）が、優先順位の高い物（例：車）の尤度が最も高い画像を選択する評価指数（ｃ）では図１７（Ｂ）が、自車の正面において衝突危険性が高い物体の尤度が最も高い画像を選択する評価指数（ｄ）では図１７（Ｂ）が、最も大きい物体（自車との距離が近く衝突危険性が高い物）を検出した画像を選択する評価指数（ｅ）では図１７（Ａ）が、各々最良画像として選択される。

また、図１７（Ｃ）は、評価指数（ａ）及び評価指数（ｂ）の各々の条件を充足するが、評価指数（ｃ）及び評価指数（ｄ）の条件も図１７（Ｂ）に次いで高いスコアで充足する。従って、評価指数（ｆ）では、例えば図１７（Ｃ）を最良画像として選択する。

物体識別器３３２における検出・分類処理では、取得画像によっては、画像から物体が検出されない場合があり得る。未検出が最も問題となるので、本実施形態に係る車載センシング装置３００では、評価指数（ａ）に基づいた検出数を優先するアルゴリズムを採用してもよい。

図１８は、最良画像選択を示した説明図であり、（Ａ）は過度の露出オーバー、（Ｂ）は露出オーバー、（Ｃ）は軽度の露出オーバー、（Ｄ）は適正露出、（Ｅ）は軽度の露出アンダー、（Ｄ）は過度の露出アンダーの状態を各々示している。評価器３３６は、図１８（Ｄ）を最良画像として選択し、図１８（Ｄ）のパラメータＰ４を最良画像のパラメータとする。

図１９は、正解ラベル生成の一例を示した説明図である。図１９（Ａ）～（Ｆ）は図１８（Ａ）～（Ｆ）と各々同一の画像であり、図１９（Ｄ）が最良画像である。前述のように最良画像のパラメータはＰ４なので、図１９（Ｄ）に正解ラベルである４を付加すると共に、図１９（Ａ）～（Ｃ）、図１９（Ｅ）、図１９（Ｆ）の各々にも正解ラベルである４を付加する。なお、上述の正解ラベルを、対数表記にしてもよい。

図１９のように最良画像以外の画像にも最良画像のパラメータを示す正解ラベルを付加する場合の正解ラベルは、車載センサ１０へのパラメータ制御信号への適用に適している。車載センサ１０は、最良画像のパラメータを示す数値である正解ラベルに従って撮像することにより、最良画像を取得できるからである。

図２０は、正解ラベル生成の他の例を示した説明図である。図２０（Ａ）～（Ｆ）は図１８（Ａ）～（Ｆ）と各々同一の画像であり、図２０（Ｄ）が最良画像である。前述のように最良画像のパラメータはＰ４であるが、正解ラベルは最良画像のパラメータを示す数値（図２０では４）から対象画像のパラメータを示す数値を減算して得た値を正解ラベルとする。具体的には、パラメータがＰ１である図２０（Ａ）の正解ラベルは３、パラメータがＰ２である図２０（Ｂ）の正解ラベルは２、パラメータがＰ３である図２０（Ｃ）の正解ラベルは１、パラメータがＰ４である図２０（Ｄ）の正解ラベルは０、パラメータがＰ５である図２０（Ｅ）の正解ラベルは－１、パラメータがＰ６である図２０（Ｆ）の正解ラベルは－２となる。図２０に示した正解ラベルは、最良画像の正解ラベルが０となる。最良画像に対して露出オーバーの場合は正の値となり、露出オーバーの程度が大きくなるほど正解ラベルの値は大きくなる。また、最良画像に対して露出アンダーの場合は負の値となり、露出アンダーの程度が大きくなるほど、正解ラベルの値は小さくなる。

図２０に示した正解ラベルは、最良画像からどの程度外れているかを示しているので、車載センサ１０のパラメータを補正する補正値として適用することができる。なお、±の付与は逆でもよい。例えば図２０（Ａ）の正解ラベルを「－３」にしてもよい。なお、上述の正解ラベルを、対数表記にしてもよい。

本実施形態では、図１９又は図２０に示した態様のラベルが付加された画像データを用いた学習を行ってセンサパラメータ制御モデル３５６を生成する。

図２１は、学習器３５４に入力する画像データの前処理の一例を示した説明図である。本実施形態では、学習器３５４への入力画像の縦横比を１：１にするため、又は学習器３５４の処理を高速にするために、入力する画像データの前処理を行う。本実施形態における前処理は、一例として下記の通りである。
前処理１：縮小する（解像度を落とす）。
前処理２：リサイズする。
前処理３：トリミングする。
前処理４：前処理１～３のいずれかを適宜実行する。

図２１（Ａ）は、処理前の元画像であり、画素数６４０×４８０の大きさを有している。図２１（Ｂ）は、前処理１により元画像を縮小して解像度を低下させた画像であり、画素数６４×４８まで小さくなっている。図２１（Ｃ）は、解像度を低下させた画像を前処理２により元画像と同じ大きさである画素数６４０×４８０まで拡大してリサイズした画像である。図２１（Ｄ）は、リサイズした画像を前処理３によりトリミングして生成した画素数４８０×４８０の縦横比が１：１の画像である。

前処理４は前処理１～３を適宜実行する。前処理１のみ、前処理２のみ、前処理３のみ、前処理３のみ、前処理１及び前処理２の組合せ、前処理２及び前処理３の組合せ、前処理１及び前処理３の組合せ、前処理１、２、３の組合せ等でもよい。

図２２は、学習器３５４によりセンサパラメータ制御モデル３５６を生成して、前処理した正解ラベル付きの画像からパラメータの増減値を出力する処理の一例を示したフローチャートである。図２２では画像で一般的に用いられる畳み込み処理を使用している。ステップ３００では前述のような前処理が施された画像データが入力される。入力される画像データは一例として、ＲＧＢで画素数４８０×４８０である。

ステップ３０２では、カーネルサイズを３×３とした畳み込みが実行され、画像から特徴量が抽出される。ステップ３０４では、活性化関数であるＲｅｌｕ（正規化線形関数）が適用される。Ｒｅｌｕ関数は、入力値が０以下の場合には出力値が常に０、入力値が０より上の場合には出力値が入力値と同じ値となる関数である。

ステップ３０６では、カーネルサイズを３×３とした畳み込みが再び実行される。そして、ステップ３０８では、Ｒｅｌｕが再び適用される。

ステップ３１０では、全結合層により方形の画像データを列ベクトル状に変換してフラット化する。ステップ３１２では、さらにＲｅｌｕが適用される。

ステップ３１４では、全結合層により画像データのフラット化が再度行われる。ステップ３１６では、２乗和誤差（Mean Squared Error）等の損失関数を適用して、正解データとの誤差が少ない適切な出力が得られるようにする。

ステップ３１８では、露光時間（シャッタ速度）、絞り、及びホワイトバランス等のパラメータの増減値を出力して処理を終了する。学習器３５４によってセンサパラメータ制御モデル３５６を生成する場合は、前述のように正解ラベルを付加された複数の画像を図２２に示した処理を行うことにより、最良画像のパラメータに対する最良画像以外の画像のパラメータの増減値を蓄積する。

学習後のセンサパラメータ制御モデル３５６は、車載センサ１０から画像が入力されると、当該画像に対して図２２で説明した処理を行い、当該画像の最良画像に対するパラメータの増減値を予測する。学習後のセンサパラメータ制御モデル３５６は、予測したパラメータの増減値を車載センサ１０に出力し、車載センサ１０は、入力されたパラメータの増減値に従って最良画像に近い状態の画像を取得する。

図２３は、学習後の車載センシング装置３００のブロック図である。本実施形態では、上述のようにセンサパラメータ制御モデル３５６を学習させ、車載センサ１０から画像又は画像と画像を取得した時のパラメータとが入力されると、当該画像を画像処理等を行わないそのままの状態で後段処理装置である物体識別器３５８に出力すると共に、当該画像から、最良の撮影条件にするためのパラメータの増減値を予測し、車載センサ１０に入力する。パラメータの増減値は、学習器３５４と同様に、図２２に示した一連の処理で予測される。本実施形態では、図１１に示したように、ラベル生成器３４２が画像と正解ラベルとを後段処理群３５０の学習データサーバー３５２に出力した場合は、車載センサ１０の前処理器１２から画像がセンサパラメータ制御モデル３５６に出力される。また、ラベル生成器３４２が画像と正解ラベルと画像を取得した時のパラメータとを後段処理群３５０の学習データサーバー３５２に出力した場合は、車載センサ１０の前処理器１２から画像と画像を取得した時のパラメータとがセンサパラメータ制御モデル３５６に出力される。

その結果、最良の撮影条件で取得された画像を物体識別器３５８に渡すことができ、画像から物体の未検知又は誤検知等の発生を抑制できる。センサパラメータ制御モデル３５６は、物体識別器３５８に車載センサ１０で得た画像をそのままの状態で出力するので、物体識別器３５８による物体識別の処理速度はセンサパラメータ制御モデル３５６によるパラメータの増減値の予測の影響を受けない。

以上説明したように、本実施形態では、露光状態等が適正な最良画像を選択すると共に、選択した最良画像のパラメータに基づいた正解ラベルを車載センサ１０で取得した全画像に付加し、ラベル付けされた全画像を学習データとする。物体識別に適した最良画像のみならず、 最良画像以外の画像も学習データとすることにより、露光状態等が適正な画像を取得させる学習が効果的に行える。

本実施形態でのラベル付けは、二項対立的な「正解」または「不正解」という分類ではなく、例えば、最良画像に中心値０を付し、最良画像からパラメータが乖離している程度を±の数値で定量的に示している。かかるラベル付けは短時間で処理できるので、画像データに対するラベル作成の作業時間を短縮できる。また、最良画像からパラメータが乖離している程度を±の数値で定量的に示すことにより、適正でない画像の撮影パラメータをどの程度補正すればよいかの定量的な判断が可能となる。

また、本実施形態に係る車載センシング装置３００は、ラベル付けされた画像での学習によってセンサパラメータ制御モデル３５６を生成した後は、センサパラメータ制御モデル３５６により、最良画像取得に適したパラメータが設定され、車載センサ１０は設定されたパラメータに従って画像を取得することにより、物体識別における未検出又は誤検出を抑制できる。

車載センサ１０で取得した画像は、センサパラメータ制御モデル３５６において最良の撮影条件にするためのパラメータの増減値の予測に供され、物体識別にさらに適した画像の取得が行われる。

また、車載センサ１０で取得した画像は、画像処理等を行わないそのままの状態で後段処理装置である物体識別器３５８に出力されるので、物体識別器３５８による物体識別の処理速度はセンサパラメータ制御モデル３５６によるパラメータの増減値の予測の影響を受けず、物体識別器３５８は物体識別を迅速に行うことができる。

［変形例］
図２４は、本実施形態の変形例に係る認識装置４１０の一例を示したブロック図である。認識装置４１０は、マイクロホン超音波センサ等のセンサデバイス４１４で各々取得した音声データ及び超音波センサの出力データ等の時系列データを認識する装置である点で、車載センシング装置３００と相違する。認識装置４１０は、取得した時系列データからセンサデバイス４１４及び前処理器４１２の各々のパラメータを最適化するセンサパラメータ最適化装置として機能する。

センサデバイス４１４で取得した時系列データは、前処理器４１２でアナログデータから識別処理に適用可能なファイルフォーマットのデジタルデータに変換される。

前段処理群４３０は、ＣＰＵ、メモリ、各種の処理を実行するためのプログラムなどを記憶した不揮発性の記憶部及びネットワークインタフェースなどを含んでいる。前段処理群４３０には、センサデバイス４１４で取得した時系列データ及び当該時系列データを取得した際のパラメータが入力される。パラメータは、時系列データが音声データの場合、当該音声データを取得した際の音声増幅率又はサンプリングレート等である。以下、一例として、時系列データが音声データである場合における認識装置４１０について説明する。入力された時系列データである音声データを取得した際のパラメータは、音声認識モデル４３２と記録器４３４とに供給される。前段処理群４３０は、センサデバイス４１４から出力された音声データ形態素解析による音声認識処理を実行する音声認識モデル４３２と、音声認識モデル４３２が出力した認識結果を音声データに対応付けて記録する記録器４３４と、記録器４３４に記録された認識結果を評価指標記憶部４３８に格納された評価指標に基づいて判定して、最良と思われる認識結果を選択すると共に、時系列での音声データ及び当該音声データを取得した際のパラメータと、最良の認識結果のパラメータとを後続するラベル生成器３４２に出力する評価器４３６と、 最良の認識結果のパラメータに基づいて、各音声データに正解ラベルを付加し、音声データと正解ラベルとを後段処理群４５０の学習データサーバー４５２に出力するラベル生成器４４２と、初期パラメータから変更したパラメータに従って次の音声データを取得するようにセンサデバイス４１４及び前処理器４１２を制御する単純パラメータ制御器４４０と、を含む。単純パラメータ制御器４４０におけるパラメータの変更は、音声認識モデル４３２が音声認識処理をしたことを示す識別完了信号を出力する毎に、初期パラメータから徐々に段階的に変更する。例えば、音声増幅率を初期値の０．５から０．１段階で０．９まで、５つの音声データを取得する。

前段処理群４３０の音声認識モデル４３２は、一例として再帰型ニューラルネットワーク（ＲＮＮ）に基づいた信号処理を行う。また、評価指標記憶部４３８には、正解データである読み上げ文章のテキストデータが格納されている。評価器４３６は、音声認識結果のテキストデータと、正解データとを比較し、正解データと一致しない単語が出現する回数が少ない、つまりは誤認識数が最も少ない音声認識結果の音声データのパラメータを正解パラメータとする。

例えば、正解データが「きょう は いい てんき なので しろ ねぎ を かい に いき ます」という正解データに対し、認識結果が以下の３通りであった場合、下線付きで示した誤認識数が最も少ないＰ１が最良データとなる。
Ｐ１「きょう は いい てんき なので たまねぎ を かい に いき ます」
Ｐ２「こう は いい てんき なので しろ ねぎ を こい に いり ます」
Ｐ３「きょう は いい でんき なので たまねぎ を こい に いきます」

後段処理群４５０は、前段処理群４３０から出力された音声データと正解ラベルと学習データサーバー４５２のデータとを用いて、学習器４５４を学習し、センサパラメータ制御モデル４５６を生成する。センサデバイス４１４及び前処理器４１２は、センサパラメータ制御モデル４５６で設定されたパラメータに従って音声データを取得する。

図２５は、学習後の認識装置４１０のブロック図である。本変形例では、上述のようにセンサパラメータ制御モデル４５６を学習させ、前処理器４１２から音声データが入力されると、当該音声データを未処理の状態で後段処理群４５０の音声認識部４５８に出力すると共に、当該音声データから、最良音声データを所得するためのパラメータの増減値を予測し、センサデバイス４１４及び前処理器４１２に入力する。その結果、最良のパラメータで取得された音声データを後段処理群４５０の音声認識部４５８に渡すことができ、音声認識における誤認識等の発生を抑制できる。センサパラメータ制御モデル４５６では、後段処理群４５０の音声認識部４５８にセンサデバイス４１４で得た音声データを前処理器４１２での処理後そのままの状態で出力するので、音声認識部４５８による音声認識の処理速度はセンサパラメータ制御モデル４５６によるパラメータの増減値の予測の影響を受けない。

以上説明したように、本変形例では、音声認識結果が適正な最良の音声データを選択すると共に、選択した最良音声データのパラメータに基づいた正解ラベルをセンサデバイス４１４で取得した全音声データに付加し、ラベル付けされた全音声データを学習データとする。音声認識に適した最良音声データのみならず、 最良音声データ以外の画像も学習データとすることにより、音声増幅率等が適正な音声データを取得させる学習が効果的に行える。

また、本実施形態に係る車載センシング装置３００は、ラベル付けされた音声データでの学習によってセンサパラメータ制御モデル４５６を生成した後は、センサパラメータ制御モデル４５６により、最良の音声データ取得に適したパラメータが設定され、センサデバイス４１４及び前処理器４１２は設定されたパラメータに従って音声データを取得することにより、音声認識における誤認識を抑制できる。

センサデバイス４１４で取得した音声データは、センサパラメータ制御モデル４５６において最良の音声データを取得するためのパラメータの増減値の予測に供され、音声認識にさらに適した音声データの取得が行われる。

また、センサデバイス４１４で取得した音声データは、前処理器での処理以外の処理を行わないそのままの状態で後段処理群４５０の音声認識部４５８に出力されるので、音声認識部４５８による音声認識の処理速度はセンサパラメータ制御モデル４５６によるパラメータの増減値の予測の影響を受けず、音声認識部４５８は音声認識を迅速に行うことができる。

１０ 車載センサ
３０ 前段処理群
３２ 物体識別器
３６ 評価器
３８ 評価指標記憶部
４０ パラメータ制御器
５０ 後段処理群
５２ 物体識別器
１００ 車載センシング装置
３００ 車載センシング装置
３３０ 前段処理群
３３２ 物体識別器
３３４ 記録器
３３６ 評価器
３３８ 評価指標記憶部
３４０ 単純パラメータ制御器
３４２ ラベル生成器
３５０ 後段処理群
３５２ 学習データサーバー
３５４ 学習器
３５６ センサパラメータ制御モデル
３５８ 物体識別器
４１０ 認識装置
４１２ 前処理器
４１４ センサデバイス
４３０ 前段処理群
４３２ 音声認識モデル
４３４ 記録器
４３６ 評価器
４３８ 評価指標記憶部
４４０ 単純パラメータ制御器
４４２ ラベル生成器
４５０ 後段処理群
４５２ 学習データサーバー
４５４ 学習器
４５６ センサパラメータ制御モデル
４５８ 音声認識部

Claims (22)

1. 設定された各々異なるパラメータに従って周辺環境の画像データを所定数取得するセンサと、
   前記センサから出力された前記所定数の画像データの各々に対し、学習データを用いて予め学習された結果に基づく信号処理を行うことにより、前記画像データ内に存在する物体の識別結果を出力する識別処理を実行する識別部と、
   前記識別部による前記所定数の画像データの各々の識別結果に基づいて、前記所定数の画像データから後段処理群に出力する画像データを選択する選択部と、
   を含む車載センシング装置。
2. 前記選択部は、前記識別部が出力した画像データの識別結果のうち、検出された物体の数、該物体の位置、該物体の種別、及び該物体の識別の尤度の総計の少なくとも１つに基づいて前記後段処理群に出力する画像データを選択する請求項１に記載の車載センシング装置。
3. 前記識別部が前記センサから出力された前記画像データの識別結果を出力した際に、該画像データの取得時に前記センサに適用したパラメータを変更し、該変更したパラメータに基づいて前記センサが画像データを取得するように前記パラメータを設定するパラメータ制御部をさらに含む請求項１又は２に記載の車載センシング装置。
4. 前記後段処理群は、前記識別部と同じ学習データを用いて予め学習された結果に基づく信号処理を行うことにより、前記識別結果を出力する識別処理を実行する請求項１～３のいずれか１項に記載の車載センシング装置。
5. 前記識別部における前記信号処理は、前記後段処理群の信号処理よりも計算負荷が小さい請求項１～４のいずれか１項に記載の車載センシング装置。
6. 前記識別部は、前記後段処理群が、前記選択された画像データの識別処理を実行する間に、前記センサから次に出力された前記所定数の画像データの各々に対して識別処理を行う請求項１～４のいずれか１項に記載の車載センシング装置。
7. 前記識別部は、前記後段処理群による識別処理における物体の分類よりも包括的な分類に従って識別処理を行う請求項１～６のいずれか１項に記載の車載センシング装置。
8. 前記センサと前記識別部との間に、前記センサが取得した画像データのデータ量を圧縮する圧縮部をさらに含み、
   前記識別部は、前記圧縮部による圧縮後の画像データに対して識別処理を実行する請求項１～７のいずれか１項に記載の車載センシング装置。
9. 前記識別部は、前記所定数の画像データに含まれる複数の画像データ内に同じ物体が識別される場合、該物体の識別の尤度を合成した値に応じた識別処理の信頼度を前記後段処理群に出力する請求項２～８のいずれか１項に記載の車載センシング装置。
10. 前記センサは、設定された測定パラメータに従って周辺環境の画像データを撮影することを、各々異なる前記測定パラメータを用いて繰り返す請求項１～９のいずれか１項に記載の車載センシング装置。
11. 前記センサは、周辺環境の画像データを撮影し、
    設定された処理パラメータに従って前記撮影された画像データに対して前処理を行うことを、各々異なる前記処理パラメータを用いて繰り返す請求項１～９のいずれか１項に記載の車載センシング装置。
12. 設定された各々異なるパラメータに従って周辺環境のデータを所定数取得するセンサと、
    前記センサから出力された前記所定数のデータの各々に対し、学習データを用いて予め学習された結果に基づく信号処理を行うことにより、任意に設定した所望の識別結果を出力する識別処理を実行する識別部と、
    前記識別部による前記所定数のデータの各々の識別結果に基づいたラベルを前記所定数のデータの各々に付加する評価部と、
    前記センサによるデータ取得、前記識別部による識別処理、及び前記評価部によるラベルの付加を含む一連の行程を１回以上繰り返して得た前記ラベルが付加されたデータを用いた学習により、前記センサのパラメータ設定に係るパラメータ制御器モデルを生成する後段処理群と、
    を含むセンサパラメータ最適化装置。
13. 前記ラベルが付加されたデータは、前記センサが取得したデータに、さらに前記データを取得した際の前記センサのパラメータを含む請求項１２に記載のセンサパラメータ最適化装置。
14. 前記評価部は、前記識別結果に基づいて前記所定数のデータから最良データを選択し、該最良データを取得した際の前記センサのパラメータに基づいた前記ラベルを前記所定数のデータの各々に付加する請求項１２又は１３に記載のセンサパラメータ最適化装置。
15. 前記評価部は、前記センサが取得するデータが画像データの場合、前記識別部が出力した画像データの識別結果のうち、検出された物体の数、該物体の位置、該物体の種別、及び該物体の識別の尤度の少なくとも１つに基づいて最良データを選択する請求項１４に記載のセンサパラメータ最適化装置。
16. 前記評価部は、前記最良データを取得した際のセンサのパラメータと前記所定数の画像データの各々を取得した際のセンサの各々のパラメータとの差分を前記ラベルとして前記所定数の画像データの各々に付加する請求項１５に記載のセンサパラメータ最適化装置。
17. 前記評価部は、前記最良データを取得した際のセンサのパラメータを前記ラベルとして前記所定数の画像データの各々に付加する請求項１５に記載のセンサパラメータ最適化装置。
18. 前記評価部は、前記センサが取得するデータが時系列データの場合、前記識別部が出力した時系列データの識別結果のうち、正答率が最大となった時系列データ及び誤答率が最小となった時系列データのいずれかを最良データとして選択する請求項１４に記載のセンサパラメータ最適化装置。
19. 前記後段処理群は、前記センサが取得するデータが画像データの場合、該画像データの解像度を低下させて前記ラベルと共に前記学習に供する請求項１２～１７のいずれか１項に記載のセンサパラメータ最適化装置。
20. 前記後段処理群は、サイズ変更及びトリミング処理のいずれかを適用して縦横比を１：１にした画像と前記ラベルとを前記学習に供する請求項１９に記載のセンサパラメータ最適化装置。
21. 任意に設定した所望の識別結果を出力する識別処理を実行する後段識別部をさらに含み、
    前記パラメータ制御器モデルは、前記学習後、前記センサで取得した新たな画像から前記センサのパラメータを設定すると共に、前記新たな画像をそのままの状態で前記後段識別部に出力する請求項１９又は２０に記載のセンサパラメータ最適化装置。
22. 前記パラメータ制御器モデルは、前記学習後、前記センサで取得した新たな時系列データから前記センサのパラメータを設定すると共に、前記新たな時系列データをそのままの状態で認識部に出力する請求項１８に記載のセンサパラメータ最適化装置。

Images