JP2019152976A - 画像認識制御装置、画像認識制御プログラム - Google Patents

Abstract

【課題】画像認識の労力軽減ための動画像からのフレーム選択制御において、選択しなかったフレームの補完に最適なフレームを選択すると共に、入力操作による正解データの付与の労力を軽減する。【解決手段】フレーム選択部３２のフレーム選択として、仮選択及び本選択の工程を段階的に実行し、仮選択では、第１フレーム優先度として、特徴量ベクトル群の分散度合いを取得し、当該特徴ベクトル群の分散度合いが大きいフレームを優先した選択するようにした。このため、選択したフレームに様々な対象が写っていることが期待でき、ラベル推定の精度を高めることができる。また、ラベル推定部３４では、弱教師有り法を適用し、入力操作によって正解付けする際に領域毎（又は画素単位）で細かく付与する必要がなく、画像単位で付与すればよいので、入力操作のための労力を軽減することができる。【選択図】図３

Description

本発明は、特に動画像の各フレーム及び各画素に対象の種別を表すラベルを割り当てるための画像認識制御装置、画像認識制御プログラムに関する。

運転支援システムにおいて、衝突防止等に用いられる周辺監視センサの重要なデバイスの１つとして、動画像を撮影するカメラが挙げられる。カメラは、角度分解能が高く、種々の対象を認識できる利点を持つ。カメラを利用した運転支援装置の一例としては、特許文献１に記載された技術がある。

ところで、近年、自動運転に代表される高度は運転支援システムが注目されており、当該運転支援システムでは、種々の対象を認識することが必須であり、上記のようなカメラの重要性が増してきている。

画像を画素単位で認識する技術として、セマンティックセグメンテーション技術がある。セマンティックセグメンテーション技術は、カメラで撮影した動画像から、種々の対象を高精度に認識する技術である（非特許文献１参照）。

この非特許文献１のセマンティックセグメンテーション技術では、学習用の正解データを、入力操作で作成するため、作業量が多く、労力が繁雑となるという課題がある。

正解データの入力のための労力軽減のため、非特許文献２では、動画像の全てのフレームには正解データを付与しないようにした。すなわち、非特許文献２では、一部のフレームのみに正解データを付与し、正解データを付与しないフレームは、正解データを付与したフレームに基づき補完するようにしている（以下、フレーム選択制御という）。

なお、非特許文献２において、正解データを付与したフレームに写っていなかった対象が正解データを付与していないフレームに出現した場合は補完できないため、例えば、オプチカルフロー技術を用いることで対応している。

特開２００９−１１００６５号公報

V.Badrinarayanan,A.Kendall,and R.Cipolla,"A deep convolutional encoder-decoder architecture for image segmentation,"IEEE Transactions on Pattern Analysis and Machine Intelligence,p.1,2017. Vijayanarashimhan and K.Grauman,"Active frame selection for label propagation in videos,"Proceedings of the European Conference on Computer Vision,pp.496-509,2012.

しかしながら、非特許文献２に代表されるフレーム選択制御では、最初に選択するフレームが、その後に実行される、選択されなかったフレームへの補完処理等において、重要な要件となり得るが、フレームの適正な選択技術は確立されていない。また、非特許文献２では、依然として入力操作によって正解データを付与しなければならないという課題がある。

本発明は上記事実を考慮し、画像認識の労力軽減ための動画像からのフレーム選択制御において、選択しなかったフレームの補完に最適なフレームを選択することができる画像認識制御装置、画像認識制御プログラムを得ることが目的である。

また、上記目的に加え、入力操作による正解データの付与の労力を軽減することができる画像認識制御装置、画像認識制御プログラムを得ることが目的である。

本発明の画像認識制御装置は、動画像を構成する時系列に並んだ各フレームに存在する特定画像の種別を表すラベルを割り当てることで、前記特定画像を認識する画像認識制御装置であって、全てのフレームに対して、画素又は隣接して関連する画素群毎に特徴量を抽出する特徴量抽出手段と、時系列に隣接する動画像のフレーム間で対応する画素又は画素群を対応付ける対応付け手段と、前記特徴量抽出手段で抽出した特徴量から算出される第１優先度に基づき、フレーム候補を仮選択する仮選択手段と、前記対応付け手段による対応付けの信頼度から算出される第２優先度に基づき、前記仮選択手段で仮選択されたフレーム候補の中から、ラベルを入力操作によって付与するフレームを本選択する本選択手段と、前記本選択手段で本選択された選択フレームに対して、本選択された各フレーム単位で付与されたラベルを受け付けると共に、機械学習によって、各フレームの画素又は画素群単位でのラベルを推定する第１推定手段と、前記本選択手段で本選択されなかった未選択フレームに対して、前記第１推定手段で推定したラベルに基づき、各フレームの画素又は画素群単位でのラベルを推定する第２推定手段と、を有している。

本発明によれば、動画像を構成する時系列に並んだ各フレームに存在する特定画像の種別を表すラベルを割り当てることで、前記特定画像を認識する工程として、画素又は画素群から特徴量抽出し（特徴量抽出手段）、フレーム間で対応付け（対応付け手段）、フレーム候補を仮選択し（仮選択手段）、仮選択したフレームからフレームを本選択し（本選択手段）、本選択フレームのラベルを推定し（第１推定手段）、及び、未選択フレームのラベルを推定する（第２推定手段）。

ここで、一部のフレームに入力操作で正解付けする必要があるが、正解付け（例えば、ラベルリストの付与）するフレームの選択如何によっては、ラベルリストに特徴するラベルに偏りが生じ、ラベルを推定する学習に支障をきたす等、ラベル推定時の労力に大きな差が生じる。

そこで、本発明の仮選択手段では、特徴量抽出手段で抽出した特徴量から算出される第１優先度に基づき、フレーム候補を仮選択する。また、本選択手段では、対応付け手段による対応付けの信頼度から算出される第２優先度に基づき、前記仮選択手段で仮選択されたフレーム候補の中から、ラベルを入力操作によって付与するフレームを本選択する。

フレームの選択に、特徴量と、対応付けの信頼度を考慮することで、ランダム、或いは単純なオプチカルフローで選択したフレームよりも、有用なフレームを選択することができる。

第１推定手段で適用される機械学習では、例えば、弱教師有り法を用いることで、フレーム単位でのラベルリストを付与すればよく、画素又は画素群にラベルを割り当てる必要がない分、入力操作の手間を省くことができる。

本発明において、各フレーム内の全画素を、予め定めた類似度によって領域分割することで画素群を生成する領域分割手段をさらに有することを特徴としている。

画素群は、画素の集合体である。この画素群を生成するため、領域分割手段では、各フレーム内の全画素を、予め定めた類似度によって領域分割する。

本発明において、前記仮選択手段が、前記特徴量抽出手段で抽出された特徴量から算出され、定量化された第１優先度に基づき、フレーム候補を仮選択することを特徴としている。

特徴量を定量化することで、フレームの仮選択を容易に行うことができる。

本発明において、前記第１優先度が、画素群毎の前記特徴量のヒストグラムから変換処理された特徴量ベクトル群の分散度合いであり、当該分散度合いが大きいフレームから順に選択することを特徴としている。

フレームを仮選択する要件である第１優先度は、特徴量のヒストグラムから変換処理された特徴量ベクトル群の分散度合いであり、当該分散度合いが大きいフレームから順に選択すればよい。

本発明において、前記仮選択手段が、時系列に並ぶフレーム間において、特定の画素又は画素群が出没する前後のフレームをフレーム候補として仮選択することを特徴としている。

フレームの仮選択において、時系列に並ぶフレーム間において、特定の画素又は画素群が出没する度合いを第１優先度とし、当該度合いの大きい方から、出没前後のフレームをフレーム候補として仮選択すればよい。

本発明において、前記仮選択手段が、予め全てのフレームに対してラベルリストが付与された場合に、時系列に並ぶフレーム間において、当該ラベルリストが変化する前後のフレームをフレーム候補として仮選択することを特徴としている。

フレームの仮選択において、例えば、第１推定手段において、予め全てのフレームに対してラベルリストが付与された場合は、時系列に並ぶフレーム間において、当該ラベルリストが変化する度合いを第１優先度とし、当該度合いの大きい方から、変化前後のフレームをフレーム候補として仮選択すればよい。

本発明において、前記第２優先度の算出に用いられる対応付けの信頼度が、対応付け誤り確率を１から減算した値であることを特徴としている。

例えば、対応点同士の色の違い、対応点同士のオプチカルフローの変化量、オクルージョンの影響、及び、対応点がフレーム内に存在するかどうかによって、対応付けが誤っている確率を計算し、１から減算した値に基づき、第２優先度を設定することができる。

本発明の画像認識制御プログラムは、コンピュータを、画像認識制御装置として動作させることを特徴としている。

以上説明した如く本発明では、画像認識の労力軽減ための動画像からのフレーム選択制御において、選択しなかったフレームの補完に最適なフレームを選択することができる。

また、上記効果に加え、入力操作による正解データの付与の労力を軽減することができる。

本実施の形態に係る運転支援システムを構成する学習装置及び運転支援装置の機能をブロック化して示した機能ブロック図である。 本実施の形態に係る画像認識の概略図である。 本実施の形態に係る画像認識制御の流れを示すフローチャートである。 特徴量抽出の一例として、ＳＥＥＤＳ法の概略を示すフレームの正面図である。 本実施の形態に係る運転支援装置において、特徴量抽出を行った場合の概略を示す動画像フレームの正面図である。 本実施の形態に係る対応付けの一例として、ＧＢ法の概略を示す静止画像のフレームの正面図である。 本実施の形態に係る弱教師有り法の概略を示し、（Ａ）は入力データのフレーム正面図、（Ｂ）は前処理として、領域分割、特徴量抽出時のフレーム正面図、（Ｃ）はラベル推定処理時のフレーム正面図、（Ｄ）は識別関数学習処理の特性図、（Ｅ）認識結果を示すフレーム正面図である。 本実施の形態に係る運転支援装置において、弱教師有り法によりラベル推定処理を実行した場合のフレーム正面図（第１例）である。 本実施の形態に係る運転支援装置において、弱教師有り法によりラベル推定処理を実行した場合のフレーム正面図（第２例）である。 本実施の形態の変形例１に係るフレーム選択のための概略図である。 本実施の形態の変形例２に係るフレーム選択のための概略図である。

図１は、本実施の形態に係る運転支援システム１０が示されている。運転支援システム１０は、運転支援のための学習を実行する基地局としての学習装置１２と、車両に搭載され、学習装置１２（基地局）から学習結果を受け付けて運転支援処理を実行する運転支援装置１４と、を備える。

図１は、学習装置１２及び運転支援装置１４で実行される処理を、機能毎にブロック化した機能ブロック図である。なお、各ブロックは、それぞれのハード構成を限定するものではなく、一部又は全部を、プログラムに従い実行するソフトウェアで構築してもよい。

（学習装置１２）
学習装置１２は、画像受付部２８を備えており、動画像（カメラによる撮影画像等）を受け付ける。

画像受付部２８は、対象特定部３０に接続されており、画像受付部２８で受け付けた動画像を対象特定部３０へ送出する。

対象特定部３０は、入力した動画像の各フレームに対して、領域分割、特徴量抽出、各フレーム間の特徴量の対応付けを実行する。なお、領域分割は必須ではなく、画素単位で特徴量を抽出するようにしてもよい。また、ここで抽出した特徴量は、後述するラベル推定の際の一工程で流用可能である。

対象特定部３０は、本実施の形態の特徴の１つである、フレーム選択部３２に接続され、対象特定部３０によって特徴量が抽出された各フレームの情報が、フレーム選択部３２に送出される。

フレーム選択部３２では、全フレームの中から、ラベル推定するフレームを選択する。この選択の際、仮選択及び本選択の工程を段階的に実行する。

仮選択では、第１フレーム優先度として、特徴量ベクトル群の分散度合いを取得し、当該特徴量ベクトル群の分散度合いが大きいフレームを優先した選択する。フレーム内の対象が多い方が特徴量ベクトル群の分散度合いが大きく、機械学習に有利となる。

本選択では、第２フレーム優先度として、対応付け信頼度のフレーム内の和を取得し、仮選択したフレームの中から、対応付け信頼度の和が大きいフレームを選択（本選択）する。これにより、動画像のフレームは、本選択フレームと未選択フレームとに分類される。なお、フレーム選択部３２の仮選択及び本選択の手順の詳細は、後述する制御フローチャート（図３参照）による処理手順に沿って説明する。

フレーム選択部３２は、ラベル推定部３４に接続されており、フレーム選択部３２で本選択されたフレーム（本選択フレーム）と、選択されなかったフレーム（未選択フレーム）とに分類された全フレームが、ラベル推定部３４へ送出される。

ラベル推定部３４では、例えば、弱教師有り法（以下、単に、「学習」という場合がある。）に基づき、本選択フレーム及び未選択フレームのラベルを推定し、ラベル推定の認識結果を、認識結果出力部３６を介して、ネットワーク学習部３８へ送出する。本実施の形態では、弱教師有り法が適用可能である。

上記構成により、学習装置１２では、全てのフレームに対してラベルが推定される、ネットワーク学習部３８で学習した学習結果は、学習結果出力部４０を介して、各車両の運転支援装置１４の一つの機能である学習結果解析部４２（後述）へ送出される。

例えば、図２に示される如く、動画像の各フレームの中から本選択フレームをフレームｉ、フレームｋとし、未選択フレームをフレームｊとする。なお、符号ｉ、ｊ及びｋは動画像において時系列に並んでいるものとする。

この図２において、本選択したフレームｉ及びフレームｋに対しては、例えば、弱教師有り法に基づき、正解データが付与されているため、当該正解データに基づき、ラベルが推定される。

その後、未選択フレームであるフレームｊに対しては、フレームｉ又はフレームｋを利用したオプチカルフロー処理によって補完され、ラベルが推定される。

（運転支援装置１４）
図１に示される如く、運転支援装置１４は、画像受付部４４を備えており、画像受付部４４には、車載センサ群１６が接続されている。車載センサ群１６からは、運転支援に必要な車両情報を入手し得る。

（車載センサ群１６）
本実施の形態において利用する車載センサ群１６には、環境認識センサ１８、車両運動センサ２０、車両状態センサ２２、測位センサ２４が含まれる。

環境認識センサ１８は、カメラやレーザレーダ、ミリ波レーダ、超音波センサ等を想定し、自車周辺に存在する移動物や障害物を検出し、それらの三次元位置や速度を取得する。また、自車位置を推定するために地図と照合すべきランドマークを探索したり、レーン推定に必要なレーンマークを検出したりする。

車両運動センサ２０は、ジャイロセンサや車輪速センサなどを含み、車両の速度やヨーレイト、加速度、角速度、ステアリング角などの車両運動情報を所定の周期で計測する。

車両状態センサ２２は、方向指示器、灯火、ワイパーなどの作動状況に関する信号を取得する。また、ＡＢＳ(Antilock Brake System)、ＶＳＣ(Vehicle Stability Control)、ＬＤＷ(Lane Departure Warning)、ＰＣＳ(Pre-Crash Safety)等の安全システムに関する作動状況に関する信号も取得する。

測位センサ２４は、主にＧＰＳ(Global Positioning System)を想定し、ＧＰＳ衛星からの受信信号に基づいて自車の絶対位置や移動方向、速度を計測する。また、時刻情報もＧＰＳから取得することができる。

画像受付部４４では、車載センサ群１６の環境認識センサ１８の内、特にカメラで撮影した動画像を解析する。

画像受付部４４では、車載センサ群１６から受けた車両情報（動画像）を学習結果解析部４２へ送出する。

この学習結果解析部４２には、学習装置１２のネットワーク学習部３８で学習した学習結果を受け付けており、画像受付部４４で受け付けた車両情報を解析して認識し、認識結果出力部４６を介して、運転支援処理部４８へ送出する。

以下に、本実施の形態の作用を、図３のフローチャートに従い説明する。

ステップ１００では、カメラ等で撮影した画像（動画像）を受け付け、ステップ１０２へ移行する。

動画像は、例えば、車両の走行路に沿って点在する監視カメラ等の情報を取得してもよい。

次のステップ１０２〜ステップ１０６では、図２の対象特定部３０による処理が実行される。すなわち、受け付けた動画像の各フレーム毎に、領域分割処理、特徴量抽出処理、及び対応付け処理を実行する。

ステップ１０２では、まず、領域分割処理を実行する。領域分割処理とは、画素値や空間的な距離が近い等、何等かの基準で近い画素同士を結合することで、フレームに記憶されている画像の種類毎に分類して境界を定める技術である。

（領域分割技術の代表例）
図４は、ＳＥＥＤＳ（Superpixel Extracted via Energy-Driven Sampling）法による領域分割の手順を示している。

ＳＥＥＤＳ法によれば、図４（Ａ）に示される如く、フレーム５０の初期分割では格子状の境界線５２で分割（ここでは、均等に１２分割）し、図４（Ｂ）に示される如く、境界線５２を徐々に改良して、最終的には、図４（Ｃ）に示される如く、フレーム５０に記録されている画像を領域分割する。図４（Ｃ）では、フレーム５０に記憶されている画像が、主として、星型画像５０Ａが背景画像に対して分割されている。

図５は、上記領域分割の技術を用いて、カメラで撮影した動画像の１つのフレーム５４（図５（Ａ）参照）の画像を領域分割した例である。

図５（Ａ）の画像は、画素値や空間的な距離を含め、予め定めた基準により、図５（Ｂ）に示される如く、奥行方向の車両、道路、ガードレール、及び街路樹等が、境界線５６によって領域分割される。

なお、領域分割は必須ではなく、画素単位で処理することも可能である。領域分割しない場合、画素周辺に小領域を設定して、当該小領域内の画素の画素値を変換して特徴量を抽出すればよい。

図３に示される如く、ステップ１０２での領域分割処理が終了すると、ステップ１０４へ移行して、領域分割された各領域毎に特徴量を抽出する。特徴量は、画素値を領域内でヒストグラム化したもの等、任意の変換から得られるベクトルを利用することができる（特徴量ベクトル群）。

次のステップ１０６では、動画像として連続しているフレームにおいて、隣接するフレーム間での対応付けを行う。

（対応付け技術の代表例）
対応付け処理には、ＧＢ（Graph-Based）法が適用可能である。ＧＢ法は、静止画用の領域分割法を動画に提供できるように拡張して技術であり、図６は、静止画用のＧＢ法の対応付け手順を示している。

図６（Ａ）に示される如く、５×５のマトリクス状に配列された２５個の画素５８（一部の画素５８に符号付与）で構成された画像６０を想定し、各画素５８が１つの領域である状態を初期状態とする。

図６（Ｂ）の実線６２で示される如く、類似した画素５８（領域）同士を順次結合していき、これを繰り返すことで、図７（Ｃ）に示される如く、最終的に類似する画素５８（領域）毎に対応付けされる。

上記図６に示したＧＢ法は、静止画像を例にとり説明したが、動画像にも応用可能であり、本実施の形態では、当該ＧＢ法に基づき、フレーム間の対応付け処理を行う。

ここで、本実施の形態では、画像認識の際、各フレームに対して、学習によりラベルを推定する場合に、全てのフレームに対して学習用の正解付けを行わず、一部のフレームに正解付けするようにしている。

この一部のフレームの選択が本願発明の特徴の１つであり、図４のステップ１０４で得られた特徴量に基づいて、段階的にフレームの選択（フレーム候補選択→フレーム本選択）を実行している。

図３に示される如く、ステップ１０６で隣接フレーム間での対応付けが終了すると、次のステップ１０８、ステップ１１０、ステップ１１２、及びステップ１１４では、例えば、弱教師有り法によってラベルを推定するための、正解付けを行うフレームを選択する手順を示している。

（フレーム候補選択「仮選択」）
前述したステップ１０６において、隣接フレーム間での対応付けが終了すると、ステップ１０８へ移行して、特徴量ベクトル群の分散度合いを算出する。算出された特徴量ベクトル群の分散度合いは、フレーム候補を選択するための第１優先度として適用される。

次のステップ１１０では、フレーム候補として、特徴量ベクトル群の分散が大きい方から優先してフレームを選択する。すなわち、特徴量ベクトル群の分散が大きいフレームには、種々の対象が記録されていることが期待でき、学習を行う場合、種々の対象が学習のためのファクタとして含まれる方が望ましい。

なお、第１優先度は、特徴量ベクトル群の分散に限定されるものではなく、特徴量ベクトル群から算出される分散以外のデータ（数値、量）を適用してもよい。

以上、ステップ１０８及びステップ１１０の処理により、フレーム候補が選択されるが、この時点で選択されたフレームは仮選択であり、この仮選択されたフレーム候補から、ステップ１１２及びステップ１１４に従い、実際の学習を実行するフレームを選択する（本選択）。

（フレーム選択「本選択」）
すなわち、ステップ１１２では、対応付け信頼度のフレーム内の和を算出する。算出される対応付け信頼度のフレーム内の和は、学習を実行するフレームを選択するための第２優先度として適用される。

より詳しくは、ステップ１１２において、対応付けが誤っている確率を、以下に示す４つの観点から算出する。

（観点１） 対応点同士の色の違い
（観点２） 対応点同士のオプチカルフローの変化量
（観点３） オクルージョンの影響
（観点４） 対応点がフレーム内に存在するか否か
次のステップ１１４では、算出した確率を「１」から減算した量に基づき、フレームを選択する。

第２優先度としては、算出される対応付け信頼度のフレーム内の和に限定されるものではなく、入力操作による正解付けや修正の労力を最小化したフレームの選択が可能であれば、他のパラメータを用いてもよい。

次のステップ１１６、ステップ１１８、及びステップ１２０では、前述のステップ１１２及びステップ１１４によって選択されたフレーム（本選択フレーム）を対象として、学習によりラベル推定を行う(第１ラベル推定)。本実施の形態では、第１ラベル推定を実行（学習）する場合に、弱教師有り法が適用される。

（弱教師有り法の概略）
図７に従い、弱教師有り法の概略を説明する。

弱教師有り法では、まず、図７（Ａ）に示される如く、フレーム６４Ａ〜６４Ｃの画像と画像の中に写っている対象を表すラベルリスト６６Ａ〜６６Ｃを入力する。

図７（Ａ）では、ラベルリスト６６Ａが背景（ラベルＮｏ．０）、及び歩行者（ラベルＮｏ．１）であり、ラベルリスト６６Ｂが背景（ラベルＮｏ．０）、及び自動車（ラベルＮｏ．２）であり、ラベルリスト６６Ｃが背景（ラベルＮｏ．０）、歩行者（ラベルＮｏ．１）、及び自動車（ラベルＮｏ．２）を、それぞれ入力する。

弱教師有り法では、前処理（図７（Ｂ）参照）、ラベル推定（図７（Ｃ）参照）、及び識別関数学習（図７（Ｄ）参照）の３ステップに分けられて処理される。

ここで、ラベル推定と識別関数学習は交互に反復処理され、１回前の互いの処理結果を利用して、それぞれの処理の高精度化を図るようにしている。

図７（Ｂ）に示される如く、前処理では、画素値や空間的な距離が近い等、何等かの基準で近い画素同士を結合し、画像を複数の領域に分割し、かつ、分割した領域毎に特徴量を抽出する。なお、本実施の形態では、特徴量抽出は、対象特定部３０（図１参照）において実行している処理（図３のステップ１０４）であり、この対象特定部３０での処理結果が流用可能である。

図７（Ｃ）に示される如く、ラベル推定処理では、領域毎に適切なラベルを推定する。指定は、入力したラベルリストに矛盾しないという拘束条件の下で、近い特徴量を持つ領域には、できるだけ同じラベルが付与されるように実行する。

例えば、図７（Ｃ）のフレーム６４Ａの場合、ラベルＮｏ．２の自動車を持つ領域が１つも含まれず、かつラベルＮｏ．０の背景と、ラベルＮｏ．１の歩行者を持つ領域がそれぞれ少なくとも１つ含まれることが拘束条件となる。

また、識別学習との反復処理中（すなわち、２回目以降の推定）では、直前に得られている識別関数も利用し、識別関数で予測されるラベルとできるだけ矛盾しないように推定する。

図７（Ｄ）に示される如く、識別学習処理では、個々の領域の特徴量とラベル推定で推定されたラベルを基に、弱教師有り法により識別関数が学習される。

図７（Ｅ）に示される如く、上記推定処理と識別学習処理の、所定回数の反復処理後に、各領域のラベルが推定された結果が出力される。

以上説明した、弱教師有り法に基づき、図３のステップ１１６では、まず、ステップ１１４で本選択したフレームを取り込み、次いで、ステップ１１８へ移行して、各フレームの特徴量を読み出す。すなわち、ステップ１０４で抽出した特徴量を流用する。

次のステップ１２０では、ラベル推定と識別関数学習とを反復処理することで、ラベル推定結果を取得する（ステップ１２２）。

図８及び図９は、本実施の形態において、上記弱教師有り法を用いて、カメラで撮影した動画像のフレーム６８（図８（Ａ）参照）及びフレーム７０（図９（Ａ）参照）の画像をラベル推定した例である。

図８（Ｂ）及び図９（Ｂ）に示される如く、それぞれに入力したラベルリストに従い、撮影画像における各領域のラベルが推定される。

すなわち、図８では、ラベルリストとして、建物、歩道、及び道路が入力され、このラベルリストに対して過不足なく、画像中の各領域６８Ａ〜６８Ｃのラベルが推定される。また、図９では、ラベルリストとして、空、建物、道路、及び自動車が入力されるため、このラベルリストに対して過不足なく、画像中の各領域７０Ａ〜７０Ｄのラベルが推定される。また、ラベル推定と同時に識別器も学習する。

図３に示される如く、ステップ１２２でのラベル推定値取得後は、ステップ１２４へ移行して、ステップ１１２及びステップ１１４の処理において、選択されなかったフレーム（未選択フレーム）に対してラベルを推定する（第２ラベル推定）。

未選択フレームの各領域の内、本選択された領域と対応付けできる領域は、本選択フレームにおける、該当する領域と同じラベルを推定する。また、対応付けできない領域は、第１ラベル推定処理における識別関数学習（図７（Ｄ）参照）で学習した識別器によりラベルを推定すればよい。

以上により、本選択されたフレーム及び未選択フレームを含み、全てのフレームに対してラベル推定が完了し、次のステップ１２６において、識別結果をネットワーク学習部３８へ出力し、ネットワーク学習を実行する。

次のステップ１２８では、学習結果を運転支援装置１４（車両）の学習結果解析部４２へ出力し、このルーチンは終了する。

運転支援装置１４では、車両の車載センサ群で取り込んだ車両情報（特に、動画像）を学習結果に基づき解析して認識して、運転支援処理部４８へ送出する。

本発明によれば、フレーム選択部３２のフレーム選択として、仮選択及び本選択の工程を段階的に実行し、仮選択では、第１フレーム優先度として、特徴量ベクトル群の分散度合いを取得し、当該特徴ベクトル群の分散度合いが大きいフレームを優先した選択するようにした。このため、選択したフレームに様々な対象が写っていることが期待でき、ラベル推定の精度を高めることができる。

また、ラベル推定部３４では、弱教師有り法を適用し、入力操作によって正解付けする際に領域毎（又は画素単位）で細かく付与する必要がなく、画像単位で付与すればよいので、入力操作のための労力を軽減することができる。

（変形例）
なお、本実施の形態では、フレーム選択部３２のフレーム選択として、仮選択及び本選択の工程を段階的に実行したが、特に、仮選択の手段として、以下の変形例１又は変形例２を適用してもよい。また、変形例１及び変形例２は、場合によっては、仮選択と本選択との区別をせず、単一の選択手段として適用してもよい。

「変形例１」
図１０に示される如く、カメラが固定配置された状態で撮影され、領域分割された１つの画像である自動車画像７２が図１０の右から左へ移動していると仮定し、当該自動車画像７２を追跡する場合とする。

このとき、時系列で過去の画像ｉでは、自動車画像７２が画角内を移動中であるが、時系列で未来の画像ｉ＋１では、自動車画像７２は、画角内に出るため、この画像ｉ＋１の時点で追跡が失敗する。この追跡の失敗があったときの前後のフレーム（画像ｉ及び画像ｉ＋１）を選択する。

すなわち、自動車画像７２の追跡に失敗した前後のフレームを候補として選択すると、弱教師有り法を使ったラベル推定時に推定精度が上がる可能がある。

「変形例２」
図１１に示される如く、カメラが固定配置された状態で撮影され、領域分割された１つの画像である自動車画像７２が図１１の右から左へ移動していると仮定し、当該自動車画像７２を追跡する場合とする。また、この変形例２では、入力操作によって、全てのフレームにラベルリストが付与されているものとする。

この場合、図１１に示される如く、ラベルリストが変化する前後のフレーム（画像ｉ及び画像ｉ＋１）を選択する。

すなわち、自動車画像７２のラベルリストの有無が変化する前後のフレームを候補として選択すると、弱教師有り法を使ったラベル推定時に推定精度が上がる可能がある。

なお、本実施の形態（変形例１及び変形例２を含む）では、本発明の学習装置１２による学習を、車両に搭載した運転支援装置１４に反映させるようにしたが、適用対象が、車両の運転支援装置１４に限定されるものではなく、航路を運行する船舶や、空路を運行飛行機等、他の移動体の運行支援装置の画像認識制御としても適用可能である。

また、例えば、要救助者等を救助するロボットや介助ロボット等、人工知能によって動作する移動体の制御等への適用も可能である。

さらに、本実施の形態の運転支援システム１０では、基地局に学習装置１２を設け、車両に運転支援装置１４を搭載する構成としたが（統合機構）、自車両で情報を取得、及び、他車両との間で通信し合って情報を取得する構成としてもよい。情報の取得は、車両間で直接する以外に、３台以上の車両を連携して情報を通信する伝搬方式としてもよい。

１０ 運転支援システム
１２ 学習装置
１４ 運転支援装置
１６ 車載センサ群
１８ 環境認識センサ
２０ 車両運動センサ
２２ 車両状態センサ
２４ 測位センサ
２８ 画像受付部
３０ 対象特定部(特徴量抽出手段、対応付け手段、領域分割手段）
３２ フレーム選択部（仮選択手段、本選択手段）
３４ ラベル推定部（第１推定手段、第２推定手段）
３６ 認識結果出力部
３８ ネットワーク学習部
４０ 学習結果出力部
４２ 学習結果解析部
４４ 画像受付部
４６ 認識結果出力部
４８ 運転支援処理部
５０ フレーム
５０Ａ 星型画像
５０Ｂ 背景画像
５２ 境界線
５４ フレーム
５６ 境界線
５８ 画素
６０ 画像
６２ 実線
６４Ａ〜６４Ｃ フレーム
６６Ａ〜６６Ｃ ラベルリスト
６８ フレーム
７０ フレーム
７０Ａ〜７０Ｄ 領域
７２ 自動車画像

Claims (8)

1. 動画像を構成する時系列に並んだ各フレームに存在する特定画像の種別を表すラベルを割り当てることで、前記特定画像を認識する画像認識制御装置であって、
   全てのフレームに対して、画素又は隣接して関連する画素群毎に特徴量を抽出する特徴量抽出手段と、
   時系列に隣接する動画像のフレーム間で対応する画素又は画素群を対応付ける対応付け手段と、
   前記特徴量抽出手段で抽出した特徴量から算出される第１優先度に基づき、フレーム候補を仮選択する仮選択手段と、
   前記対応付け手段による対応付けの信頼度から算出される第２優先度に基づき、前記仮選択手段で仮選択されたフレーム候補の中から、ラベルを入力操作によって付与するフレームを本選択する本選択手段と、
   前記本選択手段で本選択された選択フレームに対して、本選択された各フレーム単位で付与されたラベルを受け付けると共に、機械学習によって、各フレームの画素又は画素群単位でのラベルを推定する第１推定手段と、
   前記本選択手段で本選択されなかった未選択フレームに対して、前記第１推定手段で推定したラベルに基づき、各フレームの画素又は画素群単位でのラベルを推定する第２推定手段と、
   を有する画像認識制御装置。
2. 各フレーム内の全画素を、予め定めた類似度によって領域分割することで画素群を生成する領域分割手段をさらに有することを特徴とする請求項１記載の画像認識制御装置。
3. 前記仮選択手段が、前記特徴量抽出手段で抽出された特徴量から算出され、定量化された第１優先度に基づき、フレーム候補を仮選択することを特徴とする請求項１又は請求項２記載の画像認識制御装置。
4. 前記第１優先度が、画素群毎の前記特徴量のヒストグラムから変換処理された特徴量ベクトル群の分散度合いであり、当該分散度合いが大きいフレームから順に選択することを特徴とする請求項３記載の画像認識制御装置。
5. 前記仮選択手段が、時系列に並ぶフレーム間において、特定の画素又は画素群が出没する前後のフレームをフレーム候補として仮選択することを特徴とする請求項１又は請求項２記載の画像認識制御装置。
6. 前記仮選択手段が、予め全てのフレームに対してラベルリストが付与された場合に、時系列に並ぶフレーム間において、当該ラベルリストが変化する前後のフレームをフレーム候補として仮選択することを特徴とする請求項１又は請求項２記載の画像認識制御装置。
7. 前記第２優先度の算出に用いられる対応付けの信頼度が、対応付け誤り確率を１から減算した値であることを特徴とする請求項１〜請求項６の何れか１項記載の画像認識制御装置。
8. コンピュータを、
   請求項１〜請求項７の何れか１項記載の画像認識制御装置として動作させる、
   画像認識制御プログラム。