JP7177609B2 - 画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置 - Google Patents

Description

開示の実施形態は、画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置に関する。

従来、複数の画像認識装置から画像認識処理に用いられた画像データを収集し、蓄積した画像データを学習データとして使用して画像認識処理についての機械学習を行い、画像認識処理に用いるパラメータを更新して画像認識装置へ提供するシステムがある。

特開２０１５－１３５５５２号公報

しかしながら、従来の画像認識装置は、認識対象物を撮像する撮像装置と認識対象物との相対速度によっては、認識対象物を正確に画像認識することができないことがある。

実施形態の一態様は、上記に鑑みてなされたものであって、認識対象物を撮像する撮像装置と認識対象物との相対速度によらず、正確に認識対象物を画像認識することができる画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置を提供することを目的とする。

実施形態の一態様に係る画像認識装置は、取得部と、判別部と、記憶部と、判定部とを備える。取得部は、撮像装置から認識対象物が撮像された画像を取得する。判別部は、前記撮像装置および前記認識対象物間の相対速度を判別する。記憶部は、前記認識対象物が撮像された画像から当該画像内の被写体が前記認識対象物であるという認識結果を導出する機械学習モデルを速度範囲毎に記憶する。判定部は、複数の前記機械学習モデルから前記判別部によって判別される前記相対速度に応じた前記速度範囲の前記機械学習モデルを採用して前記画像内の被写体を判定する。

実施形態の一態様に係る画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置は、認識対象物を撮像する撮像装置と認識対象物との相対速度によらず、正確に認識対象物を画像認識することができる。

図１は、実施形態に係る画像認識方法の概要を示す説明図である。 図２は、実施形態に係る画像認識装置の構成の一例を示すブロック図である。 図３Ａは、実施形態に係る機械学習モデルの生成手順を示す説明図である。 図３Ｂは、実施形態に係る機械学習モデルの生成手順を示す説明図である。 図３Ｃは、実施形態に係る機械学習モデルの生成手順を示す説明図である。 図４は、実施形態に係る画像認識処理の一例を示す説明図である。 図５は、実施形態に係る画像認識装置の制御部が実行する処理の一例を示すフローチャートである。

以下、添付図面を参照して、画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。以下では、車両に搭載される撮像装置から取得する車両の周囲が撮像された画像に写る被写体を画像認識する画像認識装置および画像認識方法を例に挙げて説明する。

図１は、実施形態に係る画像認識方法の概要を示す説明図である。実施形態に係る画像認識装置１は、車両に搭載される撮像装置から車両の周囲が撮像された画像を取得する。ここでは、例えば、図１（ａ）に示すように、画像認識装置１が、撮像装置および画像認識装置１を搭載した車両（以下、「自車両」と記載する）の周囲を走行する他の車両１００が写った画像１０１を取得した場合を例に挙げて説明する。

他の車両１００のように移動する認識対象物が撮像される場合、画像１０１には、人間が目視した他の車両１００の形状とは若干異なる形状の他の車両１００が写る場合がある。例えば、シャッタースピードが比較的遅い撮像装置によって高速で移動する他の車両１００を撮像した場合、図１（ａ）に示すように、画像１０１中の他の車両１００の像にブレが発生することがある。

また、シャッタースピードが比較的遅い撮像装置によって横方向に高速で移動する被写体を撮像した場合、被写体が実際の形状よりも横方向に伸びた形状となって画像に写ることがある。

具体的には、撮像装置は、複数の撮像素子が行列状に配置される撮像領域の上の行に配置される撮像素子から順に駆動（露光）して１フレームの画像を撮像する。このため、撮像領域における上部分で撮像された被写体は、撮像領域における下部分で撮像されるときには既に横方向へ移動している。

その結果、画像には、実際の形状よりも横方向に伸びた形状の被写体が写る所謂ローリングシャッター現象（以下、ローリング現象と記載する）が発生する。かかるローリング現象の程度やブレの大きさは、撮像装置と被写体との相対速度の違いによって変動する。

このため、例えば、他の車両１００が写った画像１０１から被写体は他の車両１００であるという画像認識結果を導出する機械学習モデルを生成するためには、ローリング現象の程度やブレの大きさが異なる膨大な枚数の画像を教材として使用した機械学習が必要となる。

また、仮に膨大な枚数の画像を教材として使用した機械学習によって機械学習モデルを生成したとしても、他の車両１００が写った画像１０１から被写体が他の車両１００であるという正確な画像認識結果を導出できない場合もある。

例えば、ローリング現象やブレが発生した画像中の車両を機械学習モデルによって画像認識する場合、その画像と類似した画像が機械学習の教材に含まれていたとしても、教材の中にはローリング現象やブレの程度が異なる画像も多く含まれている。

このため、機械学習モデルによる判定では、画像中の被写体が車両であるという判定結果の尤度が低くなり、画像中の被写体が車両と判定されず、正確な画像認識結果を導出することができない場合がある。

そこで、実施形態に係る画像認識装置１は、画像１０１を取得すると、まず、撮像装置と認識対象物（ここでは、他の車両１００）との相対速度を判別する。そして、画像認識装置１は、例えば、相対速度が第１速度範囲、第２速度範囲、および第３速度範囲のどの範囲に含まれるかを判定する。

ここでは、第１速度範囲が最も遅い速度範囲であり、第２速度範囲が第１速度範囲よりも速く、第３速度範囲よりも遅い速度範囲であるものとする。画像認識装置１は、例えば、画像中における被写体の移動速度を相対速度として判別する。なお、移動速度の判別方法は、これに限定されるものではない。

このとき、画像認識装置１は、例えば、図１（ｂ）に示すように、相対速度が第２速度範囲に含まれると判別した場合、図１（ｃ）に示す画像認識処理を行う。具体的には、画像認識装置１は、一例として第１速度範囲用機械学習モデル１－１、第２速度範囲用機械学習モデル１－２、および第３速度範囲用機械学習モデル１－３という３つの機械学習モデルを備える。

第１速度範囲用機械学習モデル１－１は、例えば、被写体との相対速度が第１速度範囲に含まれる車両の画像認識に特化された機械学習モデルである。第２速度範囲用機械学習モデル１－２は、例えば、被写体との相対速度が第２速度範囲に含まれる車両の画像認識に特化された機械学習モデルである。

第３速度範囲用機械学習モデル１－３は、例えば、被写体との相対速度が第３速度範囲に含まれる車両の画像認識に特化された機械学習モデルである。なお、画像認識装置１が備える機械学習モデルの数は、複数であれば３つに限定されるものではない。

また、以下では、３つの機械学習モデルのうち、不特定の機械学習モデルを指す場合には、単に機械学習モデルと記載する。これら３つの機械学習モデルの生成手順の一例については、図３Ａ，図３Ｂ，図３Ｃを参照して後述する。

画像認識装置１は、上記のように、被写体との相対速度が第２速度範囲に含まれると判別した場合、３つの機械学習モデルのうち、第２速度範囲用機械学習モデル１－２へ画像１０１を入力する。これにより、画像認識装置１は、被写体が他の車両１００であるという正確な画像認識結果１０２を導出することができる。

次に、図２を参照し、実施形態に係る画像認識装置１の構成の一例について説明する。図２は、実施形態に係る画像認識装置１の構成の一例を示すブロック図である。図２に示すように、画像認識装置１は、撮像装置４１、レーダ４２、舵角センサ４３、および車両制御装置４４と接続される。

なお、相対速度別画像集１１０は、認識対象物が写った複数枚の画像を含む画像集である。相対速度別画像集１１０に含まれる各画像は、画像に写っている被写体の種類、撮像時における被写体と撮像装置との相対速度を示す情報が付与されている。

かかる相対速度別画像集１１０は、画像認識処理の教師あり機械学習の教材として画像認識装置１によって使用される。相対速度別画像集１１０の一例については、図３Ａ、図３Ｂおよび図３Ｃを参照し、機械学習モデルの生成手順の説明と合わせて後述する。

撮像装置４１は、例えば、画像認識装置１が搭載される車両の前部に設置されて車両の前方を撮像する車載カメラである。なお、撮像装置４１は、車両の側部や後部に設けられ、車両の周囲を撮像する車載カメラであってもよい。撮像装置４１は、撮像した画像を画像認識装置１へ出力する。

レーダ４２は、例えば、ミリ波の送信波を車両の周囲へ放射して物標に反射した送信波の反射波を受信し、送信波と受信波とに基づいて車両から物標までの距離、物標が存在する角度、車両に対する物標の相対速度を検知するミリ波レーダである。レーダ４２は、検知した相対速度を画像認識装置１へ出力する。舵角センサ４３は、車両の操舵角度を検知するセンサである。舵角センサ４３は、検知した操舵角度を画像認識装置１へ出力する。

車両制御装置４４は、例えば、車両全体を統括制御するＥＣＵ（Electronic Control Unit）である。車両制御装置４４は、例えば、画像認識装置１によって自車両の走行に支障をきたすような被写体が画像認識された場合に、車両の速度制御、操舵制御、および制動制御を行うことによって車両に障害物を回避させる。

また、画像認識装置１は、制御部２と記憶部３とを備える。記憶部３は、例えば、データフラッシュ等の情報記憶デバイスである。記憶部３は、第１速度範囲用機械学習モデル１－１、第２速度範囲用機械学習モデル１－２・・・第ｎ速度範囲用機械学習モデル１－ｎ（ｎは、３以上の自然数）というｎ個の機械学習モデルを記憶する。

制御部２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するマイクロコンピュータや各種の回路を含む。

制御部２は、ＣＰＵがＲＯＭに記憶されたプログラムを、ＲＡＭを作業領域として使用して実行することにより機能する学習部２１、取得部２２、判別部２３、および判定部２４を備える。なお、制御部２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。

制御部２が備える学習部２１、取得部２２、判別部２３、および判定部２４は、それぞれ以下に説明する情報処理の作用を実現または実行する。なお、制御部２の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

学習部２１は、相対速度別画像集１１０から各相対速度範囲および被写体の種類別に複数枚（例えば、数千枚）の画像を取得する。そして、学習部２１は、取得した画像を教師あり機械学習の教材として使用して各相対速度範囲および被写体の種類別に、それぞれ機械学習モデル（例えば、車両を画像認識するための第１速度範囲用機械学習モデル１－１等）を生成して記憶部３に記憶させる。

ここで、図３Ａ、図３Ｂ、および図３Ｃを参照し、実施形態に係る機械学習モデルの生成手順の一例について説明する。図３Ａ、図３Ｂ、および図３Ｃは、実施形態に係る機械学習モデルの生成手順を示す説明図である。

ここでは、画像に含まれる車両を画像認識するための機械学習モデルを生成する場合について説明する。なお、学習部２１は、車両以外にも、オートバイ、自転車、歩行者等を画像認識するための機械学習モデルも生成することができる。

図３Ａに示すように、学習部２１は、被写体と撮像装置４１との相対速度が最も遅い第１速度範囲用機械学習モデル１－１を生成する場合、相対速度別画像集１１０から第１速度範囲画像集１０-１の画像１１－１，１１－２等を取得する。

第１速度範囲画像集１０-１に含まれる画像は、被写体と撮像装置４１との相対速度が最も遅いので、画像１１－１，１１－２等のように、ローリング現象やブレが発生していない。

学習部２１は、これらの画像の特徴を機械学習することにより、撮像装置に対する相対速度が第１速度範囲に含まれる車両が撮像された画像が入力された場合に、被写体は車両であるという画像認識結果を出力する第１速度範囲用機械学習モデル１－１を生成する。

また、図３Ｂに示すように、学習部２１は、被写体と撮像装置４１との相対速度が第１区度範囲の次に速い第２速度範囲用機械学習モデル１－２を生成する場合、相対速度別画像集１１０から第２速度範囲画像集１０－２の画像１２－１，１２－２等を取得する。

第２速度範囲画像集１０－２に含まれる画像は、被写体と撮像装置４１との相対速度が第１速度範囲よりも速いので、画像１２－１，１２－２等のように、若干ではあるがローリング現象やブレが発生している。

学習部２１は、これらの画像の特徴を機械学習することにより、撮像装置に対する相対速度が第２速度範囲に含まれる車両が撮像された画像が入力された場合に、被写体は車両であるという画像認識結果を出力する第２速度範囲用機械学習モデル１－２を生成する。

また、図３Ｃに示すように、学習部２１は、被写体と撮像装置４１との相対速度が最も速い第ｎ速度範囲用機械学習モデル１－ｎを生成する場合、相対速度別画像集１１０から第ｎ速度範囲画像集１０－ｎの画像１３－１，１３－２等を取得する。

第ｎ速度範囲画像集１０－ｎに含まれる画像は、被写体と撮像装置４１との相対速度が最も速いので、画像１３－１，１３－２等のように、大きなブレや顕著なローリング現象が発生している。

学習部２１は、これらの画像の特徴を機械学習することにより、撮像装置に対する相対速度が第ｎ速度範囲に含まれる車両が撮像された画像が入力された場合に、被写体は車両であるという画像認識結果を出力する第ｎ速度範囲用機械学習モデル１－ｎを生成する。

このように、学習部２１は、相対速度の速度範囲毎に入力される各速度範囲内の相対速度で移動する種類が既知の認証対象が撮像された複数の画像に基づいて、速度範囲毎の機械学習モデルを生成する。これにより、各速度範囲用機械学習モデルは、各速度範囲に含まれない相対速度で移動する認証対象が撮像された画像の影響が反映されることがない。

また、学習部２１は、速度範囲毎に画像を機械学習することにより、教材となる画像から被写体の速度を識別学習する必要がなくため、教材として使用する画像の枚数を大幅に低減することができる。

なお、上記した機械学習モデルの生成手順は、フレームレート（シャッタースピード）が固定であるものとして説明したが、シャッタースピードが可変の撮像装置４１の場合、速度範囲毎に機械学習する場合の各速度範囲をシャッタースピードに応じて正規化する。

例えば、あるフレームレートを基準フレームレートとして設定しておき、撮像装置４１のフレームレートが基準フレームレートの場合には、基準フレームレートに対応する基準速度範囲に係数として１を乗算した速度範囲とする。

フレームレートが基準フレームレート以外の場合には、基準速度範囲に係数（基準フレームレート／撮像フレームレート）を乗算した速度範囲とする。これにより、学習部２１は、撮像装置４１に設定されるフレームレートに応じた適切な速度範囲毎に画像の機械学習モデルを生成することができる。

また、機械学習の教材として使用される画像は、ズームの倍率によって画像内を移動する認識対象の移動速度が変動する。このため、教材に使用される画像は、ズームの倍率を自車両から画像中の認識対象までの距離が基準距離となるように正規化しておくことが望ましい。

また、画像認識装置１（後述の判定部２４）が実際に画像認識する画像についても、同様にズームの倍率を自車両から画像中の認識対象までの距離が基準距離となるように正規化しておくことが望ましい。なお、画像のズームを正規化する場合に使用する認識対象までの距離は、レーダ４２から取得することが可能である。

図２へ戻り、制御部２が備える学習部２１以外の処理部の説明を進める。取得部２２は、撮像装置４１から車両周辺が撮像された画像を順次取得して判別部２３へ出力する。判別部２３は、取得部２２から入力される画像の被写体と撮像装置４１との相対速度を判別する。

判別部２３は、画像中における被写体の移動速度を被写体と撮像装置４１との相対速度として判別する。これにより、判別部２３は、被写体と撮像装置４１との物理的な位置関係による相対速度よりも、被写体のブレやローリング現象に直接的に影響する相対速度を判別することができる。

判別部２３は、例えば、撮像装置４１によって連続して撮像される複数フレームの画像間における被写体の位置の移動速度を被写体と撮像装置４１との相対速度として判別する。これにより、判別部２３は、画像中における被写体と撮像装置４１との正確な相対速度を判別することができる。

このとき、撮像装置４１から入力される画像は、ズームの倍率によって画像内を移動する認識対象の移動速度が変動する。このため、判別部２３は、撮像装置４１から入力される画像のズームの倍率を自車両から画像中の認識対象までの距離が基準距離となるように正規化しておくことが望ましい。判別部２３は、画像のズームを正規化する場合に使用する認識対象までの距離をレーダ４２から取得することが可能である。

また、連続するフレーム間で認識対象が写る位置は、撮像装置４１のフレームレート（シャッタースピード）によっても変わる。このため、判別部２３は、撮像装置４１のフレームレートが可変の場合には、撮像装置４１に設定されているフレームレートに応じて認証対象の移動速度を正規化することが望ましい。

また、判別部２３は、例えば、レーダ４２から入力される車両と被写体との相対速度を被写体と撮像装置４１との相対速度として判別することもできる。これにより、判別部２３は、相対速度を判別する処理を行うことなく、被写体と撮像装置４１との相対速度を判別することができる。

ただし、判別部２３は、レーダ４２から入力される相対速度を被写体と撮像装置４１との相対速度として判別すると、画像中における被写体の正確な移動速度を判別できない場合がある。例えば、車両が交差点を右左折する場合、撮像装置４１の撮像方向が急に変わるので、被写体と撮像装置４１との相対速度よりも速い移動速度で被写体が画像中を移動することがある。

このため、判別部２３は、レーダ４２から入力される相対速度を被写体と撮像装置４１との相対速度として判別する場合、撮像装置４１による撮像方向の変化速度に基づいて、レーダ４２から入力される相対速度を補正する。

例えば、判別部２３は、舵角センサ４３から入力される車両の操舵角に基づいて、車両の進行方向の変化速度、つまり、撮像方向の変化速度を推定し、推定した撮像方向の変化速度に基づいて、レーダ４２から入力される相対速度を補正する。

これにより、判別部２３は、画像中における被写体の正確な移動速度に近い移動速度を被写体と撮像装置４１との相対速度として判別することができる。そして、判別部２３は、判別した被写体と撮像装置４１との相対速度と、撮像装置４１から入力された画像とを判定部２４へ出力する。

判定部２４は、判別部２３から入力される画像中の被写体を画像認識する場合、記憶部３に記憶された複数の機械学習モデルのうち、判別部２３から入力される相対速度を含む速度範囲用の機械学習モデルを採用して被写体を判定する。

ここで、図４を合わせて参照しながら、判定部２４による画像認識処理の一例について説明する。図４は、実施形態に係る画像認識処理の一例を示す説明図である。図４（ａ）に示すように、判定部２４は、例えば、ブレが発生した車両の像１０３が写った画像１０４が判別部２３から入力される場合、画像１０４を複数の分割領域に分割する。

そして、判定部２４は、判別部２３から入力される相対速度が第２速度範囲に含まれていた場合、図４（ｂ）に示すように、第２速度範囲用機械学習モデル１－２を採用する。第２速度範囲用機械学習モデル１－２は、概念的には、図４（ｂ）に示すように、入力層２ａ、中間層２ｂ、および出力層２ｃという３層構造の処理層を備える。なお、図４（ａ）では、中間層２ｂが１層である場合を示しているが、中間層２ｂは複数層設けられてもよい。

入力層２ａ、中間層２ｂ、および出力層２ｃは、各分割領域の画像が車両の一部か否かの判定を並行して行う複数のノード２ｚを備える。入力層２ａの各ノード２ｚは、それぞれ中間層２ｂの全ノード２ｚと接続される。中間層２ｂの各ノード２ｚは、それぞれ出力層２ｃの全ノード２ｚと接続される。このように、第２速度範囲用機械学習モデル１－２は、ノード２ｚ同士が接続されたニューラルネットワーク構造となっている。

判定部２４は、画像１０４の各分割領域の画像を入力層２ａの各ノード２ｚへ入力する。入力層２ａの各ノード２ｚは、順次入力される各分割領域の画像が車両の一部か否かの判定を行い、車両の一部である可能性が高い程高い重み付けをした判定結果を中間層２ｂのノード２ｚへ出力する。

中間層２ｂの各ノード２ｚも同様に、各分割領域の画像が車両の一部か否かの判定を行い、車両の一部である可能性が高い程高い重み付けをした判定結果を出力層２ｃのノード２ｚへ出力する。

出力層２ｃの各ノード２ｚは、各分割領域の画像が車両の一部か否かの判定を行い、分割領域毎の判定結果２ｄを出力する。なお、図４（ｂ）には、画像１０４における下から４行目の分割領域の判定結果２ｄを示している。

図４（ｂ）に示す例では、第２速度範囲用機械学習モデル１－２は、画像１０４における下から４行目の分割領域について、左右両端の分割領域の画像以外を車両（車両の一部）と判定している。

第２速度範囲用機械学習モデル１－２は、画像１０４における全分割領域の画像について車両の一部か否かの判定を行う。判定部２４は、かかる分割領域毎の判定結果２ｄに基づいて、図４（ｃ）に示すように、被写体は車両であるという画像認識結果１０２を導出する。

このとき、第２速度範囲用機械学習モデル１－２は、撮像装置４１に対する相対速度が第２速度範囲内の被写体が撮像された画像だけを教材とした機械学習によって生成されているため、被写体は車両であるという正確な画像認識結果を導出することができる。

その後、判定部２４は、画像認識した車両が自車両の走行に支障をきたすか否かを判定する。判定部２４は、画像認識した車両の自車両に対する位置に基づいて自車両の走行に支障をきたすか否かを判定する。

なお、判定部２４は、車両以外にも、歩行者や路面上の落下物等の被写体を画像認識した場合にも、被写体が自車両の走行に支障をきたすか否かを判定する。そして、判定部２４は、画像認識したものが自車両の走行に支障をきたすと判定した場合には、画像認識したものの位置を示す情報を車両制御装置４４へ出力する。

車両制御装置４４は、判定部２４から画像認識されたものの位置を示す情報が入力される場合に、車両の速度制御、操舵制御、および制動制御を行うことによって自車両に危険を回避させる。

次に、図５を参照し、実施形態に係る画像認識装置１の制御部２が実行する処理の一例について説明する。図５は、実施形態に係る画像認識装置１の制御部２が実行する処理の一例を示すフローチャートである。

制御部２は、撮像装置４１によって車両の周囲の画像が撮像される毎に、図５に示す処理を実行する。具体的には、制御部２は、撮像装置４１によって車両の周囲の画像が撮像されると、まず、撮像装置４１から画像を取得する（ステップＳ１０１）。

続いて、制御部２は、撮像装置４１と認識対象物との相対速度を判定する（ステップＳ１０２）。その後、制御部２は、判別した相対速度を含む速度範囲の機械学習モデルを選択する（ステップＳ１０３）。

そして、制御部２は、選択した機械学習モデルへ画像を入力し（ステップＳ１０４）、機械学習モデルの出力に基づいて被写体を判定する（ステップＳ１０５）。続いて、制御部２は、車両制御装置４４への通知が必要か否かを判定する（ステップＳ１０６）。

このとき、制御部２は、被写体の車両に対する位置および被写体の種類等に基づいて、被写体が自車両の走行に支障をきたすと判定する場合には通知が必要と判定し、支障をきたさないと判定する場合には、通知が必要でないと判定する。

そして、制御部２は、通知が必要でないと判定した場合（ステップＳ１０６，Ｎｏ）、処理を終了する。また、制御部２は、通知が必要と判定した場合には（ステップＳ１０６，Ｙｅｓ）、被写体の車両に対する位置を車両制御装置４４へ通知して（ステップＳ１０７）、処理を終了する。

なお、上述した実施形態では、車両に搭載される撮像装置から取得する車両の周囲が撮像された画像に写る被写体を画像認識する画像認識装置および画像認識方法を例に挙げて説明したが、これは一例である。

例えば、上述した画像認識装置１が備える制御部２および記憶部３の機能を複数の車両と無線通信可能なセンタに設けられる情報提供装置に持たせてもよい。かかる場合、情報提供装置は、複数の車両から相対速度別の画像を取得して機械学習し、第１～第ｎ速度範囲用機械学習モデル１－１～１―ｎを作成して記憶する。

尚、第１～第ｎ速度範囲用機械学習モデル１－１～１―ｎには、例えばデータヘッダ部に付加する等の方法により各速度範囲用機械学習モデルの識別データが付加され、画像認識処理装置等による画像認識処理における各速度範囲用機械学習モデルの選択処理に用いられることになる。

情報提供装置は、各車両から撮像された判定用の画像を受信する場合に、上述した画像認識装置１と同様の手法によって、第１～第ｎ速度範囲用機械学習モデル１－１～１―ｎから選択した機械学習モデルを採用して認識対象を判定する。そして、情報提供装置は、認識対象の判定結果を画像の送信元となる車両へ返信する。

また、情報提供装置は、上述した画像認識装置１が備える学習部２１および記憶部３の機能を備える構成であってもよい。かかる構成の場合、情報提供装置は、複数の車両から相対速度別の画像を取得して機械学習し、第１～第ｎ速度範囲用機械学習モデル１－１～１－ｎを作成して記憶する。

そして、情報提供装置は、車両に設けられて画像内の被写体を判定する画像認識装置から指定された速度情報に応じた速度範囲の機械学習モデルを第１～第ｎ速度範囲用機械学習モデル１－１～１－ｎから選択して車両の画像認識装置へ提供する。かかる情報提供装置によれば、車両側の処理負荷を大幅に低減することができる。

また、実施形態に係る画像認識装置および画像認識方法は、例えば、ベルトコンベアによって搬送される製品の画像を撮像するカメラや防犯カメラ等、任意の撮像装置によって任意の場所で撮像される画像に写る被写体の画像認識に適用することができる。

また、上述した実施形態では、画像認識装置１が学習部２１を備える場合について説明したが、実施形態に係る画像認識装置は、必ずしも学習部２１を備えていなくてもよい。画像認識装置は、他の機械学習装置によって生成された第１速度範囲用機械学習モデル１－１、第２速度範囲用機械学習モデル１－２・・・第ｎ速度範囲用機械学習モデル１－ｎを記憶しておくことで上述した画像認識処理を行うことができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像認識装置
２ 制御部
２１ 学習部
２２ 取得部
２３ 判別部
２４ 判定部
３ 記憶部
１－１ 第１速度範囲用機械学習モデル
１－２ 第２速度範囲用機械学習モデル
１－３ 第３速度範囲用機械学習モデル
４１ 撮像装置
４２ レーダ
４３ 舵角センサ
４４ 車両制御装置
１１０ 相対速度別画像集

Claims (11)

1. 撮像装置から認識対象物が撮像された画像を取得する取得部と、
   前記撮像装置および前記認識対象物間の相対速度を判別する判別部と、
   前記認識対象物が撮像された画像から当該画像内の被写体が前記認識対象物であるという認識結果を導出する機械学習モデルを相対速度範囲毎に記憶する記憶部と、
   複数の前記機械学習モデルから前記判別部によって判別される前記相対速度に応じた前記相対速度範囲の前記機械学習モデルを採用して前記画像内の被写体を判定する判定部と
   を備えることを特徴とする画像認識装置。
2. 前記各機械学習モデルは、
   前記各相対速度範囲の相対速度状態にある認識対象物の画像認識に特化された機械学習モデルであることを特徴とする請求項１に記載の画像認識装置。
3. 前記判別部は、
   前記画像中における前記被写体の移動速度に基づき前記相対速度を判別する
   ことを特徴とする請求項１または請求項２に記載の画像認識装置。
4. 前記判別部は、
   前記撮像装置によって連続して撮像される複数フレームの画像間における前記被写体の位置の移動速度に基づき前記相対速度を判別する
   ことを特徴とする請求項３に記載の画像認識装置。
5. 前記判別部は、
   前記撮像装置による撮像方向の変化速度に基づいて前記相対速度を補正する
   ことを特徴とする請求項１または請求項２に記載の画像認識装置。
6. 前記相対速度範囲毎に入力される各相対速度範囲内の前記相対速度で移動する種類が既知の前記認識対象物が撮像された複数の画像に基づいて前記相対速度範囲毎の前記機械学習モデルを生成する学習部
   をさらに備えることを特徴とする請求項１～５のいずれか一つに記載の画像認識装置。
7. 撮像装置から認識対象物が撮像された画像を取得する取得工程と、
   前記撮像装置および前記認識対象物間の相対速度を判別する判別工程と、
   前記認識対象物が撮像された画像から当該画像内の被写体が前記認識対象物であるという認識結果を導出する機械学習モデルを相対速度範囲毎に記憶する記憶工程と、
   複数の前記機械学習モデルから前記判別工程によって判別される前記相対速度に応じた前記相対速度範囲の前記機械学習モデルを採用して前記画像内の被写体を判定する判定工程と
   を含むことを特徴とする画像認識方法。
8. 撮像装置によって認識対象物が撮像された画像から当該画像内の被写体が前記認識対象物であるという認識結果を導出する機械学習モデルを相対速度範囲毎に記憶する記憶部と、
   画像内の被写体を判定する画像認識装置から指定された速度情報に応じた前記相対速度範囲の前記機械学習モデルを複数の前記機械学習モデルから選択して前記画像認識装置へ提供する提供部と
   を備えることを特徴とする機械学習モデル提供装置。
9. 撮像装置によって認識対象物が撮像された画像から当該画像内の被写体が前記認識対象物であるという認識結果を導出する機械学習モデルを相対速度範囲毎に記憶する記憶工程と、
   画像内の被写体を判定する画像認識装置から指定された速度情報に応じた前記相対速度範囲の前記機械学習モデルを複数の前記機械学習モデルから選択して前記画像認識装置へ提供する提供工程と
   を含むことを特徴とする機械学習モデル提供方法。
10. 画像認識装置が画像認識処理に用いる機械学習モデルの生成方法であって、
    複数の相対速度範囲における各相対速度範囲の速度で移動する移動体の画像の学習により各相対速度範囲用機械学習モデルを生成するモデル生成工程と、
    前記各相対速度範囲用機械学習モデルを選択使用するための識別データを付加する識別データ付加工程と、
    を含むことを特徴とする機械学習モデル生成方法。
11. 画像認識装置が画像認識処理に用いる機械学習モデル装置であって、
    複数の相対速度範囲における各相対速度範囲の速度で移動する移動体の画像の学習により生成された複数の各相対速度範囲用機械学習モデル部と、
    前記各相対速度範囲用機械学習モデル部を選択使用するために前記各相対速度範囲用機械学習モデル部に付加された識別データ部と、
    を含むことを特徴とする機械学習モデル装置。

Images