JP2020042715A - 移動情報推定装置、異常検出装置、および、移動情報推定方法 - Google Patents
移動情報推定装置、異常検出装置、および、移動情報推定方法 Download PDFInfo
- Publication number
- JP2020042715A JP2020042715A JP2018171539A JP2018171539A JP2020042715A JP 2020042715 A JP2020042715 A JP 2020042715A JP 2018171539 A JP2018171539 A JP 2018171539A JP 2018171539 A JP2018171539 A JP 2018171539A JP 2020042715 A JP2020042715 A JP 2020042715A
- Authority
- JP
- Japan
- Prior art keywords
- movement information
- value
- unit
- camera
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】移動体に搭載されたカメラからの情報に基づいて推定される移動情報の信頼性を向上することができる技術を提供する。【解決手段】移動情報推定装置は、移動体に搭載されたカメラからの情報に基づき前記移動体の移動情報の推定値を求める。移動情報推定装置は、前記カメラより入力されたフレーム画像から特徴点を抽出する抽出部と、現在の前記フレーム画像と前回の前記フレーム画像との間における前記特徴点の動きを示すオプティカルフローを算出する算出部と、前記オプティカルフローに基づき前記推定値を求める推定部と、を備える。前記推定部は、前記抽出部によって抽出された前記特徴点の数と、前記特徴点の固有性を示す特徴量とに基づき前記推定値の算出方式を切り替える。【選択図】図1
Description
本発明は、移動情報推定装置、異常検出装置、および、移動情報推定方法に関する。
従来、車両等の移動体には、駐車支援等に利用されるカメラが搭載されている。例えば車両に搭載される車載カメラは、車両を工場から出荷する前に、車両に固定した状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付け状態からずれを起こすことがある。車載カメラの取付け位置や角度がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの取付けのずれを検出することは重要である。
特許文献1に開示される車両用走行支援装置は、後方カメラで取得した画像を画像処理部で画像処理することで車両状態量によらずに車両の移動量を算出する第1の移動量算出手段と、車輪速センサと、操舵角センサの出力を基にして車両状態量に基づいて車両の移動量を算出する第2の移動量算出手段とを備える。例えば、第1の移動量算出手段は、後方カメラで取得した画像データからエッジ抽出等の手法により特徴点を抽出し、逆射影変換によって設定した特徴点の地表面上における位置を算出し、その位置の移動量を基にして車両の移動量を算出する。特許文献1には、求めた車両の移動量を比較して、偏差が大きい場合には、第1の移動量算出手段と第2の移動量算出手段との算出結果とのうちのいずれか一方に問題が生じている可能性があることが開示されている。
特徴点は、照明環境や車両の移動によって見え方が変化する可能性がある。特徴点の見え方が変化した場合に、フレーム画像間の特徴点の追跡が適切に行えないことが起り得る。すなわち、特許文献1の構成においては、第1の移動量算出手段を用いて算出される車両の移動量が不適切になる可能性がある。第1の移動量算出手段で求めた移動量が不適切になると、第2の移動量算出手段で求めた移動量との比較結果が不正確となり、誤った判断を行う可能性が生じる。
本発明は、移動体に搭載されたカメラからの情報に基づいて推定される移動情報の信頼性を向上することができる技術を提供することを目的とする。また、本発明は、移動体に搭載されたカメラの異常検出の信頼性を向上することができる技術を提供することを他の目的とする。
上記目的を達成するために本発明の移動情報推定装置は、移動体に搭載されたカメラからの情報に基づき前記移動体の移動情報の推定値を求める移動情報推定装置であって、前記カメラより入力されたフレーム画像から特徴点を抽出する抽出部と、現在の前記フレーム画像と前回の前記フレーム画像との間における前記特徴点の動きを示すオプティカルフローを算出する算出部と、前記オプティカルフローに基づき前記推定値を求める推定部と、を備え、前記推定部は、前記抽出部によって抽出された前記特徴点の数と、前記特徴点の固有性を示す特徴量とに基づき前記推定値の算出方式を切り替える構成(第1の構成)になっている。
上記第1の構成の移動情報推定装置において、前記推定部は、前記特徴点の数と、前記特徴量の最大値と、前記特徴量の平均値とに基づき前記算出方式を切り替える構成(第2の構成)であることが好ましい。
上記第1又は第2の構成の移動情報推定装置において、前記算出方式には、前記抽出部で抽出された複数の前記特徴点のそれぞれに対して前記オプティカルフローを求め、ヒストグラムを用いた統計処理により前記推定値を求める第1算出方式と、前記特徴量が所定の閾値以上の前記特徴点から算出される前記オプティカルフローに基づき前記推定値の算出を行う第2算出方式と、が含まれる構成(第3の構成)であることが好ましい。
上記第1から第3のいずれかの構成の移動情報推定装置において、前記推定部は、前記推定値が使用できるか否かの判断を、前記特徴点の数および前記特徴量に基づき行うことがある構成(第4の構成)であることが好ましい。
また、上記第4の構成の移動情報推定装置において、前記推定部は、前記推定値が使用できないと判断した時は、前記推定値を求めない構成(第5の構成)であることが好ましい。
上記目的を達成するために本発明の異常検出装置は、上記移動情報推定装置と、前記推定値に基づき前記カメラの異常の有無を判定する判定部と、を備える構成(第6の構成)になっている。
上記目的を達成するために本発明の移動情報推定方法は、装置を用いて、移動体に搭載されたカメラからの情報に基づき前記移動体の移動情報の推定値を求める移動情報推定方法であって、前記カメラにより入力されたフレーム画像から特徴点を抽出する抽出工程と、現在の前記フレーム画像と前回の前記フレーム画像との間における前記特徴点の動きを示すオプティカルフローを算出する算出工程と、前記オプティカルフローに基づき前記推定値を求める推定工程と、を備え、前記推定工程においては、前記抽出工程によって抽出された前記特徴点の数と、前記特徴点の固有性を示す特徴量とに基づき前記推定値の算出方式が切り替えられる構成(第7の構成)になっている。
本発明によると、移動体に搭載されたカメラからの情報に基づいて推定される移動情報の信頼性を向上することができる。また、本発明によると、移動体に搭載されたカメラの異常検出の信頼性を向上することができる。
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、本発明が適用される移動体が車両である場合を例にとり説明するが、本発明が適用される移動体は車両に限定される趣旨ではない。本発明は、例えばロボット等に適用されてもよい。車両には、例えば自動車、電車、無人搬送車等の車輪を有する乗り物が広く含まれる。
また以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。なお、前後左右の方向は、単に説明のために用いられる名称であって、実際の位置関係及び方向を限定する趣旨ではない。
<1.移動情報推定システム>
図1は、本発明の実施形態に係る移動情報推定システムSYS1の構成を示すブロック図である。本実施形態においては、移動情報は車両の移動距離である。ただし、本発明の移動情報は、車両の移動距離に限らず、例えば車両の移動速度であってもよい。図1に示すように、移動情報推定システムSYS1は、移動情報推定装置1と撮影部2とを備える。
図1は、本発明の実施形態に係る移動情報推定システムSYS1の構成を示すブロック図である。本実施形態においては、移動情報は車両の移動距離である。ただし、本発明の移動情報は、車両の移動距離に限らず、例えば車両の移動速度であってもよい。図1に示すように、移動情報推定システムSYS1は、移動情報推定装置1と撮影部2とを備える。
撮影部2は、車両周辺の状況を監視する目的で車両に設けられる。撮影部2はカメラ21を備える。すなわち、カメラ21は車載カメラである。カメラ21は例えば魚眼レンズを用いて構成される。カメラ21は、移動情報推定装置1に有線又は無線により接続され、撮影画像を移動情報推定装置1に出力する。
なお、本実施形態では、カメラ21は車両の前方を撮影するフロントカメラである。ただし、カメラ21は、例えば車両の後方、左方、又は、右方を撮影するカメラであってよい。また、撮影部2は、カメラ21を複数備えてよく、例えば、フロントカメラに加えて、バックカメラ、左サイドカメラ、右サイドカメラを備えてよい。バックカメラは車両の後方を撮影する。左サイドカメラは車両の左方を撮影する。右サイドカメラは車両の右方を撮影する。
移動情報推定装置1は、車両に搭載されたカメラ21からの情報に基づき当該カメラ21を搭載する車両の移動情報の推定値を求める。本実施形態では、移動情報推定装置1は、カメラ21を搭載する各車両に備えられる。換言すると、移動情報推定装置1は、移動情報の推定値を算出する対象となる車両自身に搭載される。以下、移動情報推定装置1を搭載する車両のことを自車両と呼ぶことがある。
なお、移動情報推定装置1は、移動情報の推定値を算出する対象となる車両以外の場所に配置されてもよい。例えば、移動情報推定装置1は、カメラ21を有する車両と通信可能なデータセンタ等に配置されてもよい。
<2.移動情報推定装置>
図1に示すように、移動情報推定装置1は、画像取得部11と、制御部12と、記憶部13とを備える。
図1に示すように、移動情報推定装置1は、画像取得部11と、制御部12と、記憶部13とを備える。
画像取得部11は、自車両のカメラ21からアナログ又はデジタルの撮影画像(フレーム画像)を所定周期(例えば1/60s等)で時間的に連続して取得する。そして、取得したフレーム画像がアナログの場合には、そのアナログのフレーム画像をデジタルのフレーム画像に変換(A/D変換)する。画像取得部11は、取得したフレーム画像に対して所定の画像処理を行い、処理後のフレーム画像を制御部12に出力する。
制御部12は、例えばマイクロコンピュータであり、移動情報推定装置1の全体を統括的に制御する。制御部12は、CPU、RAMおよびROM等を備える。記憶部13は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部13は、ファームウェアとしてのプログラムや各種のデータを記憶する。
詳細には、制御部12は、抽出部121と、算出部122と、推定部123とを備える。換言すると、移動情報推定装置1は、抽出部121と、算出部122と、推定部123とを備える。制御部12が備えるこれら各部121〜123の機能は、例えば記憶部13に記憶されるプログラムに従ってCPUが演算処理を行うことによって実現される。
なお、制御部12が備える各部121〜123の少なくともいずれか1つは、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成されてもよい。また、制御部12が備える各部121〜123は、概念的な構成要素である。1つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてよい。また、画像取得部11は、制御部12のCPUがプログラムに従って演算処理を行うことによって実現される構成でもよい。
抽出部121は、カメラ21より入力されたフレーム画像から特徴点を抽出する。抽出部121は、取得したフレーム画像ごとに特徴点の抽出処理を行う。抽出部121は、フレーム画像の所定領域(ROI:Region of Interest)から特徴点を抽出する。特徴点は、フレーム画像中のエッジの交点など、フレーム画像において際立って検出できる点である。特徴点は、例えば白線等で描かれる路面標示のコーナー、路面上のひび、路面上のしみ、路面上の砂利等から抽出される。特徴点は、例えば、ハリスオペレータ等の公知の手法を用いて抽出することができる。
本実施形態では、抽出部121は、フレーム画像を構成する画素それぞれについて特徴量を算出し、特徴量が所定の閾値を超える画素を特徴点として抽出する。特徴量は、特徴点の固有性、すなわち画素が他の画素と比べて異なった特徴を有していることを表す指標である。例えばコーナーらしさを示すコーナー度などがある。本実施形態では、特徴量の算出には、KLT法(Kanade-Lucus-Tomasi tracker)が用いられる。
特徴量の算出にあたって、フレーム画像上にxy座標系が規定され、各画素について、ソベルフィルタを用いて、以下の3つのパラメータが求められる。
なお、G11は、x方向の微分結果の2乗値である。G12は、x方向の微分結果とy方向の微分結果の積である。G22は、y方向の微分結果の2乗値である。
算出部122は、現在のフレーム画像と前回のフレーム画像との間における特徴点の動きを示すオプティカルフローを算出する。前回フレーム画像は、現在フレーム画像より1周期前に取得したフレーム画像である。算出部122は、前回フレーム画像が存在しない場合にはオプティカルフローを算出しない。算出部122は、取得したフレーム画像ごとにオプティカルフローの算出処理を行う。
算出部122は、フレーム画像により求めたオプティカルフローを座標変換して路面上のフロー(動きベクトル)に変換する。本明細書では、座標変換によって得られた路面上のフローもオプティカルフローに含む。以下、フレーム画像上の特徴点の動きを示す動きベクトルを第1オプティカルフロー、路面上の特徴点の動きを示す動きベクトルを第2オプティカルフローと表現することがある。また、第1オプティカルフローと第2オプティカルフローとを特に区別することなく、単にオプティカルフローと表現することもある。
なお、算出部122は、フレーム画像から抽出された各特徴点について、先に路面上の座標に変換し、第1オプティカルフローを求めることなく第2オプティカルフローを求めてもよい。
推定部123は、オプティカルフローに基づき推定値を求める。本実施形態において、推定値は自車両の移動距離の推定値である。推定部123は、抽出部121によって抽出された特徴点の数と、特徴点の固有性を示す特徴量とに基づき推定値の算出方式を切り替える。本実施形態では、上述のように、特徴量はKLT法によって求められる。推定部123は、特徴点の数が複数である場合に、複数の特徴点の特徴量に基づいて推定値の算出方式を切り替える。推定部123によって切り替えられる算出方式には、第1算出方式と第2算出方式とが含まれる。算出方式の詳細については後述する。
本実施形態では、フレーム画像により抽出した特徴点の傾向に基づいて移動情報の推定値を算出する算出方式を切り替える。これによれば、特徴点の抽出傾向に適した方式で推定値を求めることができ、推定値の推定精度を向上することができる。すなわち、本実施形態によれば、移動情報の推定値の信頼度を向上することができる。
図2は、移動情報推定装置1による移動情報の推定処理の一例を示すフローチャートである。移動情報の推定処理は、例えば、自車両のカメラ21の異常を検出したり、駐車支援を行ったりする目的で実行される。まず、画像取得部11によって、自車両のカメラ21からフレーム画像が取得される(ステップS1)。フレーム画像が取得されると、抽出部121によって特徴点の抽出処理が行われる(ステップS2)。
図3は、特徴点FPを抽出する手法を説明するための図である。図3は、カメラ21(フロントカメラ)で撮影されたフレーム画像Pを模式的に示している。本実施形態では、特徴点FPは画像の路面RS部分から抽出される。図3においては、特徴点FPの数は2つとされているが、この数は便宜的なものであり、実際の数を示すものではない。特徴点FPは、例えばアスファルト路面のように表面に凹凸が多い路面RSでは多く抽出される。一方、コンクリート路面のような平滑な路面RSでは特徴点FPの数は少なくなる。路面RSに白線等で描かれた路面表示が存在する場合には、路面標示のコーナーから特徴量の大きな特徴点FPが抽出される。
図3に示すように、抽出部121は、フレーム画像Pの所定の抽出領域ER内から特徴点FPを抽出する。所定の抽出領域ERは、例えば、フレーム画像Pの中心部Cを含む広範囲に設定される。これにより、特徴点FPの発生箇所が均一でなく偏った範囲に偏在する場合でも、特徴点FPを抽出することができる。なお、所定の抽出領域ERは、例えば、車両のボディBOが映る領域は避けて設定される。
特徴点FPが抽出されると、算出部122は、抽出した特徴点FPごとにオプティカルフローを算出する(ステップS3)。詳細には、算出部122は第1オプティカルフローOF1を算出する。図4は、第1オプティカルフローOF1を求める手法を説明するための図である。図4は、図3と同様に便宜的に示された模式図である。図4は、図3に示すフレーム画像(前回フレーム画像)Pの撮影後、所定周期が経過した後にカメラ21で撮影されたフレーム画像(現在フレーム画像)P´である。図3に示すフレーム画像Pの撮影後、所定時間が経過するまでの間に、自車両は後退している。図4に示す破線の丸印は、図3に示す前回フレーム画像Pにおいて抽出された特徴点FPの位置を示す。
図4に示すように、自車両が後退すると、自車両の前方に存在する特徴点FPは自車両から離れる。すなわち、特徴点FPは、現在フレーム画像P´と前回フレーム画像Pとで異なる位置に現れる。算出部122は、現在フレーム画像P´の特徴点FPと前回フレーム画像Pの特徴点FPとを、その近傍の画素値も考慮に入れて対応付け、対応付けた特徴点FPのそれぞれの位置に基づいて第1オプティカルフローOF1を求める。
各特徴点FPの第1オプティカルフローOF1が取得されると、算出部122は、カメラ座標系で得られた各第1オプティカルフローOF1を、ワールド座標系に変換する座標変換を行う(ステップS4)。この座標変換によって第2オプティカルフローが得られる。
図5は、座標変換処理を説明するための図である。図5に示すように、算出部122は、カメラ21の位置(視点VP1)から見た第1オプティカルフローOF1を、自車両が存在する路面RSの上方の視点VP2から見た第2オプティカルフローOF2に変換する。算出部122は、フレーム画像における各第1オプティカルフローOF1を、路面に相当する仮想平面RS_Vに投影することで、ワールド座標系の第2オプティカルフローOF2に変換する。第2オプティカルフローOF2は、路面RS上の動きベクトルであり、その大きさは路面RS上の移動量(移動距離)を示す。なお、本実施形態では、カメラ21が魚眼レンズであるために座標変換には歪補正も含まれる。
第2オプティカルフローOF2が得られると、推定部123は、移動情報の推定値を求めるための算出方式の選択を行う(ステップS5)。図6は、推定部123によって行われる算出方式の選択処理の一例を示すフローチャートである。なお、図6に示す処理は、図2のステップS5の詳細処理例である。
算出方式の選択処理に際して、まず、推定部123は、特徴点FPの数が所定の第1点数閾値以上であるか否かを判断する(ステップS11)。特徴点FPの数が多数得られた場合、多数のオプティカルフローを用いて統計処理を行うことができ、自車両の移動距離の推定値を精度良く求めることが可能になる。統計処理の利用により精度良く推定値を算出することができる特徴点FPの数を例えば実験やシミュレーション等によって求め、求めた数に基づいて第1点数閾値が決定される。本実施形態では、第1点数閾値は、統計処理の利用により精度良く推定値を算出することができる特徴点FPの数の下限値より大きな値とされる。
特徴点FPの数が第1点数閾値以上である場合(ステップS11でYes)、推定部123は第1算出方式で推定値の算出を行うことに決定する(ステップS12)。第1算出方式は、抽出部121で抽出された複数の特徴点のそれぞれに対してオプティカルフローを求め、ヒストグラムを用いた統計処理により推定値を求める方式である。多数のオプティカルフローを用いて統計処理を行うことができ、自車両の移動距離の推定値を精度良く求めることができる。第1算出方式の詳細については後述する。
一方、特徴点FPの数が第1点数閾値より少ない場合(ステップS11でNo)、推定部123は、特徴点FPの数が所定の第2点数閾値以上であるか否かを判断する(ステップS13)。本実施形態では、第2点数閾値は、統計処理の利用により精度良く推定値を算出することができる特徴点FPの数の下限値近傍の値である。第2点数閾値は、例えば実験やシミュレーション等によって求められる。
特徴点FPの数が第2点数閾値以上である場合(ステップS13でYes)、推定部123は、抽出された特徴点FPの特徴量の最大値が所定の最大値閾値以上であるか否かを判断する(ステップS14)。この処理の時点では、抽出された特徴点FPの数は複数である。複数の特徴点FPの各特徴量のうち、最も大きな特徴量が、ここでいう特徴量の最大値になる。例えば、白線のコーナーは特徴量が非常に大きく、特徴点FPの追跡を精度良く行うことができる。このような特徴量が非常に大きな特徴点を用いると、精度良くオプティカルフローを求めることができ、移動情報の推定値の精度を向上することができる。最大値閾値は、例えば白線のコーナーのような非常に大きな特徴量を有する特徴点が存在するか否かを判別できる値に設定される。最大値閾値は、例えば実験やシミュレーション等によって求められる。
特徴量の最大値が最大値閾値以上である場合(ステップS14でYes)、推定部123は、抽出された特徴点FPの特徴量の平均値が所定の平均値閾値以上であるか否かを判断する(ステップS15)。この処理の時点では、抽出された特徴点FPの数は複数であり、複数の特徴点FPの特徴量の平均値が求められる。特徴量が最大値閾値以上の特徴点FPが存在する場合でも、当該特徴点FPが本当に信頼できる特徴点FPであるとは必ずしも断定することはできない。このため、本実施形態では、特徴量の平均値が所定の平均値閾値以上であるか否かを確認し、当該確認結果に応じて最大値閾値以上の特徴量を有する特徴点FPの信頼性を判断する構成としている。平均値閾値は、例えば実験やシミュレーション等によって求められる。
特徴量の平均値が平均値閾値以上である場合(ステップS15でYes)、推定部123は第2算出方式で推定値の算出を行うことに決定する(ステップS16)。第2算出方式は、特徴量が所定の閾値以上の特徴点FPから算出されるオプティカルフローに基づき推定値の算出処理を行う方式である。ここで言う所定の閾値は、本実施形態においは最大値閾値である。ただし、所定の閾値は最大値閾値と異なってもよい。特徴量の平均値が平均値閾値以上である場合、特徴量の大きな特徴点FPの数が多く、特徴量が最大値閾値以上の特徴点FPは、例えば白線のコーナー等である可能性が高い。このために、大きな特徴量を示す特徴点FPから求められるオプティカルフローに絞って推定値を求めることにより、移動情報の推定値の信頼度を向上することができる。
一方、特徴量の最大値が最大値閾値より小さい場合(ステップS14でNo)、および、特徴量の平均値が平均値閾値より小さい場合(ステップS15でNo)、推定部123は第1算出方式で推定値の算出を行うことに決定する(ステップS17)。特徴量の最大値が最大値閾値より小さい場合には、白線のコーナーのような信頼性の高い特徴点FPが存在せず、統計処理を用いて推定値を求めた方が信頼性の高い推定値を得ることができる判断される。このために、第1算出方式が選択される。また、特徴量の平均値が平均値閾値より小さい場合、抽出された特徴点FPの多くは路面の凹凸等に由来する特徴点であると推定され、特徴量が最大値閾値以上の特徴点FPは、必ずしも信頼できる特徴点でない可能性がある。このために、統計処理を用いて推定値を求めた方が信頼性の高い推定値を得ることができる判断され、第1算出方式が選択される。
また、特徴点FPの数が第2点数閾値より少ない場合(ステップS13でNo)、推定部123は、抽出された特徴点FPの特徴量の最大値が所定の最大値閾値以上であるか否かを判断する(ステップS18)。特徴点FPの数が単数である場合には、当該特徴点FPの特徴量が最大値となる。特徴点FPの数が複数である場合には、複数の特徴点FPの各特徴量のうち、最も大きな特徴量が特徴量の最大値になる。
特徴量の最大値が最大値閾値以上である場合(ステップS18でYes)、推定部123は、抽出された特徴点FPの特徴量の平均値が所定の平均値閾値以上であるか否かを判断する(ステップS19)。特徴点FPの数が単数である場合には、当該特徴点FPの特徴量が特徴量の平均値になる。特徴点FPの数が複数である場合には、複数の特徴点FPの特徴量の平均値が求められる。
特徴量の平均値が平均値閾値以上である場合(ステップS19でYes)、推定部123は第2算出方式で推定値の算出を行うことに決定する(ステップS20)。抽出された特徴点FPの中に、白線のコーナーのような信頼性の高い特徴点FPが存在し、当該特徴点FPのオプティカルフローを用いて精度良く推定値を求めることができると判断されるためである。
一方、特徴量の最大値が最大値閾値より小さい場合(ステップS18でNo)、および、特徴量の平均値が平均値閾値より小さい場合(ステップS19でNo)、推定部123は、推定値を求めないことに決定する(ステップS21)。抽出された特徴点FPの数が少なく、更に白線のコーナーのような信頼できる特徴点FPが存在しないために、信頼できる推定値を求めることができないと判断されるためである。
以上のように、本実施形態では、推定部123は、特徴点FPの数と、特徴量の最大値と、特徴量の平均値とに基づき移動情報の推定値を求める算出方式を切り替える。これによれば、移動情報の推定値の推定精度が高くなる算出方式を選択して推定値を求めることができる。すなわち、移動情報の推定値の信頼度を向上することができる。
なお、図6に示す算出方式の選択処理は例示に過ぎない。例えば、推定部123は、特徴点FPの数と、特徴量の最大値とのみに基づいて推定値を求める算出方式を切り替える構成であってもよい。すなわち、図6において、ステップS15およびステップS19は省略される構成であってよい。また、例えば、推定部123は、特徴量の最大値が所定の最大値閾値以上となる特徴点FPが存在する場合には、特徴点FPの数によらず、第2算出方式で推定値を求める構成であってもよい。
また、以上に示したように本実施形態では、推定部123は、特徴点の数および特徴量に基づき、推定値は使用できないと判断することがある。詳細には、推定部123は、特徴点の数および特徴量に基づき信頼性の低い推定値しか得られないと判断される場合に、推定値は使用できないと判断する。これによれば、移動情報推定装置1は、信頼性の高い推定値のみを示すことができ、移動情報推定装置1から情報を受け取る装置が誤った判断を行うことを抑制できる。なお、推定値は使用できないと判断された場合には、当該フレームの特徴点FPに関する情報は破棄されることが好ましい。またそのような場合には、推定値を求める処理自体を行わないことも処理コストの点で好ましい。
図2に戻って、算出方式の選択が行われると、推定部123は推定値を算出する(ステップS6)。第1算出方式が選択された場合、推定部123は、複数の第2オプティカルフローOF2に基づいてヒストグラムを生成する。本実施形態では、推定部123は、各第2オプティカルフローOF2を前後方向と左右方向との2成分に分けて、第1ヒストグラムと第2ヒストグラムとを生成する。推定部123は、第1ヒストグラムと第2ヒストグラムとを用いて推定値を算出する。
図7は、推定部123によって生成された第1ヒストグラムHG1の一例を示す図である。図8は、推定部123によって生成された第2ヒストグラムHG2の一例を示す図である。なお、推定部123は、ヒストグラムHG1、HG2の生成の前後において、先に求められた全てのオプティカルフローの中から所定の条件に該当するオプティカルフローを除去対象とする除去処理を行ってもよい。この場合、除去処理によって除去対象となったオプティカルフローが除かれたヒストグラムHG1、HG2を用いて移動情報の推定値が求められる。例えば、自車両の速度、舵角、シフトレバー位置等から想定されない大きさや方向を示すオプティカルフローは除去されてよい。また、例えば、ヒストグラムにおいて、度数が極端に低い階級に属するオプティカルフローは除去されてよい。
図7に示す第1ヒストグラムHG1は、各第2オプティカルフローOF2の前後方向成分に基づいて得られたヒストグラムである。第1ヒストグラムHG1は、第2オプティカルフローOF2の数を度数とし、前後方向への移動距離(第2オプティカルフローOF2の前後方向成分の長さ)を階級とするヒストグラムである。図8に示す第2ヒストグラムHG2は、第2オプティカルフローOF2の左右方向成分に基づいて得られたヒストグラムである。第2ヒストグラムHG2は、第2オプティカルフローOF2の数を度数とし、左右方向への移動距離(第2オプティカルフローOF2の左右方向成分の長さ)を階級とするヒストグラムである。
図7および図8は、自車両が後方に直進した場合に得られたヒストグラムである。第1ヒストグラムHG1は、後方側の特定の移動距離(階級)に偏って度数が多くなる正規分布形状になっている。一方、第2ヒストグラムHG2は、移動距離ゼロの近傍の階級に偏って度数が多くなる正規分布形状になっている。
本実施形態では、推定部123は、第1ヒストグラムHG1の中央値(メジアン)を前後方向の移動距離の推定値とする。推定部123は、第2ヒストグラムHG2の中央値を左右方向の移動距離の推定値とする。ただし、推定部123による推定値の決定方法は、これに限定されない。推定部123は、例えば、各ヒストグラムHG1、HG2の度数が最大となる階級の移動距離(最頻値)を推定値としてもよい。なお、中央値を推定値とする場合には、中央値は、ヒストグラムの異常値をノイズとして除外する処理を行った後に求められることが好ましい。異常値は、例えば、ヒストグラムの中央から異常に離れた値であり、ヒストグラムの端の方に単独(周囲に度数を有する他の階級が殆ど存在しない)で存在する階級の移動距離が該当する。
一方、第2算出方式が選択された場合、推定部123は、特徴量が最大値閾値以上の特徴点FPに絞ってオプティカルフローに基づく推定値の算出処理を行う。詳細には、特徴量が最大値閾値以上の特徴点FPが単数である場合には、当該特徴点FPから求められる第2オプティカルフローの前後方向成分の長さを前後方向の移動距離の推定値とする。また、第2オプティカルフローの左右方向成分の長さを左右方向の移動距離の推定値とする。特徴量が最大値閾値以上の特徴点FPが複数である場合には、例えば、当該複数の特徴点FPから求められる各第2オプティカルフローの前後方向成分の長さの平均値を前後方向の移動距離の推定値とする。また、各第2オプティカルフローの左右方向成分の長さの平均値を左右方向の移動距離の推定値とする。ただし、特徴量が最大値閾値以上の特徴点FPが複数である場合には、特徴量が最も大きな特徴点FPから求められる第2オプティカルフローのみから推定値を求めてもよい。
なお、本実施形態では、推定値の算出方式の選択がオプティカルフローを求めた後に行われる構成としたが、これは例示にすぎない。例えば、推定値の算出方式の選択は、オプティカルフローの算出を行う前に行われてもよい。
また、本実施形態では、前後方向および左右方向の移動距離の推定値を求める構成としたが、これは例示にすぎない。例えば、前後方向と左右方向とのうち、いずれか一方の移動距離の推定値を求める構成等としてもよい。
<3.異常検出システム>
図9は、本発明の実施形態に係る異常検出システムSYS2の構成を示すブロック図である。本実施形態において、異常は、車載カメラの取付けのずれが生じた状態を指す。すなわち、異常検出システムSYS2は、車載カメラの取付けのずれ(以下、「カメラずれ」と表現する)を検出するシステムである。詳細には、異常検出システムSYS2は、例えば、工場出荷時における車両へのカメラの取付け状態等の基準となる取付け状態からのカメラずれを検出するシステムである。カメラずれには、軸ずれや、軸周りの回転によるずれ等が広く含まれる。軸ずれには、取付け位置のずれや取付け角度のずれ等が含まれる。
図9は、本発明の実施形態に係る異常検出システムSYS2の構成を示すブロック図である。本実施形態において、異常は、車載カメラの取付けのずれが生じた状態を指す。すなわち、異常検出システムSYS2は、車載カメラの取付けのずれ(以下、「カメラずれ」と表現する)を検出するシステムである。詳細には、異常検出システムSYS2は、例えば、工場出荷時における車両へのカメラの取付け状態等の基準となる取付け状態からのカメラずれを検出するシステムである。カメラずれには、軸ずれや、軸周りの回転によるずれ等が広く含まれる。軸ずれには、取付け位置のずれや取付け角度のずれ等が含まれる。
図9に示すように、異常検出システムSYS2は、異常検出装置10と、撮影部2Aと、センサ部3とを備える。撮影部2Aは、上述した移動情報推定システムSYS1の撮影部2と同様の構成であり、カメラ21を含む。撮影部2Aの説明は、移動情報推定システムSYS1の場合と同様であるために省略する。
異常検出装置10は、車両に搭載されたカメラ21の異常を検出する装置である。詳細には、異常検出装置10は、車両に搭載されたカメラ21からの情報に基づき当該カメラ21自身のカメラずれを検出する装置である。異常検出装置10を用いることによってカメラずれを迅速に検出することができ、例えば、カメラずれが生じた状態で運転支援等が行われることを防止できる。
本実施形態では、異常検出装置10は、カメラずれの検出を行う対象となる車両自身に搭載される。ただし、異常検出装置10は、カメラずれの検出を行う対象となる車両以外の場所に配置されてもよい。例えば、異常検出装置10は、カメラ21を有する車両と通信可能なデータセンタ等に配置されてもよい。異常検出装置10は、撮影部2Aが複数のカメラ21を有する場合には、カメラ21毎にカメラずれの検出を行う。異常検出装置10の詳細については後述する。
なお、異常検出装置10は、不図示の表示装置や運転支援装置に処理情報を出力してよい。表示装置は、異常検出装置10から出力される情報に基づいて、適宜、カメラずれに関する警告等を画面に表示してよい。運転支援装置は、異常検出装置10から出力される情報に基づいて、適宜、運転支援機能を停止したり、カメラ21による撮影情報の補正を行って運転支援を行ったりしてよい。運転支援装置は、例えば自動運転を支援する装置、自動駐車を支援する装置、緊急ブレーキを支援する装置等であってよい。
センサ部3は、カメラ21が搭載される車両に関する情報を検出する複数のセンサを有する。本実施形態では、センサ部3は、車速センサ31と舵角センサ32とを含む。車速センサ31は、車両の速度を検出する。舵角センサ32は、車両のステアリングホイール(ハンドル)の回転角を検出する。車速センサ31および舵角センサ32は、通信バス4を介して異常検出装置10に接続される。すなわち、車速センサ31で取得された車両の速度情報は、通信バス4を介して異常検出装置10に入力される。舵角センサ32で取得された車両のステアリングホイールの回転角情報は、通信バス4を介して異常検出装置10に入力される。なお、通信バス4は、例えばCAN(Controller Area Network)バスであってよい。
<4.異常検出装置>
図9に示すように、異常検出装置10は、画像取得部11Aと、制御部12Aと、記憶部13Aとを備える。画像取得部11Aおよび記憶部13Aの構成は、移動情報推定装置1の構成と同様であるために説明を省略する。
図9に示すように、異常検出装置10は、画像取得部11Aと、制御部12Aと、記憶部13Aとを備える。画像取得部11Aおよび記憶部13Aの構成は、移動情報推定装置1の構成と同様であるために説明を省略する。
制御部12Aは、例えばマイクロコンピュータであり、異常検出装置10の全体を統括的に制御する。制御部12Aは、CPU、RAMおよびROM等を備える。制御部12Aは、抽出部121と、算出部122と、推定部123と、取得部124と、判定部125と、を備える。制御部12Aが備えるこれら各部121〜125の機能は、例えば記憶部13Aに記憶されるプログラムに従ってCPUが演算処理を行うことによって実現される。
抽出部121、算出部122および推定部123は、移動情報推定装置1の構成と同様である。すなわち、異常検出装置10は、移動情報推定装置1を含んで構成される。異常検出装置10は、移動情報推定装置1と、取得部124と、判定部125とを備える。
なお、移動情報推定装置1の場合と同様に、制御部12Aが備える各部121〜125の少なくともいずれか1つは、ASICやFPGA等のハードウェアで構成されてもよい。また、制御部12Aが備える各部121〜125は、概念的な構成要素である。1つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてよい。
取得部124は、推定部123で取得した推定値との比較に用いる比較値を取得可能に設けられる。本実施形態では、取得部124は、自車両に設けられるカメラ21以外のセンサから得られる情報に基づいて比較値を取得する。詳細には、取得部124は、センサ部3から得られる情報に基づいて比較値を取得する。
本実施形態では、推定値が移動距離を表す数値であるために、推定値との比較に用いる比較値も移動距離を表す数値である。取得部124は、車速センサ31から得られる車速に所定の時間を乗じて移動距離を算出する。所定の時間は、例えば、推定値と比較値とを一対一で比較する場合には、オプティカルフローを求めるために利用する2つのフレーム画像のサンプリング間隔(上述の所定周期)と同じである。また、推定部123で得られる推定値が前進方向の推定値と、左右方向の推定値との2種類であるので、取得部124は、前進方向の比較値と、左右方向の比較値とを取得する。自車両の進行方向情報は、舵角センサ32からの情報により取得することができる。本実施形態によれば、自車両が通常備えるセンサを用いてカメラずれを検出することができるために、カメラずれを検出するために必要となる設備コストを抑制することができる。
なお、推定値が移動距離の代わりに移動速度を表す数値である場合には、比較値も移動速度を表す数値とすればよい。また、取得部124は、車速センサ31の代わりに、例えばGPS(Global Positioning System)受信機から取得される情報に基づいて比較値を取得してもよい。また、取得部124は、カメラずれの検出対象となるカメラ21以外の少なくとも1つのカメラから得られる情報に基づいて比較値を取得してもよい。この場合、取得部124は、カメラずれの検出対象となるカメラ以外のカメラから得られるオプティカルフローに基づいて比較値を取得してよい。すなわち、比較値の取得方法は、移動情報推定装置1による推定値の取得方法と同様であってよい。
判定部125は、推定部123で求められた推定値に基づきカメラ21の異常の有無を判定する。詳細には、判定部125は、推定部123で求められた推定値と、取得部124で取得された比較値とに基づいてカメラ21の異常の有無を判定する。例えば、判定部125は、フレーム画像ごとに、推定値と比較値とを一対一で比較してカメラずれの有無を判定する。この場合、取得部124により取得された比較値が自車両の移動距離の正解値とされ、当該正解値に対して推定値のずれの大きさを判定する。当該ずれの大きさが所定の閾値を超える場合に、判定部125はカメラずれが発生していると判断する。
なお、判定部125は、フレーム画像ごとではなく、所定数のフレーム画像の推定値が蓄積された時点でカメラずれの有無を判定してもよい。例えば、判定部125は、推定値を所定フレーム数だけ累積して累積推定値を求める。また、判定部125は、取得部124からの情報により、累積推定値を求めるために利用した複数フレームに対応した累積比較値を取得する。判定部125は、累積推定値と累積比較値と比較して、カメラずれの有無を判定する。
本実施形態では、推定部123が特徴点FPの傾向に応じて算出方式を変更して推定値を求めるために、精度良く推定値を求めることができる。このために、推定値と比較値との比較によって得られるカメラずれの判定結果の信頼性を向上することができる。すなわち、本実施形態の異常検出装置10によれば、カメラ21の異常検出の信頼性を向上することができる。
図10は、異常検出装置10によるカメラずれの検出フローの一例を示すフローチャートである。カメラずれの検出処理は、例えば、所定期間毎(1週間毎等)、所定走行距離毎(100km毎等)、エンジン起動毎(イグニッション(IG)オン毎)、エンジン起動が所定回数に達した時点毎等に実行されてよい。
図10に示すように、まず、制御部12Aは、カメラ21を搭載する自車両が直進しているか否かを監視する(ステップS31)。自車両が直進しているか否かは、例えば、舵角センサ32から得られるステアリングホイールの回転角情報に基づいて判断することができる。例えば、ステアリングホイールの回転角がゼロの時に自車両が完全にまっすぐに進むとした場合に、回転角がゼロの場合だけでなく、回転角がプラス方向とマイナス方向の一定範囲内の回転である場合を含めて、自車両が直進していると判断してよい。なお、直進には、前進方向の直進と、後退方向の直進との両方が含まれる。
制御部12Aは、自車両の直進を検出するまで、ステップS31の監視を繰り返す。制御部12Aは、自車両が直進走行しない限り、カメラずれの有無を判定するための処理を進めない。これによれば、自車両の進行方向が曲がっている場合の情報を用いてカメラずれの有無の判定が行われないために、カメラずれの有無を判定するための情報処理が複雑になることを避けられる。
自車両が直進していると判断される場合(ステップS31でYes)、制御部12Aは、自車両の速度が所定速度範囲内であるか否かを確認する(ステップS32)。所定速度範囲は、例えば時速3km以上5km以下としてよい。本実施形態では、自車両の速度は車速センサ31によって取得することができる。なお、ステップS21とステップS22とは、順番が入れ替わってもよい。
制御部12Aは、自車両の速度が所定速度範囲外である場合(ステップS32でNo)、ステップS31に戻って自車両の直進判断を行う。すなわち、制御部12Aは、自車両の速度が所定速度範囲内でない限り、カメラずれの有無を判定するための処理を進めない。例えば、自車両の速度が速すぎると、オプティカルフローを求めるにあたって誤差が生じやすくなる。一方で、自車両の速度が遅すぎると、車速センサ31から取得される自車両の速度の信頼性が低下する。この点、本実施形態の構成によれば、自車両の速度が速すぎる場合や遅すぎる場合を除いてカメラずれの判定を行うことができ、カメラずれの有無の判定精度を向上することができる。
自車両が所定速度範囲内で走行していると判断される場合(ステップS32でYes)、制御部12Aは、抽出部121、算出部122および推定部123により、自車両の移動情報の推定値を求める処理を行う(ステップS33)。当該処理は、図2に示す移動情報推定処理と同様であるための説明を省略する。
推定部123で自車両の移動情報の推定値が得られると、判定部125は、当該推定値と、取得部124で取得された比較値とを比較してカメラ21のずれ判定を行う(ステップS34)。本実施形態では、前後方向の移動距離について推定値と比較値との比較が行われる。また、左右方向の移動距離について推定値と比較値との比較が行われる。これらの比較の結果に基づいてカメラずれの判定が行われる。
なお、本実施形態では、自車両が前後方向に直進している場合に得られる情報に基づいて、ずれの判定が行われる。このために、取得部124が取得する左右方向の比較値(移動距離)はゼロになる。また、取得部124は、オプティカルフローを導出するための2つの撮影画像の撮影時間間隔と、当該時間間隔における車速センサ31によって得られる自車両の速度とによって、前後方向の比較値(移動距離)を算出する。
図11は、判定部125によって行われるずれ判定処理の一例を示すフローチャートである。なお、図11に示す処理は、図10のステップS34の詳細処理例である。
まず、判定部125は、自車両の前後方向の移動距離について、推定部123によって求められた推定値と、取得部124によって取得された比較値との差の大きさ(前後方向のずれ量)が、第1ずれ閾値より小さいか否かを確認する(ステップS41)。前後方向のずれ量が第1ずれ閾値以上である場合(ステップS41でNo)、判定部125は、カメラずれ有りと判定する(ステップS45)。すなわち、判定部125は、カメラ21の取付け状態の異常を検出する。
一方、前後方向のずれ量が第1ずれ閾値より小さい場合(ステップS41でYes)、判定部125は、自車両の左右方向の移動距離について、推定部123によって求められた推定値と、取得部124によって取得された比較値との差の大きさ(左右方向のずれ量)が、第2ずれ閾値より小さいか否かを確認する(ステップS42)。左右方向のずれ量が第2ずれ閾値以上である場合(ステップS42でNo)、判定部125は、カメラずれ有りと判定する(ステップS45)。すなわち、判定部125は、カメラ21の取付け状態の異常を検出する。
一方、左右方向のずれ量が第2ずれ閾値より小さい場合(ステップS42でYes)、判定部125は、自車両の前後方向および左右方向の移動距離に基づいて得られる特定値について、推定値から得られる値と、比較値から得られる値との差の大きさ(前後左右の組合せのずれ量)が、第3ずれ閾値より小さいか否かを確認する(ステップS43)。本実施形態では、特定値は、前後方向の移動距離を二乗して得られる値と、左右方向の移動距離を二乗して得られる値との和の平方根値である。ただし、これは例示にすぎず、特定値は、例えば、前後方向の移動距離を二乗して得られる値と、左右方向の移動距離を二乗して得られる値との和であってもよい。
前後左右の組合せのずれ量が第3ずれ閾値以上である場合(ステップS43でNo)、判定部125は、カメラずれ有りと判定する(ステップS45)。すなわち、判定部125は、カメラ21の取付け状態の異常を検出する。一方、前後左右の組合せのずれ量が第3ずれ閾値より小さい場合(ステップS43でYes)、判定部125は、カメラ21の取付け状態は正常であると判定する(ステップS44)。すなわち、判定部125は、カメラずれを検出しない。
本実施形態では、前後方向の移動距離、左右方向の移動距離、および、特定値のうち、いずれか1つでも、異常が認められると、カメラずれが発生していると判定する。これによれば、カメラずれが発生しているにもかかわらず、カメラずれが発生していないと判定する可能性を低減できる。ただし、これは例示である。例えば、前後方向の移動距離、左右方向の移動距離、および、特定値の全てにおいて異常が認められる場合に限って、カメラずれが発生していると判定する構成としてもよい。
また、本実施形態では、前後方向の移動距離、左右方向の移動距離、および、特定値について、順番に比較を行う構成としたが、これらの比較は同じタイミングで行われてもよい。また、前後方向の移動距離、左右方向の移動距離、および、特定値について、順番に比較を行う構成の場合、その順番は特に限定されず、図11に示す順番とは異なる順番で比較が行われてもよい。また、本実施形態では、前後方向の移動距離、左右方向の移動距離、および、特定値を用いてずれ判定を行う構成としたが、これは例示にすぎない。例えば、前後方向の移動距離、左右方向の移動距離、および、特定値のうちのいずれか1つ、或いは、いずれか2つを用いてずれ判定を行う構成としてもよい。
また、本実施形態では、1つのフレーム画像から得られる推定値を用いた比較結果によって異常が検出された場合に、即時にカメラずれを検出する構成としている。ただし、これは例示であり、判定部125は、複数のフレーム画像の比較結果に基づいてカメラずれを検出する構成としてもよい。
なお、カメラずれが検出された場合、異常検出装置10は、そのことを運転者等に報知するための処理を行うことが好ましい。また、異常検出装置10は、カメラ21からの情報を用いて運転支援を行う運転支援装置に、カメラずれが発生していることを通知する処理を行うことが好ましい。自車両に複数のカメラ21が搭載される場合、複数のカメラ21のうちの1つでもカメラずれが発生した場合には、上述した運転者等への報知処理、および、運転支援装置等への通知処理を行うことが好ましい。
<5.留意事項>
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
以上においては、カメラ21の異常検出に用いるデータは、自車両が直進走行している場合に収集される構成とした。ただし、これは例示であり、カメラ21の異常検出に用いるデータは、自車両が直進走行していない場合に収集されてもよい。車速センサ31から得られる速度情報と舵角センサ32から得られる情報とを用いれば、自車両の前後方向および左右方向の比較値(推定値と比較する移動距離や速度)を正確に求めることができ、自車両が直進走行していない場合のデータを使ってもカメラの異常検出を行うことができる。
また、以上においては、本発明の移動情報推定装置1が異常検出装置10に適用される例を示したが、これは例示である。本発明の移動情報推定装置1は、例えば、カメラの撮影画像から得られるオプティカルフローを用いて駐車支援等の運転支援を行う装置に適用されてもよい。
1・・・移動情報推定装置
10・・・異常検出装置
21・・・カメラ
121・・・抽出部
122・・・算出部
123・・・推定部
125・・・判定部
FP・・・特徴点
HG1・・・第1ヒストグラム
HG2・・・第2ヒストグラム
OF1・・・第1オプティカルフロー
OF2・・・第2オプティカルフロー
10・・・異常検出装置
21・・・カメラ
121・・・抽出部
122・・・算出部
123・・・推定部
125・・・判定部
FP・・・特徴点
HG1・・・第1ヒストグラム
HG2・・・第2ヒストグラム
OF1・・・第1オプティカルフロー
OF2・・・第2オプティカルフロー
Claims (7)
- 移動体に搭載されたカメラからの情報に基づき前記移動体の移動情報の推定値を求める移動情報推定装置であって、
前記カメラより入力されたフレーム画像から特徴点を抽出する抽出部と、
現在の前記フレーム画像と前回の前記フレーム画像との間における前記特徴点の動きを示すオプティカルフローを算出する算出部と、
前記オプティカルフローに基づき前記推定値を求める推定部と、
を備え、
前記推定部は、前記抽出部によって抽出された前記特徴点の数と、前記特徴点の固有性を示す特徴量とに基づき前記推定値の算出方式を切り替える、移動情報推定装置。 - 前記推定部は、前記特徴点の数と、前記特徴量の最大値と、前記特徴量の平均値とに基づき前記算出方式を切り替える、請求項1に記載の移動情報推定装置。
- 前記算出方式には、
前記抽出部で抽出された複数の前記特徴点のそれぞれに対して前記オプティカルフローを求め、ヒストグラムを用いた統計処理により前記推定値を求める第1算出方式と、
前記特徴量が所定の閾値以上の前記特徴点から算出される前記オプティカルフローに基づき前記推定値の算出を行う第2算出方式と、
が含まれる、請求項1又は2に記載の移動情報推定装置。 - 前記推定部は、前記推定値が使用できるか否かの判断を、前記特徴点の数および前記特徴量に基づき行うことがある、請求項1から3のいずれか1項に記載の移動情報推定装置。
- 前記推定部は、前記推定値が使用できないと判断した時は、前記推定値を求めない、請求項4記載の移動情報推定装置。
- 請求項1から5のいずれか1項に記載の移動情報推定装置と、
前記推定値に基づき前記カメラの異常の有無を判定する判定部と、
を備える、異常検出装置。 - 装置を用いて、移動体に搭載されたカメラからの情報に基づき前記移動体の移動情報の推定値を求める移動情報推定方法であって、
前記カメラにより入力されたフレーム画像から特徴点を抽出する抽出工程と、
現在の前記フレーム画像と前回の前記フレーム画像との間における前記特徴点の動きを示すオプティカルフローを算出する算出工程と、
前記オプティカルフローに基づき前記推定値を求める推定工程と、
を備え、
前記推定工程においては、前記抽出工程によって抽出された前記特徴点の数と、前記特徴点の固有性を示す特徴量とに基づき前記推定値の算出方式が切り替えられる、移動情報推定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018171539A JP2020042715A (ja) | 2018-09-13 | 2018-09-13 | 移動情報推定装置、異常検出装置、および、移動情報推定方法 |
US16/557,004 US20200090347A1 (en) | 2018-09-13 | 2019-08-30 | Apparatus for estimating movement information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018171539A JP2020042715A (ja) | 2018-09-13 | 2018-09-13 | 移動情報推定装置、異常検出装置、および、移動情報推定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020042715A true JP2020042715A (ja) | 2020-03-19 |
Family
ID=69798474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018171539A Pending JP2020042715A (ja) | 2018-09-13 | 2018-09-13 | 移動情報推定装置、異常検出装置、および、移動情報推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020042715A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114973175A (zh) * | 2022-05-24 | 2022-08-30 | 深圳市航盛电子股份有限公司 | 运动物体检测方法、装置、终端设备以及存储介质 |
-
2018
- 2018-09-13 JP JP2018171539A patent/JP2020042715A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114973175A (zh) * | 2022-05-24 | 2022-08-30 | 深圳市航盛电子股份有限公司 | 运动物体检测方法、装置、终端设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11270134B2 (en) | Method for estimating distance to an object via a vehicular vision system | |
JP5689907B2 (ja) | 車両において通行物***置検出を向上する方法 | |
JP4856612B2 (ja) | 物体検出装置 | |
US9747524B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, and robot | |
JP2019191806A (ja) | 異常検出装置および異常検出方法 | |
JP2019219719A (ja) | 異常検出装置および異常検出方法 | |
US20190325607A1 (en) | Movement information estimation device, abnormality detection device, and abnormality detection method | |
US20200090347A1 (en) | Apparatus for estimating movement information | |
US10657654B2 (en) | Abnormality detection device and abnormality detection method | |
JP7270499B2 (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
JP6970568B2 (ja) | 車両の周辺監視装置と周辺監視方法 | |
JP2007293672A (ja) | 車両用撮影装置、車両用撮影装置の汚れ検出方法 | |
JP2020060531A (ja) | 異常検出装置、異常検出システム、および、異常検出方法 | |
US9827906B2 (en) | Image processing apparatus | |
JP2019191808A (ja) | 異常検出装置および異常検出方法 | |
JP2020042715A (ja) | 移動情報推定装置、異常検出装置、および、移動情報推定方法 | |
CN104697491A (zh) | 在车辆中使用单视场成像器的距离确定 | |
JP7009209B2 (ja) | カメラずれ検出装置、カメラずれ検出方法および異常検出装置 | |
JP6855233B2 (ja) | 障害物検出装置および障害物検出方法 | |
JP2020042716A (ja) | 異常検出装置および異常検出方法 | |
JP6981881B2 (ja) | カメラずれ検出装置およびカメラずれ検出方法 | |
JP6986962B2 (ja) | カメラずれ検出装置およびカメラずれ検出方法 | |
JP7134780B2 (ja) | ステレオカメラ装置 | |
JP2005301892A (ja) | 複数のカメラによるレーン認識装置 | |
EP2919191B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method |