JP7481785B2 - 検知装置、検知方法、およびプログラム - Google Patents

Description

本発明は、検知装置、検知方法、およびプログラムに関する。

単眼カメラを用いた静止物および移動物の検知技術がある。これらの物体の検知には、オプティカルフローが利用される。オプティカルフローとは、カメラで撮像されたフレームにおいて抽出された特徴点の、時間方向に連続するフレーム間における動きを示すベクトルである。

オプティカルフローを用いた物体検出処理において、検出対象の物体、または、撮像するカメラの移動速度が小さい場合には適切な長さを有するオプティカルフローが得られず、物体検出の精度が低下することが知られている。

カメラを搭載する自動車の移動速度に応じて、オプティカルフローの検出に用いられるフレームの間隔を制御する技術がある（特許文献１）。

特開２００８－２７６３０７号公報

しかしながら、オプティカルフローの検出に用いられるフレームの間隔を制御する技術では、過去の複数のフレームを記憶する記憶装置を備える必要があり、また、回路規模の増大を招くという問題がある。

そこで、本発明は、回路規模の増大を抑えながら、オプティカルフローを適切に検出できる検知装置を提供することを目的とする。

本発明の一態様に係る検知装置は、時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得する取得部と、前記取得部が取得した前記履歴を用いて、前記複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する検出部と、前記検出部が検出した前記変位を用いて物体の検知処理を実行する検知部とを備え、前記検出部は、（ａ）前記複数のフレームのうちの前記第一フレームより時間的に１つ前の第二フレームから前記第一フレームまでの特徴点の変位を、前記変位として検出し、（ｂ）前記（ａ）で検出した前記変位の大きさが、予め定められた下限値より小さいと判定した場合に、前記複数のフレームのうちの前記第二フレームより時間的に前の第三フレームから前記第一フレームまでの前記特徴点の変位を、新たに、前記変位として検出する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明に係る検知装置は、回路規模の増大を抑えながら、オプティカルフローを適切に検出できる。

図１は、実施の形態に係る検知装置の構成を示す模式図である。 図２は、実施の形態に係る検知装置に入力されるフレームの例を示す模式図である。 図３は、フレームにおける特徴点とオプティカルフローとの例を示す説明図である。 図４は、実施の形態に係る複数のフレームが撮影されるときの物体とカメラとの位置関係を示す説明図である。 図５は、実施の形態に係る取得部が取得する特徴点の位置の履歴を示す説明図である。 図６は、実施の形態に係る履歴テーブルの第一例を示す説明図である。 図７は、実施の形態に係る検出部が検出するオプティカルフローの説明図である。 図８は、実施の形態に係る履歴テーブルの第二例を示す説明図である。 図９は、実施の形態に係る取得部が位置の履歴を取得する処理を示すフロー図である。 図１０は、実施の形態に係る検出部がオプティカルフローを検出する処理を示すフロー図である。 図１１は、実施の形態に係る検知部が実行する物体検知処理を示すフロー図である。 図１２は、実施の形態に係るカメラの不具合の検知の方法を示す概念図である。 図１３は、実施の形態の変形例に係る検知装置の構成を示す模式図である。 図１４は、実施の形態の変形例に係る検知装置による検知方法を示すフロー図である。

本発明の一態様に係る検知装置は、時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得する取得部と、前記取得部が取得した前記履歴を用いて、前記複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する検出部と、前記検出部が検出した前記変位を用いて物体の検知処理を実行する検知部とを備え、前記検出部は、（ａ）前記複数のフレームのうちの前記第一フレームより時間的に１つ前の第二フレームから前記第一フレームまでの特徴点の変位を、前記変位として検出し、（ｂ）前記（ａ）で検出した前記変位の大きさが、予め定められた下限値より小さいと判定した場合に、前記複数のフレームのうちの前記第二フレームより時間的に前の第三フレームから前記第一フレームまでの前記特徴点の変位を、新たに、前記変位として検出する。

上記態様によれば、検知装置は、一のフレーム（第一フレームに相当）に含まれる特徴点の変位として、上記一のフレームと、上記一のフレームより時間的に前のフレームとを用いて、下限値以上の大きさを有する変位を検出できるので、検出されるオプティカルフローが適切なものとなる。検知装置は、この変位の検出の際には、特徴点の位置の履歴を用い、言い換えれば、過去の複数のフレームそのものを用いることがないので、複数のフレームを格納するためのフレームメモリを備える必要がない。そのため、検知装置は、仮に複数のフレームを格納するのであれば必要となる大きさの記憶装置を備える必要がないので、回路規模の増大が抑えられる。このように、検知装置は、回路規模の増大を抑えながら、オプティカルフローを適切に検出できる。

例えば、前記検出部は、前記（ｂ）において、前記複数のフレームを前記第二フレームから時間的に遡るときに前記特徴点の変位の大きさが前記下限値以上になる最初のフレームを前記第三フレームとして用いて、前記変位を検出してもよい。

上記態様によれば、検知装置は、上記一のフレームより時間的に前のフレームのうち、下限値以上の大きさの変位を検出でき、かつ、上記一のフレームから時間的になるべく近いフレームを用いて特徴点の変位を検出する。上記一のフレームより時間的に前のフレームのうち、時間的に比較的遠いフレームを用いると、検出される特徴点の変位の精度が低下することで、検出されるオプティカルフローが不適切になる可能性がある。よって、検知装置は、回路規模の増大を抑えながら、より一層適切なオプティカルフローを検出できる。

例えば、前記検知処理は、前記物体の３Ｄ復元処理を含み、前記検出部は、前記第二フレームから時間的に遡るときには、前記複数のフレームのうち、前記物体の前記３Ｄ復元処理において３Ｄ復元が失敗したフレームを除外した複数のフレームを遡ってもよい。

上記態様によれば、検知装置は、物体の検知処理に含まれる３Ｄ復元処理が失敗した特徴点を含むフレームを除いた複数のフレームを用いてオプティカルフローを検出する。従来、物体の検知処理に含まれる３Ｄ復元処理が失敗した場合には、その失敗に関わる特徴点を除外した特徴点を用いた検知処理がなされ、言い換えれば、その特徴点について３Ｄ検出処理が成功したフレームから得られる情報が用いられずに無駄になることがある。上記態様の検知装置は、ある特徴点についてフレームに係る３Ｄ検出処理が失敗したとしても、その特徴点について３Ｄ検出処理が成功したフレームを用いて、より効率よく、オプティカルフローを検出できる。

例えば、前記検知装置は、さらに、前記検知部が実行した前記検知処理により得られた前記物体の位置の妥当性を判定する判定部を備え、前記検出部は、前記第二フレームから時間的に遡るときには、前記複数のフレームのうち、前記物体の位置が妥当でないと前記判定部により判定されたフレームを除外した複数のフレームを遡ってもよい。

上記態様によれば、検知装置は、物体の検知処理により得られた特徴点の位置が妥当でないフレームを除いた複数のフレームを用いてオプティカルフローを検出する。従来、物体の検知処理により得られた特徴点の位置が妥当でない場合には、特徴点の位置が妥当でないフレームを除外したフレームを用いた検知処理がなされ、言い換えれば、特徴点の位置が妥当でないフレームに含まれる、位置が妥当である特徴点から得られる情報が用いられずに無駄になることがある。上記態様の検知装置は、物体の検知処理により得られた位置が妥当でない特徴点を含むフレームについても、そのフレームに含まれる位置が妥当である特徴点を用いて、より効率よく、オプティカルフローを検出できる。

例えば、前記検知部は、さらに、前記複数のフレームのうち、時間的に連続した所定数のフレームにおける共通の位置に位置する所定の寸法を有する領域に特徴点が抽出されないことが検知された場合には、通知処理を実行してもよい。

上記態様によれば、検知装置は、オプティカルフローの検出処理を利用して、フレームを取得するカメラなどのセンサの不具合を通知することができ、通知を受けた者に対して、不具合の解消に役立つ行動を促すことができる。このように、検知装置は、センサの不具合を解消しながら、オプティカルフローを適切に検出できる。

例えば、前記検知装置は、さらに、一のフレームのみが格納され得る記憶装置を有し、前記検知装置に入力されるフレームを前記取得部に提供するとともに、前記記憶装置に格納する入力部を備え、前記取得部は、前記複数のフレームに含まれる、時間的に連続した２つのフレームである直前フレームおよび現在フレームがこの順に前記検知装置に入力されたときに、前記入力部から前記現在フレームを取得し、かつ、前記記憶装置に記憶されている前記直前フレームを読み出し、前記記憶装置から読み出した前記直前フレームと、取得した前記現在フレームとに共通に含まれる特徴点を利用して、前記履歴を取得してもよい。

上記態様によれば、検知装置は、一のフレームのみが格納され得る記憶装置を用いて、言い換えれば、複数のフレームが格納され得る記憶装置を用いることがないので、回路規模の増大が抑制される。よって、検知装置は、回路規模の増大をより容易に抑えながら、オプティカルフローを適切に検出できる。

また、本発明の一態様に係る検知装置は、時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得する取得部と、前記取得部が取得した前記履歴を用いて、前記複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する検出部と、前記検出部が検出した前記変位を用いて物体の検知処理を実行する検知部とを備え、前記検出部は、前記複数のフレームのうちの最も過去のフレームから前記第一フレームまでの特徴点の変位を、前記変位として検出する。

上記態様によれば、検知装置は、一のフレーム（第一フレームに相当）に含まれる特徴点の変位として、上記一のフレームと、検知装置が取得した複数のフレームうちで最も過去のフレームを用いて、最も大きい変位を検出できるので、検出されるオプティカルフローが適切なものとなる。検知装置は、この変位の検出の際には、特徴点の位置の履歴を用い、言い換えれば、過去の複数のフレームそのものを用いることがないので、複数のフレームを格納するためのフレームメモリを備える必要がない。そのため、検知装置は、仮に複数のフレームを格納するのであれば必要となる大きさの記憶装置を備える必要がないので、回路規模の増大が抑えられる。このように、検知装置は、回路規模の増大を抑えながら、オプティカルフローを適切に検出できる。

また、本発明の一態様に係る検知方法は、時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得する取得ステップと、前記取得ステップで取得した前記履歴を用いて、前記複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する検出ステップと、前記検出ステップで検出した前記変位を用いて物体の検知処理を実行する検知ステップとを含み、前記検出ステップでは、（ａ）前記複数のフレームのうちの前記第一フレームより時間的に１つ前の第二フレームから前記第一フレームまでの特徴点の変位を、前記変位として検出し、（ｂ）前記（ａ）で検出した前記変位の大きさが、予め定められた下限値より小さいと判定した場合に、前記複数のフレームのうちの前記第二フレームより時間的に前の第三フレームから前記第一フレームまでの前記特徴点の変位を、新たに、前記変位として検出する。

上記態様によれば、上記検知装置と同様の効果を奏する。

また、本発明の一態様に係る検知方法は、時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得する取得ステップと、前記取得ステップで取得した前記履歴を用いて、前記複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する検出ステップと、前記検出ステップで検出した前記変位を用いて物体の検知処理を実行する検知ステップとを含み、前記検出ステップでは、前記複数のフレームのうちの最も過去のフレームから前記第一フレームまでの特徴点の変位を、前記変位として検出する。

上記態様によれば、上記検知装置と同様の効果を奏する。

また、本発明の一態様に係るプログラムは、上記の検知方法をコンピュータに実行させるためのプログラムである。

上記態様によれば、上記検知装置と同様の効果を奏する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
本実施の形態において、回路規模の増大を抑えながら、オプティカルフローを適切に検出できる検知装置などについて説明する。

図１は、本実施の形態に係る検知装置１０の構成を示す模式図である。本実施の形態に係る検知装置１０は、例えば、車両に搭載されたカメラが複数枚の静止画を連続的に撮影することで生成した動画データを取得し、取得した動画データに映っている物体をオプティカルフローを用いて検知する装置である。検知装置１０により検知される物体は、静止物または移動物を含む。検知装置１０は、カメラとともに車両に搭載されることが想定されるが、これに限られない。

図１に示されるように、検知装置１０は、入力部１１と、管理部１２と、検知部１３とを備える。検知装置１０が備える各機能部は、検知装置１０が備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がメモリを用いて所定のプログラムを実行することで実現され得る。

入力部１１は、検知装置１０に入力される画像フレーム（単にフレームともいう）を管理部１２に提供する機能部である。入力部１１は、フレームが格納される記憶装置であるフレームメモリ１１１を有する。

入力部１１は、検知装置１０の外部の装置（例えばカメラ）から検知装置１０に入力されるフレームを取得し、取得したフレームを管理部１２に提供する。このように提供されるフレームが「現在フレーム」に相当する。

また、入力部１１は、取得した上記フレーム（または上記フレームの複製）をフレームメモリ１１１に格納する。フレームメモリ１１１に格納されたフレームは、管理部１２（取得部１２１）によって読み出されることがある。管理部１２によって読み出されたフレームが「直前フレーム」に相当する。フレームメモリ１１１に格納されているフレームは、入力部１１が管理部１２に提供するフレームより時間的に１つ前のフレームであるからである。なお、フレームメモリ１１１に一旦フレームが格納され、その後に管理部１２によって読み出されることは、フレームを１フレーム時間分遅らせる遅延回路を用いて実現されてもよい。

なお、フレームメモリ１１１の容量は、一のフレームの情報量に相当する容量であれば十分である。そのため、フレームメモリ１１１は、一のフレームのみが格納され得る記憶装置であってもよく、言い換えれば、フレームメモリ１１１の記憶容量は、一のフレームの情報量に相当する記憶容量のみであってもよい。

管理部１２は、特徴点のオプティカルフローの管理をする機能部である。管理部１２は、取得部１２１と、検出部１２３と、判定部１２４とを有する。また、管理部１２は、記憶装置に記憶された履歴テーブル１２２を有する。

取得部１２１は、時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得する処理部である。

取得部１２１は、検知装置１０に入力された複数のフレームのうち、時間的に連続した２つのフレームを取得する。具体的には、取得部１２１は、入力部１１から一のフレーム（現在フレームに相当）を取得するとともに、フレームメモリ１１１に記憶されている一のフレーム（直前フレームに相当）を読み出すことで取得する。そして、取得部１２１は、フレームメモリ１１１から読み出した直前フレームと、入力部１１から取得した現在フレームとに共通に含まれる特徴点を利用して、特徴点ごとの位置の履歴を取得する。また、取得部１２１は、取得した特徴点ごとの位置の履歴を履歴テーブル１２２に記録する。

フレームに含まれる特徴点を抽出するには、フレームに係る画像におけるエッジ又はコーナーを抽出するなどの方法があり、従来技術により実現され得る。また、時間的に連続した２つのフレームそれぞれにおいて抽出された共通の特徴点同士を対応付ける技術も従来技術により実現され得る。なお、共通の特徴点とは、各フレームにおいて同一の物が映し出されている特徴点、または、同一の物に対応する特徴点をいう。以降でも同様とする。

履歴テーブル１２２は、特徴点ごとの位置の履歴を示す履歴情報の一例である。なお、履歴情報の形式は、履歴テーブル１２２のようなテーブル形式だけには限定されない。

履歴テーブル１２２は、特徴点ごとに、検知装置１０に入力される複数のフレームそれぞれにおける位置の履歴が記録されている。履歴テーブル１２２に記憶されている位置の個数は、フレームの数によって制限されていてもよい。例えば、過去の１０フレーム又は３０フレームに含まれる特徴点の位置が履歴テーブル１２２に記録されるように制限されてもよい。

なお、履歴テーブル１２２には、さらに、特徴点ごと、かつ、フレームごとに、当該特徴点について検知された物体（つまり静止物および移動物）に関する情報も記録され得る。履歴テーブル１２２が保有している情報については、後で詳しく説明する。

検出部１２３は、履歴テーブル１２２に記録されている特徴点ごとの位置の履歴を用いて、複数のフレームのうちの第一フレーム（現在フレームに相当）に含まれる特徴点の変位を検出する機能部である。ここで、特徴点の変位は、上記のとおりベクトル量であるので変位ベクトルともいい、オプティカルフローに相当する。

検出部１２３は、具体的には、（ａ）検知装置１０に入力される複数のフレームのうちの第一フレームより時間的に１つ前の第二フレーム（直前フレームに相当）から第一フレームまでの特徴点の変位を、上記変位として検出する。また、検出部１２３は、（ｂ）上記（ａ）で検出した変位の大きさが、予め定められた下限値より小さいと判定した場合に、複数のフレームのうちの第二フレームより時間的に前の第三フレームから第一フレームまでの特徴点の変位を、新たに、上記変位として検出する。検出部１２３は、検出した変位を検知部１３に提供する。なお、下限値は、例えば８画素である。

ここで、検出部１２３は、上記（ｂ）において、複数のフレームを第二フレームから時間的に遡るときに上記一の特徴点の変位の大きさが下限値以上になる最初のフレームを第三フレームとして用いて、上記変位を検出してもよい。

なお、検出部１２３は、検知装置１０に入力される複数のフレームのうちの最も過去のフレームから第一フレームまでの特徴点の変位を、上記変位として検出してもよい。つまり、検出部１２３は、上記（ａ）および（ｂ）のように変位を検出するのではなく、言い換えれば、第二フレームから第一フレームまでの特徴点の変位の大きさによらず、上記のように最も過去のフレームから第一フレームまでの特徴点の変位を検出してもよい。

判定部１２４は、検知部１３が実行した検知処理により得られた物体の位置の妥当性を判定する機能部である。判定部１２４は、履歴テーブル１２２を参照して、特徴点ごとの位置の履歴を監視し、検知された物体の位置が妥当であるか否かを判定し、その判定結果を履歴テーブル１２２に登録する。

検知部１３は、検出部１２３が検出した変位を用いて物体の検知処理を実行する機能部である。検知部１３は、管理部１２が保有している履歴テーブル１２２を参照して、物体（つまり静止物および移動物）の検知処理を行う。

検知部１３は、分類部１３１と、静止物検知部１３２と、３Ｄ復元部１３３と、移動物検知部１３４とを有する。

分類部１３１は、オプティカルフローを分類する機能部である。分類部１３１は、検出部１２３が検出した特徴点のオプティカルフローのそれぞれを、静止物の特徴点に係るオプティカルフローと、移動物の特徴点に係るオプティカルフローとのいずれかに分類する。この分類は、例えば、検出部１２３が検出した特徴点が、静止物に係る特徴点が満たすべき条件を満たすか否かによってなされる。上記条件の一例は、エピポーラ幾何に基づくエピポーラ拘束条件である。

また、分類部１３１は、静止物の特徴点に係るオプティカルフローとして分類されたオプティカルフローを静止物検知部１３２に提供する。また、分類部１３１は、移動物の特徴点に係るオプティカルフローとして分類されたオプティカルフロー（言い換えれば、静止物の特徴点に係るオプティカルフローとして分類されなかったオプティカルフロー）を、移動物検知部１３４に提供する。

静止物検知部１３２は、静止物の特徴点に係るオプティカルフローを分類部１３１から取得し、静止物検知処理を実行する機能部である。静止物検知処理は、例えば、ＳＦＭ（Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ）を用いた方法によりなされ得る。

３Ｄ復元部１３３は、静止物検知部１３２で検知された静止物について、３Ｄ（Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ）復元処理を施す機能部である。３Ｄ復元部１３３は、特徴点の位置と、その特徴点を取得したときのカメラの位置とを利用して、静止物の３次元形状を推定する。

移動物検知部１３４は、移動物の特徴点に係るオプティカルフローを分類部１３１から取得し、移動物検知処理を実行する機能部である。移動物検知処理は、例えば、移動物体の特徴点に係るオプティカルフローに対して大きさまたは向きが類似しているフローをまとめるクラスタリング方法によりなされ得る。

また、検知部１３は、特徴点の現実空間での位置を示す情報、および、検知部１３による検知処理の結果を示す情報を出力する。特徴点の現実空間での位置を示す情報は、静止物検知部１３２が検知した物体つまり静止物の特徴点の位置を示す情報、または、移動物検知部１３４が検知した物体つまり移動物の特徴点の位置を示す情報を含む。また、検知部１３による検知処理の結果を示す情報は、分類部１３１による分類結果を示す情報（つまり特徴点それぞれが静止物に係る特徴点であるか、または、移動物に係る特徴点であるかを示す情報）、又は、３Ｄ復元部１３３による３Ｄ復元処理の成否を示す情報を含む。

なお、検知部１３は、特徴点の現実空間での位置を示す情報、および、検知部１３による検知処理の結果を示す情報を履歴テーブル１２２に書き込んでもよい。

その場合、検出部１２３は、上記（ｂ）において第二フレームから時間的に遡るときには、複数のフレームのうち、物体の３Ｄ復元処理において３Ｄ復元が失敗したフレームを除外した複数のフレームを遡るようにしてもよい。

また、検出部１２３は、上記（ｂ）において第二フレームから時間的に遡るときには、複数のフレームのうち、物体の位置が妥当でないと判定部１２４により判定されたフレームを除外した複数のフレームを遡るようにしてもよい。

図２は、本実施の形態に係る検知装置１０に入力されるフレームの例を示す模式図である。

図２に示される複数のフレームｆ１、ｆ２およびｆ３は、一例として、車両に搭載されたカメラが複数枚の静止画を連続的に撮影することで生成される動画に含まれる、連続した３つのフレームである。

複数のフレームｆ１、ｆ２およびｆ３のうち、検知装置１０に最初に入力されるのはフレームｆ３であり、その後、フレームｆ２およびフレームｆ１が検知装置１０にこの順に入力される。

図３は、フレームにおける特徴点とオプティカルフローとの例を示す説明図である。図３に示されるフレームは、移動している車両に搭載されたカメラにより当該車両の前方の光景を複数回撮影して生成されたフレームのうちの１つである。

図３の（ａ）には、検知装置１０に入力されるフレームと当該フレームにおいて抽出される特徴点の一例が示されている。図３の（ａ）において、プラス記号（＋）により特徴点が示されている。特徴点は、例えば、フレームに含まれるエッジ又はコーナーの位置に抽出される。

また、図３の（ｂ）には、図３の（ａ）に示されるフレームと当該フレームに含まれる特徴点の変位つまりオプティカルフローの一例が示されている。図３の（ｂ）において、特徴点は黒丸（●）により示されていて、オプティカルフローは線分（―）により示されている。

オプティカルフローは、当該フレームに含まれる特徴点の、過去のフレームから当該フレームまでの変位を示すベクトルである。つまり、車両に搭載されたカメラが移動することにより、過去のフレームと当該フレームとの間で生ずる特徴点の変位がオプティカルフローとして検出される。

図４は、本実施の形態に係る複数のフレームが撮影されるときの物体Ｓとカメラ２０との位置関係を示す説明図である。図５は、本実施の形態に係る取得部１２１が取得する特徴点の位置の履歴を示す説明図である。図４および図５を参照しながら取得部１２１の機能を説明する。

図４に示されるように、カメラ２０は、静止している物体Ｓを移動しながら撮影することで、順次に、フレームを生成する。このようにカメラ２０が生成したフレームの例が図５に示されている。

図５に示されるフレームｆ３は、時刻ｔ＝０においてカメラ２０が撮影することで生成したフレームの例である。図５に示されるフレームｆ２は、時刻ｔ＝１においてカメラ２０が撮影することで生成したフレームの例である。図５に示されるフレームｆ１は、時刻ｔ＝２においてカメラ２０が撮影することで生成したフレームの例である。

図５に示されるフレームｆ３、ｆ２およびｆ１が、検知装置１０に入力される。

取得部１２１は、フレームｆ３、ｆ２およびｆ１における特徴点を抽出する。また、抽出した特徴点について、その前後のフレームに抽出された特徴点と共通である特徴点を対応付ける。このようにして、取得部１２１は、フレームｆ３、ｆ２およびｆ１に亘って存在している共通の特徴点ｐ１およびｐ２の位置の履歴を取得する。

次に、検出部１２３は、フレームｆ３からフレームｆ２までの特徴点ｐ１およびｐ２それぞれの変位ベクトルｄ１２３およびｄ２２３、ならびに、フレームｆ２からフレームｆ１までの特徴点ｐ１およびｐ２それぞれの変位ベクトルｄ１１２およびｄ２１２を検出する。

図６は、本実施の形態に係る履歴テーブル１２２の第一例を示す説明図である。

図６に示される履歴テーブル１２２には、図５に示されているフレームｆ３、ｆ２およびｆ１に含まれる特徴点ｐ１およびｐ２の位置が示されている。特徴点ｐ１およびｐ２の位置は、ｘ座標およびｙ座標によって示されている。

例えば、特徴点ｐ１の位置は、フレームｆ１において（ｘ，ｙ）＝（３５０，４５０）であり、フレームｆ２において（１５０，２５０）であり、フレームｆ３において（１００，２００）である。

また、例えば、特徴点ｐ２の位置は、フレームｆ１において（ｘ，ｙ）＝（７５０，８５０）であり、フレームｆ２において（５５０，６５０）であり、フレームｆ３において（５００，６００）である。

検出部１２３は、フレームｆ１およびｆ２間の特徴点ｐ１の変位ベクトルｄ１１２を以下のように算出する。

ｄ１１２＝（３５０－１５０，４５０－２５０）＝（２００，２００）

同様に、検出部１２３は、フレームｆ２およびｆ３間の特徴点ｐ１の変位ベクトルｄ１２３を以下のように算出する。

ｄ１２３＝（１５０－１００，２５０－２００）＝（５０，５０）

図７は、本実施の形態に係る検出部１２３が検出するオプティカルフローの説明図である。ここでは、フレームｆ１を現在フレームとし、フレームｆ２を直前フレームとして説明する。

検出部１２３は、現在フレームと直前フレームとの間で特徴点について検出した変位ベクトルの大きさが、適切なオプティカルフローの大きさとして予め定められた範囲の下限値（予め定められた下限値に相当）以上である場合には、検出した変位ベクトルを、これらのフレーム間での特徴点のオプティカルフローとする。

一方、検出部１２３は、現在フレームと直前フレームとの間で特徴点について検出した変位ベクトルの大きさが、上記下限値より小さい場合には、直前フレームより１つ前のフレームに遡って、現在フレームとの間で特徴点の変位ベクトルを検出する。このように、検出部１２３は、検出した変位ベクトルが上記下限値以上になるまでフレームを遡る。なお、フレームを遡る際に、履歴テーブル１２２に含まれている最も過去の特徴点にまで遡っても変位ベクトルが上記下限値以上にならない場合には、最も過去の特徴点の位置を用いて検出した変位ベクトルを、これらのフレーム間での特徴点のオプティカルフローとする。

具体的には、図７に示されるフレームｆ１における特徴点ｐ１について、検出部１２３は、変位ベクトルｄ１１２の大きさが下限値以上である場合には、変位ベクトルｄ１１２を、フレームｆ１における特徴点ｐ１のオプティカルフローとする。

一方、検出部１２３は、変位ベクトルｄ１１２の大きさが下限値より小さい場合には、変位ベクトルｄ１１２に変位ベクトルｄ１２３を加えた変位ベクトルｄ１１３を検出する。そして、変位ベクトルｄ１１３の大きさが下限値以上である場合には、変位ベクトルｄ１１３を、フレームｆ１における特徴点ｐ１のオプティカルフローとする。

図８は、本実施の形態に係る履歴テーブル１２２の第二例（履歴テーブル１２２Ａ）を示す説明図である。

図８に示される履歴テーブル１２２Ａには、図６に示される履歴テーブル１２２に含まれている情報、つまり、特徴点ごとかつフレームごとの特徴点の位置を示す情報（ｘ座標およびｙ座標）を含む。さらに、履歴テーブル１２２Ａは、当該特徴点の現実空間での位置を示す情報（Ｘ座標、Ｙ座標およびＺ座標）、ならびに、検知処理結果を示す情報を含む。

特徴点の現実空間での位置を示す情報は、静止物検知部１３２または移動物検知部１３４が検知した、当該特徴点の現実空間での位置を示す情報であり、一例として、その位置のＸ座標、Ｙ座標およびＺ座標により示される。

検知処理結果を示す情報は、検知された物が静止物であるかまたは移動物であるかを示す情報、および、静止物と検知された物については３Ｄ復元が成功したかまたは失敗したかを示す情報を含む。

特徴点の現実空間での位置を示す情報と、検知処理結果を示す情報は、検出部１２３がオプティカルフローを検出する際に、履歴テーブル１２２に含まれる特徴点の位置の履歴を遡るときに参照される。

以上のように構成された検知装置１０の処理について説明する。

図９は、本実施の形態に係る取得部１２１が位置の履歴を取得する処理を示すフロー図である。

ステップＳ１０１において、取得部１２１は、入力部１１からフレーム（現在フレームに相当）を取得したか否かを判定する。入力部１１からフレームを取得したと判定した場合（ステップＳ１０１でＹｅｓ）には、ステップＳ１０２に進み、そうでない場合（ステップＳ１０１でＮｏ）には、ステップＳ１０１を再び実行する。つまり、取得部１２１は、入力部１１からフレームを取得するまでステップＳ１０１で待機状態をとる。

ステップＳ１０２において、取得部１２１は、フレームメモリ１１１に格納されているフレーム（直前フレームに相当）を取得する。

ステップＳ１０３において、取得部１２１は、ステップＳ１０１で取得した現在フレームと、ステップＳ１０２で取得した直前フレームとのそれぞれにおいて特徴点を抽出する。

ステップＳ１０４において、取得部１２１は、現在フレームと直前フレームとに共通の特徴点ごとに、位置の履歴を履歴テーブル１２２に記録する。

ステップＳ１０４の処理を終えたらステップＳ１０１を再び実行する。

図１０は、本実施の形態に係る検出部１２３がオプティカルフローを検出する処理を示すフロー図である。

ステップＳ２０１において、検出部１２３は、後述するステップＳ２０２からステップＳ２０７までの処理を繰り返し実行するループＡの開始処理を行う。ループＡでは、特徴点のそれぞれに着目して処理を実行し、最終的に、すべての特徴点について処理がなされる。

ステップＳ２０２において、検出部１２３は、現在フレームより時間的に１つ前のフレームに着目する。現在フレームより時間的に１つ前のフレームを着目フレームとして設定する。

ステップＳ２０３において、検出部１２３は、着目している特徴点の、着目フレームにおける位置から、現在フレームにおける位置までのオプティカルフローを取得する。オプティカルフローの取得は、履歴テーブル１２２において、着目フレームにおける特徴点の位置と現在フレームにおける特徴点の位置とを取得し、その差分を算出することでなされ得る。

ステップＳ２０４において、検出部１２３は、ステップＳ２０３で検出したオプティカルフローの長さ、つまりフロー長を検出し、検出したフロー長が予め定められた下限値より大きいか否かを判定する。フロー長が下限値より大きいと判定した場合（ステップＳ２０４でＹｅｓ）には、ステップＳ２０７に進み、そうでない場合（ステップＳ２０４でＮｏ）には、ステップＳ２０５に進む。

ステップＳ２０５において、検出部１２３は、着目フレームより時間的に１つ前のフレームの特徴点の位置が、履歴テーブル１２２に記録されているか否かを判定する。着目フレームより時間的に１つ前のフレームの特徴点の位置が履歴テーブル１２２に記録されていると判定した場合（ステップＳ２０５でＹｅｓ）には、ステップＳ２０６に進み、そうでない場合（ステップＳ２０５でＮｏ）には、ステップＳ２０７に進む。

ステップＳ２０６において、検出部１２３は、着目フレームより時間的に１つ前のフレームに着目し、ステップＳ２０３に進む。

ステップＳ２０７において、検出部１２３は、ステップＳ２０３で検出したフロー長を有するオプティカルフローを、着目している特徴点のオプティカルフローとして決定する。

ステップＳ２０８において、ループＡの終了処理を行う。具体的には、検出部１２３は、ステップＳ２０２からステップＳ２０７までの処理が、特徴点それぞれに着目して実行されたか否かを判定し、行われていない場合には、まだ行われていない特徴点に着目して処理を実行するよう制御する。

なお、履歴テーブル１２２Ａを用いる場合であって、特徴点の現実空間での位置、または、検知処理結果を示す情報が含まれている場合には、検出部１２３は、着目フレームより時間的に１つ前のフレームの特徴点の位置が履歴テーブル１２２Ａに記録されていると判定した場合（ステップＳ２０５でＹｅｓ）に、着目フレームより時間的に１つ前のフレームについての検知処理結果に応じて、さらに１つ前（つまり、着目フレームより時間的に２つ前）のフレームに着目するようにしてもよい。具体的には、検出部１２３は、着目フレームより時間的に１つ前のフレームについての３Ｄ復元処理が失敗であることを示す情報が履歴テーブル１２２Ａに含まれている場合、または、特徴点の現実空間での位置が、１つ前のフレームまたは１つ後のフレームにおける位置と比較的大きく異なる場合に、さらに１つ前（つまり、着目フレームより時間的に２つ前）のフレームに着目するようにしてもよい。

これにより、検出部１２３は、複数のフレームのうち、３Ｄ復元が失敗したフレーム、および、物体の位置が妥当でないと判定部１２４により判定されたフレームを除外した複数のフレームを遡って着目フレームを設定し、その結果、適切なオプティカルフローを検出することができる。

図１１は、本実施の形態に係る検知部１３が実行する物体検知処理を示すフロー図である。

ステップＳ３０１において、分類部１３１は、履歴テーブル１２２に記録されている特徴点のオプティカルフローのそれぞれを、静止物の特徴点に係るオプティカルフローと、移動物の特徴点に係るオプティカルフローとのいずれかに分類する分類処理を実行する。

ステップＳ３０２において、静止物検知部１３２は、静止物の特徴点に係るオプティカルフローに基づいて、静止物検知処理を実行する。静止物の特徴点に係るオプティカルフローは、ステップＳ３０１で静止物の特徴点に係るオプティカルフローとして分類されたオプティカルフローである。

ステップＳ３０３において、３Ｄ復元部１３３は、静止物検知処理の結果に基づいて、３Ｄ復元処理を実行する。

ステップＳ３０４において、移動物検知部１３４は、移動物の特徴点に係るオプティカルフローに基づいて、移動物検知処理を実行する。移動物の特徴点に係るオプティカルフローは、ステップＳ３０１で移動物の特徴点に係るオプティカルフローとして分類されたオプティカルフローである。なお、ステップＳ３０４は、ステップＳ３０２の前に実行されてもよいし、ステップＳ３０２又はＳ３０３と並行して実行されてもよい。

ステップＳ３０５において、検知部１３は、特徴点の現実空間での位置を示す情報、および、検知部１３による検知処理の結果を示す情報を出力する。また、検知部１３は、上記情報を履歴テーブル１２２に記録する。

図９～図１１に示される一連の処理により、検知装置１０は、回路規模の増大を抑えながら、オプティカルフローを適切に検出できる。

なお、検知装置１０を用いて、カメラ２０の不具合を検知することもできる。以降において、検知装置１０を用いてカメラ２０の不具合を検知する方法について説明する。

図１２は、本実施の形態に係るカメラの不具合の検知の方法を示す概念図である。

図１２の（ａ）および（ｂ）に示されるフレームは、検知装置１０に入力される複数のフレームのうちの連続した２つのフレームである。図１２の（ａ）および（ｂ）に示されるフレームにおいて抽出される特徴点がプラス記号（＋）によって示されている。

図１２の（ａ）に示されるフレームに含まれる特徴点と、図１２の（ｂ）に示されるフレームに含まれる特徴点との位置は異なるが、両フレームで共通の位置に位置する領域３０には、特徴点が抽出されていない。

このように、撮影された時刻が異なる複数のフレームのうちの共通の位置に位置する領域３０に特徴点が抽出されない現象は、カメラの撮像素子、光学系、レンズなどに故障などの不具合が発生した場合、又は、レンズに泥などの汚れが付着した場合などに生じ得る。

検知部１３は、このように、複数のフレームのうち、時間的に連続した所定数のフレームにおける共通の位置に位置する所定の寸法を有する領域に特徴点が抽出されないことが検知された場合には、通知処理を実行するようにしてもよい。通知処理は、例えば、カメラの撮像素子などに故障などの不具合が発生した、又は、レンズに汚れが付着したことを、車両の運転手または管理者に通知し、又は、情報として記憶装置に記憶する処理を含む。車両の管理者に通知する際には、検知装置がネットワークインタフェース（不図示）を備える場合にはネットワークを介して通知することも可能である。

（実施の形態の変形例）
本変形例において、回路規模の増大を抑えながら、オプティカルフローを適切に検出できる検知装置について、別の形態を説明する。

図１３は、本変形例に係る検知装置１０Ａの構成を示す模式図である。

図１３に示されるように、検知装置１０Ａは、取得部１１Ａと、検出部１２Ａと、検知部１３Ａとを備える。

取得部１１Ａは、時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得する。

検出部１２Ａは、取得部１１Ａが取得した履歴を用いて、複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する。具体的には、検出部１２Ａは、（ａ）複数のフレームのうちの第一フレームより時間的に１つ前の第二フレームから第一フレームまでの特徴点の変位を、上記変位として検出する。また、検出部１２Ａは、（ｂ）上記（ａ）で検出した変位の大きさが、予め定められた下限値より小さいと判定した場合に、複数のフレームのうちの第二フレームより時間的に前の第三フレームから第一フレームまでの特徴点の変位を、新たに、上記変位として検出する。

検知部１３Ａは、検出部１２Ａが検出した変位を用いて物体の検知処理を実行する。

図１４は、本変形例に係る検知装置による検知方法を示すフロー図である。

図１４に示されるように、ステップＳ１（取得ステップ）において、時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得する。

ステップＳ２（検出ステップ）において、取得ステップで取得した履歴を用いて、複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する。具体的には、検出ステップでは、（ａ）複数のフレームのうちの第一フレームより時間的に１つ前の第二フレームから第一フレームまでの特徴点の変位を、上記変位として検出する。また、（ｂ）上記（ａ）で検出した変位の大きさが、予め定められた下限値より小さいと判定した場合に、複数のフレームのうちの第二フレームより時間的に前の第三フレームから第一フレームまでの特徴点の変位を、新たに、上記変位として検出する。

ステップＳ３（検知ステップ）において、検出ステップで検出した変位を用いて物体の検知処理を実行する。

これにより、回路規模の増大を抑えながら、オプティカルフローを適切に検出できる。

なお、上記実施の形態および変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および各変形例の情報処理装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得する取得ステップと、前記取得ステップで取得した前記履歴を用いて、前記複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する検出ステップと、前記検出ステップで検出した前記変位を用いて物体の検知処理を実行する検知ステップとを含み、前記検出ステップでは、（ａ）前記複数のフレームのうちの前記第一フレームより時間的に１つ前の第二フレームから前記第一フレームまでの特徴点の変位を、前記変位として検出し、（ｂ）前記（ａ）で検出した前記変位の大きさが、予め定められた下限値より小さいと判定した場合に、前記複数のフレームのうちの前記第二フレームより時間的に前の第三フレームから前記第一フレームまでの前記特徴点の変位を、新たに、前記変位として検出する検知方法を実行させるプログラムである。

また、このプログラムは、コンピュータに、時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得する取得ステップと、前記取得ステップで取得した前記履歴を用いて、前記複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する検出ステップと、前記検出ステップで検出した前記変位を用いて物体の検知処理を実行する検知ステップとを含み、前記検出ステップでは、前記複数のフレームのうちの最も過去のフレームから前記第一フレームまでの特徴点の変位を、前記変位として検出する検知方法を実行させるプログラムである。

以上、一つまたは複数の態様に係る情報処理装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、オプティカルフローを用いて物体の検知をする検知装置に利用可能である。

１０、１０Ａ 検知装置
１１ 入力部
１２ 管理部
１３、１３Ａ 検知部
２０ カメラ
３０ 領域
１１１ フレームメモリ
１２１、１１Ａ 取得部
１２３、１２Ａ 検出部
１２２、１２２Ａ 履歴テーブル
１２４ 判定部
１３１ 分類部
１３２ 静止物検知部
１３３ ３Ｄ復元部
１３４ 移動物検知部
ｆ１、ｆ２、ｆ３ フレーム
Ｓ 物体
ｐ１、ｐ２ 特徴点

Claims (10)

1. 時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得し、履歴情報として第一記憶装置に記憶する取得部と、
   前記第一記憶装置に記憶された前記履歴情報を用いて、前記複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する検出部と、
   前記検出部が検出した前記変位を用いて物体の検知処理を実行する検知部とを備え、
   前記検出部は、
   （ａ）前記複数のフレームのうちの前記第一フレームより時間的に１つ前の第二フレームから前記第一フレームまでの特徴点の変位を、前記変位として検出し、
   （ｂ）前記（ａ）で検出した前記変位の大きさが、予め定められた下限値より小さいと判定した場合に、前記複数のフレームのうちの前記第二フレームより時間的に前の第三フレームから前記第一フレームまでの前記特徴点の変位を、新たに、前記変位として検出する
   検知装置。
2. 前記検出部は、前記（ｂ）において、
   前記複数のフレームを前記第二フレームから時間的に遡るときに前記特徴点の変位の大きさが前記下限値以上になる最初のフレームを前記第三フレームとして用いて、前記変位を検出する
   請求項１に記載の検知装置。
3. 前記検知処理は、前記物体の３Ｄ復元処理を含み、
   前記検出部は、前記第二フレームから時間的に遡るときには、前記複数のフレームのうち、前記物体の前記３Ｄ復元処理において３Ｄ復元が失敗したフレームを除外した複数のフレームを遡る
   請求項２に記載の検知装置。
4. 前記検知装置は、さらに、
   前記検知部が実行した前記検知処理により得られた前記物体の位置の妥当性を判定する
   判定部を備え、
   前記検出部は、前記第二フレームから時間的に遡るときには、前記複数のフレームのうち、前記物体の位置が妥当でないと前記判定部により判定されたフレームを除外した複数のフレームを遡る
   請求項２または３に記載の検知装置。
5. 前記検知部は、さらに、
   前記複数のフレームのうち、時間的に連続した所定数のフレームにおける共通の位置に位置する所定の寸法を有する領域に特徴点が抽出されないことが検知された場合には、通知処理を実行する
   請求項１～４のいずれか１項に記載の検知装置。
6. 前記検知装置は、さらに、
   一のフレームのみが格納され得る第二記憶装置を有し、前記検知装置に入力されるフレームを前記取得部に提供するとともに、前記第二記憶装置に格納する入力部を備え、
   前記取得部は、
   前記複数のフレームに含まれる、時間的に連続した２つのフレームである直前フレームおよび現在フレームがこの順に前記検知装置に入力されたときに、前記入力部から前記現在フレームを取得し、かつ、前記第二記憶装置に記憶されている前記直前フレームを読み出し、前記第二記憶装置から読み出した前記直前フレームと、取得した前記現在フレームとに共通に含まれる特徴点を利用して、前記履歴を取得する
   請求項１～５のいずれか１項に記載の検知装置。
7. 時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得し、履歴情報として第一記憶装置に記憶する取得部と、
   前記第一記憶装置に記憶された前記履歴情報を用いて、前記複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する検出部と、
   前記検出部が検出した前記変位を用いて物体の検知処理を実行する検知部とを備え、
   前記検出部は、
   前記複数のフレームのうちの最も過去のフレームから前記第一フレームまでの特徴点の変位を、前記変位として検出する
   検知装置。
8. 時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得し、履歴情報として第一記憶装置に記憶する取得ステップと、
   前記第一記憶装置に記憶された前記履歴情報を用いて、前記複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する検出ステップと、
   前記検出ステップで検出した前記変位を用いて物体の検知処理を実行する検知ステップとを含み、
   前記検出ステップでは、
   （ａ）前記複数のフレームのうちの前記第一フレームより時間的に１つ前の第二フレームから前記第一フレームまでの特徴点の変位を、前記変位として検出し、
   （ｂ）前記（ａ）で検出した前記変位の大きさが、予め定められた下限値より小さいと判定した場合に、前記複数のフレームのうちの前記第二フレームより時間的に前の第三フレームから前記第一フレームまでの前記特徴点の変位を、新たに、前記変位として検出する
   検知方法。
9. 時間的に連続する複数のフレームそれぞれに含まれている特徴点ごとの位置の履歴を取得し、履歴情報として第一記憶装置に記憶する取得ステップと、
   前記第一記憶装置に記憶された前記履歴情報を用いて、前記複数のフレームのうちの第一フレームに含まれる特徴点の変位を検出する検出ステップと、
   前記検出ステップで検出した前記変位を用いて物体の検知処理を実行する検知ステップとを含み、
   前記検出ステップでは、
   前記複数のフレームのうちの最も過去のフレームから前記第一フレームまでの特徴点の変位を、前記変位として検出する
   検知方法。
10. 請求項８または９に記載された検知方法をコンピュータに実行させるためのプログラム。

Images