JPWO2018051459A1 - 物体検出装置および物体検出方法 - Google Patents

Abstract

画像特徴マップ生成部（３）が、カメラ（１０９）により連続して撮影された複数の画像から抽出した特徴量に基づいて、画像上の物体らしさの推定分布である画像特徴マップを生成する。物体検出部（４）が、画像特徴マップ生成部（３）により生成された画像特徴マップに基づいて物体を検出する。

Description

この発明は、カメラにより撮影された動画から物体を検出する物体検出装置および物体検出方法に関する。

カメラにより撮影された動画から物体を検出する技術としては、例えば、特許文献１に記載される物体検出装置が挙げられる。この装置では、物体が存在しない標準的な環境で想定される画面のオプティカルフローを生成し、カメラによって実際に撮影された動画に基づくオプティカルフローを生成して両者の差異に基づいて物体を検出している。
なお、オプティカルフローは、異なる時間に撮影された連続するフレーム画像間で対応付けられた同じ物体の移動量をベクトルで表した情報である。

特開２００７−３３４８５９号公報

オプティカルフローでは、物体の位置がカメラから遠くなるにつれて撮影画像における物体の画素数が少なくなるので、物体の移動量を表すベクトルの絶対値が小さくなる。
このため、カメラから遠方の位置にある物体の画像に基づくオプティカルフローを使用した場合、物体が存在しない画像から得られたオプティカルフローとの差異が正確に得られず、物体を精度よく検出できない。すなわち、特許文献１に記載の物体検出装置では、カメラから遠方の位置にある物体を精度よく検出できないという課題があった。

この発明は上記課題を解決するもので、カメラの近傍から遠方に至るまでの範囲で物体を精度よく検出することができる物体検出装置および物体検出方法を得ることを目的とする。

この発明に係る物体検出装置は、画像特徴マップ生成部および物体検出部を備える。
この構成において、画像特徴マップ生成部は、カメラにより連続して撮影された複数の画像から抽出した特徴量に基づいて、画像上の物体らしさの推定分布を表す画像特徴マップを生成する。物体検出部は、画像特徴マップ生成部により生成された画像特徴マップに基づいて物体を検出する。

この発明によれば、画像上の物体らしさの推定分布に基づいて物体を検出するので、カメラにより撮影されたカメラの近傍から遠方に至るまでの範囲で物体を精度よく検出することができる。

この発明の実施の形態１に係る物体検出装置の機能構成を示すブロック図である。 実施の形態１に係る物体検出装置のハードウェア構成を示すブロック図である。 実施の形態１に係る物体検出装置の動作を示すフローチャートである。 図３のステップＳＴ４およびステップＳＴ５の処理の具体例を示すフローチャートである。 顕著性マップの生成処理を示すフローチャートである。 この発明の実施の形態２に係る物体検出装置の機能構成を示すブロック図である。 実施の形態２に係る物体検出装置のハードウェア構成を示すブロック図である。 実施の形態２に係る物体検出装置の動作を示すフローチャートである。 図８のステップＳＴ５ｃおよびステップＳＴ７ｃの処理の具体例を示すフローチャートである。 車両から移動体までの距離と一致率との関係を示すグラフである。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る物体検出装置１の機能構成を示すブロック図である。物体検出装置１は、カメラにより撮影された動画から物体を検出する。検出対象の物体は、人、車両などの移動体であってもよく、標識などの静止物体であってもよい。
また、物体検出装置１は、図１に示すように動画撮影部２、画像特徴マップ生成部３、物体検出部４および物体認識部５を備える。

動画撮影部２は、カメラによって撮影された動画データを取得する。また、動画データは、カメラにより連続して撮影された複数の画像による画像列であり、時系列に並んだ個々の画像がフレーム画像である。
なお、カメラは、予め決められた位置に固定して設けられた固定カメラであってもよいが、車両などの移動体に搭載されたカメラであってもよい。

画像特徴マップ生成部３は、カメラにより撮影された動画データから抽出した特徴量に基づいて画像特徴マップを生成する。画像特徴マップは、画像上の物体らしさの推定分布を表すマップである。ここで、物体らしさとは、例えば、物体または何らかの対象であることの度合いである。

例えば、画像特徴マップ生成部３は、フレーム画像を段々に縮小することによって画像サイズが異なる複数の画像からなる画像ピラミッドを生成する。続いて、画像特徴マップ生成部３は、画像ピラミッドにおけるそれぞれの画像から、当該画像上の画像特徴の特徴量を抽出し、抽出した特徴量を２次元座標系にマッピングする。このマップが、当該画像における物体らしさの推定分布を示す画像特徴マップである。

物体検出部４は、画像特徴マップ生成部３により生成された画像特徴マップに基づいて物体を検出する。例えば、物体検出部４は、画像特徴マップを用いて画像上の物体を検出する。物体認識部５は、物体検出部４によって検出された物体を認識する。例えば、物体認識部５は、物体検出部４により検出された物体の形状などに基づいて物体の属性を認識する。

図１では、物体検出装置１が動画撮影部２を備える場合を示したが、動画撮影部２は、カメラ自体が備える構成であってもよい。
また、物体認識部５についても、物体検出装置１が備えずに、物体検出装置１の後段に接続された外部装置が備える構成であってもよい。
すなわち、物体検出装置１は、画像特徴マップ生成部３と物体検出部４とを少なくとも備えていればよい。

図２は、物体検出装置１のハードウェア構成を示すブロック図である。図２において、図１に示した動画撮影部２は、カメラインタフェース１０６を介して、カメラ１０９により撮影された画像列を取り込んで、データＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０１に格納する。図１に示した画像特徴マップ生成部３は、データＲＯＭ１０１に格納された画像列を用いて画像特徴マップを生成し、生成した画像特徴マップをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３に格納する。

図１に示した物体検出部４は、ＲＡＭ１０３に格納されている画像サイズが異なる複数の画像のそれぞれに対応する推定分布を用いて物体を検出する。物体の検出結果は、ディスクコントローラ１０４を介して外部メモリ１０７に保存されるか、あるいは、ディスプレイコントローラ１０５を介して表示デバイス１０８に表示される。
また、図１に示した物体認識部５は、物体検出部４によって検出された物体の属性を認識する。物体の属性には、例えば、車両、人または二輪車といった種別が挙げられる。
なお、物体認識結果は、ディスクコントローラ１０４を介して外部メモリ１０７に保存されるか、あるいはディスプレイコントローラ１０５を介して表示デバイス１０８に表示される。

なお、ディスクコントローラ１０４、ディスプレイコントローラ１０５、カメラインタフェース１０６、外部メモリ１０７、表示デバイス１０８およびカメラ１０９は、物体検出装置１が備えていなくてもよい。すなわち、これらの装置は、物体検出装置１とは別に設けられて、物体検出装置１からデータの入出力が可能な外部装置が備えていてもよい。

なお、物体検出装置１における画像特徴マップ生成部３と物体検出部４との各機能は、処理回路により実現される。すなわち、物体検出装置１は、カメラによって連続して撮影された複数の画像から抽出した特徴量に基づいて画像特徴マップを生成し、画像特徴マップに基づいて物体を検出するための処理回路を備える。処理回路は、専用のハードウェアであってもよく、プログラムＲＯＭ１０２に格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００であってもよい。

処理回路がハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＩＳＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。
また、画像特徴マップ生成部３および物体検出部４の各機能をそれぞれ処理回路で実現してもよいし、各機能をまとめて１つの処理回路で実現してもよい。

処理回路が、ＣＰＵ１００である場合、画像特徴マップ生成部３および物体検出部４の各機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアは、プログラムとして記述され、プログラムＲＯＭ１０２に格納される。ＣＰＵ１００は、プログラムＲＯＭ１０２に格納されたプログラムを読み出して実行することにより、各機能を実現する。
すなわち、物体検出装置１は、処理回路により実行されるときに画像特徴マップを生成するステップ、画像特徴マップに基づいて物体を検出するステップが結果的に実行されるプログラムを格納するためのメモリを備えている。
また、これらのプログラムは画像特徴マップ生成部３および物体検出部４の手順または方法をコンピュータに実行させるものである。

ここで、メモリとは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などが該当する。

また、画像特徴マップ生成部３および物体検出部４の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、画像特徴マップ生成部３は、専用のハードウェアの処理回路でその機能を実現し、物体検出部４については、ＣＰＵ１００がプログラムＲＯＭ１０２に格納されたプログラム実行することにより、その機能を実現する。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって前述の機能を実現することができる。

次に動作について説明する。
図３は、物体検出装置１の動作を示すフローチャートであって、物体を検出するまでの一連の処理を示している。
動画撮影部２は、カメラ１０９により撮影された動画データを取り込む（ステップＳＴ１）。カメラ１０９による撮影が終了した場合（ステップＳＴ２；ＹＥＳ）、図３に示す一連の処理は終了する。すなわち、動画撮影部２による動画データの取り込みは、カメラ１０９による撮影が終了するまで続けられる。例えば、物体検出装置１が、車載カメラを利用した車両検出装置である場合、車両が走行している間、車載カメラによる車外の撮影が継続される。

画像特徴マップ生成部３は、カメラ１０９による撮影が終了していない場合（ステップＳＴ２；ＮＯ）、動画撮影部２が取り込んだ画像列を入力して、画像列中のフレーム画像を段々に縮小して画像ピラミッドを生成する（ステップＳＴ３）。ステップＳＴ３の処理は、画像列中のフレーム画像の数分繰り返し行われる。

次に、画像特徴マップ生成部３は、画像ピラミッドにおける画像サイズの異なる複数の画像から特徴量をそれぞれ抽出して画像ごとに画像特徴マップを生成する（ステップＳＴ４）。ステップＳＴ４の処理は、画像ピラミッドの数分繰り返し行われる。

物体検出部４は、画像ピラミッドにおける画像ごとに得られた画像特徴マップを１つのフレーム画像における推定結果として統合し、統合した結果に基づいて物体を検出する（ステップＳＴ５）。このようにして得られた物体の検出結果は、物体検出部４から物体認識部５に出力され、物体認識部５によって物体の属性などが認識される。

ここで、画像特徴マップに基づいた物体検出について詳細に説明する。
図４は、図３のステップＳＴ４およびステップＳＴ５の各処理の具体例を示すフローチャートである。
まず、画像特徴マップ生成部３は、動画撮影部２が取り込んだ画像列中のフレーム画像を取得し（ステップＳＴ１ａ）、上記画像列から同じフレーム画像を取得して反転させる（ステップＳＴ２ａ）。ここで、反転とは、フレーム画像における明度を反転させることを言う。すなわち、画像における暗い部分は明るい部分に変換され、明るい部分は暗い部分に変換される。

次に、画像特徴マップ生成部３は、取得したフレーム画像を段々に縮小して画像ピラミッドを生成し、さらに、反転させたフレーム画像を段々に縮小して画像ピラミッドを生成する。続いて、画像特徴マップ生成部３は、反転させていないフレーム画像についての画像ピラミッドから顕著性マップを生成し（ステップＳＴ３ａ）、反転させたフレーム画像についての画像ピラミッドから顕著性マップを生成する（ステップＳＴ４ａ）。

ここで、顕著性マップとは、画像上で周囲領域とは異なる顕著な領域をマップで表したものである。また、上記の周囲領域は、人の視覚モデルに基づいて当該画像上で人が注視すると考えられる領域である。ここで、顕著な領域は、物体らしさの推定分布に相当し、顕著性マップは、画像特徴マップの具体例と言える。

次に、物体検出部４は、画像ピラミッドにおける画像ごとに得られた顕著性マップを、１つのフレーム画像における推定結果として統合する。この処理は、反転させていないフレーム画像についての画像ピラミッドで得られた顕著性マップと、反転させたフレーム画像についての画像ピラミッドで得られた顕著性マップとの両方で行われ、さらにこれらも統合される。

続いて、物体検出部４は、顕著性マップの画像特徴と画像特徴に関する閾値とを比較して、閾値より大きい特徴量を有する領域があるか否かを判定する（ステップＳＴ５ａ）。
ここで、顕著性マップに閾値より大きい特徴量を有する領域がなければ（ステップＳＴ５ａ；ＮＯ）、物体が検出されなかったと判断されて処理が終了する。

顕著性マップに閾値より大きい特徴量を有する領域があった場合（ステップＳＴ５ａ；ＹＥＳ）、物体検出部４は、この領域を検出対象の物体がある領域として検出する（ステップＳＴ６ａ）。この後、物体検出部４は、このようにして抽出された領域をグルーピングして物体の検出領域として物体認識部５に出力する。

ここで、前述した顕著性マップの生成処理について詳細に説明する。
図５は、顕著性マップの生成処理を示すフローチャートである。
まず、画像特徴マップ生成部３は、処理対象の画像を、人の色の知覚レベルを近似して設計されたＬａｂ空間に変換する（ステップＳＴ１ｂ）。
続いて、画像特徴マップ生成部３は、Ｌａｂ空間に変換した画像の平均色を算出する（ステップＳＴ２ｂ）。この平均色が、この画像の代表色となる。

次に、画像特徴マップ生成部３は、Ｌａｂ空間に変換した画像にＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）フィルタを適用する（ステップＳＴ３ｂ）。これにより、ＤｏＧフィルタにおけるスケールの異なるガウシアンフィルタが当該画像の画素値に対してそれぞれ適用され、これらの差分が得られる。

人の知覚系において、網膜細胞は、中心とその周囲との差から光の強度およびエッジの方向性を知覚することが知られている。ＤｏＧフィルタは、このような網膜細胞の働きを画像処理で模したものである。

ＤｏＧフィルタにおけるガウシアンフィルタのうち、スケールの小さい方が適用されると高解像度の画像が得られるが、スケールの大きな方が適用されると、低解像度となってぼやけた画像が得られる。両画像間の画素値の差分をとることは、注目画素とその周辺画素との間で画素値の差分をとることを意味しており、周囲画素に比べて変化の大きい画像を求めることが可能となる。

続いて、画像特徴マップ生成部３は、ＤｏＧフィルタを適用した画像の色と、ステップＳＴ２ｂで算出した平均色との差分を算出する（ステップＳＴ４ｂ）。これにより、平均色からのずれ幅が大きい顕著な領域が残され、この領域の周辺領域の代表色を除くことができる。このようにステップＳＴ４ｂにおいては、画像全体に対する大域的な顕著箇所が求められる。
なお、前述したＤｏＧフィルタの処理では解像度が異なる画像が得られればよいので、ガウシアンフィルタに限らず、例えば画像を異なるサイズにリサイズしてから元のサイズに復元する処理を行ってもよい。

次に、画像特徴マップ生成部３は、ステップＳＴ４ｂで処理した画像に対して、適応的二値化フィルタを適用する（ステップＳＴ５ｂ）。適応的二値化フィルタでは、画像全体が閾値で二値化されるのではなく、画素ごとに決めた閾値によって画素がフィルタリングされる。これにより、当該画像におけるそれぞれの画素が画素ごとの閾値と比較されて、画素値が閾値よりも大きい画素が抽出される。
なお、画素ごとの閾値は、対象の画素の近傍における明るさ情報に基づいて決定され、対象の画素の近傍が明るい場合には高い閾値が設定され、対象の画素の近傍が暗い場合は低い閾値が設定される。

次に、画像特徴マップ生成部３は、ステップＳＴ５ｂで抽出した顕著な画素群に対してガウシアンフィルタを適用することで、顕著な画素群による領域をマップとして求める（ステップＳＴ６ｂ）。そして、画像特徴マップ生成部３は、上記マップを二値化する（ステップＳＴ７ｂ）。物体検出部４は、このように二値化されたマップに基づいて物体を検出する。

なお、ステップＳＴ５ｂでは、ステップＳＴ４ｂで得られた顕著箇所からさらに局所的な顕著画素が絞り込まれる。これにより、画素に含まれる局所的な輝度変化に頑健でかつ周囲と異なる模様を有したエッジ成分を特定することが可能となる。
また、図４のステップＳＴ１ａにおいて反転させていない画像を使用し、ステップＳＴ２ａにおいて反転させた画像を使用するので、注目画素の周囲領域が明るい場合における暗い顕著点と、注目画素の周囲領域が暗い場合における明るい顕著点とが同様に抽出することができる。

以上のように、実施の形態１に係る物体検出装置１が、画像特徴マップ生成部３および物体検出部４を備える。この構成において、画像特徴マップ生成部３が、カメラ１０９により連続して撮影された複数の画像から抽出した特徴量に基づいて、画像上の物体らしさの推定分布を表す画像特徴マップを生成する。物体検出部４は、画像特徴マップ生成部３により生成された画像特徴マップに基づいて物体を検出する。
このように構成することで、画像上の物体らしさの推定分布に基づいて物体が検出されるので、カメラ１０９により撮影されたカメラ１０９の近傍から遠方に至るまでの範囲で物体を精度よく検出することができる。

物体検出装置１は、画像中の人の目につきやすい物体の領域を検出するので、例えば、看板検出、人検出、欠陥検出または車両検出に効果がある。
看板の文字は、視認性を高めるために、文字の背景部分とは異なる色で記載されている場合が多い。このため、文字部分は、物体検出装置１によって背景部分とは異なる顕著な領域として検出されやすい。

また、物体検出装置１は、背景の模様（テクスチャ）を検出せず、周囲と異なる顕著な領域を検出する。従って、人検出では、人の服装が背景と同化していない限り、人の服装が背景と異なる顕著な領域となって検出される。
さらに、物体検出装置１を用いれば、例えば、工場の搬送ライン上の部品を検出して、その数を計測することができ、物体認識部５によって認識された部品形状から部品の成形結果を判別することもできる。

構造物のひび割れなどを検出する場合、従来では、構造物の補修跡または構造物が元々有する模様なども検出されるので、これらとひび割れとを区別する処理が必要であった。
これに対して、物体検出装置１では、背景に含まれる模様は検出されないため、構造物のひび割れを容易に検出することができる。

また、物体検出装置１は、ドライブレコーダに使用されるカメラなどの車載カメラからの動画データに基づいて他の車両を検出することも可能である。この場合、画像中の背景領域とは異なる色および形状を有する物体の領域が、車両の領域として検出される。

実施の形態２．
図６は、この発明の実施の形態２に係る物体検出装置１Ａの機能構成を示すブロック図である。図６において、図１と同一の構成要素には同一の符号を付して説明を省略する。
物体検出装置１Ａでは、オプティカルフローの信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とが行われる。
また、物体検出装置１Ａは、図６に示すように、動画撮影部２、画像特徴マップ生成部３、物体検出部４Ａ、物体認識部５、オプティカルフロー算出部６、信頼度算出部７およびノイズ除去部８を備える。

オプティカルフロー算出部６は、カメラにより撮影された動画データのフレーム画像間におけるオプティカルフローを算出する。
オプティカルフローは、フレーム画像間で対応付けられた同じ物体の移動量をベクトルで表した情報であり、ベクトルは画素単位で算出される。
なお、オプティカルフローは、物体の時間方向の移動情報だけでなく、空間的な連続性を考慮することで、物体の形状を特徴として反映したベクトル表記が可能である。

信頼度算出部７は、オプティカルフローの信頼度を算出する。例えば、フレーム画像間における物体の移動量を示すベクトルの大きさ、すなわち、スカラ値が信頼度として算出される。カメラの遠方にある物体は、カメラによって撮影された画像上の見かけの動きが小さくなるので、スカラ値も小さくなる。

ノイズ除去部８は、オプティカルフローのうち、カメラの移動方向に沿った方向のオプティカルフローをノイズとして除去する。例えば、車両にカメラが搭載されている場合、カメラにより撮影された画像から得られるオプティカルフローは、車両の進行方向に観測されるものが支配的となる。この方向のオプティカルフローは物体の背景領域に含まれるものであり、これに反する方向のオプティカルフローは、前景、すなわち物体がある領域に含まれるものと考えることができる。そこで、ノイズ除去部８は、この背景領域に含まれるオプティカルフローを除去する。

物体検出部４Ａは、オプティカルフローの信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とを行う。例えば、物体検出部４Ａは、カメラにより撮影された画像上の領域のうち、オプティカルフローのスカラ値が閾値よりも高い領域ではオプティカルフローに基づいた物体検出を行い、上記スカラ値が閾値以下の領域では画像特徴マップに基づいた物体検出を行う。
なお、オプティカルフローに基づいた物体検出は、前述したように、物体が存在しない標準的な環境で想定される画面のオプティカルフローと、カメラによって実際に撮影された動画に基づくオプティカルフローとの差異に基づいて物体を検出するものである。
また、画像特徴マップに基づいた物体検出は実施の形態１で説明した物体検出である。

図６では物体検出装置１Ａが動画撮影部２を備える場合を示したが、動画撮影部２は、カメラ自体が備える構成であってもよい。
また、物体認識部５についても、物体検出装置１Ａが備えずに物体検出装置１Ａの後段に接続された外部装置が備える構成であってもよい。
さらに、ノイズ除去部８は、物体検出部４Ａの１つの機能であってもよい。
すなわち、物体検出装置１Ａは、画像特徴マップ生成部３、物体検出部４Ａ、オプティカルフロー算出部６および信頼度算出部７を少なくとも備えていればよい。

図７は、物体検出装置１Ａのハードウェア構成を示すブロック図である。
図７において、図６に示した動画撮影部２は、カメラインタフェース２０６を介して、カメラ２０９により撮影された画像列を取り込んで、データＲＯＭ２０１に格納する。
図６に示したオプティカルフロー算出部６は、データＲＯＭ２０１に格納された画像列をＲＡＭ２０３に展開し、フレーム画像間における物体の動きベクトルを画素単位で算出する。図６に示した信頼度算出部７は、ＲＡＭ２０３に展開されたオプティカルフローであるベクトルの絶対値（スカラ値）を算出する。

図６に示したノイズ除去部８は、ＲＡＭ２０３に展開されている画像のうち、背景領域に含まれるオプティカルフローを除去し、前景となる物体の領域に含まれるオプティカルフローをＲＡＭ２０３に保持する。なお、ＲＡＭ２０３には、物体の領域に含まれる複数のオプティカルフローが時系列に保持されるので、オプティカルフローの方向が安定していることが保証される。

図６に示した画像特徴マップ生成部３は、データＲＯＭ２０１に格納された画像列を用いて画像特徴マップを生成し、生成した画像特徴マップをＲＡＭ２０３に格納する。
図６に示した物体検出部４Ａは、ＲＡＭ２０３に格納されているオプティカルフローに基づく物体検出と、画像特徴マップに基づく物体検出を行う。
また、図６に示した物体認識部５は、物体検出部４Ａによって検出された物体の属性を認識する。物体の属性には、例えば、車両、人または二輪車といった種別が挙げられる。
なお、物体検出結果は、ディスクコントローラ２０４を介して外部メモリ２０７に保存されるか、あるいはディスプレイコントローラ２０５を介して表示デバイス２０８に表示される。

物体検出部４Ａによる物体の検出結果と物体認識部５による物体の認識結果とは、車体制御部２１０に出力される。ここで、車体制御部２１０とは、図６における物体認識部５の後段に設けられる装置であり、ブレーキ２１１とステアリング２１２とを制御する。
例えば、車体制御部２１０は、物体検出装置１Ａにより検出された物体と車両との衝突を回避する場合、ブレーキ２１１とステアリング２１２とを制御して衝突を回避する運転操作を行う。また、車体制御部２１０は、物体認識部５によって認識された物体の属性から、この物体と車両との関係で最適な運転行動を決定し、ブレーキ２１１とステアリング２１２とを制御して当該運転行動を行う。

なお、ディスクコントローラ２０４、ディスプレイコントローラ２０５、カメラインタフェース２０６、外部メモリ２０７、表示デバイス２０８およびカメラ２０９は、物体検出装置１Ａが備えていなくてもよい。すなわち、これらの装置は、物体検出装置１Ａとは別に設けられて、物体検出装置１Ａからデータの入出力が可能な外部装置が備えていてもよい。

なお、物体検出装置１Ａにおける画像特徴マップ生成部３、物体検出部４Ａ、オプティカルフロー算出部６および信頼度算出部７の各機能は、処理回路により実現される。
すなわち、物体検出装置１Ａは、上記各機能による動作を行うための処理回路を備えている。処理回路は、専用のハードウェアであってもよく、プログラムＲＯＭ２０２に格納されたプログラムを実行するＣＰＵ２００であってもよい。

処理回路がハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＩＳＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。
また、画像特徴マップ生成部３、物体検出部４Ａ、オプティカルフロー算出部６および信頼度算出部７の各機能をそれぞれ処理回路で実現してもよいし、各機能をまとめて１つの処理回路で実現してもよい。

処理回路が、ＣＰＵ２００である場合、画像特徴マップ生成部３、物体検出部４Ａ、オプティカルフロー算出部６および信頼度算出部７の各機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。
ソフトウェアおよびファームウェアは、プログラムとして記述され、プログラムＲＯＭ２０２に格納される。ＣＰＵ２００は、プログラムＲＯＭ２０２に格納されたプログラムを読み出して実行することにより、各機能を実現する。すなわち、物体検出装置１Ａは、上記各機能による動作が結果的に実行されるプログラムを格納するためのメモリを備えている。また、これらのプログラムは、画像特徴マップ生成部３、物体検出部４Ａ、オプティカルフロー算出部６および信頼度算出部７の手順または方法をコンピュータに実行させるものである。

メモリとは、実施の形態１と同様に、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

また、画像特徴マップ生成部３、物体検出部４Ａ、オプティカルフロー算出部６および信頼度算出部７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、画像特徴マップ生成部３は、専用のハードウェアの処理回路でその機能を実現し、物体検出部４Ａ、オプティカルフロー算出部６および信頼度算出部７については、ＣＰＵ２００がプログラムＲＯＭ２０２に格納されたプログラム実行することにより、その機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって前述の機能を実現することができる。

次に動作について説明する。
図８は、物体検出装置１Ａの動作を示すフローチャートであり、物体を検出するまでの一連の処理を示している。
まず、動画撮影部２は、カメラ２０９により撮影された動画データを取り込む（ステップＳＴ１ｃ）。ここで、カメラ２０９は移動可能な状態であるものとする。この状態は、例えば、カメラ２０９が車載カメラであり、車両とともにカメラ２０９が移動可能であることを意味する。なお、カメラ２０９は、動画を撮影しているときに移動していなくてもよい。

カメラ２０９による撮影が終了すると（ステップＳＴ２ｃ；ＹＥＳ）、図８に示す一連の処理は終了する。すなわち、動画撮影部２による動画データの取り込みは、カメラ２０９による撮影が終了するまで続けられる。
オプティカルフロー算出部６は、カメラ２０９による撮影が終了していない場合（ステップＳＴ２ｃ；ＮＯ）、動画撮影部２により取り込まれた画像列中のフレーム画像間におけるオプティカルフローを画素ごとに算出する（ステップＳＴ３ｃ）。例えば、密なオプティカルフロー（Ｄｅｎｓｅ Ｏｐｔｉｃａｌ Ｆｌｏｗ）を算出する。

次に、信頼度算出部７が、オプティカルフローのスカラ値を信頼度として算出する。
カメラ２０９の遠方にある物体は、カメラ２０９によって撮影された画像上の見かけの動きが小さくなるのでスカラ値も小さくなる。また、カメラ２０９を搭載する車両と等速に移動している物体から算出されたオプティカルフローのスカラ値は、非常に小さい。

信頼度算出部７は、オプティカルフローのスカラ値と閾値とを比較することによって、閾値よりもスカラ値が大きいか否かを判定する（ステップＳＴ４ｃ）。
上記閾値としては、オプティカルフローにおける動きベクトルの絶対値を使用した判別分析法によって、画像上の領域を移動体のある領域とそれ以外の領域とに適切に分離可能な値を適応的に決定する。

スカラ値が閾値よりも大きい場合（ステップＳＴ４ｃ；ＹＥＳ）、信頼度算出部７は、画像上の領域のうち、このスカラ値のオプティカルフローが得られた領域のオプティカルフローの信頼度が高いと判定する。この判定結果は、信頼度算出部７からノイズ除去部８に通知される。ノイズ除去部８は、この通知を受けると、オプティカルフローの信頼度が高い領域におけるオプティカルフローのうち、背景領域のオプティカルフローをノイズとして除去する（ステップＳＴ５ｃ）。

一方、スカラ値が閾値以下の場合（ステップＳＴ４ｃ；ＮＯ）、信頼度算出部７は、画像上の領域のうち、このスカラ値のオプティカルフローが得られた領域のオプティカルフローの信頼度が低いと判定する。この判定結果は、信頼度算出部７から画像特徴マップ生成部３に通知される。画像特徴マップ生成部３は、実施の形態１で示した図４および図５の処理と同様にして画像特徴マップを生成する（ステップＳＴ６ｃ）

物体検出部４Ａは、画像上の領域のうち、オプティカルフローの信頼度が高い領域ではオプティカルフローに基づいた物体検出を行い、オプティカルフローの信頼度が低い領域では画像特徴マップに基づいた物体検出を行う（ステップＳＴ７ｃ）。
このようにして得られた物体の検出結果は、物体検出部４Ａから物体認識部５に出力され、物体認識部５によって物体の属性などが認識される。

ここで、ノイズ除去部８によるノイズ除去処理について詳細に説明する。
図９は、図８のステップＳＴ５ｃおよびステップＳＴ７ｃの処理の具体例を示すフローチャートである。
まず、ノイズ除去部８は、オプティカルフローの方向成分に基づいて画像中の背景領域を分離する（ステップＳＴ１ｄ）。
例えば、ノイズ除去部８は、ｋ−ｍｅａｎｓ法を用いることにより、フレーム画像を、支配的な方向のオプティカルフローを含む領域とこれに反する方向のオプティカルフローを含む領域とに分離する。ここでは、支配的な方向のオプティカルフローが含まれる領域を背景領域とし、これに反する方向のオプティカルフローが含まれる領域を前景領域としている。

次に、ノイズ除去部８は、背景領域に含まれるオプティカルフローを除去する（ステップＳＴ２ｄ）。例えば、ノイズ除去部８が、時系列に拡張された動的背景差分法に基づいて、背景領域に含まれるオプティカルフローを除去する。なお、動的背景差分法とは、時系列に並ぶフレーム画像から背景モデルを動的に生成して更新することで、背景領域には存在しない前景領域を求める方法である。

物体検出部４Ａは、ノイズ除去部８によりノイズが除去されたフレーム画像に含まれるオプティカルフローが安定して同一方向であるか否かを時系列に確認する（ステップＳＴ３ｄ）。例えば、物体検出部４Ａは、１つ前のフレーム画像であって前景領域のノイズが除去されたフレーム画像に対し、オプティカルフローの方向を利用して次のフレーム画像での前景領域の位置を推定する。この推定結果と実際の次のフレーム画像とを足し合わせることで、物体の存在箇所領域を時系列に推定する。物体検出部４Ａは、この補正処理を予め定められた繰り返し回数だけ実施する。

次に、物体検出部４Ａは、ステップＳＴ３ｄにて時系列位置データを補正した前景領域のオプティカルフローについて、そのベクトルの絶対値が閾値よりも大きいか否かを判定する（ステップＳＴ４ｄ）。ここで、ベクトルの絶対値が閾値以下である場合（ステップＳＴ４ｄ；ＮＯ）、物体検出部４Ａは、前景領域が移動体領域ではないと判定して処理を終了する。

一方、ベクトルの絶対値が閾値よりも大きい場合（ステップＳＴ４ｄ；ＹＥＳ）、物体検出部４Ａは、前景領域を移動体がある領域として検出する（ステップＳＴ５ｄ）。
次に、物体検出部４Ａは、このように抽出した領域をグルーピングして、移動体の検出領域として物体認識部５に出力する。

図１０は、車両から移動体までの距離と一致率との関係を示すグラフである。図１０において、横軸は、車両から移動体までの距離を示しており、縦軸は、移動体の正解位置と検出結果の位置との一致率を示している。
符号ａ１〜ａ３を付した結果が下記参考文献１に記載される従来の物体検出装置の結果であり、それ以外の結果が物体検出装置１Ａの結果である。
（参考文献１）橋口典男， 東野全寿， 上野大輔， 中野泰彦， “ コンバージェンスサービスを支えるセンシング技術 ”， ＦＵＪＩＴＳＵ技報， Ｖｏｌ． ６４， ｐｐ． ７４−８０， ２０１３．

上記参考文献に記載の物体検出装置は、オプティカルフロー算出結果に大きく依存するため、符号ａ１〜ａ３で示すように、車両の近傍位置でしか物体を検出できず、車両から遠方にある物体には反応できない。
これに対して、物体検出装置１Ａは、物体の動きに依存しない顕著性マップに基づいて遠方の物体を検出するので、車両から１００ｍ以上離れた物体でも安定して検出することが可能である。

なお、オプティカルフロー算出部６は、動画撮影部２により取り込まれた動画データが圧縮されている場合、その圧縮情報を利用してオプティカルフローを算出してもよい。
圧縮方法の中には、動画データの動き予測を前後のフレーム画像を利用して行う方法があり、この方法を利用すれば、勾配方向が類似した動き領域をブロック単位で抽出することが可能である。この動き情報を利用することで、移動している物体のみを抽出することができる。この場合、圧縮された動画データに動き情報が含まれているため、動画を解析して新たにオプティカルフローを算出する必要がない。これにより、演算負荷を低減することができる。

以上のように、実施の形態２に係る物体検出装置１Ａは、実施の形態１に係る物体検出装置１の構成に加えて、オプティカルフロー算出部６および信頼度算出部７を備える。
この構成において、物体検出部４Ａは、信頼度算出部７により算出された信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とを行う。例えば、カメラ２０９から遠方に物体がある場合、オプティカルフローの信頼度が低くなって画像特徴マップに基づく物体検出が行われ、カメラ２０９の近傍に物体がある場合には、上記信頼度が高くなってオプティカルフローに基づく物体検出が行われる。
これにより、カメラ２０９の近傍から遠方に至るまでの範囲で物体を精度よく検出することができる。

また、実施の形態２に係る物体検出装置１Ａは、ノイズ除去部８を備える。物体検出部４Ａは、画像上の領域のうち、ノイズ除去部８により除去されたオプティカルフローに反する方向のオプティカルフローが得られた領域を物体がある領域と判定する。
このように構成することで、物体がある領域を精度よく検出することができる。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせあるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る物体検出装置は、カメラの近傍から遠方に至るまでの範囲で物体を精度よく検出することができるので、例えば、車両検出、人検出などに好適である。

１，１Ａ 物体検出装置、２ 動画撮影部、３ 画像特徴マップ生成部、４，４Ａ
物体検出部、５ 物体認識部、６ オプティカルフロー算出部、７ 信頼度算出部、８ ノイズ除去部、１００，２００ ＣＰＵ、１０１，２０１ データＲＯＭ、１０２，２０２ プログラムＲＯＭ、１０３，２０３ ＲＡＭ、１０４，２０４ ディスクコントローラ、１０５，２０５ ディスプレイコントローラ、１０６，２０６ カメラインタフェース、１０７，２０７ 外部メモリ、１０８，２０８ 表示デバイス、１０９，２０９ カメラ、２１０ 車体制御部、２１１ ブレーキ、２１２ ステアリング。

この発明に係る物体検出装置は、画像特徴マップ生成部および物体検出部を備える。この構成において、画像特徴マップ生成部は、カメラにより連続して撮影された画像列の時系列に並んだ複数の画像のそれぞれの画像から、対象画素の近傍の明るさ情報に応じて画素ごとに設定した閾値に基づいて画素値が閾値よりも大きい画素の特徴量を抽出し、抽出した特徴量をマッピングして画像上の物体らしさの推定分布を表す画像特徴マップを生成する。物体検出部は、画像特徴マップ生成部により生成された画像特徴マップの画像特徴に基づいて物体を検出する。

この発明に係る物体検出装置は、画像特徴マップ生成部および物体検出部を備える。この構成において、画像特徴マップ生成部は、カメラにより連続して撮影された画像列の時系列に並んだ複数のフレーム画像から同じフレーム画像のペアを取得して一方を反転させ、ペアのフレーム画像を段々に縮小して画像ピラミッドをそれぞれ生成し、これらの画像ピラミッドにおける画像ごとに抽出した顕著箇所の画像から、対象画素の近傍の明るさ情報に応じて画素ごとに設定した閾値に基づいて画素値が閾値よりも大きい画素群を抽出し、抽出した画素群を統合してマップを生成し、ペアのフレーム画像ごとおよび画像ピラミッドにおける画像ごとにそれぞれ生成されたマップを二値化してから統合して、画像上の物体らしさの推定分布を表す画像特徴マップを、フレーム画像ごとに生成する。物体検出部は、画像特徴マップ生成部により生成された画像特徴マップの画像特徴に基づいて物体を検出する。

Claims (5)

1. カメラにより連続して撮影された複数の画像から抽出した特徴量に基づいて、画像上の物体らしさの推定分布を表す画像特徴マップを生成する画像特徴マップ生成部と、
   前記画像特徴マップ生成部により生成された画像特徴マップに基づいて物体を検出する物体検出部と
   を備えたことを特徴とする物体検出装置。
2. 前記カメラにより連続して撮影された複数の画像間におけるオプティカルフローを算出するオプティカルフロー算出部と、
   前記オプティカルフロー算出部により算出されたオプティカルフローについての信頼度を算出する信頼度算出部とを備え、
   前記物体検出部は、前記信頼度算出部により算出された信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とを行うことを特徴とする請求項１記載の物体検出装置。
3. 前記物体検出部は、画像上の領域のうち、オプティカルフローについての信頼度が閾値よりも高い領域でオプティカルフローに基づいた物体検出を行い、オプティカルフローの信頼度が前記閾値以下の領域では画像特徴マップに基づいた物体検出を行うことを特徴とする請求項２記載の物体検出装置。
4. オプティカルフローのうち、カメラの移動方向に沿った方向のオプティカルフローを、物体の背景領域に含まれるオプティカルフローとして除去するノイズ除去部を備え、
   前記物体検出部は、画像上の領域のうち、前記ノイズ除去部により除去されたオプティカルフローに反する方向のオプティカルフローが得られた領域を、物体がある領域と判定することを特徴とする請求項２記載の物体検出装置。
5. 画像特徴マップ生成部が、カメラによって連続して撮影された複数の画像から抽出した特徴量に基づいて、画像上の物体らしさの推定分布を表す画像特徴マップを生成するステップと、
   オプティカルフロー算出部が、前記カメラによって連続して撮影された複数の画像間におけるオプティカルフローを算出するステップと、
   信頼度算出部が、前記オプティカルフロー算出部により算出されたオプティカルフローについての信頼度を算出するステップと、
   物体検出部が、前記信頼度算出部により算出された信頼度に応じて、オプティカルフローに基づいた物体検出と、画像特徴マップに基づいた物体検出とを行うステップと
   を備えたことを特徴とする物体検出方法。

Images