JP2014099055A - 検出装置、検出方法、及びプログラム - Google Patents

Abstract

【課題】 少ない計算量で精度よく物体を認識することが可能な技術を提供する。
【解決手段】 検出装置は、撮影画像を入力する入力手段と、前記撮影画像を複数の領域に分割する分割手段と、前記複数の領域の各々について、物体を検出するための検出手段を当該領域の属性に基づいて選択する選択手段とを備え、前記複数の領域の各々について、選択した検出手段を用いて、当該領域に撮影された物体を検出する。
【選択図】 図１

Description

本発明は検出装置、検出方法、及びプログラムに関し、特に、画像中に存在する動体、顔、人体等の物体を画像処理により検出・認識する技術に関する。

画像中の物体を検出する技術として、基準画像に対する変動に注目したフレーム間差分や背景差分を用いた手法が知られている。また、学習した画像特徴量と照合することによって、顔、人体、車両等を検出認識する技術がある。このような特徴量との照合に基づく検出・認識技術は計算量を要するため、認識対象物の存在可能性を考慮して、検出対象領域や検出サイズを限定することが知られている。

特許文献１には、車両に搭載されたカメラの撮影画像から物体を認識する際に、物体を検出する対象領域を絞り込んだ上で物体の認識を行う構成が記載されている。この構成は、現在の位置と方位を計測して地図情報を表示するカーナビゲーションシステムを対象としている。特許文献１の構成は、地図情報から得られる道路形状や道路上の構造物情報から自車と道路上の構造物との相対位置を推定する。そして、車両の移動状態に基づいて、後に入力される車両周辺の撮影画像中に所望の物体が位置すると推定される認識領域を探索対象として画像認識処理を行う。

その他、検出対象領域を限定する手法としては、動体検出結果を用いる手法や過去の検出履歴を用いる手法が知られている。非特許文献１には、過去の検出履歴を用いて人体を検出する手法が記載されている。

特開２００９−００９２０９号公報

山内，藤吉ら，"アピアランスと時空間特徴の共起に基づく人体検出，"画像の認識・理解シンポジウム（MIRU2007）,予稿集pp.1492-1497, 2007.

認識対象の画像全体から物体検出・認識処理を行う構成においては、認識物体の種別の増加とともに、計算リソースを必要としていた。動体検出によって処理領域を限定する手法は、停止している物体の検出ができない場合があった。過去の履歴に基づいて検出種別を限定する手法では、履歴を作成するために画像全体に対して処理を行う必要があり、一時的に多くの計算リソースを要していた。このように、従来の構成では、物体認識の精度向上と計算量の低減との間にトレードオフの関係があった。

本発明はこのような課題に鑑みなされたものであり、少ない計算量で精度よく物体を認識することが可能な技術を提供することを目的とする。

上記目的を達成するため、本発明による検出装置は以下の構成を備える。即ち、
撮影画像を入力する入力手段と、
前記撮影画像を複数の領域に分割する分割手段と、
前記複数の領域の各々について、物体を検出するための検出手段を当該領域の属性に基づいて選択する選択手段と、
を備え、
前記複数の領域の各々について、選択した検出手段を用いて、当該領域に撮影された物体を検出する。

本発明によれば、少ない計算量で精度よく物体を認識することが可能な技術を提供することができる。

一実施形態に係る撮像装置の構成図 領域分割の原理説明図 領域の属性付与と適用する検出・認識器の対応表の一例 一実施形態１に係る処理手順を示すフローチャート 地図情報から属性を付与する方式に関わる撮像装置の構成図 画像座標と地図座標との対応変換を説明する図 取得すべき地図情報の範囲決定を説明する図 画像上の領域と地図上の背景情報の対応付けに関する説明図 一実施形態に係る処理手順を示すフローチャート

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜実施形態１＞
本実施形態では、シーンにおける背景領域の属性と検出対象の関係に注目する。例えば検出対象が人物の場合、歩道や広場のような背景領域に存在する確率が高く、水面や建物壁面上のような背景領域に存在する確率は低い。このため、事前に背景の属性が明らかであれば、検出対象を限定することによって、シーン中の物体をより効率よく検出できる。そこで、本実施形態では、画像から人物、車両、船舶、航空機等の物体を認識する構成において、領域毎に適用する認識対象を限定することによって、検出精度の向上と高速化を実現する。

（システム構成）
本実施形態に係る検出装置の構成例を図１に示す。本実施形態では、検出装置をいわゆるカメラである撮像装置１００により構成しており、図１では、本実施形態の説明に必要な構成を中心に示している。撮像装置１００は、光学系と撮像素子を有する撮像系１１０、フォーカス、ズーム、ホワイトバランス、露出などを制御する撮像系制御部１２１、撮像素子から画像データを読み出す画像取得部１２２、不図示の符号化部、画像配信制御部を持つ。これらの構成により、撮影領域の撮影が行われて前記撮影画像が生成される。撮影画像は通信部１３５からネットワーク１４０経由で配信され、表示装置１５０や録画装置１６０にて受信・利用される。映像配信制御部（不図示）は表示装置１５０や録画装置１６０との通信を制御し、配信データや配信タイミング制御を行う。

撮像装置１００は領域分割部１２３、領域属性付与部１２４、物体認識方式選択部１２５、動体検出部１２６、物体認識部１２７、認識辞書１２８、結果生成部１２９、を有する。

領域分割部１２３は色やテクスチャ、あるいは、エッジ情報に基づいて画像をそれぞれ被写体が異なる複数の領域に分割する。領域分割の手法は、公知のものを用いることができる。例えば、特開２０１１−１５０６０５号公報には、色特徴に基づいて、画像に含まれる複数のオブジェクトを分離抽出する領域分割を、自動にて行う手法が記載されている。また、特開平９−０１６７１３号公報には、濃淡画像中の画素が互いに近接し且つその濃度レベルの差が閾値よりも小さいという関係に基づいて領域分割することが記載されている。図２は領域分割処理の例を示しており、入力画像図２(a)に対して、領域分割結果図２(b)を得る。

領域属性付与部１２４は領域の属性（属性情報）を使用者の手入力によって付与する。使用者は、例えば、ネットワークに接続された設定装置１７０を操作して所望の属性を入力する。その結果、動体検出部１２６や物体認識部１２７の処理適用の有無が決定される。物体認識処理１２７を行う場合は、認識辞書１２８のうち認識対象に応じた辞書を選択する。そして、複数の部分領域の各々について、選択した辞書を用いて、当該部分領域に撮影された物体を検出する。

検出認識処理が終了すると、検出・認識結果が結果生成部１２９により生成され、通信部１３５を通じてネットワーク１４０に結果を送信する。設定装置１７０からは、ズーム、フォーカス等の撮像系に関する設定や、動体検出部１２６や物体認識部１２７に対する感度設定も可能である。

本実施形態では、分割された部分領域の各々について、物体を検出するための適切な物体検出・認識器（検出器）を、当該部分領域に付与された属性に基づいて選択する。物体検出・認識器の選択にあたっては、領域の属性と物体検出・認識器の種類との対応関係を示す対応表（図３(a)）を参照する。

図３(a)において、「分類番号」とは、背景となる被写体の属性（種類）に割り当てられた通し番号である。「属性分類」とは、属性の内容である。図３(a)では、領域の属性の例として、空、陸、海、湖沼、緑地、森林、港湾、空港、建物、道路、公園、広場を示している。「適用する物体検出・認識器」とは、対象の領域から物体の認識する際に用いる物体検出・認識器の種類を示している。図３(a)の例では、動体、人物、車両、船舶、動物、航空機を挙げている。例えば、「人物」とは、物体として人物を検出するのに適した物体検出・認識器を意味する。前述のように、本実施形態では、人物を認識するための辞書データを参照して、人物の検出に適した物体検出・認識器が実現される。なお、属性や物体検出・認識器の種類は図３(a)に例示したものに限られない。例えば、「人物」の物体検出・認識器は、人体、顔、頭部のように、人物を構成する部分毎に設計してもよい。

図３(b)は、撮影画像の各部分領域に割り当てられた属性とその分類番号の例を示している。図３(b)において、「領域番号」とは、撮影画像を分割して得られた各領域に付与される通し番号である。「分類番号」「属性分類」は図３(a)と同様である。例えば、領域番号１の領域には「海」の属性分類が割り当てられているため、当該領域においては「動体」と「船舶」の検出に適した物体検出・認識器を用いて物体の認識が行われる（図３(a)の分類番号００３を参照）。

なお、領域の属性の付与・入力は前述の例では設定装置１７０経由で手入力に行っているが、これに限られない。例えば、属性が既知の画像に対応した画像特徴量を記憶しておき、領域の画像特徴量と照合することによって、属性を決めることも可能である。すなわち、各部分領域を解析して当該領域の特徴を示す特徴量を取得し、取得した特徴量に基づいて部分領域に付与する属性情報を決定してもよい。これは、例えば色分布から空、山、道路等の属性情報を付与する手法による。これにより、属性情報の付与を人手を介さずに自動的に行うことができる。また、属性情報を付与する手法のさらなる例を後述の実施形態で説明する。

なお、動体検出は、公知のフレーム間差分による手法や背景差分による手法を用いることが可能である。また、検出器としての物体検出・認識器の切換えは、物体認識器で用いる辞書、すなわち、認識対象の特徴データベースを差し替えることにより可能である。

（物体認識の処理手順）
次に、図４を用いて本実施形態の処理手順を説明する。以下の各処理工程は、検出装置としての撮像装置１００が有する不図示のＣＰＵの制御に基づき実行される。このような処理はＣＰＵがコンピュータプログラムに従い実行することができる。

処理開始後、Ｓ４０１で処理対象となる撮影画像を入力する。次に、Ｓ４０２で、撮影画像をそれぞれ背景となる被写体が異なる複数の領域に分割する領域分割を行う。Ｓ４０３では、複数の領域の各々に対して、当該領域の被写体の種類を示す属性情報を付与する。本実施形態では、ユーザにより指定された属性情報を領域に付与する場合や画像特徴量に基づいて自動的に付与する場合を説明した。

Ｓ４０４からＳ４０６では物体の検出・認識処理を行う。まず、Ｓ４０４で、複数の領域の各々の属性に基づいて、検出・認識器を選択する。なお、この属性は、例えば、複数の領域の各々の被写体の種類を示す。本実施形態では、この処理を図３（a）、図３（b）に例示した対応表を参照して行うので、各領域に適用する検出・認識器を高速に選択することが可能である。

次に、Ｓ４０５で選択した検出・認識器を用いて検出認識処理を行う。Ｓ４０６で全ての分割領域に対して同処理が行われたかどうかを判定し、未完であれば（Ｓ４０６でＮＯ）、Ｓ４０４に戻って処理を続ける。全領域の処理を完了した場合（Ｓ４０６でＹＥＳ）には、Ｓ４０７に進む。Ｓ４０７では処理結果を作成、保存する。処理結果には処理フレーム、検出物体の種別、領域番号、外接矩形、向き、が含まれる。

以上説明した手法によれば、領域分割結果に属性を付与し、付与された属性に応じて適切な検出・認識器を選択指定することによって、映像中に存在する物体の種別や位置を効率よく正確に検出することができる。

＜実施形態２＞
本発明の別の実施形態においては、実施形態１における領域属性の付与を、地図情報を用いて自動的に行う。すなわち、撮影画像の部分領域の各々と予め設定された地図情報に含まれる部分領域とを対応付け、撮影画像の部分領域に対応付けられた地図情報の部分領域の種類に基づいて、当該撮影画像の部分領域に付与する属性情報を決定する。本実施形態では、特に、撮影画像が撮影された際の撮像系（撮影手段）の位置姿勢に基づき当該撮影画像の撮影領域に対応する地図情報を取得し、撮像画像の各領域と当該地図情報に含まれる部分領域とを対応付ける。以下、実施形態１と異なる部分を中心に説明する。本実施形態における撮像装置１００の構成図を図５に示す。実施形態１の構成に対して、位置姿勢計測部１３１、地図情報取得部１３０、地図情報データベース１８０、が新たに追加されている。

位置姿勢計測部１３１は、撮像系（撮像手段）の位置と姿勢を計測する。計測結果は三次元位置（緯度、高度）、姿勢（パン、チルト角度）である。位置姿勢の計測は、ＧＰＳ（Global Positioning System）、磁気センサー、傾きセンサーを組み合わせることによって可能である。あるいは位置・姿勢が固定かつ既知であれば、計測は不要である。

地図情報データベース１８０とは、例えばカーナビゲーションで用いられるデジタル地図情報であり、例えば、日本工業規格（ＪＩＳ）に規格化されているものを用いることができる。データの内容としては、道路データに加えて背景データとして、海岸線、故障、河川、鉄道路線・駅の形状、施設・建物の形状と名称、空港・公園の形状が含まれる。以下、本実施形態ではデジタル地図を例にとって説明するが、ビルや施設内の配置を示したレイアウトマップ等に対しても適用可能であることはいうまでもない。

撮影画像と地図の対応関係を説明する。図６において、カメラＣのグローバル座標をＣ(Ｘc，Ｙc，Ｚc)、姿勢をθ(θpan，θtilt)、焦点距離をｆとする。この場合、撮影画像中の点Ｉ(u，v)と地上面に投影された被写体のグローバル座標（Ｘ，Ｙ，Ｚ）との関係は、以下の式（１）で表される。

Ｘ＝Ｚc・sinθp/tanθt＋Ｘc
Ｙ＝Ｚc・cosθp /tanθt＋Ｙc
Ｚ＝０
θt＝θtilt−tan^-1{v/f}
θp＝θpan＋tan^-1{u/(f・cosθtilt＋v・sinθtilt)}
式（１）
ただし、θpanは撮像装置正面方向から右回りに正、θtilt は水平方向下向きに正とする。また、画像座標I(u, v)は画像中心を原点として水平方向右向きがu軸の正、垂直方向上向きがv軸の正とする。また撮像装置の正面方向はグローバル座標のＹ方向に一致し、地図はＧz＝０の平面としている。なお式（１）ではＧz＝０としたが、画像の視野内で相応の高度差がある場合には、式（１）は地図情報における高度情報を考慮した式に拡張して適用する。

式（１）によれば、撮影画像の端点を実座標に射影することによって、取得すべき地図データの位置や範囲を求めることができる。すなわち、図７(a)において、原画像の上下左右端点ａ(７１１)〜ｄ(７１４)は、地図データにおいて各々ａ'(７２１),ｂ'(７２２),ｃ'(７２３),ｄ'(７２４)に射影される。その結果、四角形ａ'(７２１),ｂ'(７２２),ｃ'(７２３),ｄ'(７２４)を内包するように地図情報データベース１８０から地図データを取得すればよい。

次に、画像中の分割領域に対して属性情報を割り当てる。図８(a)は原画像に対して領域分割済みの領域情報である。ここで各領域の中心位置を代表点として、代表点座標と式（１）から対応する地図情報上の点に存在する道路情報や背景情報を得る。例えば領域１の代表点I１は、地図データ図８（b）上で港湾に属する領域に対応付けられる。そして図３(a)の属性一覧表から、該当する属性として港湾（００７）が存在するため、領域１の属性は港湾（００７）と決定される。

ここで属性分類として事前に準備した分類表にキーワードが含まれない場合があるため、図３(a)を拡張して、各属性に割り当てられるキーワードを合せて保持する方式としてもよい。例えば、建物名は“ビル”“スクェア”“タワー”“ヒル”等を含む場合にこれを建物とすることが可能である。

（物体認識の処理手順）
本実施形態における処理手順を図９に示す。以下の各処理工程は、検出装置としての撮像装置１００が有する不図示のＣＰＵの制御に基づき実行される。

処理の開始後、Ｓ９０１で画像入力、Ｓ９０２で領域分割を行う。これらの処理は図４のＳ４０１、Ｓ４０２と同様である。次に、Ｓ９０３で撮影位置、姿勢、画角を取得する。画像角度は視点から画面上下端、左右端を見込む角度であり、ズーム倍率に対応したカメラ内部制御値から換算することが可能である。次に、Ｓ９０４において、地図情報を取得する。この時、式（６）によって左右上下端から地図情報を取得する範囲を求める。

次にＳ９０５において、領域分割結果と地図情報の対応付を行う。前述のように、本実施形態では、撮影画像の各領域から代表点を抽出し、当該代表点に対応する地図情報の点が属する領域の種類に基づいて、当該撮影画像の領域と地図情報の部分領域とを対応付ける。なお、Ｓ９０５の処理の都度地図情報にアクセスする場合には、Ｓ９０４の工程を省略することができる。次に、Ｓ９０６で地図情報に予め設定された領域の種類に基づいて、撮影画像の部分領域に属性を付与する。Ｓ９０７〜Ｓ９１０までの処理は第１の実施形態における処理と同じであるため、説明を省略する。

以上の説明した手法によれば、映像中の領域情報の属性を地図情報から求めることによって、領域属性付与を自動化することができる。そして、付与された属性に基づいて、物体の検出・認識処理を行うことによって、同処理の精度向上と速度向上を図ることができる。

なお、上記の構成においては、式（１）を用いて撮影画像中の各点と、地図情報中の各点とを対応付けたが、式（１）の代わりに射影変換を近似した対応表を用いることも可能である。これによりカメラの三次元位置姿勢情報を取得することなく、画像上の点から取得すべき地図情報の位置を指定することができる。例えば、図７において、画像平面と地図平面上の対応点のペアとして、(a, a’)〜(d, d’)の４組がある。画像上の任意の点を地図平面上に変換する場合には、近傍のペアの座標を一次補完することで対応点情報を近似できる。サンプル点を多数指定することによって、射影変換の近似精度を向上できる。このように、撮影画像中の点と地図情報中の点との対応関係の指定を受け付ける受付処理を行い、当該対応関係に基づき、撮影画像を一様に変形して、当該撮影画像に含まれる前記領域と該地図情報に含まれる前記部分領域とを対応付ける。これにより、高速な処理が可能となる。

＜その他の実施形態＞
なお、上記の各構成において、領域属性に対応した物体認識処理によって認識できない動体が存在した場合には、残りの物体認識処理を適用することによって、物体認識精度を高めることができる。例えば、港湾においては人物が存在する確率が低いため、通常の処理では人物検出処理は行わず、船舶の検出処理を行うことになる（図３(a)の００３参照）。しかし、種別不明な動体のみが検出された場合には、人物の可能性があるため、改めて、顔・頭部等の人物認識処理を適用する。これにより、通常と異なる状態にある場合においても精度の高い認識処理を行うことができる。

このような認識処理は、図９において、Ｓ９０８における物体検出・認識処理において、動体検出と物体認識処理の両方を実行することで実現できる。すなわち、動体のみを検出したかどうかを判別し、もし動体のみを検出した場合にはＳ９０８で実行していない認識処理を行えばよい。

なお、上述の実施形態においては、検出装置をカメラを備えた撮像装置により実現した場合を説明したが、検出装置は他の装置の構成によっても実現することができる。例えば、パーソナル・コンピュータ（ＰＣ）、スマートフォン、タブレット端末、携帯電話などの演算処理機能を備えた任意の情報処理装置により検出装置を実現することが可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上の構成からなる本発明によれば、領域中に存在する確率の低い物体の認識処理を除外するため、物体認識の精度向上と計算量の低減を両立できる。

Claims (11)

1. 撮影画像を入力する入力手段と、
   前記撮影画像を複数の領域に分割する分割手段と、
   前記複数の領域の各々について、物体を検出するための検出手段を当該領域の属性に基づいて選択する選択手段と、
   を備え、
   前記複数の領域の各々について、選択した検出手段を用いて、当該領域に撮影された物体を検出する
   ことを特徴とする検出装置。
2. 前記複数の領域の各々と予め設定された地図情報に含まれる部分領域とを対応付ける対応付け手段を更に備え、
   前記選択手段は、前記領域に対応付けられた前記部分領域の種類に基づいて、当該領域の属性を決定する
   ことを特徴とする請求項１に記載の検出装置。
3. 前記対応付け手段は、前記撮影画像が撮影された際の撮影手段の位置姿勢に基づき当該撮影画像の撮影領域に対応する地図情報を取得し、前記複数の領域の各々と当該地図情報に含まれる部分領域とを対応付けることを特徴とする請求項２に記載の検出装置。
4. 前記撮影画像に含まれる点と前記地図情報に含まれる点との対応関係の指定を受け付ける受付手段を更に備え、
   前記対応付け手段は、前記受付手段が指定を受け付けた対応関係に基づいて、前記撮影画像を一様に変形することで、当該撮影画像に含まれる前記領域と該地図情報に含まれる前記部分領域とを対応付けることを特徴とする請求項２に記載の検出装置。
5. 前記対応付け手段は、前記複数の領域の各々から代表点を抽出し、当該代表点に対応する前記地図情報の点が属する領域の種類に基づいて、当該領域と前記部分領域とを対応付けることを特徴とする請求項２から４のいずれか１項に記載の検出装置
6. 前記領域を解析して当該領域の特徴を示す特徴量を取得する解析手段を更に備え、
   前記選択手段は、前記取得した特徴量に基づいて前記領域の属性を決定することを特徴とする請求項１に記載の検出装置。
7. 前記選択手段は、領域の属性と検出手段の種類との対応関係を示す対応表を参照して、前記検出手段を選択することを特徴とする請求項１から６のいずれか１項に記載の検出装置。
8. 前記選択手段は、ユーザにより指定された属性を前記領域の属性とすることを特徴とする請求項１に記載の検出装置。
9. 撮影領域を撮影して前記撮影画像を生成する撮影手段を更に備えることを特徴とする請求項１から８のいずれか１項に記載の検出装置。
10. 情報処理装置が各工程を実行する検出方法であって、
    撮影画像を入力する入力工程と、
    前記撮影画像を複数の領域に分割する分割工程と、
    前記複数の領域の各々について、物体を検出するための検出手段を当該領域の属性に基づいて選択する選択工程と、
    前記複数の領域の各々について、選択した検出手段を用いて、当該領域に撮影された物体を検出する検出工程と
    を備えることを特徴とする検出方法。
11. コンピュータを請求項１から９のいずれか１項に記載の検出装置が備える各手段として機能させるためのコンピュータプログラム。

Images