JP5559749B2

JP5559749B2 - 位置検出装置、位置検出方法及びコンピュータプログラム

Info

Publication number: JP5559749B2
Application number: JP2011151924A
Authority: JP
Inventors: 亮石井; 史朗小澤; 隆文向内; 宣彦松浦
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2011-07-08
Filing date: 2011-07-08
Publication date: 2014-07-23
Anticipated expiration: 2031-07-08
Also published as: JP2013019721A

Description

本発明は、画像から検出対象の位置を検出する技術に関する。

従来、コンピュータビジョンの分野では、複数のカメラの情報を利用して人物などの動く対象の検出や追跡に関する研究が多く行われている。例えば、以下のような処理が実現されている。まず、複数の視点から検出対象を観測し、画像上における検出対象の領域（シルエット）を抽出したシルエット画像を用意する。さらに、検出を行う空間の三次元構造（以下、「三次元環境情報」という。）と、検出に利用する全てのカメラの内部パラメータ及び外部パラメータ（以下、まとめて「カメラパラメータ」という。）と、を予め計測しておく。三次元環境中に人物モデルを配置し、先に計測したカメラパラメータを持つ仮想のカメラでこのシーンを撮影すると、シルエット画像のシミュレーションを行うことができる。人物モデルに楕円体を用いて、生成したシミュレーション画像とシルエット画像とを比較することによって、一般的な環境の下でも、複数の人物を検出することが可能となる（例えば非特許文献１参照）。
また、複数のカメラではなく一台のカメラで画像上の検出対象を検出し、その位置を検出する技術も提案されている（例えば特許文献１参照）。

特開２００９−３０１２４１号公報

T. Osawa,X. Wu, K. Sudo, K. Wakabayashi, H. Arai and T. Yasuno, "MCMC based Multi-body Tracking Using Full 3D Model of Both Target and Environment," in Proc. of IEEE Intl Conf. on Advanced Video and Signal based Surveillance(AVSS 2007), Sep. 2007.pp.1〜6.(NTT)

しかしながら、従来の技術には以下のような問題があった。非特許文献１に開示された技術は、人物の三次元空間上での位置を直接予測し、複数のカメラからの情報を統合することで検出を行う。しかし、複数のカメラの情報を統合するためには、カメラのシャッターを同期することや、カメラ間の姿勢情報を予め取得しておくことなどが必要となる。そのため、運用上のコストが高くなってしまうという問題があった。
また、特許文献１に開示された技術は、画像中の人のシルエットの大きさや位置情報と、一般人の平均的な大きさや位置情報とを比較して大まかに人物の位置を検出する。そのため、検出する位置の精度が低くなってしまうという問題があった。

上記事情に鑑み、本発明は、検出対象の位置を精度良く検出する技術の提供を目的としている。

本発明の一態様は、所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出する第一の特徴点検出部と、前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出する算出部と、前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出する第二の特徴点検出部と、前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出する検出部と、を備える位置検出装置である。

本発明の一態様は、所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出するステップと、前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出するステップと、を有する位置検出方法である。

本発明の一態様は、所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出するステップと、前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点及び第二特徴点の平面座標の位置を検出するステップと、前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出するステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明により、検出対象の位置を精度良く検出することが可能となる。

位置検出システムのシステム構成を表すシステム構成図である。第一〜第三特徴点の概略を示す図である。顔の向きの概略を表す図である。前処理部の処理の流れを表すフローチャートである。位置検出部の処理の流れを表すフローチャートである。

図１は、位置検出システム１のシステム構成を表すシステム構成図である。位置検出システム１は、撮像装置１０と位置検出装置１００とを備える。位置検出システム１は、一台の撮像装置１０によって撮像された画像に基づいて、検出する対象となっている人物の顔の空間座標を算出する。以下、位置検出システム１の詳細について説明する。
撮像装置１０は、動画像を撮像するビデオカメラである。撮像装置１０は、撮像した画像のデータを位置検出装置１００に対して出力する。撮像装置１０は、カメラパラメータが変わらないように、所定の位置で所定の向きに固定されている。

位置検出装置１００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、位置検出プログラムを実行する。位置検出装置１００は、位置検出プログラムを実行することによって、前処理部２０及び位置検出部３０を備える装置として機能する。なお、位置検出装置１００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。位置検出プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。

前処理部２０は、撮像装置１０によって撮像された前処理用の画像（以下、「参照画像」という。）を用いて前処理を実行する。前処理部２０は、前処理の実行によって、参照画像に写っている検出対象（人物の顔）が有する第一特徴点及び第二特徴点の間の平面距離と空間距離との比（以下、「距離比」という。）を算出する。第一特徴点は、人物の左目の内側の端の点である。第二特徴点は、人物の右目の内側の端の点である。平面距離は、撮像された画像における平面座標系（二次元座標系）での距離（画素間の距離）を表す。空間距離は、三次元の実空間における空間座標系（三次元座標系）での距離を表す。

位置検出部３０は、前処理部２０によって算出された距離比に基づいて、検出対象の空間座標系での位置（空間座標）を算出する。より具体的には、位置検出部３０は、距離比と、第一特徴点及び第二特徴点それぞれの平面座標と、検出対象の向きと、に基づいて、第一特徴点及び第二特徴点の空間座標を算出する。位置検出部３０は、算出した第一特徴点及び第二特徴点に基づいて、検出対象の空間座標を出力する。例えば、位置検出部３０は、第一特徴点又は第二特徴点の空間座標そのものを検出対象の空間座標として出力しても良い。また、位置検出部３０は、第一特徴点及び第二特徴点の空間座標に基づいて検出対象の空間座標を算出しても良い。

次に、前処理部２０の詳細について説明する。前処理部２０は、特徴点検出部２０１、姿勢取得部２０２、距離情報取得部２０３、算出部２０４を備える。
特徴点検出部２０１は、撮像装置１０によって撮像された参照画像において、第一特徴点、第二特徴点、第三特徴点を検出する。図２は、第一〜第三特徴点の概略を示す図である。第三特徴点は、鼻頭を表す点である。特徴点検出部２０１が第一特徴点、第二特徴点、第三特徴点を検出するための技術としては、既存のどのような技術が適用されても良い。

姿勢取得部２０２は、検出対象の顔の向きを取得する。姿勢取得部２０２は、検出対象の顔の向きとして、例えば第一特徴点、第二特徴点、及び第三特徴点を含む平面（以下、「特徴平面」という。）の空間的な傾きを算出する。
姿勢取得部２０２の具体的な処理の例として、以下のような処理がある。例えば、姿勢取得部２０２は、人の顔の対称性を利用し、左右の顔のパーツ（目、瞳孔、鼻孔、耳、口の端など左右対称に存在するもの）を結ぶ線分を含む図形の歪みに基づいて顔の向きを算出しても良い。以下、姿勢取得部２０２が顔の向きを算出する処理の詳細について説明する。

例えば、姿勢取得部２０２は、画像平面上の第一特徴点ｅｙｅ＿２ｌ（ｘ＿ｅ２ｌ，ｙ＿ｅ２ｌ）、画像平面上の第二特徴点ｅｙｅ＿２ｒ（ｘ＿ｅ２ｒ，ｙ＿ｅ２ｒ）、画像平面上の第三特徴点ｎｏｓｅ＿２（ｘ＿ｎ２，ｙ＿ｎ２）の３点を結ぶ線分から形成される三角形の歪みに基づいて顔の向きを算出する。一般的に、左右の目の中心下方に鼻がある。そのため、上記の三角形が二等辺三角形であるという前提条件のもと、上記の三角形の歪みに基づいて、三次元空間における三角形の姿勢を算出することができる。以下の説明では、姿勢取得部２０２が算出する顔の向きを、Ｐｏｓｔｕｒｅ（θ_ｘ，θ_ｙ，θ_ｚ）と表す。図３は、顔の向きの概略を表す図である。

距離情報取得部２０３は、姿勢取得部２０２が処理に用いた画像と同一の画像における第一特徴点と撮像装置１０との間の距離情報、第二特徴点と撮像装置１０との間の距離情報を取得する。距離情報取得部２０３が取得する各距離情報は、空間座標系の距離である。
距離情報取得部２０３に実装される距離情報の取得方法は、既存のどのような技術に基づいたものであっても良い。距離情報取得部２０３に適用できる技術の例として、シェイプフロムフォーカス法、シェイプフロムデフォーカス法、シェイプフロムモーション法、シェイプフロムシェーディング法などがある。シェイプフロムフォーカス法は、最もよく合焦したときのフォーカス位置から距離を求める方法である。シェイプフロムデフォーカス法は、合焦距離の異なる複数の画像から相対的なぼけ量を求め、ぼけ量と距離との相関関係をもとに距離を求める方法である。シェイプフロムモーション法は、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。シェイプフロムシェーディング法は、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。

算出部２０４は、特徴点検出部２０１によって検出された第一特徴点及び第二特徴点の平面座標と、姿勢取得部２０２によって取得された顔の向きと、距離情報取得部２０３によって取得された距離情報と、に基づいて第一特徴点と第二特徴点との間の空間距離を算出する。そして、算出部２０４は、算出された空間距離に基づいて距離比を算出する。以下、距離比の算出処理の具体例について説明する。

撮像された画像の画素ピッチを縦Ｐ_ｘ、横Ｐ_ｙ、画像の解像度を縦Ｓ_ｘ、横Ｓ_ｙ、撮像装置１０のレンズ中心を原点としたときの第一特徴点及び第二特徴点の空間座標をｅｙｅ＿３ｌ（ｘ＿ｅ３ｌ，ｙ＿ｅ３ｌ，ｚ＿ｅ３ｌ）、ｅｙｅ＿３ｒ（ｘ＿ｅ３ｒ，ｙ＿ｅ３ｒ，ｚ＿ｅ３ｒ）、第一特徴点と撮像装置１０との間の距離をＤｌ、第二特徴点と撮像装置１０との間の距離をＤｒ、検出対象の人間の頭部を球型と仮定したときの半径をｒ、とする。また、Ｒ_ｘ、Ｒ_ｙ、Ｒ_ｚは、それぞれｘ軸、ｙ軸、ｚ軸中心の回転行列である。Ｔは、平行移動行列である。この場合、算出部２０４は、第一特徴点の空間座標ｅｙｅ＿３ｌ（ｘ＿ｅ３ｌ，ｙ＿ｅ３ｌ，ｚ＿ｅ３ｌ）、第二特徴点の空間座標ｅｙｅ＿３ｒ（ｘ＿ｅ３ｒ，ｙ＿ｅ３ｒ，ｚ＿ｅ３ｒ）を、以下に示す式１、式２でそれぞれ算出する。

算出部２０４は、第一特徴点と第二特徴点との間の空間距離Ｄ_{ｅｌ−ｅｒ}を、以下に示す式３で算出する。

算出部２０４は、第一特徴点及び第二特徴点の平面距離（画素数）に対する、第一特徴点及び第二特徴点の空間距離の比率Ｄ_ｒａｔｅを、以下に示す式４で算出する。

図４は、前処理部２０の処理の流れを表すフローチャートである。まず、特徴点検出部２０１が、前処理用の参照画像において第一特徴点及び第二特徴点を検出する（ステップＳ１０１）。次に、姿勢取得部２０２が、参照画像における検出対象の顔の向きを取得する（ステップＳ１０２）。次に、距離情報取得部２０３が、第一特徴点と撮像装置１０との間の距離、第二特徴点と撮像装置１０との間の距離をそれぞれ取得する（ステップＳ１０３）。

次に、算出部２０４が、第一特徴点及び第二特徴点の間の平面距離を取得する（ステップＳ１０４）。次に、算出部２０４が、第一特徴点及び第二特徴点の間の空間距離を取得する（ステップＳ１０５）。そして、算出部２０４が、第一特徴点及び第二特徴点の平面距離と空間距離との比（距離比）を算出する（ステップＳ１０６）。以上で前処理部２０による前処理が終了する。

次に、位置検出部３０の詳細について説明する。位置検出部３０は、特徴点検出部３０１、姿勢算出部３０２、検出部３０３を備える。特徴点検出部３０１及び姿勢算出部３０２の構成は、前処理部２０が備える特徴点検出部２０１及び姿勢取得部２０２と同じであるため説明を省略する。なお、位置検出部３０の各機能部は、参照画像を撮像した撮像装置と同一の撮像装置１０によって撮像された画像であって、参照画像とは異なるタイミングで撮像された画像（以下、「対象画像」という。）に対して処理を行い、対象画像における検出対象の空間座標系の位置を検出する。特徴点検出部３０１が対象画像において検出する第一特徴点の平面座標をｅｙｅ＿２ｌ’（ｘ＿ｅ２ｌ’，ｙ＿ｅ２ｌ’）、第二特徴点の平面座標をｅｙｅ＿２ｒ’（ｘ＿ｅ２ｒ’，ｙ＿ｅ２ｒ’））と表す。また、姿勢算出部３０２が対象画像において算出する顔の向きをＰｏｓｔｕｒｅ’（θ_ｘ’，θ_ｙ’，θ_ｚ’）と表す。

対象画像は、撮像装置１０から連続して継続的に位置検出装置１００に入力されても良い。例えば、撮像装置１０が撮像した動画像の各フレームの画像が対象画像として位置検出装置１００に入力されても良い。また、撮像装置１０が撮像した動画像の全フレームのうち、所定の間隔の各フレームが対象画像として位置検出装置１００に入力されても良い。また、撮像装置１０が撮像した動画像の全フレームが位置検出装置１００に入力され、位置検出部３０が所定の間隔の各フレームを対象画像として処理しても良い。

検出部３０３は、前処理部２０の算出部２０４が算出した距離比に基づいて、撮像装置１０が撮像した対象画像における第一特徴点の空間座標ｅｙｅ＿３ｌ’（ｘ＿ｅ３ｌ’，ｙ＿ｅ３ｌ’，ｚ＿ｅ３ｌ’）、第二特徴点の空間座標ｅｙｅ＿３ｒ’（ｘ＿ｅ３ｒ’，ｙ＿ｅ３ｒ’，ｚ＿ｅ３ｒ’）を算出する。

検出部３０３の処理の具体例について説明する。撮像装置１０の水平の画角をθｃｘ度、垂直の画角をθｃｙ度としたとき、第一特徴点の空間座標の各座標値は以下に示す式５〜式７のように表される。

また、第二特徴点の空間座標の各座標値は以下に示す式８〜式１０のように表される。

図５は、位置検出部３０の処理の流れを表すフローチャートである。まず、特徴点検出部３０１が、第一特徴点及び第二特徴点を対象画像において検出する（ステップＳ２０１）。次に、姿勢算出部３０２が、検出対象の向きを対象画像において取得する（ステップＳ２０２）。そして、検出部３０３が、第一特徴点及び第二特徴点の空間座標を算出する（ステップＳ２０３）。検出部３０３は、第一特徴点及び第二特徴点の空間座標に基づいて、三次元の実空間における検出対象の位置（空間座標）を検出する。
このように構成された位置検出システム１では、前処理部２０において予め検出対象の距離比を算出しておく。そして、位置検出部３０は、対象画像において検出対象の空間座標を検出する際に、第一特徴点や第二特徴点と撮像装置１０との間の距離を算出することなく、各特徴点の平面座標と距離比とに基づいて処理を行う。このように、検出対象に含まれる特徴点を検出して空間座標を検出しているため、検出される空間座標の精度を高めることができる。また、第一特徴点や第二特徴点と撮像装置１０との間の距離を算出する必要が無いため、精度を維持しつつも、複数台の撮像装置を用いることなく高速に処理を行うことが可能となる。

＜変形例＞
位置検出システム１が検出する対象は、人物の顔に限定される必要は無い。例えば、人物の手や足や胴体や全身であっても良いし、人以外の生物であっても良いし、飛行機や自動車などの物体であっても良い。
撮像装置１０は、静止画像を撮像するスチルカメラであっても良い。
前処理部２０に備えられる特徴点検出部２０１と、位置検出部３０に備えられる特徴点検出部３０１とは、一体に構成されても良い。前処理部２０に備えられる姿勢取得部２０２と、位置検出部３０に備えられる姿勢算出部３０２とは、一体に構成されても良い。

第一特徴点は上述した具体例に限定されない。例えば、第一特徴点は目の中央点であっても良いし、眉毛、瞳孔、口、耳などに基づいて決まる点（例えば端点や中心点など）であっても良いし、その他の点であっても良い。第二特徴点及び第三特徴点も同様である。
姿勢取得部２０２は、人の顔の対称性を利用し、左右の顔のパーツの大きさの違いに基づいて顔の向きを算出しても良い。また、姿勢取得部２０２は、鼻や口といった顔の中央に位置するパーツの顔領域中の位置関係に基づいて、顔の向きを算出しても良い。

上記の説明では、第一特徴点、第二特徴点、第三特徴点の三点に基づいて顔の向きを算出する。しかしながら、顔の向きを算出する際に用いる特徴点は、必ずしも第一特徴点及び第二特徴点である必要は無い。例えば、第四特徴点及び第五特徴点を定義し、第三〜第五特徴点に基づいて顔の向きが算出されても良い。
距離情報取得部２０３が処理に用いる画像は、姿勢取得部２０２が処理に用いた画像と必ずしも同一である必要は無く、撮像された時刻が時間軸で十分に近接していれば良い。十分に近接しているとは、検出対象の移動距離が十分に小さく、位置検出装置１００の位置検出精度が許容できる範囲に収まることである。

Ｄｌ及びＤｒの値は、いずれか一方の値又は両者の統計値（例えば平均値）に一致させても良い。
また、位置検出システム１では、撮像装置１０は一台でも高精度に処理を行うことが可能であるが、複数台の撮像装置１０を備えることを妨げるものではない。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…位置検出システム，１０…撮像装置，２０…前処理部，３０…位置検出部，２０１…特徴点検出部，２０２…姿勢取得部，２０３…距離情報取得部，２０４…算出部，３０１…特徴点検出部，３０２…姿勢算出部，３０３…検出部

Claims

所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点、第二特徴点及び第三特徴点の平面座標の位置を検出する第一の特徴点検出部と、
前記第一の画像における平面座標から前記検出対象の向きを算出する第一の姿勢取得部と、
前記第一特徴点と前記撮像装置との間の第一の距離情報、及び前記第二特徴点と前記撮像装置との間の第二の距離情報を取得する距離情報取得部と、
前記第一特徴点及び前記第二特徴点の平面座標と、前記平面の空間的な傾きと、前記第一の距離情報及び第二の距離情報とに基づいて、前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出する算出部と、
前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点、第二特徴点及び第三特徴点の平面座標の位置を検出する第二の特徴点検出部と、
前記第二の画像における平面座標から前記検出対象の向きを算出する第二の姿勢取得部と、
前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、前記第二の画像における検出対象の向きと、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出する検出部と、を備える位置検出装置。
所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点、第二特徴点及び第三特徴点の平面座標の位置を検出するステップと、
前記第一の画像における平面座標から前記検出対象の向きを算出するステップと、
前記第一特徴点と前記撮像装置との間の第一の距離情報、及び前記第二特徴点と前記撮像装置との間の第二の距離情報を取得するステップと、
前記第一特徴点及び前記第二特徴点の平面座標と、前記平面の空間的な傾きと、前記第一の距離情報及び第二の距離情報とに基づいて、前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出するステップと、
前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点、第二特徴点及び第三特徴点の平面座標の位置を検出するステップと、
前記第二の画像における平面座標から前記検出対象の向きを算出するステップと、
前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、前記第二の画像における検出対象の向きと、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出するステップと、を有する位置検出方法。
所定の位置で所定の向きに設置された撮像装置によって撮像された第一の画像から、検出対象に含まれる第一特徴点、第二特徴点及び第三特徴点の平面座標の位置を検出するステップと、
前記第一の画像における平面座標から前記検出対象の向きを算出するステップと、
前記第一特徴点と前記撮像装置との間の第一の距離情報、及び前記第二特徴点と前記撮像装置との間の第二の距離情報を取得するステップと、
前記第一特徴点及び前記第二特徴点の平面座標と、前記平面の空間的な傾きと、前記第一の距離情報及び第二の距離情報とに基づいて、前記第一特徴点及び前記第二特徴点の空間座標の位置を取得し、前記第一特徴点と第二特徴点との間の平面座標における距離と空間座標における距離との比を算出するステップと、
前記撮像装置によって撮像された第二の画像から、検出対象に含まれる第一特徴点、第二特徴点及び第三特徴点の平面座標の位置を検出するステップと、
前記第二の画像における平面座標から前記検出対象の向きを算出するステップと、
前記距離比と、前記第二の画像における前記第一特徴点及び前記第二特徴点の平面座標と、前記第二の画像における検出対象の向きと、に基づいて前記第一特徴点及び前記第二特徴点の空間座標の位置を検出するステップと、をコンピュータに実行させるためのコンピュータプログラム。