JP2002259989A - ポインティングジェスチャ検出方法及びその装置 - Google Patents

Abstract

(57)【要約】 【課題】空間のどの方向をポインティングしてもポイン
ティングジェスチャを検出できるポインティングジェス
チャ検出方法及びその装置を提供する。 【解決手段】検出装置１０は被験者Ｈの周囲の所定ポイ
ントに配置したビデオカメラ１１から画像データを入力
し、各ポイントにおける被験者Ｈの顔領域検出を行い、
検出した顔領域に基づいて各ポイントにおける顔向き推
定を行うカメラ用パソコン１４とを備える。メインパソ
コン１６はカメラ用パソコン１４が推定した顔向きに基
づいて、正面顔の絶対顔方向を検出する。メインパソコ
ン１６は検出した正面顔の絶対顔方向側に位置する２つ
のポイントからビデオカメラ１１が撮像した画像データ
中の、顔領域及び手領域の重心のそれぞれの３次元空間
位置を算出し、算出した顔領域の重心と手領域の重心の
３次元空間位置に基づいてポインティング方向を推定す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手の指示方向がど
の方向であっても、その指示方向を検出できるポインテ
ィングジェスチャ検出方法及びその装置に関するもので
ある。

【０００２】

【従来の技術】従来より、人物の視線や動作など、人間
をセンシングして得られる情報と、物体センシングによ
り構築された周辺環境とから、その人の要望を察知し、
その人の意図に適したサービスを提供することが提案さ
れている。これらを実現するためには、人間とその周辺
環境をセンシングし、その人が何を見て、どのような動
作を行っているかを知ることが重要なこととなる。特に
動作は、相手に意図を伝えるためには欠かせない情報の
1つである。

【０００３】動作には、頭や手、或いは体全体などを使
った動作があるが、特に手の動作は、動作している人の
意図を伝達することができる有効な手段である。手の動
きによる日常的な動作の1つにポインティングジェスチ
ャがあるが、これは人の関心領域を相手に伝えるために
は欠かせない動作である。

【０００４】すでにポインティングジェスチャを対象と
した検出方法や装置は、例えば、「実空間強化とヒュー
マン・ロボットインタフェース−実空間にマークを投影
する指さしポインタの拡張−」（第１７回日本ロボット
学会学術講演会、ｐｐ．４１７−４１８，１９９９）等
により提案されている。

【０００５】

【発明が解決しようとする課題】しかしながら、これら
はポインティング方向が限定されているため、その限定
された領域内のオブジェクトしか扱うことができない問
題がある。

【０００６】本発明は上記問題点を解決するためになさ
れたものであって、その目的は、空間をどの方向をポイ
ンティング（指さし）してもポインティングジェスチャ
を検出できるポインティングジェスチャ検出方法及びそ
の装置を提供することにある。

【０００７】

【課題を解決するための手段】上記問題点を解決するた
め、請求項１記載の発明は、被験者の周囲の所定ポイン
トから、被験者を撮像する撮像手段と、撮像手段が撮像
した画像データから、各ポイントにおける被験者の顔領
域検出を行い、検出した顔領域に基づいて各ポイントに
おける顔向き推定を行う顔向き推定手段と、顔向き推定
手段が推定した顔向きに基づいて、正面顔の絶対顔方向
を検出する正面顔検出手段と、正面顔検出手段が検出し
た正面顔の絶対顔方向側に位置する少なくとも２つのポ
イントから撮像手段が撮像した画像データ中の、顔領域
に属する第１の所定部位及び手領域に属する第２の所定
部位のそれぞれの３次元空間位置を算出し、算出した第
１の所定部位と第２の所定部位の３次元空間位置に基づ
いてポインティング方向を推定するポインティング方向
推定手段を備えたポインティングジェスチャ検出装置を
要旨とするものである。

【０００８】請求項２の発明は、請求項１において、第
１の所定部位は、顔領域の重心であることを特徴とす
る。請求項３の発明は、請求項１において、第１の所定
部位は、顔領域内に位置する眼部の重心であることを特
徴とする。

【０００９】請求項４の発明は、請求項１乃至請求項３
のいずれか１項において、第２の所定部位は、手領域の
重心であること。請求項５の発明は、請求項１乃至請求
項３のうちいずれか１項において、第２の所定部位は、
手領域の端点であることを特徴とする。

【００１０】請求項６の発明は、被験者の周囲の所定ポ
イントから、被験者を撮像する行程と、撮像した画像デ
ータから、各ポイントにおける被験者の顔領域検出を行
い、検出した顔領域に基づいて各ポイントにおける顔向
き推定を行う顔向き推定行程と、顔向き推定した顔向き
に基づいて、正面顔の絶対顔方向を検出する正面顔検出
行程と、正面顔検出行程において検出した正面顔の絶対
顔方向側に位置する少なくとも２つのポイントから撮像
した画像データ中の、顔領域に属する第１の所定部位及
び手領域に属する第２の所定部位のそれぞれの３次元空
間位置を算出する行程と、算出した第１の所定部位と第
２の所定部位の３次元空間位置に基づいてポインティン
グ方向を推定する行程を備えたポインティングジェスチ
ャ検出方法を要旨とするものである。

【００１１】請求項７の発明は、請求項６において、第
１の所定部位は、顔領域の重心であることを特徴とす
る。請求項８の発明は、請求項６において、第１の所定
部位は、顔領域内に位置する眼部領域の重心であること
を特徴とする。

【００１２】なお、本明細書では、眼部領域の重心と
は、人の顔にある一対の眼部のうちいずれか一方の眼部
領域の重心や、両眼部領域を総合した場合の重心も含む
趣旨である。

【００１３】請求項９の発明は、請求項６乃至請求項８
のうちいずれか１項において、第２の所定部位は、手領
域の重心であることを特徴とする。請求項１０の発明
は、請求項６乃至請求項８のうちいずれか１項におい
て、第２の所定部位は、手領域の端点であることを特徴
とする。

【００１４】

【発明の実施の形態】以下、本発明のポインティングジ
ェスチャ検出装置（以下、検出装置という）を具体化し
た一実施の形態を図１〜図１０を参照して説明する。

【００１５】検出装置１０は、複数台のビデオカメラ
（３ＣＣＤカメラ）１１、タイムコード発生器１２、タ
イムコードインポーザ１３、カメラ用パソコン１４、画
面合成スイッチャ１５、メインパソコン１６、同期信号
発生器１７等を備えている。カメラ用パソコン１４、メ
インパソコン１６はそれぞれ図示しないキーボード等の
入力手段を備えており、作業者が種々の操作信号を入力
可能にされている。従って、各パソコン１４，１６は入
力したその操作信号に応じて、各パソコンが備えている
記憶装置（図示しない）に予め格納したポインティング
ジェスチャ検出のためのプログラムを実行する。又、こ
のプログラムは、その時々において、作業者に必要な操
作信号の入力を図示しないディスプレイ上において促
し、その操作信号の入力があると、フローチャートにお
ける各ステップを実行するようにされている。

【００１６】本実施形態では、室内空間において、ビデ
オカメラ１１は８台用意されている。ビデオカメラ１１
は互いに同一高さに位置するように、かつ、光軸が床面
と水平になるように設置されている。そして、各ビデオ
カメラ１１は予め定めた室内中心Ｏに対してその光軸を
向けるように等角度間隔（本実施形態では４５度間隔）
で放射状に配置されている。なお、図１では、被験者Ｈ
が室内中心Ｏに位置しているが、被験者Ｈは、必ずし
も、室内中心Ｏに位置する必要はない。本実施形態で
は、室内中心Ｏの高さは、ビデオカメラ１１の取付高さ
の位置と同一としている。又、本実施形態では、被験者
Ｈである人物の腰から上、すなわち、顔及び任意に延ば
した手が位置する空間域を撮像可能に各ビデオカメラ１
１を配置している。

【００１７】なお、室内空間の照明は適度な画像データ
が得られる図示しない蛍光灯を使用している。各ビデオ
カメラ１１には、同期信号発生器１７から共通の外部同
期信号（ゲンロック（ＧＥＮ ＬＯＣＫ）信号）が供給
されている。このことにより、ディジタル化されたフレ
ームにおいて、完全に同期した画像データが得られる。
各ビデオカメラ１１毎に複数のタイムコードインポーザ
１３がそれぞれ接続されている。

【００１８】タイムコード発生器（ＬＴＣ（logtitudin
al time code）ジェネレータ）１２は、タイムコード
を生成して各タイムコードインポーザ１３に出力し、各
タイムコードインポーザ１３はそのタイムコードをＶＩ
ＴＣ（vertical intervaltime c ode）に変換した
後、各ビデオカメラ１１が撮像したビデオ信号の垂直ブ
ランク領域に書き込む。このように各ビデオカメラ１１
のビデオ信号にタイムコードを書き込むことで、全ての
ビデオカメラ１１で撮影された個々のフレーム（画像デ
ータ）の撮影時刻の特定が可能になっている。

【００１９】各タイムコードインポーザ１３毎に複数の
カメラ用パソコン１４がそれぞれ接続されている。カメ
ラ用パソコン１４は、ビデオレートのカラー画像（６４
０×４８０）を入力するようになっている。

【００２０】カメラ用パソコン１４に入力された画像
は、画面合成スイッチャ１５を介してメインパソコン１
６に入力される。メインパソコン１６は、画面合成スイ
ッチャ１５を制御することにより、カメラ用パソコン１
４からの入力画像を切り替えることが可能である。

【００２１】なお、メインパソコン１６は、各カメラ用
パソコン１４との通信をイーサネット（登録商標）を介
したソケット通信で行うようにし、画面合成スイッチャ
１５に対しては図示しないＳＩＯ（シリアル入出力装
置）で制御するようにしている。

【００２２】（作用）以下、本実施形態の検出装置１０
の作用について説明する。まず、検出装置１０が行うポ
インティングジェスチャ検出の概要を説明する。

【００２３】各ビデオカメラ１１は、被験者Ｈがポイン
ティングジェスチャをしている状態を撮像し、タイムコ
ードインポーザ１３を介して各カメラ用パソコン１４に
入力する。メインパソコン１６からの要求信号に基づい
て、各カメラ用パソコン１４はビデオカメラ１１からの
画像のキャプチャを行い、続いて肌色領域抽出を行い、
顔向き推定を行い、顔向き推定結果をメインパソコン１
６に送信する。メインパソコン１６は、カメラ用パソコ
ン１４から入力した顔向き推定結果に基づいて顔向きを
統合判定し、画面合成スイッチャ１５を制御して、２台
のビデオカメラ１１を選択し、得られたカメラ画像から
それぞれの手・顔領域を検出する。そして、検出された
それぞれの手・顔領域の重心位置から、空間内における
手・顔領域の三次元位置を算出し、２点間を結んだ直線
方向をポインティング方向とする。

【００２４】以下、図２のフローチャートを参照して詳
細に説明する。 （顔領域抽出）各カメラ用パソコン１４は、ビデオカメ
ラ１１からのフレーム（画像データ、例えば図８
（ａ）、（ｂ）参照）をキャプチャした後（ステップ１
参照、以下ステップをＳという。）、顔領域抽出を行
う。顔領域検出は、色情報を用いた公知の肌色基準値に
よる手法を用いている。本実施形態では、均等知覚色空
間の１つであるＬＵＶ表色系を用いている。

【００２５】まず、入力された画像データから、画像の
全領域に亘り、Ｕ，Ｖ座標値による２次元色ヒストグラ
ムを求め、予め定めた肌色有効範囲内のピーク値（度数
が最大の値）を肌色基準値とする。その基準値からの色
差に対して公知の判別分析法を適用して閾値を決定し、
その閾値に基づいて肌色領域とその他の領域に２値化す
る。本実施形態では、被験者Ｈが一人の場合を想定して
いるため、複数の肌色領域が検出された場合には、各カ
メラ用パソコン１４は最大領域を顔領域と判定する（Ｓ
２）。すなわち、抽出された複数の肌色領域にて、画素
数（面積）を求め、最大面積Ｓmaxの領域を顔領域とす
る。

【００２６】（顔向き推定）次に、Ｓ３において、各カ
メラ用パソコン１４は対応するビデオカメラ１１から得
た画像データに基づいて顔向き推定を行う。

【００２７】本実施形態では、顔向き推定は、４方向面
特徴抽出した結果を線形判別分析により、顔向きの判別
空間を作成する方法で行っている。４方向面特徴抽出で
は、画像データの濃淡値の勾配により各画素での４方向
（縦、横、右斜め４５度、左斜め４５度）のベクトル場
を求め、方向別に分割したエッジ画像を得る。得られた
エッジ画像は方向性を持った濃淡画像となる。

【００２８】具体的には、Ｓ２において入力した画像デ
ータからPrewittオペレータを用いて、微分フィルタと
してのプレヴィットフィルタ処理を行い、水平（横）、
垂直（縦）、右上がり４５度（右斜め４５度）、右下が
り４５度（左斜め４５度）の４方向のそれぞれのエッジ
画像を生成する。これらのエッジ画像を、以下、方向面
という。次に、これらの４方向面のそれぞれの画像を顔
領域で正規化し、８×８に低解像度化して、各方向面の
画素の濃淡値を特徴量（以下、特徴ベクトルという。）
として抽出する。

【００２９】この特徴量は４つの方向面に分けてから解
像度を低くしているため、入力画像の解像度を直接低く
する場合よりも、高解像度でエッジ情報が保持される。
その結果、位置ずれや、形状変化の影響を受けにくく、
かつ計算コストを削減して処理の高速化が可能となる。

【００３０】次に、各カメラ用パソコン１４は線形判別
分析を行う。なお、線形判別分析は、抽出された特徴量
（特徴ベクトル：ｘｉ）が、どのクラスに属するかを判
別するためのものであり、クラス内の分散が小さく、各
クラスの平均特徴ベクトルが互いに離れるような判別空
間を構成すると高い判別力が得られる。図３は判別分析
に係るクラスを示した概念図である。

【００３１】本実施形態では、予め、学習データに基づ
いた係数行列Ａが各カメラ用パソコン１４の記憶装置
（図示しない）に記憶されている。なお、学習データ
は、台数以外は同じ撮影条件の元で、ビデオカメラによ
り、複数の被験者Ｈである人物を撮像して得た画像デー
タに基づいたデータである。すなわち、光軸を室内中心
Ｏに向けるように等角度間隔（本実施形態では２２．５
度間隔）で放射状に配置された１６台のビデオカメラに
より、１６方向から得た画像データを得て、上記と同様
に顔領域抽出と、同顔領域における４方向面特徴抽出を
行い、特徴ベクトルｘを求める。

【００３２】ｘ＝｛ｘ１，ｘ２，……ｘ２５６｝ なお、１６台のビデオカメラの配置は、図１に示す各ビ
デオカメラ１１の間に１台ずつ等角度となるようにさら
に８台配置したものである。

【００３３】なお、１６台のビデオカメラを使用する代
わりに、例えば、基準軸α上に位置する１台のビデオカ
メラを使用して、被験者Ｈが室内中心Ｏを中心に等角度
毎に回転するたびに撮像し、そのときの画像データを学
習用データに使用しても良い。

【００３４】この特徴ベクトルｘから判別空間の特徴ベ
クトルｙ（＝Ａｘ）へ線形写像する係数行列Ａが求めら
れており、かつ各クラス（本実施形態では学習データを
取り込むときに使用した２２．５度間隔に配置したビデ
オカメラに応じた１６のクラス）が生成され、クラスの
平均特徴ベクトルｙjが算出されている。そして、前記
係数行列Ａと、各クラスの平均特徴ベクトルｙjのデー
タが、予め各カメラ用パソコン１４の記憶装置に格納さ
れている。

【００３５】なお、本実施形態では、クラス番号ｊは、
０、２２．５、４５、６７．５、９０、１１２．５、１
３５、１５７．５、１８０、−１５７．５、−１３５、
−１１２．５、−９０、−６７．５、−４５、−２２．
５の等差となる１６の値である。各クラス番号（数値）
はカメラ用パソコン１４に係るビデオカメラ１１の光軸
（カメラ方向）に対する相対顔方向とのなす角度Ｆthと
一致する。図５は被験者Ｈを中心に２２．５度間隔で１
６方向に配置したビデオカメラの配置を示し、各カメラ
から被験者Ｈを撮像した場合の、各カメラから得られる
画像データに対するクラス付与の内容を示している。同
図において、例えば−２２．５が付与されたカメラから
被験者Ｈを撮像した画像データには、クラス−２２．５
が付与される。本実施形態では、相対顔方向に係るクラ
ス番号０度が、正面顔を撮像した場合としている。な
お、「−」は、図１において、当該ビデオカメラ１１の
光軸から反時計回り方向の角度を示す。

【００３６】そして、未知データの識別を行う線形判別
分析では、前記係数行列Ａに基づいて、未知データから
抽出した４方向面特徴に掛かる特徴ベクトルｘiを写像
変換し、特徴ベクトルｙi（＝Ａｘi）を生成する。次
に、生成された特徴ベクトルｙiと、各クラスの平均特
徴ベクトルｙjとのユークリッド距離の２乗である距離
（以下、２乗距離という）Ｄijを演算し、２乗距離Ｄij
が最小値となるクラスを決定することにより、パターン
認識を行う（図４参照）。なお、図４中のＤｊは、ｉが
省略されており、本明細書中では、Ｄijに相当する。

【００３７】Ｄij＝｜ｙi−ｙj｜² …（１） この２乗距離Ｄijが最小となるクラスを決定することに
より、各カメラ用パソコン１４において、どの方向に顔
が向いているか（どのクラスに所属するか）が判別（推
定）される。この結果、各カメラ用パソコン１４におい
て、顔向き推定で得られた、カメラ方向（ビデオカメラ
１１の光軸γが向く方向、図１参照）と相対顔方向との
なす角度Ｆthが求まる。すなわち、各クラスには、各ビ
デオカメラ１１毎にカメラ方向に対する相対顔方向との
なす角度が予め付与されて前記記憶装置に格納されてお
り、どのクラスに所属するかが推定されると、カメラ方
向に対する相対顔方向とのなす角度Ｆthが決定される。

【００３８】前記算出された各クラスの２乗距離Ｄijは
メインパソコン１６に出力される。なお、ここまで説明
したクラスは、相対顔方向を示すクラスのことである。 （正面顔検出）次のＳ４〜Ｓ６の概要を説明すると、メ
インパソコン１６が被験者Ｈが手の指で指し示したポイ
ンティング方向を検出するため、被験者Ｈの顔向きを検
出する。すなわち、複数のビデオカメラ１１から得られ
た画像データを基にして、それぞれの顔向き推定結果を
統合することにより、正面顔を検出する。

【００３９】まず、Ｓ４では、クラス番号の統一を行
う。この処理を行う理由は下記の通りである。すなわ
ち、各カメラ用パソコン１４におけるクラスは、当該カ
メラ用パソコン１４が入力するビデオカメラ１１の設置
角度（室内中心Ｏを基準とした場合の絶対座標を基準と
した角度）を考慮して割り振られたものではない。この
ため、各カメラ用パソコン１４から入力された各クラス
の２乗距離において、相対顔方向のクラスは絶対顔方向
のクラスに変換する必要がある。

【００４０】従って、この処理は、各カメラ用パソコン
１４が持っているクラスｊは、予めビデオカメラ１１の
取り付けられている角度（基準軸αに対する当該ビデオ
カメラ１１の光軸とのなす角度）を考慮して割り振りし
ていないための処理である。

【００４１】図６は、各ビデオカメラ１１（すなわち、
各カメラ用パソコン１４）に係るクラスｊの相対角度を
一覧表化した図であり、縦欄はビデオカメラの番号を示
し、横欄は各カメラに係るクラスｊを示している。な
お、横欄の１〜１６は、便宜上の欄番号である。図中、
カメラ１は基準軸αに位置するビデオカメラ１１（図１
参照）を意味しており、以下時計回り方向順に２以降の
番号を付与している。そして、カメラ１に対して被験者
Ｈが正面向きの場合、カメラ１では第１欄のクラスは０
度のものを意味しているが、カメラ２（カメラ１から時
計回り方向に４５度位置したカメラ）では第１欄のクラ
スでは−４５度のものを意味している。以下、同様に各
欄の数値を示している。

【００４２】従って、本処理は各カメラ用パソコン１４
が持っているクラスｊを室内座標系θの角度に対応付け
するための処理である。すなわち、Ｓ４では、メインパ
ソコン１６は、各カメラ用パソコン１４において前述の
顔向き推定で得られたカメラ方向に対する相対顔方向の
角度Ｆth（＝相対顔方向のクラス番号）を下記（３）式
により室内座標系θ（すなわち、絶対座標系）に変換
し、絶対顔方向（被験者Ｈの顔が向いている方向と基準
軸αとのなす角度）とする。

【００４３】θ＝Ｆth＋Ｐth＋Ｃth …（３） なお、Ｃthは基準軸α（絶対角度を０度とする。）とカ
メラ方向とがなす角度、Ｐthはビデオカメラ１１から見
た室内中心Ｏと被験者Ｈ位置がなす角度である。なお、
本実施形態では、被験者Ｈは常に室内中心Ｏに存在する
ものとしており、多少の誤差があってもＰthの値は無視
できるため、Ｐthは０としている。

【００４４】上記のように各ビデオカメラ１１における
相対顔方向のクラスを絶対顔方向のクラスに変換する。
次に、Ｓ５においては、絶対顔方向別（すなわちクラス
ｊ別、なお、ここでのクラスｊはＳ４において、室内座
標系θの角度に対応付け後のもの（絶対顔方向に係るク
ラス）である。以下、同じ）に下記の評価式（２）にて
評価のための演算を行う。

【００４５】なお、評価式は（２）に限定するものでは
なく、２乗距離が小さいほど評価値が大きくなるような
式であれば良い。

【００４６】

【数１】 （２）式中、ｍは前記配置したビデオカメラ１１の番号
であり、１〜８の値である。（ｍ）を付したＤは、その
番号が付与されたビデオカメラ１１が撮像した画像デー
タに関する２乗距離を示す。 なお、肌色領域が検出さ
れたなかった方向は、２乗距離を無限大とし、評価値が
０となるようにしている。なお、手等によるオクルージ
ョン（遮蔽）が発生した場合であっても、統合結果を用
いているため、顔方向の推定は可能である。

【００４７】続く、Ｓ６では、前記評価式（２）で演算
した結果（顔向き評価値）の中から、最大値となるクラ
スｊ（絶対顔方向に係るクラスｊ）に係るものを統合結
果として、正面顔を決定する。すなわち、最大値となる
クラスｊが属する絶対顔方向が被験者Ｈが正面を向いて
いる方向であるとするのである。

【００４８】（ポインティング方向推定）続く、Ｓ７〜
Ｓ９は、ポインティング方向推定の処理である。ポイン
ティング方向推定は、顔と手の空間位置を求め、その２
点間を結んだ延長線上をポインティング方向と推定する
ものである。

【００４９】（カメラ選択）まずＳ７では、Ｓ６で正面
顔を決定した結果を利用して、被験者Ｈの正面顔を撮像
したビデオカメラ１１を特定する。すなわち、絶対顔方
向において、Ｓ６で決定されたクラスｊ（絶対顔方向に
係るクラスｊ）に対応した位置に位置するビデオカメラ
１１を決定する。図７には、正面顔を捉えたビデオカメ
ラ１１の光軸を中心に±２２．５度の範囲を斜線領域で
示している。

【００５０】次に、この正面顔を捉えたビデオカメラ１
１を挟んで隣接する２台のビデオカメラ（図７では、カ
メラ１，３）を選択し、画面合成スイッチャ１５を介し
て、選択したビデオカメラ１１のカメラ用パソコンから
画像データをメインパソコン１６に入力する。本実施形
態では、３２０×２４０の解像度の画像データである。
なお、画像データは、ＹＩＱのカラー画像表色系で入力
されている。

【００５１】なお、本実施形態では、正面顔を捉えたビ
デオカメラ１１を挟んで隣接する２台のビデオカメラを
選択する理由は、ステレオカメラを構成するためであ
る。なお、正面顔を捉えたビデオカメラ１１をステレオ
カメラとして使用しない理由は、手によるオクルージョ
ンが発生する場合があり得るため、これを回避するため
である。

【００５２】（手・顔領域抽出）次に、Ｓ８では、得ら
れた各画像データについて、肌色基準値を再算出し、肌
色領域を抽出する。抽出された肌色領域のうち、最大領
域を顔領域とし、次に大きい領域を手領域と判定する。
なお、この判定は、ビデオカメラ１１の撮像位置の関係
で、顔領域が、手領域よりも必ず大きくなる場合の判定
の仕方である。

【００５３】なお、撮像位置の関係で、得られた顔領域
が手領域より小さくなる場合は、位置情報を用いて決定
しても良い。この位置情報の利用の仕方について説明す
る。

【００５４】図７に示すように、選択された２台のビデ
オカメラ１１（図中では、カメラ１，３）は、その光軸
が直交するようにして配置されている。このため、正面
顔を捉えたビデオカメラ１１から室内中心Ｏを見て、右
に位置するビデオカメラ（図では、カメラ１）の撮像し
た画像データ（図８（ｂ）及び図９（ｂ）参照）では、
手領域は顔領域の左側に位置する。又、左に位置するビ
デオカメラ１１（図では、カメラ３）の撮像した画像デ
ータ（図８（ａ）及び図９（ａ）参照）では、手領域は
顔領域の右側に位置する。この左右位置の判定で、顔領
域と手領域の判定ができる。なお、説明の便宜上、右に
位置するビデオカメラ１１を右カメラ、左に位置するビ
デオカメラ１１を左カメラ、正面顔を捉えているビデオ
カメラ１１を中央カメラということがある。

【００５５】（ステレオマッチング）次のＳ９では、２
台のビデオカメラ１１から得られた手領域、及び顔領域
の画素数からそれぞれの重心位置（Ｘ_h，Ｙ_h），
（Ｘ_f，Ｙ_f）を求め、それぞれの重心位置を公知のステ
レオマッチング法を使用することにより、顔領域及び手
領域の３次元空間位置（ｘ_h，ｙ_h，ｚ_h）、（ｘ_f，
ｙ_f．ｚ_f）を算出する。顔領域及び手領域に係る重心の
３次元空間（実空間ということがある。）位置をそれぞ
れ顔位置及び手位置という。

【００５６】なお、高さ方向の位置の算出に関しては、
顔領域が大きい画像の位置情報を基に算出する。顔領域
の重心に係る空間位置の求め方、すなわち、顔位置の求
め方については、同様であるので説明を省略する。

【００５７】（ポインティング方向の決定）Ｓ１０で
は、前記のように算出された３次元空間位置である顔位
置を始点として手位置を通る直線Ｌを得る。この直線Ｌ
上に延びる方向がポインティング方向として得られる。

【００５８】上記実施の形態によれば、以下（１）〜
（４）に示す効果を有する。 （１） 本実施形態の検出装置１０では、被験者Ｈの周
囲の等角度間隔に配置した位置（所定ポイント）から、
被験者Ｈを撮像するビデオカメラ１１（撮像手段）と、
ビデオカメラ１１が撮像した画像データから、各ポイン
トにおける被験者Ｈの顔領域検出を行い、検出した顔領
域に基づいて各ポイントにおける顔向き推定を行うカメ
ラ用パソコン１４（顔向き推定手段）とを備えた。又、
検出装置１０は正面顔検出手段としてのメインパソコン
１６が、カメラ用パソコン１４が推定した顔向きに基づ
いて、正面顔の絶対顔方向を検出するようにした。又、
メインパソコン１６はポインティング方向推定手段とし
て、検出した正面顔の絶対顔方向側に位置する少なくと
も２つのポイントからビデオカメラ１１が撮像した画像
データ中の、顔領域の重心（第１の所定部位）及び手領
域の重心（第２の所定部位）のそれぞれの３次元空間位
置を算出し、算出した顔領域の重心と手領域の重心の３
次元空間位置に基づいてポインティング方向を推定する
ようにした。

【００５９】この結果、いずれの方向を被験者Ｈが手で
指し示した場合においても、的確にその指し示した方向
を検出することができる。 （２） 本実施形態では、第１の所定部位は、顔領域の
重心とした。この結果、顔領域の重心の座標を算出する
ことにより、請求項１の作用を実現することができる。

【００６０】（３） 本実施形態では、第２の所定部位
は、手領域の重心とした。この結果、手領域の重心の座
標を算出することにより、請求項１の作用を実現するこ
とができる。

【００６１】（４） 本実施形態のポインティングジェ
スチャ検出方法では、被験者Ｈの周囲において、等角度
間隔に配置した位置（所定ポイント）から、ビデオカメ
ラ１１を使用して被験者Ｈを撮像し、撮像した画像デー
タから、各撮像した位置における被験者Ｈの顔領域検出
を行い、検出した顔領域に基づいて前記各位置における
顔向き推定を行う顔向き推定を行うようにした。そし
て、顔向き推定した顔向きに基づいて、正面顔の絶対顔
方向を検出し、検出した正面顔の絶対顔方向側に位置す
る２つのポイントから撮像した画像データ中の、顔領域
の重心（第１の所定部位）及び手領域の重心（第２の所
定部位）のそれぞれの３次元空間位置を算出するように
した。さらに、算出した顔領域の重心と手領域の重心の
３次元空間位置に基づいてポインティング方向を推定す
るようにした。

【００６２】この結果、上記（１）と同様の効果を奏す
ることができる。 （５） 本実施形態における検出方法では、第１の所定
部位は、顔領域の重心とした。この結果、上記（２）と
同様の効果を奏する。

【００６３】（６） 本実施形態における検出方法で
は、第２の所定部位は、手領域の重心とした。この結
果、上記（３）と同様の効果を奏する。 （第２実施形態）次に第２実施形態を特に図１０〜図１
４を参照して説明する。

【００６４】なお、本実施形態において、第１実施形態
と異なるところを中心にして説明し、第１実施形態と同
一構成については同一符号を付して説明する。又、同じ
構成、作用の説明については、第１実施形態の説明及び
図面を参照されたい。

【００６５】本実施形態では、ハード構成は、同じであ
り、作用において異なっている。なお、図１０のフロー
チャートにおいて、Ｓ１〜Ｓ６までは第１実施形態と同
様であるため、説明を省略する。又、本実施形態では、
被験者Ｈは室内空間にある対象物Ｔをポインティングし
ているものとする。

【００６６】（ポインティング方向推定）Ｓ１１〜Ｓ１
４は、ポインティング方向推定の処理である。ポインテ
ィング方向推定は、顔と手の空間位置を求め、その２点
間を結んだ延長線上をポインティング方向と推定するも
のである。

【００６７】このポインティング方向推定において第１
実施形態では、２台のビデオカメラ１１の画像データを
使用したが、本実施形態においては、３台のビデオカメ
ラ１１の画像データを使用するところが異なっている。
又、第１実施形態では、顔領域と手領域の重心位置を求
め、ステレオマッチングにより、顔位置と手位置の３次
元空間位置に変換して、両位置間を結ぶ直線を求めた。
それに対して、本実施形態では顔領域における眼部領域
の重心と、手領域の指先位置の３次元空間位置をそれぞ
れステレオマッチングにて求めて、ポインティング方向
推定を行うところが異なっている。

【００６８】（カメラ選択）以下、詳細に説明する。ま
ず、Ｓ１１では、第１実施形態と同様にＳ６で正面顔を
決定した結果を利用して、被験者Ｈの正面顔を撮像した
ビデオカメラ１１を特定する。次に、この正面顔を捉え
たビデオカメラ１１を挟んで隣接する２台のビデオカメ
ラ（図７では、カメラ１，３）と正面顔を捉えたビデオ
カメラ（図７では、カメラ２）を選択し、画面合成スイ
ッチャ１５を介して、選択したビデオカメラ１１のカメ
ラ用パソコンから画像データをメインパソコン１６に入
力する。本実施形態では、３２０×２４０の解像度の画
像データである。なお、画像データは、ＹＩＱのカラー
画像表色系で入力されている。

【００６９】本実施形態においても、正面顔を捉えたビ
デオカメラ１１を挟んで隣接する２台のビデオカメラも
選択する理由は、正面顔を捉えたビデオカメラ１１の場
合、手によるオクルージョンが発生する場合もあり得る
ため、これを回避するためである。

【００７０】（眼部、指先の抽出）Ｓ１２において、眼
部領域の抽出には、画像データ中のＹＩＱ基底のＹ成分
（輝度成分）を用いる。本実施形態では、被験者Ｈが右
利きの者を想定しており、右カメラ（図７においては、
カメラ１）で撮像した画像データより顔領域を抽出す
る。なお、右利きの場合には、右カメラの画像データを
使用するのは、被験者Ｈが右利きであると、ポインティ
ングジェスチャにより手による顔領域に対するオクルー
ジョンが発生しないからである。従って、被験者Ｈが左
利きの場合には、左カメラの画像データを使用する。

【００７１】次に、メインパソコン１６は、抽出した顔
領域の中でＹ成分（輝度成分）の値が低い領域を抽出す
る。抽出された領域中には、眼部領域、眉領域、鼻孔領
域等があるが、それぞれの位置関係（上下関係）は既知
であるため、この関係から、眼部領域を特定する。な
お、眼部には、右目及び左目があるが、被験者Ｈの利き
目条件が予め記憶装置に格納されており、その条件に基
づいて利き目の眼部領域を特定する。

【００７２】なお、メインパソコン１６の入力装置を介
して、いずれかの眼部領域を特定するようにしても良
い。そして、眼部領域の重心計算を行い、この重心位置
を目位置とする。

【００７３】次に、指先位置の抽出は、左カメラ（図７
においては、カメラ３）で撮像した画像データに基づい
て行う。すなわち、中央カメラ（図７においては、カメ
ラ２）に対して−２２．５度以上、２２．５度未満で
は、指先は手領域の端点となることから、左カメラの画
像データに基づいて手領域を抽出し、手領域の重心位置
を求める。そして、手領域の重心位置から、最も離間し
た点を端点として、すなわち指先位置として抽出する。

【００７４】（ステレオマッチング及び眼部・指先の対
応点の探索）次に、Ｓ１３では、公知のステレオマッチ
ング法を用いて、眼部位置、及び指先位置の３次元空間
位置を算出する。

【００７５】次に、目位置、指先位置がそれぞれ１つの
画像上で既知であるため、他の画像上での対応点を公知
のエピポーラ線上に沿って探索する。目位置の対応点は
中央カメラ画像（図７においては、カメラ２から得た画
像データ）、左カメラ画像（図７においては、カメラ３
から得た画像データ）より求める。右カメラ画像（図７
においては、カメラ１から画像データ）より求められた
特徴点に対して（２ｍ＋１）×（２ｎ＋１）のウィンド
ウを設定し、中央カメラ画像、左カメラ画像のそれぞれ
のエピポーラ線上の各点を中心とするウィンドウとの類
似度をはかる。ここでは、類似度を評価するために、Ｙ
ＩＱ基底のＹ成分を用いて相関の強さを求めた。

【００７６】２つのカメラ画像より得られたそれぞれの
点のカメラ座標をｍ₁（ｕ₁，ｖ₁），ｍ₂（ｕ₂，ｖ₂）と
すると、相関値Ｓは次のようになる。

【００７７】

【数２】 ここで、

【００７８】

【数３】

【００７９】

【数４】 である。

【００８０】ただし、

【００８１】

【数５】 は点（ｕ，ｖ）を中心とするウィンドウのＹ_k（ｋ＝
１，２）の平均値であり、σ（Ｙ_k）はその標準偏差で
ある。対応点は、中央カメラ画像に対する相関値と左カ
メラ画像に対する相関値をそれぞれ求め、２つの値のう
ち大きい値を取るカメラ画像上の点として決定する。

【００８２】図１１（ａ）には右カメラ画像で求められ
た目位置Ｉ１を、図１１（ｂ）には中央カメラ画像にお
いて、その点Ｉ１に対するエピポーラ線Ｅと最も相関の
高かった点、すなわち、目位置の対応点Ｉ２を示す。

【００８３】次に指先の対応点は、右カメラ画像より求
める。指先位置の場合は、肌色領域の端点としているた
め、右カメラ画像におけるエピポーラ線上を左側から探
索し、最初に現れた肌色領域の点を対応点とする。図１
２（ａ）に左カメラ画像で求められた指先位置Ｕ１を、
図１２（ｂ）には右カメラ画像上において、その点に対
応するエピポーラ線Ｅと肌色領域の端点Ｕ２を示す。そ
して、３次元空間位置は、得られたそれぞれのカメラ画
像における座標位置を前記（４）式に適用することによ
り算出して求める。

【００８４】（ポインティング方向の決定）次のＳ１４
では、ポインティング方向の決定（推定）処理を行う。
図１３及び図１４はポインティング方向推定に用いるｘ
ｙｚ座標系（室内座標系、すなわち、絶対座標系として
いる。）を示している。なお、ｘ軸、ｙ軸、ｚ軸は、室
内中心Ｏを０点（各軸の交点）とし、互いに直交した方
向に延びている。そして、ｘ軸、ｙ軸を含む平面上に前
記ビデオカメラ１１の光軸が位置しているものとする。
本実施形態では、室内中心Ｏは、ビデオカメラ１１の取
付高さの位置としている。又、図１３、図１４におい
て、ビデオカメラ１１は室内中心Ｏに対するその取付け
位置の方向性を明確にするために図示したものであり、
絶対的な位置を示しているものではない。

【００８５】Ｓ１３で求めた眼部、及び指先の３次元空
間位置をそれぞれＭ₁，Ｍ₂とすると、ポインティング方
向はｙ軸と線分Ｍ₁Ｍ₂がなす角度φ１（図１３参照）、
及びｘ軸，ｙ軸を含む平面と線分Ｍ₁Ｍ₂がなす角度φ２
（図１４参照）を求める。図１３中、ｙ１はｙ軸と平行
な線である。

【００８６】なお、被験者Ｈは空間内を自由に動けるた
め、φ１，φ２の値は同じ対象物Ｔをポインティングし
ても一意には定まらず、方向推定精度を求めるような場
合には有効ではない。そのため、本実施形態では、既知
の周辺環境条件から、室内中心Ｏと、対象物Ｔの空間位
置座標を予めメインパソコン１６の図示しない記憶装置
に格納している。そして、この室内中心Ｏと対象物Ｔの
空間位置座標とに基づいて、室内中心Ｏを中心とし距離
ＯＴである円弧と、線分Ｍ₁Ｍ₂を延長した直線の交点
Ｔ’を求める。そして、ｙ軸と線分ＯＴ’のなす角度θ
１及び図１４に示すようにｘ軸，ｙ軸を含む平面と線分
ＯＴ’のなす角度θ２がポインティング方向であるとし
て決定する。

【００８７】上記実施の形態によれば、以下（１）〜
（６）に示す効果を有する。 （１） 本実施形態の検出装置１０では、第１実施形態
と同様に、撮像手段としてビデオカメラ１１と、顔向き
推定手段として各ポイントにおける顔向き推定を行うカ
メラ用パソコン１４と、正面顔検出手段としてメインパ
ソコン１６を備えるようにした。

【００８８】さらに、検出装置１０のメインパソコン１
６はポインティング方向推定手段として、検出した正面
顔の絶対顔方向側に位置する３つのポイントからビデオ
カメラ１１が撮像した画像データ中の顔領域に属する眼
部領域の重心（第１の所定部位）及び手領域の端点（第
２の所定部位）のそれぞれの３次元空間位置を算出し、
算出した３次元空間位置に基づいてポインティング方向
を推定するようにした。

【００８９】その結果、いずれの方向を被験者Ｈが手で
指し示した場合においても、的確にその指し示した方向
を検出することができる。 （２） 本実施形態での検出装置１０では、第１の所定
部位は、顔領域内に位置する眼部領域の重心とした。こ
の結果、上記（１）の作用効果を実現することができ
る。

【００９０】（３） 本実施形態での検出装置１０で
は、第２の所定部位は、手領域の端点とした。この上記
（１）の作用効果を実現することができる。 （４） 本実施形態の検出方法は、被験者Ｈの周囲にお
いて、等角度間隔に配置した位置（所定ポイント）か
ら、ビデオカメラ１１を使用して被験者Ｈを撮像し、撮
像した画像データから、各撮像した位置における被験者
Ｈの顔領域検出を行い、検出した顔領域に基づいて前記
各位置における顔向き推定を行う顔向き推定を行うよう
にした。そして、顔向き推定した顔向きに基づいて、正
面顔の絶対顔方向を検出し、検出した正面顔の絶対顔方
向側に位置する３つのポイントからビデオカメラ１１が
撮像した画像データ中の顔領域に属する眼部領域の重心
（第１の所定部位）及び手領域の端点（第２の所定部
位）のそれぞれの３次元空間位置を算出し、算出した３
次元空間位置に基づいてポインティング方向を推定する
ようにした。

【００９１】この結果、上記（１）と同様の効果を奏す
ることができる。 （５） 本実施形態の検出方法では、第１の所定部位
は、顔領域内に位置する眼部領域の重心とした。この結
果、上記（４）の作用効果を実現できる。

【００９２】（６） 本実施形態の検出方法では、第２
の所定部位は、手領域の端点とした。この結果、上記
（４）の作用効果を実現できる。なお、本発明の実施形
態は上記実施の形態に限定されるものではなく、発明の
趣旨を逸脱しない範囲で、適宜に変更して次のように実
施することもできる。

【００９３】（１） 前記実施形態では、撮像手段とし
て８台のビデオカメラ１１を使用したが、台数は限定す
るものではなく、１６台で行っても良い。又、それ以外
の台数で行っても良い。

【００９４】（２） 前記第２実施形態では、被験者Ｈ
は空間内を自由に動けるため、φ１，φ２の値は同じ対
象物Ｔをポインティングしても一意には定まらず、方向
推定精度を求めるような場合には有効ではないとした。
しかし、方向推定精度を求めない場合には、Ｓ１３で求
めた眼部、及び指先の３次元空間位置をそれぞれＭ₁，
Ｍ₂とすると、ポインティング方向はｙ軸と線分Ｍ₁Ｍ₂
がなす角度φ１（図１３参照）、及びｘ軸，ｙ軸を含む
平面と線分Ｍ₁Ｍ₂がなす角度φ２（図１４参照）を求め
た結果を利用しても良い。

【００９５】（３） 第１実施形態において、顔領域の
重心を求める代わりに、第２実施形態で説明した顔領域
に属する眼部領域の重心を求めて実施しても良い。 （４） 第１実施形態において、手領域の重心位置を求
める代わりに、第２実施形態で説明した手領域の端点位
置を求めて実施しても良い。

【００９６】（５） 第２実施形態では、眼部領域の重
心を利き目の眼部領域の重心としたが、利き目ではない
方の目の眼部領域の重心を採用してもよい。 （６） 上記第２実施形態や上記（５）に限らず、両眼
部領域を含んだ重心を算出して、これを採用しても良
い。例えば各眼部領域について、それぞれの重心を求
め、求めた２つの重心に基づいて、両眼部領域を含ん
だ、すなわち、総合した領域の重心を算出することによ
り得られる。

【００９７】（７） 第２実施形態では、手領域の重心
位置から最も離間した点という所定の条件を付与して、
これを指先位置として手領域の端点として抽出したが、
これに限定するものではなく、他の部分を端点としても
良い。例えば、手領域のうち、顔領域（例えば、顔領域
の重心）から最も離間した点という所定の条件を付与し
て、これを手領域の端点としても良い。

【００９８】

【発明の効果】以上詳述したように請求項１乃至請求項
１０に記載の発明によれば、空間のどの方向をポインテ
ィング（指さし）してもポインティングジェスチャを検
出できる効果を奏する。

【図面の簡単な説明】

【図１】 本発明の第１実施形態の全包囲ポインティン
グジェスチャ検出装置の構成を示すブロック図。

【図２】 同じくフローチャート。

【図３】 判別分析に係るクラスを示した概念図。

【図４】 パターン認識の概念図。

【図５】 ビデオカメラの光軸（カメラ方向）に対する
相対顔方向とのなす角度Ｆthとの関係を示す説明図。

【図６】各ビデオカメラ１１に係るクラスｊの相対角度
を表した一覧表化した説明図。

【図７】カメラ選択の説明図。

【図８】ビデオカメラが撮像した画像データを示し、
（ａ）はカメラ３の画像データ、（ｂ）はカメラ１の画
像データの説明図。

【図９】肌色基準で抽出した画像データを示し、（ａ）
はカメラ３の画像データ、（ｂ）はカメラ１の画像デー
タの説明図。

【図１０】第２実施形態の同じくフローチャート。

【図１１】（ａ）は右カメラ画像で求められた目位置を
示す説明図、（ｂ）は中央カメラ画像上のエピポーラ線
と目位置の対応点を示す説明図。

【図１２】（ａ）は左カメラ画像で求められた指先位置
を示す説明図、（ｂ）はエピポーラ線と肌色領域の端点
を示す説明図。

【図１３】ポインティング方向の座標系を示す説明図。

【図１４】同じくポインティング方向の座標系を示す説
明図。

【符号の説明】

１１…ビデオカメラ（撮像手段）、 １４…カメラ用パソコン（（顔向き推定手段） １６…メインパソコン（正面顔検出手段、ポインティン
グ方向推定手段）

───────────────────────────────────────────────────── フロントページの続き (71)出願人 501087766 安本 護 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン内 (71)出願人 501086286 山本 和彦 岐阜県岐阜市柳戸１番１ 岐阜大学内 (72)発明者 渡辺 博己 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン内 (72)発明者 本郷 仁志 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン内 (72)発明者 安本 護 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン内 (72)発明者 山本 和彦 岐阜県岐阜市柳戸１番１ 岐阜大学 内 Ｆターム(参考） 5B068 BB18 BE08 CC17 EE01 5B087 AA07 BC05 BC12 BC13 BC26 BC32 DD03 5L096 CA05 EA35 FA67 HA13

Claims (10)

【特許請求の範囲】
1. 【請求項１】 被験者の周囲の所定ポイントから、被験
   者を撮像する撮像手段と、 撮像手段が撮像した画像データから、各ポイントにおけ
   る被験者の顔領域検出を行い、検出した顔領域に基づい
   て各ポイントにおける顔向き推定を行う顔向き推定手段
   と、 顔向き推定手段が推定した顔向きに基づいて、正面顔の
   絶対顔方向を検出する正面顔検出手段と、 正面顔検出手段が検出した正面顔の絶対顔方向側に位置
   する少なくとも２つのポイントから撮像手段が撮像した
   画像データ中の、顔領域に属する第１の所定部位及び手
   領域に属する第２の所定部位のそれぞれの３次元空間位
   置を算出し、算出した第１の所定部位と第２の所定部位
   の３次元空間位置に基づいてポインティング方向を推定
   するポインティング方向推定手段を備えたポインティン
   グジェスチャ検出装置。
2. 【請求項２】 第１の所定部位は、顔領域の重心である
   請求項１に記載のポインティングジェスチャ検出装置。
3. 【請求項３】 第１の所定部位は、顔領域内に位置する
   眼部領域の重心である請求項１に記載のポインティング
   ジェスチャ検出装置。
4. 【請求項４】 第２の所定部位は、手領域の重心である
   請求項１乃至請求項３のうちいずれか１項に記載のポイ
   ンティングジェスチャ検出装置。
5. 【請求項５】 第２の所定部位は、手領域の端点である
   請求項１乃至請求項３のうちいずれか１項に記載のポイ
   ンティングジェスチャ検出装置。
6. 【請求項６】 被験者の周囲の所定ポイントから、被験
   者を撮像する行程と、 撮像した画像データから、各ポイントにおける被験者の
   顔領域検出を行い、検出した顔領域に基づいて各ポイン
   トにおける顔向き推定を行う顔向き推定行程と、 顔向き推定した顔向きに基づいて、正面顔の絶対顔方向
   を検出する正面顔検出行程と、 正面顔検出行程において検出した正面顔の絶対顔方向側
   に位置する少なくとも２つのポイントから撮像した画像
   データ中の、顔領域に属する第１の所定部位及び手領域
   に属する第２の所定部位のそれぞれの３次元空間位置を
   算出する行程と、 算出した第１の所定部位と第２の所定部位の３次元空間
   位置に基づいてポインティング方向を推定する行程を備
   えたポインティングジェスチャ検出方法。
7. 【請求項７】 第１の所定部位は、顔領域の重心である
   請求項６に記載のポインティングジェスチャ検出方法。
8. 【請求項８】 第１の所定部位は、顔領域内に位置する
   眼部の重心である請求項６に記載のポインティングジェ
   スチャ検出方法。
9. 【請求項９】 第２の所定部位は、手領域の重心である
   請求項６乃至請求項８のうちいずれか１項に記載のポイ
   ンティングジェスチャ検出装置。
10. 【請求項１０】 第２の所定部位は、手領域の端点であ
    る請求項６乃至請求項８のうちいずれか１項に記載のポ
    インティングジェスチャ検出方法。