JP2006048485A - 入力支援装置 - Google Patents
入力支援装置 Download PDFInfo
- Publication number
- JP2006048485A JP2006048485A JP2004230567A JP2004230567A JP2006048485A JP 2006048485 A JP2006048485 A JP 2006048485A JP 2004230567 A JP2004230567 A JP 2004230567A JP 2004230567 A JP2004230567 A JP 2004230567A JP 2006048485 A JP2006048485 A JP 2006048485A
- Authority
- JP
- Japan
- Prior art keywords
- nostril
- mouth
- area
- detected
- mouth shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】 計算負荷の軽い顔のトラッキングアルゴリズムを用いることで、口の動きをコンピュータ等への入力の支援に利用することが可能な入力支援装置を提供する。
【解決手段】 描画システム100では、カメラ102が、ユーザの鼻領域と口領域を含む対象画像領域内の各画素の値のデジタルデータを動画として獲得する。CPU1104は、対象画像領域内において、鼻孔を検出し、検出された鼻孔位置に対応する所定の探索領域において、口形状を検出する。ハードディスク1110には、口形状の複数のパターン情報と制御量とが予め関連付けて格納されており、CPU1104は、口形状に応じて制御量を特定するための信号を生成する。
【選択図】 図1
【解決手段】 描画システム100では、カメラ102が、ユーザの鼻領域と口領域を含む対象画像領域内の各画素の値のデジタルデータを動画として獲得する。CPU1104は、対象画像領域内において、鼻孔を検出し、検出された鼻孔位置に対応する所定の探索領域において、口形状を検出する。ハードディスク1110には、口形状の複数のパターン情報と制御量とが予め関連付けて格納されており、CPU1104は、口形状に応じて制御量を特定するための信号を生成する。
【選択図】 図1
Description
この発明は、コンピュータ等の機器で描画を行なう際において、当該機器と人間との間のインタフェースをとるための構成に関する。
口の動きは、会話や表情を含む多くの人間の行動において重要な役割を果たしている。したがって、口の動きを、マンマシンインタフェースにおける重要な役割を果たすものと考えたとしても不合理ではない。
ところが、自動的な表情認識や読唇術については、かなりの先行する研究が存在するものの、コンピュータあるいは他の機械等と人間との間のインタフェースとして、口の可能な役割を研究した仕事は比較的少ない。これは、如何にして、口の動きに関する情報を、その人の動きを邪魔せず、かつ非侵襲的な方法で獲得するにはどのようにすればよいか、という点で技術的に課題があるためと考えられる。
非特許文献1には、コンピュータによる画像処理を用いたマンマシンインタフェースの例が開示されている。
さらに、表情や読唇のために、口や唇の検知とトラッキングを用いた先行技術も存在する(たとえば、非特許文献2を参照)。
Marco Porta:Vision-based user interface: methods and applications. Int. J. Human-Computer Studies 57(2002)pp.27-73 E. Petajan and H.P. Graf : Robust Face Feature Analysis for Automation Speechreading and Character Animation. : Proceeding of the Internatinal Conference on Automatic Face and Gesture Recognition. (1996) pp.357-362
Marco Porta:Vision-based user interface: methods and applications. Int. J. Human-Computer Studies 57(2002)pp.27-73 E. Petajan and H.P. Graf : Robust Face Feature Analysis for Automation Speechreading and Character Animation. : Proceeding of the Internatinal Conference on Automatic Face and Gesture Recognition. (1996) pp.357-362
このように、ユーザの動作を妨げることなく、かつ非侵襲的に、口の動きを獲得するためには、コンピュータによる画像処理を使用することが有効と考えられる。
しかしながら、画像に基づいて、顔あるいは顔の一部分をトラッキングするという先行する研究では、顔全体のイメージをキャプチャすることが必要である。
このため、ロバストに、比較的簡単で計算負荷がそれほど大きくはないコンピュータの画像処理のアルゴリズムを用いて、口の動きを獲得し、かつこれをマンマシンインタフェースとして、利用する手法については、従来必ずしも明らかとはいえない。
本発明の目的は、計算負荷の軽い顔のトラッキングアルゴリズムを用いることで、口の動きをコンピュータ等への入力の支援に利用することが可能な入力支援装置を提供することである。
この発明のある局面に従うと、入力支援装置であって、ユーザの口領域および鼻領域を含む対象画像領域内の各画素データを動画として獲得する撮影手段と、対象画像領域内において、鼻孔を検出する鼻孔検出手段と、検出された鼻孔位置に対応する所定の探索領域において、口形状を検出する口形状検出手段と、口形状の複数のパターン情報と制御量とを予め関連付けて格納するための記憶手段と、記憶手段に格納された情報に基づいて、口形状に応じて制御量を特定するための信号を生成する制御信号生成手段とを備える。
好ましくは、鼻孔検出手段は、対象画像領域内において、所定の第1のウインドウ内の水平方向および垂直方向の輝度値の極小値から、鼻孔の位置を検出し、口形状検出手段は、第1のウインドウの下方の第2のウインドウ内で、赤色成分および輝度に基づいて、口腔領域を分離する。
好ましくは、鼻孔検出手段は、検出された2つの鼻孔の水平軸に対する傾きを検出し、口形状検出手段は、検出された傾きだけ傾けた矩形領域の第2のウインドウ内で、口腔領域を分離する。
好ましくは、鼻孔検出手段は、動画の各フレームにおいて、検出された2つの鼻孔の中点を検出し、次のフレームでの鼻孔の追跡にあたって、それ以前のフレームにおける中点の位置を外挿入した予測位置を用いて、当該次のフレームにおける中点を検出する。
[実施の形態1]
[ハードウェア構成]
以下、本発明の実施の形態にかかる入力支援装置について説明する。この入力支援装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、人物の顔の映像から、口の部分のうちの口腔領域(空いた口の領域)を抽出して、入力のための信号を生成するものである。
[ハードウェア構成]
以下、本発明の実施の形態にかかる入力支援装置について説明する。この入力支援装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、人物の顔の映像から、口の部分のうちの口腔領域(空いた口の領域)を抽出して、入力のための信号を生成するものである。
図1は、本発明の入力支援装置を用いた描画システム100の構成を示す概略ブロック図である。
すなわち、以下では、本発明の入力支援装置の適用されるアプリケーションとして、描画アプリケーションを例にとって説明するが、以下の説明で明らかとなるように、本発明の入力支援装置の適用範囲は、必ずしもこのようなアプリケーションに限定されるものではなく、たとえば、コンピュータへの文字入力の際のマウスの役割を持たせたり、あるいは、携帯電話などでは、テンキーと組み合わせて文字入力を行なったり、さらには、コンピュータにおける作曲などのアプリケーションで、音程の制御等に用いたりすることも可能である。
図1を参照して、この描画システム100は、パーソナルコンピュータなどのコンピュータ110と、コンピュータ110に接続された表示装置としてのディスプレイ108と、同じくコンピュータ110に接続された入力装置としてのキーボード106と、ディスプレイ108の下部に設置され、ユーザ2の口付近の画像を取込むためのカメラ102と、コンピュータ110からの信号に応じて、描画データを生成し、生成された描画データをコンピュータ110に送り返すことで、対応する画像をディスプレイ108に表示するための描画専用マシン130とを含む。なお、描画のための入力装置として、タブレットとペンをさらに備える構成としてもよい。
ペンおよびタブレットは、描画のための少なくとも線図データの入力を行なう入力装置であり、たとえば、図1に示した例では、描画される線の質(たとえば、ペンの大きさ(線の太さ)や硬さ(ペンの硬さの質感)や、線の透明度や色)のうち、いずれの質を入力支援装置により制御するかを口の形状を用いて選択する。
すなわち、ユーザ2の複数の口の形状と複数の線の太さとを予め対応付けたテーブルを用意しておき、カメラ2によりキャプチャされた画像から獲得した口の形状から、線の太さを選択する、というような制御を行なうことが可能である。
また、この実施の形態のシステムでは、カメラ102としては、たとえば、CCD(固体撮像素子)を含むビデオカメラを用いて、画像データをデジタルデータとしてキャプチャする。
なお、図示しないが、コンピュータ110には、CD−ROM(Compact Disc Read-Only Memory )ドライブなど、外部の記録媒体からのデータを取り込むための装置が設けられているものとする。
さらに、図1を参照して、コンピュータ110は、バスBSそれぞれに接続された、CPU(Central Processing Unit )1104と、ROM(Read Only Memory) 1106と、RAM(Random Access Memory)1108と、ハードディスク1110と、カメラ102からの画像を取り込み、入力装置からの信号を受け取り、また描画専用マシン130との間でデータを授受するためのインタフェース部1102とを含んでいる。
ここで、上述した「ユーザ2の複数の口の形状と複数の線の太さとを予め対応付けたテーブル」は、たとえば、ハードディスク1110内に格納されている。「口の形状」とは、「口腔の幅」または「口腔の高さ」としてもよいし、「口腔の幅と口腔の高さとのアスペクト比」としてもよい。なお、テーブルとして、他の制御量、たとえば、線の硬さ、線の透明度等と口の形状との対応関係を予めテーブルとしてハードディスク1110内に格納しておき、口の形状により、これらの量を制御することとしてもよい。
したがって、描画システム100において描画専用マシン130以外の部分は、入力支援装置、言いかえると、描画の際のユーザ2に対するインタフェース装置として機能する。
既に述べたように、描画システム100において入力支援装置として機能する、描画専用マシン130以外の部分の主要部は、ともに、コンピュータハードウェアと、CPU1104により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはCD−ROM等の記憶媒体に格納されて流通し、CD−ROMドライブ等により記憶媒体から読取られてハードディスク1110に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク1110にコピーされる。そうしてさらにハードディスク1110からRAM1108に読出されてCPU1104により実行される。なお、ネットワーク接続されている場合には、たとえば、ハードディスク1110に格納することなくRAM1108に直接ロードして実行するようにしてもよい。
図1に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、CD−ROMや、ハードディスク1110等の記憶媒体に記憶されたソフトウェアである。
なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該入力支援装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて入力支援装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールまで含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体(およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号)が実施の形態を構成すると考えることができる。
[ソフトウェア構成]
図2は、図1に示した描画システム100上で動作するソフトウェアの構成を説明するための機能ブロック図である。図2においては、コンピュータ110上で動作するソフトウェア1200と、描画専用マシン130上で動作する描画モジュール1300との関係を示している。
図2は、図1に示した描画システム100上で動作するソフトウェアの構成を説明するための機能ブロック図である。図2においては、コンピュータ110上で動作するソフトウェア1200と、描画専用マシン130上で動作する描画モジュール1300との関係を示している。
図2を参照して、カメラ102から入力された画像信号は、画像キャプチャ部1202により画像データとして取り込まれ(キャプチャされ)た後、画像反転部1204において、垂直線に対して反転されて表示部108に表示される。このような反転処理により、ユーザ2によって、カメラの位置を直感的に調整することを可能にしている。なお、実際には、キャプチャされた画像データは、表示部108に対応する画像が表示されるとともに、ハードディスク1110の所定の領域に格納されて、その後の演算処理を受けることになる。
キャプチャされた画像データは、口領域抽出部1206において、まず、鼻孔の位置検出が行なわれた後、この鼻孔の位置に対応した探索領域内で、画素(ピクセル)にそれぞれが対応している2値の数値アレイに変換され、この2値の数値アレイは、空いた口の部分(口腔に対応する部分)と他の部分とに分けられる。
空いた口の領域の面積は、口腔内の画素数を加算することによって計算される。このような空いた口の領域の面積や口の形状(幅、高さ)は、出力正規化部1208により、描画や彩色を制御する信号とするために正規化され、TCP/IPを経由して、描画モジュール1300のようなアプリケーションプログラムに伝送される。
[システムの動作]
図3は、本発明の入力支援装置の機能的な概観を示すものである。
図3は、本発明の入力支援装置の機能的な概観を示すものである。
ユーザ2の顔の下側の領域の画像は、ディスプレイ108の下部に設置されたカメラ102で獲得される。このシステムは、鼻孔の検知とトラッキングを行なう。そしてこれによって口領域の位置を検出して、画像中の口腔領域を切り出す。口領域の幾何学的な特徴が、抽出され、アプリケーションプログラム、たとえば、描画プログラムへ送られる。
(鼻孔の検知およびトラッキング)
本発明において、鼻孔の検知およびトラッキングを行なう方法は、画素の輝度の勾配情報に基づいており、非特許文献2において使用されているアルゴリズムを改良したものである。
本発明において、鼻孔の検知およびトラッキングを行なう方法は、画素の輝度の勾配情報に基づいており、非特許文献2において使用されているアルゴリズムを改良したものである。
鼻孔は空洞であって表面ではないので、それらは、普通の照明の条件においては、それを囲む顔の領域よりも比較的暗くなっている。まっすぐに正面を向いた顔を考慮する場合、鼻孔を含む画像の小さなウインドウ領域において、強度パターンは、水平方向および垂直方向に移動するに従って、特徴的なプロファイルを示す。
(鼻孔の検知)
図4および図5は、鼻孔の検知処理の概念をより具体化して示す図である。
図4および図5は、鼻孔の検知処理の概念をより具体化して示す図である。
上述したような強度パターンの変化は、画像強度の射影空間において顕著である。本発明の入力支援装置のシステムでは、図4(a)に示すように、画像の特定の矩形領域において、初期的に鼻孔の位置決めを行なう。このような矩形領域は、適切に配置されたカメラ102で獲得される画像の全体領域の6分の1程度である。画像中で鼻孔の存在する領域は、たとえば、キャプチャされた画像中で、鼻孔のテンプレートとのマッチング等により、概略の位置を検出することができる。
さらに、鼻孔の正確な位置の獲得にあたって、画像の鼻孔を含む領域の強度の情報は、水平方向の領域に投影されて、ローパスフィルタ処理が行なわれる。図4(b)に示すように、鼻孔はこのような射影されたグラフ中では、2つの極小点を有するパターンとなる。鼻孔の中心の水平座標をN1xおよびN2xとすると、これらは、2つの極小値によってその位置を評価することができる。
2つの鼻孔の垂直方向の座標N1YおよびN2Yは、図5(c)に示すように、横幅が、たとえば、0.25(|N1x−N2x|)のウインドウにおいて、画像の鼻孔を含む領域の強度の情報を、垂直方向の領域に投影して、ローパスフィルタ処理を行なうと、その極小値により、位置を求めることができる。
図5(d)では、検出された結果は、鼻孔領域に重畳して示されている。
決定された鼻孔の中心位置の座標の組である、N1=(N1x,N1y)およびN2=(N2x,N2y)は、鼻孔の中心間のユークリッド距離DNを決定するために使用される。さらに、鼻孔の中心位置の座標の組は、鼻孔の中心間のラインと水平軸との角度ANと、鼻孔の中心のさらに中間の位置(中点)CNとを決定するためにも使用される。
(トラッキングの処理)
最初に鼻孔が検出されると、以後のフレームについては、鼻孔のトラッキング(追跡)が行なわれる。
最初に鼻孔が検出されると、以後のフレームについては、鼻孔のトラッキング(追跡)が行なわれる。
すなわち、次以降のフレームにおいて、トラッキングするためには、矩形のウインドウが使用され、これによって、上述したようなパラメータ、距離DN、角度AN、位置CNも逐次評価される。
図6は、トラッキングを行なうウィンドウを示す図である。
図6において、横幅2.4DN、高さDNの矩形領域が鼻孔の検知を行なうためのウィンドウである。
トラッキングを行なうアルゴリズムは、検知アルゴリズムとはやや異なり、ウインドウは、対象となるフレームで探索領域を抽出する前に、位置CNの周りに角度−ANの角度だけ回転されている。距離DNおよび角度ANは、以前に使用された値の所定数と現在の値との荷重平均によってスムージングされ、次のフレームに対する値として使用される。位置CNは、3つのフレームの間においては、等速度で動くという仮定の下に、以下に示すような式で、次のフレームの値が予想される。
CN(t+1)=CN(t)+α{CN(t)−CN(t-1)}
ここで、CN(t)は、t番目のフレームにおける位置CNの値を示し、定数αは0.1と1との間の数である。
ここで、CN(t)は、t番目のフレームにおける位置CNの値を示し、定数αは0.1と1との間の数である。
以上のような予測値で予測されたウィンドウを用いて、再び、図4(b)や図5(c)で説明した処理を繰り返すことで、当該フレームでの距離DN、角度AN、位置CNが評価されて確定される。
(口領域の分離)
口が含まれている画像の領域は、鼻孔の位置を使用することによって見積もられる。このような口腔領域の探索ウィンドウは、図6の下側の矩形で示される。探索ウィンドウは、幅がたとえば幅4DN、高さ3.5DNの矩形領域である・
探索ウインドウは、画素値を抽出する前に、鼻孔のトラッキングウィンドウと同様に回転されており、角度に依存する口の高さと幅というような口領域のパラメータが、容易に検出される。
口が含まれている画像の領域は、鼻孔の位置を使用することによって見積もられる。このような口腔領域の探索ウィンドウは、図6の下側の矩形で示される。探索ウィンドウは、幅がたとえば幅4DN、高さ3.5DNの矩形領域である・
探索ウインドウは、画素値を抽出する前に、鼻孔のトラッキングウィンドウと同様に回転されており、角度に依存する口の高さと幅というような口領域のパラメータが、容易に検出される。
口腔は、暗く見え、画像中では相対的に赤い領域となるので、ある第1のしきい値以上の赤色成分を有しており、かつ、他の第2のしきい値以下の輝度を有している画素を抽出することで切り出すことができる。このようなしきい値は、必要に応じて、ユーザによって調整することができる。このようなアルゴリズムは、カメラ102の代わりにヘッドマウントカメラを使用したシステムでも、うまく動作させることができる。
切り出された領域におけるノイズは、幅5ピクセルであって、高さ3ピクセルの近傍の画素に対して投票(Vote)アルゴリズムを使用することにより減少させている。
(口形状の評価)
分離された口領域の幾何学的な特徴を用いることで、以下のようなパラメータが抽出される。
分離された口領域の幾何学的な特徴を用いることで、以下のようなパラメータが抽出される。
まず、この口領域中のピクセルの個数は、口腔の面積AMと比例している。
この口領域の垂直方向に沿った画素の個数の標準偏差は、口腔の高さHMに比例している。このような口領域の水平方向に沿った画素の個数の標準偏差は、口腔の幅WMに比例している。口腔領域のアスペクト比RMは、RM=HM/WMによって与えられる。
HMおよびWMを評価するにあたっては、口領域の画素の水平方向および垂直方向の個数の平均値によってもよいが、上述したように標準偏差に基づくと、すべての画素位置の関数となるので、ノイズによる感度に対する影響を最小化することができる。
[評価]
このシステムの入力デバイスとしての正確さについては、5つの評価タスクに基づく実験によって調べられている。
このシステムの入力デバイスとしての正確さについては、5つの評価タスクに基づく実験によって調べられている。
(評価タスク)
図7は、各評価タスクを説明するための概念図である。
図7は、各評価タスクを説明するための概念図である。
図7(a)に示すように、円の半径を制御するタスクは、テストの主題は、口を開けた領域を、スクリーンに描かれた円の半径を制御することに用いて、その円の半径が、目標(ターゲット)となる四角形の円に接するまでそのような制御を行なうことである。
図7(b)に示すように、高さの制御タスクが、口を開けることで、スクリーン上に書かれた矩形の高さを目標となる矩形に接するまで制御することにより行なわれる。
図7(c)に示すように、幅の制御タスクは、口を開けることで、矩形の幅を変更させ、目標となる矩形の幅にそのエッジが接するまで制御を行なう。
図7(d)に示すように、アスペクト比の制御タスクでは、これは高さ方向の制御タスクと同様なものであり、図7(e)に示すように、楕円形の制御タスクは、口の高さおよび幅が、変化されて、楕円形の高さおよび幅を制御して、この楕円形のエッジが目標となる矩形に接するまで制御が続けられる。
(実験結果)
以下の関係式に従って、測定されたパラメータから、制御パラメータが決定される。
以下の関係式に従って、測定されたパラメータから、制御パラメータが決定される。
P/Pmax=gVi
ここで、Pmaxは、実験において制御されるパラメータPの最大値であり、Viは、画像中において測定された値であり、gは、制御のためのゲインである。ゲインgは、0と1の間のディメンジョンのないパラメータである。
ここで、Pmaxは、実験において制御されるパラメータPの最大値であり、Viは、画像中において測定された値であり、gは、制御のためのゲインである。ゲインgは、0と1の間のディメンジョンのないパラメータである。
半径や高さや幅やアスペクト比の制御タスクに対しては、目標となる矩形の半分の高さおよび半分の幅は、それぞれ、(5,23,42,61,80)の組の中の値とされている。ゲインgの値は、これらのタスクにおいてそれぞれ独立な可変なパラメータである。この値は、それぞれ(0.25,0.5,0.8)の組の中の値が使用されている。ゲインとターゲットの大きさの組合せのそれぞれが3回ずつ繰返され、全体として45回の試行が行なわれた。
楕円の制御タスクに関しては、gは、規定値0.25とされている。矩形の半分の大きさは、それぞれ(5,30,55,80)のいずれかとされている。高さと幅のそれぞれの組合せが、2回ずつ提示され、結果として、32回の試行が行なわれている。
テストは、3人の被験者に対して行なわれ、これらの被験者は、すべて、口によるコントローラの体験を以前したことがある人たちである。
被験者は、19インチの液晶モニタから約60cm離れたところに座っており、この液晶モニタは、1552×864ピクセルの解像度を有している。各試行は、全くランダムな順番で各ユーザに対して提示されている。各試行において、被験者は、ターゲットとなるサイズに応じて、円や矩形の半径やサイズを変化させ、左側のマスクボタンをクリックする。コンピュータは、次の試行に移る前に、3秒間にわたって、67Hzの周波数で、円や矩形の半径およびサイズを記録していく。ユーザは、試行の間で休憩をとることは許されている。各実験は、約10分間を要している。
各実験に対して、以下のような計算が行なわれた。誤差の絶対値E(これは、目標となるサイズと実際に制御されたサイズとの差に相当する)が、制御の正確さを測定するために計算されている。平均的な大きさの標準偏差σが、入力の精度として計算された。
(結果)
図8および図9は、半径の制御タスクに対して得られた評価結果を示す図である。
図8および図9は、半径の制御タスクに対して得られた評価結果を示す図である。
図8(a)は、各ゲインgの値に対して、すべてのターゲットのサイズにわたって、誤差Eを平均したものをプロットしたものであり、図8(b)は、それらに対する標準偏差をプロットしたものである。
正確さと精度はともに、ゲインの大きさgには大きくは依存していないことは明らかであり、これらの値は、すべて約1画素に近い。
図9(a)および図9(b)は、それぞれ、異なったゲインgの値に対する、ターゲットとなる半径にわたっての誤差および標準偏差のそれぞれの変化を示している。
平均誤差および標準偏差は、ターゲットの半径が大きくなるに従って大きくなっている。高さ、幅およびアスペクト比の制御タスクに関しては、その値の大きさや、変化の傾向は、すべて、半径制御タスクと同様である。このような全体の結果は、より正確で、より的確な制御が、小さなサイズのターゲットに対しては可能であるものの、ゲインにはその正確さは大きくは依存しないことを示している。入力は、正確さに関しても、精度に関しても約1画素分の値を有している。
図10は、楕円制御のタスクの評価結果を示す図である。図10(a)および図10(b)は、それぞれ、幅と高さの入力に対する最小絶対誤差をプロットしたものである。違った目標となる高さや幅に対して、それぞれプロットが行なわれている。正確さは、小さな目標の幅に対しては大変低くなっており、このことは、高さおよび幅の組合せにこれは、口をこのように2つの方向に動かすことが全く完全には独立した動作でないことによる。これは、したがって身体の構造上の限界であって、コンピュータによる画像システムの限界ではない。
以上説明したように、本発明の計算負荷の軽い顔のトラッキングプログラムは、トラッキングを行なうにあたって、主たる目印となる部分として、鼻孔(鼻の穴)を使用している。デスクトップ上あるいは、コンピュータモニタの下側に配置されたカメラによって、このような鼻孔と口腔は、容易に可視化できる。顔の下側の部分にフォーカスすることによって、利用できる画素を有効に使用することができ、口領域の解像度をより高くすることができる。カメラがローアングルであることは、携帯電話やアルムトップコンピュータのように、携帯型の応用にも適切なものである。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
2 ユーザ、100 描画システム、102 カメラ、106 キーボード、108 ディスプレイ、110 コンピュータ、130 描画専用マシン。
Claims (4)
- ユーザの口領域および鼻領域を含む対象画像領域内の各画素データを動画として獲得する撮影手段と、
前記対象画像領域内において、鼻孔を検出する鼻孔検出手段と、
前記検出された鼻孔位置に対応する所定の探索領域において、口形状を検出する口形状検出手段と、
前記口形状の複数のパターン情報と制御量とを予め関連付けて格納するための記憶手段と、
前記記憶手段に格納された情報に基づいて、前記口形状に応じて前記制御量を特定するための信号を生成する制御信号生成手段とを備える、入力支援装置。 - 前記鼻孔検出手段は、前記対象画像領域内において、所定の第1のウインドウ内の水平方向および垂直方向の輝度値の極小値から、前記鼻孔の位置を検出し、
前記口形状検出手段は、前記第1のウインドウの下方の第2のウインドウ内で、赤色成分および輝度に基づいて、口腔領域を分離する、請求項1記載の入力支援装置。 - 前記鼻孔検出手段は、検出された2つの前記鼻孔の水平軸に対する傾きを検出し、
前記口形状検出手段は、検出された前記傾きだけ傾けた矩形領域の前記第2のウインドウ内で、前記口腔領域を分離する、請求項2記載の入力支援装置。 - 前記鼻孔検出手段は、前記動画の各フレームにおいて、前記検出された2つの前記鼻孔の中点を検出し、
次のフレームでの前記鼻孔の追跡にあたって、それ以前のフレームにおける前記中点の位置を外挿入した予測位置を用いて、当該次のフレームにおける中点を検出する、請求項2記載の入力支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004230567A JP2006048485A (ja) | 2004-08-06 | 2004-08-06 | 入力支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004230567A JP2006048485A (ja) | 2004-08-06 | 2004-08-06 | 入力支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006048485A true JP2006048485A (ja) | 2006-02-16 |
Family
ID=36026955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004230567A Withdrawn JP2006048485A (ja) | 2004-08-06 | 2004-08-06 | 入力支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006048485A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007257043A (ja) * | 2006-03-20 | 2007-10-04 | Nissan Motor Co Ltd | 乗員状態推定装置および乗員状態推定方法 |
JP2012155631A (ja) * | 2011-01-27 | 2012-08-16 | Fujitsu Ltd | 表情判定プログラムおよび表情判定装置 |
JP2016173716A (ja) * | 2015-03-17 | 2016-09-29 | 株式会社ジェイメック | 肌画像解析装置、画像処理装置及びコンピュータプログラム |
-
2004
- 2004-08-06 JP JP2004230567A patent/JP2006048485A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007257043A (ja) * | 2006-03-20 | 2007-10-04 | Nissan Motor Co Ltd | 乗員状態推定装置および乗員状態推定方法 |
JP2012155631A (ja) * | 2011-01-27 | 2012-08-16 | Fujitsu Ltd | 表情判定プログラムおよび表情判定装置 |
JP2016173716A (ja) * | 2015-03-17 | 2016-09-29 | 株式会社ジェイメック | 肌画像解析装置、画像処理装置及びコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gorodnichy et al. | Nouse ‘use your nose as a mouse’perceptual vision technology for hands-free games and interfaces | |
EP3332403B1 (en) | Liveness detection | |
EP3608755B1 (en) | Electronic apparatus operated by head movement and operation method thereof | |
US10248197B2 (en) | Systems and methodologies for real time eye tracking for electronic device interaction | |
US9348422B2 (en) | Method for recognizing gestures and gesture detector | |
JP5925068B2 (ja) | 映像処理装置、映像処理方法、およびプログラム | |
US8625880B2 (en) | Method and apparatus for human interface to a machine vision system | |
US20130250087A1 (en) | Pre-processor imaging system and method for remotely capturing iris images | |
JP2005293061A (ja) | ユーザインタフェース装置およびユーザインタフェースプログラム | |
CN112541400A (zh) | 基于视线估计的行为识别方法及装置、电子设备、存储介质 | |
CN111563490A (zh) | 一种人脸关键点跟踪方法、装置及电子设备 | |
JP2012181646A (ja) | データ処理装置、データ処理システム、及びプログラム | |
Anghelescu et al. | Surveillance system using IP camera and face-detection algorithm | |
WO2023053783A1 (ja) | 撮像誘導装置、撮像誘導方法及びプログラム | |
JP2006048485A (ja) | 入力支援装置 | |
JP7414902B2 (ja) | 顔生体検出方法、装置、電子機器及び記憶媒体 | |
Gorodnichy | Towards automatic retrieval of blink-based lexicon for persons suffered from brain-stem injury using video cameras | |
JP2000276577A (ja) | 画像感応型イベント発生装置 | |
WO2022180890A1 (ja) | 生体認証システム、認証端末、および認証方法 | |
CN112381064B (zh) | 一种基于时空图卷积网络的人脸检测方法及装置 | |
KR102305880B1 (ko) | 사용자의 시선 추적 방법 및 사용자의 시선 추적 방법을 실행시키는 프로그램이 기록된 기록 매체 | |
JP7443044B2 (ja) | 生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体 | |
KR20230094062A (ko) | 얼굴 인식 시스템 및 얼굴 인식 시스템을 위한 제어 방법 | |
US11481940B2 (en) | Structural facial modifications in images | |
CN109658331B (zh) | 图像处理方法、装置、***及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071106 |