JP2004280148A

JP2004280148A - 色モデル構築方法、装置、およびプログラム

Info

Publication number: JP2004280148A
Application number: JP2003066680A
Authority: JP
Inventors: Hidenori Sato; 秀則佐藤; Hidekazu Hosoya; 英一細谷; Yoshinori Kitahashi; 美紀北端; Ikuo Harada; 育生原田; Akira Onozawa; 晃小野澤; Hisao Nojima; 久雄野島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-03-12
Filing date: 2003-03-12
Publication date: 2004-10-07

Abstract

【課題】ユーザーがカメラに向かって自由な位置で手を振るという簡易で自然な動作から色モデルを構築する。
【解決手段】動き領域検出部１１Ａは、撮影動画像の各時刻のフレーム画像について、時刻ｔ_０のフレーム画像との差分画像を生成することにより腕領域の候補を抽出する。腕領域決定部１２Ａは生成されたフレーム間差分画像同士に対し、さらに差分画像を生成し、腕領域のみが着色された画像を生成し、着色された画素領域に対し閉領域とし、各時刻における腕領域画像を求める。肌色領域決定部１３Ａは各腕領域画像から手領域を決定する。肌色モデル決定部１４Ａは各時刻の手領域の色の平均色と分散値を計算し、それを肌色モデルとする。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ユーザーが自分の手を動かす姿をビデオカメラに撮影しながら、撮影時の環境に合った、そのユーザーの手領域の肌色モデルを構築する方法および装置に関するものである。
【０００２】
【従来の技術】
上記の実現のための技術には、特許文献１では、あらかじめ指定した肌色モデル（特許文献内では肌色テンプレートと称している）を初期値として、あらかじめ決められた手の形状テンプレートをもとに手領域の動きを追跡し、追跡した手領域の肌色テンプレートを逐次更新していく手法を提案している。
【０００３】
また、例えば非特許文献１では、ステレオカメラからある距離範囲内に写っている物が手のみであると仮定し、その手領域の肌色モデルを決定している。
【０００４】
一方、非特許文献２では、顔や手の位置を簡易に推定可能なように、顔、両手が写るようなモデル姿勢をあらかじめ設定している。撮影時に、ユーザーがその姿勢をとった結果に対して、テンプレートマッチングから顔と手が写っている領域を決定し、その領域色からユーザーの肌色モデルを決定している。
【０００５】
【特許文献１】
特開平１１−１６７４５５号公報
【非特許文献１】
「距離画像を用いたウェアラブルな３次元デスクトップ環境の構築」（信学技法，ＰＲＭＵ２００１−２２２，ｐｐ．１−８，２００２−２）
【非特許文献２】
「複雑背景下における手指特徴抽出と手話認識」（画像の認識・理解シンポジウムＶｏｌ．ＩＩ，ｐｐ．１０５−１１０，２００２年７月）
【０００６】
【発明が解決しようとする課題】
上述した従来の方法では、下記の問題点がある。
【０００７】
特許文献１の方法は、初期値としての、肌色モデル（肌色テンプレート）や正確な手形状のテンプレートを、ユーザーが最初に指定する必要があり、また、動かす手もテンプレートに形状が一致していなければならない。
【０００８】
非特許文献１の方法は、ユーザーが、高価なステレオカメラを使用し、かつ手のみをあらかじめ決められたカメラからの距離の範囲内におかなければならない。
【０００９】
非特許文献２の方法は、ユーザーにあらかじめ決められた姿勢を強要する。
【００１０】
本発明の目的は、ユーザーの肌色モデルを、ユーザーがカメラに向かって自由な位置で手を振る（図９（１））、という簡易で自然な動作から構築する方法および装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明の色モデル構築方法は、
ユーザーを撮影する画像入力段階と、
撮影画像内の動きのある領域を抽出する動き領域検出段階と、
動き領域検出段階で抽出した領域の中から腕領域を決定する腕領域決定段階と、
腕領域決定段階で決定された腕領域の中から肌色を表わす領域を決定する肌色領域決定段階と、
肌色領域決定段階で決定された肌色領域の色情報から目的とする肌色モデルを決定する肌色モデル決定段階とを有している。
【００１２】
以下、各段階について説明する。
【００１３】
まず、動き領域検出段階では、画像入力段階の撮影動画像のフレーム画像間の色変化があった領域を、動きがあった領域として抽出する。
【００１４】
次の腕領域決定段階では、まず前段階で抽出した動き領域から、人の腕領域のみを抽出する。その結果を閉領域化することにより、最終的な腕領域を作成する。もし、閉領域が複数存在した場合には、１）画像に対し、ある程度以上の大きさで撮影される、２）長径と短径（図９（２）を参照）の比が個人差によらずほぼ一定である、という性質を利用し、複数の閉領域の中から、指定面積以上かつ短径と長径の比が指定範囲内にある領域を腕領域とする。決定された腕領域のイメージ図を図９（２）に示す。
【００１５】
次の肌色領域決定段階では、手領域は腕領域の先端にあり、人間が手を振る場合に、動き量の大きい方が手側、小さい方が体側となることを利用し、前段階で抽出した領域の長径方向の両端領域のうち、動き量の大きな方が手領域であると判定する。決定された手領域のイメージ図を図９（３）に示す。
【００１６】
最後の肌色モデル決定段階では、抽出された手領域内の色情報を使って肌色モデルを決定する。
【００１７】
本発明では、動画像処理により、ユーザーの、手を振るという自然で簡便な動作から手領域を抽出し、肌色モデルを決定するため、認識された色モデルを作成した手をポインタとするポインティングシステムを作成することができる。すなわち、ユーザーにとって利便性の高いポインティングシステムの構築に資することができる。
【００１８】
ここで、本明細書で使用する用語について説明する。
１．肌色モデル
撮影環境下における、ユーザーの、手または顔の肌色領域がとる色の範囲である。一般には、ＲＧＢやＨＳＶ表色系を用いて、各々の成分値の平均値と分散値で表したり、色のヒストグラムを用いて表す。
２．画素
画像を構成する最小要素である。画像は、画素がｘ，ｙ方向に規則正しく並ぶことにより構成される。画像の見えは、各画素の持つ色値（一般にはＲＧＢ表色系を用い、Ｒ，Ｇ，Ｇ値それぞれ２５６階調）によって決まる。
３．フレーム画像
撮影動画像から単位時間毎に切り出した静止画である。
４．差分画像
２枚の画像を入力として、図１０のアルゴリズムに従って生成した画像である。アルゴリズムでは、まず、入力画像対Ｉ１，Ｉ２に対して値Ｌ^２を求める（ステップ３１）。このＬ^２があらかじめ決められたＡ−しきい値以上となっている場合、色差分がＢ−しきい値以上の画素に、時間ｔ_ｉの画像の画素色をマッピングし、マッピングしなかった画素の色は白とし（ステップ３２，３３）、この生成画像を差分画像と呼ぶ（ステップ３４）。ここで、Ｌ^２はある２枚の画像間の、各画素毎の色の差分の自乗和、Ａ−しきい値は入力画像対から差分画像を生成するかどうかを判定する際の、Ｌ^２の最小値を示すしきい値、Ｂ−しきい値は入力画像対の注目画素色の差分の最小値を示すしきい値である。この値以下の場合は、注目画素同士が同色であるとみなす。
５．腕領域
ここでは、ユーザーの実際の手と腕の領域を合わせて、腕領域と呼ぶ（図９（２）で示されている領域）。
６．長径、短径
腕領域の径のうち長い方を長径、短い方を短径という。
７．閉領域
まわりを線分で繋いで囲むことのできる領域。着目した画素から閉領域を作成する場合は、外郭上の画素を繋いで作成する。
８．細線化
着色画素領域の線幅を縮めて、幅１画素の中心線を抽出することである。
９．線分化
細線化した隣接着色画素を連結させながら、その結果を線分として認識することである。
１０．オプティカルフロー
フレーム間の差分を用いて、フレーム間での、画像内の物体や小領域の見かけ上の移動距離を表したもの。
１１．ヒストグラム
指定領域内の画素のうち、ある範囲の値をとる画素の個数を表したものである。領域内画素の色の分布を表しているとも言える。
【００１９】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２０】
［第１の実施形態］
図１は本発明の第１の実施形態の色モデル構築装置のブロック図、図２はその処理の流れを示すフローチャートである。
【００２１】
本実施形態の色モデル構築装置は画像入力部１０と動き領域検出部１１Ａと腕領域決定部１２Ａと肌色領域決定部１３Ａと肌色モデル決定部１４Ａと画像メモリ１５と情報記憶部１６で構成されている。情報記憶部１６には各部で求められた動き情報、腕領域情報、色表示領域情報等が記憶される。
【００２２】
次に、本実施形態において、ユーザーの手振り動作から手の肌色モデルを構築する動作を説明する。ここでは、ユーザーが手振り動作を開始した時刻をｔ_０、終了した時刻ｔ_ｎとする。
【００２３】
まず、画像入力部１０はユーザーを撮影し、撮像画像を画像メモリ１５に記憶する（ステップ２０）。動き領域検出部１１Ａは画像メモリ１５に記憶されている撮影動画像の各時刻のフレーム画像について、時刻ｔ_０のフレーム画像との差分画像を生成することにより、腕領域の候補を抽出する（ステップ２１Ａ）。抽出された腕領域の情報は情報記憶部１６に記憶される。時刻ｔ_ｉのフレーム画像に対するフレーム間差分画像生成アルゴリズムと入力、生成画像のイメージを図３に示す。こうして作られた差分画像は、理想的には、時刻ｔ_ｉにおける腕領域が実際の腕領域の色、時刻ｔ_０における腕領域が実際の背景色、それ以外が白となっている。
【００２４】
次の腕領域決定部１２Ａでは、まず、動き領域検出部１１Ａで生成されたフレーム間差分画像同士に対し、さらに差分画像を作成し、それを元のフレーム間差分画像同士と比較することにより、腕領域のみが着色された画像を生成する（ステップ２２Ａ）。時刻ｔ_ｉのフレーム間差分画像と時刻ｔ_ｊのフレーム間差分画像から差分画像を生成し、時刻ｔ_ｊの腕領域画像を生成するアルゴリズムと入出力画像のイメージを図４に示す。次に、着色された画素領域に対し閉領域を生成する。生成された閉領域のうち、しきい値以上の面積をとり、かつ指定された短径と長径の比の範囲内にある領域を選択し、情報記憶部１６に記憶する。この領域がそれぞれの時刻における仮の腕領域となる。
【００２５】
以上の処理を、動き領域検出部１１Ａで求まった各フレーム間画像に対して行い、各時刻において、抽出された腕領域面積が最も大きい画像を、その時刻における真の腕領域画像とする。
【００２６】
肌色領域決定部１３Ａでは、各画像の抽出領域に対し、長径方向の両先端近傍領域を指定された大きさの矩形に切り出し（ステップ２３Ａ、図５）、切り出した両領域に対し、時系列に沿って重心座標の移動距離を算出する。求まった移動距離が腕領域の動きのおおよその大きさを表しており、値が大きい方の領域を手領域とみなす。
【００２７】
最後の肌色モデル決定部１４Ａでは、肌色領域決定部１３Ａで決定された各時刻の手領域の色の平均値と分散値を計算し、それを肌色モデルとする（ステップ２４Ａ）。
【００２８】
［第２の実施形態］
図６は本発明の第２の実施形態の色モデル構築装置のブロック図、図７はその処理の流れを示すフローチャートである。
【００２９】
本実施形態の色モデル構築装置は画像入力部１０と動き領域検出部１１Ｂと腕領域決定部１２Ｂと肌色領域決定部１３Ｂと肌色モデル決定部１４Ｂと画像メモリ１５と情報記憶部１６で構成されている。
【００３０】
本実施形態においても、ユーザーが手振り動作を開始した時刻を時刻ｔ_０、終了した時刻を時刻ｔ_ｎとする。
【００３１】
本実施形態における動き領域検出部１１Ｂでは、時刻ｔ_ｉと時刻ｔ_ｉ＋１におけるフレーム画像から差分画像を生成することにより、隣接フレーム間で色の変化があった領域を検出する（ステップ２１Ｂ）。図８にアルゴリズムと入出力画像のイメージを示す。この場合、腕領域の体側が未連結となっている、腕領域を囲むような線分を表す画像が生成される。
【００３２】
腕領域決定部１２Ｂでは、細線化処理後に、体側の未連結の端点同士を結ぶことにより、閉領域を作成する（ステップ２２Ｂ）。この閉領域内の画素については時刻ｔ_ｉのフレーム画像の色をマッピングした画像を、時刻ｔ_ｉにおける腕領域を示す画像とする。
【００３３】
肌色領域決定部１３Ｂでは、まず、各時刻における腕領域画像内の小領域毎の動き量を表すオプティカルフローを求め、求めたオプティカルフローの中から動き量の大きな領域を求め、それを手領域とみなす（ステップ２３Ｂ）。
【００３４】
最後の肌色モデル決定部１４Ｂでは、上記で決定された各時刻の手領域の重心座標の近傍領域の色を抜き出し、各色成分のヒストグラムを求め、それを肌色モデルとする（ステップ２４Ｂ）。
【００３５】
なお、以上の実施形態において、それぞれ全ての適用範囲はこれに限定されるものではない。例えば、第１の実施形態における動き領域検出部１１Ａと腕領域決定部１２Ａをそれぞれ、第２の実施形態における動き領域検出部１１Ｂと腕領域決定部１２Ｂに適用することも考えられるし、その逆も有り得る。さらには、肌色領域決定部１３Ａ，１３Ｂや肌色モデル決定部１４Ａ，１４Ｂについても同じことが言える。
【００３６】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００３７】
【発明の効果】
以上説明したように、本発明によれば、ユーザーに姿勢を強要したり、初期値を設定することもなく、自由な位置での自然な手振りの動きのみから肌色モデルを構築することができるという効果が得られる。
【図面の簡単な説明】
【図１】
本発明の第１の実施形態の色モデル構築装置の構成図である。
【図２】
第１の実施形態の色モデル構築装置の処理の流れを示すフローチャートである
。
【図３】
第１の実施形態における、時刻ｔ_ｉのフレーム画像の時刻ｔ_０のフレーム画像に
対するフレーム間差分画像生成アルゴリズムを示すイメージ図である。
【図４】
第１の実施形態における、時刻ｔ_ｉのフレーム差分画像と時刻ｔ_ｊのフレーム差
分画像から時刻ｔ_ｊの腕領域画像を生成する腕領域決定アルゴリズムを示すイメージ図である。
【図５】第１の実施形態における、抽出された腕領域画像から、両先端近傍領域の矩形切り出しを行うイメージ図である。
【図６】本発明の第２の実施形態の色モデル構築装置の構成図である。
【図７】第２の実施形態の色モデル構築装置の処理の流れを示す図である。
【図８】第２の実施形態における、時刻ｔ_ｉ＋１の時刻ｔ_ｉに対するフレーム間差分画像生成アルゴリズムを示すイメージ図である。
【図９】ユーザーの手振り動作、および本発明によって決定された、腕領域と手領域のイメージを示す図である。
【図１０】差分画像生成のアルゴリズムを示すフローチャートである。
【符号の説明】
１０画像入力部
１１Ａ，１１Ｂ動き領域検出部
１２Ａ，１２Ｂ腕領域決定部
１３Ａ，１３Ｂ肌色領域決定部
１４Ａ，１４Ｂ肌色モデル決定部
１５画像メモリ
１６情報記憶部
２０，２１Ａ〜２４Ａ，２１Ｂ〜２４Ｂ，３１〜３４ステップ

Claims

ユーザーを撮影し、その撮影動画像を用いて、ユーザーが動かした手の肌色モデルを構築する色モデル構築方法であって、
ユーザーを撮影する画像入力段階と、
撮影画像内の動きのある領域を抽出する動き領域検出段階と、
前記動き領域検出段階で抽出した領域の中から腕領域を決定する腕領域決定段階と、
前記腕領域決定段階で決定された腕領域の中から肌色を表わす領域を決定する肌色領域決定段階と、
前記肌色領域決定段階で決定された肌色領域の色情報から目的とする肌色モデルを決定する肌色モデル決定段階を有する色モデル構築方法。
前記動き領域検出段階は、撮影動画像のフレーム画像間の色変化があった領域を、動きがあった領域として抽出する、請求項１に記載の方法。
前記腕領域決定段階は、抽出された動き領域から人の腕領域のみを抽出し、その結果を閉領域化することにより最終的な腕領域を作成し、閉領域が複数存在した場合には、複数の閉領域のうちで、指定された面積以上、かつ領域の長い方の径である長径と短い方の径である短径の比が指定範囲内にある領域を腕領域と決定する、請求項１または２に記載の方法。
前記肌色領域決定段階は、前記腕領域決定段階で決定された領域の長径方向の両端領域のうち、動き量の大きい方を肌色領域と決定する、請求項１から３のいずれか１項に記載の方法。
前記肌色モデル決定段階は、前記肌色領域決定段階で決定された各時刻の肌色領域の色の平均値と分散値を計算し、それを肌色モデルとする、請求項１から４のいずれか１項に記載の方法。
前記腕領域決定段階は、抽出された動き領域の細線化処理後に、体側の未連結の端点同士を結ぶことにより閉領域を作成し、該領域内の画素について各時刻のフレーム画像の色をマッピングした画像を当該時刻における腕領域を表わす画像と決定する、請求項１に記載の方法。
前記肌色領域決定段階は、各時刻における腕領域画像内の小領域毎の動き量を表わすオプティカルフローを求め、該オプティカルフローの中から動き量の大きな領域を求め、該領域を手領域とみなす、請求項６に記載の方法。
前記肌色モデル決定段階は、各時刻の手領域の重心座標の近傍領域の色を抜き出し、各色成分のヒストグラムを求め、それを肌色モデルとする、請求項７に記載の方法。
ユーザーを撮影し、その撮影動画像を用いて、ユーザーが動かした手の肌色モデルを構築する色モデル構築装置であって、
ユーザーを撮影する画像入力手段と、
撮影画像内の動きのある領域を抽出する動き領域検出手段と、
前記動き領域検出手段で抽出した領域の中から腕領域を決定する腕領域決定手段と、
前記腕領域決定手段で決定された腕領域の中から肌色を表わす領域を決定する肌色領域決定手段と、
前記肌色領域決定手段で決定された肌色領域の色情報から目的とする肌色モデルを決定する肌色モデル決定手段を有する色モデル構築装置。
請求項１から８のいずれか１項に記載の色モデル構築方法をコンピュータに実行させるための色モデル構築プログラム。