JP2004280148A - 色モデル構築方法、装置、およびプログラム - Google Patents
色モデル構築方法、装置、およびプログラム Download PDFInfo
- Publication number
- JP2004280148A JP2004280148A JP2003066680A JP2003066680A JP2004280148A JP 2004280148 A JP2004280148 A JP 2004280148A JP 2003066680 A JP2003066680 A JP 2003066680A JP 2003066680 A JP2003066680 A JP 2003066680A JP 2004280148 A JP2004280148 A JP 2004280148A
- Authority
- JP
- Japan
- Prior art keywords
- region
- skin color
- area
- arm
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】動き領域検出部11Aは、撮影動画像の各時刻のフレーム画像について、時刻t0のフレーム画像との差分画像を生成することにより腕領域の候補を抽出する。腕領域決定部12Aは生成されたフレーム間差分画像同士に対し、さらに差分画像を生成し、腕領域のみが着色された画像を生成し、着色された画素領域に対し閉領域とし、各時刻における腕領域画像を求める。肌色領域決定部13Aは各腕領域画像から手領域を決定する。肌色モデル決定部14Aは各時刻の手領域の色の平均色と分散値を計算し、それを肌色モデルとする。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、ユーザーが自分の手を動かす姿をビデオカメラに撮影しながら、撮影時の環境に合った、そのユーザーの手領域の肌色モデルを構築する方法および装置に関するものである。
【0002】
【従来の技術】
上記の実現のための技術には、特許文献1では、あらかじめ指定した肌色モデル(特許文献内では肌色テンプレートと称している)を初期値として、あらかじめ決められた手の形状テンプレートをもとに手領域の動きを追跡し、追跡した手領域の肌色テンプレートを逐次更新していく手法を提案している。
【0003】
また、例えば非特許文献1では、ステレオカメラからある距離範囲内に写っている物が手のみであると仮定し、その手領域の肌色モデルを決定している。
【0004】
一方、非特許文献2では、顔や手の位置を簡易に推定可能なように、顔、両手が写るようなモデル姿勢をあらかじめ設定している。撮影時に、ユーザーがその姿勢をとった結果に対して、テンプレートマッチングから顔と手が写っている領域を決定し、その領域色からユーザーの肌色モデルを決定している。
【0005】
【特許文献1】
特開平11−167455号公報
【非特許文献1】
「距離画像を用いたウェアラブルな3次元デスクトップ環境の構築」 (信学技法,PRMU2001−222,pp.1−8,2002−2)
【非特許文献2】
「複雑背景下における手指特徴抽出と手話認識」(画像の認識・理解シンポジウムVol.II,pp.105−110,2002年7月)
【0006】
【発明が解決しようとする課題】
上述した従来の方法では、下記の問題点がある。
【0007】
特許文献1の方法は、初期値としての、肌色モデル(肌色テンプレート)や正確な手形状のテンプレートを、ユーザーが最初に指定する必要があり、また、動かす手もテンプレートに形状が一致していなければならない。
【0008】
非特許文献1の方法は、ユーザーが、高価なステレオカメラを使用し、かつ手のみをあらかじめ決められたカメラからの距離の範囲内におかなければならない。
【0009】
非特許文献2の方法は、ユーザーにあらかじめ決められた姿勢を強要する。
【0010】
本発明の目的は、ユーザーの肌色モデルを、ユーザーがカメラに向かって自由な位置で手を振る(図9(1))、という簡易で自然な動作から構築する方法および装置を提供することにある。
【0011】
【課題を解決するための手段】
上記目的を達成するために、本発明の色モデル構築方法は、
ユーザーを撮影する画像入力段階と、
撮影画像内の動きのある領域を抽出する動き領域検出段階と、
動き領域検出段階で抽出した領域の中から腕領域を決定する腕領域決定段階と、
腕領域決定段階で決定された腕領域の中から肌色を表わす領域を決定する肌色領域決定段階と、
肌色領域決定段階で決定された肌色領域の色情報から目的とする肌色モデルを決定する肌色モデル決定段階とを有している。
【0012】
以下、各段階について説明する。
【0013】
まず、動き領域検出段階では、画像入力段階の撮影動画像のフレーム画像間の色変化があった領域を、動きがあった領域として抽出する。
【0014】
次の腕領域決定段階では、まず前段階で抽出した動き領域から、人の腕領域のみを抽出する。その結果を閉領域化することにより、最終的な腕領域を作成する。もし、閉領域が複数存在した場合には、1)画像に対し、ある程度以上の大きさで撮影される、2)長径と短径(図9(2)を参照)の比が個人差によらずほぼ一定である、という性質を利用し、複数の閉領域の中から、指定面積以上かつ短径と長径の比が指定範囲内にある領域を腕領域とする。決定された腕領域のイメージ図を図9(2)に示す。
【0015】
次の肌色領域決定段階では、手領域は腕領域の先端にあり、人間が手を振る場合に、動き量の大きい方が手側、小さい方が体側となることを利用し、前段階で抽出した領域の長径方向の両端領域のうち、動き量の大きな方が手領域であると判定する。決定された手領域のイメージ図を図9(3)に示す。
【0016】
最後の肌色モデル決定段階では、抽出された手領域内の色情報を使って肌色モデルを決定する。
【0017】
本発明では、動画像処理により、ユーザーの、手を振るという自然で簡便な動作から手領域を抽出し、肌色モデルを決定するため、認識された色モデルを作成した手をポインタとするポインティングシステムを作成することができる。すなわち、ユーザーにとって利便性の高いポインティングシステムの構築に資することができる。
【0018】
ここで、本明細書で使用する用語について説明する。
1.肌色モデル
撮影環境下における、ユーザーの、手または顔の肌色領域がとる色の範囲である。一般には、RGBやHSV表色系を用いて、各々の成分値の平均値と分散値で表したり、色のヒストグラムを用いて表す。
2.画素
画像を構成する最小要素である。画像は、画素がx,y方向に規則正しく並ぶことにより構成される。画像の見えは、各画素の持つ色値(一般にはRGB表色系を用い、R,G,G値それぞれ256階調)によって決まる。
3.フレーム画像
撮影動画像から単位時間毎に切り出した静止画である。
4.差分画像
2枚の画像を入力として、図10のアルゴリズムに従って生成した画像である。アルゴリズムでは、まず、入力画像対I1,I2に対して値L2を求める(ステップ31)。このL2があらかじめ決められたA−しきい値以上となっている場合、色差分がB−しきい値以上の画素に、時間tiの画像の画素色をマッピングし、マッピングしなかった画素の色は白とし(ステップ32,33)、この生成画像を差分画像と呼ぶ(ステップ34)。ここで、L2はある2枚の画像間の、各画素毎の色の差分の自乗和、A−しきい値は入力画像対から差分画像を生成するかどうかを判定する際の、L2の最小値を示すしきい値、B−しきい値は入力画像対の注目画素色の差分の最小値を示すしきい値である。この値以下の場合は、注目画素同士が同色であるとみなす。
5.腕領域
ここでは、ユーザーの実際の手と腕の領域を合わせて、腕領域と呼ぶ(図9(2)で示されている領域)。
6.長径、短径
腕領域の径のうち長い方を長径、短い方を短径という。
7.閉領域
まわりを線分で繋いで囲むことのできる領域。着目した画素から閉領域を作成する場合は、外郭上の画素を繋いで作成する。
8.細線化
着色画素領域の線幅を縮めて、幅1画素の中心線を抽出することである。
9.線分化
細線化した隣接着色画素を連結させながら、その結果を線分として認識することである。
10.オプティカルフロー
フレーム間の差分を用いて、フレーム間での、画像内の物体や小領域の見かけ上の移動距離を表したもの。
11.ヒストグラム
指定領域内の画素のうち、ある範囲の値をとる画素の個数を表したものである。領域内画素の色の分布を表しているとも言える。
【0019】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【0020】
[第1の実施形態]
図1は本発明の第1の実施形態の色モデル構築装置のブロック図、図2はその処理の流れを示すフローチャートである。
【0021】
本実施形態の色モデル構築装置は画像入力部10と動き領域検出部11Aと腕領域決定部12Aと肌色領域決定部13Aと肌色モデル決定部14Aと画像メモリ15と情報記憶部16で構成されている。情報記憶部16には各部で求められた動き情報、腕領域情報、色表示領域情報等が記憶される。
【0022】
次に、本実施形態において、ユーザーの手振り動作から手の肌色モデルを構築する動作を説明する。ここでは、ユーザーが手振り動作を開始した時刻をt0、終了した時刻tnとする。
【0023】
まず、画像入力部10はユーザーを撮影し、撮像画像を画像メモリ15に記憶する(ステップ20)。動き領域検出部11Aは画像メモリ15に記憶されている撮影動画像の各時刻のフレーム画像について、時刻t0のフレーム画像との差分画像を生成することにより、腕領域の候補を抽出する(ステップ21A)。抽出された腕領域の情報は情報記憶部16に記憶される。時刻tiのフレーム画像に対するフレーム間差分画像生成アルゴリズムと入力、生成画像のイメージを図3に示す。こうして作られた差分画像は、理想的には、時刻tiにおける腕領域が実際の腕領域の色、時刻t0における腕領域が実際の背景色、それ以外が白となっている。
【0024】
次の腕領域決定部12Aでは、まず、動き領域検出部11Aで生成されたフレーム間差分画像同士に対し、さらに差分画像を作成し、それを元のフレーム間差分画像同士と比較することにより、腕領域のみが着色された画像を生成する(ステップ22A)。時刻tiのフレーム間差分画像と時刻tjのフレーム間差分画像から差分画像を生成し、時刻tjの腕領域画像を生成するアルゴリズムと入出力画像のイメージを図4に示す。次に、着色された画素領域に対し閉領域を生成する。生成された閉領域のうち、しきい値以上の面積をとり、かつ指定された短径と長径の比の範囲内にある領域を選択し、情報記憶部16に記憶する。この領域がそれぞれの時刻における仮の腕領域となる。
【0025】
以上の処理を、動き領域検出部11Aで求まった各フレーム間画像に対して行い、各時刻において、抽出された腕領域面積が最も大きい画像を、その時刻における真の腕領域画像とする。
【0026】
肌色領域決定部13Aでは、各画像の抽出領域に対し、長径方向の両先端近傍領域を指定された大きさの矩形に切り出し(ステップ23A、図5)、切り出した両領域に対し、時系列に沿って重心座標の移動距離を算出する。求まった移動距離が腕領域の動きのおおよその大きさを表しており、値が大きい方の領域を手領域とみなす。
【0027】
最後の肌色モデル決定部14Aでは、肌色領域決定部13Aで決定された各時刻の手領域の色の平均値と分散値を計算し、それを肌色モデルとする(ステップ24A)。
【0028】
[第2の実施形態]
図6は本発明の第2の実施形態の色モデル構築装置のブロック図、図7はその処理の流れを示すフローチャートである。
【0029】
本実施形態の色モデル構築装置は画像入力部10と動き領域検出部11Bと腕領域決定部12Bと肌色領域決定部13Bと肌色モデル決定部14Bと画像メモリ15と情報記憶部16で構成されている。
【0030】
本実施形態においても、ユーザーが手振り動作を開始した時刻を時刻t0、終了した時刻を時刻tnとする。
【0031】
本実施形態における動き領域検出部11Bでは、時刻tiと時刻ti+1におけるフレーム画像から差分画像を生成することにより、隣接フレーム間で色の変化があった領域を検出する(ステップ21B)。図8にアルゴリズムと入出力画像のイメージを示す。この場合、腕領域の体側が未連結となっている、腕領域を囲むような線分を表す画像が生成される。
【0032】
腕領域決定部12Bでは、細線化処理後に、体側の未連結の端点同士を結ぶことにより、閉領域を作成する(ステップ22B)。この閉領域内の画素については時刻tiのフレーム画像の色をマッピングした画像を、時刻tiにおける腕領域を示す画像とする。
【0033】
肌色領域決定部13Bでは、まず、各時刻における腕領域画像内の小領域毎の動き量を表すオプティカルフローを求め、求めたオプティカルフローの中から動き量の大きな領域を求め、それを手領域とみなす(ステップ23B)。
【0034】
最後の肌色モデル決定部14Bでは、上記で決定された各時刻の手領域の重心座標の近傍領域の色を抜き出し、各色成分のヒストグラムを求め、それを肌色モデルとする(ステップ24B)。
【0035】
なお、以上の実施形態において、それぞれ全ての適用範囲はこれに限定されるものではない。例えば、第1の実施形態における動き領域検出部11Aと腕領域決定部12Aをそれぞれ、第2の実施形態における動き領域検出部11Bと腕領域決定部12Bに適用することも考えられるし、その逆も有り得る。さらには、肌色領域決定部13A,13Bや肌色モデル決定部14A,14Bについても同じことが言える。
【0036】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、CD−ROM等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの(伝送媒体もしくは伝送波)、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【0037】
【発明の効果】
以上説明したように、本発明によれば、ユーザーに姿勢を強要したり、初期値を設定することもなく、自由な位置での自然な手振りの動きのみから肌色モデルを構築することができるという効果が得られる。
【図面の簡単な説明】
【図1】
本発明の第1の実施形態の色モデル構築装置の構成図である。
【図2】
第1の実施形態の色モデル構築装置の処理の流れを示すフローチャートである
。
【図3】
第1の実施形態における、時刻tiのフレーム画像の時刻t0のフレーム画像に
対するフレーム間差分画像生成アルゴリズムを示すイメージ図である。
【図4】
第1の実施形態における、時刻tiのフレーム差分画像と時刻tjのフレーム差
分画像から時刻tjの腕領域画像を生成する腕領域決定アルゴリズムを示すイメージ図である。
【図5】第1の実施形態における、抽出された腕領域画像から、両先端近傍領域の矩形切り出しを行うイメージ図である。
【図6】本発明の第2の実施形態の色モデル構築装置の構成図である。
【図7】第2の実施形態の色モデル構築装置の処理の流れを示す図である。
【図8】第2の実施形態における、時刻ti+1の時刻tiに対するフレーム間差分画像生成アルゴリズムを示すイメージ図である。
【図9】ユーザーの手振り動作、および本発明によって決定された、腕領域と手領域のイメージを示す図である。
【図10】差分画像生成のアルゴリズムを示すフローチャートである。
【符号の説明】
10 画像入力部
11A,11B 動き領域検出部
12A,12B 腕領域決定部
13A,13B 肌色領域決定部
14A,14B 肌色モデル決定部
15 画像メモリ
16 情報記憶部
20,21A〜24A,21B〜24B,31〜34 ステップ
Claims (10)
- ユーザーを撮影し、その撮影動画像を用いて、ユーザーが動かした手の肌色モデルを構築する色モデル構築方法であって、
ユーザーを撮影する画像入力段階と、
撮影画像内の動きのある領域を抽出する動き領域検出段階と、
前記動き領域検出段階で抽出した領域の中から腕領域を決定する腕領域決定段階と、
前記腕領域決定段階で決定された腕領域の中から肌色を表わす領域を決定する肌色領域決定段階と、
前記肌色領域決定段階で決定された肌色領域の色情報から目的とする肌色モデルを決定する肌色モデル決定段階を有する色モデル構築方法。 - 前記動き領域検出段階は、撮影動画像のフレーム画像間の色変化があった領域を、動きがあった領域として抽出する、請求項1に記載の方法。
- 前記腕領域決定段階は、抽出された動き領域から人の腕領域のみを抽出し、その結果を閉領域化することにより最終的な腕領域を作成し、閉領域が複数存在した場合には、複数の閉領域のうちで、指定された面積以上、かつ領域の長い方の径である長径と短い方の径である短径の比が指定範囲内にある領域を腕領域と決定する、請求項1または2に記載の方法。
- 前記肌色領域決定段階は、前記腕領域決定段階で決定された領域の長径方向の両端領域のうち、動き量の大きい方を肌色領域と決定する、請求項1から3のいずれか1項に記載の方法。
- 前記肌色モデル決定段階は、前記肌色領域決定段階で決定された各時刻の肌色領域の色の平均値と分散値を計算し、それを肌色モデルとする、請求項1から4のいずれか1項に記載の方法。
- 前記腕領域決定段階は、抽出された動き領域の細線化処理後に、体側の未連結の端点同士を結ぶことにより閉領域を作成し、該領域内の画素について各時刻のフレーム画像の色をマッピングした画像を当該時刻における腕領域を表わす画像と決定する、請求項1に記載の方法。
- 前記肌色領域決定段階は、各時刻における腕領域画像内の小領域毎の動き量を表わすオプティカルフローを求め、該オプティカルフローの中から動き量の大きな領域を求め、該領域を手領域とみなす、請求項6に記載の方法。
- 前記肌色モデル決定段階は、各時刻の手領域の重心座標の近傍領域の色を抜き出し、各色成分のヒストグラムを求め、それを肌色モデルとする、請求項7に記載の方法。
- ユーザーを撮影し、その撮影動画像を用いて、ユーザーが動かした手の肌色モデルを構築する色モデル構築装置であって、
ユーザーを撮影する画像入力手段と、
撮影画像内の動きのある領域を抽出する動き領域検出手段と、
前記動き領域検出手段で抽出した領域の中から腕領域を決定する腕領域決定手段と、
前記腕領域決定手段で決定された腕領域の中から肌色を表わす領域を決定する肌色領域決定手段と、
前記肌色領域決定手段で決定された肌色領域の色情報から目的とする肌色モデルを決定する肌色モデル決定手段を有する色モデル構築装置。 - 請求項1から8のいずれか1項に記載の色モデル構築方法をコンピュータに実行させるための色モデル構築プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003066680A JP2004280148A (ja) | 2003-03-12 | 2003-03-12 | 色モデル構築方法、装置、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003066680A JP2004280148A (ja) | 2003-03-12 | 2003-03-12 | 色モデル構築方法、装置、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004280148A true JP2004280148A (ja) | 2004-10-07 |
Family
ID=33284509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003066680A Pending JP2004280148A (ja) | 2003-03-12 | 2003-03-12 | 色モデル構築方法、装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004280148A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008097359A (ja) * | 2006-10-12 | 2008-04-24 | Matsushita Electric Works Ltd | 人体検出装置 |
WO2013038734A1 (ja) | 2011-09-15 | 2013-03-21 | オムロン株式会社 | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
-
2003
- 2003-03-12 JP JP2003066680A patent/JP2004280148A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008097359A (ja) * | 2006-10-12 | 2008-04-24 | Matsushita Electric Works Ltd | 人体検出装置 |
WO2013038734A1 (ja) | 2011-09-15 | 2013-03-21 | オムロン株式会社 | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10559062B2 (en) | Method for automatic facial impression transformation, recording medium and device for performing the method | |
CN110675487B (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
KR101135186B1 (ko) | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 | |
JP4645223B2 (ja) | 顔追跡プログラムおよび顔追跡方法 | |
JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
US11282257B2 (en) | Pose selection and animation of characters using video data and training techniques | |
CN111626218A (zh) | 基于人工智能的图像生成方法、装置、设备及存储介质 | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
JP6191943B2 (ja) | 視線方向推定装置、視線方向推定装置および視線方向推定プログラム | |
KR20160098560A (ko) | 동작 분석 장치 및 방법 | |
WO2023066120A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111949112A (zh) | 对象交互方法及装置、***、计算机可读介质和电子设备 | |
JP2010152556A (ja) | 画像処理装置および画像処理方法 | |
WO2022267653A1 (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
JP2000322588A (ja) | 画像処理装置及びその方法 | |
WO2023155532A1 (zh) | 位姿检测方法及装置、电子设备和存储介质 | |
CN114445562A (zh) | 三维重建方法及装置、电子设备和存储介质 | |
JP2010113530A (ja) | 画像認識装置及びプログラム | |
US11967092B2 (en) | Detection-guided tracking of human dynamics | |
CN112308977A (zh) | 视频处理方法、视频处理装置和存储介质 | |
KR20160046399A (ko) | 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 | |
US11361467B2 (en) | Pose selection and animation of characters using video data and training techniques | |
WO2021098554A1 (zh) | 一种特征提取方法、装置、设备及存储介质 | |
CN107066095B (zh) | 一种信息处理方法及电子设备 | |
JP2010152557A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050124 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070919 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080604 |