JP2007148663A - オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム - Google Patents

オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム Download PDF

Info

Publication number
JP2007148663A
JP2007148663A JP2005340788A JP2005340788A JP2007148663A JP 2007148663 A JP2007148663 A JP 2007148663A JP 2005340788 A JP2005340788 A JP 2005340788A JP 2005340788 A JP2005340788 A JP 2005340788A JP 2007148663 A JP2007148663 A JP 2007148663A
Authority
JP
Japan
Prior art keywords
hand
image
region
estimated
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005340788A
Other languages
English (en)
Other versions
JP4682820B2 (ja
Inventor
Ikoku Go
偉国 呉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005340788A priority Critical patent/JP4682820B2/ja
Publication of JP2007148663A publication Critical patent/JP2007148663A/ja
Application granted granted Critical
Publication of JP4682820B2 publication Critical patent/JP4682820B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】高速且つ、高精度にオブジェクトを追跡することができるオブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラムを提供する。
【解決手段】手領域位置予測部４３により前時刻画像の手領域の位置及び動き速度に基づいて現時刻画像の手領域の位置を複数予測し、予測領域評価部４４により予測された複数のオブジェクト位置を、現時刻画像と予め登録された手領域初期モデルとに基づいて評価し、手領域追跡結果推定部４５により、評価された各オブジェクト位置に基づいてオブジェクトを追跡する。
【選択図】図４０

Description

本発明は、人と機器との間のインタフェースに関し、入力画像から、例えば、人の手の領域といったオブジェクトを検出し、そのオブジェクトを追跡するオブジェクト追跡装置及びオブジェクト追跡方法、並びにオブジェクトを追跡する処理を実行させるプログラムに関するものである。
人と機器との間の自然なインタフェースを実現するには、人の手振り・身振りを含めて、操作者の様々な行動や音声などの情報を統合的に解析し、人の存在や意図などを検出し認識することが不可欠である。そこで、従来から人の行動解析に関する様々な技術が検討されてきた。これらを大別すると、人の顔に着目したもの（例えば、顔の向き、表情、視線、唇の動きなど）と、人の手足の動き（手振り、指差し、ジェスチャ、動きイベント、歩行パターンなど）に着目したものに分けることができる。その中でも一般環境での手領域の検出・認識は最も重要な技術の一つであり、数多く検討されている。例えば、人の手を左右に動かす往復運動に着目した手振り検出方法（例えば、非特許文献１参照。）、データグローブなどの特殊なものを取り付ける手法（例えば、非特許文献２参照。）、人の肌色情報などを用いる手法（例えば、非特許文献３及び非特許文献４参照。）などが提案されている。
入江、梅田: 濃淡値の時系列変化を利用した画像からの手振りの検出、 P2-8, 画像の認識・理解シンポジウム（MIRU'02） （名工大（名古屋市），7 月30日-8 月1 日，2002） 星野: 非言語コミュニケーションが可能なロボットハンドの設計、文科省科研費特定領域研究「IT の深化の基盤を拓く情報学研究」 研究項目A03「人間の情報処理の理解とその応用に関する研究」 第4 回柱研究会 （芝蘭会館（京都市），7 月2 日，2003） 伊藤、尾関、中村、大田: 映像インデキシングのための手と把持物体のロバストな認識と追跡、画像センシングシンポジウム、 pp.143-162, (2003) 入江、梅田：ジェスチャ認識に基づくインテリジェントルームの構築、第4 回動画像処理実利用化ワークショップ、平成１5 年3 月6 日−7 日
ところで、ジェスチャなどの人の行動は、人の手足といったオブジェクトの動きを時間的に追わなければ把握することができない。つまり、上記特許文献１〜４に記載された手領域検出は、時間的に継続して行ってやらなければならない。
しかしながら、上記特許文献１〜４に記載された手領域検出を入力画像毎に行った場合、装置の処理負担が大きくなってしまい、手領域を追跡することが困難となる。
本発明は、上記問題点を解消するためになされたものであり、高速且つ、高精度にオブジェクトを追跡することができるオブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラムを提供することを目的とする。
上述した課題を解決するために、本発明に係るオブジェクト追跡装置は、画像から追跡対象のオブジェクトを追跡するオブジェクト追跡装置において、上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像の推測オブジェクトの推測オブジェクト位置及び動き速度に基づいて現時刻画像の推測オブジェクト位置を予測する位置予測手段と、上記位置予測手段で予測された複数の推測オブジェクト位置を、当該推測オブジェクトの現時刻画像と予め登録されたオブジェクト画像とのオブジェクト相似性に基づいて評価する位置評価手段と、上記位置評価手段で評価された各推測オブジェクト位置に基づいて現時刻画像のオブジェクト位置を推定する推定手段とを備えることにより、上述の課題を解決する。
また、本発明に係るオブジェクト追跡方法は、画像から追跡対象のオブジェクトを追跡するオブジェクト追跡方法において、上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像の推測オブジェクトの推測オブジェクト位置及び動き速度に基づいて現時刻画像の推測オブジェクト位置を予測する位置予測工程と、上記位置予測工程で予測された複数の推測オブジェクト位置を、当該推測オブジェクトの現時刻画像と予め登録されたオブジェクト画像とのオブジェクト相似性に基づいて評価する位置評価工程と、上記位置評価工程で評価された各推測オブジェクト位置に基づいて現時刻画像のオブジェクト位置を推定する推定工程とを有することにより、上述の課題を解決する。
また、本発明に係るプログラムは、画像から追跡対象のオブジェクトを追跡する処理を実行させるプログラムにおいて、上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像の推測オブジェクトの推測オブジェクト位置及び動き速度に基づいて現時刻画像の推測オブジェクト位置を予測する位置予測工程と、上記位置予測工程で予測された複数の推測オブジェクト位置を、当該推測オブジェクトの現時刻画像と予め登録されたオブジェクト画像とのオブジェクト相似性に基づいて評価する位置評価工程と、上記位置評価工程で評価された各推測オブジェクト位置に基づいて現時刻画像のオブジェクト位置を推定する推定工程とを有することにより、上述の課題を解決する。
本発明によれば、追跡対象のオブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像の推測オブジェクトの推測オブジェクト位置及び動き速度に基づいて現時刻画像の推測オブジェクト位置を予測し、予測された複数の推測オブジェクト位置を、当該推測オブジェクトの現時刻画像と予め登録されたオブジェクト画像とのオブジェクト相似性に基づいて評価し、評価された各推測オブジェクト位置に基づいて現時刻画像のオブジェクト位置を推定することにより、高速且つ、高精度にオブジェクトを追跡することができる。
以下、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。本発明の具体例として示すオブジェクト追跡装置は、画像内のオブジェクトとして手領域を検出し、この手領域の前時刻の情報から手領域が移動する予測範囲を算出し、算出された予測範囲、前時刻画像の手領域の位置及び動き速度に基づいて現時刻画像の推測手領域位置を予測し、この手領域予測位置を、現時刻画像の分布特性と予め登録された手領域画像に基づいて評価することにより、現時刻の手領域を決定するものである。
図１は、手領域を追跡する手領域追跡装置の全体的な処理を示す図である。撮像手段１０１で撮像された現時刻画像は、画像取り込み手段１０２により取り込まれる。画像取り込み手段１０２により取り込まれた現時刻画像は、後述するように、手領域追跡処理や手領域検出処理に用いられる。モード判別手段１０３は、追跡モードであるか否かを判別する。
追跡モードでは、追跡結果読込手段１０４により前時刻（ｔ−１）の手領域追跡結果が読み込まれるとともに、予め登録された手領域モデル１０５が読み込まれる。そして、追跡処理手段１０６により手領域の追跡が行われ、追跡結果保存手段１０７により現時刻（ｔ）の追跡結果が保存される。現時刻（ｔ）の追跡結果保存後、モード判別手段１０３にて次のモードが判別される。
追跡処理手段１０６は、後述するように、前時刻画像の手領域情報から手領域が移動する予測範囲を算出し、算出された予測範囲、前時刻画像の手領域の位置及び動き速度に基づいて現時刻画像の推測手領域位置を複数予測する位置予測手段と、位置予測手段により予測された複数の推測手領域位置を、現時刻画像と予め登録された手領域モデル画像との相似性に基づいて評価する位置評価手段と、評価手段により評価された各推測手領域位置に基づいて手領域を追跡する追跡手段とを有している。
ここで、位置予測手段は、手領域が移動する予測範囲を、前時刻画像の手領域の大きさ及び動き速度に基づいて算出することが好ましい。また、位置予測手段は、前時刻画像の手領域位置を、前時刻画像の相似性の評価による確率に基づいて取得することが好ましい。
また、位置評価手段は、予測された各推測手領域位置を、現時刻画像の分布特性と予め登録された手領域画像の分布特性との相似性に基づいて評価することが好ましい。また、位置評価手段は、現時刻画像の分布特性と予め登録された手領域モデル画像の分布特性との相似性を、位置予測手段で予測された推測手領域位置の中心からの距離に基づいて評価することが好ましい。また、位置評価手段は、現時刻画像の分布特性と予め登録された手領域モデル画像の分布特性との相似性を、予め定められたマスク領域に基づいて評価することが好ましい。
また、追跡手段は、位置評価手段で評価された推測手領域位置が手領域である確率を、この推測手領域位置の評価結果に基づいて算出し、算出された各推測手領域位置の確率に基づいて手領域を追跡することが好ましい。
また、追跡処理手段１０６は、所定の位置関係を有する複数のカメラからの画像に基づいて各画素の３次元空間内の位置を推定した距離情報を取得する距離情報取得手段と、上記距離情報取得手段で取得された距離情報に基づいて画像からオブジェクトの背景を除去する背景除去手段と有していることが好ましい。
一方、モード判別手段１０３において、追跡モードでないと判別された場合、手領域検出手段１０８は、現時刻（ｔ）の画像から手領域を検出する処理を行う。手領域検出判別手段１０９は、手領域検出手段１０８にて手領域が検出されたか否かを判別する。手領域が検出された場合、手領域モデル１０５を手領域登録手段１１０に登録し、モード切替手段１１１により追跡モードに切り替えられる。手領域が検出されなかった場合、モード判別手段１０３にて次のモードが判別される。
続いて、モード判別手段１０３において追跡モードでないと判別された場合について説明する。
図２は、手領域を検出する手領域検出手段１０８に対応した手領域検出装置の構成を示すブロック図である。この手領域検出装置１０は、撮像部１１と、撮像部１１で撮像された画像を取り込む画像取込部１２と、画像取込部１２で取り込んだ画像から肌色の候補領域を選定する肌色候補領域選定部１３と、肌色候補選定部１３で選定された肌色の候補領域から手候補領域を抽出する手候補領域抽出部１４と、手候補領域抽出部１４で抽出された手候補領域の形状の複雑度を算出する形状複雑度算出部１５と、形状複雑度算出部１５で算出された複雑度に基づいて手領域を検出する手領域検出部１６とを備えて構成される。
撮像部１１は、ＣＣＤ（Charge Coupled Device）等の撮像素子を有するカメラで構成されている。
画像取込部１２は、撮像部１１からＪＰＥＧ（Joint Photographic Experts Group）等のフォーマットの画像を取り込む。
肌色候補領域選定部１３は、人間の統計的肌色特徴に基づいた肌色モデルを用いて、画像内の各画素が肌色モデルの色であるかどうかを判定することによって、肌色候補領域を選定する。この肌色モデルは、色相、彩度、ＲＧＢ情報等を用いた統計的な処理により得られる。
手候補領域抽出部１４は、肌色候補領域選定部１３で選定された各領域に対して、例えば、色相、彩度の分布等の画像分布特性を計算し、それらの領域内に例えば色相と彩度等の色特徴が類似する画素が最も大きい領域を手候補領域として抽出する。
形状複雑度算出部１５は、手候補領域抽出部１４で抽出された各手候補領域に対して、例えば、面積（画素数）と周辺長との比や手候補領域の中心からの距離に基づいて形状複雑度を算出する。
手領域検出部１６は、形状複雑度算出部１５で算出された各手候補領域の複雑度を、例えば、予め設定された閾値と比較評価することにより手領域を検出する。
なお、上述の手領域検出装置１０の構成では、撮像部１１から画像を取得することとしたが、ＤＶＤ（Digital Versatile Disc）、インターネット等の様々な媒体から画像を取得するようにしてもよい。
続いて、入力画像より手領域を検出するための処理について図面を参照して説明する。図３〜図６は、ＲＧＢ情報を用いて入力画像から肌色候補を選定する際の画像例を示す図である。
肌色候補領域選定部１３は、画像取込部１２により取り込んだ、例えば、図３に示す入力画像に対して、文献（M. J. Jones and J. M. Rehg: Statistical color models with application to skin detection, Proc. IEEE Conf.Computer Vision and Pattern Recognition, vol. 2, pp. 274-280, 1999.）に記載された各画素のＲＧＢ情報を用いることにより、図４のように肌色モデル色を検出する。そして、各画素が肌色モデル色であるかどうかを判定することにより、図５に示すように肌色候補領域Ａ〜Ｄを選定する。これにより、図３に示す入力画像に対して図６に示すような肌色候補領域Ａ〜Ｄを決定することができる。なお、ＲＧＢ情報に限らず、例えば、学習により得た肌色の統計的な情報（先見的知識）を用いて、各画素が肌色であるかどうかを判定し、画像のフィルタリング処理を用いた領域統合処理によって、画像内の肌色の候補領域を選定してもよい。
手候補領域抽出部１４は、図３に示すような入力画像から色相画像Ｈｕｅ（ｉ，ｊ）及び彩度画像Ｓｔａ（ｉ，ｊ）を計算し、入力画像を色相画像及び彩度画像に変換する。なお、色相はスペクトル上での色の位置を表しており、０度〜３６０度の角度により表されるものである。また、彩度は色の鮮やかさを表しており、灰色に近づくと値は小さくなり原色に近づくと値は大きくなる。
また、手候補領域抽出部１４は、肌色候補領域選定部１３により選定された各肌色候補領域Ａ〜Ｄに対し、色相分布（ヒストグラム）ｈｍ（ｋ）及び彩度分布（ヒストグラム）ｓｍ（ｋ）（ｋ＝０，１，２，．．．，Ｋ）をそれぞれ（１）式及び（２）式により計算する。
Figure 2007148663
ここで、Ｒｍは各肌色補領域を示し、ｍ（ｍ＝１，２，．．．，Ｍ）は、肌色候補領域の数である。また、ｇ（Ｈｕｅ（ｉ，ｊ））及びｇ（Ｓｔａ（ｉ，ｊ））は、それぞれ色相画像Ｈｕｅ（ｉ，ｊ）及び彩度画像Ｓｔａ（ｉ，ｊ）の画素（ｉ，ｊ）における輝度値を示す。また、δ[ｘ]は、ｘが０の場合１であり、ｘが０でない場合０である。
上記（１）式を用いて、例えば、図７に示す色相画像の肌色候補領域Ｂの色相分布ｈｍ（ｋ）を計算すると、図８に示すようなヒストグラムを得ることができる。また、上記（２）式を用いて、例えば、図９に示す彩度画像の肌色候補領域Ｂの彩度分布ｓｍ（ｋ）を計算すると、図１０に示すようなヒストグラムを得ることができる。
図１１及び図１２は、上述のヒストグラムから検出された肌色の色相領域及び彩度領域の例である。また、図１３及び図１４は、それぞれ肌色の色相領域及び彩度領域に基づいて手候補領域が検出された色相画像及び彩度画像である。
各肌色候補領域Ａ〜Ｄの色相分布ｈｍ（ｋ）及び彩度分布ｓｍ（ｋ）から、手候補領域抽出部１４は図１１及び図１２に示すように最も画素数が多い色相の値ｈ＿Ｌｅｖｅｌ及び彩度の値ｓ＿Ｌｅｖｅｌ並びにその分散ｈ＿ｖａｒ、ｓ＿ｖａｒを検出する。
ここで、肌色は色相の値が低いため、各肌色候補領域Ａ〜Ｄの色相画像Ｈｕｅ（ｉ，ｊ）における色相の値がｈ＿Ｌｅｖｅｌ±ｈ＿ｖａｒ以内で、且つ、その値が肌色の色相初期値Ｈ＿Ｉｎｉｔｉａｌより小さい画素の領域を肌色の色相領域（画像）Ｈｍ（ｉ，ｊ）とする。これにより、図１３に示すような各肌色候補領域Ａ〜Ｄの肌色の色相領域Ｈｍ（ｉ，ｊ）が求められる。なお、図１３に示す肌色候補領域Ａ〜Ｄにおいて肌色の色相領域Ｈｍ（ｉ，ｊ）は黒色で示している。
また、肌色は彩度の値が高いため、各肌色候補領域Ａ〜Ｄの彩度画像Ｓｔａ（ｉ，ｊ）における彩度の値がｓ＿Ｌｅｖｅｌ±ｓ＿ｖａｒ以内で、且つ、その値が肌色の彩度初期値Ｓ＿Ｉｎｉｔｉａｌより大きい画素の領域を肌色の彩度領域（画像）Ｓｍ（ｉ，ｊ）とする。これにより、図１４に示すような各肌色候補領域Ａ〜Ｄの肌色の彩度領域Ｓｍ（ｉ，ｊ）が求められる。なお、図１４に示す肌色候補領域Ａ〜Ｄにおいて肌色の彩度領域Ｓｍ（ｉ，ｊ）は白色で示している。
そして、肌色の色相領域Ｈｍ（ｉ，ｊ）と彩度領域Ｓｍ（ｉ，ｊ）とが重なる画素領域を手候補領域Ｒｍとする。すなわち、図１５に示す手候補領域のように各肌色候補領域Ａ〜Ｄにおいて図１３に示す黒色の領域と図１４に示す白色の領域とが重なる領域である。
このように色相と彩度とが類似する画素が最も大きい領域、つまり主導的な色を示す領域を手の候補領域として抽出することにより、人の肌色の個人差や実環境での照明変化に対するロバスト性を高めることができる。
形状複雑度算出部１５は、手候補領域抽出部１４で抽出された手候補領域Ｒｍに対し、例えば、その領域の面積（画素数）及び周辺長に基づいて手候補領域の複雑度を計算する。
Figure 2007148663
ここで、Ｌは手の候補領域の周囲長、Ｓは手候補領域の面積及びδは形状の複雑度を示す。
手領域検出部１６は、形状複雑度算出部１５で算出された各手候補領域の形状の複雑度を、予め決められた手の形状に応じた複雑度と比較評価する。図１６は、手の形状に応じた複雑度の算出（学習）結果例である。例えば、指が５本開いている状態、つまり手が開いている状態（Ｋ１）の形状複雑度は、手が開いていない状態（Ｋ６）の形状複雑度と大きく違う。これを考慮して経験的に手領域を検出するための閾値を決める。例えば、頭部領域が手領域として検出されないように、４本以上の指が開いている状態（δ＞０．９）の形状複雑度を手領域の閾値とする。そして、手候補領域の複雑度が決められた閾値より大きい場合を手領域として検出する。
図１７は、５本の指が開いていない状態、つまり、手が開いていない状態の画像を示し、図１８は、そのときの手候補領域の形状複雑度を示す。この図１７に示す画像が入力された場合、手領域検出部１６は、手候補領域ｂ、ｃの複雑度を閾値と比較する。そして、例えば、複雑度の閾値をδ＝０．９と設定した場合、手候補領域ｂ及び手候補領域ｃとも複雑度が閾値よりも低いため、手領域検出部１６はこれらを手領域として検出しない。
また、図１９は、人差し指と中指の２本の指が開いている状態を示し、図２０は、そのときの手候補領域の形状複雑度を示す。この図１９に示す２本の指が開いている状態の画像が入力され、複雑度の閾値をδ＝０．９と設定した場合も、手候補領域ｂ及び手候補領域ｃとも複雑度が閾値よりも低いため、手領域検出部１６はこれらを手領域として検出しない。
また、図２１は、５本の指が全て開いている状態、つまり手が開いている状態を示し、図２２は、そのときの手候補領域の形状複雑度を示す。この図２１に示すように手が開いている状態の画像が入力され、手候補領域の形状の複雑度の閾値をδ＝０．９と設定した場合、手候補領域ｃの複雑度は閾値より小さいが手候補領域ｂの複雑度は閾値より大きいため、手領域検出部１６は、手候補領域ｂを手領域として検出する。
なお、上述のように手候補領域の面積及び周辺長に基づいて複雑度を計算することに限らず、図２３に示すように、手候補領域の中心を検出し、中心からの距離に基づいて計算してもよい。この場合、（４）式のように距離関数ｄ（θ）を定義すればよい。
Figure 2007148663
図２４は、（４）式による距離関数のグラフである。ここで、距離関数ｄ（θ）の極大値が指の形状を示す閾値（Ｔｈｄ）以上である場合、その極大値の数を指の本数と推定することができる。
手領域検出部１６は、図２５に示すように閾値（Ｔｈｄ）以上の極大値の数に応じて手領域を検出する。例えば、閾値（Ｔｈｄ）以上の極大値の数の閾値を４、つまり指が４本以上検出された場合、その手候補領域を手領域として検出する。
また、図２４に示すようにｈ（ｋ）（ｋ＝１，２，．．．，Ｋ）を定義し、ｈ（ｋ）がある閾値以上の場合、指と推定するようにしてもよい。この場合、手領域検出部１６は閾値以上のｈ（ｋ）に応じて手領域を検出する。例えば、閾値を５とすると指が５本検出された場合、その手候補領域を手領域として検出することとなる。なお、これらの指を検出するための閾値や手領域を検出するための閾値は、学習によって決めてもよい。
このように人の統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出し、この手の候補領域の形状複雑度を評価することにより、人の肌色の個人差や照明変化によることなく、実環境でもロバストな手領域検出を行うことができる。
また、形状複雑度の評価によって、手の開いている時の領域特徴とその他の領域特徴とを区別することができるため、ロバストな手領域検出を行うことができる。
なお、この手領域検出装置１０は、統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出することとしたが、これに限られるものではなく、肌色の候補領域選定と手候補領域抽出とを統合し、ＲＧＢ処理や画像分布処理等を任意の順番で行い手候補領域を絞るようにしてもよい。
図２５は、上述した手領域検出装置の他の構成（その１）を示すブロック図である。この手領域検出装置２０は、実環境のロバスト性をより高めるために、例えば、フレーム間の差分情報を用いて、検出された手の領域に対して、さらに動いたもの（領域）を正しい手領域として決定する。なお、上述した手領域検出装置１０と同一な構成には同一の符号を付し、説明を省略する。
この手領域検出装置２０は、撮像部１１と、撮像部１１で撮像された画像を取り込む画像取込部１２と、画像取込部１２で取り込んだ画像から肌色の候補領域を選定する肌色候補領域選定部１３と、肌色候補選定部１３で選定された肌色の候補領域から手候補領域を抽出する手候補領域抽出部１４と、手候補領域抽出部１４で抽出された手候補領域の形状の複雑度を算出する形状複雑度算出部１５と、形状複雑度算出部１５で算出された複雑度に基づいて手領域を検出する手領域検出部１６と、手領域検出部１６で検出された手領域を含む画像を所定フレーム分遅延する遅延回路部２１と、上記遅延回路部２１で所定フレーム分遅延された画像と現フレームの画像とを比較し動き領域を検出する動き領域検出部２２と、上記動き領域検出部２２で検出された動き領域に基づいて手領域を決定する手領域決定部２３とを備えて構成される。
遅延回路部２１は、入力された所定フレーム分の画像を一時的に保持するバッファを有しており、例えば入力された画像と、それよりも１フレーム前の画像とを動き領域検出部２２に出力する。
動き領域検出部２２は、例えば、入力された１フレーム分異なる２つの画像を比較し動き領域を検出する。ここで、動き領域検出部２２は、手領域検出部１６で検出された手領域近傍の動きを検出することが好ましい。
手領域決定部２３は、動き領域検出部２２で検出された動き領域が手領域検出部１６で検出された手領域か否を判別し、検出された動き領域が手領域である場合のみ、その領域を手領域として決定する。なお、手領域検出部１６で検出された手領域が動き領域検出部２２で検出された動き領域であるか否かを判別し、検出された手領域が動き領域である場合、手領域として決定してもよい。
続いて、手領域検出装置２０の動作について説明する。
この手領域検出装置２０は上述した手領域検出装置１０と同様にして手領域検出部１６で手領域を検出するため、そこまでの詳細な説明を省略する。手領域検出装置２０は、上述したように入力画像から人の統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出し、この手の候補領域の形状複雑度に基づいて手領域を検出する。手領域が検出された画像は遅延回路部２１に入力される。
図２６及び図２７は、遅延回路部２１から出力される撮像時刻が異なる画像例をそれぞれ示すものである。また、図２８は、遅延回路２１から出力された図２６及び図２７の画像に基づいて動き領域を検出した画像例である。
遅延回路部２１は、入力された画像をバッファに保持し、例えば図２６に示すような画像Ｉｍ（ｔ）と、図２７に示すような画像Ｉｍ(t＋1)を動き領域検出部２２に出力する。
動き領域検出部２２は、入力された画像Ｉｍ（ｔ）と画像Ｉｍ(t＋1)とから、例えば、フレーム間差分処理によって動き情報を検出する。これにより、図２８に示すように、手部分と顔部分を検出することができる。
手領域決定部２３は、検出された動き領域が手領域検出部１６で検出された手領域か否かを判別する。例えば、図２８に示すように動き領域が検出された手部分と顔部分のうち、手領域検出部１６で検出された手領域である手部分を最終的な手領域として決定する（図２９参照）。
図３０は、肌色候補領域の選定例を示し、図３１は、手領域の検出例を示す。上述した動き情報を用いることにより、図３０に示すように肌色候補選定部１３で選定された肌色候補領域Ｅ、Ｆ、Ｇ、Ｈに示す手領域からポスターに描写された肌色候補領域Ｇ、Ｈの手領域を除くことができ、図３１のように確実に最終的な手領域を検出することができる。
一方、動き情報を用いなかった場合、図３２及び図３３に示すように、肌色候補領域Ｅ、Ｆ、Ｇ、Ｈから、肌色候補領域Ｅ、Ｇ内の手領域を最終的に検出してしまう。つまり、ポスターに描写された手も手領域として検出してしまう。
なお、上述した手領域検出装置２０は、複雑度に基づいて手領域を検出した後、動き領域を検出し、手領域と動き領域とから最終的な手領域を決定することとしたが、画像取込部１２からの入力画像から動き領域を検出し、手領域を決定してもよい。
また、図３４は、上述した手領域検出装置の他の構成（その２）を示すブロック図である。この手領域検出装置３０は、実環境のロバスト性をより高めるために、例えば、ステレオカメラを用いて、距離情報を推定し、所定距離以上にある肌色候補領域を背景として除去する。なお、上述した手領域検出装置１０と同一な構成には同一の符号を付し、説明を省略する。
この手領域検出装置３０は、撮像部１１と、撮像部１１で撮像された画像を取り込む画像取込部１２と、画像取込部１２で取り込んだ画像から肌色の候補領域を選定する肌色候補領域選定部１３と、肌色候補選定部１３で選定された肌色の候補領域から手候補領域を抽出する手候補領域抽出部１４と、手候補領域抽出部１４で抽出された手候補領域の形状の複雑度を算出する形状複雑度算出部１５と、形状複雑度算出部１５で算出された複雑度に基づいて手領域を検出する手領域検出部１６と、基準撮像部３１と、撮像部１１と基準撮像部３２とに基づいて画像内の被写体の距離情報を取得する距離情報取得部３２と、手領域検出部１６で検出された手領域と距離情報取得部３２で取得した距離情報とに基づいて手領域を決定する手領域決定部３３とを備えて構成される。
基準撮像部３１は、ＣＣＤ等の撮像素子を有するカメラで構成され、撮像部１１を用いてステレオカメラとして構成される。なお、さらに複数のカメラでステレオカメラを構成することが好ましい。
距離情報取得部３２は、撮像部１１及び基準撮像部３１を用いて、例えば、「ステレオ法」に基づき対象物との距離を測定する。ここで言うステレオ法とは、いわゆる「三角測量」の原理により所定の位置関係を持つ複数のカメラの視点（投影中心）から撮像した画像を用いて、シーンすなわち撮像画像中の各点の３次元空間内の位置を推定し、投影中心との距離を測定する。
手領域決定部３３は、手領域検出部１６で検出された手領域を距離情報取得部３２で取得された距離情報に基づいて最終的な手領域を決定する。例えば、手領域検出部１６で検出された手領域が所定距離以下又は所定距離以上若しくは所定の距離範囲内に属するか否かに応じて最終的な手領域を決定する。
続いて、手領域検出装置３０の動作について説明する。
手領域検出装置３０は上述した手領域検出装置１０と同様にして手領域検出部１６で手領域を検出するため、そこまでの説明を省略する。すなわち、入力画像から人の統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出し、この手の候補領域の形状複雑度に基づいて手領域を検出する。
図３５〜図３９は、距離情報を用いて入力画像から肌色候補を選定する際の画像例を示す図である。図３５に示すように二人の人物が手を広げている画像が画像取込部１２に入力された場合、肌色候補領域選定部１３により肌色候補領域Ｉ、Ｊ、Ｋ、Ｌが選定される（図３６参照）。そして、手領域検出部１６は、図３７に示すように形状複雑度に基づいて肌色候補領域Ｉ、Ｋ内の手領域を検出する。
また、距離情報取得部３２は、撮像部１１、３１で撮像された画像に基づいて、例えば撮像部１１から被写体までの距離情報を取得し、手領域決定部３３に出力する。手領域決定部３３は手候補領域抽出部１４で抽出された手候補領域ｉ、ｊ、ｋ、ｌから、図３８に示すように距離情報に応じた色の濃淡に基づいて手領域を決定する。図３９は、撮像部１１により近い位置の人物の手領域を検出し、それよりも遠い位置の人物の手領域を除去したものである。
このように距離情報を用いることにより、後方又は一定の距離にいる人物の手のみを検出することができる。
なお、上述した手領域検出装置３０は、複雑度に基づいて手領域を検出した後、距離情報に基づいて最終的な手領域を決定することとしたが、距離情報に基づいて画像取込部１２からの入力画像から手領域を検出する範囲を決定し、その範囲内で手領域を決定するようにしてもよい。
次に、上述した手領域検出装置１０，２０，３０により検出された手領域を追跡する手領域追跡装置について説明する。
図４０は、手領域追跡装置の構成を示すブロック図である。この手領域追跡装置４０は、撮像部４１と、撮像部４１で撮像された画像を取り込む画像取込部４２と、前時刻の手領域追跡結果から現時刻の推測手領域位置を予測する手領域位置予測部４３と、手領域予測部４３で予測された推測手領域位置を現時刻の画像の分布特性に基づいて評価する予測領域評価部４４と、予測領域評価部４４における評価結果に基づいて現時刻の手領域位置を推定する手領域追跡結果推定部４５と、手領域追跡結果推定部４５で推定された現時刻の手領域位置を出力する追跡結果出力部４６と、追跡結果出力部４６から出力された現時刻の手領域を記憶する追跡結果記憶部４７とを備えて構成されている。ここで、撮像部４１及び画像取込部４２及び追跡結果記憶部４７は、図１に示す画像取込手段１０２、画像取込手段１０２及び追跡結果保存手段１０７にそれぞれ対応している。また、手領域予測部４３及び予測領域評価部４４は、図１に示す追跡結果読込手段１０４を含み、手領域予測部４３、予測領域評価部４４、手領域追跡結果推定部４５及び追跡結果出力部４６は、図１に示す追跡処理手段１０６を含む構成となっている。
撮像部４１は、ＣＣＤ（Charge Coupled Device）等の撮像素子を有するカメラで構成されている。
画像取込部４２は、撮像部４１からＪＰＥＧ（Joint Photographic Experts Group）等のフォーマットの画像を取り込む。
手領域位置予測部４３は、前時刻（ｔ−１）の追跡結果を追跡結果記憶部４７から読込む追跡結果読込部４３１と、予め用意された手の動き予測モデル４３２に基づいて手領域の現時刻（ｔ）の存在可能な予測位置ｓｋ（ｔ）を算出する予測位置計算部４３３とを備えている。
追跡結果読込部４３１は、前時刻の手領域位置ｓｋ（ｔ−１）をその手領域確率πｋ（ｔ−１）に基づいて読み込む。つまり、前時刻（ｔ−１）において、手領域の確率が高い候補位置を読み込んで、現時刻ｔの追跡位置ｓｋ（ｔ）を予測する。
例えば、確率πｋ（ｔ−１）を［０，１］に正規化する。つまり、確率πｋ（ｔ−１）がその閾値Ｔより大きいものを前時刻の手領域位置とする。この場合、閾値Ｔより大きいＫ個の手領域位置の確率の総和ＰＫは、（５）式で算出される。
Figure 2007148663
また、各手領域位置における寄与率λｋ(ｔ−１)は、（６）式で算出される。
Figure 2007148663
また、前時刻における追跡対象の予測位置の総数をＮ（Ｎ＞Ｋ）とし、前時刻における各手領域位置が選ばれる回数ｎｋ（ｔ−１）を（７）式により算出する。
Figure 2007148663
つまり、確率πｋ（ｔ−１）がある閾値Ｔより大きい手領域位置は、候補としてｎｋ（ｔ−１）回選ばれて、次に説明するように、現時刻の予測位置が算出される。
手領域予測位置計算部４３３は、（８）式のように、現時刻（ｔ）の追跡対象の存在可能な予測位置ｓｋ（ｔ）を、前時刻の追跡対象の位置ｓｋ（ｔ−１）と、前時刻の追跡対象の動き速度ｖ（ｔ−１）と、現時刻の追跡対象の予測位置の範囲Δｄ（ｔ）とに基づいて、算出する。
Figure 2007148663
この（８）式において、α（ｔ−１）及びβ（ｔ）はそれぞれ、ｖ（ｔ−１）及びΔｄ（ｔ）に対するウェイト（係数）である。
図４１は、予測位置ｓｋ（ｔ）を算出する演算器の構成を模式的に示す図である。現時刻の予測位置ｓｋ（ｔ）は、加算器４３３１、４３３２により前時刻の追跡対象の位置ｓｋ（ｔ−１）と前時刻の追跡対象の動き速度ｖ（ｔ−１）と予測範囲Δｄ（ｔ）とが加算される。
予測範囲Δｄ（ｔ）は、（９）式に示すように、平均値ａｍ＝０、分散σ（ｔ）の正規乱数発生器４３３３によってランダムに与える。
Figure 2007148663
また、追跡対象の予測範囲をその対象の動き量に従って動的に決めるために、分散σ（ｔ）を（１０）式に示すように算出した。この分散σ（ｔ）は、絶対値回路４３３４により算出された前時刻の追跡対象の速度（動き量）の大きさの絶対値｜ｖ（ｔ−１）｜と、追跡対象領域の大きさによるパラメータｒ２（ｔ）とに基づいて演算器４３３５にて算出される。
Figure 2007148663
この（１０）式において、｜ｖ（ｔ−１）｜は、前時刻の追跡対象の速度（動き量）の大きさの絶対値を示し、ｋ１は、その動き量の貢献度を示す定数である。
また、ｒ２（ｔ）は、追跡対象領域の大きさによるパラメータであり、（１１）式に示すように追跡対象の大きさに従って分散値σ（ｔ）を決めた。つまり予測範囲を動的に決めることとした。
Figure 2007148663
この（１１）式において、ＯｂｊＳｉｚｅ（ｔ−１）は、前時刻の追跡対象の大きさを示す。そして、このＯｂｊＳｉｚｅ（ｔ−１）がある閾値Ｔ０以上の場合、ｒ２（ｔ）はその大きさに比例して算出される。一方、ＯｂｊＳｉｚｅ（ｔ−１）がある閾値ＴＯより小さい場合、ｒ２（ｔ）はある定数Ｃｏｎｓｔによって決められる。これは、前時刻の追跡結果が間違っている可能性が高いので、予測範囲が大きくなるようにある定数Ｃｏｎｓｔとしたものである。つまり、ＯｂｊＳｉｚｅ（ｔ−１）は、前時刻の追跡位置において、色相画像Ｈｕｅと彩度画像Ｓｍの２値化処理により算出された肌色領域の面積とすることができる。例えば、図４２に示すように前時刻において検出した手領域ａが手の場合、２値化処理により、図４３に示すような肌色領域ｂを算出すると、ある閾値Ｔ０以上となる。一方、図４４に示すように前時刻において検出した手領域ｃが手でない場合、図４５に示すような肌色領域ｄを算出すると、ある閾値Ｔ０よりも小さくなる。
このように手領域位置予測部４３は、前時刻（ｔ−１）における手の追跡結果を追跡結果記憶部４７から読込み、手の大きさや手の動き速度に基づいた手の動き予測モデルに基づいて現時刻（ｔ）の存在可能な手領域の予測位置ｓｋ（ｔ）を算出することにより、高速且つ高精度に手領域を予測することができる。
手領域評価部４４は、手領域位置予測部４３で予測された手領域の予測位置ｓｋ（ｔ）の予測領域画像のＨＳＶ分布と、画像取込部４２から入力された現時刻画像のＨＳＶ分布を算出する画像分布算出部４４１と、画像分布算出部４４１で算出されたＨＳＶ分布画像と追跡結果記憶部４７に記憶された手領域モデル４４２とに基づいて予測領域を評価する評価値計算部４４３とを備えている。この手領域モデル４４２は、例えば、手領域画像の肌色特徴を表すヒストグラム等の情報を含むものであり、予測領域画像のヒストグラムと比較される。
手領域評価部４４は、入力された予測位置ｓｋ（ｔ）の予測領域画像（２４Ｂｉｔ,ＲＧＢ）を、ＨＳＶ画像（８Ｂｉｔ）に変換する。このＨＳＶ画像は、色をＨ(Hue/色相,３Ｂｉｔ)、Ｓ(Saturation/彩度，３Ｂｉｔ)、Ｖ(Value/明度，２Ｂｉｔ)で表したものである。例えば、図４６に示すようなＲＧＢ画像をＨＳＶ画像に変換した場合、図４７に示すようなＨＳＶ画像が得られる。また、図４８は、図４７に示すＨＳＶ画像の手領域ａのヒストグラムを示すものである。このヒストグラムは、人の肌色に対して特徴的な分布を示す。
そこで、予測領域のＨＳＶ画像の分布特性を、（１２）式により求める。
Figure 2007148663
この（１２）式において、ＨＳＶ（ｉ,ｊ）はＨＳＶ画像の輝度値であり、δ（ｘ）はｘ＝０のときに１、その他には０の値を与えるデルタ関数である。つまり、ｋが０〜２５５の値をとり、ＨＳＶ（ｉ,ｊ）の輝度値と同じ場合、分布特性関数ｈｉｓｔｏｇｒａｍ（ｋ）はｐ（ｉ,ｊ）（ｒ）の値だけ増加する。
ｐ（ｉ,ｊ）（ｒ）は、（１３）式に示すように、現時刻の画像の座標位置（ｉ,ｊ）と予測領域の中心位置（ｘｃ,ｙｃ）との距離ｒに逆比例する関数であり、分布特性関数ｈｉｓｔｏｇｒａｍ（ｋ）の重み付けを行っている。つまり、中心付近の画素は貢献度が高くなり、中心から離れた画素になるにつれて貢献度が低くなる。これにより、背景の影響を低減することができる。
Figure 2007148663
また、α（ｉ,ｊ）は、例えば、予め設定されたマスク領域に依存する。例えば、顔検出器により検出された顔領域をマスク領域とし、予測領域が顔領域の一部を含む場合、その画素（ｉ,ｊ）が手領域となる確率を下げるように調整する関数である。このα（ｉ,ｊ）は、（１５）式に示すように、その画素（ｉ，ｊ）が顔領域のようなマスク領域に含まれているか否かで決められる。
Figure 2007148663
このようにＨＳＶ画像のヒストグラムだけではなく、マスク領域に基づいて確率を調整することにより、手領域のＨＳＶ値（特性）と顔領域のＨＳＶ値の相似性が高くなっても、手領域追跡エラーの発生を防止し、ロバストな手領域追跡が実現できる。
また、手領域評価部４４は、（１６）式のように、（１２）式により算出されるヒストグラムと追跡結果記憶部４７に登録された手領域モデルとのマッチングコスト計算を行い、予測領域を評価する。
Figure 2007148663
このように追跡結果記憶部４７に登録された手領域モデルと予測領域との相似性をマッチングにより評価することにより、ロバストな手領域追跡が実現できる。
手領域追跡結果推定部４５は、予測領域評価部４４で算出されたマッチングコストによる確率を計算する確率計算部４５１と、全ての予測領域の確率に基づいて追跡結果を推定する追跡結果推定部４５２とを備えている。
確率計算部４５１は、予測領域評価部４４で算出されたマッチングコストを用いて、手領域である確率πｋ（ｔ）を（１７）式により算出する。算出された確率πｋ（ｔ）は、予測位置ｓｋ（ｔ）とともに追跡結果記憶部４７に記憶される。
Figure 2007148663
追跡結果推定部４５２は、現時刻の各追跡対象の予測位置ｓｋ（ｔ）とその相似性評価による確率πｋ（ｔ）によって、（１８）式により追跡結果（位置）を推定する。
Figure 2007148663
ここで、Ｓ（ｔ）は、現時刻の追跡対象（例えば、手や顔）の位置を示す。また、Ｋは、現時刻で追跡対象が存在する可能性のある位置の予測数を示す。
このように手領域追跡結果推定部４５は、追跡結果（位置）を現時刻の各追跡対象の予測位置ｓｋ(ｔ)とその相似性評価による確率πｋ(ｔ)によって推定することにより、高速且つ、高精度に手領域を追跡することができる。
追跡結果出力部４６は、手領域追跡結果推定部４５で推定された手領域の位置Ｓ（ｔ）、大きさ、確率等を追跡結果記憶部４７に出力する。
追跡結果記憶部４７は、追跡結果出力部４６から出力された追跡結果を記憶する。また、手領域位置予測部４３に前時刻の追跡結果を読み出す。また、予測領域評価部４４に、例えば、推定確率の高い位置の手領域モデルを読み出し、手領域初期モデルを更新する。
続いて、上述した手領域検出装置１０，２０，３０及び手領域追跡装置４０の全体的な動作について図４９に示すフローチャートを用いて説明する。
まず、手領域検出装置１０，２０，３０及び手領域追跡装置４０を含むオブジェクト追跡装置は、手領域を追跡する追跡モードであるか否かを判別する（ステップＳ１）。すなわち、追跡対象となる手領域が検出・登録されているか否かを判別する。
ステップＳ１において、手領域の追跡モードでないと判別された場合、すなわち、手領域の登録が必要である場合、ステップＳ２に進み、手領域を検出する。この手領域検出は、上述した手領域検出装置１０，２０，３０を用いて行うことができる。すなわち、入力画像から人の統計的肌色特徴に基づいて手の候補領域を検出し、この手の候補領域の形状複雑度を算出し、この形状複雑度に基づいて手の候補領域から手領域を検出する。
ステップＳ３において、オブジェクト追跡装置は、手領域を検出できたか否かを判別する。ステップＳ３において、手領域を検出できた場合、ステップＳ４に進み、この手領域を手領域モデルとして追跡結果記憶部４７に登録する。一方、手領域を検出できなかった場合、ステップＳ１に戻り、モードを判別する。
ステップＳ１において、追跡モードであると判別された場合、手領域位置予測部４３は、追跡結果記憶部４７から前時刻（ｔ−１）の追跡結果を読込む（ステップＳ５）。また、手領域評価部４４は、追跡結果記憶部４７から手領域モデルを読み込む（ステップＳ６）。
ステップＳ７において、手領域追跡装置４０は、図５０〜図５３に示すような手領域の追跡処理を行う。ここで、図５０〜図５３は、それぞれ、前時刻（ｔ−１）の入力画像例、現時刻（ｔ）の手領域予測位置例、現時刻（ｔ）の画像例、現時刻（ｔ）の手領域推定位置例を示す。
先ず、手領域位置予測部４３は、ステップＳ５にて読込んだ前時刻（ｔ−１）の追跡結果から手の動き予測モデルに基づいて、現時刻（ｔ）の手領域予測位置を算出する。例えば、図５０に示すような追跡結果ｓｋ（ｔ−１）が入力された場合、手の動き予測モデルに基づいて図５１に示すような手領域予測位置ｓｋ１（ｔ），ｓｋ２（ｔ），ｓｋ３（ｔ），ｓｋ４（ｔ），ｓｋ５（ｔ）を算出する。予測領域評価部４４は、手領域位置予測部４３で予測された各推測手領域位置を、図５２に示すような現時刻の画像に基づいて相似性を評価する。
手領域追跡推定部４５は、予測領域評価部４４で評価された各予測位置について、手領域モデルとの相似性評価による確率πｋ(ｔ)を計算する。例えば、図５２に示す画像の場合、各予測位置の確率計算結果は、確率が高い順にｓｋ５（ｔ），ｓｋ３（ｔ），ｓｋ２（ｔ），ｓｋ４（ｔ），ｓｋ１（ｔ）となる。そして、図５３に示すように、現時刻の各追跡対象の予測位置Ｓｋ（ｔ）とその相似性評価による確率πｋ（ｔ）によって追跡位置Ｓ（ｔ）を推定する。
ステップＳ８において、手領域追跡装置４０は、ステップＳ７の追跡処理にて推定した追跡位置Ｓ（ｔ），大きさ，確率等の追跡結果を追跡結果記憶部４７に記憶し、現時刻（ｔ）の手領域の追跡処理を終了する。そして、時刻をインクリメントし、次時刻の追跡処理を行う。
このように予測された手領域の画像特徴と、手領域検出（初期化）により登録された手領域モデルの画像特徴との相似性評価によって、それらの予測領域が手領域である評価値（可能性）を計算し、この評価値に基づいて各予測領域が手領域である確率を計算し、これら予測領域の位置と確率から最終的に手領域の追跡結果を決めることにより、高速且つ、高精度に手領域を追跡することができる。
また、上述した手領域追跡装置４０において、例えば、手領域のＨＳＶ分布特性と似ている背景領域が存在する場合等の背景の影響を低減するために、距離情報を用いるようにしてもよい。図５４は、例えば、ステレオカメラを用いて、距離情報を推定し、所定距離以上にある領域を背景として除去するようにした手領域追跡装置５０の構成を示すものである。なお、上述した手領域追跡装置４０と同一な構成には同一の符号を付し、説明を省略する。
この手領域追跡装置５０は、撮像部５１と、撮像部５１で撮像された画像に基づいて画像内のオブジェクトの距離情報を推定する距離情報推定部５２と、距離情報推定部５２で推定された距離情報に基づいて所定距離にあるオブジェクトの画像領域を計算する距離画像計算部５３と、距離画像計算部５３で計算された距離画像よりも遠い距離にある背景画像を除去する背景画像除去部５４と、前時刻の手領域追跡結果から現時刻の推測手領域位置を予測する手領域位置予測部４３と、手領域予測部４３で予測された推測手領域位置を現時刻の画像の分布特性に基づいて評価する予測領域評価部４４と、予測領域評価部４４における評価結果に基づいて現時刻の手領域位置を推定する手領域追跡結果推定部４５と、手領域追跡結果推定部４５で推定された現時刻の手領域位置を出力する追跡結果出力部４６と、追跡結果出力部４６から出力された現時刻の手領域を記憶する追跡結果記憶部４７とを備えて構成されている。
撮像部５１は、２台以上のカメラで構成され、所定の位置関係を有して設置されている。
距離情報推定部５２は、所定の位置関係を持つ複数の視点（投影中心）から撮像した画像を用いて、撮像画像中の各点と投影中心との距離を、いわゆる「三角測量」の原理により距離情報を推定する。
距離画像計算部５３は、予め設定されたカメラからの距離（Depth）の閾値Ｄ０によって、例えば、閾値Ｄ０よりも小さい距離にある画素からなる距離画像を計算する。
背景画像除去部５４は、距離画像計算部５３で計算された距離画像以外の領域を背景画像としてマスクする。
図５５〜５８は、所定距離以上にある領域を背景として除去するようにした手領域追跡装置５０における画像処理例を示すものである。例えば、図５５に示すような画像が撮像部５１により撮像された場合、手領域追跡装置５０は、距離画像推定部５２により各画素の距離情報を推定し、図５６に示すように距離画像計算部５３によりある閾値Ｄ０よりも小さい距離の人物領域を前景として切り出す。背景画像除去部５４は、距離画像計算部５３により切り出された人物領域以外をマスクするマスク画像を生成する。このマスク画像は、例えば、図５７に示すようにマスク領域の濃淡値を０としたものである。そして、背景画像除去部５４は、撮像部５１により撮像された画像からマスク画像を用いて背景を除去する。したがって、予測領域評価部４４に入力される現時刻の画像は、図５８に示すようなマスク画像により背景が除去されたＨＳＶ画像となる。なお、この後の処理は上述した手領域追跡装置４０と同様である。
このように所定距離以上にある肌色候補領域を背景として除去することにより、例えば、背景に他の人の手があっても所定距離以内の手領域を追跡するため、実環境のロバスト性をより高めることができる。
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、本実施の形態では、画像内のオブジェクトとして人の手領域を追跡することとしたが、例えば、顔領域を追跡するようにしてもよい。この場合、手領域追跡と同じように、先ず、顔検出器によって顔の領域を検出し登録する。そして、上述のような追跡処理により顔領域の追跡を行うことができる。
また、例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
本発明に係る一実施形態の手領域追跡装置の全体的な処理を説明するための図である。 本発明に係る一実施形態の手領域検出装置の構成を示すブロック図である。 入力画像例を示す図である。 ＲＧＢ情報による画像処理例を示す図である。 肌色候補領域の選定例を示す図である。 肌色候補領域が選定された画像例を示す図である。 色相による画像処理例を示す図である。 肌色候補領域の色相分布例を示す図である。 彩度による画像処理例を示す図である。 肌色候補領域の彩度分布例を示す図である。 肌色の色相領域の検出を説明するための図である。 肌色の彩度領域の検出を説明するための図である。 色相画像における色相領域の検出例を示す図である。 彩度画像における色相領域の検出例を示す図である。 手候補領域の検出例を示す図である。 手の形状に応じた複雑度を説明するための図である。 手を閉じた場合の入力画像例を示す図である。 手を閉じた場合の形状複雑度の算出結果を示す図である。 指を２本開いた場合の入力画像例を示す図である。 指を２本開いた場合の形状複雑度の算出結果を示す図である。 手を開いた場合の入力画像例を示す図である。 手を開いた場合の形状複雑度の算出結果を示す図である。 手候補領域の中心からの距離に基づく形状複雑度を説明するための図である。 中心からの距離の算出結果を示す図である。 本発明に係る一実施形態の手領域検出装置における他の構成（その２）を示すブロック図である。 時刻ｔにおける画像例を示す図である。 時刻ｔ＋１における画像例を示す図である。 動き領域の検出例を示す図である。 動き領域から手領域を検出した例を示す図である。 肌色候補領域の検出例を示す図である。 手領域の決定例を示す図である。 動き領域の検出を行わなかった場合の肌色候補領域の検出例を示す図である。 動き領域の検出を行わなかった場合の手領域検出結果例を示す図である。 本発明に係る一実施形態の手領域検出装置における他の構成（その３）を示すブロック図である。 入力画像例を示す図である。 肌色候補領域の検出例を示す図である。 手領域の検出結果例を示す図である。 距離情報により手候補領域の距離を推定した例を示す図である。 距離情報に基づく手領域の検出結果を示す図である。 本発明に係る一実施形態の手領域追跡装置の構成を示すブロック図である。 手領域位置予測部における処理を説明するための図である。 前時刻において手領域を検出した場合の画像例を示す図である。 二値化処理により手領域の面積を計測した場合の画像例を示す図である。 前時刻において手領域を検出しなかった場合の画像例を示す図である。 二値化処理により手領域の面積を計測した場合の画像例を示す図である。 撮像されたＲＧＢ画像例を示す図である。 ＲＧＢ画像をＨＳＶ画像に変換した例を示す図である。 ＨＳＶ画像における手領域のヒストグラムを示す図である。 本発明の一実施形態における追跡動作のフローチャートである。 前時刻における手領域位置の画像例を示す図である。 現時刻における手領域予測位置例を示す図である。 手領域予測位置を評価した際の画像例を示す図である。 手領域の追跡位置の画像例を示す図である。 本発明に係る一実施形態の手領域追跡装置における他の構成（その２）を示すブロック図である。 現時刻における画像例を示す図である。 距離情報に基づいて距離画像例を示す図である。 マスク画像例を示す図である。 マスク画像により背景除去を施した画像例を示す図である。
符号の説明
１０ 手領域検出装置、１１ 撮像部、１２ 画像取込部、１３ 肌色候補領域選定部、１４ 手候補領域抽出部、１５ 形状複雑度算出部、１６ 手領域検出部、２０ 手領域検出装置、２１ 遅延回路部、２２ 動き領域検出部、２３ 手領域決定部、３０ 手領域検出装置、３１ 基準撮像部、３２ 距離情報取得部、３３ 手領域決定部
４０ 手領域追跡装置、４１ 撮像部、４２ 画像取込部、４３ 手領域位置予測部、４４ 予測領域評価部、４５ 手領域追跡結果推定部、４６ 追跡結果出力部、４７ 追跡結果記憶部、５０ 手領域追跡装置、５１ 撮像部、５２ 距離画像推定部、５３ 距離画像計算部、５４ 背景画像除去部

Claims (13)

  1. 画像から追跡対象のオブジェクトを追跡するオブジェクト追跡装置において、
    上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像の推測オブジェクトの推測オブジェクト位置及び動き速度に基づいて現時刻画像の推測オブジェクト位置を予測する位置予測手段と、
    上記位置予測手段で予測された複数の推測オブジェクト位置を、当該推測オブジェクトの現時刻画像と予め登録されたオブジェクト画像とのオブジェクト相似性に基づいて評価する位置評価手段と、
    上記位置評価手段で評価された各推測オブジェクト位置に基づいて現時刻画像のオブジェクト位置を推定する推定手段と
    を備えるオブジェクト追跡装置。
  2. 上記位置予測手段は、上記予測範囲を前時刻画像のオブジェクトの大きさ、色、及び形状のうちの１つと動き速度とに基づいて算出することを特徴とする請求項１記載のオブジェクト追跡装置。
  3. 上記位置予測手段は、前時刻画像の複数の推測オブジェクトの各々から独立に、現時刻画像の推測オブジェクト位置を予測することを特徴とする請求項１記載のオブジェクト追跡装置。
  4. 上記位置評価手段は、上記位置予測手段で予測された各推測オブジェクト位置を、上記推測オブジェクトの現時刻画像の分布特性と上記予め登録されたオブジェクト画像の分布特性との相似性に基づいて評価することを特徴とする請求項１記載のオブジェクト追跡装置。
  5. 上記位置評価手段は、上記推測オブジェクトの現時刻画像の分布特性と上記予め登録されたオブジェクト画像の分布特性との相似性を、上記位置予測手段で予測された推測オブジェクト位置の中心からの距離に基づいて評価することを特徴とする請求項４記載のオブジェクト追跡装置。
  6. 上記位置評価手段は、上記推測オブジェクトの現時刻画像の分布特性と上記予め登録されたオブジェクト画像の分布特性との相似性を、同時に追跡された他のオブジェクトに基づいて評価することを特徴とする請求項４記載のオブジェクト追跡装置。
  7. 上記位置評価手段は、上記位置予測手段で予測された上記推測オブジェクト位置が上記他のオブジェクトのオブジェクト領域に含まれる場合、上記他のオブジェクトの評価に基づき上記推測オブジェクト位置に対する評価を変更することを特徴とする請求項６記載のオブジェクト追跡装置。
  8. 上記他のオブジェクトは、人の顔領域であることを特徴とする請求項６記載のオブジェクト追跡装置。
  9. 上記追跡手段は、上記位置評価手段で評価された推測オブジェクト位置がオブジェクト領域である確率を、当該オブジェクト位置の評価結果に基づいて算出し、各推測オブジェクト位置の確率に基づいて現時刻画像のオブジェクト位置を推定することを特徴とする請求項１記載のオブジェクト追跡装置。
  10. 所定の位置関係を有する複数のカメラからの画像に基づいて各画素の３次元空間内の位置を推定した距離情報を取得する距離情報取得手段と、
    上記距離情報取得手段で取得された距離情報に基づいて画像からオブジェクトの背景を除去する背景除去手段と
    をさらに備えることを特徴とする請求項１記載のオブジェクト追跡装置。
  11. 上記オブジェクトは、人の手領域であることを特徴とする請求項１記載のオブジェクト追跡装置。
  12. 画像から追跡対象のオブジェクトを追跡するオブジェクト追跡方法において、
    上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像の推測オブジェクトの推測オブジェクト位置及び動き速度に基づいて現時刻画像の推測オブジェクト位置を予測する位置予測工程と、
    上記位置予測工程で予測された複数の推測オブジェクト位置を、当該推測オブジェクトの現時刻画像と予め登録されたオブジェクト画像とのオブジェクト相似性に基づいて評価する位置評価工程と、
    上記位置評価工程で評価された各推測オブジェクト位置に基づいて現時刻画像のオブジェクト位置を推定する推定工程と
    を有することを特徴とするオブジェクト追跡方法。
  13. 画像から追跡対象のオブジェクトを追跡する処理を実行させるプログラムにおいて、
    上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像の推測オブジェクトの推測オブジェクト位置及び動き速度に基づいて現時刻画像の推測オブジェクト位置を予測する位置予測工程と、
    上記位置予測工程で予測された複数の推測オブジェクト位置を、当該推測オブジェクトの現時刻画像と予め登録されたオブジェクト画像とのオブジェクト相似性に基づいて評価する位置評価工程と、
    上記位置評価工程で評価された各推測オブジェクト位置に基づいて現時刻画像のオブジェクト位置を推定する推定工程と
    を有することを特徴とするプログラム。
JP2005340788A 2005-11-25 2005-11-25 オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム Expired - Fee Related JP4682820B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005340788A JP4682820B2 (ja) 2005-11-25 2005-11-25 オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005340788A JP4682820B2 (ja) 2005-11-25 2005-11-25 オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2007148663A true JP2007148663A (ja) 2007-06-14
JP4682820B2 JP4682820B2 (ja) 2011-05-11

Family

ID=38210028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005340788A Expired - Fee Related JP4682820B2 (ja) 2005-11-25 2005-11-25 オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4682820B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7719569B2 (en) 2008-05-28 2010-05-18 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP2011198270A (ja) * 2010-03-23 2011-10-06 Denso It Laboratory Inc 対象認識装置及びそれを用いた制御装置、並びに対象認識方法
CN101567093B (zh) * 2009-05-25 2012-05-16 济南大学 一种三维手势模型的初始化方法
JP2014235743A (ja) * 2013-06-03 2014-12-15 株式会社リコー 深度画像に基づく手の位置確定方法と設備
EP2916261A3 (en) * 2014-03-07 2015-12-02 Fujitsu Limited Detecting device and detecting method
JP2016518664A (ja) * 2013-04-26 2016-06-23 ユニヴエルシテ・ピエール・エ・マリー・キウリー・パリ・シス 対象物の視覚追跡
CN103530616B (zh) * 2013-10-21 2017-02-01 Tcl通讯（宁波）有限公司 一种移动终端的手势识别方法和装置
WO2017043332A1 (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
JP2019124864A (ja) * 2018-01-18 2019-07-25 株式会社インテック 撮像支援システムと撮像支援方法及び撮像支援プログラム
CN110610514A (zh) * 2018-06-15 2019-12-24 株式会社日立制作所 实现多目标跟踪的方法、装置、电子设备
JP2021074799A (ja) * 2019-11-06 2021-05-20 ファナック株式会社 制御装置、その制御方法、及び制御システム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03206572A (ja) * 1990-01-09 1991-09-09 Hitachi Ltd 階調変換自動化装置
JPH1097632A (ja) * 1996-09-20 1998-04-14 Fujitsu General Ltd 物体の移動追跡方法
JP2001143072A (ja) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体形状識別装置
WO2004111687A2 (en) * 2003-06-12 2004-12-23 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
JP2005004799A (ja) * 1998-01-07 2005-01-06 Toshiba Corp 物体抽出装置
JP2005012450A (ja) * 2003-06-18 2005-01-13 Oki Data Corp 画像補正方法および画像補正装置
JP2005045383A (ja) * 2003-07-24 2005-02-17 Hitachi Kokusai Electric Inc 物体追跡装置
JP2005303983A (ja) * 2004-01-06 2005-10-27 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体
WO2005104010A2 (en) * 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
JP2005316898A (ja) * 2004-04-30 2005-11-10 Nippon Telegr & Teleph Corp <Ntt> 目標存在確率推定方法及び装置及びプログラム
JP2007078409A (ja) * 2005-09-12 2007-03-29 Mitsubishi Electric Corp 物体測位装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03206572A (ja) * 1990-01-09 1991-09-09 Hitachi Ltd 階調変換自動化装置
JPH1097632A (ja) * 1996-09-20 1998-04-14 Fujitsu General Ltd 物体の移動追跡方法
JP2005004799A (ja) * 1998-01-07 2005-01-06 Toshiba Corp 物体抽出装置
JP2001143072A (ja) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体形状識別装置
JP2006527443A (ja) * 2003-06-12 2006-11-30 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
WO2004111687A2 (en) * 2003-06-12 2004-12-23 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
JP2005012450A (ja) * 2003-06-18 2005-01-13 Oki Data Corp 画像補正方法および画像補正装置
JP2005045383A (ja) * 2003-07-24 2005-02-17 Hitachi Kokusai Electric Inc 物体追跡装置
JP2005303983A (ja) * 2004-01-06 2005-10-27 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体
WO2005104010A2 (en) * 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
JP2007533043A (ja) * 2004-04-15 2007-11-15 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
JP2005316898A (ja) * 2004-04-30 2005-11-10 Nippon Telegr & Teleph Corp <Ntt> 目標存在確率推定方法及び装置及びプログラム
JP2007078409A (ja) * 2005-09-12 2007-03-29 Mitsubishi Electric Corp 物体測位装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8013890B2 (en) 2008-05-28 2011-09-06 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method for recognizing an object with color
US7719569B2 (en) 2008-05-28 2010-05-18 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
CN101567093B (zh) * 2009-05-25 2012-05-16 济南大学 一种三维手势模型的初始化方法
JP2011198270A (ja) * 2010-03-23 2011-10-06 Denso It Laboratory Inc 対象認識装置及びそれを用いた制御装置、並びに対象認識方法
JP2016518664A (ja) * 2013-04-26 2016-06-23 ユニヴエルシテ・ピエール・エ・マリー・キウリー・パリ・シス 対象物の視覚追跡
JP2014235743A (ja) * 2013-06-03 2014-12-15 株式会社リコー 深度画像に基づく手の位置確定方法と設備
CN103530616B (zh) * 2013-10-21 2017-02-01 Tcl通讯（宁波）有限公司 一种移动终端的手势识别方法和装置
US9727145B2 (en) 2014-03-07 2017-08-08 Fujitsu Limited Detecting device and detecting method
EP2916261A3 (en) * 2014-03-07 2015-12-02 Fujitsu Limited Detecting device and detecting method
WO2017043332A1 (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
US11398041B2 (en) 2015-09-10 2022-07-26 Sony Corporation Image processing apparatus and method
JP2019124864A (ja) * 2018-01-18 2019-07-25 株式会社インテック 撮像支援システムと撮像支援方法及び撮像支援プログラム
CN110610514A (zh) * 2018-06-15 2019-12-24 株式会社日立制作所 实现多目标跟踪的方法、装置、电子设备
CN110610514B (zh) * 2018-06-15 2023-09-19 株式会社日立制作所 实现多目标跟踪的方法、装置、电子设备
JP2021074799A (ja) * 2019-11-06 2021-05-20 ファナック株式会社 制御装置、その制御方法、及び制御システム
US11717970B2 (en) 2019-11-06 2023-08-08 Fanuc Corporation Controller, control method using controller, and control system
JP7424800B2 (ja) 2019-11-06 2024-01-30 ファナック株式会社 制御装置、その制御方法、及び制御システム

Also Published As

Publication number Publication date
JP4682820B2 (ja) 2011-05-11

Similar Documents

Publication Publication Date Title
JP4682820B2 (ja) オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
CN109076198B (zh) 基于视频的对象跟踪遮挡检测***、方法和设备
Jalal et al. Depth maps-based human segmentation and action recognition using full-body plus body color cues via recognizer engine
JP4766495B2 (ja) 対象物追跡装置および対象物追跡方法
US7957560B2 (en) Unusual action detector and abnormal action detecting method
CN110264493B (zh) 一种针对运动状态下的多目标对象追踪方法和装置
US8331619B2 (en) Image processing apparatus and image processing method
US7940957B2 (en) Object tracker for visually tracking object motion
JP5297530B2 (ja) 画像処理装置、及びインターフェース装置
KR100660725B1 (ko) 얼굴 추적 장치를 가지는 휴대용 단말기
KR101303877B1 (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
KR100612858B1 (ko) 로봇을 이용하여 사람을 추적하는 방법 및 장치
JP2007052609A (ja) 手領域検出装置及び手領域検出方法、並びにプログラム
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20110299774A1 (en) Method and system for detecting and tracking hands in an image
JP2017191501A (ja) 情報処理装置、情報処理方法及びプログラム
KR100988326B1 (ko) 사용자 맞춤형 표정 인식 방법 및 장치
CN110858277A (zh) 一种获得姿态分类模型的方法以及装置
EP1449167A1 (en) Computer vision method and system for blob-based analysis using a probabilistic framework
CN114613006A (zh) 一种远距离手势识别方法及装置
Sasi et al. Shadow detection and removal from real images: state of art
US20070223818A1 (en) Method and apparatus for predicting the accuracy of virtual Scene based on incomplete information in video
WO2022049704A1 (ja) 情報処理システム、情報処理方法、及びコンピュータプログラム
JP4449483B2 (ja) 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム
Duan et al. Detection of hand-raising gestures based on body silhouette analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees