JPH09134418A - 特定被写体の抽出方法とその装置 - Google Patents

Abstract

(57)【要約】 【課題】動きの速い被写体や小さな被写体でも見失うこ
となく安定に抽出する被写体抽出機能を持った被写体抽
出方法を提供する。 【解決手段】所定の間隔の時間単位の処理単位毎に抽出
処理を行い、撮影画面中の所定の領域に所定の形状の抽
出有効領域を定め、撮影画面中の目的被写体と等しい特
徴を持つ領域の内、抽出有効領域の内部に含まれる領域
を目的被写体をあらわす目的被写体領域とし、この目的
被写体領域の特徴量を用いて、次の処理単位における抽
出に有効な抽出有効領域を定め、目的の被写体を抽出す
る被写体抽出方法である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はビデオカメラでの信
号処理に係り、特に、撮影画面の映像信号中から特定の
物体の領域を抽出する方法に関する。

【０００２】

【従来の技術】従来の技術では、特開平４−２０５０７
０号公報に示されているように、撮像画面に所定の抽出
コア領域を、抽出したい被写体（以下、目的被写体と記
す）の上に重なるように定め、この定めた抽出コア領域
内にあって目的被写体と同じ特徴を持った連続した一つ
の領域を目的被写体領域として抽出し、この目的被写体
領域をその形を保ったまま、所定の量だけ広げた領域を
新たな抽出コア領域とする方法（以下、逐次成長法と記
す）により、目的被写体だけを抽出するものであった。

【０００３】

【発明が解決しようとする課題】上記、従来の逐次成長
法を使った方法では、目的被写体上の抽出コア領域を中
心に目的被写体領域を少しずつ広げていくので、撮影画
面の中に目的被写体以外に抽出条件を満足する領域があ
っても、目的被写体だけを抽出できるという利点はある
が、動きの速い被写体や小さな被写体の場合、目的被写
体が抽出コア領域から外れやすく、目的被写体が撮影し
ている画面の中に存在していても見失った状態になって
しまうという問題があった。

【０００４】本発明の目的は、動きの速い被写体や小さ
な被写体でも見失うことなく安定に目的の被写体を抽出
する抽出方法を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明では、所定の間隔の時間単位の処理単位毎に
抽出処理を行い、撮影画面中の所定の領域に所定の形状
の抽出有効領域を定める。撮影画面中の目的被写体と等
しい特徴を持つ領域の内、抽出有効領域の内部に含まれ
る領域を目的被写体をあらわす目的被写体領域とし、こ
の目的被写体領域の特徴量を用いて、次の処理単位にお
ける抽出に有効な抽出有効領域とする。

【０００６】撮影画面内で目的の被写体と同じ特徴を持
つ領域は必ずしも目的の被写体の領域だけではない。し
かし、一般に目的被写体は画面の中央付近にある。そこ
で、抽出有効領域は画面中央に設定する。また、抽出有
効領域の大きさは、目的の被写体が動いても抽出有効領
域から完全にはみ出してしまわない大きさにする。

【０００７】抽出を上記で設定した抽出有効領域内だけ
で行うことにより、抽出有効領域の外側にある目的被写
体以外で抽出条件を満足する領域を削除でき、目的の被
写体を選択的に抽出できる。

【０００８】このようにすることで、動きの速い被写体
や小さな被写体でも見失うことなく安定に抽出する被写
体抽出方法を提供することができる。

【０００９】

【発明の実施の形態】以下、本発明の実施例を図面を用
いて説明する。

【００１０】図1は本発明の一実施例を示すブロック図
である。101は光を集光するレンズである。102は入射光
を光電変換し、撮像信号を生成するCCD(Charge Coupled
Devises)型やMOS(Metal Oxide Semiconductor)型の固
体撮像素子である。103は撮像信号を増幅する増幅手段
である。104は撮像信号をディジタル変換するA/D(Analo
g to Digital)変換手段である。105はビデオカメラに公
知の信号処理を行い輝度と色差(Y,R-Y,B-Y)からなるYC
データと、NTSC(National Television System Committe
e)等のコンポジット映像信号を生成する信号処理手段で
ある。106はカメラ動作を制御するカメラ制御手段であ
る。107はコンポジット映像信号を外部へ出力する端子
である。108は被写体抽出手段等を制御する被写体抽出
制御手段である。109はYCデータから抽出条件を満足す
る被写体を抽出し、抽出した被写体を囲む上下左右の座
標や、抽出した被写体の輪郭を表わすエッジ座標からな
る抽出被写体情報を生成する被写体抽出手段であり、画
素単位で1，0のデータ（被写体の領域が1、その他の領
域が0）を生成し、抽出データ出力手段111を介して外部
に出力する。

【００１１】固体撮像素子102はレンズ101を通して入射
された光を光電変換し、撮像信号を生成する。固体撮像
素子102で生成された撮像信号は増幅手段102で増幅され
増幅撮像信号となり、増幅手段102で生成された増幅撮
像信号はA/D変換手段104に入力され撮像データとなる。
A/D変換手段104で生成された撮像データは信号処理手段
105によって輝度と色差に分離され、カメラの基本的な
信号処理を施されYCデータとなる。更に、信号処理手段
105は、YCデータからNTSC等のコンポジット映像信号を
生成し出力する。また、信号処理手段105はYCデータを
信号処理手段105の外に出力するインターフェースを持
つ。106はカメラ動作を制御するカメラ制御手段であ
り、信号処理手段105から出力される映像情報をもとに
信号処理手段105の制御パラメータや図示していない絞
りの制御等、ビデオカメラに公知の制御を行う。

【００１２】本発明による被写体抽出方法を説明する前
に、逐次成長法による抽出について図2を用いて簡単に
説明する。図2は逐次成長法を用いた抽出の概念図であ
る。図2のネコの形のシルエットが目的の被写体で、そ
のシルエットの上にある破線で囲まれた領域が抽出コア
領域、抽出コア領域の内側の斜線部分が抽出した領域
で、太い線で囲まれた領域が被写体の形に合わせて成長
させた次回処理の元となる抽出コア領域である。

【００１３】図2に示すように目的の被写体上に初期抽
出コア領域を設定する。この初期抽出コア領域の内側に
目的被写体と同じ特徴を持った領域がある場合は抽出コ
ア領域を一回り広げ、無い場合は縮める。ある処理時間
(n)の時は１処理時間前の処理時間(n-1)の抽出コア領域
を元に次の処理の元となる抽出コア領域を決める。この
ように、抽出コア領域を中心に被写体を同じ特徴を持っ
た領域の有無に応じて被写体候補領域の大きさを制御す
ることで目的の被写体だけを抽出できるが、図3のよう
に被写体の動きが速い場合は、１つ前の処理時間の抽出
コア領域から目的の被写体がはずれてしまい見失ってし
まう。

【００１４】本発明ではこのような問題を解決する。

【００１５】図4を用いて本発明のアルゴリズム、すな
わち被写体抽出手段108の制御アルゴリズムを説明す
る。

【００１６】図4は処理単位時間ごとの抽出の様子を表
しており、太い実線の四角い枠は抽出有効領域、ネコの
形のシルエットが目的の被写体、その周辺の物体はネコ
を抽出する条件で抽出されてしまう他の物体である。ハ
ンチングしてある領域が抽出された領域である。

【００１７】図4の処理時間(n-1)の図を初期状態とす
る。撮影画面内にあらかじめ抽出有効領域を設定する。
領域内の抽出条件を満たす領域が抽出され被写体候補と
なる。これらの抽出候補の中から最も抽出有効領域の中
心に近い領域を目的被写体とし、選択した目的被写体の
領域を囲む四角のその大きさ，位置を記憶し次の処理
(処理時間n)での目的被写体の選択に使用する。また、
上記の目的被写体を囲む四角の中心が抽出有効領域の中
心からずれている場合には、抽出有効領域を目的の被写
体の位置にあわせて移動する。次回、処理時間nの抽出
はこの移動した抽出有効領域内で行う。

【００１８】処理時間nでは、処理時間(n-1)で設定した
抽出有効領域内の被写体候補の中から目的被写体の領域
を選択する。処理時間(n-1)で得た目的被写体情報を用
い、この情報と最も良く一致する被写体候補の領域を目
的被写体とし、前回処理と同様の情報を記憶し、処理時
間(n+1)の抽出で使う。図4の処理時間nのように目的被
写体が抽出有効領域からはみ出している場合には、処理
時間(n-1)で得た被写体の大きさ情報から被写体中心位
置を予測し抽出有効領域を移動する。

【００１９】抽出有効領域の大きさは、余り大きすぎる
と目的被写体以外の物体を多く抽出しやすく、目的被写
体を正しく選択することが難しくなる。また、小さすぎ
ると逐次成長方式のように目的の被写体を見失いやすく
なる。そこで随時、被写体の大きさに合わせ、例えば目
的被写体を囲む四角の縦横２倍になるように制御する。

【００２０】この様に抽出有効領域を制限し、その範囲
内で目的被写体と同じ特徴を持った領域を目的被写体領
域として抽出し、抽出した目的被写体領域の特徴量を元
に抽出有効領域の大きさ，位置，形状を適宜制御するこ
とで、動きの速い被写体や小さな被写体でも見失うこと
なく安定に抽出する被写体抽出方法を提供することがで
きる。

【００２１】以下、本発明の抽出有効領域を制限して目
的の被写体を抽出する方式を領域設定法と呼ぶ。

【００２２】図5は本発明の他の一実施例を示すブロッ
ク図である。図5は図1の一実施例にもう一つ抽出手段を
備えたものである。110は追加した被写体抽出手段であ
り、画素単位で1，0のデータ（被写体の領域が1、その
他の領域が0）を生成し、抽出データ出力手段112を介し
て外部に出力する。

【００２３】本一実施例では二つの抽出手段で同じ被写
体を異なる抽出方式で抽出し、それぞれの長所を活か
し、動きの速い被写体や小さな被写体でも見失うことな
く安定に抽出する被写体抽出方法を提供する。

【００２４】図6の原理図を用いて本発明の他の一実施
例の被写体抽出制御手段108の制御アルゴリズムを説明
する。

【００２５】(１)被写体抽出手段109は逐次成長法で、
被写体抽出手段110を領域設定法で目的の被写体を抽出
する。被写体抽出手段109が領域設定法で、被写体抽出
手段110が逐次成長法でもよい。

【００２６】(２)各々の被写体抽出手段に対し、初期条
件として被写体抽出手段109には初期抽出コア領域を被
写体抽出手段110には初期抽出有効領域を設定する。初
期抽出コア領領域は目的被写体に重なるように設定す
る。

【００２７】(３)被写体抽出手段109は図6中で太い実線
で示したような、抽出した領域を囲む四角の位置や大き
さの情報を出力し、被写体抽出手段110は図6中で太い破
線で示したような、抽出有効領域内で抽出条件を満足す
る領域を各々囲む四角の位置や大きさの情報を出力す
る。逐次成長法で抽出された領域は目的被写体の領域で
あるから、領域限定法で抽出された複数個の目的被写体
と同じ特徴を持つ領域の中で、被写体抽出手段109から
出力された抽出領域と重なるものを、目的被写体の領域
と判断する。

【００２８】(４)(３)で選択した目的被写体の領域と逐
次成長法で得られた目的被写体の領域の大きさを比較
し、大きい方を次回の処理の抽出コア領域として被写体
抽出手段109に与える（図6、処理時間nの太い灰色の線
の四角い枠）。

【００２９】(５)(３)から(４)の処理を繰り返す。

【００３０】このように複1数個の被写体抽出手段を用
いて、異なる抽出方式で同じ被写体を抽出し、それぞれ
の抽出方式の長所を活かした制御をすることで、動きの
速い被写体や小さな被写体でも被写体の大きさや位置を
常に正しく認識することが出来、被写体を見失うことな
く安定に抽出する被写体抽出機能を持った被写体抽出方
法を提供することができる。

【００３１】図7は本発明の他の一実施例のアルゴリズ
ムを説明する図である。この実施例は図1の実施例と同
じ構成で実現できる。

【００３２】本実施例では一方の抽出手段の出力する抽
出結果を元に他の抽出手段の抽出有効領域を制御する方
式であり、大きな被写体に含まれる小さな被写体、例え
ば目などを抽出する場合に有効である。

【００３３】人間の黒目を抽出する場合を例に本実施例
のアルゴリズムを説明する。黒目の様な小さな被写体の
場合は、アップで撮影すると顔の動きによってすぐ画角
からはずれ抽出不能になり、かといって顔全体が撮影画
面にはいるように撮影しても、図3で説明した原因によ
り見失いやすい。

【００３４】そこで、まず、一方の抽出手段（例えば抽
出手段109）を用いて顔の肌色の部分を抽出する。この
ように抽出したとき目の部分は抽出されないので、抽出
被写体のエッジ情報は図５に示す様に目や口等の肌色以
外の部分が抜けた状態になる。この情報を用いて目を囲
む領域を判断し、この領域を他の抽出手段（例えば抽出
手段110）の抽出有効領域とする。このように、目的の
被写体を内部に含む見失いにくい被写体を抽出し、その
抽出結果を用いて目的被写体を抽出するための抽出有効
領域を設定することにより、動きの速い被写体や小さな
被写体でも被写体の大きさや位置を常に正しく認識する
ことが出来、被写体を見失うことなく安定に抽出する被
写体抽出機能を持った被写体抽出方法を提供することが
できる。

【００３５】

【発明の効果】本発明によれば、抽出有効領域を制限
し、その範囲内で目的被写体と同じ特徴を持った領域を
目的被写体領域として抽出し、抽出した目的被写体領域
の特徴量を用いて抽出有効領域の大きさ，位置，形状を
適宜制御することで、動きの速い被写体や小さな被写体
でも見失うことなく安定に抽出する被写体抽出方法を提
供することができる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すブロック図。

【図２】従来の抽出方式の原理を説明する図。

【図３】従来の抽出方式の原理を説明する図。

【図４】本発明の一実施例の被写体抽出法のアルゴリズ
ムの説明図。

【図５】本発明の他の一実施例を示すブロック図。

【図６】本発明の他の一実施例の被写体抽出法のアルゴ
リズムの説明図。

【図７】本発明の他の一実施例の被写体抽出法のアルゴ
リズムの説明図。

【符号の説明】

101…レンズ、102…固体撮像素子、103…信号増幅手
段、104…A/D変換手段、105…ディジタル信号処理手
段、106…カメラ制御手段、107…出力端子、108…被写
体抽出制御手段、109…被写体抽出手段、110…被写体抽
出手段、111…抽出データ出力手段、112…抽出データ出
力手段。

フロントページの続き (72)発明者 衣笠 敏郎 神奈川県横浜市戸塚区吉田町292番地株式 会社日立製作所マルチメディアシステム開 発本部内

Claims (10)

【特許請求の範囲】
1. 【請求項１】撮影画面から特定の目的被写体を抽出する
   方法で、抽出処理は所定の間隔の時間単位の処理単位毎
   に行い、上記撮影画面内に所定の形状の抽出有効領域を
   定め、該撮影画面中の該目的被写体と等しい特徴を持つ
   目的被写体候補領域の内、該抽出有効領域の内部に含ま
   れる該目的被写体候補領域を該目的被写体をあらわす目
   的被写体領域とし、該目的被写体領域の特徴量を用い
   て、次の該処理単位における抽出に有効な該抽出有効領
   域を定めることを特徴とする被写体抽出方法。
2. 【請求項２】請求項１において、初期状態での上記抽出
   有効領域は撮影画面の中央付近の領域である被写体抽出
   方法。
3. 【請求項３】請求項１において、抽出した上記目的被写
   体領域を上記抽出有効領域の中心付近に含むように上記
   抽出有効領域の位置を動かす被写体抽出方法。
4. 【請求項４】請求項１において、上記目的被写体領域の
   大きさによって上記抽出有効領域の大きさ変える被写体
   抽出方法。
5. 【請求項５】請求項１において、上記抽出有効領域内の
   上記目的被写体領域が複数個ある場合には、上記目的被
   写体の特徴をあらわすパラメータを用いて上記目的被写
   体領域から上記目的被写体領域の一つ選ぶ被写体抽出方
   法。
6. 【請求項６】撮影画面から目的被写体を抽出する方法
   で、同一の該目的被写体を特性の違う複数の抽出方法を
   用いて抽出し、各々の該特性の違う抽出方法で得られた
   該目的被写体の特徴量を用いて他の抽出方法を制御する
   パラメータを決めることを特徴とする被写体抽出方法。
7. 【請求項７】請求項６において、請求項１の抽出方法
   と、撮像画面に所定の抽出コア領域を定め、該抽出コア
   領域内にあり該目的被写体の特徴と同じ特徴を持った連
   続した一つの領域を目的被写体領域とし、該目的被写体
   領域をその形を保ったまま、所定の量だけ広げた領域を
   新たな抽出コア領域として、該撮影画面から該目的被写
   体だけを抽出する被写体抽出方法である逐次成長法を組
   み合わせ、各々方法で該目的被写体と等しい特徴を持っ
   た領域を抽出し、請求項１の抽出法で抽出された目的被
   写体領域が複数個あった場合には、該逐次成長法で抽出
   された領域の特徴量と請求項１の抽出法で抽出された複
   数個の目的被写体領域の特徴量を比較し、最も良く一致
   するものを目的被写体領域とし、この選択した目的被写
   体領域の特徴量を用いて請求項１における抽出の次の上
   記処理単位における抽出に有効な上記抽出有効領域を定
   め、更に、選択した該目的被写体領域の特徴量が、該逐
   次成長法で抽出された領域の特徴量よりも目的被写体の
   特徴を良くあらわす場合には選択した該目的被写体領域
   の特徴量を用いて該逐次成長の制御パラメータを設定す
   る被写体抽出方法。
8. 【請求項８】撮影画面から目的の被写体を抽出する方法
   で、該撮影画面内の該目的被写体の状態が、該撮影画面
   中の他のある物体に依存するとき、請求項１の抽出方法
   や上記の逐次成長法による抽出法を用いて、該他のある
   物体を抽出し、該他のある物体の抽出領域の特徴量を用
   いて、該目的被写体を抽出する条件や、抽出有効領域を
   制御し抽出する被写体抽出方法。
9. 【請求項９】レンズを通して入射される入射光を光電変
   換する固体撮像素子と、該固体撮像素子が出力する撮像
   信号から少なくとも輝度及び色データを生成する信号処
   理手段と、該信号処理手段が生成する上記輝度及び色デ
   ータから所定の条件を満足する領域を抽出する被写体抽
   出手段と、上記被写体抽出手段を制御する被写体抽出制
   御手段からなり請求項１，請求項２，請求項３，請求項
   ４，請求項５を実現する被写体抽出装置。
10. 【請求項１０】レンズを通して入射される入射光を光電
    変換する固体撮像素子と、該固体撮像素子が出力する撮
    像信号から少なくとも輝度及び色データを生成する信号
    処理手段と、該信号処理手段が生成する上記輝度及び色
    データから所定の条件を満足する領域を抽出する複数個
    の被写体抽出手段と、上記被写体抽出手段を制御する被
    写体抽出制御手段からなり、請求項６，請求項７，請求
    項８を実現する被写体抽出装置。