JPH11177874A - 撮像装置およびその制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 ビデオカメラの各種自動調節機能は、被写体
が画面の中央部に位置することを前提にしているため、
それらの機能を効果的に作動させるためには、撮影時の
画面構成の自由度を犠牲にせざるを得ない。 【解決手段】 二値化回路15は、生成される映像信号か
ら肌色系の色をもつ映像を抽出する。抽出された映像
は、積分回路16により画素ごとに積分されて、ノイズお
よび動きの少ない映像が除去された後、テンプレートマ
ッチング回路17により肌色系の色をもつ被写体を含む画
像領域を表すウィンドウ信号が生成される。このウィン
ドウ信号が表す画像領域に含まれる映像に基づき各種自
動調整機能が実行される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は撮像装置およびその
制御方法に関し、例えば、ビデオカメラなどの撮像装置
が備える各種の自動機能に関するものである。

【０００２】

【従来の技術】最近の民生用ビデオカメラには様々な機
能が搭載されている。例えば、自動焦点調節(AF)、自動
露光調節(AE)、自動白バランス調節(AWB)機能や、電子
ズームなどがその代表的なものである。AF、AEおよびAW
Bなどの機能を実現する場合、赤外線センサ、光量セン
サなどの検出機構を用いずに、撮像された画像信号から
制御用の評価値を得る方式がある。この方式において
は、撮像された画像の中央部の情報を重点的に利用し、
それに画像の周辺部の情報を併せて各種の評価値を生成
することが多い。

【０００３】また、電子ズームの場合、画面中央部を拡
大することがほとんどである。これは、被写体は画面の
中央に位置する、を前提とするためである。

【０００４】

【発明が解決しようとする課題】しかし、上述した技術
においては、次のような問題点がある。

【０００５】上記の技術では、被写体が画面の中央部に
位置することを前提にするため、上記の各機能を効果的
に作動させるためには、撮影時の画面構成の自由度を犠
牲にせざるを得ない状況にある。また、電子ズームにお
いても撮影画像の中央部しか拡大されないため、同様に
自由度が犠牲になる。

【０００６】本発明は、上述の問題を解決するためのも
のであり、画面の中の被写体の位置によらず各種機能を
効果的に作動させることができる撮像装置およびその方
法を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。

【０００８】本発明にかかる撮像装置は、映像信号を生
成する撮像装置であって、生成される映像信号から所定
の色情報をもつ映像を抽出する抽出手段と、抽出される
映像の位置およびサイズを示す情報を生成する生成手段
と、生成される情報が示す画像領域に含まれる映像に基
づき、撮像条件を設定する設定手段とを有することを特
徴とする。

【０００９】また、映像信号を生成する撮像装置であっ
て、生成される映像信号の輝度成分から映像のエッジ情
報を抽出する抽出手段と、抽出されるエッジ情報に基づ
き、その映像の位置およびサイズを示す情報を生成する
生成手段と、生成される情報に基づき電子ズーム条件を
設定する設定手段とを有することを特徴とする。

【００１０】本発明にかかる撮像方法は、映像信号を生
成する撮像装置の制御方法であって、生成される映像信
号から所定の色情報をもつ映像を抽出し、抽出される映
像の位置およびサイズを示す情報を生成し、生成される
情報が示す画像領域に含まれる映像に基づき、撮像条件
を設定することを特徴とする。

【００１１】また、映像信号を生成する撮像装置の制御
方法であって、生成される映像信号の輝度成分から映像
のエッジ情報を抽出し、抽出されるエッジ情報に基づ
き、その映像の位置およびサイズを示す情報を生成し、
生成される情報に基づき電子ズーム条件を設定すること
を特徴とする。

【００１２】

【発明の実施の形態】以下、本発明にかかる一実施形態
の撮像装置を図面を参照して詳細に説明する。

【００１３】［構成］図1および図2は本発明にかかる第
1実施形態の撮像装置の構成例を示すブロック図で、人
の肌の色から被写体の位置を検出し、その被写体に対し
て、AF、AEおよびAWBを行う撮像装置である。

【００１４】図1において、1はCCDから構成される撮像
素子(CCD)、2はアナログ信号をディジタル信号に変換す
るA/Dコンバータ(ADC)、3は輝度信号Yと色信号Cとを分
離するY/C分離部、4は輝度信号処理部、5は色信号処理
部、6は記録部、7は撮像素子1ににクロック信号などを
供給するCCDドライバ、8は各種のタイミング信号を発生
するタイミング信号発生器、9はウィンドウ信号を発生
するウィンドウ信号発生器、10はAF評価値を検出するAF
検出部、11はAWB評価値を検出するAWB検出部、12はAE評
価値を検出するAE検出部、13はマイクロコンピュータ14
用のインタフェイスである。

【００１５】また、図1および図2において、15は特定の
色信号を二値化して抽出色信号を出力する二値化回路で
あり、乗算器15-1から15-3、加算器15-4および15-5、コ
ンパレータ15-6から15-9、AND素子15-10およびラッチ15
-11などから構成される。16は抽出色信号を積分する積
分回路であり、入力切換器16-1、加算器16-2、リミッタ
16-3、RAM16-5用のメモリインタフェイス16-4、リミッ
タ16-6および二値化器16-7などから構成される。17はテ
ンプレートマッチング回路であり、ラッチ17-1から17-
5、AND素子17-6、アドレス制御部17-7およびウィンドウ
情報生成部17-8などから構成される。

【００１６】［動作］次に、第1実施形態の動作を説明
する。CCD1から出力されたアナログ画像信号は、ADC2に
よりディジタル画像信号に変換され、Y/C分離部3により
色情報Cと輝度情報Yに分離され、色信号処理部5および
輝度信号処理部4により各種信号処理が施された後、ビ
デオ信号として記録部6により磁気テープなどに記録さ
れる。

【００１７】CCDドライバ7は、タイミング信号発生器8
により生成される垂直同期信号V-Resetおよび水平同期
信号H-Resetに同期して、CCD1から画像信号を取り出す
ように動作する。また、ウィンドウ信号発生器9は、設
定されたウィンドウの位置およびサイズ情報と、垂直同
期信号V-Resetおよび水平同期信号H-Resetとを基準にし
てウィンドウ信号を生成し、生成したウィンドウ信号を
AF検出部10、AWB検出部11およびAE検出部12に出力す
る。各検出部は、輝度信号処理部4からの輝度信号Y、並
びに、色信号処理部5からの色差信号B-YおよびR-Yに基
づき、ウィンドウ信号が示すウィンドウ範囲において各
評価値を検出する。検出された各評価値は、マイクロコ
ンピュータインタフェイス13を介してマイクロコンピュ
ータ14に送られる。マイクロコンピュータ14は、受信し
た各評価値に基づき、図示しないレンズ、アイリスおよ
びホワイトバランスなどの回路に対して所定の信号を出
力する。

【００１８】一方、色信号処理部5から出力される色差
信号R-YおよびB-Yは二値化回路15に入力される。二値化
回路15は、肌色系の色相および彩度を示す色差信号が入
力される場合に、Highレベルの信号を出力するものであ
る。図3は二値化回路15の処理手順を説明するための図
で、R-Yを横軸、B-Yを縦軸にする色空間を示し、検出し
たい特定の色相および彩度の範囲を四本の直線W、X、Y
およびZで表している。これら四本の直線は、R-Yおよび
B-Yにより次式で表される。 W: B - Y = a(R - Y) X: B - Y = b(R - Y) Y: B - Y = c(R - Y) + d Z: B - Y = c(R - Y) + e

【００１９】従って、検出したい色相および彩度の範囲
は、下の四つの条件式を満たす色差信号R-YおよびB-Yを
もつ画素である。 B - Y ≧ a(R - Y) B - Y ≦ b(R - Y) B - Y ≧ c(R - Y) + d B - Y ≦ c(R - Y) + e

【００２０】二値化部15は、乗算器15-1から15-3、並び
に、加算器15-4および15-5により、上記の各式を計算
し、コンパレータ15-6から15-9およびAND素子15-10によ
り上記の条件式を計算することにより、図3に示す検出
したい色相および彩度の画素に対してはHighレベルの信
号を、それ以外の画素に対してはLowレベルの信号を出
力する。このようにして生成された特定色（ここでは肌
色系）を示す抽出色信号は積分回路16に入力される。

【００２１】積分回路16において、各画素毎の積分値は
RAM16-5に蓄えられ、メモリインタフェイス16-4を介し
て画素毎に読出すことができる。つまり、一つの画素の
積分値は、1フィールドに一回、RAM16-5から読出され、
加算器16-2により積分回路16の入力値と加算され、再
び、RAM16-5に記憶される。ここで、入力値は抽出色信
号がHighレベルの時は正の値(+M)、Lowレベルの時は負
の値(-N)になる。また、リミッタ16-3により加算器16-2
の出力が負であれば零に制限される。

【００２２】従って、肌色系をもつ被写体が画面の同一
の位置に長く留まるほど、それらの画素の積分値は増加
することになる。逆に、その被写体が画面の中で移動し
た場合は、その被写体がいた位置に対応する画素の積分
値は減り、新たな被写体の位置に対応する画素の積分値
が増加することになる。また、このような積分を行うこ
とにより、ノイズにより誤検出される画素を除去するこ
とができる。

【００２３】このようにして、順次、画素毎に時間積分
された積分値は、メモリインタフェイス16-4を介してリ
ミッタ16-6に入力される。リミッタ16-6は図4に示すよ
うな入出力特性をもち、積分値が所定値より大きい場合
に零を出力する。これにより、積分値が所定値より大き
い、全く動きのない肌色系の画像は人の画像ではないと
判断され、以下の処理から除外される。なお、リミッタ
16-6の制限値を種々変更することにより、どの程度の動
きをもつ肌色系の画像を抽出するかという特性を調整す
ることができる。

【００２４】リミッタ16-6から出力された信号は二値化
器16-7により二値化され、肌色系の画像に対応する信号
はHighレベルに、それ以外の画像に対応する信号はLow
レベルになり、テンプレートマッチング回路17に入力さ
れる。

【００２５】テンプレートの形状は、例えば、図5に示
すような十文字配列の五個の画素からなり、ラッチ17-1
から17-5に五個の画素に対応する積分回路16から出力さ
れた二値信号値が保持される。ただし、ラッチ17-1から
17-5に二値信号値をセットするのは、アドレス制御部17
-7により行われる。アドレス制御回路17-7は、メモリイ
ンタフェイス16-4を介してRAM16-5に記憶された積分値
の中からテンプレート形状の画素の積分値を読出す。読
出された積分値は、リミッタ16-6および二値化器16-7に
より二値信号値としてラッチ17-1から17-5に保持され
る。五つの画素に対応するラッチされた二値信号値はAN
D素子17-6により論理積され、その結果がアドレス制御
部17-7に入力される。

【００２６】アドレス制御部17-7は、RAM16-5に記憶さ
れた全画素についてAND素子17-6の出力がLowレベルにな
る場合、つまり図5に示すテンプレートにマッチする画
素の組合わせがない場合は、画面内に人が写っていない
ものと判断する。また、マッチングを進める過程で各ラ
ッチの値がすべてHighレベル、つまり図5に示すテンプ
レートにマッチする場合は、図6に示すように、画素間
の距離を二倍にし、再び、RAM16-5から図5に示すテンプ
レートに対応する画素の積分値を読出す。

【００２７】このようにして、テンプレートにマッチす
る画素の組合わせが見付かる度に、画素間の距離を増や
してマッチングを進めると、何れはテンプレートにマッ
チする画素の組合わせがなくなる。この時の画素間の距
離から、肌色系の色をもつ画像のサイズが推定でき、そ
の画像の中心は、マッチングする画素の組合わせがなく
なる寸前の画素間距離においてマッチングがとれた画素
の組合わせにおける中心画素から推定される。従って、
アドレス制御部17-7は上記のようにしてウィンドウの中
心（位置）およびサイズを計算し、その結果に基づきウ
ィンドウ情報生成部17-8はウィンドウ情報を設定する。
なお、ウィンドウ情報生成部17-8から出力されるウィン
ドウ情報はウィンドウ信号発生器9に入力される。

【００２８】以上説明したように、本実施形態によれ
ば、画面の中から肌色系の色をもつ動きのある画像部分
を検出し、その画像部分のサイズと位置を推定する。そ
して、推定される画像部分のサイズと位置に基づき、そ
の画像部分を表すウィンドウ信号を生成し、そのウィン
ドウ信号により表される領域に対してAF、AEおよびAWB
を機能させることができる。従って、画面の中央近傍以
外の位置にある被写体に対してもAF、AEおよびAWB機能
を働かせることができる。

【００２９】

【第2実施形態】以下、本発明にかかる第2実施形態の撮
像装置を説明する。なお、本実施形態において、第1実
施形態と略同様の構成については、同一符号を付して、
その詳細説明を省略する。

【００３０】図7は本発明にかかる第2実施形態の撮像装
置の構成例を示すブロック図で、撮像画像のエッジ画像
から特定の被写体を推定し、その被写体部分を電子ズー
ムで拡大し、元の画像に重ね合わせて記録する装置であ
る。

【００３１】21は電子ズームを制御する電子ズーム制御
部、22は画像を合成する合成回路、23はフィルタ、24は
二値化器、25はRAM26のメモリインタフェイス、27はテ
ンプレートマッチングを行うマッチング部である。

【００３２】次に、第2実施形態の動作を説明する。色
信号処理部5および輝度信号処理部4から出力される画像
信号は、電子ズーム制御部21および合成回路22を介して
記録部6により磁気テープなどに記録される。電子ズー
ム制御部21および合成回路22には、ウィンドウ信号発生
器9で生成されるウィンドウ信号も入力される。

【００３３】また、輝度信号処理部4から出力される輝
度信号Yはフィルタ23に入力される。フィルタ23はバン
ドパスフィルタ特性を有し、画像のエッジ成分のみが抽
出される。二値化器24は、正負の値を取るフィルタ23か
ら出力されるエッジ画像信号の絶対値を取った後、所定
のレベルで二値化する。二値化されたエッジ画像信号
は、メモリインタフェイス25を介してRAM26に記憶され
る。

【００３４】RAM26に記憶された二値化されたエッジ画
像信号は、メモリインタフェイス25を介してマッチング
部27に入力され、予め決められたテンプレートと比較さ
れる。なお、テンプレートマッチングの手順などは、第
1実施形態と同様であるので説明を省略する。このよう
にして得られるテンプレートに一致するエッジ画像の位
置およびサイズの情報は、ウィンドウ信号発生器9に入
力される。ウィンドウ信号発生器9は、入力されるエッ
ジ画像の情報に基づきウィンドウ信号を生成し、ウィン
ドウ信号は電子ズーム制御部21および合成部22に出力さ
れる。

【００３５】電子ズーム制御部21は、入力されるウィン
ドウ信号により示される画像領域を所定倍率で拡大して
合成部22に出力する。合成部22は、輝度信号処理部4お
よび色信号処理部5から入力される画像信号に、電子ズ
ーム制御部21から入力される拡大映像の映像信号を重畳
して記録部6に出力する。すなわち、拡大前の映像に拡
大した映像を合成する。なお、拡大映像を合成する位置
は任意であるが、ウィンドウ信号発生部9から入力され
るウィンドウ信号が示す領域に拡大映像が重ならない位
置に、拡大映像の画像信号を重畳すれば、特定画像と、
その特定画像部分を拡大した映像とを、同時に、同じ画
面に記録し表示する、所謂ピクチャインピクチャ処理を
行うことができる。

【００３６】勿論、拡大対象の被写体が画面から外れた
場合、電子ズーム制御部21および合成部22は、映像の拡
大および合成を終了し、元の映像のみが表示され記録さ
れることになる。

【００３７】このように、本実施形態によれば、画面の
中の被写体の位置によらず、その被写体の映像を電子ズ
ームにより拡大することが可能である。さらに、被写体
の位置によらない電子ズーム機能を利用すれば、特定画
像と、その特定画像を拡大した映像とを、同時に、同じ
画面に記録し表示する、所謂ピクチャインピクチャ処理
が可能になる。

【００３８】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ，インタフェイス機器，リーダ，プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機，ファクシミリ
装置など）に適用してもよい。

【００３９】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはCPUやM
PU）が記憶媒体に格納されたプログラムコードを読出し
実行することによっても、達成されることは言うまでも
ない。この場合、記憶媒体から読出されたプログラムコ
ード自体が前述した実施形態の機能を実現することにな
り、そのプログラムコードを記憶した記憶媒体は本発明
を構成することになる。また、コンピュータが読出した
プログラムコードを実行することにより、前述した実施
形態の機能が実現されるだけでなく、そのプログラムコ
ードの指示に基づき、コンピュータ上で稼働しているOS
（オペレーティングシステム）などが実際の処理の一部
または全部を行い、その処理によって前述した実施形態
の機能が実現される場合も含まれることは言うまでもな
い。

【００４０】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張カード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張カードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【００４１】

【発明の効果】以上説明したように、本発明によれば、
画面の中の被写体の位置によらず各種機能を効果的に作
動させる撮像装置およびその方法を提供することができ
る。

【図面の簡単な説明】

【図１】本発明にかかる第1実施形態の撮像装置の構成
例を示すブロック図、

【図２】本発明にかかる第1実施形態の撮像装置の構成
例を示すブロック図、

【図３】特定色の抽出方法を説明するための図、

【図４】図2に示すリミッタ16-6の入出力特性を説明す
るための図、

【図５】テンプレートマッチングに用いるテンプレート
の一例を示す図、

【図６】テンプレートマッチングの過程を説明するため
の図、

【図７】本発明にかかる第2実施形態の撮像装置の構成
例を示すブロック図である。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 映像信号を生成する撮像装置であって、 生成される映像信号から所定の色情報をもつ映像を抽出
   する抽出手段と、 抽出される映像の位置およびサイズを示す情報を生成す
   る生成手段と、 生成される情報が示す画像領域に含まれる映像に基づ
   き、撮像条件を設定する設定手段とを有することを特徴
   とする撮像装置。
2. 【請求項２】 前記撮像条件は、焦点調節条件、露光調
   節条件および白バランス調節条件の少なくとも一つであ
   ることを特徴とする請求項1に記載された撮像装置。
3. 【請求項３】 前記生成手段は、抽出された映像を表す
   信号を画素ごとに積分し、その積分値が所定にある画素
   によりテンプレートマッチングを行い、そのマッチング
   結果に基づき前記位置およびサイズ情報を生成すること
   を特徴とする請求項1または請求項2の何れかに記載され
   た撮像装置。
4. 【請求項４】 映像信号を生成する撮像装置であって、 生成される映像信号の輝度成分から映像のエッジ情報を
   抽出する抽出手段と、 抽出されるエッジ情報に基づき、その映像の位置および
   サイズを示す情報を生成する生成手段と、 生成される情報に基づき電子ズーム条件を設定する設定
   手段とを有することを特徴とする撮像装置。
5. 【請求項５】 さらに、設定される電子ズーム条件に基
   づき映像を拡大する拡大手段と、 拡大された映像と拡大前の映像とを合成する合成手段と
   を有することを特徴とする請求項4に記載された撮像装
   置。
6. 【請求項６】 前記拡大手段は、前記前記生成手段によ
   り生成される情報が示す画像領域の映像を拡大し、前記
   合成手段は、拡大された映像を前記画像領域に重ならな
   いように合成することを特徴とする請求項5に記載され
   た撮像装置。
7. 【請求項７】 前記生成手段は、抽出されたエッジ情報
   によりテンプレートマッチングを行い、そのマッチング
   結果に基づき前記位置およびサイズ情報を生成すること
   を特徴とする請求項4から請求項6の何れかに記載された
   撮像装置。
8. 【請求項８】 映像信号を生成する撮像装置の制御方法
   であって、 生成される映像信号から所定の色情報をもつ映像を抽出
   し、 抽出される映像の位置およびサイズを示す情報を生成
   し、 生成される情報が示す画像領域に含まれる映像に基づ
   き、撮像条件を設定することを特徴とする制御方法。
9. 【請求項９】 映像信号を生成する撮像装置の制御方法
   であって、 生成される映像信号の輝度成分から映像のエッジ情報を
   抽出し、 抽出されるエッジ情報に基づき、その映像の位置および
   サイズを示す情報を生成し、 生成される情報に基づき電子ズーム条件を設定すること
   を特徴とする制御方法。