JP2001111882A - 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体 - Google Patents
被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体Info
- Publication number
- JP2001111882A JP2001111882A JP28309599A JP28309599A JP2001111882A JP 2001111882 A JP2001111882 A JP 2001111882A JP 28309599 A JP28309599 A JP 28309599A JP 28309599 A JP28309599 A JP 28309599A JP 2001111882 A JP2001111882 A JP 2001111882A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- contour
- detecting
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像中の被写体輪郭を検出するための初期輪
郭の設定を常に正確に行なえる構成とすることで、当該
被写体領域を常に正確に且つ安定して検出可能とする被
写体検出装置を提供する。 【解決手段】 表示手段102は、撮像手段101にて
得られた撮影画像を表示する。このときの表示画面中央
には、被写体輪郭検出のための所定の輪郭が設定されて
いる。使用者は、表示手段102の表示画面上で被写体
32が画面中央部に位置するように撮像手段101での
撮影方向を変更し、入力手段106により、上記所定の
輪郭と被写体32が一致したことを入力する。初期輪郭
設定手段105は、上記所定の輪郭を被写体32に対す
る初期輪郭として設定する。
郭の設定を常に正確に行なえる構成とすることで、当該
被写体領域を常に正確に且つ安定して検出可能とする被
写体検出装置を提供する。 【解決手段】 表示手段102は、撮像手段101にて
得られた撮影画像を表示する。このときの表示画面中央
には、被写体輪郭検出のための所定の輪郭が設定されて
いる。使用者は、表示手段102の表示画面上で被写体
32が画面中央部に位置するように撮像手段101での
撮影方向を変更し、入力手段106により、上記所定の
輪郭と被写体32が一致したことを入力する。初期輪郭
設定手段105は、上記所定の輪郭を被写体32に対す
る初期輪郭として設定する。
Description
【0001】
【発明の属する技術分野】本発明は、例えば、撮影画像
中に存在する被写体の輪郭を検出するための技術に関
し、ビデオカメラ等の撮像記録再生装置に用いて好適
な、画像処理装置、画像処理システム、被写体検出方
法、画像処理方法、及びそれを実施するための処理ステ
ップをコンピュータが読出可能に格納した記憶媒体に関
するものである。
中に存在する被写体の輪郭を検出するための技術に関
し、ビデオカメラ等の撮像記録再生装置に用いて好適
な、画像処理装置、画像処理システム、被写体検出方
法、画像処理方法、及びそれを実施するための処理ステ
ップをコンピュータが読出可能に格納した記憶媒体に関
するものである。
【0002】
【従来の技術】従来より例えば、ビデオカメラによって
被写体を撮影して得られた撮影画像中から被写体の輪郭
を検出することを目的とした公知の手法として、「M.
Kasseta1.,”SNAKES:Active
contour models”,Proc of l
stICCV,pp.259−268,1987」等に
記載された手法(以下、「手法(1)」と言う)があ
る。
被写体を撮影して得られた撮影画像中から被写体の輪郭
を検出することを目的とした公知の手法として、「M.
Kasseta1.,”SNAKES:Active
contour models”,Proc of l
stICCV,pp.259−268,1987」等に
記載された手法(以下、「手法(1)」と言う)があ
る。
【0003】手法(1)では、撮影画像(動画等)中に
存在する被写体に対して初期輪郭を設定し、その初期輪
郭から、被写体領域の複数の特徴量を引数とする評価関
数が極値をとるような被写体輪郭を求め、これにより確
定した被写体輪郭を、次の時点(次のシーン)での被写
体に対する初期輪郭とする。この繰り返しによって、動
画中の被写体の検出及び追尾を連続して行なうことがで
きる。
存在する被写体に対して初期輪郭を設定し、その初期輪
郭から、被写体領域の複数の特徴量を引数とする評価関
数が極値をとるような被写体輪郭を求め、これにより確
定した被写体輪郭を、次の時点(次のシーン)での被写
体に対する初期輪郭とする。この繰り返しによって、動
画中の被写体の検出及び追尾を連続して行なうことがで
きる。
【0004】図13(a)及び(b)は、手法(1)の
概念図を示したものである。例えば、上記図13(a)
に示すように、ある動画の撮影シーンにおいて、被写体
11(家)や被写体12(人物)等の複数の被写体が存
在しており、検出対象被写体として被写体12(人物)
を選択する場合、先ず、被写体12に対して初期輪郭1
3を設定する。次に、輪郭線の滑らかさ、輝度勾配、輪
郭モデルに外部から加える力等を考慮した評価関数を作
成し、この評価関数を最適化するような輪郭線を、初期
輪郭13から求める。この結果得られた輪郭線(被写体
輪郭)を、上記図13(b)の”14”に示す。この一
旦求めた被写体輪郭14を、次のフレームでの初期輪郭
として利用する。このような処理の繰り返しによって、
連続する画像(動画)中の被写体12を追尾することが
できる。
概念図を示したものである。例えば、上記図13(a)
に示すように、ある動画の撮影シーンにおいて、被写体
11(家)や被写体12(人物)等の複数の被写体が存
在しており、検出対象被写体として被写体12(人物)
を選択する場合、先ず、被写体12に対して初期輪郭1
3を設定する。次に、輪郭線の滑らかさ、輝度勾配、輪
郭モデルに外部から加える力等を考慮した評価関数を作
成し、この評価関数を最適化するような輪郭線を、初期
輪郭13から求める。この結果得られた輪郭線(被写体
輪郭)を、上記図13(b)の”14”に示す。この一
旦求めた被写体輪郭14を、次のフレームでの初期輪郭
として利用する。このような処理の繰り返しによって、
連続する画像(動画)中の被写体12を追尾することが
できる。
【0005】一方、上述の手法(1)を改良した方法と
して、「”移動被写体の輪郭を自動抽出する追尾ソフト
の開発”(荒木ほか):映像情報97年1月号、P.3
9−44」等に記載された手法(以下、「手法(2)」
と言う)がある。この手法(2)では、被写体輪郭が自
動的に***し統合する輪郭モデルを導入することによ
り、画像中に複数の被写体が存在する場合、初期輪郭を
被写体に対して個別に与えることなく、複数の移動被写
体の検出及び追尾が行なえる。
して、「”移動被写体の輪郭を自動抽出する追尾ソフト
の開発”(荒木ほか):映像情報97年1月号、P.3
9−44」等に記載された手法(以下、「手法(2)」
と言う)がある。この手法(2)では、被写体輪郭が自
動的に***し統合する輪郭モデルを導入することによ
り、画像中に複数の被写体が存在する場合、初期輪郭を
被写体に対して個別に与えることなく、複数の移動被写
体の検出及び追尾が行なえる。
【0006】
【発明が解決しようとする課題】しかしながら、上述し
たように、従来の手法(1)では、被写体輪郭の検出の
際に、当該被写体に対して大まかな初期輪郭(上記図1
3(a)に示す初期輪郭12参照)を与える必要があっ
た。このため、最初に設定する初期輪郭によっては、被
写体領域を正確に検出できない場合があった。
たように、従来の手法(1)では、被写体輪郭の検出の
際に、当該被写体に対して大まかな初期輪郭(上記図1
3(a)に示す初期輪郭12参照)を与える必要があっ
た。このため、最初に設定する初期輪郭によっては、被
写体領域を正確に検出できない場合があった。
【0007】一方、従来の方法(2)では、被写体に対
して初期輪郭を与える必要がないことを特徴としている
が、様々な条件下における有効性が検証されているわけ
ではない。すなわち、方法(1)を利用もしくは拡張し
て、被写体の検出及び追尾を行なう手法においても、初
期輪郭を正確に求め、その結果により、常に安定して被
写体領域の検出を行うことは実現されておらず、この問
題を解決することが課題となっている。
して初期輪郭を与える必要がないことを特徴としている
が、様々な条件下における有効性が検証されているわけ
ではない。すなわち、方法(1)を利用もしくは拡張し
て、被写体の検出及び追尾を行なう手法においても、初
期輪郭を正確に求め、その結果により、常に安定して被
写体領域の検出を行うことは実現されておらず、この問
題を解決することが課題となっている。
【0008】また、ビデオカメラ等の従来の撮像記録再
生装置では、撮影画像中に存在する被写体の位置や大き
さ等の画像の内容に関する評価を行なうことなく、撮影
画像をそのまま表示するような構成であることが一般的
であった。このため、使用者は、自分が撮影して得た画
像を客観的な基準で評価してしまったり、自分の撮影画
像と、他の使用者が撮影して得た画像とを比較するとい
ったことができなかった。
生装置では、撮影画像中に存在する被写体の位置や大き
さ等の画像の内容に関する評価を行なうことなく、撮影
画像をそのまま表示するような構成であることが一般的
であった。このため、使用者は、自分が撮影して得た画
像を客観的な基準で評価してしまったり、自分の撮影画
像と、他の使用者が撮影して得た画像とを比較するとい
ったことができなかった。
【0009】そこで、本発明は、上記の欠点を除去する
ために成されたもので、画像中の被写体輪郭を検出する
ための初期輪郭の設定を常に正確に行なえる構成とする
ことで、当該被写体領域を常に正確に且つ安定して検出
可能とする、被写体検出装置、画像処理装置、画像処理
システム、被写体検出方法、画像処理方法、及びそれを
実施するための処理ステップをコンピュータが読出可能
に格納した記憶媒体を提供することを目的とする。
ために成されたもので、画像中の被写体輪郭を検出する
ための初期輪郭の設定を常に正確に行なえる構成とする
ことで、当該被写体領域を常に正確に且つ安定して検出
可能とする、被写体検出装置、画像処理装置、画像処理
システム、被写体検出方法、画像処理方法、及びそれを
実施するための処理ステップをコンピュータが読出可能
に格納した記憶媒体を提供することを目的とする。
【0010】また、撮影画像から検出した被写体領域の
特徴量から当該撮影画像を評価し、この評価結果を使用
者が容易に認識可能とすることで、良好な撮影画像を効
率的に取得することが可能な、被写体検出装置、画像処
理装置、画像処理システム、被写体検出方法、画像処理
方法、及びそれを実施するための処理ステップをコンピ
ュータが読出可能に格納した記憶媒体を提供することを
目的とする。
特徴量から当該撮影画像を評価し、この評価結果を使用
者が容易に認識可能とすることで、良好な撮影画像を効
率的に取得することが可能な、被写体検出装置、画像処
理装置、画像処理システム、被写体検出方法、画像処理
方法、及びそれを実施するための処理ステップをコンピ
ュータが読出可能に格納した記憶媒体を提供することを
目的とする。
【0011】
【課題を解決するための手段】斯かる目的下において、
第1の発明は、撮影画像中に存在する被写体に対して設
定された初期輪郭に基づいて、当該被写体の輪郭を検出
する被写体検出装置であって、撮影方向が変更可能な撮
影手段と、上記撮影手段により被写体を撮影して得られ
た撮影画像を表示する表示手段と、上記撮影手段での撮
影方向の変更によって、上記表示手段により表示された
撮影画像上の所定位置に設定された所定の輪郭と、当該
撮影画像中に存在する被写体とが一致したことを入力す
る入力手段と、上記入力手段での入力に基づいて、上記
所定の輪郭を上記初期輪郭として設定する設定手段とを
備えることを特徴とする。
第1の発明は、撮影画像中に存在する被写体に対して設
定された初期輪郭に基づいて、当該被写体の輪郭を検出
する被写体検出装置であって、撮影方向が変更可能な撮
影手段と、上記撮影手段により被写体を撮影して得られ
た撮影画像を表示する表示手段と、上記撮影手段での撮
影方向の変更によって、上記表示手段により表示された
撮影画像上の所定位置に設定された所定の輪郭と、当該
撮影画像中に存在する被写体とが一致したことを入力す
る入力手段と、上記入力手段での入力に基づいて、上記
所定の輪郭を上記初期輪郭として設定する設定手段とを
備えることを特徴とする。
【0012】第2の発明は、上記第1の発明において、
上記所定の輪郭は、上記表示手段により表示された撮影
画像の中央に設定されることを特徴とする。
上記所定の輪郭は、上記表示手段により表示された撮影
画像の中央に設定されることを特徴とする。
【0013】第3の発明は、画像中に存在する被写体に
対して設定された初期輪郭に基づいて、当該被写体の輪
郭を検出する被写体検出装置であって、上記画像を表示
する表示手段と、上記表示手段により表示された画像に
対する使用者の視線方向を検出する視線方向検出手段
と、上記視線方向検出手段での検出結果に基づいて、上
記表示手段により表示された画像中に存在する被写体に
対して上記初期輪郭を設定する設定手段とを備えること
を特徴とする。
対して設定された初期輪郭に基づいて、当該被写体の輪
郭を検出する被写体検出装置であって、上記画像を表示
する表示手段と、上記表示手段により表示された画像に
対する使用者の視線方向を検出する視線方向検出手段
と、上記視線方向検出手段での検出結果に基づいて、上
記表示手段により表示された画像中に存在する被写体に
対して上記初期輪郭を設定する設定手段とを備えること
を特徴とする。
【0014】第4の発明は、上記第3の発明において、
上記設定手段は、上記表示手段により表示された画像に
おいて、上記視線方向検出手段により検出された上記使
用者の視線方向に対応する位置に所定の輪郭を設定する
所定輪郭設定手段と、上記所定輪郭設定手段により設定
された所定の輪郭と、上記画像中に存在する被写体とが
一致したことを入力する入力手段と、上記入力手段での
入力に基づいて、上記所定の輪郭を上記初期輪郭として
設定する初期輪郭設定手段とを含むことを特徴とする。
上記設定手段は、上記表示手段により表示された画像に
おいて、上記視線方向検出手段により検出された上記使
用者の視線方向に対応する位置に所定の輪郭を設定する
所定輪郭設定手段と、上記所定輪郭設定手段により設定
された所定の輪郭と、上記画像中に存在する被写体とが
一致したことを入力する入力手段と、上記入力手段での
入力に基づいて、上記所定の輪郭を上記初期輪郭として
設定する初期輪郭設定手段とを含むことを特徴とする。
【0015】第5の発明は、撮影画像中に存在する被写
体に対して設定された初期輪郭に基づいて、当該被写体
領域を検出する被写体検出装置であって、被写体を撮影
して撮影画像を取得する撮影手段と、上記撮影手段の上
記被写体までの距離を計測する距離計測手段と、上記距
離計測手段での計測結果に基づいて、上記撮影手段によ
り得られた撮影画像中に存在する被写体に対して上記初
期輪郭を設定する設定手段とを備えることを特徴とす
る。
体に対して設定された初期輪郭に基づいて、当該被写体
領域を検出する被写体検出装置であって、被写体を撮影
して撮影画像を取得する撮影手段と、上記撮影手段の上
記被写体までの距離を計測する距離計測手段と、上記距
離計測手段での計測結果に基づいて、上記撮影手段によ
り得られた撮影画像中に存在する被写体に対して上記初
期輪郭を設定する設定手段とを備えることを特徴とす
る。
【0016】第6の発明は、上記第5の発明において、
上記距離計測手段は、上記撮影手段により得られた撮影
画像をブロック分割する分割手段と、当該分割手段によ
る各ブロックの画像毎に上記計測情報を取得する計測情
報取得手段とを含み、上記設定手段は、上記計測情報取
得手段により得られた各ブロックの画像毎の計測情報に
基づいて、上記被写体が存在する位置に対応するブロッ
ク領域の輪郭を上記初期輪郭として設定することを特徴
とする。
上記距離計測手段は、上記撮影手段により得られた撮影
画像をブロック分割する分割手段と、当該分割手段によ
る各ブロックの画像毎に上記計測情報を取得する計測情
報取得手段とを含み、上記設定手段は、上記計測情報取
得手段により得られた各ブロックの画像毎の計測情報に
基づいて、上記被写体が存在する位置に対応するブロッ
ク領域の輪郭を上記初期輪郭として設定することを特徴
とする。
【0017】第7の発明は、上記第6の発明において、
上記設定手段は、同一の計測情報を有するブロックから
なる領域の輪郭を上記初期輪郭として設定することを特
徴とする。
上記設定手段は、同一の計測情報を有するブロックから
なる領域の輪郭を上記初期輪郭として設定することを特
徴とする。
【0018】第8の発明は、上記第1、3、5の何れか
の発明において、上記設定手段により設定された初期輪
郭内の情報に対して、複数の特徴量を引数とする評価関
数の極値検出を行なった結果から、上記被写体の輪郭を
検出する輪郭検出手段を備えることを特徴とする。
の発明において、上記設定手段により設定された初期輪
郭内の情報に対して、複数の特徴量を引数とする評価関
数の極値検出を行なった結果から、上記被写体の輪郭を
検出する輪郭検出手段を備えることを特徴とする。
【0019】第9の発明は、画像中に存在する被写体の
領域を検出する被写体領域検出手段と、上記被写体領域
検出手段により検出された被写体領域の特徴量を抽出す
る特徴量抽出手段と、上記特徴量抽出手段により抽出さ
れた特徴量に基づいて、上記画像を評価する評価手段
と、上記評価手段での評価結果を出力する出力手段とを
備えることを特徴とする。
領域を検出する被写体領域検出手段と、上記被写体領域
検出手段により検出された被写体領域の特徴量を抽出す
る特徴量抽出手段と、上記特徴量抽出手段により抽出さ
れた特徴量に基づいて、上記画像を評価する評価手段
と、上記評価手段での評価結果を出力する出力手段とを
備えることを特徴とする。
【0020】第10の発明は、上記第9の発明におい
て、上記被写体領域検出手段は、請求項1〜8の何れか
に記載の被写体検出装置の機能を有し、当該機能によっ
て得られた被写体輪郭から被写体領域を検出することを
特徴とする。
て、上記被写体領域検出手段は、請求項1〜8の何れか
に記載の被写体検出装置の機能を有し、当該機能によっ
て得られた被写体輪郭から被写体領域を検出することを
特徴とする。
【0021】第11の発明は、上記第9の発明におい
て、上記被写体領域検出手段は、撮影して得られた撮影
画像、及び再生画像の少なくとも何れかの画像に存在す
る被写体の領域を検出することを特徴とする。
て、上記被写体領域検出手段は、撮影して得られた撮影
画像、及び再生画像の少なくとも何れかの画像に存在す
る被写体の領域を検出することを特徴とする。
【0022】第12の発明は、上記第9の発明におい
て、上記出力手段は、表示出力機能を有することを特徴
とする。
て、上記出力手段は、表示出力機能を有することを特徴
とする。
【0023】第13の発明は、上記第9の発明におい
て、上記出力手段は、上記評価結果を表す図形を上記画
像に重畳して表示出力することを特徴とする。
て、上記出力手段は、上記評価結果を表す図形を上記画
像に重畳して表示出力することを特徴とする。
【0024】第14の発明は、上記第9の発明におい
て、上記特徴量抽出手段は、上記被写体領域に外接する
矩形領域、上記被写体領域の重心点、上記被写体領域の
面積、及び上記被写体領域の色構成の少なくとも何れか
の情報を上記特徴量として抽出することを特徴とする。
て、上記特徴量抽出手段は、上記被写体領域に外接する
矩形領域、上記被写体領域の重心点、上記被写体領域の
面積、及び上記被写体領域の色構成の少なくとも何れか
の情報を上記特徴量として抽出することを特徴とする。
【0025】第15の発明は、上記第9の発明におい
て、上記評価手段は、所定の条件に基づいた上記特徴量
に対する演算により、上記画像を評価することを特徴と
する。
て、上記評価手段は、所定の条件に基づいた上記特徴量
に対する演算により、上記画像を評価することを特徴と
する。
【0026】第16の発明は、上記第1〜8の何れかの
発明において、画像中に存在する被写体を検出する機能
を有する画像処理装置であって、当該機能は、請求項1
〜8の何れかに記載の被写体検出装置の機能を含むこと
を特徴とする。
発明において、画像中に存在する被写体を検出する機能
を有する画像処理装置であって、当該機能は、請求項1
〜8の何れかに記載の被写体検出装置の機能を含むこと
を特徴とする。
【0027】第17の発明は、複数の機器が通信可能に
接続されてなる画像処理システムであって、上記複数の
機器のうち少なくとも1つの機器は、請求項1〜8の何
れかに記載の被写体検出装置の機能、又は、請求項9〜
16の何れかに記載の画像処理装置の機能を有すること
を特徴とする。
接続されてなる画像処理システムであって、上記複数の
機器のうち少なくとも1つの機器は、請求項1〜8の何
れかに記載の被写体検出装置の機能、又は、請求項9〜
16の何れかに記載の画像処理装置の機能を有すること
を特徴とする。
【0028】第18の発明は、撮影画像中に存在する被
写体を検出するための被写体検出方法であって、撮影方
向が変更可能な撮影手段により得られた撮影画像を表示
する表示ステップと、上記表示ステップによる表示画面
の所定位置に所定の輪郭を設定する所定輪郭設定ステッ
プと、上記撮影手段での撮影方向の変更によって、上記
表示ステップによる表示画面上の所定の輪郭と、当該表
示画面上の撮影画像中に存在する被写体とが一致したこ
とを入力する入力ステップと、上記入力ステップでの入
力に基づいて、上記所定の輪郭を上記撮影画像中に存在
する被写体に対する初期輪郭として設定する初期輪郭設
定ステップと、上記初期輪郭設定ステップにより設定さ
れた初期輪郭に基づいて、上記撮影画像中に存在する被
写体の輪郭を検出する被写体輪郭検出ステップとを含む
ことを特徴とする。
写体を検出するための被写体検出方法であって、撮影方
向が変更可能な撮影手段により得られた撮影画像を表示
する表示ステップと、上記表示ステップによる表示画面
の所定位置に所定の輪郭を設定する所定輪郭設定ステッ
プと、上記撮影手段での撮影方向の変更によって、上記
表示ステップによる表示画面上の所定の輪郭と、当該表
示画面上の撮影画像中に存在する被写体とが一致したこ
とを入力する入力ステップと、上記入力ステップでの入
力に基づいて、上記所定の輪郭を上記撮影画像中に存在
する被写体に対する初期輪郭として設定する初期輪郭設
定ステップと、上記初期輪郭設定ステップにより設定さ
れた初期輪郭に基づいて、上記撮影画像中に存在する被
写体の輪郭を検出する被写体輪郭検出ステップとを含む
ことを特徴とする。
【0029】第19の発明は、上記第18の発明におい
て、上記所定輪郭設定ステップは、上記表示ステップに
よる表示画面の中央に上記所定の輪郭を設定するステッ
プを含むことを特徴とする。
て、上記所定輪郭設定ステップは、上記表示ステップに
よる表示画面の中央に上記所定の輪郭を設定するステッ
プを含むことを特徴とする。
【0030】第20の発明は、画像中に存在する被写体
を検出するための被写体検出方法であって、上記画像を
表示する表示ステップと、上記表示ステップによる表示
画面に対する使用者の視線方向を検出する視線方向検出
ステップと、上記視線方向検出ステップでの検出結果に
基づいて、上記画像中に存在する被写体に対して初期輪
郭を設定する初期輪郭設定ステップと、上記初期輪郭設
定ステップにより設定された初期輪郭に基づいて、上記
画像中に存在する被写体の輪郭を検出する被写体輪郭検
出ステップとを含むことを特徴とする。
を検出するための被写体検出方法であって、上記画像を
表示する表示ステップと、上記表示ステップによる表示
画面に対する使用者の視線方向を検出する視線方向検出
ステップと、上記視線方向検出ステップでの検出結果に
基づいて、上記画像中に存在する被写体に対して初期輪
郭を設定する初期輪郭設定ステップと、上記初期輪郭設
定ステップにより設定された初期輪郭に基づいて、上記
画像中に存在する被写体の輪郭を検出する被写体輪郭検
出ステップとを含むことを特徴とする。
【0031】第21の発明は、上記第20の発明におい
て、上記初期輪郭設定ステップは、上記表示ステップに
よる表示画面において、上記視線方向検出ステップによ
り検出された上記使用者の視線方向に対応する位置に所
定の輪郭を設定する所定輪郭設定ステップと、上記表示
ステップによる表示画面において、上記所定輪郭設定ス
テップにより設定された所定の輪郭と、上記画像中に存
在する被写体とが一致したことを入力する入力ステップ
と、上記入力ステップでの入力に基づいて、上記所定の
輪郭を上記初期輪郭として設定する設定ステップとを含
むことを特徴とする。
て、上記初期輪郭設定ステップは、上記表示ステップに
よる表示画面において、上記視線方向検出ステップによ
り検出された上記使用者の視線方向に対応する位置に所
定の輪郭を設定する所定輪郭設定ステップと、上記表示
ステップによる表示画面において、上記所定輪郭設定ス
テップにより設定された所定の輪郭と、上記画像中に存
在する被写体とが一致したことを入力する入力ステップ
と、上記入力ステップでの入力に基づいて、上記所定の
輪郭を上記初期輪郭として設定する設定ステップとを含
むことを特徴とする。
【0032】第22の発明は、撮影画像中に存在する被
写体を検出するための被写体検出方法であって、撮影手
段により被写体を撮影して撮影画像を取得する撮影ステ
ップと、上記撮影手段の上記被写体までの距離を計測す
る距離計測ステップと、上記距離計測ステップでの計測
結果に基づいて、上記撮影手段により得られた撮影画像
中に存在する被写体に対して初期輪郭を設定する初期輪
郭設定ステップと、上記初期輪郭設定ステップにより設
定された初期輪郭に基づいて、上記撮影画像中に存在す
る被写体の輪郭を検出する被写体輪郭検出ステップとを
含むことを特徴とする。
写体を検出するための被写体検出方法であって、撮影手
段により被写体を撮影して撮影画像を取得する撮影ステ
ップと、上記撮影手段の上記被写体までの距離を計測す
る距離計測ステップと、上記距離計測ステップでの計測
結果に基づいて、上記撮影手段により得られた撮影画像
中に存在する被写体に対して初期輪郭を設定する初期輪
郭設定ステップと、上記初期輪郭設定ステップにより設
定された初期輪郭に基づいて、上記撮影画像中に存在す
る被写体の輪郭を検出する被写体輪郭検出ステップとを
含むことを特徴とする。
【0033】第23の発明は、上記第22の発明におい
て、上記距離計測ステップは、上記撮影手段により得ら
れた撮影画像をブロック分割する分割ステップと、当該
分割ステップにより得られた各ブロックの画像毎に上記
計測情報を取得する計測情報取得ステップとを含み、上
記初期輪郭設定ステップは、上記計測情報取得ステップ
により得られた各ブロックの画像毎の計測情報に基づい
て、上記撮影画像上の被写体が存在する位置に対応する
ブロック領域の輪郭を上記初期輪郭として設定するステ
ップを含むことを特徴とする。
て、上記距離計測ステップは、上記撮影手段により得ら
れた撮影画像をブロック分割する分割ステップと、当該
分割ステップにより得られた各ブロックの画像毎に上記
計測情報を取得する計測情報取得ステップとを含み、上
記初期輪郭設定ステップは、上記計測情報取得ステップ
により得られた各ブロックの画像毎の計測情報に基づい
て、上記撮影画像上の被写体が存在する位置に対応する
ブロック領域の輪郭を上記初期輪郭として設定するステ
ップを含むことを特徴とする。
【0034】第24の発明は、上記第23の発明におい
て、上記初期輪郭設定ステップは、同一の計測情報を有
するブロックからなる領域の輪郭を上記初期輪郭として
設定するステップを含むことを特徴とする。
て、上記初期輪郭設定ステップは、同一の計測情報を有
するブロックからなる領域の輪郭を上記初期輪郭として
設定するステップを含むことを特徴とする。
【0035】第25の発明は、上記第18、20、22
の何れかの発明において、上記被写体輪郭検出ステップ
は、上記初期輪郭設定ステップにより設定された初期輪
郭内の情報に対して、複数の特徴量を引数とする評価関
数の極値検出を行なった結果から、上記被写体の輪郭を
検出するステップを含むことを特徴とする。
の何れかの発明において、上記被写体輪郭検出ステップ
は、上記初期輪郭設定ステップにより設定された初期輪
郭内の情報に対して、複数の特徴量を引数とする評価関
数の極値検出を行なった結果から、上記被写体の輪郭を
検出するステップを含むことを特徴とする。
【0036】第26の発明は、画像中に存在する被写体
の領域を検出する被写体領域検出ステップと、上記被写
体領域検出ステップにより検出された被写体領域の特徴
量を抽出する特徴量抽出ステップと、上記特徴量抽出ス
テップにより抽出された特徴量に基づいて、上記画像を
評価する評価ステップと、上記評価ステップでの評価結
果を出力する出力ステップとを含むことを特徴とする。
の領域を検出する被写体領域検出ステップと、上記被写
体領域検出ステップにより検出された被写体領域の特徴
量を抽出する特徴量抽出ステップと、上記特徴量抽出ス
テップにより抽出された特徴量に基づいて、上記画像を
評価する評価ステップと、上記評価ステップでの評価結
果を出力する出力ステップとを含むことを特徴とする。
【0037】第27の発明は、上記第26の発明におい
て、上記被写体領域検出ステップは、請求項18〜25
の何れかに記載の被写体検出方法の処理ステップと、当
該処理ステップの実行によって得られた被写体輪郭から
被写体領域を検出するステップとを含むことを特徴とす
る。
て、上記被写体領域検出ステップは、請求項18〜25
の何れかに記載の被写体検出方法の処理ステップと、当
該処理ステップの実行によって得られた被写体輪郭から
被写体領域を検出するステップとを含むことを特徴とす
る。
【0038】第28の発明は、上記第26の発明におい
て、上記被写体領域検出ステップは、撮影して得られた
撮影画像、及び再生画像の少なくとも何れかの画像に存
在する被写体の領域を検出するステップを含むことを特
徴とする。
て、上記被写体領域検出ステップは、撮影して得られた
撮影画像、及び再生画像の少なくとも何れかの画像に存
在する被写体の領域を検出するステップを含むことを特
徴とする。
【0039】第29の発明は、上記第26の発明におい
て、上記出力ステップは、表示出力ステップを含むこと
を特徴とする。
て、上記出力ステップは、表示出力ステップを含むこと
を特徴とする。
【0040】第30の発明は、上記第26の発明におい
て、上記出力ステップは、上記評価結果を表す図形を上
記画像に重畳して表示出力するステップを含むことを特
徴とする。
て、上記出力ステップは、上記評価結果を表す図形を上
記画像に重畳して表示出力するステップを含むことを特
徴とする。
【0041】第31の発明は、上記第26の発明におい
て、上記特徴量抽出ステップは、上記被写体領域に外接
する矩形領域、上記被写体領域の重心点、上記被写体領
域の面積、及び上記被写体領域の色構成の少なくとも何
れかの情報を上記特徴量として抽出するステップを含む
ことを特徴とする。
て、上記特徴量抽出ステップは、上記被写体領域に外接
する矩形領域、上記被写体領域の重心点、上記被写体領
域の面積、及び上記被写体領域の色構成の少なくとも何
れかの情報を上記特徴量として抽出するステップを含む
ことを特徴とする。
【0042】第32の発明は、上記第26の発明におい
て、上記評価ステップは、所定の条件に基づいた上記特
徴量に対する演算により、上記画像を評価するステップ
を含むことを特徴とする。
て、上記評価ステップは、所定の条件に基づいた上記特
徴量に対する演算により、上記画像を評価するステップ
を含むことを特徴とする。
【0043】第33の発明は、請求項1〜8の何れかに
記載の被写体検出装置の機能、請求項9〜16の何れか
に記載の画像処理装置の機能、及び請求項17記載の画
像処理システムの機能の少なくとも何れかの機能を実施
するための処理プログラムを、コンピュータが読出可能
に格納した記憶媒体であることを特徴とする。
記載の被写体検出装置の機能、請求項9〜16の何れか
に記載の画像処理装置の機能、及び請求項17記載の画
像処理システムの機能の少なくとも何れかの機能を実施
するための処理プログラムを、コンピュータが読出可能
に格納した記憶媒体であることを特徴とする。
【0044】第34の発明は、請求項18〜25の何れ
かに記載の被写体検出方法の処理ステップ、及び請求項
26〜32の何れかに記載の画像処理方法の処理ステッ
プの少なくとも何れかの処理ステップを、コンピュータ
が読出可能に格納した記憶媒体であることを特徴とす
る。
かに記載の被写体検出方法の処理ステップ、及び請求項
26〜32の何れかに記載の画像処理方法の処理ステッ
プの少なくとも何れかの処理ステップを、コンピュータ
が読出可能に格納した記憶媒体であることを特徴とす
る。
【0045】具体的には例えば、画像(撮影画像や、一
旦記録した撮影画像を再生した画像等)中に存在する被
写体の輪郭を検出するための初期輪郭の設定手段とし
て、使用者がカメラ等の撮影手段を被写体方向に向ける
ことによって上記初期輪郭を設定する手段、又は使用者
の視線方向を検出する視線検出手段を用いて上記初期輪
郭を設定する手段、又は合点情報等に基づいて求めた測
定距離結果(距離画像)を領域分割することで上記初期
輪郭を求めて自動的に設定する手段を設け、この手段に
よって設定された初期輪郭から、被写体の詳細な輪郭を
求める。
旦記録した撮影画像を再生した画像等)中に存在する被
写体の輪郭を検出するための初期輪郭の設定手段とし
て、使用者がカメラ等の撮影手段を被写体方向に向ける
ことによって上記初期輪郭を設定する手段、又は使用者
の視線方向を検出する視線検出手段を用いて上記初期輪
郭を設定する手段、又は合点情報等に基づいて求めた測
定距離結果(距離画像)を領域分割することで上記初期
輪郭を求めて自動的に設定する手段を設け、この手段に
よって設定された初期輪郭から、被写体の詳細な輪郭を
求める。
【0046】被写体の輪郭を求める方法としては、複数
の画像特徴量を引数とする評価関数の極値検出にもとづ
く輪郭抽出手法等を用い、これにより得られた被写体輪
郭から被写体領域を検出する。
の画像特徴量を引数とする評価関数の極値検出にもとづ
く輪郭抽出手法等を用い、これにより得られた被写体輪
郭から被写体領域を検出する。
【0047】使用者がカメラ等の撮影手段を被写体方向
に向けることによって上記初期輪郭を設定する手段で
は、初期輪郭が画面の所定位置(中央等)に設定され、
使用者が撮影方向を変更して初期輪郭と被写体が一致し
たときに、両者の一致が入力されることで、初期輪郭が
設定される。このような、使用者からの指示入力によっ
て初期輪郭を設定する構成によれば、安定して被写体輪
郭を検出することができる。
に向けることによって上記初期輪郭を設定する手段で
は、初期輪郭が画面の所定位置(中央等)に設定され、
使用者が撮影方向を変更して初期輪郭と被写体が一致し
たときに、両者の一致が入力されることで、初期輪郭が
設定される。このような、使用者からの指示入力によっ
て初期輪郭を設定する構成によれば、安定して被写体輪
郭を検出することができる。
【0048】使用者の視線方向を検出する視線検出手段
を用いて上記初期輪郭を設定する手段では、操作者の視
線方向によって初期輪郭の位置が指定される。このよう
な構成によれば、初期輪郭を任意の位置に設定すること
ができ、安定して被写体輪郭を検出することができる。
を用いて上記初期輪郭を設定する手段では、操作者の視
線方向によって初期輪郭の位置が指定される。このよう
な構成によれば、初期輪郭を任意の位置に設定すること
ができ、安定して被写体輪郭を検出することができる。
【0049】合点情報等に基づいて求めた測定距離結果
(距離画像)を領域分割することで上記初期輪郭を求め
て自動的に設定する手段では、距離画像の領域分割によ
って被写体領域の概略値が求められ、これが初期輪郭と
して自動的に設定される。このような構成によれば、初
期輪郭を実際に被写体により近いものにすることがで
き、使用者からの入力も必要なく、自動的に初期輪郭を
設定することができる。
(距離画像)を領域分割することで上記初期輪郭を求め
て自動的に設定する手段では、距離画像の領域分割によ
って被写体領域の概略値が求められ、これが初期輪郭と
して自動的に設定される。このような構成によれば、初
期輪郭を実際に被写体により近いものにすることがで
き、使用者からの入力も必要なく、自動的に初期輪郭を
設定することができる。
【0050】また、例えば、画像(撮影画像や、一旦記
録した撮影画像を再生した画像等)中の被写体領域から
得られた被写体領域の特徴量を抽出し、その特徴量から
画像の評価を行なう。そして、その評価結果を図形等と
して画像に重畳して表示出力する。このような構成によ
れば、使用者は、撮影等に最適な被写体の大きさを認識
することができ、画像に対する評価を容易に認識するこ
とができる。また、自分が撮影した画像と他の画像の比
較等もすることができる。
録した撮影画像を再生した画像等)中の被写体領域から
得られた被写体領域の特徴量を抽出し、その特徴量から
画像の評価を行なう。そして、その評価結果を図形等と
して画像に重畳して表示出力する。このような構成によ
れば、使用者は、撮影等に最適な被写体の大きさを認識
することができ、画像に対する評価を容易に認識するこ
とができる。また、自分が撮影した画像と他の画像の比
較等もすることができる。
【0051】被写体領域の検出方法としては、上述の本
発明による方法、或いは従来方法を用いることが可能で
ある。
発明による方法、或いは従来方法を用いることが可能で
ある。
【0052】被写体領域の特徴量としては、被写体領域
に外接する矩形領域、被写体領域の重心点や、面積、或
いは被写体領域の色構成等を用いる。特徴量として被写
体領域の色構成を用いれば、例えば、肌色領域の画像に
対する面積比率を考慮すれば、撮影画像のより自然な評
価を行なうことができる。
に外接する矩形領域、被写体領域の重心点や、面積、或
いは被写体領域の色構成等を用いる。特徴量として被写
体領域の色構成を用いれば、例えば、肌色領域の画像に
対する面積比率を考慮すれば、撮影画像のより自然な評
価を行なうことができる。
【0053】画像の評価方法としては、被写体領域の各
特徴量が所定の範囲内にあるとき、予め設定した各特徴
量の理想値との差分演算を行い、その演算結果から画像
を評価する方法等を用いる。
特徴量が所定の範囲内にあるとき、予め設定した各特徴
量の理想値との差分演算を行い、その演算結果から画像
を評価する方法等を用いる。
【0054】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。
て図面を用いて説明する。
【0055】(第1の実施の形態)本発明は、例えば、
図1に示すようなビデオカメラ100に適用される。こ
のビデオカメラ100は、特に、撮影の際に使用者が、
被写体が撮影画面中央に来るようにカメラの方向を当該
被写体に対して向けることによって、当該被写体の初期
輪郭を設定する構成としている。以下、本実施の形態に
おけるビデオカメラ100のハードウェア構成、初期輪
郭の設定の原理、及び動作について具体的に説明する。
図1に示すようなビデオカメラ100に適用される。こ
のビデオカメラ100は、特に、撮影の際に使用者が、
被写体が撮影画面中央に来るようにカメラの方向を当該
被写体に対して向けることによって、当該被写体の初期
輪郭を設定する構成としている。以下、本実施の形態に
おけるビデオカメラ100のハードウェア構成、初期輪
郭の設定の原理、及び動作について具体的に説明する。
【0056】[ビデオカメラ100のハードウェア構
成]
成]
【0057】ビデオカメラ100は、上記図1に示すよ
うに、被写体32を含む撮影シーンを撮影して当該撮影
シーンの画像信号(撮影画像信号)を取得する撮像部1
01と、被写体32の輪郭情報等が記憶されるフレーム
メモリ104と、撮像部101により得られた画像信号
から被写体32の輪郭を検出する被写体検出部105
と、撮像部101により得られた画像信号の記録処理及
び記録媒体からの画像信号の再生処理を行なう記録再生
部103と、撮像部101により得られた画像信号(実
画像)又は記録再生部103により得られた再生画像信
号等に基づいた表示を行なう表示部102と、使用者か
らの各種指示が入力される操作部106と、ビデオカメ
ラ100全体の動作制御を司る制御部107とを備えて
いる。
うに、被写体32を含む撮影シーンを撮影して当該撮影
シーンの画像信号(撮影画像信号)を取得する撮像部1
01と、被写体32の輪郭情報等が記憶されるフレーム
メモリ104と、撮像部101により得られた画像信号
から被写体32の輪郭を検出する被写体検出部105
と、撮像部101により得られた画像信号の記録処理及
び記録媒体からの画像信号の再生処理を行なう記録再生
部103と、撮像部101により得られた画像信号(実
画像)又は記録再生部103により得られた再生画像信
号等に基づいた表示を行なう表示部102と、使用者か
らの各種指示が入力される操作部106と、ビデオカメ
ラ100全体の動作制御を司る制御部107とを備えて
いる。
【0058】撮像部101は、絞り、レンズ、及び撮像
素子等を含むカメラ部であり、被写体32を含む撮影シ
ーンを撮像して、その撮影シーンの画像信号を出力す
る。この出力された画像信号は、表示部102、記録再
生部103、及び被写体検出部105へとそれぞれ供給
される。
素子等を含むカメラ部であり、被写体32を含む撮影シ
ーンを撮像して、その撮影シーンの画像信号を出力す
る。この出力された画像信号は、表示部102、記録再
生部103、及び被写体検出部105へとそれぞれ供給
される。
【0059】フレームメモリ104には、被写体検出部
105により検出された被写体32の輪郭等の情報が保
持され、この情報は、表示部102へと供給される。
105により検出された被写体32の輪郭等の情報が保
持され、この情報は、表示部102へと供給される。
【0060】表示部102は、液晶等の表示デバイスや
制御回路を含み、ビューファインダーとして用いられ
る。表示部102は、撮像部101にて得られた画像信
号(実画像)、或いは記録再生部103での再生処理に
て得られた画像信号(再生画像)を表示すると共に、そ
の画像信号と、フレームメモリ104の被写体32の輪
郭の情報とを重畳して表示するようにもなされている。
制御回路を含み、ビューファインダーとして用いられ
る。表示部102は、撮像部101にて得られた画像信
号(実画像)、或いは記録再生部103での再生処理に
て得られた画像信号(再生画像)を表示すると共に、そ
の画像信号と、フレームメモリ104の被写体32の輪
郭の情報とを重畳して表示するようにもなされている。
【0061】記録再生部103は、固体メモリや磁気デ
ィスク等の記憶媒体や制御回路を含み、撮像部101に
て得られた画像信号等をビデオ信号として記録媒体へ記
録したり、予めビデオ信号が記録された記録媒体から画
像信号を再生する。この記録再生部103での再生処理
により得られた画像信号は、表示部102及び被写体検
出部105へとそれぞれ供給される。
ィスク等の記憶媒体や制御回路を含み、撮像部101に
て得られた画像信号等をビデオ信号として記録媒体へ記
録したり、予めビデオ信号が記録された記録媒体から画
像信号を再生する。この記録再生部103での再生処理
により得られた画像信号は、表示部102及び被写体検
出部105へとそれぞれ供給される。
【0062】被写体検出部105は、画像信号を処理す
るプロセッサであり、特に、撮像部101にて得られた
画像信号(実画像)から、被写体32の輪郭の検出を行
なう。この検出結果は、制御部107によりフレームメ
モリ104上へ書き込まれる。
るプロセッサであり、特に、撮像部101にて得られた
画像信号(実画像)から、被写体32の輪郭の検出を行
なう。この検出結果は、制御部107によりフレームメ
モリ104上へ書き込まれる。
【0063】操作部106は、ビデオカメラ100本体
に配置された各種のボタン類からなり、この操作部10
6での使用者からの操作情報(命令)は、制御部107
へと供給される。
に配置された各種のボタン類からなり、この操作部10
6での使用者からの操作情報(命令)は、制御部107
へと供給される。
【0064】制御部107は、ビデオカメラ100全体
(ハードウェア全体)の動作制御を管理するものであ
り、特に、後述する初期輪郭の設定のための動作制御を
司る。
(ハードウェア全体)の動作制御を管理するものであ
り、特に、後述する初期輪郭の設定のための動作制御を
司る。
【0065】上述のようなビデオカメラ100の最も特
徴とする構成は、被写体検出部105にあり、被写体検
出部105、及びこれを制御する制御部107を除く各
構成部分については、一般に市販されているビデオカメ
ラの構成を利用することも可能である。また、ここでの
被写体検出部105は、汎用の信号処理IC等を用いて
構成している。
徴とする構成は、被写体検出部105にあり、被写体検
出部105、及びこれを制御する制御部107を除く各
構成部分については、一般に市販されているビデオカメ
ラの構成を利用することも可能である。また、ここでの
被写体検出部105は、汎用の信号処理IC等を用いて
構成している。
【0066】[初期輪郭の決定の原理]図2(a)〜
(c)は、被写体検出部105による被写体32に対す
る初期輪郭の決定についての原理を示したものである。
(c)は、被写体検出部105による被写体32に対す
る初期輪郭の決定についての原理を示したものである。
【0067】上記図2(a)は、ある撮影シーン(撮像
部101にて得られた実画像による画面)の一例を示し
ており、同図に示すように、この撮影シーンには、上記
図1の被写体32が含まれている。ここでは、被写体3
2を、検出希望する被写体とする。
部101にて得られた実画像による画面)の一例を示し
ており、同図に示すように、この撮影シーンには、上記
図1の被写体32が含まれている。ここでは、被写体3
2を、検出希望する被写体とする。
【0068】そこで、先ず、上記図2(a)に示すよう
に、初期輪郭を、画面中央部の固定した楕円領域31と
して定める。尚、初期輪郭31の形状は、楕円形に限ら
れることはなく、例えば、矩形でもよい。但し、その存
在領域に関しては、所定位置(上記図2(a)では画面
中央)とする。
に、初期輪郭を、画面中央部の固定した楕円領域31と
して定める。尚、初期輪郭31の形状は、楕円形に限ら
れることはなく、例えば、矩形でもよい。但し、その存
在領域に関しては、所定位置(上記図2(a)では画面
中央)とする。
【0069】次に、使用者は、表示部102での表示画
面を見ながら、ビデオカメラ100(具体的には撮像部
101)の方向を被写体32に自ら向ける。そして、使
用者は、上記図2(b)に示すように、画面中央部(初
期輪郭31が設定されている位置)に被写体32が一致
したところで、操作部106から初期輪郭決定を指示入
力する。
面を見ながら、ビデオカメラ100(具体的には撮像部
101)の方向を被写体32に自ら向ける。そして、使
用者は、上記図2(b)に示すように、画面中央部(初
期輪郭31が設定されている位置)に被写体32が一致
したところで、操作部106から初期輪郭決定を指示入
力する。
【0070】上記の指示入力により、被写体32の初期
輪郭として初期輪郭31が決定され、この初期輪郭31
から、上述した手法(1)等での輪郭の最適化によっ
て、上記図2(c)に示すような輪郭34が被写体32
の輪郭として決定されることになる。そして、このよう
にして一旦求められた輪郭34を、次のフレームでの初
期輪郭として利用することで、移動する被写体32の追
尾を行なうことができる。
輪郭として初期輪郭31が決定され、この初期輪郭31
から、上述した手法(1)等での輪郭の最適化によっ
て、上記図2(c)に示すような輪郭34が被写体32
の輪郭として決定されることになる。そして、このよう
にして一旦求められた輪郭34を、次のフレームでの初
期輪郭として利用することで、移動する被写体32の追
尾を行なうことができる。
【0071】[ビデオカメラ100の動作]図3は、ビ
デオカメラ100の動作、特に、上述した初期輪郭の決
定時の動作を示したフローチャートである。このフロー
チャートに従った動作制御が制御部107によって実行
されることで、ビデオカメラ100は次のように動作す
る。
デオカメラ100の動作、特に、上述した初期輪郭の決
定時の動作を示したフローチャートである。このフロー
チャートに従った動作制御が制御部107によって実行
されることで、ビデオカメラ100は次のように動作す
る。
【0072】先ず、操作部106から使用者によって電
源投入がなされると(ステップS200)、制御部10
7は、撮像部(ビデオカメラモジュール)101をはじ
めとする全ての各構成部分の初期化を行なう(ステップ
S201)。これにより、ビデオカメラ100は動作可
能状態となり、使用者によるビデオカメラ100での撮
影が開始される。使用者は、上記図3(a)〜(c)を
用いて述べたように、表示部102において、現在撮像
部101によって得られた実画像が表示されている画面
を見ながら、検出希望する被写体(ここでは被写体3
2)が画面中央に位置した時点で、操作部106により
輪郭決定の指示入力を行なう。
源投入がなされると(ステップS200)、制御部10
7は、撮像部(ビデオカメラモジュール)101をはじ
めとする全ての各構成部分の初期化を行なう(ステップ
S201)。これにより、ビデオカメラ100は動作可
能状態となり、使用者によるビデオカメラ100での撮
影が開始される。使用者は、上記図3(a)〜(c)を
用いて述べたように、表示部102において、現在撮像
部101によって得られた実画像が表示されている画面
を見ながら、検出希望する被写体(ここでは被写体3
2)が画面中央に位置した時点で、操作部106により
輪郭決定の指示入力を行なう。
【0073】このとき、制御部107は、操作部106
による使用者からの輪郭決定の指示入力の受付処理を行
ない(ステップS202)、当該輪郭決定の指示入力が
あったか否かを判別する(ステップS203)。この判
別の結果、輪郭決定の指示入力がない場合には、ステッ
プS202へと戻り、輪郭決定の指示入力の待ち状態と
なる。
による使用者からの輪郭決定の指示入力の受付処理を行
ない(ステップS202)、当該輪郭決定の指示入力が
あったか否かを判別する(ステップS203)。この判
別の結果、輪郭決定の指示入力がない場合には、ステッ
プS202へと戻り、輪郭決定の指示入力の待ち状態と
なる。
【0074】ステップS203での判別の結果、輪郭決
定の指示入力があった場合、制御部107は、当該指示
入力により、次のステップS204からの処理のための
動作制御を行なう。
定の指示入力があった場合、制御部107は、当該指示
入力により、次のステップS204からの処理のための
動作制御を行なう。
【0075】すなわち、先ず、被写体検出部105は、
上記図2(b)に示したように、画面中央に固定した輪
郭31を被写体32に対する初期輪郭として設定する
(ステップS204)。
上記図2(b)に示したように、画面中央に固定した輪
郭31を被写体32に対する初期輪郭として設定する
(ステップS204)。
【0076】次に、被写体検出部105は、ステップS
204にて設定した初期輪郭31から、上述した手法
(1)や手法(2)等と同様の方法により、上記図2
(c)に示したような輪郭34を被写体32の輪郭とし
て決定する(ステップS205)。具体的には例えば、
初期輪郭31で包囲された領域に対して特徴量の抽出処
理を行ない、これにより得られた特徴量を引数とする評
価関数を作成し、その評価関数が極値をとるような被写
体輪郭34を求める。ここでの特徴量としては、被写体
輪郭34の輪郭線の滑らかさ、輝度勾配、外部から加え
られる力等が挙げられる。
204にて設定した初期輪郭31から、上述した手法
(1)や手法(2)等と同様の方法により、上記図2
(c)に示したような輪郭34を被写体32の輪郭とし
て決定する(ステップS205)。具体的には例えば、
初期輪郭31で包囲された領域に対して特徴量の抽出処
理を行ない、これにより得られた特徴量を引数とする評
価関数を作成し、その評価関数が極値をとるような被写
体輪郭34を求める。ここでの特徴量としては、被写体
輪郭34の輪郭線の滑らかさ、輝度勾配、外部から加え
られる力等が挙げられる。
【0077】ステップS205及びS206での被写体
検出部105による被写体輪郭の検出が終了すると、制
御部107は、操作部106による使用者からの輪郭検
出処理続行の指示入力の受付処理を行ない(ステップS
206)、この結果、輪郭検出処理続行の指示入力があ
ったか否かを判別する(ステップS207)。
検出部105による被写体輪郭の検出が終了すると、制
御部107は、操作部106による使用者からの輪郭検
出処理続行の指示入力の受付処理を行ない(ステップS
206)、この結果、輪郭検出処理続行の指示入力があ
ったか否かを判別する(ステップS207)。
【0078】ステップS207での判別の結果、輪郭検
出処理続行の指示入力がなかった場合、例えば、操作部
106により使用者から電源切断等による本処理を終了
する指示入力がなされた場合、制御部107は、ビデオ
カメラ100に対する終了処理を行なう(ステップS2
11)。これにより、本処理が終了する(ステップS2
12)。
出処理続行の指示入力がなかった場合、例えば、操作部
106により使用者から電源切断等による本処理を終了
する指示入力がなされた場合、制御部107は、ビデオ
カメラ100に対する終了処理を行なう(ステップS2
11)。これにより、本処理が終了する(ステップS2
12)。
【0079】一方、ステップS207での判別の結果、
輪郭検出処理続行の指示入力があった場合、制御部10
7は、被写体検出部105による被写体輪郭の検出が成
功したか否かを確認する(ステップS208)。この確
認処理では、被写体検出部105により得られた被写体
輪郭(初期輪郭31を最適化した輪郭34:上記図2
(b)及び(c)参照)によって定義される領域の特徴
量をもとに、その領域が移動被写体32の領域であるか
どうか判断する。この判断方法としては、例えば、被写
体輪郭(輪郭34)の領域の面積Sが、任意のしきい値
TH_Sより大きいか否かで、被写体輪郭(輪郭34)
の領域が移動被写体32の領域であるかどうか判断する
方法を用いる。この結果、しきい値TH_Sより大きけ
れば、被写体輪郭(輪郭34)の領域が移動被写体32
の領域であり(被写体検出部105による被写体輪郭の
検出が成功)、そうでなければ、被写体輪郭(輪郭3
4)の領域は雑音である(被写体検出部105による被
写体輪郭の検出が失敗)と見なす。尚、被写体輪郭(輪
郭34)の領域の面積Sについては、ここでは、ステッ
プS206の処理において求められているものとする
が、本ステップS208において求めるようにしてもよ
い。
輪郭検出処理続行の指示入力があった場合、制御部10
7は、被写体検出部105による被写体輪郭の検出が成
功したか否かを確認する(ステップS208)。この確
認処理では、被写体検出部105により得られた被写体
輪郭(初期輪郭31を最適化した輪郭34:上記図2
(b)及び(c)参照)によって定義される領域の特徴
量をもとに、その領域が移動被写体32の領域であるか
どうか判断する。この判断方法としては、例えば、被写
体輪郭(輪郭34)の領域の面積Sが、任意のしきい値
TH_Sより大きいか否かで、被写体輪郭(輪郭34)
の領域が移動被写体32の領域であるかどうか判断する
方法を用いる。この結果、しきい値TH_Sより大きけ
れば、被写体輪郭(輪郭34)の領域が移動被写体32
の領域であり(被写体検出部105による被写体輪郭の
検出が成功)、そうでなければ、被写体輪郭(輪郭3
4)の領域は雑音である(被写体検出部105による被
写体輪郭の検出が失敗)と見なす。尚、被写体輪郭(輪
郭34)の領域の面積Sについては、ここでは、ステッ
プS206の処理において求められているものとする
が、本ステップS208において求めるようにしてもよ
い。
【0080】ステップS208の判別の結果、被写体検
出部105による被写体輪郭の検出が成功していない場
合、ステップS202へに戻り、以降の処理を繰り返し
実行する。
出部105による被写体輪郭の検出が成功していない場
合、ステップS202へに戻り、以降の処理を繰り返し
実行する。
【0081】ステップS208の判別の結果、被写体検
出部105による被写体輪郭の検出が成功していた場
合、制御部107は、その被写体輪郭をフレームメモリ
104へ書き込む。表示部102は、現在表示している
撮影画像(撮像部101によって得られた実画像)に対
して、フレームメモリ104上の被写体輪郭を重畳して
表示する(ステップS209)。これにより、使用者
は、被写体領域の検出結果を認識できる。
出部105による被写体輪郭の検出が成功していた場
合、制御部107は、その被写体輪郭をフレームメモリ
104へ書き込む。表示部102は、現在表示している
撮影画像(撮像部101によって得られた実画像)に対
して、フレームメモリ104上の被写体輪郭を重畳して
表示する(ステップS209)。これにより、使用者
は、被写体領域の検出結果を認識できる。
【0082】そして、被写体検出部105は、現在の被
写体輪郭を次の時点(次フレーム)での被写体に対する
初期輪郭とするための初期輪郭設定処理を行う(ステッ
プS210)。その後、ステップS205へと戻り、以
降の処理を繰り返し実行する。
写体輪郭を次の時点(次フレーム)での被写体に対する
初期輪郭とするための初期輪郭設定処理を行う(ステッ
プS210)。その後、ステップS205へと戻り、以
降の処理を繰り返し実行する。
【0083】上述したように、本実施の形態では、使用
者が、被写体32が撮影画面中央(初期輪郭31が設定
されている位置)に来るようにカメラの方向を被写体3
2に対して向けることによって、被写体32の初期輪郭
を設定する構成としているため、被写体32の初期輪郭
31を容易に且つ正確に設定することができ、被写体3
2の輪郭34を正確に且つ安定して検出することができ
る。
者が、被写体32が撮影画面中央(初期輪郭31が設定
されている位置)に来るようにカメラの方向を被写体3
2に対して向けることによって、被写体32の初期輪郭
を設定する構成としているため、被写体32の初期輪郭
31を容易に且つ正確に設定することができ、被写体3
2の輪郭34を正確に且つ安定して検出することができ
る。
【0084】(第2の実施の形態)本発明は、例えば、
図4に示すようなビデオカメラ300に適用される。こ
のビデオカメラ300は、上記図1に示したビデオカメ
ラ100と同様の構成としているが、特に、表示部10
2での表示画面上で使用者が検出希望する被写体を注視
したとき、視線検出機能によって使用者の眼球の方向を
検出することで、使用者が注視した被写体を検出し、そ
の被写体の初期輪郭を設定する構成が異なる。以下、本
実施の形態におけるビデオカメラ300のハードウェア
構成、初期輪郭の設定の原理、及び動作について具体的
に説明する。
図4に示すようなビデオカメラ300に適用される。こ
のビデオカメラ300は、上記図1に示したビデオカメ
ラ100と同様の構成としているが、特に、表示部10
2での表示画面上で使用者が検出希望する被写体を注視
したとき、視線検出機能によって使用者の眼球の方向を
検出することで、使用者が注視した被写体を検出し、そ
の被写体の初期輪郭を設定する構成が異なる。以下、本
実施の形態におけるビデオカメラ300のハードウェア
構成、初期輪郭の設定の原理、及び動作について具体的
に説明する。
【0085】[ビデオカメラ300のハードウェア構
成]
成]
【0086】ビデオカメラ300は、上記図1に示した
ビデオカメラ100が備える各構成部に加えて、制御部
107に接続された視線入力部301をさらに備えた構
成としている。尚、上記図4のビデオカメラ300にお
いて、上記図1のビデオカメラ100と同様に動作する
箇所には同じ符号を付し、その詳細な説明は省略する。
ビデオカメラ100が備える各構成部に加えて、制御部
107に接続された視線入力部301をさらに備えた構
成としている。尚、上記図4のビデオカメラ300にお
いて、上記図1のビデオカメラ100と同様に動作する
箇所には同じ符号を付し、その詳細な説明は省略する。
【0087】視線入力部301は、例えば、角膜反射光
と瞳孔中心の位置関係から眼球の回転角度を求める視線
検出手法を採用しており、この手法によって、表示部1
02の表示画面を見ている使用者の眼球回転角度情報を
検出する。ここで、使用者の眼球回転角度情報は個人差
があるため、視線位置と眼球回転角度とを対応づけるキ
ャリブレーションを行なうようになされている。これに
より、使用者が、表示部102の表示画面上のどの場所
を見ているかは、使用者の眼球の表示部102の表示画
面までの距離と視線の角度によって求めることができ
る。
と瞳孔中心の位置関係から眼球の回転角度を求める視線
検出手法を採用しており、この手法によって、表示部1
02の表示画面を見ている使用者の眼球回転角度情報を
検出する。ここで、使用者の眼球回転角度情報は個人差
があるため、視線位置と眼球回転角度とを対応づけるキ
ャリブレーションを行なうようになされている。これに
より、使用者が、表示部102の表示画面上のどの場所
を見ているかは、使用者の眼球の表示部102の表示画
面までの距離と視線の角度によって求めることができ
る。
【0088】尚、視線入力部301での視線検出方法と
しては、例えば、本出願人の先の発明による特開平1−
241511号公報や特開平1−274736号公報等
に記載されている方法を用いることが可能である。
しては、例えば、本出願人の先の発明による特開平1−
241511号公報や特開平1−274736号公報等
に記載されている方法を用いることが可能である。
【0089】[初期輪郭の決定の原理]
【0090】例えば、表示部102には、上記図2
(a)に示したような被写体32を含む撮影シーンの画
像(又は、記録再生部103での再生処理によって得ら
れた再生画像)が表示されており、この表示画面を使用
者が見ているものとする。このとき、使用者が、検出希
望する被写体として被写体32を注視した場合、このと
きの視線は、視線入力部301によって検出される。こ
の検出により、現在使用者が注視している被写体32に
対して、初期輪郭31を設定する。
(a)に示したような被写体32を含む撮影シーンの画
像(又は、記録再生部103での再生処理によって得ら
れた再生画像)が表示されており、この表示画面を使用
者が見ているものとする。このとき、使用者が、検出希
望する被写体として被写体32を注視した場合、このと
きの視線は、視線入力部301によって検出される。こ
の検出により、現在使用者が注視している被写体32に
対して、初期輪郭31を設定する。
【0091】上述のように、本実施の形態では、視線入
力部301を設けたことにより、表示部102の表示画
面上で初期輪郭を設定する位置として、任意の位置を指
定することが可能である。したがって、上記図2(a)
に示したような画像上では、初期輪郭31を視線入力に
よって指定した任意の位置に設定することができる。こ
れにより、使用者が検出希望する被写体32に視点を合
わせ、初期輪郭31を設定するための指示入力を行うこ
とにより、初期輪郭31を被写体32の領域周辺に設定
することができる。
力部301を設けたことにより、表示部102の表示画
面上で初期輪郭を設定する位置として、任意の位置を指
定することが可能である。したがって、上記図2(a)
に示したような画像上では、初期輪郭31を視線入力に
よって指定した任意の位置に設定することができる。こ
れにより、使用者が検出希望する被写体32に視点を合
わせ、初期輪郭31を設定するための指示入力を行うこ
とにより、初期輪郭31を被写体32の領域周辺に設定
することができる。
【0092】このとき、例えば、現在表示部102に表
示されている画像(撮像部101によって得られた実画
像、又は記録再生部103での再生処理によって得られ
た再生画像)上に初期輪郭31を重ねて表示すること
で、使用者自身が確認をしながら初期輪郭31を設定す
る指示入力を行なうことができる。
示されている画像(撮像部101によって得られた実画
像、又は記録再生部103での再生処理によって得られ
た再生画像)上に初期輪郭31を重ねて表示すること
で、使用者自身が確認をしながら初期輪郭31を設定す
る指示入力を行なうことができる。
【0093】[ビデオカメラ300の動作]図5は、ビ
デオカメラ300の動作、特に、上述した初期輪郭の決
定時の動作を示したフローチャートである。このフロー
チャートに従った動作制御が制御部107によって実行
されることで、ビデオカメラ300は次のように動作す
る。尚、上記図5のフローチャートにおいて、上記図3
のフローチャートと同様に処理実行する箇所には同じス
テップ符号を付し、その詳細な説明は省略する。
デオカメラ300の動作、特に、上述した初期輪郭の決
定時の動作を示したフローチャートである。このフロー
チャートに従った動作制御が制御部107によって実行
されることで、ビデオカメラ300は次のように動作す
る。尚、上記図5のフローチャートにおいて、上記図3
のフローチャートと同様に処理実行する箇所には同じス
テップ符号を付し、その詳細な説明は省略する。
【0094】先ず、上述したようにして、操作部106
から使用者によって電源投入がなされ(ステップS20
0)、制御部107により撮像部(ビデオカメラモジュ
ール)101をはじめとする全ての各構成部分の初期化
が行われる(ステップS201)。これにより、ビデオ
カメラ100は動作可能状態となり、使用者によるビデ
オカメラ100での撮影、又は記録媒体からの画像の再
生が開始される。使用者は、表示部102において、現
在撮像部101によって得られた実画像、又は記録再生
部103によって得られた再生画像が表示されている画
面上にて、検出を希望する被写体(ここでは被写体3
2)を注視する。
から使用者によって電源投入がなされ(ステップS20
0)、制御部107により撮像部(ビデオカメラモジュ
ール)101をはじめとする全ての各構成部分の初期化
が行われる(ステップS201)。これにより、ビデオ
カメラ100は動作可能状態となり、使用者によるビデ
オカメラ100での撮影、又は記録媒体からの画像の再
生が開始される。使用者は、表示部102において、現
在撮像部101によって得られた実画像、又は記録再生
部103によって得られた再生画像が表示されている画
面上にて、検出を希望する被写体(ここでは被写体3
2)を注視する。
【0095】視線入力部301は、表示部102での表
示画面上で現在使用者が注視している位置を検出する
(ステップS401)。
示画面上で現在使用者が注視している位置を検出する
(ステップS401)。
【0096】制御部107は、フレームメモリ104上
において、視線入力部301で検出された注視位置に初
期輪郭31(輪郭図形)を書き込み、これを表示部10
2へと供給する。表示部102は、制御部107からの
フレーム画像と、現在表示している画像とを重畳して表
示する。これにより、現在の表示画像に対して初期輪郭
31が使用者の注視位置に重畳して表示される(ステッ
プS402)。
において、視線入力部301で検出された注視位置に初
期輪郭31(輪郭図形)を書き込み、これを表示部10
2へと供給する。表示部102は、制御部107からの
フレーム画像と、現在表示している画像とを重畳して表
示する。これにより、現在の表示画像に対して初期輪郭
31が使用者の注視位置に重畳して表示される(ステッ
プS402)。
【0097】使用者は、表示部102での表示画面を見
ながら、検出希望する被写体32が初期輪郭31と一致
した時点で、操作部106により輪郭決定の指示入力を
行なう。
ながら、検出希望する被写体32が初期輪郭31と一致
した時点で、操作部106により輪郭決定の指示入力を
行なう。
【0098】このとき、上述したように、制御部107
は、操作部106による使用者からの輪郭決定の指示入
力の受付処理を行なっており(ステップS202)、当
該輪郭決定の指示入力があったか否かを判別する(ステ
ップS203)。この判別の結果、輪郭決定の指示入力
がない場合には、ステップS202へと戻り輪郭決定の
指示入力の待ち状態となり、一方、輪郭決定の指示入力
があった場合には、以降のステップS204からの処理
が実行されることになる。
は、操作部106による使用者からの輪郭決定の指示入
力の受付処理を行なっており(ステップS202)、当
該輪郭決定の指示入力があったか否かを判別する(ステ
ップS203)。この判別の結果、輪郭決定の指示入力
がない場合には、ステップS202へと戻り輪郭決定の
指示入力の待ち状態となり、一方、輪郭決定の指示入力
があった場合には、以降のステップS204からの処理
が実行されることになる。
【0099】上述したように、本実施の形態では、表示
部102の表示画面上での使用者の注視位置を検出する
視線入力部301を設けた構成としているので、当該表
示画面上の任意の位置に初期輪郭を設定することが可能
となる。また、被写体領域の検出の際には、使用者は検
出したい被写体32を注視するだけでよい。したがっ
て、本実施の形態によれば、上述した第1の実施の形態
による効果に加えて、画像中の任意の位置に初期輪郭を
設定することができ、さらに容易に安定して被写体領域
を抽出することができる。
部102の表示画面上での使用者の注視位置を検出する
視線入力部301を設けた構成としているので、当該表
示画面上の任意の位置に初期輪郭を設定することが可能
となる。また、被写体領域の検出の際には、使用者は検
出したい被写体32を注視するだけでよい。したがっ
て、本実施の形態によれば、上述した第1の実施の形態
による効果に加えて、画像中の任意の位置に初期輪郭を
設定することができ、さらに容易に安定して被写体領域
を抽出することができる。
【0100】(第3の実施の形態)本発明は、例えば、
図6に示すようなビデオカメラ500に適用される。こ
のビデオカメラ500は、特に、撮影画像中から被写体
の領域を検出する際に、撮影時の合焦情報に基づく距離
計測結果により、被写体の大まかな領域を求め、これを
被写体の初期輪郭とする構成としている。以下、本実施
の形態におけるビデオカメラ500のハードウェア構
成、初期輪郭の設定の原理、及び動作について具体的に
説明する。
図6に示すようなビデオカメラ500に適用される。こ
のビデオカメラ500は、特に、撮影画像中から被写体
の領域を検出する際に、撮影時の合焦情報に基づく距離
計測結果により、被写体の大まかな領域を求め、これを
被写体の初期輪郭とする構成としている。以下、本実施
の形態におけるビデオカメラ500のハードウェア構
成、初期輪郭の設定の原理、及び動作について具体的に
説明する。
【0101】[ビデオカメラ500のハードウェア構
成]
成]
【0102】ビデオカメラ500は、上記図6に示すよ
うに、被写体8Xを含む撮影シーンを撮像して当該撮影
シーンの画像信号(撮影画像信号)を取得する撮像部
(ビデオカメラモジュール)501と、撮像部501に
より得られた画像信号をビデオ信号に変換するカメラプ
ロセス部509と、被写体8Xの輪郭情報等が記憶され
るフレームメモリ512と、撮像部501での絞り、ズ
ーム、及びフォーカス制御を行なう絞り制御部506、
ズーム制御部507、及びフォーカス制御部508と、
これらの各制御部506〜508からの情報により被写
体8Xまでの距離を測定する距離測定部516と、距離
測定部516での測定結果に基づきカメラプロセス部5
09により得られたビデオ信号から被写体8Xの領域を
検出する被写体検出部513と、カメラプロセス部50
9により得られたビデオ信号の記録処理及び記録媒体か
らのビデオ信号の再生処理を行なう記録再生部511
と、カメラプロセス部509により得られたビデオ信号
(実画像)又は記録再生部511により得られた再生ビ
デオ信号等に基づいた表示を行なう表示部510と、使
用者からの各種指示が入力される操作部515と、ビデ
オカメラ500全体の動作制御を司る制御部514とを
備えている。
うに、被写体8Xを含む撮影シーンを撮像して当該撮影
シーンの画像信号(撮影画像信号)を取得する撮像部
(ビデオカメラモジュール)501と、撮像部501に
より得られた画像信号をビデオ信号に変換するカメラプ
ロセス部509と、被写体8Xの輪郭情報等が記憶され
るフレームメモリ512と、撮像部501での絞り、ズ
ーム、及びフォーカス制御を行なう絞り制御部506、
ズーム制御部507、及びフォーカス制御部508と、
これらの各制御部506〜508からの情報により被写
体8Xまでの距離を測定する距離測定部516と、距離
測定部516での測定結果に基づきカメラプロセス部5
09により得られたビデオ信号から被写体8Xの領域を
検出する被写体検出部513と、カメラプロセス部50
9により得られたビデオ信号の記録処理及び記録媒体か
らのビデオ信号の再生処理を行なう記録再生部511
と、カメラプロセス部509により得られたビデオ信号
(実画像)又は記録再生部511により得られた再生ビ
デオ信号等に基づいた表示を行なう表示部510と、使
用者からの各種指示が入力される操作部515と、ビデ
オカメラ500全体の動作制御を司る制御部514とを
備えている。
【0103】撮像部501は、絞り502、ズームレン
ズ503、フォーカスレンズ504、及び撮像素子50
5を含むビデオカメラモジュールである。被写体8Xか
らの光は、絞り502、ズームレンズ503、及びフォ
ーカスレンズ504を介して撮像素子505の撮像面上
に結像される。これにより、撮像素子505からは、そ
の光電変換により、被写体32を含む撮影シーンの画像
信号(電気信号)が出力される。この出力された画像信
号は、カメラプロセス部509にへと供給される。
ズ503、フォーカスレンズ504、及び撮像素子50
5を含むビデオカメラモジュールである。被写体8Xか
らの光は、絞り502、ズームレンズ503、及びフォ
ーカスレンズ504を介して撮像素子505の撮像面上
に結像される。これにより、撮像素子505からは、そ
の光電変換により、被写体32を含む撮影シーンの画像
信号(電気信号)が出力される。この出力された画像信
号は、カメラプロセス部509にへと供給される。
【0104】撮像部501の絞り502、ズームレンズ
503、及びフォーカスレンズ504のそれぞれの動作
は、絞り制御部506、ズーム制御部507、及びフォ
ーカス制御部508から制御される。絞り制御部50
6、ズーム制御部507、及びフォーカス制御部508
はそれぞれ、自然で鮮明な撮影画像が取得できるよう
に、制御部514からの制御に従って、絞り502、ズ
ームレンズ503、及びフォーカスレンズ504を制御
する。
503、及びフォーカスレンズ504のそれぞれの動作
は、絞り制御部506、ズーム制御部507、及びフォ
ーカス制御部508から制御される。絞り制御部50
6、ズーム制御部507、及びフォーカス制御部508
はそれぞれ、自然で鮮明な撮影画像が取得できるよう
に、制御部514からの制御に従って、絞り502、ズ
ームレンズ503、及びフォーカスレンズ504を制御
する。
【0105】カメラプロセス部509は、撮像部501
からの画像信号に対して所定の信号処理を施すことで、
当該画像信号をビデオ信号に変換する。このビデオ信号
は、表示部510、記録再生部511、被写体検出部5
13、及びフォーカス制御部508へとそれぞれ供給さ
れる。
からの画像信号に対して所定の信号処理を施すことで、
当該画像信号をビデオ信号に変換する。このビデオ信号
は、表示部510、記録再生部511、被写体検出部5
13、及びフォーカス制御部508へとそれぞれ供給さ
れる。
【0106】表示部510は、液晶等の表示デバイスや
制御回路を含み、ビューファインダーとして用いられ
る。表示部510は、ビデオプロセス部509にて得ら
れたビデオ信号(実画像)、或いは記録再生部511で
の再生処理にて得られたビデオ信号(再生画像)を表示
すると共に、その画像信号と、後述するフレームメモリ
512の被写体8Xの輪郭の情報とを重畳して表示する
ようにもなされている。
制御回路を含み、ビューファインダーとして用いられ
る。表示部510は、ビデオプロセス部509にて得ら
れたビデオ信号(実画像)、或いは記録再生部511で
の再生処理にて得られたビデオ信号(再生画像)を表示
すると共に、その画像信号と、後述するフレームメモリ
512の被写体8Xの輪郭の情報とを重畳して表示する
ようにもなされている。
【0107】記録再生部511は、固体メモリや磁気デ
ィスク等の記憶媒体や制御回路を含み、ビデオプロセス
部509にて得られたビデオ信号を記録媒体へ記録した
り、予めビデオ信号が記録された記録媒体からビデオ信
号を再生する。この記録再生部511での再生処理によ
り得られた画像信号は、表示部510及び被写体検出部
513へとそれぞれ供給される。
ィスク等の記憶媒体や制御回路を含み、ビデオプロセス
部509にて得られたビデオ信号を記録媒体へ記録した
り、予めビデオ信号が記録された記録媒体からビデオ信
号を再生する。この記録再生部511での再生処理によ
り得られた画像信号は、表示部510及び被写体検出部
513へとそれぞれ供給される。
【0108】距離計測部516は、被写体8Xまでの距
離を計測する。この計測結果は、被写体検出部513と
供給される。
離を計測する。この計測結果は、被写体検出部513と
供給される。
【0109】ここで、距離計測部516での距離計測に
は、撮像部501が合点状態にある時のズームレンズ5
03及びフォーカスレンズ504の位置が必要であるた
め、ズーム制御部507及びフォーカス制御部508
は、合点状態でのレンズ位置情報を距離計測部516へ
供給する。また、距離計測部516での距離計測にあた
って、フォーカス制御部508は、被写体検出部513
からの指令により、複数の距離を仮定して各距離に合点
するようにフォーカスレンズ504を制御する。これに
より、被写体検出部513は、撮像部501にて得られ
た画像上の各領域において最も合焦する距離を求めるこ
とにより、被写体8Xまでの距離を得ることができる。
尚、この距離取得方法の詳細に関しては後述する。
は、撮像部501が合点状態にある時のズームレンズ5
03及びフォーカスレンズ504の位置が必要であるた
め、ズーム制御部507及びフォーカス制御部508
は、合点状態でのレンズ位置情報を距離計測部516へ
供給する。また、距離計測部516での距離計測にあた
って、フォーカス制御部508は、被写体検出部513
からの指令により、複数の距離を仮定して各距離に合点
するようにフォーカスレンズ504を制御する。これに
より、被写体検出部513は、撮像部501にて得られ
た画像上の各領域において最も合焦する距離を求めるこ
とにより、被写体8Xまでの距離を得ることができる。
尚、この距離取得方法の詳細に関しては後述する。
【0110】被写体検出部113は、ビデオ信号を処理
するプロセッサであり、特に、距離計測部516での計
測結果に基づいて、ビデオプロセス部509にて得られ
たビデオ信号(実画像)から、被写体8Xの輪郭の検出
を行なう。この検出結果は、制御部514によりフレー
ムメモリ512上へ書き込まれる。
するプロセッサであり、特に、距離計測部516での計
測結果に基づいて、ビデオプロセス部509にて得られ
たビデオ信号(実画像)から、被写体8Xの輪郭の検出
を行なう。この検出結果は、制御部514によりフレー
ムメモリ512上へ書き込まれる。
【0111】操作部515は、ビデオカメラ500本体
に配置された各種のボタン類からなり、この操作部51
5での使用者からの操作情報(命令)は、制御部514
へと供給される。
に配置された各種のボタン類からなり、この操作部51
5での使用者からの操作情報(命令)は、制御部514
へと供給される。
【0112】制御部514は、ビデオカメラ500全体
(ハードウェア全体)の動作制御を管理するものであ
り、特に、後述する初期輪郭の設定のための動作制御を
司る。
(ハードウェア全体)の動作制御を管理するものであ
り、特に、後述する初期輪郭の設定のための動作制御を
司る。
【0113】上述のようなビデオカメラ500の最も特
徴とする構成は、特に、被写体検出部513にあり、被
写体検出部513、及びこれを制御する制御部514を
除く各構成部分については、一般に市販されているビデ
オカメラの構成を利用することも可能である。また、こ
こでの被写体検出部513は、汎用の信号処理IC等を
用いて構成している。
徴とする構成は、特に、被写体検出部513にあり、被
写体検出部513、及びこれを制御する制御部514を
除く各構成部分については、一般に市販されているビデ
オカメラの構成を利用することも可能である。また、こ
こでの被写体検出部513は、汎用の信号処理IC等を
用いて構成している。
【0114】[初期輪郭の決定の原理]図7(a)〜
(e)は、被写体検出部513による被写体8Xに対す
る初期輪郭の決定についての原理を示したものである。
(e)は、被写体検出部513による被写体8Xに対す
る初期輪郭の決定についての原理を示したものである。
【0115】上記図7(a)は、ある撮影シーン(撮像
部501にて得られた実画像による画面)の一例を示し
ており、同図に示すように、この撮影シーンは、上記図
1の被写体8Xとして、被写体82(家)及び被写体8
3(人物)が背景81に含まれたシーンである。
部501にて得られた実画像による画面)の一例を示し
ており、同図に示すように、この撮影シーンは、上記図
1の被写体8Xとして、被写体82(家)及び被写体8
3(人物)が背景81に含まれたシーンである。
【0116】そこで、先ず、距離測定部516により、
上記図7(a)に示すように、画像を複数のブロックに
分割し、各ブロックを単位として距離を求める。
上記図7(a)に示すように、画像を複数のブロックに
分割し、各ブロックを単位として距離を求める。
【0117】各ブロックに対する距離計測方法として
は、例えば、一般のカメラシステムのオートフォーカス
方式で採用されているような、フォーカスレンズ504
を移動したときに画像の高周波成分がピークとなるレン
ズ位置を求め、これを被写体の距離に変換する方式を用
いることができる。ズームレンズ503及びフォーカス
レンズ504の位置と合点距離との関係は、各ズーム倍
率において、距離が既知の被写体に合点したときのフォ
ーカスレンズ504の位置を予め求めておく。このよう
なレンズの位置と合点距離との関係を表したグラフを一
般にカム軌跡と呼ぶ。このような距離計測方法は、例え
ば、本出願人の先の発明による特開平6−030317
号公報や特開平8−265620号公報等に詳述されて
いる。
は、例えば、一般のカメラシステムのオートフォーカス
方式で採用されているような、フォーカスレンズ504
を移動したときに画像の高周波成分がピークとなるレン
ズ位置を求め、これを被写体の距離に変換する方式を用
いることができる。ズームレンズ503及びフォーカス
レンズ504の位置と合点距離との関係は、各ズーム倍
率において、距離が既知の被写体に合点したときのフォ
ーカスレンズ504の位置を予め求めておく。このよう
なレンズの位置と合点距離との関係を表したグラフを一
般にカム軌跡と呼ぶ。このような距離計測方法は、例え
ば、本出願人の先の発明による特開平6−030317
号公報や特開平8−265620号公報等に詳述されて
いる。
【0118】本実施の形態では、複数の合焦距離を仮定
して、各々の距離に合点するようにフォーカスレンズ5
04を移動して撮影を行い、その撮影により得られた画
像において、各ブロック領域の高周波成分の変化を計算
することにより、各ブロック領域における合点距離を求
める。
して、各々の距離に合点するようにフォーカスレンズ5
04を移動して撮影を行い、その撮影により得られた画
像において、各ブロック領域の高周波成分の変化を計算
することにより、各ブロック領域における合点距離を求
める。
【0119】そして、上記図7(b)に示すように、同
一の距離を持つブロックを同一の被写体と考えて画像の
領域分割(被写体82の領域82’、被写体83の領域
83’、背景81の領域81’)を行なう。この結果、
例えば、図7(c)に示すように、被写体82、被写体
83、背景81でそれぞれ領域分割が行われ、最終的に
領域R1(被写体83の領域83’)、領域R2(被写
体82の領域82’)、領域R3(背景81の領域8
1’)が得られる。この領域分割結果は、被写体検出部
513へと供給される。
一の距離を持つブロックを同一の被写体と考えて画像の
領域分割(被写体82の領域82’、被写体83の領域
83’、背景81の領域81’)を行なう。この結果、
例えば、図7(c)に示すように、被写体82、被写体
83、背景81でそれぞれ領域分割が行われ、最終的に
領域R1(被写体83の領域83’)、領域R2(被写
体82の領域82’)、領域R3(背景81の領域8
1’)が得られる。この領域分割結果は、被写体検出部
513へと供給される。
【0120】被写体検出部513は、領域R1〜R3の
うち最も近い距離にある領域を、検出する被写体の候補
と見なし、その領域の輪郭を初期輪郭として設定する。
うち最も近い距離にある領域を、検出する被写体の候補
と見なし、その領域の輪郭を初期輪郭として設定する。
【0121】例えば、領域R1が最も近い距離にある場
合、上記図7(d)に示すように、領域R1の輪郭R
1’を被写体83に対する初期輪郭として設定する。被
写体83に対する初期輪郭R1’が設定されると、この
初期輪郭R1’から、上述した手法(1)等での輪郭の
最適化によって、上記図7(e)に示すような輪郭85
が被写体83の輪郭として決定されることになる。そし
て、このようにして一旦求められた輪郭85を、次のフ
レームでの被写体83の初期輪郭として利用すること
で、移動する被写体83の追尾を行なうことができる。
合、上記図7(d)に示すように、領域R1の輪郭R
1’を被写体83に対する初期輪郭として設定する。被
写体83に対する初期輪郭R1’が設定されると、この
初期輪郭R1’から、上述した手法(1)等での輪郭の
最適化によって、上記図7(e)に示すような輪郭85
が被写体83の輪郭として決定されることになる。そし
て、このようにして一旦求められた輪郭85を、次のフ
レームでの被写体83の初期輪郭として利用すること
で、移動する被写体83の追尾を行なうことができる。
【0122】[ビデオカメラ500の動作]図8は、ビ
デオカメラ500の動作、特に、上述した初期輪郭の決
定時の動作を示したフローチャートである。このフロー
チャートに従った動作制御が制御部514によって実行
されることで、ビデオカメラ500は次のように動作す
る。
デオカメラ500の動作、特に、上述した初期輪郭の決
定時の動作を示したフローチャートである。このフロー
チャートに従った動作制御が制御部514によって実行
されることで、ビデオカメラ500は次のように動作す
る。
【0123】先ず、操作部515から使用者によって電
源投入がなされると(ステップS600)、制御部51
4は、撮像部(ビデオカメラモジュール)501をはじ
めとする全ての各構成部分の初期化を行なう(ステップ
S601)。これにより、ビデオカメラ500は動作可
能状態となり、使用者によるビデオカメラ500での撮
影が開始される。
源投入がなされると(ステップS600)、制御部51
4は、撮像部(ビデオカメラモジュール)501をはじ
めとする全ての各構成部分の初期化を行なう(ステップ
S601)。これにより、ビデオカメラ500は動作可
能状態となり、使用者によるビデオカメラ500での撮
影が開始される。
【0124】次に、距離計測部516は、上述したよう
にして撮影画像の各ブロック単位での距離を測定し(ス
テップS602)、その測定結果に基づいた領域分割を
行なう(ステップS603)。この領域分割の結果は、
被写体検出部513へと供給されると共に、制御部51
4へも供給される。
にして撮影画像の各ブロック単位での距離を測定し(ス
テップS602)、その測定結果に基づいた領域分割を
行なう(ステップS603)。この領域分割の結果は、
被写体検出部513へと供給されると共に、制御部51
4へも供給される。
【0125】制御部514は、距離計測部516により
得られた領域分割結果により、被写体が撮影画像中に存
在するか否かを判別する(ステップS604)。このと
きの制御部514での判別方法としては、例えば、各領
域に対してそれぞれ、対象領域の面積S0が所定のしき
い値THS0より大きいか否かを判別する方法を用い
る。この結果、面積S0がしきい値THS0より小さい
場合、被写体は存在しないと判別し、面積S0がしきい
値THS0より小さい場合、被写体は存在すると判別す
る。
得られた領域分割結果により、被写体が撮影画像中に存
在するか否かを判別する(ステップS604)。このと
きの制御部514での判別方法としては、例えば、各領
域に対してそれぞれ、対象領域の面積S0が所定のしき
い値THS0より大きいか否かを判別する方法を用い
る。この結果、面積S0がしきい値THS0より小さい
場合、被写体は存在しないと判別し、面積S0がしきい
値THS0より小さい場合、被写体は存在すると判別す
る。
【0126】ステップS604での判別の結果、被写体
が撮影画像中に存在しない場合、ステップS602へと
戻り、以降の処理ステップを繰り返し実行する。
が撮影画像中に存在しない場合、ステップS602へと
戻り、以降の処理ステップを繰り返し実行する。
【0127】一方、ステップS604での判別の結果、
被写体が撮影画像中に存在する場合、被写体検出部51
3は、距離計測部516により得られた領域分割結果に
より、最も近い距離にある領域を、検出する被写体の候
補と見なし、その領域の輪郭を初期輪郭として設定す
る。以降、上記図3に示したステップS205〜S21
2と同様の、ステップS605〜S612の処理が実行
される。
被写体が撮影画像中に存在する場合、被写体検出部51
3は、距離計測部516により得られた領域分割結果に
より、最も近い距離にある領域を、検出する被写体の候
補と見なし、その領域の輪郭を初期輪郭として設定す
る。以降、上記図3に示したステップS205〜S21
2と同様の、ステップS605〜S612の処理が実行
される。
【0128】上述のように、本実施の形態では、撮影対
象の被写体までの距離を測定した結果に基づいて、その
撮影画像中に存在する被写体の領域を検出するための初
期輪郭を自動的に設定するように構成したので、初期輪
郭を実際の被写体により近いものにすることができる。
また、初期輪郭を設定する際に、使用者の操作は必要な
い。したがって、本実施の形態によれば、上述した第1
の実施の形態による効果に加えて、さらに容易に且つ正
確に初期輪郭を設定することができ、安定して被写体領
域を抽出することができる。また、操作性の向上をも図
ることができる。
象の被写体までの距離を測定した結果に基づいて、その
撮影画像中に存在する被写体の領域を検出するための初
期輪郭を自動的に設定するように構成したので、初期輪
郭を実際の被写体により近いものにすることができる。
また、初期輪郭を設定する際に、使用者の操作は必要な
い。したがって、本実施の形態によれば、上述した第1
の実施の形態による効果に加えて、さらに容易に且つ正
確に初期輪郭を設定することができ、安定して被写体領
域を抽出することができる。また、操作性の向上をも図
ることができる。
【0129】(第4の実施の形態)本発明は、例えば、
図9に示すようなビデオカメラ700に適用される。こ
のビデオカメラ700は、特に、画像中から被写体領域
を検出し、その特徴量から画像を評価し、その評価結果
を画像に重畳して表示出力する構成としている。以下、
本実施の形態におけるビデオカメラ700のハードウェ
ア構成、被写体領域検出の原理、画像評価の原理、及び
動作について具体的に説明する。
図9に示すようなビデオカメラ700に適用される。こ
のビデオカメラ700は、特に、画像中から被写体領域
を検出し、その特徴量から画像を評価し、その評価結果
を画像に重畳して表示出力する構成としている。以下、
本実施の形態におけるビデオカメラ700のハードウェ
ア構成、被写体領域検出の原理、画像評価の原理、及び
動作について具体的に説明する。
【0130】[ビデオカメラ700のハードウェア構
成]
成]
【0131】ビデオカメラ700は、上記図9に示すよ
うに、被写体9Xを含む撮影シーンを撮像して当該撮影
シーンの画像信号(撮影画像信号)を取得する撮像部
(ビデオカメラモジュール)711と、撮像部711に
より得られた画像信号をビデオ信号に変換するカメラプ
ロセス部719と、被写体9Xの輪郭情報等が記憶され
るフレームメモリ722と、カメラプロセス部719に
より得られたビデオ信号から被写体9Xの領域を検出す
る被写体検出部713と、カメラプロセス部719によ
り得られたビデオ信号の記録処理及び記録媒体からのビ
デオ信号の再生処理を行なう記録再生部721と、カメ
ラプロセス部719により得られたビデオ信号(実画
像)又は記録再生部721により得られた再生ビデオ信
号等に基づいた表示を行なう表示部720と、使用者か
らの各種指示が入力される操作部715と、ビデオカメ
ラ700全体の動作制御を司る制御部714とを備えて
いる。
うに、被写体9Xを含む撮影シーンを撮像して当該撮影
シーンの画像信号(撮影画像信号)を取得する撮像部
(ビデオカメラモジュール)711と、撮像部711に
より得られた画像信号をビデオ信号に変換するカメラプ
ロセス部719と、被写体9Xの輪郭情報等が記憶され
るフレームメモリ722と、カメラプロセス部719に
より得られたビデオ信号から被写体9Xの領域を検出す
る被写体検出部713と、カメラプロセス部719によ
り得られたビデオ信号の記録処理及び記録媒体からのビ
デオ信号の再生処理を行なう記録再生部721と、カメ
ラプロセス部719により得られたビデオ信号(実画
像)又は記録再生部721により得られた再生ビデオ信
号等に基づいた表示を行なう表示部720と、使用者か
らの各種指示が入力される操作部715と、ビデオカメ
ラ700全体の動作制御を司る制御部714とを備えて
いる。
【0132】撮像部711は、絞り712、ズームレン
ズ713、フォーカスレンズ714、及び撮像素子71
5を含むビデオカメラモジュールである。被写体9Xか
らの光は、絞り712、ズームレンズ713、及びフォ
ーカスレンズ714を介して撮像素子715の撮像面上
に結像される。これにより、撮像素子715からは、そ
の光電変換により、被写体9Xを含む撮影シーンの画像
信号(電気信号)が出力される。この出力された画像信
号は、カメラプロセス部719にへと供給される。
ズ713、フォーカスレンズ714、及び撮像素子71
5を含むビデオカメラモジュールである。被写体9Xか
らの光は、絞り712、ズームレンズ713、及びフォ
ーカスレンズ714を介して撮像素子715の撮像面上
に結像される。これにより、撮像素子715からは、そ
の光電変換により、被写体9Xを含む撮影シーンの画像
信号(電気信号)が出力される。この出力された画像信
号は、カメラプロセス部719にへと供給される。
【0133】撮像部711の絞り712、ズームレンズ
713、及びフォーカスレンズ714のそれぞれの動作
は、絞り制御部716、ズーム制御部717、及びフォ
ーカス制御部718から制御される。絞り制御部71
6、ズーム制御部717、及びフォーカス制御部718
はそれぞれ、自然で鮮明な撮影画像が取得できるよう
に、制御部714からの制御に従って、絞り712、ズ
ームレンズ713、及びフォーカスレンズ714を制御
する。
713、及びフォーカスレンズ714のそれぞれの動作
は、絞り制御部716、ズーム制御部717、及びフォ
ーカス制御部718から制御される。絞り制御部71
6、ズーム制御部717、及びフォーカス制御部718
はそれぞれ、自然で鮮明な撮影画像が取得できるよう
に、制御部714からの制御に従って、絞り712、ズ
ームレンズ713、及びフォーカスレンズ714を制御
する。
【0134】カメラプロセス部719は、撮像部711
からの画像信号に対して所定の信号処理を施すことで、
当該画像信号をビデオ信号に変換する。このビデオ信号
は、表示部720、記録再生部721、被写体検出部7
13、及びフォーカス制御部718へとそれぞれ供給さ
れる。
からの画像信号に対して所定の信号処理を施すことで、
当該画像信号をビデオ信号に変換する。このビデオ信号
は、表示部720、記録再生部721、被写体検出部7
13、及びフォーカス制御部718へとそれぞれ供給さ
れる。
【0135】表示部720は、液晶等の表示デバイスや
制御回路を含み、ビューファインダーとして用いられ
る。表示部720は、ビデオプロセス部719にて得ら
れたビデオ信号(実画像)、或いは記録再生部721で
の再生処理にて得られたビデオ信号(再生画像)を表示
すると共に、その画像信号と、後述するフレームメモリ
722内の被写体9Xの輪郭の情報や画像評価結果情報
とを重畳して表示するようにもなされている。
制御回路を含み、ビューファインダーとして用いられ
る。表示部720は、ビデオプロセス部719にて得ら
れたビデオ信号(実画像)、或いは記録再生部721で
の再生処理にて得られたビデオ信号(再生画像)を表示
すると共に、その画像信号と、後述するフレームメモリ
722内の被写体9Xの輪郭の情報や画像評価結果情報
とを重畳して表示するようにもなされている。
【0136】記録再生部721は、固体メモリや磁気デ
ィスク等の記憶媒体や制御回路を含み、ビデオプロセス
部719にて得られたビデオ信号を記録媒体へ記録した
り、予めビデオ信号が記録された記録媒体からビデオ信
号を再生する。この記録再生部721での再生処理によ
り得られた画像信号は、表示部720被写体検出部71
3、及び制御部714へとそれぞれ供給される。
ィスク等の記憶媒体や制御回路を含み、ビデオプロセス
部719にて得られたビデオ信号を記録媒体へ記録した
り、予めビデオ信号が記録された記録媒体からビデオ信
号を再生する。この記録再生部721での再生処理によ
り得られた画像信号は、表示部720被写体検出部71
3、及び制御部714へとそれぞれ供給される。
【0137】被写体検出部713は、ビデオ信号を処理
するプロセッサであり、ビデオプロセス部509にて得
られたビデオ信号(実画像)、或いは記録再生部721
での再生処理により得られたビデオ信号(再生画像)か
ら、被写体輪郭を検出する。この検出結果は、制御部5
14へと供給される。
するプロセッサであり、ビデオプロセス部509にて得
られたビデオ信号(実画像)、或いは記録再生部721
での再生処理により得られたビデオ信号(再生画像)か
ら、被写体輪郭を検出する。この検出結果は、制御部5
14へと供給される。
【0138】操作部715は、ビデオカメラ700本体
に配置された各種のボタン類からなり、この操作部71
5での使用者からの操作情報(命令)は、制御部714
へと供給される。
に配置された各種のボタン類からなり、この操作部71
5での使用者からの操作情報(命令)は、制御部714
へと供給される。
【0139】制御部714は、ビデオカメラ700全体
(ハードウェア全体)の動作制御を管理するものであ
り、特に、被写体検出部713により検出された被写体
輪郭内の情報に基づいて、その画像を評価し、その評価
結果を図形等の形でフレームメモリ722上に書き込
む。これにより、現在表示部720にて表示されている
画像に対して、当該画像の評価結果が重畳して表示され
ることになる。
(ハードウェア全体)の動作制御を管理するものであ
り、特に、被写体検出部713により検出された被写体
輪郭内の情報に基づいて、その画像を評価し、その評価
結果を図形等の形でフレームメモリ722上に書き込
む。これにより、現在表示部720にて表示されている
画像に対して、当該画像の評価結果が重畳して表示され
ることになる。
【0140】例えば、図10(a)に示すように、撮影
部711により得られた実画像、又は記録再生部721
により得られた再生画像中には、被写体92(家)や被
写体93(人物)等の被写体が存在し、このような画像
が表示部720で表示されているものとする。この場
合、制御部714によって得られた上記画像の評価結果
は、上記図10(a)の”94”に示すような、レベル
バーとして表示される。このレベルバー94により示さ
れる評価値は、評価の最大値に対する割合である。これ
により、使用者は、現在表示部720に表示されている
画像(自分が今撮影している画像や、以前に撮影した画
像等)に対する評価を知ることができる。
部711により得られた実画像、又は記録再生部721
により得られた再生画像中には、被写体92(家)や被
写体93(人物)等の被写体が存在し、このような画像
が表示部720で表示されているものとする。この場
合、制御部714によって得られた上記画像の評価結果
は、上記図10(a)の”94”に示すような、レベル
バーとして表示される。このレベルバー94により示さ
れる評価値は、評価の最大値に対する割合である。これ
により、使用者は、現在表示部720に表示されている
画像(自分が今撮影している画像や、以前に撮影した画
像等)に対する評価を知ることができる。
【0141】また、画像の評価結果の表示方法として
は、上記図10(a)に示したレベルバー94に限ら
ず、例えば、同図(b)の”95”に示すようなメータ
ー、或いは数値によるものであってもよい。このような
表示方法を用いるようにしても、使用者は、現在表示部
720に表示されている画像に対する評価を知ることが
できる。
は、上記図10(a)に示したレベルバー94に限ら
ず、例えば、同図(b)の”95”に示すようなメータ
ー、或いは数値によるものであってもよい。このような
表示方法を用いるようにしても、使用者は、現在表示部
720に表示されている画像に対する評価を知ることが
できる。
【0142】上述のようなビデオカメラ700の最も特
徴とする構成は、特に、被写体検出部713、及び制御
部714にあり、これらを除く各構成部分については、
一般に市販されているビデオカメラの構成を利用するこ
とも可能である。また、ここでの被写体検出部713
は、汎用の信号処理IC等を用いて構成している。
徴とする構成は、特に、被写体検出部713、及び制御
部714にあり、これらを除く各構成部分については、
一般に市販されているビデオカメラの構成を利用するこ
とも可能である。また、ここでの被写体検出部713
は、汎用の信号処理IC等を用いて構成している。
【0143】[被写体輪郭検出の原理]
【0144】まず、動画像中の被写体検出及び領域分割
の方法としては、例えば、「T.Meier,K.N.
Ngan,”Automatic Segmentat
ion of Moving Objects for
Video ObjectPlane Genera
tion”,IEEE Trans.on Circu
its and Systems for Video
Technology,pp.525−538,Vo
1.8No.5,Sept.1998」等に記載されて
いるような、MPEG−4における移動物体領域(VO
P)の検出方式、「M.Kassetal .,”SNA
KES:Active contour model
s”,Proc of 1st ICCV,pp.25
9−268,1987」等に記載されているような、一
旦検出した被写体の追尾をも行なう方式(上述した方法
(1))がある。
の方法としては、例えば、「T.Meier,K.N.
Ngan,”Automatic Segmentat
ion of Moving Objects for
Video ObjectPlane Genera
tion”,IEEE Trans.on Circu
its and Systems for Video
Technology,pp.525−538,Vo
1.8No.5,Sept.1998」等に記載されて
いるような、MPEG−4における移動物体領域(VO
P)の検出方式、「M.Kassetal .,”SNA
KES:Active contour model
s”,Proc of 1st ICCV,pp.25
9−268,1987」等に記載されているような、一
旦検出した被写体の追尾をも行なう方式(上述した方法
(1))がある。
【0145】また、上述したように、手法(1)を改良
した方法として、「”移動被写体の輪郭を自動抽出する
追尾ソフトの開発”(荒木ほか):映像情報97年1月
号、P.39−44」等に記載された手法(2)があ
る。この方法(2)によれば、被写体に対する初期設定
が不要であると共に、被写体が複数存在する場合にも対
応できる。
した方法として、「”移動被写体の輪郭を自動抽出する
追尾ソフトの開発”(荒木ほか):映像情報97年1月
号、P.39−44」等に記載された手法(2)があ
る。この方法(2)によれば、被写体に対する初期設定
が不要であると共に、被写体が複数存在する場合にも対
応できる。
【0146】図11(a)及び(b)は、被写体検出部
713にて方法(2)を採用した場合の、被写体輪郭の
検出を概念的に示したものである。ここでは、上記図1
0(a)に示したような画像中の被写体93に対して初
期輪郭を設定し、その初期輪郭から被写体93の領域を
検出するものとする。
713にて方法(2)を採用した場合の、被写体輪郭の
検出を概念的に示したものである。ここでは、上記図1
0(a)に示したような画像中の被写体93に対して初
期輪郭を設定し、その初期輪郭から被写体93の領域を
検出するものとする。
【0147】先ず、初期段階では、被写体93の領域情
報が無いため、上記図11(a)に示すように、画面全
体を初期輪郭96とする。そして、上記図11(b)に
示すように、輪郭97を求める。具体的には例えば、上
述した手法(1)や手法(2)等と同様の方法により、
初期輪郭で包囲された領域に対して特徴量の抽出処理を
行ない、これにより得られた特徴量を引数とする評価関
数を作成し、その評価関数が極値をとるような被写体輪
郭を求める。ここでの特徴量としては、被写体輪郭の輪
郭線の滑らかさ、輝度勾配、外部から加えられる力等が
挙げられる。このようにして、一旦輪郭97を求め、こ
の輪郭97を、次のフレームでの被写体93の初期輪郭
として利用する。
報が無いため、上記図11(a)に示すように、画面全
体を初期輪郭96とする。そして、上記図11(b)に
示すように、輪郭97を求める。具体的には例えば、上
述した手法(1)や手法(2)等と同様の方法により、
初期輪郭で包囲された領域に対して特徴量の抽出処理を
行ない、これにより得られた特徴量を引数とする評価関
数を作成し、その評価関数が極値をとるような被写体輪
郭を求める。ここでの特徴量としては、被写体輪郭の輪
郭線の滑らかさ、輝度勾配、外部から加えられる力等が
挙げられる。このようにして、一旦輪郭97を求め、こ
の輪郭97を、次のフレームでの被写体93の初期輪郭
として利用する。
【0148】尚、被写体検出部713で用いる被写体輪
郭の検出方法、特に、そのための初期輪郭の設定方法と
しては、上述したような従来からある方法(1)や
(2)等を用いるようにしてもよいが、例えば、上述し
た第1〜第3の実施の形態における方法を用いるように
構成するようにしてもよい。これにより、安定して確実
に被写体検出を行なうことができるため、後述する画像
評価の信頼度を高めることができる。
郭の検出方法、特に、そのための初期輪郭の設定方法と
しては、上述したような従来からある方法(1)や
(2)等を用いるようにしてもよいが、例えば、上述し
た第1〜第3の実施の形態における方法を用いるように
構成するようにしてもよい。これにより、安定して確実
に被写体検出を行なうことができるため、後述する画像
評価の信頼度を高めることができる。
【0149】[画像評価の原理]上記図11(a)及び
(b)に続く(c)及び(d)は、上述したようにして
被写体検出部713により得られた被写体輪郭をもと
に、その画像を評価する際の当該評価を概念的に示した
ものである。この画像評価は制御部714にて実施され
る。
(b)に続く(c)及び(d)は、上述したようにして
被写体検出部713により得られた被写体輪郭をもと
に、その画像を評価する際の当該評価を概念的に示した
ものである。この画像評価は制御部714にて実施され
る。
【0150】先ず、上記図11(c)に示すように、被
写体検出部713により得られた被写体93の輪郭97
に囲まれた部分を、被写体の候補領域(図中の斜線部
分、以下、符号”97”で示す)と考え、その候補領域
97に外接する矩形P1(x1,y1)−P2(x2,
y2)、候補領域97の面積S、重心点G(Gx,G
y)等を候補領域97の特徴量とする。
写体検出部713により得られた被写体93の輪郭97
に囲まれた部分を、被写体の候補領域(図中の斜線部
分、以下、符号”97”で示す)と考え、その候補領域
97に外接する矩形P1(x1,y1)−P2(x2,
y2)、候補領域97の面積S、重心点G(Gx,G
y)等を候補領域97の特徴量とする。
【0151】次に、候補領域97の面積Sがある一定の
大きさTH_S以上である場合、候補領域97が実際に
被写体93であると判断する。一方、候補領域97の面
積Sがある一定の大きさTH_S以上でない場合、候補
領域97は被写体93でないと判断し、この場合の評価
点Eは”0”となる。
大きさTH_S以上である場合、候補領域97が実際に
被写体93であると判断する。一方、候補領域97の面
積Sがある一定の大きさTH_S以上でない場合、候補
領域97は被写体93でないと判断し、この場合の評価
点Eは”0”となる。
【0152】候補領域97が実際に被写体93である場
合、上記特徴量から画像の評価点Eを求める。ここで
は、例えば、次のようなルール及び算出方法に従って評
価点Eを求める。
合、上記特徴量から画像の評価点Eを求める。ここで
は、例えば、次のようなルール及び算出方法に従って評
価点Eを求める。
【0153】ルール(1)での評価:候補領域97
(被写体93の領域)の左右及び上端が画面中の一定の
範囲内にある場合、評価点Eに対して一定の値を設定す
る。一方、範囲外にある場合には、重心点G(Gx,G
y)が画面中心に近いほど高得点とする値を、評価点E
1に対して設定する。
(被写体93の領域)の左右及び上端が画面中の一定の
範囲内にある場合、評価点Eに対して一定の値を設定す
る。一方、範囲外にある場合には、重心点G(Gx,G
y)が画面中心に近いほど高得点とする値を、評価点E
1に対して設定する。
【0154】そこで、先ず、上記図11(d)に示すよ
うに、画像中において、一定の矩形F1(Fx1,F
y)−F2(Fx2,0)を設定する。F1(Fx1,
Fy)−F2(Fx2,0)での各座標点は、画像の中
心I(Ix,Iy)、定数fx,fy(上記図11
(d)中参照)を持って、 Fxl=Ix−fx Fx2=Ix+fx Fy=Iy+fy なる式で表される。尚、上記式の”fx”、”fy”
は、例えば、画面の幅w、高さHを持って、 fx=w/4 fy=H/4 なる式で表される。
うに、画像中において、一定の矩形F1(Fx1,F
y)−F2(Fx2,0)を設定する。F1(Fx1,
Fy)−F2(Fx2,0)での各座標点は、画像の中
心I(Ix,Iy)、定数fx,fy(上記図11
(d)中参照)を持って、 Fxl=Ix−fx Fx2=Ix+fx Fy=Iy+fy なる式で表される。尚、上記式の”fx”、”fy”
は、例えば、画面の幅w、高さHを持って、 fx=w/4 fy=H/4 なる式で表される。
【0155】そして、候補領域97(被写体93の領
域)に外接する矩形P1(x1,y1)−P2(x2,
y2)により、”Fx1<x1”且つ”x2<Fx2”
且つ”y1<Fy”なるルール(1)を満たす場合、 E1=(Ix×Iy)/|Gx−Ix|×|Gy−Iy| |Gx=Fx1,Gy=Fy =(Ix×Iy)/fx×fy ・・・・(1−1) なる式(1−1)に従って評価点E1を与える。
域)に外接する矩形P1(x1,y1)−P2(x2,
y2)により、”Fx1<x1”且つ”x2<Fx2”
且つ”y1<Fy”なるルール(1)を満たす場合、 E1=(Ix×Iy)/|Gx−Ix|×|Gy−Iy| |Gx=Fx1,Gy=Fy =(Ix×Iy)/fx×fy ・・・・(1−1) なる式(1−1)に従って評価点E1を与える。
【0156】また、ルール(1)を満たさない場合、 E1=(Ix×Iy)/|Gx−Ix|×|Gy−Iy| ・・・・(1−2) なる式(1−2)に従って評価点E1を求める。
【0157】上述のように、評価点Elは、候補領域9
7(被写体93の領域)が矩形F1(Fx1,Fy)−
F2(Fx2,0)の領域内にある場合には、一定のス
コア(値)となり、そうでない場合には、候補領域97
(被写体93の領域)が画像中心I(Ix,Iy)に従
ってスコアが下がるようになっている。
7(被写体93の領域)が矩形F1(Fx1,Fy)−
F2(Fx2,0)の領域内にある場合には、一定のス
コア(値)となり、そうでない場合には、候補領域97
(被写体93の領域)が画像中心I(Ix,Iy)に従
ってスコアが下がるようになっている。
【0158】ルール(2)での評価:候補領域97
(被写体93の領域)の面積Sの画像全体を占める割合
に従って(ルール(2))、評価点E2を求める。
(被写体93の領域)の面積Sの画像全体を占める割合
に従って(ルール(2))、評価点E2を求める。
【0159】この場合、評価値E2は、画像の大きさW
x,Wy、画像全体を占める被写体領域の面積の理想的
な割合Rを持って、 E2=|S/(Wx×Wy)−R| ・・・・(2−1) なる式(2−1)で表される。
x,Wy、画像全体を占める被写体領域の面積の理想的
な割合Rを持って、 E2=|S/(Wx×Wy)−R| ・・・・(2−1) なる式(2−1)で表される。
【0160】上述のようなルール(1)での評価結果
E1、及びルール(2)での評価結果E2を用いて、
最終的な評価点Eを、 E=K1×E1+K2×E2 ・・・・(3) なる式(3)によって求める。この式(3)におい
て、”K1”及び”K2”は、評価値Eが”1.0”に
なるように正規化するための係数である。これらの係数
K1及びK2や、上述したような定数fx,fy等のパ
ラメータは、例えば、ビデオカメラを製作する際に定め
る。また、任意に設定可能とすることで、評価精度の度
合いを状況に応じて変えれるようにしてもよい。
E1、及びルール(2)での評価結果E2を用いて、
最終的な評価点Eを、 E=K1×E1+K2×E2 ・・・・(3) なる式(3)によって求める。この式(3)におい
て、”K1”及び”K2”は、評価値Eが”1.0”に
なるように正規化するための係数である。これらの係数
K1及びK2や、上述したような定数fx,fy等のパ
ラメータは、例えば、ビデオカメラを製作する際に定め
る。また、任意に設定可能とすることで、評価精度の度
合いを状況に応じて変えれるようにしてもよい。
【0161】式(3)で得られた評価値Eは、上記図1
0(a)に示したようなレベルバー94や、同図(b)
に示したようなメータ95上に反映されて表示される。
例えば、ある画像の評価値Eを求め、最大値1.0に対
する割合を、レベルバー94上に表示する。これによ
り、使用者は、表示部720に表示されている画像(現
在撮影している画像や、以前に撮影して記録しておいた
画像等)に対する評価を容易に認識することができる。
0(a)に示したようなレベルバー94や、同図(b)
に示したようなメータ95上に反映されて表示される。
例えば、ある画像の評価値Eを求め、最大値1.0に対
する割合を、レベルバー94上に表示する。これによ
り、使用者は、表示部720に表示されている画像(現
在撮影している画像や、以前に撮影して記録しておいた
画像等)に対する評価を容易に認識することができる。
【0162】[ビデオカメラ700の動作]図12は、
ビデオカメラ700の動作、特に、上述した画像評価時
の動作を示したフローチャートである。このフローチャ
ートに従った動作制御が制御部717によって実行され
ることで、ビデオカメラ700は次のように動作する。
ビデオカメラ700の動作、特に、上述した画像評価時
の動作を示したフローチャートである。このフローチャ
ートに従った動作制御が制御部717によって実行され
ることで、ビデオカメラ700は次のように動作する。
【0163】先ず、操作部715から使用者によって電
源投入がなされると(ステップS800)、制御部71
4は、撮像部(ビデオカメラモジュール)711をはじ
めとする全ての各構成部分の初期化を行なう(ステップ
S801)。これにより、ビデオカメラ700は動作可
能状態となり、制御部714は、操作部715による使
用者からの撮影開始(又は再生開始)の指示を待つ。
源投入がなされると(ステップS800)、制御部71
4は、撮像部(ビデオカメラモジュール)711をはじ
めとする全ての各構成部分の初期化を行なう(ステップ
S801)。これにより、ビデオカメラ700は動作可
能状態となり、制御部714は、操作部715による使
用者からの撮影開始(又は再生開始)の指示を待つ。
【0164】制御部714は、操作部715による使用
者からの撮影開始(又は再生開始)の指示入力がなされ
ると、被写体検出部713での上述したような被写体検
出のための所定の設定(初期輪郭のためのパラメータの
設定等)の初期化を行なう(ステップS802)。この
時点では、被写体は検出されていないため、画像全体を
初期輪郭として設定されることになる(上記図11
(a)参照)。
者からの撮影開始(又は再生開始)の指示入力がなされ
ると、被写体検出部713での上述したような被写体検
出のための所定の設定(初期輪郭のためのパラメータの
設定等)の初期化を行なう(ステップS802)。この
時点では、被写体は検出されていないため、画像全体を
初期輪郭として設定されることになる(上記図11
(a)参照)。
【0165】次に、被写体検出部713は、制御部71
4により設定された初期輪郭に基づいて、上述したよう
な被写体検出方法(上記図11(a)及び(b)参照)
により被写体輪郭を検出する(ステップS803)。
4により設定された初期輪郭に基づいて、上述したよう
な被写体検出方法(上記図11(a)及び(b)参照)
により被写体輪郭を検出する(ステップS803)。
【0166】次に、制御部714は、被写体検出部71
3により検出された被写体輪郭内の領域の特徴量を抽出
する(ステップS804)。そして、制御部714は、
ステップS804により抽出した特徴量により、被写体
検出部713により検出された被写体輪郭内に実際に被
写体が存在するのか否か、すなわち検出された被写体輪
郭の領域が実際の被写体の領域であるか否かを判別する
(ステップS805)。
3により検出された被写体輪郭内の領域の特徴量を抽出
する(ステップS804)。そして、制御部714は、
ステップS804により抽出した特徴量により、被写体
検出部713により検出された被写体輪郭内に実際に被
写体が存在するのか否か、すなわち検出された被写体輪
郭の領域が実際の被写体の領域であるか否かを判別する
(ステップS805)。
【0167】ステップS805の判別の結果、被写体検
出部713により検出された被写体輪郭内の領域が実際
の被写体の領域でない場合、被写体検出に失敗したと見
なし、制御部714は、操作部106により使用者から
電源切断等による本処理を終了する指示入力がなされた
か否かを判別する(ステップS806)。
出部713により検出された被写体輪郭内の領域が実際
の被写体の領域でない場合、被写体検出に失敗したと見
なし、制御部714は、操作部106により使用者から
電源切断等による本処理を終了する指示入力がなされた
か否かを判別する(ステップS806)。
【0168】ステップS806での判別の結果、終了指
示入力がなされた場合、制御部714は、ビデオカメラ
700に対する終了処理を行なう(ステップS81
0)。これにより、本処理が終了する(ステップS81
2)。
示入力がなされた場合、制御部714は、ビデオカメラ
700に対する終了処理を行なう(ステップS81
0)。これにより、本処理が終了する(ステップS81
2)。
【0169】一方、ステップS805での判別の結果、
被写体検出部713により検出された被写体輪郭内の領
域が実際の被写体の領域である場合、被写体検出に成功
したと見なし、制御部714は、上述したようにして画
像評価(上記図11(c)及び(d)参照)を行なう
(ステップS807)。
被写体検出部713により検出された被写体輪郭内の領
域が実際の被写体の領域である場合、被写体検出に成功
したと見なし、制御部714は、上述したようにして画
像評価(上記図11(c)及び(d)参照)を行なう
(ステップS807)。
【0170】そして、制御部714は、ステップS80
7での画像評価結果(評価点E)を、フレームメモリ7
22上に書き込む。例えば、フレームメモリ722に
は、予め上記図10(a)に示したようなレベルバー9
4、或いは同図(b)に示したようなメータ95の表示
情報が格納されており、その表示情報上に評価点Eに対
応する数値を反映させる。このようなフレームメモリ7
22の情報は表示部720へと供給される。表示部72
0は、現在表示している画像(実画像又は再生画像)に
対して、フレームメモリ722の情報を重畳して表示す
る(ステップS808)。
7での画像評価結果(評価点E)を、フレームメモリ7
22上に書き込む。例えば、フレームメモリ722に
は、予め上記図10(a)に示したようなレベルバー9
4、或いは同図(b)に示したようなメータ95の表示
情報が格納されており、その表示情報上に評価点Eに対
応する数値を反映させる。このようなフレームメモリ7
22の情報は表示部720へと供給される。表示部72
0は、現在表示している画像(実画像又は再生画像)に
対して、フレームメモリ722の情報を重畳して表示す
る(ステップS808)。
【0171】次に、制御部714は、上述したステップ
S806と同様にして、操作部106により使用者から
電源切断等による本処理を終了する指示入力がなされた
か否かを判別する(ステップS809)。
S806と同様にして、操作部106により使用者から
電源切断等による本処理を終了する指示入力がなされた
か否かを判別する(ステップS809)。
【0172】ステップS809での判別の結果、終了指
示入力がなされた場合、制御部714は、ビデオカメラ
700に対する終了処理を行なう(ステップS81
0)。これにより、本処理が終了する(ステップS81
2)。
示入力がなされた場合、制御部714は、ビデオカメラ
700に対する終了処理を行なう(ステップS81
0)。これにより、本処理が終了する(ステップS81
2)。
【0173】ステップS809での判別の結果、終了指
示入力がなされていない場合、被写体検出部713は、
現在の被写体輪郭を次の時点(次フレーム)での被写体
に対する初期輪郭とするための初期輪郭設定処理を行う
(ステップS811)。その後、ステップS803へと
戻り、以降の処理を繰り返し実行する。
示入力がなされていない場合、被写体検出部713は、
現在の被写体輪郭を次の時点(次フレーム)での被写体
に対する初期輪郭とするための初期輪郭設定処理を行う
(ステップS811)。その後、ステップS803へと
戻り、以降の処理を繰り返し実行する。
【0174】尚、本実施の形態での被写体検出として、
上述した第1〜第3での被写体検出を用いる場合、上記
図12のステップS802及びS803の処理の代わり
に、上記図3のステップ202〜S205、又は上記図
5のステップ401〜S405、又は上記図8のステッ
プ602〜S605の処理を実行すればよい。
上述した第1〜第3での被写体検出を用いる場合、上記
図12のステップS802及びS803の処理の代わり
に、上記図3のステップ202〜S205、又は上記図
5のステップ401〜S405、又は上記図8のステッ
プ602〜S605の処理を実行すればよい。
【0175】上述したように、本実施の形態では、画像
中の被写体領域を検出し、その特徴量から画像を評価
し、その評価結果を画像に重畳して表示するように構成
したので、使用者は、撮影に最適な被写体の大きさ等を
容易に知ることができ、また、自分の撮影した画像の評
価を客観的に行い、他者の画像と比較することができ
る。したがって、本実施の形態によれば、良好な画像を
効率的に取得することができる。
中の被写体領域を検出し、その特徴量から画像を評価
し、その評価結果を画像に重畳して表示するように構成
したので、使用者は、撮影に最適な被写体の大きさ等を
容易に知ることができ、また、自分の撮影した画像の評
価を客観的に行い、他者の画像と比較することができ
る。したがって、本実施の形態によれば、良好な画像を
効率的に取得することができる。
【0176】(第5の実施の形態)本実施の形態では、
上述した第4の実施の形態での画像評価において、被写
体領域の色構成をも考慮する。これにより、より精度の
高い画像評価を行なう。尚、ここでは、上述した第4の
実施の形態と異なる構成についてのみ、具体的に説明す
る。
上述した第4の実施の形態での画像評価において、被写
体領域の色構成をも考慮する。これにより、より精度の
高い画像評価を行なう。尚、ここでは、上述した第4の
実施の形態と異なる構成についてのみ、具体的に説明す
る。
【0177】まず、上記図3(a)及び(b)に示した
ように、被写体検出部713により、エネルギー関数に
基づく手法等によって、被写体93の輪郭97(候補領
域97)が検出され、この候補領域が実際に被写体93
の領域である場合、この領域の特徴量から、次のように
して画像の評価点Eを求める。
ように、被写体検出部713により、エネルギー関数に
基づく手法等によって、被写体93の輪郭97(候補領
域97)が検出され、この候補領域が実際に被写体93
の領域である場合、この領域の特徴量から、次のように
して画像の評価点Eを求める。
【0178】上記特徴量としては、候補領域97(被写
体93の領域)に外接する矩形P1(x1,y1)−P
2(x2,y2)、候補領域97の面積S、重心点G
(Gx,Gy)等に加えて、候補領域97(被写体93
の領域)中の肌色領域の面積を用いる。
体93の領域)に外接する矩形P1(x1,y1)−P
2(x2,y2)、候補領域97の面積S、重心点G
(Gx,Gy)等に加えて、候補領域97(被写体93
の領域)中の肌色領域の面積を用いる。
【0179】ここでの肌色とは、画素のRGB成分の比
率が人間の肌に近い色を意味する。例えば、日本人の標
準的な肌色の画素Hjを、 Hj=(Hjr,Hjg,Hjb) とし、対象領域の画素Pを、 P=(Pr,Pg,Pb) とすると、画素Hjと、対象領域の画素Pとの色の違い
は、
率が人間の肌に近い色を意味する。例えば、日本人の標
準的な肌色の画素Hjを、 Hj=(Hjr,Hjg,Hjb) とし、対象領域の画素Pを、 P=(Pr,Pg,Pb) とすると、画素Hjと、対象領域の画素Pとの色の違い
は、
【0180】
【数1】
【0181】なる式(4)によって定義できる。
【0182】したがって、ある領域(対象領域の画素P
からなる領域)が肌色であるか否かの判断は、適当なし
きい値THcを用いて、 cosθ<THc ・・・・(5) なる条件式(5)によって行なうことができる。
からなる領域)が肌色であるか否かの判断は、適当なし
きい値THcを用いて、 cosθ<THc ・・・・(5) なる条件式(5)によって行なうことができる。
【0183】上述のような手法は、2つの色ベクトルを
比較するときに一般的に用いられる方法であり、明度の
違いを吸収するという特徴がある。式(4)に用いられ
る、日本人の標準的な肌色の画素Hjの値は、複数人の
顔画像から決定される。また、しきい値THcについて
は、実験的に求められる。また、人種による肌の違いを
考慮する場合には、複数の人種をサンプルにしてデータ
収集を行なえばよい。
比較するときに一般的に用いられる方法であり、明度の
違いを吸収するという特徴がある。式(4)に用いられ
る、日本人の標準的な肌色の画素Hjの値は、複数人の
顔画像から決定される。また、しきい値THcについて
は、実験的に求められる。また、人種による肌の違いを
考慮する場合には、複数の人種をサンプルにしてデータ
収集を行なえばよい。
【0184】したがって、本実施の形態では、候補領域
97(被写体93の領域)内の各画素値に対して、式
(4)及び(5)による肌色判断を行い、肌色であると
判断した画素の合計から、候補領域97(被写体93の
領域)での肌色領域の面積S_hを求める。
97(被写体93の領域)内の各画素値に対して、式
(4)及び(5)による肌色判断を行い、肌色であると
判断した画素の合計から、候補領域97(被写体93の
領域)での肌色領域の面積S_hを求める。
【0185】そして、候補領域97(被写体93の領
域)全体の面積Sにおいて、肌色領域S_hが占める割
合を求め、その結果に応じて、以下に説明するルール
(3)に従った評価値E3を求め、この評価値E3と、
上述したルール(1’)での評価結果E1、及びル
ール(2)での評価結果E2とから、最終的な評価値E
を求める。
域)全体の面積Sにおいて、肌色領域S_hが占める割
合を求め、その結果に応じて、以下に説明するルール
(3)に従った評価値E3を求め、この評価値E3と、
上述したルール(1’)での評価結果E1、及びル
ール(2)での評価結果E2とから、最終的な評価値E
を求める。
【0186】ルール(3)による評価 候補領域97(被写体93の領域)全体の面積Sにおい
て、肌色領域S_hが占める割合が一定割合まで、評価
点に加点する。
て、肌色領域S_hが占める割合が一定割合まで、評価
点に加点する。
【0187】この場合の評価点E3は、 E3=S_h/S (S_h<TH_Hのとき) E3=TH_H/S (それ以外の時) ・・・・(6) なる式(6)により表される。式(6)において、”T
H_H”は、被写体領域を占める肌色領域の最大値であ
り、例えば、”0.3”程度の値を設定する。
H_H”は、被写体領域を占める肌色領域の最大値であ
り、例えば、”0.3”程度の値を設定する。
【0188】したがって、本実施の形態によって得られ
る最終的な画像評価値Eは、上述したルール(1)で
の評価結果E1、及びルール(2)での評価結果E2
と、式(6)により得られる評価値E3とを用いて、 E=K1×E1+K2×E2+K3×E3 ・・・・(3’) なる式(3’)によって求まる。式(3’)におい
て、”K3”は、”K1”及び”K2”と同様に、評価
値Eが”1.0”になるように正規化するための係数で
ある。
る最終的な画像評価値Eは、上述したルール(1)で
の評価結果E1、及びルール(2)での評価結果E2
と、式(6)により得られる評価値E3とを用いて、 E=K1×E1+K2×E2+K3×E3 ・・・・(3’) なる式(3’)によって求まる。式(3’)におい
て、”K3”は、”K1”及び”K2”と同様に、評価
値Eが”1.0”になるように正規化するための係数で
ある。
【0189】上述のように、本実施の形態では、被写体
領域における肌色領域の占める割合に応じて、評価値を
求めるように構成したので、上述した第4の実施の形態
での効果に加えて、人間と仮定した被写体が正面を向い
た画像を撮影した場合に、より高精度の評価を使用者に
提示することができ、画像のより自然な評価を行なうこ
とができる、という効果がある。
領域における肌色領域の占める割合に応じて、評価値を
求めるように構成したので、上述した第4の実施の形態
での効果に加えて、人間と仮定した被写体が正面を向い
た画像を撮影した場合に、より高精度の評価を使用者に
提示することができ、画像のより自然な評価を行なうこ
とができる、という効果がある。
【0190】尚、本発明の目的は、上述した第1〜第5
の各実施の形態のホスト及び端末の機能を実現するソフ
トウェアのプログラムコードを記憶した記憶媒体を、シ
ステム或いは装置に供給し、そのシステム或いは装置の
コンピュータ(又はCPUやMPU)が記憶媒体に格納
されたプログラムコードを読みだして実行することによ
っても、達成されることは言うまでもない。この場合、
記憶媒体から読み出されたプログラムコード自体が上記
各実施の形態の機能を実現することとなり、そのプログ
ラムコードを記憶した記憶媒体は本発明を構成すること
となる。プログラムコードを供給するための記憶媒体と
しては、ROM、フロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD−ROM、CD
−R、磁気テープ、不揮発性のメモリカード等を用いる
ことができる。また、コンピュータが読みだしたプログ
ラムコードを実行することにより、上記各実施の形態の
機能が実現されるだけでなく、そのプログラムコードの
指示に基づき、コンピュータ上で稼動しているOS等が
実際の処理の一部又は全部を行い、その処理によって上
記各実施の形態の機能が実現される場合も含まれること
は言うまでもない。さらに、記憶媒体から読み出された
プログラムコードが、コンピュータに挿入された拡張機
能ボードやコンピュータに接続された機能拡張ユニット
に備わるメモリに書き込まれた後、そのプログラムコー
ドの指示に基づき、その機能拡張ボードや機能拡張ユニ
ットに備わるCPUなどが実際の処理の一部又は全部を
行い、その処理によって上記各実施の形態の機能が実現
される場合も含まれることは言うまでもない。
の各実施の形態のホスト及び端末の機能を実現するソフ
トウェアのプログラムコードを記憶した記憶媒体を、シ
ステム或いは装置に供給し、そのシステム或いは装置の
コンピュータ(又はCPUやMPU)が記憶媒体に格納
されたプログラムコードを読みだして実行することによ
っても、達成されることは言うまでもない。この場合、
記憶媒体から読み出されたプログラムコード自体が上記
各実施の形態の機能を実現することとなり、そのプログ
ラムコードを記憶した記憶媒体は本発明を構成すること
となる。プログラムコードを供給するための記憶媒体と
しては、ROM、フロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD−ROM、CD
−R、磁気テープ、不揮発性のメモリカード等を用いる
ことができる。また、コンピュータが読みだしたプログ
ラムコードを実行することにより、上記各実施の形態の
機能が実現されるだけでなく、そのプログラムコードの
指示に基づき、コンピュータ上で稼動しているOS等が
実際の処理の一部又は全部を行い、その処理によって上
記各実施の形態の機能が実現される場合も含まれること
は言うまでもない。さらに、記憶媒体から読み出された
プログラムコードが、コンピュータに挿入された拡張機
能ボードやコンピュータに接続された機能拡張ユニット
に備わるメモリに書き込まれた後、そのプログラムコー
ドの指示に基づき、その機能拡張ボードや機能拡張ユニ
ットに備わるCPUなどが実際の処理の一部又は全部を
行い、その処理によって上記各実施の形態の機能が実現
される場合も含まれることは言うまでもない。
【0191】
【発明の効果】以上説明したように本発明によれば、画
像中の被写体輪郭を検出するための初期輪郭の設定を常
に正確に行なえるため、当該被写体領域を常に正確に且
つ安定して検出することができる。
像中の被写体輪郭を検出するための初期輪郭の設定を常
に正確に行なえるため、当該被写体領域を常に正確に且
つ安定して検出することができる。
【0192】また、画像の評価結果を使用者が容易に認
識できるので、良好な状態での撮影等を効率的に行なう
ことができ、所望する画像を確実に取得することができ
る。
識できるので、良好な状態での撮影等を効率的に行なう
ことができ、所望する画像を確実に取得することができ
る。
【図1】第1の実施の形態において、本発明を適用した
ビデオカメラの構成を説明するための図である。
ビデオカメラの構成を説明するための図である。
【図2】上記ビデオカメラの被写体検出部での被写体領
域検出方法の原理を説明するための図である。
域検出方法の原理を説明するための図である。
【図3】上記ビデオカメラの動作を説明するためのフロ
ーチャートである。
ーチャートである。
【図4】第2の実施の形態において、本発明を適用した
ビデオカメラの構成を説明するための図である。
ビデオカメラの構成を説明するための図である。
【図5】上記ビデオカメラの動作を説明するためのフロ
ーチャートである。
ーチャートである。
【図6】第3の実施の形態において、本発明を適用した
ビデオカメラの構成を説明するための図である。
ビデオカメラの構成を説明するための図である。
【図7】上記ビデオカメラの被写体検出部での被写体領
域検出方法の原理を説明するための図である。
域検出方法の原理を説明するための図である。
【図8】上記ビデオカメラの動作を説明するためのフロ
ーチャートである。
ーチャートである。
【図9】第4の実施の形態において、本発明を適用した
ビデオカメラの構成を説明するための図である。
ビデオカメラの構成を説明するための図である。
【図10】上記ビデオカメラでの画像評価結果の表示を
説明するための図である。
説明するための図である。
【図11】上記ビデオカメラの被写体検出部での被写体
領域検出方法及び画像評価の原理を説明するための図で
ある。
領域検出方法及び画像評価の原理を説明するための図で
ある。
【図12】上記ビデオカメラの動作を説明するためのフ
ローチャートである。
ローチャートである。
【図13】従来の被写体領域検出方法の原理を説明する
ための図である。
ための図である。
32 被写体 100 ビデオカメラ 101 撮像部 102 表示部 103 記録再生部 104 フレームメモリ 105 被写体検出部 106 操作部 107 制御部
フロントページの続き (72)発明者 佐藤 宏明 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 Fターム(参考) 5C022 AB23 AB62 AB63 AC03 AC13 AC32 5L096 CA02 CA24 FA06 HA05
Claims (34)
- 【請求項1】 撮影画像中に存在する被写体に対して設
定された初期輪郭に基づいて、当該被写体の輪郭を検出
する被写体検出装置であって、 撮影方向が変更可能な撮影手段と、 上記撮影手段により被写体を撮影して得られた撮影画像
を表示する表示手段と、 上記撮影手段での撮影方向の変更によって、上記表示手
段により表示された撮影画像上の所定位置に設定された
所定の輪郭と、当該撮影画像中に存在する被写体とが一
致したことを入力する入力手段と、 上記入力手段での入力に基づいて、上記所定の輪郭を上
記初期輪郭として設定する設定手段とを備えることを特
徴とする被写体検出装置。 - 【請求項2】 上記所定の輪郭は、上記表示手段により
表示された撮影画像の中央に設定されることを特徴とす
る請求項1記載の被写体検出装置。 - 【請求項3】 画像中に存在する被写体に対して設定さ
れた初期輪郭に基づいて、当該被写体の輪郭を検出する
被写体検出装置であって、 上記画像を表示する表示手段と、 上記表示手段により表示された画像に対する使用者の視
線方向を検出する視線方向検出手段と、 上記視線方向検出手段での検出結果に基づいて、上記表
示手段により表示された画像中に存在する被写体に対し
て上記初期輪郭を設定する設定手段とを備えることを特
徴とする被写体検出装置。 - 【請求項4】 上記設定手段は、 上記表示手段により表示された画像において、上記視線
方向検出手段により検出された上記使用者の視線方向に
対応する位置に所定の輪郭を設定する所定輪郭設定手段
と、 上記所定輪郭設定手段により設定された所定の輪郭と、
上記画像中に存在する被写体とが一致したことを入力す
る入力手段と、 上記入力手段での入力に基づいて、上記所定の輪郭を上
記初期輪郭として設定する初期輪郭設定手段とを含むこ
とを特徴とする請求項3記載の被写体検出装置。 - 【請求項5】 撮影画像中に存在する被写体に対して設
定された初期輪郭に基づいて、当該被写体領域を検出す
る被写体検出装置であって、 被写体を撮影して撮影画像を取得する撮影手段と、 上記撮影手段の上記被写体までの距離を計測する距離計
測手段と、 上記距離計測手段での計測結果に基づいて、上記撮影手
段により得られた撮影画像中に存在する被写体に対して
上記初期輪郭を設定する設定手段とを備えることを特徴
とする被写体検出装置。 - 【請求項6】 上記距離計測手段は、上記撮影手段によ
り得られた撮影画像をブロック分割する分割手段と、当
該分割手段による各ブロックの画像毎に上記計測情報を
取得する計測情報取得手段とを含み、 上記設定手段は、上記計測情報取得手段により得られた
各ブロックの画像毎の計測情報に基づいて、上記被写体
が存在する位置に対応するブロック領域の輪郭を上記初
期輪郭として設定することを特徴とする請求項5記載の
被写体検出装置。 - 【請求項7】 上記設定手段は、同一の計測情報を有す
るブロックからなる領域の輪郭を上記初期輪郭として設
定することを特徴とする請求項6記載の被写体検出装
置。 - 【請求項8】 上記設定手段により設定された初期輪郭
内の情報に対して、複数の特徴量を引数とする評価関数
の極値検出を行なった結果から、上記被写体の輪郭を検
出する輪郭検出手段を備えることを特徴とする請求項
1、3、5の何れかに記載の被写体検出装置。 - 【請求項9】 画像中に存在する被写体の領域を検出す
る被写体領域検出手段と、 上記被写体領域検出手段により検出された被写体領域の
特徴量を抽出する特徴量抽出手段と、 上記特徴量抽出手段により抽出された特徴量に基づい
て、上記画像を評価する評価手段と、 上記評価手段での評価結果を出力する出力手段とを備え
ることを特徴とする画像処理装置。 - 【請求項10】 上記被写体領域検出手段は、請求項1
〜8の何れかに記載の被写体検出装置の機能を有し、当
該機能によって得られた被写体輪郭から被写体領域を検
出することを特徴とする請求項9記載の画像処理装置。 - 【請求項11】 上記被写体領域検出手段は、撮影して
得られた撮影画像、及び再生画像の少なくとも何れかの
画像に存在する被写体の領域を検出することを特徴とす
る請求項9記載の画像処理装置。 - 【請求項12】 上記出力手段は、表示出力機能を有す
ることを特徴とする請求項9記載の画像処理装置。 - 【請求項13】 上記出力手段は、上記評価結果を表す
図形を上記画像に重畳して表示出力することを特徴とす
る請求項9記載の画像処理装置。 - 【請求項14】 上記特徴量抽出手段は、上記被写体領
域に外接する矩形領域、上記被写体領域の重心点、上記
被写体領域の面積、及び上記被写体領域の色構成の少な
くとも何れかの情報を上記特徴量として抽出することを
特徴とする請求項9記載の画像処理装置。 - 【請求項15】 上記評価手段は、所定の条件に基づい
た上記特徴量に対する演算により、上記画像を評価する
ことを特徴とする請求項9記載の画像処理装置。 - 【請求項16】 画像中に存在する被写体を検出する機
能を有する画像処理装置であって、当該機能は、請求項
1〜8の何れかに記載の被写体検出装置の機能を含むこ
とを特徴とする画像処理装置。 - 【請求項17】 複数の機器が通信可能に接続されてな
る画像処理システムであって、 上記複数の機器のうち少なくとも1つの機器は、請求項
1〜8の何れかに記載の被写体検出装置の機能、又は、
請求項9〜16の何れかに記載の画像処理装置の機能を
有することを特徴とする画像処理システム。 - 【請求項18】 撮影画像中に存在する被写体を検出す
るための被写体検出方法であって、 撮影方向が変更可能な撮影手段により得られた撮影画像
を表示する表示ステップと、 上記表示ステップによる表示画面の所定位置に所定の輪
郭を設定する所定輪郭設定ステップと、 上記撮影手段での撮影方向の変更によって、上記表示ス
テップによる表示画面上の所定の輪郭と、当該表示画面
上の撮影画像中に存在する被写体とが一致したことを入
力する入力ステップと、 上記入力ステップでの入力に基づいて、上記所定の輪郭
を上記撮影画像中に存在する被写体に対する初期輪郭と
して設定する初期輪郭設定ステップと、 上記初期輪郭設定ステップにより設定された初期輪郭に
基づいて、上記撮影画像中に存在する被写体の輪郭を検
出する被写体輪郭検出ステップとを含むことを特徴とす
る被写体検出方法。 - 【請求項19】 上記所定輪郭設定ステップは、上記表
示ステップによる表示画面の中央に上記所定の輪郭を設
定するステップを含むことを特徴とする請求項18記載
の被写体検出方法。 - 【請求項20】 画像中に存在する被写体を検出するた
めの被写体検出方法であって、 上記画像を表示する表示ステップと、 上記表示ステップによる表示画面に対する使用者の視線
方向を検出する視線方向検出ステップと、 上記視線方向検出ステップでの検出結果に基づいて、上
記画像中に存在する被写体に対して初期輪郭を設定する
初期輪郭設定ステップと、 上記初期輪郭設定ステップにより設定された初期輪郭に
基づいて、上記画像中に存在する被写体の輪郭を検出す
る被写体輪郭検出ステップとを含むことを特徴とする被
写体検出方法。 - 【請求項21】 上記初期輪郭設定ステップは、 上記表示ステップによる表示画面において、上記視線方
向検出ステップにより検出された上記使用者の視線方向
に対応する位置に所定の輪郭を設定する所定輪郭設定ス
テップと、 上記表示ステップによる表示画面において、上記所定輪
郭設定ステップにより設定された所定の輪郭と、上記画
像中に存在する被写体とが一致したことを入力する入力
ステップと、 上記入力ステップでの入力に基づいて、上記所定の輪郭
を上記初期輪郭として設定する設定ステップとを含むこ
とを特徴とする請求項20記載の被写体検出方法。 - 【請求項22】 撮影画像中に存在する被写体を検出す
るための被写体検出方法であって、 撮影手段により被写体を撮影して撮影画像を取得する撮
影ステップと、 上記撮影手段の上記被写体までの距離を計測する距離計
測ステップと、 上記距離計測ステップでの計測結果に基づいて、上記撮
影手段により得られた撮影画像中に存在する被写体に対
して初期輪郭を設定する初期輪郭設定ステップと、 上記初期輪郭設定ステップにより設定された初期輪郭に
基づいて、上記撮影画像中に存在する被写体の輪郭を検
出する被写体輪郭検出ステップとを含むことを特徴とす
る被写体検出方法。 - 【請求項23】 上記距離計測ステップは、上記撮影手
段により得られた撮影画像をブロック分割する分割ステ
ップと、当該分割ステップにより得られた各ブロックの
画像毎に上記計測情報を取得する計測情報取得ステップ
とを含み、 上記初期輪郭設定ステップは、上記計測情報取得ステッ
プにより得られた各ブロックの画像毎の計測情報に基づ
いて、上記撮影画像上の被写体が存在する位置に対応す
るブロック領域の輪郭を上記初期輪郭として設定するス
テップを含むことを特徴とする請求項22記載の被写体
検出方法。 - 【請求項24】 上記初期輪郭設定ステップは、同一の
計測情報を有するブロックからなる領域の輪郭を上記初
期輪郭として設定するステップを含むことを特徴とする
請求項23記載の被写体検出方法。 - 【請求項25】 上記被写体輪郭検出ステップは、上記
初期輪郭設定ステップにより設定された初期輪郭内の情
報に対して、複数の特徴量を引数とする評価関数の極値
検出を行なった結果から、上記被写体の輪郭を検出する
ステップを含むことを特徴とする請求項18、20、2
2の何れかに記載の被写体検出方法。 - 【請求項26】 画像中に存在する被写体の領域を検出
する被写体領域検出ステップと、 上記被写体領域検出ステップにより検出された被写体領
域の特徴量を抽出する特徴量抽出ステップと、 上記特徴量抽出ステップにより抽出された特徴量に基づ
いて、上記画像を評価する評価ステップと、 上記評価ステップでの評価結果を出力する出力ステップ
とを含むことを特徴とする画像処理方法。 - 【請求項27】 上記被写体領域検出ステップは、請求
項18〜25の何れかに記載の被写体検出方法の処理ス
テップと、当該処理ステップの実行によって得られた被
写体輪郭から被写体領域を検出するステップとを含むこ
とを特徴とする請求項26記載の画像処理方法。 - 【請求項28】 上記被写体領域検出ステップは、撮影
して得られた撮影画像、及び再生画像の少なくとも何れ
かの画像に存在する被写体の領域を検出するステップを
含むことを特徴とする請求項26記載の画像処理方法。 - 【請求項29】 上記出力ステップは、表示出力ステッ
プを含むことを特徴とする請求項26記載の画像処理方
法。 - 【請求項30】 上記出力ステップは、上記評価結果を
表す図形を上記画像に重畳して表示出力するステップを
含むことを特徴とする請求項26記載の画像処理方法。 - 【請求項31】 上記特徴量抽出ステップは、上記被写
体領域に外接する矩形領域、上記被写体領域の重心点、
上記被写体領域の面積、及び上記被写体領域の色構成の
少なくとも何れかの情報を上記特徴量として抽出するス
テップを含むことを特徴とする請求項26記載の画像処
理方法。 - 【請求項32】 上記評価ステップは、所定の条件に基
づいた上記特徴量に対する演算により、上記画像を評価
するステップを含むことを特徴とする請求項26記載の
画像処理方法。 - 【請求項33】 請求項1〜8の何れかに記載の被写体
検出装置の機能、請求項9〜16の何れかに記載の画像
処理装置の機能、及び請求項17記載の画像処理システ
ムの機能の少なくとも何れかの機能を実施するための処
理プログラムを、コンピュータが読出可能に格納したこ
とを特徴とする記憶媒体。 - 【請求項34】 請求項18〜25の何れかに記載の被
写体検出方法の処理ステップ、及び請求項26〜32の
何れかに記載の画像処理方法の処理ステップの少なくと
も何れかの処理ステップを、コンピュータが読出可能に
格納したことを特徴とする記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28309599A JP2001111882A (ja) | 1999-10-04 | 1999-10-04 | 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28309599A JP2001111882A (ja) | 1999-10-04 | 1999-10-04 | 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001111882A true JP2001111882A (ja) | 2001-04-20 |
Family
ID=17661161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28309599A Pending JP2001111882A (ja) | 1999-10-04 | 1999-10-04 | 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001111882A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002117390A (ja) * | 2000-10-05 | 2002-04-19 | Olympus Optical Co Ltd | 画像処理装置 |
JP2010016546A (ja) * | 2008-07-02 | 2010-01-21 | Nikon Corp | 撮像装置 |
JP2010081041A (ja) * | 2008-09-24 | 2010-04-08 | Canon Inc | 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法 |
JP2010093636A (ja) * | 2008-10-09 | 2010-04-22 | Nikon Corp | 撮像装置 |
JP2012247682A (ja) * | 2011-05-30 | 2012-12-13 | Nikon Corp | 撮像装置 |
WO2013047066A1 (ja) * | 2011-09-30 | 2013-04-04 | 富士フイルム株式会社 | 追尾枠の初期位置設定装置およびその動作制御方法 |
JP2014038667A (ja) * | 2009-09-17 | 2014-02-27 | Shimizu Corp | ベッド上及び室内の見守りシステム |
JP2022106849A (ja) * | 2017-02-08 | 2022-07-20 | キヤノン株式会社 | 画像処理装置、撮像装置および制御方法 |
-
1999
- 1999-10-04 JP JP28309599A patent/JP2001111882A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002117390A (ja) * | 2000-10-05 | 2002-04-19 | Olympus Optical Co Ltd | 画像処理装置 |
JP2010016546A (ja) * | 2008-07-02 | 2010-01-21 | Nikon Corp | 撮像装置 |
JP2010081041A (ja) * | 2008-09-24 | 2010-04-08 | Canon Inc | 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法 |
JP2010093636A (ja) * | 2008-10-09 | 2010-04-22 | Nikon Corp | 撮像装置 |
JP2014038667A (ja) * | 2009-09-17 | 2014-02-27 | Shimizu Corp | ベッド上及び室内の見守りシステム |
JP2012247682A (ja) * | 2011-05-30 | 2012-12-13 | Nikon Corp | 撮像装置 |
WO2013047066A1 (ja) * | 2011-09-30 | 2013-04-04 | 富士フイルム株式会社 | 追尾枠の初期位置設定装置およびその動作制御方法 |
CN104041005A (zh) * | 2011-09-30 | 2014-09-10 | 富士胶片株式会社 | 追踪框初始位置设定设备及其操作控制方法 |
JP5612774B2 (ja) * | 2011-09-30 | 2014-10-22 | 富士フイルム株式会社 | 追尾枠の初期位置設定装置およびその動作制御方法 |
US8879794B2 (en) | 2011-09-30 | 2014-11-04 | Fujifilm Corporation | Tracking-frame initial-position setting device and method of controlling operation of same |
JP2022106849A (ja) * | 2017-02-08 | 2022-07-20 | キヤノン株式会社 | 画像処理装置、撮像装置および制御方法 |
JP7346654B2 (ja) | 2017-02-08 | 2023-09-19 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4182117B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP5090474B2 (ja) | 電子カメラおよび画像処理方法 | |
US8066375B2 (en) | Eye tracker having an extended span of operating distances | |
CN101753822B (zh) | 摄像装置和摄像装置中的图像处理方法 | |
EP2624217A1 (en) | Information presentation device, digital camera, head mount display, projector, information presentation method, and information presentation program | |
JP2022106849A (ja) | 画像処理装置、撮像装置および制御方法 | |
JP5171468B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
KR101537948B1 (ko) | 얼굴 포즈 추정을 이용한 촬영 방법 및 장치 | |
KR20120022512A (ko) | 전자 카메라, 화상 처리 장치 및 화상 처리 방법 | |
US8400532B2 (en) | Digital image capturing device providing photographing composition and method thereof | |
KR20100075167A (ko) | 얼굴인식 기능을 이용한 디지털 영상 촬영 장치 및 방법 | |
CN106257914A (zh) | 焦点检测装置和焦点检测方法 | |
JP2017103688A (ja) | 動きベクトル検出装置およびその制御方法 | |
JP2009141475A (ja) | カメラ | |
JP2021128537A (ja) | 画像処理装置および画像処理方法、プログラム並びに記憶媒体 | |
JP2001111882A (ja) | 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体 | |
US11662809B2 (en) | Image pickup apparatus configured to use line of sight for imaging control and control method thereof | |
JP3307075B2 (ja) | 撮影装置 | |
CN112148119A (zh) | 用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序 | |
US12002279B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JPH1023465A (ja) | 撮像方法及び装置 | |
JP5092093B2 (ja) | 画像処理装置 | |
JP2007259004A (ja) | デジタルカメラ、画像処理装置及び画像処理プログラム | |
JP2009278280A (ja) | 撮像装置、その制御方法及びプログラム | |
JP5383207B2 (ja) | 情報処理装置、制御方法、コンピュータプログラム、および記憶媒体 |