JP3973462B2 - 画像撮影方法 - Google Patents
画像撮影方法 Download PDFInfo
- Publication number
- JP3973462B2 JP3973462B2 JP2002074055A JP2002074055A JP3973462B2 JP 3973462 B2 JP3973462 B2 JP 3973462B2 JP 2002074055 A JP2002074055 A JP 2002074055A JP 2002074055 A JP2002074055 A JP 2002074055A JP 3973462 B2 JP3973462 B2 JP 3973462B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- main subject
- camera
- area
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Focusing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Automatic Focus Adjustment (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、カメラを用いて撮影する際、撮影領域内で抽出した被写体領域に応じて撮影条件を調整する画像撮影方法に関する。
【0002】
【従来の技術】
今日、デジタルスチルカメラ等で撮影された撮影画像をプリント画像として出力するために業者に依頼したり、また、個人の所有するプリンンタ等でプリント画像を出力して、鑑賞用画像とすることができる。このような鑑賞用画像は、主に人物を主要被写体とした画像である。
この人物を主要被写体とした鑑賞用画像を適切に得るためには、この人物を基準とした画像濃度の適正化やこの人物の適切な色再現が行われる。例えば、撮影した主要被写体である人物の肌が肌色となるように色味の補正処理を行ったり、逆光で撮影された画像に画像濃度の補正処理を行って主要被写体である人物像を適切に再現することができる。また、ストロボを発光させて撮影した際に生じる人物の赤目の色補正処理を行って、自然な人物像を再現することもできる。
【0003】
このような補正処理は、撮影された画像の中から主要被写体である人物領域の抽出、抽出された人物の顔部領域の抽出、さらに、赤目の色補正処理の場合、抽出された顔部領域の中からオペレータの指示を介しながら赤目領域の抽出を行わなければならない。
主要被写体の人物の顔部領域の抽出方法は、例えば特開平9−138471号公報において開示されている。また、特開平5−196858号公報では、主要被写体の人物の顔部領域を、主要被写体パターンとして登録した標準的な人物の顔領域と2次元パターンマッチングを行って抽出するカメラを開示している。
さらに、特開2000−76427号公報では、人物の顔部の赤目領域を正確に選択することができる画像処理方法を提供している。
【0004】
【発明が解決しようとする課題】
しかしながら、上述した特開平9−138471号公報における顔部領域の抽出は精度を必要とし、しかも、演算内容が煩雑であるため、画像焼付装置は高性能な処理能力を必要とする。
特開2000−76427号公報における赤目領域の選択は、操作者による指定を部分的に利用して行われるため、多量の画像を処理する場合手間がかかる。
いずれの場合においても、主要被写体の領域や赤目領域を抽出するために煩雑な処理を行う必要があるため、主要被写体の領域や赤目領域の効率のよい抽出ができないといった点から多量の画像を処理する実用的な焼付装置に組み込むことができない。
【0005】
一方、主要被写体の領域の抽出に基づいて撮影画像に対して行う補正処理は、画像の撮影を適切な撮影条件の下に行うことによって低減、抑制することもできる。上記特開平5−196858号公報における2次元パターンマッチングを用いて主要被写体を抽出して、この主要被写体が適切に撮影されるように露出を制御するカメラの場合、上記2次元パターンマッチングの演算量が膨大であるため、カメラに極めて高性能な処理能力を必要とする。
そのため、高性能な処理能力を実用的なカメラに持たせることはできない。
この場合においても、主要被写体の領域を効率良く抽出することはできない。
【0006】
そこで、本発明の目的は、上記問題を解決するために、2次元パターンマッチングの処理や顔部等の主要被写体を煩雑な処理を行うことなく効率よくしかも精度良く抽出し、抽出した主要被写体の画像情報および画像特徴量を用いて、撮影時の撮影条件または撮影後の画像処理条件を調整する画像撮影方法を提供する。
【0007】
【課題を解決するための手段】
上記目的を達成するために、本発明は、第1の撮影モードで撮影した後、さらに第2の撮影モードで撮影する画像撮影方法であって、前記第1の撮影モードでは、カメラを同一の位置から同一の方向に向けて、多段階の結像距離で被写体を撮影して複数の多段焦点撮影画像を得、この複数の多段焦点撮影画像の中から、カメラから被写体に至る測距データに対応した目標結像距離に最も近い結像距離で撮影された被写体の撮影画像を取得し、この撮影画像から、他の多段焦点撮影画像の対応領域に比べて鮮鋭度の高い画像領域を抽出することによって求めた被写体の被写体関連情報を前記カメラに記憶保存し、前記カメラにより前記第2の撮影モードで撮影を行う際、前記カメラに記憶保存された前記被写体関連情報を呼び出し、この被写体関連情報と適合する撮影エリア内の領域を検出し、検出された領域に応じて撮影条件を調整して撮影することを特徴とする画像撮影方法を提供する。
【0017】
また、前記カメラは前記処理画像を表示する表示部を有するのが好ましく、この表示部は、前記時系列撮影画像に対応した順番で処理画像を表示してもよい。あるいは、前記表示部は、前記時系列撮影画像の撮影順番を変更した順番で処理画像を表示してもよい。
【0018】
【発明の実施の形態】
以下、本発明の画像撮影方法を実施するカメラについて、添付の図面に示される好適実施例を基に詳細に説明する。
図1(a)は、本発明の画像撮影方法を実施するカメラ10の概略を示す概念図であり、図1(b)は図1(a)に示すカメラの要部を示したブロック図である。
【0019】
カメラ10は、撮影レンズ系12と、撮像デバイス14と、信号処理部16と、モニタ18と、制御・演算部20と、メモリ22と、ドライブ装置24と、被写体距離測定センサ28と、ストロボ光源30とを有するデジタルスチルカメラである。さらに、カメラ10はCPU26を有し、CPU26によって上記各部位の駆動が制御管理される。ここで、撮影レンズ系12と撮像デバイス14によって撮影部が形成される。カメラ10は、動画を撮影するカメラであってもよい。
【0020】
撮影レンズ系12は、画像を光学的に取り込み結像させる光学系であって、撮影被写体に合わせて結像距離を自在に変更することができる。撮影時の結像距離の情報は制御・演算部20に供給される。
撮像デバイス14は、結像される画像を光電的に読み取る受光面を備えたCCD(Charged Coupled Device)素子を有し、結像する画像を用いて蓄積時間に従って露光することで露光量に対応して値が変わる信号に変換する公知の素子である。なお、蓄積時間は後述するように制御・演算部20の指示に基づいて調整される。撮像デバイス14はCCD素子の替わりにCMOSを用いた素子を用いてもよい。
生成された画像信号は、信号処理部16に供給される。
なお、上述の結像距離とは、撮影レンズ系12の主点と撮像デバイス14の受光面との間の距離をいう。
【0021】
信号処理部16は、撮像デバイス14から供給される信号を所定のデジタルの撮影画像データに変換する部位であり、例えば、暗時補正、DCオフセット補正、シェーディング補正、ガンマ補正、カラーバランス調整等を行う。
モニタ18は、信号処理部16で生成された撮影画像データに基づいて撮影画像を表示する液晶ディスプレイ等である。
制御・演算部20は、後述する特殊撮影モードで撮影された特殊撮影画像から主要被写体の領域を抽出して主要被写体関連情報を求め、この主要被写体関連情報を記憶保存するとともに、後述する通常撮影モードにおける撮影の際、記憶保存された主要被写体関連情報を呼び出して撮影エリアから上記主要被写体を検出し、この検出した主要被写体の撮影領域に応じて撮影条件を調整する部位である。制御・演算部20は、図1(b)に示すように、撮影制御部20Aと特殊撮影画像演算部20Bを有する。詳細については後述する。
【0022】
メモリ22は、制御・演算部20で求められた主要被写体関連情報を記憶保存する部位であり、また、撮影画像を記憶保存してもよい。
ドライブ装置24は、撮影された画像をスマートメディア、PCカード、コンパクトフラッシュ(登録商標)、DVD−R等の記録媒体Mに記録保存する読み取り、書き込み装置である。被写体距離測定センサ28は、カメラ10から撮影する主要被写体までの距離を測定するセンサであり、図示されない赤外線等の光を発光する発光素子と主要被写体で反射された光を受光する受光素子とを有する。被写体測定センサ28は、撮影エリア内の主要被写体の複数の位置に光を当てて、複数点における測距データを得てもよい。赤外線の替わりに超音波を用いてもよい。
ストロボ光源30は、制御・演算部20の指示に応じて、撮影時、主要被写体を照明するために発光する公知の発光装置である。
【0023】
このようなカメラ10は、操作者の指示に応じて自在に切り替え可能な特殊撮影モードと通常撮影モードとを有する。
特殊撮影モードとは、カメラ10を同一の位置から同一の方向に向けて人物を主要被写体として撮影する際、この人物に対して多段階の結像距離で複数の画像を撮影して多段焦点撮影画像(多段フォーカス撮影画像)を得、さらに、この多段焦点撮影画像から上記人物の画像領域を合焦状態で(ピントの合った鮮鋭度の高い状態で)抽出することによって主要被写体関連情報を求めるモードである。
求められた主要被写体関連情報は上記人物の情報としてメモリ22に記憶保存される。
【0024】
より具体的に説明すると、多段焦点撮影画像から主要被写体関連情報を求める処理は、特殊撮影画像演算部20Bにおいて行う。
被写体距離測定センサ28を用いて取得されたカメラ10から主要被写体とする人物に至る測距データが特殊撮影画像演算部20Bに供給され、この測距データに対応して定まる合焦時の目標結像距離と最も近い結像距離で撮影された1つの多段焦点撮影画像内の領域であって、複数の多段焦点撮影画像の対応する領域のなかで鮮鋭度が最大となる領域を上記人物の画像領域として抽出する。すなわち、上記測距データに対応して定まる目標結像距離と最も近い結像距離の多段焦点撮影画像のうち、画素ごとの微分処理を行った微分処理結果の絶対値が、複数の多段焦点撮影画像の対応する画素の中で最大となる画素から構成される領域を主要被写体である人物の画像領域として抽出する。
【0025】
このような画像領域が複数箇所抽出された場合は、画像領域の中央部に位置する領域を優先的に選択するものであってもよいし、抽出された複数の画像領域が多段焦点撮影画像の1つとともにモニタ18に表示され、この中から操作者の指示に従って1つの画像領域が選択されるものであってもよい。
このようにして抽出された領域を主要被写体の画像領域とし、この画像領域の画像情報(画像データ)および画像特徴量を主要被写体関連情報として、メモリ22に記憶保存する。例えば、主要被写体の画像特徴量、人物であればこの画像領域の上部を顔部、顔部の下に胴体部があるものとして、顔部における髪に相当する領域の画像濃度や色味、また、人物の胴部の衣服に相当する領域の画像濃度や色味を計算して画像特徴量として記憶保存し登録する。なお、主要被写体関連情報は、画像特徴量のみで構成されるものであってもよいし、画像情報のみで構成されるものであってもよい。
【0026】
通常撮影モードとは、撮影の際、予め登録されている主要被写体関連情報である画像特徴量をメモリ22から呼び出して、この画像特徴量と適合する撮影エリア内の領域を検出し、検出された領域に応じて撮影条件、例えば、撮像デバイス14の露出時間の調整や、撮影レンズ系12の結像距離の調整(フォーカス調整)や、処理部16のカラーバランスの調整、ストロボ光源30のオンやオフやストロボの明るさの調整を行い、この撮影条件で画像を撮影し取得するモードである。
ここでいう撮影条件とは、ストロボ発光のオンやオフ、結像距離の調整等の撮影時の条件の他、撮像デバイス14から出力された信号を信号処理16で処理を行い撮影画像データとして作成されるまでの制御条件、すなわち、カラーバランス調整等の制御条件を含み、撮影時にカメラで調整可能な撮影制御条件をいう。この通常撮影モードにおける画像特徴量と適合する撮影エリア内の領域の検出、および、検出された領域に応じた撮影条件の調整は、撮影制御部20Aで主に行われる。
【0027】
図2は、カメラ10で特殊撮影モードで撮影して主要被写体関連情報を求め、この後、通常撮影モードで撮影する際の流れを説明する図である。
まず、カメラ10を同一の位置から同一の方向に向けて、しかも、主要被写体である人物に対して多段の結像距離で撮影した複数の多段焦点撮影画像(特殊撮影画像)が取得される。この多段焦点撮影画像は、信号処理部16で処理された後、制御・演算部20の特殊撮影画像演算部20Bに供給される。
特殊撮影画像演算部20Bでは、まず、複数の多段焦点撮影画像に微分処理が行われ、この微分値の大きさについて各画素毎に複数の画像間で比較が行われる。そして、主要被写体との測距データに対応して定まる目標結像距離と最も近い結像距離で撮影された画像において、他の多段焦点撮影画像の対応領域に比べて鮮鋭度が高い(取得された複数の多段焦点撮影画像の対応領域の中で鮮鋭度が最も高い)画像領域を抽出して主要被写体の領域(主要被写体領域)とされ、この主要被写体領域の画像情報から主要被写体に関する画像特徴量が算出され、主要被写体領域の画像情報とともに主要被写体関連情報としてメモリ22に記憶保存され登録される。
【0028】
一方、通常撮影モードの場合、メモリ22に記憶保存された主要被写体関連情報が呼び出され、この主要被写体関連情報と適合する撮影エリア内の領域が検出され、検出された領域に応じて撮影条件が調整される。そして、この撮影条件で撮影され通常撮影画像が得られる。
【0029】
なお、特殊撮影モードによる撮影は、家族や友人同士のパーティーや旅行等のイベントにおいて主要被写体である人物の画像特徴量が比較的一定であるため、例えば、身につける衣服等の色味や色濃度等の画像特徴量が一定であるため、この画像特徴量を利用することで、顔部の画像特徴量に比べて演算量を低減することができる。従って、イベントの最初に特殊撮影モードで撮影して主要被写体関連情報を登録したのち、通常撮影モードで撮影するとよい。このような主要被写体関連情報は、例えば、主要被写体としたい人物が複数いる場合、複数の人物を主要被写体関連情報に登録するとよい。
このようにして通常撮影モードでは、主要被写体の撮影領域を検出して撮影時の制御を高精度で行うので、通常撮影モードで撮影される画像がすべて主要被写体を基準としてピントが合い、画像濃度も適正化され、カラーバランスの調整された高画質の撮影画像を得ることができる。しかも、撮影時の制御を効率よく行うことができる。
【0030】
また、特殊撮影モードの際、主要被写体関連情報を、例えば人物の氏名や呼び名等の識別情報を用いて登録することで、通常撮影モードにおいて、主要被写体関連情報と適合した撮影エリア内の領域を、識別情報とともにモニタ18に表示させてもよい。さらに、通常撮影モードによる撮影の際、主要被写体関連情報と適合した領域を検出した場合、検出した領域と主要被写体の氏名や呼び名等の識別情報とを、撮影画像とともに記録保存しておき、後日プリント画像として出力し、また、撮影画像を整理する場合、主要被写体の識別情報をキーワードとして、この識別情報を持つ主要被写体の写っている撮影画像だけを取り出すことができ、撮影画像の整理や検索に役立てることができる。
【0031】
通常撮影モードにおいて、主要被写体の撮影領域が1つも検出されない場合、制御・演算部20が主要被写体関連情報の登録を促す旨のメッセージ信号をモニタ18上に供給し、モニタ18に表示させてもよく、また図示されないスピーカにメッセージ信号を供給し、音声で報知させてもよい。例えば、主要被写体が身につける衣服を替えたり頭髪の色を替えた場合等に対応して、主要被写体関連情報を複数登録してもよい。
また、カメラ10の撮影レンズ系10の撮影倍率が可変である場合は、撮影倍率の情報が制御・演算部20に送られ、この撮影倍率の情報が、画像特徴量と適合する主要被写体の撮影領域を検出する際に用いられる。
【0032】
上記例は、特殊撮影モードにおいて、主要被写体とする人物に対して多段階の結像距離で複数の画像を撮影して多段焦点撮影画像を特殊撮影画像として取得するものであるが、本発明においては、図3に示すように、主要被写体とする人物を撮影した画像と、この人物を撮影していない、同一の位置から同一の方向に向けて撮影した背景画像の等しい撮影画像との2つの画像を特殊撮影画像として撮影してもよい。この場合、上記2つの撮影画像の差分を求めることによって主要被写体領域を抽出し、この抽出した領域の画像情報から求めたものを主要被写体関連情報とする。例えば顔部における髪に相当する領域の画像濃度や色味、また、身につける衣服に相当する領域の画像濃度や色味を計算して求めたものである。
これによって、シーンの異なる撮影画像を撮影する場合においても、主要被写体の撮影領域を検出して撮影条件を調整するので、通常撮影モードで撮影される画像がすべて主要被写体を基準としてピントが合い、画像濃度も適正化され、カラーバランスの調整された高画質の撮影画像を得ることができる。
以上がカメラ10およびカメラ10を用いた画像撮影方法の説明である。
【0033】
次に、本発明の画像出力方法について説明する。
本発明の画像出力方法は、図4(a)に示すカメラ50と、図4(b)に示す処理システム80とを用いて行われる。
カメラ50は、撮影レンズ系52と、撮像デバイス54と、信号処理部56と、モニタ58と、特殊撮影制御部60と、メモリ62と、ドライブ装置64と、被写体距離測定センサ68と、ストロボ光源70を有する。さらに、カメラ50はCPU66を有し、このCPU66によって上記各部位の駆動が制御管理される。
【0034】
撮影レンズ系52と、撮像デバイス54と、信号処理部56と、モニタ58と、ドライブ装置64と、被写体距離測定センサ68と、ストロボ光源70は、図1(a)に示す撮影レンズ系12と、撮像デバイス14と、信号処理部16と、モニタ18と、ドライブ装置24と、被写体距離測定センサ28と、ストロボ光源30とそれぞれ同様の構成であり、構成および機能の説明は省略する。
【0035】
特殊撮影制御部60は、特殊撮影モードに切り替えられると、カメラ50を同一の位置から同一の方向に向けて、しかも、主要被写体である人物に対して異なる多段の結像距離(撮影レンズ系52の主点と撮像デバイス54の受光面との間の距離)で撮影した複数の撮影画像から成る多段焦点撮影画像(特殊撮影画像)が取得されるように、多段焦点撮影画像の撮影条件を制御する部位である。すなわち、特殊撮影制御部60は、撮影レンズ系52の結像距離を制御する。この取得された多段焦点撮影画像はメモリ62に特殊撮影画像である旨の識別情報とともに一時記憶保存される。
この時の結像距離の情報は、多段焦点撮影画像を取得する際に被写体距離測定センサ68から供給される測距データに対応して定まる目標結像距離とともに付加情報とされて、多段焦点撮影画像とともに記憶保存される。なお、メモリ62から多段焦点撮影画像を呼び出し、ドライブ装置64を介して記録媒体Mに記録保存する場合、上記結像距離の情報と上記測距データに対応して定まる目標結像距離が、付加情報として同時に記録される。また、記録保存する多段焦点撮影画像が特殊撮影画像である旨の識別情報も記録される。
【0036】
カメラ50は、特殊撮影モードとは別に、人物等の主要被写体に応じて撮影条件を調整することなく撮影する通常撮影モードを有する。この場合、通常撮影モードは、上述したカメラ10のように登録された主要被写体関連情報を用いて主要被写体の撮影領域を検出する機能を持たず、画像が所定の撮影条件で撮影される。この撮影による撮影画像はメモリ62に一時記憶保存されるとともに、ドライブ装置64を介して記録媒体Mに記録保存される。
【0037】
一方、処理システム80は、ドライブ装置81と、このドライブ装置81と接続し、特殊撮影画像演算部82、主要被写体領域抽出部84、メモリ86および画像処理演算部87を有する画像処理装置88と、この画像処理装置88と接続した出力プリンタ90およびフレキシブルディスクやZipTMやMO等の記録媒体M’に記録保存するためのドライブ装置92とを有する。なお、記録媒体M’は記録媒体Mと異なるものとしているが、同じものであってもよい。
【0038】
ドライブ装置81は、カメラ50を用いて特殊撮影モードで撮影した特殊撮影画像や通常撮影モードで撮影した通常撮影画像を記録保存した記録媒体M’から上記特殊撮影画像や上記通常の撮影画像を読み出す装置である。
多段焦点撮影画像である特殊撮影画像は、識別情報の他に、上記結像距離の情報および上記測距データに対応して定まる目標結像距離を有する付加情報とともに呼び出され、処理システム80において、上記識別情報に基づいて、画像処理装置88の特殊撮影画像演算部82に、通常撮影画像は主要被写体領域抽出部84に供給される。
なお、カメラ50で記録媒体Mに記録保存する特殊撮影画像は、撮影画像間で各画素毎に差分符号化を行って記録保存することがメモリ容量の点から好ましく、また、処理システム80に供給される場合も、この差分符号化された撮影画像が供給され復号化されることが好ましい。
【0039】
特殊撮影画像演算部82は、多段焦点撮影画像のうち、供給された測距データに対応して定まる目標結像距離と最も近い結像距離で撮影された撮影画像の中から、複数の多段焦点撮影画像の対応する領域のなかで鮮鋭度が最大となる領域を人物等の主要被写体領域として抽出する。抽出された領域の画像情報、例えば、上記人物の顔部における髪に相当する領域の画像濃度や色味、また、上記人物の胴部の衣服に相当する領域の画像濃度や色味を計算して求められる画像特徴量の情報および上記抽出された領域の画像情報を主要被写体関連情報としてメモリ86に記憶保存する。この主要被写体関連情報の算出は上述の特殊撮影画像演算部20Bの主要被写体関連情報の算出と同様である。
【0040】
主要被写体領域抽出部84は、予め記憶保存して登録された主要被写体関連情報、例えば画像特徴量をメモリ86から呼び出して、この画像特徴量と適合する領域を通常撮影画像内から検出し、検出された領域を主要被写体領域としてこの領域に応じて画像処理条件を調整する。例えば、検出された主要被写体領域の色味、色濃度を調整する色バランス調整、画像濃度調整、コントラスト調整または明るさ補正等の画像処理条件の調整を自動的に行う。
このような画像処理条件は、画像処理演算部87に供給される。
【0041】
画像処理演算部87は、上記調整された画像処理条件に基づいて画像処理を行う部位であり、調整された画像処理条件に従って、色バランス調整、画像濃度調整、コントラスト調整または明るさ補正等の公知の画像処理を行う。
また、操作者の指示によって倍率色収差の補正や歪曲収差の補正やスキャナの色ずれの補正を行い、さらに、所望のサイズのプリント画像とするために電子変倍処理を行い、さらに、画像の出力に適した画像データに変換され、出力プリンタ90またはドライブ装置92に供給される。
【0042】
出力プリンタ90は、感光材料を露光して画像処理の施された処理画像の潜像を記録した後、現像処理を行ってプリント画像を出力するプリンタやインク液滴を吐出させて画像処理の施された処理画像を記録紙に記録するインクジェットプリンタ等公知のプリンタである。
ドライブ装置92は、画像処理の施された処理画像の画像データを、CD−R、フレキシブルディスク、ZipTM、MO等の記録媒体M’に書き込むためのドライブ装置である。
なお、上記例はカメラ50から処理システム80に対して行う画像データの供給を記録媒体Mを介して行うものであるが、この他に、通信回線を介して供給されるものであってもよい。また、画像処理の施された処理画像の出力は、通信回線を介して所望のシステムに送信することで出力するものであってもよい。
【0043】
このようなカメラ50および処理システム80では、図5に示すように、多段焦点撮影画像である特殊撮影画像を特殊撮影モードにおいて取得するとともに、通常撮影モードで通常撮影画像を取得した後、記録媒体Mを介して処理システム80に供給される。
【0044】
処理システム80では、特殊撮影画像である旨の識別情報に従って、特殊撮影画像が特殊撮影画像演算部82に供給され、主要被写体関連情報が求められて登録され、メモリ86に予め記憶保存される。
次に、通常撮影画像が主要被写体領域抽出部84に供給され、メモリ86から呼び出された主要被写体関連情報と適合する領域が通常撮影画像内で検出され、検出された領域(主要被写体領域)に応じて画像処理条件が調整される。
調整された画像処理条件は、画像処理演算部87において画像処理のために用いられ、通常撮影画像に画像処理が施される。この後、出力プリンタ90からプリント画像が出力される。また、ドライブ装置92を介して記録媒体M’に書き込まれ記録保存される。
このように、画像処理装置88において、検出された主要被写体領域に応じて画像処理を施すので色味や画像濃度の制御を精度良く行うことができる。
【0045】
上記例では、カメラ50において撮影された特殊撮影画像は、多段焦点撮影画像であるが、このほかに、図3に示すような、主要被写体とする人物を撮影した画像と、この人物を撮影していない、同一の位置から同一の方向に向けて撮影した背景画像の等しい撮影画像との2つの画像を特殊撮影画像としてもよい。
また、上記例では、画像処理装置88において、カメラ50で撮影された特殊撮影画像から主要被写体関連情報を求めて登録するが、カメラ10を用いて抽出された主要被写体領域の画像情報および抽出された主要被写体領域から求められた主要被写体関連情報を画像処理装置88に供給してもよい。これによって処理システム80において通常撮影画像に対して主要被写体の検出を行うことができる。
【0046】
なお、処理システム80で主要被写体関連情報を求める際、鮮鋭度の極めて高いシャープな主要被写体の画像が抽出されるため、この画像自体をメモリ86に記録しておき、別の撮影画像の画像処理を行う際、記録されたシャープな主要被写体を合成処理に用いることもできる。
【0047】
また、特殊撮影画像は、図6に示すように、例えば、少なくとも主要被写体である人物の顔部を含み、カメラ50のストロボ発光のオンとオフの条件で同一シーンを2回撮影した2つの撮影画像とし、主要被写体関連情報は、この2つの撮影画像の差分を求めることで算出される人物の顔部の赤目領域の候補である赤目候補領域の領域情報およびこの領域の画像情報としてもよい。
【0048】
例えば、画像処理装置88において、ストロボ光源70のストロボ発光のオンとオフの条件で同一シーンを2回撮影した2つの撮影画像の差分を求める。所定の閾値で2値化処理を行うことにより、赤目領域や発光している背景領域や反射の強い金属の撮影領域が求まり、これらの領域を赤目候補領域とすることができる。
画像処理装置88は、赤目候補領域の領域情報を得た後、撮影時の撮影レンズ系52の撮影倍率情報と測距データと、赤目候補領域の面積との情報を用い、さらに、赤目候補領域のうち、並列する2領域間の距離と実際の人物の両目の間隔との対応関係を用いて、ストロボ発光のオン時の撮影画像から赤目領域を自動的に抽出する。
抽出された赤目領域に対して画像処理演算部87において赤目補正処理が行われ、処理画像が出力プリンタ90やドライブ装置92に出力される。
【0049】
この場合、赤目領域の抽出を画像処理装置88にて行うものであるが、特殊撮影画像演算部20Bを備えるカメラ10を用いて、赤目領域を抽出し、この領域情報を特殊撮影画像とともに記録保存してもよい。
このように赤目領域を自動的に抽出することができるので効率よく赤目補正処理を行うことができる。
以上が、本発明の画像出力方法の説明である。
【0050】
なお、上述したカメラ10は、また、以下の実施例のように有効に用いることができる。
カメラ10で撮影される主要被写体を、例えば、白板等の表示板に手書きによって書かれ、時間の経過に伴って追加または削除される表示板上の文字・符号とし、上記複数の撮影画像を、追加または削除される白板上の文字・符号を時系列に撮影した複数の時系列撮影画像とする。
この場合、特殊撮影画像演算部20Bは、隣り合う2つの時系列撮影画像の差分を求めることによって白板上で追加または削除される文字・符号の位置情報等の領域に関する情報とこの領域における画像情報と追加又は削除の旨の情報を主要被写体関連情報としてメモリ22に記憶保存する。さらに特殊撮影画像演算部20Bは、上記複数の時系列撮影画像の少なくとも1つの撮影画像、例えば、最後に撮影された撮影画像の表示板上の文字・符号の画像領域を、メモリ22に記憶された文字・符号の画像情報を用いて文字・符号の認識処理を行う。さらに、特殊撮影画像演算部20Bは、認識された文字・符号を所定の字体やサイズ等の文字・符号に変更したテキスト情報を取得した後、領域に関する情報を用いて所定の位置に配置してビットマップ処理を行うことで、所定の字体やサイズ等の文字・符号を画像化して処理画像を作成する。
【0051】
図7には、白板上の文字・符号を時系列に撮影した特殊撮影画像の処理の一例が示されている。
白板に、「Aaaa」、「Bbbb」、「Cccc」、「Dddd」・・・が手書きされて順次追加されている様子を順番に撮影した撮影画像(A)、(B)、(C)、(D)、(E)・・・から成る特殊撮影画像がカメラ10で取得され、この特殊撮影画像が制御・演算部20に供給されている。
【0052】
制御演算部20では、特殊撮影画像演算部20Bにおいて、隣り合う2つの時系列撮影画像、例えば撮影画像(B)と撮影画像(C)の差分を求めることによって白板上に追加される「Bbbb」の領域に関する情報とこの領域における画像情報が文字・符号の追加の旨の情報とともに、主要被写体関連情報として記憶保存される。文字・符号が削除される場合は削除の旨の情報が、文字・符号の領域情報とこの領域における画像情報とともに記憶保存される。
【0053】
このような文字・符号を主要被写体とする主要被写体関連情報は、特殊撮影画像演算部20Bに呼び出されて、文字・符号の認識処理が施され、図7に示すような文字・符号識別情報が得られる。
この文字・符号識別情報から、図8に示すような文字・符号制御データ表が作成される。例えば、文字・符号識別情報から、文字・符号の識別結果と、その文字・符号の領域の位置、文字・符号のサイズ、文字・符号の色情報が文字・符号制御データ表に自動的に書き込まれる。字体の情報は予め設定される。あるいは、文字・符号の認識処理の精度によっては、最も近似する字体が認識されて書き込まれてもよい。
図8に示す文字・符号制御データ表に記載される「出力順」とは、処理画像を出力する際、後述するように時系列の処理画像として出力する場合、その出力の順番を規定するものである。文字・符号制御データ表の初期状態では最も左に位置する「No」の欄と同じ順番が設定されている。
【0054】
このような「文字・符号」、「追加又は削除」「位置」、「サイズ」、「色」、「字体」および「出力順」の欄の情報は、モニタ18に表示され、カメラ10に備えられた図示されない入力操作系を用いて操作者の編集によって自在に修正され得る。また、文字・符号制御データ表を行単位で削除、追加、コピー等の修正を行うこともできる。
【0055】
画像処理は、複数の時系列撮影画像の少なくとも1つの撮影画像、例えば、最後に撮影された撮影画像において表示されている文字・符号の領域の画像情報が、上記文字・符号制御データ表に従った大きさ、色、字体を持つ文字・符号のテキスト情報によって置換されて配置され、さらに、配置されたテキスト情報を画像情報とするビットマップ処理が施され、モニタ18に処理画像として出力(画像表示)される。
【0056】
このような画像の出力は、時系列に表示する順番が定まった時系列の処理画像を出力するものであってもよい。
例えば、操作者によって編集された文字・符号制御データ表の「出力順」の欄の順番に従って処理画像を出力する。このような処理画像は、記録媒体Mに一旦記録保存された後、プロジェクタ等の画像表示用として用いられてもよいし、カメラ10の出力端子から出力され、接続されているプロジェクタやモニタの入力画像として、画像表示に用いられてもよい。なお、上記文字・符号制御データ表に、文字・符号の濃度や太さを情報として加えてもよい。なお、図8における文字・符号制御データ表の「出力順」の欄の「削除」は出力されないことを意味する。
【0057】
上記例では、手書きされた文字・符号の画像情報を少なくとも所定の字体のテキスト情報の文字・符号で置き換えて清書するものであるが、文字・符号の画像情報の色情報又は濃度情報を修正、変更した画像情報と置き換えたものであってもよい。また、文字・符号のサイズを変更するように画像情報を修正、変更してもよい。
【0058】
このような特殊撮影画像の処理は、すべてカメラ10において行うものであるが、上述したカメラ50で特殊撮影画像を取得した後、処理システム80の画像処理装置88において、文字・符号を主要被写体とする主要被写体関連情報を求め、上述した文字・符号の認識処理およびビットマップ処理を行って、プリント画像として出力し、あるいはドライブ装置92を介して記録媒体M’に出力してもよい。
例えば、文字・符号の領域に関する情報、この領域における画像情報および追加又は削除の旨の情報を主要被写体関連情報としてメモリ86に記憶保存し、画像処理装置88の画像処理演算部87において、上述した文字・符号の識別処理およびビットマップ処理を行って処理画像を作成するとよい。この処理システム80は、例えばパーソナルコンピュータを用いて構成される。
このような実施例では、会議等の打ち合わせで用いる白板上に手書きされる内容、議事録を容易に清書して複製することができる。
【0059】
以上、本発明の画像撮影方法について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【0060】
【発明の効果】
以上、詳細に説明したように、本発明によれば、いずれの実施例においても、従来の2次元パターンマッチング等の煩雑な処理を行うことなく効率よく主要被写体の領域を抽出することができる。これによって、撮影条件や画像処理条件を精度良く制御し、所望の撮影画像を得、また所望の処理画像を得ることができる。
【図面の簡単な説明】
【図1】 (a)および(b)は本発明のカメラの一実施例の概略の構成を示すブロック図である。
【図2】 本発明の画像撮影方法の一実施例の流れを説明する図である。
【図3】 本発明の画像撮影方法の他の実施例の流れを説明する図である。
【図4】 (a)は本発明のカメラの他の実施例の概略の構成を示すブロック図であり、(b)は本発明の画像出力方法の一実施例を行う処理システムの概略の構成を示すブロック図である。
【図5】 本発明の画像出力方法の一実施例の流れを説明する図である。
【図6】 本発明の画像出力方法の他の実施例の流れを説明する図である。
【図7】 本発明のカメラで実施される処理の流れを説明する図である。
【図8】 図7に示す処理で作成される文字・符号制御データ表の一例を示す図である。
【符号の説明】
10,50 カメラ
12,52 撮影レンズ系
14,54 撮像デバイス
16,56 信号処理部
18,58 モニタ
20 制御・演算部
20A 撮影制御部
20B,82 特殊撮影画像演算部
22,62,86 メモリ
24,64 ドライブ装置
26,66 CPU
28,68 被写体距離測定センサ
30,70 ストロボ光源
60 特殊撮影制御部
81,92 ドライブ装置
84 主要被写体領域抽出部
87 画像処理演算部
88 画像処理装置
90 出力プリンタ
Claims (1)
- 第1の撮影モードで撮影した後、さらに第2の撮影モードで撮影する画像撮影方法であって、
前記第1の撮影モードでは、
カメラを同一の位置から同一の方向に向けて、多段階の結像距離で被写体を撮影して複数の多段焦点撮影画像を得、この複数の多段焦点撮影画像の中から、カメラから被写体に至る測距データに対応した目標結像距離に最も近い結像距離で撮影された被写体の撮影画像を取得し、
この撮影画像から、他の多段焦点撮影画像の対応領域に比べて鮮鋭度の高い画像領域を抽出することによって求めた被写体の被写体関連情報を前記カメラに記憶保存し、
前記カメラにより前記第2の撮影モードで撮影を行う際、前記カメラに記憶保存された前記被写体関連情報を呼び出し、この被写体関連情報と適合する撮影エリア内の領域を検出し、検出された領域に応じて撮影条件を調整して撮影することを特徴とする画像撮影方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002074055A JP3973462B2 (ja) | 2002-03-18 | 2002-03-18 | 画像撮影方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002074055A JP3973462B2 (ja) | 2002-03-18 | 2002-03-18 | 画像撮影方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003274271A JP2003274271A (ja) | 2003-09-26 |
JP2003274271A5 JP2003274271A5 (ja) | 2005-04-07 |
JP3973462B2 true JP3973462B2 (ja) | 2007-09-12 |
Family
ID=29203556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002074055A Expired - Fee Related JP3973462B2 (ja) | 2002-03-18 | 2002-03-18 | 画像撮影方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3973462B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050140801A1 (en) * | 2003-08-05 | 2005-06-30 | Yury Prilutsky | Optimized performance and performance for red-eye filter method and apparatus |
JP2005151282A (ja) | 2003-11-18 | 2005-06-09 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法、およびプログラム |
JP2005202469A (ja) * | 2004-01-13 | 2005-07-28 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法、およびプログラム |
JP5318321B2 (ja) * | 2004-08-05 | 2013-10-16 | パナソニック株式会社 | 撮像装置 |
JP4747571B2 (ja) * | 2004-12-15 | 2011-08-17 | カシオ計算機株式会社 | 撮像装置及びプログラム |
JP4772544B2 (ja) * | 2005-04-27 | 2011-09-14 | 富士フイルム株式会社 | 撮像装置、撮像方法、及びプログラム |
JP4603974B2 (ja) * | 2005-12-28 | 2010-12-22 | 株式会社春光社 | コンテンツ注目評価装置及びコンテンツ注目評価方法 |
JP4946332B2 (ja) * | 2006-10-04 | 2012-06-06 | 株式会社ニコン | 情報処理プログラム、および情報処理装置 |
US8718336B2 (en) | 2007-03-30 | 2014-05-06 | Fujifilm Corporation | Image correction apparatus, image correction method, skin diagnosis method, and computer program product |
JP4984300B2 (ja) * | 2007-03-30 | 2012-07-25 | 富士フイルム株式会社 | 画像補正装置、画像補正方法、およびプログラム |
EP2139225B1 (en) * | 2007-04-23 | 2015-07-29 | Sharp Kabushiki Kaisha | Image picking-up device, computer readable recording medium including recorded program for control of the device, and control method |
JP4940164B2 (ja) * | 2008-02-07 | 2012-05-30 | オリンパス株式会社 | 撮像装置及び撮像方法 |
JP4788792B2 (ja) * | 2009-03-11 | 2011-10-05 | カシオ計算機株式会社 | 撮像装置、撮像方法、及び撮像プログラム |
JP2011193443A (ja) | 2010-02-16 | 2011-09-29 | Ricoh Co Ltd | 物体追尾装置 |
US8971628B2 (en) | 2010-07-26 | 2015-03-03 | Fotonation Limited | Face detection using division-generated haar-like features for illumination invariance |
-
2002
- 2002-03-18 JP JP2002074055A patent/JP3973462B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003274271A (ja) | 2003-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4511821B2 (ja) | 画像中の重要領域決定方法、プログラムおよび装置 | |
JP3973462B2 (ja) | 画像撮影方法 | |
US7206022B2 (en) | Camera system with eye monitoring | |
JP4373828B2 (ja) | 特定領域検出方法、特定領域検出装置、およびプログラム | |
JP4709147B2 (ja) | デジタル画像から赤目現象を除去するシステム及びその方法 | |
US8488847B2 (en) | Electronic camera and image processing device | |
US7940965B2 (en) | Image processing apparatus and method and program storage medium | |
JP4078334B2 (ja) | 画像処理装置および画像処理方法 | |
US20100302595A1 (en) | Image Reproducing Apparatus And Imaging Apparatus | |
JP2005094571A (ja) | 赤目補正機能を有するカメラ | |
JP2003344021A (ja) | 画像中の人の顔の寸法を計算する方法及び顔を検出する方法 | |
JP2005303991A (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
JP2005102175A (ja) | デジタルカメラ | |
JP2005092759A (ja) | 画像処理装置、画像処理方法、および赤目検出方法ならびにプログラム | |
JP2005026800A (ja) | 画像処理方法、撮像装置、画像処理装置及び画像記録装置 | |
JP2007189428A (ja) | インデックス画像出力装置及びインデックス画像出力プログラム | |
CN1694508A (zh) | 数码相机 | |
JP2004247983A (ja) | 撮影装置及び画像処理装置並びに画像処理プログラム | |
JP2005322220A (ja) | 特定領域検出方法、特定領域検出装置、およびプログラム | |
US20030223006A1 (en) | Image pickup apparatus, main subject determination apparatus and image processor | |
JP2005275447A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4259742B2 (ja) | 画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体 | |
JP5293422B2 (ja) | 画像特定装置及び画像特定プログラム | |
JP4734207B2 (ja) | 撮像装置 | |
JP2006018805A (ja) | 特定領域検出方法、特定領域検出装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060913 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070612 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3973462 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |