JP3733392B2 - 画像の構図変化検出方法 - Google Patents
画像の構図変化検出方法 Download PDFInfo
- Publication number
- JP3733392B2 JP3733392B2 JP04702596A JP4702596A JP3733392B2 JP 3733392 B2 JP3733392 B2 JP 3733392B2 JP 04702596 A JP04702596 A JP 04702596A JP 4702596 A JP4702596 A JP 4702596A JP 3733392 B2 JP3733392 B2 JP 3733392B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- composition change
- detection method
- change detection
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、例えば電子スチルカメラといった自動焦点撮像装置で被写体を追尾する際に用いられる画像の構図変化検出方法に関し、特に、焦点レンズを通じて結像される画像をその照度に応じた電気信号に変換する光電変換センサと、前記電気信号に含まれる高周波成分量の指標となる焦点評価値を算出し、その焦点評価値に基づいて、前記焦点レンズを移動させて画像の合焦を確立させる焦点合わせ機構とを備える自動焦点撮像装置に用いられるものに関する。
【0002】
【従来の技術】
従来、自動焦点撮像装置では、画像の中央位置に区画された焦点評価範囲に捕えられた被写体に基づいて、焦点レンズの合焦状態が調整されていた。
【0003】
【発明が解決しようとする課題】
従来の自動焦点撮像装置では、焦点評価範囲が画面の中央に固定されていたことから、被写体が画面の中央から画像隅に移動して焦点評価範囲から外れてしまうと、焦点評価範囲に含まれる背景(または前景)に焦点合わせが行われた。その結果、撮影者が本当に焦点を合わせたい主被写体には焦点が合わず、主被写体がピンぼけ状態で撮像されることがあった。
【0004】
このような欠点を克服するために、撮影者が焦点を合わせたい主被写体をジョイスティックを用いて指定したり、撮影者の視点を検出することによって自動的に主被写体を追尾したりする手法が提案されている。しかしながら、これらの手法では、被写体追尾に用いる特別なハードウェアを自動焦点撮像装置の機構に追加する必要がある。
【0005】
本発明は、上記実情に鑑みてなされたもので、特別なハードウェアを用いることなく、画面の構図変化を的確に把握し、被写体を追尾し続けることができる画像の構図変化検出方法を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するために、第1発明の画像の構図変化検出方法は、主被写体に対して合焦が確立された画像の構図変化を検出する画像の構図変化検出方法であって、光電変換センサを用いて、焦点レンズを通じて結像される画像の照度に応じた電気信号を得る工程と、画像を複数個の細分化領域に分割する工程と、分割された細分化領域ごとに、前記電気信号に含まれる高周波成分量の指標となる焦点評価値および画像の明るさの指標となる明るさ値を算出する工程と、主被写体に対して合焦が確立された合焦時の焦点評価値および明るさ値を参照値として保存する工程と、被写体距離区分に従って細分化領域を分類する工程と、主被写体が属する細分化領域を基準に被写体距離区分ごとに異なる重み量を割り当てる工程と、前記合焦後に得られた焦点評価値および明るさ値を前記参照値と比較して焦点評価値変化および明るさ値変化を算出する工程と、焦点評価値変化および明るさ値変化に対して前記重み量を用いて重み付け加算して指標値を算出し、該指標値が任意の閾値より大きい場合に画像の構図変化があると検出する工程とを含むことを特徴とする。
【0007】
第1発明に係る方法によれば、画像の複数個の細分化領域に基づいて合焦状態の指標となる焦点評価値を算出するので、画像の様々な位置で焦点レンズの合焦位置を指定することができる。その結果、画像内を主被写体が移動しても、その主被写体に焦点を合わせ続けることができる。しかも、主被写体が属する細分化領域を基準に重み付けが行われるので、前景や背景のノイズには影響されずに、主被写体の変化に敏感な検出を達成することができる。
【0008】
また、第2発明によれば、第1発明に係る画像の構図変化検出方法において、前記焦点評価値に基づいて細分化領域ごとに被写体距離を算出する工程と、算出された被写体距離に基づいて細分化領域を範囲分けする工程と、範囲分けの結果に基づいて主被写体が属する細分化領域を特定する工程とを備えることを特徴とする。
【0009】
第2発明に係る方法によれば、細分化された画像の中から、主被写体が属する細分化領域を確実に選別することができる。一旦主被写体が特定されれば、その後、その主被写体を追尾しながら焦点レンズの合焦状態を維持することもできる。
【0010】
さらに、第3発明によれば、第1および第2発明に係る画像の構図変化検出方法において、前記重み付けでは、主被写体を含む細分化領域と、その細分化領域に隣接する細分化領域であって、主被写体と同距離にあると判断された被写体を含む細分化領域とに対して同一の重み量が設定されることを特徴とする。その結果、主被写体が画像に占める大きさが異なっても、精度よく主被写体の変化や移動を検出することができる。
【0011】
さらにまた、第4発明によれば、第1〜第3発明に係る画像の構図変化検出方法において、前記重み付けでは、少なくとも焦点レンズの焦点距離または絞り量に応じて前記重み量を変化させることを特徴とする。かかる方法によれば、焦点評価を粗く行っても十分に焦点レンズの合焦を得ることができる深い被写界深度の場合や、焦点評価を細かく行わないと十分な焦点レンズの合焦を得ることができない浅い被写界深度の場合でも、効率よく構図変化を検出することができる。したがって、無駄な焦点レンズの移動を回避することもできる。
【0012】
さらにまた、第5発明によれば、第1〜第4発明に係る画像の構図変化検出方法において、前記被写体距離区分の大きさは、少なくとも焦点レンズの焦点距離または絞りに基づいて変化させられることを特徴とする。かかる方法によれば、焦点評価を粗く行っても十分に焦点レンズの合焦を得ることができる深い被写界深度の場合や、焦点評価を細かく行わないと十分な焦点レンズの合焦を得ることができない浅い被写界深度の場合でも、効率よく構図変化を検出することができる。したがって、無駄な焦点レンズの移動を回避することもできる。
【0013】
さらにまた、第6発明によれば、第1〜第5発明に係る画像の構図変化検出方法において、前記重み付けでは、主被写体と同距離にあると判断された被写体を含む細分化領域の中で、互いに隣接して塊合った細分化領域群と、孤立した細分化領域とが区別されることを特徴とする。その結果、主被写体以外の画像情報の影響をできる限り回避して、主被写体の追尾や構図変化の検出を一層確実に行うことができる。
【0014】
さらにまた、第7発明によれば、第1〜第6発明に係る画像の構図変化検出方法において、前記参照値は、合焦が確立された画像に後続する複数枚の画像の明るさおよび焦点評価値の平均値からなることを特徴とする。このように複数枚の画像の平均値を参照値として採用することによって、蛍光灯のフリッカーや手ぶれ等による構図変化の影響を回避することができる。
【0015】
さらにまた、第8発明によれば、第1〜第7発明に係る画像の構図変化検出方法において、構図変化が検出された場合に、前合焦時のレンズ位置を含む部分範囲で焦点レンズを移動させ、移動の結果得られる焦点評価値に基づいて細分化領域ごとに被写体距離を算出し、算出された被写体距離に基づいて細分化領域を範囲分けし、範囲分けの結果に基づいて主被写体が属する細分化領域を再度特定することを特徴とする。かかる方法によれば、主被写体が移動しても確実にその主被写体に焦点を合わせ続けることができる。また、構図変化の検出後、主被写体を再度検出し直すので、例えば主被写体が他の被写体と入れ替わったとしてもその場面に最も適した被写体を主被写体として選別することができる。
【0016】
さらにまた、第9発明によれば、第8発明に係る画像の構図変化検出方法において、前記部分範囲は、少なくとも焦点レンズの焦点距離または絞りに基づいて決定されることを特徴とする。その結果、焦点合わせを実行中に撮像が行われたとしても、ぼけ状態を最小限に抑えた画像を撮像することが可能となる。
【0017】
さらにまた、第10発明によれば、第1〜第7発明に係る画像の構図変化検出方法において、構図変化が検出された場合に、前合焦時の画像の複数画素の色情報と、構図変化検出時の画像の対応複数画素の色情報との相関から被写体の移動量を検出し、検出された移動量に基づいて主被写体が属する細分化領域を再度特定することを特徴とする。かかる方法によれば、主被写体が移動しても確実にその主被写体に焦点を合わせ続けることができる。
【0018】
【発明の実施の形態】
以下、添付図面を参照しつつ本発明の好適な実施形態を説明する。
【0019】
図1は本発明の第1実施形態に係る自動焦点撮像装置の概略的な全体構成を示す。自動焦点撮像装置としての電子スチルカメラSCは、適切なレンズ位置で被写体OBを捕らえる焦点レンズ10と、焦点レンズ10を通じて結像される画像をその照度に応じた電気信号に変換する光電変換センサとしてのCCD11とを備える。CCD11で捕らえられた画像は、例えばA/D変換器12等でデジタル化され、メモリカードといった記録媒体13に記録される。
【0020】
焦点レンズ10の合焦は焦点合わせ機構14によって確立される。この焦点合わせ機構14は、CCD11の駆動信号を供給するCCDドライバ15と、焦点レンズ10を光軸に沿って前後に移動させるレンズ駆動機構16と、これらCCDドライバ15およびレンズ駆動機構16を制御するコントローラ17とを備える。コントローラ17の制御下で、CCDドライバ15からの駆動信号に従って、画像の各画素ごとの照度に応じた大きさの電流がシリアルな信号系列としてCCD11から出力される。
【0021】
CCD11から出力された信号系列は増幅器18によって増幅される。増幅された電気信号は、A/D変換器19によって線形にデジタル信号に変換される。領域分割器20は、画像を複数個の細分化領域に分割し、変換で得られたデジタル信号が細分化領域ごとに区別することができるようにデジタル信号を出力する。出力されたデジタル信号は、明るさ評価器21および焦点評価器22に供給される。明るさ評価器21は、供給されたデジタル信号に基づいて、分割された細分化領域ごとに、画像の明るさの指標となる明るさ値を算出する。焦点評価器22は、供給されたデジタル信号に基づいて、分割された細分化領域ごとに、電気信号に含まれる高周波成分量の指標となる焦点評価値を算出する。この焦点評価値は、画素ごとの高周波成分量が細分化領域内で総和されることによって得られる。焦点評価値が最大値をとる焦点レンズ10のレンズ位置で、コントローラ17は焦点レンズ10の合焦を推定する。この合焦の推定は、ピンぼけ状態にある画像に比べて合焦状態にある画像では電気信号の高周波成分量が多くなるといった原理に基づく。
【0022】
コントローラ17は、プログラムメモリ23に記憶されたプログラムに従って、供給された焦点評価値および明るさ値を処理する。コントローラ17には、画像の合焦時の焦点評価値および明るさ値を参照値として保存する参照値メモリ24と、算出された様々なデータを保存するデータメモリ25と、少なくとも焦点レンズ10の焦点距離または絞りに基づいて被写界深度を検出する被写界深度検出器26とが接続されている。なお、本実施形態では、プログラムメモリ23、参照値メモリ24およびデータメモリ25を別個に設けたが、これらの用途に共通して1個のメモリ装置を用いることもできる。また、被写界深度の検出には、被写界深度検出器を用いずに、レンズ位置によって予め決められている焦点距離や、明るさによって予め決められている絞り量を用いて、コントローラ17での演算処理を利用することもできる。
【0023】
次に図3に示すフローチャートを参照しつつ本実施形態に係る画像の構図変化検出方法を説明する。撮像が開始されると、第1ステップS1で全域スキャン動作を通じて最初の被写体選別が実行される。この全域スキャン動作では、最近点から無限遠まで焦点レンズ10が少なくとも1回移動させられ、この移動を通じて画像の構図の中から主被写体が選別される。主被写体が選別されると、第2ステップS2で、画像の焦点合わせが実行される。この焦点合わせによって、選別された主被写体に対する焦点レンズ10の合焦が確立される。合焦が確立された時点で撮影者が撮像を行えば(第3ステップS3)、画像は記録媒体13(図1参照)に記録される。その後、再び撮像を行う場合には第1ステップS1に復帰する。
【0024】
合焦後、撮影者が非撮像状態を保持すると、第4ステップS4で構図変化の検出動作が実行される。この検出動作では、被写体の移動や姿勢変化といった画像の構図変化を検出することによって、選別された主被写体に対する合焦が維持されることが企図される。例えば、画像の中央に位置していた主被写体が画像隅に移動したり、新たな被写体が画像に導入されて主被写体が入れ替わったり、画像の中央に位置する主被写体が焦点レンズ10の光軸方向に沿って前後に移動したりすることが簡単に検出される。
【0025】
第5ステップS5で構図変化はないと判断されると、第3ステップS3に戻って撮像終了か否かが判断される。撮像が終了するまで、構図変化の検出動作は繰り返し継続的に実行される。一方で、構図変化があったと判断されると、第6ステップS6に進んで、部分スキャン動作を通じて再度被写体選別が実行される。この部分スキャン動作では、前合焦時のレンズ位置を含む部分範囲、例えば、レンズ位置の前後方向に均等に広がるレンズ移動範囲で、焦点レンズ10が移動させられる。この部分範囲の大きさは、少なくとも焦点レンズ10の焦点距離や絞りに代表される被写界深度に基づいて決定される。例えば被写界深度が深ければ移動量は大きく設定され、被写界深度が浅ければ移動量は小さく設定される。
【0026】
このように部分スキャン動作を通じて再度被写体選別を実行するので、画像の構図変化に応じた適切な主被写体を常に追尾し続けることが可能となる。しかも、被写界深度に応じて移動量が設定されることから、焦点合わせ中の画像のぼけを少なく抑えることができ、主被写体の再選別をも迅速に実行することが可能となる。
【0027】
図4を参照しつつ全域スキャンによる被写体選別動作を詳述する。第1ステップT1で、コントローラ17は、レンズ駆動機構16を通じて最近点から無限遠まで焦点レンズ10を一定速度で移動させる。この移動の最中、コントローラ17は、一定の時間間隔で、CCD11から画像の照度に応じた電気信号を繰り返し出力させる。焦点評価器22は、出力された電気信号から高周波成分量の指標となる焦点評価値を算出する。明るさ評価器21は、同様に、画像の明るさの指標となる明るさ値を算出する。これらの焦点評価値や明るさ値は、領域分割器20の働きによって、細分化領域ごとに得られる。すなわち、時間軸に沿った複数枚の画像ごとに各細分化領域の焦点評価値および明るさ値が得られる。
【0028】
第2ステップT2で、コントローラ17は、合焦状態の検出に基づいて、細分化領域ごとに被写体距離を算出する。コントローラ17は、各細分化領域の焦点評価値が最大値をとるレンズ位置をデータメモリ25に記憶する。例えば、図5に示す画像を撮像する場合を想定する。画像GGは、領域分割器20によって複数の格子状細分化領域G(1、1)〜G(8、6)に分割されている。距離算出によって、図6に示す被写体距離データが得られることとなる。
【0029】
第3ステップT3では、コントローラ17は、被写体距離に基づいて、主被写体が属する細分化領域を特定する。コントローラ17は、まず、同一の被写体距離を目安に画像を範囲分けする。範囲分けの結果に基づいて、コントローラ17では、同一の被写体距離を有する細分化領域G(2、3)〜G(4、5)に囲まれて該被写体距離を有する細分化領域G(4、3)が選び出される。
【0030】
図7を参照しつつ焦点合わせ動作を詳述する。第1ステップP1で、コントローラ17は、選び出された細分化領域G(4、3)の被写体距離付近で焦点レンズ10を移動させる。この移動中、CCD11から電気信号を出力させ、焦点評価器22から焦点評価値を出力させる(第2ステップP2)。出力された焦点評価値に基づいて、焦点評価値の最大値を示すレンズ位置を算出し、第3ステップP3で、そのレンズ位置に焦点レンズ10を移動させる。レンズ位置の検出には、レンズの移動範囲全体にわたって連続的に焦点評価値を全て算出して最大値を検出する手法を採用することもできれば、焦点評価値の減少するレンズ位置を検出して、そのレンズ位置に達するまでに確立された最大値を示すレンズ位置まで焦点レンズを戻すといった手法を採用することもできる。合焦後、焦点レンズ10の移動は停止される。
【0031】
続いて、コントローラ17は、後続する構図変化の検出動作に備えて、合焦時の焦点評価値および明るさ値を参照値として参照値メモリ24に記憶する。参照値を記憶させるにあたっては、合焦が確立された画像に後続する複数枚の画像の明るさ値および焦点評価値の平均値を用いることが好ましい。平均値を採用することによって、合焦時の蛍光灯のフリッカーや手ぶれ等の影響を除去することが可能となる。
【0032】
図8を参照しつつ構図変化の検出動作を詳述する。第1ステップQ1で、コントローラ17は、被写体距離区分に従って細分化領域を分類する。いま、例えば、主被写体が属する細分化領域G(3、4)と、主被写体と同距離にあると判断された被写体を含む細分化領域の中で細分化領域G(3、4)に隣接して塊合った細分化領域群(図6の太線内)とを第1カテゴリーCL1に分類する(図9参照)。この第1カテゴリーは、主被写体を捕らえるとともに、その大きさを把握するのに役立つ。次に、主被写体と同距離にあると判断された被写体を含む細分化領域は第2カテゴリーCL2に分類される。ただし、孤立した細分化領域G(1、6)は、第2カテゴリーCL2に分類された細分化領域とは区別される。この第2カテゴリーCL2によって、主被写体に準ずる準被写体を捕らえることができる。最後に、第1および第2カテゴリーCL1、CL2のいずれにも分類されなかった細分化領域を第3カテゴリーCL3に分類する(図9では空欄部分)。区別された細分化領域G(1、6)にはこの第3カテゴリーCL3が付される。なお、被写体距離区分の大きさは被写界深度に応じて決定される。
【0033】
第2ステップQ2で、コントローラ17は、被写体距離区分CL1、CL2、CL3ごとに、焦点評価値の重み量WF1、WF2、WF3と明るさ値の重み量WY1、WY2、WY3とを設定する。第1カテゴリーCL1の細分化領域には最大の重み量が割り当てられ、第2カテゴリーCL2には、第1カテゴリーCL1の重み量よりも小さい重み量が割り当てられ、第3カテゴリーCL3には、最小の重み量が割り当てられる。各重み量は、被写界深度に応じて変化させられる。すなわち、被写界深度は焦点距離fの2乗に比例するとともに絞りFに反比例することから、重み量はW=a+bf2 /Fから決定される。ここで、aおよびbは適当な常数である。こうして、主被写体が属する細分化領域を基準に被写体距離区分ごとに異なる重み付けが行われることとなる。
【0034】
第3ステップQ3で、コントローラ17は、被写体距離区分CL1、CL2、CL3ごとに焦点評価値変化F1、F2、F3と明るさ値変化Y1、Y2、Y3とを求める。焦点評価値変化は、合焦後に得られた焦点評価値を参照値メモリ24の焦点評価値参照値と比較して算出される。各細分化領域ごとに焦点評価値と参照値との差が算出され、算出された差が総和されて焦点評価値変化となる。同様に、明るさ値変化は、合焦後に得られた明るさ値を参照値メモリ24の明るさ値参照値と比較して算出される。
【0035】
第4ステップQ4では、コントローラ17は、重み量や焦点評価値変化、明るさ値変化に基づいて構図変化の指標値Sを算出する。この指標値Sは、例えば、
【数1】
に従って算出される。ここで、WYは、焦点評価値に対する明るさの重みを示す。第5ステップQ5で、算出された指標値Sが任意の閾値Rより大きいと判断されると、第6ステップQ6に進んで構図変化が検出される。算出された指標値Sが閾値R以下であれば、第7ステップQ7に進んで構図変化はないこととされる。このように、重み量並びに焦点評価値変化および明るさ値変化に基づいて構図変化は検出される。
【0036】
図3の第6ステップS6の動作に代えて、図10に示す被写体追尾動作を実行してもよい。この被写体追尾動作では、まず、準備ステップV1で、図7の第4ステップP4で行った参照値の記憶に加えて、主被写体が属する細分化領域G (4、3)内の複数個の画素の合焦時のRGB値が参照値として参照値メモリ24に記憶される。複数個の画素は、例えば図11に示すように、等間隔に設置される。このとき、細分化領域G(3、4)を囲む細分化領域では、細分化領域G(3、4)の所定の位置に対応する位置の画素が選び出され、その画素のRGB値が併せて参照値メモリ24に記憶される。
【0037】
第2ステップV2では、参照値がとられた各画素ごとに現RGBデータが採取される。第3ステップV3では、各画素ごとに現RGBデータと全ての画素の参照値との差が求められる。例えば、現RGBデータが採取された画素のx軸方向に2個、y軸方向に1個移動した位置に存在する画素の参照値に対する現RGBデータの偏差が一番小さければ、Diff[2、1]にその偏差が記憶される。第4ステップV4では、現RGBデータと参照値との差が一番小さい画素が集計される。この画素に対するベクトルが移動ベクトルとして求められる。第5ステップV5では、主被写体が属する細分化領域から移動ベクトル分変位された細分化領域が選び出される。
【0038】
かかる被写体追尾動作によれば、検出された被写体の移動方向および移動量に基づいて焦点合わせが行われることから、被写体が一方の画像隅から他方の画像隅まで移動してもその被写体に焦点を合わせ続けることができる。その結果、一旦被写体を捕らえてしまえば、前景や背景の変化や、他の被写体が画像に侵入するといった変化に関係なく、被写体を追い続けることができる。
【0039】
【発明の効果】
以上のように本発明によれば、画像の構図変化を精度よく確実に検出することが可能となり、その結果、撮影者が撮像したいと判断される被写体に焦点を合わせ続けることが可能となる。
【図面の簡単な説明】
【図1】 本発明の第1実施形態に係る電子スチルカメラの概略的な全体構成図である。
【図2】 焦点合わせ機構の全体構成を示すブロック図である。
【図3】 撮像動作の手順を示すフローチャートである。
【図4】 被写体選別動作の手順を示すフローチャートである。
【図5】 画像の一具体例を示す図である。
【図6】 細分化領域ごとの被写体距離を示す図である。
【図7】 焦点合わせ動作の手順を示すフローチャートである。
【図8】 構図変化の検出動作の手順を示すフローチャートである。
【図9】 分類された細分化領域を示す図である。
【図10】 被写体追尾動作の手順を示すフローチャートである。
【図11】 RGBデータを用いた被写体追尾動作を説明する図である。
【符号の説明】
10 焦点レンズ、11 光電変換センサとしてのCCD、14 焦点合わせ機構、15 CCDドライバ、16 レンズ駆動機構、17 コントローラ、21 明るさ評価器、22 焦点評価器、24 参照値メモリ。
Claims (10)
- 主被写体に対して合焦が確立された画像の構図変化を検出する画像の構図変化検出方法であって、
光電変換センサを用いて、焦点レンズを通じて結像される画像の照度に応じた電気信号を得る工程と、
画像を複数個の細分化領域に分割する工程と、
分割された細分化領域ごとに、前記電気信号に含まれる高周波成分量の指標となる焦点評価値および画像の明るさの指標となる明るさ値を算出する工程と、
主被写体に対して合焦が確立された合焦時の焦点評価値および明るさ値を参照値として保存する工程と、
被写体距離区分に従って細分化領域を分類する工程と、
主被写体が属する細分化領域を基準に被写体距離区分ごとに異なる重み量を割り当てる工程と、
前記合焦後に得られた焦点評価値および明るさ値を前記参照値と比較して焦点評価値変化および明るさ値変化を算出する工程と、
焦点評価値変化および明るさ値変化に対して前記重み量を用いて重み付け加算して指標値を算出し、該指標値が任意の閾値より大きい場合に画像の構図変化があると検出する工程とを含む画像の構図変化検出方法。 - 請求項1に記載の画像の構図変化検出方法において、前記焦点評価値に基づいて細分化領域ごとに被写体距離を算出する工程と、算出された被写体距離に基づいて細分化領域を範囲分けする工程と、範囲分けの結果に基づいて主被写体が属する細分化領域を特定する工程とを備えることを特徴とする画像の構図変化検出方法。
- 請求項1または2に記載の画像の構図変化検出方法において、前記重み付けでは、主被写体を含む細分化領域と、その細分化領域に隣接する細分化領域であって、主被写体と同距離にあると判断された被写体を含む細分化領域とに対して同一の重み量が設定されることを特徴とする画像の構図変化検出方法。
- 請求項1〜3のいずれかに記載の画像の構図変化検出方法において、前記重み付けでは、少なくとも焦点レンズの焦点距離または絞り量に応じて前記重み量を変化させることを特徴とする画像の構図変化検出方法。
- 請求項1〜4のいずれかに記載の画像の構図変化検出方法において、前記被写体距離区分の大きさは、少なくとも焦点レンズの焦点距離または絞りに基づいて変化させられることを特徴とする画像の構図変化検出方法。
- 請求項1〜5のいずれかに記載の画像の構図変化検出方法において、前記重み付けでは、主被写体と同距離にあると判断された被写体を含む細分化領域の中で、互いに隣接して塊合った細分化領域群と、孤立した細分化領域とが区別されることを特徴とする画像の構図変化検出方法。
- 請求項1〜6のいずれかに記載の画像の構図変化検出方法において、前記参照値は、合焦が確立された画像に後続する複数枚の画像の明るさおよび焦点評価値の平均値からなることを特徴とする画像の構図変化検出方法。
- 請求項1〜7のいずれかに記載の画像の構図変化検出方法において、構図変化が検出された場合に、前合焦時のレンズ位置を含む部分範囲で焦点レンズを移動させ、移動の結果得られる焦点評価値に基づいて細分化領域ごとに被写体距離を算出し、算出された被写体距離に基づいて細分化領域を範囲分けし、範囲分けの結果に基づいて主被写体が属する細分化領域を再度特定することを特徴とする画像の構図変化検出方法。
- 請求項8に記載の画像の構図変化検出方法において、前記部分範囲は、少なくとも焦点レンズの焦点距離または絞りに基づいて決定されることを特徴とする画像の構図変化検出方法。
- 請求項1〜7のいずれかに記載の画像の構図変化検出方法において、構図変化が検出された場合に、前合焦時の画像の複数画素の色情報と、構図変化検出時の画像の対応複数画素の色情報との相関から被写体の移動量を検出し、検出された移動量に基づいて主被写体が属する細分化領域を再度特定することを特徴とする画像の構図変化検出方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04702596A JP3733392B2 (ja) | 1996-03-05 | 1996-03-05 | 画像の構図変化検出方法 |
US08/736,640 US6067114A (en) | 1996-03-05 | 1996-10-24 | Detecting compositional change in image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04702596A JP3733392B2 (ja) | 1996-03-05 | 1996-03-05 | 画像の構図変化検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09243904A JPH09243904A (ja) | 1997-09-19 |
JP3733392B2 true JP3733392B2 (ja) | 2006-01-11 |
Family
ID=12763644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04702596A Expired - Lifetime JP3733392B2 (ja) | 1996-03-05 | 1996-03-05 | 画像の構図変化検出方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6067114A (ja) |
JP (1) | JP3733392B2 (ja) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11136568A (ja) * | 1997-10-31 | 1999-05-21 | Fuji Photo Film Co Ltd | タッチパネル操作式カメラ |
KR100247938B1 (ko) * | 1997-11-19 | 2000-03-15 | 윤종용 | 영상처리 시스템의 디지탈 초점 조절방법 및 장치 |
JP4018218B2 (ja) * | 1997-12-25 | 2007-12-05 | キヤノン株式会社 | 光学装置及び測距点選択方法 |
US7106376B1 (en) * | 1998-10-22 | 2006-09-12 | Flashpoint Technology, Inc. | Method and system for improving image quality of portrait images using a focus zone shift |
US20030013137A1 (en) * | 2001-03-13 | 2003-01-16 | Barak Larry S. | Automated methods of detecting receptor activity |
WO2002099753A1 (fr) * | 2001-06-05 | 2002-12-12 | Sony Corporation | Processeur d'images |
US7262798B2 (en) * | 2001-09-17 | 2007-08-28 | Hewlett-Packard Development Company, L.P. | System and method for simulating fill flash in photography |
JP4696429B2 (ja) * | 2001-09-19 | 2011-06-08 | ソニー株式会社 | 撮像装置 |
JP3797543B2 (ja) * | 2001-10-26 | 2006-07-19 | 富士写真フイルム株式会社 | 自動焦点調節装置 |
US7053953B2 (en) * | 2001-12-21 | 2006-05-30 | Eastman Kodak Company | Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image |
JP2003244520A (ja) * | 2002-02-20 | 2003-08-29 | Minolta Co Ltd | 撮影装置 |
US7006764B2 (en) * | 2002-11-12 | 2006-02-28 | Eastman Kodak Company | User interface for controlling cropping in electronic camera |
US6907194B2 (en) | 2002-11-12 | 2005-06-14 | Eastman Kodak Company | Camera having continuously cropping viewfinder |
US7561793B2 (en) * | 2002-11-12 | 2009-07-14 | Eastman Kodak Company | User interface for controlling cropping in electronic camera |
US7046924B2 (en) * | 2002-11-25 | 2006-05-16 | Eastman Kodak Company | Method and computer program product for determining an area of importance in an image using eye monitoring information |
US7327890B2 (en) * | 2002-12-20 | 2008-02-05 | Eastman Kodak Company | Imaging method and system for determining an area of importance in an archival image |
US20040123131A1 (en) * | 2002-12-20 | 2004-06-24 | Eastman Kodak Company | Image metadata processing system and method |
US7423679B2 (en) * | 2002-12-20 | 2008-09-09 | Eastman Kodak Company | Imaging system having extended useful latitude |
US7301562B2 (en) * | 2003-02-06 | 2007-11-27 | Eastman Kodak Company | Imaging system with delayed verification image presentation |
US6801719B1 (en) * | 2003-03-14 | 2004-10-05 | Eastman Kodak Company | Camera using beam splitter with micro-lens image amplification |
JP4533593B2 (ja) * | 2003-04-09 | 2010-09-01 | 富士フイルム株式会社 | 撮像装置 |
US7310477B2 (en) * | 2003-08-26 | 2007-12-18 | Eastman Kodak Company | Photographic film cartridge or cassette systems with microlens |
US7705908B2 (en) * | 2003-12-16 | 2010-04-27 | Eastman Kodak Company | Imaging method and system for determining camera operating parameter |
US20050134719A1 (en) * | 2003-12-23 | 2005-06-23 | Eastman Kodak Company | Display device with automatic area of importance display |
JP2005269604A (ja) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | 撮像装置、撮像方法、及び撮像プログラム |
US20050212950A1 (en) * | 2004-03-26 | 2005-09-29 | Chinon Kabushiki Kaisha | Focal length detecting method, focusing device, image capturing method and image capturing apparatus |
US8659619B2 (en) | 2004-03-26 | 2014-02-25 | Intellectual Ventures Fund 83 Llc | Display device and method for determining an area of importance in an original image |
KR101022476B1 (ko) * | 2004-08-06 | 2011-03-15 | 삼성전자주식회사 | 디지털 촬영 장치에서의 자동 포커싱 방법, 및 이 방법을채용한 디지털 촬영 장치 |
US20060044399A1 (en) * | 2004-09-01 | 2006-03-02 | Eastman Kodak Company | Control system for an image capture device |
US20060125928A1 (en) * | 2004-12-10 | 2006-06-15 | Eastman Kodak Company | Scene and user image capture device and method |
JP5161435B2 (ja) * | 2006-06-26 | 2013-03-13 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理システム、コンピュータの制御方法及びプログラム |
JP4720673B2 (ja) * | 2006-08-16 | 2011-07-13 | 株式会社ニコン | 被写体追尾装置およびカメラ |
JP4821460B2 (ja) * | 2006-06-28 | 2011-11-24 | 株式会社ニコン | オートフォーカス装置、およびカメラ |
WO2008001575A1 (fr) | 2006-06-28 | 2008-01-03 | Nikon Corporation | Dispositif de localisation, dispositif de mise au point automatique et appareil photographique |
US7609958B2 (en) * | 2006-08-01 | 2009-10-27 | Eastman Kodak Company | Automatic focus system calibration for image capture systems |
TWI312902B (en) * | 2006-09-01 | 2009-08-01 | Primax Electronics Ltd | An auto focus method for image having two objects |
JP4429328B2 (ja) * | 2007-02-09 | 2010-03-10 | キヤノン株式会社 | 自動合焦装置とその制御方法並びに撮像装置 |
JP4967992B2 (ja) * | 2007-10-30 | 2012-07-04 | 株式会社ニコン | 画像認識装置及び焦点検出装置並びに撮像装置 |
US8218877B2 (en) * | 2008-12-23 | 2012-07-10 | National Chiao Tung University | Tracking vehicle method by using image processing |
JP5339955B2 (ja) * | 2009-02-17 | 2013-11-13 | キヤノン株式会社 | 焦点調節装置及び焦点調節方法 |
TW201219955A (en) * | 2010-11-08 | 2012-05-16 | Hon Hai Prec Ind Co Ltd | Image capturing device and method for adjusting a focusing position of an image capturing device |
CN104041005B (zh) * | 2011-09-30 | 2015-12-23 | 富士胶片株式会社 | 追踪框初始位置设定设备及其操作控制方法 |
US9258462B2 (en) * | 2012-04-18 | 2016-02-09 | Qualcomm Incorporated | Camera guided web browsing based on passive object detection |
JP2014126612A (ja) * | 2012-12-25 | 2014-07-07 | Canon Inc | 撮像装置およびその制御方法 |
ES2529068B1 (es) * | 2013-07-16 | 2015-12-22 | Universitat Rovira I Virgili | Método de calibración para mejorar la velocidad de autoenfoque en cámaras digitales |
JP5855054B2 (ja) * | 2013-08-08 | 2016-02-09 | キヤノン株式会社 | 焦点調節装置及び焦点調節方法 |
JP2016046676A (ja) * | 2014-08-22 | 2016-04-04 | 株式会社リコー | 撮像装置および撮像方法 |
US9686463B2 (en) * | 2015-03-10 | 2017-06-20 | Qualcomm Incorporated | Systems and methods for continuous auto focus (CAF) |
JP2016028298A (ja) * | 2015-10-07 | 2016-02-25 | 株式会社ニコン | 焦点調節装置、撮像装置 |
CN114972336B (zh) * | 2022-07-26 | 2022-10-21 | 启东先和丝杠制造有限公司 | 基于颜色分割的丝杆螺纹烧伤检测图像增强方法及*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2209446B (en) * | 1987-09-02 | 1992-09-30 | Canon Kk | Automatic focusing device |
US5187585A (en) * | 1989-08-19 | 1993-02-16 | Canon Kabushiki Kaisha | Image sensing apparatus with settable focus detection area |
JP2749921B2 (ja) * | 1989-12-29 | 1998-05-13 | キヤノン株式会社 | 撮像装置 |
EP0473462B1 (en) * | 1990-08-31 | 1997-01-15 | Victor Company Of Japan, Ltd. | Imaging device with automatic focusing function |
US5920349A (en) * | 1990-11-05 | 1999-07-06 | Canon Kabushiki Kaisha | Image pickup device |
JP3412174B2 (ja) * | 1992-05-21 | 2003-06-03 | 松下電器産業株式会社 | 自動露光制御装置 |
-
1996
- 1996-03-05 JP JP04702596A patent/JP3733392B2/ja not_active Expired - Lifetime
- 1996-10-24 US US08/736,640 patent/US6067114A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH09243904A (ja) | 1997-09-19 |
US6067114A (en) | 2000-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3733392B2 (ja) | 画像の構図変化検出方法 | |
US5877809A (en) | Method of automatic object detection in image | |
CN103888645B (zh) | 摄像设备及用于控制摄像设备的方法 | |
US8605942B2 (en) | Subject tracking apparatus, imaging apparatus and subject tracking method | |
KR100276681B1 (ko) | 비디오 카메라 시스템 | |
RU2531632C2 (ru) | Устройство захвата изображения, способ управления для устройства захвата изображения и носитель информации | |
CN105740757A (zh) | 变焦控制装置、摄像设备和变焦控制装置的控制方法 | |
CN105744149A (zh) | 变焦控制装置、摄像设备和变焦控制装置的控制方法 | |
JP2008009340A (ja) | オートフォーカス装置、撮像装置及びオートフォーカス方法 | |
JP2009147757A (ja) | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム | |
CN104219455A (zh) | 成像装置、检测闪烁的方法以及信息处理单元 | |
JP4612750B2 (ja) | デジタルカメラ及び撮影方法並びに記憶媒体 | |
JP2006279807A (ja) | 手ぶれ補正装置 | |
JP2009009072A (ja) | カメラの動的フォーカスゾーン | |
CN102104734B (zh) | 摄像设备及其控制方法 | |
US10156695B2 (en) | Image processing apparatus and image processing method | |
JP2010154306A (ja) | 撮像制御装置、撮像制御プログラム及び撮像制御方法 | |
JP4567538B2 (ja) | 露出量算出システムならびにその制御方法およびその制御プログラム | |
JP2008042227A (ja) | 撮像装置 | |
JPH03149512A (ja) | フォーカス制御回路 | |
JP2603212B2 (ja) | カメラにおける自動追尾装置 | |
US20200007780A1 (en) | Apparatus and method | |
JP3143540B2 (ja) | 合焦情報検出装置 | |
JP3116422B2 (ja) | カメラ制御装置 | |
JPH07107367A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050623 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050816 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20050912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050912 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081028 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091028 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101028 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101028 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111028 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111028 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121028 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121028 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131028 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |