JP2007124665A - カメラ用のプログラム可能なアンチエイリアシングシステムおよび方法 - Google Patents

Abstract

【課題】 カメラのぼかし量をユーザが適切に制御する。
【解決手段】 カメラ１００用のプログラム可能なアンチエイリアシングシステムであって、カメラ１００により少なくとも１つの画像を特徴付けるアンチエイリアシング論理回路１７０と、アンチエイリアシング論理回路１７０と動作可能に関連付けられ、前記特徴付けられた画像に基づいてカメラ１００による画像捕捉操作中に様々な程度のぼかしを導入する光学制御装置１７５とを含んでなるシステムを提供する。
【選択図】 図１

Description

本発明は、一般にカメラに関し、より詳細にはカメラ用のプログラム可能なアンチエイリアシングシステムおよび方法に関する。

従来のフィルムカメラ、およびより最近ではデジタルカメラは、価格と操作の両方において、プロの写真家が使用する高性能一眼レフ（ＳＬＲ）カメラから誰でも比較的容易に使用することができる安価な「簡単操作」カメラまで幅広く市販されている。しかしながら、デジタルカメラは、従来のフィルムカメラと異なり、光（即ち光子）を電荷に変換する画像捕捉（キャプチャ）電子回路を含む。撮影しているシーンのデジタル画像を生成するために、各フォトセル（すなわち、画素）に蓄積された電荷が読み取られ使用される。

一般に、デジタルカメラの解像度は画素数によって制限される。滑らかな線を表現するのに十分な画素をカメラが備えていない場合は、個々の線がぎざぎざに見え（例えば、「段階」状）、および／または画像全体がざらついて見えることがある。更に、ハイコントラストな領域および／またはきめ細かい領域内の個々の画素の色は、個々の画素によって示される原色と違って表現され、写真に「カラースポット」として現われることがある。これらの望ましくない影響は、デジタル写真技術ではエイリアシング（またカラーエイリアシング）として知られる。

カメラは、アンチエイリアシングフィルタも利用可能である。アンチエイリアシングフィルタは、画素にあたる光をずらして画像をわずかに「ぼかし（ｂｌｕｒ）」、それにより、例えばぎざぎざした線を滑らかに見せたり色を混ぜたりすることによってエイリアシングを減少させる。しかしながら、ユーザは、ぼけの程度を制御することができず、したがって、ユーザが特定の写真に望む画像シャープさが実現されないことがある。更に、アンチエイリアシングフィルタで導入するぼかしを多くしすぎると、カメラが動いていたり揺れたりしている場合に画像がぼけすぎる場合がある。

上記に説明したように、カメラのぼかしの程度や量をユーザが適切に制御することが難しい。

カメラ用のプログラム可能なアンチエイリアシングの例示的な実施形態をシステムとして実施することができる。このシステムは、カメラにおいて少なくとも１つの画像の特徴を決定するアンチエイリアシング論理回路を含みうる。システムは、アンチエイリアシング論理回路と動作可能に関連付けられた光学制御装置も含みうる。光学制御装置は、特徴付けられた画像に基づいてカメラによる画像捕捉（キャプチャ）操作中に様々な量のぼかしを導入する。

別の例示的な実施形態において、カメラ用のプログラム可能なアンチエイリアシングを方法として実施することができ、この方法は、少なくとも１つの画像の既存のエイリアシングの特徴を決定し、少なくとも１つの画像の既存のぼけの特徴を決定し、少なくとも１つの画像のエイリアシングと既存のぼけに基づいてカメラによる画像捕捉操作中にぼかしを導入することを含む。

簡単に言うと、例えばデジタル画像に現れるぎざぎざしたエッジまたはカラースポットなどのエイリアシングの影響を減少させるカメラ用のプログラム可能なアンチエイリアシングのシステムおよび方法を実施することができる。本明細書に示すシステムおよび方法は、例えば、カメラの動き、カメラ設定、ユーザ基本設定などに基づいて様々な程度のアンチエイリアシングを実施する。

例示的なシステムは、先行画像を使用して既存のぼけの特徴を決定し、特定の画像のエイリアシングの量を調整するアンチエイリアシング論理回路を含みうる。例えば、カメラが比較的静かに保持されている場合はアンチエイリアシングを大きくし、カメラが「揺れている」または別様に動いている場合はアンチエイリアシングを小さくする。

（例示的なシステム）
図１は、プログラム可能なアンチエイリアシングを実施することができる例示的なカメラシステムのハイレベルの図である。カメラシステムには、現在既知あるいは今後開発される可能性のあるデジタルスチル写真およびビデオカメラがある。例示的なカメラシステム１００は、先行画像の既存のぼけの特徴を決定し、既存のぼけと任意に他の因子（例えば、カメラ設定および／またはユーザ基本設定）に基づいてアンチエイリアシングの程度を調整する論理回路を含む。

例示的なカメラシステム１００は、（例えば、画像露出のために）シャッタ１５５が開かれたときにシーン１４５内の１以上の対象物１４０からイメージセンサ１５０上に反射された光１３０を集束させるために、カメラシステム１００内に配置されたレンズ１２０を含む。例示的なレンズ１５０は、シーン１２５からイメージセンサ１５０上に反射された光１３０を集束する任意の適切なレンズである。

例示的なイメージセンサ１５０は、複数の感光セルとして実施され、各セルは、受けた光に応じて電荷を蓄積する。任意の所定の画素の蓄積された電荷は、露光の強さと継続時間に比例する。例示的なイメージセンサ１５０は、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）センサを含むがこれに限定されない。

カメラシステム１００は、画像処理論理回路１６０も含みうる。デジタルカメラにおいて、画像処理論理回路１６０は、イメージセンサ１５０が捕捉した光１３０を表す電気的信号をイメージセンサ１５０から受け取り、シーン１４５のデジタル画像を生成する。

図１に示すようなシャッタ、イメージセンサおよび画像処理論理回路は、カメラおよび写真技術の分野においてはよく理解されている。これらの構成要素は、本明細書の教示を熟知した後に、当業者によってカメラシステム１００に容易に提供されることができるので、さらに詳しい説明は不要である。

カメラシステム１００は、アンチエイリアシング論理回路１７０も含みうる。アンチエイリアシング論理回路１７０は、画像処理論理回路１６０と動作可能に関連付けられている。動作中、アンチエイリアシング論理回路１７０は、画像処理論理回路から１以上の先行画像を受け取り、その先行画像を使用して、先行画像内の既存のぼけとエイリアシングに少なくともある程度基づいて、画像に適用する場合にそのアンチエイリアシングの量を決定する。

先行画像を使用することによって、レンズ品質、ズームおよび／または絞り設定に関する知識と全く関係なく、既存のぼけとエイリアシングを決定することができる。先行画像は、合焦、自動露出およびフラッシュの事前計算のためにカメラによって既に取得された先行画像および／または既存のぼけの量を決定するための専用の先行画像のうちの１以上の先行画像でありうる。本明細書において先行画像に関する例を検討するが、アンチエイリアシングが、先行画像と共に使用することに限定されないことを注意されたい。例えば、ユーザが捕捉した画像を使用することもできる。

先行画像を特徴付けることに加えて、アンチエイリアシングの量を決定するために他の因子が考慮されることがある。例えば、アンチエイリアシング論理回路１７０は、カメラ設定モジュール１８０から入力も受け取る。カメラ設定モジュール１８０は、カメラシステム１００の工場設定および／またはユーザ設定を含みうる。例えば、工場設定は、ズーム値、絞り設定および焦点設定の異なる組み合わせにおけるレンズ解像度（または、ぼけ）に関する事前に記憶された情報を含む。他の例示的な因子には、ユーザ基本設定（例えば、所望の画像シャープさ）、カメラモード（例えば、フラッシュ点灯）、動作モード（例えば、焦点距離）、および／または撮影シーン（例えば、照明レベル）があるがこれらに限定されない。

撮影する画像にアンチエイリアシングを施すように決定された場合、アンチエイリアシング論理回路１７０は、光学制御装置１７５に対して信号を出すことができる。信号は、所望のアンチエイリアシングを達成するために、画像捕捉操作中に所望の量のぼかしを導入するように光学制御装置１７５を「プログラム」する。これに応じて、光学制御装置１７５は、画像捕捉操作中に１以上の光学素子を動かすかまたは移動させ、それにより画像をぼけさせる。

例として、プログラム可能な光学制御装置１７５は、露出期間の少なくとも一部分であり、レンズ１２０、イメージセンサ１５０および／または他の光学素子を動かすかまたは移動させる。動きまたは移動の量と時間は、例えば、どの光学素子を動かしまたは移動させるかなど、設計考慮事項に少なくともある程度依存する。例えば、動きまたは移動の量は、露出時間のすべてまたは一部分にわたる画素の一部分またはそれより大きな部分でもよく、導入するぼかしの量に基づく。

説明を続ける前に、上記の図１に関して示し説明したカメラシステム１００が、プログラム可能なアンチエイリアシングを実施することができるカメラシステムの単なる例示であることに注意されたい。本明細書に示したシステムと方法は、単にカメラシステム１００と共に使用することに限定されない。プログラム可能なアンチエイリアシングを実施することができるカメラの他の実施形態も意図されている。

図２は、（例えば、図１に示したカメラシステム１００のアンチエイリアシング論理回路１７０として）カメラに実装することができる例示的なアンチエイリアシング論理回路２００の機能ブロック図である。アンチエイリアシング論理回路２００を実装して、所望のアンチエイリアシングを達成するために画像の露出中に導入すべきぼかしがあれば、その量を決定することができる。

例示的な実施形態において、アンチエイリアシング論理回路２００は、アナライザ２１０を含む。アナライザ２１０は、（例えば、図１に関して前に述べた画像処理論理回路１６０から）１以上の先行画像２２０を受け取る。アナライザ２１０は、工場設定され、および／またはユーザ設定されたカメラ設定、ユーザ識別、ならびに他のカメラに関する情報（例えば、焦点距離）および／または撮影シーンに関する情報（例えば、周囲光レベル）などがあるが、これらに限定されない他の入力２２５も受け取ることができる。

アナライザ２１０は、先行画像２２０を分析し、必要に応じて他方の入力２２５の一部または全てを分析して、既存のぼけとエイリアシングの特徴を決定する。例示的な実施形態において、アナライザ２１０は、コンパレータとして実施される。例えば、所望のぼけがＢｄであり、修正前の予想ぼけがＢｄより少ない場合、アンチエイリアシング論理回路２００は、ぼけがＢｄになるように十分なぼかしを導入するように光学制御装置に信号を送る。一方、予想ぼけがＢｄより大きい場合、アンチエイリアシング論理回路２００は、生じるぼけが多くならないように光学制御装置を無効にする。代替として、アナライザをテーブル（例えば、図３の例示的なデータを参照）と共に実施することができ、その場合、テーブル入力は、ズーム、絞り、焦点や他のカメラ設定、および先行画像の分析による情報のうちの１以上のものであり、テーブル内の対応するエントリは、光学制御装置に信号を送ってぼけを引き起こすために使用される。

１以上の画像からの予想されるぼけの特徴を決定する技術はよく知られている。そのような技術は、一般に、第１の画像（または、ビデオフレーム）内の少なくとも１つの画素（ピクセル）を第２の画像（または、ビデオフレーム）内の少なくとも１つの画素と比較して、２つのフレーム間の違いを識別することを含む。このプロセスは、連続した１対のフレームに繰り返されて、シーンの背景に対する画像のぼけの特徴がほぼ実時間で決定される。スチルカメラに適用されるとき、そのような技術は、例えばビデオのプレビューモード、焦点、自動露出、および／または特にアンチエイリアシングのために得られるような先行画像に実行されることがある。

画素の比較は、様々な方法で実行することができる。例えば、画素ごとの明るさ（輝度）の違いの大きさが計算される。あるいは、画素ごとの相関（逓倍）が実行される。比較した画素が、２つのデジタルプレビューフレーム内の対応する位置にある場合に、フレーム間にぼけがあるという指示を推論することができる。

また、画像のエイリアシングの特徴付ける技術もよく理解されている。例えば、高周波情報がほとんどない画像は、（もしあっても）エイリアシングがほとんど現れないことがある。一方、先行画像にハイコントラストで多数の高周波エッジがある場合は、画像は著しいエイリアシングを示すことがある。

また、先行画像２２０を特定のタイプのエイリアシングに関して特徴付けることができる。例えば、ほぼ水平な線がある場合は、垂直方向のエイリアシングがあり、（例えば、１以上の光学素子を垂直方向に移動させることにより）アンチエイリアシングのためにぼかしが導入される。同様に、ほぼ垂直な線がある場合は、水平方向のエイリアシングがあり、（例えば、１以上の光学素子を水平方向に移動させることにより）アンチエイリアシングのためにぼかしが導入される。先行画像は、カラーエイリアシングのために分析されることもある。例えば、先行画像がカラースポットを含む場合は、カラーアンチエイリアシングのためにぼかしが導入される。

アナライザ２１０は、特徴を決定した先行画像２２０に基づいて所望のアンチエイリアシングを行うために、画像捕捉操作中に導入すべきぼかしの量（もしあれば）を決定するために実施されてもよい。例示的な実施形態において、アナライザ２１０は、これを決定するために１つまたは複数のぼかし関数２３０を利用することができる。ぼかし関数２３０は、カメラ内の長期記憶および／または短期記憶のデータ記憶域に記憶される。例示的なぼかし関数は、図３に関して後でより詳細に説明される。

画像捕捉プロセスにおいて少なくともある程度のぼかしを導入することが決定された場合は、ぼかし導入モジュール２４０が、光学制御装置をプログラムする１以上の信号２５０を発する。信号２５０は、導入するぼかしの量および／またはぼかしの導入の仕方を含みうる。例えば、信号２５０は、どの光学素子を動かすかまたは移動させるべきか、光学素子をどの程度動かすかまたは移動させるべきか、および／または光学素子を動かしまたは移動させる開始時間／停止時間／継続時間を示す。

アンチエイリアシング操作のために画像を分析する他の例示的な実施態様は、当該技術分野において既知である。例えば、２００３年８月８日に出願された（２００５年２月１０日に米国特許出願公報第２００５／００３０４０９号として公開された）Ｍａｔｈｅｒｓｏｎらの共有米国特許出願第１０／６３７，９５６号は、画像を表すデータを生成しアンチエイリアシング用のぼかしプロファイルを選択する方法および装置を開示しており、この開示内容のすべてを引用することにより本明細書の一部をなすものとする。

図３は、カメラのプログラム可能なアンチエイリアシングのために実施される例示的なデータの三次元プロット３００である。プロット３００は、例示的なぼかし関数３１０、すなわち、先行画像内の既存のぼけ３３０と既存のエイリアシング３４０に基づいて画像捕捉操作中に導入されるぼかし３２０を含む。

ぼかし関数３１０は、様々な異なる条件（例えば、カメラ設定、シーン周囲光、カメラの動きなど）のうち任意の条件に関してあらかじめ決定することができる。別の実施形態において、ぼかし関数３１０は、少なくとも部分的にユーザ定義されおよび／または適応可能であり、例えば、カメラの実際の使用および／またはユーザのフィードバックに基づいて生成されおよび／または修正することができる。

しかしながら、一般に、プロット３００から、導入されるぼかし３２０は、既存のぼけ３３０が減少し（矢印３３２）また既存のエイリアシング３４０が増加する（矢印３４２）ほど増加する（矢印３２２）ことが分かる。同様に、導入されるぼかし３２０は、既存のぼけ３３０が増加し（矢印３３４）また既存のエイリアシング３４０が減少する（矢印３４４）ほど減少（矢印３２４）する。

操作中に、導入すべきぼかしの量を決定するためにぼかし関数３１０を以下のように実施することができる。先行画像の既存のぼけと既存のエイリアシングの特徴を決定する。これらの値の交点は、プロット３００に点３５０で示され、ぼかし関数３１０に基づいて導入するぼかし３２０を表わす。図３にグラフで示したが、例えば、どの光学素子を動かすか、動かす周波数および／または動きのタイミング情報など、１以上の光学素子を動かすデータとして、導入するぼかし３２０を表現することができることに注意されたい。

説明を続ける前に、プロット３００が、例証のためのみに提供され、限定することを意図していないことに注意されたい。例えば、ぼかし関数３１０は、三次元プロットに限定されず、代わりに数学方程式（または他の適切なモデル）および／または任意の適切なデータ構造のデータとして表現されうる。更に、図３に示した例は、画像のぼけとエイリアシングの実時間の分析に基づくが、他のデータ（例えば、カメラ設定および／またはユーザ入力）の少なくとも一部分を決定の基準にする適応性のあるデータ分析モデルも実施できることに注意されたい。

（例示的な操作）
図４は、カメラ用のプログラム可能なアンチエイリアシングを実施することができる例示的な操作を示すフローチャートである。操作４００は、カメラ内の１以上のコンピュータに読み取り可能な媒体上の論理命令として具体化することができる。カメラにあるプロセッサにおいて実行されるときに、論理命令は、前述の操作を実行する。例示的な実施形態において、図示した構成要素と接続とを、プログラム可能なアンチエイリアシングに使用することができる。

プロセスは、操作４１０において始まる。例えば、プロセスは、画像の写真を撮る前にユーザがシャッタボタンをＳ１位置まで押してＬＣＤ上に画像を表示させるたびに始まる。代替として、プロセスは、画像が焦点を結んだ後に開始してもよい。さらに別の例において、プロセスは、１以上の所定の基準が満たされた場合（例えば、アンチエイリアシングモードがユーザによって選択された場合）にだけ開始してもよい。

アンチエイリアシングプロセスが自動またはユーザによる手動により停止状態にされて、プロセスが操作４１０で開始しないこともあることに注意されたい。例えば、ユーザが動いている被写体を撮影したりシーンをパン撮り（panning a scene）したりする場合にアンチエイリアシングを無効にしたいことがある。例示的な実施形態において、プロセスは、例えば事前露出の際に検出された動きに基づいて自動的に無効にされてもよい。

操作４２０において、画像が捕捉される。例えば、シーンにカメラの焦点を合わせるために使用される先行画像を使用してもよく、アンチエイリアシングプロセス用の別の画像を捕捉してもよい。いずれの場合も、画像は、操作４３０および４３５において分析される。

操作４３０において、画像の既存のぼけが特徴付けられる。例えば、ぼけは、意図的なカメラ動きによることもあり、意図的でないカメラ動き（例えば、ユーザによる揺れ）によることもある。操作４３５において、画像の既存のエイリアシングの特徴が決定される。画像内に、ほとんどない程度を含む様々な程度のエイリアシングが存在することがある。例えば、エイリアシングは、カメラの焦点距離によるものである。更に、例えばぎざぎざした線やカラースポットなどの１以上のタイプのエイリアシングが導入されることがある。

操作４４０において、操作４２０〜４３０／４３５を繰り返すことを決定することができる。追加の画像が、操作４２０で獲得され、（例えば、統計モデルを使用して）ある期間にわたるぼけ（操作４３０）および／またはエイリアシング（操作４３５）の特徴を決定するために使用することができる。繰り返さないことすなわち繰り返しを止めることが決定された場合に、操作は進むことができる。

操作４５０において、所望のアンチエイリアシングのためのぼかしの量が決定される。必要なぼかしの量は、（例えば、操作４３５において決定されたような）先行画像のエイリアシングの程度に基づくこともあり、既に存在するぼけの量に依存しない場合もある。操作４６０において、画像捕捉操作中に導入するぼかしの量が決定される。導入するぼかしの量は、（例えば、操作４５０において決定されたような）所望のアンチエイリアシング効果を得るために必要なぼかしの量と同じかまたはそれより少なくてもよい。例えば、画像捕捉操作中に導入するぼかしの量は、（例えば、操作４３０において決定されたような）既存のぼけの量に基づいて調整される。

操作４７０において、（例えば、操作４６０で決定されたような）ぼかしを導入しながら画像を捕捉する。例えば、ぼかしは、光学制御装置をプログラムする制御信号を発行して画像露出中にカメラ内の１以上の光学素子を動かすかまたは移動させることによって導入される。制御信号は、どの光学素子を動かすかまたは移動させるべきか、光学素子を動かすかまたは移動させるべき程度、および／または光学素子を動かすかまたは移動させるタイミング情報を示すことができる。

本明細書において示し説明した操作は、カメラにおけるプログラム可能なアンチエイリアシングの例示的な実施形態を示すために提供された。操作は、示した順序に限定されないことに注意されたい。例えば、操作４３０と４３５は、一方の後に他方が実施されてもよく、および／または同時に実施されてもよい。別の例において、操作４５０と４６０は、逆の順序に実行されてもよく同時に実行されてもよい。

更に他の操作を実行することができる。例えば、以前に捕捉した画像の特徴が操作４３０および／または操作４３５で十分に決定されなかった場合は、操作は、操作４５０および／または操作４６０から操作４２０に戻って別の先行画像を捕捉してもよい。更に、操作は、例えばユーザが別のシーンにカメラの焦点を合わせた場合、または、操作４３０／４３５での特徴決定が他の状況で無効になった場合には、操作は終了し、および／または任意の時点において再開することができる。

本明細書に開示した明細を検討することによって、本明細書で明示的に説明した特定の実施形態の他に、当業者には他の態様および実施形態が明らかになるであろう。明細書に示した実施形態は単なる例示とみなされるべきである。

プログラム可能なアンチエイリアシングを実施することができる例示的なカメラシステムのハイレベルの図である。 カメラに実施することができる例示的なアンチエイリアシング論理回路の機能ブロック図である。 カメラにおけるプログラム可能なアンチエイリアシングのために実施することができる例示的データの三次元プロット図である。 カメラ用のプログラム可能なアンチエイリアシングを実施することができる例示的な操作を示すフローチャートである。

符号の説明

１００ カメラ
１５０ 光学素子
１７０ アンチエイリアシング論理回路
１７５ 光学制御装置
２１０ アナライザ
２３０ ぼかし関数

Claims (10)

1. カメラ用のプログラム可能なアンチエイリアシングシステムであって、
   前記カメラにおける少なくとも１つの画像を特徴付けるアンチエイリアシング論理回路と、
   前記アンチエイリアシング論理回路と動作可能に関連付けられ、前記特徴付けられた画像に基づいて前記カメラによる画像捕捉操作中に様々な程度のぼかしを導入する光学制御装置と
   を含んでなるシステム。
2. 前記アンチエイリアシング論理回路が、前記少なくとも１つの画像の既存のぼけを特徴付けるものである請求項１に記載のシステム。
3. 前記アンチエイリアシング論理回路が、前記少なくとも１つの画像の既存のエイリアシングを特徴付けるものである請求項１に記載のシステム。
4. 前記アンチエイリアシング論理回路用のアナライザをさらに含み、該アナライザが、前記少なくとも１つの画像をぼかし関数と比較して前記画像捕捉操作中に導入するぼかしの程度を決定するものである請求項１に記載のシステム。
5. 前記光学制御装置が、前記特徴付けられた画像に基づいて、前記画像捕捉操作の少なくとも一部分の間に、少なくとも１つの方向に、少なくとも１つの光学素子を所定の長さの時間移動させることによってぼかしを導入するものである請求項４に記載のシステム。
6. カメラのプログラム可能なアンチエイリアシングの方法であって、
   既存のエイリアシングについて少なくとも１つの画像を特徴付けるステップと、
   前記少なくとも１つにおける画像の既存のぼけを特徴付けるステップと、
   前記カメラによる画像捕捉操作中に、前記少なくとも１つの画像の前記エイリアシングと既存のぼけとに基づいてぼかしを導入するステップと
   を含んでなる方法。
7. 前記画像捕捉操作中に導入するぼかしの量を決定するステップをさらに含む請求項６に記載の方法。
8. カメラ設定とユーザ基本設定と撮影シーンとのうちの部分的に少なくとも１つに基づいて前記少なくとも１つの画像を特徴決定するステップをさらに含む請求項６に記載の方法。
9. 前記少なくとも１つの画像をアンチエイリアシング専用の先行画像として捕捉するステップをさらに含む請求項６に記載の方法。
10. 前記カメラの合焦操作または前記カメラの自動露出操作用の先行画像として、前記少なくとも１つの画像を捕捉するステップをさらに含む請求項６に記載の方法。

Images