JP2010141661A

JP2010141661A - 画像処理装置

Info

Publication number: JP2010141661A
Application number: JP2008316739A
Authority: JP
Inventors: Takayuki Ogasawara; 隆行小笠原; Katsuo Iwata; 勝雄岩田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-12-12
Filing date: 2008-12-12
Publication date: 2010-06-24

Abstract

【課題】デジタルズームにより高品質な画像を得るための画像処理装置を提供する。
【解決手段】撮像された被写体像を処理するための画像処理装置であって、被写体像の一部をデジタルズームの倍率に応じてトリミングする画像トリミング手段Ｓ５と、画像トリミング手段Ｓ５によりトリミングされた画像を、任意に指定されたサイズに応じてスケーリングするスケーリング手段Ｓ６と、画像の解像度を復元する復元処理を行う解像度復元手段Ｓ８と、を有する。
【選択図】図２

Description

この発明は、撮像された被写体像を処理するための画像処理装置に関する。

デジタルカメラのズーム機能の一つとして、撮像された被写体像の一部をトリミングして拡大するデジタルズームが知られている（例えば、特許文献１参照）。従来、画像の一部をトリミングすることによる画素数の低下が、Ｓ／Ｎ比の低下や解像度の低下を引き起こし、画質を著しく損なう原因となる点が課題となっている。また、トリミングするサイズによりレンズの光学伝達関数（Point Spread Function；ＰＳＦ）が異なることにより、解像度にばらつきが生じる場合があるという課題もある。

特開２００３−２８３８１１号公報

本発明は、デジタルズームにより高品質な画像を得るための画像処理装置を提供することを目的とする。

本願発明の一態様によれば、撮像された被写体像を処理するための画像処理装置であって、被写体像の一部をデジタルズームの倍率に応じてトリミングする画像トリミング手段と、画像トリミング手段によりトリミングされた画像を、任意に指定されたサイズに応じてスケーリングするスケーリング手段と、画像の解像度を復元する復元処理を行う解像度復元手段と、を有することを特徴とする画像処理装置が提供される。

本発明によれば、デジタルズームによる高品質な画像を得られるという効果を奏する。

以下に添付図面を参照して、この発明に係る画像処理装置の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。撮像レンズ１は、被写体からの光を取り込む。ＩＲカットフィルタ２は、撮像レンズ１により取り込まれた光から赤外光を除去する。イメージセンサ部３は、複数の受光素子において取り込まれた光を光電変換により信号電荷に変換する。イメージセンサ部３は、ベイヤー配列に対応する順序で赤色、青色、緑色の画素値を取り込み、撮像条件に応じたゲインにて信号を増幅する。さらに、イメージセンサ部３は、得られた信号をアナログ方式からデジタル方式へ変換し、種々の画像処理を施す。記録部４は、イメージセンサ部３において画像処理が施された信号をメモリや記録媒体に記録する。このように、画像処理装置は、撮像された被写体像を処理し、記録する。

図２は、イメージセンサ部３による画像処理の手順を説明するフローチャートである。本実施の形態は、ステップＳ６に示すスケーリングより後に、ステップＳ８に示す解像度復元処理を行うことを特徴とする。ステップＳ１では、低周波ノイズを抑制するための処理を施す。これにより、ノイズの影響によりライン読み出し時に横筋が発生することを抑制する。ステップＳ２では、標準光源光を用いて予めホワイトバランス（ＷＢ）を設定する。ステップＳ３では、撮像レンズ１の光学系に起因する中央部と周辺部との光量差による輝度ムラを補正する（シェーディング補正）。ステップＳ４では、イメージセンサ部３において正常に機能していない画素による信号の欠損部分（傷）を自動補正する。

ステップＳ５では、画像トリミング手段により、被写体像の一部をデジタルズームの倍率に応じてトリミングする。ステップＳ６では、ステップＳ５におけるトリミングにより得られた画像を、スケーリング手段によりスケーリングする。スケーリングは、任意に指定されたサイズに応じて行うこととし、例えば、トリミングにより得られた画像のサイズを縮小するダウンスケーリングとする。この際、隣接する画素との補間により、Ｓ／Ｎ比の改善が見込まれる。ダウンスケーリングの手法としては、解像度の低下やモアレの発生等を抑えるために、例えば、バイキュービック法を採用する。

ステップＳ７では、ステップＳ６においてスケーリングされた画像のノイズを、ノイズ除去手段により除去する（ノイズリダクション）。人間の視覚特性が、低周波ほどコントラスト比の感度が高くなることを考慮し、ノイズリダクションは、低周波のノイズを低減させるものとしても良い。なお、イメージセンサ部３の受光感度が高く、十分なＳ／Ｎを得ることが可能である場合、ノイズリダクションを省略しても良い。

ステップＳ８では、ステップＳ７においてノイズが除去された画像について、解像度復元手段により解像度を復元する処理を施す。解像度の復元には、撮像レンズ１のＰＳＦを用いる。ＰＳＦは、例えば、予めレジストやＲＡＭに書き込まれ、解像度復元の処理の際に読み出される。解像度復元の効果は、復元に用いるアルゴリズムに依存することとなる。ここでは、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を用いる。

ステップＳ９では、ステップＳ８までの処理により得られたＲＡＷ画像からカラー画像を合成する（デモザイキング）。ステップＳ１０では、ステップＳ９においてデモザイキングされた画像についてＷＢを自動調整する。ステップＳ１１では、ステップＳ１０においてＷＢが調整された画像について、色再現性を得るためのカラーマトリックス演算処理（色再現性処理）を実行する。ステップＳ１２では、ガンマ補正により、画像の彩度や明るさを補正する。イメージセンサ部３は、以上の画像処理が施された信号を出力する。なお、イメージセンサ部３による画像処理について、本実施の形態で説明する手順は一例であって、他の処理の追加や、省略可能な処理を省略するなどの変更を適宜しても良い。

このように、デジタルズームにおいてトリミング、スケーリング、ノイズリダクション、解像度復元を行うことにより、ノイズの低減、解像度の向上を可能とし、画質の向上が可能となる。また、ＰＳＦを用いた解像度の復元により、トリミングするサイズによる解像度のばらつきを低減させることも可能となる。以上により、デジタルズームにより高品質な画像を得ることができるという効果を奏する。

本実施の形態では、解像度の復元より前にダウンスケーリングを行うことにより、解像度復元の処理を高速にできる利点がある。また、画像のざらつきが平滑化されることにより、粒状性を低減させることも可能となる。なお、スケーリングは、ダウンスケーリングである場合に限られず、トリミングにより得られた画像のサイズを拡大するアップスケーリングとしても良い。この場合も、画像を高品質にできる効果が得られる。

ＰＳＦが、光学系に起因する像の劣化具合を示す指標であると考えると、レンズの中央部と周辺部とでは、屈折率に差が生じるために像の劣化の仕方が明らかに異なるということが知られている。本実施の形態では、撮像レンズ１の中央部と周辺部とで複数のＰＳＦを用意することとしても良い。復元処理の際に、撮像レンズ１の位置に対応するＰＳＦを読み出し、用いることで、解像度復元の効果を高めることが可能となる。

解像度復元の対象に対する撮像レンズ１の使用状況、例えば画角は、トリミングのサイズに応じて異なる。解像度復元には、トリミングのサイズに対応するＰＳＦを用いる必要が生じる。イメージセンサ部３は、撮像レンズ１の中心位置からの距離に対応させた複数のＰＳＦを保持することとし、トリミングのサイズに対応するＰＳＦデータを読み出すこととしても良い。さらに、トリミングの特定のサイズ（例えば１倍）についてのＰＳＦのみを保持することとし、保持されたＰＳＦを用いた補間処理により、トリミングの任意のサイズに対応するＰＳＦを推定し、用いることとしても良い。

（第２の実施の形態）
図３は、本発明の第２の実施の形態に係る画像処理装置による画像処理の手順を説明するフローチャートである。本実施の形態は、ステップＳ２４に示すスケーリングより前に、ステップＳ２２に示す解像度復元処理を行うことを特徴とする。ステップＳ１からステップＳ４の手順は、第１の実施の形態と同様である。

ステップＳ２１では、被写体像のノイズを、ノイズ除去手段により除去する（ノイズリダクション）。本実施の形態においても、ノイズリダクションは、低周波のノイズを低減させるものとしても良い。なお、イメージセンサ部３の受光感度が高く、十分なＳ／Ｎを得ることが可能である場合、ノイズリダクションを省略しても良い。ステップＳ２２では、ステップＳ２１においてノイズが除去された画像について、解像度復元手段により解像度を復元する処理を施す。本実施の形態においても、解像度の復元には、撮像レンズ１のＰＳＦを用いる。また、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を用いる。

ステップＳ２３では、ステップＳ２２において解像度が復元された画像の一部を、画像トリミング手段により、デジタルズームの倍率に応じてトリミングする。ステップＳ２４では、ステップＳ２３におけるトリミングにより得られた画像を、スケーリング手段によりスケーリングする。スケーリングは、任意に指定されたサイズに応じて行うこととし、例えば、ダウンスケーリングとする。本実施の形態においても、ダウンスケーリングの手法として、例えば、バイキュービック法を採用する。ステップＳ９からステップＳ１２までの手順は、第１の実施の形態と同様である。

本実施の形態でも、第１の実施の形態と同様に、デジタルズームにより高品質な画像を得ることが可能となる。本実施の形態では、解像度の復元より後にダウンスケーリングを行うことにより、復元処理の精度を高め、画像をさらに高品質にできる利点がある。また、撮像レンズ１について一つのＰＳＦを用意すれば良く、トリミングのサイズごとのＰＳＦの保持や補間処理を不要にできる。なお、スケーリングは、ダウンスケーリングである場合に限られず、トリミングにより得られた画像のサイズを拡大するアップスケーリングとしても良い。この場合も、画像を高品質にできる効果が得られる。

第１の実施の形態に係る画像処理装置の構成を示すブロック図。イメージセンサ部による画像処理の手順を説明するフローチャート。第２の実施の形態に係る画像処理装置による画像処理の手順を説明するフローチャート。

符号の説明

１撮像レンズ、３イメージセンサ部。

Claims

撮像された被写体像を処理するための画像処理装置であって、
前記被写体像の一部をデジタルズームの倍率に応じてトリミングする画像トリミング手段と、
前記画像トリミング手段によりトリミングされた画像を、任意に指定されたサイズに応じてスケーリングするスケーリング手段と、
画像の解像度を復元する復元処理を行う解像度復元手段と、を有することを特徴とする画像処理装置。
前記解像度復元手段は、前記スケーリング手段によりスケーリングされた画像について、前記復元処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記画像トリミング手段は、前記解像度復元手段により前記復元処理が施された前記被写体像の一部をトリミングすることを特徴とする請求項１に記載の画像処理装置。
前記解像度復元手段は、撮像レンズの光学伝達関数を用いて前記復元処理を行うことを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
画像のノイズを除去するノイズ除去手段を有することを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。