JP2005063097A - 画像信号処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】 画像の特徴に応じて、適切にぼけを修正できるようにする。
【解決手段】 ユーザI/F２１により、ぼけのパラメータが指定され、制御信号生成部４１が指定されたパラメータに対応する制御信号を生成する。画像特徴抽出部４２が入力画像の平坦な方向とエッジ方向を判定し、その結果に基づいて、アドレス演算部４３が係数ＲＯＭ４４から係数を読み出し、積和演算部４６に供給する。積和演算部４６は、画素に係数を適用して積和演算を行い、ぼけを除去した画像を生成する。後処理部４７は、入力画像と積和演算結果に基づいて、出力画像を出力する。本発明は、ディジタルスチルカメラに適用できる。
【選択図】図２

Description

本発明は、画像信号処理装置および方法、プログラム、並びに記録媒体に関し、特に画像の特徴に応じて、適切にぼけを修正できるようにする画像信号処理装置および方法、プログラム、並びに記録媒体に関する。

近年のディジタルスチルカメラにおいては、ユーザがフォーカスを合わせなくても、ディジタルスチルカメラが、最適なフォーカスを検知し、自動的にフォーカスを合わせるオートフォーカス機能を持つものが多く普及している。オートフォーカス機能により、ユーザは簡単に撮影を行うことができるが、ユーザが本来撮影したい被写体ではなく、背景にフォーカスが合った状態で撮影が行われてしまうことがあり、結果として本来の被写体がぼけてしまう場合があった。

このような、被写体がぼけた画像を修正するために、画像の中のぼけた部分において、エッジを強調する鮮鋭化処理を行い、画像を鮮明にする技術が提案されている（例えば、特許文献１参照）。

また、ぼけのモデルを考慮して、画像を修正する方法として、撮影された画像の画素レベル（観測値）においては、ぼけのない状態の画像の画素レベル（真値）が空間的に拡散したとして、真値と観測値の間にモデル式を立てて、そのモデル式を解くことにより、観測値から真値を推定し、画像を修正する技術が提案されている（例えば、特許文献２参照）。
特開平６−６８２５２号公報 特開平８−２７２９９５号公報

しかし、特許文献１の技術では、フォーカスのずれによるぼけのモデルが考慮されておらず、ぼけにより失われた画像の詳細部分の情報を忠実に再現することができないという課題があった。

また、特許文献２の技術では、一律に拡散の中心から離れた部分にかかる係数値を０とすることで、モデル式を解いている。ぼけの度合いが小さい場合、拡散の範囲は狭く、真値の情報は、拡散の中心付近に集まっており、拡散の中心から離れた部分にかかる係数値を０とすることによる矛盾はないが、ぼけの度合いが大きい場合、拡散の中心から離れた部分にも、充分な真値の情報が存在し、係数値を０とすることに矛盾がある。また、モデル式を解くときに、画像の特徴が考慮されていないため、JPEG（Joint Photographic Coding Experts Group）歪みなどのノイズがのった画像の場合、ノイズが協調され、かえって画像が劣化してしまう恐れがある。このため、画像が適切に修正できないという課題があった。

本発明の画像信号処理装置は、入力された画像信号を処理して出力する画像信号処理装置であって、画像のぼけの度合いを表すパラメータを指定する指定手段と、画像の特徴を検出し、検出された特徴を表す特徴コードを出力する検出手段と、指定手段により指定されたパラメータと、検出手段により出力された特徴コードに対応する係数を記憶する記憶手段と、記憶手段から、指定手段により指定されたパラメータと検出手段により出力された特徴コードに対応する係数を読み出す読み出し手段と、読み出し手段により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行う積和演算手段と、積和演算手段による演算結果と入力画像の画素の値を選択して出力する選択出力手段とを備えることを特徴とする。

前記特徴検出手段は、入力画像の中から、積和演算を行う画素の周囲の、あらかじめ設定された第１の領域に含まれる複数の画素を抽出する第１の抽出手段と、第１の領域と、垂直または水平の複数の方向に連続した、複数の第２の領域に含まれる複数の画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された画素と、第２の抽出手段により抽出された画素において、対応する画素の値の差分の絶対値の総和を求めて、複数のブロック差分を演算するブロック差分演算手段と、ブロック差分が、予め設定された閾値より大きいか否かを判定する差分判定手段とを備えるようにすることができる。

前記パラメータは、ぼけた画像の画素とぼけていない画像の画素の関係を表すモデル式におけるガウス関数のパラメータであるようにすることができる。

前記記憶手段により記憶される係数は、モデル式の逆行列を演算することにより求められた係数であるようにすることができる。

前記選択出力手段は、積和演算手段により積和演算が行われた複数の画素を抽出する第１の抽出手段と、第１の抽出手段により抽出された複数の画素の分散の度合いを表す分散度を演算する分散演算手段と、分散演算手段により演算された分散度が予め設定された閾値より大きいか否かを判定する分散判定手段とを備えるようにすることができる。

前記選択出力手段は、分散判定手段の判定結果に基づいて、出力する画素の値を、積和演算手段による演算結果、または入力画像の画素の値のいずれかから選択する画素選択手段をさらに備えるようにすることができる。

前記指定手段は、出力される画像の表示方法を表す出力モードの指定を受け付け、選択出力手段は、出力モードに基づいて、出力される画像の表示方法を切り替える切り替え手段をさらに備えるようにすることができる。

本発明の画像信号処理方法は、入力された画像信号を処理して出力する画像信号処理装置の画像信号処理方法であって、画像のぼけの度合いを表すパラメータを指定する指定ステップと、画像の特徴を検出し、検出された特徴を表す特徴コードを出力する検出ステップと、予め記憶されている係数の中から指定ステップの処理により指定されたパラメータと、検出ステップの処理により出力された特徴コードに対応する係数を読み出す読み出しステップと、読み出しステップの処理により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行う積和演算ステップと、積和演算ステップの処理による演算結果と入力画像の画素の値を選択して出力する選択出力ステップとを含むことを特徴とする。

本発明のプログラムは、入力された画像信号を処理して出力する画像信号処理装置のプログラムであって、画像のぼけの度合いを表すパラメータの指定を制御する指定制御ステップと、画像の特徴を検出し、検出された特徴を表す特徴コードを出力するように制御する検出制御ステップと、予め記憶されている係数の中から指定制御ステップの処理により指定されたパラメータと、検出制御ステップの処理により出力された特徴コードに対応する係数の読み出しを制御する読み出し制御ステップと、読み出し制御ステップの処理により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行うように制御する積和演算制御ステップと、積和演算制御ステップの処理による演算結果と入力画像の画素の値を選択して出力するように制御する選択出力制御ステップとをコンピュータに実行させることを特徴とする。

入力された画像信号を処理して出力する画像信号処理装置のプログラムが記録される記録媒体であって、画像のぼけの度合いを表すパラメータの指定を制御する指定制御ステップと、画像の特徴を検出し、検出された特徴を表す特徴コードを出力するように制御する検出制御ステップと、予め記憶されている係数の中から指定制御ステップの処理により指定されたパラメータと、検出制御ステップの処理により出力された特徴コードに対応する係数の読み出しを制御する読み出し制御ステップと、読み出し制御ステップの処理により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行うように制御する積和演算制御ステップと、積和演算制御ステップの処理による演算結果と入力画像の画素の値を選択して出力するように制御する選択出力制御ステップとをコンピュータに実行させるプログラムが記録されることを特徴とする。

本発明の画像信号処理装置および方法、並びにプログラムにおいては、画像のぼけの度合いを表すパラメータが指定され、画像の特徴が検出され、検出された特徴を表す特徴コードが出力され、指定されたパラメータと、出力された特徴コードに対応する係数が記憶され、パラメータと特徴コードに対応する係数が読み出され、読み出された係数に基づいて、入力画像の画素の値に対して積和演算が行われ、演算結果と入力画像の画素の値が選択されて出力される。

本発明によれば、画像のぼけを修正することができる。特に、画像の特徴に応じて、適切にぼけを修正できる。

以下に本発明の実施の形態を説明するが、本明細書に記載した発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が明細書に記載されていることを確認するためのものである。従って、明細書には記載されているが、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出願、または追加される発明の存在を否定するものではない。

本発明の画像信号処理装置は、入力された画像信号を処理して出力する画像信号処理装置であって、画像のぼけの度合いを表すパラメータを指定する指定手段（例えば、図２のユーザI/F２１）と、画像の特徴を検出し、検出された特徴を表す特徴コードを出力する検出手段（例えば、図２の画像特徴検出部４２）と、前記指定手段により指定されたパラメータと、前記検出手段により出力された特徴コードに対応する係数を記憶する記憶手段（例えば、図２の係数ＲＯＭ４４）と、前記記憶手段から、前記指定手段により指定された前記パラメータと前記検出手段により出力された前記特徴コードに対応する係数を読み出す読み出し手段（例えば、図２のアドレス演算部４３）と、前記読み出し手段により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行う積和演算手段（例えば、図２の積和演算部４６）と、前記積和演算手段による演算結果と前記入力画像の画素の値を選択して出力する選択出力手段（例えば、図２の後処理部４７）とを備える。

この画像信号処理装置は、前記特徴検出手段が、入力画像の中から、積和演算を行う画素の周囲の、あらかじめ設定された第１の領域に含まれる複数の画素を抽出する第１の抽出手段（例えば、図２１のブロック切り出し部１４１−５）と、前記第１の領域と、垂直または水平の複数の方向に連続した、複数の第２の領域に含まれる複数の画素を抽出する第２の抽出手段（例えば、図２１のブロック切り出し部１４１−１乃至１４１−４）と、前記第１の抽出手段により抽出された画素と、前記第２の抽出手段により抽出された画素において、対応する画素の値の差分の絶対値の総和を求めて、複数のブロック差分を演算するブロック差分演算手段（例えば、図２１のブロック差分演算部１４２−１乃至１４２−４）と、前記ブロック差分が、予め設定された閾値より大きいか否かを判定する差分判定手段（例えば、図２１の閾値判定部１４３−１乃至１４３−２）とを備える。

この画像信号処理装置は、前記パラメータが、ぼけた画像の画素とぼけていない画像の画素の関係を表すモデル式（例えば、式（１））におけるガウス関数（例えば、式（２））のパラメータである。

この画像信号処理装置は、前記選択出力手段が、前記積和演算手段により積和演算が行われた複数の画素を抽出する第１の抽出手段（例えば、図２４のブロック切り出し部２０１）と、前記第１の抽出手段により抽出された複数の画素の分散の度合いを表す分散度を演算する分散演算手段（例えば、図２４の分散演算部２０２）と、前記分散演算手段により演算された分散度が予め設定された閾値より大きいか否かを判定する分散判定手段（例えば、図２４の閾値判定部２０３）とを備える。

この画像信号処理装置は、前記選択出力手段が、前記分散判定手段の判定結果に基づいて、出力する画素の値を、前記積和演算手段による演算結果、または前記入力画像の画素の値のいずれかから選択する画素選択手段（例えば、図２４の選択部２０４）をさらに備える。

この画像信号処理装置は、前記指定手段が、出力される画像の表示方法を表す出力モードの指定を受け付け、前記選択出力手段が、前記出力モードに基づいて、出力される画像の表示方法を切り替える切り替え手段（例えば、図２４の出力モード切り替え部２０５）をさらに備える。

本発明の情報処理方法は、入力された画像信号を処理して出力する画像信号処理装置の画像信号処理方法であって、画像のぼけの度合いを表すパラメータを指定する指定ステップ（例えば、図１６のステップＳ２）と、画像の特徴を検出し、検出された特徴を表す特徴コードを出力する検出ステップ（例えば、図１８のステップＳ２１）と、予め記憶されている係数の中から前記指定ステップの処理により指定されたパラメータと、前記検出ステップの処理により出力された特徴コードに対応する係数を読み出す読み出しステップ（例えば、図１８のステップＳ２３）と、前記読み出しステップの処理により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行う積和演算ステップ（例えば、図１８のステップＳ２４）と、前記積和演算ステップの処理による演算結果と前記入力画像の画素の値を選択して出力する選択出力ステップ（例えば、図１８のステップＳ２５）とを含む。

本発明のプログラムは、入力された画像信号を処理して出力する画像信号処理装置のプログラムであって、画像のぼけの度合いを表すパラメータの指定を制御する指定制御ステップ（例えば、図１６のステップＳ２）と、画像の特徴を検出し、検出された特徴を表す特徴コードを出力するように制御する検出制御ステップ（例えば、図１８のステップＳ２１）と、予め記憶されている係数の中から前記指定制御ステップの処理により指定されたパラメータと、前記検出制御ステップの処理により出力された特徴コードに対応する係数の読み出しを制御する読み出し制御ステップ（例えば、図１８のステップＳ２３）と、前記読み出し制御ステップの処理により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行うように制御する積和演算制御ステップ（例えば、図１８のステップＳ２４）と、前記積和演算制御ステップの処理による演算結果と前記入力画像の画素の値を選択して出力するように制御する選択出力制御ステップ（例えば、図１８のステップＳ２５）とをコンピュータに実行させる。

本発明の記録媒体は、入力された画像信号を処理して出力する画像信号処理装置のプログラムが記録される記録媒体であって、画像のぼけの度合いを表すパラメータの指定を制御する指定制御ステップ（例えば、図１６のステップＳ２）と、画像の特徴を検出し、検出された特徴を表す特徴コードを出力するように制御する検出制御ステップ（例えば、図１８のステップＳ２１）と、予め記憶されている係数の中から前記指定制御ステップの処理により指定されたパラメータと、前記検出制御ステップの処理により出力された特徴コードに対応する係数の読み出しを制御する読み出し制御ステップ（例えば、図１８のステップＳ２３）と、前記読み出し制御ステップの処理により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行うように制御する積和演算制御ステップ（例えば、図１８のステップＳ２４）と、前記積和演算制御ステップの処理による演算結果と前記入力画像の画素の値を選択して出力するように制御する選択出力制御ステップ（例えば、図１８のステップＳ２５）とをコンピュータに実行させるプログラムが記録される。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明を適用した画像処理システムの全体の構成を表している。この例では、ディジタルスチルカメラなどにより撮影された画像が入力画像として、画像信号処理装置１に入力される。画像信号処理装置１は、入力画像を修正し、表示デバイス２、その他のデバイスに出力する。ユーザ３は、表示デバイス２に出力された画像を参照し、画像信号処理装置１を操作する。

図２は、画像信号処理装置１の構成例を示すブロック図である。この例では、画像信号処理装置は、ユーザの指令を受け付けるユーザＩ/Ｆ（Interface）２１と、ユーザＩ/Ｆ２１の出力に基づいて、入力された画像の補正（修正）を行う画像補正部２２により構成されている。

画像補正部２２は、ユーザＩ/Ｆ２１の出力に基づいて制御信号を生成し、その制御信号を各部に供給する制御信号生成部４１、入力画像の特徴を検出する画像特徴検出部４２、制御信号に基づいて、アドレスの演算を行うアドレス演算部４３、アドレス演算部４３により演算されたアドレスに基づいて、予め記憶された所定の係数を出力する係数ＲＯＭ４４、および入力画像の中の所定の領域に対応する複数の画素を抽出する領域抽出部４５が設けられている。

また、領域抽出部４５から出力された画素のレベルに対して、係数ＲＯＭ４４から出力された係数に基づく積和演算を行い、新たに修正された画素レベルを出力する積和演算部４６、および積和演算部４６の出力結果と制御信号に基づいて、入力画像を修正し、出力する後処理部４７が設けられている。

図３は、ユーザＩ/Ｆ２１の構成例を表すブロック図である。この例では、ユーザＩ/Ｆ２１は、各種パラメータ、閾値などの情報についての指定を行うスイッチ６１乃至６４、入力画像の中の修正すべき領域の指定などを行うジョイスティック６６、および出力される画像の状態の切り替えを指定するボタン６７が設けられている。スイッチ６１乃至６４により指定された情報は、パネル６５に表示される。ここで指定された情報に基づいて、制御信号生成部４１が、複数の制御信号を生成し、画像補正部２２内の各部に供給する。

図４は、制御信号生成部４１が生成する制御信号の例を示す図である。制御信号Ａは、入力画像の中の修正すべき部分（ぼけた部分）を特定する信号であり、ジョイスティック６６による指定に基づき生成され、領域抽出部４５と後処理部４７に供給される。制御信号Ｂは、ぼけの度合いを表すパラメータσを特定する信号であり、スイッチ６１による指定に基づき生成され、アドレス演算部４３に供給される。制御信号Ｃは、ぼけのモデル式を解くために用いられる関係式の重みＷａの切り替えを指定する信号であり、スイッチ６２による指定に基づき生成され、アドレス演算部４３に供給される。なお、関係式の重みＷａについては後述する。

制御信号Ｄは、画像の特徴を検出するとき用いられる閾値の切り替えを指定する信号であり、スイッチ６３による指定に基づき生成され、画像特徴検出部４２に供給される。制御信号Ｅは、出力される画像の画素のレベルを修正するか否かを判定するとき用いられる閾値の切り替えを指定する信号であり、スイッチ６４による指定に基づき生成され、後処理部４７に供給される。制御信号Ｆは、出力される画像の表示モードの切り替えを指定する信号であり、ボタン６７による指定に基づき生成され、後処理部４７に供給される。なお、閾値と表示モードの切り替えについては後述する。

次に、画像のぼけの原理について説明する。図５は、例えば電荷結合素子（以下、ＣＣＤという）などの撮像素子をもつディジタルスチルカメラにより撮影された画像を表す写真である。図５Ａは、被写体にぼけがなく、現実の被写体の画像が正確に表示されように撮影された写真を表す。一方、図５Ｂは、ディジタルスチルカメラのオートフォーカス機能などにより、背景などにフォーカスが合ってしまい、被写体がぼけた状態で撮影された写真を表す。いま、図５Ａの写真の画素のレベルＸを真値とし、図５Ｂの写真の画素のレベルＹを観測値とし、写真を構成する複数の画素を表現するために、写真の水平方向の座標をｘであらわし、垂直方向の座標をｙで表すと、真値は、Ｘ（x,y）で表され、観測値は、Ｙ（x,y）で表すことができる。

本発明では、ぼけのモデル式として、式（１）を適用する。式（１）においては、式（２）に示されるガウス関数を用い、真値Ｘ（x,y）にガウス関数を畳み込むことにより観測値Ｙ（x,y）が得られる。

式（１）において、パラメータσは、ぼけの度合いを表すパラメータである。

式（１）によれば、１つの観測値Ｙ（ｘ，ｙ）は、変数ｉとｊ（−ｒ＜ｉ＜ｒ，−ｒ＜ｊ＜ｒ）により変化する複数の真値Ｘ（ｘ＋ｉ，ｙ＋ｊ）を係数Ｗで重みづけすることにより求められる。従って、図５Ｂの写真の画素８１のレベルは、図５Ａの写真の範囲８０に示される画素のレベルに基づいて得られたものとされる。

また、パラメータσの値により画像のぼけの度合いが変化する。このことについて、図６乃至図９を参照して説明する。

図６は、パラメータσの値が比較的小さい場合、式（１）における係数Ｗの値の大きさの分布について、３次元のグラフとして表した図である。同図は、水平方向を表す軸ｉ、垂直方向を表す軸ｊ、および係数Ｗの値の大きさを表す軸Ｗにより示されており、係数Ｗの値は図中の中央付近で高く突起し、中央から離れた部分では、一様に低い値となっている。このような特性は、真値の情報が観測値において広範囲に拡散されておらず、図７の写真に示されるような比較的ぼけの小さい画像の特性である。

これに対して、図８は、パラメータσの値が比較的大きい場合、式（１）における係数Ｗの大きさの分布について、３次元のグラフとして表した図である。同図は、図６と同様に３次元で示されているが、図６の場合と比較して、係数Ｗの値は図中の中央付近での突起が目立たず、全体になめらかな傾斜となっている。このように、真値の情報が観測値において広範囲に拡散された特性は、図９の写真に示されるような比較的ぼけの大きい画像の特性である。

このように、パラメータσの値の変化により、画像のぼけの度合いは変化する。このため、画像のぼけを正確に修正するためには、パラメータσの値を適切に求める必要がある。しかし、入力された画像のぼけの度合に基づいて、パラメータσの値を自動的に、かつ適正に設定することは困難である。そこで、本発明においては、パラメータσの値をユーザが、スイッチ６１を操作して指定する（図４の制御信号Ｂ）。

図１０乃至図１３を参照して、画像のぼけの原理についてさらに詳しく説明する。図１０Ａは、簡単のため、画素が水平方向に一次元に配列されたものとして、ある画像における、真値Ｘ0乃至Ｘ8を表す図である。図１０Ｃは、図１０Ａに対応する観測値を表す図である。図１０Ｂは、係数Ｗ(i)の大きさを棒グラフ状に表した図である。この例では、変数ｉが、−２＜ｉ＜２とされ、中央の棒グラフが、係数Ｗ(0)とされ、左端の棒グラフから順番に係数Ｗ(-2)，Ｗ(-1)，Ｗ(0)，Ｗ(1)，Ｗ(2)とされる。

ここで、式（１）に基づいて、図１０Ｃの観測値Ｙ2を求めると、次のようになる。

Ｙ2＝Ｗ(-2)Ｘ2＋Ｗ(-1)Ｘ3＋Ｗ(0)Ｘ4＋Ｗ(1)Ｘ5＋Ｗ(2)Ｘ6

同様にして、図１０Ｃの観測値Ｙ0を求める場合、真値の中で、図１１の枠９０−１で示される部分に基づいて、演算を行うことにより、次のように観測値Ｙ0が求められる。

Ｙ0＝Ｗ(-2)Ｘ0＋Ｗ(-1)Ｘ1＋Ｗ(0)Ｘ2＋Ｗ(1)Ｘ3＋Ｗ(2)Ｘ4

さらに、観測値Ｙ１を求める場合、図１１の枠９０−２で示される部分に基づいて、演算を行うことにより、次のように観測値Ｙ1が求められる。

Ｙ1＝Ｗ(-2)Ｘ1＋Ｗ(-1)Ｘ2＋Ｗ(0)Ｘ3＋Ｗ(1)Ｘ4＋Ｗ(2)Ｘ5

Ｙ3、Ｙ4についても、同様にして求めることができる。

図１２と図１３は、図１０Ａと図１０Ｃの関係を２次元で表したものである。すなわち、図１２を構成する各画素のレベルは、観測値であり、図１３を構成する各画素のレベルを真値として、得られたものである。この場合、図１２における画素Ａに対応する観測値Ｙ(x,y)は次のようにして求められる。

(Y (x, y) = W(-2,-2)X(x-2, y-2) +W(-1,-2)X(x-1, y-2)
+W(0,.2)X(x, y-2). . . +W(2, 2)X(x+2, y+ 2)

すなわち、図１２の画素Ａに対応する観測値は、図１３において画素Ａ'（画素Ａに対応する）を中心として枠ａで示される２５（=５×５）個の画素に対応する真値に基づいて求められる。同様に、図１２の画素Ｂ（画素Ａの図中右隣の画素）に対応する観測値は、図１３において、画素Ｂ'（画素Ｂに対応する）を中心とした２５個の画素に対応する真値に基づいて求められ、図１２の画素Ｃに対応する観測値は、図１３において、画素Ｃ'（画素Ｃに対応する）を中心とした２５個の画素に対応する真値に基づいて求められる。図１２の画素ＢとＣに対応する観測値Ｙ(x+1,y)とＹ(x+2,y)を求める式を次に示す。

Y(x+1, y) = W(-2,-2)X(x-1, y-2) +W(-1,-2)X(x,y-2) +W(0,-2)X(x-1,y-2). . .
+W(2,2)X(x+3,y+2)

Y(x+2,y) = W(-2,-2)X(x,y-2) +W(-1,-2)X(x+1,y-2) +W(0,-2)X(x+2,y-2). . . +W(2,2)X(x+4,y+2)

このようにして、図１２の各画素に対応する観測値をもとめていくと、式（３）乃至（６）に示されるような行列式が得られる

ここで、式（６）に示した行列式において、行列Ｗfの逆行列を求めることができれば、観測値Ｙfに基づいて真値Ｘfを求めることができる。すなわちぼけた画像の画素に基づいて、ぼけのない画像の画素を得ることができ、ぼけた画像を修正することができる。

しかし、式（３）乃至式（６）に示した行列式は、図１０乃至図１３を参照して上述したように、観測値の画素に対して、真値の画素が多く、このままでは逆行列を求めることができない（例えば、図１１の例では、観測値の画素１個に対して真値の画素５個が必要となる。）。

そこで、式（３）乃至式（６）に加えて、式（７）乃至式（１０）に示される関係式を導入する。

式（７）乃至式（１０）は、隣接する画素のレベルの差分について限定を加えるものであり、求めるべき真値が、画像の平坦な（隣接する画素のレベルと大きな差がない）部分である場合には矛盾がない。しかし、求めるべき真値がエッジ部分である（隣接する画素のレベルと大きな差がある）場合には矛盾が生じ、修正した画像に劣化が生じる恐れがある。このため、ぼけた画像を適正に修正するためには、式（７）乃至式（１０）の4つの関係式を、真値のエッジ部分をまたがないように画素ごとに使い分ける必要がある。

そこで、画像特徴検出部４２において、入力画像の中のエッジ部分と平坦部分の判定を行い、どの方向（例えば、上下左右）に平坦になっているかを表すコードp2を生成する。なお、画像特徴検出部４２の詳細な動作については、図２０を参照して後述する。なお、本発明では、入力画像（観測値）の中のエッジ部分と平坦部分の判定結果が、真値の中でのエッジ部分と平坦部分の判定結果に等しいと仮定する。

式（７）乃至式（１０）において、コードp2の関数である関数Ｗ１乃至Ｗ４は、重み関数とされる。本発明においては、コードp2に応じてこの重み関数Ｗ１乃至Ｗ４が制御されることで，画素ごとの関係式の使い分けが行われるようにする。図１４にコードp2に対応する重み関数Ｗ１乃至Ｗ４の値を示す。この重み関数の値が大きい場合、式(７)乃至式(１０)において平坦であるという意味合いが強くなり、重み関数の値が小さい場合、その意味合いが弱くなる（エッジである意味合いが強くなる）。

コードp2は、４ビットにより構成されており、それぞれのビットは、左から順番に、上、右、下または左方向に平坦か否かを示しており、その方向に平坦である場合には、対応するビットが「１」に設定される。例えば、コードp2が「0001」の場合、注目画素の左方向に平坦であり、それ以外の方向は平坦ではない（エッジが存在する）ことを表す。このため、コードp2が「0001」の場合、重み関数Ｗ４の値が大きくなり、式（７）乃至式（１０）の４つの関係式の中で式（１０）の重みが大きくなる。このようにすることで、コードp2により、４つの関係式の重みを変化させることができ、４つの関係式を、エッジをまたがないように画素ごとに使い分けることができる。

例えば、図１５に示されるように、注目画素Ｘaの上方向と左方向が平坦であり、右方向と下方向がエッジである場合、コードp2により、式（７）乃至式（１０）の４つの関係式の重みを変化させることにより、隣接する画素のレベルの差分について、「Ｘa−Ｘb＝０」、「Ｘa―Ｘc＝０」という限定が加えられるが、「Ｘa−Ｘd＝０」、「Ｘa―Ｘe＝０」という限定は加えられない。なお、Ｘｂ，Ｘｃ，Ｘｄ，Ｘｅは、それぞれ注目画素Ｘａの右、下、上、または左に隣接する画素を表す。

また、式（７）乃至式（１０）において、関数Ｗａは、別の重み関数であり、やはりコードp1により重み関数Ｗaの値が変化する。重み関数Ｗaの値を変化させることで、修正された画像の全体のノイズ、ディテールを制御することができる。重み関数Ｗaの値が大きいと、修正された画像においてノイズの影響が小さく感じられ、ノイズ感が減少する。また、重み関数Ｗaの値が小さいと、修正された画像においてディテールが強調されたように感じられ、ディテール感が向上する。

重み関数Ｗaの値を変化させるコードp1は、図４の制御信号Cに対応しており、ユーザが入力画像の状態に応じて調整する。例えば、JPEGなどの圧縮によって、画像が著しく劣化している入力画像などは重みを大きくすることで、ディテール感は損なわれるが、ノイズが抑えられた自然な出力を得ることができる。

このように、式（３）乃至式（６）に加えて、式（７）乃至式（１０）に示される関係式を導入する。これにより、式（１１）に示されるような逆行列を演算することが可能になり、その結果、観測値に基づいて真値を求めることができる。

本発明では、観測値Ｙsにかかる係数Ｗs^-1が係数ＲＯＭ４４（図２）に予め保持され、領域抽出部４５により抽出された入力画像に対して、式（１１）の行列式の演算（積和演算）が積和演算部４６により行われる。このようにすることで、画像の修正を行う都度、逆行列演算を行う必要がなく、積和演算だけでぼけを修正することが可能になる。ただし、入力画像に応じて、パラメータσや、上述した４つの関係式が異なるため、想定しうるそれらの全ての組み合わせでの逆行列演算を予め行っておき、パラメータσ、コードp2などに対応するアドレスを定めて、そのアドレス毎に異なる係数が係数ＲＯＭ４４に格納される。

しかし、例えば、図１３に示される枠(t)内の２５（=5×5）個のすべてに画素において、重み関数Ｗ１乃至Ｗ４の組み合わせを変化させ、４つの関係式を切り替えた場合、１５(=図１４に示した関数Ｗ１乃至Ｗ４の組み合わせ)の２５（枠(t)内の画素数)乗の組み合わせが存在し、それぞれの組み合わせごとに逆行列演算を行うと、係数の数が膨大になり、係数ＲＯＭ４４の容量には制限があるため、全ての係数を格納しきれなくなるおそれがある。このような場合、枠(t)内の中心画素であるＸtのみ、その特徴に基づいて、コードｐ２を変化させて関係式を切り替え、枠(t)内の画素Ｘt以外画素の関係式については、例えばコードp2が擬似的に、「1111」に固定されるようにしてもよい。このようにすることで、係数の組み合わせを15通りに限定することができる。

なお以上においては、ぼけの原理（モデル式）を説明するために、ガウス関数の定義域を、-2≦（x,y）≦2 としたが、実際には、パラメータσの値が十分大きくても対応できるような範囲が設定される。また、式（７）乃至式（１０）に示した関係式についても，画像の特徴を記述する式であれば，これに限定されるものではない。さらに、係数ROM４４の容量に制限がある場合の例として、ぼけの中心位相（Ｘt）のみに限定して関係式を切り替える例を説明したが、それに限定されるものではなく、係数ROM４４の容量に応じて、関係式の切り替え方法を変えてもよい。

次に図１６を参照して、画像信号処理装置１によるぼけ修正処理について説明する。この処理は、画像信号処理装置１に画像が入力されたとき、実行される。

ステップＳ１において、ユーザＩ/Ｆ２１は、ユーザ３からの処理対象領域の指定を受け付ける。ここで、処理対象領域は、入力画像の中で、ぼけの修正を行うべき領域であり、その指定は、例えば、次のようにして行われる。表示デバイス２に図１７に示されるような入力画像が表示され、この画像の中のオブジェクト（主たる被写体）１１１のぼけを修正したい場合、ユーザ３がジョイスティック６６を操作して、点１０１と点１０２を指定する。これにより、点１０１と点１０２に基づいて、オブジェクト１１１を内部に包含する矩形の処理対象領域１０３が設定され、その情報が制御信号生成部４１に供給され、図４を参照して上述した制御信号Ａが生成される。すなわち、制御信号Ａは、処理領域１０３に対応する信号である。

ステップＳ２において、ユーザＩ/Ｆ２１は、ユーザ３から、パラメータσの入力を受け付ける。パラメータσは、図４を参照して上述したように、ユーザ３がスイッチ６１を操作することにより指定され、その情報がその情報が信号生成部４１に供給され、制御信号Ｂが生成される。

ステップＳ３において、ユーザＩ/Ｆ２１は、ユーザ３から、その他のパラメータの入力を受け付ける。このとき、ユーザ３がスイッチ６２乃至６４を操作することにより、図４に示した制御信号Ｃ乃至Ｅを生成するための情報が指定される。また、これらの情報の一部または全部が、都度指定されずに、固定されるようにしてもよい。

ステップＳ４において、画像補正部２２は、図１８を参照して後述する画像補正処理を実行する。これにより、ぼけた画像が修正されて、表示デバイス２に出力される。ステップＳ５において、ユーザＩ/Ｆ２１は、ユーザ３からの指示に基づいて、画像補正処理の処理結果がＯＫか否かを判定する。このとき、例えば、ユーザ３がジョイスティック６６を操作することにより、「結果ＯＫ」または「結果ＮＧ」が指定される。ステップＳ５において、画像補正処理の処理結果がＯＫではないと判定された場合、処理はステップＳ２に戻り、それ以降の処理が繰り返し実行される。このようにすることで、パラメータσ（およびその他のパラメータ）が再度指定（修正）され、より適正に修正された画像を得ることができる。

ステップＳ５において、画像補正処理の処理結果がＯＫであると判定された場合、処理は終了する。

上述したように、入力された画像のぼけの度合に基づいて、パラメータσの値を自動的に、かつ適正に設定することは困難であるが、本発明では、画像補正処理の処理結果をユーザに確認させ、パラメータσの値を随時、調整できるようにしたので、より適正にぼけが修正された画像を得ることができる。

次に、図１８を参照して、図１６のステップＳ４の画像補正処理の詳細について説明する。

ステップＳ２１において、画像特徴検出部４２は、図２０を参照して後述する画像特徴検出処理を実行する。これにより、注目画素に対して、どの方向に平坦なのかが判定され、図１４を参照して上述したコードp2が生成され、アドレス演算部４３に出力される。

ステップＳ２２において、アドレス演算部４３は、係数ＲＯＭ４４のアドレスを演算する。係数ＲＯＭ４４のアドレスの構成例を図１９に示す。この例では、係数ＲＯＭ４４のアドレスは、コードp2に対応する４ビット（画像特徴検出部４２の出力）、パラメータσの値を表す４ビット（図４の制御信号Ｂ）、および、上述した４つの関係式の重み関数Ｗａを切り替えるコードp1に対応する２ビット（図４の制御信号Ｃ）により構成されており、０乃至１０２３の１０２４（２の１０乗）個アドレスが存在する。アドレス演算部４３は、画像特徴検出部４２の出力、制御信号Ｂ、および制御信号Ｃに基づいて、対応するアドレスを演算する。

ステップＳ２３において、アドレス演算部４３は、ステップＳ２２で演算したアドレスに基づいて、係数ＲＯＭ４４から係数を読み出し、積和演算部４６に供給する。

ステップＳ２４において、積和演算部４６は、ステップＳ２３で読み出された係数に基づいて、画素毎に積和演算を行い、その結果を後処理部４７に出力する。これにより、上述したように、観測値から真値が求められ、ぼけた画像が修正される。

ステップＳ２５において、後処理部４７は、図２３を参照して後述する補正後処理を実行する。これにより、画素毎に、積和演算部４６の処理結果を出力するか、入力画像をそのまま出力するかが判定される。ステップＳ２６において、後処理部４７は、補正後処理され、選択された画像を出力する。

次に図２０を参照して、図１８のステップＳ２１の画像特徴検出処理について説明する。ステップＳ４１において、画像特徴検出部４２は、ブロックを抽出し、ステップＳ４２において、ステップＳ４１で抽出されたブロック間の差分を演算する（その詳細は、図２２を参照して後述する）。ステップＳ４３において、画像特徴検出部４２は、ステップＳ４２で演算されたブロック差分を予め設定されている閾値と比較し、その比較結果に基づいて、ステップＳ４４において、注目画素に対して平坦な方向を表すコードであるコードp2を出力する。

図２１と図２２を参照して、画像特徴検出処理について、さらに詳しく説明する。図２１は、画像特徴検出部４２の構成例を示すブロック図である。同図の左側には、入力された画像の中から所定のブロックを抽出するブロック切り出し部１４１−１乃至１４１−５が設けられている。ブロック切り出し部１４１−１乃至１４１−５は、例えば、図２２に示されるように、図中黒い丸で示される注目画素（いま修正すべき画素）の周辺の、注目画素を含む９（=３×３）個の画素で構成される５つのブロックを抽出する。

図２２Ａに示されるブロック１８１は、その中心に注目画素を有する中心ブロックであり、ブロック切り出し部１４１−５により抽出される。図２２Ｂに示されるブロック１８２は、ブロック１８１を画素１個分図中上に移動した上側ブロックであり、ブロック切り出し部１４１−３により抽出される。図２２Ｃに示されるブロック１８３は、ブロック１８１を画素１個分図中左に移動した左側ブロックであり、ブロック切り出し部１４１−４により抽出される。

図２２Ｄに示されるブロック１８４は、ブロック１８１を画素１個分図中下に移動した下側ブロックであり、ブロック切り出し部１４１−１により抽出される。図２２Ｅに示されるブロック１８５は、ブロック１８１を画素１個分図中右に移動した右側ブロックであり、ブロック切り出し部１４１−２により抽出される。ステップＳ４１においては、注目画素毎に、ブロック１８１乃至１８５の５つのブロックが抽出される。

ブロック切り出し部１４１−１乃至１４１−５により抽出された各ブロックを構成する画素の情報は、ブロック差分演算部１４２−１乃至１４２−４に出力される。ブロック差分演算部１４２−１乃至１４２−４は、各ブロックの画素の差分を、例えば、次のようにして演算する。

いま、ブロック１８１の９個の画素のうち一番上の行の３個の画素（のレベル）を左からａ（181），b（181），ｃ(181)とする。中央の行の３個の画素を左からd（181），e（181），f(181)とする。一番下の行の３個の画素を左からg（181），h（181），i(181)とする。同様に、ブロック１８４の９個の画素についても、一番上の行の３個の画素（のレベル）を左からａ（184），b（184），ｃ(184)とし、中央の行の３個の画素を左からd（184），e（184），f(184)とし、一番上の行の３個の画素を左からg（184），h（184），i(184)とする。ブロック差分演算部１４２−１は、ブロック差分Ｂ(１)を次のように演算する。

Ｂ(１)＝│a(181)-a(184)│＋│b(181)-b(184)│＋│c(181)-c(184)│＋・・・
＋│i(181)-i(184)│

すなわち、ブロック差分Ｂ(1)は、ブロック１８１（中心）とブロック１８４（下）において対応する各画素のレベルの差分の絶対値の総和である。同様にして、ブロック差分演算部１４２−２は、ブロック１８１（中心）とブロック１８５（右）において対応する各画素のレベルの差分の絶対値の総和を求め、ブロック差分Ｂ（２）を演算する。さらに、ブロック差分演算部１４２−３は、ブロック１８１（中心）とブロック１８２（上）について、ブロック差分演算部１４２−３は、ブロック１８１（中心）とブロック１８３（左）について、それぞれ対応する各画素のレベルの差分の絶対値の総和を求め、ブロック差分Ｂ（３）とＢ（４）を演算する。

ステップＳ４２においては、このように中心ブロックと上下左右の４方向のブロックとの差分であるブロック差分Ｂ（１）乃至Ｂ（４）が演算され、その結果は、対応する閾値判定部１４３−１乃至１４３−４にそれぞれ出力されると同時に、最小方向判定部１４４にも供給される。

閾値判定部１４３−１乃至１４３−４は、それぞれブロック差分Ｂ（１）乃至Ｂ（４）を予め設定された閾値と比較し、その大小を判定する。なお、この閾値は制御信号Ｄに基づいて切り替えられる。閾値判定部１４３−１乃至１４３−４は、それぞれブロック差分Ｂ（１）乃至Ｂ（４）が予め設定された閾値より大きい場合、その方向はエッジ部分であると判定し、「０」を出力し、閾値より小さい場合、その方向は平坦な部分であると判定し、「１」を出力する。

ステップＳ４３おいては、このようにしてブロック差分と閾値の比較が行われる。閾値判定部１４３−１乃至１４３−４の出力結果は、４ビットのコードとしてセレクタ１４５に出力される。例えば、ブロック差分Ｂ（１）、Ｂ（３）およびＢ（４）が閾値より小さく、ブロック差分Ｂ（２）が閾値より大きい場合、コードとして「1011」が出力される。

ところで、ブロック差分Ｂ（１）乃至Ｂ（４）が、全て閾値より大きくなってしまう場合（平坦な部分がない場合）も考えられる。この場合、閾値判定部１４３−１乃至１４３−４から、コードとして「0000」が出力される。しかし、図１４に示されるように、コードp2が「0000」の場合、対応する重み関数Ｗ１乃至Ｗ４が特定できない。そこで、セレクタ１４５は、閾値判定部１４３−１乃至１４３−４からの出力結果が「0000」か否かを判定し、閾値判定部１４３−１乃至１４３−４からの出力結果が「0000」であると判定された場合、最小方向判定部１４４からの出力をコードp2として出力する。

最小方向判定部１４４は、ブロック差分Ｂ（１）乃至Ｂ（４）の中で、最小の値を判定し、判定結果に対応した４ビットのコードを、閾値判定部１４３−１乃至１４３−４がコードを出力するのと同じタイミングで、セレクタ１４５に出力する。例えば、ブロック差分Ｂ（１）乃至Ｂ（４）の中で、Ｂ(1)が最小であると判定された場合、最小方向判定部１４４は、コードとして「1000」をセレクタ１４５に出力する

このようにすることで、閾値判定部１４３−１乃至１４３−４からコード「0000」が出力されても、最小方向判定部１４４から出力されたコード「1000」がコードp2として出力されるようにすることができる。勿論、閾値判定部１４３−１乃至１４３−４からの出力結果が「0000」ではない場合は、閾値判定部１４３−１乃至１４３−４からの出力結果がコードp2として出力される。ステップＳ４４においては、このようにしてコードp2が生成され、アドレス演算部４３に出力される。

次に、図２３を参照して、図１８のステップＳ２５の補正後処理について説明する。ステップＳ６１において、後処理部４７は、積和演算部４６からの出力結果に基づいて、画素の分散度を演算する。これにより、注目画素の周囲の画素の分散度合いが演算される。ステップＳ６２において、後処理部４７は、ステップＳ６２で演算された分散度は予め設定された閾値より大きいか否かを判定する。なお、この閾値は、上述した制御信号Ｅにより切り替えられる。

ステップＳ６２において、分散度が閾値より大きいと判定された場合、後処理部４７は、ステップＳ６３において、注目画素に対応する入力画像入れ替えフラグをＯＮに設定する。一方、分散度が閾値より大きくないと判定された場合、後処理部４７は、ステップＳ６４において、注目画素に対応する入力画像入れ替えフラグをＯＦＦに設定する。

入力画像において、もともとぼけていない部分の画素に対して、積和演算部４６により積和演算を行うと、その画素の周囲の画像のアクティビティが大きくなり、かえって画像が劣化してしまう場合がある。ここで、分散度が閾値より大きい場合、その画素は劣化した画素であると判定され、入力画像入れ替えフラグがＯＮに設定される。入力画像入れ替えフラグがＯＮに設定された画素は、表示デバイス２に出力されるとき、入力画像の画素と入れ替えられて（元の状態に戻されて）表示される。

ステップＳ６５において、後処理部４７は、全ての画素についてチェックしたか否かを判定し、まだ全画素をチェックしていないと判定された場合、ステップＳ６１に戻り、それ以降の処理が繰り返し実行される。ステップＳ６５において、全ての画素についてチェックしたと判定された場合、ステップＳ６６において、後処理部４７は、出力モードを調整する。なお、出力モードについては後述する。

このようにして、画素毎に、積和演算結果を出力するか、または入力画像の画素をそのまま出力するかが判定される。このようにすることで、入力画像の中で、もともとぼけていない部分に対して、画像の修正を行うことにより、かえって画像が劣化してしまうことを防止することができる。

図２４と図２５を参照して、補正後処理についてさらに詳しく説明する。図２４は、後処理部４７の構成例を示すブロック図である。積和演算部４６からの出力結果が、ブロック切り出し部２０１に入力され、ブロック切り出し部２０１は、図２５に示されるように、注目画素ａ５を中心とした９（＝３×３）個の画素ａ１乃至ａ９を切り出し、分散演算部２０２に出力する。分散演算部２０２は、分散度を次のようにして演算する。

ここで、ｍは、ブロック内の９個の画素（のレベル）の平均値を表し、ｖは、それぞれの画素の平均値との差の２乗の総和であり、ブロック内の画素の分散度を表す。ステップＳ６１においては、このようにして分散度が演算され、演算結果が閾値判定部２０３に出力される。

閾値判定部２０３は、分散演算部２０２からの出力結果（分散度）と制御信号Ｅにより設定された閾値を比較し、分散度が閾値より大きいと判定された場合、後処理部４７は、注目画素に対応する入力画像入れ替えフラグをＯＮに設定するように選択部２０４を制御する。分散度が閾値より大きくないと判定された場合、後処理部４７は、注目画素に対応する入力画像入れ替えフラグをＯＦＦに設定するように選択部２０４を制御する。ステップＳ６２乃至Ｓ６４においては、このように、分散度が閾値より大きいか否かが判定され、判定結果に基づいて、入力画像入れ替えフラグが設定される。

選択部２０４からの出力結果は、出力モード切り替え部２０５に供給される。出力モード切り替え部２０５は、制御信号Ａに基づいて、出力画像の中の処理対象領域を検出し、制御信号Ｆに基づいて、出力画像の出力モードを切り替えて表示デバイス２に画像を出力する。また、出力モード切り替え部２０５には、入力画像の画素も供給される。

図２６は、図１７に示した入力画像が、画像信号処理装置１により、ぼけが修正され出力された画像の例を表す。出力モード切り替え部２０５は、制御信号Ａに基づいて、出力画像において、ユーザにより指定された点１０１と１０２に対応する位置を検知し、矩形の枠１０３を構成する画素を検出する。そして、出力モード切り替え部２０５は、出力画像において枠１０３の内側の領域２２２を構成する画素と枠１０３の外側の領域２２１を構成する画素を検出する。

ユーザは、ボタン６７を操作して、出力モードを制御する制御信号Ｆを生成させ、出力モードを切り替えることができる。図２７に出力モードの種類の例を示す。この例では、枠１０３の内側の領域２２２を構成する画素の出力モードの切り替えを行う「枠内出力」、枠１０３の外側の領域２２１を構成する画素の出力モードの切り替えを行う「枠外出力」、および枠１０３を構成する画素の出力モードを切り替える「枠出力」が表示されている。

出力モードにおいて「枠内出力」が「ａ」に設定されると、枠１０３の内側の領域２２２を構成する画素については、最終処理結果、すなわち選択部２０４からの出力結果が出力される。「枠内出力」が「ｂ」に設定されると、枠１０３の内側の領域２２２を構成する画素については、入力画像の画素がそのまま出力される。

出力モードにおいて「枠外出力」が「ａ」に設定されると、枠１０３の外側の領域２２１を構成する画素については、全画素一定レベルとされて出力され、例えば、領域２２１を構成する画素の輝度が一定の値とされて出力される。「枠外出力」が「ｂ」に設定されると、枠１０３の外側の領域２２１を構成する画素については、入力画像の画素がそのまま出力される。

出力モードにおいて「枠出力」が「ａ」に設定されると、枠１０３を構成する画素が、例えば、黒い画素とされて出力され、この結果、出力画像の中に枠１０３が表示される。「枠出力」が「ｂ」に設定されると、枠１０３を構成する画素については、「枠内出力」または「枠外出力」の設定と同様の出力モードに設定されて出力される。

通常、「枠内出力」を「ａ」とし、枠１０３の内側の領域２２２を構成する画素については、最終処理結果が出力され（ぼけが修正された画像が出力され）、「枠外出力」が「ｂ」に設定され、枠１０３の外側の領域２２１を構成する画素については、入力画像の画素がそのまま出力されるが、例えば、「枠内出力」の設定を「ｂ」に切り替えて、枠１０３の内側の領域２２２を構成する画素について、入力画像の画素がそのまま出力された画像と見比べることにより、どれだけぼけが修正されたかをより正確に認識することができる。

なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２８に示されるような汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

図２８において、CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２に記憶されているプログラム、または記憶部９０８からRAM（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU９０１、ROM９０２、およびRAM９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９０５も接続されている。

入出力インタフェース９０５には、キーボード、マウスなどよりなる入力部９０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ（表示部）、並びにスピーカなどよりなる出力部９０７、ハードディスクなどより構成される記憶部９０８、モデム、ターミナルアダプタなどより構成される通信部９０９が接続されている。通信部９０９は、インターネットなどのネットワークを介しての通信処理を行う。

入出力インタフェース９０５にはまた、必要に応じてドライブ９１０が接続され、ドライブ９１０には、本発明のプログラムが記録された記録媒体として、例えば、リムーバブルメディア９１１が装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部９０８にインストールされる。

なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明を適用した画像信号処理システムの構成例を示すブロック図である。 図１の画像信号処理装置の構成例を示すブロック図である。 図２のユーザＩ/Ｆの構成例を示すブロック図である。 制御信号の例を示す図である。 被写体がぼけた画像がディスプレイに表示された状態を示す写真である。 パラメータσが小さい場合の係数Ｗの値の分布を示す図である。 図６の場合の被写体がぼけた画像がディスプレイに表示された状態を示す写真である。 パラメータσが大きい場合の係数Ｗの値の分布を示す図である。 図８の場合の被写体がぼけた画像がディスプレイに表示された状態を示す写真である。 観測値と真値の関係を１次元で表した図である。 観測値と真値の関係を１次元で表した別の図である。 観測値と真値の関係を２次元で表した図である。 観測値と真値の関係を２次元で表した図である。 コードp2の組み合わせの例を示す図である。 注目画素に対して平坦な方向とエッジとなる方向を表した図である。 ぼけ修正処理を説明するフローチャートである。 入力画像の例を示す図である。 画像補正処理を説明するフローチャートである。 係数ＲＯＭのアドレスの構成例を示す図である。 画像特徴検出処理を説明するフローチャートである。 画像特徴検出部の構成例を示すブロック図である。 画像特徴検出処理において検出されるブロックの例を示す図である。 補正後処理を説明するフローチャートである。 後処理部の構成例を示すブロック図である。 補正後処理により切り出されるブロックの例を示す図である。 出力画像の例を示す図である。 出力モードの設定例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 画像信号処理装置， ２１ ユーザＩ/Ｆ， ２２ 画像補正部， ４１ 制御信号生成部， ４２ 画像特徴検出部， ４３ アドレス演算部， ４４ 係数ＲＯＭ， ４６ 積和演算部， ４７ 後処理部， ２０２ 分散演算部， ２０３ 閾値判定部， ２０５ 出力モード切り替え部

Claims (10)

1. 入力された画像信号を処理して出力する画像信号処理装置であって、
   画像のぼけの度合いを表すパラメータを指定する指定手段と、
   画像の特徴を検出し、検出された特徴を表す特徴コードを出力する検出手段と、
   前記指定手段により指定されたパラメータと、前記検出手段により出力された特徴コードに対応する係数を記憶する記憶手段と、
   前記記憶手段から、前記指定手段により指定された前記パラメータと前記検出手段により出力された前記特徴コードに対応する係数を読み出す読み出し手段と、
   前記読み出し手段により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行う積和演算手段と、
   前記積和演算手段による演算結果と前記入力画像の画素の値を選択して出力する選択出力手段と
   を備えることを特徴とする画像信号処理装置。
2. 前記特徴検出手段は、
   入力画像の中から、積和演算を行う画素の周囲の、あらかじめ設定された第１の領域に含まれる複数の画素を抽出する第１の抽出手段と、
   前記第１の領域と、垂直または水平の複数の方向に連続した、複数の第２の領域に含まれる複数の画素を抽出する第２の抽出手段と、
   前記第１の抽出手段により抽出された画素と、前記第２の抽出手段により抽出された画素において、対応する画素の値の差分の絶対値の総和を求めて、複数のブロック差分を演算するブロック差分演算手段と、
   前記ブロック差分が、予め設定された閾値より大きいか否かを判定する差分判定手段と
   を備えることを特徴とする請求項１に記載の画像信号処理装置。
3. 前記パラメータは、ぼけた画像の画素とぼけていない画像の画素の関係を表すモデル式におけるガウス関数のパラメータである
   ことを特徴とする請求項１に記載の画像信号処理装置。
4. 前記記憶手段により記憶される係数は、前記モデル式の逆行列を演算することにより求められた係数である
   ことを特徴とする請求項３に記載の画像信号処理装置。
5. 前記選択出力手段は、
   前記積和演算手段により積和演算が行われた複数の画素を抽出する第１の抽出手段と、
   前記第１の抽出手段により抽出された複数の画素の分散の度合いを表す分散度を演算する分散演算手段と、
   前記分散演算手段により演算された分散度が予め設定された閾値より大きいか否かを判定する分散判定手段と
   を備えることを特徴とする請求項１に記載の画像信号処理装置。
6. 前記選択出力手段は、前記分散判定手段の判定結果に基づいて、出力する画素の値を、前記積和演算手段による演算結果、または前記入力画像の画素の値のいずれかから選択する画素選択手段
   をさらに備えることを特徴とする請求項５に記載の画像信号処理装置。
7. 前記指定手段は、出力される画像の表示方法を表す出力モードの指定を受け付け、
   前記選択出力手段は、前記出力モードに基づいて、出力される画像の表示方法を切り替える切り替え手段をさらに備える
   ことを特徴とする請求項６に記載の画像信号処理装置。
8. 入力された画像信号を処理して出力する画像信号処理装置の画像信号処理方法であって、
   画像のぼけの度合いを表すパラメータを指定する指定ステップと、
   画像の特徴を検出し、検出された特徴を表す特徴コードを出力する検出ステップと、
   予め記憶されている係数の中から前記指定ステップの処理により指定されたパラメータと、前記検出ステップの処理により出力された特徴コードに対応する係数を読み出す読み出しステップと、
   前記読み出しステップの処理により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行う積和演算ステップと、
   前記積和演算ステップの処理による演算結果と前記入力画像の画素の値を選択して出力する選択出力ステップと
   を含むことを特徴とする画像信号処理方法。
9. 入力された画像信号を処理して出力する画像信号処理装置のプログラムであって、
   画像のぼけの度合いを表すパラメータの指定を制御する指定制御ステップと、
   画像の特徴を検出し、検出された特徴を表す特徴コードを出力するように制御する検出制御ステップと、
   予め記憶されている係数の中から前記指定制御ステップの処理により指定されたパラメータと、前記検出制御ステップの処理により出力された特徴コードに対応する係数の読み出しを制御する読み出し制御ステップと、
   前記読み出し制御ステップの処理により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行うように制御する積和演算制御ステップと、
   前記積和演算制御ステップの処理による演算結果と前記入力画像の画素の値を選択して出力するように制御する選択出力制御ステップと
   をコンピュータに実行させることを特徴とするプログラム。
10. 入力された画像信号を処理して出力する画像信号処理装置のプログラムが記録される記録媒体であって、
    画像のぼけの度合いを表すパラメータの指定を制御する指定制御ステップと、
    画像の特徴を検出し、検出された特徴を表す特徴コードを出力するように制御する検出制御ステップと、
    予め記憶されている係数の中から前記指定制御ステップの処理により指定されたパラメータと、前記検出制御ステップの処理により出力された特徴コードに対応する係数の読み出しを制御する読み出し制御ステップと、
    前記読み出し制御ステップの処理により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行うように制御する積和演算制御ステップと、
    前記積和演算制御ステップの処理による演算結果と前記入力画像の画素の値を選択して出力するように制御する選択出力制御ステップと
    をコンピュータに実行させるプログラムが記録されることを特徴とする記録媒体。

Images