JP4360255B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、簡単かつ迅速に画像を補正できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。

撮像時の被写体の動きにより発生した動きボケを自動的に調整し、撮像した画像を補正する画像処理装置が提案されている（例えば、特許文献１）。
特開２００２−１９００１５号公報

しかしながら、特許文献１に記載されている発明では、全ての処理を画像処理装置が自動的に行うため、画像ボケの誤検出などにより、ユーザが所望するような画像が得られなくても、それ以上画像の補正をすることができないという課題があった。また、画像内の全画素について、動きボケを検出し、補正する処理が行われるため、処理に時間がかかりすぎてしまう課題があった。

本発明は、このような状況に鑑みてなされたものであり、簡単かつ迅速にユーザが所望するように画像の補正をできるようにするものである。

本発明の画像処理装置は、入力画像内のユーザにより指定された領域を取得する取得手段と、取得された領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補を、入力画像全体を補正するための複数の補正データとして検出する検出手段と、検出手段により検出された複数の補正データに基づいて入力画像内のボケを補正した複数の補正画像を生成する補正手段とを備え、取得手段は、複数の補正データの中から１つの補正データを、あるいは、複数の補正画像の中から１つの補正画像をユーザが選択する入力をさらに取得することを特徴とする。

入力画像および補正画像の呈示を制御する呈示制御手段をさらに設けるようにすることができる。

呈示制御手段は、入力画像または補正画像に補正データに関する補正データ情報を重畳させて呈示するように制御するようにすることができる。

取得手段は、呈示制御手段により呈示するように制御された補正データ情報に含まれる複数の補正データの中から１つの補正データをユーザが選択する入力を取得し、補正手段は、ユーザにより選択された補正データに基づいて、補正画像を生成するようにすることができる。

取得手段は、呈示制御手段により呈示するように制御された補正画像に基づいて補正データの調整を指示するユーザからの調整指示入力をさらに取得し、補正手段は、取得手段により取得された調整指示入力に基づいて、入力画像内のボケを補正した補正画像を生成するようにすることができる。

補正データ情報は、複数の補正データを識別するための識別情報、および複数の補正データの値のうち少なくとも１つを含むようにすることができる。

呈示制御手段は、補正手段により生成された複数の補正画像を１画面内に呈示するように制御し、取得手段は、呈示制御手段により１画面内に呈示するように制御された複数の補正画像の中から１つの補正画像をユーザが選択する入力を取得するようにすることができる。

取得手段は、複数の指定された領域を取得し、検出手段は、複数の領域内の画像に基づいて、複数の補正データを検出するようにすることができる。

複数の領域としての第１の領域と第２の領域は、その一部が重なるか、または一方が他方に含まれるようにすることができる。

本発明の画像処理方法は、入力画像内のユーザにより指定された領域を取得する第１の取得ステップと、第１の取得ステップの処理により取得された領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補を、入力画像全体を補正するための複数の補正データとして検出する検出ステップと、検出ステップの処理により検出された複数の補正データに基づいて入力画像内のボケを補正した複数の補正画像を生成する補正ステップと、複数の補正データの中から１つの補正データを、あるいは、複数の補正画像の中から１つの補正画像をユーザが選択する入力を取得する第２の取得ステップとを含むことを特徴とする。

本発明の記録媒体に記録されているプログラムは、入力画像内のユーザにより指定された領域を取得する第１の取得ステップと、第１の取得ステップの処理により取得された領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補を、入力画像全体を補正するための複数の補正データとして検出する検出ステップと、検出ステップの処理により検出された複数の補正データに基づいて入力画像内のボケを補正した複数の補正画像を生成する補正ステップと、複数の補正データの中から１つの補正データを、あるいは、複数の補正画像の中から１つの補正画像をユーザが選択する入力を取得する第２の取得ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明のプログラムは、入力画像内のユーザにより指定された領域を取得する第１の取得ステップと、第１の取得ステップの処理により取得された領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補を、入力画像全体を補正するための複数の補正データとして検出する検出ステップと、検出ステップの処理により検出された複数の補正データに基づいて入力画像内のボケを補正した複数の補正画像を生成する補正ステップと、複数の補正データの中から１つの補正データを、あるいは、複数の補正画像の中から１つの補正画像をユーザが選択する入力を取得する第２の取得ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明の画像処理装置、画像処理方法、記録媒体に記録されているプログラム、およびプログラムにおいては、入力画像内のユーザにより指定された領域が取得され、取得された領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補が、入力画像全体を補正するための複数の補正データとして検出され、検出された複数の補正データに基づいて入力画像内のボケを補正した複数の補正画像が生成され、複数の補正データの中から１つの補正データを、あるいは、複数の補正画像の中から１つの補正画像をユーザが選択する入力が取得される。

以上のように、本発明によれば、画像を補正することができる。また、この発明によれば、簡単かつ迅速にユーザが所望するように画像を補正することができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現したり、追加される発明の存在を否定するものではない。

本発明によれば、画像処理装置が提供される。この画像処理装置（例えば、図１の画像処理システム１）は、入力画像内のユーザにより指定された領域（例えば、検出領域）を取得する取得手段（例えば、図１の選択制御部２３）と、取得された前記領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補を、前記入力画像全体を補正するための複数の補正データ（例えば、パラメータセット候補）として検出する検出手段（例えば、図１のパラメータ検出部２２）と、前記検出手段により検出された前記複数の補正データに基づいて前記入力画像内のボケを補正した複数の補正画像を生成する補正手段（例えば、図１の画像処理部２４）とを備え、前記取得手段は、前記複数の補正データの中から１つの前記補正データを、あるいは、前記複数の補正画像の中から１つの前記補正画像をユーザが選択する入力をさらに取得する。

この画像処理装置は、前記入力画像および前記補正画像の呈示を制御する呈示制御手段（例えば、図１のＯＳＤ処理部２５）をさらに備えるようにすることができる。

この画像処理装置においては、前記呈示制御手段は、前記入力画像または前記補正画像に前記補正データに関する補正データ情報（例えば、図１０のパラメータセット候補一覧１２１）を重畳させて呈示するように制御するようにすることができる。

この画像処理装置においては、前記取得手段は、前記呈示制御手段により呈示するように制御された前記補正データ情報に含まれる前記複数の補正データの中から１つの前記補正データをユーザが選択する入力（例えば、決定入力）をさらに取得し、前記補正手段は、前記ユーザにより選択された前記補正データに基づいて、前記補正画像を生成するようにすることができる。

この画像処理装置においては、前記取得手段は、前記呈示制御手段により呈示するように制御された前記補正画像に基づいて前記補正データの調整を指示するユーザからの調整指示入力（例えば、パラメータセット調整入力）をさらに取得し、前記補正手段は、前記取得手段により取得された前記調整指示入力に基づいて、前記入力画像を補正した前記補正画像内のボケを生成するようにすることができる。

この画像処理装置においては、前記補正データ情報は、前記複数の補正データを識別するための識別情報（例えば、図１０の識別記号１３２）、および前記複数の補正データの値（例えば、図１０のパラメータセット候補の値１３３）のうち少なくとも１つを含むようにすることができる。

この画像処理装置においては、前記呈示制御手段は、前記補正手段により生成された前記複数の補正画像を１画面内に呈示するように制御し、前記取得手段は、前記呈示制御手段により１画面内に呈示するように制御された前記複数の補正画像の中から１つの前記補正画像をユーザが選択する入力（例えば、決定入力）を取得するようにすることができる。

本発明によれば、画像処理方法が提供される。この画像処理方法は、入力画像内のユーザにより指定された領域（例えば、検出領域）を取得する第１の取得ステップ（例えば、図４のステップＳ４、または、図２４のステップＳ１０４）と、前記第１の取得ステップの処理により取得された前記領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補を、前記入力画像全体を補正するための複数の補正データ（例えば、パラメータセット候補）として検出する検出ステップ（例えば、図４のステップＳ５、または、図２４のステップＳ１０５）と、前記検出ステップの処理により検出された前記複数の補正データに基づいて前記入力画像内のボケを補正した複数の補正画像を生成する補正ステップ（例えば、図２４のステップＳ１０７）と、前記複数の補正データの中から１つの補正データを、あるいは、前記複数の補正画像の中から１つの前記補正画像をユーザが選択する入力を取得する第２の取得ステップ（例えば、図５のステップＳ８、または、図２４のステップＳ１０９）とを含む。

本発明によれば、プログラムが提供される。このプログラムは、入力画像内のユーザにより指定された領域（例えば、検出領域）を取得する第１の取得ステップ（例えば、図４のステップＳ４、または、図２４のステップＳ１０４）と、前記第１の取得ステップの処理により取得された前記領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補を、前記入力画像全体を補正するための複数の補正データ（例えば、パラメータセット候補）として検出する検出ステップ（例えば、図４のステップＳ５、または、図２４のステップＳ１０５）と、前記検出ステップの処理により検出された前記複数の補正データに基づいて前記入力画像内のボケを補正した複数の補正画像を生成する補正ステップ（例えば、図２４のステップＳ１０７）と、前記複数の補正データの中から１つの補正データを、あるいは、前記複数の補正画像の中から１つの前記補正画像をユーザが選択する入力を取得する第２の取得ステップ（例えば、図５のステップＳ８、または、図２４のステップＳ１０９）とを含む。

このプログラムは、記録媒体（例えば、図２７のリムーバルメディア５２１）に記録することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理システム１の基本構成例を示すブロック図である。画像処理システム１は、データ処理部１１、呈示部１２、およびリモートコントローラ１３により構成される。

ユーザは、リモートコントローラ１３あるいは図示せぬデータ処理部１１に設けられたキーを操作して、データ処理部１１への入力や処理の指示などを行う。

図２は、リモートコントローラ１３の外観構成例を示している。リモートコントローラ１３は、方向キー４１−１乃至４１−４、決定キー４２、機能キー４３−１乃至４３−３を有している。例えば、ユーザは、方向キー４１−１乃至４１−４を操作して、検出領域を指定したり、パラメータセット候補一覧の中から適用パラメータセットを選択したり、パラメータセットの値を調整したりする。ユーザは、決定キー４２を押下することにより、検出領域やパラメータセットなどの設定値や選択項目を確定する。ユーザは、機能キー４３−１乃至４３−３を操作して、データ処理部１１が有する機能を起動させ、使用する。

呈示部１２は、例えば、一般のテレビジョン受像機や専用のモニタで構成され、画像を表示する。

データ処理部１１は、ユーザにより補正を行うために入力された画像（以下、入力画像と称する）を呈示させるための画像データ（以下、入力画像データと称する）を呈示部１２に出力して、呈示部１２に入力画像を呈示させる。データ処理部１１はまた、ユーザが入力画像内の補正データを検出する領域（以下、検出領域と称する）を指定する入力（以下、検出領域指定入力と称する）、および、入力画像の劣化の原因などに基づいて、ユーザが補正データの検出方式を指定するモード（以下、補正モードと称する）を取得する。補正モードには、例えば、主に動きボケによる画像の劣化を補正する動きボケ補正モード、主にフォーカスボケによる画像の劣化を補正するフォーカスボケ補正モードなどが含まれる。

さらに、データ処理部１１は、図１５を参照して後述するように、ユーザにより指定された補正モードと検出領域内の画像に基づいて、入力画像を補正するために必要な補正データ（以下、パラメータセットと称する）の候補（以下、パラメータセット候補と称する）を検出する。

この他、データ処理部１１は、検出したパラメータセット候補の一覧（以下、パラメータセット候補一覧と称する）を呈示部１２に呈示させる。また、データ処理部１１は、ユーザにより入力されたパラメータセット候補の選択や確定などを指示する決定入力、およびパラメータセット候補の検出結果や選択などをキャンセルするキャンセル入力を取得する。さらに、データ処理部１１は、呈示されたパラメータセット候補一覧の中からユーザにより選択されたパラメータセット（以下、適用パラメータセットと称する）に基づいて補正した画像（以下、補正画像と称する）のデータ（以下、補正画像データと称する）を生成する。

データ処理部１１は、生成した補正画像データを呈示部１２に出力し、呈示部１２に補正画像を呈示させる。また、データ処理部１１は、呈示部１２に呈示された補正画像に基づいて、適用パラメータセットの調整を指示するユーザからの入力（以下、パラメータセット調整入力と称する）を取得し、ユーザからの指示により調整したパラメータセット（以下、調整パラメータセットと称する）に基づいて再度補正した補正画像データを生成し、呈示部１２に呈示させる。

このような機能を実現するため、データ処理部１１は、画像入力部２１、パラメータ検出部２２、選択制御部２３、画像処理部２４、OSD（On Screen Display）処理部２５、画像出力部２６、および入力画像蓄積部２７により構成される。

パラメータ検出部２２は、画像入力部２１を介して、入力画像データを取得し、入力蓄積部２７に蓄積させる。パラメータ検出部２２は、選択制御部２３を介して、リモートコントローラ１３を操作することでユーザにより入力された検出領域指定入力および補正モードを取得する。パラメータ検出部２２は、図１５を参照して後述するように、ユーザにより指定された補正モードと検出領域内の画像に基づいて、パラメータセット候補を検出する。パラメータ検出部２２は、検出したパラメータセット候補を選択制御部２３に供給する。

選択制御部２３は、リモートコントローラ１３を介してユーザにより入力された検出領域指定入力および補正モードを取得したり、パラメータセット候補の選択や確定などを指示する決定入力、およびパラメータセット候補の検出結果や選択などをキャンセルするキャンセル入力を取得する。選択制御部２３はまた、パラメータ検出部２２からパラメータセット候補を取得するとともに、ユーザにより選択された適用パラメータセットを画像処理部２４に供給する。さらに、選択処理部２３は、リモートコントローラ１３を介してユーザにより入力されたパラメータセット調整入力を取得し、ユーザの指示により調整した調整パラメータセットを画像処理部２４に供給する。

この他、選択制御部２３は、検出領域、パラメータセット候補一覧、カーソルなど、入力画像や補正画像に重畳させて呈示させるデータ（以下、重畳データと称する）と、重畳データの呈示位置や文字の大きさなど重畳データの呈示を制御するためのデータ（以下、呈示制御データと称する）をＯＳＤ処理部２５に供給する。

画像処理部２４は、図４と図５を参照して後述するように、入力画像蓄積部２７に蓄積されている入力画像データを取得し、選択制御部２３から供給されたパラメータセットに基づいて、入力画像を補正した補正画像データを生成する。画像処理部２４は、入力画像データや補正画像データをOSD処理部２５に供給する。

OSD処理部２５は、選択制御部２３から取得した重畳データと呈示制御データに基づいて、画像処理部２４から取得した入力画像や補正画像に重畳データを重畳させた画像データを生成し、画像出力部２６を介して呈示部１２に出力する。呈示部１２は入力された画像データに基づく画像を呈示する。ＯＳＤ処理部２５は、必要に応じて、補正画像の画像データを、画像出力部２６を介して、記憶装置など外部の装置に出力する。

図３は、選択制御部２３の基本構成例を示すブロック図である。選択制御部２３は、入力部６１、パラメータ可変部６２、およびＯＳＤ（On Screen Display）データ補正部６２により構成される。

入力部６１は、リモートコントローラ１３を介してユーザにより入力された検出領域指定入力、補正モード、およびパラメータセット調整入力を取得し、パラメータ可変部６２に供給するとともに、検出領域指定入力をＯＳＤデータ補正部６３に供給する。また、入力部６１は、リモートコントローラ１３を介してユーザにより入力されたパラメータセット候補の選択や確定などを指示する決定入力、およびパラメータセット候補の検出結果や選択などをキャンセルするキャンセル入力を取得する。

パラメータ可変部６２は、パラメータ検出部２２から取得したパラメータセット候補をＯＳＤデータ補正部６３に供給する。また、パラメータ可変部６２は、入力部６１から取得した検出領域指定入力をパラメータ検出部２２に供給するとともに、ユーザにより選択された適用パラメータセットを画像処理部２４とＯＳＤデータ補正部６３に供給する。さらに、パラメータ可変部６２は、入力部６１から取得したパラメータセット調整入力に基づいて調整した調整パラメータセットを画像処理部２４とＯＳＤデータ補正部６３に供給する。

ＯＳＤデータ補正部６３は、パラメータ可変部６２からパラメータセット候補、適用パラメータセット、および調整パラメータセットを取得し、入力部６１から取得した検出領域指定入力などのユーザからの入力に基づいて、重畳データと呈示制御データを生成し、ＯＳＤ処理部２５に供給する。

次に、図４と図５を参照して、画像処理システム１により実行される画像補正処理について説明する。なお、この処理は、ユーザにより処理の開始が指令されたとき、開始される。

ステップＳ１において、パラメータ検出部２２は、画像入力部２１を介して、入力画像データを取得し、入力画像蓄積部２７に蓄積させる。これにより、例えば、図６に示されるような動きボケにより被写体１０１の輪郭近傍の輝度が、被写体１０１の進行方向であるほぼ水平方向の周囲の画素に広がり、劣化した入力画像の入力画像データが入力される。

ステップＳ２において、画像処理部２４は、入力画像蓄積部２７に蓄積された入力画像データを取得し、ＯＳＤ処理部２５に供給する。ＯＳＤデータ補正部６３は、図７に示されるデフォルトの検出領域１１１−１乃至１１１−３を入力画像に重畳させて呈示させるための重畳データと呈示制御データをＯＳＤ処理部２５に供給する。ＯＳＤ処理部２５は、入力画像にデフォルトの検出領域１１１−１乃至１１１−３を重畳させた画像の画像データを生成し、画像出力部２６を介して呈示部１２に出力する。呈示部１２は取得した画像データに基づく画像を、図７に示されるように呈示する。

ユーザは、呈示部１２に呈示された入力画像を見て、入力画像の劣化の原因などに基づいて補正モードを選択し、リモートコントローラ１３を操作して、補正モードを入力する。

そこで、ステップＳ３において、選択制御部２３の入力部６１は、ユーザにより入力された補正モードを取得する。入力部６１は、ユーザにより入力された補正モードを取得し、パラメータ可変部６２に伝達する。パラメータ可変部６２は、パラメータ検出部２２と画像処理部２４にユーザにより指定された補正モードを伝達する。

ステップＳ４において、入力部６１は、ユーザからの指示に基づいて、補正データを検出する入力画像内の検出領域を設定する。すなわち、ユーザは、図７に示される画像を見て、特に画像の劣化がひどい領域や、重点的に補正したい領域などがあれば、リモートコントローラ１３を操作して、その領域を指定する。ユーザからのこのような領域の指定が入力された場合、入力部６１は、検出領域を、図７のデフォルトの検出領域１１１−１乃至１１１−３から、検出領域を指定された領域に変更するために、ユーザにより入力された検出領域指定入力を取得し、ＯＳＤデータ補正部６３に供給する。

ＯＳＤデータ補正部６３は、検出領域指定入力に基づいて、ユーザにより指定された検出領域を入力画像に重畳させて呈示させるための重畳データと呈示制御データを生成し、ＯＳＤ処理部２５に供給する。ＯＳＤ処理部２５は、取得した重畳データおよび呈示制御データに基づいて、変更された検出領域を入力画像に重畳させた画像データを生成し、呈示部１２に供給する。

呈示部１２は、取得した画像データに基づいて、例えば、図８に示されるように、変更された検出領域を入力画像に重畳させた画像を呈示する。図８の例においては、左右のデフォルトの検出領域１１１−１，１１１−３はそのままとされ、中央のデフォルトの検出領域１１１−２が、より広い範囲の領域１１１−１１に変更されている。そして、検出領域１１１−１１の一部は検出領域１１１−１，１１１−３の一部と重なった状態とされている。

入力部６１は、ユーザがリモートコントローラ１３の決定キー４２を押下するなどして、検出領域が確定されたときに取得した検出領域指定入力を、パラメータ可変部６２に供給する。パラメータ可変部６２は、パラメータ検出部２２に検出領域指定入力を供給する。

なお、以下の説明において、入力画像内に３ヶ所の検出領域が設定される例を示すが、もちろん、その数、位置、大きさ等は任意に入力することができる。また、図９に示されるように、検出領域１１１−２１乃至１１１−３０を用意し、ユーザがその中から任意の個数の検出領域を設定できるようにしてもよい。さらに、図９に示されるように、１つの検出領域（例えば、検出領域１１１−３０）に他の検出領域（例えば、検出領域１１１−２５）が含まれたり、複数の領域（例えば、検出領域１１１−２１乃至１１１−２４および１１１−２６乃至１１１−２９と、検出領域１１１−３０）の一部が重なるように設定されるようにしてもよい。

ステップＳ５において、パラメータ検出部２２は、パラメータ検出処理を行う。このパラメータ検出処理の詳細については、図１５を参照して後述するが、この処理により、入力画像を補正するときに用いられるパラメータセット候補が、ステップＳ４の処理で設定された検出領域１ヶ所につき３組、従って、検出領域の数が３個である場合には、合計９（＝３×３）組検出される。

ここで、パラメータ検出部２２により検出されるパラメータセットについて説明する。動きボケなどにより劣化した画像は、画像の劣化を表わす点像分布関数と本来の被写体の画像を畳み込み積分することによってモデル化（再現）される。従って、点像分布関数を求めて、その点像分布関数と劣化した画像のデータ（入力画像データ）を逆畳み込み積分することにより、入力画像を本来の被写体の画像に近い劣化の少ない画像に補正することができる。

例えば、画像の劣化が主に被写体の動きに伴う動きボケに起因する場合、点像分布関数は、撮像時の被写体の動きを表わすベクトル、すなわち撮像時に被写体が動いた画像上の距離と角度（方向）により表わされる。

ステップＳ５において、パラメータ検出部２２は、例えば、動きボケ補正モードの場合、撮像時に被写体が動いた距離と角度であると推定される値を所定の数だけ検出して、パラメータセット候補とする。

ステップＳ６において、パラメータ検出部２２は、ステップＳ５の処理で検出したパラメータセット候補をパラメータ可変部６２に供給する。パラメータ可変部６２は、取得したパラメータセット候補を、画像処理部２４とＯＳＤデータ補正部６３に供給する。

ステップＳ７において、呈示部１２は、パラメータセット候補を呈示する。具体的には、ＯＳＤデータ補正部６３は、図１０に示されるように、パラメータセットの項目（動き（ベクトル）と角度）を表わす項目名１３１、各パラメータセット候補を識別するための識別記号１３２、各パラメータセット候補の値１３３、およびカーソル１３４から構成されるパラメータセット候補一覧１２１を入力画像に重畳させて呈示させるための重畳データと呈示制御データをＯＳＤ処理部２５に供給する。ＯＳＤ処理部２５は、重畳データと呈示制御データに基づいて、入力画像にパラメータセット候補一覧１２１を重畳させた画像データを生成し、画像出力部２６を介して、呈示部１２に出力する。呈示部１２は、取得した画像データに基づいて、例えば、図１０に示されるように、入力画像にパラメータセット候補一覧１２１を重畳させた画像を呈示する。

あるいはまた、ＯＳＤデータ補正部６３は、入力部６１を介して、ユーザからの指令を取得して、図１１に示されるように、パラメータセット候補一覧１２１として識別記号１３２とカーソル１３４のみ呈示させたり、図１２に示されるように、パラメータセット候補一覧１２１に識別記号１３２を呈示させず、項目だけを呈示させるようにする重畳データと呈示制御データを生成し、呈示部１２に呈示させることができる。これにより、パラメータセット候補一覧１２１に、ユーザが必要な情報のみを呈示させることができる。また、パラメータセット候補一覧１２１の呈示位置も、ユーザの指定により、変更することができる。

ユーザは、図１０に示される画像を見て、リモートコントローラ１３を操作して、適用パラメータセットとしてパラメータセット候補一覧１２１の中の１つを選択する決定入力、または検出されたパラメータセット候補をキャンセルするキャンセル入力のうちいずれか一方を入力する。そこで、ステップＳ８において、入力部６１は、そのユーザからの入力を取得する。

ステップＳ９において、入力部６１は、ステップＳ８の処理でユーザにより決定入力が入力されたか否かを判定する。ユーザにより決定入力ではなくキャンセル入力が入力されたと判定された場合、処理はステップＳ２に戻り、ステップＳ９において、決定入力が入力されたと判定されるまで、ステップＳ２乃至Ｓ９の処理が繰り返される。すなわち、再度ユーザにより補正モードと検出領域が設定され、設定された補正モードと検出領域に基づいてパラメータセット候補が検出され、その一覧が呈示される処理が繰り返される。これにより、ユーザは、パラメータセット候補の検出を何度もやり直させることができる。

ステップＳ９において、ステップＳ８の処理でユーザにより決定入力が入力されたと判定された場合、すなわち、ユーザによりパラメータセット候補一覧１２１の中から適用パラメータセットが選択された場合、処理はステップＳ１０に進む。

ステップＳ１０において、画像処理部２４は、ユーザにより選択された適用パラメータセットに基づいて、入力画像を補正した補正画像の補正画像データを生成する。具体的には、パラメータ可変部６２は、ユーザにより選択されたパラメータセットを適用パラメータセットとして、画像処理部２４に供給する。画像処理部２４は、適用パラメータセットに基づいて、画像の劣化を表わす点像分布関数を求め、入力画像データに重畳されたノイズや画像サイズ、撮像系の特性、データ処理部１１の処理速度やハードウェアの規模などを考慮しながら、その点像分布関数と入力画像データを逆畳み込み積分に相当する処理を行うことにより補正した補正画像の補正画像データを生成する。

ステップＳ１１において、呈示部１２は、図１３に示されるように、ステップＳ１０の処理で被写体１０１の劣化が補正された被写体１４１を含む補正画像を呈示する。具体的には、画像処理部２４は、ステップＳ１０の処理で生成した補正画像データを、ＯＳＤ処理部２５に供給する。ＯＳＤデータ補正部６３は、パラメータ可変部６２より適用パラメータセットを取得し、図１３に示されるように、パラメータセットの項目（動き（ベクトル）と角度）を表わす項目名１６１、適用パラメータセットの値１６２から構成されるパラメータセット表示１５１を補正画像に重畳させて呈示させるための重畳データと呈示制御データをＯＳＤ処理部２５に供給する。

ＯＳＤ処理部２５は、取得した重畳データと呈示制御データに基づいて、補正画像にパラメータセット表示１５１を重畳させた画像データを生成し、画像出力部２６を介して、呈示部１２に出力する。呈示部１２は、取得した画像データに基づいて、図１３に示されるように、被写体１０１の劣化が補正された被写体１４１の画像を含む補正画像にパラメータセット表示１５１を重畳させた画像を呈示する。

ユーザは、図１３に示される適用パラメータセットに基づいて補正された補正画像を見て、呈示された補正画像で満足する場合には、リモートコントローラ１３を操作して、適用パラメータセットの選択を確定する決定入力を入力する。あるいは、ユーザは、その補正画像に満足しない場合、すなわち、現在の適用パラメータセットの選択をキャンセルして、再度適用パラメータセットを選択する場合には、リモートコントローラ１３を操作して、キャンセル入力を入力する。そこで、ステップＳ１２において、入力部６１は、そのユーザからの入力を取得する。なお、図１０に示されるパラメータセット候補一覧１２１と同様に、パラメータセット表示１５１の呈示位置も、ユーザの指定により変更することができる。

ステップＳ１３において、入力部６１は、決定入力が入力されたか否かを判定する。ステップＳ１２の処理でユーザにより決定入力ではなく、キャンセル入力が入力されたと判定された場合、すなわち、適用パラメータセットの選択がキャンセルされた場合、処理はステップＳ７に戻り、ステップＳ１３において、決定入力が入力されたと判定されるまで、上述したステップＳ７乃至Ｓ１３の処理が繰り返される。すなわち、再度パラメータセット候補一覧１２１が呈示され、パラメータセット候補一覧１２１の中からユーザにより選択された適用パラメータセットに基づいて補正した画像が呈示される処理が繰り返される。これにより、ユーザは、適用パラメータセットに基づいて補正された補正画像を確認しながら、適用パラメータの選択を繰り返すことができる。

ステップＳ１３において、ステップＳ１２の処理でユーザにより決定入力が入力されたと判定された場合、すなわち、適用パラメータセットの選択が確定された場合、処理はステップＳ１４に進む。

ユーザは、適用パラメータセットを確定した後、あるいは後述するステップＳ１８乃至Ｓ２０の処理で適用パラメータセットの値を調整した後、パラメータセットを最終決定する場合には、リモートコントローラ１３を操作して、決定入力を入力する。あるいは、ユーザは、適用パラメータセットの値を調整して、画像の補正を微調整する場合には、リモートコントローラ１３を操作して、パラメータセット調整入力を入力し、あるいは、確定した適用パラメータセットの選択をキャンセルして、再度適用パラメータセットを選択する場合には、キャンセル入力を入力する。そこで、ステップＳ１４において、入力部６１は、このユーザからの入力を取得する。

ステップＳ１５において、入力部６１は、決定入力が入力されたか否かを判定する。ステップＳ１４の処理でユーザにより決定入力が入力されていないと判定された場合、処理はステップＳ１７に進む。

ステップＳ１７において、入力部６１は、パラメータセット調整入力が入力されたか否かを判定する。ステップＳ１４の処理でユーザによりパラメータセット調整入力が入力されたと判定された場合、処理はステップＳ１８に進む。

ステップＳ１８において、パラメータ可変部６２は、入力部６１からパラメータセット調整入力を取得し、パラメータセット調整入力に基づいて、適用パラメータセットの値を調整する。パラメータ可変部６２は、調整したパラメータセット（調整パラメータセット）を画像処理部２４とＯＳＤデータ補正部６３に供給する。

ステップＳ１９において、画像処理部２４は、調整パラメータセットに基づいて、入力画像を補正した補正画像の補正画像データを生成する。

ステップＳ２０において、ステップＳ１９の処理で生成された補正画像データに基づく補正画像が呈示される。具体的には、画像処理部２４は、ステップＳ１９の処理で生成した補正画像データを、ＯＳＤ処理部２５に供給する。パラメータ可変部６２は、パラメータセット表示１５１のパラメータセットの値に調整パラメータセットの値を呈示させるための重畳データと呈示制御データをＯＳＤ処理部２５に供給する。

ＯＳＤ処理部２５は、重畳データと呈示制御データに基づいて、調整パラメータセットに基づいて補正された補正画像の補正画像データに、適用パラメータセットの値を調整パラメータセットの値に変更したパラメータセット表示１５１を重畳させた画像データを生成し、画像出力部２６を介して、呈示部１２に出力する。呈示部１２は、取得した画像データに基づいて、補正画像にパラメータセット表示１５１を重畳させた画像を呈示する。これにより、ユーザは、調整したパラメータセットの値を確認しながら、調整パラメータセットに基づいて補正された補正画像を確認することができる。

その後、処理はステップＳ１４に戻り、ステップＳ１５において、ユーザにより決定入力が入力された、すなわち調整されたパラメータセットが最終決定されたと判定されるまで、ステップＳ１４乃至Ｓ２０の処理が繰り返される。すなわち、ユーザにより適用パラメータセットの値が調整され、調整されたパラメータセットに基づいて補正画像データが生成され、補正画像が呈示される処理が繰り返される。

ただし、ステップＳ１７において、ステップＳ１４の処理で、ユーザによりパラメータセット調整入力ではなく、キャンセル入力が入力されたと判定された場合、ステップＳ１３において、キャンセル入力が入力されたと判定された場合と同様に、適用パラメータセットの選択がキャンセルされ、処理はステップＳ７に戻り、それ以降の処理が繰り返される。

ステップＳ１５において、ステップＳ１４の処理でユーザにより決定入力が入力されたと判定された場合、すなわち、適用パラメータセットがそのまま最終決定されたり、ステップＳ１８乃至Ｓ２０の処理で調整された調整パラメータセットが最終決定された場合、処理はステップＳ１６に進む。

ステップＳ１６において、呈示部１２は、最終決定されたパラメータセットに基づいて補正された補正画像を呈示する。具体的には、パラメータ可変部６２は、ユーザにより最終決定されたパラメータセットを画像処理部２４に供給する。画像処理部２４は、ユーザにより最終決定されたパラメータセットに基づいて、入力画像を補正した補正画像の補正画像データを生成し、ＯＳＤ処理部２５に供給する。ＯＳＤ処理部２５は、例えば図１４に示されるように、最終決定されたパラメータセットに基づいて、被写体１０１の劣化が補正された被写体１７１を含む補正画像のみの画像データを生成し、呈示部１２に出力する。呈示部１２は、取得した画像データに基づいて、図１４に示される被写体１０１の劣化が補正された被写体１７１を含む補正画像を呈示する。

また、ＯＳＤ処理部２５は、必要に応じて、画像出力部２６を介して、生成した画像データを外部の装置に出力する。

このようにして、ユーザは、入力画像内の所望する複数の検出領域を指定して、その領域内の画像に基づいて入力画像を補正するためのパラメータセットの候補を検出させることができる。従って、画像全体に対してパラメータセット候補を検出するのに比べて、検出時間を短くし、検出回路の規模を小さくすることができる。また、画像内に異なる動きをする複数の被写体が存在したり、焦点距離が異なる複数の被写体が存在したりする場合でも、検出領域をそれぞれの被写体にあわせて分割して設定できるため、それぞれの被写体に対して適切なパラメータセット候補を検出することができる。また、ユーザは、補正された画像を確認しながら、検出されたパラメータセット候補の中から適切な適用パラメータセットを選択することができ、さらに、選択した適用パラメータセットをさらに調整することができる。従って、簡単かつ迅速にユーザが所望するように画像を補正することができる。

さらに、ユーザにより適用パラメータセットが選択されたり、パラメータセットの値が調整される毎に、そのパラメータセットに基づいて入力画像を補正することにより、補正画像データを保持するためのメモリが不要となる。

次に、図１５のフローチャートを参照して、図４のステップＳ５のパラメータ検出処理の詳細について、補正モードとして動きボケ補正モードが設定された場合の例に基づいて、説明する。

ステップＳ３１において、パラメータ検出部２２は、図４のステップＳ４の処理で設定された検出領域のうち１つを指定する。

ステップＳ３２において、パラメータ検出部２２は、ステップＳ３１の処理で指定した検出領域内の所定の間隔ごとの複数の画素を評価点として設定し、設定した評価点の中から１つを指定する。

ステップＳ３３において、パラメータ検出部２２は、入力画像データの輝度を測定する角度（方向）（以下、測定角度と称する）を指定する。例えば、入力画像の水平かつ右方向を０度とすると、０度から１８０度の方向のうち所定の間隔ごとの角度が測定角度として設定され、その測定角度の中から１つが指定される。

例えば、図１６において、検出領域１９０内の点Ａを評価点として、０度から４５度間隔に測定角度を設定した場合、評価点Ａを通過する０度方向の直線１９１−１、評価点Ａを通過する右斜め上４５度方向の直線１９１−２、評価点Ａを通過する上９０度方向の直線１９１−３、および評価点Ａを通過する左斜め上１３５度方向の直線１９１−４のいずれか１つが指定される。

ステップＳ３４において、パラメータ検出部２２は、ステップＳ３３で指定された測定角度方向の直線（例えば、図１６の直線１９１−１）上に位置する画素の輝度について、輝度を画素の位置で１回微分した値の絶対値（以下、１回微分値と称する）を、さらに微分した２回微分値を求める。

例えば、図１７に示されるような、外形がほぼ円形の物体２０１の中心を評価点Ｏとして、物体２０１およびその周辺について、評価点Oを通過するほぼ水平で左から右の方向の直線２０２上の輝度の２回微分値について考える。

図１８は、物体２０１が静止した状態のとき撮像された画像において、物体２０１およびその周辺の直線２０２上に位置する画素の輝度を表わすグラフである。縦軸が輝度を表わし、横軸が直線２０２の方向における画素の位置を表わしている。図１７の点Ａにおける輝度の値が、図１８の横軸の点Ａにおける輝度の値に対応し、図１７の点Ｂにおける輝度の値が、図１８の横軸の点Ｂにおける輝度の値に対応する。図１８に示されるように、物体２０１の輝度は、直線２０２の方向において値Ｙ１で一定であり、物体２０１の周囲の輝度の値Ｙ２は、物体２０１の値Ｙ１より低い輝度で一定である。

図１９は、図１７の物体２０１が直線２０２の方向に等速で動いているときに撮像された画像において、物体２０１およびその周辺の直線２０２の方向の輝度を表わすグラフである。同図に示されるように、物体２０１の左端の点Ａおよび右端の点Ｂ付近の輝度が、画像の位置にほぼ比例して変化するとともに、物体２０１の範囲（点Ａと点Ｂの区間）を超えて広がっている。これは、撮像中に物体２０１が等速で動いたことにより、物体２０１の輪郭の近傍の輝度が、背景の輝度と中和されてぼやけたことが原因である。物体２０１の輪郭の近傍の輝度が変化する（ぼやける）範囲は、撮像時の物体２０１の動き量ｄとほぼ等しくなるため、輝度が変化している点Ｃと点Ｄの間の距離ｄ１と、点Ｅと点Ｆの間の距離ｄ２は、撮像時の物体２０１の動き量ｄとほぼ等しくなる。

図２０は、図１９の輝度を表わす線を画素の位置で微分した値の絶対値である１回微分値のグラフを示している。この１回微分値は、図１９の輝度の線の各画素の位置における傾き（輝度の変化率）を示しており、図１９の輝度が画素の位置に比例して変化している位置Ｃと位置Ｄの区間および位置Ｅと位置Ｆの区間でほぼ一定の正の値となり、それ以外の区間でほぼ０となる。

図２１は、図２０の１回微分値の線を、さらに画素の位置で微分した２回微分値のグラフを示している。このグラフは、図２０の１回微分値が正の方向に変化する位置Ｃおよび位置Ｅにおいて正のピーク値を持つパルス２４２−１およびパルス２４２−３、および１回微分値が負の方向に変化する位置Ｄおよび位置Ｆにおいて負のピーク値を持つパルス２４２−２およびパルス２４２−４の４つのパルスを有する。

ステップＳ３４において、パラメータ検出部２２は、評価点と、測定角度方向で評価点と隣接する前後の画素の輝度を求め、それぞれの輝度に適切な係数を乗じて、足し合わせることにより、評価点における２回微分値を直接求める。次に、評価点に隣接する前後の画素について同様の処理を行い、評価点に隣接する画素における２回微分値を求める。この処理が、評価点を中心にした測定角度方向の前後両方向において、図２１のピーク２４２−１と２４２−２、またはピーク２４２−３と２４２−４のような異なる符号（極性）のピークが、１つずつ以上検出される画素の位置まで繰り返される。

ステップＳ３５において、パラメータ検出部２２は、ステップＳ３４において求めた２回微分値のピーク間の距離（以下、ピーク間距離と称する）を求める。パラメータ検出部２２は、２回微分値のグラフにおいて、評価点Ｏを中心にした正と負の両方向について、評価点Ｏに最も近いピークと、評価点Ｏに最も近いピークに対して評価点Ｏから離れる方向に隣接し、評価点Ｏに最も近いピークと符号（正または負）が異なるピークの間の距離を求める。ピーク間距離は、画像の輝度の変化率が連続して増加している区間あるいは連続して減少している区間の距離を表わしており、画像の輝度の変化の傾向を表わしている。

例えば、図２１の２回微分値において、評価点Ｏから負の方向で最も近いピークであるパルス２４２−２のピークと、パルス２４２−２のピークに対して評価点Ｏから離れる方向に隣接し、パルス２４２−２のピークとは符号の異なる正の値のピークであるパルス２４２−１のピークの間の距離Ｌ１と、評価点Ｏから正の方向で最も近いピークであるパルス２４２−３のピークと、パルス２４２−３のピークに対して評価点Ｏから離れる方向に隣接し、パルス２４２−３のピークとは符号の異なる負の値のピークであるパルス２４２−４のピークの間の距離Ｌ２が求められる。このピーク間距離Ｌ１とＬ２はほぼ等しく、また図１９の距離ｄ１およびｄ２、すなわち撮像時の物体２０１の動き量ｄとほぼ等しくなる。従って、ピーク間距離Ｌ１およびＬ２を求めることにより、撮像中に物体２０１が動いた距離とほぼ等しい値を求めることができる。

ステップＳ３６において、パラメータ検出部２２は、評価点における全ての測定角度について処理したか否かを判定する。全ての測定角度について処理していないと判定された場合、処理はステップＳ３３に戻り、ステップＳ３６において、評価点における全ての測定角度について処理されたと判定されるまで、ステップＳ３３乃至Ｓ３６の処理が繰り返される。すなわち、ステップＳ３２の処理で指定された評価点において、全ての測定角度について、ピーク間距離が求められる。例えば、図１７の評価点Ｏにおいて、全ての測定角度についてピーク間距離が求められる。

ステップＳ３６において、評価点における全ての測定角度について処理されたと判定された場合、処理はステップＳ３７に進む。

ステップＳ３７において、パラメータ検出部２２は、検出領域内の全ての評価点について処理したか否かを判定する。検出領域内に設定された全ての評価点について処理されていないと判定された場合、処理はステップＳ３２に戻り、ステップＳ３７において検出領域内の全ての評価点において処理が行われたと判定されるまで、ステップＳ３２乃至Ｓ３７の処理が繰り返される。すなわち、検出領域内の全ての評価点において、全ての測定角度について、ピーク間距離が求められる。これにより、例えば、図１７の評価点Ｏの他、図１７には図示されていない物体２０１の内部および外部に位置する検出領域内の他の全ての評価点において、全ての測定角度についてピーク間距離が求められる。

ステップＳ３７において、全ての評価点について処理されたと判定された場合、処理はステップＳ３８に進む。

ステップＳ３８において、パラメータ検出部２２は、検出された全てのピーク間距離を、検出された測定角度ごとに集計したピーク間距離の分布を求める。図２２および図２３は、図１７に示される物体２０１、その他の画像であって、検出領域内の動きボケにより劣化した画像の、１つの測定角度におけるピーク間距離の分布を示している。図２２および図２３のグラフの横軸はピーク間距離を示しており、縦軸は各ピーク間距離の値の検出頻度を示している。図２２は、物体２０１の運動方向における検出領域内の画像のピーク間距離の分布を示しており、図２３は、物体２０１の運動方向に対してほぼ９０度の方向における検出領域内の画像のピーク間距離の分布を示している。

ステップＳ３９において、パラメータ検出部２２は、ステップＳ３８の処理で求めたピーク間距離の分布に基づいて、暫定パラメータセット候補を求める。

ピーク間距離は、本来の画像の輝度の変化、およびノイズや動きボケなどに起因する輝度の変化に基づいて、図２２および図２３のグラフに示されるように分布する。すなわち、輝度の変化が同様な領域が画像内に多く含まれる場合、その領域において、ほぼ等しいピーク間距離が検出される頻度が高くなり、ピーク間距離の分布のグラフにおいて、図２２のピーク２５１−１や２５１−２に示されるようなピークを生じる。

特に、動きボケにより劣化した（輝度が変化した）領域の物体２０１の運動方向において、図１９に示されるように、被写体の輪郭の近傍の輝度が、撮像時の物体２０１の動き量ｄとほぼ等しい区間ｄ１，ｄ２で画像の位置に比例して変化する傾向にある。従って、ほぼ等しいピーク間距離が検出される頻度が高くなり、図２２のピーク２５１−１またはピーク２５１−２のいずれか一方が、物体２０１の運動により発生した動きボケが原因で生じたものであると推定できる。また、ピーク２５１−１およびピーク２５１−２のうちいずれか一方は、物体２０１の運動による動きボケとは別の原因で発生したピーク、例えば、物体２０１以外の被写体の運動による動きボケによるピーク、画像のノイズによるピーク、検出領域内の画像の輝度の変化により自然に生じたピークなどと考えられる。

一方、物体２０１の運動方向に対してほぼ９０度の方向については、物体２０１の運動による動きボケの影響がほとんど現れない（動きボケによる輝度の変化がほとんど生じない）ため、図２３に示されるように、ピーク間距離の分布のグラフにおいて突出したピークを生じにくい傾向となる。

従って、ピーク間距離の分布において、検出頻度が高いピーク間距離と、そのピーク間距離が検出された測定角度の組み合わせをいくつか抽出すれば、その中に、ピーク間距離で示される撮像時の被写体の動き量と、測定角度で示される撮像時の被写体の運動方向の組み合わせが含まれていると推定できる。

パラメータ検出部２２は、この特性を利用して、ピーク間距離の分布に基づいて、最も検出頻度の高いピーク間距離を所定の数（例えば、９組）だけ抽出して、そのピーク間距離が検出された測定角度と組み合わせて、暫定パラメータセット候補とする。

ステップＳ４０において、パラメータ検出部２２は、ユーザから指定された全ての検出領域について処理したか否かを判定する。まだ、全ての検出領域が処理されていないと判定された場合、処理はステップＳ３１に戻り、ステップＳ４０において、全ての検出領域が処理されたと判定されるまで、ステップＳ３１乃至Ｓ４０の処理が繰り返される。すなわち、ユーザにより設定された全ての検出領域について、暫定パラメータセット候補が検出される。

ステップＳ４０において、全ての検出領域について処理されたと判定された場合、処理はステップＳ４１に進み、パラメータ検出部２２は、パラメータセット候補を決定する。すなわち、パラメータ検出部２２は、暫定パラメータセット候補の中から、各検出領域ごとに検出頻度の高い上位３組、従って、検出領域の数が３個である場合には、合計９（＝３×３）組のピーク間距離と測定角度の組み合わせを抽出して、パラメータセット候補とする。ただし、ある検出領域におけるピーク間距離の検出頻度が、予め設定されている所定の閾値より低い場合、それは動きボケとは別の原因によるものである可能性が高い。そこで、その検出領域から抽出されるパラメータセット候補の数がその分だけ減らされ、他の検出領域で抽出される、閾値以上の頻度のピーク間距離に基づくパラメータセット候補の数が増加される。

その後、処理は図４のステップＳ６に進み、検出されたパラメータセット候補に基づいて、入力画像が補正される。

以上のようにして、動きボケの原因となった撮像時の被写体の動きの方向と動き量に近い値が、パラメータセット候補として検出される。

なお、以上の本発明を適用した画像処理システム１の実施の形態では、パラメータセット候補一覧を呈示して、ユーザに適用パラメータセット候補を選択させる例を示したが、実際にパラメータセット候補に基づいて補正した補正画像の一覧を呈示するようにして、ユーザに適用パラメータセット候補を選択させることも可能である。以下、パラメータセット候補一覧を呈示して、ユーザに適用パラメータセット候補を選択させる方式をパラメータセット候補一覧方式、パラメータセット候補に基づいて補正した画像の一覧を呈示して、ユーザに適用パラメータセット候補を選択させる方式を補正画像一覧方式と称する。

次に、図２４と図２５を参照して、補正画像一覧方式における画像処理システム１により実行される処理を、パラメータセット候補一覧の場合と比較しつつ説明する。

ステップＳ１０１乃至Ｓ１０６において、パラメータセット候補一覧方式における図４のステップＳ１乃至Ｓ６の処理と同様の処理が行われる。すなわち、指定された補正モードに基づいて、パラメータセット候補が検出される。

ステップＳ１０７において、画像処理部２４は、ステップＳ５の処理で検出されたパラメータセット候補のうちの、表示する補正画像に対応する数のパラメータセット候補に基づいて、入力画像を補正した補正画像の補正画像データを生成し、ＯＳＤ処理部２５に供給する。例えば、図２６に示されるように、９枚の補正画像を一度に表示する場合には、パラメータ検出部２２から９組のパラメータセット候補が供給され、画像処理部２４は、９枚の補正画像の補正画像データを生成し、ＯＳＤ処理部２５に供給する。

ステップＳ１０８において、ＯＳＤ処理部２５は、画像処理部２４から供給された９枚の補正画像を、図２６に示されるように、１画面内の枠４４１−１乃至４４１−９に配置した画像データを生成し、画像出力部２６を介して、呈示部１２に供給する。呈示部１２は、供給された画像データに基づいて、図２６に示されるように配置された９枚の補正画像を呈示する。

９枚の補正画像は、各々異なったパラメータセット候補に基づいて補正された画像である。そこで、ユーザは、図２６に示されるように呈示された９枚の補正画像を見て、リモートコントローラ１３を操作して、呈示された補正画像の中から１つを選択する決定入力、または検出されたパラメータセット候補をキャンセルするキャンセル入力のうちいずれか一方を入力する。ステップＳ１０９において、入力部６１は、そのユーザからの入力を取得する。

ステップＳ１１０において、入力部６１は、決定入力が入力されたか否かを判定する。ステップＳ１０９の処理でユーザにより決定入力ではなく、キャンセル入力が入力されたと判定された場合、処理はステップＳ１０２に戻り、ステップＳ１１０において、決定入力が入力されたと判定されるまで、ステップＳ１０２乃至Ｓ１１０の処理が繰り返される。すなわち、ユーザからの補正モードと検出領域指定入力が取得され、指定された補正モードと検出領域に基づいて検出されたパラメータセット候補に基づいて生成された補正画像の一覧が呈示される処理が繰り返される。

ステップＳ１１０において、ステップＳ１０９の処理でユーザにより決定入力が入力されたと判定された場合、処理はステップＳ１１１に進む。

ステップＳ１１１において、呈示部１２は、ユーザにより選択された補正画像を呈示する。具体的には、パラメータ可変部６２は、ユーザにより選択された補正画像に適用されたパラメータセット（適用パラメータセット）をＯＳＤデータ補正部６３に供給する。ＯＳＤデータ補正部６３は、図１３に示されるように、パラメータセット表示１５１をユーザにより選択された補正画像に重畳させて呈示させるための重畳データと呈示制御データをＯＳＤ処理部２５に供給する。

ＯＳＤ処理部２５は、重畳データ、および呈示制御データに基づいて、ユーザにより選択された補正画像にパラメータセット表示１５１を重畳させた画像データを生成し、画像出力部２６を介して、呈示部１２に出力する。呈示部１２は、画像データに基づいて、図１３に示されるように、ユーザにより選択された補正画像にパラメータセット表示１５１を重畳させた画像を呈示する。これにより、実質的には、ステップＳ１０９でユーザが指定した補正画像が拡大して呈示される。

その後、ステップＳ１１２乃至Ｓ１２０の処理が実行される。ステップＳ１１２乃至Ｓ１２０の処理は、パラメータセット候補一覧方式における図５のステップＳ１２乃至Ｓ２０の処理と同様であり、その説明は省略する。

このようにして、ユーザは、検出されたパラメータセット候補に基づいて補正された画像を確認しながら、入力画像を補正する適用パラメータセットを選択することができる。

このように、画像内のユーザにより指定された領域を取得し、取得された領域内の画像に基づいて、画像を補正するための補正データを検出し、検出された補正データに基づいて画像を補正した補正画像を生成するようにした場合には、簡単かつ迅速にユーザが所望するように画像を補正することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

図２７は、汎用のパーソナルコンピュータ５００の内部の構成例を示す図である。CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インターフェース５０５も接続されている。

入出力インターフェース５０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部５０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部５０７、ハードディスクなどで構成される記憶部５０８、およびモデムやターミナルアダプタなどで構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介して通信処理を行う。

入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア５１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記憶部５０８にインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図２７に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０３または記憶部５０８に含まれるハードディスクなどで構成される。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。

本発明を適用した画像処理システムの構成例を示すブロック図である。 リモートコントローラの外観構成例を示す図である。 図１の選択制御部の構成例を示すブロック図である。 画像補正処理を説明するフローチャートである。 画像補正処理を説明するフローチャートである。 画像補正を行う入力画像の例を示す図である。 検出領域の例を示す図である。 検出領域の例を示す図である。 検出領域の例を示す図である。 パラメータセット候補の表示の例を示す図である。 パラメータセット候補の表示の例を示す図である。 パラメータセット候補の表示の例を示す図である。 パラメータセット候補の表示の例を示す図である。 補正画像の例を示す図である。 図４のステップＳ５のパラメータ検出処理の詳細を説明するフローチャートである。 画像の輝度を検出する位置の例を示す図である。 被写体の例を示す図である。 画像の輝度の例を示す図である。 動きボケによる劣化が生じた画像の輝度の例を示す図である。 図１９の画像の輝度を測定位置で１回微分した値を示す図である。 図１９の画像の輝度を測定位置で２回微分した値を示す図である。 動きボケによる劣化が生じた画像の輝度の２回微分値のピーク間の距離の分布を示す図である。 動きボケによる劣化が生じた画像の輝度の２回微分値のピーク間の距離の分布を示す図である。 画像補正処理を説明するフローチャートである。 画像補正処理を説明するフローチャートである。 補正画像の配置例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 画像処理システム， １１ データ処理部， １２ 呈示部， １３ リモートコントローラ， ２１ 画像入力部， ２２ パラメータ検出部， ２３ 選択制御部， ２４ 画像処理部， ２５ OSD処理部， ２６ 画像出力部， ２７ 入力画像蓄積部， ６１ 入力部， ６２ パラメータ可変部， ６３ OSDデータ補正部

Claims (12)

1. 入力画像内のユーザにより指定された領域を取得する取得手段と、
   取得された前記領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補を、前記入力画像全体を補正するための複数の補正データとして検出する検出手段と、
   前記検出手段により検出された前記複数の補正データに基づいて前記入力画像内のボケを補正した複数の補正画像を生成する補正手段と
   を備え、
   前記取得手段は、前記複数の補正データの中から１つの前記補正データを、あるいは、前記複数の補正画像の中から１つの前記補正画像をユーザが選択する入力をさらに取得する
   画像処理装置。
2. 前記入力画像および前記補正画像の呈示を制御する呈示制御手段を
   さらに備える請求項１に記載の画像処理装置。
3. 前記呈示制御手段は、前記入力画像または前記補正画像に前記補正データに関する補正データ情報を重畳させて呈示するように制御する
   請求項２に記載の画像処理装置。
4. 前記取得手段は、前記呈示制御手段により呈示するように制御された前記補正データ情報に含まれる前記複数の補正データの中から１つの前記補正データをユーザが選択する入力を取得し、
   前記補正手段は、前記ユーザにより選択された前記補正データに基づいて、前記補正画
   像を生成する
   請求項３に記載の画像処理装置。
5. 前記取得手段は、前記呈示制御手段により呈示するように制御された前記補正画像に基づいて前記補正データの調整を指示するユーザからの調整指示入力をさらに取得し、
   前記補正手段は、前記取得手段により取得された前記調整指示入力に基づいて、前記入力画像内のボケを補正した前記補正画像を生成する
   請求項４に記載の画像処理装置。
6. 前記補正データ情報は、前記複数の補正データを識別するための識別情報、および前記複数の補正データの値のうち少なくとも１つを含む
   請求項３に記載の画像処理装置。
7. 前記呈示制御手段は、前記補正手段により生成された前記複数の補正画像を１画面内に呈示するように制御し、
   前記取得手段は、前記呈示制御手段により１画面内に呈示するように制御された前記複数の補正画像の中から１つの前記補正画像をユーザが選択する入力を取得する
   請求項２に記載の画像処理装置。
8. 前記取得手段は、複数の指定された前記領域を取得し、
   前記検出手段は、前記複数の領域内の画像に基づいて、前記複数の補正データを検出する
   請求項１に記載の画像処理装置。
9. 前記複数の領域としての第１の領域と第２の領域は、その一部が重なるか、または一方が他方に含まれる
   請求項８に記載の画像処理装置。
10. 入力画像内のユーザにより指定された領域を取得する第１の取得ステップと、
    前記第１の取得ステップの処理により取得された前記領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補を、前記入力画像全体を補正するための複数の補正データとして検出する検出ステップと、
    前記検出ステップの処理により検出された前記複数の補正データに基づいて前記入力画像内のボケを補正した複数の補正画像を生成する補正ステップと、
    前記複数の補正データの中から１つの補正データを、あるいは、前記複数の補正画像の中から１つの前記補正画像をユーザが選択する入力を取得する第２の取得ステップと
    を含む画像処理方法。
11. 入力画像内のユーザにより指定された領域を取得する第１の取得ステップと、
    前記第１の取得ステップの処理により取得された前記領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補を、前記入力画像全体を補正するための複数の補正データとして検出する検出ステップと、
    前記検出ステップの処理により検出された前記複数の補正データに基づいて前記入力画像内のボケを補正した複数の補正画像を生成する補正ステップと、
    前記複数の補正データの中から１つの補正データを、あるいは、前記複数の補正画像の中から１つの前記補正画像をユーザが選択する入力を取得する第２の取得ステップと
    を含む処理をコンピュータに実行させるためのプログラムが記録されている記録媒体。
12. 入力画像内のユーザにより指定された領域を取得する第１の取得ステップと、
    前記第１の取得ステップの処理により取得された前記領域内の画像から、当該画像内で生じているボケの属性を表す値の複数の候補を、前記入力画像全体を補正するための複数の補正データとして検出する検出ステップと、
    前記検出ステップの処理により検出された前記複数の補正データに基づいて前記入力画像内のボケを補正した複数の補正画像を生成する補正ステップと、
    前記複数の補正データの中から１つの補正データを、あるいは、前記複数の補正画像の中から１つの前記補正画像をユーザが選択する入力を取得する第２の取得ステップと
    を含む処理をコンピュータに実行させるためのプログラム。

Images