JP5641782B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。具体的には、高速応答を必要とする画像処理が含まれている場合でも画像処理の順番を維持しつつ、無駄な処理を省くことで高速応答が可能な画像処理装置及び画像処理方法に関する。

最近、画像の修正や補正等を行うためのフォトレタッチアプリケーションを使用して、撮影した画像データを補正、調整して印刷したり、Ｗｅｂにアップロードして共有や公開したりといった画像データの使用が盛んになっている。

フォトレタッチアプリケーションの提供する機能は、撮影した画像データの不具合、例えば画角の調整、明るさ、色見の調整といった基本的な補正、調整機能がある。このような機能に加え、画像データを解析して自動的に補正を行うものまである。一般的なフォトレタッチアプリケーションの状態遷移図を図１２に示す。

図１２は、ユーザが補正対象の画像を選択して、その画像データに対して補正指示を入力する時のデータフローを示している。図１２では特にエラー処理等の例外処理は省略している。補正指示待ち状態Ｓ１２０１は、画像が選択された状態を示している。図示していない画像選択ＵＩを使用して、ユーザが一つの画像を選択し、補正処理を選択しようとしている状態である。補正処理が選択されると、その選択に応じて画像処理が選択され実行される。図１２では、説明上、４つの画像処理があるとする。画像処理１〜４はそれぞれ別の画像処理であり、例えば、自動補正、自動赤目補正、シャープネス補正、明るさ／コントラスト調整などの画像処理である。ここで示す自動補正とは、画像を解析して、画像データの明るさやカラーバランス、局所的な明るさ補正といった、ユーザが細かく補正制御を行わなくても画像に適した補正結果が得られる補正である。

例えば、画像処理２が赤目補正とすると、補正指示待ち状態Ｓ１２０１から画像処理２状態Ｓ１２０３へ遷移して、画像データの中に存在する赤目領域を検出して、自動的に赤目補正を行う。または、ユーザに赤目領域を指定してもらい、指定された赤目領域を補正し、ユーザに赤目補正結果を提供する。赤目補正が終了すると、画像処理２状態Ｓ１２０３から出力状態Ｓ１２０６に遷移して、画像処理２状態で得られた画像データを出力する。ここで示す出力とは、補正後の画像データをディスプレイで表示する、プリンターで印刷する、ＣＦカードやＨＤＤといった記録メディアへの書き込むといったことである。出力が終了すると、出力状態Ｓ１２０６から補正指示待ち状態Ｓ１２０１に遷移する。ここでユーザは、ディスプレイ上で補正結果を確認でき、新たな補正指示を行う、または、補正結果に満足して、次の画像の選択へ進む、フォトレタッチアプリケーションを終了するなどの指示を行うことができる。

図１２には、一般的なフォトレタッチアプリケーションでの状態遷移図を示した。このようなアプリケーションでは機能の数が多く、それぞれに独立しているために、画像処理が個別に実行されるケースが多い。このため、ユーザの対象がある程度画像を補正することになれたユーザを想定したものとなっている。

しかし、画像の解析技術の発達と、それに伴った画像補正技術の採用によって、これまで複数の補正効果を組み合わせることでしか得られなかった効果を、簡単に提供することが可能になってきた。画像解析技術の一例としては、画像データ内のオブジェクト、特に人物の顔の検出技術が進み、一般のＰＣでも高精度な検出結果を得ることができるようになってきた。さらには、画像データから撮影時のシーンを推定することも可能になっている。

様々な画像解析結果を使用することで、個々の画像に対して最適な画像補正効果を自動的に得ることが可能な自動補正技術が多くのメーカから提案されている。その中には、画像全体に対する補正や局所的に制御された補正を組み合わせ、非常に複雑な補正結果を得ることが可能なものもある。このような自動補正を合せて提供する画像補正アプリケーションでは、多くの画像処理を順不同にユーザに行わせるのではなく、画像処理の順番を制御することが必要となってくる。

例えば、自動補正は必ず最初に行い、その他の補正は自動補正後の画像に対して行う、自動補正の２重実行は許容しない、などの制限事項がある。このような画像補正アプリケーションの、画像補正の状態遷移図を図１３に示す。図１３では特にエラー処理等の例外処理は省略している。図１３では、画像処理１〜４がその順序でシーケンシャルに処理されることが、図１２で示したフォトレタッチアプリケーションの場合と異なっている。補正指示待ち状態Ｓ１３０１は、画像が選択された状態を示している。図示していない画像選択ＵＩを使用して、ユーザが一つの画像を選択し、補正処理を選択しようとしている状態である。補正処理が選択されると、その選択に応じて画像処理１〜４がシーケンシャルに実行される。ただし、画像処理には、ユーザが選択した画像の画像データが入力データとして使用される。フォトレタッチアプリケーションでは、各画像処理で処理された後の画像データを入力として処理を行うが、画像補正アプリケーションでは補正されていない元画像データを使用する。

したがって、ユーザが最初に画像処理１と画像処理３を選択した場合は、元画像データを入力データとして、画像処理１状態Ｓ１３０２で画像処理１が実行される。画像処理２は選択されていないので、画像処理２状態Ｓ１３０３はスキップされ、画像処理３状態Ｓ１３０４で、画像処理１状態の出力データに対して、画像処理３が実行される。続く画像処理４状態Ｓ１３０５はスキップされ、出力状態Ｓ１３０６で、画像処理１と画像処理３が実行された結果が出力され、補正指示待ち状態Ｓ１３０１に戻る。

ユーザが、先の補正結果に満足しなかった場合、補正指示待ち状態Ｓ１３０１で、新たな補正指示が指定される。例えば、画像処理１〜４がすべて指定されたとする。この場合、先ほどの補正結果はキャンセルされ、元画像データに対して、画像処理１〜４が順番に実行され、その結果が出力されることになる。

画像処理の中には、複数の補正領域を指定するものもある。例えば、ユーザが補正領域を指定して赤目補正を行う、手動赤目補正機能などが当てはまる。このような機能では、ユーザの領域指定情報が保持されていて、領域指定情報が追加される度にすべての指定領域に対する補正結果が反映されるように画像処理が制御される。

特許文献１では、あらかじめ画像処理は決められたテンプレートパターンとして記述されている。ユーザはこのテンプレートを基に、修正したテンプレートを作成できる。これによって、ユーザが自由に処理（ないよう、パラメータなど）を制御するシステムが提供できる。

特開２００９−１６４９７２号公報

上記で説明した画像処理アプリケーションでは、画像処理の順番が決まっている。このように画像処理の順番が決まっている画像処理フローを提供する場合、図１３に示したような処理フローでは、画像処理の指示が変更される度に始めから処理を行う必要がある。このため、一つの補正指示を変更する度に指定済みの補正も実行されるため、高速な処理を実現できないという課題があった。特に手動調整（カラーバランス，明るさ，ＣＭＹＤなどの１Ｄ−ＬＵＴ処理）などは、図１４に示すようなＵＩ（ユーザインターフェース）でユーザに提供されることが多い。図１４は、手動調整機能が選択され、手動調整１１４０２と手動調整２１４０３の２つ機能がボタンとして提供されており、ボタンを押すことで機能が有効化される。ここでは、説明のため、手動調整１はカラーバランス補正、手動調整２は明るさ補正とする。当然のことながら、ＵＩと機能はこれに限定されるものではない。カラーバランス補正は画像データの色味を補正するものとし、スライダーバー１４０３を右に動かすと画像全体の青みが強調され、逆に左に移動させると赤みが強調されるものとする。明るさ補正は画像データの明るさを調整するもので、スライダーバー１４０５を右に動かすと画像全体が明るく補正され、逆に左に移動させると暗く補正されるものとする。

このような手動調整機能では、図示していないプレビュー画像を目視しながら、ユーザはその補正効果を確認し、補正量を決定できるようにする方が望ましい。このため、手動調整機能はＵＩ操作と同時に処理結果が反映される高速応答性が重要となってくる。また、補正１１４０６、補正２１４０７の様にＵＩとして、複数のカテゴリに分割して補正機能を提供している場合、補正効果をできるだけ高速に反映させることが、ユーザの利便性にとって重要となってくる。ＵＩを切り替えて補正操作を行う場合も同じである。
このように補正処理の応答性を重要であるにもかかわらず、図１３に示すような、予め定めた順序で画像処理を実行する制御では、高速応答性を実現することが困難であった。特許文献１では、ユーザが処理フローを記述できるシステムを提供しているが、その際に内部処理の最適化、高速化するために処理フローを動的に変更するということは記載されていない。

本発明は上記従来例に鑑みて成されたもので、高速応答が要求される画像処理については高速応答性を実現しつつ、高品質な補正結果を得られる自動補正をも実現できる画像処理装置及びプログラムを提供することを目的とする。

上記目的を達成するために本発明は以下の構成を備える。

画像データを入力する入力手段と、
画像データを解析した結果を用いる第一の種類の補正処理の指示が入力された場合、前記画像データを解析した結果に基づいて、前記入力手段によって入力された画像データに対して第一の種類の補正処理を行う第一の補正手段と、
前記第一の補正手段により補正された画像データを記憶する記憶手段と、
ユーザの指示に応じた補正パラメータを用いて、前記記憶手段によって記憶された画像データに対して第二の補正処理を行う第二の補正手段と、
前記第一の補正手段と前記第二の補正手段による補正後、画像データを解析した結果を用いる、前記第一の種類とは異なる第三の種類の補正処理の指示が入力された場合、前記入力手段によって入力された画像データを解析した結果に基づいて、前記画像データに第三の種類の補正処理を行う第三の補正手段とを有し、
前記第二の補正手段は、ユーザの指示に基づき前記補正パラメータが変更された場合、変更後の補正パラメータを用いて、前記記憶手段によって記憶された画像データに対して補正を行う。

本発明によれば、画像処理を複数のカテゴリに分割し、そのカテゴリ毎に中間出力を保持しておくことで、高速応答を必要とする画像処理が含まれている場合でも画像処理の順番を維持しつつ、無駄な処理を省くことで高速応答が可能な画像処理方法を提供できる。

第１実施形態のブロック図 第１実施形態の全体フロー図 第１実施形態の画像処理の状態遷移図 第１実施形態の画像処理のフロー図 第１実施形態の画像処理の詳細フロー図 第１実施形態の全体ＵＩ図 第１実施形態の画像処理ＵＩ図 第２実施形態の画像処理の状態遷移図 第２実施形態の補正１の画像処理ＵＩ図 第２実施形態の補正２の画像処理ＵＩ図 第２実施形態の補正３の画像処理ＵＩ図 フォトレタッチアプリケーションの状態遷移図 画像処理アプリケーションの状態遷移図 画像処理アプリケーションの手動調整機能のＵＩ例を示す図

［第１実施形態］
図１に本発明で使用する画像処理方法のブロック図を示す。画像処理方法として、ＰＣを使用すると想定して説明する。ＣＰＵ１０１は、中央演算ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で、他の機能ブロックや装置の制御を行う。ブリッジ部１０２は、ＣＰＵ１０１と他の機能ブロックの間でデータのやり取りを制御する機能を提供している。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３は読み込み専用の不揮発メモリであり、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像処理装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示制御装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御するものである。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４は、高速の読み／書き可能な記憶領域を提供する。２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。ＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＡＭ１０５または２次記憶装置１０５に格納される。

表示制御部１０６は、ＯＳやアプリケーションに対して行われるユーザの操作の結果をＧＵＩの画像データとして生成し、表示装置１０７で表示するための制御を行う。表示装置１０７には液晶ディスプレイや、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイが使用できる。Ｉ／Ｏ制御部１０８は、複数の入力装置１０９、出力装置１１０とのインターフェースを提供するものである。代表的なインターフェースとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＰＳ／２（Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ／２）がある。

入力装置１０９には、キーボード、マウスといったユーザの意志を画像処理装置に入力するものがある。さらに、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードといった記憶装置などを接続することで、画像データを転送することも可能である。出力装置１１０としてはプリンタが接続され、所望の印刷結果を得ることが可能である。

本発明を実現する画像補正アプリケーションは、２次記憶装置１０５に格納され、ユーザの操作で起動するアプリケーションとして提供される。画像補正アプリケーションの特長的な動作を示すフロー図を図２に示す。また、画像補正アプリケーションが起動後のＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）例を図６に示す。

図６で、画像補正アプリケーションの全体ＵＩ Ｕ６０１の中に、フォルダ選択ＵＩ Ｕ６０２、プレビューＵＩ Ｕ ６０３、選択画像プレビューＵＩ Ｕ ６０４が配置されている。フォルダ選択ＵＩ Ｕ ６０２は、ＰＣ内の２次記憶装置１０５、または、接続されている入力装置１０９に格納されている画像ファイルＤ２０１の格納場所を選択する機能を提供する。プレビューＵＩ Ｕ ６０３は、選択された格納場所内の画像ファイルＤ２０１のプレビューを表示する機能を提供する。選択画像プレビューＵＩ Ｕ ６０４は、プレビューＵＩ Ｕ ６０３の中からユーザが補正処理を実行したいと選んだ画像のプレビューリストを表示する機能を提供する。図６の例では、ＭｙＰｈｏｔｏというフォルダ内の画像ファイルＤ２０１のプレビューが表示され、その中のＩｍａｇｅ１という名前の画像ファイルＤ２０１が補正対象として選択されている状態を表している。

ここまでの操作は、図２のＳ２０１〜Ｓ２０３に相当する。図２はＣＰＵ１０１により実行されるプログラムの手順を示す。図２のＳ２０１は、画像補正アプリケーション起動直後の状態で、図示していないが、画像ファイルＤ２０１が格納されている記憶装置をＰＣに接続、または挿入することを促すメッセージ画面を表示して、ユーザに画像データの準備を促す。

続いて、ユーザは画像ファイルＤ２０１の格納場所を選択画像プレビューＵＩ Ｕ ６０４を使用して指定する。指定されると、Ｓ２０２で、指定された格納場所にある画像ファイルＤ２０１をプレビュー表示可能なデータに変換してプレビューＵＩ Ｕ６０３に表示する。一例として、画像ファイルＤ２０１を一般的に広く使用されているＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）ファイルとして説明する。Ｓ２０２ではＪＰＥＧファイルの内部データとして格納されているプレビューデータを抽出して、ＯＳで表示可能な画像フォーマットに変換、さらにプレビューとして表示する大きさに変倍して、表示装置１０７で表示する。

ユーザは、Ｓ２０３で、補正したいと思った画像ファイルＤ２０１をプレビューＵＩＵ６０３を使用して指定する。指定された画像ファイルを着目画像ファイルと呼び、この画像ファイルに係る画像を着目画像、画像ファイルに含まれる画像データを着目画像データと呼ぶ。

続いて、Ｓ２０４で、指定されたＪＰＥＧ符号化された画像ファイルＤ２０１をデコードし、処理可能なフォーマットの入力画像データＤ２０２に変換する。処理可能なフォーマットとしては、ＤＩＢ（ＤｅｖｉｃｅＩｎｄｅｐｅｎｄｅｎｔＢｉｔｍａｐ）、ＲＡＷ画像などの様々なフォーマットの画像データが使用可能である。

Ｓ２０５では、これから行う補正処理を、プレビューサイズの画像を対象としたプレビューモードで行うか、入力画像データそのものを対象とした実サイズモードで行うかを判定する。いずれのモードであるかは、ユーザによる指示に応じて決定される。プレビューモードとは、入力画像データＤ２０２をそのままの画素数で処理せずに、表示装置１０７に合せて画像データを変倍したプレビューサイズで処理するモードである。プレビューモードで補正効果を確認し、最後に保存する時に実サイズとする方が処理の効率がよく、全体として高速なアプリケーションを実現することが可能となる。ここで述べる実サイズとは、画像データ本来の縦、横の画素数で処理することを示している。現状では、デジタルカメラの撮影画素数は、縦、横ともに数千画素を超えており、表示装置１０７に全体を表示する際には縮小しなければ表示できない。プレビューサイズとは、表示装置１０７の表示解像度に合せて決定される表示用の画素数であり、画像処理の結果が視覚的に確認できるサイズであればよく、たとえば実サイズの１／２〜１／３程度で十分である。

プレビューモードで動作する場合、Ｓ２０６へ進み、入力画像データＤ２０２は、縮小された縮小入力画像データＤ２０３に変換され、Ｓ２０７へ進む。Ｓ２０５における判定の基準は、たとえばユーザによる選択である。またＳ２０６における変倍率は、たとえば変倍後のプレビュー画像のサイズが所定サイズとなるような値である。この所定サイズを、表示される画像処理アプリケーションのユーザインターフェース中のプレビュー表示欄（図７の表示欄Ｕ７０６）のサイズにすれば、着目画像の全体を表示可能である。あるいは、変倍率は予め定めた値でも良い。

Ｓ２０７以降では、ＵＩとして、図６に代えて、あるいは図６に加えて、図７に示すＵＩが表示される。また、Ｓ２０７の補正コマンドの受付からＳ２０８で画像処理を行うまでの画像補正アプリケーションの状態遷移を図３に示した。図３については図２の後で説明する。

図７は、画像補正ＵＩ Ｕ７０１を示している。画像補正ＵＩ Ｕ７０１は、画像補正指示ＵＩ Ｕ７０７と画像補正結果表示ＵＩ Ｕ７０６とその他の機能ボタンＵ７０２〜Ｕ７０５で構成されている。図７のＵＩは、提供している補正機能のうち、カテゴリ１ Ｕ７０７が選択された状態を示している。画像補正指示ＵＩ Ｕ７０７には自動補正１Ｕ７０８と自動補正２ Ｕ７０９の２つの自動補正処理（自動補正機能）と、手動補正１ Ｕ７１１と手動補正２ Ｕ７１３の２つの手動補正機能がある。自動補正機能には、たとえばコントラスト調整、ホワイトバランス、顔検出および赤目補正、肌色補正、ノイズ除去、シャープネス、デフォーカスといったフィルタ処理などが含まれる。また手動補正には、たとえば自動補正に含まれる個別の処理が含まれるが、手動補正では、処理対象の領域や処理の程度などをユーザがパラメータで指定することができる。

自動補正１ Ｕ７０８は補正機能のオンとオフが指定可能であり、自動補正２ Ｕ７０９は補正機能のオンとオフに加えて、オンの場合には補正効果の程度をスライダーバーＵ７１０で指定可能である。手動補正１ Ｕ７１１と手動補正２ Ｕ７１３は補正機能のオンとオフの指定に加えて、補正効果の程度をそれぞれに対応したスライダーバーＵ７１２、Ｕ７１４で指定可能である。

保存ボタンＵ７０２は、保存機能を提供するＵＩである。保存ボタンＵ７０２が押されると、その時点において入力されたコマンド（画像処理の指示）が所定の順序で着目画像データを対象として実行され、処理結果が保存される。画像選択ボタンＵ７０３は補正ＵＩ Ｕ７０１を閉じて、全体ＵＩ Ｕ６０１に戻って、画像の選択を再度行う機能を提供するＵＩである。キャンセルボタンボタンＵ７０４は、指示した補正機能を全てキャンセルする機能を提供するＵＩである。戻るボタンＵ７０５は、指定した最後の補正機能を１つだけキャンセルする機能を提供するＵＩである。他にも図示していないＵＩで、さまざまな機能を提供することが可能である。補正された結果は、画像補正結果表示（プレビュー）ＵＩ Ｕ７０６に表示される。

＜画像処理＞
図３には、図７で示したＵＩを操作して画像データが補正される状態遷移を示したものである。補正指示待ち状態Ｓ３０１が、Ｓ２０７でユーザの補正コマンド受付に対応している。自動補正１ Ｕ７０８と自動補正２ Ｕ７０９のオンまたはオフの指定とスライダーバーＵ７１０の値の指定とが行われると、カテゴリ１画像処理状態Ｓ３０２へ進み、指定された値にしたがって画像処理が実行される。処理の対象は、プレビューモードでなければ入力画像データＤ２０２であり、プレビューモードなら縮小入力画像データＤ２０３である。

図３では、カテゴリ１に分類された画像処理であれば、その種類によらず状態Ｓ３０２の中で処理が行われる。カテゴリ１に分類された画像処理が終了するとバッファ出力状態１ Ｓ３０３へ進み、補正結果が中間バッファ１に出力される。本実施形態では画像処理の実行順は予め決めているので、カテゴリ１に属する画像処理のうち、実行順序が最後の画像処理を完了したなら、カテゴリ１に分類された画像処理が終了したことになる。この出力処理は後で詳細を説明する。中間バッファ１への出力すなわち格納が完了すると補正指示待ち状態Ｓ３０１へ戻る。なおカテゴリ１の自動処理はひとまとまりの処理なので、個別の画像処理結果を表示せず、自動処理全部が完了してから処理された画像データを表示しても良い。

補正指示待ち状態Ｓ３０１で、ユーザが、手動補正１ Ｕ７１１のオンまたはオフとスライダーバーＵ７１２で手動補正１ Ｕ７１１の補正強度を指定する。さらに手動補正２ Ｕ７１３のオンまたはオフとスライダーバーＵ７１４で手動補正２ Ｕ７１３の補正強度を指定する。指定されるとカテゴリ１画像処理状態Ｓ３０２またはカテゴリ２画像処理状態Ｓ３０４に進む。いずれに遷移するかは以下の要領で決定される。

中間バッファ１に保存された画像データがあれば、カテゴリ２画像処理状態Ｓ３０４に進み、カテゴリ２画像処理に分類される画像処理が中間バッファ１の画像データに対して実行される。もちろん画像データが書き込まれていたとしても、既に保存されていたり廃棄されたデータは有効ではなく、そのような画像データはないものと見なされる。中間バッファ１に画像データが無ければ、カテゴリ１画像処理状態Ｓ３０２へ進みカテゴリ１画像処理状態Ｓ３０２で画像処理を実行する。処理が完了すれば、バッファ出力１状態Ｓ３０３で中間バッファ１に処理済みの画像データを格納し、カテゴリ２画像処理状態Ｓ３０４に進んでカテゴリ２の画像処理を実行する。

カテゴリ２画像処理状態Ｓ３０４では、画像処理は中間バッファ１に格納された画像データを対象とする。中間バッファ１の画像データに対して処理が実行され、完了するとバッファ出力状態２Ｓ３０５へ進み、処理結果が中間バッファ２に出力される。なおカテゴリ２の処理は本例では手動補正なので、指示された各画像処理が完了するごとに、中間バッファ２の画像データをＵＩのプレビュー欄に表示する。こうすることで、ユーザは、画像処理を指示するごとに、その指示に応じて処理された画像を参照することができる。

図２のＳ２０８の処理の詳細なフロー図を図４に示す。ただし、図４では、異常終了といった例外処理、図７のＵＩを制御する処理は省略する。Ｓ２０７で補正制御コマンドを受け取ると、コマンドの種類に応じて、Ｓ２０８へ進むか、Ｓ２０３は進むかの判定を行う。補正制御コマンドが自動補正１ボタンＵ７０８をオンにしたといった補正指示に関連するものであればＳ２０８へ進み、Ｓ２０８では、Ｓ４０１〜Ｓ４０５の処理が実行される。補正制御コマンドが画像選択ボタンＵ７０３を選択したものであれば、Ｓ２０３へ進み、再度補正対象画像の選択を行うことが可能になる。

さてＳ２０８では図４の処理が実行される。Ｓ４０１では指定された補正制御コマンドの解析が行われる。具体的には、画像補正ＵＩ Ｕ７０１でユーザが指定した補正を反映させるために、画像補正の制御シーケンスを求める。処理対象の画像データは前述の通りプレビューモードか否かにより決定される。Ｓ４０２で、カテゴリ１に分類された画像処理の自動補正１、または、自動補正２を実行するか否かを判定し、実行するのであればＳ４０３へ進み、実行しないならＳ４０４へ進む。Ｓ４０２の判定は、ユーザの操作（すなわち入力されたコマンド）に基づいて行われる。すなわち、ＵＩ７０１において、自動補正１、または、自動補正２を指示するボタンが押された場合にはカテゴリ１の処理を実行すると判定される。

Ｓ４０３の内部処理を図５に示す。ただし、図５では、異常終了といった例外処理、図７のＵＩを制御する処理は省略する。Ｓ５０１では、自動補正１を実行すべきかの判定を行う。この判定もＳ４０２と同様、ユーザによる入力を判定基準とする。判定の結果、自動補正１を実行する場合、つまり自動補正１ボタンＵ７０８がオンになっていれば、自動補正１の処理を入力画像データＤ４０１に対して実行する。補正結果はカテゴリ１中間バッファＤ５０２に出力され、Ｓ５０３へ進む。ここで、カテゴリ１中間バッファＤ５０２は、図４のカテゴリ１中間バッファＤ４０２と同じものであり、また図３の中間バッファ１とも同じものである。

自動補正１の処理が終了後、または、前述のＳ５０１の判定の結果、自動補正１を実行しないと判定された場合にＳ５０３へ進み、自動補正２を実行すべきかの判定を行う。Ｓ５０３の判定の結果、自動補正２が実行すると判定、つまり、自動補正２ボタンＵ７０９がオン状態であれば、Ｓ５０４へ進む。

Ｓ５０４では、スライダーバーＵ７１０で指定されている補正強度で自動補正２をカテゴリ１中間バッファＤ５０２に格納されている自動補正１の出力データに対して実行し、その処理結果でカテゴリ１中間バッファＤ５０２に上書きする。もし、自動補正１の処理が指定されなくて、カテゴリ１中間バッファＤ５０２が存在しない、または有効な値が格納されていない場合は、自動補正２の入力データとして入力画像データＤ４０１を使用する。これによって、カテゴリ１Ｕ７０７で指定された補正処理が指示通りに実行される。

自動補正２の処理が終了後、または、前述のＳ５０３の判定の結果、自動補正２を実行しないと判定された場合にＳ４０４３へ進み、カテゴリ２の処理を実行すべきかの判定を行う。カテゴリ２に分類されている手動補正１と手動補正２の制御は、Ｓ４０２〜Ｓ４０３とＳ５０１〜Ｓ５０４で説明したフローと基本的に同一であるため、説明は省略する。ただし、手動補正１と手動補正２の処理に対する入力データが異なる。自動補正１と自動補正２のどちらの処理も実行されていない場合は、入力データが入力画像データＤ４０１となる。自動補正１と自動補正２の両方、または、どちらか一方の処理が実行されていた場合は、入力データがカテゴリ１中間バッファＤ４０２となる。また、処理のパラメータも手動で入力された値が採用される。処理済みデータの格納先はカテゴリ２中間バッファＤ４０３である。 以上が、Ｓ２０８の内部フローの説明である。入力画像データＤ４０１は、入力画像データＤ２０２か縮小入力画像データＤ２０３のどちらか一方が動作モードに応じて切り替えて使用される。カテゴリ１中間バッファＤ４０２とカテゴリ２中間バッファＤ４０３は、図２の処理データＤ２０４に相当する。

ここまでの処理が終了するとＳ２０９へ進む。Ｓ２０９では、引き続き補正指示を変更するかの判定を行う。ここでは、保存ボタンＵ７０２、キャンセルボタンＵ７０４のどちらかが押されるとＳ２１０へ進む。Ｓ２１０で、キャンセルボタンＵ７０４が押された場合は、Ｓ２０３へ進み、画像選択から再度処理を開始する。保存ボタンＵ７０２が押された場合は、Ｓ２１１へ進み処理データＤ２０４に格納されている各種の補正処理が実行されたデータを出力画像ファイルＤ２０５として保存し、Ｓ２１２へ進む。なおプレビューモードが選択されている場合には、保存されるのは画像処理された縮小入力画像データなので、あらためて実サイズモードで同じ処理をやり直す必要がある。なおこの手間を省くために、プレビューモードでは、操作中は縮小入力画像データＤ２０３のみを対象とし画像処理を行い、画像処理のコマンドの履歴を保存しても良い。その場合は、保存ボタンが押されたときに保存した履歴に従って入力画像データＤ２０２を対象として画像処理を実行し、その結果を保存する。またあるいは、本実施形態では、処理に先立ってプレビュー用の縮小画像を作成したが、画像処理そのものは入力画像データＤ２０２を対象として実行し、プレビュー表示用に画像処理実行の都度縮小入力画像データを作成しても良い。 Ｓ２１２で、終了ボタンＵ７１１が押されると補正ＵＩＵ７０１を閉じて、画像選択ＵＩＵ６０１へ戻る。または図示していな画像補正アプリケーション終了ボメニューを選択すると、アプリケーション全体を閉じて終了する。

これまで説明した画像補正アプリケーションの処理フローは、一枚の画像を選択して各種の補正処理を実行するフローである。しかし、実際には複数の画像を選択して一度に同じ処理を実行する、複数の画像を切り替えながら補正処理を行うフローなどもあるが、本発明の主旨とは関係ないので省略する。

本実施形態では、補正をカテゴリ１とカテゴリ２に分類している。さらに、カテゴリ１には自動補正１と自動補正２、カテゴリ２には手動補正１と手動補正２があるとしている。自動補正としては、画像のヒストグラムを解析して、自動的に画像全体のコントラストを調整する、ＷＢ（ホワイトバランス）補正するなどの補正処理を使用することができる。さらにより高度な補正として、画像データ内の顔などの主要被写体となるオブジェクトを検出し、その検出結果を使用して画像をより良い画質へ補正を行う自動補正機能を割り当てることが可能である。赤目やノイズといった画像の不具合を補正するといった機能、シャープネス、デフォーカスといった２次元フィルターを自動生成して処理する機能を割り当てることも可能である。他にもさまざまな補正機能を使うことが可能である。手動補正として、カラーバランス補正、コントラスト補正などの基本的な補正機能を使用することが可能である。他には、自動補正機能の補助として、顔領域、赤目領域をユーザが指定して補正するような補正処理であってもよい。フィルター系の処理も、フィルターのサイズ、形状をユーザが指定して補正する手動補正であってもよい。

説明では画像補正は、自動補正を２つ、手動補正も２つだけとして説明しているが、当然のことながら２つに限定するものではなく、分類も機能の組み合わせもこれに限定するものではない。

以上のように本実施形態では、画像に対する補正処理を、自動補正と手動補正という２つのカテゴリに分類し、自動補正を、手動補正に先だって実行する。そして手動補正は、自動補正による処理結果を対象として実行される。このため、自動補正による補正結果を基にして、また、手動補正による補正結果を参照しつつ、ユーザは画像を補正することができる。これは、自動補正系の処理は手動補正系の処理と比較して、より高度な自動補正を実現しようとするほど、処理時間が長くなる傾向にあるためである。一般的に手動補正に分類されるものは補正結果を表示してユーザがその効果を確認しながら補正量を決定するフローを採用する方が好ましい。このため手動補正には高速応答性が求められることになる。上記実施形態によれば、自動補正の処理結果を基にして手動補正を行うことで、手動補正のパラメータを変更して思考し直すたびに自動補正からやり直す必要はなくなり、応答性を改善することが可能となった。

ただし、手動補正であっても、フィルタを使用する画像補正機能は、比較的処理時間が大きくなる。このため、フィルターを使用するような処理時間の大きな補正処理は、ここで述べた自動補正と同じカテゴリ１に入れ、カテゴリ２には手動補正の中でも、処理時間を短くできるカラーバランス補正、コントラスト補正などに限定した方がよい。このため、カラーバランス補正、コントラスト補正などの処理は、ＬＵＴ（ＬｕｃｋＵｐＴａｂｌｅ）を利用して高速化に対応したアルゴリズムを採用するとよい。フィルタ処理をカテゴリ１に分類する理由は、比較的処理時間が長い処理の後に、手動補正を行うよう処理順序を固定することにある。したがって、フィルタ処理を自動補正と同じカテゴリ分類した場合でも、プレビュー表示は、自動補正をひとつの単位としてそれが完了したとき、また、フィルタ処理が完了したときにそれぞれ処理後の画像データを表示する。また、自動補正とフィルタ処理の順序は、順序への依存性をはくすべく予め定めておくことが望ましい。

本実施形態で説明したように、手動補正を処理時間の長い自動補正よりも後にする。さらに自動補正の結果をカテゴリ１中間バッファＤ５０２に保持する。手動補正の指示変更だけの場合は、カテゴリ１中間バッファＤ５０２を使って手動補正を行うことで高速に応答できることが重要となる。また、この画像処理フローでは画像処理の順番が維持される効果もある。

さらに、実施形態の説明でも述べたように、カテゴリ１中間バッファＤ５０２を保持しておくことは、ＰＣのＲＡＭ１０４または、２次記憶装置１０５のリソースを消費することになる。このため、補正結果を表示装置１０７で確認する場合は、プレビューモードとして、画像サイズを縮小して画像補正を行う方がリソースの消費量を減らせるとともに、処理速度も速くなるという効果がある。

本実施形態の説明では、特に詳細なフローの説明は行っていないが、複数の画像に対して同じ補正処理を同時に実行する場合、カテゴリ１中間バッファＤ５０２をあえて作成する必要は無くなる。したがって、このようなフローの場合はカテゴリ１中間バッファＤ５０２の作成処理を省略するようにしてもよい。

［第２実施形態］
第１実施形態では、画像補正の機能でカテゴリ毎に分けている場合を説明したが、機能の分類ではなく、ＵＩとして分類する方が良い場合がある。本実施形態では、ＵＩで画像補正機能が分類されている場合について説明する。ただし、基本的なフローは第１実施形態と同じ部分は省略し、本実施形態に特長的な部分のみを図８、図９、図１０、図１１を使用して説明する。

図８は第２実施形態の画像補正アプリケーションの画像処理の状態遷移図であり、図９〜１１はＵＩの例を示している。図９、図１０、図１１に示すように、画像補正機能は、補正１ Ｕ９０７、補正１ Ｕ１００７、補正３ Ｕ１１０７の３つに分類され、それぞれのＵＩが用意されている。補正１ Ｕ９０７は、自動補正１ Ｕ９０８と自動補正２ Ｕ９０９の２つの補正機能が割り当てられている。自動補正１ Ｕ９０８はオンとオフの制御だけ可能で、自動補正２ Ｕ９０９はオンとオフに加え、スライダーバーＵ９１０で補正強度が指定可能である。補正２ Ｕ１００７は、手動補正１ Ｕ１００８が割り当てられている。手動補正１ Ｕ１００８はオンとオフの制御に加え、スライダーバーＵ１００９で補正強度が指定可能である。補正３Ｕ １００７は、手動補正２ Ｕ１１０８が割り当てられている。手動補正２ Ｕ１００８もオンとオフの制御に加え、スライダーバーＵ１１０９で補正強度が指定可能である。

図８は第１実施形態の図３に代わる本実施形態の状態遷移図である。補正指示待ち状態Ｓ８０１は、補正１ Ｕ９０７、補正１ Ｕ１００７、補正３ Ｕ１１０７のいずれかのＵＩが選択された状態であり、ユーザからの補正指示を受け付け可能な状態である。補正指示待ち状態Ｓ８０１で、補正１ Ｕ１００７が指定され、さらに自動補正１ Ｕ９０８または、自動補正２ Ｕ９０９が指定されると自動補正１状態Ｓ８０２へ遷移する。自動補正１ Ｕ９０８の指示がオンであれば、自動補正１状態Ｓ８０２で自動補正１の処理が実行される。この時、第１実施形態で説明した入力画像データＤ２０２、または、縮小入力画像データＤ２０３が動作モードに応じて入力データとして使用される。自動補正１Ｕ９０８の指示がオフであれば、何も処理は実行されない。自動補正１状態Ｓ８０２で、自動補正１の処理が終了すると自動補正２状態Ｓ８０３へ遷移する。

一方自動補正２ Ｕ９０９の指示がオンであれば、自動補正１状態Ｓ８０２で自動補正１の処理が実行される。自動補正１ Ｕ９０８がオンであれば、自動補正１状態Ｓ８０２で処理された画像データに対して自動補正２の処理が実行されるが、自動補正１ Ｕ９０８がオンであれば、入力画像データＤ２０２、または、縮小入力画像データＤ２０３に対して処理を行う。自動補正２状態Ｓ８０３で、自動補正２の処理が終了するとバッファ１出力状態Ｓ８０４へ遷移する。

バッファ１出力状態Ｓ８０４では、自動補正１状態Ｓ８０２と自動補正２状態Ｓ８０３で処理された自動補正１と自動補正２の処理結果が中間バッファ１に出力される。

中間バッファ１に処理途中の画像データ出力されると、引き続き手動補正１状態Ｓ８０５へ進むか判定する。本例では、補正１ＵＩ Ｕ９０７が指定されて処理を行っているので、手動補正１状態Ｓ８０５へは遷移せず、補正指示待ち状態Ｓ８０１に戻って、次の補正指示の受付待ち状態になる。

補正指示待ち状態Ｓ８０１で補正２ Ｕ１００７が指定され、さらに手動補正１ Ｕ１００８がオン、かつ、スライダーバーＵ１００９の指定値が変更されると、自動補正１状態Ｓ８０２と手動補正１状態Ｓ８０５のいずれか一方に遷移する。この分岐は、中間バッファ１に処理途中の画像データが出力済みであるか、無いかによって決定される。中間バッファ１に画像データが出力されていなければ自動補正１状態Ｓ８０２へ遷移する。中間バッファ１に画像データが出力済みであれば手動補正１状態Ｓ８０５へ遷移する。

中間バッファ１に画像データが出力されていない場合、自動補正１状態Ｓ８０２へ遷移し、自動補正１ Ｕ９０８と自動補正２ Ｕ９０９とスライダーバーＵ９１０の値に応じた補正処理を自動補正１状態Ｓ８０２と自動補正２状態Ｓ８０３で実行する。その結果をバッファ１出力状態Ｓ８０４で中間バッファ１に出力し、手動補正１状態Ｓ８０５へ遷移する。

一方、中間バッファ１に自動補正後の画像データが出力されている場合は手動補正１状態Ｓ８０５へ遷移する。手動補正１状態Ｓ８０５に遷移すると、中間バッファ１の画像データを入力として、手動補正１ Ｕ１００８とスライダーバーＵ１００９の設定値に応じた手動補正１の処理が実行される。続いて、バッファ２出力状態Ｓ８０６へ遷移する。バッファ２出力状態Ｓ８０６で、手動補正１状態Ｓ８０５までに処理された結果である画像データが中間バッファ２に出力される。中間バッファ２に画像データが出力されると、引き続き手動補正２状態Ｓ８０７へ進むか判定する。本例の場合、補正２ＵＩ Ｕ１００７が指定されて処理を行っているので、手動補正２状態Ｓ８０７へは遷移せず、補正指示待ち状態Ｓ８０１に戻って、次の補正指示の受付待ち状態になる。

補正指示待ち状態Ｓ８０１で、補正３ Ｕ１１０７が指定され、さらに手動補正２ Ｕ１１０８がオン、かつ、スライダーバーＵ１１０９の指定値が変更されると、自動補正１状態Ｓ８０２と手動補正１状態Ｓ８０５と手動補正２状態Ｓ８０７のいずれかに遷移する。この分岐は、中間バッファ１と中間バッファ２とに処理途中の画像データが出力済みであるか、無いかによって決定される。

中間バッファ１に画像データが出力されていなければ、中間バッファ２の状態に関係なく自動補正１状態Ｓ８０２へ遷移する。以降は補正２に画像データＵ１００７の動作と同じなので省略する。中間バッファ１に画像データが出力されており、かつ、中間バッファ２に処理途中の画像データが出力されていなければ、手動補正１状態Ｓ８０５へ遷移する。以降、手動補正１状態Ｓ８０５からバッファ２出力状態Ｓ８０６へ進む動作は、前に説明した通りである。ただし、この場合、バッファ２出力状態Ｓ８０６では手動補正２状態Ｓ８０７へ遷移すると判定される。

手動補正２状態Ｓ８０７に遷移すると、中間バッファ２の画像データを入力として、手動補正２ Ｕ１１０８とスライダーバーＵ１１０９の設定値に応じた手動補正２の処理が実行される。続いて、バッファ３出力状態Ｓ８０８へ遷移する。バッファ３出力状態Ｓ８０８で、手動補正２状態Ｓ８０７までに処理された結果である画像データが中間バッファ３に出力される。中間バッファ３に処理途中の画像データが出力されると、補正指示待ち状態Ｓ８０１に戻って、次の補正指示の受付待ち状態になる。

なおこの説明で中間バッファ１〜３は、図２の処理データＤ２０４に相当する。

ユーザは、補正１ Ｕ９０７、補正１ Ｕ１００７、補正３ Ｕ１１０７を切り替え、その時に使用可能な補正機能を制御することで、所望の補正結果を得ることが可能である。これまで説明した画像フローによって、画像処理の順番を保ったままで、かつ各補正の分類毎に最小限の処理だけを実施するため高速応答が可能な画像補正アプリケーションが提供可能となる。

以上のようにして、画像補正機能を３つに分類してユーザに示すことは、多数の画像補正機能を整理されているため画像補正の効果を類推しやすくなる効果がある。また一度に多数の補正機能を制御するＵＩを示すと、表示領域を大きくとらなければならない、一つ一つの表示が小さくなるなどのＵＩの自由度が小さくなるという問題もある。さらに、最近のＮｅｔｂｏｏｋといった分野の小型情報端末では、もともと表示領域が小さいため、多くの機能を一度に表示できないといった問題もあるため、ＵＩの自由度を確保することは重要である。本実施形態は、第１実施形態の発明に係る効果に加えて、これらのＵＩに係る問題を解決している。

また処理のカテゴリは２または３に限らずより多くしてもよい。必要なのは、画像処理の属するカテゴリの順序を決めておくこと、カテゴリ間の画像データの引き渡しのための中間バッファを用意すること、各カテゴリごとに処理結果をその中間バッファに保存し、次のカテゴリではその中間バッファの画像データを対象として処理を実行することである。さらに、カテゴリへの処理の分類は、たとえば処理時間の長さを基準として長いものと短いものとに分類するのが望ましい。第１実施形態では長いものと第１のカテゴリに、短いものを第２のカテゴリに分類した。もちろん単純に長短の比較をするのは難しいので、一般的に処理時間が長くなる蓋然性が高いものと短くなる蓋然性が高いものとに分類すればよい。しきい値は経験的に定めればよい。

［第２実施形態の変形例］
第２実施形態では、画像処理を分類したＵＩを利用して、ユーザに画像処理が分かりやすく、かつ、画像処理の順番を保持したまま高速応答可能な画像処理フローを提供する画像処理方法を説明した。さらに、第２実施形態の画像処理フローの途中で、それまで処理してきた補正結果を保存したいという要求に対応すると、さらに高機能な画像処理フローとしてユーザに提供可能となる。具体的には、図８のバッファ１出力状態Ｓ８０４、バッファ２出力状態Ｓ８０６、バッファ３出力状態Ｓ８０８の状態で、図２のＳ２１１で処理データＤ２０４を出力画像ファイルＤ２０５として画像保存を行うフローを追加すればよい。全ての画像処理が完了していない画像データの保存処理を追加した場合、保存したデータを、その後の画像処理フローの入力画像データＤ２０２として処理する。これによって、補正途中に保存機能を追加した画像処理フローを実現できる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. 画像データを入力する入力手段と、
   画像データを解析した結果を用いる第一の種類の補正処理の指示が入力された場合、前記画像データを解析した結果に基づいて、前記入力手段によって入力された画像データに対して第一の種類の補正処理を行う第一の補正手段と、
   前記第一の補正手段により補正された画像データを記憶する記憶手段と、
   ユーザの指示に応じた補正パラメータを用いて、前記記憶手段によって記憶された画像データに対して第二の補正処理を行う第二の補正手段と、
   前記第一の補正手段と前記第二の補正手段による補正後、画像データを解析した結果を用いる、前記第一の種類とは異なる第三の種類の補正処理の指示が入力された場合、前記入力手段によって入力された画像データを解析した結果に基づいて、前記画像データに第三の種類の補正処理を行う第三の補正手段とを有し、
   前記第二の補正手段は、ユーザの指示に基づき前記補正パラメータが変更された場合、変更後の補正パラメータを用いて、前記記憶手段によって記憶された画像データに対して補正を行うことを特徴とする画像処理装置。
2. 前記第一の補正手段は、前記入力手段によって入力された画像データのヒストグラムの解析結果に基づき、前記画像データのコントラスト補正、または、ホワイトバランス補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第二の補正手段は、前記記憶手段によって記憶された画像データに対して、カラーバランス補正、または、コントラスト補正を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第一の補正手段は、ルックアップテーブルを用いて行われることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 入力手段が、画像データを入力する入力工程と、
   第一の補正手段が、画像データを解析した結果を用いる第一の種類の補正処理の指示が入力された場合、前記画像データを解析した結果に基づいて、前記入力工程によって入力された画像データに対して第一の種類の補正処理を行う第一の補正工程と、
   記憶手段が、前記第一の補正工程により補正された画像データを記憶する記憶工程と、
   第二の補正手段が、ユーザの指示に応じた補正パラメータを用いて、前記記憶工程により記憶された画像データに対して第二の補正処理を行う第二の補正工程と、
   前記第一の補正工程と前記第二の補正工程による補正後、画像データを解析した結果を用いる、前記第一の種類とは異なる第三の種類の補正処理の指示が入力された場合、前記入力工程によって入力された画像データを解析した結果に基づいて、前記画像データに第三の種類の補正処理を行う第三の補正工程とを有し、
   前記第二の補正工程は、ユーザの指示に基づき前記補正パラメータが変更された場合、変更後の補正パラメータを用いて、前記記憶工程により記憶された画像データに対して補正を行うことを特徴とする画像処理方法。
6. コンピュータを請求項１乃至４のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Images