JP3901173B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、動画像データに関連付けられた画像処理情報を用いて、動画像データに対する画像処理を実行する技術に関する。

画像データの画像処理条件が記述された画像処理制御情報を、画像データに関連付ける技術が知られている（例えば、特許文献１）。画像処理制御情報は、画像生成装置、例えばディジタルスチルカメラと、出力装置、例えば印刷装置、の組み合わせに応じて、出力装置から出力される出力画像の画質を向上させるように設定されている。したがって、画像処理装置において、画像データに関連付けられた画像処理制御情報（画像処理条件）に従い、画像データに対する画像処理（画質調整）が実行されることによって、出力装置の画像出力特性が考慮された出力画像を得ることができる。

しかしながら、従来の上記技術では、画像処理制御情報は、特定の画像出力装置の画像出力特性に合わせて設定されているため、画像出力装置として、特定の画像出力装置と異なる画像出力特性を有する画像出力装置が用いられる場合、必ずしも、出力画像の画質を向上させることができない、両者の出力画像の画質を同等にすることができないという問題があった。

一方、静止画だけでなく、動画像についても、画像データに関連付けられた画像処理制御情報に応じて画質調整を行い、より高画質化することが要求されている。静止画像の規格として例えばＪＰＥＧなどでは、規格上、画像処理に必要な情報を入れるスペースが存在する。しかし、ＭＰＥＧ２、ＭＰＥＧ４、Ｎａｎｃｙなどの動画像に関する圧縮処理規格では、規格上、そのような画像処理に必要な情報を入れることができない。

特開２００３−５２００２号公報

本発明は、上記課題を解決するためになされたものであり、動画像データに関連付けられた画像処理制御情報に基づいて画像処理を行うことにより、動画像データをより高画質化することが可能な画像処理装置を提供することを課題とする。

本発明の１つの観点では、画像処理条件を規定する画像処理制御情報を用いて、動画像データに対する画像処理を施し、接続されている第１の画像出力装置に対して画像処理を施した前記動画像データを出力する画像処理装置は、複数の単位画像を含むブロック毎に前記動画像データを取得する動画像データ取得手段と、前記ブロック毎に前記動画像データに関連付けされたものであり、前記第１の画像出力装置とは異なる第２の画像出力装置の画像出力特性に合わせて設定された画像処理制御情報を取得する画像処理制御情報取得手段と、前記第１の画像出力装置の画像出力特性に合わせて前記画像処理制御情報を修正するための修正情報を取得する修正情報取得手段と、取得された修正情報を用いて、取得された画像処理制御情報を修正する修正手段と、前記修正手段において修正された画像処理制御情報を用いて、前記ブロック毎に前記動画像データに対して画像処理を実行する画像処理手段と、前記画像処理が施された動画像データを前記第１の画像出力装置へ出力する出力手段と、を備える。

上記の画像処理装置は、例えば携帯機器、表示装置などに搭載され、外部から取得した動画像データに対して、当該動画像データに関連付けされた画像処理制御情報に基づいて画像処理を施して出力する。画像処理装置は、複数の単位画像を含むブロック毎に動画像データを取得するとともに、ブロック毎に動画像データに関連付けされた画像処理制御情報を取得する。画像処理制御情報は、第１の画像出力装置とは異なる第２の画像出力装置の画像出力特性に合わせて設定されている。第１の画像出力装置の画像出力特性に合わせて画像処理制御情報を修正するための修正情報が取得され、取得された修正情報を用いて、取得された画像処理制御情報が修正される。そして、修正された画像処理制御情報を用いて、ブロック毎に動画像データに対して画像処理を実行し、画像処理が施された動画像データを第１の画像出力装置へ出力する。これにより、動画像データに対して、予め設定された画像処理条件に従って画像処理を施すことにより、高画質の動画像データを出力することができる。また、画像出力装置の画像出力特性に合わせて画像処理制御情報が修正されるので、当該画像出力装置の画像出力特性に適合した高画質の動画像データを得ることができる。

本発明の同様の観点では、画像処理条件を規定する画像処理制御情報を用いて、動画像データに対する画像処理を施し、接続されている第１の画像出力装置に対して画像処理を施した前記動画像データを出力する画像処理方法は、複数の単位画像を含むブロック毎に前記動画像データを取得する動画像データ取得工程と、前記ブロック毎に前記動画像データに関連付けされたものであり、前記第１の画像出力装置とは異なる第２の画像出力装置の画像出力特性に合わせて設定された画像処理制御情報を取得する画像処理制御情報取得工程と、前記第１の画像出力装置の画像出力特性に合わせて前記画像処理制御情報を修正するための修正情報を取得する修正情報取得工程と、取得された修正情報を用いて、取得された画像処理制御情報を修正する修正工程と、前記修正手段において修正された画像処理制御情報を用いて、前記ブロック毎に前記動画像データに対して画像処理を実行する画像処理工程と、前記画像処理が施された動画像データを前記第１の画像出力装置へ出力する出力工程と、を備える。

さらに、本発明の同様の観点では、コンピュータ上で実行され、画像処理条件を規定する画像処理制御情報を用いて、動画像データに対する画像処理を施し、接続されている第１の画像出力装置に対して画像処理を施した前記動画像データを出力する画像処理プログラムは、複数の単位画像を含むブロック毎に前記動画像データを取得する動画像データ取得手段、前記ブロック毎に前記動画像データに関連付けされたものであり、前記第１の画像出力装置とは異なる第２の画像出力装置の画像出力特性に合わせて設定された画像処理制御情報を取得する画像処理制御情報取得手段、前記第１の画像出力装置の画像出力特性に合わせて前記画像処理制御情報を修正するための修正情報を取得する修正情報取得手段と、取得された修正情報を用いて、取得された画像処理制御情報を修正する修正手段と、前記修正手段において修正された画像処理制御情報を用いて、前記ブロック毎に前記動画像データに対して画像処理を実行する画像処理手段、前記画像処理が施された動画像データを前記第１の画像出力装置へ出力する出力手段として前記コンピュータを機能させる。

上記の画像処理方法及び画像処理プログラムによっても、動画像データに対して、予め設定された画像処理条件に従って画像処理を施すことにより、高画質の動画像データを出力することができる。

上記の画像処理装置、画像処理装置及び画像処理プログラムの好適な例では、前記単位画像はフレーム画像であり、前記ブロックは１つのシーンに対応する複数のフレーム画像により構成される。また、他の好適な例では、画像処理制御情報は動画像データよりも先に受信される。

以下、本発明に係る画像処理装置、表示装置、画像処理方法および表示方法について図面を参照しつつ、いくつかの実施例に基づいて説明する。

［第１の実施例］
図１および図２を参照して第１の実施例に係る画像処理装置（表示装置）を含む画像処理システムについて説明する。図１は第１の実施例に係る画像処理装置を含む画像処理システムの概略構成を示す説明図である。図２は第１の実施例に係る画像処理装置の概略構成を示す説明図である。

画像処理システムは、動画像データを生成する入力装置としてのディジタルカメラ１０、動画像データＧＤに関連付けられた画像処理制御情報ＧＩを用いて動画像データＧＤに対する画像処理を実行すると共に、画像処理を施した動画像データを用いて動画像を出力する表示画像出力装置（表示装置）および画像処理装置としての携帯機器２０、表示装置３０、動画像データＧＤに関連付けられた画像処理制御情報ＧＩを用いて、接続されている画像出力装置に応じて動画像データＧＤに対する画像処理を実行する画像処理装置としてのパーソナルコンピュータ４０、画像処理が施された動画像データを用いて静止画像を出力する印刷画像表示出力装置としてのカラープリンタ５０を備えている。

ディジタルカメラ１０は、光の情報をディジタルデバイス（ＣＣＤや光電子倍増管といった光電変換素子）に結像させることにより画像を取得するカメラであり、光情報を電気情報に変換するためのＣＣＤ等を備える光電変換回路、光電変換回路を制御して画像を取得するための画像取得回路、取得したディジタル画像を加工処理するための画像処理回路等を備えている。

ディジタルカメラ１０は、静止画の生成に加えて、ＭＰＥＧなどの規格に従って比較的短い時間の動画像データ（一般的に「ムービー」などとも呼ばれる）を生成することができる。デジタルスチルカメラ１０は、生成した動画像をディジタルデータとして記憶装置としてのメモリカードＭＣに保存する。

ディジタルカメラ１０は、動画像データＧＤの生成時に、撮影時に設定された撮影条件を記述する撮影情報ＳＩ、予めディジタルカメラ１０のメモリ（例えば、ＲＯＭ）内に格納されている画像処理条件を規定する画像処理制御情報ＧＩを生成する。これら撮影情報ＳＩ及び画像処理制御情報ＧＩは、規格上、ＭＰＥＧなどの動画像データ内に取り込むことができないので、動画像データＧＤとは別データとして扱われる。つまり、動画像データＧＤ、撮影情報ＳＩ及び画像処理制御情報ＧＩは、別データとしてメモリカードＭＣに保存される。

携帯機器２０は、比較的小型の表示ディスプレイ２１を有する携帯用端末であり、例えば、携帯電話、携帯用個人情報管理装置等が該当する。携帯機器２０は、例えば、記憶媒体、赤外線通信および電波式通信といった無線通信を介して、あるいは、ケーブルを介してディジタルカメラ１０、ネットワーク上のサーバ（図示しない）から画像データを取得する。表示ディスプレイ２１は、例えば、液晶表示ディスプレイ、有機ＥＬ表示ディスプレイであり、各表示ディスプレイパネル毎に独自の画像出力特性を有する。

表示装置３０は、画像を表示するための表示ディスプレイ３１を有する表示装置であり、スタンドアローンにて動画像データに対して画像処理を実行し、出力画像を表示する。表示装置３０は、例えば、記憶媒体、赤外線通信および電波式通信といった無線通信を介して、あるいは、ケーブルを介してディジタルカメラ１０、ネットワーク上のサーバ（図示しない）から画像データを取得する。表示ディスプレイ３１は、例えば、液晶表示ディスプレイ、有機ＥＬ表示ディスプレイであり、各表示ディスプレイパネル毎に独自の画像出力特性を有する。

携帯機器２０、表示装置３０は、例えば、図２に示す内部回路構成を備えている。携帯機器２０および表示装置３０は、制御回路６０、入力操作部６１、通信制御部６２、ディスプレイ駆動制御部６３、メモリカードスロット６４を備えている。

制御回路６０は、画像処理等の各種演算処理を実行する中央演算装置（ＣＰＵ）６０１、入力された画像データ、演算結果等の各種データを一時的に格納するランダムアクセスメモリ（ＲＡＭ）６０２、ＣＰＵ６０１によって実行されるプログラム、画像処理制御情報ＧＩを修正するための修正テーブル等を格納するハードディスク（ＨＤＤ）６０３（またはリードオンリメモリ（ＲＯＭ））を備えている。

入力操作部６１は、外部からの入力を受け付けるインターフェース部であり、携帯機器２０の場合には、例えば、キー操作部、スクロール操作部として実現される。表示装置３０の場合には、例えば、タッチパネル式操作部が入力操作部６１として用いられ得る。

通信制御部６２は、ディジタルカメラ１０、ネットワーク上のサーバ等との間で画像データをやりとりするための通信を制御する。通信制御部６２は、例えば、入力操作部６１、制御回路６０を介して要求された所望の通信を実行する。携帯機器２０が携帯電話の場合には、この他にも、通信制御部６２によって、音声通信が実現される。

ディスプレイ駆動制御部６３は、表示ディスプレイ２１、３１における出力画像の描画を制御する。例えば、表示ディスプレイ２１、３１が液晶表示ディスプレイの場合には、ディスプレイ駆動制御部６３は、制御回路６０から送出された出力画像データに基づいて、液晶の配向を駆動制御することによって出力画像データに対応するドットパターンを形成する。表示ディスプレイとしてＣＲＴ表示ディスプレイが用いられる場合には、ディスプレイ駆動制御部６３は、電子銃から発射された電子ビームを偏向させる偏向ヨークを駆動することで、出力画像データに対応する出力画像を蛍光体上に形成する。

メモリカードスロット６４は、各種メモリカードを装填するための装填部であり、メモリカードスロット６４に装填されたメモリカードに記録されている画像データは、制御回路６０によって読み出されている。

パーソナルコンピュータ４０は、一般的に用いられているタイプのコンピュータであり、ＣＰＵ、ＲＡＭ、ハードディスク等を備えて、制御回路６０と同等の画像処理、演算処理を実行する。パーソナルコンピュータ４０は、この他にも、メモリカードＭＣを装着するためのメモリカードスロット、ディジタルカメラ１０等からの接続ケーブルを接続するための入出力端子を備えている。

パーソナルコンピュータ４０には、画像出力装置として、表示装置３５、カラープリンタ５０が装着されており、パーソナルコンピュータ４０が画像処理装置として機能する場合には、画像処理制御情報ＧＩを用いて、表示装置３５、カラープリンタ５０の各画像出力特性に応じた画像処理が実行される。

カラープリンタ５０は、カラー画像の出力が可能なプリンタであり、例えば、シアン（Ｃ）、マゼンダ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記４色に加えて、ライトシアン（薄いシアン、ＬＣ）、ライトマゼンダ（薄いマゼンダ、ＬＭ）、ブルー、レッドを用いても良い。なお、カラープリンタ５０の場合は、ディジタルカメラ１０が生成した動画像データ中の特定フレームの静止画をプリントすることとなる。なお、この場合、ディジタルカメラ１０又はプリンタ５０に、印刷対象となる画像の選択機能を有するための選択機能を搭載しておき、ユーザがそれを操作することにより印刷対象となる画像を選択、決定すればよい。

次に、本実施例において用いられる動画像データＧＤの模式的な構成、画像処理制御情報ＧＩ、撮影情報ＳＩとして記録されるパラメータの一例について図５〜図７を参照して説明する。図５は第１の実施例において用いられる動画像データＧＤ、撮影情報ＳＩ及び画像処理制御情報ＧＩの関係を模式的に示す説明図である。図６は画像処理制御情報ＧＩとして記録されるパラメータの一例を示す説明図である。図７は撮影情報ＳＩとして記録されるパラメータの一例を示す説明図である。なお、図５〜図７に示す各データ、情報の構造は、説明のために、例えば、メモリ上に格納されているデータ、情報を概念的に示している。

図５に示すように、撮影情報ＳＩ及び画像処理制御情報ＧＩは、動画像データＧＤに対応付け（関連付け）されて作成される。ここで、動画像データＧＤは、ある程度の長さを有するブロックとして作成される。即ち、動画像データＧＤは、複数のフレーム画像の集合として作成される。なお、動画像データＧＤの長さの決定方法としては、例えば所定数のフレーム画像毎に１つの動画像データＧＤとする方法、動画像データＧＤの内容に基づき、シーン（場面）毎に１つの動画像データＧＤとする方法などが可能である。

具体的には、図４（ａ）に示すように、複数のフレーム画像により構成される動画像データＧＤ（ＧＤ−１、ＧＤ−２、...）が作成される。図４（ａ）の例では、動画像データＧＤ−１はフレームＦ１〜Ｆ１０から構成され、動画像データＧＤ−２はフレームＦ１１〜Ｆ２０から構成され、動画像データＧＤ−ｎはフレームＦｎ〜Ｆｍから構成されている。、各々に対応して撮影情報ＳＩ（ＳＩ−１、ＳＩ−２、...）及び画像処理制御情報ＧＩ（ＧＩ−１、ＧＩ−２、...）が作成される。

図７に示すように、撮影情報ＳＩとして記述されるパラメータは、例えば、撮影時におけるシャッター速度、露出モード、ＩＳＯ、絞り値、撮影シーン、ストロボ発行の有無である。

画像処理制御情報ＧＩは、ディジタルカメラ１０等の任意の動画像データ生成装置にて生成された動画像データを、所定の画像出力装置から出力した際に所望の出力画像が得られるように予め実験的に求められた情報である。

画像処理制御情報ＧＩとして記述されるパラメータは、例えば図６に示すように、ノイズ除去の有無（ノイズ除去レベル）、シャープネス、明度、Ｒ，Ｇ，Ｂカラーバランス、コントラスト、記憶色、撮影モード（撮影条件に対応する画像処理時の処理モード）などである。

図４（ｂ）及び（ｃ）に、動画像データＧＤ、撮影情報ＳＩ及び画像処理制御情報ＧＩの伝送方法を模式的に示す。上述のように、撮影情報ＳＩ及び画像処理制御情報ＧＩは動画像データＧＤに対応付けされた別データとして構成されている。よって、これらのデータをディジタルカメラ１０から携帯機器２０、表示装置３０などへ伝送する際には、図４（ｂ）及び（ｃ）に示すように、時分割伝送が行われる。図４（ｂ）は動画像データＧＤ、撮影情報ＳＩ及び画像処理制御情報ＧＩをブロック毎に伝送する例であり、第１ブロックの撮影情報ＳＩ−１、画像処理制御情報ＧＩ−１及び動画像データＧＤ−１、を送信した後、第２ブロックの撮影情報ＳＩ−２、画像処理制御情報ＧＩ−２及び動画像データＧＤ−２を送信する例である。一方、図４（ｃ）は動画像データＧＤ、撮影情報ＳＩ及び画像処理制御情報ＧＩを所定数（この場合はｎ個）のブロック単位で伝送する例であり、第１〜ｎブロックの撮影情報ＳＩ−１〜ＳＩ−ｎを送り、さらに第１〜ｎブロックの画像処理制御情報ＧＩ−１〜ＧＩ−ｎを送った後で第１〜ｎブロックの動画像データＧＤ−１〜ＧＤ−ｎを送る例である。なお、図４（ｂ）及び（ｃ）のいずれの場合でも、動画像データＧＤを送信する前に、それに対応する撮影情報ＳＩ及び画像処理制御情報ＧＩを送信することが好ましい。そうすることにより、携帯機器２０などの受信側装置では、動画像データＧＤが送信されたとき、既に受信済みの撮影情報ＳＩ及び画像処理制御情報ＧＩに基づいて迅速に画像処理を開始することができるからである。

画像処理制御情報ＧＩは、例えば、動画像データＧＤを生成するディジタルカメラ１０における動画像データの生成特性と、カラープリンタ５０における画像出力特性とを考慮して決定される。したがって、画像処理制御情報ＧＩを用いて画像処理が施された動画像データを、カラープリンタ５０とは異なる画像出力特性を有する画像出力装置（例えば携帯機器２０や表示装置３０）によって出力すると、カラープリンタ５０によって出力された場合と同様の出力画像を得ることができないことがある。

そこで、本実施例においては、画像出力装置の画像出力特性に応じて、画像処理制御情報ＧＩを修正するための修正情報を用いて、出力画像の画質の相違を解消または低減する。修正情報は、画像処理制御情報ＧＩを画像出力装置の画像出力特性に適合させるための差分情報、画像処理制御情報ＧＩを置換するための置換情報、画像処理制御情報ＧＩに基づいて画像出力装置の画像出力特性に適合した新たな画像処理制御情報を生成するための生成用情報のいずれであっても良い。かかる修正情報は、画像処理制御情報ＧＩに記述されていても良く、個々の画像出力装置の記憶装置に格納されていても良い。

次に、携帯機器２０及び表示装置３０の機能ブロックについて説明する。図３に携帯機器２０及び表示装置３０の機能ブロック図である。図示のように、外部から入力されたデータ（図３は携帯機器２０の場合のアンテナを示す）はベースバンド処理部７１において、動画像データＧＤと、画像処理制御情報ＧＩ及び撮影情報ＳＩを含む制御情報とに分離される。動画像データＧＤは、デコーダー７２（例えばＭＰＥＧ４デコーダー）によりデコード処理され、画像処理部７３へ送られる。一方、制御情報取得部７５はベースバンド処理部７１から制御信号を取得して、そこに含まれる画像処理制御信号ＧＩ及び撮影情報ＳＩを抽出し、補正量決定／修正部７６へ送る。

補正量決定／修正部７６は、デコーダー７２から画像データの解析情報を取得し、補正量を決定する。また、補正量決定／修正部７６は、前述のように携帯機器２０などに予め用意されていた修正情報を取得し、画像処理制御情報ＧＩを修正して修正後の画像処理制御信号ＧＩ及び撮影情報ＳＩを修正する。そして、修正後の画像処理制御信号ＧＩ及び撮影情報ＳＩに基づいて補正量を変更、決定、その補正量を示す信号Ｓｃを画像処理部７３へ供給する。

画像処理部７３は、修正後の画像処理制御信号ＧＩ及び撮影情報ＳＩに基づいて決定された補正量に基づいて、デコーダー７２から供給された動画像データＧＤの画像処理を行い、処理後の動画像データＧＤｃを液晶パネルなどの表示部７４に送る。こうして、表示部７４は、予め動画像データＧＤに対応付けして用意され、さらに携帯機器２０などの特性に応じて修正された画像処理制御情報及び撮影情報に基づいて画像処理された画像を表示する。

次に、図８を参照して、携帯機器２０および表示装置３０が備える制御回路６０によって実現されるモジュールの概略について説明する。図８は第１の実施例に係る携帯機器２０および表示装置３０が備える制御回路６０によって実現される機能モジュールのブロック図である。なお、図８に示す各モジュールは、ＣＰＵ単独で、あるいは制御回路６０として実現され、また、ハードウェア、ソフトウェアのいずれによっても実現され得る。また、以下に説明する機能モジュールは、パーソナルコンピュータ４０によっても同様に実現され得る。

画像処理の対象となる動画像データＧＤは、画像データ取得モジュールＭ１によって取得される。動画像データＧＤに関連付けられている画像処理制御情報ＧＩ/撮影情報ＳＩは、画像処理制御情報ＧＩ/撮影情報ＳＩ取得モジュールＭ２によって取得され、取得された画像処理制御情報ＧＩ/撮影情報ＳＩは、画像処理制御情報ＧＩ/撮影情報ＳＩ修正モジュールＭ３によって画像出力装置に応じて修正される。

画像処理制御情報ＧＩ及び撮影情報ＳＩは、一般的に、特定の画像データ生成装置、例えば、ディジタルカメラ１０と特定の画像出力装置との関係において、最適な出力画像（画質）が得られるように設定されているので、特定の画像出力装置と異なる他の画像出力装置において、画像処理制御情報ＧＩ及び撮影情報ＳＩを用いた画像処理が実行される場合には、他の画像出力装置の画像出力特性に合わせて画像処理制御情報ＧＩ及び撮影情報ＳＩを修正することが望まれる。

そこで、修正情報取得モジュールＭ４によって取得された修正情報を用いた画像処理制御情報ＧＩ/撮影情報ＳＩ修正処理が、画像処理制御情報ＧＩ/撮影情報ＳＩ修正モジュールＭ３によって実行される。なお、修正情報は、画像処理制御情報ＧＩに記述されていても良く、制御回路６０のＨＤＤ６０３に予め記録されていても良い。

一方、動画像データＧＤに対する基準値を用いた画像処理を実行するために、動画像データＧＤは画像データ解析モジュールＭ６にて解析され、補正量決定モジュールＭ７では解析結果を用いて動画像データＧＤに対する画像処理時における補正量が決定される。決定された補正量は、補正量変更モジュールＭ８において、修正情報を用いて修正された画像処理制御情報ＧＩ/撮影情報ＳＩを反映して変更される。

画像処理モジュールＭ５では、変更された補正量を用いた動画像データＧＤに対する画像処理が実行される。画像処理が施された動画像データＧＤは、画像データ出力モジュールＭ９によって出力画像データとしてディスプレイ駆動制御部６３に送出される。あるいは、制御回路６０に画像出力モジュールＭ１０が備えられている場合には、画像処理が施された動画像データＧＤは、画像出力モジュールＭ１０を介して表示ディスプレイ２１、３１上に出力画像が出力される。

なお、画像処理モジュールＭ５における画像処理においては、変更された補正量を用いることなく、例えば、修正された画像処理制御情報ＧＩとして記述されているパラメータの値をそのまま用いた画像処理が実行されてもよい。

図８の構成において、画像データ取得モジュールＭ１は図３に示すベースバンド処理部７１に対応し、画像処理制御情報ＧＩ／撮影情報ＳＩ取得モジュールＭ２は制御情報取得部７５に対応する。また、画像処理制御情報ＧＩ／撮影情報ＳＩ取得モジュールＭ３、修正情報取得モジュールＭ４、画像データ解析モジュールＭ６、補正量決定モジュールＭ７及び補正量変更モジュールＭ８は補正量決定／修正部７６に対応する。さらに、画像処理モジュールＭ５は画像処理部７３に対応する。

次に、図９〜図１３を参照して第１の実施例に係る携帯機器２０および表示装置３０において実行される画像処理について説明する。図９は第１の実施例に係る携帯機器２０および表示装置３０において実行される画像処理の全体処理ルーチンを示すフローチャートである。図１０は第１の実施例に係る携帯機器２０および表示装置３０において実行される作業色空間変換処理の処理ルーチンを示すフローチャートである。図１１は第１の実施例に係る携帯機器２０および表示装置３０において実行される補正量決定処理の処理ルーチンを示すフローチャートである。図１２は第１の実施例に係る携帯機器２０および表示装置３０において実行される画質調整処理の処理ルーチンを示すフローチャートである。図１３は第１の実施例に係る携帯機器２０および表示装置３０において実行されるデバイス色空間変換処理の処理ルーチンを示すフローチャートである。

本実施例において実行される画像処理は、例えば、携帯機器２０、表示装置３０において、キー、タッチパネル等を介して所望の動画像データＧＤが選択されたときに開始される。あるいは、携帯機器２０、表示装置３０において、動画像データＧＤが受信されたときに実行されてもよい。

制御回路６０（ＣＰＵ６０１）は、画像処理を開始すると、選択された動画像データＧＤを取得してＲＡＭ６０２に一時的に格納する（ステップＳ１００）。動画像データＧＤの選択は、例えば、携帯機器２０、表示装置３０と有線または無線にて接続されているディジタルカメラ１０上において行われていても良く、あるいは、携帯機器２０、表示装置３０上において、メモリカードＭＣに格納されている動画像データＧＤの中から選択されても良い。さらには、ネットワークを介してサーバ上に格納されている複数の動画像データＧＤから選択されても良い。

ＣＰＵ６０１は、選択された動画像データＧＤに関連付けられた画像処理制御情報ＧＩ/撮影情報ＳＩを検索する（ステップＳ１１０）。ＣＰＵ６０１は、動画像データＧＤに関連付けられている画像処理制御情報ＧＩ/撮影情報ＳＩをメモリカードＭＣ上、ネットワーク上において検索する。ＣＰＵ６０１は、画像処理制御情報ＧＩ/撮影情報ＳＩを発見（検索）できた場合には（ステップＳ１１５：Ｙｅｓ）、画像処理制御情報ＧＩ/撮影情報ＳＩを取得する（ステップＳ１２０）。一方、ＣＰＵ６０１は、画像処理制御情報ＧＩ/撮影情報ＳＩを発見（検索）できなかった場合には（ステップＳ１１５：Ｎｏ）、画像処理制御情報ＧＩ/撮影情報ＳＩを用いた画質調整処理を行うことなく、ステップＳ１７０へと移行する。

ステップＳ１２０に戻り説明すると、次にＣＰＵ６０１は、デバイス修正処理を実行する（ステップＳ１３０）。既述の通り、画像処理制御情報ＧＩは、一般的に、特定の画質データ生成装置と特定の画像出力装置、例えばカラープリンタ５０の組み合わせに最適化されている。したがって、携帯機器２０や表示装置３０など、想定された特定の画像出力装置ではない場合には、その出力画像の画質は、カラープリンタ５０によって出力された出力画像の画質とは異なってしまう。

そこで、本実施例では、たとえば、携帯機器２０や表示装置３０における表示出力画像の画質をカラープリンタ５０における印刷出力画像の画質と同一にするため、または近似させるための、デバイス毎に用意されている修正情報を用いて画像処理制御情報ＧＩを修正する。修正情報は、携帯機器２０や表示装置３０においてカラープリンタ５０と同様の画質を得るための画質パラメータの値である表示用パラメータ値と画像処理制御情報ＧＩに記述されている画質パラメータの値との差分情報であっても良く、あるいは、画像処理制御情報ＧＩに記述されている画質パラメータの値に代えて用いられる新規な表示用パラメータ値であっても良い。

例えば、液晶パネルは、各パネル毎に画像出力特性が大きく異なる傾向にあるので、修正情報は、液晶パネル単位にて用意されることが望ましい。修正情報は、画像処理制御情報ＧＩの１つの情報として画像処理制御情報ＧＩに記述されていてもよく、表示装置３０毎に、固有の修正情報としてＨＤＤ/ＲＯＭ６０３に格納されていてもよい。さらには表示装置３０において、画像処理制御情報ＧＩに基づいて動的に生成されても良い。

修正情報に含まれる情報（パラメータの値の差分、置換用パラメータの値）は、例えば、白色点の指定情報、コントラストの修正情報、彩度の修正情報、色相の修正情報、ノイズ除去処理−実行の有無、シャープネス処理実行の有無に関する情報である。
（１）異なる画像出力装置間では、色温度が異なるので、白色点を指定することによって色温度を調整する。例えば、表示の色温度が高い場合（９３００Ｋ等）には、白色点の指定情報としてＲ＝（２３７、２５５）、Ｇ＝（２５５、２５１）、Ｂ＝（２５５、２２２）、とすると、表示ディスプレイ２１、３１上においてカラーバランスをある程度一致させて表示することが可能である。
（２）異なる画像出力装置間では、再現（表現）可能な色域が異なるため、コントラストに差が生じ、見え方に大きな差が生じる。そこで、トーンカーブを調整することによってコントラストをある程度一致させることができる。
（３）異なる画像出力装置間では、表現彩度が異なるため、例えば、カラープリンタ５０によって出力された出力画像と、表示ディスプレイ２１、３１上に出力された出力画像との見え方を一致させるためには、彩度を調整する必要がある。
（４）出力装置毎に色相が異なる場合には、色空間変換マトリクスの調整、記憶色補正の利用、ＨＳＢ等による色域を特定した補正を修正情報によって実現すればよい。

次に、ＣＰＵ６０１は、取得した動画像データＧＤの色空間を作業色空間へ変更する作業色空間変換処理を実行する（ステップＳ１４０）。この作業色空間変換処理について図１０を参照して説明する。この作業色空間変換処理は、動画像データＧＤの色空間を、画像データに対する画質調整処理を実行する際に用いられる色空間、すなわち作業色空間へと変更するための処理である。作業色空間として、色域の広い色空間を用いることによって、画質調整処理後の画質データを構成する画素データを有効に活用することができる。

そこで、本実施例では、動画像データＧＤの色空間を、ＲＧＢ色空間として一般的に用いられるｓＲＧＢ色空間からｓＲＧＢ色空間よりも広い色域を有するｗＲＧＢ色空間へと変換する。

ディジタルカメラ１０から取得された動画像データＧＤは、通常、ＹＣｂＣｒ色空間のデータであるから、先ず、画像処理において標準的に用いられているｓＲＧＢ色空間の画像データへと変換される。ＹＣｂＣｒ−ＲＧＢ色変換に当たっては、当業者に良く知られているマトリクスＳが用いられる。一方、取得された動画像データＧＤがｓＲＧＢデータの場合には、マトリクスＳを用いた色変換は不要となる。ここでは、動画像データＧＤは既に、ｓＲＧＢ色空間の動画像データであるものとして説明する。

ＣＰＵ６０１は、動画像データＧＤに対して第１のガンマ変換処理を実行する（ステップＳ１４００）。色変換処理は、通常、ＸＹＺ、Ｌａｂ等の機器独立空間を介して実行され、マトリクスを用いたｓＲＧＢ−ＸＹＺ色変換処理、ＸＹＺ−ｗＲＧＢ色変換処理が実行される。かかる色変換処理の処理精度を上げるために、動画像データＧＤの入出力特性（ガンマ特性）を線形化する必要がある。ここで用いられるガンマの値は、ディジタルカメラ１０において画像データ生成に際して実行される逆ガンマ変換処理時に一般的に用いられているガンマの値である。

ＣＰＵ６０１は、線形化された動画像データＧＤに対して、マトリクスを用いたｓＲＧＢ−ＸＹＺ色変換処理、ＸＹＺ−ｗＲＧＢ色変換処理を実行して、動画像データＧＤの色空間を作業色空間であるｗＲＧＢへと変換し（ステップＳ１４１０）、本処理ルーチンを終了し、図９の処理ルーチンにリターンする。

図９に戻り説明を続けると、ＣＰＵ６０１は、次に補正量決定処理を実行する（ステップＳ１５０）。かかる補正量決定処理について図１１を参照して説明する。本実施例における補正量決定処理は、動画像データＧＤの画質に関するパラメータの値を基準値に近づける。あるいは、基準値と同一の値とする、いわゆる自動画質調整に用いるための補正量を求める処理である。

ＣＰＵ６０１は、動画像データＧＤまたは動画像データＧＤの間引きデータ（たとえば、サムネイル画像データ）を画素単位にて、あるいは、動画像データＧＤの所定画素毎にサンプリングする（ステップＳ１５００）。ＣＰＵ６０１は、サンプリングした各画素データから、動画像データＧＤの画質に関する各パラメータ（画質パラメータ）について解析値（統計値、特性値）を取得する（ステップＳ１５１０）。

ＣＰＵ６０１は、各画質パラメータについて、予め用意されている基準値を取得し、基準値と解析値とを用いて各画質パラメータについて補正値を決定する（ステップＳ１５２０）。より具体的には、各画質パラメータ毎に用意された演算式を用いて、各画質パラメータの解析値と基準値との差を解消または低減させるように、補正値が決定される。すなわち、本実施例では、各動画像データＧＤの特性を解析することによって、各動画像データＧＤの画質に応じて補正値が決定される。補正値は、各画質パラメータの新たな値として用いられる値であっても良く、または、各画質パラメータの解析値を増減させるために用いられる値であっても良い。

ＣＰＵ６０１は、各画質パラメータについて決定した補正値を、画像処理制御情報ＧＩ/撮影情報ＳＩを用いて変更して（ステップＳ１５３０）、本処理ルーチンを終了し、図９の処理ルーチンにリターンする。すなわち、画像データ生成装置と画像出力装置との組み合わせから生じる画質の特性、画像データ生成時における撮影条件を用いることで、動画像データＧＤの解析だけからでは得られない情報（条件）を、動画像データＧＤの画質に応じて決定された補正値に反映させることができる。本実施例では、画像処理制御情報ＧＩは、修正情報によって、表示装置３０において、カラープリンタ５０の出力画像と同様の画質の画像が出力されるように修正されているので、画像出力装置の画像出力特性の差に起因する画質（見え方）の相違を解消または低減することができる。

具体的には、補正値が各画質パラメータの解析値を増減させるために用いられる値である場合には、画像処理制御情報ＧＩ/撮影情報ＳＩを用いて、増減の程度を変更する。補正値が各画質パラメータの新たな値として用いられる値である場合には、画像処理制御情報ＧＩ/撮影情報ＳＩを用いて新たな値に変更する。さらに、画像処理制御情報ＧＩとして、撮影者によってマニュアル操作によって意図的に設定されたマニュアル設定のパラメータが存在する場合には、設定されたパラメータの値をそのまま、補正値に付加しても良い。

次に、ＣＰＵ６０１は、変更された補正値を用いて動画像データＧＤに対する画質調整処理を実行する（ステップＳ１６０）。かかる画質調整処理について図１２を参照して説明する。ＣＰＵ６０１は、動画像データＧＤに対してノイズ除去処理を実行する（ステップＳ１６００）。ノイズ除去処理は、修正情報によって実行、非実行が規定される処理であってもよく、修正情報によってノイズ低減レベルが修正される処理であっても良い。ノイズ除去処理は、比較的、負荷の高い演算処理である。一方、表示画面サイズが小さな表示ディスプレイにおいては、一般的にノイズ除去処理の効果が確認し難い。そこで、表示画面サイズが小さな表示ディスプレイを備える傾向にある携帯機器２０においては、演算負荷の軽減とノイズ除去処理の効果が弱いことに鑑みノイズ除去処理はスキップされてもよい。

ＣＰＵ６０１は、修正された補正値を用いてトーンカーブを修正し、トーンカーブを用いた動画像データＧＤに対する画質調整処理を実行する（ステップＳ１６１０）。トーンカーブを用いた画質調整処理は、明度、カラーバランス、コントラストの画質パラメータを調整するために実行される。トーンカーブの修正は、例えば、各画質パラメータ毎に設定されている修正ポイントにおいて、トーンカーブの通過点を変更することによって実行される。

ＣＰＵ６０１は、予め設定されている記憶色に該当する色を、記憶色として定義されている色で置き換える（ステップＳ１６２０）。記憶色としては、例えば、肌の色、空の色、緑の色、赤色について、予め見栄えの良い色が定義されている。

ＣＰＵ６０１は、彩度補正処理を実行する（ステップＳ１６３０）。補正値（調整量）を用いた彩度の補正は、例えば、補正前の値を（Ｒｂ，Ｇｂ，Ｂｂ）、補正後の値を（Ｒａ，Ｇａ，Ｂａ）、補正値を（Ｒ、Ｇ、Ｂ）、とすると、以下の式を用いて実行される。

ＣＰＵ６０１は、シャープネス処理を実行して（ステップＳ１６４０）、画質調整処理を終了し、図９の処理ルーチンにリターンする。シャープネス処理は、修正情報によって実行、非実行が規定される処理であってもよく、修正情報によってシャープネスレベルが修正される処理であっても良い。表示画面サイズが小さな表示ディスプレイにおいては、一般的にシャープネス効果が確認し難い。そこで、表示画面サイズが小さな表示ディスプレイを備える傾向にある携帯機器２０においては、シャープネス処理の効果が弱いことに鑑み、演算負荷を軽減する観点からもシャープネス処理はスキップされてもよい。

次に、ＣＰＵ６０１は、画質調整処理を施した動画像データＧＤの色空間をデバイスへ変更する作業色空間変換処理を実行する（ステップＳ１７０）。このデバイス色空間変換処理について図１３を参照して説明する。このデバイス色空間変換処理は、動画像データＧＤの色空間を、画質調整処理を実行する際に用いた作業色空間から、各画像出力装置の色空間へと変更するための処理である。ここで、通常、画像を表示出力する画像出力装置（表示ディスプレイ）は、ｓＲＧＢ色空間を満たすように色設計されている。一方、一部の表示画像出力装置（表示ディスプレイ）は独自の色空間に基づいて色設計されている。

ＣＰＵ６０１は、線形化された動画像データＧＤに対して、マトリクスを用いたｗＲＧＢ−ＸＹＺ色変換処理、ＸＹＺ−ｓＲＧＢ色変換処理またはＸＹＺ−デバイス色空間色変換処理、あるいは、ルックアップテーブルを用いたｗＲＧＢ−ｓＲＧＢ色変換処理またはｗＲＧＢ−デバイス色空間色変換処理を実行して、動画像データＧＤの色空間をデバイス色空間へと変換する（ステップＳ１８００）。

ＣＰＵ６０１は、動画像データＧＤに対して第１の逆ガンマ変換処理を実行して（ステップＳ１８１０）、本処理ルーチンを終了し、図９の処理ルーチンにリターンする。すなわち、動画像データＧＤのガンマ特性を表示ディスプレイ２１，３１のガンマ特性に適合する特性へと変更する。具体的には、表示ディスプレイ２１，３１のガンマの値を用いて、逆ガンマ変換処理が実行される。

ＣＰＵ６０１は、ディスプレイ駆動制御部６３を介して、出力画像を表示出力して本処理ルーチンを終了する。

以上説明したように、第１の実施例に係る表示装置３０によれば、ディジタルカメラ１０とカラープリンタ５０との組み合わせにおいて定義された画像処理制御情報ＧＩを用いて、カラープリンタ５０によって出力された出力画像と同様の画質を有する画像を表示出力することができる。すなわち、携帯機器２０、表示装置３０は、カラープリンタ５０とは異なる画像出力特性を有するが、かかる画像出力特性の相違に起因する出力画像の見え方（画質）の相違は、修正情報を用いて画像処理制御情報ＧＩを修正することによって解消または低減される。したがって、特定の画像出力装置に合わせて定義された画像処理制御情報ＧＩを用いて、任意の画像出力装置における出力画像の画質を特定の画像出力装置における出力画像の画質に近似または一致させることができる。

また、第１の実施例では、画像出力装置毎に画像処理制御情報ＧＩを備えなくても、修正情報を用いることによって、複数の画像出力装置において、特定の画像出力装置における出力画像の画質と同等または近似する画質を有する出力画像を出力させることができる。

さらに、第１の実施例では、小さな表示ディスプレイ２１を備える携帯機器２０では、画質調整処理において実行される処理のうち、処理効果が確認し難い、ノイズ除去処理、
シャープネス処理をスキップすることができる。この結果、画像処理制御情報ＧＩによる
主要な画質の調整は実行しつつ、画質調整処理に必要な演算負荷を軽減し、画質調整処理に要する時間を短くすることができる。

なお、上記の実施例では、画像処理制御情報ＧＩが動画像データＧＤを生成するディジタルカメラ１０における動画像データの生成特性とカラープリンタ５０における画像出力特性とを考慮して決定されており、修正情報により携帯機器２０や表示装置３０の特性に適合させるようにしているが、本発明の適用はこれには限られない。特に本発明では、動画像データＧＤを主として扱うので、例えば携帯機器２０又は表示装置３０の特性を考慮して画像処理制御情報ＧＩなどを生成しておき、それ以外の機器にて動画像データを表示する際に画像処理制御情報ＧＩなどの修正を行うこととしてもよい。

［第２の実施例］
次に第２の実施例について説明する。第１の実施例は、ディジタルカメラ１０などにより生成された動画像データに本発明を適用したものであるが、第２の実施例はＴＶ放送により送信される動画像データに本発明を適用するものである。地上波デジタル放送では、デジタルの動画像データに加えて、電子番組表（ＥＰＧ）データが送信されている。このＥＰＧデータには、各番組の時間に関する情報やジャンルに関する情報が含まれている。番組は例えばニュース、天気予報、バラエティ、スポーツなどのいくつかのジャンルに分類され、各番組がどのジャンルに該当するかがＥＰＧデータに含まれている。よって、番組のジャンル毎に適切な画像処理制御情報を予め用意し、ＥＰＧデータ中に含まれるジャンルに応じて対応する画像処理制御情報を決定して画像処理を行うことにより、放送局からのデジタルＴＶ放送に対しても本発明を適用することができる。

図１４に、第２の実施例におけるシステムの概略構成を示す。放送局９０から送信された放送波は、家庭などに設置されるデジタルＴＶ受信システム８０により受信される。具体的には受信部（チューナー）８１がアンテナで受信した放送波からＴＶ番組の動画像データ及びＥＰＧデータを抽出して画像処理部８２に送る。

画像処理部８２は、番組ジャンル毎に予め決定された画像処理制御情報を記憶している。即ち、ジャンル「ニュース」の番組は画像処理制御情報Ａを使用し、ジャンル「スポーツ」の場合は画像処理制御情報Ｂを使用し、ジャンル「ドラマ」の場合は画像処理制御情報Ｃを使用する、とうような対応付け情報を記憶している。具体的な例としては、ジャンル「ニュース」の番組は字幕の表示を伴うので、文字を明確に表示するために輪郭強調を施した画像処理制御情報を使用する、ジャンル「ドラマ」の番組は俳優の表情を写すシーンが多いので肌色の記憶色を使用する画像処理制御情報を使用する、などが挙げられる。

画像処理部８２は、ジャンルに応じた画像処理制御情報を取得し、それを利用して動画像データの画像処理を行って処理後の画像データを表示部８３へ送り、表示させる。このように、第２の実施例によれば、映像ソースとしてＴＶ放送を使用することが可能となり、番組の内容に応じて好ましい画像処理を施すことにより、高画質な動画表示が可能となる。

第１の実施例に係る画像処理システムの概略構成を示す説明図である。 第１の実施例に係る画像処理装置の概略構成を示す説明図である。 第１の実施例に係る画像処理装置の機能ブロック図である。 動画像データ、画像処理制御情報及び撮影情報の対応を示す。 動画像データ、画像処理制御情報及び撮影情報の対応を示す。 画像処理制御情報ＧＩとして記録されるパラメータの一例を示す。 撮影情報ＳＩとして記録されるパラメータの一例を示す説明図である。 第１の実施例に係る装置により実現される機能モジュールのブロック図である。 第１の実施例に係る画像処理のフローチャートである。 第１の実施例に係る作業色空間変換処理のフローチャートである。 第１の実施例に係る補正量決定処理のフローチャートである。 第１の実施例に係る画質調整処理のフローチャートである。 第１の実施例に係るデバイス色空間変換処理のフローチャートである。 第２の実施例に係るシステムの概略構成を示すブロック図である。

符号の説明

１０ ディジタルスチルカメラ ２０ 携帯機器
２１ 表示ディスプレイ
３０、３５ 表示装置
３１ 表示ディスプレイ
４０ パーソナルコンピュータ
５０ カラープリンタ
６０、６０ａ 制御回路
６０１ 中央演算装置（ＣＰＵ）
６０２ ランダムアクセスメモリ（ＲＡＭ）
６０３ ハードディスク（ＨＤＤ）/ＲＯＭ
６１ 入力操作部
６２ 通信制御部
６３ ディスプレイ駆動制御部
６４ メモリカードスロット
ＭＣ メモリカード

Claims (5)

1. 画像処理条件を規定する画像処理制御情報を用いて、動画像データに対する画像処理を施し、接続されている第１の画像出力装置に対して画像処理を施した前記動画像データを出力する画像処理装置であって、
   複数の単位画像を含むブロック毎に前記動画像データを取得する動画像データ取得手段と、
   前記ブロック毎に前記動画像データに関連付けされたものであり、前記第１の画像出力装置とは異なる第２の画像出力装置の画像出力特性に合わせて設定された画像処理制御情報を取得する画像処理制御情報取得手段と、
   前記第１の画像出力装置の画像出力特性に合わせて前記画像処理制御情報を修正するための修正情報を取得する修正情報取得手段と、
   取得された修正情報を用いて、取得された画像処理制御情報を修正する修正手段と、
   前記修正手段において修正された画像処理制御情報を用いて、前記ブロック毎に前記動画像データに対して画像処理を実行する画像処理手段と、
   前記画像処理が施された動画像データを前記第１の画像出力装置へ出力する出力手段と、を備えることを特徴とする画像処理装置。
2. 前記画像処理装置において、前記画像処理制御情報が前記動画像データよりも先に受信されることを特徴とする請求項１に記載の画像処理装置。
3. 前記単位画像はフレーム画像であり、前記ブロックは１つのシーンに対応する複数のフレーム画像により構成されていることを特徴とする請求項１又は２に記載の画像処理装置。
4. 画像処理条件を規定する画像処理制御情報を用いて、動画像データに対する画像処理を施し、接続されている第１の画像出力装置に対して画像処理を施した前記動画像データを出力する画像処理方法であって、
   複数の単位画像を含むブロック毎に前記動画像データを取得する動画像データ取得工程と、
   前記ブロック毎に前記動画像データに関連付けされたものであり、前記第１の画像出力装置とは異なる第２の画像出力装置の画像出力特性に合わせて設定された画像処理制御情報を取得する画像処理制御情報取得工程と、
   前記第１の画像出力装置の画像出力特性に合わせて前記画像処理制御情報を修正するための修正情報を取得する修正情報取得工程と、
   取得された修正情報を用いて、取得された画像処理制御情報を修正する修正工程と、
   前記修正手段において修正された画像処理制御情報を用いて、前記ブロック毎に前記動画像データに対して画像処理を実行する画像処理工程と、
   前記画像処理が施された動画像データを前記第１の画像出力装置へ出力する出力工程と、を備えることを特徴とする画像処理方法。
5. コンピュータ上で実行され、画像処理条件を規定する画像処理制御情報を用いて、動画像データに対する画像処理を施し、接続されている第１の画像出力装置に対して画像処理を施した前記動画像データを出力する画像処理プログラムであって、
   複数の単位画像を含むブロック毎に前記動画像データを取得する動画像データ取得手段、
   前記ブロック毎に前記動画像データに関連付けされたものであり、前記第１の画像出力装置とは異なる第２の画像出力装置の画像出力特性に合わせて設定された画像処理制御情報を取得する画像処理制御情報取得手段、
   前記第１の画像出力装置の画像出力特性に合わせて前記画像処理制御情報を修正するための修正情報を取得する修正情報取得手段と、
   取得された修正情報を用いて、取得された画像処理制御情報を修正する修正手段と、
   前記修正手段において修正された画像処理制御情報を用いて、前記ブロック毎に前記動画像データに対して画像処理を実行する画像処理手段、
   前記画像処理が施された動画像データを前記第１の画像出力装置へ出力する出力手段として前記コンピュータを機能させることを特徴とする画像処理プログラム。

Images