JP4876058B2 - 色処理装置およびその方法 - Google Patents

色処理装置およびその方法 Download PDF

Info

Publication number
JP4876058B2
JP4876058B2 JP2007306307A JP2007306307A JP4876058B2 JP 4876058 B2 JP4876058 B2 JP 4876058B2 JP 2007306307 A JP2007306307 A JP 2007306307A JP 2007306307 A JP2007306307 A JP 2007306307A JP 4876058 B2 JP4876058 B2 JP 4876058B2
Authority
JP
Japan
Prior art keywords
frame
color
color processing
frame image
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007306307A
Other languages
English (en)
Other versions
JP2009129362A (ja
JP2009129362A5 (ja
Inventor
裕文 鶴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007306307A priority Critical patent/JP4876058B2/ja
Priority to US12/324,014 priority patent/US8280154B2/en
Publication of JP2009129362A publication Critical patent/JP2009129362A/ja
Publication of JP2009129362A5 publication Critical patent/JP2009129362A5/ja
Application granted granted Critical
Publication of JP4876058B2 publication Critical patent/JP4876058B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画データの色処理に関する。
人間の色の見え方を予測するために様々な色知覚モデルが提案されている。その代表的なものに、CIECAM02と呼ばれるカラーアピアランスモデル(CAM)がある。CIECAM02においては、白色点や順応輝度、背景輝度、視環境条件といった観察環境パラメータを設定することができる。CIECAM02を利用してカラーマッチングを行う場合、これらの観察環境パラメータを入力観察環境、出力観察環境それぞれについて設定することができ、入出力の観察環境が異なる状況におけるカラーマッチングが可能になる。
また、CAMに視覚の空間的特性を組み込んだイメージアピアランスモデル(iCAM)も提案されている。iCAMにおいては、静止画像だけでなく動画像に対するカラーマッチングも行われ、動画像の色の見えの予測に視覚の時間的な特性も考慮されている。
ユーザが画像に注目する点またはオブジェクト(以下、注目点)を特定することができれば、CIECAM02においては、注目点に関して順応輝度を最適化することが可能になる。同様に、iCAMを使用したカラーマッチングにおいても、注目点に関して順応輝度を最適化することで、カラーアピアランス特性の向上や、高ダイナミックレンジ(HDR)画像の圧縮処理において、より人の視覚に近いカラーマッチングを行うことができる。
しかし、動画像においては、オブジェクトの移動やズーミングなどにより、注目点に相当するオブジェクトのサイズが変化する。従来、そのようなサイズが変化するオブジェクトに対して、観察者がどの程度のサイズでオブジェクトに注目するか、といった考慮がない。その結果、一般に、注目点を意識しないカラーマッチング処理が行われる。
特開2005-210526公報
本発明は、動画における注目領域のサイズ変化を考慮した色処理を行うことを目的とする。
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
本発明にかかる色処理は、動画像のフレーム画像に注目領域を設定し、前記注目領域が設定されたフレーム画像において、前記注目領域が前記フレーム画像の全体に占める占有率を計算し、前記注目領域が設定された複数のフレーム画像それぞれの前記占有率に基づき、前記占有率の時間軸方向の増減を判定し、前記占有率と前記判定の結果に基づき、前記フレーム画像ごとに色処理方法を設定し、前記フレーム画像に設定された色処理方法によって、前記フレーム画像を色処理することを特徴とする
本発明によれば、動画における注目領域のサイズ変化を考慮した色処理を行うことができる。
以下、本発明にかかる実施例の色処理を図面を参照して詳細に説明する。
[構成]
図1は色処理を実行する画像処理装置(色処理装置)10の構成例を示すブロック図である。
マイクロプロセッサ(CPU)402は、ランダムアクセスメモリ(RAM)404をワークメモリとしてリードオンリメモリ(ROM)403やハードディスクドライブ(HDD)409などに格納されたプログラムを実行する。そして、システムバス408を介して後述する構成を制御する。なお、HDD409は、ワークメモリの記憶容量が不足する場合の補助記憶としても機能する。
CPU402は、インタフェイス(I/F)405を介して、グラフィックユーザインタフェイス(GUI)、処理対象の動画データの画像、処理結果の動画データの画像などをモニタ19に表示する。モニタ19は、ブラウン管(CRT)、液晶パネル(LCD)、プロジェクタなどの画像処理装置10に接続(または内蔵)された表示装置である。ユーザは、キーボードインタフェイス(KBD I/F)401に接続されたキーボードやマウスなどの入力部411によってGUIを操作して、指示やデータを入力する。CPU402は、ユーザ指示やユーザが入力したデータをKBD I/F401を介して取得する。
USB(Universal Serial Bus)やIEEE1394などのシリアルバス用のシリアルバスI/F406に接続されたメモリ11は、HDD、メモリカードとカードリーダの組み合わせ、光ディスクとディスクドライブの組み合わせなどである。CPU402は、メモリ11に格納された動画データなどのデータやプログラムをRAM404にロードすることができる。
ネットワークインタフェイスカード(NIC)410は、ネットワーク413とのインタフェイスである。CPU402は、NIC410を介して、ネットワーク413に接続された各種装置とデータを送受信することができる。
[機能構成]
図2は実施例の色処理を実行する場合の画像処理装置10の機能構成例を示すブロック図である。つまり、図1に示す画像処理装置10に後述する処理を実行するアプリケーションソフトウェア(AP)を供給し、CPU402がAPを実行することによって、図2に示す機能構成が実現される。
CPU402は、HDD409またはメモリ11からRAM404にAPをロードして実行する。以降、CPU402は、APに従って動作し、メモリ11からRAM404に動画データを読み込んで、カラーマッチング処理を含む適切な色処理を行い、モニタ19を用いて動画を再生する。なお、動画データは、HDD409やネットワーク413に接続されたサーバから読み込んでもよい。
動画デコード部12は、RAM404にロードされた動画データがMPEG4などのオブジェクト符号化方式で記録されている場合、オブジェクト符号をオブジェクト画像に復号する。そして、動画データを1フレームごとの静止画データ(以下、フレーム画像)の集合に復号する。なお、静止画データのフォーマットは、TIFFやJPEGなど、どのような形式でもよい。また、図2に示すユーザインタフェイス部(UI)13から再生部18までの処理はフレーム画像に対して実行される。
UI部13は、詳細は後述するが、ユーザが注目オブジェクトを含む注目領域を指定するためのGUIを提供する。なお、GUIはモニタ19に表示され、入力部411を介してユーザの指示(注目領域の指定など)が入力される。
占有率計算部14は、詳細は後述するが、注目領域のサイズ(面積)が画像全体に占める割合を占有率として計算する。
ズームイン・アウト判定部15は、詳細は後述するが、処理対象フレーム(以下、現フレーム)の注目領域の占有率と、現フレームより後のフレーム(以下、後方フレーム)の注目領域の占有率を比較する。つまり、複数のフレームにおける注目領域の占有率の変化に基づき、注目領域のサイズが、時間軸方向に拡大している(ズームイン)か、縮小している(ズームアウト)か、サイズに変化がないかを判定する。以下では、時間軸方向の占有率の増減の判定、言い換えれば、注目領域のサイズの推移に関する判定を「ズームイン・アウト判定」と呼ぶ。
色処理設定部16は、詳細は後述するが、現フレームの注目領域の占有率と、ズームイン・アウト判定の結果に基づき、カラーマッチング処理に注目点を用いるか否かの判定を行う。
色処理部17は、詳細は後述するが、フレーム画像に、ユーザの視環境やディスプレイの再現特性にマッチしたCIECAM02やiCAMなどに基づく色変換処理を施す。色処理部17は、色処理設定部16によって設定される注目点を用いるカラーマッチング処理を含む色処理と、注目点を用いないカラーマッチング処理を含む色処理を行うことが可能である。
再生部18は、色処理部17が処理したフレーム画像を、動画デコード部12から入力される動画データのフレームレートに従い動画としてGUIに含まれるウィンドウに表示する。勿論、GUIとは別のウィンドウに表示してもよい。あるいは、動画を再生表示するのではなく、再び、オブジェクト符号化した動画データ、つまりカラーマッチング処理済みの符号化動画データとしてメモリ11やネットワーク413に接続されたサーバに格納してもよい。その場合、ユーザは、別途用意したPCの動画再生手段や、PCとは異なる動画再生装置を用いて、カラーマッチング処理済みの符号化動画データを復号再生し、動画の観賞等を行う。
●動画デコード部
動画デコード部12は、入力した動画データの記録時のフレームレートに従い、動画データからフレーム画像を生成して、フレーム画像をRAM404の所定領域に格納する。また、動画デコード部12は、動画データを復号する際に、フレーム画像の情報を記録するフレーム情報テーブルをRAM404の所定領域に作成する。
図3はフレーム画像の情報を記録するフレーム情報テーブル41を説明する図である。
フレーム情報テーブル41には、フレームごとに、フレーム画像を格納したRAM404のアドレスを示すアドレス情報42が記録される。なお、このフレーム情報テーブル41への記録順は、時系列順とし、フレーム情報テーブル41の先頭には先頭のフレームの情報が記録される。
●UI部
図4はUI部13が提供するGUI51の一例を示す図である。
UI部13は、GUI51のプレビューウィンドウ52に処理対象の動画データのフレーム画像を表示して、注目オブジェクトを含む注目領域のユーザ指定などを受け付ける。
ユーザは、入力部411を操作して、スライダバー58により注目オブジェクトが存在するフレーム画像をプレビューウィンドウ52に表示する。そして、マウスカーソル53を移動し、注目オブジェクトを含む注目領域を範囲指定する。この操作に対して、UI部13は、注目領域54を示す矩形を表示する。ユーザは、注目領域54の指定が終了すると、指定ボタン56をクリックして注目領域54を確定する。また、注目領域54の指定を取り消す(矩形を消す)場合はキャンセルボタン57を押す。
次に、ユーザは、スライダバー58により、次に注目領域を指定するフレーム画像をプレビューウィンドウ52に表示して、注目領域54を指定する。なお、注目領域54を指定するフレーム間隔は密の方が望ましいが、後述するように、注目領域54の移動を予測するので、数秒間隔でもよい。
図4の例においては、人物像の頭部から胸部を注目領域54に指定しているが、動画の途中で他のオブジェクトを含む注目領域に変更したい場合がある。その場合、ユーザは、スライダバー58により、新たな注目オブジェクトが存在するフレーム画像をプレビューウィンドウ52に表示し、オブジェクト変更ボタン55を押した後、注目領域54を指定する。
UI部13は、処理対象の動画に対して初めて指定ボタン56が押された場合、新しい注目領域54の存在を表すために、当該フレームに対応する、フレーム情報テーブル41のズームイン・アウト情報45に“1”を設定する。また、オブジェクト変更ボタン55が押され、かつ、指定ボタン56が押された場合、新しい注目領域の存在を表すために、当該フレームのズームイン・アウト情報45に“1”を設定する。その他の状況で指定ボタン56が押された場合、注目領域の存在を表すために、当該フレームのズームイン・アウト情報45に“2”を設定する。なお、ズームイン・アウト情報の初期値は“0”(3ビット)である。
また、UI部13は、カラーマッチングボタン59が押された場合、ズームイン・アウト判定部15から再生部18に処理の開始を指示する。
●占有率計算部
占有率計算部14は、UI部13によって取得された注目領域54の面積が画像全体に占める占有率を計算する。そして、計算した占有率を当該フレームの占有率43としてフレーム情報テーブル41に記録する。図5に示すように、注目領域54の左上61と右下62の座標値から注目領域54の面積Soを計算し、動画像の画像サイズ(例えばX×Y画素)がSwとすれば、So/Swを占有率にする。
さらに、占有率計算部14は、注目領域54の左上61と右下62の座標値から注目領域54の中心座標(中心点)を計算する。そして、計算した中心座標(中心点)を当該フレームの注目点44としてフレーム情報テーブル41に記録する。なお、注目点は、注目領域54の中心点に限らず、顔認識などの技術を利用して、注目領域54に含まれる顔画像の中心付近に設定してもよい。あるいは、注目点を、注目領域54内の任意の位置に設定してもよい。
●ズームイン・アウト判定部
ズームイン・アウト判定部15は、UI部13から処理の開始が指示されると、占有率43に基づきズームイン・アウト判定を行う。
図6はズームイン・アウト判定を説明するフローチャートである。
ズームイン・アウト判定部15は、フレーム情報テーブル41を先頭から検索してズームイン・アウト情報45に“1”が設定された最初のフレームを探索する(S31)。そして、探索したフレーム(以下、現フレーム)の占有率を変数Rpに設定する(S32)。
次に、ズームイン・アウト判定部15は、現フレーム以降のフレーム情報テーブル41を探索してズームイン・アウト情報45に“1”または“2”が設定されたフレームを探索する(S33)。そして、ズームイン・アウト情報45に“1”が設定されたフレームが探索されると(S34)、処理をステップS32に戻す。また、ズームイン・アウト情報45に“2”が設定されたフレームが探索されると(S34)、処理をステップS35に進める。あるいは、ズームイン・アウト情報45に“1”または“2”が設定されたフレームが探索されずに最終フレームに達すると、処理を終了する。
ズームイン・アウト情報45に“2”が設定されたフレームが探索されると、ズームイン・アウト判定部15は、当該フレーム(以下、後方フレーム)の占有率を変数Rbに設定する(S35)。そして、次式に基づき、現フレームの占有率に比べて後方フレームの占有率が増加しているか否かを判定する(S36)。
Rp×(1 + k) < Rb …(1)
ここで、Rpは現フレームの占有率、
Rbは後方フレームの占有率、
kは任意の係数、例えば0.05
式(1)において係数kは、現フレームと後方フレームにおいて占有率43が殆ど変化しない場合の誤動作を防ぐためのものである。
ズームイン・アウト判定部15は、後方フレームの占有率が増加(式(1)が真)していれば、現フレームのズームイン・アウト情報45に“2”を加える(ズームインを表す)(S37)。また、式(1)が偽の場合は、次式に基づき、現フレームの占有率に比べて後方フレームの占有率が減少しているか否かを判定する(S38)。
Rp×(1 - k) > Rb …(2)
ズームイン・アウト判定部15は、後方フレームの占有率が減少(式(2)が真)していれば、現フレームに対応するズームイン・アウト情報45に“4”を加える(ズームアウトを表す)(S39)。また、式(2)が偽の場合は、現フレームのズームイン・アウト情報45を変更しない(ズームイン・アウトなしを表す)。そして、ズームイン・アウト判定部15は、変数Rpに変数Rbの占有率を設定し(S40)、処理をステップS33に戻す。
このようにして、ズームイン・アウト判定部15は、ズームイン・アウト情報45に“1”または“2”が設定されたフレーム画像のズームイン・アウト情報45を更新する。
図7はズームイン・アウトを説明する図である。
図7において、フレーム画像の集合71において、フレーム画像72、73、74はズームイン・アウト情報45に“1”または“2”が設定されたフレーム画像である。フレーム画像72の占有率に対してフレーム画像73の占有率は増加しているからフレーム画像72のズームイン・アウト情報45には“3”または“4”が設定される。同様に、フレーム画像73の占有率に対してフレーム画像74の占有率は増加しているからフレーム画像73のズームイン・アウト情報45には“3”または“4”が設定される。ズームイン・アウト判定後のズームイン・アウト情報45が示す情報は次のとおりである。
─┬──────────┬─────────
値│ フレーム │ズームイン・アウト
─┼──────────┼─────────
0│未設定(初期値) │
1│新規の注目領域の設定│サイズ変化なし
2│注目領域の設定 │サイズ変化なし
3│新規の注目領域の設定│ズームイン
4│注目領域の設定 │ズームイン
5│新規の注目領域の設定│ズームアウト
6│注目領域の設定 │ズームアウト
7│未定義(非設定) │
─┴──────────┴─────────
●色処理設定部
図8は色処理設定部16の処理を説明するフローチャートである。
色処理設定部16は、フレーム情報テーブル41の先頭からズームイン・アウト情報45に“0”(未設定)以外がセットされたフレーム(以下、注目領域設定フレーム)を探索する(S51)。そして、ズームイン・アウト情報45が未設定のフレームに対応する、フレーム情報テーブル41のカラーマッチング処理フラグ46に‘0’(注目点を用いないカラーマッチングを表す)を設定し(S52)、探索(S51)を継続する。勿論、注目領域設定フレームが探索されずに最終フレームに達した場合は処理を終了する。
図9はカラーマッチング処理の選択閾値が記述されたテーブルの一例を示す図である。
色処理設定部16は、注目領域設定フレームが探索されると、当該フレーム(以下、現フレーム)に設定された占有率Roと、ズームイン・アウト情報に対応する選択閾値Rthを図9に示すテーブルから取得する(S53)。
図9はズームインの場合と、ズームアウトの場合の選択閾値を示すが、もし、ズームイン・アウト情報が「サイズ変化なし」を示す場合は、直前の注目領域設定フレームと同じ選択閾値を用いる。また、もし、現フレームが最初の注目領域設定フレームであり、直前の注目領域設定フレームが存在せず、かつ、ズームイン・アウト情報が「サイズ変化なし」を示す場合は、例えば、ズームイン用の選択閾値を用いる。
次に、色処理設定部16は、現フレームの占有率Roと選択閾値Rthを比較してRo>Rthならばカラーマッチング処理フラグ46に‘1’(注目点を用いるカラーマッチングを表す)を設定する。また、Ro≦Rthならばカラーマッチング処理フラグ46に‘0’を設定する(S54)。そして、現フレーム以降のフレーム情報テーブル41を探索して、次の注目領域設定フレーム(以下、後方フレーム)を探索し(S55)、後方フレームが探索されずに最終フレームに達した場合は処理を終了する。
色処理設定部16は、ズームイン・アウト情報45が“2”“4”または“6”の後方フレームが探索されると(S55、S56)、未設定フレームのズームイン・アウト情報45に現フレームのズームイン・アウト情報と同じ値を設定する(S57)。未設定フレームとは、現フレームの次のフレームから後方フレームの前のフレームまでの、ズームイン・アウト情報45などが未設定のフレームのことである。そして、未設定フレームの占有率と注目点を予測し、予測した占有率と注目点を当該フレームの占有率43と注目点44に設定する(S58)。
占有率の予測は、例えば、現フレームの占有率から後方フレームの占有率の範囲を、未設定フレームの数+1に均等分割し、その分割点の値を占有率にすればよい。注目点の予測は、例えば、画面上で、現フレームの注目点から後方フレームの注目点を結ぶ線分を、未設定フレームの数+1に均等分割し、その分割点を注目点にすればよい。
次に、色処理設定部16は、ステップS53、S54と同様の手順によって、未設定フレームと後方フレームのカラーマッチング処理フラグ46を設定する(S59)。
また、色処理設定部16は、ズームイン・アウト情報45が“1”“3”または“5”の後方フレームが探索されると(S55、S56)、上記と同様の手順により、後方フレームのカラーマッチング処理フラグ46を設定する(S60)。また、注目オブジェクトが変更されるので、未設定フレームのカラーマッチング処理フラグ46に‘0’に設定する(S61)。
次に、色処理設定部16は、後方フレームを現フレームにして(S62)、処理をステップS54に戻す。
以上の処理によって、注目領域が設定されたフレームとその間のフレームのカラーマッチング処理に必要な情報が設定される。ただし、注目領域が設定される前、注目領域が変更される間、注目領域の設定が終了した後(最後の注目領域設定フレームから最終フレームの間)のフレームには注目点を用いないカラーマッチング処理が設定される。
なお、図9にはズームイン、ズームアウトとも三種類の選択閾値が示すが、図示しないGUIによって注目領域のカテゴリが指定された場合に「人物(全身)」や「人物(顔)」に対応する選択閾値を用いる。とくに、カテゴリが指定されない場合は汎用値を用いればよい。
●色処理部
図10は色処理部17によるフレームごとの処理を説明するフローチャートである。
色処理部17は、フレーム情報テーブル41を参照して、フレーム単位にカラーマッチング処理を行う。まず、現フレームのカラーマッチング処理フラグ46を判定して(S71)、同フラグが‘0’の場合は注目点を用いないカラーマッチング処理を現フレームのフレーム画像に施す(S72)。また、カラーマッチング処理フラグ46が‘1’の場合は、注目点を用いるカラーマッチング処理を行うために、現フレームに設定された注目点を取得し(S73)、取得した注目点を用いたカラーマッチング処理を現フレームのフレーム画像に施す(S74)。
図11は注目点について説明する図で、CIECAM02の規定からの引用した図である。注目点(×印)を中心点として円を描き、視野角10度の円領域を背景と呼ぶ。カラーマッチング処理の一部であるカラーアピアランス処理において、背景の輝度を背景輝度として利用する(注目点を用いるカラーマッチング処理)。一方、背景輝度が得られない場合は、汎用値として白色輝度値の20%値を背景輝度に設定する(注目点を用いないカラーマッチング処理)。
iCAMにおいては、周囲の環境係数を算出する際、注目点から10度視野相当の領域を切り出し、輝度に対するローパスフィルタ処理を施してカラーアピアランス処理に使用する背景輝度を算出する。この切り出す領域を注目領域にしてもよい。その場合、フレーム情報テーブル41に注目領域の座標を示す値を記録し、未設定フレームの注目領域を予測する。このiCAMにおける背景輝度は、カラーマッチング処理以外にも、HDR画像の解像度を落してカラーマッチング処理する際に注目オブジェクトに最適化した処理として利用可能である。
このように、注目点の存在するシーンにおいては、注目点を利用してより良いカラーマッチングをユーザに提供することができる。また、注目点が存在しない処理との切り替えタイミングを観察者の目の動きに一致させることで、動画観察に最適なカラーマッチング処理を提供することを可能になる。
[他の実施例]
なお、本発明は、複数の機器(例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置、制御装置など)に適用してもよい。
また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(CPUやMPU)が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記憶媒体は本発明を構成する。
また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。
色処理を実行する画像処理装置の構成例を示すブロック図、 実施例の色処理を実行する場合の画像処理装置の機能構成例を示すブロック図、 フレーム画像の情報を記録するフレーム情報テーブルを説明する図、 UI部が提供するGUIの一例を示す図、 占有率を説明する図、 ズームイン・アウト判定を説明するフローチャート、 ズームイン・アウトを説明する図、 カラーマッチング処理部の処理を説明するフローチャート、 カラーマッチング処理の選択閾値が記述されたテーブルの一例を示す図、 色処理部によるフレームごとの処理を説明するフローチャート、 注目点について説明する図である。

Claims (9)

  1. 動画像のフレーム画像に注目領域を設定する領域の設定手段と、
    前記注目領域が設定されたフレーム画像において、前記注目領域が前記フレーム画像の全体に占める占有率を計算する計算手段と、
    前記注目領域が設定された複数のフレーム画像それぞれの前記占有率に基づき、前記占有率の時間軸方向の増減を判定する判定手段と、
    前記占有率と前記判定の結果に基づき、前記フレーム画像ごとに色処理方法を設定する処理方法の設定手段と、
    前記フレーム画像に設定された色処理方法によって、前記フレーム画像を色処理する処理手段とを有することを特徴とする色処理装置。
  2. 前記処理方法の設定手段は、前記注目領域に応じたカラーアピアランス処理を行う色処理方法、または、前記フレーム画像の全体に応じたカラーアピアランス処理を行う色処理方法を設定することを特徴とする請求項1に記載された色処理装置。
  3. 前記処理方法の設定手段は、前記判定の結果に対応する閾値と前記占有率を比較した結果に基づき、前記色処理方法を設定することを特徴とする請求項1に記載された色処理装置。
  4. 前記処理手段は、前記注目領域に応じた色変換を行う色処理方法をする場合、前記注目領域の中心点を視野の中心とするカラーアピアランス処理を行うことを特徴とする請求項2に記載された色処理装置。
  5. 前記処理手段は、前記注目領域に応じた色変換を行う色処理方法をする場合、前記注目領域から算出した背景輝度を用いるカラーアピアランス処理を行うことを特徴とする請求項2に記載された色処理装置。
  6. さらに、前記注目領域が設定された複数のフレーム画像それぞれの前記占有率に基づき、前記複数のフレーム画像の間に存在するフレーム画像における占有率を予測する予測手段を有することを特徴とする請求項1から請求項5の何れか一項に記載された色処理装置。
  7. さらに、前記注目領域が設定された複数のフレーム画像それぞれの前記注目領域に基づき、前記複数のフレーム画像の間に存在するフレーム画像における注目領域を予測する予測手段を有することを特徴とする請求項1から請求項5の何れか一項に記載された色処理装置。
  8. 第一および第二の設定手段、計算手段、判定手段、処理手段を有する色処理装置の色処理方法であって、
    前記第一の設定手段が、動画像のフレーム画像に注目領域を設定し、
    前記計算手段が、前記注目領域が設定されたフレーム画像において、前記注目領域が前記フレーム画像の全体に占める占有率を計算し、
    前記判定手段が、前記注目領域が設定された複数のフレーム画像それぞれの前記占有率に基づき、前記占有率の時間軸方向の増減を判定し、
    前記第二の設定手段が、前記占有率と前記判定の結果に基づき、前記フレーム画像ごとに色処理方法を設定し、
    前記処理手段が、前記フレーム画像に設定された色処理方法によって、前記フレーム画像を色処理することを特徴とする色処理方法。
  9. コンピュータを請求項1から請求項7の何れか一項に記載された色処理装置の各手段として機能させることを特徴とするプログラム。
JP2007306307A 2007-11-27 2007-11-27 色処理装置およびその方法 Expired - Fee Related JP4876058B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007306307A JP4876058B2 (ja) 2007-11-27 2007-11-27 色処理装置およびその方法
US12/324,014 US8280154B2 (en) 2007-11-27 2008-11-26 Color processing apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007306307A JP4876058B2 (ja) 2007-11-27 2007-11-27 色処理装置およびその方法

Publications (3)

Publication Number Publication Date
JP2009129362A JP2009129362A (ja) 2009-06-11
JP2009129362A5 JP2009129362A5 (ja) 2011-01-13
JP4876058B2 true JP4876058B2 (ja) 2012-02-15

Family

ID=40669766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007306307A Expired - Fee Related JP4876058B2 (ja) 2007-11-27 2007-11-27 色処理装置およびその方法

Country Status (2)

Country Link
US (1) US8280154B2 (ja)
JP (1) JP4876058B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5803381B2 (ja) * 2011-07-26 2015-11-04 ブラザー工業株式会社 印刷装置,プログラムおよび印刷システム
US9715862B2 (en) * 2014-03-28 2017-07-25 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
KR20160032586A (ko) * 2014-09-16 2016-03-24 삼성전자주식회사 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
KR102424519B1 (ko) * 2018-01-04 2022-07-26 삼성전자 주식회사 디스플레이장치 및 그 제어방법
WO2021077078A1 (en) * 2019-10-18 2021-04-22 Looking Glass Factory, Inc. System and method for lightfield capture
US11388388B2 (en) 2020-12-01 2022-07-12 Looking Glass Factory, Inc. System and method for processing three dimensional images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4274400B2 (ja) * 2000-05-12 2009-06-03 富士フイルム株式会社 画像の位置合わせ方法および装置
JP2002077660A (ja) * 2000-09-05 2002-03-15 Matsushita Electric Ind Co Ltd 画像処理装置
US6980692B2 (en) * 2001-09-20 2005-12-27 International Business Machines Corporation Method and apparatus for dynamic thresholding of grayscale images to delineate image attributes
JP2005210526A (ja) * 2004-01-23 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム

Also Published As

Publication number Publication date
JP2009129362A (ja) 2009-06-11
US20090136126A1 (en) 2009-05-28
US8280154B2 (en) 2012-10-02

Similar Documents

Publication Publication Date Title
US8963951B2 (en) Image processing apparatus, moving-image playing apparatus, and processing method and program therefor to allow browsing of a sequence of images
JP4876058B2 (ja) 色処理装置およびその方法
US8620138B2 (en) Reproducing apparatus and reproducing method
JP5525201B2 (ja) 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
US20070200936A1 (en) Apparatus, method, and program for controlling moving images
US10531040B2 (en) Information processing device and information processing method to improve image quality on a large screen
TWI592903B (zh) Image processing device, image processing method and program
JP6493855B2 (ja) 画像処理装置及び画像処理方法
JP5116513B2 (ja) 画像表示装置及びその制御方法
US20140146086A1 (en) Image output apparatus, image output method, and program
JP2008147718A (ja) 画像処理方法およびその装置
JP4767635B2 (ja) 画像評価装置および方法並びにプログラム
US10715732B2 (en) Transmission apparatus, setting apparatus, transmission method, reception method, and storage medium
US20110274407A1 (en) Moving image reproducing apparatus and control method therefor, and storage medium
JP2019129466A (ja) 映像表示装置
JP2001339695A (ja) 画像信号処理装置及び画像信号処理方法
JP2004166131A (ja) 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP2008263657A (ja) 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP5058622B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2020127148A (ja) 情報処理装置及びその制御方法及びプログラム
JP7188440B2 (ja) 画像処理装置、画像処理方法及び記録媒体
JP2012165321A (ja) 画像処理装置、表示装置及び画像処理方法
JP5886075B2 (ja) 画像処理装置及びプログラム
JP2023168073A (ja) 画像処理装置および画像処理方法
CN116320729A (zh) 图像处理方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111031

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111128

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4876058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees