JP2004072758A - Color processing apparatus, color processing method, and color processing program - Google Patents

Color processing apparatus, color processing method, and color processing program Download PDF

Info

Publication number
JP2004072758A
JP2004072758A JP2003277674A JP2003277674A JP2004072758A JP 2004072758 A JP2004072758 A JP 2004072758A JP 2003277674 A JP2003277674 A JP 2003277674A JP 2003277674 A JP2003277674 A JP 2003277674A JP 2004072758 A JP2004072758 A JP 2004072758A
Authority
JP
Japan
Prior art keywords
color
color conversion
conversion coefficient
condition
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003277674A
Other languages
Japanese (ja)
Other versions
JP4221584B2 (en
Inventor
Yasuki Yamauchi
山内 泰樹
Jiyungo Harigai
針貝 潤吾
Hiroaki Ikegami
池上 博章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2003277674A priority Critical patent/JP4221584B2/en
Publication of JP2004072758A publication Critical patent/JP2004072758A/en
Application granted granted Critical
Publication of JP4221584B2 publication Critical patent/JP4221584B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Digital Computer Display Output (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a color processing apparatus in which original colors of an input image are faithfully reproduced in a set working environment on a display device. <P>SOLUTION: A peripheral condition recognizing part 2 recognizes a set condition associated with a display area (a frame or the outside of the display area) around an area to display an input image 1. Besides, a display device setting color temperature acquiring part 3 detects a set color temperature of a display device 7. A peripheral condition correcting color conversion coefficient determining part 5 receives outputs from the peripheral condition recognizing part 2 and the display device setting color temperature acquiring part 3 and when the input image 1 is displayed on the display device 7, a change in looks of colors on the conditions of peripheral parts is predicted. In a peripheral condition correcting color converting part 6, a color conversion coefficient to be used for color processing is extracted from a peripheral condition correcting color conversion coefficient storage part 4 and dispatched to the peripheral condition correcting color converting part 6, and the input image 1 is displayed on the display device 7 after applying color processing thereto. <P>COPYRIGHT: (C)2004,JPO

Description

 本発明は、画像処理のうち、特に色処理に関するものであり、例えば入力画像を可視化する際に観察条件に応じた画像信号への色変換を行う処理に関するものである。 {Circle over (1)} The present invention particularly relates to color processing among image processing, and for example, relates to processing for performing color conversion into image signals according to observation conditions when visualizing an input image.

 DTP(Desktop Publishing)システムでは、通常、CRT(Cathode Ray Tube)などのディスプレイ上で画像の作成・編集を行い、最終的なドキュメントをハードコピーの形で出力している。このようなシステムにおいては、画像の作成・編集を行うディスプレイと、最終的なドキュメントを出力するプリンタのように、異なるデバイスを用いることになる。このとき、それぞれのデバイスの特性が異なるため、ディスプレイ等の表示装置に表示された画像と、プリンタ等の出力装置から出力された画像の色が異なってしまうという問題が発生していた。 In a DTP (Desktop Publishing) system, usually, an image is created and edited on a display such as a CRT (Cathode Ray な ど Tube) and a final document is output in the form of a hard copy. In such a system, different devices are used, such as a display for creating / editing an image and a printer for outputting a final document. At this time, since the characteristics of each device are different, there has been a problem that the color of an image displayed on a display device such as a display is different from the color of an image output from an output device such as a printer.

 このようなデバイス間の色の違いを防ぎ、各デバイスの色を統一的に管理するために、CMS(Color Management System)が導入されてきた。とりわけ、ICC(International Color Consortium)で制定されているプロファイル形式による色管理は、事実上の標準になっている。 CMS (Color Management System) has been introduced to prevent such color differences between devices and to uniformly manage the colors of each device. In particular, the color management using the profile format defined by the International Color Consortium (ICC) has become a de facto standard.

 図7は、ICCで提案されている従来の色管理方法の一例の説明図である。図中、101は入力色変換部、102は入力デバイスプロファイル、103は色温度変換部、104は色の見えモデル、105は出力色変換部、106は出力デバイスプロファイルである。システム内ではデバイスに依存しない色空間(Device Independent Color)に変換されて色管理される。この時の色空間としては、CIE1931XYZ色度やCIE1976L* * * 均等色空間などが用いられる。入力色変換部101では、このような入力側の色空間からシステム内で用いるデバイスに依存しない色空間への変換を行うとともに、入力装置の特性の影響を排除するため入力デバイスプロファイル102を用いて色変換を行う。なお、入力される画像が既に入力装置の特性を排除したものである場合には、入力デバイスプロファイル102を用いた色変換処理は不要である。また、入力された画像がデバイスに依存しない色空間の画像である場合には、色空間の変換も不要である。 FIG. 7 is an explanatory diagram of an example of a conventional color management method proposed by the ICC. In the figure, 101 is an input color conversion unit, 102 is an input device profile, 103 is a color temperature conversion unit, 104 is a color appearance model, 105 is an output color conversion unit, and 106 is an output device profile. In the system, the color space is converted to a device-independent color space (Device Independent Color) and color managed. As the color space at this time, CIE1931XYZ chromaticity, CIE1976L * a * b * uniform color space, or the like is used. The input color conversion unit 101 performs conversion from such an input-side color space to a device-independent color space used in the system, and uses an input device profile 102 to eliminate the influence of the characteristics of the input device. Perform color conversion. Note that if the input image already excludes the characteristics of the input device, the color conversion processing using the input device profile 102 is unnecessary. If the input image is an image in a device-independent color space, color space conversion is not required.

 次に、色温度変換部103では、色の見えモデル104を用いて、出力デバイスが設定もしくは想定している色温度へ変換する。このときの色の見えモデルとしては、von KriesやHuntらの提案したモデルが有名であるが、近年ではこれらのモデルの特徴を生かしたCIECAM97sが提案されている。 Next, the color temperature conversion unit 103 uses the color appearance model 104 to convert the color temperature to the color temperature set or assumed by the output device. As the color appearance model at this time, models proposed by von @ Kries and Hunt et al. Are well-known, but in recent years, CIECAM97s which makes use of the features of these models has been proposed.

 次いで、出力色変換部105において、ICCで定められた出力デバイスプロファイル106に格納された色変換係数を用いて、出力デバイスに固有の色空間に変換される。 Next, the output color conversion unit 105 uses the color conversion coefficients stored in the output device profile 106 defined by the ICC to convert the color space into a color space unique to the output device.

 例えば表示装置に画像を表示する場合を考えると、表示装置がユーザによる色温度の調整ができない普通のタイプであるなら、9300K前後の色温度になっていることがほとんどである。また、電子原稿などの入力画像が想定する色温度はD50やD65の常用光源であることが多い。仮に入力画像がD50の色温度を持っているなら、色の見えモデルを用いて色温度変換部103で入力画像をD50から9300Kの色温度に変換する。このあと、出力色変換部105にて表示装置固有の色空間に変換して、表示装置上に表示する。 For example, when an image is displayed on a display device, if the display device is a normal type in which the color temperature cannot be adjusted by the user, the color temperature is mostly around 9300K. The color temperature assumed for an input image such as an electronic document is often a common light source of D50 or D65. If the input image has a color temperature of D50, the color temperature conversion unit 103 converts the input image from D50 to a color temperature of 9300K using a color appearance model. Thereafter, the output color conversion unit 105 converts the color space into a color space unique to the display device and displays the color space on the display device.

 また、反射型の出力装置はD50照明下を想定して出力される場合が多い。そのため、入力画像の色温度がD50であるなら、そのまま出力デバイスプロファイル106中の色変換係数を用いて出力色変換部105で反射型の出力装置固有の色空間に変換する。また、入力画像の設定色温度がD65なら、色の見えモデル104を用いて色温度変換部103で一度D50に変換してから、その後に出力デバイスプロファイル106中の色変換係数を用いて出力色変換部105で反射型の出力装置固有の色空間へと変換する。 反射 In many cases, the reflection type output device is output under the assumption of D50 illumination. Therefore, if the color temperature of the input image is D50, the input image is directly converted into a color space unique to the reflective output device by the output color conversion unit 105 using the color conversion coefficient in the output device profile 106. If the set color temperature of the input image is D65, the color temperature conversion unit 103 once converts the color to D50 using the color appearance model 104, and then uses the color conversion coefficient in the output device profile 106 to output the color. The conversion unit 105 converts the color space into a color space unique to the reflective output device.

 しかしながら、このような色管理方法では、基準となる白色色温度を個々のデバイスの設定条件に合わせているため、デバイス間で異なる色温度に設定された条件下で同時に比較した場合には色の一致が保証されておらず、色の見えが一致しないという問題がある。また、環境光が変化した場合にも色の一致は保証されない。例えば、D50の照明条件を基準として設定されているとき、D65の照明下では色の見えが一致しない。 However, in such a color management method, the reference white color temperature is matched to the setting conditions of each device. Therefore, when the devices are simultaneously compared under the conditions set to different color temperatures between the devices, the color of the color is not changed. There is a problem that the matching is not guaranteed and the color appearance does not match. In addition, even when the ambient light changes, color matching is not guaranteed. For example, when the lighting condition of D50 is set as a reference, the colors do not match under the lighting of D65.

 このような問題点に対して、例えば特許文献1に提案されているように、環境光などの観察条件を獲得し、さらに入力画像の色温度情報を認識し、それらの情報に応じて色変換処理を行うことによってカラーマッチングを良好に行うことが考えられている。図8は、従来の色処理方法を適用した装置の一例の説明図である。図中、111は入力画像色温度情報認識部、112は色補正変換部、113は出力装置、114は入力画像である。入力画像色温度情報認識部111は、入力画像114の色温度情報を認識し、色補正変換部112に伝える。色補正変換部112では、入力画像色温度情報認識部111で認識された入力画像114の色温度情報に基づいて、入力画像114に対応する記録物や表示画像を観察する光源下で入力画像114の色がほぼ正しく再現されるように色変換を行う。色変換された画像信号をもとに出力装置113で画像を形成し、あるいは表示する。これによって、どのような環境下でも入力画像114の色をほぼ正確に再現することが可能になった。 To solve such a problem, for example, as proposed in Patent Document 1, an observation condition such as ambient light is acquired, color temperature information of an input image is recognized, and color conversion is performed according to the information. It has been considered that color matching can be satisfactorily performed by performing the processing. FIG. 8 is an explanatory diagram of an example of an apparatus to which a conventional color processing method is applied. In the figure, 111 is an input image color temperature information recognition unit, 112 is a color correction conversion unit, 113 is an output device, and 114 is an input image. The input image color temperature information recognition unit 111 recognizes the color temperature information of the input image 114 and transmits the color temperature information to the color correction conversion unit 112. In the color correction conversion unit 112, based on the color temperature information of the input image 114 recognized by the input image color temperature information recognition unit 111, the input image 114 is observed under a light source for observing a recorded matter or a display image corresponding to the input image 114. The color conversion is performed so that the color is almost correctly reproduced. The output device 113 forms or displays an image based on the color-converted image signal. This makes it possible to reproduce the color of the input image 114 almost accurately under any environment.

 しかし、このように環境光のような観察条件や入力画像のもつ色温度情報を用いてカラーマネージメントを行う方法を用いても、画像表示装置の表示条件によっては、色の見えが一致しないということが問題になってきた。確かに、環境光といった観察条件をパラメータとして扱うことにより、表示媒体や観察条件の色温度の違い等をハンドリングすることが可能になった。特に、入力画像がディスプレイの全面に表示されている場合には、ディスプレイの設定白色色温度が異なっていても、同じ色空間上で取り扱い、それらが同じ値になるような処理を行えばよかった。しかしながら、今日のDTPの作業は、現在、ほとんどがパーソナルコンピュータ上においてマルチウィンドウを利用して行われる場合がほとんどである。すなわち、作業の対象である電子情報を表示装置上の一つのウィンドウに割り付けて表示している。その際に、全画面を用いてそのウィンドウを表示している場合もあるが、通常は他のウィンドウや背景、メニューバーなどが混在して表示されている場合が多く、またその電子情報を表示しているウィンドウの枠が同時に表示されていることが多い。 However, even if a method of performing color management using viewing conditions such as ambient light and color temperature information of an input image is used, the color appearance does not match depending on the display conditions of the image display device. Has become a problem. Indeed, by treating viewing conditions such as ambient light as parameters, it has become possible to handle differences in color temperature of display media and viewing conditions. In particular, when the input image is displayed on the entire surface of the display, even if the set white color temperature of the display is different, it is sufficient to handle the same image on the same color space and perform processing to make them the same value. However, most of today's DTP work is currently performed using a multi-window on a personal computer. That is, the electronic information to be worked is allocated to one window on the display device and displayed. At that time, the window may be displayed using the full screen, but usually, other windows, backgrounds, menu bars, etc. are often mixed and displayed, and the electronic information is displayed In many cases, the window frames being displayed are displayed at the same time.

 色処理を所望の画像に対して行った場合、そのウィンドウ内の画像情報は、上述のようにして見えが等しくなるように処理されている。しかし、ウィンドウの枠やウィンドウ外の画像情報や色情報までは必ずしも補正されていない。ウィンドウ枠としては、灰色や白色が用いられることが多い。この時に表示される白色は、ディスプレイとして設定された色温度の白色である。すなわち、9300Kで設定されたようなディスプレイでは、その色温度の白色が表示されることになる。一方で、このような周辺に表示された色が注目色の見えに影響を与えることは「色対比(chromatic contrast)」や「色誘導(chromatic induction)」という現象として知られている。すなわち、単純な色パッチの見えであっても、周辺刺激の有無で色みが変化してしまうというものである。例えば、表示装置の設定色温度が9300Kであり、入力画像がD65であった場合に、表示画像内の白色をD65の色度で表示しても、表示装置上に9300Kの色温度の白色が枠や背景部に表示されていた場合には、それが黄色っぽく見えてしまう。 When color processing is performed on a desired image, the image information in the window is processed so as to have the same appearance as described above. However, the window frame and the image information and color information outside the window are not necessarily corrected. Gray or white is often used as the window frame. The white color displayed at this time is the white color temperature set as the display. That is, on a display set at 9300K, white at that color temperature is displayed. On the other hand, it is known that such a color displayed in the vicinity affects the appearance of the color of interest as a phenomenon called "color contrast" or "color induction". That is, even if a simple color patch appears, the color changes depending on the presence or absence of a peripheral stimulus. For example, when the set color temperature of the display device is 9300K and the input image is D65, even if the white color in the display image is displayed at the chromaticity of D65, the white color having the color temperature of 9300K is displayed on the display device. If it is displayed in a frame or background, it looks yellowish.

 図9は、周囲の画像による色の見えの違いの概念図である。図9では、上述のように異なる色温度の白色枠を付与したときの、色の見えの変化を一定の条件下で実際に測定した結果の例を示している。図中、黒丸が表示画像内の白色(D65)の色度を示し、黒三角が白色枠(9300K)の色度を示している。このような場合、黒丸で示した表示画像内の白色の実際の色の見えは、点Aや点Bに示すように、白色枠の影響で色の見えが変化してしまっている。 FIG. 9 is a conceptual diagram of a difference in color appearance between surrounding images. FIG. 9 shows an example of a result of actually measuring a change in color appearance under a certain condition when white frames having different color temperatures are provided as described above. In the figure, a black circle indicates the chromaticity of white (D65) in the display image, and a black triangle indicates the chromaticity of the white frame (9300K). In such a case, the appearance of the actual white color in the display image indicated by the black circle changes as shown by points A and B due to the effect of the white frame.

 また、白色枠が小さい場合を点Aとして示し、白色枠が大きい場合を点Bとして示しており、白色枠の面積が大きくなるに従って色の見えの変化も大きくなることが分かる。なお、白色枠の幅が一定以上になるまでは、枠の存在による色の見えの変化は増大するが、一定以上になるとそれ以上は色の見えの変化は変わらなくなる。また、このような色の見えの変化は、白色ほど顕著である。 {Circle around (1)} The case where the white frame is small is shown as point A, and the case where the white frame is large is shown as point B. It can be seen that the change in color appearance increases as the area of the white frame increases. Note that the change in color appearance due to the presence of the frame increases until the width of the white frame becomes equal to or more than a certain value. However, when the width exceeds the certain value, the change in color appearance does not change any more. Such a change in color appearance is more remarkable in white.

 このように、注目領域以外の情報が期せずして編集対象の色の見えに影響を与えてしまう現象は、色の見えの一致を目指しているカラーマネージメントの精度をさらに改善するためには無視できない問題となる。また、これはディスプレイの全面を用いて編集を行っている場合には生じない問題であり、編集作業を行う条件に依存したものといえる。 As described above, the phenomenon that information other than the attention area unexpectedly affects the appearance of the color to be edited is necessary to further improve the accuracy of color management aiming at matching the appearance of colors. This is a problem that cannot be ignored. This is a problem that does not occur when editing is performed using the entire surface of the display, and can be said to depend on the conditions for performing the editing operation.

 以上のように、これまでに提案されてきたカラーマネージメントの方法では、ディスプレイ上の表示条件の全情報を考慮して色補正処理がなされていなかった。視覚系が色の見えを決定するのに用いている手がかり情報を活用していなかったので、色補正処理において、それらの情報に依存する色の見えの一致具合が低下してしまい、ユーザが意図した色になるまでその調整に多くの時間と労力を要するとともに、従来の予測式を用いた色変換では意図した色が得られないという問題があった。
特開2001−128021号公報
As described above, in the color management methods proposed so far, the color correction processing is not performed in consideration of all information on the display conditions on the display. Since the visual system did not utilize the clue information used to determine the color appearance, the color correction process was less dependent on such information in the color correction process, and the There is a problem that it takes a lot of time and effort to adjust the color until the color becomes a desired color, and that the intended color cannot be obtained by the conventional color conversion using the prediction formula.
JP 2001-128021 A

 本発明は、上述した事情に鑑みてなされたもので、表示装置において、設定された作業環境下で入力画像本来の色を忠実に再現することができる色処理装置及び色処理方法、色処理プログラムを提供することを目的とするものである。 The present invention has been made in view of the above-described circumstances, and a color processing apparatus, a color processing method, and a color processing program capable of faithfully reproducing an original color of an input image in a set work environment on a display device. The purpose is to provide.

 本発明は、入力画像からその入力画像を可視化するための画像信号への変換を行う色処理装置、色処理方法、色処理プログラムにおいて、入力画像を表示する領域の周辺部、例えば表示領域を限定するために表示される枠や、表示領域外の領域の色度情報や面積情報などの表示領域に関する設定条件を認識し、認識された設定条件に従って、入力画像における入力画像の周辺部の条件による色の見えの変化を予測して色変換係数を決定し、決定された色変換係数に基づいて入力画像に色変換処理を施すことを特徴とするものである。 The present invention relates to a color processing device, a color processing method, and a color processing program for converting an input image into an image signal for visualizing the input image. In order to recognize the setting conditions related to the display area, such as the frame displayed to perform, the chromaticity information and the area information of the area outside the display area, according to the recognized setting conditions, the conditions of the peripheral portion of the input image in the input image are used. A color conversion coefficient is determined by predicting a change in color appearance, and a color conversion process is performed on an input image based on the determined color conversion coefficient.

 また本発明は、入力画像からその入力画像を可視化するための画像信号への変換を行う色処理装置、色処理方法、色処理プログラムにおいて、表示領域の周辺部における設定条件をユーザが設定可能とし、ユーザが設定した条件に従って色変換係数を決定し、決定された色変換係数に基づいて入力画像に色変換処理を施すことを特徴とするものである。例えば、周辺条件を含めた画像と周辺条件を伴わない画像とをユーザに提示し、両者の色の見えが略等しくなるような前記設定条件あるいは色の見えが略等しくなるサンプル画像の選択をユーザから受け取るように構成することができる。 The present invention also provides a color processing device, a color processing method, and a color processing program for converting an input image into an image signal for visualizing the input image, wherein a setting condition in a peripheral portion of a display area can be set by a user. A color conversion coefficient is determined in accordance with a condition set by a user, and a color conversion process is performed on an input image based on the determined color conversion coefficient. For example, an image including the peripheral condition and an image without the peripheral condition are presented to the user, and the user selects the setting condition or the sample image in which the color appearance is substantially the same so that the color appearance of the two is substantially equal. It can be configured to receive from

 このように、入力画像を表示する領域の枠や領域外の条件を考慮して色変換処理を行うので、周囲の色による入力画像の見えへの影響を排除し、入力画像本来の色を忠実に再現することが可能となる。 As described above, since the color conversion processing is performed in consideration of the frame of the area displaying the input image and the conditions outside the area, the influence of the surrounding colors on the appearance of the input image is eliminated, and the original color of the input image is faithfully reproduced. Can be reproduced.

 なお、これらの本発明の構成において、さらに、入力画像を表示する表示装置における白色に関する情報を加味して色変換係数を決定することができる。また、色変換係数の決定の際には、予め色変換係数を複数組保持しておいて、認識された設定条件に従って1組の色変換係数を決定するか、あるいは複数組の色変換係数から決定することができる。または、予め表示装置に依存する色変換係数を保持しておき、認識された設定条件に従って色変換係数に対して変換処理を施し、色変換処理時に用いる色変換係数を決定することもできる。さらに、色変換処理に使用すると決定した色変換係数を記憶しておき、後で記憶されている色変換係数を利用した色変換処理を可能とすることものできる。これにより、簡単に前回以前の条件での色変換処理を実行させることができる。 In the configuration of the present invention, the color conversion coefficient can be further determined in consideration of information on white in a display device that displays an input image. In determining the color conversion coefficients, a plurality of sets of the color conversion coefficients are stored in advance, and one set of the color conversion coefficients is determined according to the recognized setting condition, or the plurality of sets of the color conversion coefficients are determined. Can be determined. Alternatively, a color conversion coefficient depending on the display device is held in advance, and a conversion process is performed on the color conversion coefficient in accordance with the recognized setting condition, so that a color conversion coefficient used in the color conversion process can be determined. Further, it is possible to store the color conversion coefficients determined to be used for the color conversion processing, and to enable the color conversion processing using the stored color conversion coefficients later. This makes it possible to easily execute the color conversion processing under the conditions before the previous time.

 本発明によれば、入力画像の周囲の表示条件、例えば入力画像を表示したときの枠や入力画像の表示領域外の画像などの状態を認識し、あるいはユーザが設定し、そのような表示条件に合わせて入力画像に対して色処理を施すので、入力画像として用いられる入力画像等に記述されている色の見えを観察する光源の下で、入力画像の色の見えを表示装置上に忠実に再現することができるという効果がある。 According to the present invention, a display condition around an input image, for example, a state of a frame when the input image is displayed or an image outside a display area of the input image is recognized, or a user sets such a display condition. Color processing is performed on the input image according to the color of the input image, and the color appearance of the input image is faithfully displayed on the display device under a light source for observing the color appearance described in the input image used as the input image. There is an effect that can be reproduced.

 図1は、本発明の第1の実施の形態における基本的な構成を示すブロック図である。図中、1は入力画像、2は周辺条件認識部、3は表示装置設定色温度取得部、4は周辺条件補正用色変換係数記憶部、5は周辺条件補正色変換係数決定部、6は周辺条件補正色変換部、7は表示装置である。周辺条件認識部2は、入力画像1を表示する領域の周辺部の表示領域に関する設定条件を認識し、周辺条件補正色変換係数決定部5へ出力する。認識する設定条件としては、例えば入力画像1を表示する領域を限定するために表示される枠に関する色度情報と面積情報などとすることができる。あるいは、入力画像1の表示領域外の領域の色度情報及び面積情報を認識するように構成してもよい。 FIG. 1 is a block diagram showing a basic configuration according to the first embodiment of the present invention. In the figure, 1 is an input image, 2 is a peripheral condition recognition unit, 3 is a display device setting color temperature acquisition unit, 4 is a peripheral condition correction color conversion coefficient storage unit, 5 is a peripheral condition correction color conversion coefficient determination unit, and 6 is The peripheral condition correction color conversion unit 7 is a display device. The peripheral condition recognizing unit 2 recognizes a setting condition relating to a display area in a peripheral portion of the area where the input image 1 is displayed, and outputs the setting condition to the peripheral condition corrected color conversion coefficient determining unit 5. The setting condition for recognition may be, for example, chromaticity information and area information on a frame displayed for limiting an area where the input image 1 is displayed. Alternatively, the chromaticity information and the area information of an area outside the display area of the input image 1 may be recognized.

 表示装置設定色温度取得部3は、表示装置がどのような色温度で設定されているか(例えば白色表示時など)を検出し、その情報を周辺条件補正色変換係数決定部5へ出力するとともに、色変換部2へもその情報を出力する。 The display device setting color temperature acquisition unit 3 detects what color temperature the display device is set to (for example, when displaying white), and outputs the information to the peripheral condition correction color conversion coefficient determination unit 5. , And also outputs the information to the color conversion unit 2.

 周辺条件補正用色変換係数記憶部4には、周辺条件補正色変換部6において色処理を行う際に用いる色変換係数が複数組保持されている。周辺条件補正色変換係数決定部5は、周辺条件認識部2と表示装置設定色温度取得部3からの出力を受けて、入力画像1が表示装置7に表示されたとき、その周辺部の条件による色の見えの変化を予測し、周辺条件補正色変換部6において色処理を行う際に用いる色変換係数を決定する。色変換係数の決定は、周辺条件認識部2と表示装置設定色温度取得部3からの出力から、周辺条件補正用色変換係数記憶部4に保持されている色変換係数のうちの1組を選択することによって行うことができる。または、複数組の色変換係数を選択し、それらの色変換係数から周辺条件補正色変換部6で用いる色変換係数を生成してもよい。あるいは、入力画像を表示する表示装置に依存する基本的な色変換係数を周辺条件補正用色変換係数記憶部4に記憶させておき、その色変換係数に対して周辺条件認識部2と表示装置設定色温度取得部3からの出力に基づいて変換処理を施し、変換処理後の色変換係数を周辺条件補正色変換部6に出力するようにしてもよい。 The peripheral condition correction color conversion coefficient storage unit 4 stores a plurality of sets of color conversion coefficients used when the peripheral condition correction color conversion unit 6 performs color processing. The peripheral condition correction color conversion coefficient determining unit 5 receives the outputs from the peripheral condition recognizing unit 2 and the display device setting color temperature acquiring unit 3, and when the input image 1 is displayed on the display device 7, the peripheral condition , A change in color appearance is predicted, and a color conversion coefficient used in performing color processing in the peripheral condition correction color conversion unit 6 is determined. To determine the color conversion coefficient, one set of the color conversion coefficients stored in the peripheral condition correction color conversion coefficient storage unit 4 is obtained from the outputs from the peripheral condition recognition unit 2 and the display device setting color temperature acquisition unit 3. You can do that by making a selection. Alternatively, a plurality of sets of color conversion coefficients may be selected, and a color conversion coefficient used in the peripheral condition correction color conversion unit 6 may be generated from those color conversion coefficients. Alternatively, a basic color conversion coefficient depending on a display device that displays an input image is stored in the peripheral condition correction color conversion coefficient storage unit 4, and the peripheral condition recognition unit 2 and the display device A conversion process may be performed based on the output from the set color temperature acquisition unit 3, and the color conversion coefficient after the conversion process may be output to the peripheral condition correction color conversion unit 6.

 周辺条件補正色変換部6は、周辺条件補正色変換係数決定部5から出力される色変換係数を受け取り、その色変換係数に基づいて入力画像1に対して色変換処理を施す。そして表示装置7に対して色変換後の画像信号を出力する。上述のように、使用する色変換係数は周辺条件補正色変換係数決定部5において周辺条件認識部2で認識した当該画像周辺の設定条件に従って決定されたものであるので、周辺条件補正色変換部6では周辺条件補正色変換係数決定部5から渡された色変換係数を用いて色変換を行うだけで、画像の周辺条件に起因する色の見えを補正することができる。表示装置7において周辺条件補正色変換部6による色変換処理後の画像信号に基づいて画像を表示すれば、当該画像の周囲の環境によらず、忠実に色再現された画像を得ることができる。 The peripheral condition correction color conversion unit 6 receives the color conversion coefficient output from the peripheral condition correction color conversion coefficient determination unit 5 and performs a color conversion process on the input image 1 based on the color conversion coefficient. Then, the image signal after the color conversion is output to the display device 7. As described above, since the color conversion coefficient to be used is determined by the peripheral condition correction color conversion coefficient determination unit 5 in accordance with the setting condition of the periphery of the image recognized by the peripheral condition recognition unit 2, the peripheral condition correction color conversion unit In 6, the color appearance caused by the peripheral conditions of the image can be corrected only by performing the color conversion using the color conversion coefficients passed from the peripheral condition correction color conversion coefficient determination unit 5. If an image is displayed on the display device 7 based on the image signal after the color conversion processing by the peripheral condition correction color conversion unit 6, it is possible to obtain an image whose color is faithfully reproduced regardless of the surrounding environment of the image. .

 図1に示した例では表示領域の周辺の条件による色変換処理と他の色変換処理と同時に行うように示しているが、例えば表示領域の周辺の条件による色変換処理と他の色変換処理を別々に行うこととしても何ら問題はない。 In the example shown in FIG. 1, the color conversion processing based on the condition around the display area and other color conversion processing are performed simultaneously. However, for example, the color conversion processing based on the condition around the display area and other color conversion processing are performed. There is no problem even if they are performed separately.

 図2は、本発明の第2の実施の形態を含む基本的な構成を示すブロック図である。図中、図1と同様の部分には同じ符号を付して重複する説明を省略する。8は入力画像色温度情報認識部、11は周辺条件対応色変換係数記憶部、12は周辺条件対応色変換係数管理部、13は周辺条件対応色変換部、21は色の見え変換用色変換係数記憶部、22は色域圧縮用色変換係数記憶部、23はデバイス補正用色変換係数記憶部、31は色の見え変換部、32は色域圧縮部、33はデバイス補正部である。図2に示す例では、入力画像の持つ色温度情報に従って色変換係数を作成し、色変換処理を行い、表示装置上に表示された出力画像をその色温度の環境下で観察することを想定している。その際に、画像表示に際しての周辺条件や表示条件に従って画像を表示装置上に忠実に再現するための変換を行うものである。また図2に示した例では、周辺条件による色変換処理を、色の見えの変換や色域圧縮処理、表示装置7の特性に応じたデバイス補正処理などとともに行う例を示している。もちろん、周辺条件による色変換処理としてどのような処理を行うかは任意であるし、周辺条件による色変換処理を他の色変換処理とともに行うような構成でもよい。 FIG. 2 is a block diagram showing a basic configuration including the second embodiment of the present invention. In the figure, the same parts as those in FIG. 1 are denoted by the same reference numerals, and redundant description will be omitted. 8 is an input image color temperature information recognizing unit, 11 is a peripheral condition-compatible color conversion coefficient storage unit, 12 is a peripheral condition-compatible color conversion coefficient management unit, 13 is a peripheral condition-compatible color conversion unit, and 21 is color conversion for color appearance conversion. A coefficient storage unit, 22 is a color conversion coefficient storage unit for color gamut compression, 23 is a color conversion coefficient storage unit for device correction, 31 is a color appearance conversion unit, 32 is a color gamut compression unit, and 33 is a device correction unit. In the example shown in FIG. 2, it is assumed that a color conversion coefficient is created according to the color temperature information of the input image, color conversion processing is performed, and the output image displayed on the display device is observed under the environment of the color temperature. are doing. At that time, conversion for faithfully reproducing the image on the display device is performed according to the peripheral conditions and display conditions for displaying the image. Further, the example shown in FIG. 2 shows an example in which color conversion processing based on peripheral conditions is performed together with color appearance conversion, color gamut compression processing, device correction processing according to the characteristics of the display device 7, and the like. Of course, what kind of processing is performed as the color conversion processing based on the peripheral conditions is arbitrary, and a configuration in which the color conversion processing based on the peripheral conditions is performed together with other color conversion processing may be employed.

 入力画像色温度情報認識部8は、表示装置7上で入力画像1を観察する際の光源の色温度を認識し、取得した入力画像1の色温度情報を周辺条件対応色変換係数管理部12へと渡す。認識方法は任意であるが、例えば入力画像に付与されている色温度情報を取得したり、あるいは、ユーザによる指示を受けるように構成することができる。ここでは入力画像1の色温度情報として三刺激値を取得するものとする。もちろん色温度情報は、色温度名(D50、F8など)でも、CIE1931XYZ色度情報でも、光源の分光特性データでも構わない。また、ディジタルカメラに代表されるレッド、グリーン、ブルーのRGB加法混色系の信号である場合には、その情報を認識して、自動的にsRGBで規定されるD65光源の設定としてもよい。 The input image color temperature information recognizing unit 8 recognizes the color temperature of the light source when observing the input image 1 on the display device 7, and converts the acquired color temperature information of the input image 1 into the peripheral condition correspondence color conversion coefficient management unit 12. Pass to. The recognition method is arbitrary, but for example, it can be configured to acquire color temperature information given to an input image or to receive an instruction from a user. Here, it is assumed that tristimulus values are acquired as color temperature information of the input image 1. Of course, the color temperature information may be a color temperature name (D50, F8, etc.), CIE1931XYZ chromaticity information, or spectral characteristic data of a light source. In the case of a red, green, and blue additive color mixture signal represented by a digital camera, the information may be recognized and the D65 light source defined by sRGB may be automatically set.

 周辺条件認識部2は、ユーザが利用している表示装置7における周辺条件から、入力情報が表示されている領域の周辺条件を認識し、その各種情報を周辺条件対応色変換係数管理部12へ渡す。周辺条件認識部2は、この例では、システムの設定から画像領域を規定する枠の表示の有無や、その設定色情報、面積情報等を抽出するものとする。もしも、ユーザが全画面を用いて入力画像1の編集作業を行っているのであれば、周辺条件認識部2はその情報を周辺条件対応色変換係数管理部12へと渡す。また表示装置設定色温度取得部3は、表示装置7がどのような色温度に設定されているかを示す情報を取得し、それを周辺条件対応色変換係数管理部12へと送出する。 The peripheral condition recognizing unit 2 recognizes the peripheral conditions of the area where the input information is displayed from the peripheral conditions on the display device 7 used by the user, and sends the various types of information to the peripheral condition corresponding color conversion coefficient management unit 12. hand over. In this example, the peripheral condition recognizing unit 2 extracts presence / absence of a frame that defines an image area, setting color information, area information, and the like from system settings. If the user is editing the input image 1 using the entire screen, the peripheral condition recognition unit 2 passes the information to the peripheral condition-compatible color conversion coefficient management unit 12. Further, the display device setting color temperature acquisition unit 3 acquires information indicating what color temperature the display device 7 is set to, and sends it to the peripheral condition correspondence color conversion coefficient management unit 12.

 周辺条件対応色変換係数記憶部11は、周辺条件対応色変換部13の各部で色処理を行う際に用いる色変換係数を記憶している。この例では、周辺条件対応色変換係数記憶部11は、色の見え変換用色変換係数記憶部21、周辺条件補正用色変換係数記憶部4、色域圧縮用色変換係数記憶部22、デバイス補正用色変換係数記憶部23等を有している。 The peripheral condition-compatible color conversion coefficient storage unit 11 stores color conversion coefficients used when each unit of the peripheral condition-compatible color conversion unit 13 performs color processing. In this example, the peripheral condition corresponding color conversion coefficient storage unit 11 includes a color appearance conversion color conversion coefficient storage unit 21, a peripheral condition correction color conversion coefficient storage unit 4, a color gamut compression color conversion coefficient storage unit 22, and a device. It has a correction color conversion coefficient storage unit 23 and the like.

 色の見え変換用色変換係数記憶部21は、周辺条件対応色変換部13内の色の見え変換部31で色の見えの変換処理を行う際に用いる色の見え変換用色変換係数を記憶している。色の見え変換用色変換係数は、環境光の色温度の影響や、画像表示媒体に依存する色の見えの違いを補正するためのものである。表示装置7のような発光体と反射物体のような反射物は、例えばD50光源下やD65光源下では、色度を合わせれば見た目の色もほぼ一致して、あまり違いは目立たない。しかし、一般のオフィスで使われるような4000K前後の色温度の光源下では、色度を一致させても、見えの違いが目立ってくる。入力画像1が特に反射物体を基に作成されたものであるような場合には、見えの一致を図るために色の見え変換が必要になる。こうした色の見えの違いを吸収するため、専用の実験ブースの中で等色実験を行い、そこで得た複数の色について測色値と等色値を求め、色の見え変換用色変換係数を決定する。色の見え変換用色変換係数の形態は、3×3マトリクスや3次元ルックアップテーブル(LUT)等、色の見え変換部31において行う変換方式に合わせればどのような形態でも構わない。また、精度的にやや劣るが、例えば特開平10−65930号公報に開示されているように、こうした等色実験を白色のみに限定し、その他の色は色の見えモデルを利用して予測することによって色の見え変換用色変換係数の決定を行っても構わない。 The color appearance conversion color conversion coefficient storage unit 21 stores a color appearance conversion color conversion coefficient used when the color appearance conversion unit 31 in the peripheral condition compatible color conversion unit 13 performs a color appearance conversion process. are doing. The color conversion coefficient for color appearance conversion is used to correct the influence of the color temperature of ambient light and the difference in color appearance depending on the image display medium. For example, under a D50 light source or a D65 light source, the luminous body such as the display device 7 and the reflective object such as a reflective object have almost the same apparent color if the chromaticity is matched, and the difference is not so noticeable. However, under a light source having a color temperature of about 4000 K, which is used in a general office, even if the chromaticities are matched, the difference in appearance becomes conspicuous. In particular, when the input image 1 is created based on a reflective object, it is necessary to perform color appearance conversion to match appearances. In order to absorb such differences in color appearance, color matching experiments were conducted in a special experiment booth, colorimetric values and color matching values were obtained for the obtained colors, and color conversion coefficients for color appearance conversion were calculated. decide. The form of the color conversion coefficients for color appearance conversion may be any form, such as a 3 × 3 matrix or a three-dimensional lookup table (LUT), as long as it matches the conversion method performed in the color appearance conversion unit 31. Although the accuracy is slightly inferior, for example, as disclosed in Japanese Patent Application Laid-Open No. 10-65930, such color matching experiments are limited to only white, and other colors are predicted using a color appearance model. Thus, the color conversion coefficient for color appearance conversion may be determined.

 周辺条件補正用色変換係数記憶部4は、周辺条件対応色変換部13内の周辺条件補正色変換部6で周辺条件を考慮した変換処理を行う際に用いる周辺条件補正用色変換係数を記憶している。周辺条件補正用色変換係数は、画像領域を規定する枠や背景部に存在する他の色が編集中の画像へ及ぼす影響を補正するためのものである。上述の図9を用いて説明したように、表示画像の周囲の例えば枠の存在の有無やその大きさなどによって、表示画像内の色の見えが変化してしまう。この補正を行う色変換係数が周辺条件補正用色変換係数である。この周辺条件補正用色変換係数の決定は、例えば、あらかじめ実験ブースでの等色実験を行い、そこで得た複数の色についての測色値と等色値を求め、これらを用いて決定することができる。また、この色の見えの違いは白色近傍が顕著であるため、色変換係数の決定の際には、その影響が及ぶ領域として入力画像1の色情報近傍に限定しても構わない。また、枠の幅が一定以上になるまでは、枠の存在による色の見えの変化は増大するが、一定以上になるとそれ以上は色の見えの変化は変わらない。そのため、周辺条件補正用色変換係数は、枠の幅や面積に応じて数組準備しておき、周辺条件に応じて選択することも可能である。 The peripheral condition correction color conversion coefficient storage unit 4 stores the peripheral condition correction color conversion coefficient used when the peripheral condition correction color conversion unit 6 in the peripheral condition compatible color conversion unit 13 performs the conversion process in consideration of the peripheral condition. are doing. The peripheral condition correcting color conversion coefficient is used to correct the effect of another color existing in the frame or background defining the image area on the image being edited. As described with reference to FIG. 9 described above, the appearance of a color in a display image changes depending on, for example, the presence or absence of a frame around the display image and its size. The color conversion coefficient for performing this correction is the peripheral condition correction color conversion coefficient. The determination of the color conversion coefficient for peripheral condition correction is performed, for example, by conducting a color matching experiment in an experimental booth in advance, obtaining colorimetric values and color matching values for a plurality of colors obtained therefrom, and determining them using these. Can be. Further, since the difference in color appearance is remarkable in the vicinity of white, when determining the color conversion coefficient, the area affected by the color conversion coefficient may be limited to the vicinity of the color information of the input image 1. Further, the change in color appearance due to the presence of the frame increases until the width of the frame exceeds a certain value, but the change in color appearance does not change any more when the width exceeds the certain value. Therefore, it is also possible to prepare several sets of color conversion coefficients for peripheral condition correction according to the width and area of the frame, and select them according to the peripheral conditions.

 色域圧縮用色変換係数記憶部22は、周辺条件対応色変換部13内の色域圧縮部32で色域圧縮処理を行う際に用いる色域圧縮用色変換係数を記憶している。色域圧縮用色変換係数は、表示装置7の周囲の環境光が表示装置7の管面上に映り込むことにより、表示装置7の実質的な色域(色再現域)が縮小するため、この再現域に収まらない画像データの値を再現可能な領域にマッピングし直すものである。例えば、特開平10−2313号公報にあるような明度を圧縮する方法を用いて作成することができる。これは、CIEL* * * 色空間上、白色点(空間上で最もL* の高い点)と黒色点(空間上で最もL* の低い点)を、処理したい画像データと出力デバイス(表示装置7)の色再現域で一致させ、それに従ってL* のみを圧縮するものである。この他にも色域圧縮のための方法として様々な方法が提案されており、それらのいずれの方法を使っても構わない。 The color gamut compression color conversion coefficient storage unit 22 stores color gamut compression color conversion coefficients used when the color gamut compression unit 32 in the peripheral condition compatible color conversion unit 13 performs color gamut compression processing. The color conversion coefficient for color gamut compression is such that the substantial color gamut (color gamut) of the display device 7 is reduced by reflecting ambient light around the display device 7 on the tube surface of the display device 7. The value of the image data that does not fall within the reproduction range is re-mapped to a reproducible region. For example, it can be created using a method for compressing brightness as disclosed in Japanese Patent Application Laid-Open No. 10-2313. This is because the white point (the point having the highest L * in the space) and the black point (the point having the lowest L * in the space) in the CIEL * a * b * color space are converted into the image data to be processed and the output device ( The color matching is performed in the color gamut of the display device 7), and only L * is compressed accordingly. In addition, various methods have been proposed as methods for color gamut compression, and any of these methods may be used.

 デバイス補正用色変換係数記憶部23は、周辺条件対応色変換部13内のデバイス補正部33でデバイスに応じた色変換処理を行う際に用いるデバイス補正用色変換係数を記憶している。デバイス補正用色変換係数は、入力画像1が有する色温度情報から算出したCIEL* * * 色空間上のデータをデバイスに依存した色空間R(赤)G(緑)B(青)に変換するためのものである。なお、ここでは、プリンタモデル(ニューラルネット法、統計的な手法等。それぞれ特開平8−2865号公報、特開平10−262157号公報に開示されている方法など)に従って、L* * * とRGBを関係付ける色変換係数をあらかじめ求めておき、デバイス補正用色変換係数記憶部23に3次元ルックアップテーブルの形で記憶しておくこととする。 The device correction color conversion coefficient storage unit 23 stores device correction color conversion coefficients used when the device correction unit 33 in the peripheral condition compatible color conversion unit 13 performs color conversion processing according to the device. The device correction color conversion coefficient is obtained by converting data in the CIEL * a * b * color space calculated from the color temperature information of the input image 1 into a device-dependent color space R (red) G (green) B (blue). It is for conversion. Here, according to the printer model (neural net method, statistical method, etc., the methods disclosed in JP-A-8-2865 and JP-A-10-262157, respectively), L * a * b * is used. A color conversion coefficient that associates RGB with RGB is obtained in advance, and stored in the device correction color conversion coefficient storage unit 23 in the form of a three-dimensional lookup table.

 図3は、3次元ルックアップテーブルの説明図である。3次元ルックアップテーブルは、例えば図3(A)に示すようにL* * * 空間等の色空間を分割したときの格子点の座標に変換先の値を対応づけたものであり、格子点の座標に基づく値アドレスとし、当該アドレスに変換先の値を格納したテーブルである。この場合、格子点については対応する値が存在するが、そのほかの座標値については対応する値を有していない。このように格子点以外の座標の場合には、格子点の内分点としてとらえ、周囲の格子点における変換先の値から例えば補間することによって値を得る。例えば図3(B)に示す座標Qの変換先の値については、周囲8点の格子点Q0〜Q7の変換先の値の荷重和として得ることができる。すなわち、変換後の値をDとして、周囲8点の格子点Q0〜Q7の変換後の値をDi(i=0〜7)とすると、
 D=(1−α)(1−β)(1−γ)D0+(1−α)β(1−γ)D1
  +(1−α)βγD2+(1−α)(1−β)γD3
  +α(1−β)(1−γ)D4+αβ(1−γ)D5
  +αβγD6+α(1−β)γD7
となる。α、β、γは0以上、1以下の値であり、格子点間の内分比である。なお、この例では立方体補間を用いているが、四面体補間、ピラミッド補間、プリズム補間など、様々な方法を適用することができる。こうした3次元ルックアップテーブルを使った色変換方法は例えば特公昭55−016180号公報などに開示されている。
FIG. 3 is an explanatory diagram of a three-dimensional lookup table. The three-dimensional look-up table associates the values of the transformation destination with the coordinates of grid points when a color space such as an L * a * b * space is divided as shown in FIG. 6 is a table in which a value address based on the coordinates of a lattice point is stored and a value to be converted is stored in the address. In this case, the grid point has a corresponding value, but the other coordinate values do not have a corresponding value. As described above, in the case of coordinates other than the lattice points, the coordinates are regarded as the internal dividing points of the lattice points, and the values are obtained by, for example, interpolating from the values of the conversion destinations in the surrounding lattice points. For example, the conversion destination value of the coordinate Q shown in FIG. 3B can be obtained as a load sum of the conversion destination values of the eight surrounding grid points Q0 to Q7. That is, assuming that the converted value is D and the converted values of the eight surrounding grid points Q0 to Q7 are Di (i = 0 to 7),
D = (1-α) (1-β) (1-γ) D0 + (1-α) β (1-γ) D1
+ (1-α) βγD2 + (1-α) (1-β) γD3
+ Α (1-β) (1-γ) D4 + αβ (1-γ) D5
+ ΑβγD6 + α (1-β) γD7
It becomes. α, β, and γ are values of 0 or more and 1 or less, and are internal division ratios between lattice points. Although cubic interpolation is used in this example, various methods such as tetrahedral interpolation, pyramid interpolation, and prism interpolation can be applied. A color conversion method using such a three-dimensional lookup table is disclosed in, for example, Japanese Patent Publication No. 55-016180.

 周辺条件対応色変換係数管理部12は、入力画像色温度情報認識部8から渡される入力画像色温度情報と、周辺条件認識部2から渡される周辺条件情報と、表示装置設定色温度取得部3から渡される表示装置7の色温度設定情報などに基づいて、色の見え変換用色変換係数記憶部21、周辺条件補正用色変換係数記憶部4、色域圧縮用色変換係数記憶部22、デバイス補正用色変換係数記憶部23が記憶している複数の色変換係数の中から適切な色変換係数のセットを選択し、周辺条件対応色変換部13に渡す。なお、この周辺条件対応色変換係数管理部12は、図1に示した第1の実施の形態における周辺条件補正色変換係数決定部5の機能を含んでいるものである。 The peripheral condition corresponding color conversion coefficient management unit 12 includes input image color temperature information passed from the input image color temperature information recognition unit 8, peripheral condition information passed from the peripheral condition recognition unit 2, and a display device setting color temperature acquisition unit 3. , A color conversion coefficient storage unit 21 for color appearance conversion, a color conversion coefficient storage unit 4 for peripheral condition correction, a color conversion coefficient storage unit 22 for color gamut compression, An appropriate set of color conversion coefficients is selected from the plurality of color conversion coefficients stored in the device correction color conversion coefficient storage unit 23, and is passed to the peripheral condition correspondence color conversion unit 13. The peripheral condition-corresponding color conversion coefficient management unit 12 includes the function of the peripheral condition correction color conversion coefficient determination unit 5 in the first embodiment shown in FIG.

 周辺条件対応色変換部13は、周辺条件対応色変換係数管理部12から渡される色変換係数を用いて入力画像1に対して色変換処理を行い、表示装置7に対して出力する。周辺条件対応色変換部13は、色の見え変換部31、周辺条件補正色変換部6、色域圧縮部32、デバイス補正部33などを含んで構成されている。色の見え変換部31、周辺条件補正色変換部6、色域圧縮部32、デバイス補正部33は、それぞれ、周辺条件対応色変換係数管理部12から渡される色変換係数に基づいて各処理を行い、最終的に出力可能な信号に変換して表示装置7に出力する。 The peripheral condition-compatible color conversion unit 13 performs a color conversion process on the input image 1 using the color conversion coefficients passed from the peripheral condition-compatible color conversion coefficient management unit 12, and outputs the result to the display device 7. The peripheral condition compatible color conversion unit 13 includes a color appearance conversion unit 31, a peripheral condition correction color conversion unit 6, a color gamut compression unit 32, a device correction unit 33, and the like. The color appearance conversion unit 31, the peripheral condition correction color conversion unit 6, the color gamut compression unit 32, and the device correction unit 33 perform respective processes based on the color conversion coefficients passed from the peripheral condition corresponding color conversion coefficient management unit 12. Then, the signal is finally converted into a signal that can be output and output to the display device 7.

 なお、この例では周辺条件対応色変換部13は全部で4つの変換手段から構成されているが、周辺条件対応色変換係数記憶部11に記憶されている色変換係数が3次元ルックアップテーブルの場合には、これら各処理で用いる色変換係数を合成した色変換係数を記憶しておき、また周辺条件対応色変換部13をそれに対応した色変換手段だけで構成してもよい。これにより、合計の演算量が減少し、3次元ルックアップテーブルを複数回適用することにより起こる色変換時の誤差を減らすことができるとともに、処理速度を向上させることができる。特に、色の見えの変換である前段2つの色変換を、あらかじめ等色実験を行って1つの色変換係数として求めておくことも可能であるし、環境光が影響を及ぼす色補正処理の色変換係数を合成して求めておき、デバイス補正部33との2段の構成にしても構わない。 In this example, the peripheral condition-compatible color conversion unit 13 is composed of a total of four conversion units. However, the color conversion coefficients stored in the peripheral condition-compatible color conversion coefficient storage unit 11 are stored in the three-dimensional lookup table. In this case, a color conversion coefficient obtained by synthesizing the color conversion coefficients used in each of the processes may be stored, and the peripheral condition-compatible color conversion unit 13 may be configured with only a color conversion unit corresponding to the color conversion coefficient. As a result, the total amount of calculation can be reduced, errors in color conversion caused by applying the three-dimensional lookup table a plurality of times can be reduced, and the processing speed can be improved. In particular, the two color conversions in the first stage, which are conversions of the appearance of colors, can be obtained as one color conversion coefficient by performing color matching experiments in advance, and the color correction in the color correction processing affected by ambient light can be performed. The conversion coefficients may be combined and obtained, and a two-stage configuration with the device correction unit 33 may be adopted.

 次に、本発明の第3の実施の形態について説明する。なお、基本的な構成は図2に示した第2の実施の形態と同様であるので、図示を省略するとともに重複する説明を省略する。この第3の実施の形態が上述の第2の実施の形態と異なるのは、周辺条件認識部2の動作である。 Next, a third embodiment of the present invention will be described. Since the basic configuration is the same as that of the second embodiment shown in FIG. 2, the illustration is omitted and the overlapping description is omitted. The difference between the third embodiment and the second embodiment is the operation of the peripheral condition recognition unit 2.

 すなわち、この第3の実施の形態における周辺条件認識部2は、表示装置7の表示画面上の全情報から、色処理を行っている対象画像情報が表示された画像ウィンドウ以外からの情報を抽出する。その中に、色処理を行っている対象画像情報の色の見えに強く影響を及ぼす色情報がある場合に、その影響量を計算し、その演算結果を周辺条件対応色変換係数管理部12へと渡す。 That is, the peripheral condition recognizing unit 2 according to the third embodiment extracts information from all the information on the display screen of the display device 7 other than the image window in which the target image information on which the color processing is performed is displayed. I do. If there is color information that strongly affects the color appearance of the target image information on which color processing is being performed, the influence amount is calculated, and the calculation result is sent to the peripheral condition-compatible color conversion coefficient management unit 12. Pass.

 例えば、表示装置7に表示されている対象画像情報の画像ウィンドウ以外の背景部分に、その表示装置7の設定色温度で表示された白色が存在する場合、その白色部分の位置情報を抽出し、その面積と、対象画像情報の表示領域までの距離を算出する。それ以外にも、対象画像情報の表示に影響を及ぼす原色等が背景部分に表示されるときには、その原色などの影響を及ぼす色についても色補正を行うように設定を行うことも可能である。なお、表示装置7の設定色温度の情報は、表示装置設定色温度取得部3によって取得することができる。 For example, when a white color displayed at the set color temperature of the display device 7 exists in a background portion other than the image window of the target image information displayed on the display device 7, position information of the white portion is extracted, The area and the distance to the display area of the target image information are calculated. In addition, when a primary color or the like that affects the display of the target image information is displayed in the background portion, a setting can be made so that color correction is performed also on a color that affects the primary color or the like. The information on the set color temperature of the display device 7 can be obtained by the display device set color temperature obtaining unit 3.

 周辺条件対応色変換係数管理部12は、周辺条件認識部2で算出された、対象画像情報に影響する背景部分の色領域(例えば白色領域)の面積情報及び対象画像情報までの距離情報を受け取る。そして、それらの情報から、対象画像情報に影響する背景部分の色領域が、対象画像情報の色の見えに及ぼす影響を計算する。この計算結果に従い、周辺条件補正用色変換係数記憶部4から、あらかじめ等色実験などによって定められた最適な周辺条件補正用色変換係数を取得する。取得した周辺条件補正用色変換係数は周辺条件対応色変換部13に渡され、周辺条件対応色変換部13の周辺条件補正色変換部6において必要な色処理が入力画像1に対して施される。 The peripheral condition corresponding color conversion coefficient management unit 12 receives the area information of the color region (for example, white region) of the background portion affecting the target image information and the distance information to the target image information calculated by the peripheral condition recognition unit 2. . Then, from those pieces of information, the influence of the color area of the background portion affecting the target image information on the color appearance of the target image information is calculated. According to this calculation result, the optimum peripheral condition correction color conversion coefficient determined in advance by color matching experiments or the like is acquired from the peripheral condition correction color conversion coefficient storage unit 4. The acquired color conversion coefficient for peripheral condition correction is passed to the color conversion unit 13 for peripheral condition correction, and necessary color processing is performed on the input image 1 in the color conversion unit 6 for peripheral condition correction in the color conversion unit 13 for peripheral condition correction. You.

 なお、ユーザが表示装置7上の全画面を利用して入力画像情報の編集作業を行っている場合には、周辺条件認識部2はその旨の情報を周辺条件対応色変換係数管理部12に出力すればよい。周辺条件対応色変換係数管理部12では、周辺条件に影響されない色変換係数を選択して周辺条件補正色変換部6に渡し、周辺条件補正色変換部6では、入力画像1に対して周辺の状態についての補正を行うことなく出力すればよい。この場合、他の色変換処理については従来と同様に行うことになる。 If the user edits the input image information using the entire screen on the display device 7, the surrounding condition recognition unit 2 sends the information to that effect to the surrounding condition corresponding color conversion coefficient management unit 12. Just output it. The peripheral condition-compatible color conversion coefficient management unit 12 selects a color conversion coefficient that is not affected by the peripheral condition and passes the selected color conversion coefficient to the peripheral condition correction color conversion unit 6. What is necessary is just to output without correcting about a state. In this case, other color conversion processing is performed in the same manner as in the related art.

 図4は、本発明の第4の実施の形態を含む基本的な構成を示すブロック図である。図中、図2と同様の部分には同じ符号を付して重複する説明を省略する。41はユーザ条件設定部、42は色変換係数条件記憶部である。上述の第1ないし第3の実施の形態では、周辺条件認識部2において入力画像1を表示する領域の周辺部の表示領域に関する設定条件を自動的に認識し、その認識結果に従って、周辺条件補正色変換係数決定部5または周辺条件対応色変換係数管理部12が周辺条件補正用色変換係数記憶部4に記憶されている周辺条件補正用色変換係数やその他の色変換係数を選択した。本発明はこれに限らず、色変換係数の選択をユーザが選択するように構成することもでき、この第4の実施の形態ではそのような構成例を示している。 FIG. 4 is a block diagram showing a basic configuration including a fourth embodiment of the present invention. In the figure, the same parts as those in FIG. 2 are denoted by the same reference numerals, and redundant description is omitted. 41 is a user condition setting unit, and 42 is a color conversion coefficient condition storage unit. In the above-described first to third embodiments, the peripheral condition recognizing unit 2 automatically recognizes the setting condition regarding the display area in the peripheral area of the area where the input image 1 is displayed, and corrects the peripheral condition according to the recognition result. The color conversion coefficient determining unit 5 or the peripheral condition corresponding color conversion coefficient management unit 12 selects the peripheral condition correcting color conversion coefficient and other color conversion coefficients stored in the peripheral condition correcting color conversion coefficient storage unit 4. The present invention is not limited to this, and may be configured so that the user can select the color conversion coefficient. The fourth embodiment shows an example of such a configuration.

 ユーザ条件設定部41は、周辺条件補正用色変換係数記憶部4に記憶されている周辺条件補正用色変換係数やその他の色変換係数をユーザが選択するためのユーザインタフェースを提供する。図5は、ユーザ条件設定部がユーザに提供するユーザインタフェースの一例の説明図である。この例では、表示装置設定色温度取得部3についてもユーザが設定するものとして同じユーザインタフェースにおいて設定可能とした例を示している。最上段の表示装置設定色温度の操作バーが表示装置設定色温度取得部3を設定するためのものである。なお、表示装置の設定色温度を変更する機能が表示装置に備わっていない場合には表示装置設定色温度を固定にすればよく、あるいは設定項目自体を表示しないようにしてもよい。 (4) The user condition setting unit 41 provides a user interface for the user to select the peripheral condition correction color conversion coefficient and other color conversion coefficients stored in the peripheral condition correction color conversion coefficient storage unit 4. FIG. 5 is a diagram illustrating an example of a user interface provided to a user by a user condition setting unit. In this example, an example is shown in which the display device setting color temperature acquisition unit 3 can be set on the same user interface as that set by the user. The operation bar of the display device setting color temperature at the top is for setting the display device setting color temperature acquisition unit 3. If the display device does not have a function of changing the set color temperature of the display device, the display device set color temperature may be fixed, or the setting item itself may not be displayed.

 図5に示した例では、上述の表示装置設定色温度のほか、画像枠表示条件、画像枠幅設定条件、表示色補正量調整の各設定が可能である。画像枠表示条件としては、画像の周囲に枠を表示するか否かを設定する。上述のように、枠が存在する場合、その画像の色の見えに影響する。そのため、枠が存在する場合には、周辺条件補正用の色変換係数を用いることになる。画像枠幅設定条件は、画像の周囲に枠を表示する場合に、その枠の幅を設定する。この枠の幅の設定によって、周辺条件の補正量を調整することができる。さらに表示色補正量調整は、ユーザが意図的に周辺条件の補正量を変更する際に、その補正量を設定することができる。ここでは、補正なしから標準よりも強く補正をかける設定まで、行うことができる。 In the example shown in FIG. 5, in addition to the above-described display device setting color temperature, it is possible to set image frame display conditions, image frame width setting conditions, and display color correction amount adjustment. As the image frame display condition, whether to display a frame around the image is set. As described above, the presence of the frame affects the color appearance of the image. Therefore, when a frame exists, a color conversion coefficient for peripheral condition correction is used. The image frame width setting condition sets the width of the frame when displaying the frame around the image. By setting the width of the frame, the correction amount of the peripheral condition can be adjusted. Further, in the display color correction amount adjustment, when the user intentionally changes the correction amount of the peripheral condition, the correction amount can be set. Here, it is possible to perform from the non-correction to the setting for performing the correction stronger than the standard.

 このほかにも、色相調整機能(黄色みの増減(青み減増)、赤み増減(緑み減増))を設定できるようにしたり、彩度の増加(減少)を設定できるようにしてもよい。また、調整の際の表示や調整の際の操作方法も図5に示した例に限られるものではなく、例えば数値入力などを含め、種々の表示方法や操作方法を適用することができる。 In addition, the hue adjustment function (increase / decrease of yellowishness (decrease / increase of blueness), increase / decrease of redness (decrease / increase of greenness)) may be set, or increase (decrease) of saturation may be set. . Further, the display at the time of adjustment and the operation method at the time of adjustment are not limited to the example shown in FIG. 5, and various display methods and operation methods including, for example, numerical input can be applied.

 このようなユーザインタフェースによってユーザが設定した各値をもとに、周辺条件対応色変換係数管理部12は、周辺条件対応色変換係数記憶部11に複数記憶されている周辺条件補正用色変換係数を含む各種色変換係数から最適な色変換係数を選択し、周辺条件対応色変換部13で色変換を行えばよい。 Based on each value set by the user through such a user interface, the peripheral condition-compatible color conversion coefficient management unit 12 stores the peripheral condition-correcting color conversion coefficients stored in the peripheral condition-compatible color conversion coefficient storage unit 11. The optimal color conversion coefficient may be selected from the various color conversion coefficients including the above, and the color conversion may be performed by the color conversion unit 13 corresponding to the peripheral condition.

 図6は、ユーザ条件設定部がユーザに提供するユーザインタフェースの別の例の説明図である。この例では、簡易的に色の見えがどのようになるかを観察しながら色調整を行うことができるユーザインタフェースの例を示している。この例においては、図6の上部に示した2つの円の環状部分が画像周辺の枠を示し、その中に色票の色を表示する。2つの円のうち、左側は表示条件である枠となる白色の色温度で枠がつけられ、右側にはそのような枠が提示されず,黒枠で覆われている条件を示している。なお、背景は例えばグレーなど、色の見えになるべく影響しない色とすることが望まれる。 FIG. 6 is an explanatory diagram of another example of the user interface provided to the user by the user condition setting unit. In this example, an example of a user interface capable of performing color adjustment while observing how the color looks simply is shown. In this example, the annular portions of the two circles shown in the upper part of FIG. 6 indicate the frame around the image, and the color of the color chart is displayed therein. Of the two circles, the left side shows a condition in which a frame is formed with a white color temperature serving as a display condition, and the right side does not show such a frame but is covered with a black frame. It is desired that the background be a color such as gray that does not affect the appearance of the color as much as possible.

 このような2つの円を表示したとき、それぞれが周辺の枠の色に影響され、同じ色を表示していても異なった色としてユーザに感知されることがある。その場合には、下部の各設定を調整することによって、左右の中心部の色の見えが略等しくなるように色を調整する。調整項目としては、この例では赤み/緑み、黄色み/青み、明るさの3条件を示しており、それぞれ、例えばマウスなどによってスライドバーを移動させ、調整することができる。そして、色の調整が終了したら、「OK」ボタンを操作する。このときの設定を装置内で記憶しておく。 表示 When displaying such two circles, each is affected by the color of the surrounding frame, and even if the same color is displayed, the user may perceive it as a different color. In this case, the colors are adjusted by adjusting the settings at the lower portion so that the colors at the left and right central portions have substantially the same appearance. As the adjustment items, in this example, three conditions of redness / greenness, yellowness / blueness, and brightness are shown, and each of them can be adjusted by moving a slide bar with a mouse or the like. When the color adjustment is completed, the user operates the “OK” button. The settings at this time are stored in the apparatus.

 このような色の調整を、複数色(10〜20色)について行う。そして、それぞれの色における調整量から、例えば最小二乗法などを用いて、周辺条件対応色変換係数管理部12において最適な周辺条件補正用色変換係数を算出し、もしくは既に蓄えられている周辺条件補正用色変換係数の中から最適なものを選択して、他の色変換係数とともに用いて周辺条件対応色変換部13で色変換を行えばよい。 Such color adjustment is performed for a plurality of colors (10 to 20 colors). Then, from the adjustment amounts of the respective colors, the optimal peripheral condition correction color conversion coefficient is calculated in the peripheral condition corresponding color conversion coefficient management unit 12 using, for example, the least square method or the like. The optimum color conversion coefficient may be selected from the correction color conversion coefficients, and the color conversion may be performed by the peripheral condition-compatible color conversion unit 13 together with the other color conversion coefficients.

 なお、図6に示した例では、色の見えを合わせるために円を表示しているが、形状は任意であり、矩形でも、他の形状であってもよい。また、枠の太さや色、明るさなどを設定可能に構成してもよい。また、図5の場合と同様にスライドバー以外にも、種々の操作方式や表示方式を適用することができる。 In the example shown in FIG. 6, a circle is displayed to match the appearance of colors, but the shape is arbitrary, and may be rectangular or another shape. Further, the frame thickness, color, brightness and the like may be settable. Various operation methods and display methods other than the slide bar can be applied as in the case of FIG.

 ここではユーザ条件設定部がユーザに提供するユーザインタフェースの例としては、図5、図6に示した例に限らず、種々のユーザインタフェースを提供することができる。例えばいくつかの色変換を施した色と枠のない場合の色とを表示して、いずれが見えが類似しているかを選択するようにしたり、そのような選択を繰り返してゆき、次第に絞り込んでゆくといった手法も適用可能である。また、上述の第1ないし第3の実施の形態で述べた周辺条件認識部2を用いるか否かを設定可能として、自動的な色変換係数の選択とユーザによる色変換係数の選択が可能なように構成してもよい。 Here, examples of the user interface provided to the user by the user condition setting unit are not limited to the examples shown in FIGS. 5 and 6, and various user interfaces can be provided. For example, it displays some color-converted colors and colors without frames, and selects which one has a similar appearance, and repeats such a selection, gradually narrowing down It is also possible to apply a method such as going forward. In addition, it is possible to set whether or not to use the peripheral condition recognition unit 2 described in the first to third embodiments, so that automatic selection of a color conversion coefficient and selection of a color conversion coefficient by a user are possible. It may be configured as follows.

 図4に戻り、色変換係数条件記憶部42は、周辺条件対応色変換係数管理部12で選択した色変換係数を保存しておくことができる。この場合、例えばユーザIDなどのユーザを特定する情報と対応づけておくことができる。例えば上述のユーザ条件設定部41で設定操作を行った場合に、そのときの操作設定された条件や、その時の条件で選択された周辺条件補正用色変換係数あるいはその他の色変換係数を含めて、色変換係数条件記憶部42に記憶させておく。そして、次回以降では、記憶させておいた内容を呼び出して用いることによって、同じ色変換係数を用いた色変換を簡単に行うことができる。この色変換係数条件記憶部42は、上述の第1ないし第3の実施の形態における構成に付加することも可能である。 Returning to FIG. 4, the color conversion coefficient condition storage unit 42 can store the color conversion coefficients selected by the peripheral condition corresponding color conversion coefficient management unit 12. In this case, it can be associated with information for specifying the user such as a user ID. For example, when a setting operation is performed in the above-described user condition setting unit 41, a condition set at that time, and a peripheral condition correcting color conversion coefficient or other color conversion coefficient selected under the condition at that time are included. Are stored in the color conversion coefficient condition storage unit 42. Then, from the next time on, the stored contents are called up and used, so that the color conversion using the same color conversion coefficient can be easily performed. This color conversion coefficient condition storage unit 42 can be added to the configuration in the above-described first to third embodiments.

 なお、ユーザを特定する情報を付加しておけば、それぞれのユーザごとに1ないし複数の条件や色変換係数などを登録しておき、それぞれのユーザがそれぞれの登録内容を利用することができる。ユーザを特定する情報と対応づけておくほか、例えばそれぞれの登録内容に名前を付与しておいて、その名前で選択し、あるいはさらに検索できるように構成してもよい。 If information for specifying a user is added, one or more conditions, color conversion coefficients, and the like are registered for each user, and each user can use the registered contents. In addition to associating with information for specifying a user, for example, a name may be given to each registered content, and a configuration may be made such that the user can select or further search by that name.

 なお、上述の各実施の形態における各部の機能は、コンピュータプログラムによっても実現することが可能であり、コンピュータに色処理プログラムを実行させることによって上述のような機能を実現することができる。このとき、色処理プログラムは、例えばデバイスドライバに実装してもよいし、OS内のCMM(Color Matching Module)を利用する形態であってもかまわないし、表示装置の画像処理手段の一部として実装してもよい。 The functions of each unit in each of the above embodiments can also be realized by a computer program, and the functions described above can be realized by causing a computer to execute a color processing program. At this time, the color processing program may be implemented in, for example, a device driver, or may be in a form utilizing a CMM (Color Matching Module) in the OS, or may be implemented as a part of the image processing unit of the display device. May be.

 また、このようなコンピュータプログラムや、プログラムが用いるデータ等は、コンピュータが読み取り可能な記憶媒体に記憶させておくことも可能である。記憶媒体にプログラムを格納しておき、例えば本発明の色処理装置として動作させるコンピュータにこれらの記憶媒体を装着することによって、コンピュータからプログラムを読み出し、上述の各実施の形態で説明した機能を実行することができる。もちろん、ネットワークなどを介してプログラムをコンピュータに転送し、実行させてもよい。 こ の In addition, such a computer program, data used by the program, and the like can be stored in a computer-readable storage medium. The program is stored in a storage medium, and the program is read out from the computer by, for example, attaching the storage medium to a computer that operates as the color processing apparatus of the present invention, and executing the functions described in each of the above embodiments. can do. Of course, the program may be transferred to a computer via a network or the like and executed.

本発明の第1の実施の形態における基本的な構成を示すブロック図である。FIG. 2 is a block diagram illustrating a basic configuration according to the first embodiment of the present invention. 本発明の第2の実施の形態を含む基本的な構成を示すブロック図である。It is a block diagram showing a basic configuration including a second embodiment of the present invention. 3次元ルックアップテーブルの説明図である。It is explanatory drawing of a three-dimensional lookup table. 本発明の第4の実施の形態を含む基本的な構成を示すブロック図である。FIG. 14 is a block diagram illustrating a basic configuration including a fourth embodiment of the present invention. ユーザ条件設定部がユーザに提供するユーザインタフェースの一例の説明図である。FIG. 4 is an explanatory diagram of an example of a user interface provided to a user by a user condition setting unit. ユーザ条件設定部がユーザに提供するユーザインタフェースの別の例の説明図である。FIG. 9 is an explanatory diagram of another example of a user interface provided to a user by a user condition setting unit. ICCで提案されている従来の色管理方法の一例の説明図である。FIG. 11 is an explanatory diagram of an example of a conventional color management method proposed by ICC. 従来の色処理方法を適用した装置の一例の説明図である。FIG. 11 is an explanatory diagram of an example of an apparatus to which a conventional color processing method is applied. 周囲の画像による色の見えの違いの概念図である。It is a conceptual diagram of the difference of the color appearance by surrounding images.

符号の説明Explanation of reference numerals

 1…入力画像、2…周辺条件認識部、3…表示装置設定色温度取得部、4…周辺条件補正用色変換係数記憶部、5…周辺条件補正色変換係数決定部、6…周辺条件補正色変換部、7…表示装置、8…入力画像色温度情報認識部、11…周辺条件対応色変換係数記憶部、12…周辺条件対応色変換係数管理部、13…周辺条件対応色変換部、21…色の見え変換用色変換係数記憶部、22…色域圧縮用色変換係数記憶部、23…デバイス補正用色変換係数記憶部、31…色の見え変換部、32…色域圧縮部、33…デバイス補正部、41…ユーザ条件設定部、42…色変換係数条件記憶部。 DESCRIPTION OF SYMBOLS 1 ... Input image, 2 ... Peripheral condition recognition part, 3 ... Display device setting color temperature acquisition part, 4 ... Peripheral condition correction color conversion coefficient storage part, 5 ... Peripheral condition correction color conversion coefficient determination part, 6 ... Peripheral condition correction A color conversion unit, 7: display device, 8: input image color temperature information recognition unit, 11: peripheral condition compatible color conversion coefficient storage unit, 12: peripheral condition compatible color conversion coefficient management unit, 13: peripheral condition compatible color conversion unit, 21: color conversion coefficient storage unit for color appearance conversion, 22: color conversion coefficient storage unit for color gamut compression, 23: color conversion coefficient storage unit for device correction, 31: color appearance conversion unit, 32: color gamut compression unit 33, a device correction unit; 41, a user condition setting unit; 42, a color conversion coefficient condition storage unit.

Claims (36)

 入力画像から該入力画像を可視化するための画像信号への変換を行う色処理装置において、前記入力画像を表示する領域の周辺部の表示領域に関する設定条件を認識する周辺条件認識手段と、前記周辺条件認識手段によって認識された前記設定条件に従い前記入力画像における該入力画像の周辺部の条件による色の見えの変化を予測して色変換係数を決定する色変換係数決定手段と、前記色変換係数決定手段により決定された色変換係数に基づき前記入力画像に色変換処理を施す色変換処理手段を有することを特徴とする色処理装置。 In a color processing device for converting an input image into an image signal for visualizing the input image, a peripheral condition recognizing means for recognizing a setting condition regarding a display area in a peripheral portion of an area displaying the input image; A color conversion coefficient determining unit that predicts a change in color appearance of the input image according to a condition of a peripheral portion of the input image in accordance with the setting condition recognized by the condition recognition unit and determines a color conversion coefficient; A color processing apparatus comprising: a color conversion processing unit that performs a color conversion process on the input image based on the color conversion coefficient determined by the determination unit.  前記周辺条件認識手段は、前記入力画像の表示領域を限定するために表示される枠の色度情報及び面積情報を認識することを特徴とする請求項1に記載の色処理装置。 The color processing apparatus according to claim 1, wherein the peripheral condition recognition unit recognizes chromaticity information and area information of a frame displayed to limit a display area of the input image.  前記周辺条件認識手段は、前記入力画像の表示領域外の領域の色度情報及び面積情報を認識することを特徴とする請求項1に記載の色処理装置。 The color processing apparatus according to claim 1, wherein the peripheral condition recognition unit recognizes chromaticity information and area information of a region outside a display region of the input image.  さらに、前記周辺条件認識手段を利用するか否かを設定可能なユーザ条件設定手段を有することを特徴とする請求項1ないし請求項3のいずれか1項に記載の色処理装置。 4. The color processing apparatus according to claim 1, further comprising a user condition setting unit capable of setting whether to use the peripheral condition recognition unit.  入力画像から該入力画像を可視化するための画像信号への変換を行う色処理装置において、前記入力画像を表示する領域の周辺部の条件による色の見えの変化を補正するための設定条件の入力を受け付けるユーザ条件設定手段と、前記ユーザ条件設定手段で入力された前記設定条件に従い色変換係数を決定する色変換係数決定手段と、前記色変換係数決定手段により決定された色変換係数に基づき前記入力画像に色変換処理を施す色変換処理手段を有することを特徴とする色処理装置。 In a color processing device for converting an input image into an image signal for visualizing the input image, input of a setting condition for correcting a change in color appearance due to a condition of a peripheral portion of an area displaying the input image User condition setting means for receiving, a color conversion coefficient determining means for determining a color conversion coefficient according to the setting condition input by the user condition setting means, and a color conversion coefficient determined by the color conversion coefficient determination means. A color processing device comprising a color conversion processing unit for performing a color conversion process on an input image.  前記ユーザ条件設定手段は、少なくとも周辺条件を含めた画像と周辺条件を伴わない画像とをユーザに提示して両者の色の見えが略等しくなるような前記設定条件をユーザから受け取ることを特徴とする請求項5に記載の色処理装置。 The user condition setting means is characterized in that an image including at least the peripheral condition and an image not including the peripheral condition are presented to the user, and the setting condition is received from the user such that the color appearance of the two becomes substantially equal. The color processing apparatus according to claim 5, wherein  前記ユーザ条件設定手段は、前記周辺条件を含めた画像として複数の色変換係数による変換結果を提示することを特徴とする請求項6に記載の色処理装置。 7. The color processing apparatus according to claim 6, wherein the user condition setting unit presents a conversion result based on a plurality of color conversion coefficients as an image including the peripheral condition.  前記色変換係数決定手段は、前記入力画像を表示する表示装置における白色に関する情報を加味して前記色変換係数を決定することを特徴とする請求項1ないし請求項7のいずれか1項に記載の色処理装置。 8. The color conversion coefficient determination unit according to claim 1, wherein the color conversion coefficient determination unit determines the color conversion coefficient in consideration of information on white in a display device that displays the input image. 9. Color processing equipment.  さらに、色変換係数を複数組保持する周辺条件補正用色変換係数記憶手段を有し、色変換係数決定手段は、前記設定条件に従って前記周辺条件補正用色変換係数記憶手段から1組の色変換係数を決定することを特徴とする請求項1ないし請求項8のいずれか1項に記載の色処理装置。 Further, there is provided a peripheral condition correction color conversion coefficient storage means for holding a plurality of sets of color conversion coefficients, wherein the color conversion coefficient determination means stores one set of color conversion coefficients from the peripheral condition correction color conversion coefficient storage means in accordance with the set condition. 9. The color processing apparatus according to claim 1, wherein the coefficient is determined.  さらに、色変換係数を複数組保持する周辺条件補正用色変換係数記憶手段を有し、色変換係数決定手段は、前記周辺条件認識手段によって認識された前記設定条件に従って前記周辺条件補正用色変換係数記憶手段から複数組の色変換係数を取り出して前記色変換処理手段で用いる色変換係数を決定することを特徴とする請求項1ないし請求項8のいずれか1項に記載の色処理装置。 The apparatus further includes a peripheral condition correction color conversion coefficient storage unit that holds a plurality of sets of color conversion coefficients, wherein the color conversion coefficient determination unit performs the peripheral condition correction color conversion according to the setting condition recognized by the peripheral condition recognition unit. 9. The color processing apparatus according to claim 1, wherein a plurality of sets of color conversion coefficients are taken out from coefficient storage means to determine a color conversion coefficient to be used in the color conversion processing means.  さらに、前記入力画像を表示する表示装置に依存する色変換係数を保持する色変換係数記憶手段を有し、色変換係数決定手段は、前記設定条件に従って前記色変換係数記憶手段に保持されている前記色変換係数に対して変換処理を施し、前記色変換処理手段で用いる色変換係数を決定することを特徴とする請求項1ないし請求項8のいずれか1項に記載の色処理装置。 The image processing apparatus further includes a color conversion coefficient storage unit that stores a color conversion coefficient depending on a display device that displays the input image. The color conversion coefficient determination unit is stored in the color conversion coefficient storage unit according to the setting condition. 9. The color processing apparatus according to claim 1, wherein a conversion process is performed on the color conversion coefficient to determine a color conversion coefficient used by the color conversion processing unit.  さらに、前記色変換係数決定手段で決定した前記色変換係数を記憶する色変換係数記憶手段を有し、前記色変換係数決定手段は、ユーザからの指示に従って前記色変換係数記憶手段が記憶している前記色変換係数を読み出して使用するものと決定することを特徴とする請求項1ないし請求項11のいずれか1項に記載の色処理装置。 Further, the image processing apparatus further includes a color conversion coefficient storage unit that stores the color conversion coefficient determined by the color conversion coefficient determination unit, wherein the color conversion coefficient storage unit stores the color conversion coefficient according to an instruction from a user. The color processing apparatus according to claim 1, wherein the color conversion coefficient is read and determined to be used.  入力画像から該入力画像を可視化するための画像信号への変換を行う色処理方法において、前記入力画像を表示する領域の周辺部の表示領域に関する設定条件を認識し、認識された前記設定条件に従い前記入力画像における該入力画像の周辺部の条件による色の見えの変化を予測して色変換係数を決定し、決定された色変換係数に基づき前記入力画像に色変換処理を施すことを特徴とする色処理方法。 In a color processing method for converting an input image into an image signal for visualizing the input image, a setting condition regarding a display area around a region where the input image is displayed is recognized, and according to the recognized setting condition. A color conversion coefficient is determined by predicting a change in color appearance due to a condition of a peripheral portion of the input image in the input image, and a color conversion process is performed on the input image based on the determined color conversion coefficient. Color processing method.  前記設定条件の認識の際に、前記入力画像の表示領域を限定するために表示される枠の色度情報及び面積情報を認識することを特徴とする請求項13に記載の色処理方法。 14. The color processing method according to claim 13, wherein, at the time of recognizing the setting condition, chromaticity information and area information of a frame displayed for limiting a display area of the input image are recognized.  前記設定条件の認識の際に、前記入力画像の表示領域外の領域の色度情報及び面積情報を認識することを特徴とする請求項13に記載の色処理方法。 14. The color processing method according to claim 13, wherein, when recognizing the setting condition, chromaticity information and area information of an area outside a display area of the input image are recognized.  さらに、前記設定条件の認識を利用するか否かを設定可能としたことを特徴とする請求項13ないし請求項15のいずれか1項に記載の色処理方法。 The color processing method according to any one of claims 13 to 15, wherein whether to use the recognition of the setting condition can be set.  入力画像から該入力画像を可視化するための画像信号への変換を行う色処理方法において、前記入力画像を表示する領域の周辺部の条件による色の見えの変化を補正するための設定条件の入力をユーザから受け取り、受け取った前記設定条件に従い色変換係数を決定し、決定された色変換係数に基づき前記入力画像に色変換処理を施すことを特徴とする色処理方法。 In a color processing method for converting an input image into an image signal for visualizing the input image, inputting a setting condition for correcting a change in color appearance due to a condition of a peripheral portion of an area displaying the input image. A color conversion coefficient is determined in accordance with the received setting condition, and a color conversion process is performed on the input image based on the determined color conversion coefficient.  前記設定条件の入力は、少なくとも周辺条件を含めた画像と周辺条件を伴わない画像とをユーザに提示し、両者の色の見えが略等しくなるような前記設定条件をユーザから受け取ることを特徴とする請求項17に記載の色処理方法。 The input of the setting conditions is characterized in that an image including at least the peripheral condition and an image without the peripheral condition are presented to the user, and the setting condition is received from the user such that the appearance of both colors is substantially equal. 18. The color processing method according to claim 17, wherein:  前記設定条件の入力時には、前記周辺条件を含めた画像として複数の色変換係数による変換結果をユーザに提示することを特徴とする請求項18に記載の色処理方法。 19. The color processing method according to claim 18, wherein at the time of inputting the setting condition, a conversion result based on a plurality of color conversion coefficients is presented to a user as an image including the peripheral condition.  前記色変換係数の決定の際に、前記入力画像を表示する表示装置における白色に関する情報を加味して前記色変換係数を決定することを特徴とする請求項13ないし請求項19のいずれか1項に記載の色処理方法。 20. The color conversion coefficient according to claim 13, wherein the color conversion coefficient is determined in consideration of white information on a display device that displays the input image when determining the color conversion coefficient. The color processing method described in 1.  予め色変換係数を複数組保持しておき、色変換係数の決定の際に、前記設定条件に従って1組の色変換係数を決定することを特徴とする請求項13ないし請求項20のいずれか1項に記載の色処理方法。 21. A method according to claim 13, wherein a plurality of sets of color conversion coefficients are stored in advance, and when determining the color conversion coefficients, one set of color conversion coefficients is determined in accordance with the set conditions. The color processing method described in the item.  予め色変換係数を複数組保持しておき、色変換係数の決定の際に、前記設定条件に従って複数組の色変換係数を取り出して色変換処理時に用いる色変換係数を決定することを特徴とする請求項13ないし請求項20のいずれか1項に記載の色処理方法。 A plurality of sets of color conversion coefficients are held in advance, and a plurality of sets of color conversion coefficients are taken out according to the setting condition to determine a color conversion coefficient to be used in the color conversion processing when determining the color conversion coefficient. The color processing method according to claim 13.  さらに、前記入力画像を表示する表示装置に依存する色変換係数を保持しておき、色変換係数を決定する際に、前記設定条件に従って前記色変換係数に対して変換処理を施して色変換処理時に用いる色変換係数を決定することを特徴とする請求項13ないし請求項22のいずれか1項に記載の色処理方法。 Further, a color conversion coefficient depending on a display device that displays the input image is held, and when the color conversion coefficient is determined, the color conversion coefficient is subjected to a conversion process in accordance with the setting condition. 23. The color processing method according to claim 13, wherein a color conversion coefficient used at the time is determined.  さらに、決定した前記色変換係数を色変換係数記憶手段に記憶させておき、その後の色変換時にはユーザからの指示に従って前記色変換係数記憶手段が記憶している前記色変換係数を読み出して色変換処理に使用するものと決定することを特徴とする請求項13ないし請求項23のいずれか1項に記載の色処理方法。 Further, the determined color conversion coefficient is stored in a color conversion coefficient storage unit, and at the time of subsequent color conversion, the color conversion coefficient stored in the color conversion coefficient storage unit is read out according to an instruction from a user to perform color conversion. The color processing method according to any one of claims 13 to 23, wherein the color processing method is determined to be used for processing.  コンピュータに入力画像から該入力画像を可視化するための画像信号への変換を行わせる色処理プログラムにおいて、前記入力画像を表示する領域の周辺部の表示領域に関する設定条件を認識する周辺条件認識機能と、前記周辺条件認識機能によって認識された前記設定条件に従い前記入力画像における該入力画像の周辺部の条件による色の見えの変化を予測して色変換係数を決定する色変換係数決定機能と、前記色変換係数決定機能により決定された色変換係数に基づき前記入力画像に色変換処理を施す色変換処理機能を実行させることを特徴とする色処理プログラム。 A color processing program for causing a computer to convert an input image from an input image to an image signal for visualizing the input image; A color conversion coefficient determining function of determining a color conversion coefficient by predicting a change in color appearance due to a condition of a peripheral portion of the input image in the input image according to the setting condition recognized by the peripheral condition recognition function; A color processing program for executing a color conversion processing function of performing color conversion processing on the input image based on a color conversion coefficient determined by a color conversion coefficient determination function.  前記周辺条件認識機能は、前記入力画像の表示領域を限定するために表示される枠の色度情報及び面積情報を認識することを特徴とする請求項25に記載の色処理プログラム。 26. The color processing program according to claim 25, wherein the peripheral condition recognition function recognizes chromaticity information and area information of a frame displayed for limiting a display area of the input image.  前記周辺条件認識機能は、前記入力画像の表示領域外の領域の色度情報及び面積情報を認識することを特徴とする請求項25に記載の色処理プログラム。 26. The color processing program according to claim 25, wherein the peripheral condition recognition function recognizes chromaticity information and area information of an area outside a display area of the input image.  さらに、前記周辺条件認識機能を利用するか否かの設定をユーザから受け付けるユーザ条件設定機能を有することを特徴とする請求項25ないし請求項27のいずれか1項に記載の色処理プログラム。 28. The color processing program according to claim 25, further comprising a user condition setting function for receiving a setting as to whether or not to use the peripheral condition recognition function from a user.  コンピュータに入力画像から該入力画像を可視化するための画像信号への変換を行わせる色処理プログラムにおいて、前記入力画像を表示する領域の周辺部の条件による色の見えの変化を補正するための設定条件の入力を受け付けるユーザ条件設定機能と、前記ユーザ条件設定機能で入力された前記設定条件に従い色変換係数を決定する色変換係数決定機能と、前記色変換係数決定機能により決定された色変換係数に基づき前記入力画像に色変換処理を施す色変換処理機能を実行させることを特徴とする色処理プログラム。 In a color processing program for causing a computer to convert an input image into an image signal for visualizing the input image, a setting for correcting a change in color appearance due to a condition of a peripheral portion of a region where the input image is displayed A user condition setting function for receiving a condition input, a color conversion coefficient determining function for determining a color conversion coefficient according to the setting condition input by the user condition setting function, and a color conversion coefficient determined by the color conversion coefficient determining function A color processing program for executing a color conversion processing function of performing a color conversion process on the input image based on the input image.  前記ユーザ条件設定機能は、少なくとも周辺条件を含めた画像と周辺条件を伴わない画像とをユーザに提示して両者の色の見えが略等しくなるような前記設定条件をユーザから受け取ることを特徴とする請求項29に記載の色処理プログラム。 The user condition setting function is characterized in that an image including at least the peripheral condition and an image not including the peripheral condition are presented to the user, and the setting condition is received from the user such that the color appearance of both images is substantially equal. 30. The color processing program according to claim 29, wherein:  前記ユーザ条件設定機能は、前記周辺条件を含めた画像として複数の色変換係数による変換結果を提示することを特徴とする請求項30に記載の色処理プログラム。 31. The color processing program according to claim 30, wherein the user condition setting function presents a conversion result using a plurality of color conversion coefficients as an image including the peripheral condition.  前記色変換係数決定機能は、前記入力画像を表示する表示装置における白色に関する情報を加味して前記色変換係数を決定することを特徴とする請求項25ないし請求項31のいずれか1項に記載の色処理プログラム。 32. The color conversion coefficient determination function according to claim 25, wherein the color conversion coefficient determination function determines the color conversion coefficient in consideration of information on white in a display device that displays the input image. Color processing program.  さらに、色変換係数を複数組保持する周辺条件補正用色変換係数記憶機能を有し、色変換係数決定機能は、前記設定条件に従って前記周辺条件補正用色変換係数記憶機能によって保持されている色変換係数の組から1組の色変換係数を決定することを特徴とする請求項25ないし請求項32のいずれか1項に記載の色処理プログラム。 Further, the image processing apparatus has a color conversion coefficient storage function for peripheral condition correction for storing a plurality of sets of color conversion coefficients, and the color conversion coefficient determination function is for storing the color stored by the color conversion coefficient storage function for peripheral condition correction according to the setting condition. 33. A color processing program according to claim 25, wherein a set of color conversion coefficients is determined from a set of conversion coefficients.  さらに、色変換係数を複数組保持する周辺条件補正用色変換係数記憶機能を有し、色変換係数決定機能は、前記設定条件に従って前記周辺条件補正用色変換係数記憶機能により保持されている色変換係数の組のうちから複数組の色変換係数を取り出して前記色変換処理機能で用いる色変換係数を決定することを特徴とする請求項25ないし請求項32のいずれか1項に記載の色処理プログラム。 Further, the image processing apparatus has a color conversion coefficient storage function for peripheral condition correction for storing a plurality of sets of color conversion coefficients, and the color conversion coefficient determination function is for storing the color stored by the color conversion coefficient storage function for peripheral condition correction according to the setting condition. 33. The color according to claim 25, wherein a plurality of sets of color conversion coefficients are extracted from a set of conversion coefficients to determine a color conversion coefficient used in the color conversion processing function. Processing program.  さらに、前記入力画像を表示する表示装置に依存する色変換係数を保持する色変換係数記憶機能を有し、色変換係数決定機能は、前記設定条件に従って前記色変換係数記憶機能により保持されている前記色変換係数に対して変換処理を施し、前記色変換処理手段で用いる色変換係数を決定することを特徴とする請求項25ないし請求項34のいずれか1項に記載の色処理プログラム。 Further, the image processing apparatus has a color conversion coefficient storage function for storing a color conversion coefficient depending on a display device that displays the input image, and the color conversion coefficient determination function is stored by the color conversion coefficient storage function according to the setting condition. 35. The color processing program according to claim 25, wherein a conversion process is performed on the color conversion coefficient to determine a color conversion coefficient used by the color conversion processing unit.  さらに、前記色変換係数決定機能で決定した前記色変換係数を記憶する色変換係数記憶機能を有し、前記色変換係数決定機能は、ユーザからの指示に従って前記色変換係数記憶機能が記憶している前記色変換係数を読み出して使用するものと決定することを特徴とする請求項25ないし請求項35のいずれか1項に記載の色処理プログラム。 Further, the color conversion coefficient storage function stores the color conversion coefficient determined by the color conversion coefficient determination function, and the color conversion coefficient determination function stores the color conversion coefficient storage function according to an instruction from a user. The color processing program according to any one of claims 25 to 35, wherein the color conversion coefficient is read and determined to be used.
JP2003277674A 2002-07-24 2003-07-22 Color processing apparatus, color processing method, and color processing program Expired - Fee Related JP4221584B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003277674A JP4221584B2 (en) 2002-07-24 2003-07-22 Color processing apparatus, color processing method, and color processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002215081 2002-07-24
JP2003277674A JP4221584B2 (en) 2002-07-24 2003-07-22 Color processing apparatus, color processing method, and color processing program

Publications (2)

Publication Number Publication Date
JP2004072758A true JP2004072758A (en) 2004-03-04
JP4221584B2 JP4221584B2 (en) 2009-02-12

Family

ID=32032698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003277674A Expired - Fee Related JP4221584B2 (en) 2002-07-24 2003-07-22 Color processing apparatus, color processing method, and color processing program

Country Status (1)

Country Link
JP (1) JP4221584B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007081581A (en) * 2005-09-12 2007-03-29 Canon Inc Color processing method and device
JP2008178008A (en) * 2007-01-22 2008-07-31 Fuji Xerox Co Ltd Profile generating apparatus and program, and color converting apparatus and program
US8427550B2 (en) 2008-08-12 2013-04-23 Kabushiki Kaisha Toshiba Image processing device correcting image data, image sensor and image processing method
JP2016201779A (en) * 2015-04-14 2016-12-01 富士ゼロックス株式会社 Image generation apparatus, evaluation system, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007081581A (en) * 2005-09-12 2007-03-29 Canon Inc Color processing method and device
JP2008178008A (en) * 2007-01-22 2008-07-31 Fuji Xerox Co Ltd Profile generating apparatus and program, and color converting apparatus and program
US8427550B2 (en) 2008-08-12 2013-04-23 Kabushiki Kaisha Toshiba Image processing device correcting image data, image sensor and image processing method
JP2016201779A (en) * 2015-04-14 2016-12-01 富士ゼロックス株式会社 Image generation apparatus, evaluation system, and program

Also Published As

Publication number Publication date
JP4221584B2 (en) 2009-02-12

Similar Documents

Publication Publication Date Title
EP1294177B1 (en) Image processing method and apparatus
US7061505B2 (en) Image processing device, image processing system, output device, computer readable recording medium and image processing method
JP5481021B2 (en) Heterogeneous color gamut mapping method and apparatus
US7450281B2 (en) Image processing apparatus and information processing apparatus, and method thereof
US8559710B2 (en) Color processing apparatus and method thereof for color conversion using ambient light parameter
JP2000050086A (en) Picture processor, picture processing method and profile generation method
JP2000040140A (en) Image processor and method therefor
US8115978B2 (en) Information processing method and information processing apparatus for simulating a result output from a first output device based on input data represented in a color space that is dependent on the input device by a second output device
JP2002281338A (en) Image processor and image processing method
JP4221584B2 (en) Color processing apparatus, color processing method, and color processing program
JP2008177783A (en) Color conversion device and program
JP2008042711A (en) Color converter, color converting method, color conversion program, color conversion coefficient creating apparatus, color conversion coefficient creating method, and color conversion coefficient creation program
JP2007208912A (en) Image processing apparatus and control method, computer program, and storage medium
JP2002027263A (en) Image processing method
JP2009071618A (en) Image processor, image processing method and program, and recording medium
KR100735562B1 (en) Apparatus, system and method for reappearance of color according to a light source
JPH1141478A (en) Method and device for processing image and recording medium
JP2000134487A (en) Color conversion device
JP2000050088A (en) Picture processor and picture processing method
JP2006238335A (en) Information processing method
JP3535778B2 (en) Image processing method, apparatus and recording medium
JP2002077652A (en) Image processing method and recording medium
JP2003087590A (en) Method and device for processing image
JPH11275372A (en) Color setting device for output device
JP2000050089A (en) Image processor and method therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070620

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081022

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081104

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees