JP4888132B2 - Image processing apparatus and image processing program - Google Patents
Image processing apparatus and image processing program Download PDFInfo
- Publication number
- JP4888132B2 JP4888132B2 JP2007015408A JP2007015408A JP4888132B2 JP 4888132 B2 JP4888132 B2 JP 4888132B2 JP 2007015408 A JP2007015408 A JP 2007015408A JP 2007015408 A JP2007015408 A JP 2007015408A JP 4888132 B2 JP4888132 B2 JP 4888132B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- environment information
- environment
- environmental information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
本発明は、画像処理装置、画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program.
カラー画像を出力する装置として、例えばCRTディスプレイや、LCDディスプレイ、カラープリンタ等がある。これらの出力装置は、それぞれの出力装置の出力特性の違いから、再現可能な色再現範囲が異なっている。そのため、例えばCRTディスプレイで表示されている画像をカラープリンタで出力する場合、入力画像を、出力結果が好ましく見えるようにするために、出力装置の色再現可能領域内の色に置き換える色の写像(Color Mapping)と、入力側と出力側の観察環境の条件に合わせた画像の補正が必要となる。この入力側と出力側の観察環境の条件に合わせて画像を補正するためには、カラーアピアランスモデル(色の見えモデル)が用いられ、カラーアピアランスモデルの1つには国際照明委員会(CIE)によって標準モデルとして勧告しているCIECAM02などがある。このカラーアピアランスモデルへの変換には環境情報が必要であり、この環境情報とは、例えばユーザが見るディスプレイが設置されている環境や、デジタルカメラで被写体を撮影したときの被写体周辺の環境、入力デバイス状態を示す情報である。この環境情報として、具体的に例えば周辺照度(ディスプレイの周辺、被写体周辺)やデバイス白色輝度などが挙げられる。 As a device for outputting a color image, for example, there are a CRT display, an LCD display, a color printer and the like. These output devices have different reproducible color reproduction ranges due to differences in output characteristics of the respective output devices. Therefore, for example, when an image displayed on a CRT display is output by a color printer, a color mapping (in which an input image is replaced with a color in a color reproducible region of the output device in order to make the output result look preferable) Color Mapping) and image correction in accordance with the conditions of the observation environment on the input side and output side are required. A color appearance model (color appearance model) is used to correct the image according to the conditions of the observation environment on the input side and the output side, and one of the color appearance models is the International Commission on Illumination (CIE). There is CIECAM02 recommended as a standard model. Environmental information is required for conversion to this color appearance model. This environmental information includes, for example, the environment where the display that the user sees is installed, the environment around the subject when the subject is photographed with a digital camera, and the input This is information indicating the device status. Specific examples of the environment information include peripheral illuminance (display periphery, subject periphery), device white luminance, and the like.
このような環境情報が付属されているかどうかを判定し、修正することによって、画像処理を行なう技術として、特許文献1には、シーン参照画像データに前記カラーアピアランスモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行う技術が開示されている。 As a technique for performing image processing by determining whether or not such environmental information is attached and correcting it, Patent Document 1 adds an image conversion parameter related to the color appearance model to scene reference image data. A technique for performing the image conversion on the scene reference image data based on the image conversion parameter when the image conversion parameter is added is determined.
また、特許文献2には、画像表示装置を鑑賞するときの照明条件を検知し、入力画像データと検知された照明条件とに基づき、色の見え指標を算出し、算出された色の見え指標に基づき、画像表示手段を制御する技術が開示されている。
しかしながら、入力側の画像データに対してカラーアピアランスモデルを用いて画像処理を行なったデータに付属されている環境情報や、入力側の画像データに付属されて送られてきた入力データ側の環境情報など、カラーアピアランスモデルを用いて画像処理を行なうための環境情報が誤った情報であったり、通常ではありえない情報など、不適切な環境情報であると、入力画像のカラーアピアランスモデルが本来入力された画像の色の見えとは異なった画像データが、出力側のプリンタにより不適切な色のままに画像が出力されることとなる。 However, environmental information attached to data obtained by performing image processing on the image data on the input side using the color appearance model, or environmental information on the input data side attached to the input side image data. For example, if the environment information for image processing using the color appearance model is incorrect or inappropriate, such as information that is not normal, the color appearance model of the input image was originally input The image data different from the color appearance of the image is output in an inappropriate color by the printer on the output side.
本発明は上記問題点に鑑み、不適切な環境情報による画像データの変換を回避する画像処理装置、画像処理プログラムを提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an image processing apparatus and an image processing program that avoid conversion of image data due to inappropriate environmental information.
上記目的を達成する為に、請求項1の発明は、画像データが複数の画像からなる場合、前記画像データを構成する前記複数の画像の画像データを取得すると共に、前記画像データを構成する前記複数の画像の画像データの各々に関連づけられ、前記画像データを構成する前記複数の画像の画像データが取得された際の環境に関する値を示す環境情報、及び前記画像データを構成する前記複数の画像が表示された際の環境に関する値を示す環境情報のうちのいずれか1つの環境情報を取得する環境情報取得手段と、前記環境情報取得手段が取得した複数の環境情報から基準とする1つの基準環境情報を選択する基準環境情報選択手段と、前記環境情報取得手段が取得した環境情報に、前記基準環境情報と異なる環境情報が存在するか否かを判断する判断手段と、前記判断手段が前記基準環境情報と異なると判断した環境情報を前記基準環境情報に変更する修正手段と、を有する。 In order to achieve the above object, according to the first aspect of the present invention, when the image data consists of a plurality of images, the image data of the plurality of images constituting the image data is acquired and the image data is constituted. Environment information indicating values related to the environment when the image data of the plurality of images constituting the image data is acquired and associated with each of the image data of the plurality of images, and the plurality of images constituting the image data Environmental information acquisition means for acquiring any one of the environmental information indicating the value related to the environment when is displayed, and one reference based on the plurality of environmental information acquired by the environmental information acquisition means determining a reference environmental information selection means for selecting environmental information, the environmental information acquisition unit acquires environment information, whether the environment information different from said reference environment information is present That has a determination means, and correction means said determining means changes the environment information is determined as different from the reference environment information in the reference environment information.
また、本発明は、請求項2の発明のように、前記判断手段により前記値が前記所定の範囲内の値ではないと判断された場合に、前記環境情報が不適切であることを示す警告を表示する警告表示手段を更に有するようにしても良い。 Further, according to the present invention, as in the second aspect of the present invention, a warning indicating that the environmental information is inappropriate when the determination unit determines that the value is not within the predetermined range. It may be further provided with a warning display means for displaying.
また、本発明は、請求項3の発明のように、前記環境情報は、CIECAM02へ変換する際に使用される環境変数であるようにしても良い。 Further, according to the present invention, as in the invention of claim 3, the environment information may be an environment variable used when converting to CIECAM02.
また、本発明は、請求項4の発明のように、前記修正手段により修正された環境情報が示す値を表示する修正情報表示手段を更に有するようにしても良い。 Further, the present invention may further include a correction information display means for displaying a value indicated by the environment information corrected by the correction means, as in the invention of claim 4.
また、本発明は、請求項5の発明のように、前記環境情報に基づき、前記画像データを出力デバイス用のデータへ変換する変換手段と、前記変換手段により変換された前記データを出力する出力手段と、を更に有するようにしても良い。 According to a fifth aspect of the present invention, there is provided a conversion means for converting the image data into data for an output device based on the environmental information, and an output for outputting the data converted by the conversion means. And a means.
また、上記目的を達成するために、請求項6の発明である画像処理プログラムは、コンピュータを、画像データが複数の画像からなる場合、前記画像データを構成する前記複数の画像の画像データを取得すると共に、前記画像データを構成する前記複数の画像の画像データの各々に関連づけられ、前記画像データを構成する前記複数の画像の画像データが取得された際の環境に関する値を示す環境情報、及び前記画像データを構成する前記複数の画像が表示された際の環境に関する値を示す環境情報のうちのいずれか1つの環境情報を取得する環境情報取得手段、及び前記環境情報取得手段が取得した複数の環境情報から基準とする1つの基準環境情報を選択する基準環境情報選択手段として機能させる。 In order to achieve the above object, an image processing program according to a sixth aspect of the present invention provides a computer that acquires image data of the plurality of images constituting the image data when the image data includes a plurality of images. And environmental information indicating values related to the environment when the image data of the plurality of images constituting the image data is acquired and associated with each of the image data of the plurality of images constituting the image data, and Environment information acquisition means for acquiring any one of the environment information indicating values related to the environment when the plurality of images constituting the image data are displayed, and the plurality of information acquired by the environment information acquisition means It functions as reference environment information selection means for selecting one reference environment information as a reference from the environment information .
また、請求項6の発明である画像処理プログラムは、コンピュータを、前記環境情報取得手段が取得した環境情報に、前記基準環境情報と異なる環境情報が存在するか否かを判断する判断手段、及び前記判断手段が前記基準環境情報と異なると判断した環境情報を前記基準環境情報に変更する修正手段として機能させる。 According to a sixth aspect of the present invention, there is provided an image processing program comprising: a determination unit configured to determine whether environmental information different from the reference environmental information exists in the environmental information acquired by the environmental information acquisition unit; The determination means functions as correction means for changing the environment information determined to be different from the reference environment information to the reference environment information.
以上説明したように請求項1の発明によれば、不適切な環境情報による画像データの変換を回避する画像処理装置を提供することができるという効果が得られる。 As described above, according to the first aspect of the invention, it is possible to provide an image processing apparatus that can avoid the conversion of image data due to inappropriate environmental information.
請求項2の発明によれば、環境情報が不適切な場合に警告を表示することができる。 According to the invention of claim 2, a warning can be displayed when the environmental information is inappropriate.
請求項3の発明によれば、環境情報として、CIECAM02のカラーアピアランスモデルへ変換する際に使用される環境変数を用いることができる。 According to the third aspect of the present invention, environment variables used when converting to the color appearance model of CIECAM02 can be used as the environment information.
請求項4の発明によれば、修正された値をユーザが確認することができる。 According to invention of Claim 4, a user can confirm the corrected value.
請求項5の発明によれば、適切な環境情報に基づき変換されたデータを出力デバイスに出力することができる。 According to the invention of claim 5, data converted based on appropriate environmental information can be output to the output device.
請求項6の発明によれば、画像データに関連づけられている環境情報が複数存在する画像データに対しても警告を表示することができる。 According to the sixth aspect of the present invention, a warning can be displayed even for image data in which a plurality of environment information items associated with the image data exist.
請求項7の発明によれば、コンピュータに対して請求項1に記載の発明と同様に作用させることができるので、請求項1に記載の発明と同様の効果を得ることができる。 According to the seventh aspect of the invention, since the computer can be operated in the same manner as the first aspect of the invention, the same effect as the first aspect of the invention can be obtained.
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本実施の形態では、本発明の画像処理装置及び画像処理プログラムを、パソコン(Personal Computer)に適用している。また、本実施の形態における環境情報は、画像データに関連づけられ、画像データが取得(例えばデジタルカメラによる撮影)された際の環境に関する値を示す情報、及び画像データが示す画像が表示(例えばディスプレイによる表示)された際の環境に関する値を示す情報のうちのいずれか1つの情報である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, the image processing apparatus and the image processing program of the present invention are applied to a personal computer. The environment information in the present embodiment is associated with image data, and information indicating values related to the environment when the image data is acquired (for example, taken by a digital camera) and an image indicated by the image data are displayed (for example, a display). This is any one piece of information indicating the value related to the environment at the time of display.
上記環境情報として、本実施の形態では、周辺照度、周辺白色輝度、デバイス白色輝度、サンプルの相対3刺激値、白基準の相対3刺激値、背景部の相対輝度、デバイス観察条件、周辺の影響度、色誘導因子、及び順応度因子が用いられる。これらの環境情報はCIECAM02への変換に使用される環境情報である。 As the environmental information, in this embodiment, ambient illuminance, ambient white luminance, device white luminance, sample relative tristimulus value, white reference relative tristimulus value, background relative luminance, device observation condition, and ambient influence Degrees, color induction factors, and adaptation factors are used. These pieces of environment information are environment information used for conversion to CIECAM02.
このうち、周辺照度とは、あるデバイスを観察する上での、そのデバイスの周辺輝度を示す。この周辺照度として、例えば、机の上の照度などが挙げられる。また、周辺白色輝度とは、上述したデバイスの周辺輝度における白の輝度を示す。デバイス白色輝度とは、ディスプレイの白の輝度である。このデバイス白色輝度は、デバイス観察条件を決定するために必要なデータであり、例えば、ある観察条件下での紙の輝度などがある。 Of these, the ambient illuminance indicates the peripheral brightness of a device when the device is observed. Examples of the peripheral illuminance include illuminance on a desk. The peripheral white luminance indicates white luminance in the peripheral luminance of the device described above. The device white luminance is the white luminance of the display. This device white luminance is data necessary for determining device observation conditions, and includes, for example, the luminance of paper under certain observation conditions.
また、サンプルの相対3刺激値とは、入力画像の相対的な三刺激値であり、入力する画像データの「色」を示す。サンプルの相対三刺激値「X,Y,Z]を入力すると、その他の入力データ(環境条件等)を参照して、CIECAM02の色の見えのモデルでのJChに変換される。白基準の相対3刺激値とは、色の見えを心理物理量(L*a*b*等)で表現するとき、必ず、白をどの値とするか決定する必要があり、その基準となる白の値を示す。この値はデバイスによって変わり、この白基準が変われば、サンプルの同じ三刺激値が同じでも違う色に見える。 The relative tristimulus value of the sample is a relative tristimulus value of the input image, and indicates the “color” of the input image data. When the relative tristimulus value “X, Y, Z” of the sample is input, it is converted to JCh in the color appearance model of CIECAM02 with reference to other input data (such as environmental conditions). The tristimulus value indicates the white value that is used as a reference when it is necessary to determine the value of white when the appearance of color is expressed as a psychophysical quantity (L * a * b *, etc.). This value varies from device to device, and if this white standard changes, the same tristimulus value of the sample will look the same but different colors.
また、周辺の影響度、色誘導因子、及び順応度因子とは、CIECAM02のカラーアピアランスモデルに変換する際に必要となる各種パラメータである。これらの値は、デバイス観察条件(Average、Dim、Dark)によって推奨される値が決まっている。 In addition, the peripheral influence degree, the color induction factor, and the adaptation factor are various parameters that are necessary for conversion into the color appearance model of CIECAM02. These values are recommended according to the device observation conditions (Average, Dim, Dark).
このように、本実施の形態では、上述した環境情報のいくつかを用いたものとなっているが、本実施の形態は環境情報が示す値が不適切か否かを判断するものであるので、適切な値が存在する上記環境情報に本実施の形態は当然に適用することができる。また、環境情報が示す値には、数字の他に文字列も含まれるものとする。 As described above, in this embodiment, some of the environment information described above is used. However, this embodiment determines whether or not the value indicated by the environment information is inappropriate. Naturally, the present embodiment can be applied to the environmental information in which an appropriate value exists. In addition, the value indicated by the environment information includes a character string in addition to a number.
なお、上記環境情報は、画像データに関連づけられてパソコンに記憶されているか、パソコンに接続された他の装置から得ることができる。また、ユーザが環境情報を設定することも可能である。本実施の形態では、いずれの場合もパソコンに一時的にでも記憶されるので、環境情報はパソコンに記憶されているものとして説明する。なお、画像データによっては環境情報が存在しない場合もある。 The environmental information is stored in a personal computer in association with image data, or can be obtained from another device connected to the personal computer. Also, the user can set environment information. In this embodiment, in any case, since it is temporarily stored in the personal computer, the environmental information is described as being stored in the personal computer. Note that there may be no environmental information depending on the image data.
まず、図1を用いて本発明を適用したパソコン10の構成について説明する。パソコン10は、CPU(Central Processing Unit)18と、HDD(Hard Disk Drive)20と、RAM22と、ネットワークI/F(インタフェース)部24と、ROM26と、表示部28と、操作入力部30と、それらを電気的に接続するバス32とを含む。 First, the configuration of a personal computer 10 to which the present invention is applied will be described with reference to FIG. The personal computer 10 includes a CPU (Central Processing Unit) 18, an HDD (Hard Disk Drive) 20, a RAM 22, a network I / F (interface) unit 24, a ROM 26, a display unit 28, an operation input unit 30, And a bus 32 for electrically connecting them.
CPU18は、パソコン10の全体の動作を司るものであり、後述するパソコン10の処理の流れを示すフローチャートは、CPU18により実行される。HDD20は、各種プログラム、上記環境情報、後述するデータベース(以下、DBと記す)、そしてOS(Operating System)などが記録される不揮発性の記憶装置である。また、HDD20には、環境情報に基づきプリンタなどの出力デバイス用のデータに画像データを変換するプリンタドライバプログラムが記憶されている。RAM22は、OS、プログラムなどが展開される揮発性の記憶装置である。 The CPU 18 governs the overall operation of the personal computer 10, and a flowchart showing a processing flow of the personal computer 10 described later is executed by the CPU 18. The HDD 20 is a non-volatile storage device in which various programs, the environment information, a database (to be referred to as a DB hereinafter), an OS (Operating System), and the like are recorded. Also, the HDD 20 stores a printer driver program that converts image data into data for an output device such as a printer based on environmental information. The RAM 22 is a volatile storage device in which an OS, a program, and the like are expanded.
ネットワークI/F部24は、ネットワークに接続するためのものであり、LANに接続するためのNICやそのドライバ、又はUSBデバイスを含んで構成される。このネットワークI/F部24からプリンタなどの他の装置に画像データを出力する。ROM26は、パソコン10の起動時に動作するブートプログラムなどが記憶されている不揮発性の記憶装置である。表示部28は、各種情報を表示するものである。操作入力部30は、ユーザがパソコン10の操作指示や各種情報を入力する際に用いられるものである。バス32は、以上の各部間で情報のやりとりが行われる際に使用される。 The network I / F unit 24 is for connecting to a network, and includes a NIC for connecting to a LAN, its driver, or a USB device. Image data is output from the network I / F unit 24 to another device such as a printer. The ROM 26 is a non-volatile storage device that stores a boot program that operates when the personal computer 10 is activated. The display unit 28 displays various information. The operation input unit 30 is used when a user inputs an operation instruction or various information of the personal computer 10. The bus 32 is used when information is exchanged between the above units.
なお、上述したHDD20には、CPU18により実行される後述する画像処理プログラムやそのプログラムが用いるデータなどが記録されるが、このプログラムは、必ずしもHDD20に記録されたプログラムでなくても良い。HDD20以外の記録媒体として、具体的には可搬型の記録媒体にプログラムを記録したものが挙げられる。この場合、パソコン10に、可搬型の記録媒体を読み取るための読み取り装置を設け、可搬型の記録媒体は読み取り装置に対して、磁気、光、電気等のエネルギーの変化状態を引き起こし、それに対応する信号の形式で、読み取り装置にプログラムの記述内容を伝達できるものである。 The HDD 20 described above records an image processing program (to be described later) executed by the CPU 18 and data used by the program. However, this program does not necessarily have to be a program recorded in the HDD 20. Specific examples of the recording medium other than the HDD 20 include a program recorded on a portable recording medium. In this case, the personal computer 10 is provided with a reading device for reading a portable recording medium, and the portable recording medium causes a change state of energy such as magnetism, light, electricity, etc. to the reading device and responds to it. The contents of the program description can be transmitted to the reading device in the form of a signal.
可搬型の記録媒体として、例えば光磁気ディスク、光ディスク(CDやDVDなどを含む)、磁気ディスク、メモリ(ICカード、メモリカードなどを含む)などが挙げられる。 Examples of portable recording media include magneto-optical disks, optical disks (including CDs and DVDs), magnetic disks, memories (including IC cards and memory cards), and the like.
観察条件DBは、デバイス観察条件(Average(平均的な明るさの環境)、Dark(非常に暗い環境)、Dim(薄暗い明るさの環境))に対応する3つの環境情報(周辺の影響度、色誘導因子、順応度因子)が示す値が保持されたDBである。 The observation condition DB includes three pieces of environment information (peripheral influence degree, ambient (average brightness environment), dark (very dark environment), and Dim (dim brightness environment)). This is a DB that holds values indicated by color induction factors and adaptation factors.
例えばデバイス観察条件がAverageの場合、一般的な周辺の影響度は0.69、色誘導因子は1.0、順応度因子は1.0であり、このDBは、後述する環境情報処理で用いられる。環境情報処理では、例えばデバイス観察条件がAverageとなっているにも関わらず周辺の影響度が0.69以外の値を示している場合に、その環境情報が不適切であると判断し、修正する処理である。 For example, when the device observation condition is Average, the general degree of influence of the surrounding area is 0.69, the color induction factor is 1.0, and the adaptation factor is 1.0. This DB is used in environmental information processing to be described later. It is done. In environmental information processing, for example, when the device observation condition is Average, but the surrounding influence level indicates a value other than 0.69, it is determined that the environmental information is inappropriate, and the correction is made. It is processing to do.
なお、本実施の形態における範囲には、同図に示される一つの点のみ存在する範囲(例えば0.69(0.69≦x≦0.69)など1点のみ)の他に例えば0≦x≦3などで表現される通常の範囲も含まれる。従って、デバイス観察条件以外の環境情報では、通常の範囲で適切な値を表現するようにしても良い。 In addition, the range in the present embodiment includes, for example, 0 ≦ other than the range in which only one point shown in the figure exists (for example, only one point such as 0.69 (0.69 ≦ x ≦ 0.69)). A normal range expressed by x ≦ 3 is also included. Therefore, in the environment information other than the device observation condition, an appropriate value may be expressed in a normal range.
次に、図3を用いてサンプルDBについて説明する。このサンプルDBは、デバイス観察条件のAverageに対して他の環境情報が示す値のサンプルを示すDBである。このサンプルDBに示される各環境情報が示す値は環境情報処理により環境情報を代入する際に用いられる。 Next, the sample DB will be described with reference to FIG. This sample DB is a DB indicating a sample of values indicated by other environmental information with respect to Average of the device observation conditions. The value indicated by each environment information shown in this sample DB is used when the environment information is substituted by the environment information processing.
このサンプルDBでは、Averageに対する各環境情報が示す値が表現されているが、もちろんAverageのみに制限するものではなく、他の環境情報のサンプルとしての情報を設けるようにしても良い。 In this sample DB, the value indicated by each environment information with respect to Average is expressed, but of course it is not limited to only Average, and information as a sample of other environment information may be provided.
以上が本実施の形態におけるパソコン10及び各DBの構成となっている。以下、フローチャートを用いて、CPU18により実行される各処理の流れについて説明する。なお、以下の説明において、環境情報は、画像データに関連づけられてHDD20に記憶されているものとする。 The above is the configuration of the personal computer 10 and each DB in the present embodiment. Hereinafter, the flow of each process executed by the CPU 18 will be described using a flowchart. In the following description, it is assumed that environment information is stored in the HDD 20 in association with image data.
まず、図4を用いて、環境情報を修正する処理全体の流れについて説明する。ステップ101で、CPU18は画像データを取得し、ステップ102で画像データに関連づけられた環境情報があるか否か判断する。CPU18が否定判断した場合は処理が終了し、CPU18が肯定判断した場合は、ステップ103でCPU18は画像データに関連づけられてHDD20に記憶された環境情報を取得する。次に、ステップ104でCPU18は、取得した環境情報が示す値が、予め定められた範囲内の値か否かを判断し、範囲内の値ではないと判断された場合に、環境情報が修正する環境情報処理を実行する。 First, the overall flow of processing for correcting environment information will be described with reference to FIG. In step 101, the CPU 18 acquires image data, and in step 102, determines whether there is environmental information associated with the image data. If the CPU 18 makes a negative determination, the process ends. If the CPU 18 makes a positive determination, the CPU 18 acquires environmental information associated with the image data and stored in the HDD 20 in step 103. Next, in step 104, the CPU 18 determines whether or not the value indicated by the acquired environment information is within a predetermined range. If it is determined that the value is not within the range, the environment information is corrected. Execute environmental information processing.
次のステップ105で、CPU18は、環境情報に基づき画像データを変換する画像データ変換処理を実行し、次のステップ106で、変換された画像データをプリンタなど他の装置(出力デバイス)に例えばネットワークI/F部24から出力する。 In the next step 105, the CPU 18 executes an image data conversion process for converting the image data based on the environment information, and in the next step 106, the converted image data is transferred to another apparatus (output device) such as a printer, for example, a network. Output from the I / F unit 24.
以下、上記環境情報処理について説明する。本実施の形態では、環境情報処理の例として5つの例を説明する。なお、以下の5つの例を示すフローチャートで用いられる警告表示フラグは予めオン又はオフが設定されているとする。また、以下のフローチャートにおいては、環境情報を自動的に修正するようになっているが、環境情報を修正するか否かをユーザに判断させるようにしても良い。 Hereinafter, the environmental information processing will be described. In this embodiment, five examples will be described as examples of environmental information processing. It is assumed that the warning display flag used in the flowcharts showing the following five examples is set to ON or OFF in advance. In the following flowchart, the environment information is automatically corrected. However, the user may determine whether to correct the environment information.
まず、環境情報処理(その1)の流れを、図5のフローチャートを用いて説明する。ステップ201で、CPU18は、デバイス観察条件がDim又はDarkであるか否か判断する。CPU18が肯定判断した場合、ステップ202で、デバイス観察条件をAverageとし、ステップ203で、デバイス観察条件以外の環境情報をAverageに対応する値に修正する。この修正には、サンプルDB(図3参照)が用いられる。 First, the flow of environmental information processing (part 1) will be described using the flowchart of FIG. In step 201, the CPU 18 determines whether the device observation condition is Dim or Dark. When the CPU 18 makes an affirmative determination, in step 202, the device observation condition is set to Average, and in step 203, environment information other than the device observation condition is corrected to a value corresponding to Average. For this correction, a sample DB (see FIG. 3) is used.
一方、ステップ201で、CPU18が否定判断した場合、ステップ203でCPU18は、周辺の影響度c、色誘導因子Nc、順応度因子F(図2参照)がデバイス観察条件に対応した値と異なるか否かを判断する。これは、観察条件DB(図2参照)に示されるように、デバイス観察条件の各項目毎に、観察条件DBに示される各環境情報が定められているため、その値と異なるか否かの判断である。CPU18が否定判断した場合は処理が終了し、肯定判断した場合には上記ステップ204の処理が実行される。 On the other hand, if the CPU 18 makes a negative determination in step 201, in step 203, the CPU 18 determines whether the peripheral influence c, the color induction factor Nc, and the adaptation factor F (see FIG. 2) are different from the values corresponding to the device observation conditions. Judge whether or not. This is because, as shown in the observation condition DB (see FIG. 2), each environment information shown in the observation condition DB is determined for each item of the device observation condition, so whether or not it differs from the value. It is a judgment. If the CPU 18 makes a negative determination, the process ends. If an affirmative determination is made, the process of step 204 is executed.
次のステップ205で、CPU18は、警告表示フラグがオンか否か判断し、CPU18が否定判断した場合は処理が終了し、肯定判断した場合にはステップ206で、警告を表示する。この警告の表示は、以下に説明する警告の表示も含め、可視表示に限らず、可聴表示、永久可視表示としても良い。 In the next step 205, the CPU 18 determines whether or not the warning display flag is on. If the CPU 18 makes a negative determination, the process ends. If the determination is affirmative, a warning is displayed in step 206. This warning display is not limited to visual display, including warning display described below, and may be audible display or permanent visual display.
図6は、環境情報が不適切であることを示す警告が表示部28に表示された警告表示例を示している。この警告表示例は、例として周辺白色輝度及びデバイス白色輝度が不適切(値が0)であったため、修正したことを示すものである。同図に示されるように不適切な値を網掛け表示としたり、リバース表示、ブリンク表示等とすることにより、不適切な値がいずれの値かを明示するようにする。なお、以下の処理における警告表示もこの表示例に示されるものと同様なものとなっている。 FIG. 6 shows a warning display example in which a warning indicating that the environmental information is inappropriate is displayed on the display unit 28. This warning display example indicates that the peripheral white luminance and the device white luminance are inappropriate (value is 0), and are corrected. As shown in the figure, an inappropriate value is indicated by shading, reverse display, blink display, etc., so that the inappropriate value is clearly indicated. The warning display in the following processing is the same as that shown in this display example.
次に、環境情報処理(その2)の流れを、図7のフローチャートを用いて説明する。ステップ301で、CPU18は、La≦10又はLa≧50であるか否か判断する。このLaは順応視野輝度である。CPU18が肯定判断した場合、ステップ302で、CPU18はLaに24を代入する。なお、代入される値24は、一般的なオフィス環境での値となっている。 Next, the flow of environmental information processing (part 2) will be described using the flowchart of FIG. In step 301, the CPU 18 determines whether La ≦ 10 or La ≧ 50. This La is the adaptation field luminance. If the CPU 18 makes a positive determination, the CPU 18 substitutes 24 for La in step 302. The value 24 to be substituted is a value in a general office environment.
一方、ステップ301で、CPU18が否定判断した場合は処理が終了する。次のステップ303で、CPU18は、警告表示フラグがオンか否か判断し、CPU18が否定判断した場合は処理が終了し、肯定判断した場合にはステップ304で、警告を表示する。 On the other hand, if the CPU 18 makes a negative determination in step 301, the process ends. In the next step 303, the CPU 18 determines whether or not the warning display flag is on. If the CPU 18 makes a negative determination, the process ends. If the determination is affirmative, a warning is displayed in step 304.
次に、環境情報処理(その3)の流れを、図8のフローチャートを用いて説明する。ステップ401で、CPU18は、Yb>Ywであるか否か判断する。このYbは、背景部の相対輝度をXYZ表色系で表現した場合のYの値を示し、更にここでのYbは、サンプルの背景の輝度を示す。また、Ywとは、完全拡散反射板の反射率を示す。 Next, the flow of environmental information processing (part 3) will be described using the flowchart of FIG. In step 401, the CPU 18 determines whether or not Yb> Yw. Yb represents the value of Y when the relative luminance of the background portion is expressed in the XYZ color system, and Yb here represents the luminance of the background of the sample. Yw represents the reflectivity of the complete diffuse reflector.
上記ステップ401でCPU18が肯定判断した場合、ステップ402で、CPU18は、Ywの70%の値をYbに代入する。 If the CPU 18 makes an affirmative determination in step 401, in step 402, the CPU 18 substitutes 70% of Yw for Yb.
一方、ステップ401で、CPU18が否定判断した場合は処理が終了する。次のステップ403で、CPU18は、警告表示フラグがオンか否か判断し、CPU18が否定判断した場合は処理が終了し、肯定判断した場合にはステップ404で、警告を表示する。 On the other hand, if the CPU 18 makes a negative determination in step 401, the process ends. In the next step 403, the CPU 18 determines whether or not the warning display flag is on. If the CPU 18 makes a negative determination, the process ends. If the determination is affirmative, a warning is displayed in step 404.
なお、上述したフローチャートでは、70%が用いられているが、この値は一例であり、上記フローチャートに示される処理の趣旨は、YbがYwの値よりも大きいときや、YbとYwが近い値である場合に修正をするというものである。 In the above flowchart, 70% is used, but this value is an example. The purpose of the process shown in the flowchart is when Yb is larger than Yw or when Yb and Yw are close. If this is the case, the correction is made.
次に、環境情報処理(その4)の流れを、図9のフローチャートを用いて説明する。ステップ501で、CPU18は、周辺照度=0か否か判断する。CPU18が肯定判断した場合、ステップ502で、周辺照度に500を代入し、修正フラグをオンとする。この修正フラグは、警告表示を行うか否かを判断する際に用いられるフラグで、オンは修正有りを示し、オフは修正無し、を示す。 Next, the flow of environmental information processing (part 4) will be described using the flowchart of FIG. In step 501, the CPU 18 determines whether or not ambient illuminance = 0. If the CPU 18 makes an affirmative determination, in step 502, 500 is substituted for the ambient illuminance, and the correction flag is turned on. This correction flag is a flag used to determine whether or not to display a warning. On indicates that there is correction, and OFF indicates no correction.
一方、ステップ501で、CPU18が否定判断した場合はステップ503に処理が進む。ステップ503で、CPU18は、周辺白色輝度=0か否か判断する。CPU18が肯定判断した場合、ステップ504で、周辺白色輝度に159.2を代入し、修正フラグをオンとする。 On the other hand, if the CPU 18 makes a negative determination in step 501, the process proceeds to step 503. In step 503, the CPU 18 determines whether or not peripheral white luminance = 0. If the CPU 18 makes an affirmative determination, in step 504, 159.2 is substituted for the peripheral white luminance, and the correction flag is turned on.
次のステップ505で、CPU18は、警告表示フラグがオンかつ修正フラグがオンか否か判断し、CPU18が否定判断した場合は処理が終了し、肯定判断した場合にはステップ506で、警告を表示する。 In the next step 505, the CPU 18 determines whether or not the warning display flag is on and the correction flag is on. If the CPU 18 makes a negative determination, the process ends. If the determination is affirmative, a warning is displayed in step 506. To do.
この処理により、修正される画像例を図10に示す。図10に示される画像例は、文字が記された画像にもかかわらず、周辺照度及び周辺白色輝度が0cd/m2となっているため、上記ステップ502、505の処理によりそれぞれ値が代入される画像例を示している。 An example of an image corrected by this processing is shown in FIG. In the image example shown in FIG. 10, the ambient illuminance and the peripheral white luminance are 0 cd / m 2 regardless of the image on which the characters are written. An example image is shown.
次に、環境情報処理(その5)について説明する。近年の画像データには、その画像データが示す1枚の画像が予め複数のエリア毎に分割され、各エリアに対応する画像データ毎に環境情報が関連づけられているものがある。 Next, environmental information processing (part 5) will be described. In recent image data, one image indicated by the image data is divided into a plurality of areas in advance, and environmental information is associated with each image data corresponding to each area.
具体的に、図11を用いて説明する。図11はに示される画像は、1枚の画像であるが、その画像が予めエリア(文書、写真A、B、背景)毎に分割され、各エリアに対応する画像データ毎に環境情報が関連づけられている。 This will be specifically described with reference to FIG. The image shown in FIG. 11 is one image, but the image is divided in advance for each area (document, photo A, B, background), and environment information is associated with each image data corresponding to each area. It has been.
環境情報処理(その5)は、このような画像データに関連づけられた環境情報が複数存在する画像データに対して実行される処理である。以上を踏まえ、環境情報処理(その5)の流れを、図12のフローチャートを用いて説明する。 Environment information processing (part 5) is a process executed on image data in which a plurality of pieces of environment information associated with such image data exist. Based on the above, the flow of environmental information processing (part 5) will be described using the flowchart of FIG.
まず、ステップ601で、CPU18は、エリア分割処理を実行する。このエリア分割処理は、従来から用いられているエリア分割技術を用いて実行される。次のステップ602で、CPU18は、エリア毎の環境情報を取得する。次のステップ603で、CPU18は、エリア毎の環境情報の中から基準とする環境情報(基準環境情報)を定める。この基準環境情報として、例えばステップ602で最初に取得した環境情報、或いは図6のステップ203で取得した画像データ全体に関連づけられた環境情報としても良い。 First, in step 601, the CPU 18 executes area division processing. This area division processing is executed using an area division technique conventionally used. In the next step 602, the CPU 18 acquires environment information for each area. In the next step 603, the CPU 18 determines reference environmental information (reference environmental information) from the environmental information for each area. The reference environment information may be, for example, environment information first acquired in step 602 or environment information associated with the entire image data acquired in step 203 in FIG.
次のステップ604で、CPU18は、エリア毎の環境情報のうち、基準環境情報と異なる環境情報が存在するか否かを判断する。この判断は、通常1枚の画像で異なる環境情報が存在しないことを前提にした判断である。CPU18が肯定判断した場合、ステップ605で基準環境情報と異なる環境情報に基準環境情報を代入して処理を終了し、CPU18が否定判断した処理が終了する。 In the next step 604, the CPU 18 determines whether there is environment information different from the reference environment information among the environment information for each area. This determination is based on the premise that there is usually no different environmental information for one image. If the CPU 18 makes an affirmative determination, the reference environment information is substituted into environment information different from the reference environment information in step 605 and the process is terminated, and the process that the CPU 18 has determined to be negative is terminated.
以上説明したように、本実施の形態では、画像データを取得すると共に、該画像データに関連づけられ、該画像データが取得された際の環境に関する値を示す環境情報、及び当該画像データが示す画像が表示された際の環境に関する値を示す環境情報のうちのいずれか1つの環境情報とを取得する環境情報取得手段(ステップ101、ステップ103)と、前記環境情報取得手段により取得された環境情報が示す値が、所定の範囲内の値か否かを判断する判断手段(ステップ104)と、前記判断手段により前記値が前記所定の範囲内の値ではないと判断された場合に、前記環境情報を修正する修正手段(ステップ104)と、を有する。 As described above, in the present embodiment, the image data is acquired, the environment information that is associated with the image data and indicates a value related to the environment when the image data is acquired, and the image indicated by the image data Environmental information acquisition means (step 101, step 103) for acquiring any one of the environmental information indicating the value related to the environment when is displayed, and the environmental information acquired by the environmental information acquisition means Determining means (step 104) for determining whether or not the value indicated by is a value within a predetermined range, and when the determination means determines that the value is not within the predetermined range, the environment Correction means (step 104) for correcting the information.
また、本実施の形態では、前記判断手段により前記値が前記所定の範囲内の値ではないと判断された場合に、前記環境情報が不適切であることを示す警告を表示する警告表示手段(ステップ206)を更に有する。 In the present embodiment, a warning display means for displaying a warning indicating that the environmental information is inappropriate when the determination means determines that the value is not within the predetermined range. Step 206) is further included.
また、本実施の形態では、前記環境情報は、CIECAM02へ変換する際に使用される環境変数(周辺照度、周辺白色輝度、デバイス白色輝度、サンプルの相対3刺激値、白基準の相対3刺激値、背景部の相対輝度、デバイス観察条件、周辺の影響度、色誘導因子、及び順応度因子)であるようにしても良い。 In the present embodiment, the environment information is an environment variable (peripheral illuminance, peripheral white luminance, device white luminance, sample relative tristimulus value, white reference relative tristimulus value used when converting to CIECAM02. , Background portion relative luminance, device observation condition, peripheral influence, color induction factor, and adaptation factor).
また、本実施の形態では、前記修正手段により修正された環境情報が示す値を表示する修正情報表示手段(ステップ206)を更に有する。 Further, in the present embodiment, there is further provided correction information display means (step 206) for displaying a value indicated by the environment information corrected by the correction means.
また、本実施の形態では、前記環境情報に基づき、前記画像データを出力デバイス用のデータ変換する変換手段(プリンタドライバ)と、前記変換手段により変換された前記データを出力する出力手段(ネットワークI/F部24)と、を更に有するようにしても良い。 In the present embodiment, based on the environment information, the image data is converted to output device data (printer driver), and the output means (network I) that outputs the data converted by the conversion device. / F section 24).
また、本実施の形態では、前記画像データに関連づけられている前記環境情報が複数存在する場合、前記判断手段は、全ての前記環境情報について、該環境情報が示す値が、前記所定の範囲内の値か否かを判断する(ステップ604)。 Further, in the present embodiment, when there are a plurality of the environment information associated with the image data, the determination unit determines that the value indicated by the environment information is within the predetermined range for all the environment information. It is determined whether or not the value is (step 604).
また、本実施の形態では、画像データを取得すると共に、該画像データに関連づけられ、該画像データが取得された際の環境に関する値を示す環境情報、及び当該画像データが示す画像が表示された際の環境に関する値を示す環境情報のうちのいずれか1つの環境情報とを取得する環境情報取得ステップ(ステップ101、ステップ103)と、前記環境情報取得ステップにより取得された環境情報が示す値が、所定の範囲内の値か否かを判断する判断ステップ(ステップ104)と、前記判断ステップにより前記値が前記所定の範囲内の値ではないと判断された場合に、前記環境情報を修正する修正ステップ(ステップ104)と、を有する処理をコンピュータで実行する。 In the present embodiment, image data is acquired, environment information indicating a value related to the environment when the image data is acquired, and an image indicated by the image data are displayed. An environment information acquisition step (step 101, step 103) for acquiring any one of the environment information indicating values related to the environment, and a value indicated by the environment information acquired by the environment information acquisition step A judgment step (step 104) for judging whether or not the value is within a predetermined range; and when the judgment step judges that the value is not a value within the predetermined range, the environmental information is corrected. A process having a correction step (step 104) is executed by a computer.
なお、以上説明した各フローチャートにおける判断処理で用いられた各値は、その値に限定するものではなく、ユーザによる設定、或いは仕様として適宜定めることができる。また、各フローチャートの処理の流れは一例であり、本発明の主旨を逸脱しない範囲内で処理順序を入れ替えたり、新たなステップを追加したり、不要なステップを削除したりすることができることは言うまでもない。 Each value used in the determination process in each flowchart described above is not limited to that value, and can be appropriately determined as a setting or specification by the user. Further, the processing flow of each flowchart is an example, and it goes without saying that the processing order can be changed, new steps can be added, and unnecessary steps can be deleted without departing from the gist of the present invention. Yes.
10 パソコン
18 CPU
20 HDD
28 表示部
10 PC 18 CPU
20 HDD
28 Display section
Claims (6)
前記環境情報取得手段が取得した複数の環境情報から基準とする1つの基準環境情報を選択する基準環境情報選択手段と、
前記環境情報取得手段が取得した環境情報に、前記基準環境情報と異なる環境情報が存在するか否かを判断する判断手段と、
前記判断手段が前記基準環境情報と異なると判断した環境情報を前記基準環境情報に変更する修正手段と、
を有する画像処理装置。 When the image data is composed of a plurality of images, the image data of the plurality of images constituting the image data is acquired and associated with each of the image data of the plurality of images constituting the image data. Among environment information indicating a value related to the environment when image data of the plurality of images constituting the image is acquired, and environment information indicating a value related to the environment when the plurality of images constituting the image data are displayed Environmental information acquisition means for acquiring any one of the environmental information ;
Reference environment information selection means for selecting one reference environment information as a reference from a plurality of environment information acquired by the environment information acquisition means;
Determining means for determining whether or not environmental information different from the reference environmental information exists in the environmental information acquired by the environmental information acquiring means ;
Correction means for changing the environment information determined by the determination means to be different from the reference environment information to the reference environment information ;
An image processing apparatus.
前記変換手段により変換された前記データを出力する出力手段と、
を更に有する請求項1から請求項4のいずれか1項に記載の画像処理装置。 Conversion means for converting the image data into data for an output device based on the environment information;
Output means for outputting the data converted by the conversion means;
The image processing apparatus according to any one of claims 1 to 4, further comprising:
画像データが複数の画像からなる場合、前記画像データを構成する前記複数の画像の画像データを取得すると共に、前記画像データを構成する前記複数の画像の画像データの各々に関連づけられ、前記画像データを構成する前記複数の画像の画像データが取得された際の環境に関する値を示す環境情報、及び前記画像データを構成する前記複数の画像が表示された際の環境に関する値を示す環境情報のうちのいずれか1つの環境情報を取得する環境情報取得手段、
前記環境情報取得手段が取得した複数の環境情報から基準とする1つの基準環境情報を選択する基準環境情報選択手段、
前記環境情報取得手段が取得した環境情報に、前記基準環境情報と異なる環境情報が存在するか否かを判断する判断手段、及び前記判断手段が前記基準環境情報と異なると判断した環境情報を前記基準環境情報に変更する修正手段
として機能させるための画像処理プログラム。 Computer
When the image data is composed of a plurality of images, the image data of the plurality of images constituting the image data is acquired and associated with each of the image data of the plurality of images constituting the image data. Among environment information indicating a value related to the environment when image data of the plurality of images constituting the image is acquired, and environment information indicating a value related to the environment when the plurality of images constituting the image data are displayed Environmental information acquisition means for acquiring any one of the environmental information,
Reference environment information selection means for selecting one reference environment information as a reference from a plurality of environment information acquired by the environment information acquisition means;
The environmental information acquired by the environmental information acquisition means includes determination means for determining whether environmental information different from the reference environmental information exists, and environmental information determined by the determination means to be different from the reference environmental information. Correction means to change to standard environment information
Image processing program to function as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007015408A JP4888132B2 (en) | 2007-01-25 | 2007-01-25 | Image processing apparatus and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007015408A JP4888132B2 (en) | 2007-01-25 | 2007-01-25 | Image processing apparatus and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008182587A JP2008182587A (en) | 2008-08-07 |
JP4888132B2 true JP4888132B2 (en) | 2012-02-29 |
Family
ID=39726136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007015408A Expired - Fee Related JP4888132B2 (en) | 2007-01-25 | 2007-01-25 | Image processing apparatus and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4888132B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4221577B2 (en) * | 2003-03-18 | 2009-02-12 | 富士ゼロックス株式会社 | Image processing device |
JP3858859B2 (en) * | 2003-07-14 | 2006-12-20 | セイコーエプソン株式会社 | Image data output adjustment |
JP2005210526A (en) * | 2004-01-23 | 2005-08-04 | Konica Minolta Photo Imaging Inc | Image processing apparatus, method, and program, image pickup device, and image data outputting method and program |
JP4537111B2 (en) * | 2004-04-21 | 2010-09-01 | 株式会社日立ハイテクノロジーズ | Inspection method and inspection apparatus using electron beam |
JP4366286B2 (en) * | 2004-10-06 | 2009-11-18 | キヤノン株式会社 | Image processing method, image processing apparatus, and computer program |
-
2007
- 2007-01-25 JP JP2007015408A patent/JP4888132B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008182587A (en) | 2008-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2539884B1 (en) | Display management methods and apparatus | |
JP4636143B2 (en) | Information processing apparatus, information processing method, and program | |
JP5153566B2 (en) | Image processing system, image processing apparatus, and image processing method | |
JP2007081586A (en) | Image processing unit and image processing method, program thereof, and recording medium | |
JP2005025190A (en) | Method of visually measuring brightness property of ambient lighting around display | |
JP2003023646A (en) | Method for automatically generating frame for digital image | |
US20060250411A1 (en) | Apparatus and method to edit color profile | |
JP5003825B2 (en) | Image processing method, image processing apparatus, and program | |
JP5387713B2 (en) | Image adjustment apparatus, image adjustment system, and program | |
JPH10302061A (en) | Digital processing method combining color cast removal and contrast emphasis of digital color image | |
JP6907748B2 (en) | Color adjusters, color processing methods, color processing systems and programs | |
JP2009188947A (en) | Color processing apparatus and color processing method | |
JP4888132B2 (en) | Image processing apparatus and image processing program | |
US11128848B2 (en) | Information processing apparatus, method, and storage medium | |
US10701246B2 (en) | Image processing apparatus for generating an image based on capturing images of a material and an image processing apparatus that generates color data of a material on a background | |
JP2008182586A (en) | Image processor, and image processing program | |
JP4974030B2 (en) | Image processing apparatus and image processing method | |
JP5235551B2 (en) | Image processing apparatus and method | |
JP6755762B2 (en) | Image processing device and image processing method | |
JP6212845B2 (en) | Display control device, display device, projection device, system, and display control method | |
JP4574533B2 (en) | Color processing method, program, and light source estimation device | |
JP4983955B2 (en) | Image processing apparatus and image processing program | |
JP2008042835A (en) | Image processor, image processing method, program, and recording medium | |
JP5300672B2 (en) | Image processing apparatus and image processing method | |
KR20070053543A (en) | White balance adjustment apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111128 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |