JP2006042004A - Image processing unit and image processing method - Google Patents

Image processing unit and image processing method Download PDF

Info

Publication number
JP2006042004A
JP2006042004A JP2004219977A JP2004219977A JP2006042004A JP 2006042004 A JP2006042004 A JP 2006042004A JP 2004219977 A JP2004219977 A JP 2004219977A JP 2004219977 A JP2004219977 A JP 2004219977A JP 2006042004 A JP2006042004 A JP 2006042004A
Authority
JP
Japan
Prior art keywords
image
data
raw data
unit
raw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004219977A
Other languages
Japanese (ja)
Other versions
JP4852830B2 (en
Inventor
Isao Shimizu
勲 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004219977A priority Critical patent/JP4852830B2/en
Publication of JP2006042004A publication Critical patent/JP2006042004A/en
Application granted granted Critical
Publication of JP4852830B2 publication Critical patent/JP4852830B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To enhance the processing speed of a development process and a format conversion process at the time of acquiring image data with desired quality from RAW data, which have been obtained by the digital conversion of an output signal of an imaging element. <P>SOLUTION: The image processing unit includes a data acquiring means for taking in a compensation parameter for adjusting the RAW data which have been obtained by the digital conversion of an image signal outputted from an imaging element and the image quality of the RAW data, a RAW data development means for compensating the image quality of the RAW data and carrying out development based on the compensation parameter taken in by the data acquiring means, and a format conversion means for converting the RAW data which have been subjected to development processes, to a prescribed data format and generating as an output. In the image processing unit, the compensation parameter generated from the image compensation unit is obtained and the image quality of the RAW data is compensated based on the compensation parameter and converted into a prescribed data format after the development process has been carried out. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像処理装置及び画像処理方法に関するものである。詳細は、RAWデータの現像処理やフォーマット変換処理を高速で実行できるようにした画像処理装置及び画像処理方法に関するものである。   The present invention relates to an image processing apparatus and an image processing method. More specifically, the present invention relates to an image processing apparatus and an image processing method which can execute RAW data development processing and format conversion processing at high speed.

従来技術において、デジタルカメラなどの撮像装置によって撮影した画像を記録・保存するときは、撮像レンズを介した光が結像して生成される画像をCCD(Charge Coupled Device)などの撮像素子によって電気信号(以下、画像信号)に変換し、この画像信号をA/D(Analog/Digital)変換回路でデジタルデータに変換し、信号処理回路でホワイトバランス補正、ガンマ変換処理、階調補正、シャープネス処理などの信号処理を施し、更に、JPEG(Joint Photographic Experts Group)やTIFF(Tagged Image File Format)などの汎用的なデータフォーマットに変換してからメモリカードなどの記録媒体に記録・保存している。   In the prior art, when an image taken by an imaging device such as a digital camera is recorded and stored, an image generated by imaging light through an imaging lens is electrically converted by an imaging device such as a CCD (Charge Coupled Device). This signal is converted into digital data by an A / D (Analog / Digital) conversion circuit, and white balance correction, gamma conversion processing, gradation correction, and sharpness processing are performed by the signal processing circuit. In addition, it is converted into a general-purpose data format such as JPEG (Joint Photographic Experts Group) or TIFF (Tagged Image File Format), and then recorded and stored in a recording medium such as a memory card.

このようにして記録・保存された画像(画像データ)は、撮像素子から出力される画像信号をデジタル変換したデータを補正処理したり、所定のデータフォーマットへ変換するなど、いわゆる現像処理を自動的に実行して生成されるデータであるため、ユーザの好みに応じた画質で画面表示させたり、印刷させることができない場合がある。   The image (image data) recorded / saved in this way is automatically subjected to so-called development processing such as correction processing of data obtained by digitally converting the image signal output from the image sensor or conversion to a predetermined data format. Therefore, there are cases where the data cannot be displayed on the screen or printed with an image quality according to the user's preference.

そこで、撮像素子からの出力信号をデジタル変換したままの状態の画像データ、すなわち、補正処理やフォーマット変換処理などの信号処理を行っていない状態のデータ(以下、RAWデータ)をそのまま記録・保存しておき、このRAWデータをコンピュータなどに出力して好みに応じた画質に調整できるようにした撮像装置が存在する。   Therefore, image data in a state where the output signal from the image sensor is digitally converted, that is, data in a state where signal processing such as correction processing and format conversion processing is not performed (hereinafter, RAW data) is recorded and stored as it is. There is an image pickup apparatus in which the RAW data is output to a computer or the like so that the image quality can be adjusted according to the preference.

RAWデータは、補正や変換、圧縮などの処理が為されておらず、データサイズが大きくて、撮像装置自体で所望の画質に調整することが困難であるため、記録媒体や通信手段などを介してコンピュータなどに出力し、コンピュータに導入されている画像補正ソフトウェアなどを使用して所望の画質に調整してから汎用的なデータフォーマットに変換することによって、ユーザの好みに応じた画質で画面表示したり、印刷することができる。   Since RAW data is not subjected to processing such as correction, conversion, and compression, the data size is large, and it is difficult to adjust to a desired image quality by the imaging apparatus itself. Output to a computer, etc., adjusted to the desired image quality using image correction software installed on the computer, etc., and then converted to a general-purpose data format, thereby displaying the screen with image quality according to the user's preference Can be printed.

このようなRAWデータを記録する装置やRAWデータを補正する装置として、例えば、CCD−RAWの画像データを再生用パラメータとともに画像ファイルに記録し、プリントを指定するプリントファイルに画像ファイルがCCD−RAWデータであることを示す画像種別情報と、CCD−RAWデータを作成した機種に関する情報とを記録することにより、ラボシステムやコンピュータで記録された画像データを再生する場合、画像データを読み込む前に、CCD−RAWデータであることを識別し、更に、撮影したカメラの機種を識別し、機種に合わせて適切な再生処理を円滑に行い、機種依存の調整を適正に行うことができる画像撮影装置と、この画像ファイルとプリントファイルによって、当該画像ファイルの画像種別を識別し、CCD−RAWデータである場合に、機種情報を識別して、機種毎に異なる画像補正処理をバッチ処理で行うことができ、プリント処理の生産性を向上させることができる画像処理装置などが考案されている(特許文献1参照)。
特開2001−2233979号公報(第10頁,図3、第13頁,図15−17)
As a device for recording such RAW data or a device for correcting RAW data, for example, image data of CCD-RAW is recorded in an image file together with playback parameters, and the image file is stored in the print file for designating the print. When reproducing image data recorded by a lab system or a computer by recording image type information indicating that it is data and information on the model that created the CCD-RAW data, before reading the image data, An image photographing apparatus capable of identifying CCD-RAW data, further identifying the model of the photographed camera, smoothly performing appropriate reproduction processing according to the model, and appropriately performing model-dependent adjustment; The image type of the image file is identified by the image file and the print file. In the case of CCD-RAW data, an image processing apparatus that can identify model information and perform different image correction processing for each model by batch processing and improve print processing productivity has been devised. (See Patent Document 1).
JP 2001-233979 A (page 10, FIG. 3, page 13, FIG. 15-17)

しかしながら、コンピュータなどに導入した画像補正ソフトウェアによってRAWデータの現像処理を行う場合、所望の画質の画像データが得られるものの、撮像装置の信号処理部などハードウェアによって行う現像処理と比べて処理時間がかかってしまうという問題があり、また、コンピュータの性能や画像補正ソフトウェアの違いによって処理速度が左右されてしまうという問題もある。   However, when RAW data development processing is performed by image correction software installed in a computer or the like, although image data with a desired image quality can be obtained, the processing time is longer than development processing performed by hardware such as a signal processing unit of an imaging apparatus. There is also a problem that the processing speed is affected by the difference in the performance of the computer and the image correction software.

従って、RAWデータの現像処理やデータフォーマット変換の処理速度を高速化することに解決しなければならない課題を有する。   Accordingly, there is a problem that must be solved to increase the processing speed of RAW data development processing and data format conversion.

前記課題を解決するため、本発明に係る画像処理装置及び画像処理方法は次のような構成にすることである。   In order to solve the above problems, an image processing apparatus and an image processing method according to the present invention are configured as follows.

(1)撮像素子から出力される画像信号をデジタル変換して得られるRAWデータや前記RAWデータの画質を調整するための補正パラメータを取り込むことができるデータ取得手段と、前記データ取得手段で取り込んだ前記補正パラメータに基づいて前記RAWデータの画質を補正して現像処理することができるRAWデータ現像手段と、前記RAWデータ現像手段で現像処理されたRAWデータを所定のデータフォーマットに変換して出力するフォーマット変換手段と、を備えていることを特徴とする画像処理装置。
(2)更に、画像を撮影するための撮像レンズと、前記撮像レンズを通過してくる光が結像して生成される画像を電気信号に変換し、画像信号として出力する撮像素子と、前記撮像素子から出力される画像信号をデジタル変換してRAWデータを生成するRAWデータ生成手段と、を具備していることを特徴とする(1)に記載の画像処理装置。
(3)画像補正装置と画像処理装置による画像処理方法であって、前記画像補正装置は、撮像素子から出力される画像信号をデジタル変換して得られるRAWデータや前記RAWデータをもとに生成された画像データを取り込み、該取り込んだRAWデータや画像データに対する所定のパラメータを所望の画質となるように調整し、該調整に応じた補正パラメータを出力し、前記画像処理装置は、前記RAWデータと前記画像補正装置から出力される補正パラメータを取得し、該取得した補正パラメータに基づいて前記RAWデータの画質を補正して現像処理し、該現像処理したRAWデータを所定のデータフォーマットに変換して出力することを特徴とする画像処理方法。
(1) RAW data obtained by digitally converting an image signal output from the image sensor and a data acquisition unit that can acquire a correction parameter for adjusting the image quality of the RAW data, and the data acquisition unit RAW data developing means capable of correcting the image quality of the RAW data based on the correction parameter and developing the RAW data, and converting the RAW data developed by the RAW data developing means into a predetermined data format and outputting the data. An image processing apparatus comprising: a format conversion unit.
(2) Further, an image pickup lens for taking an image, an image pickup element that converts an image generated by forming an image of light passing through the image pickup lens into an electric signal, and outputs the electric signal; The image processing apparatus according to (1), further comprising: a RAW data generation unit configured to digitally convert an image signal output from the image sensor to generate RAW data.
(3) An image processing method using an image correction apparatus and an image processing apparatus, wherein the image correction apparatus is generated based on RAW data obtained by digitally converting an image signal output from an image sensor or the RAW data Captured image data, adjusting predetermined parameters for the captured RAW data and image data so as to obtain a desired image quality, and outputting correction parameters according to the adjustment. Correction parameters output from the image correction device are acquired, image quality of the RAW data is corrected based on the acquired correction parameters, development processing is performed, and the developed RAW data is converted into a predetermined data format. An image processing method.

上記構成のように、画像処理装置にRAWデータの画質を調整するための補正パラメータを取り込むデータ取込手段を設け、画像処理装置のRAWデータ現像手段がデータ取込手段で取り込んだ補正パラメータに基づいてRAWデータの画質を補正して現像処理し、画像処理装置のフォーマット変換手段で所定のデータフォーマットに変換して出力するので、RAWデータを現像処理やフォーマット変換処理を画像処理装置側で実行させることができる。   As described above, the image processing apparatus is provided with data fetching means for fetching correction parameters for adjusting the image quality of RAW data, and based on the correction parameters fetched by the RAW data developing means of the image processing apparatus by the data fetching means. Then, the image quality of the RAW data is corrected and developed, converted into a predetermined data format by the format conversion means of the image processing apparatus, and output, so that the RAW data is subjected to development processing and format conversion processing on the image processing apparatus side. be able to.

本発明は、撮像装置などの画像処理装置が持つハードウェア(信号処理部)を利用してRAWデータの現像処理やフォーマット変換処理を実行できるようにしたことにより、従来、コンピュータなどに導入した画像補正ソフトウェアによって処理していたRAWデータの現像処理やフォーマット変換処理を高速に実行させることができるという優れた効果を奏するものである。   According to the present invention, an image that has been introduced into a computer or the like conventionally can be executed by using a hardware (signal processing unit) possessed by an image processing apparatus such as an imaging apparatus so as to execute a RAW data development process and a format conversion process. This has an excellent effect that the development processing and format conversion processing of the RAW data processed by the correction software can be executed at high speed.

次に、本発明の画像処理装置及び画像処理方法による実施の形態について図面を参照して説明する。但し、図面は専ら解説のためのものであって、本発明の技術的範囲を限定するものではない。   Next, embodiments of the image processing apparatus and the image processing method of the present invention will be described with reference to the drawings. However, the drawings are only for explanation, and do not limit the technical scope of the present invention.

図1は、本発明に係る画像処理装置の構成を簡略化して示したブロック図である。   FIG. 1 is a block diagram showing a simplified configuration of an image processing apparatus according to the present invention.

画像処理装置100は、RAWデータやRAWデータを調整するための補正パラメータを取り込み、補正パラメータに基づいてRAWデータを補正処理し、所定のデータフォーマットに変換して出力することができる装置であり、インターフェイス部110(以下、I/F部110)、RAW現像部120、フォーマット変換部130、画像記録部140、CPU(Central Processing Unit)150、メモリ160、表示部170などを備え、装置内部では、バス1を介してデータや制御信号などをやり取りしている。   The image processing apparatus 100 is an apparatus that can capture RAW data and correction parameters for adjusting RAW data, correct RAW data based on the correction parameters, convert the RAW data into a predetermined data format, and output the data. An interface unit 110 (hereinafter referred to as I / F unit 110), a RAW development unit 120, a format conversion unit 130, an image recording unit 140, a CPU (Central Processing Unit) 150, a memory 160, a display unit 170, etc. Data and control signals are exchanged via the bus 1.

I/F部110は、画像補正装置200など他の装置と接続してデータ通信する通信インターフェイス、記録媒体などを装着してデータを授受することができるインターフェイスなどであり、CPU150の制御に従い、RAWデータ及びRAWデータを調整するための補正パラメータなどの入出力が行われる。   The I / F unit 110 is a communication interface that communicates with another apparatus such as the image correction apparatus 200 and performs data communication, an interface that can be attached with a recording medium and the like, and can exchange data. Input / output of correction parameters for adjusting data and RAW data is performed.

RAW現像部120は、CPU150の制御に従い、I/F部110を介して取得した補正パラメータが設定され、この補正パラメータに基づいて、RAWデータに所定の信号処理を施して画質を補正する、いわゆる現像処理を実行し、現像処理したRAWデータを出力する。   The RAW developing unit 120 is set with correction parameters acquired via the I / F unit 110 under the control of the CPU 150, and based on the correction parameters, the RAW data is subjected to predetermined signal processing to correct image quality. The development process is executed, and the developed RAW data is output.

フォーマット変換部130は、CPU150の制御に従い、RAW現像部120で現像処理された画像データの圧縮処理などを行い、JPEG(Joint Photographic Experts Group)などの所定のデータフォーマットに変換し、画像記録部140、表示部170,I/F部110などに出力する。   The format conversion unit 130 performs compression processing of the image data developed by the RAW development unit 120 under the control of the CPU 150, converts the image data into a predetermined data format such as JPEG (Joint Photographic Experts Group), and the image recording unit 140 And output to the display unit 170, the I / F unit 110, and the like.

画像記録部140は、CPU150の制御に従って、RAWデータや画像データなどを記録・保存し、又、保存してあるデータを読み出して所定のブロックに送出する。   The image recording unit 140 records and saves RAW data, image data, and the like under the control of the CPU 150, and reads the saved data and sends it to a predetermined block.

CPU150は、メモリ160などに記憶してあるプログラムに基づいて、装置全体の制御や演算処理を行う。   The CPU 150 controls the entire apparatus and performs arithmetic processing based on a program stored in the memory 160 or the like.

メモリ160は、OS(Operating System)を読み込むために必要なプログラムコードやデータが予め記憶してあるROM(Read Only Memory)や、実行中のプログラムコードや処理中のデータを一時的に記憶しておくRAM(Random Access Memory)などから構成される。   The memory 160 temporarily stores a ROM (Read Only Memory) in which program codes and data necessary for reading an OS (Operating System) are stored in advance, and a program code being executed and data being processed. RAM (Random Access Memory).

表示部170は、CPU150の制御に従って、I/F部110,フォーマット変換部130,メモリ160などから送られてくる画像データや文字データなどを画面表示する。   The display unit 170 displays image data, character data, and the like transmitted from the I / F unit 110, the format conversion unit 130, the memory 160, and the like under the control of the CPU 150.

一方、画像補正装置200は、RAWデータや画像データを取り込み、画像補正ソフトウェアなどにより所定のパラメータを調整して所望の画質に補正し、この調整に応じた補正パラメータを出力することができる装置であり、インターフェイス部210(以下、I/F部210)、CPU(Central Processing Unit)220、メモリ230、記録部240、入力部250、出力部260などを備え、装置内部では、バス2を介してデータや制御信号などをやり取りしている。   On the other hand, the image correction apparatus 200 is an apparatus that can capture RAW data and image data, adjust predetermined parameters using image correction software or the like, correct the image quality to a desired image quality, and output correction parameters according to the adjustment. And includes an interface unit 210 (hereinafter referred to as an I / F unit 210), a CPU (Central Processing Unit) 220, a memory 230, a recording unit 240, an input unit 250, an output unit 260, and the like. Data and control signals are exchanged.

I/F部210は、画像処理装置100などと接続してデータ通信する通信インターフェイス、記録媒体などを装着してデータを授受することができるインターフェイスなどであり、CPU150の制御に従い、RAWデータを取り込んだり、RAWデータを調整するための補正パラメータなどの出力が行われる。   The I / F unit 210 is a communication interface that communicates with the image processing apparatus 100 to perform data communication, an interface that can be attached with a recording medium and the like to exchange data, and captures RAW data according to the control of the CPU 150. Or a correction parameter for adjusting the RAW data is output.

CPU220は、メモリ230や記録部240に記憶してあるプログラムに基づいて、装置全体の制御や演算処理を行う。また、後述する記録部240から読み出した画像補正ソフトウェアを実行し、画像データの画質調整を行い、調整に応じた補正パラメータを出力する。   The CPU 220 controls the entire apparatus and performs arithmetic processing based on programs stored in the memory 230 and the recording unit 240. Further, the image correction software read from the recording unit 240 described later is executed, image quality adjustment of the image data is performed, and correction parameters corresponding to the adjustment are output.

メモリ230は、OS(Operating System)を読み込むために必要なプログラムコードやデータが予め記憶してあるROM(Read Only Memory)や、実行中のプログラムコードや処理中のデータを一時的に記憶しておくRAM(Random Access Memory)などから構成される。   The memory 230 temporarily stores a ROM (Read Only Memory) in which program codes and data necessary for reading an OS (Operating System) are stored in advance, and a program code being executed and data being processed. RAM (Random Access Memory).

記録部240は、CPU220の制御に従って、RAWデータや画像データなど記録・保存し、又、保存してあるデータを読み出して所定のブロックに送出する。また、OS(Operating System)やRAWデータや画像データの画質を調整するためのアプリケーションソフトウェア(画像補正ソフトウェア)なども記録されている。   The recording unit 240 records and saves RAW data, image data, and the like under the control of the CPU 220, and reads the saved data and sends it to a predetermined block. In addition, OS (Operating System), application software (image correction software) for adjusting the image quality of RAW data and image data, and the like are also recorded.

入力部250は、キーボードやマウスなどの入力装置による操作に応じた指令をCPU220などに送り、所望の動作を実行させる。例えば、RAWデータの取り込みを指示したり、RAWデータを画面表示させたり、画像データの画質を補正するためにパラメータの調整を行う。   The input unit 250 sends a command corresponding to an operation by an input device such as a keyboard or a mouse to the CPU 220 or the like to execute a desired operation. For example, an instruction to import RAW data is displayed, the RAW data is displayed on the screen, and parameters are adjusted to correct the image quality of the image data.

出力部260は、CPU220の制御に従って、I/F部210,メモリ230,記録部240などから送られてくる画像データや文字データなどをCRT(Cathode Ray Tube)や液晶ディスプレイなどの表示装置に出力したり、プリンタなどの印刷装置に出力する。   The output unit 260 outputs image data, character data, and the like sent from the I / F unit 210, the memory 230, the recording unit 240, and the like to a display device such as a CRT (Cathode Ray Tube) or a liquid crystal display according to the control of the CPU 220. Or output to a printing device such as a printer.

続いて、図1に示した画像処理装置と画像補正装置による画像処理方法について、図3のフローチャートを参照しながら説明する。   Next, an image processing method by the image processing apparatus and the image correction apparatus shown in FIG. 1 will be described with reference to the flowchart of FIG.

まず、画像処理装置100は、画像補正装置200からI/F部110を介してRAWデータを取り込み、メモリ160に一時記憶する(ST101)。   First, the image processing apparatus 100 takes RAW data from the image correction apparatus 200 via the I / F unit 110 and temporarily stores it in the memory 160 (ST101).

なお、画像処理装置100の画像記録部140にRAWデータが保存している場合は、画像記録部140から読み出し、又、記録媒体などに記録してあるRAWデータを取り込むことも可能である。   When RAW data is stored in the image recording unit 140 of the image processing apparatus 100, it is possible to read out the RAW data read from the image recording unit 140 or recorded on a recording medium or the like.

次に、画像処理装置100は、画像補正装置200からI/F部110を介してRAWデータの画質を調整するための補正パラメータ(初期値)を取り込み、RAW現像部120に設定する(ST102)。   Next, the image processing apparatus 100 takes in correction parameters (initial values) for adjusting the image quality of RAW data from the image correction apparatus 200 via the I / F unit 110 and sets them in the RAW development unit 120 (ST102). .

次に、画像処理装置100のRAW現像部120は、設定された補正パラメータに基づき、メモリに160に一時記憶されているRAWデータに所定の信号処理を施して画質を補正する、いわゆる、現像処理を実行する(ST103)。   Next, the RAW developing unit 120 of the image processing apparatus 100 corrects the image quality by performing predetermined signal processing on the RAW data temporarily stored in the memory 160 based on the set correction parameter, so-called development processing. Is executed (ST103).

次に、画像処理装置100は、フォーマット変換部130によって、RAW現像部120で現像処理されたRAWデータを所定のデータフォーマットに変換する(ST104)。   Next, the image processing apparatus 100 uses the format conversion unit 130 to convert the RAW data developed by the RAW development unit 120 into a predetermined data format (ST104).

続いて、画像処理装置100は、I/F部110を介し、所定のデータフォーマットに変換した画像データ(JPEGデータなど)を画像補正装置200に出力する(ST105)。   Subsequently, the image processing apparatus 100 outputs the image data (such as JPEG data) converted into a predetermined data format to the image correction apparatus 200 via the I / F unit 110 (ST105).

画像補正装置200は、記録部240などから読み出された画像補正ソフトウェアが起動しており、CPU220の制御に従い、I/F部210を介して画像処理装置100などからの画像データ(JPEGデータなど)を受信すると、この画像データ(JPEGデータなど)をメモリ230に一時記憶し、出力部260を介してディスプレイなどに画面表示させる(ST106)。   In the image correction apparatus 200, image correction software read from the recording unit 240 or the like is activated, and image data (JPEG data or the like) from the image processing apparatus 100 or the like via the I / F unit 210 is controlled by the CPU 220. ) Is temporarily stored in the memory 230, and is displayed on the screen via the output unit 260 (ST106).

そして、画像補正装置200の出力部260を介して画面表示された画像データが所望の画質に補正されているか否かを判別する(ST107)。   Then, it is determined whether or not the image data displayed on the screen via the output unit 260 of the image correction apparatus 200 has been corrected to a desired image quality (ST107).

画面表示された画像データが所望の画質に補正されている場合は、キーボードやマウスなどの入力装置によって所定の操作を実行することにより、メモリ230に一時記憶してある画像データを記録部240又は画像処理装置100の画像記録部140や記録媒体などに記録・保存して処理を終了する(ST107→ST110→終了)。   When the image data displayed on the screen is corrected to a desired image quality, a predetermined operation is executed by an input device such as a keyboard or a mouse, whereby the image data temporarily stored in the memory 230 is stored in the recording unit 240 or The process ends after recording and saving in the image recording unit 140 or the recording medium of the image processing apparatus 100 (ST107 → ST110 → end).

画面表示された画像データが所望の画質に補正されていない場合は、キーボードやマウスなどの入力装置を操作し、画像補正ソフトウェアによって所定のパラメータを調整し、画像データが所望の画質になるように補正する(ST107→ST108)。   If the image data displayed on the screen has not been corrected to the desired image quality, an input device such as a keyboard or mouse is operated and predetermined parameters are adjusted by the image correction software so that the image data has the desired image quality. Correction is made (ST107 → ST108).

画像補正装置200のCPU220は、画像補正ソフトウェアによる画質データの画質調整が完了すると、調整に応じた補正パラメータをI/F部210を介して画像処理装置100に送出する(ST109)。   When the image quality adjustment of the image quality data by the image correction software is completed, the CPU 220 of the image correction apparatus 200 sends a correction parameter corresponding to the adjustment to the image processing apparatus 100 via the I / F unit 210 (ST109).

画像処理装置100では、ステップST102以降の処理と同様、I/F部110を介して画像補正装置200から送られてくる補正パラメータを取り込むと、この補正パラメータをRAW現像部120に設定し、補正パラメータに基づいてRAWデータの現像処理を実行し、フォーマット変換部130で所定のフォーマットに変換して画像補正装置200に送り出す(ST109→ST102→・・・)。   In the image processing apparatus 100, when the correction parameters sent from the image correction apparatus 200 are fetched via the I / F unit 110, the correction parameters are set in the RAW developing unit 120 and correction is performed as in the processes after step ST102. RAW data development processing is executed based on the parameters, converted into a predetermined format by the format conversion unit 130, and sent to the image correction apparatus 200 (ST109 → ST102 →...).

このように、画像補正装置200によって画像データの画質を調整し、調整に応じた補正パラメータを画像処理装置100に送り、画像処理装置100は、この補正パラメータを取り込んでRAWデータの現像処理及びフォーマット変換する。そして、所望の画質となるまで上記の動作を繰り返し実行する。   In this way, the image correction device 200 adjusts the image quality of the image data and sends correction parameters corresponding to the adjustment to the image processing device 100. The image processing device 100 takes in the correction parameters and develops and formats the RAW data. Convert. Then, the above operation is repeatedly executed until a desired image quality is obtained.

次に、図1に示した画像処理装置100と画像補正装置200について具体的な装置を例に挙げて説明する。   Next, the image processing apparatus 100 and the image correction apparatus 200 illustrated in FIG. 1 will be described using specific apparatuses as examples.

図3は、図1に示した画像処理装置100に該当する撮像装置300と、図1に示した画像補正装置200に該当するコンピュータ400による構成を簡略化して示したブロック図である。   FIG. 3 is a block diagram showing a simplified configuration of the imaging apparatus 300 corresponding to the image processing apparatus 100 shown in FIG. 1 and the computer 400 corresponding to the image correction apparatus 200 shown in FIG.

まず、撮像装置300について説明する。撮像装置300は、撮像部301、A/D(Analog/Digital)変換部303、画像メモリ305、通信インターフェイス部310a(以下、通信I/F310a)、信号処理部320、フレームバッファ325、画像圧縮部330、画像伸張部335、画像記録部340、CPU(Central Processing Unit)350、RAM(Random Access Memory)360a、ROM(Read Only Memory)360b、表示部370、D/A(Digital/Analog)変換部375、記録媒体インターフェイス310b(以下、記録媒体I/F310b)などを備えている。   First, the imaging device 300 will be described. The imaging apparatus 300 includes an imaging unit 301, an A / D (Analog / Digital) conversion unit 303, an image memory 305, a communication interface unit 310a (hereinafter, communication I / F 310a), a signal processing unit 320, a frame buffer 325, and an image compression unit. 330, image expansion unit 335, image recording unit 340, CPU (Central Processing Unit) 350, RAM (Random Access Memory) 360a, ROM (Read Only Memory) 360b, display unit 370, D / A (Digital / Analog) conversion unit 375, a recording medium interface 310b (hereinafter, recording medium I / F 310b), and the like.

撮像部301は、撮像レンズ301a及び撮像素子301bを備えており、CPU350の制御に従い、撮像素子301b(例えば、CCD(Charge Coupled Device)など)によって、撮像レンズ301aを通過してくる光が結像して生成される画像を電気信号(以下、画像信号)に変換し、A/D変換回路303に送出する。   The imaging unit 301 includes an imaging lens 301a and an imaging element 301b. Under the control of the CPU 350, light that passes through the imaging lens 301a is imaged by the imaging element 301b (for example, a charge coupled device (CCD)). The generated image is converted into an electrical signal (hereinafter referred to as an image signal) and sent to the A / D conversion circuit 303.

A/D変換部303は、CPU350の制御に従い、撮像部310の撮像素子301bから送られてくる画像信号をデジタル信号に変換してRAWデータを生成し、画像メモリ305や信号処理部320へ送出する。   Under the control of the CPU 350, the A / D conversion unit 303 converts the image signal sent from the imaging element 301b of the imaging unit 310 into a digital signal, generates RAW data, and sends it to the image memory 305 and the signal processing unit 320. To do.

画像メモリ305は、CPU350の制御に従い、A/D変換部303で生成されたRAWデータを一時記憶し、バス3を介して所定のブロックへ送出する。   The image memory 305 temporarily stores the RAW data generated by the A / D conversion unit 303 under the control of the CPU 350 and sends it to a predetermined block via the bus 3.

通信I/F310aは、図1のI/F部110に該当し、コンピュータ400と接続してデータ通信する通信インターフェイスであり、CPU350の制御に従い、RAWデータ、画像データ、RAWデータを調整するための補正パラメータなどの入出力が行われる。   The communication I / F 310a corresponds to the I / F unit 110 in FIG. 1 and is a communication interface that connects to the computer 400 and performs data communication. The communication I / F 310a is used to adjust RAW data, image data, and RAW data according to the control of the CPU 350. Input / output of correction parameters and the like is performed.

なお、コンピュータ400との接続には、例えば、USB(Universal Serial Bus)、イーサネット(登録商標)、IEEE1394(Institute of Electrical and Electronic Engineers 1394)、Bluetoothなどの通信規格が用いられる。   For the connection with the computer 400, for example, a communication standard such as USB (Universal Serial Bus), Ethernet (registered trademark), IEEE 1394 (Institute of Electrical and Electronic Engineers 1394), Bluetooth, or the like is used.

信号処理部320は、図1のRAW現像部120に該当し、CPU350の制御に従い、通信I/F310aなどを介して取得した補正パラメータが設定され、この補正パラメータに基づいてRAWデータに各種信号処理を施して画質を補正する、いわゆる、RAWデータの現像処理を行い、現像処理したRAWデータをフレームバッファ325に出力し、又、バス3を介して所定のブロックへ送出する。   The signal processing unit 320 corresponds to the RAW development unit 120 in FIG. 1, and correction parameters acquired via the communication I / F 310a are set according to the control of the CPU 350. Various signal processing is performed on the RAW data based on the correction parameters. The so-called RAW data development process is performed to correct the image quality, and the developed RAW data is output to the frame buffer 325 and sent to a predetermined block via the bus 3.

具体的に説明すると、信号処理部320は、図4に例示するように、WB(ホワイトバランス)補正部321、ガンマ変換部322、RGB/YC変換部323、シャープネス処理部324などを備え、通信I/F310aなどを介して取得した補正パラメータ(WB補正量、ガンマ補正量、シャープネス補正量など)を該当する各部に設定する。   Specifically, as illustrated in FIG. 4, the signal processing unit 320 includes a WB (white balance) correction unit 321, a gamma conversion unit 322, an RGB / YC conversion unit 323, a sharpness processing unit 324, and the like. Correction parameters (WB correction amount, gamma correction amount, sharpness correction amount, etc.) acquired via the I / F 310a or the like are set in the corresponding units.

そして、RAWデータが送られてくると、WB補正部121は、設定したWB補正量に基づいてホワイトバランスを補正してガンマ変換部122に送り、ガンマ変換部122は、設定したガンマ補正量に基づいて画像の階調を補正してRGB/YC変換部123に送り、RGB/YC変換部123によって画像を構成するR(赤)/G(緑)/B(青)のデータ信号をY(輝度)/C(色)のデータ信号に変換してシャープネス処理部124へ送り、シャープネス処理部124は、設定したシャープネス補正量に基づいて画像の鮮鋭度を補正するというように、RAWデータの画質を補正するための所定の信号処理(RAWデータの現像処理)が行われる。   When the RAW data is sent, the WB correction unit 121 corrects the white balance based on the set WB correction amount and sends it to the gamma conversion unit 122, and the gamma conversion unit 122 sets the set gamma correction amount. On the basis of this, the gradation of the image is corrected and sent to the RGB / YC conversion unit 123, and the RGB (YC) conversion unit 123 converts the R (red) / G (green) / B (blue) data signals that constitute the image into Y ( (Brightness) / C (color) data signal and sent to the sharpness processing unit 124. The sharpness processing unit 124 corrects the sharpness of the image based on the set sharpness correction amount, so that the image quality of the RAW data is improved. Predetermined signal processing (RAW data development processing) is performed.

フレームバッファ325は、CPU350の制御に従い、信号処理部320で現像処理されたRAWデータを一時記憶し、記憶したRAWデータをD/A変換部375に送出し、又、バス3を介して所定のブロックへ送出する。   The frame buffer 325 temporarily stores the RAW data developed by the signal processing unit 320 according to the control of the CPU 350, sends the stored RAW data to the D / A conversion unit 375, and sends a predetermined data via the bus 3. Send to block.

画像圧縮部330は、図1のフォーマット変換部130に該当するものであり、CPU350の制御に従い、フレームバッファ325に一時記憶してある現像処理されたRAWデータを圧縮処理し、JPEGなどの所定のデータフォーマットに変換し、バス3を介して所定のブロックへ送出する。   The image compression unit 330 corresponds to the format conversion unit 130 of FIG. 1, and compresses the developed RAW data temporarily stored in the frame buffer 325 according to the control of the CPU 350, and performs predetermined processing such as JPEG. The data format is converted and sent to a predetermined block via the bus 3.

画像伸張部335は、CPU350の制御に従い、フォーマット変換された画像データに対して伸張処理などを行い、バス3を介して所定のブロックへ送出する。   The image decompression unit 335 performs decompression processing or the like on the format-converted image data in accordance with the control of the CPU 350 and sends it to a predetermined block via the bus 3.

画像記録部340は、図1の画像記録部140に該当するものであり、CPU350の制御に従って、バス3を介して送られてくるRAWデータや所定のデータフォーマットに変換された画像データ(JPEGデータなど)を記録・保存し、又、保存してあるRAWデータや画像データ(JPEGデータなど)を読み出して所定のブロックに送出する。   The image recording unit 340 corresponds to the image recording unit 140 of FIG. 1, and RAW data sent via the bus 3 or image data (JPEG data) converted into a predetermined data format under the control of the CPU 350. Etc.), and the stored RAW data and image data (JPEG data, etc.) are read out and sent to a predetermined block.

CPU350は、図1のCPU150に該当するものであり、ROM360bなどに予め記憶してあるプログラムに基づいて、装置全体の制御や演算処理を行う。   The CPU 350 corresponds to the CPU 150 in FIG. 1, and performs control and arithmetic processing of the entire apparatus based on a program stored in advance in the ROM 360b or the like.

RAM360a及びROM360bは、図1のメモリ160に該当し、装置全体を制御するためのプログラムやデータが予め記憶してあるメモリや実行中のプログラムコードや処理中のデータを一時的に記憶しておくメモリなどである。   The RAM 360a and the ROM 360b correspond to the memory 160 of FIG. 1, and temporarily store a memory in which programs and data for controlling the entire apparatus are stored in advance, a program code being executed, and data being processed. Such as memory.

表示部370及びD/A変換部375は、図1の表示部170に該当するものであり、D/A変換部375は、バス3を介して送られてくるRAWデータや画像データなどのデジタルデータを画面表示可能なアナログ信号に変換し、表示部370は、D/A変換部375でアナログ信号に変換されたRAWデータや画像データなどを画面表示する。   The display unit 370 and the D / A conversion unit 375 correspond to the display unit 170 of FIG. 1, and the D / A conversion unit 375 is a digital device such as RAW data or image data sent via the bus 3. The data is converted into an analog signal that can be displayed on the screen, and the display unit 370 displays the RAW data, image data, and the like converted into the analog signal by the D / A conversion unit 375 on the screen.

記録媒体I/F310bは、記録媒体(例えば、メモリーカードなど)を装着してデータを授受することができるインターフェイスに該当し、CPU350の制御に従い、記録媒体との間でRAWデータや画像データなどの読み出し、書き込みが行われる。   The recording medium I / F 310b corresponds to an interface through which a recording medium (for example, a memory card) can be attached and exchanged data. Under the control of the CPU 350, RAW data, image data, etc. Reading and writing are performed.

次に、コンピュータ400について説明する。コンピュータ400は、通信インターフェイス部410a(以下、通信I/F410a)、CPU(Central Processing Unit)420、RAM(Random Access Memory)430a、ROM(Read Only Memory)430b、ハードディスク440(以下、HDD440)、記録媒体インターフェイス410b(以下、記録媒体I/F410b)、入力装置450、入力インターフェイス455(以下、入力I/F445)、表示装置460、出力インターフェイス465(以下、出力I/F465)などを備え、装置内部では、バス4を介してデータや制御信号などをやり取りしている。   Next, the computer 400 will be described. The computer 400 includes a communication interface unit 410a (hereinafter referred to as communication I / F 410a), a CPU (Central Processing Unit) 420, a RAM (Random Access Memory) 430a, a ROM (Read Only Memory) 430b, a hard disk 440 (hereinafter referred to as HDD 440), a recording. A medium interface 410b (hereinafter referred to as a recording medium I / F 410b), an input device 450, an input interface 455 (hereinafter referred to as an input I / F 445), a display device 460, an output interface 465 (hereinafter referred to as an output I / F 465), etc. In this case, data and control signals are exchanged via the bus 4.

通信I/F410aは、図1のI/F部210に該当し、撮像装置300と接続してデータ通信する通信インターフェイスであり、CPU420の制御に従い、RAWデータ、画像データ、RAWデータを調整するための補正パラメータなどの入出力が行われる。   The communication I / F 410a corresponds to the I / F unit 210 in FIG. 1 and is a communication interface that is connected to the imaging apparatus 300 and performs data communication, and adjusts RAW data, image data, and RAW data according to the control of the CPU 420. Input / output of correction parameters and the like is performed.

CPU420は、図1のCPU220に該当し、ROM430bやHDD440に記憶してあるプログラムに基づいて、装置全体の制御や演算処理を行う。また、後述するHDD440から読み出した画像補正ソフトウェアによって、画像データの画質調整を行い、調整に応じた補正パラメータを出力する。   The CPU 420 corresponds to the CPU 220 in FIG. 1 and performs control and arithmetic processing of the entire apparatus based on programs stored in the ROM 430b and the HDD 440. Further, image quality adjustment of the image data is performed by image correction software read from the HDD 440 described later, and correction parameters corresponding to the adjustment are output.

RAM430a及びROM430bは、図1のメモリ230に該当し、OS(Operating System)を読み込むために必要なプログラムコードやデータが予め記憶してあるメモリや実行中のプログラムコードや処理中のデータを一時的に記憶しておくメモリなどである。   The RAM 430a and the ROM 430b correspond to the memory 230 in FIG. 1, and temporarily store a program code and data necessary for reading an OS (Operating System), a program code being executed, and a data being processed. Memory to be stored in the memory.

HDD440は、図1の記録部240に該当し、CPU420の制御に従って、RAWデータや画像データなどを記録・保存し、又、保存してあるデータを読み出して所定のブロックに送出する。更に、OS(Operating System)やRAWデータや画像データの画質を調整するためのアプリケーションソフトウェア(画像補正ソフトウェア)なども記録されている。   The HDD 440 corresponds to the recording unit 240 in FIG. 1, and records and stores RAW data, image data, and the like under the control of the CPU 420, and reads the stored data and sends it to a predetermined block. Furthermore, OS (Operating System), application software (image correction software) for adjusting the image quality of RAW data and image data, and the like are also recorded.

なお、HDD440以外の外部記憶装置、例えば、書き込み可能なCD(Compact Disc)やDVD(Digital Versatile Disk)などの光記録媒体を用いた記憶装置やフラッシュメモリ等の半導体メモリ等が用いた記憶装置を接続して動作させることも可能である。   An external storage device other than the HDD 440, for example, a storage device using an optical recording medium such as a writable CD (Compact Disc) or DVD (Digital Versatile Disk), a semiconductor device such as a flash memory, or the like. It is also possible to connect and operate.

記録媒体I/F410bは、記録媒体(例えば、メモリーカードなど)を装着してデータを授受することができるインターフェイスであり、CPU150の制御に従い、記録媒体との間でRAWデータや画像データなどの読み出し、書き込みが行われる。   The recording medium I / F 410b is an interface that allows data to be exchanged by mounting a recording medium (for example, a memory card), and reads RAW data, image data, and the like with the recording medium under the control of the CPU 150. , Writing is done.

入力装置450及び入力I/F445は、図1の入力部250に該当し、入力装置450であるキーボードやマウスなどの操作に応じた指令を入力I/F445を介してCPU420に送ってコンピュータ400に所望の動作を実行させる。例えば、RAWデータや画像データの取り込みを指示したり、画面表示させたり、画像補正ソフトウェアを介して画像データの画質を調整するなどの操作を行う。   The input device 450 and the input I / F 445 correspond to the input unit 250 of FIG. 1, and send commands to the CPU 400 via the input I / F 445 to the CPU 420 according to the operation of the keyboard and mouse that are the input device 450. A desired operation is executed. For example, operations such as instructing the acquisition of RAW data and image data, displaying on the screen, and adjusting the image quality of the image data via image correction software are performed.

出力I/F465及び表示装置460は、図1の出力部260に該当するものであり、CPU420の制御に従って、I/F部410a,記録媒体I/F410b,RAM430a及びROM430b,HDD440などから送られてくる画像データや文字データなどをCRT(Cathode Ray Tube)や液晶ディスプレイなどの表示装置に出力する。   The output I / F 465 and the display device 460 correspond to the output unit 260 in FIG. 1, and are sent from the I / F unit 410a, the recording medium I / F 410b, the RAM 430a, the ROM 430b, the HDD 440, and the like according to the control of the CPU 420. The incoming image data and character data are output to a display device such as a CRT (Cathode Ray Tube) or a liquid crystal display.

ここで、図4の撮像装置300(画像処理装置)の動作について説明する。   Here, the operation of the imaging apparatus 300 (image processing apparatus) in FIG. 4 will be described.

まず、撮影した画像を記録・保存するときの動作について説明する。   First, an operation when recording and saving a photographed image will be described.

図5(a)は、撮影した画像を自動的に現像処理し、所定のフォーマットに変換して記録・保存するときのデータ処理の過程を簡略化して模式的に示した図である。   FIG. 5A is a diagram schematically showing a process of data processing when a captured image is automatically developed, converted into a predetermined format, and recorded / saved.

まず、撮像部301の撮像レンズ301aを通過してくる光が結像して生成される画像を撮像素子301bによって電気信号(以下、画像信号)に変換し、変換した画像信号をA/D変換部303でデジタル信号に変換して信号処理部320に送る。このA/D変換部303で生成されたデータがRAWデータ(実線枠RAW)である。   First, an image generated by imaging the light passing through the imaging lens 301a of the imaging unit 301 is converted into an electrical signal (hereinafter referred to as an image signal) by the imaging element 301b, and the converted image signal is A / D converted. The unit 303 converts the signal into a digital signal and sends it to the signal processing unit 320. Data generated by the A / D conversion unit 303 is RAW data (solid line frame RAW).

信号処理部320では、予め設定されている設定値に基づき、RAWデータ(実線枠RAW)のホワイトバランスを補正し、階調を補正し、RGB/YC変換し、画像の鮮鋭度を補正するなど、RAWデータの現像処理を自動的に実行し、現像処理したRAWデータ(点線枠raw)をフレームバッファに325に送って一時記憶する。   The signal processing unit 320 corrects the white balance of the RAW data (solid line frame RAW), corrects the gradation, performs RGB / YC conversion, corrects the sharpness of the image, and the like based on a preset setting value. , The development processing of the RAW data is automatically executed, and the developed RAW data (dotted line raw) is sent to the frame buffer 325 and temporarily stored.

続いて、画像圧縮部330によって、フレームバッファ325に一時記憶されたRAWデータ(点線枠raw)を所定のデータフォーマットに変換する。例えば、JPEG形式のデータフォーマットに変換するための圧縮処理などを行う。   Subsequently, the image compression unit 330 converts the RAW data (dotted frame raw) temporarily stored in the frame buffer 325 into a predetermined data format. For example, compression processing for conversion to a JPEG data format is performed.

そして、画像圧縮部330で変換した画像データ(実線枠JPEG)は、記録媒体I/F310bを介して記録媒体10に送られ、記録媒体10に記録・保存される。   Then, the image data (solid line frame JPEG) converted by the image compression unit 330 is sent to the recording medium 10 via the recording medium I / F 310b, and is recorded / saved in the recording medium 10.

一方、図5(b)は、撮影した画像をRAWデータのまま記録・保存するときのデータ処理の過程を簡略化して模式的に示した図である。   On the other hand, FIG. 5B is a diagram schematically showing a process of data processing when a captured image is recorded / saved as RAW data.

まず、図5(a)と同様に、撮像部301の撮像レンズ301aを通過してくる光が結像して生成される画像を撮像素子301bによって画像信号に変換し、この画像信号をA/D変換部303によってデジタル信号に変換することによりRAWデータ(実線枠RAW)が生成される。   First, similarly to FIG. 5A, an image generated by imaging light passing through the imaging lens 301a of the imaging unit 301 is converted into an image signal by the imaging element 301b, and this image signal is converted to A / A. RAW data (solid line frame RAW) is generated by conversion into a digital signal by the D conversion unit 303.

ここで、A/D変換部303により生成されたRAWデータ(実線枠RAW)は、画像メモリ305に送られて一時記憶される。そして、画像メモリ305に一時記憶されたRAWデータ(実線枠RAW)は、そのまま記録媒体I/F310bを介して記録媒体10に送られ、記録媒体10に記録・保存される。   Here, the RAW data (solid line frame RAW) generated by the A / D conversion unit 303 is sent to the image memory 305 and temporarily stored. The RAW data (solid line frame RAW) temporarily stored in the image memory 305 is sent to the recording medium 10 via the recording medium I / F 310b as it is, and is recorded / saved in the recording medium 10.

このように、撮像装置300は、画像を撮影してRAWデータを生成することができる撮像部301及びA/D変換部303を備えており、A/D変換部303で生成したRAWデータをそのまま記録・保存することも可能であり、また、RAWデータを自動的に現像処理して所定のデータフォーマットに変換して記録・保存することもできる。   As described above, the imaging apparatus 300 includes the imaging unit 301 and the A / D conversion unit 303 that can capture an image and generate RAW data. The RAW data generated by the A / D conversion unit 303 is used as it is. It is also possible to record and save, and it is also possible to automatically develop and convert RAW data into a predetermined data format for recording and saving.

次に、記録媒体10に記録・保存してある画像データ(JPEGデータなど)又はRAWデータを撮像装置300で表示するときの動作について説明する。   Next, an operation when displaying image data (such as JPEG data) or RAW data recorded / stored in the recording medium 10 on the imaging apparatus 300 will be described.

図6(a)は、記録媒体に所定のフォーマットに変換して記録・保存されている画像データ(JPEGデータなど)を表示させるときのデータ処理の過程を簡略化して模式的に示した図である。   FIG. 6A is a diagram schematically showing a simplified data processing process when displaying image data (JPEG data or the like) recorded and stored after being converted into a predetermined format on a recording medium. is there.

まず、記録媒体10に記録されている画像データ(実線枠JPEG)を記録媒体I/F310bを介して取り込み、取り込んだ画像データを画像伸張部335に送る。   First, the image data (solid line frame JPEG) recorded on the recording medium 10 is captured via the recording medium I / F 310b, and the captured image data is sent to the image decompression unit 335.

画像伸張部335では、記録媒体I/F310bから送られてくる画像データ(実線枠JPEG)を画面表示可能な状態に伸張処理し、処理した画像データ(点線枠jpeg)をフレームバッファに325に一時記憶する。   The image decompression unit 335 decompresses the image data (solid line frame JPEG) sent from the recording medium I / F 310b to a screen displayable state, and temporarily processes the processed image data (dotted line frame jpeg) in the frame buffer 325. Remember.

そして、フレームバッファに325に一時記憶している伸張処理された画像データ(点線枠jpeg)を、D/A変換部375によってアナログ信号に変換して表示部370へ送り、表示部370に画像表示する。   Then, the decompressed image data (dotted line frame jpeg) temporarily stored in the frame buffer 325 is converted into an analog signal by the D / A conversion unit 375 and sent to the display unit 370, where the image is displayed on the display unit 370. To do.

一方、図6(b)は、記録媒体に記録・保存されているRAWデータを表示させるときのデータ処理の過程を簡略化して模式的に示した図である。   On the other hand, FIG. 6B is a diagram schematically showing a process of data processing when displaying RAW data recorded / saved on a recording medium.

まず、図6(a)と同様に、記録媒体I/F310bを介して記録媒体10に記録されているRAWデータ(実線枠RAW)を取り込み、取り込んだRAWデータを信号処理部320に送る。   First, similarly to FIG. 6A, the RAW data (solid line frame RAW) recorded on the recording medium 10 is taken in via the recording medium I / F 310b, and the fetched RAW data is sent to the signal processing unit 320.

信号処理部320では、予め設定されている設定値に基づき、RAWデータ(実線枠RAW)のホワイトバランスを補正し、階調を補正し、RGB/YC変換し、画像の鮮鋭度を補正するなどの現像処理が自動的に行われ、現像処理されたRAWデータ(点線枠raw)をフレームバッファに325に一時記憶する。   The signal processing unit 320 corrects the white balance of the RAW data (solid line frame RAW), corrects the gradation, performs RGB / YC conversion, corrects the sharpness of the image, and the like based on a preset setting value. The development process is automatically performed, and the developed RAW data (dotted line frame) is temporarily stored in the frame buffer 325.

そして、フレームバッファに325に一時記憶している現像処理されたRAWデータ(点線枠raw)を、D/A変換部375によってアナログ信号に変換して表示部370へ送り、表示部370にアナログ変換された画像が表示される。   The developed RAW data (dotted line raw) temporarily stored in the frame buffer 325 is converted into an analog signal by the D / A conversion unit 375 and sent to the display unit 370, and the display unit 370 performs analog conversion. The displayed image is displayed.

続いて、図3で示した撮像装置300とコンピュータ400によってRAWデータから所望の画質の画像データを得るときのデータ処理の過程について、図7を参照しながら説明する。   Next, a data processing process when obtaining image data with a desired image quality from RAW data by the imaging apparatus 300 and the computer 400 shown in FIG. 3 will be described with reference to FIG.

図7は、RAWデータを現像処理するときのデータ処理の過程について、撮像装置300を主体に簡略化して模式的に示した図である。   FIG. 7 is a diagram schematically illustrating a data processing process when developing RAW data, with the imaging apparatus 300 as a main component.

まず、撮像装置300は、記憶媒体I/F310bを介して記憶媒体10に保存されているRAWデータ(実線枠RAW)を取り込む。又は、通信I/F部310aを介してコンピュータ400に保存されているRAWデータ(実線枠RAW)を取り込む。   First, the imaging apparatus 300 captures RAW data (solid line frame RAW) stored in the storage medium 10 via the storage medium I / F 310b. Alternatively, RAW data (solid line frame RAW) stored in the computer 400 is taken in via the communication I / F unit 310a.

また、撮像装置300は、コンピュータ400からRAWデータを調整するための補正パラメータ(初期値)を取り込んで信号処理部320に設定する。   Further, the imaging apparatus 300 takes in correction parameters (initial values) for adjusting RAW data from the computer 400 and sets them in the signal processing unit 320.

次に、撮像装置300は、信号処理部320によって、設定された補正パラメータに基づき、取り込んだRAWデータのホワイトバランス、階調、鮮鋭度を補正するなどの所定の信号処理を施して画質を補正する現像処理を実行し、現像処理したRAWデータ(点線枠raw)をフレームバッファ325に送って一時記憶する。   Next, the imaging apparatus 300 corrects the image quality by performing predetermined signal processing such as correcting the white balance, gradation, and sharpness of the captured RAW data by the signal processing unit 320 based on the set correction parameter. The developed RAW data (dotted line raw) is sent to the frame buffer 325 and temporarily stored.

次に、撮像装置300は、画像圧縮部330によって、フレームバッファ325に一時記憶している現像処理されたRAWデータ(点線枠raw)をJPEGなど所定のデータフォーマットに変換し、フォーマット変換した画像データ(実線枠JPEG)を通信I/F部310aを介してコンピュータ400に出力する。   Next, the imaging apparatus 300 uses the image compression unit 330 to convert the developed RAW data (dotted line frame) temporarily stored in the frame buffer 325 into a predetermined data format such as JPEG, and the format-converted image data (Solid line frame JPEG) is output to the computer 400 via the communication I / F unit 310a.

コンピュータ400では、画像補正ソフトウェアが起動しており、通信I/F部410aを介して撮像装置300から送られてくる画像データ(実線枠JPEG)を受信すると、CPU420の制御に従い、この画像データ(実線枠JPEG)をアナログ変換し、出力I/F465を介して表示装置460に画面表示する。   In the computer 400, image correction software is activated, and when image data (solid line frame JPEG) sent from the imaging apparatus 300 via the communication I / F unit 410a is received, the image data (indicated by the control of the CPU 420) The solid line frame JPEG) is converted into an analog signal and displayed on the display device 460 via the output I / F 465.

そして、コンピュータ400の表示装置460に画面表示された画像が所望の画質に補正されているか否かを確認する。   Then, it is confirmed whether or not the image displayed on the screen of the display device 460 of the computer 400 is corrected to a desired image quality.

画像が所望の画質に補正されている場合は、キーボードやマウスなどの入力装置450によって所定の操作を実行することにより、画像データ(実線枠JPEG)をコンピュータ400内のHDD440に記録・保存させたり、通信I/F部410aを介して出力し、撮像装置300の画像記録部340や記録媒体10などに記録・保存させる。   When the image is corrected to a desired image quality, the image data (solid line frame JPEG) is recorded / saved in the HDD 440 in the computer 400 by executing a predetermined operation with the input device 450 such as a keyboard or a mouse. The image is output via the communication I / F unit 410a, and is recorded / saved in the image recording unit 340 or the recording medium 10 of the imaging apparatus 300.

一方、画像が所望の画質に補正されていない場合は、キーボードやマウスなどの入力装置450を操作し、画像補正ソフトウェアによって画像データに対する所定のパラメータを調整し、所望の画質になるように補正する。   On the other hand, when the image is not corrected to the desired image quality, the input device 450 such as a keyboard or a mouse is operated, and a predetermined parameter for the image data is adjusted by the image correction software, so that the image quality is corrected to the desired image quality. .

そして、パラメータの調整が完了すると、コンピュータ400のCPU420は、通信I/F部410aを介し、画像補正ソフトウェアによる調整に応じた補正パラメータを撮像装置300に送出する。   When the parameter adjustment is completed, the CPU 420 of the computer 400 sends the correction parameter corresponding to the adjustment by the image correction software to the imaging apparatus 300 via the communication I / F unit 410a.

撮像装置300では、通信I/F部310aを介し、コンピュータ400から送られてくる補正パラメータを取り込むと、この補正パラメータを信号処理部320に設定し、この補正パラメータに基づいてRAWデータ(実線枠RAW)の現像処理を再び実行し、画像圧縮部330で所定のフォーマットに変換し、変換した画像データ(実線枠JPEG)を通信I/F部310aを介してコンピュータ400に送り出す。   In the imaging apparatus 300, when the correction parameter sent from the computer 400 is taken in via the communication I / F unit 310a, the correction parameter is set in the signal processing unit 320, and RAW data (solid line frame) is set based on the correction parameter. RAW) development processing is executed again, the image compression unit 330 converts the image data into a predetermined format, and the converted image data (solid line frame JPEG) is sent to the computer 400 via the communication I / F unit 310a.

このように、コンピュータ400によって所望の画質となるように調整した補正パラメータを撮像装置300に送り、撮像装置300のハードウェア(信号処理部320や画像圧縮部330)を利用してRAWデータの現像処理やフォーマット変換を実行することにより、コンピュータに導入した画像補正ソフトウェアなどによって実行していたRAWデータの現像処理・フォーマット変換処理を高速化する。   In this way, the correction parameter adjusted by the computer 400 so as to obtain a desired image quality is sent to the imaging apparatus 300, and the RAW data is developed using the hardware (the signal processing unit 320 and the image compression unit 330) of the imaging apparatus 300. By executing the processing and the format conversion, the development processing / format conversion processing of the RAW data, which has been executed by the image correction software installed in the computer, is speeded up.

本願発明に係る画像処理装置と画像補正装置の構成を簡略化して示したブロック図である。It is the block diagram which simplified and showed the structure of the image processing apparatus and image correction apparatus which concern on this invention. 図1に示した画像処理装置による画像処理方法のフローチャートである。2 is a flowchart of an image processing method by the image processing apparatus shown in FIG. 1. 図1の画像処理装置と画像補正装置に該当する撮像装置とコンピュータの構成を簡略化して示したブロック図である。FIG. 2 is a block diagram illustrating a simplified configuration of an imaging apparatus and a computer corresponding to the image processing apparatus and the image correction apparatus in FIG. 1. 図3に示した撮像装置における信号処理部の構成及びデータ処理の過程を簡略化して模式的に示した図である。It is the figure which simplified and showed the structure of the signal processing part in the imaging device shown in FIG. 3, and the process of data processing. 図3に示した撮像装置により、撮影した画像を記録・保存するときのデータ処理の過程を簡略化して模式的に示した図である。It is the figure which simplified and showed the process of the data processing when recording and preserve | saving the image | photographed image with the imaging device shown in FIG. 図3に示した撮像装置により、記録媒体に記録・保存しているRAWデータ又は画像データを再生・表示するときのデータ処理の過程を簡略化して模式的に示した図である。FIG. 4 is a diagram schematically illustrating a simplified data processing process when RAW data or image data recorded / stored in a recording medium is reproduced / displayed by the imaging apparatus illustrated in FIG. 3. 図3に示した撮像装置とコンピュータにより、RAWデータを現像処理するときのデータ処理の過程を簡略化して模式的に示した図である。FIG. 4 is a diagram schematically showing a simplified data processing process when RAW data is developed by the imaging apparatus and computer shown in FIG. 3.

符号の説明Explanation of symbols

100;画像処理装置
110;インターフェイス部(I/F部)
120;RAW現像部
121;ホワイトバランス補正部(WB補正部)
122;ガンマ変換部;
123;RGB/YC変換部
124;シャープネス処理部
130;フォーマット変換部
140;画像記録部
150;CPU(Central Processing Unit)
160;メモリ
170;表示部
200;画像補正装置
210;インターフェイス部(I/F部)
220;CPU(Central Processing Unit)
230;メモリ
240;記録部
250;入力部
260;出力部
300;撮像装置
301;撮像レンズ
302;撮像素子
303;A/D(Analog/Digital)変換部
305;画像メモリ
310a;通信インターフェイス部(通信I/F)
320;信号処理部
325;フレームバッファ
330;画像圧縮部
335;画像伸張部
340;画像記録部
350;CPU(Central Processing Unit)
360a;RAM(Random Access Memory)
360b;ROM(Read Only Memory)
370;表示部
375;D/A(Digital/Analog)変換部
310a;通信インターフェイス(通信I/F)
310b;記録媒体インターフェイス(記録媒体I/F)
400;コンピュータ
410a;通信インターフェイス部(通信I/F)
420;CPU(Central Processing Unit)
430a;RAM(Random Access Memory)
430b;ROM(Read Only Memory)
440;ハードディスク(HDD)
410b;記録媒体インターフェイス(記録媒体I/F)
450;入力装置
455;入力インターフェイス(入力I/F)
460;表示装置
465;出力インターフェイス(出力I/F)
100; Image processing apparatus 110; Interface unit (I / F unit)
120; Raw development unit 121; White balance correction unit (WB correction unit)
122; gamma conversion unit;
123; RGB / YC conversion unit 124; Sharpness processing unit 130; Format conversion unit 140; Image recording unit 150; CPU (Central Processing Unit)
160; Memory 170; Display unit 200; Image correction device 210; Interface unit (I / F unit)
220; CPU (Central Processing Unit)
230; memory 240; recording unit 250; input unit 260; output unit 300; imaging device 301; imaging lens 302; imaging element 303; I / F)
320; signal processing unit 325; frame buffer 330; image compression unit 335; image expansion unit 340; image recording unit 350; CPU (Central Processing Unit)
360a; RAM (Random Access Memory)
360b; ROM (Read Only Memory)
370; Display unit 375; D / A (Digital / Analog) converter 310a; Communication interface (communication I / F)
310b; Recording medium interface (recording medium I / F)
400; computer 410a; communication interface unit (communication I / F)
420; CPU (Central Processing Unit)
430a; RAM (Random Access Memory)
430b; ROM (Read Only Memory)
440; hard disk (HDD)
410b; Recording medium interface (recording medium I / F)
450; input device 455; input interface (input I / F)
460; Display device 465; Output interface (output I / F)

Claims (3)

撮像素子から出力される画像信号をデジタル変換して得られるRAWデータや前記RAWデータの画質を調整するための補正パラメータを取り込むことができるデータ取得手段と、
前記データ取得手段で取り込んだ前記補正パラメータに基づいて前記RAWデータの画質を補正して現像処理することができるRAWデータ現像手段と、
前記RAWデータ現像手段で現像処理されたRAWデータを所定のデータフォーマットに変換して出力するフォーマット変換手段と、
を備えていること
を特徴とする画像処理装置。
Data acquisition means capable of capturing RAW data obtained by digitally converting an image signal output from the image sensor and a correction parameter for adjusting the image quality of the RAW data;
RAW data developing means capable of correcting and developing the image quality of the RAW data based on the correction parameter captured by the data acquiring means;
Format conversion means for converting RAW data developed by the RAW data development means into a predetermined data format and outputting the data;
An image processing apparatus comprising:
更に、画像を撮影するための撮像レンズと、
前記撮像レンズを通過してくる光が結像して生成される画像を電気信号に変換し、画像信号として出力する撮像素子と、
前記撮像素子から出力される画像信号をデジタル変換してRAWデータを生成するRAWデータ生成手段と、
を具備していること
を特徴とする請求項1に記載の画像処理装置。
Furthermore, an imaging lens for taking an image;
An image sensor that converts an image generated by imaging the light passing through the imaging lens into an electrical signal and outputs the electrical signal; and
RAW data generation means for digitally converting an image signal output from the image sensor to generate RAW data;
The image processing apparatus according to claim 1, further comprising:
画像補正装置と画像処理装置による画像処理方法であって、
前記画像補正装置は、撮像素子から出力される画像信号をデジタル変換して得られるRAWデータや前記RAWデータをもとに生成された画像データを取り込み、該取り込んだRAWデータや画像データに対する所定のパラメータを所望の画質となるように調整し、該調整に応じた補正パラメータを出力し、
前記画像処理装置は、前記RAWデータと前記画像補正装置から出力される補正パラメータを取得し、該取得した補正パラメータに基づいて前記RAWデータの画質を補正して現像処理し、該現像処理したRAWデータを所定のデータフォーマットに変換して出力すること
を特徴とする画像処理方法。
An image processing method using an image correction apparatus and an image processing apparatus,
The image correction apparatus captures RAW data obtained by digitally converting an image signal output from an image sensor or image data generated based on the RAW data, and performs predetermined processing on the captured RAW data and image data. Adjust the parameters to achieve the desired image quality, and output correction parameters according to the adjustments.
The image processing device acquires the RAW data and the correction parameter output from the image correction device, corrects the image quality of the RAW data based on the acquired correction parameter, performs development processing, and performs the development processing RAW An image processing method comprising: converting data into a predetermined data format and outputting the data.
JP2004219977A 2004-07-28 2004-07-28 Image processing apparatus and image processing method Expired - Fee Related JP4852830B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004219977A JP4852830B2 (en) 2004-07-28 2004-07-28 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004219977A JP4852830B2 (en) 2004-07-28 2004-07-28 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2006042004A true JP2006042004A (en) 2006-02-09
JP4852830B2 JP4852830B2 (en) 2012-01-11

Family

ID=35906502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004219977A Expired - Fee Related JP4852830B2 (en) 2004-07-28 2004-07-28 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP4852830B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295815A (en) * 2005-04-14 2006-10-26 Noritsu Koki Co Ltd Photograph processing device
JP2007006125A (en) * 2005-06-23 2007-01-11 Nikon Corp Image processing support apparatus, electronic camera, image processing apparatus, development processing system, and program for fulfilling these image processing support apparatus and image processing apparatus
JP2007134958A (en) * 2005-11-10 2007-05-31 Fujifilm Corp Imaging device
JP2008048168A (en) * 2006-08-16 2008-02-28 Fujitsu Ltd Method for setting color-processing parameter and digital imaging apparatus
JP2008109631A (en) * 2006-09-28 2008-05-08 Seiko Epson Corp Image display controlling apparatus, imaging apparatus, image display method, and program thereof
JP2009130534A (en) * 2007-11-21 2009-06-11 Canon Inc Image processing apparatus and control method thereof
US8063953B2 (en) 2006-09-28 2011-11-22 Seiko Epson Corporation Image display controlling device for displaying an image belonging to a file image group, imaging device for displaying an image belonging to a file image group, and image display method for displaying an image belonging to a file image group
JP2012147303A (en) * 2011-01-13 2012-08-02 Canon Inc Image processing system and method of controlling the same
WO2012121411A1 (en) * 2011-03-07 2012-09-13 Ricoh Company, Limited Video processing apparatus, video processing system, and video processing method
JP2016021782A (en) * 2015-10-30 2016-02-04 キヤノン株式会社 Image processing system and method of controlling the same

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223979A (en) * 2000-02-07 2001-08-17 Fuji Photo Film Co Ltd Image photographing device and image processor
WO2003036960A1 (en) * 2001-10-23 2003-05-01 Seiko Epson Corporation Control of image output using image processing control data
JP2004104601A (en) * 2002-09-11 2004-04-02 Canon Inc Method for controlling image pickup device, its recording medium and its program
JP2004129065A (en) * 2002-10-04 2004-04-22 Fuji Photo Film Co Ltd Digital camera
JP2004128809A (en) * 2002-10-01 2004-04-22 Canon Inc Method and apparatus for image processing, and imaging device
JP2004165797A (en) * 2002-11-11 2004-06-10 Canon Inc Digital photo development system, digital photo development server, development method, and program
JP2005217483A (en) * 2004-01-27 2005-08-11 Nikon Corp Electronic camera with finish setting function, and processing program for customizing finish setting function of electronic camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223979A (en) * 2000-02-07 2001-08-17 Fuji Photo Film Co Ltd Image photographing device and image processor
WO2003036960A1 (en) * 2001-10-23 2003-05-01 Seiko Epson Corporation Control of image output using image processing control data
JP2004104601A (en) * 2002-09-11 2004-04-02 Canon Inc Method for controlling image pickup device, its recording medium and its program
JP2004128809A (en) * 2002-10-01 2004-04-22 Canon Inc Method and apparatus for image processing, and imaging device
JP2004129065A (en) * 2002-10-04 2004-04-22 Fuji Photo Film Co Ltd Digital camera
JP2004165797A (en) * 2002-11-11 2004-06-10 Canon Inc Digital photo development system, digital photo development server, development method, and program
JP2005217483A (en) * 2004-01-27 2005-08-11 Nikon Corp Electronic camera with finish setting function, and processing program for customizing finish setting function of electronic camera

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295815A (en) * 2005-04-14 2006-10-26 Noritsu Koki Co Ltd Photograph processing device
JP2007006125A (en) * 2005-06-23 2007-01-11 Nikon Corp Image processing support apparatus, electronic camera, image processing apparatus, development processing system, and program for fulfilling these image processing support apparatus and image processing apparatus
JP2007134958A (en) * 2005-11-10 2007-05-31 Fujifilm Corp Imaging device
JP2008048168A (en) * 2006-08-16 2008-02-28 Fujitsu Ltd Method for setting color-processing parameter and digital imaging apparatus
JP4743180B2 (en) * 2006-09-28 2011-08-10 セイコーエプソン株式会社 Image display control device, photographing device, image display method and program thereof
JP2008109631A (en) * 2006-09-28 2008-05-08 Seiko Epson Corp Image display controlling apparatus, imaging apparatus, image display method, and program thereof
US8063953B2 (en) 2006-09-28 2011-11-22 Seiko Epson Corporation Image display controlling device for displaying an image belonging to a file image group, imaging device for displaying an image belonging to a file image group, and image display method for displaying an image belonging to a file image group
US8762838B2 (en) 2006-09-28 2014-06-24 Seiko Epson Corporation Image display controlling device, imaging device, and image display method
JP2009130534A (en) * 2007-11-21 2009-06-11 Canon Inc Image processing apparatus and control method thereof
JP2012147303A (en) * 2011-01-13 2012-08-02 Canon Inc Image processing system and method of controlling the same
WO2012121411A1 (en) * 2011-03-07 2012-09-13 Ricoh Company, Limited Video processing apparatus, video processing system, and video processing method
JP2012186719A (en) * 2011-03-07 2012-09-27 Ricoh Co Ltd Video processing apparatus, video processing system, teleconference system, remote monitoring system, video processing method, and video apparatus
KR101514910B1 (en) 2011-03-07 2015-04-23 가부시키가이샤 리코 Video processing apparatus, video processing system, and video processing method
US9369627B2 (en) 2011-03-07 2016-06-14 Ricoh Company, Ltd. Video processing apparatus, video processing system, and video processing method
JP2016021782A (en) * 2015-10-30 2016-02-04 キヤノン株式会社 Image processing system and method of controlling the same

Also Published As

Publication number Publication date
JP4852830B2 (en) 2012-01-11

Similar Documents

Publication Publication Date Title
JP4987129B2 (en) Image processing apparatus and control method thereof
US7259786B2 (en) Image processing method and apparatus, and image sensing apparatus
US7408571B2 (en) Digital camera and image data processing system
US7956895B2 (en) Image output device, image processing apparatus, image output and image processing system, and method therefore
JP4369585B2 (en) Image processing device
JP4433883B2 (en) White balance correction device, white balance correction method, program, and electronic camera device
EP2974265B1 (en) Imaging apparatus and imaging apparatus control method
JPWO2008150017A1 (en) Signal processing method and signal processing apparatus
US20160037122A1 (en) Image processing apparatus and image processing method
JP2010081048A (en) Image processing apparatus, program, and imaging apparatus
JP4852830B2 (en) Image processing apparatus and image processing method
US20090115853A1 (en) Image Processing System and Electronic Camera
US10009588B2 (en) Image processing apparatus and imaging apparatus
JP6049425B2 (en) Imaging apparatus, image processing apparatus, and control method
JP2015195582A (en) Image processing device, control method thereof, imaging apparatus, control method thereof, and recording medium
US9894315B2 (en) Image capturing apparatus, image processing apparatus and method, image processing system, and control method for image capturing apparatus
JP5836090B2 (en) Imaging apparatus and control method
JP2010124114A (en) Digital camera and image data processing program
JP2007221685A (en) Digital camera and control method therefor
KR20040065928A (en) Printer having printing function of moving picture and control method thereof
JP4217598B2 (en) Imaging apparatus and control method thereof
JP4878097B2 (en) Image signal processing apparatus, operation processing method thereof, program, and storage medium
JP4160602B2 (en) Print playback device
JP5957813B2 (en) Imaging apparatus, program, and recording medium
JP2007081478A (en) Printing system, imaging apparatus and control method thereof, printer, program and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091119

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100115

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111010

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees