JP4369585B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4369585B2
JP4369585B2 JP2000029585A JP2000029585A JP4369585B2 JP 4369585 B2 JP4369585 B2 JP 4369585B2 JP 2000029585 A JP2000029585 A JP 2000029585A JP 2000029585 A JP2000029585 A JP 2000029585A JP 4369585 B2 JP4369585 B2 JP 4369585B2
Authority
JP
Japan
Prior art keywords
image
data
image data
information
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000029585A
Other languages
English (en)
Other versions
JP2001223979A5 (ja
JP2001223979A (ja
Inventor
宏志 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2000029585A priority Critical patent/JP4369585B2/ja
Publication of JP2001223979A publication Critical patent/JP2001223979A/ja
Publication of JP2001223979A5 publication Critical patent/JP2001223979A5/ja
Application granted granted Critical
Publication of JP4369585B2 publication Critical patent/JP4369585B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Record Information Processing For Printing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像撮影装置及び画像処理装置に関する。特に本発明は、画像を撮影し、記録媒体に記録する画像撮影装置及び画像データを再生して表示、印刷、出力する画像処理装置に関する。
【0002】
【従来の技術】
従来、固体メモリ素子を有するメモリカードを記録媒体として、静止画像や動画像を記録再生する電子カメラ、電子ビデオカメラ等の画像撮影装置が販売されている。これらの電子カメラによれば、撮影前に被写体の画像を連続表示して、撮影される画像を確認した上でレリーズボタンを押して画像を記録することや、記録した画像を再生表示して確認することが可能である。特に、撮影した画像を撮影直後に再生する機能は利便性が高い。
【0003】
このような従来の電子カメラ等の画像撮影装置においては、撮影した画像を直後に再生表示し易くするために、撮影した画像データを画像表示部での画像再生に適した画像信号形態に変換した後、記録媒体へ書き込んでいた。
【0004】
このため、CCD等の固体撮像素子を有する撮像手段の画素構成によらず、画像表示手段の信号入力に応じた、例えば、輝度Y信号、色差R−Y信号、色差B−Y信号の組み合わせや、RGB信号の組み合わせ等が画像信号形態として用いられており、画質に優れた特色ある画素構成の撮像手段を用いた電子カメラであっても、撮影した画像を直後に再生表示する機能を備えた場合は、その画質を生かした画像信号形態での記録が行われていなかった。
【0005】
特開平11−261933号公報(公開日平成11年9月24日)には、撮影した画像の出力信号を再生表示した画像信号の形態で記録するか、撮影した画像の出力信号をそのまま記録するかを選択できる電子カメラが開示されている。
【0006】
【発明が解決しようとする課題】
電子カメラが撮像手段の直接の出力信号であるRAWデータを出力、記録できる場合であっても、作成されるRAWデータは、電子カメラの撮像手段における受光素子の画素配列パターンや、画像信号のアナログ信号処理、A/D変換のビット数などが電子カメラ毎に異なる。そのため、RAWデータを汎用的に再生可能な画像信号に変換するには、電子カメラの機種に依存して異なる画像処理を行わなければならない。したがって、RAWデータで記録された画像データを再生して表示または印刷するためには、当該画像データを撮像した電子カメラの機種を識別し、機種毎に異なる画像処理を行う必要があり、撮影機種を特定する情報が別途必要となる。
【0007】
しかしながら、撮影機種情報を画像データに含めて記録した場合、画像データを読み込むまで機種を特定できないため、撮影機種別に画像データを分けて印刷処理することができない。特にラボシステムにおいて、撮影機種別にバッチ処理をすることができなくなり、生産性が低下するという問題がある。また、ラボシステムが対応していない撮影機種の場合、画像データを再生することができないことがある。撮影機種情報が画像データに含めて記録された場合、画像データを読み込むまで再生可能か否かがわからないので、作業効率が著しく悪化するという問題を生じていた。
【0008】
また、RAWデータの場合、利用者が所望する階調補正等の画像補正を行っても画質が劣化せず、高画質の画像を再生することができるが、画像データのプリントを指定する従来のプリント指定情報には、RAWデータの画像補正に必要な補正パラメータが提供されていないため、RAWデータの特性を活かした画像補正ができないという問題があった。
【0009】
そこで本発明は、上記の課題を解決することのできる画像撮像装置及び画像処理装置を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【0010】
【課題を解決するための手段】
上記課題を解決するために、本発明の第1の形態においては、被写体の画像を撮影し、画像データを記録する画像撮影装置であって、被写体の画像を撮像する撮像部と、撮像部が出力する撮像出力信号を画像データとして記録し、撮像出力信号の信号形式を識別する撮像信号形式識別情報を画像データとは別に記録する記録部と、記録部が記録する撮像出力信号を再生表示するための再生信号に変換する信号処理部と、信号処理部により変換された再生信号に基づいて画像を表示する表示部とを備えたことを特徴とする。
【0011】
撮像出力信号の1画素当たりのビット数は、再生信号の1画素当たりのビット数より大きくてもよい。
【0012】
撮像信号形式識別情報は、撮像部の機種を特定する機種識別情報であってもよい。撮像信号形式識別情報は、撮像部の機種に依存する画像データの画素数、画素配列、及び1画素当たりのビット数の少なくとも1つの機種依存情報であってもよい。
【0013】
記録部は、撮像出力信号を再生するための再生情報を画像データに付帯させて記録してもよい。再生情報は、画像の明度、彩度、色バランス及び階調の少なくとも1つを補正する画像調整情報であってもよい。
【0014】
記録部は、該画像撮影装置の利用者が設定する明度、彩度、色バランス、色相及び階調の少なくとも1つを補正する利用者画像調整情報を画像データとは別に記録してもよい。
【0015】
信号処理部は、撮像部が出力する撮像出力信号を再生表示用の再生信号に変換し、表示部に表示させ、再生信号を圧縮し、記録部に画像データとして記録させてもよい。信号処理部は撮影出力信号に対して明度、彩度、色バランス及び階調の少なくとも1つを補正することにより再生信号に変換してもよい。
【0016】
記録部は、画像データを印刷処理するジョブ毎に、画像データのファイル名、印刷種別、印刷枚数、画像ファイル種別、機種識別情報または機種依存情報、及び利用者画像調整情報を規定するプリントジョブ情報を画像データとは別に記録してもよい。
【0017】
本発明の第2の形態においては、画像データを入力し、画像処理を行う画像処理装置であって、画像データの信号形式を識別する信号形式識別情報を画像データとは別に入力する入力部と、信号形式識別情報が画像データはRAWデータであることを示す場合に、画像データを入力して、信号形式識別情報に基づいて変換し、信号形式識別情報が画像データは圧縮符号化データであることを示す場合に、画像データを入力して、伸張する画像処理部と、画像処理部が処理した画像データを出力する出力部とを備えたことを特徴とする。
【0018】
画像処理部は、画像データがRAWデータである場合に、RAWデータを、RAWデータの1画素当たりのビット数より小さいビット数の画像データに変換してもよい。
【0019】
信号形式識別情報は、画像データを撮像した撮像装置の機種を特定する機種識別情報を含み、画像処理部は、画像データがRAWデータである場合に、機種識別情報に基づいてRAWデータを変換してもよい。信号形式識別情報は、画像データを撮像した撮像装置の機種に依存する画像データの画素数、画素配列、及び1画素当たりのビット数の少なくとも1つの機種依存情報を含み、画像処理部は、画像データがRAWデータである場合に、機種依存情報に基づいてRAWデータを変換してもよい。
【0020】
入力部は、画像データに付帯された、画像データを再生するための再生情報を入力し、画像処理部は、画像データを再生情報に基づいて変換してもよい。再生情報は、画像の明度、彩度、色バランス及び階調の少なくとも1つを補正する画像調整情報であり、信号処理部は画像調整情報に基づいて画像データを変換してもよい。
【0021】
入力部は、画像撮影装置の利用者が設定する明度、彩度、色バランス、色相及び階調の少なくとも1つを補正する利用者画像調整情報を入力し、画像処理部は、画像データを利用者画像調整情報に基づいて変換してもよい。
【0022】
入力部は、画像データを印刷処理するジョブに関するプリントジョブ情報を入力し、プリントジョブ情報は、ジョブ毎に、画像データのファイル名、印刷種別、印刷枚数、画像ファイル種別、機種識別情報または機種依存情報、及び利用者画像調整情報を規定してもよい。
【0023】
本発明の第3の形態においては、撮影された画像を入力し、画像データを記録するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、撮影された画像を入力させる入力モジュールと、入力モジュールが入力する画像信号を画像データとして記録させ、画像信号の信号形式を識別する信号形式識別情報を画像データとは別に記録させる記録モジュールと、記録モジュールが記録する画像信号を再生表示するための再生信号に変換させる信号処理モジュールと、信号処理モジュールにより変換された再生信号に基づいて画像を表示させる表示モジュールとを備えたことを特徴とする。
【0024】
本発明の第4の形態においては、画像データを入力し、画像処理を行うコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、画像データの信号形式を識別する信号形式識別情報を画像データとは別に入力させる入力モジュールと、信号形式識別情報が画像データはRAWデータであることを示す場合に、画像データを入力して、信号形式識別情報に基づいて変換させ、信号形式識別情報が画像データは圧縮符号化データであることを示す場合に、画像データを入力して、伸張させる画像処理モジュールと、画像処理部が処理した画像データを出力させる出力モジュールとを備えたことを特徴とする。
【0025】
本発明の第5の形態においては、画像データを入力し、画像処理を行う画像処理方法であって、画像データの信号形式を識別する信号形式識別情報を画像データとは別に入力し、信号形式識別情報が画像データはRAWデータであることを示す場合に、画像データを入力して、信号形式識別情報に基づいて変換し、信号形式識別情報が画像データは圧縮符号化データであることを示す場合に、画像データを入力して、画像データを伸張し、変換または伸張された画像データを出力することを特徴とする。
【0026】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【0027】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0028】
(第1の実施形態)
本発明の第1の実施形態を説明する。図1は、本実施形態のカメラ10の外観図である。電源スイッチ11がオン状態に操作された場合に、図示しない撮像レンズを入射した被写体の画像が図示しない撮像素子に撮像され、レリーズボタン12の操作によって電気信号に変換される。変換された撮像信号は画像処理および符号化処理をされ、処理された符号化データ等は、カードスロット14に着脱自在に装着されるメモリカード16に記録される。メモリカード16は、たとえばフラッシュROMやEEPROM素子等の不揮発性半導体メモリを搭載した記憶媒体であり、またバッテリバックアップされたSRAMにて記憶情報の保持を行なってもよい。また、メモリカードに代えてフロッピーディスクや光ディスクなどのような、磁気や光により情報が書き込まれて保持される情報記憶媒体でもよい。
【0029】
また、メモリカード16に記録された画像情報はカメラ10によって読み出され、復号され、表示パネル18に表示される。表示パネル18はさらに再生画像に関する各種情報が表示されてもよい。カメラ10は、被写体の撮像画像を表示し、レリーズボタン12が押下されると撮像画像をメモリカード16に記録する撮影・記録モードと、メモリカード16に記録された画像を表示させる再生モードと、各種動作条件・機能を指定選択する設定モードと、カメラ10をパソコン等に接続して情報転送を行う通信モードとがあり、モード選択ダイヤル20を回動させて各モードを選択する。特に再生モードにおいて、設定ボタン22、順送りボタン24及び逆送りボタン26を使用して選択表示された画像を後にプリントすることを指定するプリント情報を作成し、これをプリントファイルとしてメモリカード16に書き込み、またプリント情報を修正してプリントファイルを更新することができる。プリント情報を記述したプリントファイルは、撮影画像データを読み取らなくてもプリント情報だけを別に読み取ることができるように、メモリカード16の記録領域に、撮影画像データとは別に記録されることが好ましい。プリントファイルはテキスト形式またはバイナリ形式のいずれで記録されてもよい。
【0030】
メニューボタン13を押下すると、各種パラメータを設定するメニュー画面が表示パネル18に表示される。図2は、カメラ10の表示パネル18に表示されるメニュー画面の一例を示す図である。設定ボタン22、順送りボタン24及び逆送りボタン26を使用して、記録モード、撮影画像のLCDへの表示の有無、プリント時の明度、プリント時の日付印字の有無等を設定することができる。記録モードは、JPEG高画質、JPEG通常画質、CCD−RAWのいずれかを選択することができる。また、撮影した画像のプリント時における明度を利用者の好みに応じて5段階で微調整することができる。プリント明度以外に、彩度、シャープネス、色相等について利用者に所望の調整パラメータをさらに設定させてもよい。以上の設定パラメータは、撮影画像毎に設定することができる。記録モードは撮影する前に設定されるが、プリント明度等のプリント時の調整パラメータは、撮影前に設定される他、撮影した画像が再生表示された後に、設定されてもよい。また、撮影した画像がCCD−RAWデータである場合には、CCD−RAWデータを再生表示した後に、JPEGデータとして記録させることも可能である。また、プリント明度等のプリント時の調整パラメータは、プリント注文毎に設定することができる。したがって同一の撮影画像に対して、複数のプリント注文を行い、プリント注文毎に設定するパラメータを異ならせることもできる。
【0031】
図3は、カメラ10の機能構成図である。カメラ10は、制御部(CPU)30と、撮像部32と、信号処理部34と、バッファメモリ35と、フレームメモリ36と、圧縮伸張処理部38と、操作部40と、キャラクタジェネレータ42と、D/A変換部44と、表示パネル(LCD)18と、カードスロット14とを有する。制御部30は、撮像部32、信号処理部34、フレームメモリ36、圧縮伸張処理部38、カードスロット14を制御し、被写体の画像の撮影、記録及び再生を行なう。また、操作部40は、利用者の操作、設定内容を制御部30に伝え、制御部30の動作を指示することができる。また制御部30は、キャラクタジェネレータ42及びD/A変換部44を制御し、撮像画像、再生画像を液晶ディスプレイ等にて構成された表示パネル18に表示させ、その表示画面に各種文字やアイコン等の情報を表示させる。
【0032】
図1に示したように、表示パネル18には、制御部30の処理により、現在のモードが再生モードである旨の「サイセイモード」や、再生表示している画像ファイルのファイル名「IMG00003.JPG」や、画質モードもしくは画像の圧縮率の程度を示す「モード:Fine」などが表示画面の上部に再生画像に合成されて表示される。また、表示画面の下部には、制御部30の処理により、その再生画像に対する注文状況を示すプリント情報としてたとえば「チュウモン:2マイ」と表示される。これは表示画像を2枚、たとえばラボシステムのプリントサービスに注文するか、利用者が所有する対応プリンタにてプリントする際のプリント指定を示す。この表示画面は、再生モードにおいてこの画像に対するプリント枚数を変更する際やプリント指定を削除する際に表示される。表示画面下部の右側には、制御部30の制御により、表示された画像ファイルがメモリカード16に記録された際の日時または、制御部30に含まれるカレンダー時計の計時機能による現在の日時が表示設定に応じて表示される。
【0033】
図4は、撮像部32の機能構成図である。撮像部32は、光学レンズ50と、CCD52と、アナログ信号処理部54と、A/D変換部56とを有する。光学レンズ50が結像する被写体の画像は、CCD52に受光されて撮像される。CCD52が出力する撮像信号は、アナログ信号処理部54において、ゲイン調整、ホワイトバランス等のアナログ信号処理をされた後、A/D変換部56によってデジタル信号に変換され、CCD−RAWデータとして出力される。CCD−RAWデータは、信号処理部34に供給され、画像処理される。
【0034】
CCD52は、固体撮像素子の一例である。固体撮像素子は、半導体化および集積化された撮像素子で、構造上、半導体基板上に光電変換と電荷の蓄積機能をもった画素群を二次元的に配列したものである。固体撮像素子は、光学レンズ50によって結像された光を受光し、光電変換作用によって電荷を蓄積する。蓄積された電荷像は一定の順序に走査され、電気信号として読み出される。固体撮像素子としてCCDイメージセンサ以外に、MOSイメージセンサ、CdS−Se密着型イメージセンサ、a−Si(アモルファスシリコン)密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。
【0035】
図3に戻って、撮影準備状態では、制御部32の制御に応じて、撮像部32は画像信号を連続出力し、出力された画像信号は、信号処理部34において画像処理され、フレームメモリ36に格納され、D/A変換部44によってアナログ信号に変換され、液晶ディスプレイである表示パネル18に動画像として再生表示される。また撮像部32は、レリーズボタン12の押下状態を検出すると、制御部32の制御に応じて1コマの画像を表わす画像信号を出力し、1コマの画像が記録される画像記録モードとなる。画像記録モードでは、信号処理部34で画像処理され、フレームメモリ36に格納された画像信号は、圧縮伸張処理部38に供給される。
【0036】
図5は、信号処理部34の機能構成図である。信号処理部34はOB補正部58と、WB補正部60と、補間処理部62と、階調補正部64とを有する。信号処理部34は、画像信号を入力して、画像の明度、彩度、階調および色バランス等画像調整処理、及び画像補間処理等をデジタル演算処理によって行う。撮像部12が出力し、信号処理部34に供給されるCCD−RAWデータは、たとえば1画素当たり12ビットの信号であり、信号処理部34は、表示パネル18に表示される信号形態に合うように、ビット数のより少ない、例えば8ビットの信号に変換し出力する。
【0037】
OB補正部58は、CCDの出力信号からRGB毎にOptical Black分の値を減算する。CCD52は一般に入力光がゼロでも出力レベルがゼロとならない特性を有するため、RGBのチャネル毎にOptical Black分のオフセットを出力信号から差し引き、信号レベルを補正する。Optical Black分のオフセットは、CCD52に設けられた遮光画素の出力信号の出力レベルによって検出することができる。WB補正部60は、ホワイトバランスを調整するために、RGB毎にCCDの出力信号のゲインを調整する。WB補正部60に入力された画像信号は、たとえば12ビットであり、WB補正部60によって処理されて出力される画像信号は10ビットである。補間処理部62は、画素補間を行い、RGB点順次画像データを作成する。階調補正部64は、CCDの出力信号の階調を補正する。階調補正にはLUTのデータが用いられる。階調補正部64に入力された10ビットの画像信号は、たとえば8ビットの画像信号に変換される。階調補正部64が階調補正に用いるLUTには、利用者が設定するプリント明度の調整レベルを反映させてもよい。
【0038】
図6は、階調補正のLUTのグラフを説明する図である。階調補正前の入力信号は、1画素当たり10ビットで表現される1024階調のデータであり、階調補正後の出力信号は、1画素当たり8ビットで表現される256階調のデータである。画像信号は、本図のグラフで規定されたLUTにしたがって、10ビットの信号から8ビットの信号に値が変換され、画像の明るさを補正される。
【0039】
図3に戻って、圧縮伸張処理部38は、フレームメモリ36に記憶された1コマ分の画像データを制御部30から指定される画質モードに応じた圧縮率にて圧縮符号化し、また、メモリカード16から読み出される圧縮符号化データを伸張、復号してフレームメモリ36に供給する。圧縮符号化は、たとえば画像データを8×8ブロックごとに分割し、各ブロックを直交変換し、その変換係数を量子化してハフマン符号化するJPEG方式を用い、たとえば量子化特性を適応的に選択して符号化後のデータ量が所定長以下となるように制御することにより1コマの画像データを圧縮符号化する。圧縮符号化データはカードスロット14に送られて、カードスロット14に着脱自在に接続されるメモリカード16の所定の記憶領域に画像ファイルとして書き込まれる。画像ファイルには圧縮復号化された画像データに撮影時付属情報等の画像付属情報を付帯させて格納してもよい。
【0040】
圧縮伸張処理部38によって圧縮符号化されたJPEGデータは、表示パネル18において容易に再生表示できるように、再生表示形態に合わせて信号処理部34によって信号変換されたデータであるため、撮像部32が直接出力するCCD−RAWデータに比べて、画像信号の情報量が落ちる。したがって、JPEGデータとして記録された画像データに対して画像調整を行っても高画質の画像データを作成することは困難である。そこで、カメラ10は、JPEGデータの他に、CCD−RAWデータをそのままメモリカード16に記録するモードを備える。
【0041】
スイッチSW1及びSW2は、制御部30の制御により、画像記録と再生の2つのモードを、JPEGデータとCCD−RAWデータの2つの画像データ種別の間で切り替える。図7は、スイッチSW1及びSW2の状態によって決まる画像の記録及び再生のモードを示す図である。SW1が接続状態(ON)で、SW2がbの位置に接続すると、画像データをJPEGデータとして記録するモードとなり、図3において、制御部30の制御により、撮像部32が出力する12ビットのCCD−RAWの画像データが、信号処理部34によって8ビットの画像データに変換され、フレームメモリ36に格納された後、D/A変換部44によってアナログ信号に変換され、表示パネル18に表示されるとともに、圧縮伸張処理部38によってJPEGデータに圧縮符号化され、カードスロット14に装着されたメモリカード16に記録される。
【0042】
SW1が接続状態(ON)で、SW2がaの位置に接続すると、画像データをCCD−RAWデータとして記録するモードとなり、制御部30の制御により、撮像部32が出力する12ビットのCCD−RAWの画像データが、バッファメモリ35に格納された後、カードスロット14に装着されたメモリカード16に記録される。
【0043】
SW1のON/OFFにかかわらず、SW2がbの位置に接続すると、JPEG画像データを再生するモードとなり、制御部30の制御により、カードスロット14に装着されたメモリカード16から読み出された画像データは圧縮伸張処理部38によって伸張され、フレームメモリ36に格納された後、D/A変換部44によってアナログ信号に変換され、表示パネル18に表示される。
【0044】
SW1がOFFで、SW2がaの位置に接続すると、CCD−RAWの画像データを再生するモードとなり、カードスロット14に装着されたメモリカード16から読み出された画像データは、制御部30の制御により、バッファメモリ35に格納された後、信号処理部34に供給され、画像処理されて8ビットの画像データに変換され、フレームメモリ36に格納された後、D/A変換部44によってアナログ信号に変換され、表示パネル18に表示される。
【0045】
制御部30は、操作部40に含まれるモード設定ダイヤル20や各押しボタン22、24、26および28への操作状態に応じて、撮像部32における撮像処理、信号処理部34における信号処理およびフレームメモリ36における情報の読み書き等を制御する。制御部30は、マイクロコンピュータシステムにて構成され、マイクロプロセッサの制御処理手順を規定するファームウェアを記憶するROMや周辺回路を接続する各種インタフェースを含んでいることが好ましい。制御部30はまた、各種設定値や変数を一時格納するレジスタやRAMなどの半導体メモリを有し、これらを作業メモリとして使用してたとえば、メモリカード16に記録されているプリントファイルのプリント情報を作業メモリに読み込んでおいて、修正変更を一旦作業メモリ上にて行なうことにより処理の高速化を図ってもよい。それら修正変更が終了して、たとえばモード設定ダイヤル12が操作されて他のモードに移行した場合に制御部30は、修正変更された情報をメモリカード16に書き戻して更新する。
【0046】
制御部30はまた、操作部40への操作状態に応じて、メモリカード16に記録された画像ファイルの記憶管理を行なう機能を有する。具体的には、モード設定ダイヤル12が1コマ再生モードの位置にセットされると、順送りボタン24および逆送りボタン26への操作に応じた画像ファイルをアクセスし、所望の画像データを読み出す。メモリカード16から読み出した画像ファイルから画像データを伸張、復号した後、フレームメモリ36に展開し、D/A変換処理を行い、表示部18に出力させる。これとともに、制御部30は、画像ファイルから画像付属情報を読み出し、記憶保持し、現在の動作モードを示す文字コードとともに、画像付属情報に含まれる情報を表わす文字コードをキャラクタジェネレータ42に送る。キャラクタジェネレータ42では入力される文字コードに応じたキャラクタセットを読出し可能に記憶しており、表示部18の表示パネルの所望位置に応じたタイミングにて文字コードに応じた文字画像データを出力する。この出力は、フレームメモリ36から繰り返し読み出される画像データに合成され、再生画像またはその周辺に文字画像が表示される。これら文字情報はモニタにおける画像表示部分とは別の領域に表示されてもよい。また、文字に限らず絵文字などのグラフィックデータを表わすコードやビットマップデータの表わす画像を表示画面に合成表示させてもよい。
【0047】
制御部30は、画像の1コマ再生時に順送りボタン24および逆送りボタン26への操作状態を検出して、コマの順送り/逆送り操作に応じて表示画像を選択し、順送りボタン24および逆送りボタン26が設定ボタン22と併せて押下されると記憶保持しているプリント情報におけるプリント設定枚数値を増減する。制御部30は、変更されたプリント情報を、たとえば他のモードに移行する際にメモリカード16に書き戻してプリントファイルを更新する。
【0048】
制御部30は、さらに、モード設定ダイヤル12が1コマ消去モードに設定されると、順送りボタン24および逆送りボタン26への操作に応じた所望の画像ファイルを再生して表示させるとともに、消去ボタン28への操作を検出すると、表示画像を記憶しているメモリカード16内の画像ファイルを消去する。この場合、とくに、現在表示している画像ファイルに被プリント情報があるか否かを確認し、被プリント情報がない場合にはそのまま画像ファイルを消去する。画像ファイルに被プリント情報があった場合にのみ、被プリント情報の示すジョブIDにて指定されるジョブ内容を削除し、その後表示画像ファイルを消去する。この場合、画像ファイルはプリント指定されている旨を表示パネル18に表示させて、消去ボタン28がさらに押下される等の確認操作を検出した後に画像ファイルおよび関連するジョブを消去させることが好ましい。制御部30はまた、モード設定ダイヤル12によって、全コマ削除モードが設定されると、全画像データを削除するとともに、プリントファイルがある場合に、そのプリントファイル自体を削除する。
【0049】
カメラ10の1コマ再生モードにおける動作を説明する。カメラ10は、1画像から1枚の標準プリントを作成する自動プリント指定を行なうことができ、個々の画像ファイルに対するプリント指定はこの1コマ再生モード中にて行われる。1コマ再生モードでは、プリントを希望する画像を順送りボタン24および逆送りボタン26により選択して再生した後に、設定ボタン22を押下しながら順送りボタン24または逆送りボタン26を押すことによりプリント指定枚数の増減を行ないプリント枚数の設定を行なう。プリント枚数を零としたい場合は、設定ボタン22を押下しながら消去ボタン28を押下する。設定ボタン22を押下しながら順送りボタン24が押下された場合には、表示中の画像に対するプリント指定枚数がインクリメントされる。この場合、まずその画像にプリント情報が設定されているか否かを確認し、ジョブIDで示される被プリント情報がある場合には、ジョブIDで示されるジョブをプリントファイルの中から抽出し、ジョブで設定されている枚数(QUANTITY)を読み込んで、その値を1増加させる。被プリント情報がない場合には、表示されている画像ファイルはプリント設定されていないので、プリントファイル中に枚数設定が零となっている新規のジョブを生成し、そのジョブのジョブIDを表示されている画像ファイル中の被プリント情報の記憶位置にもコピーする。そして被プリント情報がある場合と同様にプリント枚数の設定値を1増加させる。なお、プリントファイル自体が存在しない場合は、プリントファイルを生成してから同様な処理を行なう。
【0050】
メモリカード16には、画像データと、画像データに付帯させる画像再生用パラメータや撮影時情報等の画像付属情報とが画像ファイルとして、個々の画像データに対するプリント情報がプリントファイルとして記憶される。図8は、メモリカード16に記録されるデータの構造を示す図である。階層的に分類されたディレクトリに、画像データと画像付属情報を含む画像ファイル400と、プリント情報を含むプリントファイル300が格納される。ルートディレクトリ(Root)以下に画像データを分類するイメージディレクトリとして01Vacation、02Birthday等が作成され、各イメージディレクトリに画像データが格納される。画像データのファイル名は「IMGnnnnn.JPG」または「IMGnnnnn.RAW」であり、ファイル名における「nnnnn」は整数値、たとえば撮影順に割り振られる連続番号、つまり画像のコマ番号である。またファイル名の拡張子「JPG」はJPEG方式によって圧縮符号化された画像データであることを示し、拡張子「RAW」はCCD−RAWの画像データであることを示す。
【0051】
図9は、CCD−RAWの画像データが格納された画像ファイル400のデータフォーマットの説明図である。画像ファイル400は、画像データ410とともに、画像付属情報として機種情報402、画像再生用パラメータ404、撮影時付属情報406、及び被プリント情報408を格納する。画像付属情報はExifフォーマット規格のタグ(TAG)形式にて記録することができる。
【0052】
図10は、機種情報402のデータの一例を示す図である。「機種名DS−1000」がカメラ10の機種を特定する情報として格納される。機種情報として機種名以外に、カメラ10の撮像部32の特性を示す情報、たとえば、画素数、画素配列、アナログ信号処理方式、A/D変換のビット数等の情報を格納してもよい。
【0053】
図11は、画像再生用パラメータ404に格納されるデータ構造を示す図である。RGB毎にCCDの出力信号から減算するOptical Black分の値を格納したOB補正用データ、色バランスのためにRGB毎にCCDの出力信号に施すゲインを格納したWBゲインデータ、CCDの出力信号に適用される階調補正の変換テーブルを格納したLUTデータが格納される。これらの画像再生用パラメータは、信号処理部34のOB補正部58、WB補正部60及び階調補正部64において使用される画像補正パラメータである。CCD−RAW画像データを再生し、表示または印刷するためには、これらの画像補正パラメータが必要である。画像再生用パラメータ404には、さらにRGBデータとY/Cデータ間の変換パラメータを格納してもよい。
【0054】
図12は、撮影時付属情報406のデータ構造を示す図である。撮影年月日、シャッタ速度、絞り値、露光モード等の撮影時の条件を示す情報が格納される。露光モードとして、標準、シャッタ優先、絞り優先等がある。
【0055】
被プリント情報408は、画像データ410を格納した画像ファイル400がプリントファイル300においてプリント指定されている場合、該当するプリントジョブのジョブIDを格納する。画像ファイル400に対して複数のプリントジョブが指定されている場合は、該当する複数のプリントジョブのジョブIDが格納される。また、画像ファイル400がプリント指定されていない場合は、被プリント情報408は、プリント指定がないことを示す情報、たとえばゼロを格納する。
【0056】
図13は、画像データ410のデータ構造を示す図である。CCD−RAWの画像データの場合、撮像部32の出力信号が非圧縮のままCCDの画素数、画素配列、RGB成分に従って順次格納される。
【0057】
図14は、プリントファイル300に格納されるプリント情報を説明する図である。自動プリントを行なうため、プリントのジョブ毎に、ジョブID(JOB_ID)画像ファイルが格納されたディレクトリを指定するパス名(FILE)、画像ファイル種別(FILE_TYPE)、機種名(CREATOR)、プリント種別(TYPE)、プリント枚数(QUANTITY)、プリント品質の一例として明度(BRIGHTNESS)、日付印字の有無(DATE)等のプリント条件に関するプリント情報を記録する。画像ファイル種別は、画像データがJPEGデータであるか、CCD−RAWデータであるかを示す。機種名は、画像データを撮影したカメラ10の機種、特にカメラ10の撮像部32を特定する情報であり、画像ファイル種別がCCD−RAWである場合に与えられる。プリント種別は、標準サイズ、拡大サイズ、縮小サイズ等プリントサイズを決めるデータであるか、またはシールプリント等のプリントタイプを示すデータである。プリント品質は、利用者が設定する画像調整レベルであり、明度、彩度、シャープネス、色相等に関して所望の値またはレベルを指定する。
【0058】
プリントジョブはプリントしたい画像データに対して個別に定義することができる。同一の画像データに対して複数のジョブを定義し、異なるプリント条件を指定してもよい。プリントファイルには、複数のジョブが記述される。ジョブにはジョブIDが付与され、各ジョブを指定する情報はそれぞれ括弧({})内に記述される。ジョブ指定情報はテキストコードにて作成されてメモリカード16のルートディレクトリにファイル名「PRT_INFO.TXT」としてテキストデータの形態で画像ファイルとは別に記録される。プリントファイルはバイナリ形式で記録されてもよい。
【0059】
図14において、ジョブIDが01のジョブはJPEG画像のプリントジョブであり、イメージディレクトリ01VACATIONに格納された画像ファイルIMG00001.JPGに対して、プリント種別は標準(STANDARD)、プリント枚数は3枚、画像ファイル種別はJPEGデータ、利用者が設定した明度のレベルは0、日付印字は有りが指定される。ジョブIDが02のジョブでは、イメージディレクトリ01VACATIONに格納された画像ファイルIMG00002.RAWに対して、プリント種別は標準(STANDARD)、プリント枚数は1枚、画像ファイル種別はCCD−RAWデータ、機種名はDS−1000、利用者が設定した明度のレベルはプラス1、日付印字は有りが指定される。
【0060】
プリントファイル300にはジョブ毎に、画像ファイル、画像ファイル種別が指定され、画像ファイル種別がCCD−RAWである場合には、当該画像ファイルを撮影した機種を識別する機種名が与えられるので、画像ファイル400をメモリカード16から読み込む前に、プリントの際、画像ファイル400の画像ファイル種別と撮影機種を知ることができる。したがってメモリカード16に記録された画像を、ラボシステムやコンピュータで画像処理して、プリントする場合、画像データがJPEGデータであるか、CCD−RAWデータであるかをプリントファイル300により判別して、ジョブをあらかじめ分類し、さらにCCD−RAWデータの場合、撮影機種によって分類し、ジョブをバッチ処理することができる。画像ファイル種別により、画像処理が大きく異なり、特にCCD−RAWデータの場合、処理に時間を要するため、あらかじめジョブを分類することにより、プリント処理を円滑に行うことができる。またラボシステムやコンピュータのアプリケーションがCCD−RAWデータを撮影した機種に対応できない場合、エラー処理を行ったり、近似的に他の機種に対応させて処理を行うなど、撮影機種に応じた処理を適切に行うことができる。
【0061】
上記の説明では、画像ファイル種別を、プリントファイル300に格納された画像ファイル種別の情報によって判定したが、画像ファイル種別は、JPEGやRAWなどの画像ファイル名に付与された拡張子で判定してもよい。
【0062】
以上述べたように、本実施形態の画像撮影装置によれば、CCD−RAWの画像データとJPEGの画像データを記録することができ、CCD−RAWデータの場合には、画像ファイル種別がCCD−RAWであることを示す情報と、CCD−RAWデータを生成したカメラの機種に関する情報とを、画像のプリントを指定するファイルに記録することができる。したがって、ラボシステムやコンピュータで記録された画像データを再生する場合に、画像データを読み込む前に、JPEGデータであるか、CCD−RAWデータであるかを識別し、CCD−RAWデータである場合には、撮影したカメラの機種を識別することができ、機種に合わせて適切な再生処理を円滑に行うことができる。機種毎に依存する画像再生用の補正パラメータは、CCD−RAWデータに付属させて記録することにより、機種依存の調整を適正に行うことができる。
【0063】
JPEGデータは、液晶ディスプレイ等の表示部に容易に表示させるために、画像再生に適した画像信号形態に変換された画像信号を圧縮符号化したデータであるため、JPEGデータをさらに画像調整しても高画質の画像を得ることができない。一方、CCD−RAWデータはカメラの撮影部の生出力データであり、多ビットで画質に優れるため、自在に画像調整を行って高画質の画像を再生することができる。したがって、本実施形態の画像撮影装置によって記録されたCCD−RAWデータに対して、利用者が所望するプリント明度、彩度、色相、シャープネスを指定して、画像を適正に調整し、高画質の画像を得ることができる。
【0064】
(実施形態2)
本発明の第2の実施形態を説明する。図15は、画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム200の構成図である。本実施形態のラボシステム200は、入力部210と、処理部220と、記録部240と、出力部250とを有する。
【0065】
入力部210は、画像データと画像付属情報を含む画像ファイル、及びプリント情報を含むプリントファイルを入力する。デジタルカメラ等で撮影された画像ファイル及びプリントファイルを入力する場合、入力部210には、半導体メモリカード等の着脱自在な記録媒体から画像データを読み取るための読み取り装置が用いられる。また、フロッピーディスク、MO、CD−ROM等から画像ファイル及びプリントファイルを読み取る場合は、入力部210として、それぞれフロッピードライブ、MOドライブ、CDドライブ等が用いられてもよい。
【0066】
画像ファイルには画像データとともに画像付属情報が格納されており、プリントファイルにはジョブ毎に画像データ種別、プリント枚数等プリントに関する情報が格納される。
【0067】
処理部220は、入力部210が入力した画像ファイル及びプリントファイルを記憶し、プリントファイルに記述されたプリントジョブ情報に基づいて、画像ファイルに格納された画像データの調整、補正等の画像処理を行う。処理部220は処理された画像データを記録部240と出力部250に出力する。
【0068】
記録部240は、処理部220が出力した画像データを着脱自在な記録媒体に記録する。記録媒体として、書き込み可能なCD−ROM、DVD等の光記録媒体や、MO等の光磁気記録媒体、フロッピーディスク等の磁気記録媒体等が用いられる。記録部240として、CD−Rドライブ、DVDドライブ、MOドライブ、フロッピードライブ等が用いられる。また、記録部240は、フラッシュメモリ、メモリカード等の半導体メモリに画像データを記録してもよい。
【0069】
出力部250は、処理部220が出力する画像データを表示または印刷する。画像を画面表示する場合、出力部250には画像を表示するモニタが用いられる。また画像を印刷する場合、出力部250にはデジタルプリンタやレーザプリンタ等のプリンタが用いられる。
【0070】
図16は、処理部220の機能構成図である。処理部220は、ジョブ情報読込部502と、画像種別判定部504と、撮影機種判定部506と、画像情報読込部508と、画像補正部510とを有する。
【0071】
ジョブ情報読込部502は、入力部210が入力するプリントファイル300からプリントジョブ情報を順次読み込む。画像種別判定部504はプリントジョブに記述された画像種別(FILE_TYPE)によって当該プリントジョブでプリントする画像データの画像種別を判定する。撮影機種判定部506は、プリントジョブに記述された機種(CREATOR)によって当該プリントジョブでプリントする画像データを撮影したカメラの機種を判定する。画像情報読込部508は、入力部210が入力する画像ファイルから画像データ及び画像付帯情報を読み取る。画像データがCCD−RAWデータである場合には、画像付属情報として画像再生用パラメータが読み取られる。
【0072】
画像補正部510は、画像種別判定部504の画像種別の判定の結果、画像データがJPEGデータである場合には、JPEGデータを伸張し、プリントファイル300に指定された画像調整パラメータに基づいて、画像データの補正を行う。画像補正部510は、画像種別判定部504の画像種別の判定の結果、画像データがCCD−RAWデータである場合には、撮影機種判定部506が判定する機種に基づき、画像情報読込部508が読み込んだ画像付帯情報の画像再生用パラメータを用いて、機種に依存した画像補正をCCD−RAWデータに対して行う。
【0073】
図17は、処理部220が行う画像補正処理のフローチャートである。ジョブ情報読込部502はプリントファイル300からプリントジョブ情報を読み取る(S100)。画像種別判定部504は、プリントジョブに記述された画像種別データから画像ファイルの種類がJPEGデータであるか、CCD−RAWデータであるかを判定する(S102)。JPEGデータの場合、画像補正部510はJPEGデータを伸張し、再生、プリント用のラスタデータ(RGBデータ)を作成し(S104)、利用者が設定した明るさ補正パラメータに基づいてLUTを選択して、明るさ補正を行う(S106)。画像補正部510は、プリントジョブに日付印字が設定されていた場合に、補正された画像データに撮影の日付を合成した画像データを作成する(S108)。出力部250はプリントジョブに指定されたプリント枚数にしたがって画像データをプリントする(S110)。
【0074】
画像ファイルの種類がCCD−RAWである場合、画像情報読込部508は、画像ファイルに画像付属情報として画像再生用パラメータを読み込む(S120)。撮影機種判定部506は、プリントジョブに記述された機種情報により、CCD−RAWデータを作成したカメラの機種を判定する(S122)。カメラの機種がDS−1000、DS−700、DS−500の場合にそれぞれ異なる画像補正処理S124、S126、S128を行う。またカメラの機種がその他の場合、CCD−RAWデータの機種に対する画像補正方法が定義されていないため、CCD−RAWデータの画像再生に対応できないことを表示する。カメラの機種がDS−1000の場合の処理S124として、OB処理S140、WB処理S142、補間処理S144、階調補正処理S146を行う。各画像補正処理には、画像情報読込部508が画像ファイルから読み込んだ画像再生用パラメータが用いられる。OB処理S140、WB処理S142、補間処理S144、階調補正処理S146は、基本的に第1の実施形態のカメラ10における同一名称の画像補正処理と同じ処理を行うが、プリントジョブに利用者が指定した、プリント明度、彩度、色相、シャープネスなどの所望の調整レベルを反映させることもできる。たとえば、プリントジョブにプリント明度についてBRIGHTNESS=+1という指定があれば、画像再生用パラメータとして与えられたLUTに対して、明るさを通常よりも増すように調整した上で、階調補正処理を行えばよい。
【0075】
JPEGデータの場合、階調補正によって階調の連続性が劣化するが、CCD−RAWデータの場合、階調補正しても階調の連続性が失われない。そのため、利用者が指定する明るさ調整を行うと、JPEGデータでは階調飛びのため画質が劣化するが、CCD−RAWデータでは階調飛びが発生しにくいため高画質の画像を得ることができる。
【0076】
階調補正による階調飛びを簡単な例で説明する。図18は、3ビットから3ビットへの階調補正を説明する図である。本図のグラフで規定されるLUTによって、3ビットすなわち8階調の入力値が同一ビット数の出力値に変換されると、変換後の出力値は、実質的な階調数が減少する。図19は、階調補正による入力値に対する出力値を説明する図である。0から7の整数の入力値に対して、出力値は不連続な、0、3、4、5、6、7の値を持ち、2、3の値を持たない。このように、同一ビット数の信号間で階調補正すると、不連続性が生じ、実質的に階調数が減少する。
【0077】
図20は、4ビットから3ビットへの階調補正を説明する図である。本図のグラフによって規定されるLUTによって、4ビットすなわち16階調の入力値が3ビットすなわち8階調の出力値に変換されると、変換後の出力値は不連続値を生じない。図21は、階調補正による入力値に対する出力値を説明する図である。0から15の整数の入力値に対して、出力値は0から7の連続の整数値を取り、値に飛びは生じない。このように、ビット数の多い信号からビット数の少ない信号へ階調補正すると、信号値に不連続性は生じにくくなる。
【0078】
JPEGデータの場合、CCD−RAWデータを画像再生表示に適した信号形態に変換するため、画像補正過程でビット数が少なくなる。たとえばCCD−RAWデータが12ビットに対して、JPEGデータは8ビットである。図22は、JPEGデータの階調補正を説明する図である。8ビットから8ビットへの階調補正であるため、不連続性を生じる。プリントジョブで利用者がプリント明度のレベルを+1に設定した場合でも、階調補正による不連続性のため、高画質の補正画像を得ることができない。
【0079】
図23は、CCD−RAWデータの階調補正を説明する図である。10ビットから8ビットへの階調補正であり、階調補正後の信号値に不連続性は生じにくい。利用者がプリント明度のレベルを+1に設定すると、画像付属情報から画像再生用パラメータとして与えられたLUTに対して、利用者の調整レベルの調整を行い、新たなLUTを作成して階調補正することができ、利用者の所望する高画質の画像を作成することができる。
【0080】
CCD−RAWデータを階調補正するためのLUTは、CCD−RAWデータの画像ファイルに格納された、画像付属情報の画像再生用パラメータからLUTを読み取り、ラボシステムにおけるLUTを合成して作成する。また、機種毎の合成後のLUTをラボシステムで予め準備しておいてもよい。図24は、ラボシステムにおける階調補正を説明する図である。ラボシステムでは10ビットから10ビットへの階調補正が行われる。この階調補正特性は、図22のJPEGの階調補正特性と同一の特性で、入出力の分解度を8ビットから10ビットに変更したものである。
【0081】
プリントジョブに指定されたCCD−RAWデータがラボシステムで対応していないカメラの機種で作成されている場合、画像を再生することができないので、処理ができない旨、警告し、次のプリントジョブに移行する。この場合、CCD−RAWデータを読み取る前に、プリントジョブに記載された機種情報を用いて、処理可能か否かの判定ができるため、ラボシステムのプリント処理の生産性を低下させることがない。
【0082】
本実施形態の画像処理装置によれば、画像ファイルとプリントファイルを入力し、プリントファイルのプリントジョブに記述された画像ファイル種別によって、画像ファイルがJPEGデータであるか、CCD−RAWデータであるかを識別することができ、さらにCCD−RAWデータである場合には、CCD−RAWデータを作成したカメラの機種情報をプリントジョブから読み取ることができる。したがって、プリントジョブに指定された画像ファイルを読み込む前に、当該画像ファイルの画像種別を識別し、CCD−RAWデータである場合に、機種情報を識別して、機種毎に異なる画像補正処理をバッチ処理で行うことができ、プリント処理の生産性を向上させることができる。
【0083】
また、CCD−RAWデータは、JPEGデータとは違い、多ビットで画質に優れるため、自在に画像調整を行って高画質の画像を再生することができる。したがって、利用者が所望するプリント明度、彩度、色相、シャープネスを指定して、画像を適正に調整し、高画質の画像を得ることができる。
【0084】
(実施形態3)
次に、本発明の第3の実施形態を説明する。図25は、本実施形態の画像処理装置の構成図である。本実施形態の画像処理装置の基本的な構成及び動作は、第2の実施形態の画像処理装置と同様である。本実施形態では、画像処理装置の処理部120として、パーソナルコンピュータやワークステーション等の電子計算機を用いる点が、第2の実施形態と異なる。
【0085】
図25を参照しながら、本実施形態の処理部220のハードウエア構成を説明する。CPU230はROM232及びRAM234に格納されたプログラムに基づいて動作する。キーボード、マウス等の入力装置231を介して利用者によりデータが入力される。ハードディスク233は、画像等のデータ、及びCPU230を動作させるプログラムを格納する。CD−ROMドライブ235はCD−ROM290からデータ又はプログラムを読み取り、RAM234、ハードディスク233及びCPU230の少なくともいずれかに提供する。
【0086】
CPU230が実行するソフトウエアの機能構成は、第2の実施形態の画像処理装置の処理部220の機能構成と同じであり、ジョブ情報読込モジュールと、画像種別判別モジュールと、撮影機種判別モジュールと、画像情報読込モジュールと、画像補正モジュールを有する。
【0087】
ジョブ情報読込モジュール、画像種別判別モジュール、撮影機種判別モジュール、画像情報読込モジュール、及び画像補正モジュールが、CPU230に行わせる処理は、それぞれ第2の実施形態の画像処理装置の処理部220における、対応する構成要素の機能及び動作と基本的に同じであり、詳細な説明を省略するが、本実施形態では、電子計算機の利用者が画像処理を細かく指示することが可能である点が異なる。
【0088】
パーソナルコンピュータにおいて、デジタルカメラによる撮影された画像データ、特にCCD−RAWデータを読み取り、画像処理する場合、パーソナルコンピュータの利用者が画質を微調整することが可能となる。たとえば、階調補正、明るさ補正、彩度補正、色バランスや色相補正等の細かい補正が可能である。階調補正については、LUTデータを格納したファイルを作成し、プリントジョブでそのファイルを指定してもよい。
【0089】
図26は、利用者が設定する詳細な画像調整パラメータを含むプリントジョブの一例を示す図である。プリント明度(BRIGHTNESS)、色相(HUE)、彩度(SATURATION)、シャープネス(SHARPNESS)の調整レベルを指定することができる。この例ではLUTについては、ファイルを格納されたディレクトリのパスを含めて指定する。これによりプリンタでは準備していないLUTによる階調補正を行うことが可能である。プリントジョブの記述は、デジタルカメラで行われてもよく、利用者がコンピュータのテキストエディタ等のアプリケーションを用いて記述してもよい。
【0090】
処理部220は、プリントジョブに記述された画像調整情報を用いて、画像データを補正する。画像データがCCD−RAWデータの場合、12ビットの画像データに対して画像補正の演算がなされた後、8ビットに変換され、表示または印刷されるので、8ビットのJPEGデータに対して画像補正する場合よりも、高精度で画像補正ができ、高画質の画像を作成できる。
【0091】
また、パーソナルコンピュータを用いた場合、画像データを用いたプレゼンテーションや、自動再生表示を行うことができる。たとえば、プリントファイルにプリントジョブを記述する代わりに、再生する画像データの順序や、再生するタイミング、同時に表示するテキスト情報等を含むシナリオを記述し、パーソナルコンピュータのモニタに画像データをシナリオに従って自動再生やプレゼンテーションをすることができる。
【0092】
CPU230が実行するソフトウエアは、CD−ROM290等の記録媒体に格納されて利用者に提供される。ソフトウエアは記録媒体からハードディスク233にインストールされ、RAM234に読み出されてCPU230により実行される。記録媒体の一例としてのCD−ROM290には、本出願で説明した画像処理装置の動作の一部又は全ての機能を格納することができる。これらのプログラムは記録媒体から直接RAM234に読み出されて実行されてもよい。
【0093】
記録媒体としては、CD−ROM290の他にも、DVDやPD等の光学記録媒体、フロッピーディスクやミニディスク(MD)等の磁気記録媒体、MO等の光磁気記録媒体、テープ状記録媒体、不揮発性の半導体メモリカード等を用いることができる。上記のプログラムを格納した記録媒体は、本出願の画像処理装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【0094】
以上述べたように、本発明の画像撮影装置によれば、CCD−RAWの画像データを再生用パラメータとともに画像ファイルに記録し、プリントを指定するプリントファイルに画像ファイルがCCD−RAWデータであることを示す画像種別情報と、CCD−RAWデータを作成した機種に関する情報とを記録することができる。したがって、ラボシステムやコンピュータで記録された画像データを再生する場合に、画像データを読み込む前に、CCD−RAWデータであることを識別し、CCD−RAWデータである場合には、撮影したカメラの機種を識別し、機種に合わせて適切な再生処理を円滑に行うことができる。機種毎に依存する画像再生用の補正パラメータは、CCD−RAWデータに付属させて記録されるため、機種依存の調整を適正に行うことができる。
【0095】
本発明の画像処理装置によれば、画像ファイルとプリントファイルを入力し、プリントファイルのプリントジョブに記述された画像ファイル種別によって、画像ファイルがJPEGデータであるか、CCD−RAWデータであるかを識別することができ、さらにCCD−RAWデータである場合には、CCD−RAWデータを作成したカメラの機種情報をプリントジョブから読み取ることができる。したがって、プリントジョブに指定された画像ファイルを読み込む前に、当該画像ファイルの画像種別を識別し、CCD−RAWデータである場合に、機種情報を識別して、機種毎に異なる画像補正処理をバッチ処理で行うことができ、プリント処理の生産性を向上させることができる。
【0096】
また、画像撮影装置で記録されたCCD−RAWデータは多ビットで画質に優れるため、自在に画像調整を行って高画質の画像を再生することができる。したがって、画像処理装置でCCD−RAWデータを再生する際、利用者が所望するプリント明度、彩度、色相、シャープネスを指定して、画像を適正に調整し、高画質の画像を得ることができる。
【0097】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0098】
そのような変更例として、第3の実施形態の画像処理装置においては、メモリカード等に記録された画像データを入力させたが、デジタルカメラやデジタルビデオカメラによって撮影した画像を直接入力させてもよい。そのような画像処理装置は、CCDカメラを内蔵したノート型コンピュータ等の携帯型電子端末装置、CMOS画像センサを内蔵した携帯電子機器、CMOS画像センサを内蔵した携帯電話等の携帯通信装置であってもよい。
【0099】
また、上記の説明では、画像撮影装置によって撮影したデジタル画像をプリント情報とともにメモリカード等の記録媒体に記録したが、APS(Advanced Photo System)カメラのように、銀塩フィルムの一部に磁気情報を記録可能な磁気記録部を設けたフィルムを記録媒体として用い、磁気記録部に、撮影日時、プリント枚数、プリント明度等のプリント情報を記録してもよい。この場合、画像処理装置は、銀塩フィルムに撮像された画像をフィルムスキャナによって読み取り、デジタル画像データを作成し、銀塩フィルムの磁気記録部から磁気読み取り手段を用いてプリント情報を読み取り、プリント情報に基づいて画像データの補正、調整処理を行う。
【0100】
また、上記の説明では、画像撮影装置が撮影した画像データとプリント情報を記録媒体に格納し、画像処理装置は記録媒体から画像データとプリント情報を読み取ったが、画像撮影装置と画像処理装置が通信し、画像データとプリント情報を送受信してもよい。画像撮影装置が画像処理装置と通信するために、たとえばUSB、RS−232C、イーサネット、Bluetooth、IrDA、IEEE1394などの通信仕様が用いられる。
【0101】
また、上記の説明ではJPEGデータはCCD−RAWデータよりもビット数の少ない8ビットのデータであったため、階調補正により不連続な階調飛びが生じたが、CCD−RAWデータと同一のビット数、たとえば12ビットのJPEGデータを用いて階調飛びが生じないようにしてもよい。その場合、再生時に記録された12ビットのJPEGデータを伸張した上で、階調補正により8ビットのJPEGデータに変換して表示または印刷する。
【0102】
【発明の効果】
上記説明から明らかなように、本発明によれば、画像データをRAWデータとして記録し、適正な画像補正を行って利用者の所望する高画質の画像を再生することができる。
【図面の簡単な説明】
【図1】 本実施形態のカメラ10の外観図である。
【図2】 カメラ10の表示パネル18に表示されるメニュー画面の一例を示す図である。
【図3】 カメラ10の機能構成図である。
【図4】 撮像部32の機能構成図である。
【図5】 信号処理部34の機能構成図である。
【図6】 階調補正のLUTのグラフを説明する図である。
【図7】 スイッチSW1及びSW2の状態によって決まる画像の記録及び再生のモードを示す図である。
【図8】 メモリカード16に記録されるデータの構造を示す図である。
【図9】 CCD−RAWの画像データが格納された画像ファイル400のデータフォーマットの説明図である。
【図10】 機種情報402のデータの一例を示す図である。
【図11】 画像再生用パラメータ404に格納されるデータ構造を示す図である。
【図12】 撮影時付属情報406のデータ構造を示す図である。
【図13】 画像データ410のデータ構造を示す図である。
【図14】 プリントファイル300に格納されるプリント情報を説明する図である。
【図15】 画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム200の構成図である。
【図16】 処理部220の機能構成図である。
【図17】 処理部220が行う画像補正処理のフローチャートである。
【図18】 3ビットから3ビットへの階調補正を説明する図である。
【図19】 階調補正による入力値に対する出力値を説明する図である。
【図20】 4ビットから3ビットへの階調補正を説明する図である。
【図21】 階調補正による入力値に対する出力値を説明する図である。
【図22】 JPEGデータの階調補正を説明する図である。
【図23】 CCD−RAWデータの階調補正を説明する図である。
【図24】 ラボシステムにおける階調補正を説明する図である。
【図25】 第3の実施形態の画像処理装置の構成図である。
【図26】 利用者が設定する詳細な画像調整パラメータを含むプリントジョブの一例を示す図である。
【符号の説明】
10 カメラ 14 カードスロット
16 メモリカード 18 表示パネル
30 制御部 32 撮像部
34 信号処理部 35 バッファメモリ
36 フレームメモリ 38 圧縮伸張処理部
40 操作部 42 キャラクタジェネレータ
44 D/A変換部
50 光学レンズ 52 CCD
54 アナログ信号処理部
56 A/D変換部 58 OB補正部
60 WB補正部 62 補間処理部
64 階調補正部
300 プリントファイル 400 画像ファイル
402 機種情報 404 画像再生用パラメータ
406 撮影時付属情報 410 画像データ
200 ラボシステム
502 ジョブ情報読込部
504 画像種別判定部 506 撮影機種判定部
508 画像情報読込部 510 画像補正部

Claims (17)

  1. 画像処理を行う画像処理装置であって、
    画像データを含む画像ファイル、及びプリントジョブ情報を含むプリントファイルを入力する入力部と、
    前記プリントジョブ情報に基づいて、前記画像データの画像処理を行う処理部と、
    前記処理部により画像処理が施された前記画像データを印刷する出力部と
    を備え、
    前記処理部は、
    前記プリントジョブ情報に記述された画像種別に基づいて、前記画像データの画像種別を判定する画像種別判定部と、
    前記画像種別判定部が判定した前記画像種別がRAWデータである場合に、前記プリントジョブ情報に記述された機種情報に基づいて、前記画像データを撮像した撮像装置の機種を判定する撮影機種判定部と、
    前記画像種別判定部が判定した前記画像種別がRAWデータである場合に、前記撮影機種判定部が判定した前記機種によって異なる画像補正を、RAWデータの前記画像データに対して行う画像補正部と
    を有する画像処理装置。
  2. 前記入力部は、利用者が設定する明度、彩度、色バランス、色相、階調、及びシャープネスの少なくとも1つを補正する利用者画像調整情報を入力
    前記画像補正部は、前記画像データRAWデータである場合に、前記画像データを前記利用者画像調整情報に基づいて変換し、前記画像データ圧縮符号化データである場合に、前記画像データを伸張する請求項1に記載の画像処理装置。
  3. 前記画像補正部は、前記画像データがRAWデータである場合に、前記RAWデータを、前記RAWデータの1画素当たりのビット数より小さいビット数の画像データに変換する請求項1または2に記載の画像処理装置。
  4. 前記入力部は、前記画像データとは別に、前記画像データを撮像した撮像装置の機種に依存する前記画像データの画素数、画素配列、及び1画素当たりのビット数の少なくとも1つの機種依存情報を含む信号形式識別情報を入力し
    前記画像補正部は、前記画像データがRAWデータである場合に、前記機種依存情報に基づいて前記RAWデータを変換する請求項1乃至3のいずれかに記載の画像処理装置。
  5. 前記入力部は、前記画像データに付帯された、前記画像データを再生するための再生情報を入力し、
    前記画像補正部は、前記画像データを前記再生情報に基づいて変換する請求項1乃至4のいずれかに記載の画像処理装置。
  6. 前記再生情報は、画像の明度、彩度、色バランス及び階調の少なくとも1つを補正する画像調整情報であり、
    前記画像補正部は、前記画像調整情報に基づいて前記画像データを変換する請求項に記載の画像処理装置。
  7. 前記プリントジョブ情報は、前記ジョブ毎に、前記画像データのファイル名、印刷種別、印刷枚数、及び画像ファイル種別を規定する請求項1乃至6のいずれかに記載の画像処理装置。
  8. 画像処理を行うコンピュータ用のプログラムを格納した記録媒体であって、前記プログラムが、前記コンピュータを、
    画像データを含む画像ファイル、及びプリントジョブ情報を含むプリントファイルを入力する入力部、
    前記プリントジョブ情報に基づいて、前記画像データの画像処理を行う処理部であって、前記プリントジョブ情報に記述された画像種別に基づいて、前記画像データの画像種別を判定する画像種別判定部と、前記画像種別判定部が判定した前記画像種別がRAWデータである場合に、前記プリントジョブ情報に記述された機種情報に基づいて、前記画像データを撮像した撮像装置の機種を判定する撮影機種判定部と、前記画像種別判定部が判定した前記画像種別がRAWデータである場合に、前記撮影機種判定部が判定した前記機種によって異なる画像補正を、RAWデータの前記画像データに対して行う画像補正部とからなる処理部、および
    前記処理部により画像処理が施された前記画像データを印刷する出力部
    として機能させる記録媒体。
  9. 前記入力部は、利用者が設定する明度、彩度、色バランス、色相、階調、及びシャープネスの少なくとも1つを補正する利用者画像調整情報を入力
    前記画像補正部は、前記画像データRAWデータである場合に、前記画像データを前記利用者画像調整情報に基づいて変換し、前記画像データ圧縮符号化データである場合に、前記画像データを伸張する請求項8に記載の記録媒体。
  10. 前記画像補正部は、前記画像データがRAWデータである場合に、前記RAWデータを、前記RAWデータの1画素当たりのビット数より小さいビット数の画像データに変換する請求項8または9に記載の記録媒体。
  11. 前記入力部は、前記画像データとは別に、前記画像データを撮像した撮像装置の機種に依存する前記画像データの画素数、画素配列、及び1画素当たりのビット数の少なくとも1つの機種依存情報を含む信号形式識別情報を入力し、
    前記画像補正部は、前記画像データがRAWデータである場合に、前記機種依存情報に基づいて前記RAWデータを変換する請求項8乃至10のいずれかに記載の記録媒体。
  12. 前記プリントジョブ情報は、前記ジョブ毎に、前記画像データのファイル名、印刷種別、印刷枚数、及び画像ファイル種別を規定する請求項8乃至11のいずれかに記載の記録媒体。
  13. 画像処理を行う画像処理方法であって、
    画像データを含む画像ファイル、及びプリントジョブ情報を含むプリントファイルを入力する入力段階と、
    前記プリントジョブ情報に基づいて、前記画像データの画像処理を行う処理段階と、
    前記処理段階により画像処理が施された前記画像データを印刷する出力段階と
    を備え、
    前記処理段階は、
    前記プリントジョブ情報に記述された画像種別に基づいて、前記画像データの画像種別を判定する画像種別判定段階と、
    前記画像種別判定段階で判定した前記画像種別がRAWデータである場合に、前記プリントジョブ情報に記述された機種情報に基づいて、前記画像データを撮像した撮像装置の機種を判定する撮影機種判定段階と、
    前記画像種別判定段階で判定した前記画像種別がRAWデータである場合に、前記撮影機種判定段階で判定した前記機種によって異なる画像補正を、RAWデータの前記画像データに対して行う画像補正段階と
    を有する画像処理方法。
  14. 前記入力段階は、利用者が設定する明度、彩度、色バランス、色相、階調、及びシャープネスの少なくとも1つを補正する利用者画像調整情報を入力する段階を有し
    前記画像補正段階は、前記画像データRAWデータである場合に、前記画像データを前記利用者画像調整情報に基づいて変換し、前記画像データ圧縮符号化データである場合に、前記画像データを前記画像データを伸張する段階を有する請求項13に記載の画像処理方法。
  15. 前記画像補正段階は、前記画像データがRAWデータである場合に、前記RAWデータを、前記RAWデータの1画素当たりのビット数より小さいビット数の画像データに変換する段階と有する請求項13または14に記載の画像処理方法。
  16. 前記入力段階は、前記画像データとは別に、前記画像データを撮像した撮像装置の機種に依存する前記画像データの画素数、画素配列、及び1画素当たりのビット数の少なくとも1つの機種依存情報を含む信号形式識別情報を入力する段階を有し、
    前記画像補正段階は、前記画像データがRAWデータである場合に、前記機種依存情報に基づいて前記RAWデータを変換する段階を有する請求項13乃至15のいずれかに記載の画像処理方法。
  17. 前記プリントジョブ情報は、前記ジョブ毎に、前記画像データのファイル名、印刷種別、印刷枚数、及び画像ファイル種別を規定する請求項13乃至16のいずれかに記載の画像処理方法。
JP2000029585A 2000-02-07 2000-02-07 画像処理装置 Expired - Fee Related JP4369585B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000029585A JP4369585B2 (ja) 2000-02-07 2000-02-07 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000029585A JP4369585B2 (ja) 2000-02-07 2000-02-07 画像処理装置

Publications (3)

Publication Number Publication Date
JP2001223979A JP2001223979A (ja) 2001-08-17
JP2001223979A5 JP2001223979A5 (ja) 2007-04-05
JP4369585B2 true JP4369585B2 (ja) 2009-11-25

Family

ID=18554823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000029585A Expired - Fee Related JP4369585B2 (ja) 2000-02-07 2000-02-07 画像処理装置

Country Status (1)

Country Link
JP (1) JP4369585B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206741B2 (ja) * 2001-01-17 2013-06-12 セイコーエプソン株式会社 画像ファイルの生成および出力
US7196810B2 (en) 2001-08-28 2007-03-27 Casio Computer Co., Ltd Printing system
JP4785309B2 (ja) * 2001-09-27 2011-10-05 キヤノン株式会社 画像記録装置、画像記録方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム
JP4163412B2 (ja) 2001-12-19 2008-10-08 オリンパス株式会社 印刷システム、画像処理装置及びその方法
JP4357151B2 (ja) 2002-03-28 2009-11-04 富士フイルム株式会社 デジタルカメラ及び画像データ処理システム
US7580063B2 (en) 2002-05-07 2009-08-25 Fujifilm Corporation Digital camera for outputting image correction information
JP2003348429A (ja) 2002-05-27 2003-12-05 Nikon Corp 電子カメラ、および画像処理プログラム
JP4066737B2 (ja) 2002-07-29 2008-03-26 セイコーエプソン株式会社 画像処理システム
JP2004289450A (ja) 2003-03-20 2004-10-14 Canon Inc 情報処理方法及び装置及びプログラム、及びプログラムを格納する記憶媒体
JP4269776B2 (ja) * 2003-05-21 2009-05-27 株式会社ニコン 電子カメラ、及びプログラム
US7480382B2 (en) * 2003-09-30 2009-01-20 Microsoft Corporation Image file container
JP4852830B2 (ja) * 2004-07-28 2012-01-11 ソニー株式会社 画像処理装置及び画像処理方法
US8040395B2 (en) * 2004-12-13 2011-10-18 Nokia Cororation System and method for automatic format selection for digital photographs
US7336817B2 (en) * 2005-06-20 2008-02-26 Microsoft Corporation Processing raw and pre-processed digital images
JP2007036353A (ja) * 2005-07-22 2007-02-08 Fujifilm Holdings Corp 撮像装置
JP4955235B2 (ja) 2005-07-29 2012-06-20 イーストマン コダック カンパニー デジタルカメラおよびゲイン算出方法
JP4978334B2 (ja) 2006-09-25 2012-07-18 セイコーエプソン株式会社 画像処理装置、rawファイル情報表示方法、およびコンピュータプログラム
JP5029164B2 (ja) * 2006-09-25 2012-09-19 セイコーエプソン株式会社 未現像の画像データを用いる画像処理
JP4958680B2 (ja) 2007-08-08 2012-06-20 キヤノン株式会社 撮像装置、そのホワイトバランス制御方法、プログラムおよび記憶媒体
JP5098506B2 (ja) * 2007-08-10 2012-12-12 セイコーエプソン株式会社 印刷装置およびその制御方法並びにプログラム
KR101246738B1 (ko) * 2008-12-10 2013-03-25 캐논 가부시끼가이샤 화상처리장치 및 화상처리방법, 및, 데이터 처리장치 및 데이터 처리 방법
JP5355190B2 (ja) * 2009-04-08 2013-11-27 キヤノン株式会社 画像表示装置及び方法並びにプログラム
JP5407651B2 (ja) * 2009-08-17 2014-02-05 株式会社ニコン 画像処理装置、画像処理プログラム
JP6136086B2 (ja) 2011-12-28 2017-05-31 ソニー株式会社 撮像装置および画像処理装置
JP5730360B2 (ja) * 2013-08-27 2015-06-10 キヤノン株式会社 表示制御装置、表示制御装置の制御方法及びプログラム
JP6229809B2 (ja) * 2017-05-01 2017-11-15 ソニー株式会社 撮像装置及び画像処理方法
JP6409938B2 (ja) * 2017-10-13 2018-10-24 ソニー株式会社 撮像装置および画像処理方法
JP6769466B2 (ja) * 2018-09-27 2020-10-14 ソニー株式会社 撮像装置および画像処理方法

Also Published As

Publication number Publication date
JP2001223979A (ja) 2001-08-17

Similar Documents

Publication Publication Date Title
JP4369585B2 (ja) 画像処理装置
JP4298253B2 (ja) 画像処理方法及び装置、及び撮像装置
US7742080B2 (en) Image processing apparatus, digital camera, and image processing method for attaching proper imaging conditions to a captured image
US7170552B2 (en) Digital imaging system and file format for storage and selective transmission of processed and unprocessed image data
US8655077B2 (en) Image-capturing and data extraction device
CN101189869B (zh) 摄像装置、摄像结果处理方法和图像处理装置
US7728886B2 (en) Image recording apparatus and method
US20030058354A1 (en) Digital photography system using direct input to output pixel mapping and resizing
KR20080081309A (ko) 전자 이미지 캡쳐 장치, 단일 이미지 파일, 컬러 이미지캡쳐 및 프로세싱 방법
US20020140827A1 (en) Image processing apparatus and image reproducing apparatus
US20060139669A1 (en) Image pickup apparatus and control method of the apparatus
US20120176512A1 (en) Image storage apparatus, image storage method, and control program executed in image storage apparatus
JP4616500B2 (ja) 画像送信装置、方法及びプログラム
JP3747914B2 (ja) 画像記録装置、画像記録方法及びプログラム
JP3956431B2 (ja) 合成写真機能付き電子カメラ
JP2007166265A (ja) カメラ装置、画像データ生成装置及びカメラシステム、撮像方法並びに撮像処理プログラム
JP4060462B2 (ja) 情報管理方法および情報管理装置
US20020085101A1 (en) Information input apparatus and method
JP4211764B2 (ja) 電子カメラ、画像記録装置、画像記録方法及びプログラム
JP4371371B2 (ja) 画像データ撮像装置、撮像処理方法、プログラムおよび記録媒体
JP2002218382A (ja) 画像処理装置および画像処理装置のデータ処理方法
JP2009303122A (ja) 撮像装置及び撮像制御方法
JP2003274237A (ja) デジタルカメラ
JP2006066940A (ja) ディジタルカメラ、及び画像再生装置
JP2009118195A (ja) 撮像装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070201

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090825

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090828

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4369585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees