JP4312974B2 - 撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム - Google Patents

撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP4312974B2
JP4312974B2 JP2001254078A JP2001254078A JP4312974B2 JP 4312974 B2 JP4312974 B2 JP 4312974B2 JP 2001254078 A JP2001254078 A JP 2001254078A JP 2001254078 A JP2001254078 A JP 2001254078A JP 4312974 B2 JP4312974 B2 JP 4312974B2
Authority
JP
Japan
Prior art keywords
image
unit
image processing
correction
white balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001254078A
Other languages
English (en)
Other versions
JP2003070005A (ja
Inventor
浩一 坂本
雅彦 杉本
宏志 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2001254078A priority Critical patent/JP4312974B2/ja
Priority to US10/117,224 priority patent/US7304668B2/en
Publication of JP2003070005A publication Critical patent/JP2003070005A/ja
Priority to US11/257,117 priority patent/US7626615B2/en
Priority to US11/257,116 priority patent/US7630107B2/en
Application granted granted Critical
Publication of JP4312974B2 publication Critical patent/JP4312974B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムに関する。特に本発明は、外部の画像処理装置における画像の補正の制御すべく、画像と画像の補正に関する情報とを対応づけて出力する撮像装置、及び画像の補正に関する情報に基づいて画像の補正を行う画像処理装置に関する。
【0002】
【従来の技術】
デジタルカメラは、工場出荷時の設定又はユーザによる設定に基づいて、撮像された画像の色度や明度を補正する機能を有する。また、デジタルカメラは、LCDモニタに撮像された画像を表示する。そして、ユーザは、LCDモニタに表示された画像を見ながら画像の色度や明度を手動で調整することができる。また、工場出荷時の設定又はユーザによる設定に基づいて、デジタルカメラから取得した画像の色度や明度を自動的に補正して出力するモニタやプリンタ等の画像処理装置が利用されている。
【0003】
【発明が解決しようとする課題】
しかしながら、デジタルカメラにおいて、ユーザがLCDモニタに表示された画像を見ながら画像の色度や明度を手動で調整した場合であっても、モニタやプリンタ等の画像処理装置が、ユーザの意図しない補正を自動的に加えて出力してしまう可能性がある。
【0004】
そこで本発明は、上記の課題を解決することのできる撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【0005】
【課題を解決するための手段】
即ち、本発明の第1の形態によると、撮像装置は、撮像された撮像画像の色度又は明度を補正する補正部と、補正部による撮像画像の補正に関する情報を、撮像画像に対応づけて格納する格納部とを備える。
【0006】
補正部は、当該撮像装置において予め定められた補正量に基づいて、撮像画像を補正するオート補正部を有し、格納部は、撮像画像の補正に関する情報として、オート補正部による補正量を格納してもよい。
【0007】
補正部は、ユーザの操作に基づいて、撮像画像を補正するマニュアル補正部をさらに有し、格納部は、撮像画像の補正に関する情報として、マニュアル補正部による補正量を格納してもよい。
【0008】
補正部は、ユーザの操作に基づいて、撮像画像を補正するマニュアル補正部をさらに有し、格納部は、撮像画像の補正に関する情報として、マニュアル補正部による補正が行われたか否かを示す情報を格納してもよい。
【0009】
格納部は、撮像画像の補正に関する情報として、外部の画像処理装置に撮像画像の補正を禁止するか否かを示す情報を格納してもよい。
【0010】
補正部は、ユーザの操作に基づいて、撮像画像を補正するマニュアル補正部を有し、格納部は、マニュアル補正部が撮像画像の補正を行った場合、撮像画像の補正に関する情報として、画像処理装置に撮像画像の補正を禁止することを示す情報を格納してもよい。
【0011】
補正部は、当該撮像装置において予め定められた補正量に基づいて、撮像画像を補正するオート補正部を有し、オート補正部が補正した撮像画像をユーザに確認させる確認部と、ユーザが撮像画像を確認したか否かを判断する判断部とをさらに備え、格納部は、判断部がユーザが確認したと判断した場合、撮像画像の補正に関する情報として、撮像画像処理装置に撮像画像の補正を禁止することを示す情報を格納してもよい。
【0012】
撮像画像の補正に関する情報、及び撮像画像を互いに対応づけて外部に出力する出力部をさらに備えてもよい。
【0013】
本発明の第2の形態によると、画像処理装置は、原画像に基づいて、表示画像を生成する表示画像生成部と、表示画像生成部が生成した表示画像を表示する表示部と、ユーザの操作に基づいて、表示部が表示した表示画像を補正する補正部と、補正部が補正した補正内容を、原画像に対応づけて格納する格納部とを備える。
【0014】
表示画像生成部は、原画像の一部の領域を抽出して表示画像を生成してもよい。表示画像生成部は、一部の領域を拡大し、原画像内に合成することにより、表示画像を生成してもよい。原画像及び補正内容を出力する出力部をさらに備えてもよい。
【0015】
補正部によって補正された原画像を印刷する印刷部をさらに備えてもよい。原画像を撮像する撮像部をさらに備えてもよい。
【0016】
本発明の第3の形態によると、画像処理装置は、画像、及び画像の補正に関する情報を受信する受信部と、画像に対して画像処理を行う処理部と、画像の補正に関する情報に基づいて、処理部による画像処理を制御する制御部とを備える。
【0017】
受信部は、画像の補正に関する情報として、ユーザの操作に基づいて画像が補正されたか否かを示す情報を受信し、制御部は、受信部がユーザの操作に基づいて画像が補正されたことを示す情報を受信した場合、処理部による画像処理を禁止してもよい。
【0018】
受信部は、画像の補正に関する情報として、画像のホワイトバランスの順応率を示す情報を受信し、制御部は、ホワイトバランスの順応率が所定値でない場合、処理部による画像処理としてのホワイトバランスの調整を禁止してもよい。
【0019】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【0020】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0021】
図1は、本発明の一実施形態に係る画像処理システムを示す。画像処理システムは、デジタルカメラ10、プリンタ12、及びパーソナルコンピュータ14を備える。デジタルカメラ10、プリンタ12、及びパーソナルコンピュータ14は、互いにデータ伝送路を介してデータの送受信を行う。データ伝送路は、例えば、USB等の有線ケーブルやブルートゥース等の無線チャネルである。データ伝送路は、有線ケーブルや無線チャネル等を複数用いたネットワーク網、例えばインターネット網であってもよい。図1では、上記のようなデータ伝送路を用いてデータのやり取りを行う形態を例示しているが、デジタルカメラ10、プリンタ12、及びパーソナルコンピュータ14間のデータのやり取りは、リムーバブルメディア等の記録媒体を用いてもよい。
【0022】
デジタルカメラ10は、被写体の画像を撮像し、撮像した画像データをプリンタ12又はパーソナルコンピュータ14に送信する。プリンタ30又はパーソナルコンピュータ14は、受信した画像データに所定の処理を施して出力する。即ち、プリンタ12は、画像データを印刷して出力し、パーソナルコンピュータ14は、画像データをモニタに出力する。また、パーソナルコンピュータ14は、デジタルカメラ10又はプリンタ12に設定情報を送信し、デジタルカメラ10又はプリンタ12の設定情報を変更する。なお、デジタルカメラ10は、本発明に係る撮像装置又は画像処理装置の一例であり、プリンタ12及びパーソナルコンピュータ14は、本発明に係る画像出力装置の一例である。
【0023】
図2は、本実施形態に係るデジタルカメラ10の全体構成を示す。デジタルカメラ10は、撮像ユニット20、撮像制御ユニット40、処理ユニット60、表示ユニット100、及び操作ユニット110を備える。
【0024】
撮像ユニット20は、撮影及び結像に関する機構部材及び電気部材を有する。撮像ユニット20は、映像を取り込んで処理を施す撮影レンズ22、絞り24、シャッタ26、光学LPF(ローパスフィルタ)28、CCD30、及びA/D変換部32を有する。撮影レンズ22は、フォーカスレンズ及びズームレンズ等を含む。この構成により、被写体像がCCD30の受光面上に結像され、結像された被写体像の光量に応じ、CCD30の各センサエレメントに電荷が蓄積される(以下その電荷を「蓄積電荷」という)。蓄積電荷は、リードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【0025】
デジタルカメラ10は、一般に電子シャッタ機能を備えるので、シャッタ26のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、CCD30にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、即ちシャッタスピードが制御できる。
【0026】
A/D変換部32は、CCD30から出力される電圧信号、即ちアナログ信号をR、G、B成分に色分解してA/D変換し、その結果得られたデジタルの画像データを処理ユニット60へ出力する。
【0027】
撮像ユニット20は、ファインダ34及びストロボ36をさらに有する。ファインダ34は、LCDを内装してもよく、その場合、メインCPU62等からの各種情報をファインダ34内に表示できる。ストロボ36は、コンデンサに蓄えられたエネルギが放電管36aに供給されたときに発光する。
【0028】
撮像制御ユニット40は、レンズ駆動部42、フォーカス駆動部44、絞り駆動部46、シャッタ駆動部48、それらを制御する撮像系CPU50、測距センサ52、及び測光センサ54を有する。レンズ駆動部42、フォーカス駆動部44、絞り駆動部46、及びシャッタ駆動部48は、ステッピングモータ等の駆動手段を有する。測距センサ52は、レリーズスイッチ114の押下に応じ、被写体までの距離を測定し、測光センサ54は、被写体輝度を測定する。測定された距離のデータ(以下単に「測距データ」という)及び被写体輝度のデータ(以下単に「測光データ」という)は撮像系CPU50へ送られる。撮像系CPU50は、ユーザから指示されたズーム倍率等の撮影情報に基づき、レンズ駆動部42及びフォーカス駆動部44を制御して、撮影レンズ22のズーム倍率とピントを調整する。
【0029】
撮像系CPU50は、1画像フレームのRGBのデジタル信号積算値、即ちAE情報に基づいて、絞り値及びシャッタスピードを決定する。絞り駆動部46及びシャッタ駆動部48は、決定された絞り値及びシャッタスピードに基づいて、絞り量の調整とシャッタ26の開閉を行う。
【0030】
また、撮像系CPU50は、測光データに基づいてストロボ36の発光を制御し、同時に絞り24の絞り量を調整する。ユーザが映像の取込を指示したとき、CCD30が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷がA/D変換部32に出力される。
【0031】
処理ユニット60は、デジタルカメラ10全体、特に処理ユニット60自信を制御するメインCPU62、メインCPU62によって制御されるメモリ制御部64、YC処理部70、オプション装置制御部74、圧縮伸張処理部78、及び通信I/F部80を有する。メインCPU62は、シリアル通信等により、撮像系CPU50との間で必要な情報をやりとりする。メインCPU62の動作クロックは、クロック発生器88から与えられる。クロック発生器88は、撮像系CPU50及び表示ユニット100に対してもそれぞれ異なる周波数のクロックを提供する。
【0032】
メインCPU62には、キャラクタ生成部84及びタイマ86が併設されている。タイマ86は電池でバックアップされ、常に日時をカウントし、このカウント値から撮影日時に関する情報、その他の時刻情報をメインCPU62に与える。キャラクタ生成部84は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【0033】
メモリ制御部64は、不揮発性メモリ66及びメインメモリ68を制御する。不揮発性メモリ66は、EEPROMやFLASHメモリ等で構成され、ユーザによる設定情報や出荷時の調整値等、デジタルカメラ10の電源がオフの間も保持すべきデータを格納する。不揮発性メモリ66は、メインCPU62のブートプログラムやシステムプログラム等を格納してもよい。メインメモリ68は、撮像ユニット20から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能を有する。不揮発性メモリ66及びメインメモリ68は、処理ユニット60内外の各部とメインバス82を介してデータのやりとりを行う。
【0034】
YC処理部70は、画像データにYC変換を施し、輝度信号Yと色差(クロマ)信号B−Y、R−Yを生成する。メモリ制御部64は、輝度信号及び色差信号をメインメモリ68に一旦格納する。圧縮伸張処理部78は、メインメモリ68から順次輝度信号と色差信号を読み出して圧縮する。オプション装置制御部74は、圧縮されたデータ(以下単に「圧縮データ」という)をオプション装置76の一種であるメモリカードへ書き込む。
【0035】
処理ユニット60は、エンコーダ72をさらに有する。エンコーダ72は、輝度信号及び色差信号を入力し、ビデオ信号(NTSCやPAL信号)に変換してビデオ出力端子90から出力する。オプション装置76に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部74を介して圧縮伸張処理部78へ与えられる。そして、圧縮伸張処理部78で必要な伸張処理が施されたデータは、エンコーダ72によってビデオ信号へ変換される。
【0036】
オプション装置制御部74は、オプション装置76に認められる信号仕様及びメインバス82のバス仕様に基づいて、メインバス82とオプション装置76との間で必要な信号の生成、論理変換、又は電圧変換等を行う。デジタルカメラ10は、オプション装置76としてメモリカードの他に、例えばPCMCIA準拠の標準的なI/Oカードをサポートしてもよい。その場合、オプション装置制御部74は、PCMCIA用バス制御LSI等を含んでもよい。
【0037】
通信I/F部80は、デジタルカメラ10がサポートする通信仕様、例えばUSB、RS−232C、イーサネット等の仕様に応じたプロトコル変換等の制御を行う。通信I/F部80は、必要に応じてドライバICを含み、ネットワークを含む外部機器とコネクタ92を介して通信する。このような標準的な仕様の他に、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のI/Fによるデータ授受を行う構成としてもよい。
【0038】
表示ユニット100は、LCDモニタ102及びLCDパネル104を有する。LCDモニタ102は、LCDドライバであるモニタドライバ106によって制御される。また、LCDパネル104は、パネルドライバ108によって制御される。LCDモニタ102は、例えば2インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像等を表示する。LCDパネル104は、例えば小さな白黒LCDでカメラ上面に設けられ、画質(FINE/NORMAL/BASIC等)、ストロボ発光/発光禁止、標準撮影可能枚数、画素数、電池容量等の情報を簡易的に表示する。
【0039】
操作ユニット110は、ユーザがデジタルカメラ10の動作やそのモード等を設定又は指示するために必要な機構及び電気部材を有する。パワースイッチ112は、デジタルカメラ10の電源のオンオフを決める。レリーズスイッチ114は、半押しと全押しの二段階押し込み構造を有する。一例として、半押しでAF及びAEがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ68、オプション装置76等に記録される。操作ユニット110は、これらのスイッチの他、回転式のモードダイヤルや十字キー等による設定を受け付けてもよく、それらは図1において機能設定部116と総称する。また、画像調整部120は、LCDモニタ102に表示された画像の色度又は明度の調整を受け付ける。ユーザは、LCDモニタ102に表示された画像の見ながら、当該画像の色度又は明度を調整することができる。操作ユニット110で指定できる動作又は機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定/保存」、「表示切換」等がある。ズームスイッチ118は、ズーム倍率を決める。
【0040】
以上の構成による主な動作は以下のとおりである。まず、デジタルカメラ10のパワースイッチ112がオンされ、カメラ各部に電力が供給される。メインCPU62は、機能設定部116の状態を読み込むことで、デジタルカメラ10が撮影モードにあるか再生モードにあるかを判断する。
【0041】
カメラが撮影モードにあるとき、メインCPU62はレリーズスイッチ114の半押し状態を監視する。半押し状態が検出されたとき、メインCPU62は測光センサ54及び測距センサ52からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット40が動作し、撮影レンズ22のピント、絞り等の調整が行われる。調整が完了すると、LCDモニタ102に「スタンバイ」等の文字を表示してユーザにその旨を伝え、つづいてレリーズスイッチ114の全押し状態を監視する。レリーズスイッチ114が全押しされると、所定のシャッタ時間をおいてシャッタ26が閉じられ、CCD30の蓄積電荷がA/D変換部32へ掃き出される。A/D変換部32による処理の結果生成されたデジタルの画像データはメインバス82へ出力される。A/D変換部32が出力した画像データは一旦メインメモリ68へ格納され、この後YC処理部70と圧縮伸張処理部78で処理を受け、オプション装置制御部74を経由してオプション装置76へ記録される。記録された画像は、フリーズされた状態でしばらくLCDモニタ102に表示され、ユーザは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【0042】
一方、デジタルカメラ10が再生モードの場合、メインCPU62は、メモリ制御部64を介してメインメモリ68から最後に撮影した画像を読み出し、これを表示ユニット100のLCDモニタ102へ表示する。この状態でユーザが機能設定部116にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、LCDモニタ102へ表示される。そして、ユーザは、画像調整部120を操作することにより、LCDモニタ102に表示された画像の色度又は明度を調整する。
【0043】
図3は、画像処理ユニット200の機能構成の一例を示す。画像処理ユニット200は、格納部202、表示画像生成部204、表示部206、出力部208、及び補正部210を備える。そして、補正部210は、マニュアル補正部212及びオート補正部214を有する。
【0044】
画像処理ユニット200は、一例として、不揮発性メモリ66やメインメモリ68に格納又はロードされたプログラムと、メインCPU62との連携によって実現される。メインCPU62は、内蔵メモリを有してもよく、内蔵メモリは必要なプログラムを格納し、各機能をファームウエアとして実現してもよい。図2は、画像処理ユニット200の各機能をひとまとまりの構成として記述したが、これらは実際には物理的にひとまとまりであるとは限らない。例えば、メインCPU62、不揮発性メモリ66、又はメインメモリ68が、格納部202の機能を有してもよい。また、表示ユニット100が、表示画像生成部204及び表示部206の機能を有してもよい。また、通信I/F部80、エンコーダ72、又はオプション装置制御部74が、出力部208の機能を有してもよい。いずれにせよ、デジタルカメラ10において画像処理ユニット200の機能を実現する設計には相当の自由度がある。
【0045】
格納部202は、A/D変換部32から受け取った画像データを格納する。補正部210は、格納部202に格納された画像データによる画像の色度又は明度の補正を行う。そして、格納部202は、補正部210による画像の補正に関する情報を、画像データに対応づけて格納する。
【0046】
オート補正部214は、予め定められた補正量に基づいて、格納部202に格納された画像データによる画像を補正する。例えば、オート補正部214は、工場出荷時の設定又はユーザの設定によるホワイトバランスの順応率に基づいて画像を補正する。
【0047】
ホワイトバランスの順応率は、赤信号R、緑信号G、青信号Bのバランスを示す値であり、例えば、所定のフィールドにおける赤信号Rの積分値IR、当該所定のフィールドにおける緑信号Rの積分値IG、当該所定のフィールドにおける青信号Rの積分値IBを用いて、
=(IR/IG)
=(IB/IG)
という2つの数値により表される。
【0048】
マニュアル補正部212は、ユーザによる画像調整部120の操作に基づいて、格納部202に格納された画像データによる画像を補正する。例えば、ユーザは、表示部206に表示された画像を見ながら、画像調整部120を操作し、画像のホワイトバランスや明度を調整する。そして、マニュアル補正部214は、ユーザによる画像調整部120の操作に基づいて、画像のホワイトバランスや明度を補正する。
【0049】
格納部202は、画像の補正に関する情報として、オート補正部214による補正の補正量を、画像データに対応づけて格納する。例えば、格納部202は、オート補正部214による補正の補正量の一例として、ホワイトバランスの順応率を格納する。また、格納部202は、画像の補正に関する情報として、マニュアル補正部212による補正が行われたか否かを示す情報を、画像データに対応づけて格納する。また、格納部202は、画像の補正に関する情報として、マニュアル補正部212による補正の補正量を、画像データに対応づけて格納してもよい。
【0050】
出力部208は、格納部202に格納された画像データ、及び画像データによる画像の補正に関する情報を互いに対応づけて、プリンタ12等の外部の画像処理装置に出力する。具体的には、オート補正部214による補正の補正量、マニュアル補正部212による補正が行われたか否かを示す情報等の画像の補正に関する情報を、タグ情報として画像データに添付して出力する。
【0051】
また、格納部202は、外部の画像処理装置の一例であるプリンタ12に画像の補正を行わせるか否かを示す情報を、画像データに対応づけて格納してもよい。例えば、格納部202は、マニュアル補正部212が画像の補正を行った場合、画像の補正に関する情報として、プリンタ12に画像の補正を禁止することを示す情報を格納してもよい。
【0052】
格納部202は、A/D変換部32から取得した画像データを格納してもよいし、補正部210によって補正された画像の画像データを格納してもよい。そして、出力部208は、格納部202がA/D変換部32から取得した画像データをプリンタ12に出力してもよいし、補正部210によって補正された画像の画像データをプリンタ12に出力してもよい。
【0053】
また、本発明の確認部の一例としての表示部206は、オート補正部214によって補正された画像を表示してもよい。そして、本発明の判断部の一例としてのマニュアル補正部212は、ユーザの操作に基づいて、ユーザが表示部206に表示された画像を確認したか否かを判断してもよい。そして、格納部202は、ユーザが画像を確認した場合、画像の補正に関する情報として、プリンタ12に画像の補正を禁止することを示す情報を格納してもよい。そして、出力部208は、画像の補正に関する情報として、プリンタ12に画像の補正を禁止することを示す情報を、タグ情報として画像データに添付して出力してもよい。
【0054】
表示画像生成部204は、格納部202に格納された画像データによる画像に基づいて、表示部206が表示する表示画像を生成する。そして、ユーザは、表示部206に表示された表示画像を見ながら画像調整部120を操作し、画像の色度又は明度を調整する。マニュアル補正部212は、ユーザの画像調整部120の操作に基づいて、表示部206が表示した画像を補正する。そして、格納部202は、マニュアル補正部212が補正した補正内容を、表示部206が表示した画像の画像データに対応づけて格納する。
【0055】
表示画像生成部204は、画像データによる画像の一部の領域を抽出して表示部206が表示する表示画像を生成してもよい。また、表示画像生成部204は、画像データによる画像の一部の領域を抽出して拡大し、画像データによる画像内に合成することにより、表示部206が表示する表示画像を生成してもよい。
【0056】
図4は、表示部206の表示画面の一例を示す。表示画像生成部204は、ユーザによって選択された画像データによる画像を、表示部206に表示する表示画像に変換する。そして、図4(a)に示すように、表示部206は、表示画像を表示する。表示画像生成部204は、画像データによる画像の解像度を下げることにより、表示画像を生成してもよい。
【0057】
また、図4(a)に示した表示画面において、ユーザは、画像の一部の領域300を選択する。そして、表示画像生成部204は、ユーザによって選択された画像の一部の領域300を抽出して拡大し、表示画像を生成する。そして、図4(b)に示すように、表示部206は、表示画像生成部204が生成した表示画像を表示する。そして、ユーザは、拡大された一部の領域300を見ながら、全体画像の色度又は明度を調整することができる。
【0058】
また、表示画像生成部204は、ユーザによって選択された画像の一部の領域300を抽出して拡大し、画像データによる画像内に合成することにより、表示画像を生成してもよい。そして、図4(c)に示すように、表示部206は、表示画像生成部204が生成した表示画像を表示する。そして、ユーザは、拡大された一部の領域300と、その他の領域302とを見ながら、画像の色度又は明度を調整することができる。このような表示部206の表示機能により、ユーザは、一部の領域300の色度又は明度の調整する場合に、他の領域302の色度又は明度の変化を確認しながら、一部の領域300の色度又は明度の調整することができる。
【0059】
図5は、出力部208が出力するデータのフォーマットの一例を示す。出力部208が出力するデータは、タグ情報及び画像データを有する。タグ情報は、画像の補正に関する情報として、例えばオート補正部214によるホワイトバランスの順応率(AWBの順応率)、マニュアル補正部212によるホワイトバランスの補正(マニュアルWB補正)が行われたか否かを示す情報、及びマニュアル補正部212による明度の補正(マニュアル明度補正)が行われたか否かを示す情報である。また、画像データは、例えばJPEG形式のデータである。
【0060】
図6は、本実施形態に係るプリンタ12の機能構成を示す。プリンタ12は、受信部400、制御部402、処理部404、及び印刷部406を備える。処理部404は、ホワイトバランス補正部408及び明度補正部410を有する。
【0061】
受信部400は、画像を示す画像データ、及び画像の補正に関する情報を含むタグ情報をデジタルカメラ10から受信する。そして、制御部402は、受信部400が受信したタグ情報を解析し、画像の補正に関する情報に基づいて、受信部400が受信した画像に対して画像処理を行う処理部404による画像処理を制御する。そして、処理部404は、制御部402に制御に基づいて、画像処理を行う。そして、印刷部406は、処理部404において画像処理が施された画像を印刷する。
【0062】
例えば、受信部400は、画像の補正に関する情報として、ユーザの操作に基づいて画像が補正されか否かを示す情報を含むタグ情報を受信する。そして、制御部402は、受信部400が受信したタグ情報が、ユーザの操作に基づいて画像が補正されたことを示す情報であった場合、処理部404による画像処理を禁止する。
【0063】
また、受信部400は、画像の補正に関する情報として、画像のホワイトバランスの順応率を示す情報を受信してもよい。そして、制御部402は、ホワイトバランスの順応率が所定値でない場合、処理部404のホワイトバランス補正部408による画像処理としてのホワイトバランスの調整を禁止してもよい。例えば、制御部402は、ホワイトバランスの順応率が1でない場合、処理部404のホワイトバランス補正部408による画像処理としてのホワイトバランスの調整を禁止してもよい。ユーザが夕日を撮像し、撮像された画像において夕日の赤味を出すためにホワイトバランスの順応率を1にしていない場合に、ホワイトバランス補正部408によるホワイトバランスの調整を禁止することにより、印刷部406は、ユーザの好みに合った画像を印刷することができる。
【0064】
図7は、制御部402が有する判断テーブルのデータフォーマットの一例を示す。図7(a)は、処理部404のホワイトバランス補正部408において画像のホワイトバランスの補正を行うか否かを判断するためのWB補正判断テーブルを示す。WB補正判断テーブルは、デジタルカメラ10のオート補正部214によるホワイトバランスの順応率(AWBの順応率)、デジタルカメラ10のマニュアル補正部212によるホワイトバランスの補正(マニュアルWB補正)が行われたか否かを示す情報、プリンタ12によるホワイトバランスの補正(プリンタWB補正)の必要性、及びプリンタ12によるホワイトバランスの補正(プリンタWB補正)を行うか否かを示す情報を格納する。
【0065】
図7(a)に示すように、マニュアルWB補正がON、即ちデジタルカメラ10のマニュアル補正部212によるホワイトバランスの補正が行われている場合、プリンタWB補正が必要か否かに係わらずユーザの調整を重視するため、制御部402は、ホワイトバランス補正部408による画像のホワイトバランスの補正を禁止する。また、AWBの順応率が1以外の場合、制御部402は、プリンタWB補正が必要か否かに係わらずデジタルカメラ10の調整を重視するため、ホワイトバランス補正部408による画像のホワイトバランスの補正を禁止する。
【0066】
また、図7(b)は、処理部404の明度補正部410において画像の明度の補正を行うか否かを判断するための明度補正判断テーブルを示す。明度補正判断テーブルは、デジタルカメラ10のマニュアル補正部212による明度の補正(マニュアル明度補正)が行われたか否かを示す情報、プリンタ12による明度の補正(プリンタ明度補正)の必要性、及びプリンタ12による明度の補正(プリンタ明度補正)を行うか否かを示す情報を格納する。
【0067】
図7(b)に示すように、マニュアル明度補正がON、即ちデジタルカメラ10のマニュアル補正部212による明度の補正が行われている場合、プリンタ明度補正が必要か否かに係わらずユーザの調整を重視するため、制御部402は、明度補正部410による画像の明度の補正を禁止する。
【0068】
図8は、プリンタ12の画像処理方法の一例のフローチャートである。まず、受信部400は、画像を示す画像データ、及び画像の補正に関する情報を含むタグ情報をデジタルカメラから受信する(S100)。そして、制御部402は、受信部400が受信したタグ情報を解析し、マニュアルWB補正がONか否か、即ちデジタルカメラ10のマニュアル補正部212によるホワイトバランスの補正が行われているか否かを判断する(S102)。S102においてマニュアルWB補正がONであると判断した場合、S110に進む。S102においてマニュアルWB補正がOFFであると判断した場合、S104に進む。
【0069】
次に、制御部402は、ABWの順応率が1以外か否か、即ちデジタルカメラ10のオート補正部214によるホワイトバランスの順応率が1以外か否かを判断する(S104)。S104においてABWの順応率が1以外であると判断した場合、S110に進む。S104においてABWの順応率が1以外であると判断した場合、S106に進む。
【0070】
次に、制御部402は、受信部400が受信した画像データによる画像に基づいて、プリンタWB補正が必要か否か、即ちプリンタ12によるホワイトバランスの補正が必要か否かを判断する(S106)。S106においてプリンタWB補正が必要でないと判断した場合、S110に進む。S106においてプリンタWB補正が必要であると判断した場合、処理部404のホワイトバランス補正部408は、受信部400が受信した画像データによる画像に対してホワイトバランスの補正を行う(S108)。
【0071】
次に、制御部402は、マニュアル明度補正がONか否か、即ちデジタルカメラ10のマニュアル補正部212による明度の補正が行われているか否かを判断する(S110)。S110においてマニュアル明度補正がONであると判断した場合、S116に進む。S110においてマニュアル明度補正がOFFであると判断した場合、S112に進む。
【0072】
次に、制御部402は、受信部400が受信した画像データによる画像に基づいて、プリンタ明度補正が必要か否か、即ちプリンタ12による明度の補正が必要か否かを判断する(S112)。S112においてプリンタ明度補正が必要でないと判断した場合、S116に進む。S112においてプリンタ明度補正が必要であると判断した場合、処理部404の明度補正部410は、受信部400が受信した画像データによる画像に対して明度の補正を行う(S114)。
【0073】
次に、印刷部406は、処理部404において画像処理が施された画像を印刷する(S116)。以上で、本例に係るプリンタ12の画像処理方法のフローチャートは終了する。
【0074】
図9は、本実施形態に係るパーソナルコンピュータ14のハードウェア構成を示す。パーソナルコンピュータ14は、CPU700と、ROM702と、RAM704と、通信インタフェース706と、ハードディスクドライブ708と、データベースインタフェース710と、フロッピーディスクドライブ712と、CD−ROMドライブ714とを備える。CPU700は、ROM702及びRAM704に格納されたプログラムに基づいて動作し、各部の制御を行う。通信インタフェース706は、デジタルカメラ10及びプリンタ12と通信する。データベースインタフェース710は、データベースへのデータの書込、及びデータベースの内容の更新を行う。
【0075】
フロッピーディスクドライブ712は、フロッピーディスク720からデータ又はプログラムを読み取り通信インタフェース706に提供する。CD−ROMドライブ714は、CD−ROM722からデータ又はプログラムを読み取り通信インタフェース706に提供する。通信インタフェース706は、フロッピーディスクドライブ712又はCD−ROMドライブ714から提供されたデータ又はプログラムを、デジタルカメラ10又はプリンタ12に送信する。データベースインタフェース710は、各種データベース724と接続してデータを送受信する。
【0076】
プリンタ12に提供されるプログラムは、フロッピーディスク720又はCD−ROM722等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは記録媒体から読み出され、通信インタフェース706を介して、デジタルカメラ10又はプリンタ12にインストールされ、デジタルカメラ10又はプリンタ12において実行される。
【0077】
記録媒体に格納されて提供され、デジタルカメラ10にインストールされるプログラムは、機能構成として、格納モジュールと、表示画像生成モジュールと、表示モジュールと、補正モジュールと、マニュアル補正モジュールと、オート補正モジュールと、出力モジュールを有する。各モジュールがデジタルカメラ10に働きかけて行わせる動作は、図2から図5において説明したデジタルカメラ10における、対応する部材の動作と同一であるから、説明を省略する。
【0078】
また、記録媒体に格納されて提供され、プリンタ12にインストールされるプログラムは、機能構成として、受信モジュールと、制御モジュールと、処理モジュールと、印刷モジュールとを有する。各モジュールがプリンタ12に働きかけて行わせる動作は、図6から図8において説明したプリンタ12における、対応する部材の動作と同一であるから、説明を省略する。
【0079】
図9に示した、記録媒体の一例としてのフロッピーディスク720又はCD−ROM722には、本出願で説明した実施形態におけるデジタルカメラ10又はプリンタ12の動作の一部又は全ての機能を格納することができる。
【0080】
これらのプログラムは記録媒体から直接デジタルカメラ10又はプリンタ12によって読み出されて実行されても、デジタルカメラ10又はプリンタ12にインストールされた後にデジタルカメラ10又はプリンタ12において実行されてもよい。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されてもよい。又、符号化した形態で格納されていてもよい。
【0081】
記録媒体としては、フロッピーディスク、CD−ROMの他にも、DVD、PD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、磁気記録媒体、ICカードやミニチュアカードなどの半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の格納装置を記録媒体として使用し、通信網を介してプログラムをデジタルカメラ10又はプリンタ12に提供してもよい。このような記録媒体は、デジタルカメラ10又はプリンタ12を製造するためのみに使用されるものであり、そのような記録媒体の業としての製造及び販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【0082】
本実施形態に係るデジタルカメラ10によれば、デジタルカメラ10において行った画像の補正に関する情報をタグ情報として、画像に対応づけて出力することにより、プリンタ12において画像の補正を行わせるか否かを制御することができる。また、本実施形態に係るプリンタ12によれば、デジタルカメラ10から受信したタグ情報を解析し、デジタルカメラ10において行われた画像の補正に関する情報に基づいて、画像の補正を行うことができる。
【0083】
したがって、本実施形態に係るデジタルカメラ10及びプリンタ12によれば、デジタルカメラ10においてユーザの操作に基づいて、色度又は明度が補正された画像に対して、プリンタ12においてユーザが意図しない補正を加えないように制御することができるため、ユーザの好みに合った画像を印刷することができる。
【0084】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0085】
【発明の効果】
上記説明から明らかなように、本発明によれば、外部の画像処理装置における画像の補正の制御すべく、画像と画像の補正に関する情報とを対応づけて出力する撮像装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る画像処理システムを示す図である。
【図2】本実施形態に係るデジタルカメラ10の全体構成図である。
【図3】画像処理ユニット200の機能構成の一例を示す図である。
【図4】表示部206の表示画面の一例を示す図である。
【図5】出力部208が出力するデータのフォーマットの一例を示す図である。
【図6】本実施形態に係るプリンタ12の機能構成図である。
【図7】制御部402が有する判断テーブルのデータフォーマットの一例を示す図である。
【図8】プリンタ12の画像処理方法の一例のフローチャートである。
【図9】本実施形態に係るパーソナルコンピュータ14のハードウェア構成図である。
【符号の説明】
10 デジタルカメラ
12 プリンタ
14 パーソナルコンピュータ
20 撮像ユニット
40 撮像制御ユニット
50 撮像系CPU
60 処理ユニット
62 メインCPU
64 メモリ制御部
66 不揮発性メモリ
68 メインメモリ
72 エンコーダ
74 オプション装置制御部
80 通信I/F部
90 ビデオ出力端子
92 コネクタ
100 表示ユニット
102 LCDモニタ
104 LCDパネル
110 操作ユニット
120 画像調整部
200 画像処理ユニット
202 格納部
204 表示画像生成部
206 表示部
208 出力部
210 補正部
212 マニュアル補正部
214 オート補正部
400 受信部
402 制御部
404 処理部
406 印刷部
408 ホワイトバランス補正部
410 明度補正部
700 CPU
702 ROM
704 RAM
706 通信インタフェース
708 ハードディスクドライブ
710 データベースインタフェース
712 フロッピーディスクドライブ
714 CD−ROMドライブ
720 フロッピーディスク
722 CD−ROM
724 各種データベース

Claims (12)

  1. 画像、及び前記画像のホワイトバランスの順応率を示す情報を撮像装置から受信する受信部と、
    前記画像に対して色度又は明度を補正する画像処理を行う処理部と、
    前記ホワイトバランスの順応率が所定値でない場合、前記処理部による前記画像処理としてのホワイトバランスの調整を禁止する制御部と
    を備える画像処理装置。
  2. 前記受信部は、前記画像の補正に関する情報として、ユーザの操作に基づいて前記画像が補正されたか否かを示す情報をさらに受信し、
    前記制御部は、前記受信部が前記ユーザの操作に基づいて前記画像が補正されたことを示す情報を受信した場合、前記処理部による前記画像処理を禁止する請求項に記載の画像処理装置。
  3. 前記画像を印刷する印刷部をさらに備える請求項又は請求項に記載の画像処理装置。
  4. 撮像装置及び画像処理装置を備える画像処理システムであって、
    前記撮像装置は、
    撮像された撮像画像を補正する補正部と、
    前記画像のホワイトバランスの順応率を示す情報を、前記撮像画像に対応づけて格納する格納部と、
    前記撮像画像の補正に関する情報、及び前記撮像画像を互いに対応づけて出力する出力部と
    を有し、
    前記画像処理装置は、
    前記撮像画像、及び前記画像のホワイトバランスの順応率を示す情報を前記撮像装置から受信する受信部と、
    前記撮像画像に対して色度又は明度を補正する画像処理を行う処理部と、
    前記ホワイトバランスの順応率が所定値でない場合、前記処理部による前記画像処理としてのホワイトバランスの調整を禁止する制御部と
    を有する画像処理システム。
  5. 前記受信部は、前記画像の補正に関する情報として、ユーザの操作に基づいて前記画像が補正されたか否かを示す情報をさらに受信し、
    前記制御部は、前記受信部が前記ユーザの操作に基づいて前記画像が補正されたことを示す情報を受信した場合、前記処理部による前記画像処理を禁止する請求項に記載の画像処理システム。
  6. 前記画像処理装置は、前記画像を印刷する印刷部をさらに備える請求項又は請求項に記載の画像処理システム。
  7. 画像処理装置の受信部が、画像、及び前記画像のホワイトバランスの順応率を示す情報を撮像装置から受信する受信段階と、
    前記画像処理装置の処理部が、前記画像に対して色度又は明度を補正する画像処理を行う処理段階と、
    前記画像処理装置の制御部が、前記ホワイトバランスの順応率が所定値でない場合、前記処理段階による前記画像処理としてのホワイトバランスの調整を禁止する制御段階と
    を備える画像処理方法。
  8. 前記受信段階は、前記画像の補正に関する情報として、ユーザの操作に基づいて前記画像が補正されたか否かを示す情報をさらに受信し、
    前記制御段階は、前記受信段階が前記ユーザの操作に基づいて前記画像が補正されたことを示す情報を受信した場合、前記処理段階による前記画像処理を禁止する請求項に記載の画像処理方法。
  9. 前記画像処理装置の印刷部が、前記画像を印刷する印刷段階をさらに備える請求項又は請求項に記載の画像処理方法。
  10. 画像処理装置において機能する画像処理プログラムであって、前記画像処理装置を、
    画像、及び前記画像のホワイトバランスの順応率を示す情報を撮像装置から受信する受信部、
    前記画像に対して色度又は明度を補正する画像処理を行う処理部、
    前記ホワイトバランスの順応率が所定値でない場合、前記処理部による前記画像処理としてのホワイトバランスの調整を禁止する制御部
    として機能させる画像処理プログラム。
  11. 前記受信部は、前記画像の補正に関する情報として、ユーザの操作に基づいて前記画像が補正されたか否かを示す情報をさらに受信し、
    前記制御部は、前記受信部が前記ユーザの操作に基づいて前記画像が補正されたことを示す情報を受信した場合、前記処理部による前記画像処理を禁止する請求項10に記載の画像処理プログラム。
  12. 前記画像処理装置を、前記画像を印刷する印刷部としてさらに機能させる請求項10又は請求項11に記載の画像処理プログラム。
JP2001254078A 2001-04-11 2001-08-24 撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム Expired - Fee Related JP4312974B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001254078A JP4312974B2 (ja) 2001-08-24 2001-08-24 撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
US10/117,224 US7304668B2 (en) 2001-04-11 2002-04-08 Printer system and image processing system having image correcting function
US11/257,117 US7626615B2 (en) 2001-04-11 2005-10-25 Printer system and image processing system having image correcting function
US11/257,116 US7630107B2 (en) 2001-04-11 2005-10-25 Printer system and image processing system having image correcting function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001254078A JP4312974B2 (ja) 2001-08-24 2001-08-24 撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008160853A Division JP2009005356A (ja) 2008-06-19 2008-06-19 撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2003070005A JP2003070005A (ja) 2003-03-07
JP4312974B2 true JP4312974B2 (ja) 2009-08-12

Family

ID=19082288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001254078A Expired - Fee Related JP4312974B2 (ja) 2001-04-11 2001-08-24 撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP4312974B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4218200B2 (ja) * 2000-09-26 2009-02-04 コニカミノルタビジネステクノロジーズ株式会社 画像処理システム、画像処理方法および画像処理方法をコンピュータに実行させるためのプログラムを記録した記録媒体
JP2006287744A (ja) * 2005-04-01 2006-10-19 Canon Inc 画像処理方法およびその装置

Also Published As

Publication number Publication date
JP2003070005A (ja) 2003-03-07

Similar Documents

Publication Publication Date Title
US7630107B2 (en) Printer system and image processing system having image correcting function
US7679652B2 (en) Image processing system, image capturing apparatus, image processing apparatus, image processing method, and computer-readable medium storing program
JP3914060B2 (ja) 合焦装置
JP3806038B2 (ja) 画像処理システム及び撮像装置
JP4343468B2 (ja) 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム
JP4124404B2 (ja) 撮像装置、画像処理装置、画像処理方法、及びプログラム
JP2009005356A (ja) 撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP2001197347A (ja) 情報記録装置、情報取得方法、およびデジタルカメラ
JP4202013B2 (ja) 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム
JP4312974B2 (ja) 撮像装置、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP4087631B2 (ja) 撮像装置、画像処理装置、撮像方法、画像処理方法、画像処理システム、及びプログラム
JP2003242504A (ja) 画像処理装置
JP3721904B2 (ja) デジタルカメラ
JP3943323B2 (ja) 撮像装置、撮像方法、信号処理方法、及び画像をコンピュータに処理させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3958905B2 (ja) デジタルカメラ
JP4421788B2 (ja) 撮像装置、画像処理装置、画像処理方法、及びプログラム
JP3837000B2 (ja) 電源供給回路装置
JP4246952B2 (ja) 画像処理システム、撮像装置、撮像方法、及びプログラム
JP2003244626A (ja) 画像処理装置、画像処理システム、画像処理方法、及び撮像装置
JP2003069872A (ja) 撮像装置、画像出力装置、画像処理システム、画像出力方法、およびプログラム
JP3860045B2 (ja) 撮像装置
JP2003242503A (ja) 画像処理装置
JP2001145007A (ja) 情報記録装置、方法、およびデジタルカメラ
JP2003234998A (ja) 撮像装置、撮像方法、及びプログラム
JP2002218314A (ja) 撮像装置及びプリンタ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060110

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20071121

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20080415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140522

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees