JP4281134B2 - デジタルカメラ - Google Patents

デジタルカメラ Download PDF

Info

Publication number
JP4281134B2
JP4281134B2 JP32965898A JP32965898A JP4281134B2 JP 4281134 B2 JP4281134 B2 JP 4281134B2 JP 32965898 A JP32965898 A JP 32965898A JP 32965898 A JP32965898 A JP 32965898A JP 4281134 B2 JP4281134 B2 JP 4281134B2
Authority
JP
Japan
Prior art keywords
white balance
balance adjustment
value
image data
flash device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP32965898A
Other languages
English (en)
Other versions
JP2000156870A (ja
Inventor
則一 横沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP32965898A priority Critical patent/JP4281134B2/ja
Publication of JP2000156870A publication Critical patent/JP2000156870A/ja
Application granted granted Critical
Publication of JP4281134B2 publication Critical patent/JP4281134B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、被写体を電子的に圧縮した画像データとして記憶するデジタルカメラに関する。
【0002】
【従来の技術】
従来から、撮影レンズを通過する被写体像を撮像して画像データを出力するCCDのような撮像装置と、撮像装置から出力される画像データに対してホワイトバランスやγ補正などの画像処理を施す画像処理回路と、画像処理後のデータをJPEGなどの方式で圧縮してフラッシュメモリなどの記憶媒体に記憶する圧縮回路と、画像処理後のデータを表示するモニタとを備えるデジタルカメラが知られている。画像処理回路では、撮像装置から出力される画像データに基づいて、あらかじめ定めたアルゴリズムによりホワイトバランス調整用のRゲインやBゲイン、あるいはγ補正用の階調カーブなどのパラメータを算出する。また、JPEG方式で圧縮するために画像データをそれぞれ16×8の輝度データYとそれぞれ8×8画素の色差データCr,Cbに変換する。
【0003】
画像処理回路でホワイトバランス調整を行うときに使用されるホワイトバランス調整用のRゲインやBゲインなどの調整値は、あらかじめ代表的な撮影条件、たとえば、太陽光の下での撮影、白熱電球の下での撮影、蛍光灯の下での撮影などのように、撮像時の照明光のもとで白い被写体が白となるようにあらかじめ代表的な測定データに基づいて定めて記憶したものである。実際の撮像時には、撮像装置から出力される画像データに対してこれらの補正値の中から選択したホワイトバランス調整値に基づいてホワイトバランス調整を行う。
【0004】
この他、上記のホワイトバランス調整値を使用せず、撮像している被写体の画像データに基づいて画面を平均的に白くするように、すなわち、画面の平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定し、このホワイトバランス調整値に基づいたホワイトバランス調整を行うオートモードと呼ばれるホワイトバランス調整方法もある。
【0005】
このような従来のデジタルカメラの撮像装置では、あらかじめ設定したホワイトバランス調整値を用いてホワイトバランス調整を行なうようにしているので、そのホワイトバランス調整値の調整不良が発生すると、色かぶり画像が発生するおそれがある。たとえば、蛍光灯による光の下で撮影する場合に、使用される蛍光管の種類により発光スペクトルが異なるために、同じホワイトバランス調整値に基づいたホワイトバランス調整を行うと被写体の色が異なった画像になるという問題がある。また、オートモードによるホワイトバランス調整では、たとえば、赤い紅葉を撮影する場合に画像の平均色温度が白く補正されてしまうという問題があった。
【0006】
そこで、実際の撮像時の照明光のもとで白い被写体を撮像し、そのとき撮像装置から出力される画像データに基づいて、画面の被写体の色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定し、このホワイトバランス調整値に基づいたホワイトバランス調整を行うマニュアルモードと呼ばれるホワイトバランス調整方法が知られている。
【0007】
【発明が解決しようする課題】
ところが、ホワイトバランス調整値を決定するための画像データを撮像する予備撮影時において、白い被写体を十分に照らす照明光が得られない場合には、正しくホワイトバランス調整値を算出できなかったり、閃光装置が発光して実際の撮影時とは異なる照明光のもとにおけるホワイトバランス調整用のRゲインやBゲインなどの調整値を決定してしまうという問題があった。
【0008】
本発明の目的は、マニュアルモード設定下でホワイトバランス調整用のホワイトバランス調整値を正しく設定可能としたデジタルカメラを提供することにある。
【0009】
【課題を解決するための手段】
一実施の形態による図1〜図3を参照して本発明を説明する。
【0010】
(1)請求項1の発明は、撮影レンズ3を通過する被写体像を撮像して画像データを出力する撮像装置26と、撮像装置26から出力される画像データに対して、あらかじめ設定されたホワイトバランス調整値によりホワイトバランス調整を行うホワイトバランス調整回路107と、マニュアルモードでホワイトバランス調整値を設定するモード設定装置8とを備え、閃光装置4により被写体を照明した閃光撮影が可能なデジタルカメラに適用される。そして、マニュアルモード設定下でホワイトバランス調整値を決定するときには常に閃光装置4の発光を禁止する発光禁止手段21を備えることにより上述した目的を達成する。
【0011】
(2)請求項2の発明は、請求項1に記載のデジタルカメラにおいて、禁止手段21によりマニュアルモード設定下で撮影するときにも閃光装置4の発光を禁止することを特徴とする。
【0012】
(3)請求項3の発明は、請求項1または2に記載のデジタルカメラにおいて、撮像している被写体の輝度値を所定値と比較する比較手段21と、マニュアルモード設定下でホワイトバランス調整値を決定するとき、比較手段21により被写体の輝度値が所定値以下であるとされているときはホワイトバランス調整値の設定を禁止する設定禁止手段21とを備えることを特徴とする。
【0015】
なお、本発明の構成を説明する上記課題を解決するための手段の項では、本発明を分かり易くするために実施の形態の図を用いたが、これにより本発明が実施の形態に限定されるものではない。
【0016】
【発明の実施の形態】
−第一の実施の形態−
以下、図面を参照して本発明の実施の形態を説明する。図1は第一の実施の形態によるデジタルカメラを示す図である。このデジタルカメラは、カメラ本体1上にレリーズ釦2と、撮影ズームレンズ3と、閃光装置4と、ファインダ5と、電源スイッチ6と、閃光装置4の動作モードに関して発光禁止(OFF)と強制発光(ON)および測定した輝度値に応じて発光する(AUTO)モードを切替える閃光装置4のモード切替スイッチ7と、ホワイトバランス調整モードに関してオートモード(A)とマニュアルモード(Pre)とを切替えるホワイトバランス調整モード切替スイッチ8と、画像およびメニュー表示を行うモニタ9と、メニュー表示の中から項目を選択するスイッチ10および12と、選択した項目を決定するスイッチ11と、撮影ズームレンズ3の焦点距離を望遠側(T)と広角側(W)への駆動を行うズーム切替スイッチ13とを備えたものである。
【0017】
図2はこの実施の形態による回路ブロックを示す図である。CPU21にはレリーズ釦2に連動する半押しスイッチ22と全押しスイッチ23(以下、レリーズスイッチ23と呼ぶ)から半押し信号と全押し信号がそれぞれ入力される。半押しスイッチ22が操作されて半押し信号が入力されると、CPU21からの指令により焦点検出/調整装置36が撮影ズームレンズ3の焦点検出状態を検出し、撮影ズームレンズ3に入射する被写体光が撮像装置であるCCD26上で結像するように撮影ズームレンズ3を合焦位置へ駆動する。また、タイミングジェネレータ24とドライバ25を介してCCD26が駆動制御される。そして、タイミングジェネレータ24によりアナログ処理回路27とA/D変換回路28の動作タイミングが制御される。
【0018】
ズーム切替えスイッチ13が操作されると、CPU21からの指令によりズームレンズ駆動装置37が撮影ズームレンズ3を駆動し、焦点距離を変化させる。スイッチ13はシーソー形のスイッチであり、望遠側(T)と広角側(W)のうち、いずれか押されている側に焦点距離が移動される。測光装置38は、被写体の輝度を測定するもので、CPU21に対してレリーズ釦2に連動する半押しスイッチ22より半押し信号が入力されたときに測定を行う。
【0019】
半押しスイッチ22のオン操作に引続いてレリーズスイッチ23がオン操作されると、撮影ズームレンズ3からの被写体光はCCD26の受光面上で結像し、CCD26には被写体像の明るさに応じた信号電荷が蓄積される。CCD26に蓄積された信号電荷はドライバ25により吐き出され、AGC回路やCDS回路などを含むアナログ信号処理回路27に入力される。アナログ信号処理回路27でアナログ画像信号に対してゲインコントロール、雑音除去等のアナログ処理が施された後、A/D変換回路28によってデジタル信号に変換される。デジタル変換された信号はたとえばASICとして構成される画像処理回路29に導かれ、そこで輪郭補償、ガンマ補正等の画像前処理が行われて一旦バッファメモリ30に格納される。そして、格納された画像データからホワイトバランス調整値を求めてホワイトバランス調整を行い、再度、バッファメモリ30へ格納する。
【0020】
画像前処理が行なわれた画像データに対してはさらに、JPEG圧縮のためのフォーマット処理(画像後処理)が行なわれ、その後、その画像データはバッファメモリ30に一時的に格納される。
【0021】
バッファメモリ30に記憶された画像データは、表示画像作成回路31により表示用の画像データに処理され、LCD等の外部モニタ9に撮影結果として表示される。また、バッファメモリ30に記憶された画像データは、圧縮回路33によりJPEG方式で所定の比率にデータ圧縮を受け、フラッシュメモリ等の記憶媒体(PCカード)34に記録される。
【0022】
図3は、上述したように動作するデジタルカメラにおける画像処理回路29の詳細を示すブロック図である。図3はCCD26からの画像データに対してラインごとに信号処理するライン処理回路100であり、上述した画像処理を行う。図3のライン処理回路100は、A/D変換回路28から出力されるR,G,B信号に対して後述する各種の信号処理を行なうものであり、欠陥補正回路101と、デジタルクランプ回路102と、黒レベル回路103と、γ補正回路104と、平均値算出回路105と、ゲイン回路106と、ホワイトバランス調整回路107とを有する。
【0023】
欠陥補正回路101は、CCD26の出力に対して1ラインごとに点順次で、欠陥のある画素(あらかじめ特定されてそのアドレスがレジスタにセットされている)からのデータを補正するものである。デジタルクランプ回路102は、CCD26の出力に対して1ラインごとに点順次で、いわゆるオプティカルブラックとして使用する複数の画素データの加重平均をそのラインの各画素データから減算するものである。
【0024】
黒レベル回路103は、CCD26の出力に対して1ラインごとに点順次で、あらかじめ決定されてCPU21のレジスタに格納されている値をR,G,B信号に対して加算する。γ補正回路104は、CCD26の出力に対して1ラインごとに点順次で、階調ルックアップテーブルを用いてγ補正を行なう。
【0025】
−ホワイトバランス調整−
次に、ホワイトバランス調整について説明する。平均値算出回路105は、γ補正後に一旦バッファメモリ30へ格納された全領域の画像データの中から、たとえば、焦点検出領域として使用したエリアを中心とした512×512の領域の画像データを抽出して、R信号用のホワイトバランス調整用ゲインRgainとB信号用のホワイトバランス調整用ゲインBgainをたとえば、次式(1)、(2)により算出する。これらの値は、この実施の形態におけるマニュアルホワイトバランス調整値、もしくはオートホワイトバランス調整値である。このゲインRgainとBgainはCPU21のレジスタに格納される。たとえば、512×512の画素領域上にカラーフィルタが配置されている場合、R,G,B信号の平均値を(3)〜(5)式で算出し、(1)、(2)式に示すように、G信号の平均値Gave とR信号の平均値Raveとの比およびG信号の平均値GaveとB信号の平均値Baveとの比からホワイトバランス調整用ゲインRgainとBgainを算出する。
【0026】
【数1】
Rgain=Gave/Rave (1)
Bgain=Gave/Bave (2)
ただし、Rave=Rsum/Rpixel数 (3)
Gave=Gsum/Gpixel数 (4)
Bave=Bsum/Bpixel数 (5)
このような平均値方式によると、画像データのRGBの各信号の階調の平均値を求めたことになり、経験的にホワイトバランスの調整結果(全体的なホワイトバランス)が良好となる。すなわち、画面の平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定し、このホワイトバランス調整値に基づいたホワイトバランス調整を行う。
【0027】
ゲイン回路106は、バッファメモリ30に格納されているR,G,B信号の各々に対し、CCD26の出力に対応した1ラインごとに点順次で上述したホワイトバランス調整を行うようにホワイトバランス調整用ゲインをホワイトバランス調整回路107へ設定する。これらの設定時には、G信号に対して行なうCCD26の感度のばらつき補正と、R,B信号に対して行なうCCD26の感度比のばらつき補正とを含めて行う。
【0028】
ホワイトバランス調整回路107は、ゲイン回路106で設定されたホワイトバランス調整係数であるRゲインとBゲインをR,B信号に掛合わせる。この実施の形態では、このホワイトバランス調整回路107で補正に使用するホワイトバランス調整値、すなわち、ホワイトバランス調整係数であるRゲインとBゲインをマニュアルで設定できるようにしている。
【0029】
−焦点検出/調整−
図4を参照して焦点検出/調整装置36の構成およびこの焦点検出/調整装置36による焦点検出動作の原理について説明する。焦点検出/調整装置36は、赤外光カットフィルタ700、視野マスク900、フィールドレンズ300、開口マスク400、再結像レンズ501および502、そしてイメージセンサ310などで構成される。領域800は撮影ズームレンズ3(図1)の射出瞳である。また、領域801、802は、開口マスク400に穿設される開口部401、402をフィールドレンズ300によって領域800上に逆投影した像の存在する領域である。なお、赤外光カットフィルタ700の位置は視野マスク900の右側でも左側でも構わない。領域801、802を介して入射した光束は、CCD等価面600上で焦点を結んだ後、赤外光カットフィルタ700、視野マスク900、フィールドレンズ300、開口部401、402および再結像レンズ501、502を通りイメージセンサアレイ310a、310b上に結像する。
【0030】
これらイメージセンサアレイ310a、310b上に結像した一対の被写体像は、撮影ズームレンズ3がCCD等価面600よりも前(被写体側)に被写体の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆にCCD等価面600よりも後に被写体の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。そして、イメージセンサアレイ310a、310b上に結像した被写体像が所定の間隔となるときに被写体の鮮鋭像はCCD等価面600上に位置する。したがってこの一対の被写体像をイメージセンサアレイ310a、310bで光電変換して電気信号に換え、これらの信号を演算処理して一対の被写体像の相対距離を求めることにより撮影ズームレンズ3の焦点調節状態、つまり撮影ズームレンズ3により鮮鋭な像が形成される位置が、CCD等価面600に対してどの方向にどれだけ離れているか、つまりずれ量が求められる。図4において焦点検出領域は、イメージセンサアレイ310a、310bが再結像レンズ501、502によって逆投影されて、CCD等価面600の近傍で重なった部分に相当する。こうして上記撮影画面内の焦点検出領域について焦点を検出する。
【0031】
焦点検出/調整装置36は焦点検出領域の焦点を検出したのち、この焦点検出データにより撮影ズームレンズ3を合焦位置へ駆動する。なお、焦点検出を複数有する場合には、焦点検出/調整装置36で選択された領域を中心とした512×512の画像データを利用して前述したR信号用のホワイトバランス調整用ゲインRgainとB信号用のホワイトバランス調整用ゲインBgainとを算出する。焦点検出領域が撮影画面中心に固定されている場合には、撮影画面中心を中心とした512×512の画像データを利用してホワイトバランス調整用ゲインを算出する。
【0032】
続いて、これまで詳述してきたデジタルカメラにおけるホワイトバランス処理について、オートモードとマニュアルモードを説明する。
【0033】
−オートモード−
これまでの説明のとおり、撮像した被写体の画像データのうち、γ補正後の全領域の画像データの中から、たとえば、焦点検出領域として使用したエリアを中心とした512×512の領域の画像データを抽出し、R信号用のホワイトバランス調整用ゲインRgainとB信号用のホワイトバランス調整用ゲインBgainを上式(1)、(2)を用いて平均値算出回路105で算出する。このような平均値方式による方法は、画像データのRGBの各信号の階調の平均値を求めたことになり、画面の平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定する。そして、このように決定したホワイトバランス調整値に基づいた調整を行うホワイトバランス処理をオートモードと呼ぶ。
【0034】
−マニュアルモード−
あらかじめ白い被写体を予備撮影し、撮像した白い被写体の画像データのうち、平均色温度を測定する測色領域として使用する図5に示す測色枠14内の画像データに基づいてγ補正後に、たとえば、512×512の領域の画像データを抽出し、R信号用のホワイトバランス調整用ゲインRgainとB信号用のホワイトバランス調整用ゲインBgainを上式(1)、(2)により平均値算出回路105で算出する。すなわち、本撮影と同じ照明光のもとで白い被写体を撮像し、測色枠14内にある被写体部分の画像データの平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定して記憶し、本撮影時にこのホワイトバランス調整値を呼び出してホワイトバランス調整を行う。このようなホワイトバランス処理をマニュアルモードと呼ぶ。
【0035】
第一の実施の形態によるデジタルカメラ1の動作を、CPU21で行われる処理手順を示した図6〜図7のフローチャートを参照して説明する。始めに電源スイッチ6の状態をチェックし、オンであれば次のステップS002へ進み、オフであれば終了する(ステップS001)。続いてホワイトバランス調整モード切替スイッチ8の状態をチェックする(ステップS002)。スイッチ8がオートモード(A)側に設定されていればステップS210へ進み、マニュアルモード(Pre)側に設定されていればマニュアルモードの処理側(ステップS101側)へ進む。
【0036】
ホワイトバランス調整モード切替スイッチ8がオートモード(A)側に設定されていると判定された場合は、閃光装置4の発光を可能として(ステップS210)、測光装置38により被写体の輝度を測定し(ステップS201)、焦点検出/調整装置36により焦点検出を行い、その結果に基づいて撮影ズームレンズ3を駆動して焦点位置に合焦させる(ステップS202)。ステップS210で閃光装置4の発光を可能にするのは、後述するステップS101で発光禁止がセットされていることを考慮したものである。ステップS202の後、もう一度ホワイトバランス調整モード切替スイッチ8の状態のチェックを行い(ステップS203)、スイッチ8がオートモード(A)側に設定されていると判定されれば、続いて閃光装置4の使用状態をチェックする(ステップS202a)。閃光装置4の動作切換スイッチ7が発光禁止(OFF)側に設定されていると判定されれば、上述したオートモードのホワイトバランス処理を行う。すなわち、撮像する画面の画像データに基づいて画面の平均色温度を測り(ステップS206)、平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定する(ステップS207)。
【0037】
そして、レリーズスイッチ23がオンにされているかをチェックし(ステップS208)、オンにされていると判定されたときは撮像して(ステップS209)画像データを取り込む。このとき、閃光装置4の動作切換スイッチ7が強制発光(ON)または測定した輝度値に応じて発光する(AUTO)ように設定されていて、閃光装置4を発光させる状態にあるときは、CCD26に電荷を蓄積開始してから、電荷の蓄積が終了するまでの間に閃光装置4を発光させる。なお、スイッチ8がマニュアルモード(Pre)側に設定されていると判定された場合には、後述するステップS101で閃光装置4の発光禁止がセットされるので発光させない。電荷蓄積終了後、ステップS207で設定された調整値に基づくホワイトバランス調整および上述したその他の輪郭補償、γ補正等の処理を行い、画像データをバッファメモリ30に一旦格納する。これらの画像データは、表示画像作成回路31により表示用の画像データに処理され、LCD等の外部モニタ9に撮影結果として表示される。また、バッファメモリ30に記憶された画像データは、圧縮回路33によりJPEG方式で所定の比率にデータ圧縮を受け、フラッシュメモリ等の記憶媒体(PCカード)34に記録される(ステップS209)。この後、再びステップS001へ戻り次の撮影に備える。
【0038】
上述のステップS202aにおいて、閃光装置4の動作切換スイッチ7が強制発光(ON)側に設定されているか、あるいは測定した輝度値に応じて発光させる(AUTO)に設定されていて、前述したステップS201における輝度測定の結果に基づいて閃光装置4を発光させる状態にあると判定されたときは、閃光装置4が発する光の色に基づいてあらかじめ設定されてメモリ30に記憶されている所定のホワイトバランス調整用データをメモリ30から呼び出し(ステップS211)、これらのデータに基づいてホワイトバランス調整用のRゲインやBゲインなどの調整値を決定する(ステップS207)。
【0039】
また、上述のステップS203においてホワイトバランス調整モード切替スイッチ8の状態のチェックを行った結果、マニュアルモードPre(プリセット)側に設定されていると判定されれば被写体の輝度値の変化を比較する(ステップS204)。ステップS201で測光して得た輝度値と後述する予備撮影時に測光して記憶された輝度値とを比較して、両者の間に所定値以上の差があると判定された場合には、たとえば、「輝度変化が大きいのでオートモードでホワイトバランス調整します。」という警告表示3を外部モニタ9に表示し(ステップS205)、ホワイトバランス調整モードをオートモード側の処理に切替えてステップS206へ進む。
【0040】
次に、ホワイトバランス調整モードがマニュアルモード(Pre)側に設定されている場合を説明する。上述したステップS002でホワイトバランス調整モード切替スイッチ8の状態をチェックしたときに、マニュアルモード(Pre)側に設定されていると判定されたときはマニュアルモードの処理へ進む。まず、閃光装置4の動作切換スイッチ7の切替え位置に係わらず、閃光装置4の発光を禁止にする(ステップS101)。続いて、図7に示すマニュアルモード処理を示すフロ−チャートへ進む。そして、マニュアルモード(Pre)側に切替えられた後、最初にこの処理に進んだものであるかをチェックし(ステップS102)、オートモード(A)側からマニュアルモード(Pre)側に切替えられた最初の処理であると判定されたときには、後述する予備撮影時に設定して記憶されたホワイトバランス調整用のデータが記憶されているかをチェックする(ステップS103)。
【0041】
予備撮影時に記憶されたホワイトバランス調整用のデータが記憶されていないと判定されたときは、新規に予備撮影を行うべくステップS111へ進み、記憶されていると判定されたときは外部モニタ9に操作選択メニューを表示する(ステップS104)。このメニュー表示は、ホワイトバランス調整を行うときに、後述する予備撮影時に設定して記憶されたホワイトバランス調整用データを使用するか、あるいは新たに予備撮影を行ってホワイトバランス調整用データを設定した上で使用するかを選択するための選択メニューであり、たとえば、図8に示すように表示する。図8の例では、項目選択スイッチ10(図8(a))、あるいは項目選択スイッチ12(図8(b))によりカーソル(図中は矢印)を上下に移動し、設定スイッチ11(図8(c)または(d))により決定する(ステップ105)。
【0042】
新規に予備撮影を行うように選択されたと判定されたとき(図8(d))、ズームレンズ駆動装置37は撮影ズームレンズ3を、たとえば、焦点距離を115mm(35mmカメラに換算)になるように駆動し(ステップS111)、焦点検出/調整装置36はピントを50cmとなるように焦点位置を調整する(ステップS112)。そして、外部モニタ9の表示画面内に図5(a)に示すように撮影している被写体とともに測色枠14を表示する(ステップS113)。この測色枠14は、撮像する画像データのうち平均色温度を測定してホワイトバランス調整用のデータとして使用される画像データの範囲を示すもので、撮像画面の約1/4のサイズである。そして、上述した設定では撮影者が、たとえば、伸ばした左手に名刺を持ち、右手でデジタルカメラ1を構えた場合には、撮影ズームレンズ3の焦点距離が115mmであることから名刺が撮像されるサイズは測色枠14よりやや大きくなり、ピントが50cmであることから左手に持った名刺と構えたデジタルカメラ1との距離にほぼ一致するために焦点位置は名刺の位置に合った状態となる(図5(b))。
【0043】
レリーズスイッチ23がオンにされるのを待ち(ステップS114)、オンにされたと判定されると、CCD26で撮像したデータを図3のように処理して一旦バッファメモリ30に格納するとともに、測色枠14内にある被写体の輝度を測光装置38で測定する(ステップS115)。なお、ステップS114におけるレリーズスイッチ23の操作では、閃光装置4の動作モード切替スイッチ7の設定に係わらず閃光装置4は常に発光しない。測定した輝度値が所定の値よりも低く測色に不十分であると判定されたときは(ステップS116)、たとえば、「輝度が低すぎます。」という警告表示2を外部モニタ9に表示し(ステップS125)、撮影者にオートモードへの設定変更を促す。そして、再びホワイトバランス調整モード切替スイッチ8の状態をチェックし(ステップS126)、スイッチ8がオートモード(A)側に切替えられたと判定されたときは、図7に示すマニュアルモード処理を終了し、図7へジャンプする以前のフロ−チャートにおけるステップS201へ進む。反対に、スイッチ8がマニュアルモード(Pre)側のままであると判定されれば、前述したステップS104の操作選択メニュー表示へ戻り、低輝度の状態では測色をしない。
【0044】
一方、上述した測光装置38による被写体の輝度測定(ステップS115)の結果、測定した輝度値が所定の値よりも高く測色に十分であると判定されたときは(ステップS116)予備測定の処理に入り、測色枠14内の画像データをバッファメモリ30から取り出す(ステップS117)。なお、CCD26に撮像された画像データのうち、測色枠14内に該当するデータのみを出力させてもよい。
【0045】
取り出された測色枠14内の画像データに基づいて、R信号用のホワイトバランス調整用ゲインRgainとB信号用のホワイトバランス調整用ゲインBgainを、上述した式(1)、(2)を用いて算出する(ステップS118)。すなわち、画面の平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定し、このホワイトバランス調整データをステップS115で測定した輝度値とともにメモリ30に記憶する(ステップS119、S120)。さらに、このときの日時をリアルタイムクロック35から呼び出して上記のデータと合わせて記憶する(ステップS121)。そして、図7に示すマニュアルモード処理を終了し、図7へジャンプする以前のフロ−チャートにおけるステップS201へ進む。
【0046】
上述したステップS105において、予備撮影時に記憶されたホワイトバランス調整用データを使用するように選択されたと判定されたときには(図8(c))、メモリ30に記憶されているホワイトバランス調整データおよび輝度値とともに記憶されている日時を呼び出し、リアルタイムクロック35から得られる現在の日時と比較する(ステップS131)。システムリセットによりメモリ上のデータが保持されていない場合、あるいは記憶されているデータの日時が現在の日時に対して、たとえば、24時間以上の差を有しているときには、撮影時の照明光が当然変わっているおそれがあると想定し、「前回の値がないので新規設定します。」という警告表示4を外部モニタ9に表示し(ステップS135)、新規に予備撮影を行う処理へ移る(ステップS111)。
【0047】
一方、メモリ30に記憶されているデータの日時が新しいときは、ホワイトバランス調整データおよび輝度値を呼び出し(ステップS132)、これらのデータに基づいてホワイトバランス調整用のRゲインやBゲインなどの調整値を決定し(ステップS133)、図7に示すマニュアルモード処理を終了し、図7へジャンプする以前のフロ−チャートにおけるステップS201へ進む。
【0048】
また、前述のステップS102において、マニュアルモード(Pre)側のまま切替えられていないと判定されたときは、メモリ30に記憶されているホワイトバランス調整データ、および輝度値とともに記憶されている日時を呼び出し、リアルタイムクロック35から得られる現在の日時と比較する(ステップS106)。記憶されているデータの日時が現在の日時に対して、たとえば、8時間以上古いものであるときには、撮影時の照明光が変わっている可能性が高いと想定し、「前回の設定から時間が経過しています。」という警告表示1を外部モニタ9に表示する(ステップS107)。そして、前述のステップS104と同様の外部モニタ9に操作選択メニューを表示する(ステップS108)。このメニュー表示を使用して、図8(a)〜(d)により説明したように、ホワイトバランス調整を行うときに前述した予備撮影時に設定して記憶されたホワイトバランス調整用データを使用するか、あるいは新たに予備撮影を行ってホワイトバランス調整用データを設定した上で使用するかを選択する(ステップS109)。
【0049】
新たに予備撮影を行ってホワイトバランス調整用データを設定する新規設定が選択されたと判定されたときは、予備撮影を行う処理へ移る(ステップS111)。反対に、データを記憶してからの時間が経過していても前回のデータを使用してホワイトバランス調整を行うとき、つまり、前回の値を使用すると判定されたときは経過時間をクリアし(ステップS110)、ホワイトバランス調整データおよび輝度値を呼び出す処理(ステップS132)へ移行する。ここで、データを記憶してから経過した時間の算出は、ステップS121で記憶した日時と現在の日時との比較でもよいし、ステップS121でタイマをスタートさせ、経過時間をカウントする方法でもよい。このタイマの内容は、電源スイッチ6をオフにしても保持される。
【0050】
この実施の形態によるデジタルカメラは、カメラが撮像した被写体画像に基づいて平均色温度が白くなるようにホワイトバランス調整用のRゲインおよびBゲインなどの調整値を決定し、これらの調整値に基づいたホワイトバランス調整を行うオートモード(A)と、撮影者があらかじめ用意した白い被写体を測定し、その画像データに基づいて平均色温度が白くなるようにホワイトバランス調整用のRゲインおよびBゲインなどの調整値を決定し、これらの調整値に基づいたホワイトバランス調整を行うマニュアルモード(Pre)とを選択的に使用可能にしたものである。そして、本実施の形態によれば次のような作用効果が得られる。
【0051】
(1)マニュアルモード(Pre)で使用するホワイトバランス調整用の調整値(RゲインおよびBゲイン)を設定するために白い被写体、たとえば、名刺の無地の裏面を撮影するときに、撮影ズームレンズの焦点距離および焦点調整を撮影者の腕の長さと名刺の大きさを基準にして所定の値に設定するようにしたので(ステップS111,S112)、撮像画面を覆うような大きな白い被写体が不要となり、白い被写体に対してピントを合わせる必要もなく簡単に撮影できる。
【0052】
(2)マニュアルモード(Pre)で使用するホワイトバランス調整用の調整値と被写体の輝度値を合わせて記憶するようにしたので、撮影時の輝度値と比較することにより(ステップS204)照明光が変化した可能性が高いときはそれを検出して警告することができる。
【0053】
(3)マニュアルモード(Pre)で使用するホワイトバランス調整値を設定するための被写体の輝度値が、ホワイトバランス調整値の算出に十分とされる所定の輝度値より低いときは警告表示をしたり、ホワイトバランス調整値を設定しないようにしたので(ステップS116、S125)、ノイズが多く誤差が生じやすい状態でホワイトバランス調整値を設定することがなく、常に正しいホワイトバランス調整値を設定することが可能となる。
【0054】
(4)オートモード(A)でホワイトバランス調整を行うモードが選択されている場合は、閃光装置が発する光に基づいてあらかじめカメラ側で用意したホワイトバランス調整値に基づいたホワイトバランス調整を行うようにしたので(ステップS202a、S210、S211)、閃光装置の光の色に合わせたホワイトバランス調整が可能となる。
【0055】
(5)マニュアルモード(Pre)でホワイトバランス調整を行うモードが選択されているときは、ホワイトバランス調整値を決定するための予備撮影時(ステップS114)および本撮影時(ステップS208)に閃光装置の発光を禁止するようにしたので(ステップS101)、マニュアルモード(Pre)で使用するホワイトバランス調整値を設定するために被写体画像を予備撮影したときと同じ照明光のもとでの本撮影が可能となる。
【0056】
(6)マニュアルモード(Pre)で使用するホワイトバランス調整用の調整値とその値を設定した日時を合わせて記憶して撮影時までの経過時間がわかるようにしたので、調整値が古いときはそれを検知して警告することができる(ステップS131、S135、S106、S107)。
【0057】
−第二の実施の形態−
続いて第二の実施の形態による処理手順を示す図9のフローチャートを説明する。第一の実施の形態である図6のフローチャートとの相違点のみ説明する。図9が図6のフローチャートの間に有する第一の相違点は、ステップS002におけるホワイトバランス調整モード切替えスイッチ8の状態のチェックにおいて、マニュアルモード(Pre)側に設定されていると判定されたとき、そのまま図7に示すマニュアルモード処理に入る点にある。すなわち、図6の第一の実施の形態によるフローチャートに設けたステップS101の閃光装置の発光禁止処理を省略している。したがって、第一の実施の形態においては閃光装置4の動作切換スイッチ7の切替え位置に係わらず閃光装置4の発光を禁止にしたが(ステップS101)、本実施の形態では本撮影時において、閃光装置4は閃光装置4の動作切替スイッチ7の設定に基づいて発光する。なお、ステップS114では発光させないことは第一の実施の形態と同様である。
【0058】
そして、第2の相違点は、ステップS203のホワイトバランス調整モード切替えスイッチ8の状態のチェックとステップS202aの閃光装置4の使用状態のチェックとの順序が相違する点にある。すなわち、ステップS203におけるホワイトバランス調整モード切替スイッチ8の状態のチェックに先立ち、ステップS202aにおける閃光装置4の使用状態のチェック処理が行われる。
【0059】
また、第3の相違点は、ステップS202aの閃光装置4の使用状態のチェックの結果、閃光装置4が発光される状態にあると判定された場合には、ステップS211で閃光装置4が発する光の色に基づいてあらかじめカメラに記憶されているデータを呼び出した後、ステップS207へ進みホワイトバランス調整用ゲインを設定する点である。すなわち、閃光装置4が使用される場合には、マニュアルモード側の処理であるステップS204,S205を行わない。ステップS207を処理した後、レリーズスイッチ23がオンにされているかをチェックし(ステップS208a)、オンにされていると判定されたときは撮像して(ステップS209)画像データを取り込む。このとき、ホワイトバランス調整モードがオートでもマニュアルでも、閃光装置4の動作切換スイッチ7が強制発光(ON)、あるいは輝度測定の結果に応じて発光させる(AUTO)ように設定されており、輝度測定の結果に基づいて閃光装置4を発光させる状態にあると判定されているときは、CCD26に電荷を蓄積開始してから、電荷の蓄積が終了するまでの間に閃光装置4を発光させる。電荷蓄積終了後、ステップS207における処理において設定された調整値に基づくホワイトバランス調整および上述したその他の輪郭補償、γ補正等の処理を行い、画像データをバッファメモリ30に一旦格納する。
【0060】
以上説明したように、このような第二の実施の形態によるデジタルカメラにおいては以下の作用効果を有する。
【0061】
(1)マニュアルモード(Pre)でホワイトバランス調整を行うように選択されているときにも閃光装置の発光を可能にするようにしたので、閃光装置を使用した撮影条件の場合に閃光装置4を発光させた撮影が可能となる。
【0062】
−第三の実施の形態−
続いて第三の実施の形態による処理手順を示す図10のフローチャートを説明する。この形態は、ホワイトバランス調整を行わずに一旦バッファメモリ30に格納し、画像処理によりホワイトバランス調整を行うものである。図9の第二の実施の形態によるフローチャートとはステップS202から後の処理が相違し、その他は同じであるので相違部分のみ説明する。ステップS601ではホワイトバランス調整モード切替スイッチ8の状態のチェックを行い、スイッチ8がオートモード(A)側に設定されていると判定されれば、続いてレリーズスイッチ23がオンにされているかをチェックし(S605)、オンにされていると判定されたときは撮像して(ステップS606)画像データを取り込む。閃光装置4の動作切換スイッチ7が強制発光(ON)または測光結果に応じて発光させる(AUTO)ように設定されており、閃光装置4が発光する状態にあると判定されているときは、CCD26に電荷を蓄積開始してから、電荷の蓄積が終了するまでの間に閃光装置4を発光させる。
【0063】
その後、再びホワイトバランス調整モードの状態をチェックし(ステップS607)、オートモード(A)側にあると判定されたときはバッファメモリ30に格納されているRGBデータに基づいて画面の色温度を測り(ステップS609)、平均色温度を白に近づけるようにホワイトバランス調整用のRゲインやBゲインなどの調整値を決定する(ステップS610)。そして、設定されたホワイトバランス調整値に基づき、画像データを処理する(ステップS611)。これらの画像データは、表示画像作成回路31により表示用の画像データに処理され、LCD等の外部モニタ9に撮影結果として表示される。また、バッファメモリ30に記憶された画像データは、圧縮回路33によりJPEG方式で所定の比率にデータ圧縮を受け、フラッシュメモリ等の記憶媒体(PCカード)34に記録される。この後、再びステップS001へ戻り次の撮影に備える。
【0064】
上述のステップS601において、ホワイトバランス調整モード切替スイッチ8の状態のチェックを行った結果、マニュアルモード(Pre)側に設定されていると判定された場合には、被写体の輝度値の変化を比較する(ステップS602)。ステップ201で測光して得た輝度値と前述した予備撮影時に測定して記憶された輝度値とを比較して両者の間に所定値以上の差があると判定された場合には、図6および図9における第一および第二の実施の形態によるフローチャートのステップS205と同様に、たとえば、「輝度変化が大きいのでオートモードでホワイトバランス調整します。」という警告表示3を外部モニタ9に表示し、ホワイトバランス調整モードをオートモード側の処理に切替えて(ステップS604)、ステップS605でレリーズスイッチ23がオンにされるかをチェックし、オンにされなければ再びステップS001へ戻り次の撮影に備える。
【0065】
また、上述のステップS607において、ホワイトバランスの調整モードがマニュアルモード(Pre)側に設定されていると判定されても、ステップS608において閃光装置4の動作切換スイッチ7が強制発光(ON),または輝度測定の結果に応じて発光させる(AUTO)ように設定さており、撮像時に閃光装置4が発光されたと判定されたときは、ステップS609へ進み測色してステップS610でオートホワイトバランス調整値を算出して設定する。反対に、ステップS208において閃光装置4が発光されないと判定されたときは、ステップS609、ステップS610をスキップしてステップS611へ進み、予備撮影時に設定して記憶されたホワイトバランス調整値に基づいたマニュアルホワイトバランス処理を行う。
【0066】
第三の実施の形態によるデジタルカメラについてまとめると、第一および第二の実施の形態のデジタルカメラが有する作用効果のほかに、次のような作用効果を有する。
【0067】
(1)ホワイトバランス調整モードの設定をマニュアルモード(Pre)に設定した場合であっても、閃光装置を使用して撮影したときには、閃光装置の光に適したホワイトバランス調整値を使用してオートホワイトバランス調整を行うようにしたので(ステップS607,S608)、撮像した画像データに基づいてホワイトバランス調整を行うことが可能となる。
【0068】
(2)被写体画像を取り込み、RGBデータとしてバッファメモリに格納してからホワイトバランス処理を行うようにしたので(ステップS611)、画像を取り込む撮像処理とホワイトバランス調整などの画像処理とを独立した処理として行うことが可能となる。これは、撮像済みの画像データに対して後からホワイトバランスなどの画像処理を行うために有効である。
【0069】
なお、上述した例では被写体の輝度を測定するために測光装置を使用したが、CCDで撮像した画像データから輝度値を算出するようにしてもよい。
【0070】
また、上述した例では警告表示を外部モニタ9上に表示するようにしたが、たとえば、デジタルカメラ1のファインダ5内にLEDを点灯させて撮影者に知らせるようにしてもよい。
【0071】
以上の説明では、レンズ交換ができないデジタルスチルカメラについて説明したが、一眼レフデジタルスチルカメラ、動画像も取込めるデジタルビデオカメラにも本発明を適用できる。
【0072】
特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明すると、撮影ズームレンズ3が撮影レンズに、CCD26が撮像装置に、ホワイトバランス調整モード切替スイッチ8がモード設定装置に、CPU21のステップS101とステップS114が発光禁止手段に、CPU21のステップS116が比較手段に、CPU21のステップS126が設定禁止手段に、外部モニタ9が報知手段にそれぞれ対応する。
【0073】
【発明の効果】
以上詳細に説明したように本発明では次のような効果を奏する。
【0074】
(1)請求項1の発明では、マニュアルモードでホワイトバランス調整を行うためのホワイトバランス調整値を設定するとき、常に閃光装置の発光を禁止するようにしたので、マニュアルモード時に閃光装置の照明光の下でホワイトバランス調整値が設定されることがなく、撮影している被写体と同じ照明光のもとで設定されたホワイトバランス調整値に基づいたホワイトバランス調整を行うことができる。また、逆光の下でホワイトバランス調整値を設定するときに閃光装置が発光されないから、ホワイトバランス調整値が正しく設定される。
【0075】
(2)請求項2の発明では、マニュアルモード設定下での撮影時にも閃光装置の発光を禁止したので、より一層確実にマニュアルモードで設定したホワイトバランス調整値を用いて適切なホワイトバランス調整が行われる。
【0076】
(3)請求項の発明によれば、上記ホワイトバランス調整値を設定するときに被写体の輝度値を測定し、ホワイトバランス調整値の設定に十分とされる所定値よりも低いときは警告表示をしたり、マニュアルモード設定下でのホワイトバランス調整値の設定を禁止するようにすれば、輝度値が低い画像データに含まれるノイズによりホワイトバランス調整値に誤差が生じることが防止され、ホワイトバランス調整を正確に行うことが可能となる。
【図面の簡単な説明】
【図1】デジタルスチルカメラの一実施の形態の構成を示す図
【図2】デジタルスチルカメラの信号処理系統の一実施の形態のブロック図
【図3】図2に示した信号処理系統のうちライン処理を行なう回路を説明するブロック図
【図4】焦点検出/調整装置を説明する図
【図5】デジタルスチルカメラの一実施の形態による測色枠の表示例を示す図
【図6】デジタルスチルカメラの第一の実施の形態による処理を示すフローチャート
【図7】デジタルスチルカメラの実施の形態によるマニュアルモード処理を示すフローチャート
【図8】操作選択メニューの表示例を示す図
【図9】デジタルスチルカメラの第二の実施の形態による処理を示すフローチャート
【図10】デジタルスチルカメラの第三の実施の形態による処理を示すフローチャート
【符号の説明】
1…デジタルカメラ、2…レリーズ釦、3…撮影ズームレンズ、4…閃光装置、5…ファインダ、6…電源スイッチ、7…閃光装置のモード切替スイッチ、8…ホワイトバランス調整モード切替スイッチ、9…モニタ、10、12…項目選択スイッチ、11…項目決定スイッチ、13…ズーム切替スイッチ、14…測色枠、21…CPU、22…半押しスイッチ、23…全押しスイッチ、26…CCD、29…画像処理回路、35…リアルタイムクロック、36…焦点検出/調整装置、37…ズームレンズ駆動装置、38…測光装置、100…ライン処理回路、105…平均値算出回路、107…ホワイトバランス調整回路

Claims (3)

  1. 撮影レンズを通過する被写体像を撮像して画像データを出力する撮像装置と、
    前記撮像装置から出力される画像データに対して、あらかじめ設定されたホワイトバランス調整値によりホワイトバランス調整を行うホワイトバランス調整回路と、マニュアルモードで前記ホワイトバランス調整値を設定するモード設定装置とを備え、閃光装置により前記被写体を照明した閃光撮影が可能なデジタルカメラにおいて、
    前記マニュアルモード設定下で前記ホワイトバランス調整値を決定するときには常に前記閃光装置の発光を禁止する発光禁止手段を備えることを特徴とするデジタルカメラ。
  2. 請求項1に記載のデジタルカメラにおいて、
    前記禁止手段は、前記マニュアルモード設定下で撮影するときにも前記閃光装置の発光を禁止することを特徴とするデジタルカメラ。
  3. 請求項1または2に記載のデジタルカメラにおいて、
    撮像している被写体の輝度値を所定値と比較する比較手段と、
    前記マニュアルモード設定下で前記ホワイトバランス調整値を決定するとき、前記比較手段により前記被写体の輝度値が所定値以下であるとされているときは前記ホワイトバランス調整値の設定を禁止する設定禁止手段とを備えることを特徴とするデジタルカメラ。
JP32965898A 1998-11-19 1998-11-19 デジタルカメラ Expired - Lifetime JP4281134B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32965898A JP4281134B2 (ja) 1998-11-19 1998-11-19 デジタルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32965898A JP4281134B2 (ja) 1998-11-19 1998-11-19 デジタルカメラ

Publications (2)

Publication Number Publication Date
JP2000156870A JP2000156870A (ja) 2000-06-06
JP4281134B2 true JP4281134B2 (ja) 2009-06-17

Family

ID=18223820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32965898A Expired - Lifetime JP4281134B2 (ja) 1998-11-19 1998-11-19 デジタルカメラ

Country Status (1)

Country Link
JP (1) JP4281134B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4028358B2 (ja) * 2002-02-05 2007-12-26 株式会社リコー 撮像装置、表示制御方法、プログラム及び記録媒体
JP4745672B2 (ja) * 2005-01-31 2011-08-10 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JP2000156870A (ja) 2000-06-06

Similar Documents

Publication Publication Date Title
US7847859B2 (en) Exposure control method and imaging apparatus
US7009641B2 (en) Electronic camera with gain adjustment
TWI423664B (zh) 影像裝置與曝光控制方法
US8150252B2 (en) Imaging apparatus and imaging apparatus control method
US7944500B2 (en) Image processing system, image capturing apparatus, and system and method for detecting backlight status
US8254773B2 (en) Image tracking apparatus and tracking evaluation method
JP4366768B2 (ja) デジタルカメラおよびコンピュータ読み取り可能な記録媒体
JP4487342B2 (ja) デジタルカメラ
KR20020004522A (ko) 씨씨디 카메라의 제어 방법
JP4106774B2 (ja) デジタルカメラ
JP2003179807A (ja) 撮像装置
JP4337161B2 (ja) デジタルカメラおよびコンピュータ読み取り可能な記録媒体
JP2000156874A (ja) デジタルカメラ
JP4281134B2 (ja) デジタルカメラ
JP4105933B2 (ja) デジタルカメラおよび画像生成方法
JP2008199522A (ja) 撮像装置及び撮像方法
JP2009033386A (ja) 撮影装置及び撮影方法
JP5153441B2 (ja) 撮像装置、その制御方法及びプログラム
JP2002185977A (ja) 映像信号処理装置および映像信号処理プログラムを記録した記録媒体
JP2002058039A (ja) 撮像装置
CN109387992B (zh) 能够充分确保发光精度的摄像设备及其控制方法
JP2001136546A (ja) 電子カメラ
JP2001222049A (ja) 撮像装置、撮像制御方法およびコンピュータ読取り可能な記録媒体
JP5076265B2 (ja) 電子カメラ
JP2005006217A (ja) デジタル一眼レフカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090309

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150327

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150327

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150327

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term