JP4150599B2 - 露出補正機能付きデジタルカメラ - Google Patents
露出補正機能付きデジタルカメラ Download PDFInfo
- Publication number
- JP4150599B2 JP4150599B2 JP2003009989A JP2003009989A JP4150599B2 JP 4150599 B2 JP4150599 B2 JP 4150599B2 JP 2003009989 A JP2003009989 A JP 2003009989A JP 2003009989 A JP2003009989 A JP 2003009989A JP 4150599 B2 JP4150599 B2 JP 4150599B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- sensitivity
- image data
- low
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は低感度画素と高感度画素の両方を有する固体撮像素子を搭載したデジタルカメラに係り、ユーザがマニュアルで露出補正を行うことができる露出補正機能付きデジタルカメラに関する。
【０００２】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラでは、固体撮像素子の各画素を構成するフォトダイオードに蓄積される電荷の飽和量が高画素化すなわちフォトダイオードの微細化に伴って小さくなり、撮像画像のダイナミックレンジが狭くなってしまうという欠点を有している。
【０００３】
この欠点を克服するため、例えば特開２００１―８１０４号公報記載の従来技術では、固体撮像素子に、高感度画素と低感度画素の２種類の画素を設け、高感度画素から得られた高感度画像データと、低感度画素から得られた低感度画像データとを合成処理することで、被写体画像のダイナミックレンジを広げるようにしている。
【０００４】
【特許文献１】
特開２００１―８１０４号公報
【０００５】
【発明が解決しようとする課題】
銀塩フィルムカメラには、一般的に露出補正機能が搭載されており、ユーザが被写体を撮影するときに、マニュアルで露出補正値を設定できるようになっている。このため、デジタルカメラでも露出補正機能を搭載するのが一般的になってきている。
【０００６】
しかし、現在市場に普及しているデジタルカメラの固体撮像素子は、低感度画素と高感度画素の二種類の画素を有するものはなく、感度の同じ画素しか持たないタイプである。このため、デジタルカメラに搭載された従来の露出補正機能も、高感度画像データと低感度画像データとを合成処理することを前提とするものではなく、上記従来技術もユーザが設定した露出補正値を合成画像上でどのように反映させればよいかまでは考慮していない。
【０００７】
本発明の目的は、高感度画素から得られた高感度画像データと低感度画素から得られた低感度画像データとを合成処理するに際して、ユーザの設定した露出補正値を合成画像上に反映させることが可能な露出補正機能付きデジタルカメラを提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成する露出補正機能付きデジタルカメラは、高感度画素と低感度画素とを有する固体撮像素子と、露出補正値の入力手段と、該入力手段により入力された露出補正値に基づく露出量のもとで前記高感度画素により撮像された高感度画像データと前記低感度画素により撮像された低感度画像データとを合成して合成画像データを生成する画像合成手段とを備える露出補正機能付きデジタルカメラにおいて、
前記画像合成手段は前記合成画像データ (data) を第１値に第２値を乗算した値として求めるに際し、
前記高感度画像データ (high) が閾値 (th) を越えているときは該高感度画像データ (high) にそのまま前記低感度画像データ (low) を加算した値を前記第１値とし、
前記高感度画像データ (high) が前記閾値 (th) に達していないときは該高感度画像データ (high) の前記閾値 (th) に対する割合に対し前記低感度画像データ (low) を乗算した値と前記高感度画像データ (high) とを加算した値を前記第１値とし、
前記第２値は、前記高感度画像データ (high) に係数 (-k) を乗算し且つ前記閾値 (th) で除算した値 (-k × high/th) にシーンに応じて決めた値 ( α ) を加算した値 (-k × high/th+ α ) と、合成画像全体に対するゲイン値 (p) とのいずれか大きい方の値とし、
前記露出補正を、前記ゲイン値 (p) と前記閾値 (th) とを変化させることで行い前記合成画像のダイナミックレンジの広狭を変化させることを特徴とする。
【０００９】
この構成により、ユーザの意図する露出補正を合成画像に反映させることができる。
【００１０】
本発明の露出補正機能付きデジタルカメラの前記画像合成手段は、露出補正値がオーバー露光補正の場合には前記合成画像のダイナミックレンジを広く、露出補正値がアンダー露光補正の場合には、前記合成画像のダイナミックレンジを狭くすることを特徴とする。
【００１１】
この構成により、ユーザがオーバー露光を設定したときはハイライトのディテールを保持しながら全体的に明るい画像とすることができ、ユーザがアンダー露光を設定したときは全体的に暗い画像とし出力画像の階調を有効に使用することが可能となる。
【００１４】
本発明の露出補正機能付きデジタルカメラの前記画像合成手段は、露出補正値がオーバー露光補正の場合には、前記高感度画像データの割合を小さく前記低感度画像データの割合を大きくすることで前記合成画像のダイナミックレンジを広くし、露出補正値がアンダー露光補正の場合には、前記高感度画像データの割合を大きく前記低感度画像データの割合を小さくすることで前記合成画像のダイナミックレンジを狭くすることを特徴とする。
【００１５】
この構成により、ユーザの意図する露出補正を容易且つ確実に合成画像に反映させることが可能となる。
【００１６】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００１７】
図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例に説明するが、デジタルビデオカメラや携帯電話機等の小型電子機器に搭載されたカメラ等の他の種類のデジタルカメラにも本発明を適用可能である。
【００１８】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１９】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、入力手段である操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００２０】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００２１】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００２２】
斯かるデジタルスチルカメラで、ユーザが被写体画像の撮影時に露出補正を行う場合は、操作部２１を操作して露出補正用のメニューを呼び出して液晶表示部３１に表示させ、このメニュー上で、予め決められた露出補正値、例えば、＋０．３ＥＶ，＋０．６ＥＶ，…，−０．３ＥＶ，−０．６ＥＶ，…のいずれかをカーソルを移動させて選択する。
【００２３】
尚、図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００２４】
図２は、本実施形態で使用する固体撮像素子１１の画素配置図である。広ダイナミックレンジの画像を撮像するＣＣＤ部分の画素１は、例えば特開平１０―１３６３９１号公報に記載されている画素配置をとり、偶数行の各画素に対して奇数行の各画素が水平方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が、垂直方向の各画素を避けるように蛇行配置される構成をとっている。
【００２５】
そして、本実施形態に係る各画素１は、図示する例では、画素１の面積の約１／５を占める低感度画素（副画素）２と、残りの約４／５を占める高感度画素（主画素）３とに分割して設けられ、各低感度画素２の信号電荷と、各高感度画素３の信号電荷とを区別して上記垂直転送路に読み出し転送することができるようになっている。尚、画素１をどのような割合、どの様な位置で分割するかは設計的に決められるものであり、図２は単なる例示に過ぎない。
【００２６】
尚、固体撮像素子１１は、図２に示す様なハニカム画素配置のＣＣＤを例に説明したが、ベイヤー方式のＣＣＤやＣＭＯＳセンサでも良い。
【００２７】
図３は、デジタル信号処理部２６の処理構成図である。このデジタル信号処理部２６は、高感度画像データと低感度画像データとを夫々ガンマ補正した後に加算処理する対数加算方式を採用しており、Ａ／Ｄ変換回路２３から出力される高感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ａと、オフセット補正回路４１ａの出力信号のホワイトバランスをとるゲイン補正回路４２ａと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ａと、図１に示すＡ／Ｄ変換回路２３から出力される低感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ｂと、オフセット補正回路４１ｂの出力信号のホワイトバランスをとるゲイン補正回路４２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ｂとを備える。オフセット補正後の信号に対してリニアマトリクス処理などを行う場合には、ゲイン補正回路４２ａ，４２ｂとガンマ補正回路４３ａ，４３ｂとの間で行う。
【００２８】
デジタル信号処理部２６は、更に、各ガンマ補正回路４３ａ，４３ｂの両出力信号を取り込んで画像合成処理を行う画像合成処理回路４４と、画像合成後のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４５と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙや色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。
【００２９】
上述した画像合成処理回路４４は、ガンマ補正回路４３ａから出力される高感度画像データと、ガンマ補正回路４３ｂから出力される低感度画像データとを次の数１に基づいて画素単位に合成し、出力する。
【００３０】
【数１】
data＝〔high＋MIN(high/th,1）×low〕×MAX〔（−ｋ×high/th）＋α,ｐ〕
ここで、high：高感度（高出力）画像信号のガンマ補正後のデータ
low：低感度（低出力）画像信号のガンマ補正後のデータ
ｐ：total gain（トータルゲイン）
ｋ：係数
th：閾値
α：シーンにより決める値（≒１）
である。尚、α＝１と固定してもよい。
【００３１】
閾値thとは、ガンマ補正後のデータが８ビットデータ（２５６階調）であれば、例えば値０〜２５５のうちの“２１９”とデジタルスチルカメラの使用者あるいはデジタルスチルカメラの設計者が指定する値である。
【００３２】
図４は、数１のMIN(high/th,1)の変化の様子を示すグラフである。この図４に示されるように、数１の第１項は、高感度画像データhighが閾値thを越えているとき高感度画像データhighにそのまま低感度画像データlowを加算し、高感度画像データhighが閾値thに達していないときは、高感度画像データhighの閾値thに対する割合に対し低感度画像データlowを乗算した値を高感度画像データhighに加算することを示している。
【００３３】
本実施形態では、この第１項で求めた加算データをそのまま合成画像データとするのではなく、この第１項に、第２項（MAX〔（−ｋ×high/th）＋α,ｐ〕）を乗算した値を合成画像のデータとしている。図５は、このMAX〔（−ｋ×high/th）＋α,ｐ〕で、ｋ＝０．２としたときの変化の様子を示す図である。
【００３４】
この第２項において、係数ｋは、図２に示す実施形態の固体撮像素子１１では、値“０．２”を用いるのが良い。図２に示す固体撮像素子１１の様に、高感度画素３と低感度画素２の信号電荷の飽和比が異なる場合、係数ｋは、次の数２で便宜的に求めることができる。
【００３５】
【数２】
係数ｋ＝１−Ｓh／（Ｓh＋Ｓl）
ここで、Ｓh：高感度画素の信号電荷飽和量
Ｓl：低感度画素の信号電荷飽和量
【００３６】
図２に示す例で、フォトダイオードの面積比がそのまま飽和比になるわけではないが、便宜的に面積比と見ることができ、上記例を当てはめると、
ｋ＝１−４／（４＋１）＝１−０．８
＝０．２
となる。
【００３７】
高感度画素と低感度画素とを合わせ持つ固体撮像素子は、図２に例示するものに限らず、例えば、図６に示す様に、同一寸法形状に形成された多数のフォトダイオード（図示せず）の上に設けるマイクロレンズの開口面積を変え、高感度画素３と低感度画素２とを設けるものが考えられる。この場合には、高感度画素と低感度画素の信号電荷の飽和量は同じになるため数２は適用できないが、係数ｋの値を実験的に求めたり、あるいはマイクロレンズ等の開口面積などから係数値を求めることで、数１を適用することができる。この係数ｋの値は、固体撮像素子の構成によって決まってしまう値であり、使用者が任意に変更するものではなく、撮像装置の出荷時に固定値に設定されるものである。
【００３８】
数１において、トータルゲインｐの値として、本実施形態では、実験的に定めた値を採用する。ｐは、合成画像データの全体に対するゲインであり、このｐの値を制御することで、画像のダイナミックレンジの制御を行うことができる。
【００３９】
ｐのパラメータ値は可変であるが、その下限値ｐminも次の数３により決定される。
【００４０】
【数３】
ｐmin＝Ｓh／（Ｓh＋Ｓl）
【００４１】
高感度画像データが最大値で出力されたときに最終出力が最大値となるようなデジタルカメラでは、高感度画像データと低感度画像データとの合成値が最大値となるように高感度画像データと低感度画像データに対してゲイン操作が必要となる。つまり、飽和量分の高感度画像データと低感度画像データが固体撮像素子から出力されたとき、その出力値に対してｐmin（＜１）分のゲインを掛けて、最終出力値が最大値となるように画像データを変換する必要がある。
【００４２】
例えば、高感度画素と低感度画素の飽和比が４対１であった場合には
ｐmin＝４／（４＋１）＝０．８
となり、コントラストの高い撮影シーンではｐ＝ｐminにすればよく、また、あまりコントラストが高くない撮影シーンではトータルゲインｐの値をｐminより大きな値に設定する。
【００４３】
トータルゲインｐの値は小さいほどダイナミックレンジが広く、大きいほどダイナミックレンジは狭くなる。具体的には、コントラストの高い撮影シーン（真夏の晴天など）では、ｐ＝０．８、曇りや日陰ではｐ＝０．８６、室内蛍光灯下ではｐ＝０．９というように、撮影シーンに応じてｐの値を変化させる。これにより、ガンマ補正後のデータが８ビットデータである場合、８ビット階調値をより有効に使用することが可能となる。
【００４４】
ｐの値は、ユーザが図１に示す操作部２１でシーンの種類を指定することでｐの値を設定することでも、デジタルスチルカメラ自体が各種センサの検出値に基づいて撮像画像のシーンを自動判定し自動設定することでもよい。例えば、積算部２８による測光データの積算値からホワイトバランスのゲイン量を求めるが、このホワイトバランスの値から如何なるシーンであるかを自動判別可能であるため、ｐの値の自動設定は可能である。
【００４５】
図７は、ｐの値を変えたときのダイナミックレンジの変化の様子を示す図である。トータルゲインｐの値を大きくしたときの特性線イはダイナミックレンジが小さく、トータルゲインｐの値を小さくしていくとダイナミックレンジが大きい特性線ロまで変化する。
【００４６】
このように、本実施形態では、高感度画像データと低感度画像データとを加算した後に撮影シーンに応じたトータルゲインを乗算するため、ホワイトバランスのとれたダイナミックレンジの広い画像を生成可能となる。また、対数加算方式を採用して高感度画像データと低感度画像データの夫々のビット数を落としてから画像合成するため、回路規模が小さくて済み、低コスト化を図ることが可能となる。
【００４７】
次に、ユーザが被写体画像の撮影時に露出補正値を操作部２１から入力指定した場合について説明する。例えば、ユーザが露光量をプラス補正してオーバー露光に設定した場合、もともと画像の明るい部分に当たる高感度画素は飽和しやすくなってしまう。そこで、合成処理するときに、ダイナミックレンジを広げ、ハイライトのディテールを保持しながら、全体的に明るくする。
【００４８】
また、ユーザが露光量をマイナス補正してアンダー露光に設定した場合、画像は全体的に暗くなり、コントラストが低くなる。この場合には、合成処理するときにダイナミックレンジを小さくすることにより、出力画像の階調を有効に使用することが可能となる。
【００４９】
上述したように、ユーザの露出補正に伴って、ダイナミックレンジの広さを制御することで、ユーザの意図する露出補正を合成画像に反映させることが可能となるが、このダイナミックレンジの広さの制御を、本実施形態では、上述した数１のパラメータであるトータルゲインｐの値と、閾値thの値を変化させることで行う。具体時には、次の数４によりこれらの値を決定する。
【００５０】
【数４】
ｐ＝ｐ0−ｋp×ΔＥＶ
th＝th0−ｋth×ΔＥＶ
ここで、ｐ0，th0：カメラが判断した適正露出時に使用する値
ｋp，ｋth：係数（いずれも＞０）
ΔＥＶ：露出補正値
【００５１】
この数４から分かるように、ユーザが露出値を例えば＋０．３ＥＶとプラス補正しオーバー露光とした場合には、ΔＥＶ＝＋０．３ＥＶとなってｐ値もth値も小さくなる。このため、合成処理における数１の演算では、高感度画像データの割合が小さく、低感度画像データの割合が大きくなり、ダイナミックレンジが拡大する。
【００５２】
また、ユーザが露出値を例えば−０．６ＥＶとマイナス補正しアンダー露光とした場合には、ΔＥＶ＝−０．６ＥＶとなり、ｐ値とth値が大きくなる。このため、合成処理において、高感度画像データの割合が大きく、低感度画像データの割合が小さくなって、合成画像のダイナミックレンジが狭くなる。
【００５３】
この様に、本実施の形態によれば、ユーザがマニュアルで露出補正した場合には、その露出補正値に応じて画像合成する割合を変化させて合成画像のダイナミックレンジの広狭を変化させるため、ユーザの意図する露出補正を合成画像上で実現することが可能となる。
【００５４】
【発明の効果】
本発明によれば、ユーザの露出補正値に応じて合成画像のダイナミックレンジの広狭を制御するため、ユーザの意図する露出補正を合成画像に反映させることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルスチルカメラのブロック構成図である。
【図２】図１に示す固体撮像素子の表面模式図である。
【図３】図１に示すデジタル信号処理部の処理構成図である。
【図４】本発明の一実施形態に係る合成画像出力モードで演算処理される数式の説明図である。
【図５】本発明の一実施形態に係る合成画像出力モードで演算処理される数式の説明図である。
【図６】固体撮像素子の別実施形態に係る画素配置図である。
【図７】ダイナミックレンジの変化の様子を示す図である。
【符号の説明】
１ 画素
２ 低感度画素（副画素）
３ 高感度画素（主画素）
１０ レンズ
１１ 固体撮像素子
１５ ＣＰＵ
２１ 操作部
２３ Ａ／Ｄ変換器
２６ デジタル信号処理部
２９ 記録媒体
４４ 画像合成処理回路
【発明の属する技術分野】
本発明は低感度画素と高感度画素の両方を有する固体撮像素子を搭載したデジタルカメラに係り、ユーザがマニュアルで露出補正を行うことができる露出補正機能付きデジタルカメラに関する。
【０００２】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラでは、固体撮像素子の各画素を構成するフォトダイオードに蓄積される電荷の飽和量が高画素化すなわちフォトダイオードの微細化に伴って小さくなり、撮像画像のダイナミックレンジが狭くなってしまうという欠点を有している。
【０００３】
この欠点を克服するため、例えば特開２００１―８１０４号公報記載の従来技術では、固体撮像素子に、高感度画素と低感度画素の２種類の画素を設け、高感度画素から得られた高感度画像データと、低感度画素から得られた低感度画像データとを合成処理することで、被写体画像のダイナミックレンジを広げるようにしている。
【０００４】
【特許文献１】
特開２００１―８１０４号公報
【０００５】
【発明が解決しようとする課題】
銀塩フィルムカメラには、一般的に露出補正機能が搭載されており、ユーザが被写体を撮影するときに、マニュアルで露出補正値を設定できるようになっている。このため、デジタルカメラでも露出補正機能を搭載するのが一般的になってきている。
【０００６】
しかし、現在市場に普及しているデジタルカメラの固体撮像素子は、低感度画素と高感度画素の二種類の画素を有するものはなく、感度の同じ画素しか持たないタイプである。このため、デジタルカメラに搭載された従来の露出補正機能も、高感度画像データと低感度画像データとを合成処理することを前提とするものではなく、上記従来技術もユーザが設定した露出補正値を合成画像上でどのように反映させればよいかまでは考慮していない。
【０００７】
本発明の目的は、高感度画素から得られた高感度画像データと低感度画素から得られた低感度画像データとを合成処理するに際して、ユーザの設定した露出補正値を合成画像上に反映させることが可能な露出補正機能付きデジタルカメラを提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成する露出補正機能付きデジタルカメラは、高感度画素と低感度画素とを有する固体撮像素子と、露出補正値の入力手段と、該入力手段により入力された露出補正値に基づく露出量のもとで前記高感度画素により撮像された高感度画像データと前記低感度画素により撮像された低感度画像データとを合成して合成画像データを生成する画像合成手段とを備える露出補正機能付きデジタルカメラにおいて、
前記画像合成手段は前記合成画像データ (data) を第１値に第２値を乗算した値として求めるに際し、
前記高感度画像データ (high) が閾値 (th) を越えているときは該高感度画像データ (high) にそのまま前記低感度画像データ (low) を加算した値を前記第１値とし、
前記高感度画像データ (high) が前記閾値 (th) に達していないときは該高感度画像データ (high) の前記閾値 (th) に対する割合に対し前記低感度画像データ (low) を乗算した値と前記高感度画像データ (high) とを加算した値を前記第１値とし、
前記第２値は、前記高感度画像データ (high) に係数 (-k) を乗算し且つ前記閾値 (th) で除算した値 (-k × high/th) にシーンに応じて決めた値 ( α ) を加算した値 (-k × high/th+ α ) と、合成画像全体に対するゲイン値 (p) とのいずれか大きい方の値とし、
前記露出補正を、前記ゲイン値 (p) と前記閾値 (th) とを変化させることで行い前記合成画像のダイナミックレンジの広狭を変化させることを特徴とする。
【０００９】
この構成により、ユーザの意図する露出補正を合成画像に反映させることができる。
【００１０】
本発明の露出補正機能付きデジタルカメラの前記画像合成手段は、露出補正値がオーバー露光補正の場合には前記合成画像のダイナミックレンジを広く、露出補正値がアンダー露光補正の場合には、前記合成画像のダイナミックレンジを狭くすることを特徴とする。
【００１１】
この構成により、ユーザがオーバー露光を設定したときはハイライトのディテールを保持しながら全体的に明るい画像とすることができ、ユーザがアンダー露光を設定したときは全体的に暗い画像とし出力画像の階調を有効に使用することが可能となる。
【００１４】
本発明の露出補正機能付きデジタルカメラの前記画像合成手段は、露出補正値がオーバー露光補正の場合には、前記高感度画像データの割合を小さく前記低感度画像データの割合を大きくすることで前記合成画像のダイナミックレンジを広くし、露出補正値がアンダー露光補正の場合には、前記高感度画像データの割合を大きく前記低感度画像データの割合を小さくすることで前記合成画像のダイナミックレンジを狭くすることを特徴とする。
【００１５】
この構成により、ユーザの意図する露出補正を容易且つ確実に合成画像に反映させることが可能となる。
【００１６】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００１７】
図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例に説明するが、デジタルビデオカメラや携帯電話機等の小型電子機器に搭載されたカメラ等の他の種類のデジタルカメラにも本発明を適用可能である。
【００１８】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１９】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、入力手段である操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００２０】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００２１】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００２２】
斯かるデジタルスチルカメラで、ユーザが被写体画像の撮影時に露出補正を行う場合は、操作部２１を操作して露出補正用のメニューを呼び出して液晶表示部３１に表示させ、このメニュー上で、予め決められた露出補正値、例えば、＋０．３ＥＶ，＋０．６ＥＶ，…，−０．３ＥＶ，−０．６ＥＶ，…のいずれかをカーソルを移動させて選択する。
【００２３】
尚、図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００２４】
図２は、本実施形態で使用する固体撮像素子１１の画素配置図である。広ダイナミックレンジの画像を撮像するＣＣＤ部分の画素１は、例えば特開平１０―１３６３９１号公報に記載されている画素配置をとり、偶数行の各画素に対して奇数行の各画素が水平方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が、垂直方向の各画素を避けるように蛇行配置される構成をとっている。
【００２５】
そして、本実施形態に係る各画素１は、図示する例では、画素１の面積の約１／５を占める低感度画素（副画素）２と、残りの約４／５を占める高感度画素（主画素）３とに分割して設けられ、各低感度画素２の信号電荷と、各高感度画素３の信号電荷とを区別して上記垂直転送路に読み出し転送することができるようになっている。尚、画素１をどのような割合、どの様な位置で分割するかは設計的に決められるものであり、図２は単なる例示に過ぎない。
【００２６】
尚、固体撮像素子１１は、図２に示す様なハニカム画素配置のＣＣＤを例に説明したが、ベイヤー方式のＣＣＤやＣＭＯＳセンサでも良い。
【００２７】
図３は、デジタル信号処理部２６の処理構成図である。このデジタル信号処理部２６は、高感度画像データと低感度画像データとを夫々ガンマ補正した後に加算処理する対数加算方式を採用しており、Ａ／Ｄ変換回路２３から出力される高感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ａと、オフセット補正回路４１ａの出力信号のホワイトバランスをとるゲイン補正回路４２ａと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ａと、図１に示すＡ／Ｄ変換回路２３から出力される低感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ｂと、オフセット補正回路４１ｂの出力信号のホワイトバランスをとるゲイン補正回路４２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ｂとを備える。オフセット補正後の信号に対してリニアマトリクス処理などを行う場合には、ゲイン補正回路４２ａ，４２ｂとガンマ補正回路４３ａ，４３ｂとの間で行う。
【００２８】
デジタル信号処理部２６は、更に、各ガンマ補正回路４３ａ，４３ｂの両出力信号を取り込んで画像合成処理を行う画像合成処理回路４４と、画像合成後のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４５と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙや色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。
【００２９】
上述した画像合成処理回路４４は、ガンマ補正回路４３ａから出力される高感度画像データと、ガンマ補正回路４３ｂから出力される低感度画像データとを次の数１に基づいて画素単位に合成し、出力する。
【００３０】
【数１】
data＝〔high＋MIN(high/th,1）×low〕×MAX〔（−ｋ×high/th）＋α,ｐ〕
ここで、high：高感度（高出力）画像信号のガンマ補正後のデータ
low：低感度（低出力）画像信号のガンマ補正後のデータ
ｐ：total gain（トータルゲイン）
ｋ：係数
th：閾値
α：シーンにより決める値（≒１）
である。尚、α＝１と固定してもよい。
【００３１】
閾値thとは、ガンマ補正後のデータが８ビットデータ（２５６階調）であれば、例えば値０〜２５５のうちの“２１９”とデジタルスチルカメラの使用者あるいはデジタルスチルカメラの設計者が指定する値である。
【００３２】
図４は、数１のMIN(high/th,1)の変化の様子を示すグラフである。この図４に示されるように、数１の第１項は、高感度画像データhighが閾値thを越えているとき高感度画像データhighにそのまま低感度画像データlowを加算し、高感度画像データhighが閾値thに達していないときは、高感度画像データhighの閾値thに対する割合に対し低感度画像データlowを乗算した値を高感度画像データhighに加算することを示している。
【００３３】
本実施形態では、この第１項で求めた加算データをそのまま合成画像データとするのではなく、この第１項に、第２項（MAX〔（−ｋ×high/th）＋α,ｐ〕）を乗算した値を合成画像のデータとしている。図５は、このMAX〔（−ｋ×high/th）＋α,ｐ〕で、ｋ＝０．２としたときの変化の様子を示す図である。
【００３４】
この第２項において、係数ｋは、図２に示す実施形態の固体撮像素子１１では、値“０．２”を用いるのが良い。図２に示す固体撮像素子１１の様に、高感度画素３と低感度画素２の信号電荷の飽和比が異なる場合、係数ｋは、次の数２で便宜的に求めることができる。
【００３５】
【数２】
係数ｋ＝１−Ｓh／（Ｓh＋Ｓl）
ここで、Ｓh：高感度画素の信号電荷飽和量
Ｓl：低感度画素の信号電荷飽和量
【００３６】
図２に示す例で、フォトダイオードの面積比がそのまま飽和比になるわけではないが、便宜的に面積比と見ることができ、上記例を当てはめると、
ｋ＝１−４／（４＋１）＝１−０．８
＝０．２
となる。
【００３７】
高感度画素と低感度画素とを合わせ持つ固体撮像素子は、図２に例示するものに限らず、例えば、図６に示す様に、同一寸法形状に形成された多数のフォトダイオード（図示せず）の上に設けるマイクロレンズの開口面積を変え、高感度画素３と低感度画素２とを設けるものが考えられる。この場合には、高感度画素と低感度画素の信号電荷の飽和量は同じになるため数２は適用できないが、係数ｋの値を実験的に求めたり、あるいはマイクロレンズ等の開口面積などから係数値を求めることで、数１を適用することができる。この係数ｋの値は、固体撮像素子の構成によって決まってしまう値であり、使用者が任意に変更するものではなく、撮像装置の出荷時に固定値に設定されるものである。
【００３８】
数１において、トータルゲインｐの値として、本実施形態では、実験的に定めた値を採用する。ｐは、合成画像データの全体に対するゲインであり、このｐの値を制御することで、画像のダイナミックレンジの制御を行うことができる。
【００３９】
ｐのパラメータ値は可変であるが、その下限値ｐminも次の数３により決定される。
【００４０】
【数３】
ｐmin＝Ｓh／（Ｓh＋Ｓl）
【００４１】
高感度画像データが最大値で出力されたときに最終出力が最大値となるようなデジタルカメラでは、高感度画像データと低感度画像データとの合成値が最大値となるように高感度画像データと低感度画像データに対してゲイン操作が必要となる。つまり、飽和量分の高感度画像データと低感度画像データが固体撮像素子から出力されたとき、その出力値に対してｐmin（＜１）分のゲインを掛けて、最終出力値が最大値となるように画像データを変換する必要がある。
【００４２】
例えば、高感度画素と低感度画素の飽和比が４対１であった場合には
ｐmin＝４／（４＋１）＝０．８
となり、コントラストの高い撮影シーンではｐ＝ｐminにすればよく、また、あまりコントラストが高くない撮影シーンではトータルゲインｐの値をｐminより大きな値に設定する。
【００４３】
トータルゲインｐの値は小さいほどダイナミックレンジが広く、大きいほどダイナミックレンジは狭くなる。具体的には、コントラストの高い撮影シーン（真夏の晴天など）では、ｐ＝０．８、曇りや日陰ではｐ＝０．８６、室内蛍光灯下ではｐ＝０．９というように、撮影シーンに応じてｐの値を変化させる。これにより、ガンマ補正後のデータが８ビットデータである場合、８ビット階調値をより有効に使用することが可能となる。
【００４４】
ｐの値は、ユーザが図１に示す操作部２１でシーンの種類を指定することでｐの値を設定することでも、デジタルスチルカメラ自体が各種センサの検出値に基づいて撮像画像のシーンを自動判定し自動設定することでもよい。例えば、積算部２８による測光データの積算値からホワイトバランスのゲイン量を求めるが、このホワイトバランスの値から如何なるシーンであるかを自動判別可能であるため、ｐの値の自動設定は可能である。
【００４５】
図７は、ｐの値を変えたときのダイナミックレンジの変化の様子を示す図である。トータルゲインｐの値を大きくしたときの特性線イはダイナミックレンジが小さく、トータルゲインｐの値を小さくしていくとダイナミックレンジが大きい特性線ロまで変化する。
【００４６】
このように、本実施形態では、高感度画像データと低感度画像データとを加算した後に撮影シーンに応じたトータルゲインを乗算するため、ホワイトバランスのとれたダイナミックレンジの広い画像を生成可能となる。また、対数加算方式を採用して高感度画像データと低感度画像データの夫々のビット数を落としてから画像合成するため、回路規模が小さくて済み、低コスト化を図ることが可能となる。
【００４７】
次に、ユーザが被写体画像の撮影時に露出補正値を操作部２１から入力指定した場合について説明する。例えば、ユーザが露光量をプラス補正してオーバー露光に設定した場合、もともと画像の明るい部分に当たる高感度画素は飽和しやすくなってしまう。そこで、合成処理するときに、ダイナミックレンジを広げ、ハイライトのディテールを保持しながら、全体的に明るくする。
【００４８】
また、ユーザが露光量をマイナス補正してアンダー露光に設定した場合、画像は全体的に暗くなり、コントラストが低くなる。この場合には、合成処理するときにダイナミックレンジを小さくすることにより、出力画像の階調を有効に使用することが可能となる。
【００４９】
上述したように、ユーザの露出補正に伴って、ダイナミックレンジの広さを制御することで、ユーザの意図する露出補正を合成画像に反映させることが可能となるが、このダイナミックレンジの広さの制御を、本実施形態では、上述した数１のパラメータであるトータルゲインｐの値と、閾値thの値を変化させることで行う。具体時には、次の数４によりこれらの値を決定する。
【００５０】
【数４】
ｐ＝ｐ0−ｋp×ΔＥＶ
th＝th0−ｋth×ΔＥＶ
ここで、ｐ0，th0：カメラが判断した適正露出時に使用する値
ｋp，ｋth：係数（いずれも＞０）
ΔＥＶ：露出補正値
【００５１】
この数４から分かるように、ユーザが露出値を例えば＋０．３ＥＶとプラス補正しオーバー露光とした場合には、ΔＥＶ＝＋０．３ＥＶとなってｐ値もth値も小さくなる。このため、合成処理における数１の演算では、高感度画像データの割合が小さく、低感度画像データの割合が大きくなり、ダイナミックレンジが拡大する。
【００５２】
また、ユーザが露出値を例えば−０．６ＥＶとマイナス補正しアンダー露光とした場合には、ΔＥＶ＝−０．６ＥＶとなり、ｐ値とth値が大きくなる。このため、合成処理において、高感度画像データの割合が大きく、低感度画像データの割合が小さくなって、合成画像のダイナミックレンジが狭くなる。
【００５３】
この様に、本実施の形態によれば、ユーザがマニュアルで露出補正した場合には、その露出補正値に応じて画像合成する割合を変化させて合成画像のダイナミックレンジの広狭を変化させるため、ユーザの意図する露出補正を合成画像上で実現することが可能となる。
【００５４】
【発明の効果】
本発明によれば、ユーザの露出補正値に応じて合成画像のダイナミックレンジの広狭を制御するため、ユーザの意図する露出補正を合成画像に反映させることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルスチルカメラのブロック構成図である。
【図２】図１に示す固体撮像素子の表面模式図である。
【図３】図１に示すデジタル信号処理部の処理構成図である。
【図４】本発明の一実施形態に係る合成画像出力モードで演算処理される数式の説明図である。
【図５】本発明の一実施形態に係る合成画像出力モードで演算処理される数式の説明図である。
【図６】固体撮像素子の別実施形態に係る画素配置図である。
【図７】ダイナミックレンジの変化の様子を示す図である。
【符号の説明】
１ 画素
２ 低感度画素（副画素）
３ 高感度画素（主画素）
１０ レンズ
１１ 固体撮像素子
１５ ＣＰＵ
２１ 操作部
２３ Ａ／Ｄ変換器
２６ デジタル信号処理部
２９ 記録媒体
４４ 画像合成処理回路
Claims (3)
- 高感度画素と低感度画素とを有する固体撮像素子と、露出補正値の入力手段と、該入力手段により入力された露出補正値に基づく露出量のもとで前記高感度画素により撮像された高感度画像データと前記低感度画素により撮像された低感度画像データとを合成して合成画像データを生成する画像合成手段とを備える露出補正機能付きデジタルカメラにおいて、
前記画像合成手段は前記合成画像データ (data) を第１値に第２値を乗算した値として求めるに際し、
前記高感度画像データ (high) が閾値 (th) を越えているときは該高感度画像データ (high) にそのまま前記低感度画像データ (low) を加算した値を前記第１値とし、
前記高感度画像データ (high) が前記閾値 (th) に達していないときは該高感度画像データ (high) の前記閾値 (th) に対する割合に対し前記低感度画像データ (low) を乗算した値と前記高感度画像データ (high) とを加算した値を前記第１値とし、
前記第２値は、前記高感度画像データ (high) に係数 (-k) を乗算し且つ前記閾値 (th) で除算した値 (-k × high/th) にシーンに応じて決めた値 ( α ) を加算した値 (-k × high/th+ α ) と、合成画像全体に対するゲイン値 (p) とのいずれか大きい方の値とし、
前記露出補正を、前記ゲイン値 (p) と前記閾値 (th) とを変化させることで行い前記合成画像のダイナミックレンジの広狭を変化させることを特徴とする露出補正機能付きデジタルカメラ。 - 前記画像合成手段は、露出補正値がオーバー露光補正の場合には前記合成画像のダイナミックレンジを広く、露出補正値がアンダー露光補正の場合には、前記合成画像のダイナミックレンジを狭くすることを特徴とする請求項１に記載の露出補正機能付きデジタルカメラ。
- 前記画像合成手段は、露出補正値がオーバー露光補正の場合には、前記高感度画像データの割合を小さく前記低感度画像データの割合を大きくすることで前記合成画像のダイナミックレンジを広くし、露出補正値がアンダー露光補正の場合には、前記高感度画像データの割合を大きく前記低感度画像データの割合を小さくすることで前記合成画像のダイナミックレンジを狭くすることを特徴とする請求項２に記載の露出補正機能付きデジタルカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003009989A JP4150599B2 (ja) | 2003-01-17 | 2003-01-17 | 露出補正機能付きデジタルカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003009989A JP4150599B2 (ja) | 2003-01-17 | 2003-01-17 | 露出補正機能付きデジタルカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004222183A JP2004222183A (ja) | 2004-08-05 |
| JP4150599B2 true JP4150599B2 (ja) | 2008-09-17 |
Family
ID=32899324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003009989A Expired - Fee Related JP4150599B2 (ja) | 2003-01-17 | 2003-01-17 | 露出補正機能付きデジタルカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4150599B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2435974A (en) * | 2006-03-07 | 2007-09-12 | I S G Thermal Systems Ltd | Imaging system including detectors using plural sensitivity levels |
| JP5188101B2 (ja) * | 2007-06-01 | 2013-04-24 | 株式会社キーエンス | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
| DE102010023166B4 (de) | 2010-06-07 | 2016-01-21 | Dräger Safety AG & Co. KGaA | Wärmebildkamera |
| JP5298229B2 (ja) * | 2012-08-10 | 2013-09-25 | 株式会社キーエンス | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
| JP5241944B2 (ja) * | 2012-08-10 | 2013-07-17 | 株式会社キーエンス | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
| JP6521776B2 (ja) * | 2015-07-13 | 2019-05-29 | オリンパス株式会社 | 画像処理装置、画像処理方法 |
| JP2017069927A (ja) * | 2015-10-02 | 2017-04-06 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| EP3554065B1 (en) * | 2016-12-08 | 2021-12-29 | Nuvoton Technology Corporation Japan | Solid-state imaging apparatus and imaging apparatus |
-
2003
- 2003-01-17 JP JP2003009989A patent/JP4150599B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004222183A (ja) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4004943B2 (ja) | 画像合成方法および撮像装置 | |
| TWI524709B (zh) | 影像擷取設備、影像擷取設備之控制方法及電子裝置 | |
| JP4025207B2 (ja) | 固体撮像素子及びデジタルカメラ | |
| JP4679685B2 (ja) | デジタルカメラの構図補助フレーム選択方法及びデジタルカメラ | |
| JP4717720B2 (ja) | 画像処理装置および方法並びにプログラム | |
| JP4150599B2 (ja) | 露出補正機能付きデジタルカメラ | |
| JP4178046B2 (ja) | デジタルカメラ | |
| JP2001189890A (ja) | ディジタルカメラ | |
| JP4015492B2 (ja) | 画像合成方法および撮像装置 | |
| JP4043928B2 (ja) | デジタルカメラ | |
| JP4235408B2 (ja) | ノイズ低減回路及び撮像装置 | |
| JP4396225B2 (ja) | ホワイトバランス制御装置及び電子機器 | |
| JP4604098B2 (ja) | デジタルカメラ | |
| JP3977260B2 (ja) | デジタルカメラと撮像画像データ記録方法 | |
| JP4307862B2 (ja) | 信号処理方法、信号処理回路、及び撮像装置 | |
| JP2004120511A (ja) | 撮像装置 | |
| JP4054263B2 (ja) | 撮像装置及び撮像装置の撮影条件設定方法 | |
| JP2004349930A (ja) | デジタルカメラ | |
| JP4276847B2 (ja) | 撮像装置 | |
| JP2004274473A (ja) | デジタルカメラ | |
| JP4769851B2 (ja) | 撮像装置 | |
| JP2002290824A (ja) | デジタルカメラ | |
| JP2004222148A (ja) | デジタルカメラと撮像画像データ記録方法 | |
| JP2000278590A (ja) | デジタルカメラ | |
| JP2004215134A (ja) | 撮像装置及び輪郭補正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050215 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060325 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071003 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071108 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071115 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071203 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080310 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080407 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080430 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080611 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080630 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |