JP3763555B2 - Electronic still camera - Google Patents

Electronic still camera Download PDF

Info

Publication number
JP3763555B2
JP3763555B2 JP16248497A JP16248497A JP3763555B2 JP 3763555 B2 JP3763555 B2 JP 3763555B2 JP 16248497 A JP16248497 A JP 16248497A JP 16248497 A JP16248497 A JP 16248497A JP 3763555 B2 JP3763555 B2 JP 3763555B2
Authority
JP
Japan
Prior art keywords
image
shooting
unit
still camera
electronic still
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16248497A
Other languages
Japanese (ja)
Other versions
JPH1117995A (en
Inventor
広明 久保
Original Assignee
コニカミノルタフォトイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタフォトイメージング株式会社 filed Critical コニカミノルタフォトイメージング株式会社
Priority to JP16248497A priority Critical patent/JP3763555B2/en
Priority to US09/100,799 priority patent/US7057653B1/en
Publication of JPH1117995A publication Critical patent/JPH1117995A/en
Application granted granted Critical
Publication of JP3763555B2 publication Critical patent/JP3763555B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮影した画像をデジタルデータとして記録する電子スチルカメラに関する。
【0002】
【従来の技術】
近年、画像をデジタルデータとして記録する電子スチルカメラ(所謂ディジタルカメラ)が広く普及し始めている。この電子スチルカメラでは、撮像レンズの撮影範囲を確認するための手段として、ビューファインダ又はテレビモニタ等を有するものが知られている。
【0003】
【発明が解決しようとする課題】
ところで、テレビモニタを内蔵するタイプのものは、通常、記録画像の撮影前に、撮像レンズから入射した光信号を出力するプレビュー機能を備えており、ユーザは、内蔵モニタに出力されるプレビュー画像によって、撮影しようとする画像のバランスや構成等を確認したり、ピントを合わせたりすることができる。しかし、内蔵モニタは視野に余裕があるものの、このモニタとして液晶タイプのものが使用されている場合が多く、そこに映し出された画像の解像度やコントラストが低い。そのため、従来では、このタイプのものを特に明るい屋外で使った場合に、画面フレアが影響し画像の確認が十分に行ないにくいという問題があった。
【0004】
また、電子スチルカメラでは、通常、撮像レンズから入射した像が結ばれる像平面を構成するCCDのサイズが小さいため、撮像レンズとCCDとの間に置かれた光学絞りの口径が比較的狭く、結果として被写界深度が深くなり、特に明るい屋外においては、内蔵モニタによってピントを確認することは困難であった。従来では、モニタ上の画像の解像度やコントラストを改善するものとして、例えば周辺照度に応じてバックライトの明るさを変える装置が知られているが、この方法ではピント合せの改善にあまり効果がみられない。
なお、撮影しようとする画像の確認やピント合わせ等の目的から、プレビュー画像は、より速く処理され内蔵モニタに出力されることが求められる。
【0005】
そこで、本発明は、モニタに出力されるプレビュー画像の見易さを改善することができ、また、プレビュー画像データをより速く処理しモニタに出力することができる電子スチルカメラを提供することを目的とする。
【0006】
【課題を解決するための手段】
本願の請求項1に係る電子スチルカメラは、記録画像撮影前に画像をモニタに出力するプレビュー機能を備え、露出設定値を制御する露出制御部と、画像データを構成する各色データについて画素補間する画素補間部と、階調特性を制御するガンマ補正部とを有し、複数のモニタのいずれかに階調特性制御後の画像データが出力可能であり、上記露出制御部、画素補間部及びガンマ補正部が、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる露出制御,画素補間制御及び階調特性制御が可能であるように構成され、上記ガンマ補正部では、プレビュー画像撮影時に、画像データの出力先のモニタの種類に応じて、所定の階調特性が用いられることを特徴としたものである。
また、本願の請求項2に係る発明は、上記露出制御部では、プレビュー画像撮影時に、光学絞りの口径が記録画像撮影時より大きく設定されることを特徴としたものである。
更に、本願の請求項3に係る発明は、上記露出制御部では、プレビュー画像撮影時に、明るい環境では、記録画像撮影時よりもシャッタ速度が低速に設定される一方、暗い環境では、記録画像撮影時よりもシャッタ速度が高速に設定されることを特徴としたものである。
【0007】
本願の請求項4に係る電子スチルカメラは、記録画像撮影前に画像をモニタに出力するプレビュー機能を備え、露出設定値を制御する露出制御部を有しており、上記露出制御部が、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる露出制御が可能であるように構成され、該露出制御部では、プレビュー画像撮影時に、明るい環境において、記録画像撮影時よりもシャッタ速度が低速に設定される一方、暗い環境においては、記録画像撮影時よりもシャッタ速度が高速に設定されることを特徴としたものである。
また、本願の請求項5に係る発明は、上記露出制御部で、プレビュー画像撮影時に、光学絞りの口径が記録画像撮影時より大きく設定されることを特徴としたものである。
【0008】
本願の請求項6に係る電子スチルカメラは、記録画像撮影前に画像をモニタに出力するプレビュー機能を備え、ベイヤー配列のフィルタを備えたCCDと該ベイヤー配列に対応する各画素出力に対してそれを補間する画素補間部とを有し、種類の異なる複数のモニタのいずれかに画素補間後の画像データが出力可能であり、上記画素補間部が、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる画素補間が可能であり、プレビュー画像撮影時には、更に、画像データの出力先のモニタの種類に応じて、それぞれ異なる画素補間が可能であるように構成されていることを特徴としたものである。
【0009】
また、本願の請求項7に係る電子スチルカメラは、記録画像撮影前に画像をモニタに出力するプレビュー機能を備え、ベイヤー配列のフィルタを備えたCCDと該ベイヤー配列に対応する各画素出力に対してそれを補間する画素補間部とを有しており、記録画像撮影時に画像データを所定の圧縮率で圧縮する画像圧縮部が設けられており、該画素補間部が、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる画素補間が可能であり、記録画像撮影時には、更に、該画像圧縮部にて設定される圧縮率に応じて、それぞれ異なる画素補間が可能であるように構成されていることを特徴としたものである。
【0010】
本願の請求項8に係る電子スチルカメラは、記録画像撮影前に画像をモニタに出力するプレビュー機能を備え、階調特性を制御するガンマ補正部を有しており、該ガンマ補正部が、それぞれ異なる複数の階調特性制御が可能であるように構成され、そこでは、プレビュー画像撮影時に、記録画像撮影時とは相違して、上記モニタに適した階調特性制御が設定されることを特徴としたものである。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態を、添付図面を参照して詳細に説明する。
図1に示すように、本実施の形態に係る電子スチルカメラ1は、シャッタボタン2と、撮像レンズ6と、内蔵されたCCD8とを有している。また、この電子スチルカメラ1には、CCD8で変換された電気信号に所定の処理を行った画像データを記憶するメモリカード(不図示:後述する図2参照)を挿入して接続するカード挿入口5が設けられており、カード挿入口5に接続されたメモリカードは、カード取り出しボタン4を押すことによりカード挿入口5から取り出される。上記電子スチルカメラ1では、シャッタボタン2を押すと、上記CCD8上に、撮像レンズ6によって画像が結ばれ、CCD8により光の信号が電気信号に変換される。この電気信号が、画像データとしてデジタルデータに変換され処理される。
【0012】
図2は、上記電子スチルカメラ1のブロック構成図である。図2に示すように、電子スチルカメラ1は、上記撮像レンズ6と、撮像レンズ6からの入射光を光量制御する光学絞り7と、光電変換用のCCD8と、これら光学系の撮影動作を制御するためのカメラ制御CPU24と、上記CCD8で得られた電気信号をサンプリングしてノイズ除去するCDS9と、ゲインを自動制御して感度補正するAGC(auto gain control)10と、電気信号のアナログ/デジタル変換(以下、A/D変換という)を行うA/D変換部11と、上記各構成部を経て得られたデジタル信号に所定の画像処理を施す画像処理CPU12とを有している。
【0013】
この画像処理CPU12は、画像データを色分離して得られた各色の画像データに対してそれぞれ補間処理を行う画素補間部13と、各色の画像データに対して各々の周波数を帯域制御する帯域補正部14と、各色を独立に色補正するカラーバランス制御部15と、入力信号の階調変換を行うガンマ補正部16と、画像データを圧縮する画像圧縮部17と、画像データを符号化して内蔵モニタ20又は外部モニタ21に出力するビデオエンコーダ18と、上記メモリカード22に対して画像データを供給するメモリカードドライバ19とからなる。
【0014】
光学系の撮影動作を制御する上記カメラ制御CPU24の入力側には、上記シャッタボタン2(図1参照)および撮影前に撮影画像サイズや圧縮率等を設定することができる画像条件設定スイッチを含むカメラ操作スイッチ27と、撮影時に光量・色を測定するための測光・測色センサ28と、フラッシュ29とが接続されている一方、出力側には、上記光学絞り7を駆動させる絞りドライバ25と、上記CCD8の露光時間を制御するタイミングジェネレータCCDドライブ26と、上記AGC10とが接続されている。このカメラ制御CPU24では、上記測光・測色センサ28により測定された光量や色に基づいて露出制御データが演算され、この露出制御データにより上記光学絞り7の絞り値,CCD8の蓄積時間(すなわち電子シャッタ速度)、及び、AGC10のゲインが制御される。
なお、カメラ制御CPU24は、データバスを介して、上記画像処理CPU12に接続されている。
【0015】
以上の構成を備えた電子スチルカメラ1では、撮影前に以下のような画像条件をユーザが設定することができる。
即ち、本電子スチルカメラ1では、この画像条件として、画像の解像度を決定する撮影画像サイズ、及び、画像圧縮処理におけるデータの圧縮率を設定することができる。
【0016】
上記撮影画像サイズとしては、「512×384」、「640×480」および「1024×768」の3種類が設けられており、状況に応じて、ユーザが所望の画像サイズを選択することができる。一方、上記画像データの圧縮率を決定する画像圧縮モードとしては、「圧縮無しモード」、「1/8JPEG圧縮モード」及び「1/20JPEG圧縮モード」の3種類が設けられており、上記画像サイズと同様、ユーザが、撮影前に所望の1つを選択することができる。
【0017】
また、本実施の形態に係る電子スチルカメラ1では、被写体の種類を表す画像記録モードとして、天然色の人物や風景等の自然物を対象とした「自然画モード」、自然物又はそれに文字や数字が組み合わせられたものを白黒で取り込む「グレーテキストモード」、文字や数字を対象とした「2値テキストモード」の3種類が設けられており、ユーザは、撮影前に、被写体の種類に応じて、それらの中から所望のモードを1つ選択することができる。
更に、画像信号を内蔵モニタ側に出力するか、若しくは、外部モニタ側に出力するか否かを設定するCRTオン・オフモードが設けられている。
【0018】
以下、電子スチルカメラ1の基本的な撮影動作について、図3のフローチャートを参照しながら説明する。
本実施の形態に係る電子スチルカメラ1では、撮影画像サイズ及び圧縮処理における圧縮率等の各種条件が撮影前にユーザにより設定されるが、カメラ1は、まず、これら設定された各種条件を取り込む(ステップS10)。
【0019】
撮影時の電子スチルカメラ1における画像処理は、基本的には、シャッタボタン2の半押し状態時における画像処理(ステップS11〜S21)と、シャッタボタン2の完全押し込み時における画像処理(ステップS22〜S33)との2段階からなる。本実施の形態では、電子スチルカメラ1が、シャッタボタン2の半押し状態時に、上記撮像レンズから入射した画像を上記内蔵モニタ20に表示するプレビュー機能を備えており、ユーザは、その表示画像で撮影しようとする画像の様子(絵のバランスや構成等)を確認することができる。シャッタボタン2を更に押し込んで完全押し込み状態にすれば、その時撮像レンズ6から入射した画像が処理された後、上記メモリカード22に記録される。
【0020】
最初に、シャッタボタン2の半押し状態における動作(ステップS11〜S21)を説明する。この動作では、撮影しようとする画像がプレビュー画像として扱われ、所定の画像処理を施される。
ステップS11で上記シャッタボタン2が半押しされると、まず、カメラ1は、上記測光・測色センサ28において光量や色を測定する(ステップS12)。続いて、この測定データに基づいて、光学絞り7の絞り値,CCD8の蓄積時間(すなわちシャッタ速度)等についての露出設定を行う(ステップS13)。
露出設定後、撮像レンズ6から光が入射され、CCD8により電気信号に変換される。上記カメラ1は、この電気信号をA/D変換し、デジタルデータとして画像処理CPU12へ送る(ステップS14)。
【0021】
その後、画像処理CPU12において、まず、画素補間部13により、各色データについての欠落画素が補間される(ステップS15)。この画素補間部13には、複数の補間手段が設けられており、ステップS10で取り込んだ撮影画像サイズおよび画像圧縮率についての設定値に応じて、それらの中から最適な補間手段が選択されるようになっている。この画素補間部13については後述する。
【0022】
画素補間後の画像データは、帯域補正部14で輪郭補正され(ステップS16)、ステップS17でカラーバランス制御部15により各色データ毎に色補正された後、ガンマ補正ブロック16で階調変換される(ステップS18)。続いて、上記画像データは、上記画像処理CPU12により、画像メモリ23に一時的に書き込まれる(ステップS19)。
【0023】
その後、画像データは画像メモリ23から読み出され、上記ビデオエンコーダ18でNTSC/PALにエンコードされ(ステップS20)、プレビュー画像として内蔵モニタ20に出力される(ステップS21)。上記シャッタボタン2が半押し状態に維持される場合には、上記撮像レンズ6から入射した画像が所定のフレーム周期で更新され、動画として内蔵モニタ20上に表示される。ユーザは、このプレビュー画像を確認した上で、撮影するか否かを判断することができ、YESの場合には、シャッタボタン2を完全に押し込む。
【0024】
シャッタボタン2が完全に押し込まれた場合には、ステップS22〜S31において、シャッタボタン2の完全押し込み時における画像処理が行なわれるが、この処理の流れは、前述したシャッタボタン2の半押し状態時と同様であるので、ここでは省略する。ただし、この処理では、メモリカード22に記録するための画像データが処理される。
【0025】
ステップS22〜S31の画像処理により形成された画像データは、ステップS32において圧縮される。ここでは、ステップS10で取り込んだ画像データの圧縮率に基づいて画像データが圧縮される。この画像圧縮は、圧縮率が高いほど多くの時間を要する。圧縮後の画像データは、ステップS33において、記録画像として上記メモリカード22に記録される。ステップS34では、撮影を終了するか否かをユーザが判断し、YESの場合には撮影動作は終了し、NOの場合には、ステップS11以降のステップが繰り返される。
以上のような流れに沿って、撮影しようとする画像が処理され、最終的にデジタルデータとして記録される。
【0026】
露出制御処理
次に、電子スチルカメラ1における露出制御処理について説明する。本実施の形態では、測光・測色センサにより測定された光量や色を用いて上記カメラ制御CPU24により演算された露出制御データに基づいて、絞りドライバ25、タイミングジェネレータCCDドライブ26、及び、AGC10が制御されており、各部で、それぞれ、光学絞り8の絞り値、CCD8の蓄積時間(いわゆる電子シャッタ速度)、及び、AGC10におけるゲインが設定される。
【0027】
図4に、上記カメラ制御CPU24にプログラムされた自動露出制御特性を示す。図中の実線Rおよび破線Sは、それぞれ、記録画像及びプレビュー画像の各画像撮影時に用いられる露出制御特性を表す特性線である。この露出制御特性は、上記光学絞り7の絞り値、CCD8の蓄積時間、及び、AGC10のゲインから決まる。図中の右上がりの斜線は、同じ明るさの画像を得るために、それぞれ、所定の明るさの環境におけるシャッタ速度および絞り値の関係を表すものであり、右側の斜線であるほど明るい環境について表すものである。
【0028】
これら露出制御特性線R,Sによれば、所定の明るさの環境についてみた場合、絞りの連動範囲(Fナンバー2.8〜11)内では、プレビュー画像撮影時に、絞り値Fナンバーが記録画像の撮影時に比べて小さく設定される。例えば、記録画像撮影時に、絞り値Fナンバー4、シャッタ速度1/125秒(図中のr1点)という露出設定のもとで行なわれる画像撮影については、プレビュー画像撮影時に、絞り値Fナンバーが3に、シャッタ速度が約1/180秒に設定される(s1点)。この露出特性によれば、プレビュー画像撮影時と記録画像撮影時との間で、露出量が変化しないように、絞り値Fナンバーを小さくして光学絞り8の口径を大きくする一方で、シャッタ速度をより高速に設定している。
このように、Fナンバーを小さくして、光学絞り8の口径を大きくすれば、その場合の被写界深度は浅くなる。この結果、ピントの合う範囲が狭くなり、内蔵モニタ20に出力されたプレビュー画像によるピントの確認が行ない易くなる。
【0029】
上記光学絞り8が最大に開放された場合(Fナンバー2.8)には、撮影画像の明るさが一定に保たれるように、環境の明るさに応じて、シャッタ速度が調整される。記録画像撮影時におけるシャッタの最低速度は、ブレが目立たない範囲で1/30秒に設定されている。
記録画像撮影時のシャッタ速度が最低速度1/30秒をとり、撮影画像の明るさを光学的に調整し得ない範囲では、上記AGC10におけるゲインによって画像データが調整される。この範囲においても、絞りの連動範囲における場合と同様に、絞り値Fナンバーが記録画像撮影時と比べてより小さく設定して、光学絞り8の口径を大きくする。例えば、シャッタ速度が1/30秒、AGC10のゲインが6dBという設定値(r2点)に基づく記録画像撮影については、プレビュー画像の撮影時に、シャッタ速度が1/30秒よりも高速に設定される(s2点)。このような設定によれば、プレビュー画像撮影時に、シャッタ速度が低速になるほど生じ易いブレを軽減することができ、内蔵モニタ20に出力されたプレビュー画像によるピント確認が容易になる。
【0030】
以上のように、本実施の形態では、プレビュー画像撮影時に、記録画像撮影時よりも光学絞り8の口径を大きくすることにより、被写界深度を浅くして、内蔵モニタ20におけるピント確認を容易に行なえるようにしている。また、通常、シャッタ速度が低速になるほど、カメラブレの画像への影響が大きくなるが、このように、シャッタ速度の低速側で、プレビュー画像撮影時のシャッタ速度を記録画像撮影時よりも高速に設定することにより、ブレの影響が軽減され、内蔵モニタ20に出力されたプレビュー画像によるピント確認が容易になる。
【0031】
本電子スチルカメラ1はまた、プレビュー画像をより自然に再生するための露光特性を有している。図5に、電子スチルカメラ1のカメラ制御CPU24にプログラムされた露光特性を表す特性線を示す。図中の実線P及び破線Qは、それぞれ、記録画像撮影時およびプレビュー画像撮影時に適用される露光特性を表すものである。
図5から分かるように、この特性によれば、明るい環境では、プレビュー画像撮影時に、シャッタ速度が記録画像撮影時よりも低速に設定され、画像がより明るく再生される。一方、暗い環境では、プレビュー画像撮影時に、シャッタ速度が記録画像撮影時よりも高速に設定され、画像がより暗く再生される。
【0032】
例えば、「白雲」を被写体とする場合には、プレビュー画像撮影時に、記録画像時のシャッタ速度(点p1)より遅いシャッタ速度(点q1)を用いて、露出をオーバさせることにより、プレビュー画像を明るい環境のもとでより明るく再生する。一方、「夜祭り」を被写体とする場合には、プレビュー画像撮影時に、記録画像時のシャッタ速度(点p2)より速いシャッタ速度(点q2)を用いることにより、プレビュー画像を暗い環境でより暗く再生する。
このように、プレビュー画像撮影時に、撮影環境により左右されるモニタの見え露光量を補正し、明るい環境ではより明るく、暗い環境ではより暗く再生することによって、より自然なプレビュー画像が得られる。
【0033】
本実施の形態に係る露出制御処理では、まず、前述したように、図4に示す露出特性に基づいて、露出量が変化しないように、プレビュー画像撮影時の光学絞り8の口径を記録画像撮影時よりも大きく設定した後、更に、その光学絞り8の口径を一定に保持した状態で、図5に示す露光特性に基づいて、露出オーバするように、プレビュー画像撮影時のシャッタ速度を記録画像撮影時よりも低速に設定することによって、プレビュー画像が内蔵モニタに出力される際に、より自然な画像を得ることができるとともに、得られたプレビュー画像によるピント合わせを容易にすることができる。
なお、本実施の形態では、プレビュー画像が内蔵モニタ20に出力される場合について記述されるが、画像データの出力先を内蔵モニタ20又は外部モニタ21のいずれか一方に設定可能なCRTオン・オフモードにおいて、出力先を外部モニタ21に設定した上で撮影する場合にも、前述した露出制御特性を用いてよい。
【0034】
画素補間処理
次に、画素補間部13における画素補間処理(図3のステップS15及びS25)について図6のサブルーチンを参照しながら詳細に説明する。
本実施の形態に係る電子スチルカメラ1では、画素の配置がR(赤),G(緑),B(青)からなるベイヤ−配列のCCD8が搭載されており、ベイヤー配列の画像データが得られる。上記画素補間部13では、このベイヤー配列の画像データにおける各色についての欠落画素が補間される。
【0035】
図6に示すように、まず、ステップS51において、ベイヤー配列の画像データが入力される。この画像データは、ステップS52でR,G,Bの各色データに色分離される。この画素補間部13には複数の補間手段が設けられており、ステップS53では、図3のステップS10で取り込まれた画像条件に応じて、複数の補間手段の中から1つが選択される。そして、この選択された補間手段に基づいた補間処理が実行される(ステップS54)。補間処理後の画像データは、ステップS55で各色データ毎に帯域補正部14(図2参照)へ出力される。
【0036】
本実施の形態に係る電子スチルカメラ1は、画素補間部13における補間手段として、3種類の補間手段、すなわち、平均フィルタを用いる補間手段a(いわゆる平均法)、メディアンフィルタを用いる補間手段b(いわゆるメディアン法)、及び、隣接画素による単純補間を行う補間手段cを有している。以下に、これらの補間手段a,b,cについて説明する。
【0037】
図7は、画素補間手段aの説明図である。画素補間部13に入力されたCCD出力画素パターン(ベイヤー配列)の画像データ31は、R,G,Bの画素毎にそれぞれ異なるフィルタパターンでマスキング処理されることにより、各色データ32,34及び36に分離される。これら各色データ32,34及び36は、対象となる色以外の色を有する画素、すなわち欠落画素についてマスキングされている(図の黒塗り部分)。画素補間手段aでは、これら欠落画素のある各色データ32,34及び36に対して、3×3のフィルタ行列を備えた補間フィルタ33,35及び37が適用され、各色毎に、各画素の値が付近の画素値の適当な平均で置き換えられることにより欠落画素が補間される。
【0038】
例えば、Gデータについての欠落画素32Aを補間フィルタ33を用いて求める場合を考えると、上下左右に位置する画素の値G4,G6,G7,G9から以下の式で求めることができる。なお、欠落画素についてはその値を0として計算する。G4×1/4+G6×1/4+G7×1/4+G9×1/4=(G4+G6+G7+G9)/4・・・・・・・(1)
このような補間処理を、Gデータにおける全ての欠落画素について実行すれば、Gの全画素データが得られる。また、R,Bの色データについても同様にフィルタ35,37による補間処理を実行することにより、R,Bの全画素データが得られる。この画素補間手段aは平均法と呼ばれるものであり、処理速度が比較的速い。
【0039】
また、図8は、画素補間手段bの説明図である。画素補間部13に入力されたCCD出力画素パターン(ベイヤー配列)の画像データ41は、補間手段aの場合と同様に、R,G,Bの画素毎にそれぞれ異なるフィルタパターンでマスキング処理されることにより、各色データ42,44及び46に分離される。この補間手段bでは、これら各色データ42,44及び46に対して、高帯域まで画素をもつGの色データについては、メディアン(中間値)フィルタ43が適用され、欠落画素の値が周辺4画素の中間2値の平均値に置換される一方、R,Bの色データについては、上記補間手段aの場合と同様に、平均フィルタ45,47が適用され、各画素の値が近傍画素の値の適当な平均で置換される。
【0040】
例えば、Gデータについての欠落画素42Aをメディアンフィルタ43を用いて求める場合、まず、欠落画素42Aの上下左右に位置する隣接画素の値G4,G6,G7,G9の大小が比較される。このとき、G6<G4<G9<G7であれば、それらの中間2値はG4,G9であり、画素42Aの値は、(G4+G9)/2で表される。この補間処理を、全ての欠落画素について実行すれば、Gの全色データが再生される。この画素補間手段bは、メディアン法と呼ばれるものであり、上記補間手段aと比較して処理速度は遅い。
【0041】
本実施の形態では、補間フィルタを用いて欠落画素の値を求める画素補間手段a,bの代わりに、図9に示すような画素補間手段cを用いる場合がある。この補間手段cでは、画像データ51をフィルタパターン52,54,56で色分離した後、53,55および57の太線で示すように、2×2画素に区画した上で、各区画毎に、存在する画素を1つ選択し、その画素値を他の3つの画素に与えることにより、区画毎に画素値を等しくさせる単純補間が行なわれる。この補間手段cは、画像品質について上記補間手段a,bに劣るが、処理速度が最も速い。
【0042】
画素補間処理は、プレビュー画像及び記録画像の各々について行なわれるが、本実施の形態では、プレビュー画像の補間処理時(図3のステップS18)には、画素補間部13において、決まって処理速度の速い補間手段を用いるようにした。詳しくは、プレビュー画像の出力先の種類に応じて、画像データが内蔵モニタ20に出力される場合には補間手段cが用いられ、画像データが外部モニタ21に出力される場合には補間手段aが用いられる。これによれば、全処理を通じて、プレビュー画像データをより速く処理することができ、ユーザは内蔵モニタ20又は外部モニタ21を通して撮影しようとする画像の様子を即座に確認することが可能となる。
【0043】
一方、記録画像の補間処理時(図3のステップS25)には、撮影前にユーザが設定した各種条件(撮影画像サイズおよび画像圧縮率)に応じて、画素補間部13において、前述した処理速度の異なる補間手段の中から所定の補間手段が選択される。なお、処理速度の最も速い補間手段cは、画像品質への影響が他より大きく、記録画像の補間処理には用いられない。
「表1」に、記録画像データ処理時の、ユーザが設定する撮影画像サイズ及び画像データの圧縮率と、それに応じて選択される補間手段との関係を示す。
【0044】
【表1】

Figure 0003763555
【0045】
「表1」によれば、例えばユーザが撮影画像サイズを「512×384」に、また、画像圧縮モードを「1/8JPEG圧縮」に設定した場合には、画素補間部13において補間手段aが用いられる。本実施の形態では、特に画像圧縮部17における圧縮率が高く設定された場合に、画素補間部13において処理速度の速い補間手段aが選択されるようにした。これは、ユーザが設定した圧縮率が高いほど、画像圧縮部17において圧縮処理に時間がかかるため、この時間のロスを画素補間部13において補償するためである。
【0046】
また、本実施の形態では、メモリの節約を目的として画像品質を重要視しない場合、特に、撮影画像サイズを「512×384」に、画像圧縮モードを「1/8JPEG圧縮」又は「1/20JPEG圧縮」に設定した場合に、上記画素補間部13において補間手段aが選択される。この場合には、データ量の少ない画像を扱うため各処理が比較的高速に行なわれる上に、画像圧縮部17における時間のロスが画素補間部13において補償されるので、画像データが全体を通じてより速く処理される。
このように、特に画像品質を重要視しない撮影について、画像処理速度を向上させることによって、時間当たりにより多くのコマ数を撮影することができる。
【0047】
尚、本実施の形態では、画素補間部13において補間手段a,b,cのいずれか1つが選択される場合について記述されているが、処理速度の異なる更に多くの補間手段を設けて、それらの中から所望の1つを選択するようにしてもよい。この場合にも、ユーザが設定する圧縮率が高いほど、処理速度の速い補間手段を選択するようにして、画像品質に見合った処理速度を達成することができる。
【0048】
帯域制御処理
以上のように、画素補間処理を行った直後の各色データについての周波数特性を比較した場合、Gの周波数特性が、他の色R,Bに比べて高域にまで及ぶことが分かっている。このことは、上記CCD8における、Gを基調にしたRGBフィルタの配列(本実施の形態ではベイヤー配列)によるものである。こうしたR,G,Bの画素抜けによる解像度の低下を補正するために、画像データを帯域補正部14において帯域制御する。
【0049】
以下に、帯域補正部14における帯域制御処理(図3のステップS16及び26)について説明する。
図10は、各色データに対する帯域制御処理の流れ例を示した図である。まず、画素補間処理後のG信号に対し、5×5のフィルタ行列を備えたGL−ローパスフィルタ61を用いて、RBと同じ帯域制限をかけ、低域成分からなる信号(低域信号)を抽出する。この低域信号が、減算回路62で、Gについての元の信号から差し引かれることにより、中域成分からなる信号(中域信号)が取り出される。この中域信号は、増幅部63及び68に入力される。
上記増幅部63において所定のゲインで増幅された信号は、加算回路64で、Gについての元の信号に加えられる。一方、増幅部68において増幅された信号は、加算回路69,71において低域成分からなるR,Bの各信号に加えられる。
【0050】
また、この帯域補正処理では、画素補間後のG信号に対して、3×3のフィルタ行列を備えたラプラシアンフィルタ65を用いることにより、高域成分からなる信号(高域信号)が抽出される。抽出された高域信号は、増幅部66に入力され、所定のゲインで増幅された後、クリップ回路67で波形振幅のベース側が除去される結果、所望の高域信号が得られる。この高域信号は、上記加算回路64において、Gについての元の信号に加えられるか、若しくは、加算回路70,72において、それぞれ上記R,Bの信号に加えられる。
以上のように、R,G,Bの各信号が帯域制御され、カラーバランス制御部15へ出力される。
【0051】
帯域補正部14では、高域補正用の増幅部66,中域補正用の増幅部63,68におけるゲインの設定値(α,β)に従って、RGBの各信号がレベル調整され、各信号の周波数特性が制御される。例えば、増幅部66のゲインαを大きな値に設定した場合には、各信号の高域成分が強調され、また、増幅部63,68のゲインβを大きな値に設定した場合には、各信号の中域成分が強調されることになる。
【0052】
図11に、4組みのゲインの設定値(α,β)について、それぞれの場合に得られる出力信号の周波数特性曲線を示す。ここで、横軸は周波数、縦軸はレスポンスを表す。
特性曲線a(実線)は、高域補正用の増幅部66におけるゲインαが0、中域補正用の増幅部63,68におけるゲインβが0の場合のものである。
特性曲線b(破線)は、高域補正用の増幅部66におけるゲインαが0.3、中域補正用の増幅部63,68におけるゲインβが0の場合のものである。この場合には、各信号の高域成分が強調されることになる。
特性曲線c(一点鎖線)は、高域補正用の増幅部66におけるゲインαが0、中域補正用の増幅部63,68におけるゲインβが0.3の場合のものである。この場合には、各信号の中域成分が強調されることになる。
特性曲線d(二点鎖線)は、高域補正用の増幅部66におけるゲインαが0.3、中域補正用の増幅部63,68におけるゲインβが0.3の場合のものである。この場合には、各信号の中域成分および高域成分が共に強調されることになる
【0053】
ところで、前述したように、本実施の形態に係る電子スチルカメラ1は、被写体の種類の設定が可能な画像記録モードを備えており、その画像記録モードとして、被写体がカラーグラフィック(自然画)である場合に用いる「自然画モード」と、白黒グラフィック又はそれと文字や数字の組合せである場合に用いる「グレーテキストモード」と、文字や数字のみである場合に用いる「2値テキストモード」とを有している。本実施の形態では、上記帯域補正部14において、まず、ユーザが設定した画像記録モードに応じて、所定のゲイン設定値(α,β)が選択される。
【0054】
上記画像記録モードとして「自然画モード」を設定した場合には、更に、ユーザが設定した撮影画像サイズ及び画像データの圧縮率に応じて、上記帯域補正部14におけるゲイン設定値(α,β)が選択される。
「表2」に、「自然画モード」を設定した場合の、ユーザが設定する撮影画像サイズ及び画像圧縮率と、それに応じて選択される高域補正用の増幅部66における高域増幅ゲインα,中域補正用の増幅部63,68における中域増幅ゲインβとの関係を示す。
【表2】
Figure 0003763555
本実施の形態に係る電子スチルカメラ1では、ユーザが設定した画像撮影サイズ及び画像データの圧縮率に応じ、「表2」に基づいて、所定のゲインの設定値(α,β)が選択される。例えば、撮影画像サイズが「512×384ピクセル」に、また、画像圧縮モードが「1/8JPEG圧縮」に設定された場合には、高域増幅ゲインαが1.5、中域増幅ゲインβが0.1の値をとり、各信号の中域成分が強調される。
【0055】
この「表2」から分かるように、撮影画像サイズが低くなるほど、中域増幅ゲインαが大きく設定される。この結果、各信号の中域成分が強調され、本来情報をもたない高域成分のノイズを抑制するコントラスト重視の補正を行うことができる。一方、撮影画像サイズが高い場合には、高域増幅ゲインβが大きく設定され、高域信号まで再現出来るように高域強調が行なわれる。
また、画像データの圧縮率が高いほど、高域増幅ゲインβが小さく設定されるので、高域特性が下がり、高域ノイズの発生が抑制される。
【0056】
以上のように、「自然画モード」を設定した場合には、撮影画像サイズ及び画像データの圧縮率に応じた所定の増幅ゲインの設定値に基づいて帯域制御が行なわれる。これにより、Gを基調としたベイヤー配列によるR,Bの高域の低下を補うことができ、更に、エッジの着色、色の回りを抑制しながら、被写体の特性に適した周波数特性を得ることができる。
【0057】
次に、画像記録モードが「グレーテキストモード」、「2値テキストモード」に設定された場合の、帯域補正部14における各増幅部のゲイン設定値(α,β)について説明する。
本実施の形態に係る電子スチルカメラ1では、画像記録モードとして、「グレーテキストモード」又は「2値テキストモード」が設定された場合、撮影画像サイズは自動的に「1024×768ピクセル」に設定される。また、この場合には、画像データの圧縮率にかかわらず、各モードについてゲイン設定値(α,β)は一定である。「表3」に、各モード設定時に用いる増幅ゲイン設定値(α,β)を示す。
【表3】
Figure 0003763555
本実施の形態では、画像記録モードとして、「グレーテキストモード」が設定された場合には、中域成分を強調する一方、高域成分を抑制するようにした。これにより、色再現はそのままでハイコントラストかつ低ノイズの輪郭のシャープな画像が提供される。
また、「2値テキストモード」が設定された場合には、中域成分を最大限に持ち上げる一方、高域成分を抑制するようにした。このような設定のもとで輪郭を強調し、その後に画像データを2値化することにより、ベイヤー配列によるドットノイズの少ないエッジの再現を可能にしている。
【0058】
階調変換処理
次に、ガンマ補正部16における階調変換処理について説明する。このガンマ補正部16では、カラーバランス制御ブロック14で正規化されたR,G,Bの各信号が、1024階調及び256階調のルックアップテーブルにより階調変換される。
ガンマ補正部16には、図12〜図15に示すガンマ曲線A〜Dによる階調特性が設定されており、画像データは、状況に応じて、これらのガンマ曲線A〜Dによる階調特性のいずれかに基づき階調変換される。
【0059】
図12には、画像出力モニタが例えばパソコンCRTである場合に用いられる通常特性を表すガンマ曲線Aが示されている。出力モニタの表面の明るさは、入力電圧に比例せず、このような曲線で補正することにより、ほぼリニアな発光階調を得ている。
また、図13に、ガンマ曲線Aの場合と同様に、出力モニタがパソコンCRTである場合に用いられる階調特性を表すガンマ曲線Bを示す。このガンマ曲線Bは、入力電圧の高い側でガンマ曲線Aの上側に、入力電圧の低い側でガンマ曲線Aの下側にあらわれるカーブを描いている。このガンマ曲線Bが表す階調特性によれば、ガンマ曲線Aの通常特性を用いた場合に比べて、明るい側でより明るく、暗い側でより暗いハイコントラストでめりはりの付いた画像が得られることになる。
【0060】
更に、図14に示すガンマ曲線Cは、出力モニタが内蔵モニタ20である場合に用いられる。このガンマ曲線Cの階調特性は、パソコンCRTを対象とした通常特性よりも画像をハイコントラストに設定するものであり、この設定によって、特に液晶型の内蔵モニタ20への出力に適した画像データが得られる。
また更に、図15に示すガンマ曲線Dは、出力モニタが例えばテレビ等の外部モニタ21である場合に用いられる。この曲線Dは、全体的に、ガンマ曲線Aの上側にあらわれるカーブを描いており、このガンマ曲線Dの階調特性によれば、ガンマ曲線Aの通常特性に比べて、全体的により明るい画像を得ることができる。
【0061】
本実施の形態では、処理する画像データが記録画像データであるか、又は、プレビュー画像データであるかに応じて、その階調変換処理時に、前述したガンマ曲線A〜Dから所定のガンマ曲線が選択される。
まず、プレビュー画像データの階調変換処理時には、ガンマ曲線C又はDのいずれかが選択される。この場合には、特に出力モニタの種類に応じて、所定のガンマ曲線が決まる。すなわち、プレビュー画像データの出力先が内蔵モニタ20である場合には、ガンマ曲線Cが選択され、その曲線Cによる階調特性に基づいて、画像データが階調変換される。一方、出力先が外部モニタ21である場合には、ガンマ曲線Dが選択され、その曲線Dによる階調特性に基づいて、画像データが階調変換される。
このように、プレビュー画像データは、その出力先の種類に応じて、それに適した画像に変換されるため、モニタ上で見易いプレビュー画像が得られる。また、これにより、記録しようとする画像の様子をより適確に確認できるようになる。
【0062】
上記プレビュー画像の階調変換処理時に、ガンマ曲線C又はDによる階調特性が用いられる一方、記録画像データの階調変換処理には、上記ガンマ曲線A又はBのいずれかが用いられる。
記録画像データの階調変換処理では、まず、ユーザが設定した画像記録モードの種類に応じて、上記ガンマ曲線A又はBが選択される。本実施の形態では、画像記録モードを「グレーテキストモード」又は「2値テキストモード」に設定した場合には、ガンマ曲線Bによる階調特性に基づいて階調変換処理が行なわれる。これにより、文字データ等のテキスト画の撮影において、ハイコントラストな画像を再現することができる。
【0063】
一方、画像記録モードを「自然画モード」に設定した場合には、更に撮影画像サイズおよび画像データの圧縮率の種類に応じて、ガンマ曲線A又はBのいずれかが選択される。
「表4」に、ユーザが設定する撮影画像サイズ及び画像データの圧縮率と、それらに応じて階調変換処理に用いられるガンマ曲線との関係を示す。例えば、画像サイズを「640×480」に、画像圧縮モードを「1/20JPEG圧縮」に設定した場合には、ガンマ曲線Bが選択され、この曲線Bが表す階調特性に基づいて階調変換処理が行なわれる。
【表4】
Figure 0003763555
「表4」から分かるように、画像データの圧縮率を高く設定した場合には、ガンマ曲線Bによる階調特性に基づいて処理を行い、画像にめりはりを付け、コントラストを高くすることにより、圧縮解凍時の画像の品質の低下を目立たないようにすることができる。
同様に、撮影画像サイズを小さく設定した場合にも、ガンマ曲線Bによる階調特性に階調特性に基づいて処理を行ない、モニタ上の画像品質の低下を最大限に目立たないようにすることができる。
【0064】
以上のように、ガンマ補正部16では、各種条件に応じて、所定のガンマ曲線を選択し、その階調特性に基づいて、画像データを階調変換することにより、出力された画像の見易さを向上させることができる。
【0065】
なお、本実施の形態では、ガンマ補正部16においてガンマ曲線A〜Dの4種類の中からいずれか1つが選択される場合について記述されているが、階調特性の異なる更に多くのガンマ曲線を設定して、それらの中から所望の1つを選択するようにしてもよい。この場合にも、状況に応じて、複数の中から所望の1つを選択し、モニタ上に出力される画像をより見易いものとすることができる。
【0066】
また、本発明は、以上の実施の形態に限定されるものでなく、その要旨を逸脱しない範囲において、種々の改良あるいは設計上の変更が可能であることは言うまでもない。
【0067】
【発明の効果】
本願の請求項1に係る発明によれば、電子スチルカメラにおいて、露出制御部、画素補間部及びガンマ補正部が、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる露出制御,画素補間制御及び階調特性制御が可能であるように、また、複数のモニタのいずれかに階調特性制御後の画像データが出力可能であるように構成されており、上記ガンマ補正部で、プレビュー画像撮影時に、画像データの出力先のモニタの種類に応じて、所定の階調特性が用いられるので、プレビュー画像処理時に、最適な階調特性を用いて、モニタ上のプレビュー画像の見易さが向上し、プレビュー画像によるピント合わせを容易に行うことができる。
また、本願の請求項2に係る発明によれば、プレビュー画像撮影時に、記録画像撮影時よりもシャッタ速度を高速に設定して、光学絞りの口径を大きく設定することにより、被写界深度を浅くして、内蔵モニタにおいて、プレビュー画像によるピント確認を容易に行うことができる。更に、ブレの影響があらわれるシャッタ速度の低速側でも、プレビュー画像撮影時に、記録画像撮影時よりもシャッタ速度を高速に設定して、ブレの影響を軽減することができる。
更に、本願の請求項3に係る発明によれば、プレビュー画像撮影時に、撮影環境によって左右されるモニタの見え露光量が補正され、プレビュー画像は、明るい環境ではより明るく、暗い環境ではより暗く再生されるので、より自然なプレビュー画像をモニタ上に表示することができる。
【0068】
本願の請求項4に係る発明によれば、電子スチルカメラにおいて、露出制御部が、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる露出制御が可能であるように構成されており、該露出制御部では、プレビュー画像撮影時に、明るい環境において、記録画像撮影時よりもシャッタ速度が低速に設定される一方、暗い環境においては、記録画像撮影時よりもシャッタ速度が高速に設定されるので、プレビュー画像撮影時に、撮影環境によって左右されるモニタの見え露光量が補正され、プレビュー画像は、明るい環境ではより明るく、暗い環境ではより暗く再生されるので、より自然なプレビュー画像をモニタ上に表示することができる。
更に、本願の請求項5に係る発明によれば、プレビュー画像撮影時に、記録画像撮影時よりもシャッタ速度を高速に設定して、光学絞りの口径を大きく設定することにより、被写界深度を浅くして、内蔵モニタにおいて、プレビュー画像によるピント確認を容易に行うことができる。更に、ブレの影響があらわれるシャッタ速度の低速側でも、プレビュー画像撮影時に、記録画像撮影時よりもシャッタ速度を高速に設定して、ブレの影響を軽減することができる。
【0069】
本願の請求項6に係る発明によれば、電子スチルカメラにおいて、画素補間部が、CCDにおけるべイヤー配列のフィルタによって発生した欠落画素に対し、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる画素補間が可能であるとともに、プレビュー画像撮影時には、更に、画像データの出力先のモニタの種類に応じて、それぞれ異なる画素補間が可能であるように構成されているので、画像データの処理速度とともに、画像の品質を考慮した画素補間を行なうことができる。
【0070】
本願の請求項7に係る発明によれば、電子スチルカメラにおいて、画素補間部が、CCDにおけるべイヤー配列のフィルタによって発生した欠落画素に対し、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる画素補間が可能であるとともに、記録画像撮影時には、更に、画像圧縮部にて設定される圧縮率に応じて、それぞれ異なる画素補間が可能であるように構成されているため、特に圧縮率が高く設定された場合に、処理速度の速い画素補間を用いることにより、圧縮処理における時間のロスを画素補間部において補償することができる。
【0071】
本願の請求項8に係る発明によれば、電子スチルカメラにおいて、ガンマ補正部が、それぞれ異なる複数の階調特性制御が可能であるように構成され、該ガンマ補正部では、プレビュー画像撮影時に、記録画像撮影時とは相違して、モニタに適した階調特性制御が設定されるので、モニタ上のプレビュー画像の見易さが向上し、プレビュー画像によるピント合わせを容易に行うことができる。
【図面の簡単な説明】
【図1】 本発明の実施の形態に係る電子スチルカメラの斜視図である。
【図2】 上記電子スチルカメラの構成を示すブロック図である。
【図3】 上記電子スチルカメラの撮影動作のフローチャートである。
【図4】 上記電子スチルカメラの露出特性を示す図である。
【図5】 上記電子スチルカメラの露光特性を示す図である。
【図6】 上記電子スチルカメラの画素補間部の処理によるサブルーチンである。
【図7】 上記画素補間部における補間手段aの流れを示す図である。
【図8】 上記画素補間部における補間手段bの流れを示す図である。
【図9】 上記画素補間部における補間手段cの流れを示す図である。
【図10】 上記電子スチルカメラの帯域補正部における各色データの流れを示す図である。
【図11】 上記帯域補正部における処理後の周波数特性を示す図である。
【図12】 上記電子スチルカメラのガンマ補正部で用いられる階調特性を表すガンマ曲線Aである。
【図13】 上記ガンマ補正部で用いられる階調特性を表すガンマ曲線Bである。
【図14】 上記ガンマ補正部で用いられる階調特性を表すガンマ曲線Cである。
【図15】 上記ガンマ補正部で用いられる階調特性を表すガンマ曲線Dである。
【符号の説明】
1…電子スチルカメラ
6…撮像レンズ
7…光学絞り
8…CCD
9…AGC
12…画像処理CPU
13…画素補間部
16…ガンマ補正部
17…画像圧縮部
20…内蔵モニタ
21…外部モニタ
22…メモリカード
27…カメラ操作スイッチ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an electronic still camera that records captured images as digital data.
[0002]
[Prior art]
In recent years, electronic still cameras (so-called digital cameras) that record images as digital data have begun to become widespread. In this electronic still camera, one having a viewfinder, a television monitor, or the like is known as means for confirming the photographing range of the imaging lens.
[0003]
[Problems to be solved by the invention]
By the way, the type with a built-in TV monitor usually has a preview function for outputting an optical signal incident from an imaging lens before shooting a recorded image, and the user can use a preview image output to the built-in monitor. It is possible to check the balance and composition of the image to be photographed, and to focus. However, although the built-in monitor has a sufficient field of view, a liquid crystal type monitor is often used as the monitor, and the resolution and contrast of the image displayed there are low. For this reason, conventionally, when this type is used outdoors, which is particularly bright, there is a problem in that it is difficult to sufficiently confirm the image due to the flare of the screen.
[0004]
Also, in an electronic still camera, the size of the CCD constituting the image plane where the image incident from the image pickup lens is usually small is small, so the aperture of the optical diaphragm placed between the image pickup lens and the CCD is relatively narrow, As a result, the depth of field becomes deep, and it is difficult to check the focus with the built-in monitor, especially in bright outdoors. Conventionally, as a device for improving the resolution and contrast of an image on a monitor, for example, a device that changes the brightness of a backlight according to ambient illuminance is known. However, this method is not very effective in improving focusing. I can't.
Note that, for the purpose of confirming an image to be shot, focusing, etc., the preview image is required to be processed faster and output to the built-in monitor.
[0005]
Therefore, the present invention has an object to provide an electronic still camera that can improve the visibility of a preview image output to a monitor, and can process the preview image data faster and output it to the monitor. And
[0006]
[Means for Solving the Problems]
An electronic still camera according to claim 1 of the present application has a preview function for outputting an image to a monitor before shooting a recorded image, and performs pixel interpolation for each color data constituting the image data and an exposure control unit for controlling an exposure setting value. A pixel interpolation unit and a gamma correction unit that controls the gradation characteristics.Image data after gradation characteristic control can be output to any of a plurality of monitors,The exposure control unit, the pixel interpolation unit, and the gamma correction unit are configured to be able to perform different exposure control, pixel interpolation control, and tone characteristic control, respectively, depending on when the preview image is captured and when the recorded image is captured. The correction unit captures the image data when shooting the preview image.Output monitor typeAccording to this, a predetermined gradation characteristic is used.
The invention according to claim 2 of the present application is characterized in that, in the exposure control section, the aperture of the optical aperture is set larger when shooting the preview image than when shooting the recorded image.
Furthermore, in the invention according to claim 3 of the present application, in the exposure control unit, the shutter speed is set to be lower in the bright environment than in the recording image shooting in the bright environment, while in the dark environment, the recording image shooting is performed in the dark environment. The shutter speed is set faster than the time.
[0007]
An electronic still camera according to claim 4 of the present application has a preview function for outputting an image to a monitor before shooting a recorded image, and has an exposure control unit for controlling an exposure setting value. The exposure control unit is configured so that different exposure control is possible depending on when the image is captured and when the recorded image is captured. In the exposure control unit, in the bright environment, the shutter speed is lower than when the recorded image is captured. On the other hand, in a dark environment, the shutter speed is set to be higher than that at the time of recording image recording.
The invention according to claim 5 of the present application is characterized in that, in the exposure control unit, the aperture of the optical aperture is set larger than that at the time of recording image shooting at the time of shooting the preview image.
[0008]
  An electronic still camera according to claim 6 of the present application has a preview function for outputting an image to a monitor before photographing a recorded image, and is provided for a CCD having a Bayer array filter and each pixel output corresponding to the Bayer array. A pixel interpolation unit for interpolatingDifferent typesImage data after pixel interpolation can be output to any one of a plurality of monitors, and the pixel interpolation unit can perform different pixel interpolation depending on when the preview image is captured and when the recorded image is captured. Further, the present invention is characterized in that different pixel interpolation is possible depending on the type of monitor to which image data is output.
[0009]
In addition, an electronic still camera according to claim 7 of the present application has a preview function for outputting an image to a monitor before shooting a recorded image, and a CCD having a Bayer array filter and each pixel output corresponding to the Bayer array. A pixel interpolation unit that interpolates the image data, and an image compression unit that compresses the image data at a predetermined compression rate at the time of recording image recording is provided. Different pixel interpolation is possible depending on the time of image capture, and further different pixel interpolation is possible depending on the compression rate set by the image compression unit when the recorded image is captured. It is characterized by being.
[0010]
An electronic still camera according to claim 8 of the present application has a preview function for outputting an image to a monitor before shooting a recorded image, and has a gamma correction unit for controlling gradation characteristics, It is configured to be able to control a plurality of different gradation characteristics, in which, at the time of preview image shooting, unlike recording image shooting,Tone characteristic control suitable for the above monitorsIs set.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
As shown in FIG. 1, the electronic still camera 1 according to the present embodiment has a shutter button 2, an imaging lens 6, and a built-in CCD 8. The electronic still camera 1 has a card insertion slot for inserting and connecting a memory card (not shown: see FIG. 2 described later) for storing image data obtained by performing predetermined processing on the electrical signal converted by the CCD 8. 5 is provided, and the memory card connected to the card insertion slot 5 is removed from the card insertion slot 5 by pressing the card ejection button 4. In the electronic still camera 1, when the shutter button 2 is pressed, an image is formed on the CCD 8 by the imaging lens 6, and a light signal is converted into an electrical signal by the CCD 8. This electric signal is converted into digital data as image data and processed.
[0012]
FIG. 2 is a block diagram of the electronic still camera 1. As shown in FIG. 2, the electronic still camera 1 controls the imaging lens 6, an optical diaphragm 7 that controls the amount of incident light from the imaging lens 6, a CCD 8 for photoelectric conversion, and the photographing operation of these optical systems. A camera control CPU 24, a CDS 9 that samples the electrical signal obtained by the CCD 8 and removes noise, an AGC (auto gain control) 10 that automatically controls gain and corrects sensitivity, and an analog / digital of the electrical signal An A / D conversion unit 11 that performs conversion (hereinafter referred to as A / D conversion), and an image processing CPU 12 that performs predetermined image processing on the digital signal obtained through each of the above components.
[0013]
The image processing CPU 12 includes a pixel interpolation unit 13 that performs an interpolation process on each color image data obtained by color-separating the image data, and a band correction that controls the frequency of each color image data. 14, a color balance control unit 15 that performs color correction on each color independently, a gamma correction unit 16 that performs gradation conversion of an input signal, an image compression unit 17 that compresses image data, and an image data that is encoded and incorporated. It comprises a video encoder 18 that outputs to a monitor 20 or an external monitor 21 and a memory card driver 19 that supplies image data to the memory card 22.
[0014]
The input side of the camera control CPU 24 that controls the photographing operation of the optical system includes the shutter button 2 (see FIG. 1) and an image condition setting switch that can set a photographed image size, a compression ratio, etc. before photographing. A camera operation switch 27, a photometric / colorimetric sensor 28 for measuring the amount of light and color at the time of photographing, and a flash 29 are connected. On the output side, an aperture driver 25 for driving the optical aperture 7 is provided. A timing generator CCD drive 26 for controlling the exposure time of the CCD 8 and the AGC 10 are connected. In the camera control CPU 24, exposure control data is calculated based on the light quantity and color measured by the photometry / colorimetric sensor 28, and the aperture value of the optical aperture 7 and the accumulation time of the CCD 8 (that is, electronic) are calculated based on the exposure control data. Shutter speed) and the gain of the AGC 10 are controlled.
The camera control CPU 24 is connected to the image processing CPU 12 via a data bus.
[0015]
In the electronic still camera 1 having the above configuration, the user can set the following image conditions before shooting.
That is, the electronic still camera 1 can set the captured image size for determining the image resolution and the data compression rate in the image compression process as the image conditions.
[0016]
There are three types of photographed image sizes of “512 × 384”, “640 × 480”, and “1024 × 768”, and the user can select a desired image size according to the situation. . On the other hand, as the image compression mode for determining the compression rate of the image data, there are three types of “no compression mode”, “1/8 JPEG compression mode”, and “1/20 JPEG compression mode”, and the above image size Similarly, the user can select a desired one before shooting.
[0017]
In the electronic still camera 1 according to the present embodiment, as an image recording mode representing the type of subject, a “natural image mode” targeting natural objects such as natural-colored people and landscapes, natural objects, or letters and numbers are included. There are three types of “gray text mode” that captures the combination in black and white, and “binary text mode” that targets characters and numbers. One of the desired modes can be selected from them.
Further, a CRT on / off mode for setting whether to output an image signal to the built-in monitor side or to the external monitor side is provided.
[0018]
Hereinafter, a basic photographing operation of the electronic still camera 1 will be described with reference to the flowchart of FIG.
In the electronic still camera 1 according to the present embodiment, various conditions such as the captured image size and the compression rate in the compression process are set by the user before shooting. The camera 1 first captures these set various conditions. (Step S10).
[0019]
The image processing in the electronic still camera 1 at the time of shooting basically includes image processing when the shutter button 2 is half-pressed (steps S11 to S21) and image processing when the shutter button 2 is fully pressed (steps S22 to S22). S33) and two stages. In the present embodiment, the electronic still camera 1 has a preview function for displaying an image incident from the imaging lens on the built-in monitor 20 when the shutter button 2 is half-pressed. You can check the state of the image you want to shoot (the balance and composition of the picture). If the shutter button 2 is further pushed in to a fully depressed state, the image incident from the imaging lens 6 at that time is processed and recorded in the memory card 22.
[0020]
First, the operation when the shutter button 2 is half-pressed (steps S11 to S21) will be described. In this operation, an image to be taken is treated as a preview image and subjected to predetermined image processing.
When the shutter button 2 is half-pressed in step S11, first, the camera 1 measures the light amount and color in the photometric / colorimetric sensor 28 (step S12). Subsequently, based on this measurement data, exposure settings are made for the aperture value of the optical aperture 7, the accumulation time of the CCD 8 (ie, shutter speed), etc. (step S13).
After exposure setting, light enters from the imaging lens 6 and is converted into an electrical signal by the CCD 8. The camera 1 A / D converts this electrical signal and sends it as digital data to the image processing CPU 12 (step S14).
[0021]
Thereafter, in the image processing CPU 12, first, the pixel interpolation unit 13 interpolates missing pixels for each color data (step S15). The pixel interpolation unit 13 is provided with a plurality of interpolation means, and an optimal interpolation means is selected from among the interpolation means according to the set values for the captured image size and the image compression rate captured in step S10. It is like that. The pixel interpolation unit 13 will be described later.
[0022]
The image data after pixel interpolation is contour-corrected by the band correction unit 14 (step S16), color-corrected for each color data by the color balance control unit 15 in step S17, and then tone-converted by the gamma correction block 16. (Step S18). Subsequently, the image data is temporarily written in the image memory 23 by the image processing CPU 12 (step S19).
[0023]
Thereafter, the image data is read from the image memory 23, encoded to NTSC / PAL by the video encoder 18 (step S20), and output as a preview image to the built-in monitor 20 (step S21). When the shutter button 2 is maintained in the half-pressed state, the image incident from the imaging lens 6 is updated at a predetermined frame period and displayed on the built-in monitor 20 as a moving image. The user can determine whether or not to shoot after confirming the preview image. If YES, the user presses the shutter button 2 completely.
[0024]
When the shutter button 2 is fully depressed, image processing when the shutter button 2 is fully depressed is performed in steps S22 to S31. This process is performed when the shutter button 2 is half-pressed. Is omitted here. However, in this process, image data to be recorded on the memory card 22 is processed.
[0025]
The image data formed by the image processing in steps S22 to S31 is compressed in step S32. Here, the image data is compressed based on the compression rate of the image data captured in step S10. This image compression requires more time as the compression rate is higher. The compressed image data is recorded on the memory card 22 as a recorded image in step S33. In step S34, the user determines whether or not to end shooting. If YES, the shooting operation ends, and if NO, the steps after step S11 are repeated.
The image to be photographed is processed along the above flow and finally recorded as digital data.
[0026]
Exposure control processing
Next, an exposure control process in the electronic still camera 1 will be described. In the present embodiment, the aperture driver 25, the timing generator CCD drive 26, and the AGC 10 are based on the exposure control data calculated by the camera control CPU 24 using the light quantity and color measured by the photometric / colorimetric sensor. In each part, the aperture value of the optical aperture 8, the accumulation time of the CCD 8 (so-called electronic shutter speed), and the gain in the AGC 10 are set.
[0027]
FIG. 4 shows the automatic exposure control characteristics programmed in the camera control CPU 24. A solid line R and a broken line S in the figure are characteristic lines representing exposure control characteristics used when each image of the recorded image and the preview image is captured. This exposure control characteristic is determined by the aperture value of the optical aperture 7, the accumulation time of the CCD 8, and the gain of the AGC 10. In order to obtain an image having the same brightness, the diagonal lines rising to the right in the figure represent the relationship between the shutter speed and the aperture value in an environment with a predetermined brightness. The brighter the diagonal line on the right side, the brighter the environment. It represents.
[0028]
According to these exposure control characteristic lines R and S, in the environment of a predetermined brightness, the aperture value F number is the recorded image when the preview image is captured within the aperture interlocking range (F number 2.8 to 11). It is set smaller than when shooting. For example, when shooting a recorded image, for an image shot performed with an aperture value of F number 4 and an exposure setting of shutter speed 1/125 seconds (r1 point in the figure), the aperture value F number is set at the time of shooting the preview image. 3, the shutter speed is set to about 1/180 seconds (s1 point). According to this exposure characteristic, the aperture value F number is decreased to increase the aperture of the optical aperture 8 so that the exposure amount does not change between the preview image capturing and the recorded image capturing, while the shutter speed is increased. Is set faster.
Thus, if the F number is reduced and the aperture of the optical aperture 8 is increased, the depth of field in that case becomes shallower. As a result, the in-focus range is narrowed, and it is easy to check the focus using the preview image output to the built-in monitor 20.
[0029]
When the optical aperture 8 is fully opened (F number 2.8), the shutter speed is adjusted according to the brightness of the environment so that the brightness of the captured image is kept constant. The minimum shutter speed at the time of recording image recording is set to 1/30 seconds within a range where blurring is not noticeable.
The image data is adjusted by the gain in the AGC 10 in the range where the shutter speed at the time of shooting the recorded image takes a minimum speed of 1/30 seconds and the brightness of the shot image cannot be optically adjusted. Also in this range, the aperture value F number is set to be smaller than that at the time of recording image recording, and the aperture of the optical aperture 8 is increased, as in the case of the aperture interlocking range. For example, for recording image shooting based on a setting value (r2 points) where the shutter speed is 1/30 seconds and the gain of the AGC 10 is 6 dB, the shutter speed is set higher than 1/30 seconds when shooting a preview image. (s2 points). According to such setting, blurring that is likely to occur as the shutter speed is reduced during preview image shooting can be reduced, and focus confirmation by the preview image output to the built-in monitor 20 is facilitated.
[0030]
As described above, in the present embodiment, when the preview image is captured, the aperture of the optical aperture 8 is made larger than when the recorded image is captured, so that the depth of field is reduced and the focus confirmation on the built-in monitor 20 is easy. It is possible to go to. In general, the slower the shutter speed, the greater the effect of camera shake on the image. In this way, on the low speed side of the shutter speed, the shutter speed when shooting the preview image is set higher than when shooting the recorded image. By doing so, the influence of blurring is reduced, and it becomes easy to confirm the focus by the preview image output to the built-in monitor 20.
[0031]
The electronic still camera 1 also has exposure characteristics for reproducing the preview image more naturally. FIG. 5 shows characteristic lines representing exposure characteristics programmed in the camera control CPU 24 of the electronic still camera 1. A solid line P and a broken line Q in the figure represent exposure characteristics applied at the time of recording image shooting and preview image shooting, respectively.
As can be seen from FIG. 5, according to this characteristic, in a bright environment, the shutter speed is set to be lower than that at the time of recording image recording when the preview image is captured, and the image is reproduced more brightly. On the other hand, in a dark environment, the shutter speed is set to be higher than that at the time of recording image shooting when the preview image is shot, and the image is reproduced darker.
[0032]
For example, when “white cloud” is the subject, when the preview image is captured, the preview image is overexposed by using a shutter speed (point q1) slower than the shutter speed (point p1) for the recorded image. Play brighter in a bright environment. On the other hand, when “Night Festival” is used as a subject, a preview image is darkened in a dark environment by using a shutter speed (point q2) faster than a shutter speed (point p2) at the time of recording a preview image. Reproduce.
In this way, when the preview image is captured, the apparent exposure amount of the monitor, which is influenced by the shooting environment, is corrected, and a more natural preview image is obtained by reproducing brighter in a bright environment and darker in a dark environment.
[0033]
In the exposure control processing according to the present embodiment, first, as described above, based on the exposure characteristics shown in FIG. 4, the aperture of the optical aperture 8 at the time of preview image shooting is recorded image shooting so that the exposure amount does not change. After the setting is made larger than the time, the shutter speed at the time of shooting the preview image is set so that overexposure is performed based on the exposure characteristics shown in FIG. 5 with the aperture of the optical aperture 8 kept constant. By setting the speed lower than that at the time of shooting, a more natural image can be obtained when the preview image is output to the built-in monitor, and focusing by the obtained preview image can be facilitated.
In the present embodiment, a case where a preview image is output to the built-in monitor 20 will be described. However, CRT on / off in which the output destination of image data can be set to either the built-in monitor 20 or the external monitor 21 is described. In the mode, the above-described exposure control characteristics may also be used when shooting with the output destination set to the external monitor 21.
[0034]
Pixel interpolation processing
Next, pixel interpolation processing (steps S15 and S25 in FIG. 3) in the pixel interpolation unit 13 will be described in detail with reference to the subroutine in FIG.
In the electronic still camera 1 according to the present embodiment, a Bayer array CCD 8 having pixel arrangements of R (red), G (green), and B (blue) is mounted, and Bayer array image data is obtained. It is done. The pixel interpolating unit 13 interpolates missing pixels for each color in the Bayer array image data.
[0035]
As shown in FIG. 6, first, in step S51, Bayer array image data is input. In step S52, the image data is color-separated into R, G, and B color data. The pixel interpolation unit 13 is provided with a plurality of interpolation means, and in step S53, one of the plurality of interpolation means is selected according to the image condition captured in step S10 of FIG. Then, an interpolation process based on the selected interpolation means is executed (step S54). The interpolated image data is output to the band correction unit 14 (see FIG. 2) for each color data in step S55.
[0036]
The electronic still camera 1 according to the present embodiment has three types of interpolation means, that is, an interpolation means a using an average filter (so-called averaging method) and an interpolation means b using a median filter ( A so-called median method) and interpolation means c for performing simple interpolation using adjacent pixels. Hereinafter, these interpolation means a, b, and c will be described.
[0037]
FIG. 7 is an explanatory diagram of the pixel interpolation means a. The image data 31 of the CCD output pixel pattern (Bayer array) input to the pixel interpolation unit 13 is masked with different filter patterns for each of the R, G, and B pixels, whereby each color data 32, 34, and 36 is processed. Separated. Each of the color data 32, 34, and 36 is masked for pixels having colors other than the target color, that is, missing pixels (black portions in the figure). In the pixel interpolation means a, interpolation filters 33, 35, and 37 having a 3 × 3 filter matrix are applied to the color data 32, 34, and 36 having the missing pixels, and the value of each pixel is set for each color. Is replaced with a suitable average of nearby pixel values to interpolate missing pixels.
[0038]
For example, considering the case where the missing pixel 32A for the G data is obtained using the interpolation filter 33, the value G of the pixel located in the vertical and horizontal directionsFour, G6, G7, G9From the following equation. Note that for missing pixels, the value is calculated as 0. GFour× 1/4 + G6× 1/4 + G7× 1/4 + G9× 1/4 = (GFour+ G6+ G7+ G9) / 4 (1)
If such an interpolation process is executed for all missing pixels in the G data, all G pixel data can be obtained. Similarly, the R and B color data are also subjected to the interpolation processing by the filters 35 and 37, whereby the R and B pixel data are obtained. This pixel interpolation means a is called an average method and has a relatively high processing speed.
[0039]
FIG. 8 is an explanatory diagram of the pixel interpolation means b. The image data 41 of the CCD output pixel pattern (Bayer array) input to the pixel interpolation unit 13 is masked with different filter patterns for each of the R, G, and B pixels, as in the interpolation means a. Thus, the color data 42, 44 and 46 are separated. In this interpolation means b, a median (intermediate value) filter 43 is applied to these color data 42, 44, and 46 for G color data having pixels up to a high band, and the value of the missing pixel is set to four neighboring pixels. On the other hand, for the R and B color data, the average filters 45 and 47 are applied to the R and B color data as in the case of the interpolation means a, and the value of each pixel is the value of the neighboring pixel. Is replaced with a suitable average of
[0040]
For example, when the missing pixel 42A for G data is obtained using the median filter 43, first, the value G of the adjacent pixel located above, below, left and right of the missing pixel 42A.Four, G6, G7, G9Are compared. At this time, G6<GFour<G9<G7Then the intermediate binary value is GFour, G9And the value of the pixel 42A is (GFour+ G9) / 2. If this interpolation processing is executed for all missing pixels, the G color data is reproduced. This pixel interpolation means b is called a median method, and the processing speed is slower than that of the interpolation means a.
[0041]
In the present embodiment, pixel interpolation means c as shown in FIG. 9 may be used in place of pixel interpolation means a and b for obtaining the value of missing pixels using an interpolation filter. In this interpolation means c, after the image data 51 is color-separated by the filter patterns 52, 54, and 56, it is partitioned into 2 × 2 pixels as indicated by the thick lines 53, 55, and 57, and for each section, By selecting one existing pixel and giving the pixel value to the other three pixels, simple interpolation is performed to make the pixel values equal for each partition. The interpolation means c is inferior to the interpolation means a and b in image quality, but has the fastest processing speed.
[0042]
The pixel interpolation process is performed for each of the preview image and the recorded image. In this embodiment, at the time of the preview image interpolation process (step S18 in FIG. 3), the pixel interpolation unit 13 determines the processing speed. A fast interpolation means was used. Specifically, depending on the type of output destination of the preview image, the interpolation means c is used when the image data is output to the built-in monitor 20, and the interpolation means a is used when the image data is output to the external monitor 21. Is used. According to this, the preview image data can be processed faster through the entire processing, and the user can immediately confirm the state of the image to be photographed through the built-in monitor 20 or the external monitor 21.
[0043]
On the other hand, during the interpolation process of the recorded image (step S25 in FIG. 3), the pixel interpolation unit 13 performs the above-described processing speed according to various conditions (captured image size and image compression rate) set by the user before shooting. A predetermined interpolation means is selected from the different interpolation means. Note that the interpolation means c having the fastest processing speed has a larger influence on the image quality than the others, and is not used for the interpolation process of the recorded image.
Table 1 shows the relationship between the captured image size and the image data compression rate set by the user and the interpolation means selected in accordance with the recorded image data processing.
[0044]
[Table 1]
Figure 0003763555
[0045]
According to “Table 1”, for example, when the user sets the captured image size to “512 × 384” and the image compression mode to “1/8 JPEG compression”, the interpolation unit a is Used. In the present embodiment, particularly when the compression rate in the image compression unit 17 is set high, the interpolation unit a having a high processing speed is selected in the pixel interpolation unit 13. This is because the higher the compression ratio set by the user, the longer the compression process in the image compression unit 17, and the pixel interpolation unit 13 compensates for this time loss.
[0046]
In the present embodiment, when image quality is not important for the purpose of saving memory, in particular, the captured image size is set to “512 × 384” and the image compression mode is set to “1/8 JPEG compression” or “1/20 JPEG”. When “compression” is set, the interpolation unit a is selected in the pixel interpolation unit 13. In this case, each process is performed at a relatively high speed in order to handle an image with a small amount of data, and a time loss in the image compression unit 17 is compensated in the pixel interpolation unit 13, so that the image data can be further improved throughout. It is processed quickly.
In this way, it is possible to take a larger number of frames per hour by improving the image processing speed for shooting that does not particularly care about image quality.
[0047]
In this embodiment, the case where any one of the interpolation means a, b, and c is selected in the pixel interpolation unit 13 is described. However, more interpolation means having different processing speeds are provided, You may make it select desired one from. Also in this case, the higher the compression rate set by the user, the faster the processing speed can be selected, and the processing speed commensurate with the image quality can be achieved.
[0048]
Bandwidth control processing
As described above, when the frequency characteristics of the respective color data immediately after the pixel interpolation process is compared, it is known that the G frequency characteristic extends to a higher range than the other colors R and B. This is due to the RGB filter array (Bayer array in this embodiment) based on G in the CCD 8. In order to correct such a decrease in resolution caused by missing pixels of R, G, and B, the band correction unit 14 performs band control on the image data.
[0049]
Hereinafter, the band control process (steps S16 and S26 in FIG. 3) in the band correction unit 14 will be described.
FIG. 10 is a diagram showing a flow example of the bandwidth control process for each color data. First, the G signal after pixel interpolation processing is subjected to the same band limitation as RB by using a GL-low pass filter 61 having a 5 × 5 filter matrix, and a signal (low frequency signal) composed of a low frequency component is applied. Extract. This low-frequency signal is subtracted from the original signal for G by the subtracting circuit 62, whereby a signal (mid-range signal) consisting of the mid-range component is extracted. This mid-range signal is input to the amplifying units 63 and 68.
The signal amplified by the amplification unit 63 with a predetermined gain is added to the original signal for G by the adder circuit 64. On the other hand, the signal amplified in the amplifying unit 68 is added to the R and B signals composed of the low frequency components in the adding circuits 69 and 71.
[0050]
In this band correction process, a signal (high band signal) composed of a high band component is extracted by using a Laplacian filter 65 having a 3 × 3 filter matrix for the G signal after pixel interpolation. . The extracted high frequency signal is input to the amplifying unit 66, amplified with a predetermined gain, and then the base side of the waveform amplitude is removed by the clip circuit 67. As a result, a desired high frequency signal is obtained. This high-frequency signal is added to the original signal for G in the adding circuit 64, or added to the R and B signals in the adding circuits 70 and 72, respectively.
As described above, the R, G, and B signals are band-controlled and output to the color balance control unit 15.
[0051]
In the band correction unit 14, the RGB signals are level-adjusted according to the gain setting values (α, β) in the high-frequency correction amplification unit 66 and the mid-range correction amplification units 63 and 68, and the frequency of each signal is adjusted. Characteristics are controlled. For example, when the gain α of the amplification unit 66 is set to a large value, the high frequency component of each signal is emphasized, and when the gain β of the amplification units 63 and 68 is set to a large value, each signal is emphasized. The mid-frequency component is emphasized.
[0052]
FIG. 11 shows frequency characteristic curves of output signals obtained in each case for four sets of gain setting values (α, β). Here, the horizontal axis represents frequency and the vertical axis represents response.
The characteristic curve a (solid line) is obtained when the gain α in the high-frequency correction amplifying unit 66 is 0 and the gain β in the mid-frequency correction amplifying units 63 and 68 is 0.
The characteristic curve b (broken line) is obtained when the gain α in the high-frequency correction amplifying unit 66 is 0.3 and the gain β in the mid-frequency correction amplifying units 63 and 68 is 0. In this case, the high frequency component of each signal is emphasized.
The characteristic curve c (one-dot chain line) is obtained when the gain α in the amplifying unit 66 for high-frequency correction is 0 and the gain β in the amplifying units 63 and 68 for mid-frequency correction is 0.3. In this case, the middle band component of each signal is emphasized.
The characteristic curve d (two-dot chain line) is obtained when the gain α in the high-frequency correction amplifying unit 66 is 0.3 and the gain β in the mid-frequency correction amplifying units 63 and 68 is 0.3. In this case, both the mid-frequency and high-frequency components of each signal are emphasized.
[0053]
By the way, as described above, the electronic still camera 1 according to the present embodiment includes an image recording mode in which the type of subject can be set. As the image recording mode, the subject is a color graphic (natural image). There are “natural image mode” used in certain cases, “gray text mode” used in the case of black-and-white graphics or a combination of them with letters and numbers, and “binary text mode” used only in the case of letters and numbers. is doing. In the present embodiment, the band correction unit 14 first selects a predetermined gain setting value (α, β) according to the image recording mode set by the user.
[0054]
When the “natural image mode” is set as the image recording mode, the gain setting values (α, β) in the band correction unit 14 are further set in accordance with the captured image size set by the user and the compression rate of the image data. Is selected.
In “Table 2”, when the “natural image mode” is set, the captured image size and the image compression ratio set by the user, and the high frequency amplification gain α in the high frequency correction amplifying unit 66 selected according to the size are set. , The relationship with the mid-range amplification gain β in the mid-range correction amplifying units 63 and 68 is shown.
[Table 2]
Figure 0003763555
In the electronic still camera 1 according to the present embodiment, predetermined gain setting values (α, β) are selected based on “Table 2” in accordance with the image capturing size and the compression rate of the image data set by the user. The For example, when the captured image size is set to “512 × 384 pixels” and the image compression mode is set to “1/8 JPEG compression”, the high frequency amplification gain α is 1.5 and the mid frequency amplification gain β is A value of 0.1 is taken, and the mid-frequency component of each signal is emphasized.
[0055]
As can be seen from Table 2, the lower the captured image size, the larger the mid-range amplification gain α is set. As a result, it is possible to perform contrast-oriented correction that emphasizes the mid-frequency components of each signal and suppresses noise of high-frequency components that originally have no information. On the other hand, when the captured image size is high, the high-frequency amplification gain β is set large, and high-frequency emphasis is performed so that high-frequency signals can be reproduced.
Further, as the compression rate of the image data is higher, the high frequency amplification gain β is set smaller, so that the high frequency characteristics are lowered and the generation of high frequency noise is suppressed.
[0056]
As described above, when the “natural image mode” is set, band control is performed based on a predetermined amplification gain setting value corresponding to the captured image size and the compression rate of the image data. As a result, it is possible to compensate for the reduction in the high frequencies of R and B due to the Bayer arrangement based on G, and to obtain frequency characteristics suitable for the characteristics of the subject while suppressing the coloring of the edges and the surroundings of the colors. Can do.
[0057]
Next, gain setting values (α, β) of each amplification unit in the band correction unit 14 when the image recording mode is set to “gray text mode” or “binary text mode” will be described.
In the electronic still camera 1 according to the present embodiment, when “gray text mode” or “binary text mode” is set as the image recording mode, the captured image size is automatically set to “1024 × 768 pixels”. Is done. In this case, the gain setting values (α, β) are constant for each mode regardless of the compression rate of the image data. “Table 3” shows amplification gain setting values (α, β) used when setting each mode.
[Table 3]
Figure 0003763555
In the present embodiment, when the “gray text mode” is set as the image recording mode, the middle frequency component is emphasized while the high frequency component is suppressed. As a result, a sharp image with a high contrast and low noise outline can be provided without changing the color.
In addition, when “binary text mode” is set, the mid-range component is raised to the maximum while the high-frequency component is suppressed. By emphasizing the contour under such settings and then binarizing the image data, it is possible to reproduce an edge with little dot noise by the Bayer arrangement.
[0058]
Gradation conversion processing
Next, the gradation conversion process in the gamma correction unit 16 will be described. In the gamma correction unit 16, the R, G, and B signals normalized by the color balance control block 14 are subjected to gradation conversion using a lookup table of 1024 gradations and 256 gradations.
The gamma correction unit 16 is set with gradation characteristics based on the gamma curves A to D shown in FIGS. 12 to 15, and the image data has gradation characteristics based on these gamma curves A to D depending on the situation. Tone conversion is performed based on either of them.
[0059]
FIG. 12 shows a gamma curve A representing normal characteristics used when the image output monitor is a personal computer CRT, for example. The brightness of the surface of the output monitor is not proportional to the input voltage, and a substantially linear emission gradation is obtained by correcting with such a curve.
FIG. 13 shows a gamma curve B representing gradation characteristics used when the output monitor is a personal computer CRT, as in the case of the gamma curve A. The gamma curve B depicts a curve that appears above the gamma curve A on the higher input voltage side and below the gamma curve A on the lower input voltage side. According to the gradation characteristic represented by the gamma curve B, an image with a high contrast and a bright contrast is obtained on the bright side and darker on the dark side than when the normal characteristic of the gamma curve A is used. Will be.
[0060]
Furthermore, the gamma curve C shown in FIG. 14 is used when the output monitor is the built-in monitor 20. The gradation characteristic of the gamma curve C is to set the image to have a higher contrast than the normal characteristic for the personal computer CRT. With this setting, the image data is particularly suitable for output to the liquid crystal built-in monitor 20. Is obtained.
Furthermore, the gamma curve D shown in FIG. 15 is used when the output monitor is an external monitor 21 such as a television. The curve D generally represents a curve appearing above the gamma curve A. According to the gradation characteristics of the gamma curve D, an overall brighter image is obtained compared to the normal characteristics of the gamma curve A. Obtainable.
[0061]
In the present embodiment, depending on whether the image data to be processed is recording image data or preview image data, a predetermined gamma curve is obtained from the above-described gamma curves A to D during the gradation conversion processing. Selected.
First, at the time of gradation conversion processing of preview image data, either the gamma curve C or D is selected. In this case, a predetermined gamma curve is determined according to the type of output monitor. That is, when the output destination of the preview image data is the built-in monitor 20, the gamma curve C is selected, and the image data is tone-converted based on the tone characteristics of the curve C. On the other hand, when the output destination is the external monitor 21, the gamma curve D is selected, and the image data is tone-converted based on the tone characteristics of the curve D.
Thus, the preview image data is converted into an image suitable for the type of output destination, so that a preview image that is easy to see on the monitor can be obtained. This also makes it possible to more accurately confirm the state of the image to be recorded.
[0062]
At the time of the gradation conversion process of the preview image, the gradation characteristic by the gamma curve C or D is used, while either of the gamma curves A or B is used for the gradation conversion process of the recorded image data.
In the gradation conversion processing of recorded image data, first, the gamma curve A or B is selected according to the type of image recording mode set by the user. In the present embodiment, when the image recording mode is set to “gray text mode” or “binary text mode”, gradation conversion processing is performed based on the gradation characteristics by the gamma curve B. Thereby, a high-contrast image can be reproduced in photographing a text image such as character data.
[0063]
On the other hand, when the image recording mode is set to “natural image mode”, either the gamma curve A or B is further selected according to the type of the captured image size and the compression rate of the image data.
Table 4 shows the relationship between the photographed image size and image data compression rate set by the user and the gamma curve used for the gradation conversion processing in accordance with them. For example, when the image size is set to “640 × 480” and the image compression mode is set to “1/20 JPEG compression”, the gamma curve B is selected, and tone conversion is performed based on the tone characteristics represented by the curve B. Processing is performed.
[Table 4]
Figure 0003763555
  As can be seen from “Table 4”, when the compression rate of the image data is set high, processing is performed based on the gradation characteristics of the gamma curve B, and the image is given a sharpening and the contrast is increased. Therefore, it is possible to make the deterioration of the image quality during compression / decompression inconspicuous.
Similarly, when the captured image size is set to be small, the gradation characteristic by the gamma curve B is processed based on the gradation characteristic so that the deterioration of the image quality on the monitor is not noticeable to the maximum extent. it can.
[0064]
As described above, the gamma correction unit 16 selects a predetermined gamma curve according to various conditions, and performs gradation conversion on the image data based on the gradation characteristics, thereby making it easy to view the output image. Can be improved.
[0065]
In this embodiment, the case where any one of the four types of gamma curves A to D is selected in the gamma correction unit 16 is described, but more gamma curves having different gradation characteristics are described. It is possible to set and select a desired one from them. Also in this case, it is possible to select a desired one from a plurality according to the situation and make it easier to see the image output on the monitor.
[0066]
The present invention is not limited to the above-described embodiment, and it goes without saying that various improvements and design changes can be made without departing from the scope of the invention.
[0067]
【The invention's effect】
According to the invention of claim 1 of the present application, in the electronic still camera, the exposure control unit, the pixel interpolation unit, and the gamma correction unit are different in exposure control and pixel interpolation control depending on when the preview image is captured and when the recorded image is captured. And so that the gradation characteristics can be controlled.In addition, image data after gradation characteristics control can be output to any of multiple monitors.When the preview image is captured by the gamma correction unit, the image dataOutput monitor typeTherefore, when the preview image is processed, the optimal gradation characteristic is used to improve the visibility of the preview image on the monitor, and focusing with the preview image is easily performed. be able to.
According to the invention of claim 2 of the present application, the depth of field can be reduced by setting the shutter speed at a higher speed and setting the aperture of the optical aperture at the time of shooting the preview image than at the time of shooting the recorded image. The depth of the image can be reduced, and the focus can be confirmed easily with the preview image on the built-in monitor. Further, even on the low speed side of the shutter speed at which the influence of the blur appears, the shutter speed can be set to a higher speed when shooting the preview image than when the recorded image is shot, thereby reducing the influence of the blur.
Furthermore, according to the third aspect of the present invention, when the preview image is captured, the visible exposure amount of the monitor that is influenced by the imaging environment is corrected, and the preview image is reproduced brighter in a bright environment and darker in a dark environment. Therefore, a more natural preview image can be displayed on the monitor.
[0068]
According to the invention of claim 4 of the present application, in the electronic still camera, the exposure control unit is configured to be able to perform different exposure control according to the preview image shooting and the recorded image shooting, In the exposure control unit, the shutter speed is set to be lower than that at the time of recording image shooting in a bright environment when shooting a preview image, while the shutter speed is set to be higher than that at the time of recording image shooting in a dark environment. When the preview image is taken, the visible exposure amount of the monitor, which depends on the shooting environment, is corrected, and the preview image is reproduced brighter in a bright environment and darker in a dark environment, so a more natural preview image is displayed on the monitor. Can be displayed.
Furthermore, according to the invention of claim 5 of the present application, the depth of field can be reduced by setting the shutter speed at a higher speed and setting the aperture of the optical aperture larger at the time of preview image shooting than at the time of recording image shooting. The depth of the image can be reduced, and the focus can be confirmed easily with the preview image on the built-in monitor. Further, even on the low speed side of the shutter speed at which the influence of the blur appears, the shutter speed can be set to a higher speed when shooting the preview image than when the recorded image is shot, thereby reducing the influence of the blur.
[0069]
According to the invention of claim 6 of the present application, in the electronic still camera, the pixel interpolating unit is configured to detect the missing pixel generated by the Bayer array filter in the CCD according to the preview image shooting and the recording image shooting, respectively. Different pixel interpolation is possible, and when taking a preview image,Output monitor typeAccordingly, pixel interpolation can be performed in consideration of image quality as well as the processing speed of image data.
[0070]
According to the invention according to claim 7 of the present application, in the electronic still camera, the pixel interpolating unit is configured to detect a missing pixel generated by the Bayer array filter in the CCD according to the preview image shooting and the recording image shooting, respectively. Different pixel interpolation is possible, and at the time of recording a recorded image, since different pixel interpolation is possible according to the compression rate set by the image compression unit, the compression rate is particularly high. When the value is set high, the pixel interpolation unit can compensate for a time loss in the compression process by using pixel interpolation with a high processing speed.
[0071]
According to the invention of claim 8 of the present application, in the electronic still camera, the gamma correction unit is configured to be capable of controlling a plurality of different gradation characteristics, and the gamma correction unit is configured to capture a preview image. Unlike when recording images,Tone characteristic control suitable for monitorsIs set, the visibility of the preview image on the monitor is improved, and focusing with the preview image can be easily performed.
[Brief description of the drawings]
FIG. 1 is a perspective view of an electronic still camera according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of the electronic still camera.
FIG. 3 is a flowchart of a photographing operation of the electronic still camera.
FIG. 4 is a diagram showing exposure characteristics of the electronic still camera.
FIG. 5 is a diagram showing exposure characteristics of the electronic still camera.
FIG. 6 is a subroutine by processing of a pixel interpolation unit of the electronic still camera.
FIG. 7 is a diagram showing a flow of interpolation means a in the pixel interpolation unit.
FIG. 8 is a diagram showing a flow of interpolation means b in the pixel interpolation unit.
FIG. 9 is a diagram showing a flow of interpolation means c in the pixel interpolation unit.
FIG. 10 is a diagram illustrating a flow of each color data in a band correction unit of the electronic still camera.
FIG. 11 is a diagram illustrating frequency characteristics after processing in the band correction unit.
FIG. 12 is a gamma curve A representing gradation characteristics used in the gamma correction unit of the electronic still camera.
FIG. 13 is a gamma curve B representing gradation characteristics used in the gamma correction unit.
FIG. 14 is a gamma curve C representing gradation characteristics used in the gamma correction unit.
FIG. 15 is a gamma curve D representing gradation characteristics used in the gamma correction unit.
[Explanation of symbols]
1 ... Electronic still camera
6 ... Imaging lens
7 ... Optical aperture
8 ... CCD
9 ... AGC
12. Image processing CPU
13: Pixel interpolation unit
16: Gamma correction section
17: Image compression unit
20 ... Built-in monitor
21 ... External monitor
22 ... Memory card
27 ... Camera operation switch

Claims (8)

記録画像撮影前に画像をモニタに出力するプレビュー機能を備え、露出設定値を制御する露出制御部と、画像データを構成する各色データについて画素補間する画素補間部と、階調特性を制御するガンマ補正部とを有し、複数のモニタのいずれかに階調特性制御後の画像データが出力可能である電子スチルカメラにおいて、
上記露出制御部、画素補間部及びガンマ補正部が、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる露出制御,画素補間制御及び階調特性制御が可能であるように構成されており、
上記ガンマ補正部では、プレビュー画像撮影時に、出力先のモニタの種類に応じて、所定の階調特性が用いられることを特徴とする電子スチルカメラ。
An exposure control unit that controls the exposure setting value, a pixel interpolation unit that performs pixel interpolation for each color data constituting the image data, and a gamma that controls gradation characteristics In an electronic still camera having a correction unit and capable of outputting image data after gradation characteristic control to any of a plurality of monitors,
The exposure control unit, the pixel interpolation unit, and the gamma correction unit are configured to be able to perform different exposure control, pixel interpolation control, and gradation characteristic control, respectively, according to preview image shooting and recorded image shooting,
An electronic still camera characterized in that the gamma correction unit uses predetermined gradation characteristics according to the type of monitor at the output destination when photographing a preview image.
上記露出制御部では、プレビュー画像撮影時に、光学絞りの口径が記録画像撮影時より大きく設定されることを特徴とする請求項1記載の電子スチルカメラ。  2. The electronic still camera according to claim 1, wherein the exposure control unit sets the aperture of the optical aperture to be larger when shooting the preview image than when shooting the recorded image. 上記露出制御部では、プレビュー画像撮影時に、明るい環境では、記録画像撮影時よりもシャッタ速度が低速に設定される一方、暗い環境では、記録画像撮影時よりもシャッタ速度が高速に設定されることを特徴とする請求項1又は2に記載の電子スチルカメラ。  In the exposure control unit, when the preview image is captured, the shutter speed is set to be lower than that at the time of recording image shooting in a bright environment, whereas the shutter speed is set to be higher than that at the time of recording image recording in a dark environment. The electronic still camera according to claim 1 or 2. 記録画像撮影前に画像をモニタに出力するプレビュー機能を備え、露出設定値を制御する露出制御部を有する電子スチルカメラにおいて、
上記露出制御部が、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる露出制御が可能であるように構成されており、
上記露出制御部では、プレビュー画像撮影時に、明るい環境において、記録画像撮影時よりもシャッタ速度が低速に設定される一方、暗い環境においては、記録画像撮影時よりもシャッタ速度が高速に設定されることを特徴とする電子スチルカメラ。
In an electronic still camera having a preview function for outputting an image to a monitor before shooting a recorded image and having an exposure control unit for controlling an exposure setting value,
The exposure control unit is configured to be able to perform different exposure control according to preview image shooting and recorded image shooting,
In the exposure control unit, the shutter speed is set to be lower than that at the time of recording image shooting in a bright environment at the time of preview image shooting, while the shutter speed is set to be higher than that at the time of recording image shooting in a dark environment. This is an electronic still camera.
上記露出制御部では、プレビュー画像撮影時に、光学絞りの口径が記録画像撮影時より大きく設定されることを特徴とする請求項4記載の電子スチルカメラ。  5. The electronic still camera according to claim 4, wherein in the exposure control unit, the aperture of the optical aperture is set larger at the time of preview image shooting than at the time of recording image shooting. 記録画像撮影前に画像をモニタに出力するプレビュー機能を備え、ベイヤー配列のフィルタを備えたCCDと該ベイヤー配列に対応する各画素出力に対してそれを補間する画素補間部とを有し、種類の異なる複数のモニタのいずれかに画素補間後の画像データが出力可能である電子スチルカメラにおいて、
上記画素補間部が、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる画素補間が可能であり、プレビュー画像撮影時には、更に、画像データの出力先のモニタの種類に応じて、それぞれ異なる画素補間が可能であるように構成されていることを特徴とする電子スチルカメラ。
Includes a preview function of outputting the image on a monitor before printing the image capturing, and a pixel interpolating unit that interpolates it to each pixel output corresponding to the CCD and the Bayer array having a filter of the Bayer array type In an electronic still camera that can output image data after pixel interpolation to any of a plurality of different monitors,
The pixel interpolation unit can perform different pixel interpolation according to the preview image capturing and the recorded image capturing. When the preview image is captured, the pixel interpolating unit further differs depending on the type of monitor to which the image data is output. An electronic still camera characterized by being configured to be capable of interpolation.
記録画像撮影前に画像をモニタに出力するプレビュー機能を備え、ベイヤー配列のフィルタを備えたCCDと該ベイヤー配列に対応する各画素出力に対してそれを補間する画素補間部とを有する電子スチルカメラにおいて、
記録画像撮影時に画像データを所定の圧縮率で圧縮する画像圧縮部が設けられており、
上記画素補間部が、プレビュー画像撮影時および記録画像撮影時に応じて、それぞれ異なる画素補間が可能であり、記録画像撮影時には、更に、該画像圧縮部にて設定される圧縮率に応じて、それぞれ異なる画素補間が可能であるように構成されていることを特徴とする電子スチルカメラ。
An electronic still camera having a preview function for outputting an image to a monitor before shooting a recorded image, and having a CCD having a Bayer array filter and a pixel interpolation unit for interpolating each pixel output corresponding to the Bayer array In
An image compression unit that compresses image data at a predetermined compression rate at the time of recording image recording is provided,
The pixel interpolation unit can perform different pixel interpolation according to the preview image capturing and the recording image capturing. When the recorded image is captured, the pixel interpolating unit is further configured according to the compression rate set by the image compressing unit. An electronic still camera, characterized in that different pixel interpolation is possible.
記録画像撮影前に画像をモニタに出力するプレビュー機能を備え、階調特性を制御するガンマ補正部を有する電子スチルカメラにおいて、
上記ガンマ補正部が、それぞれ異なる複数の階調特性制御が可能であるように構成されており、該ガンマ補正部では、プレビュー画像撮影時に、記録画像撮影時とは相違して、上記モニタに適した階調特性制御が設定されることを特徴とする電子スチルカメラ。
In an electronic still camera having a gamma correction unit that has a preview function for outputting an image to a monitor before recording a recorded image and controls gradation characteristics,
The gamma correction unit is configured to be capable of controlling a plurality of different gradation characteristics, and the gamma correction unit is suitable for the monitor, unlike when recording a recorded image, when shooting a preview image. An electronic still camera, wherein gradation characteristic control is set.
JP16248497A 1997-06-19 1997-06-19 Electronic still camera Expired - Fee Related JP3763555B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP16248497A JP3763555B2 (en) 1997-06-19 1997-06-19 Electronic still camera
US09/100,799 US7057653B1 (en) 1997-06-19 1998-06-19 Apparatus capable of image capturing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16248497A JP3763555B2 (en) 1997-06-19 1997-06-19 Electronic still camera

Publications (2)

Publication Number Publication Date
JPH1117995A JPH1117995A (en) 1999-01-22
JP3763555B2 true JP3763555B2 (en) 2006-04-05

Family

ID=15755500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16248497A Expired - Fee Related JP3763555B2 (en) 1997-06-19 1997-06-19 Electronic still camera

Country Status (1)

Country Link
JP (1) JP3763555B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6123935B2 (en) * 2016-04-28 2017-05-10 セイコーエプソン株式会社 IMAGING DISPLAY DEVICE, IMAGING DEVICE, IMAGE PROCESSING DEVICE, AND IMAGING DISPLAY DEVICE CONTROL METHOD

Also Published As

Publication number Publication date
JPH1117995A (en) 1999-01-22

Similar Documents

Publication Publication Date Title
US7057653B1 (en) Apparatus capable of image capturing
JP4163353B2 (en) Image processing device
JP3530907B2 (en) Digital camera
JP3528184B2 (en) Image signal luminance correction apparatus and luminance correction method
US7358988B1 (en) Image signal processor for performing image processing appropriate for an output device and method therefor
JP4210021B2 (en) Image signal processing apparatus and image signal processing method
JP4470901B2 (en) Imaging apparatus, high-frequency component detection circuit, high-frequency component detection method, and computer program
US11798143B2 (en) Image processing apparatus and control method thereof
JP4568484B2 (en) Image processing method and digital camera
JP4212741B2 (en) Image processing device
JP3997786B2 (en) Imaging device, display device, image recording device, and image quality correction method
JP2008160291A (en) Image signal processor, image signal processing program, and imaging apparatus
JP4880375B2 (en) Image signal processing apparatus and image signal processing method
JP2007266956A (en) Imaging apparatus, impulse component detecting circuit, impulse component removing circuit, impulse component detecting method, impulse component removing method, and computer program
JPH10322592A (en) Method and device for controlling electronic camera
JP3064961B2 (en) Electronic still camera
JP3198983B2 (en) Electronic still camera
JP3433653B2 (en) Electronic still camera
JP3763555B2 (en) Electronic still camera
JP2009038818A (en) Image processing method and digital camera
JP3463526B2 (en) Electronic still camera
JP3822486B2 (en) Electronic camera and signal processing method
JP2004304635A (en) Image processing method and image processing apparatus
JP2004343177A (en) Imaging apparatus
JP2004120511A (en) Imaging apparatus

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20031125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040123

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040304

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040413

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060116

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100127

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100127

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110127

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110127

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120127

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120127

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130127

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140127

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees