JP2009049981A - Image sensing apparatus and method of controlling the same - Google Patents
Image sensing apparatus and method of controlling the same Download PDFInfo
- Publication number
- JP2009049981A JP2009049981A JP2008182529A JP2008182529A JP2009049981A JP 2009049981 A JP2009049981 A JP 2009049981A JP 2008182529 A JP2008182529 A JP 2008182529A JP 2008182529 A JP2008182529 A JP 2008182529A JP 2009049981 A JP2009049981 A JP 2009049981A
- Authority
- JP
- Japan
- Prior art keywords
- gain
- image
- amplifier
- imaging apparatus
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置及びその制御方法に関し、更に詳しくは、動画像の撮影時の撮像装置の感度制御に関する。 The present invention relates to an imaging apparatus and a control method therefor, and more particularly to sensitivity control of an imaging apparatus when capturing a moving image.
従来、メモリ素子を有するメモリカードの記録媒体に、CCD、CMOS等の撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置が市販されている。 2. Description of the Related Art Conventionally, an imaging apparatus such as an electronic camera that records and reproduces a still image or a moving image captured by an imaging element such as a CCD or CMOS on a recording medium of a memory card having a memory element is commercially available.
これらの電子カメラの中には、撮影シーンの輝度に応じて自動的に感度を変える撮影モードを有するものが多くあり、この撮影モードで撮影することで、適切な撮影条件での撮影を可能としている。特に電子ビデオカメラのような、動画を撮影し記録する撮像装置においては、撮影シーンの輝度変化に応じて撮影者が手動で感度を調整することはほどんどなく、自動的に感度制御が行われている。 Many of these electronic cameras have a shooting mode that automatically changes the sensitivity according to the brightness of the shooting scene. Shooting in this shooting mode enables shooting under appropriate shooting conditions. Yes. Especially in an imaging device that captures and records moving images, such as an electronic video camera, the sensitivity is automatically controlled by the photographer with little or no manual adjustment of the sensitivity according to changes in the brightness of the shooting scene. ing.
ところで、電子カメラにおける露出制御としては、まずは、絞りなどによる撮像素子への光学的な入射光量の制御、及び、メカニカルシャッタや電子シャッタによる時間的な入射光量の制御が行われる。しかしながら、被写体の輝度が低く、光学的、時間的な露出制御のみでは十分な信号量が得られない場合など、高感度設定が必要となる場合には、撮像素子の光電変換部で生成された電気信号を増幅する電気的な制御が行われている。 By the way, as exposure control in an electronic camera, first, control of the optical incident light quantity to the image sensor by a diaphragm or the like, and control of temporal incident light quantity by a mechanical shutter or an electronic shutter are performed. However, when high sensitivity settings are required, such as when the brightness of the subject is low and sufficient signal amount cannot be obtained by optical and temporal exposure control alone, it is generated by the photoelectric conversion unit of the image sensor. Electrical control for amplifying the electrical signal is performed.
電子カメラにおける電気信号を増幅するにはいくつかの手段がある。図7は、従来の電子カメラ等の撮像装置における電気信号の流れ及び増幅器の一例を説明するブロック図である。 There are several means for amplifying electrical signals in electronic cameras. FIG. 7 is a block diagram illustrating an example of an electric signal flow and an amplifier in an imaging apparatus such as a conventional electronic camera.
撮像素子201には、各々が光電変換部を含む複数の画素202が配置されている。光電変換部において生成された電気信号は、垂直出力線を通り、複数の画素202の各列に備えられた列アンプ203にそれぞれ入力される。列アンプ203のゲインは変更することができる。ただし、撮像素子201内のレイアウト上の制約や、撮像素子201への制御信号線の本数の制約などから、ゲインは、1倍,2倍,4倍,8倍…などの離散的な設定値を持つことが多い。
In the
列アンプ203により増幅された電気信号は、水平シフトレジスタを通り、出力アンプ204に入力される。出力アンプ204のゲインも変更することができる。ただし、列アンプ203と同様に、撮像素子201内のレイアウト上の制約などから、離散的な設定値を持つことが多い。しかしながら、列の数だけ備える必要がある列アンプ203に比べると、出力アンプ204は出力端子の数だけ備えればよいため、そのゲインの選択の自由度は高い。
The electric signal amplified by the
出力アンプ204により増幅された電気信号は、撮像素子201から出力され、アナログ信号処理回路(Analog Front End: AFE)205に入力される。アナログ信号処理回路205に入力された電気信号は、相関2重サンプリング回路(CDS)206等で、いくつかのアナログ信号処理を施された後、アナログ信号アンプ(PGA)207に入力される。アナログ信号アンプ207のゲインも可変であるが、撮像素子201の内部に配置された列アンプ203や出力アンプ204と比べて、より連続的なゲインを設定することが可能である。
The electric signal amplified by the
アナログ信号アンプ207により増幅された電気信号は、A/D変換部208においてアナログ信号からデジタル信号へと変換された後、アナログ信号処理回路205から出力される。そして、デジタル信号処理回路(Digital Front End: DFE/映像エンジン)209に入力される。
The electric signal amplified by the
デジタル信号処理回路209において、各種補正処理や現像処理とともに、デジタル増幅処理が行われる。このデジタル増幅処理も、ゲインが可変であって、そのゲインの設定は、アナログ信号アンプ207におけるゲイン設定よりも、更に細かく連続的にすることが可能である。
In the digital
デジタル信号処理回路209から出力された電気信号は、メモリに格納され、表示装置への表示や記録媒体への記録に用いられる。
The electrical signal output from the digital
ところで、得られる画像の画質について考えると、最終的なノイズの量は、どの増幅処理でゲインがかけられたかによって異なる。即ち、列アンプ203でゲインをかけた場合には、増幅されるノイズは、列アンプ203に入力される前の画素及び垂直出力線で発生しているノイズのみである。そのため、撮像素子201内の水平シフトレジスタ以降の、アナログ信号処理回路205、デジタル信号処理回路209及びそれらを接続する配線において発生したノイズは、増幅されない。
By the way, considering the image quality of the obtained image, the final amount of noise differs depending on which amplification processing is applied with gain. That is, when gain is applied by the
一方、デジタル信号処理回路209でゲインをかけた場合には、デジタル信号処理回路209に入力される前の経路で発生したノイズが、信号のゲインと同じだけ増幅される。そのため、デジタル信号処理回路209でゲインをかけた場合には、列アンプ203でゲインをかけた場合と比べて、最終的なノイズの量が大きくなる。
On the other hand, when gain is applied by the digital
このように、より前段の増幅器でゲインをかけた方が、よりノイズの少ない高画質の画像を得ることができる。 In this way, a higher quality image with less noise can be obtained by applying gain with the amplifier in the previous stage.
次に、動画撮影時に入射光量の変化が起こった際のゲインの調整について考える。デジタル信号処理回路209でゲインをかけた場合には、感度、画像のノイズ感、シェーディング等の画像特性などが、信号にかけるゲインに従って変化する。ただし、ゲイン設定も細かく連続的であるため、ゲインが調整されたことが分かりにくい。
Next, the adjustment of the gain when the incident light amount changes during moving image shooting will be considered. When gain is applied by the digital
一方、列アンプ203を用いてゲインをかけた場合には、シェーディング、感度等が撮像素子の性能によっては必ずしもゲインに比例しないことがある。また、ゲイン設定が粗く離散的であるため、ノイズ感など画像特性の変化も大きくなり、ゲインが調整されたことがユーザに分かってしまう可能性がある。その結果、頻繁に被写体輝度が変わり、ゲインの調整が頻繁に起こる状況下では、画像がちらついて、目障りに感じられる恐れがある。
On the other hand, when gain is applied using the
このように、入射光量に応じた細かく滑らかな感度設定を行うためには、より連続的なゲイン設定が可能なデジタル信号処理回路209でゲインをかける必要がある。
Thus, in order to perform fine and smooth sensitivity setting according to the amount of incident light, it is necessary to apply gain by the digital
以上のように、電子カメラにおける感度設定は、どの段階でゲインが変更されるかによって上述のような特徴がある。そのため、画質が重視される静止画撮影が用途の中心となるスチルカメラでは、撮像素子の内部に配置された増幅器を用いてより前段でゲインをかける処理が適している。一方、フレームごとのつながりが重要である動画撮影を中心となるビデオカメラでは、アナログ信号処理ICや映像エンジンにおける増幅器を用いた連続的なゲインをかける処理が適している。 As described above, the sensitivity setting in the electronic camera has the above-described characteristics depending on at which stage the gain is changed. For this reason, in a still camera in which still image shooting where importance is placed on image quality is the main application, a process of applying gain in the previous stage using an amplifier arranged inside the image sensor is suitable. On the other hand, in a video camera centering on moving image shooting in which connection for each frame is important, a process of applying continuous gain using an amplifier in an analog signal processing IC or a video engine is suitable.
より具体的には、例えば、監視カメラなどは、低照度環境下でも人物の顔などを認識できる性能が必要とされる。そのため、高感度で高画質な動画像を得ることができ、かつ、撮影環境の変化に敏感に対応して感度を調整することができる性能が必要とされる。しかしながら、上述したようにアナログ信号処理ICや映像エンジンにおける増幅器ゲインをかけると、それまでに発生したノイズも増幅されてしまうため、画質が劣る。一方、撮像素子の内部に配置された増幅器によりゲインをかけると、設定可能なゲイン値が離散的であるために、動画像として見たときに、画像がちらついてしまい、結果として画質が落ちてしまうことがあった。 More specifically, for example, a surveillance camera or the like is required to have a capability of recognizing a human face or the like even in a low illumination environment. Therefore, it is necessary to have a performance that can obtain a high-sensitivity and high-quality moving image and can adjust sensitivity in response to changes in the shooting environment. However, as described above, when an amplifier gain is applied in an analog signal processing IC or a video engine, noise generated so far is also amplified, resulting in poor image quality. On the other hand, when gain is applied by an amplifier arranged inside the image sensor, the settable gain values are discrete, so when viewed as a moving image, the image flickers, resulting in poor image quality. There was a case.
具体的な例を挙げると、明るい環境下で人や物がカメラの前を横切った場合は、撮像装置への入射光量が一旦急激に減少し、すぐに元の光量に戻る。このように短時間の急激な輝度の変化に応じた感度調整を、撮像素子の内部に配置された増幅器を用いて離散的なゲインにより行うと、画像の連続性が悪くなり、目障りなちらつきを感じる恐れがあった。 As a specific example, when a person or an object crosses in front of the camera in a bright environment, the amount of light incident on the image pickup device once decreases rapidly and immediately returns to the original amount of light. In this way, if sensitivity adjustment according to a rapid change in luminance is performed with discrete gain using an amplifier arranged inside the image sensor, the continuity of the image deteriorates and obstructive flickering occurs. There was a fear.
本発明は上記問題点を鑑みてなされたものであり、動画像撮影時に、被写体の輝度変化に敏感に対応したゲイン設定を行うと共に、S/N比を向上させることを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to perform gain setting sensitively to changes in luminance of a subject and improve the S / N ratio during moving image shooting.
上記目的を達成するために、本発明の撮像装置は、被写体の光学像を電気信号へ変換する撮像素子と、前記電気信号を第1のゲインで増幅する第1の増幅手段と、前記第1の増幅手段で増幅された電気信号を、前記第1のゲインよりも細かい刻み幅で変更可能な第2のゲインで増幅する第2の増幅手段と、前記撮像素子への入射光量に基づいて第3のゲインを求め、前記第1のゲインと前記第2のゲインの合計が前記第3のゲインとなるように、前記第1のゲイン及び前記第2のゲインを調整する制御手段とを有し、前記制御手段は、前記第3のゲインの内、前記第1のゲインで調整し切れないゲイン分を前記第2のゲインにより調整すると共に、予め設定された輝度差を超える被写体の輝度の変化があり、かつ、前記輝度が変化した状態が予め設定された時間以上継続しない場合には、前記第1のゲインを調整せずに前記第2のゲインを調整することにより前記第3のゲインとなるようにする。 In order to achieve the above object, an imaging apparatus according to the present invention includes an imaging device that converts an optical image of a subject into an electrical signal, first amplification means that amplifies the electrical signal with a first gain, and the first A second amplifying unit that amplifies the electric signal amplified by the amplifying unit with a second gain that can be changed with a step size finer than the first gain, and a second amount based on the amount of light incident on the image sensor. And a control means for adjusting the first gain and the second gain so that a sum of the first gain and the second gain becomes the third gain. The control means adjusts, by the second gain, a gain that cannot be adjusted by the first gain among the third gain, and changes in the luminance of the subject exceeding a preset luminance difference And there is a state in which the luminance has changed. If you do not continue because the set time or more, so that the said third gain by adjusting the second gain without adjusting the first gain.
また、被写体像を電気信号に変換する撮像素子を備える撮像装置の本発明の制御方法は、前記電気信号を第1のゲインで増幅する工程と、前記第1のゲインで増幅された電気信号を、前記第1のゲインよりも細かい刻み幅で変更可能な第2のゲインで増幅する工程と、前記撮像素子への入射光量に基づいて第3のゲインを設定する工程と、前記第1のゲインと前記第2のゲインの合計が前記第3のゲインとなるように、前記第1のゲイン及び前記第2のゲインを調整する制御工程とを有し、前記制御工程では、前記第3のゲインの内、前記第1のゲインで調整し切れないゲイン分を前記第2のゲインにより調整すると共に、予め設定された輝度差を超える被写体の輝度の変化があり、かつ、前記輝度が変化した状態が予め設定された時間以上継続しない場合には、前記第1のゲインを調整せずに前記第2のゲインを調整することにより前記第3のゲインとなるようにする。 According to another aspect of the present invention, there is provided a method of controlling an image pickup apparatus including an image pickup device that converts an object image into an electric signal. The method includes a step of amplifying the electric signal with a first gain; A step of amplifying with a second gain that can be changed with a smaller step size than the first gain, a step of setting a third gain based on the amount of light incident on the image sensor, and the first gain And a control step of adjusting the first gain and the second gain so that the sum of the second gains becomes the third gain. In the control step, the third gain Among these, the amount of gain that cannot be adjusted by the first gain is adjusted by the second gain, the luminance of the subject exceeds the preset luminance difference, and the luminance has changed Is more than the preset time If not continue to make it so that the third gain by adjusting the second gain without adjusting the first gain.
本発明によれば、動画像撮影時に、被写体の輝度変化に敏感に対応したゲイン設定を行うと共に、S/N比を向上させることができる。 According to the present invention, at the time of moving image shooting, it is possible to perform gain setting that responds sensitively to a change in luminance of a subject and improve the S / N ratio.
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。 The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.
<第1の実施形態>
図1は、本発明の好適な実施の形態に係る撮像装置の構成を示すブロック図である。
<First Embodiment>
FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to a preferred embodiment of the present invention.
101はレンズ及び絞りを含む光学系、102はメカニカルシャッタ、103は被写体の光学像を電気信号に変換して出力する撮像素子である。104は撮像素子103の内部において入射光を電気信号(画像データ)に変換する光電変換部、105は撮像素子103の内部において、光電変換部104により光電変換された電気信号を増幅する信号増幅回路である。撮像素子103は信号増幅回路105により増幅された電気信号を出力する。106は撮像素子103から出力された電気信号に対してアナログ信号処理を行うアナログ信号処理回路である。107は撮像素子103から出力された電気信号に相関二重サンプリングを行うCDS回路である。108はアナログ信号処理回路106の内部においてアナログ信号であるCDS回路107から出力された電気信号を増幅させる、アナログアンプであるプログラマブルゲインアンプ(PGA)である。109はアナログ信号処理回路106の内部において増幅されたアナログ信号である電気信号をデジタル信号に変換するA/D変換器である。
110は撮像素子103及びアナログ信号処理回路106を動作させる信号を発生するタイミング信号発生回路、111は光学系101及びメカニカルシャッタ102の駆動回路である。112は撮影した画像データに必要なデジタル信号処理を行うデジタル信号処理回路であり、デジタルアンプ121と、画像処理回路122とを含む。
113は信号処理された画像データを記憶する画像メモリ、114は撮像装置から取り外し可能な記録媒体、115は信号処理された画像データを記録媒体114に記録する記録回路である。116は信号処理された画像データを表示する画像表示装置、117は画像表示装置116に画像を表示する表示回路、118は撮像装置全体を制御するシステム制御部である。119はシステム制御部118で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ及びキズアドレス等の補正データを記憶しておく不揮発性メモリ(ROM)である。120は不揮発性メモリ119に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部118が撮像装置を制御する際に使用する揮発性メモリ(RAM)である。
Reference numeral 113 denotes an image memory for storing signal processed image data, 114 denotes a recording medium removable from the imaging apparatus, and 115 denotes a recording circuit for recording the signal processed image data on the
以下、上述のように構成された撮像装置における撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部118の動作開始時において、不揮発性メモリ119から必要なプログラム、制御データ及び補正データを揮発性メモリ120に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部118が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ119から揮発性メモリ120に転送する。或いは、システム制御部118が直接不揮発性メモリ119内のデータを読み出して使用するものとする。
Hereinafter, a photographing operation in the imaging apparatus configured as described above will be described. Prior to the shooting operation, necessary programs, control data, and correction data are transferred from the
まず、駆動回路111は、システム制御部118からの制御信号により、光学系101の絞りとレンズを駆動して、被写体像を複数の画素が配置された撮像素子103上に結像させる。メカニカルシャッタ102は、静止画像撮影時に、システム制御部118からの制御信号により、必要な露光時間となるように撮像素子103の動作に合わせて撮像素子103を遮光するように駆動する。このとき、撮像素子103が電子シャッタ機能を有する場合は、メカニカルシャッタ102と併用して、必要な露光時間を確保してもよい。また、メカニカルシャッタ102は、動画像撮影時においては、システム制御部118からの制御信号により、撮影中は常に撮像素子103が露光されているように、開放状態に維持される。
First, the
撮像素子103は、システム制御部118により制御されるタイミング信号発生回路110が発生する動作パルスをもとにした駆動パルスにより駆動され、光電変換部104において被写体像を光電変換により電気信号に変換する。信号増幅回路105(第1の増幅手段)は、第1のゲインを電気信号にかけ、アナログの画像データとして出力する。撮像素子103から出力された画像データは、システム制御部118により制御されるタイミング信号発生回路110が発生する動作パルスにより、CDS回路107において処理され、クロック同期性ノイズが除去される。そして、プログラマブルゲインアンプ108において、入射光量(被写体輝度)に応じて設定されたゲインをかけられ、A/D変換器109でデジタルの画像データに変換される。
The
次に、システム制御部118により制御されるデジタル信号処理回路112のデジタルアンプ121(第2の増幅手段)において、入射光量に応じて設定された第2のゲインがデジタルの画像データにかけられる。また、画像処理回路122は、デジタルの画像データに対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ113は、信号処理中のデジタルの画像データを一時的に記憶したり、信号処理されたデジタルの画像データを記憶したりするために用いられる。
Next, in the digital amplifier 121 (second amplification unit) of the digital
デジタル信号処理回路112で信号処理された画像データや画像メモリ113に記憶されている画像データは、記録回路115において記録媒体114に適したデータ(例えば、階層構造を持つファイルシステムデータ)に変換され、記録媒体114に記録される。或いは、デジタル信号処理回路112で解像度の変換処理が実施された後、表示回路117において画像表示装置116に適した信号(例えば、NTSC方式のアナログ信号等)に変換されて画像表示装置116に表示される。
The image data signal-processed by the digital
なお、デジタル信号処理回路112においては、システム制御部118からの制御信号により、信号処理を行わずに、そのまま画像データとして、画像メモリ113や記録回路115に出力してもよい。また、デジタル信号処理回路112は、システム制御部118から要求があった場合、信号処理の過程で生じた画像データの情報をシステム制御部118に出力する。このような情報には、例えば、画像の空間周波数、指定領域の画像データの平均値(輝度情報等)、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報がある。さらに、記録回路115は、システム制御部118から要求があった場合、記録媒体114の種類や空き容量等の情報をシステム制御部118に出力する。システム制御部118はまた、入射光量に応じて第3のゲインを設定し、第1のゲインと第2のゲインの合計が第3のゲインとなるように、第1のゲイン及び前記第2のゲインを調整する機能を備える。なお、入射光量は、例えば、デジタル信号処理回路112から得られる輝度情報に基づいて求めることができる。また、撮像素子103内でかけられた第1のゲイン及びプログラマブルゲインアンプ108によりかけられたゲイン及びデジタルアンプ121によりかけられた第2のゲインも考慮され、次のフレームの第3のゲインが決定される。
Note that the digital
次に、記録媒体114に画像データが記録されている場合の再生動作について説明する。記録回路115は、システム制御部118からの制御信号により、記録媒体114から画像データを読み出す。そして、デジタル信号処理回路112は、システム制御部118からの制御信号により、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ113に記憶する。画像メモリ113に記憶された画像データは、デジタル信号処理回路112で解像度の変換処理が実施された後、表示回路117において画像表示装置116に適した信号に変換されて画像表示装置116に表示される。
Next, a reproduction operation when image data is recorded on the
次に、図2を用いて、入射光量に応じたゲイン設定の一例を説明する。 Next, an example of gain setting according to the amount of incident light will be described with reference to FIG.
図2のグラフにおいて、横軸は入射光量を表す。図2のグラフでは、右側ほど低照度であり、そのため高いゲインをかけるような設定となっている。また、図2のグラフにおいて、縦軸は各アンプのゲインのデシベル値(dB)を表す。図2では、撮像素子103の信号増幅回路105において、例えば6dB単位で変更可能な第1のゲインをかける。次いで、より細かい刻み幅で変更可能な第2のゲインをデジタル信号処理回路112のデジタルアンプ121でかけるようにゲインが設定されている。また、第1のゲイン及び第2のゲインの合計は、被写体像の輝度の変化に応じて設定される第3のゲインとなるように調整される。このように、第3のゲインの内、第1のゲインで調整しきれないゲイン分を第2のゲインにより調整する。
In the graph of FIG. 2, the horizontal axis represents the amount of incident light. In the graph of FIG. 2, the lower the illumination is on the right side, the higher gain is set. In the graph of FIG. 2, the vertical axis represents the decibel value (dB) of the gain of each amplifier. In FIG. 2, in the
例えば、被写体像の輝度の変化に応じて第3のゲインを9dBに設定する場合、第1のゲインを6dBに設定し、第2のゲインを3dBに設定する。ただし、後述するように、被写体の輝度が低下してから予め設定された時間の間は、第1のゲインを変えずに、第2のゲインのみにより輝度変化に対応したゲイン調整を行う。そして、被写体の輝度が変化してから、変化した輝度レベルのまま予め設定された時間が経過した後は、第1のゲインも変化させて、図2にグラフに示すように第1のゲインと第2のゲインとを設定して第3のゲインとなるようにする。 For example, when the third gain is set to 9 dB according to the change in the luminance of the subject image, the first gain is set to 6 dB and the second gain is set to 3 dB. However, as will be described later, during the preset time after the luminance of the subject decreases, the gain adjustment corresponding to the luminance change is performed only by the second gain without changing the first gain. Then, after a predetermined time has passed with the changed luminance level after the luminance of the subject has changed, the first gain is also changed, and as shown in the graph of FIG. The second gain is set to be the third gain.
具体的には、例えば、被写体の輝度が低下した直後は、第2のゲインを例えば9dBに設定し、被写体の輝度が安定した後に、例えば、第1のゲインを6dB、第2のゲインを3dBに設定する。また、図2に示すように、例えば6dBのゲインをかける場合には、被写体の輝度変化があった直後に、第2のゲインを6dBに設定し、被写体の輝度が安定した後に、第1のゲインを6dBに設定する。このような構成により、低照度時で高感度設定が必要な撮影環境下において、信号増幅回路105における増幅を使用することによって、ノイズの少ない高画質の画像が得られる。一方、微小な入射光量変化に伴うゲインの変更は、デジタル信号アンプによる増幅を使用することによって、動画像撮影時に、ゲイン変更によるちらつきを抑えることができる。
Specifically, for example, immediately after the luminance of the subject decreases, the second gain is set to 9 dB, for example, and after the luminance of the subject is stabilized, for example, the first gain is 6 dB and the second gain is 3 dB. Set to. As shown in FIG. 2, for example, when a gain of 6 dB is applied, the second gain is set to 6 dB immediately after the luminance change of the subject, and after the luminance of the subject is stabilized, the first gain is set. Set the gain to 6 dB. With such a configuration, a high-quality image with less noise can be obtained by using amplification in the
図4は、本発明の第1の実施形態に係る撮像装置の制御方法に関するフローチャートの一例である。本フローチャートの各工程は、特に明示されていない限り、図1のシステム制御部118により実行される。
FIG. 4 is an example of a flowchart relating to the control method of the imaging apparatus according to the first embodiment of the present invention. Each step of this flowchart is executed by the
図4において、撮影が開始されると、まず、被写体の輝度を測定する(ステップS101)。次いで、その輝度が前回の測定時の値と比較して変化しているか否かを判定する(ステップS102)。なお、輝度が変化しているか否かの判断は、前回の測定時の輝度と、今回測定した輝度との差が予め決められた輝度差の範囲内にあるか否かで判断する。予め決められた範囲は、例えば、直近の「輝度が変化した」と判断された時に設定された第3のゲインをxn(xは基準となるdBの値)とした場合に、x(n−1)からx(n+1)の間のゲインに変更する必要があるような輝度の変化の範囲とする。ステップS102では、この範囲を超える場合には被写体の輝度が変化していると判断し、この範囲内の場合には被写体輝度が変化していないものと判断する。 In FIG. 4, when shooting is started, first, the luminance of the subject is measured (step S101). Next, it is determined whether or not the luminance has changed compared to the value at the previous measurement (step S102). Whether or not the luminance has changed is determined based on whether or not the difference between the luminance at the previous measurement and the luminance measured this time is within a predetermined luminance difference range. The predetermined range is, for example, x (n− when the third gain set when it is determined that the “brightness has changed” most recently is xn (x is a reference dB value). The range of change in luminance is required to be changed to a gain between 1) and x (n + 1). In step S102, if it exceeds this range, it is determined that the subject brightness has changed, and if within this range, it is determined that the subject brightness has not changed.
そして、被写体輝度が変化している場合には(ステップS102で「Yes」)、その輝度の変化量に応じて、デジタルアンプ121の第2のゲインを変更し(ステップS103)、ステップS107へ進む。なお、ステップS103では、図2で説明したような信号増幅回路105を用いたゲインの調整は行わず、デジタルアンプ121の第2のゲインによってのみ調整する。
If the subject brightness has changed (“Yes” in step S102), the second gain of the digital amplifier 121 is changed according to the brightness change amount (step S103), and the process proceeds to step S107. . In step S103, the gain adjustment using the
一方、被写体輝度が変化していない場合には(ステップS102で「No」)、直近の「輝度が変化した」と判断された時から所定時間が経過したか否かを判定する(ステップS104)。なお、所定時間は、例えば、撮影の目的や撮像装置の特性、使用者の好みなどに応じて、例えば撮影モードごと、撮像装置ごとなどに、適宜設定すればよい。 On the other hand, if the subject brightness has not changed (“No” in step S102), it is determined whether or not a predetermined time has elapsed since the most recent “brightness change” was determined (step S104). . Note that the predetermined time may be set as appropriate, for example, for each shooting mode, each imaging device, or the like according to the purpose of shooting, the characteristics of the imaging device, the user's preference, and the like.
所定時間が経過していた場合には(ステップS104で「Yes」)、図2において上述したような予め定められた所望の設定になるように、信号増幅回路105とデジタルアンプ121の第1及び第2のゲインの配分を調整(ステップS105)する。そして、ステップS107へ進む。
If the predetermined time has elapsed (“Yes” in step S104), the first and the first amplifiers of the
ステップS104における時間判定において、所定時間が経過していない(即ち、輝度の変化が所定時間以上継続していない)と判定された場合(ステップS104で「No」)、ステップS106に進む。そして、測定された被写体の輝度に基づいて、必要に応じてデジタルアンプ121の第2のゲインを調整し、ステップS107に進む。 In the time determination in step S104, if it is determined that the predetermined time has not elapsed (that is, the luminance change has not continued for a predetermined time or more) ("No" in step S104), the process proceeds to step S106. Then, based on the measured luminance of the subject, the second gain of the digital amplifier 121 is adjusted as necessary, and the process proceeds to step S107.
ステップS107では、本撮影を終了させるか否かを判定する。撮影を終了しない場合には(ステップS107で「No」)、ステップS101に戻って被写体輝度を再度測定して、上記処理を繰り返す。撮影を終了する場合には(ステップS107で「Yes」)、そのまま撮影を終了させる。以上により、ゲイン制御がなされる。 In step S107, it is determined whether or not to terminate the main photographing. If the photographing is not finished (“No” in step S107), the process returns to step S101, the subject brightness is measured again, and the above process is repeated. When the shooting is to be ended (“Yes” in step S107), the shooting is ended as it is. As described above, gain control is performed.
次に、図5及び図6を用いて、図4で説明したゲイン制御を用いた場合の効果を説明する。 Next, the effect when the gain control described in FIG. 4 is used will be described with reference to FIGS.
図5は、被写体の輝度が明るい状態から暗い状態へと低下した場合のゲイン制御の経過を説明する図である。なお、図5を用いて説明する撮像装置は、図2を用いて説明したような、撮像素子103の信号増幅回路105及びデジタルアンプ121の2つのアンプのゲインを用いて感度調整する撮像装置とする。
FIG. 5 is a diagram for explaining the progress of gain control when the luminance of the subject decreases from a bright state to a dark state. Note that the imaging apparatus described with reference to FIG. 5 is an imaging apparatus that adjusts sensitivity using the gains of the two amplifiers of the
図5(a)は、太陽光が差し込む明るい室内を撮影している状態を表す。この場合におけるゲインは、信号増幅回路105の第1のゲイン、デジタルアンプ121の第2のゲインともに「0dB」に設定するものとする。
FIG. 5A shows a state in which a bright room into which sunlight is inserted is photographed. The gain in this case is set to “0 dB” for both the first gain of the
図5(b)は、図5(a)の状態から日が陰り、撮影環境が暗くなって間もない状態を表す。この場合、出力が適正となるように感度調整が行われ、第2のゲインが例えば「7dB」に設定される。 FIG. 5B shows a state in which the day is shaded from the state of FIG. In this case, sensitivity adjustment is performed so that the output is appropriate, and the second gain is set to, for example, “7 dB”.
図5(c)は、図5(b)の明るさの状態が維持されたまま所定時間経過した状態を表す。この場合、図2で示したゲイン配分となるように、第1のゲインを「6dB」に、第2のゲインを「1dB」にそれぞれ調整する。 FIG. 5C shows a state where a predetermined time has passed while the brightness state of FIG. 5B is maintained. In this case, the first gain is adjusted to “6 dB” and the second gain is adjusted to “1 dB” so that the gain distribution shown in FIG. 2 is obtained.
図5の一連の輝度変化のように、ある安定した輝度状態から別の安定した輝度状態に推移するような撮影環境に対しては、本撮像装置は、最終的には第1のゲインを主に用いて感度調整を行う。そのため、高感度設定が必要な状況下においてもノイズの少ない高画質な画像を得ることが可能となる。 For a shooting environment in which one stable luminance state transitions to another stable luminance state as in the series of luminance changes in FIG. 5, the imaging apparatus eventually uses the first gain as the main gain. To adjust sensitivity. Therefore, it is possible to obtain a high-quality image with little noise even under a situation where high sensitivity setting is necessary.
図6は、ある程度明るい撮影環境下において、本撮像装置の前を人が横切った場合のゲイン制御の経過を説明する図である。なお、図6を用いて説明する撮像装置も、図5の撮像装置と同様に、撮像素子103の信号増幅回路105及びデジタルアンプ121の2つのアンプのゲインを用いて感度調整する撮像装置とする。
FIG. 6 is a diagram illustrating the progress of gain control when a person crosses the front of the imaging apparatus in a somewhat bright shooting environment. Note that the imaging apparatus described with reference to FIG. 6 is also an imaging apparatus that performs sensitivity adjustment using the gains of the two amplifiers of the
図6(a)は、図5(a)と同様に明るい室内を撮影している状態を表す。この場合におけるゲインは、第1のゲイン、第2のゲインともに「0dB」に設定するものとする。 FIG. 6A shows a state in which a bright room is being photographed as in FIG. The gain in this case is set to “0 dB” for both the first gain and the second gain.
図6(b)は、図6(a)の撮影環境時に人が横切って一時的に入射光量が少なくなり、図5(b)と同様に、感度調整が必要となっている状態を表す。この場合も出力が適正となるように感度調整が行われ、第2のゲインが例えば「7dB」に設定される。 FIG. 6B shows a state where the amount of incident light temporarily decreases when a person crosses in the shooting environment of FIG. 6A, and sensitivity adjustment is necessary as in FIG. 5B. Also in this case, sensitivity adjustment is performed so that the output is appropriate, and the second gain is set to, for example, “7 dB”.
図6(c)は図6(b)に示す人が通り過ぎ、図6(a)の状態に戻った状態を表す。再度、撮影環境は明るくなったため、第2のゲインは「0dB」に戻される。 FIG. 6C shows a state where the person shown in FIG. 6B passes and returns to the state of FIG. Again, since the shooting environment has become brighter, the second gain is returned to “0 dB”.
以上説明したように、図6の一連の輝度変化のように、一時的に輝度が変化するような撮影環境に対しては、本撮像装置は第2のゲインのみで感度調整を行う。そのため、ゲイン変更時のちらつきなどが気にならない、滑らかな動画像を得ることができる。 As described above, the imaging apparatus performs sensitivity adjustment using only the second gain for a shooting environment in which the brightness temporarily changes, such as the series of brightness changes in FIG. Therefore, it is possible to obtain a smooth moving image that is not concerned with flickering when changing the gain.
以上、図5及び図6を用いて説明したように、本発明の好適な実施の形態に係る撮像装置は、高感度時のS/N劣化を抑え、かつ、被写体の周辺環境の変化に敏感に対応し、適切な自動感度設定を行うことが可能となる。 As described above with reference to FIGS. 5 and 6, the imaging apparatus according to the preferred embodiment of the present invention suppresses S / N degradation at high sensitivity and is sensitive to changes in the surrounding environment of the subject. It is possible to perform appropriate automatic sensitivity setting.
以上、図1、図2、図4〜図6を用いて本発明の好適な実施の形態に係る撮像装置について説明したが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。 The image pickup apparatus according to the preferred embodiment of the present invention has been described above with reference to FIGS. 1, 2, and 4 to 6, but the present invention is not limited to this and takes various forms. It is possible.
例えば、図5を用いて説明した輝度変化に対するゲイン配分の調整については、上記の説明では第1のゲインを「0dB」から「6dB」へ変更し、第2のゲインを「7dB」から「1dB」へ変更するように説明した。しかしながら、例えば、第2のゲインを「0dB」から「3dB」を介して「6dB」に変更するなど、段階的に変更してもよい。同様に、第1のゲイン等の他のゲインについても段階的に変更することができる。 For example, regarding the adjustment of the gain distribution with respect to the luminance change described with reference to FIG. 5, in the above description, the first gain is changed from “0 dB” to “6 dB”, and the second gain is changed from “7 dB” to “1 dB”. To change to "". However, for example, the second gain may be changed in stages, such as changing from “0 dB” to “6 dB” via “3 dB”. Similarly, other gains such as the first gain can be changed in stages.
また、上記第1の実施形態では、信号増幅回路105で用いるゲインを第1のゲイン、デジタルアンプ121で用いるゲインを第2のゲインとしたが、ゲイン調節を行うアンプはこれらに限られるものではない。例えば、プログラマブルゲインアンプ108のゲインを変更することも可能であり、その場合、プログラマブルゲインアンプ108のゲインを第2のゲインとしてもよい。また、プログラマブルゲインアンプ108のゲインを第1のゲインとすることも可能である。
In the first embodiment, the gain used in the
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
<Second Embodiment>
Next, a second embodiment of the present invention will be described.
上述した第1の実施形態では、図5及び図6を用いて説明したように、輝度変化に対するゲイン配分の調整については、図2を用いて説明したような第1のゲインと第2のゲインの2種類を併用する形態を説明した。本第2の実施形態では、図3で示すようにアナログ信号処理回路106のプログラマブルゲインアンプ108や、その他備えられたアンプがあればそれを加えて、3つ以上のアンプを併用してもよい。
In the first embodiment described above, as described with reference to FIGS. 5 and 6, the first gain and the second gain as described with reference to FIG. The form which used two types together was demonstrated. In the second embodiment, as shown in FIG. 3, if there is a
図3を用いて、入射光量に応じたゲイン設定の別の一例を説明する。なお、本第2の実施形態においては、撮像素子103内に構成される信号増幅回路105として、図7に示す撮像素子201と同様に、列アンプ(第1の増幅手段)と、列アンプの後段に配置された出力アンプ(第2の増幅手段)とを含むものとする。なお、本第2の実施形態においては、列アンプ及び出力アンプは、それぞれ図7と同じ参照番号により参照する。
Another example of gain setting according to the amount of incident light will be described with reference to FIG. In the second embodiment, as the
図3では、列アンプ203における12dB単位のゲイン設定(第1のゲイン)、出力アンプ204における3dB単位のゲイン設定(第2のゲイン)を使用する。また、アナログ信号処理回路106の内部のプログラマブルゲインアンプ108(第3の増幅手段)における1dB単位のゲイン設定(第3のゲイン)を使用する。更に、デジタル信号処理回路112の内部のデジタルアンプ121(第4の増幅手段)における更に細かい0.2dBのゲイン設定(第4のゲイン)も使用する。
In FIG. 3, the gain setting (first gain) in units of 12 dB in the
例えば、16.2dBのゲインをかける場合には、第1のゲインを12dB、第2のゲインを3dB、第3のゲインを1dB、第4のゲインを0.2dBにそれぞれ設定する。ここでも、上述した第1の実施形態と図2の場合と同様に、被写体の輝度変化があった直後は、第4のゲインを例えば16.2dBに設定し、被写体の輝度が安定した後に、上記の配分で各アンプのゲインを調整する。このような構成により、図2を用いて説明したゲイン設定と同様に、高画質でちらつきのない画像が得られることに加え、列アンプ203のゲイン段数が少なくなることなどから、撮像素子103の回路規模を小さくすることが可能である。また、プログラマブルゲインアンプ108を用いることにより、デジタルアンプ121のゲインの最大値を低く抑え、細かいゲイン設定時のノイズの量を減らすことができる。
For example, when a gain of 16.2 dB is applied, the first gain is set to 12 dB, the second gain is set to 3 dB, the third gain is set to 1 dB, and the fourth gain is set to 0.2 dB. Here, as in the case of the first embodiment described above and FIG. 2, immediately after the luminance change of the subject, the fourth gain is set to 16.2 dB, for example, and the luminance of the subject is stabilized. Adjust the gain of each amplifier according to the above distribution. With such a configuration, as with the gain setting described with reference to FIG. 2, in addition to obtaining a high-quality and non-flickering image, the number of gain stages of the
上記第1及び第2の実施形態においては、図2及び図3を用いて入射光量に応じたゲイン設定の2つの例を説明したが、本発明はこれらのみに限定されない。撮像素子103の列アンプ203、出力アンプ204、アナログ信号処理回路106のプログラマブルゲインアンプ108、デジタル信号処理回路112のデジタルアンプ121のそれぞれのゲインを、搭載する撮像装置の特徴に合わせて設定可能である。また、図2及び図3に示したゲイン値は例示的なものであり、本発明はこれらに限定されず、各ゲイン値は適宜変更されうる。
In the first and second embodiments, two examples of gain setting according to the amount of incident light have been described with reference to FIGS. 2 and 3, but the present invention is not limited to these. The gains of the
103 撮像素子
104 光電変換部
105 信号増幅回路
106 アナログ信号処理回路
107 CDS回路
108 プログラマブルゲインアンプ(PGA)
109 A/D変換器
112 デジタル信号処理回路
118 システム制御部
121 デジタルアンプ
122 画像処理回路
203 列アンプ
204 出力アンプ
DESCRIPTION OF
109 A /
Claims (7)
前記電気信号を第1のゲインで増幅する第1の増幅手段と、
前記第1の増幅手段で増幅された電気信号を、前記第1のゲインよりも細かい刻み幅で変更可能な第2のゲインで増幅する第2の増幅手段と、
前記撮像素子への入射光量に基づいて第3のゲインを求め、前記第1のゲインと前記第2のゲインの合計が前記第3のゲインとなるように、前記第1のゲイン及び前記第2のゲインを調整する制御手段とを有し、
前記制御手段は、前記第3のゲインの内、前記第1のゲインで調整し切れないゲイン分を前記第2のゲインにより調整すると共に、予め設定された輝度差を超える被写体の輝度の変化があり、かつ、前記輝度が変化した状態が予め設定された時間以上継続しない場合には、前記第1のゲインを調整せずに前記第2のゲインを調整することにより前記第3のゲインとなるようにすることを特徴とする撮像装置。 An image sensor that converts an optical image of a subject into an electrical signal;
First amplification means for amplifying the electrical signal with a first gain;
A second amplifying means for amplifying the electric signal amplified by the first amplifying means with a second gain that can be changed with a step size finer than the first gain;
A third gain is obtained based on the amount of light incident on the image sensor, and the first gain and the second gain are set such that a sum of the first gain and the second gain becomes the third gain. Control means for adjusting the gain of
The control means adjusts, by the second gain, a gain that cannot be adjusted by the first gain in the third gain, and changes in luminance of the subject exceeding a preset luminance difference. If the brightness change state does not continue for a preset time, the third gain is obtained by adjusting the second gain without adjusting the first gain. An imaging apparatus characterized by that.
前記第1の増幅手段は、前記複数の画素の各列にそれぞれ配置された列アンプを含むことを特徴とする請求項1に記載の撮像装置。 The image sensor has a plurality of pixels,
The imaging apparatus according to claim 1, wherein the first amplifying unit includes a column amplifier disposed in each column of the plurality of pixels.
前記電気信号を第1のゲインで増幅する工程と、
前記第1のゲインで増幅された電気信号を、前記第1のゲインよりも細かい刻み幅で変更可能な第2のゲインで増幅する工程と、
前記撮像素子への入射光量に基づいて第3のゲインを設定する工程と、
前記第1のゲインと前記第2のゲインの合計が前記第3のゲインとなるように、前記第1のゲイン及び前記第2のゲインを調整する制御工程とを有し、
前記制御工程では、前記第3のゲインの内、前記第1のゲインで調整し切れないゲイン分を前記第2のゲインにより調整すると共に、予め設定された輝度差を超える被写体の輝度の変化があり、かつ、前記輝度が変化した状態が予め設定された時間以上継続しない場合には、前記第1のゲインを調整せずに前記第2のゲインを調整することにより前記第3のゲインとなるようにすることを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus including an imaging element that converts a subject image into an electrical signal,
Amplifying the electrical signal with a first gain;
Amplifying the electrical signal amplified with the first gain with a second gain that can be changed with a step size finer than the first gain;
Setting a third gain based on the amount of light incident on the image sensor;
A control step of adjusting the first gain and the second gain so that a sum of the first gain and the second gain becomes the third gain;
In the control step, a part of the third gain that cannot be adjusted by the first gain is adjusted by the second gain, and a change in luminance of the subject exceeding a preset luminance difference occurs. If the brightness change state does not continue for a preset time, the third gain is obtained by adjusting the second gain without adjusting the first gain. A method for controlling an imaging apparatus, comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008182529A JP4408940B2 (en) | 2007-07-23 | 2008-07-14 | Imaging apparatus and control method thereof |
US12/175,975 US7911506B2 (en) | 2007-07-23 | 2008-07-18 | Image sensing apparatus and method of controlling the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007191218 | 2007-07-23 | ||
JP2008182529A JP4408940B2 (en) | 2007-07-23 | 2008-07-14 | Imaging apparatus and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009049981A true JP2009049981A (en) | 2009-03-05 |
JP4408940B2 JP4408940B2 (en) | 2010-02-03 |
Family
ID=40501706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008182529A Expired - Fee Related JP4408940B2 (en) | 2007-07-23 | 2008-07-14 | Imaging apparatus and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4408940B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012090177A (en) * | 2010-10-21 | 2012-05-10 | Canon Inc | Camera system |
US9774805B2 (en) | 2013-12-27 | 2017-09-26 | Canon Kabushiki Kaisha | Image pickup apparatus changing gain of amplifier of image pickup device, control method therefor, and storage medium storing control program therefor |
JP2020134325A (en) * | 2019-02-20 | 2020-08-31 | ローム株式会社 | Semiconductor integrated circuit device |
-
2008
- 2008-07-14 JP JP2008182529A patent/JP4408940B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012090177A (en) * | 2010-10-21 | 2012-05-10 | Canon Inc | Camera system |
US9774805B2 (en) | 2013-12-27 | 2017-09-26 | Canon Kabushiki Kaisha | Image pickup apparatus changing gain of amplifier of image pickup device, control method therefor, and storage medium storing control program therefor |
JP2020134325A (en) * | 2019-02-20 | 2020-08-31 | ローム株式会社 | Semiconductor integrated circuit device |
JP7232075B2 (en) | 2019-02-20 | 2023-03-02 | ローム株式会社 | Semiconductor integrated circuit device |
Also Published As
Publication number | Publication date |
---|---|
JP4408940B2 (en) | 2010-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI408953B (en) | Image pickup device and image pickup method | |
TWI390971B (en) | Imaging apparatus, imaging processing method, and imaging control program | |
JP4424402B2 (en) | Imaging apparatus, imaging control method, and imaging control program | |
KR100819804B1 (en) | Photographing apparatus | |
US7580058B2 (en) | Image capturing apparatus and image capturing method | |
JP6137792B2 (en) | IMAGING DEVICE, CONTROL METHOD FOR IMAGING DEVICE, PROGRAM, AND STORAGE MEDIUM | |
JP5123137B2 (en) | Imaging apparatus and imaging method | |
JP2007027967A (en) | Photographing apparatus | |
JP5759190B2 (en) | Imaging apparatus and control method thereof | |
JP2008053931A (en) | Imaging apparatus | |
JP2003008986A (en) | Image pickup device and exposure control method | |
US7911506B2 (en) | Image sensing apparatus and method of controlling the same | |
JP4062300B2 (en) | Imaging device | |
US20070035778A1 (en) | Electronic camera | |
JP4408940B2 (en) | Imaging apparatus and control method thereof | |
JP2004363726A (en) | Image processing method and digital camera | |
JP5167676B2 (en) | Imaging apparatus and imaging method | |
JP6873679B2 (en) | Imaging device, control method and program of imaging device | |
JP4458194B2 (en) | Imaging apparatus, exposure control method thereof, and recording medium | |
JP6242129B2 (en) | Imaging device, control method thereof, and control program | |
JP2012124652A (en) | Imaging apparatus and image processing method | |
JP2000092379A (en) | Image pickup device, its exposure controlling method and recording medium | |
JP5803233B2 (en) | Imaging apparatus and imaging method | |
JP2009038818A (en) | Image processing method and digital camera | |
JP2014155002A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091013 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091110 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |