JP6703784B2 - Imaging device, control method thereof, and imaging device - Google Patents
Imaging device, control method thereof, and imaging device Download PDFInfo
- Publication number
- JP6703784B2 JP6703784B2 JP2015238906A JP2015238906A JP6703784B2 JP 6703784 B2 JP6703784 B2 JP 6703784B2 JP 2015238906 A JP2015238906 A JP 2015238906A JP 2015238906 A JP2015238906 A JP 2015238906A JP 6703784 B2 JP6703784 B2 JP 6703784B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- smear
- signal
- image
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、撮像装置およびその制御方法ならびに撮像素子に関する。 The present invention relates to an image pickup apparatus, a control method therefor, and an image pickup element.
従来、ＣＣＤやＣＭＯＳイメージセンサなどの撮像素子では、その撮像素子内において、例えば固定パタンノイズ、シェーディング、フリッカー、スミアなどの画質に影響を与える現象が発生することが知られている。このため、撮像装置には、撮像素子から出力される画像信号を用いて各現象に対する補正値を生成し、生成した補正値を用いて画像信号を補正するものがある。 Conventionally, in an image sensor such as a CCD or a CMOS image sensor, it is known that a phenomenon that affects image quality such as fixed pattern noise, shading, flicker, and smear occurs in the image sensor. Therefore, some image pickup apparatuses generate a correction value for each phenomenon using the image signal output from the image pickup element, and correct the image signal using the generated correction value.
ＣＭＯＳイメージセンサでは、同一ラインの水平方向に帯状の輝度変動を起こす場合がある。特許文献１では、当該水平方向のスミアを補正するために撮像素子のＨＯＢ領域の信号を用いてスミア量を求め、有効画素領域の信号値から減算する技術が提案されている。 In a CMOS image sensor, there is a case where a band-shaped luminance variation occurs in the horizontal direction of the same line. Patent Document 1 proposes a technique for calculating the amount of smear using a signal in the HOB region of the image sensor to correct the horizontal smear and subtracting the amount from the signal value in the effective pixel region.
また、特許文献２では、有効画像中に遮光されたダミー画素を配置し、ダミー画素から出力される信号を用いてスミア量を求め、有効画素の信号値からスミア量を減算することによりスミアを補正する技術が提案されている。 Further, in Patent Document 2, a dummy pixel that is shielded from light is arranged in an effective image, a smear amount is obtained using a signal output from the dummy pixel, and the smear amount is subtracted from the signal value of the effective pixel to eliminate the smear. A correction technique has been proposed.
しかしながら、特許文献１で提案された技術では、スミア成分が水平方向に一様でない場合にはＨＯＢ領域のスミア量と有効画像のスミア量が異なるため、スミアの発生状況に応じて精度よく補正することができない場合がある。 However, in the technique proposed in Patent Document 1, when the smear component is not uniform in the horizontal direction, the smear amount in the HOB area and the smear amount in the effective image are different, so that the smear amount is accurately corrected according to the occurrence state of the smear. It may not be possible.
また、特許文献２で提案された技術では、全ての有効画素とダミー画素の信号が撮像素子から混在して出力される。そのため、出力された信号を処理する回路はダミー画素による信号を除外して信号処理を行う必要があり、処理が複雑になる場合がある。 Further, in the technique proposed in Patent Document 2, signals of all effective pixels and dummy pixels are mixedly output from the image sensor. Therefore, the circuit that processes the output signal needs to perform signal processing by excluding the signal from the dummy pixel, which may complicate the processing.
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、より容易に、分布が一様でないスミアを精度良く補正することが可能な撮像装置およびその制御方法ならびに撮像素子を提供することを目的とする。 The present invention has been made in view of the above-mentioned problems of the related art, and provides an image pickup apparatus, a control method therefor, and an image pickup element capable of correcting smear having a non-uniform distribution more easily. The purpose is to do.
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、被写体からの光を受光する第１の画素と、スミアを検出するための第２の画素が配列された画素配列とを有し、第１の画素から読み出された第１の画像信号と、第２の画素から読み出された第２の画像信号とを分離して出力する出力部とを備えた撮像素子と、第２の画像信号に含まれる第２の画素の信号値を用いて、該第２の画素の位置に対応する第１の画素の信号値を補正する補正手段と、を有し、前記第２の画素は電荷の蓄積時間が０になるように制御されることを特徴とする。
In order to solve this problem, for example, the imaging device of the present invention has the following configuration. That is, the first image signal read from the first pixel has a first pixel that receives light from the subject and a pixel array in which second pixels for detecting smear are arranged. And an image sensor including an output unit that separates and outputs the second image signal read from the second pixel, and uses the signal value of the second pixel included in the second image signal. Te, a correction means for correcting a signal value of a first pixel corresponding to the position of the pixel second, was closed, the second pixels be controlled to charge storage time becomes 0 Is characterized by.
本発明によれば、より容易に、分布が一様でないスミアを精度良く補正することが可能になる。 According to the present invention, it is possible to more easily correct smear with uneven distribution with high accuracy.
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、撮像可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、撮像可能な任意の機器にも適用可能である。これらの機器には、例えばゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、監視用機器又は医療用機器などが含まれてよい。
(Embodiment 1)
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. An example in which the present invention is applied to an arbitrary digital camera capable of capturing an image will be described below as an example of the image capturing apparatus. However, the present invention is not limited to a digital camera and can be applied to any device capable of capturing an image. These devices may include, for example, game machines, tablet terminals, personal computers, clock-type or eyeglass-type information terminals, monitoring equipment or medical equipment.
（デジタルカメラ１００の構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
(Configuration of digital camera 100)
FIG. 1 is a block diagram showing a functional configuration example of a digital camera 100 as an example of the image pickup apparatus according to the present embodiment. Note that one or more of the functional blocks illustrated in FIG. 1 may be implemented by hardware such as an ASIC or a programmable logic array (PLA), or by a programmable processor such as a CPU or MPU executing software. May be. Also, it may be realized by a combination of software and hardware. Therefore, in the following description, even when different functional blocks are described as the main subject of operation, the same hardware can be mainly implemented.
撮影光学系１０１は、ズームレンズ、絞り、フォーカスレンズ、シフトレンズなどを含み、被写体からの光学像を撮像素子に結像させる。撮像素子１０２は、光電変換素子を有する画素が複数、２次元的に配列された構成を有する。図２を参照して後述するが、撮像素子１０２は、被写体光学像を受光する有効画素とスミア検出用の画素とをそれぞれ有し、有効画素から読み出された画像信号とスミア検出画素から読み出された補正用画像信号とを区別して読み出し可能に構成されている。 The photographing optical system 101 includes a zoom lens, a diaphragm, a focus lens, a shift lens, and the like, and forms an optical image from a subject on an image sensor. The image sensor 102 has a configuration in which a plurality of pixels each having a photoelectric conversion element are arranged two-dimensionally. As will be described later with reference to FIG. 2, the image sensor 102 has an effective pixel that receives an optical image of a subject and a pixel for smear detection, respectively, and reads from the image signal read from the effective pixel and the smear detection pixel. It is configured such that it can be read out separately from the correction image signal that is output.
スミア検出部１０３、スミア補正値生成部１０４及びスミア補正部１０５は、信号処理回路又は信号処理モジュールを含む。スミア検出部１０３は、撮像素子１０２のスミア検出画素から読み出された補正用画像信号を用いて発生しているスミアを検出し、スミア情報を生成する。スミア情報は、スミアの有無や発生位置を示す情報である。スミア補正値生成部１０４は、補正用画像信号とスミア検出部１０３から出力されたスミア情報とを用いてスミア補正値を生成する。スミア補正部１０５は、撮像素子１０２の有効画素から出力された画像信号の信号値からスミア補正値生成部１０４により生成されたスミア補正値を減算して、画像信号を補正する。 The smear detection unit 103, the smear correction value generation unit 104, and the smear correction unit 105 include a signal processing circuit or a signal processing module. The smear detection unit 103 detects smear generated using the correction image signal read from the smear detection pixel of the image sensor 102, and generates smear information. The smear information is information indicating the presence or absence of smear and the generation position. The smear correction value generation unit 104 generates a smear correction value using the correction image signal and the smear information output from the smear detection unit 103. The smear correction unit 105 corrects the image signal by subtracting the smear correction value generated by the smear correction value generation unit 104 from the signal value of the image signal output from the effective pixel of the image sensor 102.
信号処理部１０６は、信号処理回路又は信号処理モジュールを含み、スミア補正部１０５から出力された画像信号に対してホワイトバランス等の所定の信号処理を行う。表示部１０７は、ＬＣＤやＬＥＤ等により構成される表示パネルを含み、信号処理部１０６から出力された画像信号やデジタルカメラ１００を操作するための操作用画像等を表示する。 The signal processing unit 106 includes a signal processing circuit or a signal processing module, and performs predetermined signal processing such as white balance on the image signal output from the smear correction unit 105. The display unit 107 includes a display panel including an LCD, an LED, and the like, and displays an image signal output from the signal processing unit 106, an operation image for operating the digital camera 100, and the like.
記録部１０８は、例えば不揮発性の半導体メモリやハードディスク等の記録媒体、或いはＳＤカードなどの記録メディアを含み、信号処理部１０６より出力された画像信号を記録する。 The recording unit 108 includes a recording medium such as a non-volatile semiconductor memory or a hard disk, or a recording medium such as an SD card, and records the image signal output from the signal processing unit 106.
制御部１０９は、例えばＣＰＵあるいはＭＰＵを含み、例えばＲＯＭ等の不揮発性メモリに格納されたプログラムをＲＡＭ等の揮発性メモリの作業エリアに展開し、実行することにより、デジタルカメラ１００の全体を制御する。また、制御部１０９は、撮像素子１０２からの各信号の読み出しを制御する。 The control unit 109 includes, for example, a CPU or MPU, and controls the entire digital camera 100 by expanding a program stored in a non-volatile memory such as a ROM into a work area of a volatile memory such as a RAM and executing the program. To do. The control unit 109 also controls the reading of each signal from the image sensor 102.
（撮像素子１０２の構成）
次に、図２（ａ）を参照して撮像素子１０２の詳細な構成について説明する。単位画素２０１は、図２（ｂ）に示す構成を１単位とする画素を含む。フローティングディフュージョンアンプ（ＦＤアンプ）２０２は、単位画素２０１の蓄積電荷量を電圧として検出する。
(Structure of the image sensor 102)
Next, a detailed configuration of the image sensor 102 will be described with reference to FIG. The unit pixel 201 includes a pixel having the configuration shown in FIG. 2B as one unit. The floating diffusion amplifier (FD amplifier) 202 detects the accumulated charge amount of the unit pixel 201 as a voltage.
行読出制御線２０３ａ及び行読出制御線２０３ｂは、それぞれ所定の間隔（例えば１列ごと）の単位画素２０１に接続されており、垂直走査回路２０８ａ又は垂直走査回路２０８ｂから各単位画素に読み出し制御信号を伝送する。図２（ａ）は、２次元状に配置された単位画素２０１の例えば第２０行目〜２３行目の単位画素２０１に接続する行読出制御線を２０３ａ-２０〜２０３ａ-２３又は２０３ｂ-２０〜２０３ｂ-２３として示している。 The row read control line 203a and the row read control line 203b are connected to the unit pixels 201 at predetermined intervals (for example, for each column), and a read control signal is sent from the vertical scanning circuit 208a or the vertical scanning circuit 208b to each unit pixel. To transmit. FIG. 2A shows row read control lines 203a-20 to 203a-23 or 203b-20 connected to, for example, the unit pixels 201 on the 20th to 23rd rows of the unit pixels 201 arranged two-dimensionally. ~ 203b-23.
また、行リセット制御線２０４ａ及び行リセット制御線２０４ｂは、それぞれ所定の間隔の単位画素２０１に接続されており、垂直走査回路２０８ａ又は垂直走査回路２０８ｂから各単位画素にリセット制御信号を伝送する。２次元状に配置された単位画素２０１の例えば第２０行目〜２３行目の単位画素２０１に接続する行リセット制御線を２０４ａ-２０〜２０４ａ-２３又は２０４ｂ-２０〜２０４ｂ-２３として示している。 In addition, the row reset control line 204a and the row reset control line 204b are connected to the unit pixels 201 at predetermined intervals, and a reset control signal is transmitted from the vertical scanning circuit 208a or the vertical scanning circuit 208b to each unit pixel. For example, the row reset control lines connected to the unit pixels 201 on the 20th to 23rd rows of the unit pixels 201 arranged two-dimensionally are shown as 204a-20 to 204a-23 or 204b-20 to 204b-23. There is.
更に、行選択線２０５ａ及び行選択線２０５ｂは、それぞれ所定の間隔の単位画素２０１に接続されており、垂直走査回路２０８ａ又は垂直走査回路２０８ｂから各単位画素に行選択制御信号を伝送する。２次元状に配置された単位画素２０１の例えば第２０行目〜２３行目の単位画素２０１に接続する行選択線を２０５ａ-２０〜２０５ａ-２３又は２０５ｂ-２０〜２０５ｂ-２３として示している。 Further, the row selection line 205a and the row selection line 205b are respectively connected to the unit pixels 201 at predetermined intervals, and a row selection control signal is transmitted from the vertical scanning circuit 208a or the vertical scanning circuit 208b to each unit pixel. For example, the row selection lines connected to the unit pixels 201 on the 20th to 23rd rows of the unit pixels 201 arranged two-dimensionally are shown as 205a-20 to 205a-23 or 205b-20 to 205b-23. .
列毎に設けられた列信号線２０６は、各列の単位画素２０１の出力信号を列回路２０７に伝送する。列回路２０７は、水平走査回路２０９の制御により各単位画素２０１から出力された画素信号を内蔵されたＡ/Ｄ変換回路によりアナログ・デジタル変換して出力する。列回路２０７から出力されたデジタル信号は、水平信号線２１０を介して画素信号選択回路２１１又は画素信号選択回路２１２に入力され、それぞれの画素信号選択回路の動作に従って信号出力端子２１３又は信号出力端子２１４から出力される。例えば画素信号選択回路２１１、画素信号選択回路２１２、信号出力端子２１３及び信号出力端子２１４はデジタル信号の出力部を構成する。 The column signal line 206 provided for each column transmits the output signal of the unit pixel 201 of each column to the column circuit 207. The column circuit 207 converts the pixel signal output from each unit pixel 201 under the control of the horizontal scanning circuit 209 into an analog-to-digital signal by an internal A/D conversion circuit and outputs the converted signal. The digital signal output from the column circuit 207 is input to the pixel signal selection circuit 211 or the pixel signal selection circuit 212 through the horizontal signal line 210, and the signal output terminal 213 or the signal output terminal is input in accordance with the operation of each pixel signal selection circuit. It is output from 214. For example, the pixel signal selection circuit 211, the pixel signal selection circuit 212, the signal output terminal 213, and the signal output terminal 214 form an output unit of a digital signal.
タイミングジェネレータ（ＴＧ）２１５は、設定に応じてリセットタイミング信号や読み出しタイミング信号を生成する。垂直同期信号入力端子２１６と水平同期信号入力端子２１７は、それぞれ外部から同期信号を入力する端子である。また、設定信号線２１８は外部からＴＧ２１５に対するリセットと読み出しのタイミングを設定するための設定信号を入力する。ＴＧ２１５から出力される読出行タイミング信号２１９は、垂直走査回路２０８ａ及び垂直走査回路２０８ｂに入力される。また、ＴＧ２１５から出力される読出列タイミング信号２２０は、水平走査回路２０９に入力される。 The timing generator (TG) 215 generates a reset timing signal and a read timing signal according to the setting. The vertical sync signal input terminal 216 and the horizontal sync signal input terminal 217 are terminals for inputting sync signals from the outside. Further, the setting signal line 218 inputs a setting signal for setting the reset and read timings for the TG 215 from the outside. The read row timing signal 219 output from the TG 215 is input to the vertical scanning circuit 208a and the vertical scanning circuit 208b. The read column timing signal 220 output from the TG 215 is input to the horizontal scanning circuit 209.
図２（ｂ）は、図２（ａ）に示した単位画素２０１の構成例を示している。光電変換素子であるフォトダイオード（ＰＤ）３０１は、光電変換により入射光量に応じた電荷を発生して蓄積する。転送トランジスタ３０３は、行読出制御線２０３ａ又は２０３ｂから入力される読み出し制御信号３０２に応じてオンオフ動作する。フローティングディフュージョン（ＦＤ）３０４は、所定の容量のキャパシタンスで構成されており、キャパシタンスに蓄積した電荷に応じた電圧を発生させる。リセットトランジスタ３０６は、行リセット読出制御線２０４ａ又は２０４ｂから入力されるリセット制御信号３０５に応じてオンオフ動作する。ＦＤ３０４は、リセットトランジスタ３０６の動作に伴い、リセットレベル入力部３０７から供給されるリセット電圧に応じて蓄積された電荷がリセットされる。そして、転送トランジスタ３０３がオンされることにより、ＰＤ３０１で発生した電荷が転送されて蓄積される。行選択トランジスタ３０９は、行選択線２０５ａ又は行選択線２０５から入力される行選択制御信号３０８に応じてオンオフ動作し、ＦＤ３０４に転送されて蓄積した電荷量に応じた電圧信号を画素出力３１０から出力する。ここで、図２（ａ）のＦＤアンプ２０２は、図２（ｂ）におけるＦＤ３０４および行選択トランジスタ３０９により構成される。 FIG. 2B shows a configuration example of the unit pixel 201 shown in FIG. A photodiode (PD) 301, which is a photoelectric conversion element, generates and accumulates charges according to the amount of incident light by photoelectric conversion. The transfer transistor 303 turns on/off according to the read control signal 302 input from the row read control line 203a or 203b. The floating diffusion (FD) 304 is composed of a capacitance having a predetermined capacitance, and generates a voltage according to the charges accumulated in the capacitance. The reset transistor 306 is turned on/off according to the reset control signal 305 input from the row reset read control line 204a or 204b. With the operation of the reset transistor 306, the FD 304 resets the charges accumulated according to the reset voltage supplied from the reset level input unit 307. Then, when the transfer transistor 303 is turned on, the charge generated in the PD 301 is transferred and accumulated. The row selection transistor 309 is turned on/off according to the row selection control signal 308 input from the row selection line 205 a or the row selection line 205, and a voltage signal according to the amount of charge transferred to and accumulated in the FD 304 is output from the pixel output 310. Output. Here, the FD amplifier 202 of FIG. 2A is composed of the FD 304 and the row selection transistor 309 of FIG. 2B.
（スミア補正処理の概要）
図３は、スミア検出画素と有効画素とを含む撮像素子１０２の画素配列を模式的に示している。２次元状に配置された複数の画素のうち、例えば有効画素とスミア検出画素とが水平方向（行方向）に交互に配置されている。列４ａは有効画素が配列された列を示し、列４ｂはスミア検出画素が配置された列を示している。また、ＶＯＢ領域及びＨＯＢ領域に配置された複数の画素は遮光されており、被写体からの光が入射しないように構成されている。
(Outline of smear correction processing)
FIG. 3 schematically shows a pixel array of the image sensor 102 including smear detection pixels and effective pixels. Among a plurality of pixels arranged two-dimensionally, for example, effective pixels and smear detection pixels are arranged alternately in the horizontal direction (row direction). The column 4a shows a column in which effective pixels are arranged, and the column 4b shows a column in which smear detection pixels are arranged. Further, the plurality of pixels arranged in the VOB area and the HOB area are shielded from light so that light from the subject does not enter.
図３では、高輝度被写体を撮影した際に行方向の横スミアが発生した状態を模式的に示しており、明るい色（すなわち白）で示す領域の画素ほど高輝度の信号を出力している様子をあらわしている。スミア領域として示される行において、高輝度被写体に対する水平方向（行方向）のスミアが発生し、垂直方向（列方向）における他の領域の画素と比較して高輝度の信号を出力している。また、水平方向には輝度のレベルが一様ではなく、各列ごとに輝度レベルが異なる。 FIG. 3 schematically shows a state in which horizontal smear occurs in the row direction when a high-brightness subject is photographed, and pixels of a region indicated by a brighter color (that is, white) output a higher-brightness signal. It shows the situation. In a row shown as a smear area, smear occurs in the horizontal direction (row direction) with respect to a high-luminance object, and a high-luminance signal is output as compared with pixels in other areas in the vertical direction (column direction). Further, the brightness level is not uniform in the horizontal direction, and the brightness level is different for each column.
次に、図４（ａ）〜（ｆ）を参照して、スミア検出とスミア補正処理について説明する。図４（ａ）は、有効画像４ａを構成する画素列を抽出して生成された画像信号を示し、図４（ｂ）は、スミア検出画素４ｂを構成する画素列を抽出して生成された補正用画像信号をそれぞれ示している。そして、図４（ｃ）は、スミア検出画素に基づいて得られた補正値を、有効画素の信号に適用してスミア補正を行った後の画像を示している。 Next, the smear detection and smear correction processing will be described with reference to FIGS. FIG. 4A shows an image signal generated by extracting a pixel column forming the effective image 4a, and FIG. 4B shows an image signal generated by extracting a pixel column forming the smear detection pixel 4b. Each of the correction image signals is shown. And FIG.4(c) has shown the image after applying the correction value obtained based on the smear detection pixel to the signal of an effective pixel, and performing smear correction.
図４（ｄ）は、図４（ａ）のスミア領域における画素の出力信号値を示すグラフであり、範囲Ａに含まれる画素が最も高い信号値を出力している。また、範囲Ａから離れるにつれて画素の出力は変化（低下）し、さらにＨＯＢ領域の画素は、暗電流に伴う所定のレベルの信号値を出力している。 FIG. 4D is a graph showing the output signal value of the pixel in the smear area of FIG. 4A, and the pixel included in the range A outputs the highest signal value. Further, the output of the pixel changes (decreases) as the distance from the range A increases, and the pixel in the HOB region outputs the signal value of a predetermined level due to the dark current.
図４（ｅ）は、スミア検出画素の出力信号値を示すグラフである。スミア検出画素は、ＨＯＢ領域の画素と同様に被写体からの光を受光しないように遮光されており、各画素に発生するスミア成分を検出することができる。図４（ｅ）に示す例では、範囲Ａで高く、この範囲を離れるほど低下するスミア成分を検出していることを示している。すなわち、高輝度被写体に対して水平方向（行方向）に一様でないスミアが発生していることを表している。 FIG. 4E is a graph showing the output signal value of the smear detection pixel. The smear detection pixel is shielded so as not to receive the light from the subject like the pixel in the HOB area, and the smear component generated in each pixel can be detected. The example shown in FIG. 4E indicates that the smear component that is high in the range A and decreases as the distance from the range is detected. That is, it means that non-uniform smear is generated in the horizontal direction (row direction) with respect to the high-luminance subject.
図４（ｆ）は、図４（ｄ）に示した有効画素の出力信号値から図４（ｅ）に示したスミア成分を減算した結果を示している。より具体的には、有効画素の信号値から、隣接するスミア検出画素の出力信号値を減算することにより、スミア検出画素に隣接する有効画素に発生したスミア成分を適切に補正することができることを示している。 4F shows the result of subtracting the smear component shown in FIG. 4E from the output signal value of the effective pixel shown in FIG. 4D. More specifically, by subtracting the output signal value of the adjacent smear detection pixel from the signal value of the effective pixel, it is possible to appropriately correct the smear component generated in the effective pixel adjacent to the smear detection pixel. Showing.
（スミア補正処理に係る具体的動作）
次に、本実施形態のスミア補正処理に係る具体的動作について説明する。例えば、デジタルカメラ１００の不図示の入力部を介してユーザからの撮影指示があった場合に、撮影動作の開始と共に本処理が開始される。制御部１０９が不図示のＲＯＭに記憶されたプログラムを不図示のＲＡＭの作業用領域に展開し、実行することにより実現される。
(Specific operation related to smear correction processing)
Next, a specific operation related to the smear correction process of this embodiment will be described. For example, when there is a shooting instruction from the user via an input unit (not shown) of the digital camera 100, this processing is started together with the start of the shooting operation. This is realized by the control unit 109 expanding a program stored in a ROM (not shown) into a work area of a RAM (not shown) and executing the program.
制御部１０９は、撮像素子１０２内のＴＧ２１５に対して、フィールドまたはフレームごとに各画素群をリセットするタイミング及び各画素群から信号を読み出すタイミングを設定する。撮影光学系１０１を通過して撮像素子１０２の受光面上に被写体の光学像が結像されると、撮像素子１０２上の各単位画素２０１内のＰＤ（フォトダイオード）３０１には、各単位画素２０１に対する入射光量に応じた光電荷が発生する。 The control unit 109 sets the timing for resetting each pixel group and the timing for reading a signal from each pixel group for each field or frame for the TG 215 in the image sensor 102. When an optical image of a subject is formed on the light receiving surface of the image sensor 102 through the photographic optical system 101, the PD (photodiode) 301 in each unit pixel 201 on the image sensor 102 has each unit pixel Photocharges corresponding to the amount of incident light on 201 are generated.
撮像素子１０２の各単位画素２０１内のＦＤ３０４には、所定の容量のキャパシタンスに蓄積された電荷に応じた電圧が発生している。リセット制御信号３０５が入力されるとリセットトランジスタ３０６が動作して、リセットレベル入力部３０７から入力される電源電圧ＶＤＤによりＦＤ３０４に蓄積された電荷がリセットされる。 In the FD 304 in each unit pixel 201 of the image sensor 102, a voltage corresponding to the electric charge accumulated in the capacitance having a predetermined capacitance is generated. When the reset control signal 305 is input, the reset transistor 306 operates, and the power source voltage VDD input from the reset level input unit 307 resets the charges accumulated in the FD 304.
一方、ＰＤ３０１には各々の単位画素２０１に入射した光量に応じて光電荷が蓄積されている。この状態で読み出し制御信号３０２のレベル変化により転送トランジスタ３０３がオンすると、ＰＤ３０１に蓄積された光電荷がＦＤ３０４に移動する。このときＦＤ３０４では、リセットレベルに対して移動した光電荷の分だけ電圧レベルが変化する。当該電圧レベルの変化は画素の信号レベルとなり、行選択制御信号３０８のレベル変化により行選択トランジスタ３０９がオンすると、ＦＤ３０４の電荷量に応じた電圧信号が出力される。出力されたアナログ画素信号は列信号線２０６を介して列回路２０７に伝送される。列回路２０７は、アナログ画素信号を増幅するとともにデジタル信号に変換する。 On the other hand, photoelectric charges are accumulated in the PD 301 according to the amount of light incident on each unit pixel 201. In this state, when the transfer transistor 303 is turned on by the level change of the read control signal 302, the photocharge accumulated in the PD 301 moves to the FD 304. At this time, in the FD 304, the voltage level changes by the amount of the photocharges moved with respect to the reset level. The change in the voltage level becomes the signal level of the pixel, and when the row select transistor 309 is turned on due to the change in the level of the row select control signal 308, a voltage signal according to the charge amount of the FD 304 is output. The output analog pixel signal is transmitted to the column circuit 207 via the column signal line 206. The column circuit 207 amplifies the analog pixel signal and converts it into a digital signal.
各列の列回路２０７によって変換されたデジタル信号は、水平走査回路２０９によって順次読み出され、水平信号線２１０を通じて画素信号選択回路２１１及び画素信号選択回路２１２に入力される。画素信号選択回路２１１は、制御部１０９からの指示に従って有効画素４ａから出力される画像信号を選択し、一方、画素信号選択回路２１２は、制御部１０９からの指示に従ってスミア検出画素４ｂから出力される補正用画像信号を選択する。その後、有効画素４ａの画像信号は信号出力端子２１３から、補正用画像信号は信号出力端子２１４からそれぞれ分離して出力される。 The digital signal converted by the column circuit 207 of each column is sequentially read by the horizontal scanning circuit 209 and input to the pixel signal selection circuit 211 and the pixel signal selection circuit 212 through the horizontal signal line 210. The pixel signal selection circuit 211 selects the image signal output from the effective pixel 4a according to the instruction from the control unit 109, while the pixel signal selection circuit 212 outputs from the smear detection pixel 4b according to the instruction from the control unit 109. Image signal for correction to be selected. After that, the image signal of the effective pixel 4a is separately output from the signal output terminal 213 and the correction image signal is output from the signal output terminal 214.
次に、スミア検出部１０３は、信号出力端子２１４から出力された補正用画像信号を用いてスミアを検出し、スミアの有無や発生位置などを示すスミア情報を生成する。より具体的には、高輝度被写体に対してスミアが水平方向（行方向）に発生するため、スミア検出部１０３は、スミア検出画素の垂直方向（列方向）の信号量の変化（すなわち信号量の差）を算出する。スミア検出部１０３は算出した変化量が所定の閾値以上である場合、スミアを検出する。なお、水平方向（行方向）のスミアの検出方法は有効画素の信号量の変化を用いる方法に限らず、例えばＨＯＢ領域におけるスミア検出画素の垂直方向（列方向）の変化量が所定の閾値以上である場合にスミアを検出するようにしてもよい。スミア検出部１０３は、スミアを検出した結果に基づいて、スミアの有無や発生位置（例えば座標位置或いは行番号）などを示すスミア情報をスミア補正値生成部１０４に出力する。 Next, the smear detection unit 103 detects smear using the correction image signal output from the signal output terminal 214, and generates smear information indicating the presence or absence of smear and the generation position. More specifically, since smear is generated in the horizontal direction (row direction) for a high-luminance subject, the smear detection unit 103 changes the signal amount of the smear detection pixel in the vertical direction (column direction) (that is, the signal amount). Difference) is calculated. The smear detection unit 103 detects smear when the calculated change amount is equal to or larger than a predetermined threshold. The method for detecting the smear in the horizontal direction (row direction) is not limited to the method using the change in the signal amount of the effective pixel, and for example, the change amount in the vertical direction (column direction) of the smear detection pixel in the HOB area is equal to or more than a predetermined threshold If it is, smear may be detected. The smear detection unit 103 outputs smear information indicating the presence or absence of smear and the generation position (for example, coordinate position or line number) to the smear correction value generation unit 104 based on the result of detection of smear.
スミア補正値生成部１０４は、スミア検出部１０３により生成されたスミア情報と、補正用画像信号とを用いて画像信号に対するスミア補正値を生成する。具体的には、スミア補正値生成部１０４は、スミア情報からスミア位置を特定し、当該スミア位置に対応する補正用画像信号の信号値を用いて補正値を生成する。なお、スミア補正値生成部１０４は、スミア検出画素に隣接した有効画素に対する補正値を算出するため、補正用画像信号の間の水平方向（行方向）の変化を考慮して補正用画像信号を補間してもよい。すなわち、スミア検出画素の列と有効画素の列とが交互に配置されている場合、補正用画像信号の間の水平方向の変化を考慮して補正用画像信号を補間することにより、有効画素の列に適したスミア補正値を生成することができる。スミア補正部１０５は、スミア補正値生成部１０４より出力されたスミア補正値を、撮像素子１０２の信号出力端子２１３から出力された画像信号から減算することによってスミアを補正する。 The smear correction value generation unit 104 uses the smear information generated by the smear detection unit 103 and the correction image signal to generate a smear correction value for the image signal. Specifically, the smear correction value generation unit 104 specifies the smear position from the smear information and generates the correction value using the signal value of the correction image signal corresponding to the smear position. Since the smear correction value generation unit 104 calculates the correction value for the effective pixel adjacent to the smear detection pixel, the correction image signal is calculated in consideration of the change in the horizontal direction (row direction) between the correction image signals. You may interpolate. That is, when the rows of smear detection pixels and the rows of effective pixels are alternately arranged, the correction image signals are interpolated in consideration of the change in the horizontal direction between the correction image signals, thereby A smear correction value suitable for the column can be generated. The smear correction unit 105 corrects smear by subtracting the smear correction value output from the smear correction value generation unit 104 from the image signal output from the signal output terminal 213 of the image sensor 102.
信号処理部１０６は、スミア補正部１０５からスミア補正処理のなされた画像信号を取得して所定の画像処理を施し、制御部１０９の指示に応じて表示部１０７に表示させる、或いは記録部１０８に画像信号を記録させ、本処理に係る一連の動作を終了する。 The signal processing unit 106 acquires the image signal subjected to the smear correction process from the smear correction unit 105, performs predetermined image processing, and causes the display unit 107 to display the image signal according to an instruction from the control unit 109, or the recording unit 108. The image signal is recorded, and a series of operations related to this processing is ended.
なお、本実施形態では、スミア検出画素が有効画素と交互に配置される例について説明したが、スミア検出画素の配置を動的に変更可能にしてもよい。本実施形態で説明したスミア検出画素は単位画素２０１で構成されるため、当該画素を遮光するために電荷の蓄積時間を無くす（０にする）ことにより、有効画素とスミア検出用画素とを動的に切り替えて各画像信号を読み出すことができる。このようにすれば、被写体に応じてスミアの検出密度を変化させるなど状況に合わせて単位画素を有効に活用できる。 In the present embodiment, the example in which the smear detection pixels are arranged alternately with the effective pixels has been described, but the arrangement of the smear detection pixels may be dynamically changeable. Since the smear detection pixel described in this embodiment is composed of the unit pixel 201, the effective pixel and the smear detection pixel are moved by eliminating the charge accumulation time (set to 0) in order to shield the pixel from light. Each image signal can be read out by selectively switching. By doing so, the unit pixel can be effectively utilized in accordance with the situation such as changing the smear detection density according to the subject.
以上説明したように本実施形態では、有効画素とスミア検出用の画素とを列ごとに交互に配置した撮像素子１０２を用いて、有効画素から読み出された画像信号を、スミア検出画素から読み出された補正用画像信号から得られる補正値により補正するようにした。このとき、撮像素子は、有効画素から読み出された画像信号と、スミア検出画素から読み出された補正用画像信号とを分離して出力するようにした。このようにすることで、撮像素子からの信号を受信する回路は容易にスミアを検出できるうえ、水平方向にスミアが広がる場合にスミアの水平方向の変化に応じた補正処理が可能になる。すなわち、より容易に、分布が一様でないスミアを精度良く補正することが可能になる。 As described above, in the present embodiment, the image sensor 102 in which the effective pixels and the pixels for smear detection are alternately arranged for each column is used to read the image signal read from the effective pixels from the smear detection pixels. The correction is performed based on the correction value obtained from the correction image signal that is output. At this time, the image pickup device separates and outputs the image signal read from the effective pixel and the correction image signal read from the smear detection pixel. By doing so, the circuit that receives the signal from the image pickup device can easily detect the smear, and when the smear spreads in the horizontal direction, the correction process according to the horizontal change of the smear becomes possible. That is, it becomes possible to more easily correct smear with uneven distribution with high accuracy.
（実施形態２）
次に実施形態２について説明する。実施形態１では、撮像素子１０２の外部に設けられたスミア検出部１０３が、撮像素子１０２から出力された補正用画像信号を用いてスミアを検出するように構成した。本実施形態では、スミア検出部を撮像素子の内部に配置して撮像素子１０２からスミア情報を出力する。本実施形態の撮像素子及びスミア検出部に係る構成が実施形態１と異なるが、その他の構成は実施形態１と同一である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
(Embodiment 2)
Next, a second embodiment will be described. In the first embodiment, the smear detection unit 103 provided outside the image sensor 102 is configured to detect smear using the correction image signal output from the image sensor 102. In the present embodiment, the smear detector is arranged inside the image sensor to output the smear information from the image sensor 102. The configuration relating to the image sensor and the smear detection unit of this embodiment is different from that of the first embodiment, but the other configurations are the same as those of the first embodiment. For this reason, the same components are designated by the same reference numerals, duplicate description is omitted, and different points will be mainly described.
図５を参照して、撮像素子５０１がスミア検出部５０２を内部に備える、デジタルカメラ１００の機能構成例について説明する。 With reference to FIG. 5, a functional configuration example of the digital camera 100 in which the image sensor 501 includes the smear detection unit 502 will be described.
撮像素子５０１は、有効画素から読み出された画像信号を信号出力端子２１３から出力すると共に、スミア検出画素から読み出された補正用画像信号をスミア検出部５０２に入力する。撮像素子５０１は、スミア検出部５０２が生成するスミア情報を信号出力端子２１４から出力する。また、撮像素子５０１は、スミアの検出された位置に係る補正用画像信号を切り出して、スミア情報と共に信号出力端子２１４から出力する。 The image sensor 501 outputs the image signal read from the effective pixel from the signal output terminal 213 and inputs the correction image signal read from the smear detection pixel to the smear detection unit 502. The image sensor 501 outputs the smear information generated by the smear detector 502 from the signal output terminal 214. Further, the image sensor 501 cuts out a correction image signal related to the position where the smear is detected, and outputs it from the signal output terminal 214 together with the smear information.
スミア検出部５０２は、撮像素子５０１内に配置されスミア検出画素から読み出された補正用画像信号に基づいてスミアを検出する。なお、スミア検出部５０２におけるスミア検出処理は、実施形態１において上述した処理と同様である。制御部１０９は、デジタルカメラ１００全体を制御するほか、撮像素子１０２の読み出し方法及びスミア検出部５０２を制御する。 The smear detection unit 502 is arranged in the image sensor 501 and detects smear based on the correction image signal read from the smear detection pixel. The smear detection process in the smear detection unit 502 is the same as the process described above in the first embodiment. The control unit 109 controls the entire digital camera 100, and also controls the reading method of the image sensor 102 and the smear detection unit 502.
更に、本実施形態に係るスミア補正処理の動作について説明する。例えば、デジタルカメラ１００の不図示の入力部を介してユーザからの撮影指示があった場合に、撮影動作の開始と共に本処理が開始される。撮像素子１０２の単位画素２０１の動作は実施形態１と同様であり、各単位画素２０１から出力された信号は列信号線２０６を経由して列回路２０７によりデジタル信号に変換される。変換されたデジタル信号は、図６に示すように画素信号選択回路２１１及び画素信号選択回路２１２に入力されると同時に、スミア検出部５０２に入力される。 Further, the operation of the smear correction process according to this embodiment will be described. For example, when there is a shooting instruction from the user via an input unit (not shown) of the digital camera 100, this processing is started together with the start of the shooting operation. The operation of the unit pixel 201 of the image sensor 102 is similar to that of the first embodiment, and the signal output from each unit pixel 201 is converted into a digital signal by the column circuit 207 via the column signal line 206. The converted digital signal is input to the pixel signal selection circuit 211 and the pixel signal selection circuit 212 as shown in FIG. 6, and at the same time, is input to the smear detection unit 502.
スミア検出部５０２は、スミア検出画素の補正用画像信号を用いてスミアを検出し、当該検出結果に基づいて、スミアの有無や発生位置などを示すスミア情報を生成して信号出力端子２１４から出力する。 The smear detection unit 502 detects smear using the correction image signal of the smear detection pixel, generates smear information indicating the presence or absence of smear and the generation position based on the detection result, and outputs the smear information from the signal output terminal 214. To do.
画素選択回路２１２は、スミア検出部５０２により生成されたスミア情報に基づいて、スミア検出画素４ｂのうちスミアの検出された位置の画像信号のみを取得し、補正用信号として信号出力端子２１４から出力させる。このようにすることで、スミアが発生していない領域の補正用画像信号を絶えず出力することが無くなるため、画素数の増加に伴う出力信号量の増大や受信側の処理負担の増大を防止することができる。換言すれば、撮像素子１０２から出力する補正用画像信号をスミアが発生している位置又は行に限定し、信号量を低減することができる。 The pixel selection circuit 212 acquires only the image signal at the position where smear is detected in the smear detection pixel 4b based on the smear information generated by the smear detection unit 502, and outputs it as a correction signal from the signal output terminal 214. Let By doing so, the correction image signal in the area where smear does not occur is not constantly output, so that an increase in the output signal amount and an increase in the processing load on the receiving side due to the increase in the number of pixels are prevented. be able to. In other words, the correction image signal output from the image sensor 102 can be limited to the position or row where smear is occurring, and the signal amount can be reduced.
その後、スミア補正値生成部１０４は、信号出力端子２１４から出力されたスミア情報と補正用画像信号とを取得し、上述した実施形態１と同様に補正用画像信号に対するスミア補正値を生成する。また、以降の処理についても実施形態１と同様に、スミア補正部１０５は、撮像素子１０２の信号出力端子２１３から出力された画像信号から、スミア補正値を減算することによりスミアを補正する。そして、制御部１０９は補正後の画像信号を例えば表示部１０７に表示させて本処理に係る一連の動作を終了する。 After that, the smear correction value generation unit 104 acquires the smear information and the correction image signal output from the signal output terminal 214, and generates the smear correction value for the correction image signal as in the first embodiment described above. Also in the subsequent processing, the smear correction unit 105 corrects smear by subtracting the smear correction value from the image signal output from the signal output terminal 213 of the image sensor 102, as in the first embodiment. Then, the control unit 109 causes the display unit 107 to display the corrected image signal and ends the series of operations related to the present process.
なお、本実施形態では、撮像素子５０１が内部にスミア検出部５０２を備え、スミア情報とスミアの発生した補正用画像信号を出力するようにしたが、更にスミア補正値生成部１０４及びスミア補正部１０５を撮像素子５０１内に備えるようにしてもよい。このようにすれば、スミア補正処理を撮像素子内で実現することができ、撮像素子はスミア補正の施された有効画像のみを出力でき、出力する信号量を削減することができる。 In the present embodiment, the image sensor 501 includes the smear detection unit 502 therein to output the smear information and the image signal for correction in which the smear has occurred. You may make it equip 105 in the image pick-up element 501. With this configuration, the smear correction process can be realized in the image sensor, and the image sensor can output only the smear-corrected effective image, thereby reducing the output signal amount.
以上説明したように本実施形態では、撮像素子５０１が内部にスミア検出部５０２を備え、撮像素子５０１が内部でスミアを検出してスミアの有無や発生位置を出力すると共に、スミアの検出された位置の補正用画像信号のみを出力するようにした。このようにすることで、スミアの発生状況に応じて適応的に精度良くスミアを補正することが可能になると共に、撮像素子から出力される信号量を削減することが可能になる。 As described above, in the present embodiment, the image sensor 501 includes the smear detector 502 therein, the image sensor 501 internally detects smear, outputs the presence or absence of smear, and the generation position, and the smear is detected. Only the image signal for position correction is output. By doing so, it is possible to adaptively and accurately correct the smear according to the occurrence state of the smear, and it is possible to reduce the signal amount output from the image sensor.
（実施形態３）
次に実施形態３について説明する。本実施形態では撮像素子が積層型に構成されている場合について説明する。なお、本実施形態では撮像素子が積層型である点以外は実施形態１と同一の構成である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
(Embodiment 3)
Next, a third embodiment will be described. In the present embodiment, a case where the image pickup device is configured as a stacked type will be described. Note that the present embodiment has the same configuration as that of the first embodiment except that the image pickup element is a laminated type. For this reason, the same components are designated by the same reference numerals, duplicate description is omitted, and different points will be mainly described.
図７は、本実施形態に係る撮像素子７００を示している。撮像素子７００には、単位画素２０１等の光電変換素子を含むイメージセンサ用チップ７１０と、列回路２０７等のデジタル処理を行う構成を含む高速ロジックプロセス用チップ７２０がチップレベルで積層されている。 FIG. 7 shows an image sensor 700 according to this embodiment. In the image sensor 700, an image sensor chip 710 including a photoelectric conversion element such as the unit pixel 201 and a high-speed logic process chip 720 including a configuration for performing digital processing such as a column circuit 207 are stacked at a chip level.
図７（ａ）は撮像素子７００の斜投影図を、図７（ｂ）はチップ７１０及びチップ７２０の上面図をそれぞれ示している。イメージセンサ用チップ７１０の画素部７１１には、単位画素２０１、ＦＤアンプ２０２、ＴＧ２１５等の画素信号を読み出す構成が含まれる。また、高速ロジックプロセス用チップ７２０には列回路２０７、水平走査回路２０９、画素信号選択回路２１１及び画素信号選択回路２１２等のデジタルデータを含む処理が可能な構成が含まれる。 FIG. 7A is a perspective view of the image sensor 700, and FIG. 7B is a top view of the chip 710 and the chip 720. The pixel portion 711 of the image sensor chip 710 includes a configuration for reading out pixel signals of the unit pixel 201, the FD amplifier 202, the TG 215, and the like. The high-speed logic process chip 720 includes a column circuit 207, a horizontal scanning circuit 209, a pixel signal selection circuit 211, a pixel signal selection circuit 212, and other components capable of processing including digital data.
さらに、高速ロジックプロセス用チップ７２０にはスミア検出部１０３を含んでもよい。高速ロジックプロセス用チップ７２０では、スミア検出部１０３によりスミアを検出してスミア情報及び発生したスミアに係る補正用画像信号を出力する。 Further, the high speed logic process chip 720 may include the smear detection unit 103. In the high-speed logic process chip 720, the smear detection unit 103 detects smear, and outputs smear information and a correction image signal related to the smear that has occurred.
また、高速ロジックプロセス用チップ７２０には、スミア検出部１０３に加えてスミア補正値生成部１０４及びスミア補正部１０５を含んでもよく、スミア補正を行った補正後の画像信号を信号処理部１０６に出力するようにしてもよい。 Further, the high-speed logic process chip 720 may include a smear correction value generation unit 104 and a smear correction unit 105 in addition to the smear detection unit 103, and the corrected image signal after smear correction is sent to the signal processing unit 106. You may make it output.
以上説明したように本実施形態では、積層型の撮像素子を用いることにより信号処理回路に大きな面積を割くことができるため、上述したスミア補正処理に係る信号処理回路の少なくとも一部を容易に撮像素子に搭載することができる。 As described above, in the present embodiment, since a large area can be allocated to the signal processing circuit by using the stacked image sensor, at least a part of the signal processing circuit related to the smear correction processing described above can be easily imaged. It can be mounted on the device.
（実施形態４）
次に実施形態４について説明する。本実施形態では、携帯電話機８００においてスミア補正処理を行う例を説明する。図８は、本実施形態としての携帯電話機８００の機能構成例を示している。本実施形態の携帯電話機８００は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。
(Embodiment 4)
Next, a fourth embodiment will be described. In this embodiment, an example in which the mobile phone 800 performs smear correction processing will be described. FIG. 8 shows an example of the functional configuration of the mobile phone 800 according to this embodiment. The mobile phone 800 of this embodiment has an e-mail function, an Internet connection function, an image capturing/reproducing function, and the like in addition to a voice call function.
図８において、通信部８０１は、ユーザが契約した通信キャリアに従った又は無線ＬＡＮ等の通信方式により他の携帯電話機や通信機能を有する装置との間で音声データや画像データを通信する。音声処理部８０２は、音声通話時において、マイクロフォン８０３からの音声データを発信に適した形式に変換して通信部８０１に送信する。また、音声処理部８０２は、通信部８０１から送信された通話相手からの音声データを復号し、スピーカ８０４に伝送する。 In FIG. 8, a communication unit 801 communicates voice data and image data with another mobile phone or a device having a communication function according to a communication carrier contracted by a user or a communication method such as a wireless LAN. The voice processing unit 802 converts the voice data from the microphone 803 into a format suitable for transmission and transmits the voice data to the communication unit 801 during a voice call. Further, the voice processing unit 802 decodes voice data from the communication partner transmitted from the communication unit 801 and transmits the voice data to the speaker 804.
撮像部８０５は、上述した実施形態１〜３の撮像素子のいずれかを含み、被写体を撮影して画像信号を出力する。画像処理部８０６は、上述した実施形態におけるスミア検出部１０３、スミア補正値生成部１０４、スミア補正部１０５及び信号処理部１０６を含む。画像処理部８０６は、画像の撮影時においては、撮像部８０５により撮影された画像信号を処理し、記録に適した形式に変換して出力する。また、画像処理部８０６は、記録された画像の再生時には、再生された画像を処理して表示部８０７に送信する。表示部８０７は、例えば数インチ程度の液晶表示パネルを備え、制御部８０９からの指示に応じて各種の画面を表示する。不揮発メモリ８０８は、アドレス帳の情報、電子メールのデータ又は撮像部８０５により撮影された画像データ等のデータを記憶する。 The image capturing unit 805 includes any of the image capturing elements according to the first to third embodiments described above, captures a subject, and outputs an image signal. The image processing unit 806 includes the smear detection unit 103, the smear correction value generation unit 104, the smear correction unit 105, and the signal processing unit 106 according to the above-described embodiment. The image processing unit 806 processes the image signal captured by the image capturing unit 805 during image capturing, converts the image signal into a format suitable for recording, and outputs the format. Further, the image processing unit 806 processes the reproduced image and transmits it to the display unit 807 when reproducing the recorded image. The display unit 807 includes, for example, a liquid crystal display panel of about several inches, and displays various screens in accordance with an instruction from the control unit 809. The non-volatile memory 808 stores data such as address book information, email data, or image data captured by the image capturing unit 805.
制御部８０９は、ＣＰＵやメモリ等を含み、不図示のメモリに記憶された制御プログラムに従って携帯電話機８００の各部を制御する。制御部８０９は、上述した実施形態の制御部１０９を含む。操作部８１０は、電源ボタンや番号キー、その他ユーザがデータを入力するための各種の操作キーを備える。カードＩＦ８１１は、メモリカード８１２に対して各種のデータを記録再生する。外部ＩＦ８１３は、不揮発メモリ８０８やメモリカード８１２に記憶されたデータを外部機器に送信し、また、外部機器から送信されたデータを受信する。外部ＩＦ８１３は、ＵＳＢ等の有線の通信方式や、無線通信など、公知の通信方式により通信を行う。 The control unit 809 includes a CPU and a memory, and controls each unit of the mobile phone 800 according to a control program stored in a memory (not shown). The control unit 809 includes the control unit 109 of the above-described embodiment. The operation unit 810 includes a power button, number keys, and other various operation keys for the user to input data. The card IF 811 records/reproduces various data on/from the memory card 812. The external IF 813 transmits the data stored in the non-volatile memory 808 or the memory card 812 to the external device, and also receives the data transmitted from the external device. The external IF 813 performs communication by a known communication method such as a wired communication method such as USB or wireless communication.
次に、携帯電話機８００における音声通話機能を説明する。通話相手に対して電話をかける場合、ユーザが操作部８１０の番号キーを操作して通話相手の番号を入力するか、不揮発メモリ８０８に記憶されたアドレス帳を表示部８０７に表示し、通話相手を選択し、発信を指示する。発信が指示されると、制御部８０９は通信部８０１に対し、通話相手に発信する。通話相手に着信すると、通信部８０１は音声処理部８０２に対して相手の音声データを出力すると共に、ユーザの音声データを相手に送信する。 Next, the voice call function of the mobile phone 800 will be described. When making a call to the other party, the user operates the number key of the operation unit 810 to input the number of the other party, or the address book stored in the non-volatile memory 808 is displayed on the display unit 807, and the other party is called. Select and instruct to make a call. When an instruction to make a call is made, the control unit 809 makes a call to the communication partner via the communication unit 801. When the communication partner receives an incoming call, the communication unit 801 outputs the partner's voice data to the voice processing unit 802 and also transmits the user's voice data to the partner.
また、電子メールを送信する場合、ユーザは、操作部８１０を用いて、メール作成を指示する。メール作成が指示されると、制御部８０９はメール作成用の画面を表示部８０７に表示する。ユーザは操作部１８０を用いて送信先アドレスや本文を入力し、送信を指示する。制御部８０９はメール送信が指示されると、通信部８０１に対してアドレスの情報とメール本文のデータを送信する。通信部８０１は、メールのデータを通信に適した形式に変換して送信先に送信し、また、電子メールを受信すると、受信したメールのデータを表示に適した形式に変換して表示部８０７に表示する。 In addition, when sending an electronic mail, the user uses the operation unit 810 to instruct mail creation. When the mail creation is instructed, the control unit 809 displays a mail creation screen on the display unit 807. The user uses the operation unit 180 to input a destination address and a body text, and gives an instruction for transmission. When the mail transmission is instructed, the control unit 809 transmits the address information and the mail text data to the communication unit 801. The communication unit 801 converts the mail data into a format suitable for communication and transmits the data to the destination, and when receiving the electronic mail, converts the received mail data into a format suitable for display and displays the display unit 807. To display.
次に、携帯電話機８００における撮影機能について説明する。ユーザが操作部８１０を操作して撮影モードを設定した後、静止画或いは動画の撮影を指示すると、撮像部８０５は静止画データ或いは動画データを撮影して画像処理部８０６に送る。画像処理部８０６は撮影された静止画データや動画データに対して上述したスミア補正処理を実行すると共に符号化等の処理を行って、不揮発メモリ８０８に記憶する。また、画像処理部８０６は、撮影された静止画データや動画データをカードＩＦ８１１に送信する。カードＩＦ８１１は静止画や動画データをメモリカード８１２に記憶する。 Next, the shooting function of the mobile phone 800 will be described. When the user operates the operation unit 810 to set the shooting mode and then instructs to shoot a still image or a moving image, the imaging unit 805 shoots the still image data or the moving image data and sends it to the image processing unit 806. The image processing unit 806 performs the above-described smear correction processing on the captured still image data or moving image data, performs processing such as encoding, and stores the nonvolatile memory 808. The image processing unit 806 also transmits the captured still image data and moving image data to the card IF 811. The card IF 811 stores still image and moving image data in the memory card 812.
また、携帯電話機８００は、撮影された静止画や動画データを含むファイルを、電子メールの添付ファイルとして送信することができる。具体的には、電子メールを送信する際に、不揮発メモリ８０８やメモリカード８１２に記憶された画像ファイルを選択し、添付ファイルとして送信を指示する。 In addition, the mobile phone 800 can transmit a file including a captured still image or moving image data as an attachment file of an email. Specifically, when sending an e-mail, an image file stored in the non-volatile memory 808 or the memory card 812 is selected and an instruction to send as an attached file is given.
また、携帯電話機８００は、撮影された静止画や動画データを含むファイルを、外部ＩＦ８１３によりＰＣや他の電話機等の外部機器に送信することもできる。ユーザは、操作部８１０を操作して、不揮発メモリ８０８やメモリカード８１２に記憶された画像ファイルを選択し、送信を指示する。制御部８０９は、選択された画像ファイルを不揮発メモリ８０８或いはメモリカード８１２から読み出し、外部機器に送信するよう、外部ＩＦ８１３を制御する。 Further, the mobile phone 800 can also transmit a file including a captured still image or moving image data to an external device such as a PC or another phone by the external IF 813. The user operates the operation unit 810 to select an image file stored in the non-volatile memory 808 or the memory card 812 and gives an instruction for transmission. The control unit 809 controls the external IF 813 so that the selected image file is read from the non-volatile memory 808 or the memory card 812 and transmitted to an external device.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０２…撮像素子、１０３…スミア検出部、１０４…スミア補正値生成部、１０５…スミア補正部、２０１…単位画素 102... Image sensor, 103... Smear detection part, 104... Smear correction value generation part, 105... Smear correction part, 201... Unit pixel
Claims (12)
前記第２の画像信号に含まれる前記第２の画素の信号値を用いて、該第２の画素の位置に対応する前記第１の画素の信号値を補正する補正手段と、を有し、
前記第２の画素は電荷の蓄積時間が０になるように制御されることを特徴とする撮像装置。 A first pixel that receives light from a subject, a pixel array in which a second pixel for detecting smear is arranged, a first image signal read from the first pixel, and the first image signal. An image sensor including an output unit that separates and outputs a second image signal read from the second pixel;
Using said second signal value of the second pixels included in the image signal, have a, and correcting means for correcting the signal value of the first pixel corresponding to the position of the pixel second,
The image pickup device, wherein the second pixel is controlled so that the charge accumulation time becomes zero .
ことを特徴とする請求項１に記載の撮像装置。 The correction means corrects the signal value of the corresponding first pixel by using the signal value of the second pixel in which the signal value by smear is accumulated.
The image pickup apparatus according to claim 1 , wherein the image pickup apparatus is provided.
ことを特徴とする請求項１又は２に記載の撮像装置。 The image pickup device is capable of changing the predetermined interval when the second pixels are arranged at predetermined intervals in the direction in which smear occurs.
The imaging apparatus according to claim 1 or 2, characterized in that.
ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。 The image pickup device further includes detection means for detecting the occurrence of smear when the change in the signal value of the second pixel is larger than a predetermined threshold value in the direction perpendicular to the direction in which smear occurs.
The imaging apparatus according to any one of claims 1 3, characterized in that.
ことを特徴とする請求項４に記載の撮像装置。 The image pickup device outputs only the second pixel detected by the detection means as the second image signal.
The image pickup apparatus according to claim 4 , wherein
ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。 The image pickup device has a structure in which a first chip in which the pixel array is arranged and a second chip in which the output unit is arranged are stacked.
The imaging apparatus according to any one of claims 1 to 5, characterized in that.
ことを特徴とする請求項６に記載の撮像装置。 The second chip further includes detection means for detecting the occurrence of smear when the change in the signal value of the second pixel is larger than a predetermined threshold value in the direction perpendicular to the direction in which the smear occurs.
The image pickup apparatus according to claim 6 , wherein
ことを特徴とする請求項７に記載の撮像装置。 The second chip outputs the second image signal of only the second pixel detected by the detection means,
The image pickup apparatus according to claim 7 , wherein
ことを特徴とする請求項２又は３に記載の撮像装置。 The correction means further includes detection means for detecting the occurrence of smear when the change in the signal value of the second pixel is larger than a predetermined threshold value in the direction perpendicular to the direction in which smear occurs.
The imaging device according to claim 2 or 3 , wherein.
前記撮像素子が、前記第１の画素から読み出した第１の画像信号と、前記第２の画素から読み出した第２の画像信号とを分離して出力する出力工程と、
補正手段が、入力した前記第２の画像信号に含まれる前記第２の画素の信号値を用いて、該第２の画素の位置に対応する前記第１の画素の値を補正する補正工程と、を有し、
前記第２の画素は電荷の蓄積時間が０になるように制御されることを特徴とする撮像装置の制御方法。 A method for controlling an image pickup apparatus including an image pickup element having a pixel array in which a first pixel for receiving light from a subject and a second pixel for detecting smear are arranged,
An output step in which the image pickup device separates and outputs a first image signal read from the first pixel and a second image signal read from the second pixel;
A correcting step of correcting the value of the first pixel corresponding to the position of the second pixel using the signal value of the second pixel included in the input second image signal; , I have a,
The method of controlling an image pickup device, wherein the second pixel is controlled so that a charge accumulation time becomes zero .
前記第１の画素から読み出された第１の画像信号と、前記第２の画素から読み出された第２の画像信号とを分離する分離手段と、
前記第２の画像信号に含まれる前記第２の画素の信号値を用いて、該第２の画素の位置に対応する前記第１の画素の信号値を補正する補正手段と、
前記補正手段により補正された前記第１の画素からなる第１の画像信号を出力する出力手段と、を有し、
前記第２の画素は電荷の蓄積時間が０になるように制御されることを特徴とする撮像素子。 A pixel array in which a first pixel for receiving light from a subject and a second pixel for detecting smear are arrayed;
Separation means for separating the first image signal read from the first pixel and the second image signal read from the second pixel;
Correction means for correcting the signal value of the first pixel corresponding to the position of the second pixel using the signal value of the second pixel included in the second image signal;
Have a, and output means for outputting a first image signal comprised of corrected first pixel by the correction means,
The second pixel is controlled so that the charge accumulation time becomes zero .
ことを特徴とする請求項１１に記載の撮像素子。 The image pickup device includes a first chip in which the pixel array is arranged, a second chip in which the separating unit, the correcting unit, and the output unit are arranged, and which is laminated with the first chip.
The image pickup device according to claim 11 , wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015238906A JP6703784B2 (en) | 2015-12-07 | 2015-12-07 | Imaging device, control method thereof, and imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015238906A JP6703784B2 (en) | 2015-12-07 | 2015-12-07 | Imaging device, control method thereof, and imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017108223A JP2017108223A (en) | 2017-06-15 |
| JP6703784B2 true JP6703784B2 (en) | 2020-06-03 |
Family
ID=59060025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015238906A Active JP6703784B2 (en) | 2015-12-07 | 2015-12-07 | Imaging device, control method thereof, and imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6703784B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58156272A (en) * | 1982-03-12 | 1983-09-17 | Sony Corp | Smear compensating circuit |
| JPS61234178A (en) * | 1985-04-09 | 1986-10-18 | Matsushita Electric Ind Co Ltd | Solid-state image pickup device |
| JP2010093759A (en) * | 2008-10-10 | 2010-04-22 | Canon Inc | Imaging sensor and imaging apparatus |
| JP2013187360A (en) * | 2012-03-08 | 2013-09-19 | Sony Corp | Solid-state image pickup device and electronic apparatus |
| JP5755288B2 (en) * | 2013-07-04 | 2015-07-29 | キヤノン株式会社 | Imaging apparatus, imaging system, signal processing method, and program |
-
2015
- 2015-12-07 JP JP2015238906A patent/JP6703784B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017108223A (en) | 2017-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10218928B2 (en) | Image capturing apparatus and mobile telephone | |
| US10110827B2 (en) | Imaging apparatus, signal processing method, and program | |
| US9894281B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program for setting image-capture conditions of image sensor | |
| JP5241355B2 (en) | Imaging apparatus and control method thereof | |
| US9942504B2 (en) | Image capturing apparatus and method for controlling the image capturing apparatus | |
| JP2009212909A (en) | Solid-state imaging apparatus, flicker detection method for solid-state imaging apparatus, control program, readable recording medium, and electronic information device | |
| US10313588B2 (en) | Image capturing system and control method of image capturing system | |
| US20100045829A1 (en) | Image capturing apparatus | |
| US10044956B2 (en) | Image capturing apparatus, control method thereof, and storage medium | |
| US10003734B2 (en) | Image capturing apparatus and control method of image sensor | |
| US20160198111A1 (en) | Image capturing apparatus and control method thereof | |
| CN114128251B (en) | Image forming apparatus and control method thereof | |
| JP2007134806A (en) | Solid-state imaging element | |
| JP2011244351A (en) | Imaging apparatus and drive control method of solid state image sensor | |
| JP6703784B2 (en) | Imaging device, control method thereof, and imaging device | |
| JP2013157881A (en) | Imaging apparatus, control method and program thereof | |
| JP6363889B2 (en) | Image pickup device, image pickup apparatus, and control method thereof | |
| JP2020170985A (en) | Imaging apparatus and control method thereof | |
| JP6458114B2 (en) | Imaging device, imaging device, and mobile phone | |
| US11368610B2 (en) | Image capture apparatus and control method therefor | |
| JP2016054479A (en) | Imaging device, control method and program thereof, and imaging element | |
| JP2010011047A (en) | Imaging apparatus | |
| JP2018019238A (en) | Image pickup device, driving method of the same, and electronic apparatus | |
| JP2012235342A (en) | Imaging apparatus and electronic camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200410 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200509 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6703784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |