JP2007096556A - Flicker noise reduction unit - Google Patents

Flicker noise reduction unit Download PDF

Info

Publication number
JP2007096556A
JP2007096556A JP2005281050A JP2005281050A JP2007096556A JP 2007096556 A JP2007096556 A JP 2007096556A JP 2005281050 A JP2005281050 A JP 2005281050A JP 2005281050 A JP2005281050 A JP 2005281050A JP 2007096556 A JP2007096556 A JP 2007096556A
Authority
JP
Japan
Prior art keywords
pixel line
line group
pixel
flicker noise
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005281050A
Other languages
Japanese (ja)
Other versions
JP4515991B2 (en
Inventor
Saori Yokoyama
沙織 横山
Shinichi Takayama
真一 高山
Takaaki Shoji
孝明 東海林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Pentax Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentax Corp filed Critical Pentax Corp
Priority to JP2005281050A priority Critical patent/JP4515991B2/en
Publication of JP2007096556A publication Critical patent/JP2007096556A/en
Application granted granted Critical
Publication of JP4515991B2 publication Critical patent/JP4515991B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a unit for reducing the flicker noise without using image information before and after the frame from which noise is to be removed. <P>SOLUTION: In a flicker noise reduction unit (flicker noise removing section) 30 of an imaging apparatus, a luminance information acquisition section (sampling addition section) 31 is provided for acquiring luminance information, on the basis of each pixel line group in which a predetermined number of pixel lines of an imaging device (CMOS image sensor) 10 are bundled. For a pixel line group family having a bundled plurality of pixel line group, a period detector 32 is provided for obtaining the period of a light and dark stripe pattern on the image caused by the flicker noise, based on the luminance information. Based on the period and the luminance information, a correction amount calculator 33 is provided for obtaining a luminance correction amount for each pixel line group having obtained the luminance information. A pixel calculator 34 is provided which corrects an image signal obtained from the pixels constituting the pixel line group, and reduces the light and dark stripe pattern on the image by using the luminance correction amount. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、ノイズ低減装置に関し、特に撮像装置において蛍光灯の点灯に伴うフリッカノイズを低減する装置に関する。   The present invention relates to a noise reduction apparatus, and more particularly to an apparatus that reduces flicker noise associated with lighting of a fluorescent lamp in an imaging apparatus.

画像上に現れる、蛍光灯の点灯に伴うフリッカノイズによる明暗の縞模様を低減する装置が提案されている。   There has been proposed an apparatus for reducing bright and dark stripes due to flicker noise caused by lighting of a fluorescent lamp appearing on an image.

特許文献１は、ノイズ除去を行うフレームの前後に撮像されたフレームを使ってフリッカノイズによる明暗の縞模様を低減する装置を開示する。
特開２００２−５６３９０号公報 Patent Document 1 discloses an apparatus that reduces bright and dark stripes caused by flicker noise using frames imaged before and after a frame for noise removal.
JP 2002-56390 A

しかし、特許文献１の装置は、ノイズ除去を行うフレームの前後のフレームの画像情報も利用するため応答時間が長くなり、また必ずしも正しいデータとならない（データが埋もれてしまう）といった問題がある。   However, the apparatus of Patent Document 1 uses the image information of frames before and after the frame from which noise is removed, so that there is a problem that response time is long and correct data is not necessarily obtained (data is buried).

したがって本発明の目的は、ノイズ除去を行うフレームの前後のフレームの画像情報を利用せずにフリッカノイズの低減を行う装置を提供することである。   Accordingly, an object of the present invention is to provide an apparatus for reducing flicker noise without using image information of frames before and after the frame from which noise is removed.

本発明に係る撮像装置のフリッカノイズ低減装置は、撮像素子の画素ライン毎、または所定数の画素ラインを束ねた画素ライン群毎に、輝度情報を取得する輝度情報取得部と、複数の画素ライン群を束ねた画素ライン群ファミリーにおいて、輝度情報に基づいてフリッカノイズによる画像上の明暗の縞模様の周期を求める周期検知部と、周期と、輝度情報に基づいて、輝度情報を取得した画素ライン毎または画素ライン群毎の輝度補正量を求める補正量演算部と、画素ライン群を構成する画素から得られた画像信号について、輝度補正量を使って補正を行い画像上の明暗の縞模様を低減する画素演算部とを備える。   A flicker noise reduction device for an imaging apparatus according to the present invention includes a luminance information acquisition unit that acquires luminance information for each pixel line of an imaging element or a group of pixel lines in which a predetermined number of pixel lines are bundled, and a plurality of pixel lines In a pixel line group in which a group is bundled, a period detection unit that obtains a period of a bright and dark striped pattern on an image due to flicker noise based on luminance information, and a pixel line from which luminance information is acquired based on the period and luminance information The correction amount calculation unit for obtaining the luminance correction amount for each pixel line group and the image signal obtained from the pixels constituting the pixel line group are corrected using the luminance correction amount, and light and dark stripes on the image are obtained. A pixel calculation unit for reduction.

好ましくは、輝度情報取得部は、サンプリング加算部であり、画素ライン毎、または画素ライン群毎に、ランダムに第１数量だけ抽出した画素から得られた輝度値を合算した加算値を輝度情報として求め、周期検知部は、画素ライン群ファミリーにおいて、加算値が最も大きい値を有する画素ライン群と次に大きい値を有する画素ライン群との第１距離、加算値が最も小さい値を有する画素ライン群と次に小さい値を有する画素ライン群との第２距離に基づいて周期を求め、補正量演算部は、注目する画素ライン群を含み、周期と同じ幅を持つ画素ライン群の集合体の中で、画素ライン群毎の加算値の平均値を求め、平均値を注目する画素ライン群の加算値で除算して輝度補正量を求める演算を、総ての画素ライン群において行い、画素演算部は、注目する画素ライン群が有する画素から得られた画像信号について、注目する画素ライン群の輝度補正量を乗算する補正を行う演算を、総ての画素ライン群において行う。   Preferably, the luminance information acquisition unit is a sampling addition unit, and for each pixel line or each pixel line group, an addition value obtained by adding up luminance values obtained from pixels extracted by a first quantity at random is used as luminance information. The period detection unit obtains the first distance between the pixel line group having the largest added value and the pixel line group having the next largest value and the pixel line having the smallest added value in the pixel line group family. The period is obtained based on the second distance between the group and the pixel line group having the next smallest value, and the correction amount calculation unit includes a pixel line group including the pixel line group of interest and having the same width as the period. In the pixel line group, an average value of the added values for each pixel line group is obtained, and the average value is divided by the added value of the pixel line group of interest to obtain a luminance correction amount in all the pixel line groups. It is on the image signal obtained from the pixel in which the pixel line group of interest has a calculation to correct for multiplying the luminance correction amount of the pixel line groups of interest, carried in all the pixel line groups.

さらに好ましくは、画素ライン群ファミリーを２つ以上有し、周期検知部は、２つ以上の画素ライン群ファミリーそれぞれから２つ以上の第１距離の値、及び第２距離の値に基づいて周期を求める。   More preferably, two or more pixel line group families are provided, and the period detection unit performs a period based on two or more first distance values and second distance values from each of the two or more pixel line group families. Ask for.

さらに好ましくは、画素ライン群ファミリーを３つ以上有し、周期検知部は、３つ以上の第１距離の値、及び第２距離の値のうち、中間の値に近い複数の値の平均値を周期として求める。   More preferably, it has three or more pixel line group families, and the period detection unit is an average value of a plurality of values close to an intermediate value among three or more first distance values and second distance values. As a period.

また、好ましくは、第１数量は、２以上である。   Preferably, the first quantity is 2 or more.

また、好ましくは、撮像素子は、画素ライン毎に異なる露光タイミングで露光が行われるロータリーシャッタを有するＣＭＯＳイメージセンサである。   Preferably, the imaging device is a CMOS image sensor having a rotary shutter that is exposed at different exposure timings for each pixel line.

以上のように本発明によれば、ノイズ除去を行うフレームの前後のフレームの画像情報を利用せずにフリッカノイズの低減を行う装置を提供することができる。   As described above, according to the present invention, it is possible to provide an apparatus for reducing flicker noise without using image information of frames before and after a frame from which noise is removed.

以下、本発明の実施形態について、図を用いて説明する。本実施形態における撮像装置１は、ＣＭＯＳイメージセンサ１０、ＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２０、フリッカノイズ除去部３０、画像処理部４０、及びタイミングジェネレータ５０とを備える（図１参照）。本実施形態では、撮像装置１は、デジタルカメラである。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. The imaging device 1 in this embodiment includes a CMOS image sensor 10, an ADC (Analog Digital Converter) 20, a flicker noise removing unit 30, an image processing unit 40, and a timing generator 50 (see FIG. 1). In the present embodiment, the imaging device 1 is a digital camera.

被写体像が撮像光学系を介して投影された光学像は、ＣＭＯＳイメージセンサ１０の撮像面に結像される。ＣＭＯＳイメージセンサ１０は、光学像を光電変換によって電気信号に変換する。ＣＭＯＳイメージセンサ１０で所定時間（露光時間）蓄積された後、読み出しされた電荷に基づく電気信号は、ＡＤＣ２０でアナログ信号からデジタル信号に変換される。デジタル信号に変換された電気信号は、フリッカノイズ除去部３０で、フリッカノイズを取り除く処理がされる。フリッカノイズ処理後、画像処理部４０で、その他の画像処理が行われる。これらの動作は、タイミングジェネレータ５０からの同期信号により制御され、ＡＤＣ２０からのデータ（電気信号）と調歩が取られる。   The optical image obtained by projecting the subject image via the imaging optical system is formed on the imaging surface of the CMOS image sensor 10. The CMOS image sensor 10 converts an optical image into an electrical signal by photoelectric conversion. After being accumulated in the CMOS image sensor 10 for a predetermined time (exposure time), an electrical signal based on the read electric charge is converted from an analog signal to a digital signal by the ADC 20. The electrical signal converted into the digital signal is subjected to processing for removing flicker noise by the flicker noise removing unit 30. After the flicker noise processing, the image processing unit 40 performs other image processing. These operations are controlled by a synchronization signal from the timing generator 50, and are stepped with data (electrical signal) from the ADC 20.

ＣＭＯＳイメージセンサ１０は、画素ライン毎に異なる露光タイミングで露光が行われるロータリーシャッタを有する。本実施形態では、ＣＭＯＳイメージセンサ１０は、例として２６２０本の画素ラインを有するものとして説明する。ＣＭＯＳイメージセンサ１０の画素ラインは、最も上の画素ラインを第１画素ラインＬ１と定義し、最も下の画素ラインを第２６２０画素ラインＬ２６２０と定義する（図２参照）。また、隣接する所定数の画素ライン（所定数束ねた画素ライン）を画素ライン群と定義する。本実施形態では所定数を２０ラインにするとして、第１〜第２０画素ラインＬ１〜Ｌ２０を第１画素ライン群ＬＧ１、第２１〜第４０画素ラインＬ２１〜Ｌ４０を第２画素ライン群ＬＧ２、・・・第２６０１〜２６２０画素ラインＬ２６０１〜Ｌ２６２０を第１３１画素ライン群ＬＧ１３１と定義する（図２、図３参照）。   The CMOS image sensor 10 has a rotary shutter that performs exposure at different exposure timings for each pixel line. In the present embodiment, the CMOS image sensor 10 will be described as having 2620 pixel lines as an example. Regarding the pixel line of the CMOS image sensor 10, the uppermost pixel line is defined as the first pixel line L1, and the lowermost pixel line is defined as the 2620th pixel line L2620 (see FIG. 2). A predetermined number of adjacent pixel lines (pixel lines bundled in a predetermined number) are defined as a pixel line group. In the present embodiment, the predetermined number is 20 lines, the first to twentieth pixel lines L1 to L20 are the first pixel line group LG1, the second to forty pixel lines L21 to L40 are the second pixel line group LG2,. The 2601st to 2620th pixel lines L2601 to L2620 are defined as the 131st pixel line group LG131 (see FIGS. 2 and 3).

それぞれの画素ライン群が有する画素ラインの数（所定数）を少なくし、画素ライン群の数を多くした方が精度の高い補正演算が可能になるが、処理時間が長くなるので、撮像装置１の演算能力に応じて設定するのが望ましい。また、所定数を多くする場合であっても、フリッカノイズの周期（明暗の縞模様の縞の周期）を予測し、それよりも画素ライン群の幅が長くならない程度に設定するのが望ましい。画素ライン群の幅とは、画素ライン群の、画素ラインが並べられる方向の長さである。   If the number of pixel lines (predetermined number) included in each pixel line group is reduced and the number of pixel line groups is increased, a highly accurate correction calculation can be performed. It is desirable to set according to the computing ability. Even when the predetermined number is increased, it is desirable to predict the flicker noise cycle (bright and dark stripe pattern cycle) and set the pixel line group so as not to be longer than that. The width of the pixel line group is the length of the pixel line group in the direction in which the pixel lines are arranged.

フリッカノイズ除去部３０は、サンプリング加算部３１、周期検知部３２、補正量演算部３３、及び画素演算部３４とを有する。   The flicker noise removal unit 30 includes a sampling addition unit 31, a period detection unit 32, a correction amount calculation unit 33, and a pixel calculation unit 34.

サンプリング加算部３１（図４参照）は、画素ライン群の中からランダムに第１数量の画素を抽出する。抽出した第１数量の画素から得られた輝度値が、画素ライン群の加算値として合算される。加算値の演算は、画素ライン群毎に演算される。第１数量は、画素ライン群毎に同じ値に設定される。輝度値を抽出する画素の位置は、画素ライン群ごとに合わせる必要はない。第１数量を多く設定した方が、精度の高い補正が可能になる。   The sampling adder 31 (see FIG. 4) randomly extracts a first quantity of pixels from the pixel line group. The luminance values obtained from the extracted first quantity of pixels are added together as the added value of the pixel line group. The addition value is calculated for each pixel line group. The first quantity is set to the same value for each pixel line group. The position of the pixel from which the luminance value is extracted need not be matched for each pixel line group. If the first quantity is set larger, correction with higher accuracy becomes possible.

サンプリング加算部３１は、加算器３１ａ、ラインカウント部３１ｂ、及びサンプリング数カウント部３１ｃとを有する。   The sampling adder 31 includes an adder 31a, a line count unit 31b, and a sampling number count unit 31c.

ラインカウント部３１ｂは、タイミングジェネレータ５０の同期信号に基づいて、ＡＤＣ２０から出力されたデジタル信号（電気信号）が、ＣＭＯＳイメージセンサ１０上のどの画素ライン群に対応するものかを検出する。サンプリング数カウント部３１ｃは、タイミングジェネレータ５０の同期信号に基づいて、ＡＤＣ２０から出力されたデジタル信号に対応する画素ライン群上から抽出した画素の数（サンプリング数）を検出する。加算器３１ａは、ラインカウント部３１ｂ、サンプリング数カウント部３１ｃからの情報に基づいて、加算値の演算を行う。画素ライン群毎の加算値の演算結果は、周期検知部３２に出力される。   The line count unit 31 b detects which pixel line group on the CMOS image sensor 10 the digital signal (electric signal) output from the ADC 20 corresponds to based on the synchronization signal of the timing generator 50. The sampling number counting unit 31c detects the number of pixels (sampling number) extracted from the pixel line group corresponding to the digital signal output from the ADC 20, based on the synchronization signal of the timing generator 50. The adder 31a calculates an added value based on information from the line count unit 31b and the sampling number count unit 31c. The calculation result of the addition value for each pixel line group is output to the period detection unit 32.

周期検知部３２（図５参照）は、画素ライン群毎に演算した加算値に基づいてフリッカノイズの周期Ｃを検知する。フリッカノイズの周期Ｃは、複数の周期の候補（第１〜第６周期候補ｃ１〜ｃ６）を求め、これら中から抽出した複数の候補の平均値とする。周期検知部３２は、最大値検出部３２ａ、最小値検出部３２ｂ、及び並べ替え部３２ｃを有する。   The period detection unit 32 (see FIG. 5) detects the period C of flicker noise based on the added value calculated for each pixel line group. The flicker noise cycle C is obtained as a plurality of cycle candidates (first to sixth cycle candidates c1 to c6), and the average value of the plurality of candidates extracted from these. The period detection unit 32 includes a maximum value detection unit 32a, a minimum value detection unit 32b, and a rearrangement unit 32c.

具体的に、フリッカノイズの周期Ｃの演算手順を説明する。隣接する複数の画素ライン群（複数束ねた画素ライン群）を画素ライン群ファミリーと定義する。画素ライン群ファミリーの数は２以上であり、本実施形態では、３つの画素ライン群ファミリー（第１〜第３画素ライン群ファミリーＬＧＦ１〜ＬＧＦ３）を有する。画素ライン群ファミリーが有する画素ライン群の数は、画素ライン群ファミリーに対応する画像上でフリッカノイズによる暗い部分と明るい部分がそれぞれ少なくとも２カ所以上存在するような値に決定され、具体的には、フリッカノイズの元となる蛍光灯の周波数、ＣＭＯＳイメージセンサ１０の読み出し速度から算出される。   Specifically, the calculation procedure of the flicker noise period C will be described. A plurality of adjacent pixel line groups (a plurality of bundled pixel line groups) are defined as a pixel line group family. The number of pixel line group families is two or more, and in the present embodiment, there are three pixel line group families (first to third pixel line group families LGF1 to LGF3). The number of pixel line groups included in the pixel line group family is determined to a value such that there are at least two dark parts and bright parts due to flicker noise on the image corresponding to the pixel line group family. It is calculated from the frequency of the fluorescent lamp that causes flicker noise and the reading speed of the CMOS image sensor 10.

第１〜第３画素ライン群ファミリーＬＧＦ１〜ＬＧＦ３それぞれが有する画素ライン群の数は同じである。第１画素ライン群ファミリーＬＧＦ１は、第１〜第２５画素ライン群ＬＧ１〜ＬＧ２５を有し、第２画素ライン群ファミリーＬＧＦ２は、第５〜第２９画素ライン群ＬＧ５〜ＬＧ２９を有し、第３画素ライン群ファミリーＬＧＦ３は第１０７〜第１３１画素ライン群ＬＧ１０７〜ＬＧ１３１を有する（図３参照）。   Each of the first to third pixel line group families LGF1 to LGF3 has the same number of pixel line groups. The first pixel line group family LGF1 includes first to 25th pixel line groups LG1 to LG25, the second pixel line group family LGF2 includes fifth to 29th pixel line groups LG5 to LG29, and the third The pixel line group family LGF3 includes 107th to 131st pixel line groups LG107 to LG131 (see FIG. 3).

最大値検出部３２ａは、第１画素ライン群ファミリーＬＧＦ１内の画素ライン群それぞれにおける加算値の中で最も大きい加算値と次に大きい加算値を検出する。最大値検出部３２ａは、最も大きい加算値を有する画素ライン群の位置と、次に大きい加算値を有する画素ライン群の第１距離を演算し、これをフリッカノイズの周期の候補（第１周期候補ｃ１）とする（図５参照）。   The maximum value detection unit 32a detects the largest added value and the next largest added value among the added values in each pixel line group in the first pixel line group family LGF1. The maximum value detection unit 32a calculates the position of the pixel line group having the largest added value and the first distance of the pixel line group having the next largest added value, and calculates this as a flicker noise cycle candidate (first cycle). Candidate c1) (see FIG. 5).

最大値検出部３２ａは、第２、第３画素ライン群ファミリーＬＧＦ２、ＬＧＦ３の中でも同様に最も大きい加算値と、次に大きい加算値を検出し、これらからフリッカノイズの周期の候補（第２、第３周期候補ｃ２、ｃ３）を求める。   The maximum value detection unit 32a detects the largest addition value and the next largest addition value in the second and third pixel line group families LGF2 and LGF3 in the same manner, and from these, the flicker noise cycle candidate (second, second, The third cycle candidates c2, c3) are obtained.

最小値検出部３２ｂは、第１画素ライン群ファミリーＬＧＦ１内の画素ライン群それぞれにおける加算値の中で最も小さい加算値と次に小さい加算値を検出する。最小値検出部３２ｂは、最も小さい加算値を有する画素ライン群の位置と、次に小さい加算値を有する画素ライン群の第２距離を演算し、これをフリッカノイズの周期の候補（第４周期候補ｃ４）とする。   The minimum value detection unit 32b detects the smallest addition value and the next smallest addition value among the addition values in each of the pixel line groups in the first pixel line group family LGF1. The minimum value detection unit 32b calculates the position of the pixel line group having the smallest addition value and the second distance of the pixel line group having the next smallest addition value, and calculates this as a flicker noise cycle candidate (fourth cycle). Let it be candidate c4).

最小値検出部３２ｂは、第２、第３画素ライン群ファミリーＬＧＦ２、ＬＧＦ３の中でも同様に最も小さい加算値と、次に小さい加算値を検出し、これらからフリッカノイズの周期の候補（第５、第６周期候補ｃ５、ｃ６）を求める。   Similarly, the minimum value detection unit 32b detects the smallest addition value and the next smallest addition value in the second and third pixel line group families LGF2 and LGF3, and from these, the flicker noise cycle candidate (fifth, Sixth cycle candidates c5 and c6) are obtained.

並べ替え部３２ｃは、第１〜第６周期候補ｃ１〜ｃ６を値の大きい順に並べ替え、最も大きい周期候補と、最も小さい周期候補を除いた中間の４つの周期候補を抽出し、これらの平均値を演算する。この平均値をフリッカノイズの周期Ｃとする。フリッカノイズの周期Ｃの演算結果は、補正量演算部３３に出力される。   The rearrangement unit 32c rearranges the first to sixth cycle candidates c1 to c6 in descending order of values, extracts the largest cycle candidate and the middle four cycle candidates excluding the smallest cycle candidate, and averages them. Calculate the value. This average value is defined as a flicker noise period C. The calculation result of the flicker noise period C is output to the correction amount calculation unit 33.

最も大きい周期候補や最も小さい周期候補を除いて平均値演算するのは、周期の値として適当でない誤差の大きい値を除いて平均値を求めるためである。本実施形態では、３つの画素ライン群ファミリーを使って周期候補演算を行ったが、さらに多くの画素ライン群ファミリーを使って周期候補演算を行い、周期候補の値のうち、並べ替えにより中間の順位に近い周期候補だけを使って平均値演算を行うと、より精度の高い周期演算が可能になる。   The reason for calculating the average value excluding the largest period candidate and the smallest period candidate is to obtain the average value by excluding a value having a large error that is not appropriate as the period value. In this embodiment, the period candidate calculation is performed using the three pixel line group families. However, the period candidate calculation is performed using more pixel line group families. If the average value calculation is performed using only the period candidates that are close to the rank, a more accurate period calculation can be performed.

補正量演算部３３は、画素ライン群の加算値に対する輝度補正量を演算する（図６参照）。補正量演算部３３は、周期カウント部３３ａ、輝度平均値演算部３３ｂ、及び除算部３３ｃとを有する。   The correction amount calculator 33 calculates a luminance correction amount for the added value of the pixel line group (see FIG. 6). The correction amount calculation unit 33 includes a cycle count unit 33a, a luminance average value calculation unit 33b, and a division unit 33c.

補正量演算部３３は、注目する画素ライン群を含み、周期Ｃと同じ幅を持つ画素ライン群の集合体の中で、加算値の平均値を求める。例えば、第１２８画素ライン群ＬＧ１２８を含み、周期Ｃと同じ幅に含まれる画素ライン群の集合体の中で、加算値の平均値を求める（図３参照）。加算値の平均値を、注目する画素ライン群の加算値で除算したものを輝度補正量とする。輝度補正量の演算は、総ての画素ライン群において行う。   The correction amount calculation unit 33 obtains an average value of the addition values in an aggregate of pixel line groups including the pixel line group of interest and having the same width as the period C. For example, an average value of the addition values is obtained from a group of pixel line groups including the 128th pixel line group LG128 and included in the same width as the period C (see FIG. 3). The luminance correction amount is obtained by dividing the average value of the added values by the added value of the pixel line group of interest. The calculation of the luminance correction amount is performed for all pixel line groups.

周期カウント部３３ａは、周期Ｃに関する情報を周期検知部３２から受け、タイミングジェネレータ５０からの同期信号に基づいて、注目する画素ライン群を含む画素ライン群の集合体の幅が、周期Ｃと同じ長さになるように調整する（図６参照）。画素ライン群の集合体の幅は、画素ライン群の集合体の、画素ラインが並べられる方向の長さである。輝度平均値演算部３３ｂは、注目する画素ライン群を含む画素ライン群の集合体における加算値の平均値を演算する。除算部３３ｃは、輝度平均値演算部３３ｂで求めた平均値を、注目する画素ライン群の加算値で除算する。   The period count unit 33a receives information about the period C from the period detection unit 32, and the width of the aggregate of pixel line groups including the pixel line group of interest is the same as the period C based on the synchronization signal from the timing generator 50. The length is adjusted (see FIG. 6). The width of the pixel line group aggregate is the length of the pixel line group aggregate in the direction in which the pixel lines are arranged. The luminance average value calculation unit 33b calculates an average value of the addition values in the aggregate of pixel line groups including the pixel line group of interest. The division unit 33c divides the average value obtained by the luminance average value calculation unit 33b by the addition value of the pixel line group of interest.

除算した演算結果（輝度補正量）は、画素演算部３４に出力される。周期カウント部３３ａ、輝度平均値演算部３３ｂ、除算部３３ｃにおける輝度補正量を求める演算は、総ての画素ライン群（第１〜第１３１画素ライン群ＬＧ１〜ＬＧ１３１）について行われる。   The division calculation result (luminance correction amount) is output to the pixel calculation unit 34. The calculation for obtaining the luminance correction amount in the period counting unit 33a, the luminance average value calculation unit 33b, and the division unit 33c is performed for all the pixel line groups (first to 131st pixel line groups LG1 to LG131).

画素演算部３４は、補正部３４ａを有し、画素ライン群毎に演算された輝度補正量に基づいて、画素ライン群の各画素から得られた画像信号（電気信号）について輝度補正を行う（図７参照）。補正部３４ａは、ＡＤＣ２０からのデジタル信号（画像信号）について、補正量演算部３３からの輝度補正量を乗算する。すなわち、注目する画素ライン群の総ての画素からの画像信号それぞれに、注目する画素ライン群の輝度補正量を乗算する。補正部３４ａによる演算は、総ての画素ライン群（第１〜第１３１画素ライン群ＬＧ１〜ＬＧ１３１）について行われ、画素ライン群を構成する画素から得られた画像信号総てについて行われる。   The pixel calculation unit 34 includes a correction unit 34a, and performs luminance correction on an image signal (electric signal) obtained from each pixel of the pixel line group based on the luminance correction amount calculated for each pixel line group ( (See FIG. 7). The correction unit 34 a multiplies the digital signal (image signal) from the ADC 20 by the luminance correction amount from the correction amount calculation unit 33. That is, the image signal from all the pixels of the pixel line group of interest is multiplied by the luminance correction amount of the pixel line group of interest. The calculation by the correction unit 34a is performed for all the pixel line groups (first to 131st pixel line groups LG1 to LG131), and is performed for all image signals obtained from the pixels constituting the pixel line group.

注目する画素ライン群の加算値が平均値よりも大きい場合は、注目する画素ライン群の画像がフリッカノイズによって明るくなったとして、輝度補正量だけ暗くする補正を行う。注目する画素ライン群の加算値が平均値よりも小さい場合は、注目する画素ライン群の画像がフリッカノイズによって暗くなったとして、輝度補正量だけ明るくする補正を行う。注目する画素ライン群の加算値と平均値が同じ場合は、注目する画素ライン群の画像がフリッカノイズによる影響を受けていないとして、輝度補正を行わない。   When the added value of the pixel line group of interest is larger than the average value, the image of the pixel line group of interest is darkened by the luminance correction amount, assuming that the image of the pixel line group of interest is brightened by flicker noise. When the added value of the pixel line group of interest is smaller than the average value, the image of the pixel line group of interest is corrected to be brightened by the luminance correction amount, assuming that the image of the pixel line group of interest has become dark due to flicker noise. If the added value and the average value of the pixel line group of interest are the same, the luminance correction is not performed because the image of the pixel line group of interest is not affected by flicker noise.

ＣＭＯＳイメージセンサ１０は、画素ライン毎に異なる露光タイミングで露光が行われるロータリーシャッタを有する。蛍光灯が点灯されている条件下で撮影が行われた場合には、第１画素ラインＬ１について露光されている時と、第２画素ラインＬ２について露光されている時とで、蛍光灯の明るさが異なる。蛍光灯は、１秒間に、点灯周波数（日本では５０Ｈｚ又は６０Ｈｚ）の逆数の２倍の回数だけ明るい状態と暗い状態が切り替わる。蛍光灯の明るさが変化することで、第１画素ラインＬ１で撮像されて得られた画像と、第２画素ラインＬ２で撮像されて得られた画像との間に被写体像に関係のない明暗の差が生じる。総ての画素ラインで考えると、第１画素ラインＬ１において露光開始された時間から、第２６２０画素ラインＬ２６２０において露光終了された時間までの間に、蛍光灯が点滅した回数だけ画像に明暗の縞模様が生じる。例えば、５０Ｈｚの周波数で１秒間に１００回点滅を繰り返す蛍光灯下で撮像した場合であって、１フレームの読み出し速度（第１画素ラインＬ１において電荷読み出しが開始されてから、第２６２０画素ラインＬ２６２０において電荷読み出しが終了されるまでの速度）が６６ｍｓである場合、画像上に被写体像と関係のない６〜７本の明暗の縞模様が写り込む。   The CMOS image sensor 10 has a rotary shutter that performs exposure at different exposure timings for each pixel line. When photographing is performed under the condition that the fluorescent lamp is lit, the brightness of the fluorescent lamp is different between when the first pixel line L1 is exposed and when the second pixel line L2 is exposed. Is different. The fluorescent lamp switches between a bright state and a dark state by the number of times twice the reciprocal of the lighting frequency (50 Hz or 60 Hz in Japan) per second. By changing the brightness of the fluorescent lamp, the brightness that is not related to the subject image between the image captured by the first pixel line L1 and the image captured by the second pixel line L2. The difference occurs. Considering all the pixel lines, light and dark stripes are formed on the image by the number of times the fluorescent lamp flickers between the time when the exposure starts on the first pixel line L1 and the time when the exposure ends on the 2620th pixel line L2620. A pattern is produced. For example, in the case of imaging under a fluorescent lamp that blinks 100 times per second at a frequency of 50 Hz, the reading speed of one frame (the charge reading starts in the first pixel line L1, and then the 2620th pixel line L2620 In this case, 6 to 7 bright and dark stripes unrelated to the subject image appear on the image.

本実施形態では、撮像により得られた画像信号の中から輝度情報を抽出し、輝度の強弱から明暗の縞模様の周期と、輝度補正量を演算し、明暗の縞模様の存在を低減するので、このような縞模様の写り込みを少なくすることが可能になる。   In the present embodiment, luminance information is extracted from the image signal obtained by imaging, the period of the bright and dark stripe pattern and the luminance correction amount are calculated from the intensity of the luminance, and the presence of the bright and dark stripe pattern is reduced. It is possible to reduce the reflection of such a striped pattern.

本実施形態における、縞模様の低減処理においては、撮像されたフレームの画像情報のみから行われ、前後のフレームの情報を用いないで行うことが出来るので、処理速度を早くすることが可能になる。   In the present embodiment, the striped pattern reduction processing is performed only from image information of the captured frames, and can be performed without using the information of the previous and subsequent frames, so that the processing speed can be increased. .

また、輝度情報を得るための加算値の演算において、画素ライン群の中からランダムに抽出された画素の情報を用いるので、フリッカノイズが生じる画像上の場所に影響されず正しく縞模様の写り込みを少なくすることが可能になる。   In addition, since the pixel information randomly extracted from the pixel line group is used in the calculation of the addition value for obtaining luminance information, the fringe pattern is correctly reflected without being affected by the location on the image where flicker noise occurs. Can be reduced.

本実施形態における撮像装置の構成図である。It is a block diagram of the imaging device in this embodiment. ＣＭＯＳイメージセンサの画素ラインと画素ライン群との関係を示す構成図である。It is a block diagram which shows the relationship between the pixel line of a CMOS image sensor, and a pixel line group. ＣＭＯＳイメージセンサの画素ライン群と画素ライン群ファミリーとの関係を示す構成図である。It is a block diagram which shows the relationship between the pixel line group of a CMOS image sensor, and a pixel line group family. サンプリング加算部の詳細を示す構成図である。It is a block diagram which shows the detail of a sampling addition part. 周期検知部の詳細を示す構成図である。It is a block diagram which shows the detail of a period detection part. 補正量演算部の詳細を示す構成図である。It is a block diagram which shows the detail of a correction amount calculating part. 画素演算部の詳細を示す構成図である。It is a block diagram which shows the detail of a pixel calculating part.

符号の説明Explanation of symbols

１ 撮像装置
１０ ＣＭＯＳイメージセンサ
２０ ＡＤＣ
３０ フリッカノイズ除去部
３１ サンプリング加算部
３１ａ 加算器
３１ｂ ラインカウント部
３１ｃ サンプリング数カウント部
３２ 周期検知部
３２ａ 最大値検出部
３２ｂ 最小値検出部
３２ｃ 並べ替え部
３３ 補正量演算部
３３ａ 周期カウント部
３３ｂ 輝度平均値演算部
３３ｃ 除算部
３４ 画素演算部
３４ａ 補正部
４０ 画像処理部
５０ タイミングジェネレータ
Ｃ 周期
Ｌ１〜Ｌ２６２０ 第１〜第２６２０画素ライン
ＬＧ１〜ＬＧ１３１ 第１〜第１３１画素ライン群
ＬＧＦ１〜ＬＧＦ３ 第１〜第３画素ライン群ファミリー
DESCRIPTION OF SYMBOLS 1 Imaging device 10 CMOS image sensor 20 ADC
30 Flicker Noise Removal Unit 31 Sampling Adder 31a Adder 31b Line Count Unit 31c Sampling Number Count Unit 32 Period Detection Unit 32a Maximum Value Detection Unit 32b Minimum Value Detection Unit 32c Rearrangement Unit 33 Correction Amount Calculation Unit 33a Period Count Unit 33b Brightness Average value calculation unit 33c Division unit 34 Pixel calculation unit 34a Correction unit 40 Image processing unit 50 Timing generator C period L1 to L2620 First to 2620 pixel lines LG1 to LG131 First to 131st pixel line groups LGF1 to LGF3 Third pixel line group family

Claims (6)

撮像素子の画素ライン毎、または所定数の画素ラインを束ねた画素ライン群毎に、輝度情報を取得する輝度情報取得部と、
複数の画素ライン群を束ねた画素ライン群ファミリーにおいて、前記輝度情報に基づいてフリッカノイズによる画像上の明暗の縞模様の周期を求める周期検知部と、
前記周期と、前記輝度情報に基づいて、前記輝度情報を取得したライン毎または画素ライン群毎の輝度補正量を求める補正量演算部と、
前記画素ライン群を構成する画素から得られた画像信号について、前記輝度補正量を使って補正を行い前記画像上の明暗の縞模様を低減する画素演算部とを備える撮像装置のフリッカノイズ低減装置。 A luminance information acquisition unit that acquires luminance information for each pixel line of the image sensor or for each pixel line group in which a predetermined number of pixel lines are bundled;
In a pixel line group family in which a plurality of pixel line groups are bundled, a period detection unit that obtains a period of light and dark stripes on an image due to flicker noise based on the luminance information;
A correction amount calculation unit for obtaining a luminance correction amount for each line or pixel line group from which the luminance information is acquired based on the period and the luminance information;
A flicker noise reduction device for an imaging device, comprising: a pixel calculation unit that corrects image signals obtained from pixels constituting the pixel line group using the luminance correction amount and reduces bright and dark stripes on the image . 前記輝度情報取得部は、サンプリング加算部であり、前記画素ライン毎、または前記画素ライン群毎に、ランダムに第１数量だけ抽出した画素から得られた輝度値を合算した加算値を前記輝度情報として求め、
前記周期検知部は、前記画素ライン群ファミリーにおいて、前記加算値が最も大きい値を有する画素ライン群と次に大きい値を有する画素ライン群との第１距離、前記加算値が最も小さい値を有する画素ライン群と次に小さい値を有する画素ライン群との第２距離に基づいて前記周期を求め、
前記補正量演算部は、注目する画素ライン群を含み、前記周期と同じ幅を持つ画素ライン群の集合体の中で、前記画素ライン群毎の加算値の平均値を求め、前記平均値を前記注目する画素ライン群の加算値で除算して前記輝度補正量を求める演算を、総ての画素ライン群において行い、
前記画素演算部は、前記注目する画素ライン群が有する画素から得られた画像信号について、前記注目する画素ライン群の輝度補正量を乗算する補正を行う演算を、総ての画素ライン群において行うことを特徴とする請求項１に記載のフリッカノイズ低減装置。 The luminance information acquisition unit is a sampling addition unit, and for each pixel line or each pixel line group, an addition value obtained by adding luminance values obtained from pixels extracted by a first quantity at random is added to the luminance information. As sought
In the pixel line group family, the period detection unit has a first distance between a pixel line group having the largest added value and a pixel line group having the next largest value, and the smallest added value. Determining the period based on a second distance between the pixel line group and a pixel line group having the next smallest value;
The correction amount calculation unit obtains an average value of the addition values for each pixel line group in an aggregate of pixel line groups including the pixel line group of interest and having the same width as the period, and calculates the average value. An operation for obtaining the luminance correction amount by dividing by the added value of the pixel line group of interest is performed in all the pixel line groups,
The pixel calculation unit performs a calculation for performing correction for multiplying a luminance correction amount of the pixel line group of interest on an image signal obtained from a pixel included in the pixel line group of interest in all the pixel line groups. The flicker noise reduction apparatus according to claim 1, wherein 前記画素ライン群ファミリーを２つ以上有し、
前記周期検知部は、前記２つ以上の画素ライン群ファミリーそれぞれから前記２つ以上の前記第１距離の値、及び前記第２距離の値に基づいて前記周期を求めることを特徴とする請求項２に記載のフリッカノイズ低減装置。 Having two or more pixel line group families,
The cycle detection unit calculates the cycle based on the two or more first distance values and the second distance value from each of the two or more pixel line group families. 2. The flicker noise reduction device according to 2. 前記画素ライン群ファミリーを３つ以上有し、
前記周期検知部は、前記３つ以上の前記第１距離の値、及び前記第２距離の値のうち、中間の値に近い複数の値の平均値を前記周期として求めることを特徴とする請求項３に記載のフリッカノイズ低減装置。 Having three or more pixel line group families,
The cycle detection unit obtains, as the cycle, an average value of a plurality of values close to an intermediate value among the three or more values of the first distance and the value of the second distance. Item 4. The flicker noise reduction device according to Item 3. 前記第１数量は、２以上であることを特徴とする請求項２に記載のフリッカノイズ低減装置。   The flicker noise reduction apparatus according to claim 2, wherein the first quantity is 2 or more. 前記撮像素子は、前記画素ライン毎に異なる露光タイミングで露光が行われるロータリーシャッタを有するＣＭＯＳイメージセンサであることを特徴とする請求項１に記載のフリッカノイズ低減装置。   The flicker noise reduction apparatus according to claim 1, wherein the imaging element is a CMOS image sensor having a rotary shutter that is exposed at different exposure timings for each pixel line.
JP2005281050A 2005-09-28 2005-09-28 Flicker noise reduction device Expired - Fee Related JP4515991B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005281050A JP4515991B2 (en) 2005-09-28 2005-09-28 Flicker noise reduction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005281050A JP4515991B2 (en) 2005-09-28 2005-09-28 Flicker noise reduction device

Publications (2)

Publication Number Publication Date
JP2007096556A true JP2007096556A (en) 2007-04-12
JP4515991B2 JP4515991B2 (en) 2010-08-04

Family

ID=37981752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005281050A Expired - Fee Related JP4515991B2 (en) 2005-09-28 2005-09-28 Flicker noise reduction device

Country Status (1)

Country Link
JP (1) JP4515991B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011111296A1 (en) * 2010-03-09 2011-09-15 パナソニック株式会社 Imaging device and information detection method
GB2567668A (en) * 2017-10-20 2019-04-24 Nokia Technologies Oy Deflickering of a series of images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350102A (en) * 1999-06-02 2000-12-15 Sharp Corp Flicker correction circuit for image pickup device and image pickup element
JP2002056390A (en) * 2000-08-11 2002-02-20 Fujitsu General Ltd Image recognition device
JP2002084467A (en) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp Image pickup device and automatic level adjustment method
JP2003018458A (en) * 2001-04-23 2003-01-17 Hitachi Ltd Imaging system using solid-state cmos imaging device
JP2003333423A (en) * 2002-03-05 2003-11-21 Sony Corp Imaging apparatus and its stripe-like noise elimination method
JP2004260574A (en) * 2003-02-26 2004-09-16 Matsushita Electric Ind Co Ltd Flicker detecting method and detector

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350102A (en) * 1999-06-02 2000-12-15 Sharp Corp Flicker correction circuit for image pickup device and image pickup element
JP2002056390A (en) * 2000-08-11 2002-02-20 Fujitsu General Ltd Image recognition device
JP2002084467A (en) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp Image pickup device and automatic level adjustment method
JP2003018458A (en) * 2001-04-23 2003-01-17 Hitachi Ltd Imaging system using solid-state cmos imaging device
JP2003333423A (en) * 2002-03-05 2003-11-21 Sony Corp Imaging apparatus and its stripe-like noise elimination method
JP2004260574A (en) * 2003-02-26 2004-09-16 Matsushita Electric Ind Co Ltd Flicker detecting method and detector

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011111296A1 (en) * 2010-03-09 2011-09-15 パナソニック株式会社 Imaging device and information detection method
US8982233B2 (en) 2010-03-09 2015-03-17 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus for imaging an object subject to illuminating light on which information is overlaid and information detection method
US9432573B2 (en) 2010-03-09 2016-08-30 Panasonic Intellectual Property Management Co., Ltd. Apparatus for detecting information overlaid on light and system including the apparatus
GB2567668A (en) * 2017-10-20 2019-04-24 Nokia Technologies Oy Deflickering of a series of images
GB2567668B (en) * 2017-10-20 2022-03-02 Vivo Mobile Communication Co Ltd Deflickering of a series of images

Also Published As

Publication number Publication date
JP4515991B2 (en) 2010-08-04

Similar Documents

Publication Publication Date Title
JP4335849B2 (en) Imaging device capable of flicker detection
CN105659583B (en) Image processing apparatus, image processing method, electronic equipment and computer readable storage medium
CN102356631A (en) Image processing device, signal processing device, and program
WO2017090300A1 (en) Image processing apparatus and image processing method, and program
US20040165084A1 (en) Flicker detecting method and flicker detecting apparatus
US20110255786A1 (en) Method and apparatus for determining flicker in the illumination of a subject
WO2014080937A1 (en) Image generation device
WO2015163145A1 (en) Image processing device, image processing method, electronic instrument, and program
JP2012134663A (en) Imaging apparatus and imaging method
JP3749038B2 (en) Solid-state imaging device
JP2013121099A (en) Image processing device, image processing method, and program
JP2010103746A (en) Imaging apparatus
US20140118556A1 (en) Detection system
JP6525715B2 (en) Image pickup apparatus, detection method of light amount change, and program
US9979876B2 (en) Imaging apparatus, imaging method, and storage medium
JP5271643B2 (en) Control method and system for optical time-of-flight range image sensor
JP4515991B2 (en) Flicker noise reduction device
JP5581968B2 (en) Imaging device
JP2011169842A (en) Flicker measuring method and device thereof
JP6415412B2 (en) Measuring device and measuring method
JP2012053029A (en) Photometric/ranging device, photometric/ranging method, and image pickup apparatus having photometric/ranging device
JP2009019884A (en) Device and method for measuring three-dimensional shape
JP2017225073A (en) Imaging device and control method for the same, program and imaging system
JP4380665B2 (en) Image capturing device and image capturing method
JP2008113237A (en) Flicker detecting method and device in imaging apparatus

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100513

R150 Certificate of patent or registration of utility model

Ref document number: 4515991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140521

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees