JP4486487B2 - Smear correction device - Google Patents

Smear correction device Download PDF

Info

Publication number
JP4486487B2
JP4486487B2 JP2004358644A JP2004358644A JP4486487B2 JP 4486487 B2 JP4486487 B2 JP 4486487B2 JP 2004358644 A JP2004358644 A JP 2004358644A JP 2004358644 A JP2004358644 A JP 2004358644A JP 4486487 B2 JP4486487 B2 JP 4486487B2
Authority
JP
Japan
Prior art keywords
line
cyclic coefficient
smear
cyclic
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004358644A
Other languages
Japanese (ja)
Other versions
JP2006166368A (en
Inventor
憲治 徳田
一徳 隅谷
俊幸 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2004358644A priority Critical patent/JP4486487B2/en
Publication of JP2006166368A publication Critical patent/JP2006166368A/en
Application granted granted Critical
Publication of JP4486487B2 publication Critical patent/JP4486487B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、撮像素子のスミア現象による画質劣化を補正するスミア補正装置に関するものである。   The present invention relates to a smear correction apparatus that corrects image quality deterioration due to a smear phenomenon of an image sensor.

従来、固体撮像素子のスミア現象による画質劣化を補正（スミア補正）する方法としては、固体撮像素子の垂直方向の光学的黒の画素部分の出力信号を１画素単位で積分する積分手段と、この積分手段の出力信号を１ライン分の信号として記憶する記憶手段と、固体撮像素子の有効画素部分の出力信号より記憶手段に記憶した信号を減算する減算手段とを備え、固体撮像素子の垂直方向の光学的黒の画素部分の出力信号を画素単位で積分（加算平均）して、ランダムなノイズ成分を平均化して０とし、固定パターンノイズ信号を検出するようにし、検出した固定パターンノイズ信号をライン情報として記憶し、固体撮像素子の有効画素部分の出力信号からこの固定パターンノイズ信号を減算することにより、固定パターンノイズである白線等及びスミアを改善している（例えば特許文献１参照）。   Conventionally, as a method of correcting image quality deterioration due to a smear phenomenon of a solid-state image sensor (smear correction), an integration unit that integrates an output signal of an optical black pixel portion in a vertical direction of the solid-state image sensor in units of one pixel, A storage means for storing the output signal of the integration means as a signal for one line; and a subtracting means for subtracting the signal stored in the storage means from the output signal of the effective pixel portion of the solid-state image pickup device. The output signal of the optical black pixel part is integrated (added and averaged) in units of pixels, the random noise component is averaged to 0, and the fixed pattern noise signal is detected. It is stored as line information, and by subtracting this fixed pattern noise signal from the output signal of the effective pixel part of the solid-state image sensor, fixed pattern noise such as white It has improved fine smear (for example, see Patent Document 1).

しかし、実際にはランダムノイズ成分は平均化されても０にならないこともあり、有効画素部分の出力信号からこの信号を減算すると縦筋となって現れて画質を大きく劣化させてしまう。そこで、コアリングレベルを設けてノイズ成分から一定値を減算したものでスミア補正を行うこともできるが、コアリングレベルが大きいとそれだけスミアの補正性能が下がってしまう。つまり、ノイズの影響をいかに小さくするかがスミアの補正性能を上げるためのポイントとなる。   However, in practice, the random noise component may not be zero even if averaged, and if this signal is subtracted from the output signal of the effective pixel portion, it appears as a vertical line and the image quality is greatly degraded. Therefore, smear correction can be performed by providing a coring level and subtracting a certain value from the noise component. However, if the coring level is high, the smear correction performance is lowered accordingly. That is, how to reduce the influence of noise is a point for improving smear correction performance.

また、連続した画像に対して巡回型のフィルタ処理を行う場合、画像の動きを考慮して巡回係数の制御を行うことが一般的である。スミア補正の場合、画像に動きが無かった場合は、巡回係数を大きくして、前フレームのＯｐｔｉｃａｌ Ｂｌａｃｋライン（以下、ＯＢライン）の情報も利用することで、ＯＢラインのノイズの影響を低減して効果的なスミア補正を行うことができる（図１１（ａ））。動きが検出された場合は、スミアの位置も移動しており、前フレームのＯＢラインの情報は利用できないので、巡回係数を低く設定する(図１１(ｂ))。
特開平７−６７０３８号公報 In addition, when cyclic filter processing is performed on continuous images, it is common to control cyclic coefficients in consideration of image motion. In the case of smear correction, when there is no motion in the image, the influence of noise on the OB line is reduced by increasing the cyclic coefficient and using the information of the optical black line (hereinafter referred to as the OB line) of the previous frame. And effective smear correction can be performed (FIG. 11A). If a motion is detected, the smear position is also moved, and the information on the OB line of the previous frame cannot be used, so the cyclic coefficient is set low (FIG. 11 (b)).
JP 7-67038 A

しかしながら、従来のスミア補正においては、複数のＯＢラインを固定された巡回係数で処理するため、動き検出の結果によって特定のＯＢラインの重み付けが大きくなり、ノイズの影響が大きくなってしまうという問題があった。   However, in the conventional smear correction, since a plurality of OB lines are processed with a fixed cyclic coefficient, the weight of a specific OB line is increased depending on the result of motion detection, and the influence of noise is increased. there were.

図１２は、固定の巡回係数を用いた場合に、動きが検出されなかった場合（図１２（ａ））と、動きが検出された場合（図１２（ｂ））の巡回処理の結果を示している。   FIG. 12 shows the results of the cyclic processing when no motion is detected (FIG. 12 (a)) and when motion is detected (FIG. 12 (b)) when a fixed cyclic coefficient is used. ing.

巡回係数Ｂ、Ｃは、動きが検出されず巡回係数Ａが大きい場合に、各ラインの重みが等量になるように決定してあるが、動きが検出され巡回係数Ａ’が小さい場合には、先頭ＯＢラインの重みが大きくなり、先頭ＯＢラインのノイズの影響を強く受けてしまう。   The cyclic coefficients B and C are determined so that the weights of the respective lines are equal when the motion is not detected and the cyclic coefficient A is large, but when the motion is detected and the cyclic coefficient A ′ is small. The weight of the head OB line is increased, and the head OB line is strongly influenced by noise.

本発明は、従来の問題を解決するためになされたもので、動き検出の結果によらず、特定のＯＢラインのノイズの影響を受け難いスミア補正装置を提供することを目的とする。   The present invention has been made to solve the conventional problems, and an object of the present invention is to provide a smear correction apparatus that is not easily affected by noise of a specific OB line regardless of the result of motion detection.

本発明のスミア補正装置は、撮像素子の複数のＯＢラインから順次１ライン分のデータを取得するＯＢライン取得手段と、１ライン分のデータを保持するラインメモリと、前記ＯＢライン取得手段が取得したデータと前記ラインメモリに保持されているデータとに基づいて巡回係数を算出する初期巡回係数算出手段と、１ライン前の前記巡回係数に基づいて既に取得された前記ＯＢラインそれぞれの重み付けが等しくなるように巡回係数を算出する巡回係数算出手段と、前記ＯＢライン取得手段が取得したデータと前記ラインメモリに保持されているデータとを前記巡回係数に基づいて合成したデータで前記ラインメモリを更新する巡回処理手段と、前記ラインメモリのデータに基づいてスミア発生領域を検出するスミア領域検出手段と、前記スミア発生領域のスミアを補正するスミア補正手段とを備える構成を有している。   In the smear correction apparatus of the present invention, an OB line acquisition unit that sequentially acquires data for one line from a plurality of OB lines of the image sensor, a line memory that holds data for one line, and the OB line acquisition unit The initial cyclic coefficient calculating means for calculating a cyclic coefficient based on the data obtained and the data stored in the line memory and the weights of the OB lines already acquired based on the cyclic coefficient one line before are equal. And updating the line memory with data obtained by combining the data acquired by the OB line acquisition unit and the data held in the line memory based on the cyclic coefficient. A cyclic processing means for detecting a smear occurrence area based on the data in the line memory, a smear area detecting means for detecting a smear occurrence area, It has a configuration and a smear correction means for correcting the smear of the smear generation area.

この構成により、撮像素子の複数のＯＢラインそれぞれに対する重み付けが等しくなるように巡回係数が算出される。したがって、特定のＯＢラインの影響を受け難くすることができる。   With this configuration, the cyclic coefficient is calculated so that the weighting for each of the plurality of OB lines of the image sensor is equal. Therefore, it can be made difficult to be affected by a specific OB line.

ここで、前記初期巡回係数算出手段は、前記１ライン分のデータと前記ラインメモリに保持されているデータを比較して動きを検出する構成とした。   Here, the initial cyclic coefficient calculation means detects the motion by comparing the data for one line with the data held in the line memory.

この構成により、動きの検出結果に応じて最適な巡回係数を算出することができる。   With this configuration, it is possible to calculate an optimal cyclic coefficient according to the motion detection result.

また、前記巡回係数算出手段は、前記初期巡回係数の値ごとに前記複数のＯＢラインそれぞれに対する前記巡回係数が設定された巡回係数テーブルにより前記巡回係数を求める構成とした。   Further, the cyclic coefficient calculation means is configured to obtain the cyclic coefficient from a cyclic coefficient table in which the cyclic coefficient for each of the plurality of OB lines is set for each value of the initial cyclic coefficient.

この構成により、巡回係数を求めるために必要な計算量を削減することができる。   With this configuration, it is possible to reduce the amount of calculation necessary for obtaining the cyclic coefficient.

また、前記巡回係数算出手段は、前記巡回係数から次のラインの前記巡回係数への遷移が設定された巡回係数遷移表により前記巡回係数を求める構成とした。   Further, the cyclic coefficient calculation means is configured to obtain the cyclic coefficient from a cyclic coefficient transition table in which a transition from the cyclic coefficient to the cyclic coefficient of the next line is set.

この構成により、巡回係数を求めるために必要な計算量を削減することができるとともに、メモリ量を削減することができる。   With this configuration, it is possible to reduce the amount of calculation required to obtain the cyclic coefficient and reduce the amount of memory.

本発明によれば、撮像素子の複数のＯＢラインそれぞれに対する重み付けが等しくなるように巡回係数を算出しているので、動き検出の結果によらず、特定のＯＢラインのノイズの影響を受け難くすることができる。   According to the present invention, the cyclic coefficient is calculated so that the weights for the plurality of OB lines of the image sensor are equal to each other, so that it is difficult to be influenced by noise of a specific OB line regardless of the result of motion detection. be able to.

以下、本発明の実施の形態について、図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

（第１の実施の形態）
図１は本発明の第１の実施の形態のスミア補正装置を示す図である。 (First embodiment)
FIG. 1 is a diagram showing a smear correction apparatus according to a first embodiment of the present invention.

図１において、本実施の形態のスミア補正装置は、複数のＯＢラインを有する撮像素子５０からＯＢラインを取得するＯＢライン取得手段１１と、１ライン分の値を保持するラインメモリ１２と、ＯＢライン取得手段１１が取得したＯＢラインの値とラインメモリ１２が保持する値を比較して動きの検出を行い初期巡回係数を算出する初期巡回係数算出手段１３と、各ＯＢラインに対する巡回係数を算出する巡回係数算出手段１４と、ＯＢライン取得手段１１が取得した値とラインメモリ１２が保持する値を巡回係数算出手段１４で算出された巡回係数で合成を行いラインメモリ１２を更新する巡回処理手段１５と、ラインメモリ１２の値をコアリングレベルでゼロクリップすることでスミア発生領域を検出するスミア領域検出手段１６と、検出されたスミア領域のスミアを補正するスミア補正手段１７とを備えている。   In FIG. 1, the smear correction apparatus according to the present embodiment includes an OB line acquisition unit 11 that acquires an OB line from an image sensor 50 having a plurality of OB lines, a line memory 12 that holds a value for one line, and an OB. An initial cyclic coefficient calculation unit 13 that detects the motion by comparing the value of the OB line acquired by the line acquisition unit 11 with the value held in the line memory 12 and calculates the cyclic coefficient for each OB line. The cyclic coefficient calculating means 14 for performing the synthesis, and the cyclic processing means for updating the line memory 12 by combining the value acquired by the OB line acquiring means 11 and the value held by the line memory 12 with the cyclic coefficient calculated by the cyclic coefficient calculating means 14. 15 and smear region detecting means 16 for detecting a smear generation region by zero-clipping the value of the line memory 12 at the coring level; And a smear correction means 17 for correcting smear out the smear region.

このようなスミア補正装置について、図２を用いてその動作を説明する。   The operation of such a smear correction apparatus will be described with reference to FIG.

図２のフローチャートに示すように、まず、ＯＢライン取得手段１１が撮像素子５０から最初のＯＢラインを取得する（Ｓ１１）。   As shown in the flowchart of FIG. 2, first, the OB line acquisition unit 11 acquires the first OB line from the image sensor 50 (S11).

次に、初期巡回係数算出手段１３がＯＢライン取得手段が取得したＯＢラインの値とラインメモリ１２の値からフレーム間の動きを検出し（Ｓ１２）、動きを検出した場合は大きな値の初期巡回係数を算出し、動きを検出しなかった場合は小さな値の初期巡回係数を算出し（Ｓ１３）、算出した初期巡回係数を巡回係数算出手段１４に出力する。   Next, the initial cyclic coefficient calculation means 13 detects a motion between frames from the value of the OB line acquired by the OB line acquisition means and the value of the line memory 12 (S12), and if a motion is detected, the initial cyclic coefficient having a large value is detected. If a coefficient is calculated and no motion is detected, a small initial cyclic coefficient is calculated (S13), and the calculated initial cyclic coefficient is output to the cyclic coefficient calculating means 14.

巡回係数算出手段１４は、入力された初期巡回係数を記憶するとともに、巡回処理手段１５に出力する。   The cyclic coefficient calculation means 14 stores the input initial cyclic coefficient and outputs it to the cyclic processing means 15.

巡回処理手段１５は、入力された巡回係数に従い、ＯＢライン取得手段１１から入力されるＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１４）。   The cyclic processing unit 15 combines the value of the OB line input from the OB line acquisition unit 11 with the value held in the line memory 12 according to the input cyclic coefficient, and stores the line memory 12 as a result of the combination. Update (S14).

続いて、残りのＯＢラインについて以下のステップを実行する。   Subsequently, the following steps are executed for the remaining OB lines.

まず、ＯＢライン取得手段１１が撮像素子５０から次のＯＢラインを取得する（Ｓ１５）。   First, the OB line acquisition unit 11 acquires the next OB line from the image sensor 50 (S15).

巡回係数算出手段１４は、前ＯＢラインの巡回係数から、各ＯＢラインの重み付けが等しくなるように、現ＯＢラインに対する巡回係数を算出し巡回処理手段１５に出力する（Ｓ１６）。   The cyclic coefficient calculation means 14 calculates a cyclic coefficient for the current OB line from the cyclic coefficients of the previous OB line so that the weights of the respective OB lines are equal, and outputs the cyclic coefficient to the cyclic processing means 15 (S16).

巡回処理手段１５は、入力された巡回係数に従い、ＯＢライン取得手段１１から入力されるＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１７）。   The cyclic processing unit 15 combines the value of the OB line input from the OB line acquisition unit 11 with the value held in the line memory 12 according to the input cyclic coefficient, and stores the line memory 12 as a result of the combination. Update (S17).

そして、全ＯＢラインに対して処理を行ったかを判定し（Ｓ１８）、未処理のＯＢラインが有ればＳ１５に戻って次のＯＢラインを取得する。   Then, it is determined whether processing has been performed for all OB lines (S18). If there is an unprocessed OB line, the process returns to S15 to acquire the next OB line.

全てのＯＢラインに対しての処理が終了すると、スミア領域検出手段１６が、ラインメモリ１２の値をコアリングレベルでゼロクリップすることでスミア発生領域を検出し（Ｓ１９）、スミア補正手段１７が、検出されたスミア領域のスミアの補正を行う（Ｓ２０）。   When the processing for all the OB lines is completed, the smear region detection unit 16 detects the smear generation region by zero-clipping the value of the line memory 12 at the coring level (S19), and the smear correction unit 17 Then, smear correction of the detected smear region is performed (S20).

次に、巡回係数算出手段１４の処理について図３を用いて詳しく説明する。   Next, the processing of the cyclic coefficient calculation means 14 will be described in detail with reference to FIG.

初期巡回係数算出手段１３が算出した初期巡回係数をＡとすると、巡回処理手段１５は、図３（ａ）に示すように、前フレームのデータを保持しているラインメモリ１２のデータに対する重みをＡとし、現フレームの先頭のＯＢラインのデータに対する重みを（１−Ａ）として、それぞれの値を加算し、ラインメモリ１２に格納する。   Assuming that the initial cyclic coefficient calculated by the initial cyclic coefficient calculating means 13 is A, the cyclic processing means 15 assigns a weight to the data in the line memory 12 holding the data of the previous frame, as shown in FIG. Assuming that A is a weight for the data of the first OB line of the current frame (1-A), the respective values are added and stored in the line memory 12.

２ライン目の巡回係数をＢとすると、図３（ｂ）に示すように、ラインメモリ１２のデータに対する重みをＢとし、２ライン目のデータに対する重みを（１−Ｂ）とするので、先頭のＯＢライン（１ライン目）の重み付けは（１−Ａ）Ｂとなり、２ライン目の重み付けは（１−Ｂ）となる。   If the cyclic coefficient for the second line is B, the weight for the data in the line memory 12 is B and the weight for the data for the second line is (1-B) as shown in FIG. The weight of the OB line (first line) is (1-A) B, and the weight of the second line is (1-B).

ここで、１ライン目と２ライン目の重み付けが等量のとき最もノイズの影響を低下させられるので、巡回係数算出手段１４は、２ライン目の巡回係数Ｂを（式１）から算出する。
（１−Ａ）・Ｂ＝１−Ｂ
Ｂ＝１／（２−Ａ） ‥‥‥（式１）
３ライン目の巡回係数をＣとすると、図３（ｃ）に示すように、１ライン目及び２ライン目のデータの重みをＣとし、３ライン目のデータの重みを（１−Ｃ）とするので、１ライン目の重み付けは（１−Ａ）Ｂ・Ｃとなり、２ライン目の重み付けは（１−Ｂ）・Ｃとなり、３ライン目の重み付けは（１−Ｃ）となる。 Here, since the influence of noise can be reduced most when the weights of the first line and the second line are equal, the cyclic coefficient calculation means 14 calculates the cyclic coefficient B of the second line from (Equation 1).
(1-A) · B = 1-B
B = 1 / (2-A) (Formula 1)
Assuming that the cyclic coefficient for the third line is C, as shown in FIG. 3C, the weight of the data for the first and second lines is C, and the weight of the data for the third line is (1-C). Therefore, the weight of the first line is (1-A) B · C, the weight of the second line is (1-B) · C, and the weight of the third line is (1-C).

２ライン目のときと同様に、３本のＯＢラインの重み付けが等量になればよいから、巡回係数算出手段１４は、３ライン目の巡回係数Ｃを（式２）から算出する。
（１−Ｂ）・Ｃ＝１−Ｃ
Ｃ＝１／（２−Ｂ）
＝１／（２−（１／（２−Ａ））） ‥‥‥（式２）
以下同様にして、巡回係数算出手段１４は、ｎライン目の巡回係数Ｙnを（式３）から算出する。
Ｙn＝１／（２−Ｙn-1） ‥‥‥（式３）
このように本実施の形態においては、巡回係数算出手段１４が、複数のＯＢラインの重み付けが等しくなるように各ＯＢライン毎の巡回係数を算出しているので、初期巡回係数が異なる場合でも、特定のＯＢラインのノイズの影響を受けることのない効果的なスミア補正を行うことができる。 As in the case of the second line, the cyclic coefficient calculation means 14 calculates the cyclic coefficient C of the third line from (Equation 2), as long as the weights of the three OB lines are equal.
(1-B) · C = 1-C
C = 1 / (2-B)
= 1 / (2- (1 / (2-A))) (Formula 2)
Similarly, the cyclic coefficient calculation means 14 calculates the cyclic coefficient Y n of the nth line from (Equation 3).
Y n = 1 / (2- Y n-1) ‥‥‥ ( Equation 3)
As described above, in the present embodiment, the cyclic coefficient calculation unit 14 calculates the cyclic coefficient for each OB line so that the weights of the plurality of OB lines are equal, so even if the initial cyclic coefficients are different, It is possible to perform effective smear correction without being affected by noise of a specific OB line.

（第２の実施の形態）
次に、図４は本発明の第２の実施の形態のスミア補正装置を示す図である。なお、本実施の形態は、上述の第１の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。 (Second Embodiment)
Next, FIG. 4 is a diagram showing a smear correction apparatus according to the second embodiment of the present invention. Since the present embodiment is configured in substantially the same manner as the first embodiment described above, the same reference numerals are given to the same configurations, and only the characteristic portions will be described.

本実施の形態のスミア補正装置は、巡回係数算出手段２１が、予め複数のＯＢラインの重み付けが等しくなるように算出された初期巡回係数毎の巡回係数を設定された巡回係数テーブル２２から巡回係数を選択することを特徴としている。   In the smear correction apparatus according to the present embodiment, the cyclic coefficient calculation means 21 uses the cyclic coefficient from the cyclic coefficient table 22 in which the cyclic coefficient for each initial cyclic coefficient calculated so that the weights of the plurality of OB lines are equal in advance is set. It is characterized by selecting.

具体的には、図５のフローチャートに示すように、上述の実施の形態と同様に、最初のＯＢラインを取得し、取得したＯＢラインの値とラインメモリ１２の値からフレーム間の動きを検出し、検出結果により初期巡回係数を算出し、算出した初期巡回係数に従い、ＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１１〜Ｓ１４）。   Specifically, as shown in the flowchart of FIG. 5, as in the above-described embodiment, the first OB line is acquired, and motion between frames is detected from the acquired OB line value and line memory 12 value. Then, an initial cyclic coefficient is calculated from the detection result, and the value of the OB line and the value held in the line memory 12 are combined according to the calculated initial cyclic coefficient, and the line memory 12 is updated with the combined result ( S11-S14).

続いて、残りのＯＢラインについて以下のステップを実行する。   Subsequently, the following steps are executed for the remaining OB lines.

まず、ＯＢライン取得手段１１が撮像素子５０から次のＯＢラインを取得する（Ｓ１５）。   First, the OB line acquisition unit 11 acquires the next OB line from the image sensor 50 (S15).

巡回係数算出手段２１は、初期巡回係数から、巡回係数テーブル２２を検索して現ＯＢラインに対する巡回係数を算出し巡回処理手段１５に出力する（Ｓ３１）。   The cyclic coefficient calculation means 21 searches the cyclic coefficient table 22 from the initial cyclic coefficient, calculates the cyclic coefficient for the current OB line, and outputs it to the cyclic processing means 15 (S31).

図６は、巡回係数テーブル２２の例である。初期巡回係数Ａは０／１６〜１５／１６の１６通りとし、８ライン目までの巡回係数を示している。   FIG. 6 is an example of the cyclic coefficient table 22. The initial cyclic coefficient A is 16 values from 0/16 to 15/16, and indicates the cyclic coefficient up to the eighth line.

巡回処理手段１５は、入力された巡回係数に従い、ＯＢライン取得手段１１から入力されるＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１７）。   The cyclic processing unit 15 combines the value of the OB line input from the OB line acquisition unit 11 with the value held in the line memory 12 according to the input cyclic coefficient, and stores the line memory 12 as a result of the combination. Update (S17).

そして、全ＯＢラインに対して処理を行ったかを判定し（Ｓ１８）、未処理のＯＢラインが有ればＳ１５に戻って次のＯＢラインを取得する。   Then, it is determined whether processing has been performed for all OB lines (S18). If there is an unprocessed OB line, the process returns to S15 to acquire the next OB line.

全てのＯＢラインに対しての処理が終了すると、スミア領域検出手段１６が、ラインメモリ１２の値をコアリングレベルでゼロクリップすることでスミア発生領域を検出し（Ｓ１９）、スミア補正手段１７が検出されたスミア領域のスミアの補正を行う（Ｓ２０）。   When the processing for all the OB lines is completed, the smear region detection unit 16 detects the smear generation region by zero-clipping the value of the line memory 12 at the coring level (S19), and the smear correction unit 17 The smear correction of the detected smear area is performed (S20).

このように本実施の形態においては、巡回係数を巡回係数テーブル２２から検索しているので、巡回係数の算出に必要となる計算量を削減することができる。   Thus, in the present embodiment, since the cyclic coefficient is searched from the cyclic coefficient table 22, the amount of calculation required for calculating the cyclic coefficient can be reduced.

なお、巡回係数テーブル２２は、図７に示すような近似値によるテーブルを用いてもよい。このように構成することによって、テーブルに必要なメモリ量を削減することができる。   The cyclic coefficient table 22 may be an approximate value table as shown in FIG. With this configuration, the amount of memory required for the table can be reduced.

なお、テーブルに設定されている値は、巡回係数ｉ／１６のｉの値である。   The value set in the table is the value of i of the cyclic coefficient i / 16.

（第３の実施の形態）
次に、図８は本発明の第３の実施の形態のスミア補正装置を示す図である。なお、本実施の形態は、上述の第２の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。 (Third embodiment)
Next, FIG. 8 is a diagram showing a smear correction apparatus according to the third embodiment of the present invention. Since the present embodiment is configured in substantially the same manner as the above-described second embodiment, the same reference numerals are given to the same configurations, and only characteristic portions will be described.

本実施形態のスミア補正装置は、巡回係数算出手段３１が、予め複数のＯＢラインの重み付けが等しくなるようにｎライン目の巡回係数と（ｎ＋１）ライン目の巡回係数との遷移関係を設定された巡回係数遷移表３２から巡回係数を選択することを特徴としている。   In the smear correction apparatus of this embodiment, the cyclic coefficient calculation unit 31 is set in advance with a transition relationship between the cyclic coefficient of the nth line and the cyclic coefficient of the (n + 1) line so that the weights of the plurality of OB lines are equal. A cyclic coefficient is selected from the cyclic coefficient transition table 32.

具体的には、図９のフローチャートに示すように、上述の実施の形態と同様に、最初のＯＢラインを取得し、取得したＯＢラインの値とラインメモリ１２の値からフレーム間の動きを検出し、検出結果により初期巡回係数を算出し、算出した初期巡回係数に従い、ＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１１〜Ｓ１４）。   Specifically, as shown in the flowchart of FIG. 9, as in the above-described embodiment, the first OB line is acquired, and motion between frames is detected from the acquired value of the OB line and the value of the line memory 12. Then, an initial cyclic coefficient is calculated from the detection result, and the value of the OB line and the value held in the line memory 12 are combined according to the calculated initial cyclic coefficient, and the line memory 12 is updated with the combined result ( S11-S14).

続いて、残りのＯＢラインについて以下のステップを実行する。   Subsequently, the following steps are executed for the remaining OB lines.

まず、ＯＢライン取得手段１１が撮像素子５０から次のＯＢラインを取得する（Ｓ１５）。   First, the OB line acquisition unit 11 acquires the next OB line from the image sensor 50 (S15).

巡回係数算出手段３１は、前ＯＢラインの巡回係数から、巡回係数遷移表３２を検索して現ＯＢラインに対する巡回係数を算出し巡回処理手段１５に出力する（Ｓ４１）。   The cyclic coefficient calculation means 31 searches the cyclic coefficient transition table 32 from the cyclic coefficients of the previous OB line, calculates the cyclic coefficient for the current OB line, and outputs it to the cyclic processing means 15 (S41).

図１０は、巡回係数遷移表３２の例である。例えば、ｎライン目の巡回係数が５／１６だとすると、（ｎ＋１）ライン目の巡回係数は９／１６とする、というように巡回係数を遷移させてゆく。なお、テーブルに設定されている値は、巡回係数ｉ／１６のｉの値である。   FIG. 10 is an example of the cyclic coefficient transition table 32. For example, if the cyclic coefficient of the n-th line is 5/16, the cyclic coefficient is shifted so that the cyclic coefficient of the (n + 1) -th line is 9/16. The value set in the table is the value of i of the cyclic coefficient i / 16.

巡回処理手段１５は、入力された巡回係数に従い、ＯＢライン取得手段１１から入力されるＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１７）。   The cyclic processing unit 15 combines the value of the OB line input from the OB line acquisition unit 11 with the value held in the line memory 12 according to the input cyclic coefficient, and stores the line memory 12 as a result of the combination. Update (S17).

そして、全ＯＢラインに対して処理を行ったかを判定し（Ｓ１８）、未処理のＯＢラインが有ればＳ１５に戻って次のＯＢラインを取得する。   Then, it is determined whether processing has been performed for all OB lines (S18). If there is an unprocessed OB line, the process returns to S15 to acquire the next OB line.

全てのＯＢラインに対しての処理が終了すると、スミア領域検出手段１６が、ラインメモリ１２の値をコアリングレベルでゼロクリップすることでスミア発生領域を検出し（Ｓ１９）、スミア補正手段１７が検出されたスミア領域のスミアの補正を行う（Ｓ２０）。   When the processing for all the OB lines is completed, the smear region detection unit 16 detects the smear generation region by zero-clipping the value of the line memory 12 at the coring level (S19), and the smear correction unit 17 The smear correction of the detected smear area is performed (S20).

このように本実施の形態においては、巡回係数を巡回係数遷移表３２に基づいて更新するので、巡回係数の算出に必要となる計算量を削減することができるとともに、メモリ容量を削減することができる。   As described above, in the present embodiment, the cyclic coefficient is updated based on the cyclic coefficient transition table 32, so that it is possible to reduce the amount of calculation necessary for calculating the cyclic coefficient and to reduce the memory capacity. it can.

以上のように、本発明にかかるスミア補正装置は、動き検出の結果によらず、特定のＯＢラインのノイズの影響を受け難いという効果を有し、撮像素子のスミア現象による画質劣化を補正するスミア補正装置等として有用である。   As described above, the smear correction apparatus according to the present invention has an effect of being hardly affected by noise of a specific OB line regardless of the result of motion detection, and corrects image quality deterioration due to a smear phenomenon of an image sensor. It is useful as a smear correction device.

本発明の第１の実施の形態におけるスミア補正装置のブロック図1 is a block diagram of a smear correction apparatus according to a first embodiment of the present invention. 本発明の第１の実施の形態におけるスミア補正装置の動作説明のためのフローチャートFlowchart for explaining the operation of the smear correction apparatus according to the first embodiment of the present invention. （ａ）本発明の第１の実施の形態におけるスミア補正装置の先頭ＯＢライン取得時の巡回処理結果を示す図 （ｂ）本発明の第１の実施の形態におけるスミア補正装置の先頭ＯＢライン取得時と２ライン目取得時の巡回処理結果の関係を示す図 （ｃ）本発明の第１の実施の形態におけるスミア補正装置の先頭ＯＢライン取得時から３ライン目取得時までの巡回処理結果の関係を示す図(A) The figure which shows the cyclic processing result at the time of the acquisition of the head OB line of the smear correction apparatus in the 1st Embodiment of this invention (b) The acquisition of the head OB line of the smear correction apparatus in the 1st Embodiment of this invention (C) The results of the cyclic processing results from the time when the first OB line is acquired to the time when the third line is acquired by the smear correction apparatus according to the first embodiment of the present invention. Diagram showing relationship 本発明の第２の実施の形態におけるスミア補正装置のブロック図The block diagram of the smear correction apparatus in the 2nd Embodiment of this invention 本発明の第２の実施の形態におけるスミア補正装置の動作説明のためのフローチャートFlowchart for explaining the operation of the smear correction apparatus according to the second embodiment of the present invention. 本発明の第２の実施の形態におけるスミア補正装置の巡回係数テーブルの例を示す図The figure which shows the example of the cyclic coefficient table of the smear correction apparatus in the 2nd Embodiment of this invention. 本発明の第２の実施の形態におけるスミア補正装置の巡回係数テーブルの他の例を示す図The figure which shows the other example of the cyclic coefficient table of the smear correction apparatus in the 2nd Embodiment of this invention. 本発明の第３の実施の形態におけるスミア補正装置のブロック図Block diagram of a smear correction apparatus according to a third embodiment of the present invention 本発明の第３の実施の形態におけるスミア補正装置の動作説明のためのフローチャートThe flowchart for operation | movement description of the smear correction apparatus in the 3rd Embodiment of this invention 本発明の第３の実施の形態におけるスミア補正装置の巡回係数遷移表の例を示す図The figure which shows the example of the cyclic coefficient transition table of the smear correction apparatus in the 3rd Embodiment of this invention （ａ）従来のスミア補正方法の画像に動きがない場合のノイズ低減効果を示す図 （ｂ）従来のスミア補正方法の画像に動きがあった場合のノイズ低減効果を示す図(A) The figure which shows the noise reduction effect when there is no movement in the image of the conventional smear correction method (b) The figure which shows the noise reduction effect when there is a movement in the image of the conventional smear correction method （ａ）従来のスミア補正方法において固定の巡回係数を用いて画像に動きがない場合の３ライン目までの巡回処理結果の関係を示す図 （ｂ）従来のスミア補正方法において固定の巡回係数を用いて画像に動きがあった場合の３ライン目までの巡回処理結果の関係を示す図(A) The figure which shows the relationship of the cyclic processing result to the 3rd line when there is no motion in an image using a fixed cyclic coefficient in the conventional smear correction method. (B) The fixed cyclic coefficient in the conventional smear correction method. The figure which shows the relationship of the cyclic processing result to the 3rd line when there is a motion in an image using

符号の説明Explanation of symbols

１１ ＯＢライン取得手段
１２ ラインメモリ
１３ 初期巡回係数算出手段
１４ 巡回係数算出手段
１５ 巡回処理手段
１６ スミア領域検出手段
１７ スミア補正手段
２１ 巡回係数算出手段
２２ 巡回係数テーブル
３１ 巡回係数算出手段
３２ 巡回係数遷移表
５０ 撮像素子 11 OB line acquisition means 12 line memory 13 initial cyclic coefficient calculation means 14 cyclic coefficient calculation means 15 cyclic processing means 16 smear area detection means 17 smear correction means 21 cyclic coefficient calculation means 22 cyclic coefficient table 31 cyclic coefficient calculation means 32 cyclic coefficient transition Table 50 Image sensor

Claims (4)

撮像素子の複数のＯＢラインから順次１ライン分のデータを取得するＯＢライン取得手段と、１ライン分のデータを保持するラインメモリと、前記ＯＢライン取得手段が取得したデータと前記ラインメモリに保持されているデータとに基づいて巡回係数を算出する初期巡回係数算出手段と、１ライン前の前記巡回係数に基づいて既に取得された前記ＯＢラインそれぞれの重み付けが等しくなるように巡回係数を算出する巡回係数算出手段と、前記ＯＢライン取得手段が取得したデータと前記ラインメモリに保持されているデータとを前記巡回係数に基づいて合成したデータで前記ラインメモリを更新する巡回処理手段と、前記ラインメモリのデータに基づいてスミア発生領域を検出するスミア領域検出手段と、前記スミア発生領域のスミアを補正するスミア補正手段とを備えることを特徴とするスミア補正装置。 OB line acquisition means for sequentially acquiring data for one line from a plurality of OB lines of the image sensor, a line memory for holding data for one line, data acquired by the OB line acquisition means, and holding in the line memory The cyclic coefficient is calculated so that the weights of the initial cyclic coefficient calculation means for calculating the cyclic coefficient based on the stored data and the OB lines already acquired based on the cyclic coefficient one line before are equal. A cyclic coefficient calculating means, a cyclic processing means for updating the line memory with data obtained by combining the data acquired by the OB line acquisition means and data held in the line memory based on the cyclic coefficient, and the line Smear area detecting means for detecting a smear occurrence area based on memory data, and smear of the smear occurrence area Smear correction device characterized by comprising a positive to smear correction means. 前記初期巡回係数算出手段は、前記１ライン分のデータと前記ラインメモリに保持されているデータを比較して動きを検出することを特徴とする請求項１に記載のスミア補正装置。 2. The smear correction apparatus according to claim 1, wherein the initial cyclic coefficient calculation means detects the motion by comparing the data for one line with the data held in the line memory. 前記巡回係数算出手段は、前記初期巡回係数の値ごとに前記複数のＯＢラインそれぞれに対する前記巡回係数が設定された巡回係数テーブルにより前記巡回係数を求めることを特徴とする請求項１に記載のスミア補正装置。 2. The smear according to claim 1, wherein the cyclic coefficient calculation unit obtains the cyclic coefficient from a cyclic coefficient table in which the cyclic coefficient for each of the plurality of OB lines is set for each value of the initial cyclic coefficient. Correction device. 前記巡回係数算出手段は、前記巡回係数から次のラインの前記巡回係数への遷移が設定された巡回係数遷移表により前記巡回係数を求めることを特徴とする請求項１に記載のスミア補正装置。 2. The smear correction apparatus according to claim 1, wherein the cyclic coefficient calculation unit obtains the cyclic coefficient from a cyclic coefficient transition table in which a transition from the cyclic coefficient to the cyclic coefficient of the next line is set.
JP2004358644A 2004-12-10 2004-12-10 Smear correction device Expired - Fee Related JP4486487B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004358644A JP4486487B2 (en) 2004-12-10 2004-12-10 Smear correction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004358644A JP4486487B2 (en) 2004-12-10 2004-12-10 Smear correction device

Publications (2)

Publication Number Publication Date
JP2006166368A JP2006166368A (en) 2006-06-22
JP4486487B2 true JP4486487B2 (en) 2010-06-23

Family

ID=36667818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004358644A Expired - Fee Related JP4486487B2 (en) 2004-12-10 2004-12-10 Smear correction device

Country Status (1)

Country Link
JP (1) JP4486487B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5335356B2 (en) 2008-10-03 2013-11-06 キヤノン株式会社 Signal processing apparatus, signal processing method, and imaging apparatus
WO2021124921A1 (en) * 2019-12-19 2021-06-24 ソニーセミコンダクタソリューションズ株式会社 Image processing device, image processing method, and program

Also Published As

Publication number Publication date
JP2006166368A (en) 2006-06-22

Similar Documents

Publication Publication Date Title
JP4705664B2 (en) Buffer management for adaptive buffer values using accumulation and averaging
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
JP5531194B2 (en) Image processing apparatus, image processing method, and image processing program
KR101652658B1 (en) Image processing device, image processing method, image processing program, and recording medium
US8830360B1 (en) Method and apparatus for optimizing image quality based on scene content
JP2007166578A (en) Image vibration-compensating apparatus and method thereof
JP2010200179A (en) Image processor, image processing method, image processing program and program storing medium in which image processing program is stored
US9596481B2 (en) Apparatus and method for video data processing
JPWO2006025396A1 (en) Image processing apparatus and image processing program
JP2011055259A (en) Image processing apparatus, image processing method, image processing program and program storage medium stored with image processing program
WO2010007777A1 (en) Image processing device, image processing method, program, recording medium, and integrated circuit
JP5496036B2 (en) Image processing apparatus and image processing program
JP2005150903A (en) Image processing apparatus, noise elimination method, and noise elimination program
JP4486487B2 (en) Smear correction device
JP4052348B2 (en) Image processing apparatus and image processing method
JP2011250249A (en) Video signal processing apparatus and video signal processing method
JP2009065283A (en) Image shake correction apparatus
JPWO2006117844A1 (en) Image processing apparatus, image processing method, and information terminal apparatus
JP5401696B2 (en) Image processing apparatus, image processing method, and image processing program
JP7118818B2 (en) Image processing method, image processing device, imaging device, and program
JP2008160274A (en) Motion vector detection method, its apparatus and its program, electronic hand-blur correction method, its apparatus and its program, as well as imaging apparatus
JP2023161488A (en) Image processing apparatus, method, and program
JP5869833B2 (en) Camera shake correction processing apparatus and camera shake correction processing method
JP2023161484A (en) Image processing apparatus, method, and program
JP3252411B2 (en) Image vibration correction device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100326

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees