JP2011250249A

JP2011250249A - Video signal processing apparatus and video signal processing method

Info

Publication number: JP2011250249A
Application number: JP2010122562A
Authority: JP
Inventors: Noriyoshi Yoshida; 典巧吉田
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2010-05-28
Filing date: 2010-05-28
Publication date: 2011-12-08

Abstract

PROBLEM TO BE SOLVED: To calculate appropriate signal levels and to obtain image signals without lateral noise even when signal levels within an optical black region changes.SOLUTION: A video signal processing apparatus comprises: a one line OB average calculation part 103 for obtaining an OB line average of an output signal within an optical black region for each line; a one frame OB average calculation part 104 for obtaining an OB frame average of an output signal within an optical black region of a frame previous to the frame for which the OB line average is calculated; and a black level correction part 108 for comparing the OB line average calculated by the one line OB average calculation part 103 with the OB frame average calculated by the one frame OB average calculation part 104 and, based on the comparison result, correcting video signals of a frame including lines for which OB line averages are calculated, using the line average or the frame average.

Description

本発明は、固体撮像素子からの信号の光学的黒（オプティカルブラック）の信号レベルを調整する映像信号処理装置および映像信号処理方法に関するものである。 The present invention relates to a video signal processing apparatus and a video signal processing method for adjusting a signal level of optical black of a signal from a solid-state imaging device.

ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）などのイメージセンサは、光を遮断した状態でも電荷が蓄積される。このように光に関係なく蓄積される電荷は暗電流と呼ばれる。この暗電流を電気的に補正して除去するために、イメージセンサの一部を遮光して、遮光した画素からの信号レベルをオプティカルブラック（以下ＯＢと略する）レベルとして出力し、信号処理装置は、このＯＢレベルをクランプして映像信号成分のみを得る補正を行う
しかしながら、イメージセンサは、温度変化によって暗電流が変化し、それによりＯＢレベルが変化するが、この変化に追従して適切な補正を行うのが困難であるという課題がある。 An image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) accumulates charge even when light is blocked. The charge accumulated regardless of light is called dark current. In order to electrically correct and remove this dark current, a part of the image sensor is shielded, and the signal level from the shielded pixel is output as an optical black (hereinafter abbreviated as OB) level. However, the image sensor performs correction to obtain only the video signal component by clamping the OB level. However, the dark current changes due to the temperature change, and the OB level changes accordingly. There is a problem that it is difficult to correct.

このような課題を解決する信号処理装置として、特許文献１に開示の技術がある。特許文献１の画像読取装置は、原稿を光学的に読み取って画像データに変換するカラーイメージセンサと、カラーモードと白黒モードとで、カラーイメージセンサのライン周期を変更するライン周期変更手段と、カラーイメージセンサの主走査方向および副走査方向の黒レベル検出範囲を設定する黒レベル検出範囲設定手段と、主走査方向および副走査方向の黒レベル検出範囲で各々黒レベル検出値を算出し、当該算出した黒レベル検出値に基づいて、黒減算値を算出する黒減算値算出手段と、画像データから黒減算値を減算する黒レベル補正手段と、を備えることにより、黒レベル検出精度を向上することができる。 As a signal processing apparatus for solving such a problem, there is a technique disclosed in Patent Document 1. An image reading apparatus disclosed in Patent Document 1 includes a color image sensor that optically reads a document and converts it into image data, a line period changing unit that changes a line period of the color image sensor between a color mode and a monochrome mode, and a color A black level detection range setting means for setting a black level detection range in the main scanning direction and the sub scanning direction of the image sensor, and a black level detection value in each of the black level detection ranges in the main scanning direction and the sub scanning direction. Improving black level detection accuracy by including black subtraction value calculation means for calculating a black subtraction value based on the detected black level detection value and black level correction means for subtracting the black subtraction value from the image data. Can do.

特開２００５−３３３３３３号公報JP 2005-333333 A

しかしながら、上記従来の技術は、水平ＯＢの平均値を用いてラインごとに補正を行うため、各ラインのＯＢ領域の平均値のバラツキにより、そのバラツキを軽減することができ、横引きノイズを軽減することができるものの、横引きノイズをなくすことはできないという課題がある。 However, since the above conventional technique performs correction for each line using the average value of the horizontal OB, it is possible to reduce the variation due to the variation of the average value of the OB area of each line, and to reduce the horizontal noise. However, there is a problem that horizontal noise cannot be eliminated.

上記課題を解決するために、映像信号処理装置は、オプティカルブラック領域を含む撮像素子から出力される映像信号が入力される入力部と、ライン毎にオプティカルブラック領域の出力信号のＯＢライン平均値を求めるＯＢライン平均算出部と、前記ＯＢライン平均算出部でＯＢライン平均値を求めたラインを含むフレームの１フレーム前におけるフレームのオプティカルブラック領域の出力信号のＯＢフレーム平均値を求めるＯＢフレーム平均算出部と、前記ＯＢライン平均算出部で求めたＯＢライン平均値と、前記ＯＢフレーム平均算出部で求めたＯＢフレーム平均値とを比較し、比較結果に基づき、前記ＯＢライン平均値を求めたラインを含むフレームの映像信号を、前記ライン平均値または前記フレーム平均値を用いて補正する映像補正部と、を備える。 In order to solve the above-described problem, the video signal processing apparatus has an input unit to which a video signal output from an imaging device including an optical black area is input, and an OB line average value of an output signal in the optical black area for each line. OB line average calculation unit for calculating, and OB frame average calculation for calculating an OB frame average value of an output signal of an optical black area of a frame one frame before the frame including the line for which the OB line average calculation unit calculates the OB line average value Line, the OB line average value obtained by the OB line average calculation part, and the OB frame average value obtained by the OB frame average calculation part, and based on the comparison result, the line for which the OB line average value was obtained. The video signal of the frame including the image is corrected using the line average value or the frame average value. It includes a correction unit, the.

上記の構成によって、映像信号処理装置は、オプティカルブラック領域の信号レベルが変化する場合でも、適切な信号レベルを算出でき、横引きノイズのない映像信号を得ることができる。 With the above configuration, the video signal processing apparatus can calculate an appropriate signal level and obtain a video signal free from horizontal noise even when the signal level of the optical black region changes.

実施の形態１における映像信号処理装置の構成を示すブロック図FIG. 2 is a block diagram illustrating a configuration of a video signal processing device according to the first embodiment. 実施の形態１における映像信号処理装置の動作タイミングチャートOperation Timing Chart of Video Signal Processing Device in Embodiment 1 実施の形態１における映像信号処理装置の効果説明図Explanatory drawing of the effect of the video signal processing device in the first embodiment 実施の形態２における映像信号処理装置の構成を示すブロック図FIG. 3 is a block diagram illustrating a configuration of a video signal processing device according to a second embodiment. 実施の形態２における映像信号処理装置の動作タイミングチャートOperation Timing Chart of Video Signal Processing Device in Embodiment 2 実施の形態２における撮像素子の有効領域と表示領域の関係図Relationship diagram between effective area and display area of image sensor in embodiment 2 実施の形態２におけるラインごとのＯＢ平均値のバラつきのイメージを示す図The figure which shows the image of the dispersion | variation in the OB average value for every line in Embodiment 2.

（実施の形態１）
（１−１構成）
図１は実施の形態１における映像信号処理装置の構成を示すブロック図である。 (Embodiment 1)
(1-1 Configuration)
FIG. 1 is a block diagram showing the configuration of the video signal processing apparatus according to the first embodiment.

図１において、映像信号処理装置は、タイミング発生部１０２と、１ラインＯＢ平均算出部１０３と、１フレームＯＢ平均算出部１０４と、差分算出部１０５と、比較部１０６と、比較結果保持部１０７と、黒レベル補正部１０８とを含む。 In FIG. 1, the video signal processing apparatus includes a timing generation unit 102, a one-line OB average calculation unit 103, a one-frame OB average calculation unit 104, a difference calculation unit 105, a comparison unit 106, and a comparison result holding unit 107. And a black level correction unit 108.

撮像素子１０１は入射した光信号を電気信号に変換し、映像信号として出力する。撮像素子１０１は、有効映像領域と、遮光された領域でオプティカルブラック（以下ＯＢと略する）信号を出力するＯＢ領域とを有する。 The image sensor 101 converts an incident optical signal into an electrical signal and outputs it as a video signal. The image sensor 101 has an effective image area and an OB area that outputs an optical black (hereinafter abbreviated as OB) signal in a light-shielded area.

タイミング発生部１０２は映像信号処理装置内の各ブロックの動作タイミングを制御する。１ラインＯＢ平均算出部１０３は撮像素子１０１の遮光された領域（ＯＢ領域）の出力信号のラインごとの平均値を算出する。１フレームＯＢ平均算出部１０４は撮像素子１０１のＯＢ領域の１フレームごとの平均値を算出する。差分算出部１０５は１ラインＯＢ平均算出部１０３と１フレームＯＢ平均算出部１０４との差分を求める。比較部１０６は差分算出部１０５の結果を基に、１ラインＯＢ平均算出部１０３の出力か、１フレームＯＢ平均算出部１０４の出力のいずれかを選択する。比較結果保持部１０７は比較部１０６の出力を１フレーム期間保持する。黒レベル補正部１０８は撮像素子１０１が出力する映像信号から比較結果保持部１０７の出力を減算する。タイミング発生部１０２、１ラインＯＢ平均算出部１０３、１フレームＯＢ平均算出部１０４、差分算出部１０５、比較部１０６、比較結果保持部１０７および黒レベル補正部１０８は、電子回路としてＬＳＩ上に構成される。
（１−２動作）
上記のように構成された本実施の形態の映像信号処理装置の動作について図２のタイミングチャートを参照しながら説明する。 The timing generator 102 controls the operation timing of each block in the video signal processing apparatus. The 1-line OB average calculation unit 103 calculates an average value for each line of the output signal of the light-shielded area (OB area) of the image sensor 101. The 1-frame OB average calculation unit 104 calculates an average value for each frame of the OB area of the image sensor 101. The difference calculation unit 105 obtains a difference between the 1-line OB average calculation unit 103 and the 1-frame OB average calculation unit 104. The comparison unit 106 selects either the output of the 1-line OB average calculation unit 103 or the output of the 1-frame OB average calculation unit 104 based on the result of the difference calculation unit 105. The comparison result holding unit 107 holds the output of the comparison unit 106 for one frame period. The black level correction unit 108 subtracts the output of the comparison result holding unit 107 from the video signal output from the image sensor 101. The timing generation unit 102, the one-line OB average calculation unit 103, the one-frame OB average calculation unit 104, the difference calculation unit 105, the comparison unit 106, the comparison result holding unit 107, and the black level correction unit 108 are configured on an LSI as an electronic circuit. Is done.
(1-2 operation)
The operation of the video signal processing apparatus of the present embodiment configured as described above will be described with reference to the timing chart of FIG.

撮像素子１０１からは図２（Ａ）に示すように画素単位で信号が出力される。１ラインＯＢ平均算出部１０３はタイミング発生部１０２からの動作指示により、撮像素子１０１の出力のラインごとのＯＢ領域の平均値を算出する。図２（Ｂ）に示すように、１ラインＯＢ平均算出部１０３の算出結果は各ラインのＯＢ領域の信号が終わるタイミングで更新される。 A signal is output from the image sensor 101 in units of pixels as shown in FIG. The 1-line OB average calculation unit 103 calculates the average value of the OB area for each line of the output of the image sensor 101 in accordance with an operation instruction from the timing generation unit 102. As shown in FIG. 2B, the calculation result of the one-line OB average calculation unit 103 is updated at the timing when the signal of the OB area of each line ends.

１フレームＯＢ平均算出部１０４は、タイミング発生部１０２からの動作指示により、１ラインＯＢ平均算出部１０３の算出結果をライン単位で１ライン目から最終ラインまで加算し、１フレームごとのＯＢ領域の平均値を算出する。図２（Ｃ）に示すように、１フレームＯＢ平均算出部１０４の算出結果は各フレームの最終ラインのＯＢ領域の信号が終わるタイミングで更新される。 The one-frame OB average calculation unit 104 adds the calculation results of the one-line OB average calculation unit 103 from the first line to the last line in units of lines in response to an operation instruction from the timing generation unit 102. The average value is calculated. As shown in FIG. 2C, the calculation result of the 1-frame OB average calculation unit 104 is updated at the timing when the signal in the OB area of the last line of each frame ends.

差分算出部１０５は、図２のＸに示すタイミング、１ラインＯＢ平均算出部１０３によって１ライン目のＯＢ領域の平均値が算出された後に、１ラインＯＢ平均算出部１０３と１フレームＯＢ平均算出部１０４の出力の差分を求める。図２のＸのタイミングに示すように、１ラインＯＢ平均算出部１０３の出力はｎ＋１フレームの１ライン目のＯＢ領域の平均値であるのに対して、１フレームＯＢ平均算出部１０４の出力は１フレーム前の、ｎフレームのフレームＯＢ領域平均値である。 The difference calculation unit 105 calculates the average of the OB area of the first line by the one-line OB average calculation unit 103 at the timing indicated by X in FIG. The difference in output from the unit 104 is obtained. As shown in the timing of X in FIG. 2, the output of the 1-line OB average calculation unit 103 is the average value of the OB area of the first line of n + 1 frames, whereas the output of the 1-frame OB average calculation unit 104 is It is the frame OB area average value of n frames one frame before.

比較部１０６は設定された閾値と差分算出部１０５の出力との比較を行う。差分算出部１０５の出力が閾値より大きい場合には、ｎフレームとｎ＋１フレーム間のＯＢ領域平均値の差が大きいことを意味する。この場合には１ラインＯＢ平均算出部１０３の出力を選択する。差分算出部１０５の出力が閾値より小さい場合には１フレームＯＢ平均算出部１０４の出力を選択する。図２（Ｅ）に示すように、比較結果保持部１０７は図２のＸのタイミングで更新され、比較部１０６の出力を１フレーム期間保持する。 The comparison unit 106 compares the set threshold value with the output of the difference calculation unit 105. If the output of the difference calculation unit 105 is larger than the threshold value, it means that the difference in the OB area average value between n frames and n + 1 frames is large. In this case, the output of the 1-line OB average calculation unit 103 is selected. When the output of the difference calculation unit 105 is smaller than the threshold, the output of the 1-frame OB average calculation unit 104 is selected. As shown in FIG. 2E, the comparison result holding unit 107 is updated at the timing of X in FIG. 2, and holds the output of the comparison unit 106 for one frame period.

黒レベル補正部１０８は撮像素子１０１の出力から、比較結果保持部１０７の出力を減算する。この結果、映像信号は、ＯＢ領域の信号レベルが黒レベル基準となるよう補正される。
（１−３まとめ）
ビデオカメラ等の撮像装置内で行う映像信号処理において、撮像素子１０１で撮像した映像信号は、極力遅延することなく、表示部への表示や記録媒体への記録を行う必要がある。撮像した１フレームの映像信号全体をメモリに記憶し、同じフレーム内のＯＢ領域から有効映像領域の黒レベルを補正する方法は、１フレーム分をメモリに記憶して処理を行うため、処理が遅延するという課題がある。本実施の形態における映像信号処理装置は、１フレーム前のＯＢのフレーム平均値を用いて補正することにより、処理の遅延を回避することができる。 The black level correction unit 108 subtracts the output of the comparison result holding unit 107 from the output of the image sensor 101. As a result, the video signal is corrected so that the signal level in the OB area becomes the black level reference.
(1-3 Summary)
In video signal processing performed in an imaging device such as a video camera, the video signal captured by the imaging device 101 needs to be displayed on a display unit or recorded on a recording medium without delay as much as possible. The method of storing the entire captured image signal of one frame in the memory and correcting the black level of the effective image area from the OB area in the same frame is performed by storing one frame in the memory and performing processing. There is a problem of doing. The video signal processing apparatus according to the present embodiment can avoid processing delay by performing correction using the frame average value of the OB one frame before.

しかしながら、図３（Ｂ）に示すようにＯＢの１フレーム平均値は撮像素子１０１の出力に対して１フレーム遅延している。このため蓄積時間の異なるフレーム間でＯＢの１フレーム平均値を用いて黒レベルの補正を行うと、図３（Ｄ）に示すように、蓄積時間が変化したフレームにおいて、補正結果のＤＣ値が大きく変化してしまう。 However, as shown in FIG. 3B, the average value of one frame of OB is delayed by one frame with respect to the output of the image sensor 101. Therefore, when the black level is corrected using the average value of one frame of OB between frames having different accumulation times, the DC value of the correction result is obtained in a frame whose accumulation time has changed as shown in FIG. It will change greatly.

本実施の形態によれば、ｎフレーム目のフレームＯＢ領域平均値とｎ＋１フレームの１ライン目のＯＢ領域の平均値を比較することにより、ｎフレームとｎ＋１フレーム間で、撮像素子の蓄積時間が変化してＯＢ領域の平均値が変化した場合に、ｎ＋１フレームの映像信号の黒レベルの補正をｎ＋１フレームの１ライン目のＯＢ領域の平均値を用いて行う。 According to the present embodiment, by comparing the average value of the frame OB area of the nth frame and the average value of the OB area of the first line of the (n + 1) th frame, the accumulation time of the image sensor is increased between the nth frame and the (n + 1) th frame. When the average value of the OB area changes and the black level of the video signal of n + 1 frame is corrected, the average value of the OB area of the first line of n + 1 frame is used.

この結果、図３（Ｅ）に示すように、処理の遅延を回避しつつ、補正結果のＤＣ値の変化を抑えることができる。
（実施の形態２）
（２−１構成）
図４は実施の形態２における映像信号処理装置の構成を示すブロック図である。 As a result, as shown in FIG. 3E, a change in the DC value of the correction result can be suppressed while avoiding a processing delay.
(Embodiment 2)
(2-1 configuration)
FIG. 4 is a block diagram showing the configuration of the video signal processing apparatus according to the second embodiment.

図４において、映像信号処理装置は、タイミング発生部１０２と、１ラインＯＢ平均算出部１０３と、１フレームＯＢ平均算出部１０４と、差分算出部１０５と、比較部１０６と、比較結果保持部１０７と、黒レベル補正部１０８と、Ｍライン平均算出部とを含む。 4, the video signal processing apparatus includes a timing generation unit 102, a one-line OB average calculation unit 103, a one-frame OB average calculation unit 104, a difference calculation unit 105, a comparison unit 106, and a comparison result holding unit 107. And a black level correction unit 108 and an M line average calculation unit.

本実施の形態における映像信号処理装置は、図１の構成に対して、ＭラインＯＢ平均算出部１０９を加えた構成となっている。ＭラインＯＢ平均算出部１０９は撮像素子１０１のＯＢ領域のＭライン分の平均値を算出する。タイミング発生部１０２、１ラインＯＢ平均算出部１０３、１フレームＯＢ平均算出部１０４、差分算出部１０５、比較部１０６、比較結果保持部１０７、黒レベル補正部１０８およびＭラインＯＢ平均算出部１０９は電子回路としてＬＳＩ上に構成される。
（２−２動作）
上記のように構成された本実施の形態の映像信号処理装置の動作について図５のタイミングチャートを参照しながら説明する。 The video signal processing apparatus according to the present embodiment has a configuration in which an M line OB average calculation unit 109 is added to the configuration of FIG. An M line OB average calculation unit 109 calculates an average value for M lines in the OB region of the image sensor 101. The timing generation unit 102, the 1 line OB average calculation unit 103, the 1 frame OB average calculation unit 104, the difference calculation unit 105, the comparison unit 106, the comparison result holding unit 107, the black level correction unit 108, and the M line OB average calculation unit 109 are An electronic circuit is configured on an LSI.
(2-2 Operation)
The operation of the video signal processing apparatus of the present embodiment configured as described above will be described with reference to the timing chart of FIG.

図６に示すように撮像素子１０１の有効映像領域に比べて表示領域が小さい場合に、表示領域が始まるまでの期間だけＯＢ領域の平均を求める。仮に表示領域が始まるまでＭライン分の期間がある場合の例について説明する。 As shown in FIG. 6, when the display area is smaller than the effective image area of the image sensor 101, the average of the OB areas is obtained for the period until the display area starts. An example in which there is a period of M lines until the display area starts will be described.

撮像素子１０１からは図５（Ａ）に示すように、画素単位で信号が出力される。１ラインＯＢ平均算出部１０３はタイミング発生部１０２からの動作指示により、撮像素子１０１の出力のラインごとのＯＢ領域の平均値を算出する。図５（Ｂ）に示すように、１ラインＯＢ平均算出部１０３の算出結果は、各ラインのＯＢ領域の信号が終わるタイミングで更新される。 As shown in FIG. 5A, a signal is output from the image sensor 101 in units of pixels. The 1-line OB average calculation unit 103 calculates the average value of the OB area for each line of the output of the image sensor 101 in accordance with an operation instruction from the timing generation unit 102. As shown in FIG. 5B, the calculation result of the one-line OB average calculation unit 103 is updated at the timing when the signal of the OB area of each line ends.

ＭラインＯＢ平均算出部１０９は、タイミング発生部１０２からの動作指示により、１ラインＯＢ平均算出部１０３の算出結果をライン単位で１ライン目からＭラインまで加算し、Ｍライン分のＯＢ領域の平均値を算出する。図５（Ｃ）に示すように、ＭラインＯＢ平均算出部１０９の算出結果は各フレームのＭラインのＯＢ領域の信号が終わるタイミングで更新される。 The M line OB average calculation unit 109 adds the calculation results of the one line OB average calculation unit 103 from the first line to the M line in line units in response to an operation instruction from the timing generation unit 102, and stores the OB area for the M lines. The average value is calculated. As shown in FIG. 5C, the calculation result of the M line OB average calculation unit 109 is updated at the timing when the signal in the OB area of the M line of each frame ends.

１フレームＯＢ平均算出部１０４は、タイミング発生部１０２からの動作指示により、１ラインＯＢ平均算出部１０３の算出結果をライン単位で１ライン目から最終ラインまで加算し、１フレームごとのＯＢ領域の平均値を算出する。図５（Ｄ）に示すように、１フレームＯＢ平均算出部１０４の算出結果は各フレームの最終ラインのＯＢ領域の信号が終わるタイミングで更新される。 The one-frame OB average calculation unit 104 adds the calculation results of the one-line OB average calculation unit 103 from the first line to the last line in units of lines in response to an operation instruction from the timing generation unit 102. The average value is calculated. As shown in FIG. 5D, the calculation result of the one-frame OB average calculation unit 104 is updated at the timing when the signal in the OB area of the last line of each frame ends.

差分算出部１０５は、図５のＸに示すタイミング、１ラインＯＢ平均算出部１０３によってＭライン目のＯＢ領域の平均値が算出された後に、ＭラインＯＢ平均算出部１０９と１フレームＯＢ平均算出部１０４の出力の差分を求める。図５のＸのタイミングに示すように、ＭラインＯＢ平均算出部１０９の出力はｎ＋１フレーム目の１ライン目からＭライン目までのＯＢ領域の平均値であるのに対して、１フレームＯＢ平均算出部１０４の出力は１フレーム前の、ｎフレーム目のフレームＯＢ領域平均値である。 The difference calculation unit 105 calculates the average value of the M-line OB area by the one-line OB average calculation unit 103 at the timing indicated by X in FIG. The difference in output from the unit 104 is obtained. As shown in the timing of X in FIG. 5, the output of the M line OB average calculation unit 109 is the average value of the OB area from the first line to the M line of the (n + 1) th frame, whereas the one frame OB average The output of the calculation unit 104 is an average value of the frame OB area of the nth frame one frame before.

比較部１０６は設定された閾値と差分算出部１０５の出力との比較を行う。差分算出部１０５の出力が閾値より大きい場合には、ｎフレームとｎ＋１フレーム間のＯＢ領域平均値の差が大きいことを意味する。この場合にはＭラインＯＢ平均算出部１０９の出力を選択する。差分算出部１０５の出力が閾値より小さい場合には１フレームＯＢ平均算出部１０４の出力を選択する。図５（Ｆ）に示すように、比較結果保持部１０７は図５のＸのタイミングで更新され、比較部１０６の出力を１フレーム期間保持する。 The comparison unit 106 compares the set threshold value with the output of the difference calculation unit 105. If the output of the difference calculation unit 105 is larger than the threshold value, it means that the difference in the OB area average value between n frames and n + 1 frames is large. In this case, the output of the M line OB average calculation unit 109 is selected. When the output of the difference calculation unit 105 is smaller than the threshold, the output of the 1-frame OB average calculation unit 104 is selected. As shown in FIG. 5F, the comparison result holding unit 107 is updated at the timing of X in FIG. 5, and holds the output of the comparison unit 106 for one frame period.

黒レベル補正部１０８は素子出力から、比較結果保持部１０７の出力を減算する。この結果、映像信号は、ＯＢ領域の信号レベルが黒レベル基準となるよう補正される。
（２−３まとめ）
図７に示すように、ラインごとのＯＢの平均値はばらついている。そのため実施の形態１のように、ｎ＋１フレームの映像信号の黒レベルの補正をｎ＋１フレームの１ライン目のＯＢ領域の平均値のみを用いて行った場合、１ライン目のＯＢの平均値と１フレームのＯＢの平均値の差がそのまま補正誤差となってしまう。本実施の形態によれば、ｎフレーム目のフレームＯＢ領域平均値とｎ＋１フレームの１ライン目からＭライン目までのＯＢ領域の平均値を比較することにより、ｎフレームとｎ＋１フレーム間で、撮像素子１０１の蓄積時間が変化してＯＢ領域の平均値が変化した場合に、ｎ＋１フレームの映像信号の黒レベルの補正をｎ＋１フレームの１ライン目からＭライン目までのＯＢ領域の平均値を用いて行う。 The black level correction unit 108 subtracts the output of the comparison result holding unit 107 from the element output. As a result, the video signal is corrected so that the signal level in the OB area becomes the black level reference.
(2-3 Summary)
As shown in FIG. 7, the average value of OB for each line varies. Therefore, as in the first embodiment, when the correction of the black level of the video signal of the n + 1 frame is performed using only the average value of the OB area of the first line of the n + 1 frame, the average value of the OB of the first line and 1 The difference in the average value of the OB of the frame becomes a correction error as it is. According to the present embodiment, by comparing the average value of the frame OB area of the nth frame and the average value of the OB area from the first line to the Mth line of the n + 1 frame, imaging is performed between the n frame and the n + 1 frame. When the storage time of the element 101 changes and the average value of the OB area changes, the black level of the video signal of the n + 1 frame is corrected using the average value of the OB area from the first line to the M line of the n + 1 frame. Do it.

この結果、図７に示すようにＯＢのライン間のバラつきの影響を減らして補正を行うことができる。
（他の実施の形態）
以上、本発明の実施の形態として、実施の形態１および実施の形態２を例示して説明した。しかし、本発明はこれらには限定されない。本発明の他の実施の形態を以下にまとめて説明する。 As a result, as shown in FIG. 7, correction can be performed while reducing the influence of variation between OB lines.
(Other embodiments)
As described above, the first embodiment and the second embodiment have been described as the embodiments of the present invention. However, the present invention is not limited to these. Other embodiments of the present invention will be described collectively below.

実施の形態１および２において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡや、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い
実施の形態１および２では各ラインのＯＢ領域の信号が有効領域の信号の前に出力されているが、この順番が逆になってもよい。 In the first and second embodiments, each block may be individually made into one chip by a semiconductor device such as an LSI, or may be made into one chip so as to include a part or the whole. Further, the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible. An FPGA that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used. Moreover, each process of the said embodiment may be implement | achieved by hardware, and may be implement | achieved by software. Further, it may be realized by mixed processing of software and hardware. In the first and second embodiments, the OB area signal of each line is output before the effective area signal, but this order is reversed. Also good.

実施の形態２では、有効映像領域と表示領域の差をＭラインと固定しているが、Ｍの値については動的に変化してもよい。 In the second embodiment, the difference between the effective video area and the display area is fixed to the M line, but the value of M may be dynamically changed.

実施の形態２では、有効映像領域と表示領域の差のライン数分の平均を求めているが、有効映像領域と表示領域の差と異なるライン数分の平均値を求めてもよい。 In Embodiment 2, the average of the number of lines of the difference between the effective video area and the display area is obtained, but the average value for the number of lines different from the difference between the effective video area and the display area may be obtained.

本実施の形態に係る映像信号処理装置は、蓄積時間が変化した場合においても適切に黒レベルの補正を行うことができるので、映像機器関連産業分野において、有用であり、本実施の形態に係る映像信号処理装置は、当該分野において実施することができる。 Since the video signal processing apparatus according to the present embodiment can appropriately correct the black level even when the accumulation time changes, it is useful in the field of video equipment related industries. The video signal processing apparatus can be implemented in this field.

１０１撮像素子
１０２タイミング発生部
１０３１ラインＯＢ平均算出部
１０４１フレームＯＢ平均算出部
１０５差分算出部
１０６比較部
１０７比較結果保持部
１０８黒レベル補正部
１０９ＭラインＯＢ平均算出部 DESCRIPTION OF SYMBOLS 101 Image pick-up element 102 Timing generation part 103 1 line OB average calculation part 104 1 frame OB average calculation part 105 Difference calculation part 106 Comparison part 107 Comparison result holding part 108 Black level correction part 109 M line OB average calculation part

Claims

オプティカルブラック領域を含む撮像素子から出力される映像信号が入力される入力部と、
ライン毎にオプティカルブラック領域の出力信号のＯＢライン平均値を求めるＯＢライン平均算出部と、
前記ＯＢライン平均算出部でＯＢライン平均値を求めたラインを含むフレームの１フレーム前におけるフレームのオプティカルブラック領域の出力信号のＯＢフレーム平均値を求めるＯＢフレーム平均算出部と、
前記ＯＢライン平均算出部で求めたＯＢライン平均値と、前記ＯＢフレーム平均算出部で求めたＯＢフレーム平均値とを比較し、比較結果に基づき、前記ＯＢライン平均値を求めたラインを含むフレームの映像信号を、前記ライン平均値または前記フレーム平均値を用いて補正する映像補正部と、
を備える映像信号処理装置。 An input unit to which a video signal output from an image sensor including an optical black region is input;
An OB line average calculating unit for obtaining an OB line average value of the output signal of the optical black region for each line;
An OB frame average calculating unit for calculating an OB frame average value of an output signal of an optical black region of a frame one frame before the frame including the line for which the OB line average calculating unit calculates the OB line average value;
A frame including a line in which the OB line average value obtained by the OB line average calculation unit is compared with the OB frame average value obtained by the OB frame average calculation unit, and the OB line average value is obtained based on the comparison result. A video correction unit that corrects the video signal using the line average value or the frame average value;
A video signal processing apparatus comprising:

前記映像補正部は、
前記ＯＢライン平均値と前記ＯＢフレーム平均値との差が所定の閾値を超える場合に、前記ライン平均値を用いて前記映像信号を補正し、その差が所定の閾値以下の場合に、前記フレーム平均値を用いて前記映像信号を補正する
請求項１に記載の映像信号処理装置。 The video correction unit
When the difference between the OB line average value and the OB frame average value exceeds a predetermined threshold, the video signal is corrected using the line average value, and when the difference is equal to or less than the predetermined threshold, the frame The video signal processing apparatus according to claim 1, wherein the video signal is corrected using an average value.

前記映像補正部は、
比較に用いるＯＢライン平均値として、フレームを構成する１ライン目のラインについてのＯＢライン平均値を用いる
請求項１または２に記載の映像信号処理装置。 The video correction unit
The video signal processing apparatus according to claim 1, wherein an OB line average value for a first line constituting a frame is used as an OB line average value used for comparison.

前記映像補正部は、
比較に用いるＯＢライン平均値として、フレームを構成する１ライン目のラインから、前記映像信号中の表示領域の最上位ラインまでのラインのうち、少なくとも１ラインについてのＯＢライン平均値を用いる
請求項１または２に記載の映像信号処理装置。 The video correction unit
The OB line average value for at least one of the lines from the first line constituting the frame to the highest line of the display area in the video signal is used as the OB line average value used for comparison. The video signal processing apparatus according to 1 or 2.

オプティカルブラック領域を含む撮像素子から出力される映像信号が入力される入力ステップと、
ライン毎にオプティカルブラック領域の出力信号のＯＢライン平均値を求めるＯＢライン平均算出ステップと、
前記ＯＢライン平均算出ステップでＯＢライン平均値を求めたラインを含むフレームの１フレーム前におけるフレームのオプティカルブラック領域の出力信号のＯＢフレーム平均値を求めるＯＢフレーム平均算出ステップと、
前記ＯＢライン平均算出ステップで求めたＯＢライン平均値と、前記ＯＢフレーム平均算出部で求めたＯＢフレーム平均値とを比較し、比較結果に基づき、前記ＯＢライン平均値を求めたラインを含むフレームの映像信号を、前記ライン平均値または前記フレーム平均値を用いて補正する映像補正ステップと、
を含む映像信号処理方法。 An input step in which a video signal output from an image sensor including an optical black region is input;
An OB line average calculating step for obtaining an OB line average value of the output signal of the optical black region for each line;
An OB frame average calculating step for calculating an OB frame average value of an output signal of an optical black area of a frame one frame before the frame including the line for which the OB line average value is calculated in the OB line average calculating step;
A frame including a line for which the OB line average value obtained in the OB line average calculation step is compared with the OB frame average value obtained by the OB frame average calculation unit, and the OB line average value is obtained based on the comparison result. A video correction step of correcting the video signal using the line average value or the frame average value;
A video signal processing method including: