JP2016015692A

JP2016015692A - Imaging device and flicker removal program

Info

Publication number: JP2016015692A
Application number: JP2014138011A
Authority: JP
Inventors: 淳米内; Atsushi Yoneuchi
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-07-03
Filing date: 2014-07-03
Publication date: 2016-01-28
Anticipated expiration: 2034-07-03
Also published as: JP6300364B2

Abstract

PROBLEM TO BE SOLVED: To allow for removal of partial flicker on the screen (in the frame).SOLUTION: An imaging device includes an imaging element 3 including a pixel array where a plurality of pixels are arranged in two-dimensional matrix, and a peripheral circuit outputting the luminance value of the pixel as a digital signal, and a video signal generation circuit 6 generating a video signal from a digital signal outputted from the imaging element 3. The pixels include a normal pixel for creating the video signal, and a flicker detection pixel being driven with an exposure time shorter than the normal pixel, and the detection pixels are arranged in place of the normal pixels, at a predetermined pixel interval.

Description

本発明は、撮像装置およびフリッカー除去プログラムに関し、特に、フルスペックスーパーハイビジョン（フルスペックＳＨＶ）で１２０ｆｐｓ（frames per second）での撮影・表示を行う際に問題となる電源周波数に起因する照明光の輝度変化の影響を取り除く技術に関する。 The present invention relates to an image pickup apparatus and a flicker removal program, and more particularly to illumination light caused by a power supply frequency, which is a problem when shooting / displaying at 120 fps (frames per second) in full-spec Super Hi-Vision (full-spec SHV). The present invention relates to a technique for removing the influence of luminance change.

フレーム周波数が３０Ｈｚや６０Ｈｚ（順次走査）の撮像素子（例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー）を内蔵するカメラを用いて撮影する場合に、５０Ｈｚの電源周波数に起因する照明光の輝度変化がフリッカーとして画面を乱すことがある。この場合、１／１００秒のシャッターを掛けることでフリッカーを回避することができる。 Changes in luminance of illumination light due to a power supply frequency of 50 Hz when shooting using a camera with a built-in image sensor (for example, CMOS (Complementary Metal Oxide Semiconductor) image sensor) with a frame frequency of 30 Hz or 60 Hz (sequential scanning) May disturb the screen as flicker. In this case, flicker can be avoided by applying a 1/100 second shutter.

一方、フルスペックＳＨＶ用のフレーム周波数が１２０Ｈｚ（順次走査）の撮像素子が開発されている（非特許文献１参照）。この場合、１フレームの露光時間が１／１２０秒となるので、それよりも長い１／１００秒のシャッターを掛けることが物理的にできない。 On the other hand, an image sensor having a frame frequency of 120 Hz (sequential scanning) for full spec SHV has been developed (see Non-Patent Document 1). In this case, since the exposure time of one frame is 1/120 second, it is physically impossible to apply a shutter of 1/100 second longer than that.

このことについて、図１０および図１１を参照して説明する。図１０（ａ）に示すように、５０Ｈｚの電源周波数に起因する照明光の輝度は、１／１００秒単位で周期的に変動する（１／１００秒毎に明るさが最大になる）。そして、ローリングシャッター方式のＣＭＯＳイメージセンサーを内蔵するフルスペックＳＨＶ用のカメラで撮影を行う場合、各行の露光時間（１／１２０秒）が照明光の輝度の周期（１／１００秒）と異なると共に、各行ごとに露光開始のタイミングが変わってくるので、露光時間中の輝度の総量が各行で異なることになる。 This will be described with reference to FIGS. 10 and 11. As shown in FIG. 10A, the luminance of the illumination light caused by the power frequency of 50 Hz periodically varies in units of 1/100 seconds (the brightness becomes maximum every 1/100 seconds). When shooting with a full-spec SHV camera incorporating a rolling shutter CMOS image sensor, the exposure time (1/120 seconds) of each row is different from the luminance period (1/100 seconds) of the illumination light. Since the exposure start timing changes for each row, the total amount of luminance during the exposure time differs for each row.

例えば、図１０（ｂ）に示すように、Ｎ行目とＮ＋６行目の露光時間中の輝度の総量を比較すると、Ｎ＋６行目の輝度の総量（ドット部分）に比べてＮ行目の輝度の総量（斜線部分）の方が少ない。その為、このカメラで撮影した映像を表示装置（図示せず）で表示した場合に、Ｎ＋６行目に比べてＮ行目が暗くなる。つまり、濃淡が画面上下方向に移動するように見えるフリッカーが発生する。 For example, as shown in FIG. 10B, when the total amount of luminance during the exposure time of the Nth row and the N + 6th row is compared, the luminance of the Nth row is larger than the total amount of luminance (dot portion) of the N + 6th row. The total amount (shaded area) is less. For this reason, when an image captured by this camera is displayed on a display device (not shown), the Nth row becomes darker than the N + 6th row. That is, a flicker that appears as if the shade moves in the vertical direction of the screen occurs.

蛍光灯などの照明を撮影した時に生じるフリッカーのイメージを図１１（ｂ）に示す。実際には、縞模様の間隔はもっと大きいが、映像として見ると明滅を繰り返しながら上下方向に移動しているように見える。なお、図１１（ａ）は、肉眼で見た場合の見え方を示している。 FIG. 11B shows an image of flicker that is generated when photographing illumination such as a fluorescent lamp. Actually, the interval between the stripes is much larger, but when viewed as an image, it seems to move up and down with repeated blinking. In addition, Fig.11 (a) has shown how it looks when it sees with the naked eye.

ここで、フリッカーを除去する撮像装置として、「光源のフリッカーの時間波形を検出する検出手段と、前記検出手段による検出結果に基づいて、撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段」を具備するものが知られている（特許文献１参照）。この撮像装置は、フレーム単位でフリッカーを逆補正するものであり、フリッカーを除去することが可能である。 Here, as an image pickup apparatus for removing flicker, “the detection means for detecting the time waveform of the flicker of the light source, and the luminance of the light source at the time of image pickup of the image frame picked up by the image pickup means based on the detection result by the detection means” What is equipped with the estimation means which estimates "is known (refer patent document 1). This imaging apparatus reversely corrects flicker in units of frames and can remove flicker.

特許第４８１４３８０号公報Japanese Patent No. 4814380

渡部俊久、「スーパーハイビジョン用１２０Ｈｚイメージセンサー」、ＮＨＫ技研Ｒ＆Ｄ、日本放送協会放送技術研究所、2012年7月15日、Ｎｏ．１３４、p.4- p.11Toshihisa Watanabe, “120Hz image sensor for Super Hi-Vision”, NHK R & D, Japan Broadcasting Corporation, Broadcasting Technology Laboratory, July 15, 2012, No. 134, p.4- p.11

しかしながら、特許文献１に記載された技術では、画面内全体（フレーム全体）にフリッカーを逆補正するため、画面内の一部がフリッカーの影響を受ける場合にフリッカーの影響を受けない部分にも逆補正が掛かってしまう。画面内の一部にのみフリッカーの影響がある場合とは、例えば、夕方の屋外から蛍光灯を点灯した家屋を撮影するときや、夜間に照明が点灯している競技場を撮影するときである。つまり、特許文献１に記載された技術では、家屋の蛍光灯の光や競技場の照明の光が当たっておらずフリッカーを生じていない部分にまで逆補正を掛けるので、不自然な輝度変化を持つ映像となってしまう。 However, in the technique described in Patent Document 1, since flicker is reversely corrected in the entire screen (entire frame), when a part of the screen is affected by the flicker, the flicker is also not affected. It will be corrected. The case where only a part of the screen is affected by flicker is, for example, when shooting a house with a fluorescent lamp lit from the outdoors in the evening, or shooting a stadium that is illuminated at night. . In other words, the technique described in Patent Document 1 applies reverse correction to a portion where the light from the fluorescent lamp of the house or the lighting of the stadium is not hit and the flicker is not generated. It will be a video with.

本発明はかかる点に鑑みてなされたものであって、画面内（フレーム内）の部分的なフリッカーを除去することができる、撮像装置およびフリッカー除去プログラムを提供することを課題とする。 SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus and a flicker removal program capable of removing a partial flicker in a screen (in a frame).

前記課題を解決するために本発明の一態様による撮像装置は、ローリングシャッター方式で画像を撮像する撮像装置であって、行および列からなる２次元マトリクス状に複数の画素が配列された画素アレイ、および前記画素を行、列の指定に基づいて順次走査し、前記画素の輝度値をデジタル信号として出力する周辺回路を備える撮像素子と、前記撮像素子が出力したデジタル信号から映像信号を生成する映像信号生成回路と、を備える。 In order to solve the above problems, an imaging apparatus according to an aspect of the present invention is an imaging apparatus that captures an image using a rolling shutter system, and a pixel array in which a plurality of pixels are arranged in a two-dimensional matrix including rows and columns. And an image sensor including a peripheral circuit that sequentially scans the pixels based on row and column designations and outputs luminance values of the pixels as digital signals, and generates a video signal from the digital signals output by the image sensor A video signal generation circuit.

ここで、前記画素は、前記映像信号を作成するための通常画素と、フリッカーを検出するための画素であり、前記通常画素よりも短い露光時間で駆動する検出用画素とがあり、前記画素アレイは、前記通常画素に代えて予め定めた画素間隔で前記検出用画素が配置されている。 Here, the pixel includes a normal pixel for generating the video signal and a detection pixel that is a pixel for detecting flicker and is driven with an exposure time shorter than the normal pixel, and the pixel array The detection pixels are arranged at predetermined pixel intervals instead of the normal pixels.

また、前記映像信号生成回路は、映像処理回路とフリッカー除去回路とを備え、前記フリッカー除去回路は、フーリエ変換部と、光源輝度波形解析部と、画素輝度値算出部と、補正係数算出部とを有する。
フーリエ変換部は、前記検出用画素の所定フレーム分の過去の輝度値を離散フーリエ変換することで、前記検出用画素毎に輝度変化の周期を求める。
光源輝度波形解析部は、フーリエ変換部が求めた前記輝度変化の周期にフリッカーの原因となる成分が含まれている場合に、所定フレーム分の過去の輝度変化の波形を求める。 The video signal generation circuit includes a video processing circuit and a flicker removal circuit. The flicker removal circuit includes a Fourier transform unit, a light source luminance waveform analysis unit, a pixel luminance value calculation unit, and a correction coefficient calculation unit. Have
The Fourier transform unit obtains a period of brightness change for each of the detection pixels by performing discrete Fourier transform on past brightness values for a predetermined frame of the detection pixels.
The light source luminance waveform analysis unit obtains a waveform of past luminance change for a predetermined frame when a component causing flicker is included in the luminance change period obtained by the Fourier transform unit.

画素輝度値算出部は、前記光源輝度波形解析部が求めた前記輝度変化の波形を、前記通常画素の露光時間単位で積分を行うことで前記通常画素の露光時間単位での画素輝度値変化の波形を求める。
補正係数算出部は、前記画素輝度値算出部が求めた前記画素輝度値変化の波形から前記検出用画素の周辺に配置される前記通常画素でのフリッカーの影響を予測し、フリッカーの影響がある前記通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いて前記デジタル信号を補正する。 The pixel luminance value calculation unit integrates the waveform of the luminance change obtained by the light source luminance waveform analysis unit in units of exposure time of the normal pixels, thereby changing the pixel luminance value in units of exposure time of the normal pixels. Find the waveform.
The correction coefficient calculation unit predicts the influence of flicker on the normal pixels arranged around the detection pixel from the waveform of the pixel luminance value change obtained by the pixel luminance value calculation unit, and has an influence of flicker. A correction coefficient for canceling flicker is obtained for the normal pixel, and the digital signal is corrected using the correction coefficient.

このような構成を備える撮像装置は、通常画素に代えて予め定めた画素間隔で配置された検出用画素が、通常画素よりも短い露光時間で駆動する。そして、撮像装置は、この検出用画素の輝度値を用いて輝度変化の波形を求め、通常画素の露光時間単位で積分を行うことで、検出用画素における通常画素の露光時間単位での画素輝度値変化の波形を求める。その為、撮像装置は、画素輝度値変化の波形から検出用画素の周辺に配置される通常画素でのフリッカーの影響を予測することができる。 In the imaging apparatus having such a configuration, the detection pixels arranged at predetermined pixel intervals instead of the normal pixels are driven with an exposure time shorter than that of the normal pixels. Then, the imaging apparatus obtains a waveform of a luminance change using the luminance value of the detection pixel, and integrates the normal pixel in the exposure time unit, thereby performing pixel luminance in the normal pixel exposure time unit in the detection pixel. Find the waveform of the value change. Therefore, the imaging apparatus can predict the influence of flicker at normal pixels arranged around the detection pixel from the waveform of the pixel luminance value change.

本発明によれば、検出用画素の周辺に配置される通常画素でのフリッカーの影響を予測できるので、フリッカーの影響がある通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いてデジタル信号（通常画素出力信号）を補正する。その為、画面内（フレーム内）の部分的なフリッカーを除去することができる。 According to the present invention, since it is possible to predict the effect of flicker on normal pixels arranged around the detection pixels, a correction coefficient for canceling flicker is obtained for the normal pixels that are affected by flicker, and this correction coefficient is used for digital calculation. The signal (normal pixel output signal) is corrected. Therefore, a partial flicker within the screen (in the frame) can be removed.

本実施形態に係る撮像素子を用いた撮像装置の概略構成図である。It is a schematic block diagram of the imaging device using the image sensor which concerns on this embodiment. 本実施形態に係る撮像素子の概略構成図である。It is a schematic block diagram of the image pick-up element concerning this embodiment. 本実施形態に係る画素アレイの概略構成図である。It is a schematic block diagram of the pixel array which concerns on this embodiment. 本実施形態に係る画素アレイを構成する通常画素Ｐ_Ａおよび検出用画素Ｐ_Ｂの露光時間を説明するための図である。It is a diagram for explaining the exposure time of the normal pixels P _A and detection pixels P _B in a pixel array according to the present embodiment. 本実施形態に係る映像信号生成回路の概略構成図である。It is a schematic block diagram of the video signal generation circuit which concerns on this embodiment. 本実施形態に係る映像信号生成回路の切り替えＳＷの機能を説明するための図である。It is a figure for demonstrating the function of switching SW of the video signal generation circuit which concerns on this embodiment. 本実施形態に係るフリッカー除去回路に格納される検出用画素出力信号のイメージ図である。It is an image figure of the pixel output signal for a detection stored in the flicker removal circuit which concerns on this embodiment. 本実施形態に係るフリッカー除去回路のフローチャートである。It is a flowchart of the flicker removal circuit which concerns on this embodiment. 本実施形態に係るフリッカー除去回路の処理を説明するための図である。It is a figure for demonstrating the process of the flicker removal circuit which concerns on this embodiment. 従来のＣＭＯＳイメージセンサーを説明するための図であり、図１０（ａ）はローリングシャッター（ライン露光）方式による各行の露光開始のタイミングを説明するための図であり、図１０（ｂ）は各行の露光時間中の輝度の総量が異なることを説明するための図である。FIG. 10A is a diagram for explaining a conventional CMOS image sensor, FIG. 10A is a diagram for explaining exposure start timing of each row by a rolling shutter (line exposure) method, and FIG. 10B is a diagram for explaining each row. It is a figure for demonstrating that the total amount of the brightness | luminance during this exposure time differs. 従来のＣＭＯＳイメージセンサーを備えるカメラを用いて照明の撮影を行った場合の見え方の違いを説明するための図であり、図１１（ａ）は肉眼で見た場合の見え方を示し、図１１（ｂ）はＣＭＯＳイメージセンサーを備えるカメラを用いて撮影を行った場合の見え方を示す。It is a figure for demonstrating the difference in the appearance at the time of imaging | photography of illumination using the camera provided with the conventional CMOS image sensor, Fig.11 (a) shows the appearance when it sees with the naked eye, FIG. 11 (b) shows how the image is taken when the image is taken using a camera equipped with a CMOS image sensor.

以下、本発明の実施形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面における寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
Each figure is only schematically shown so that the invention can be fully understood. Therefore, the present invention is not limited to the illustrated example. In addition, dimensions in the drawings to be referred to may be exaggerated for clarity. In addition, in each figure, about the same component or the same component, the same code | symbol is attached | subjected and those overlapping description is abbreviate | omitted.

≪実施形態に係る撮像装置の構成≫
図１に示す撮像装置１は、フルスペックＳＨＶでの撮影を行うものであり、例えば、テレビ放送用のカメラである。撮像装置１は、レンズ２と、フリッカー除去用撮像素子３と、駆動回路４と、電源回路５と、映像信号生成回路６とを備えている。以下、撮像装置１の構成について説明する。 << Configuration of Imaging Device According to Embodiment >>
An imaging apparatus 1 shown in FIG. 1 performs imaging with full-spec SHV, and is, for example, a camera for television broadcasting. The imaging device 1 includes a lens 2, an image pickup device 3 for removing flicker, a drive circuit 4, a power supply circuit 5, and a video signal generation circuit 6. Hereinafter, the configuration of the imaging apparatus 1 will be described.

＜レンズ＞
レンズ２は、光を屈折させる光学素子であり、ここでは、光を屈折させてフリッカー除去用撮像素子３に撮影対象物の光学像を結像する。レンズ２は、単レンズや複数のレンズを組み合わせて使用されてもよい。この撮影対象物の中には、フリッカーの原因となる輝度変化が含まれる可能性がある。本実施形態に係る撮像装置１は、画面内のある一部分にフリッカーの原因となる輝度変化が含まれる場合に、部分的に画素の輝度値を補正してフリッカーの影響を除去する。 <Lens>
The lens 2 is an optical element that refracts light. Here, the lens 2 refracts light to form an optical image of a subject to be photographed on the image sensor 3 for removing flicker. The lens 2 may be used by combining a single lens or a plurality of lenses. This subject to be photographed may include a luminance change that causes flicker. The imaging apparatus 1 according to the present embodiment partially corrects the luminance value of a pixel and removes the influence of flicker when a luminance change that causes flicker is included in a certain part of the screen.

＜フリッカー除去用撮像素子＞
フリッカー除去用撮像素子３（以下、単に「撮像素子３」と呼ぶ）は、レンズ２から入ってきた光を電気信号に変換する電子部品である。撮像素子３は、ローリングシャッター（ライン露光）方式のものであればよく、例えば、ＣＭＯＳイメージセンサーを用いることができる。撮像素子３のスペックは、特に限定されず、画素数や階調などを任意に決定することができる。以下で説明する撮像素子３のスペックに関する数値についても、例示である。撮像素子３は、ＸＹアドレス方式によるスイッチ動作で画素を選択し、電気信号（通常画素出力信号Ｇ_Ａ、検出用画素出力信号Ｇ_Ｂ）を映像信号生成回路６に出力する。 <Image sensor for flicker removal>
The image pick-up device 3 for removing flicker (hereinafter simply referred to as “image pick-up device 3”) is an electronic component that converts light that has entered from the lens 2 into an electric signal. The imaging element 3 may be of a rolling shutter (line exposure) type, and for example, a CMOS image sensor can be used. The specification of the image sensor 3 is not particularly limited, and the number of pixels, gradation, and the like can be arbitrarily determined. Numerical values relating to the specifications of the image sensor 3 described below are also examples. The image sensor 3 selects a pixel by a switching operation using an XY address method, and outputs an electrical signal (normal pixel output signal G _A , detection pixel output signal G _B ) to the video signal generation circuit 6.

図２に示すように、撮像素子３は、画素アレイ３１と、通常画素用垂直走査回路３２ａ，３２ｂと、検出用画素用垂直走査回路３３と、通常画素用信号処理回路３４ａ，３４ｂと、検出用画素用信号処理回路３５ａ，３５ｂと、信号出力回路３６ａ，３６ｂと、を備えて構成されている。通常画素用垂直走査回路３２ａ，３２ｂと、検出用画素用垂直走査回路３３と、通常画素用信号処理回路３４ａ，３４ｂと、検出用画素用信号処理回路３５ａ，３５ｂと、信号出力回路３６ａ，３６ｂとをまとめて周辺回路と呼ぶ場合がある。 As shown in FIG. 2, the image sensor 3 includes a pixel array 31, normal pixel vertical scanning circuits 32a and 32b, a detection pixel vertical scanning circuit 33, and normal pixel signal processing circuits 34a and 34b. Pixel signal processing circuits 35a and 35b and signal output circuits 36a and 36b. Normal pixel vertical scanning circuits 32a and 32b, detection pixel vertical scanning circuit 33, normal pixel signal processing circuits 34a and 34b, detection pixel signal processing circuits 35a and 35b, and signal output circuits 36a and 36b Are collectively called peripheral circuits.

（画素アレイ）
画素アレイ３１は、複数の画素Ｐ（図３参照）を基板上に２次元マトリクス状に配列したものである。ここでは説明を簡便にするために記載を簡略化しているが、例えば、垂直方向（列）に４３２０個の画素が並び、水平方向（行）に７６８０個の画素が並ぶことで、合計約３３００万個の画素が規則正しく配置されている。画素アレイ３１に配置される画素Ｐは、機能の違いによって通常画素Ｐ_Ａと検出用画素Ｐ_Ｂとの２種類が存在する。 (Pixel array)
The pixel array 31 has a plurality of pixels P (see FIG. 3) arranged on a substrate in a two-dimensional matrix. Here, the description is simplified for the sake of simplicity. For example, 4320 pixels are arranged in the vertical direction (column) and 7680 pixels are arranged in the horizontal direction (row), so that a total of about 3300 pixels is arranged. Ten thousand pixels are regularly arranged. Pixels P provided in the pixel array 31, are two types of detection pixels P _B and the normal pixels P _A optionally present functional differences.

通常画素Ｐ_Ａは、フルスペックＳＨＶの映像信号を作成するためのものであり、１／１２０秒の露光時間で駆動する。通常画素Ｐ_Ａは、例えば、入射した光を光電変換して電荷として蓄積するフォトダイオード（受光部）と、蓄積した電荷を電圧に変換、増幅する増幅器とを備えて構成されている。
水平方向の１行分の通常画素Ｐ_Ａには、それぞれ１本の行選択信号線（以下、「通常用行選択信号線」）が接続されており、また、垂直方向の１列分の通常画素Ｐ_Ａには、それぞれ１本の列選択信号線（以下、「通常用列選択信号線」）が接続されている。 Normal pixels P _A is for creating a video signal of the full-spec SHV, driven by an exposure time of 1/120 second. Normal pixels P _A is, for example, a photodiode for accumulating the charges incident light by photoelectric conversion (light receiving portion), converts the accumulated charge into a voltage, and is configured with an amplifier for amplifying.
The horizontal direction of the normal pixels P _A for one row, each one of the row selection signal line (hereinafter, "normal row selection signal line") is connected, also, the vertical one column of normal _A single column selection signal line (hereinafter, “normal column selection signal line”) is connected to each pixel PA.

検出用画素Ｐ_Ｂは、フリッカーを検出するためのものであり、通常画素Ｐ_Ａよりも短い露光時間（例えば、１／２００秒）で駆動する。検出用画素Ｐ_Ｂは、露光時間が異なる以外は、通常画素Ｐ_Ａと同様の構成であってよい。つまり、検出用画素Ｐ_Ｂは、例えば、入射した光を光電変換して電荷として蓄積するフォトダイオード（受光部）と、蓄積した電荷を電圧に変換、増幅する増幅器とを備えて構成されている。
水平方向の１行分の検出用画素Ｐ_Ｂには、それぞれ１本の行選択信号線（以下、「検出用行選択信号線」）が接続されており、また、垂直方向の１列分の検出用画素Ｐ_Ｂには、それぞれ１本の列選択信号線（以下、「検出用列選択信号線」）が接続されている。 Detection pixel P _B is for detecting the flicker, driven by the normal pixel P _A short exposure time than (e.g., 1/200 seconds). Detection pixel P _B, except that the exposure time is different, typically may have the same configuration as the pixel P _A. That is, the detection pixel P _B includes, for example, a photodiode (light receiving unit) that photoelectrically converts incident light and accumulates it as charges, and an amplifier that converts and amplifies the accumulated charges into voltage. .
One row selection signal line (hereinafter referred to as “detection row selection signal line”) is connected to each of the detection pixels P _B for one row in the horizontal direction, and for one column in the vertical direction. One column selection signal line (hereinafter, “detection column selection signal line”) is connected to each of the detection pixels P _B.

図３を参照して、通常画素Ｐ_Ａ、検出用画素Ｐ_Ｂの配置の仕方について説明する。検出用画素Ｐ_Ｂは、通常画素Ｐ_Ａに代えて予め定めた画素間隔（例えば、数１０〜数１００画素おきの等間隔）に配置されている。検出用画素Ｐ_Ｂの周囲には、フリッカー判定領域３１ａが仮想的に設定されている。このフリッカー判定領域３１ａは、検出用画素Ｐ_Ｂがフリッカーを検出した際に補正を行う通常画素Ｐ_Ａの範囲を示すものである。フリッカー判定領域３１ａは、隣り合うものと重ならないように、および隣り合うものとの間に隙間がないように、画素アレイ３１の全体に事前（例えば、製造時）に設定される。 With reference to FIG. 3, how to arrange the normal pixels P _A and the detection pixels P _B will be described. Detection pixel P _B are arranged in a predetermined pixel spacing in place of the normal pixels P _A (e.g., at regular intervals of a few tens to several hundreds pixels every). Around the detection pixel P _B, flicker judgment area 31a are set virtually. The flicker judgment area 31a shows a normal range of the pixel P _A to be corrected when the detection pixel P _B detected flicker. The flicker determination area 31a is set in advance (for example, at the time of manufacturing) for the entire pixel array 31 so as not to overlap with adjacent ones and to have no gap between adjacent ones.

フリッカー判定領域３１ａの形状は、画素Ｐの形状に合わせるのがよい。ここでは、画素Ｐの形状として正方形を想定しているので、フリッカー判定領域３１ａは正方形になっている。しかしながら、これに限定されるものではなく、画素Ｐの形状とは関係なく他の形状（例えば、三角形）にすることも可能である。 The shape of the flicker determination area 31a is preferably matched to the shape of the pixel P. Here, since a square is assumed as the shape of the pixel P, the flicker determination region 31a is a square. However, the present invention is not limited to this, and other shapes (for example, triangles) can be used regardless of the shape of the pixel P.

図４を参照して、通常画素Ｐ_Ａおよび検出用画素Ｐ_Ｂの露光時間の関係について説明する。検出用画素Ｐ_Ｂは、通常画素Ｐ_Ａよりも短い露光時間（例えば、１／２００秒）で駆動する。このように、通常画素Ｐ_Ａと検出用画素Ｐ_Ｂとでは露光時間が異なるので、検出用画素Ｐ_Ｂの輝度値を映像信号の作成に用いることは難しい。本実施形態においては、検出用画素Ｐ_Ｂの輝度値を映像信号の作成に用いずに、検出用画素Ｐ_Ｂの周囲の通常画素Ｐ_Ａを用いて検出用画素Ｐ_Ｂの情報を補完する。この補完は、公知技術を用いることが可能であり、例えば、周囲の通常画素Ｐ_Ａから取得した情報に重みづけを行った後に足し合わせることにより行う。この補完処理を行うタイミングは、後記するフリッカー除去回路７０の処理の前後のどちらでもよく、例えば、並べ替え・デモザイキング処理部６１や映像処理部６３で行えばよい。 Referring to FIG. 4, typically illustrating the relationship of the exposure time of the pixels P _A and the detection pixel P _B. Detection pixel _{P B} is driven in the normal pixel _{P A} short exposure time than (e.g., 1/200 seconds). Thus, in the normal pixels P _A and the detection pixel P _B since different exposure times, it is difficult to use the luminance value of the detection pixel P _B to create the video signal. In the present embodiment, the luminance value of the detection pixel P _B without the creation of a video signal, to supplement the information of the detection pixels P _B using normal pixels P _A around the detection pixel P _B. This complementation is possible to use known techniques, for example, by adding together after the weighting on information obtained from the surrounding normal pixels P _A. The timing of performing the complementing process may be before or after the process of the flicker removing circuit 70 described later, and may be performed by, for example, the rearrangement / demosaicing processing unit 61 or the video processing unit 63.

（通常画素用垂直走査回路）
図２に示す、通常画素用垂直走査回路３２ａ，３２ｂは、１行分の通常画素Ｐ_Ａを選択し、通常画素Ｐ_Ａが変換した電圧（アナログ信号）をフレーム周波数１２０Ｈｚで通常画素用信号処理回路３４ａ，３４ｂに出力するものである。通常画素用垂直走査回路３２ａ，３２ｂは、いずれかの通常用行選択信号線に行選択信号を出力することによって、１行分の通常画素Ｐ_Ａを選択する。通常画素用垂直走査回路３２ａは、奇数列の通常画素Ｐ_Ａの処理を担当し、通常用列選択信号線を介して通常画素Ｐ_Ａが変換した電圧（アナログ信号）を通常画素用信号処理回路３４ａに出力する。一方、通常画素用垂直走査回路３２ｂは、偶数列の通常画素Ｐ_Ａの処理を担当し、通常用列選択信号線を介して通常画素Ｐ_Ａが変換した電圧（アナログ信号）を通常画素用信号処理回路３４ｂに出力する。 (Normal pixel vertical scanning circuit)
2, normal pixels vertical scanning circuit 32a, 32b selects the normal pixels _{P A} for one row, the normal pixels _{P A} is converted voltage (analog signal) normal pixel signal processed by the frame frequency 120Hz to This is output to the circuits 34a and 34b. Usually pixel vertical scanning circuit 32a, 32b by outputting a row select signal to one of ordinary row selection signal lines, for selecting the normal pixels P _A for one row. Usually pixel vertical scanning circuit 32a, in charge of the processing of the normal pixels P _A in the odd-numbered columns, voltage conversion is normal pixels P _A via normal for the column selection signal line (analog signal) of the normal pixel signal processing circuit To 34a. On the other hand, usually pixel vertical scan circuit 32b is responsible for the processing of the normal pixels P _A in the even columns, usually voltage converted pixel P _A via the normal-use column selection signal line (analog signal) of the normal pixel signal It outputs to the processing circuit 34b.

（検出用画素用垂直走査回路）
図２に示す、検出用画素用垂直走査回路３３は、１行分の検出用画素Ｐ_Ｂを選択し、検出用画素Ｐ_Ｂが変換した電圧（アナログ信号）をフレーム周波数２００Ｈｚで検出用画素用信号処理回路３５ａ，３５ｂに出力するものである。検出用画素用垂直走査回路３３は、いずれかの検出用行選択信号線に行選択信号を出力することによって、１行分の検出用画素Ｐ_Ｂを選択する。検出用画素用垂直走査回路３３は、検出用列選択信号線を介して奇数列の検出用画素Ｐ_Ｂが変換した電圧（アナログ信号）を検出用画素用信号処理回路３５ａに出力し、一方、検出用列選択信号線を介して偶数列の検出用画素Ｐ_Ｂが変換した電圧（アナログ信号）を検出用画素用信号処理回路３５ｂに出力する。なお、ここでは、検出用画素Ｐ_Ｂの総数が通常画素Ｐ_Ａの総数に比べてそれ程多くないので、一つの検出用画素用垂直走査回路３３で処理を行っているが、処理のスピードが遅くなるようであれば、通常画素用垂直走査回路３２ａ，３２ｂのように、奇数列と偶数列とで処理を分担してもよい。 (Vertical scanning circuit for detection pixels)
The detection pixel vertical scanning circuit 33 shown in FIG. 2 selects the detection pixel P _B for one row, and uses the voltage (analog signal) converted by the detection pixel P _B at a frame frequency of 200 Hz. The signal is output to the signal processing circuits 35a and 35b. The detection pixel vertical scanning circuit 33 selects the detection pixels P _B for one row by outputting a row selection signal to one of the detection row selection signal lines. The detection pixel vertical scanning circuit 33 outputs the voltage (analog signal) converted by the odd-numbered detection pixels P _B to the detection pixel signal processing circuit 35a via the detection column selection signal line, The voltage (analog signal) converted by the even number of detection pixels P _B is output to the detection pixel signal processing circuit 35b via the detection column selection signal line. Here, since the total number of detection pixels P _B is not so much compared to the total number of normal pixels P _A, is performed a process in one detection pixel vertical scan circuit 33, the speed of processing is slow If so, the processing may be shared between odd and even columns as in the normal pixel vertical scanning circuits 32a and 32b.

（通常画素用信号処理回路）
通常画素用信号処理回路３４ａ，３４ｂは、サンプリング回路とＡ／Ｄ変換回路とを含んで構成され、通常画素Ｐ_Ａから出力されたアナログ信号のノイズをサンプリング回路で除去した後に、Ａ／Ｄ変換回路で１２ビットのデジタル信号に変換する。通常画素用信号処理回路３４ａは、奇数列の通常画素Ｐ_Ａの処理を担当し、通常用列選択信号線を介して変換したデジタル信号を信号出力回路３６ａに出力する。一方、通常画素用信号処理回路３４ｂは、偶数列の通常画素Ｐ_Ａの処理を担当し、通常用列選択信号線を介して変換したデジタル信号を信号出力回路３６ｂに出力する。 (Normal pixel signal processing circuit)
Usually a pixel signal processing circuit 34a, 34b is configured to include a sampling circuit and the A / D converting circuit, the noise of the normal analog signal output from the pixel P _A After removal of the sampling circuit, A / D converter The circuit converts it to a 12-bit digital signal. Usually a pixel signal processing circuit 34a is responsible for the processing of the normal pixels P _A in the odd-numbered columns, and outputs a digital signal converted through the normal-use column selection signal line to the signal output circuit 36a. On the other hand, the normal pixel signal processing circuit 34b is responsible for the processing of the normal pixels P _A in the even columns, and outputs a digital signal converted through the normal-use column selection signal line to the signal output circuit 36b.

（検出用画素用信号処理回路）
検出用画素用信号処理回路３５ａ，３５ｂは、サンプリング回路とＡ／Ｄ変換回路とを含んで構成され、検出用画素Ｐ_Ｂから出力されたアナログ信号のノイズをサンプリング回路で除去した後に、Ａ／Ｄ変換回路で１２ビットのデジタル信号に変換する。検出用画素用信号処理回路３５ａは、奇数列の検出用画素Ｐ_Ｂの処理を担当し、検出用列選択信号線を介して変換したデジタル信号を信号出力回路３６ａに出力する。一方、検出用画素用信号処理回路３５ｂは、偶数列の検出用画素Ｐ_Ｂの処理を担当し、検出用列選択信号線を介して変換したデジタル信号を信号出力回路３６ｂに出力する。 (Detection pixel signal processing circuit)
The detection pixel signal processing circuits 35a and 35b include a sampling circuit and an A / D conversion circuit. After the noise of the analog signal output from the detection pixel P _B is removed by the sampling circuit, the A / D The signal is converted into a 12-bit digital signal by a D conversion circuit. The detection pixel signal processing circuit 35a is in charge of processing of the odd-numbered detection pixels P _B and outputs a digital signal converted through the detection column selection signal line to the signal output circuit 36a. On the other hand, the detection pixel signal processing circuit 35b is in charge of the processing of the even-numbered detection pixels P _B and outputs a digital signal converted through the detection column selection signal line to the signal output circuit 36b.

（信号出力回路）
信号出力回路３６ａ，３６ｂは、それぞれの通常用列選択信号線に出力されたデジタル信号を順に選択して、通常画素出力信号として映像信号生成回路６（図１参照）に出力する。また、信号出力回路３６ａ，３６ｂは、それぞれの検出用列選択信号線に出力されたデジタル信号を順に選択して、検出用画素出力信号として映像信号生成回路６（図１参照）に出力する。信号出力回路３６ａは、奇数列の通常画素Ｐ_Ａや検出用画素Ｐ_Ｂの処理を担当し、信号出力回路３６ｂは、偶数列の通常画素Ｐ_Ａや検出用画素Ｐ_Ｂの処理を担当する。 (Signal output circuit)
The signal output circuits 36a and 36b sequentially select the digital signals output to the respective normal column selection signal lines and output the digital signals as normal pixel output signals to the video signal generation circuit 6 (see FIG. 1). The signal output circuits 36a and 36b sequentially select the digital signals output to the respective detection column selection signal lines and output the digital signals to the video signal generation circuit 6 (see FIG. 1) as detection pixel output signals. Signal output circuit 36a is responsible for normal processing of the pixel P _A and the detection pixels P _B in the odd column, the signal output circuit 36b is responsible for normal processing of the pixel P _A and the detection pixels P _B in the even column.

このように、撮像素子３は、行・列の指定に基づいた順次走査（ＸＹアドレス方式によるスイッチ（ＳＷ）動作）により画素Ｐ（通常画素Ｐ_Ａ，検出用画素Ｐ_Ｂ）を選択し、通常画素Ｐ_Ａから出力されるアナログ信号をデジタル信号に変換後に通常画素出力信号として映像信号生成回路６に出力し、一方、検出用画素Ｐ_Ｂから出力されるアナログ信号をデジタル信号に変換後に検出用画素出力信号として映像信号生成回路６に出力する。 Thus, the image pickup device 3 selects the pixel P (normal pixels P _A, detection pixels P _B) by (switch (SW) operation by the XY address method) sequential scanning based on the specified row and column, usually the analog signals output from the pixels P _a and outputs to the video signal generation circuit 6 as a normal pixel output signal after conversion to a digital signal, whereas, for detecting the analog signal output from the detection pixel P _B after conversion into a digital signal It outputs to the video signal generation circuit 6 as a pixel output signal.

＜駆動回路＞
図１に戻って、撮像装置１の構成について説明する。駆動回路４は、撮像素子３を駆動させるための駆動用のドライバである。駆動回路４は、例えば、通常画素Ｐ_Ａの出力タイミングに合わせて通常画素用垂直走査回路３２ａ，３２ｂおよび通常画素用信号処理回路３４ａ，３４ｂを駆動させるための通常用の回路と、検出用画素Ｐ_Ｂの出力タイミングに合わせて検出用画素用垂直走査回路３３および検出用画素用信号処理回路３５ａ，３５ｂを駆動させるための検出用の回路とを備えている。 <Drive circuit>
Returning to FIG. 1, the configuration of the imaging apparatus 1 will be described. The drive circuit 4 is a drive driver for driving the image sensor 3. Drive circuit 4, for example, the normal pixels P _A normal pixel vertical scanning circuit 32a in accordance with the output timing of, 32b and the normal pixel signal processing circuit 34a, the normal circuitry for for driving the 34b, detection pixels P _B output timing together detection pixel vertical scan circuit 33 and the detection pixel signal processing circuit 35a, and a circuit for detecting for driving the 35b.

＜電源回路＞
電源回路５は、撮像装置１内に共通の電源電圧を供給するためのものである。電源回路５は、例えば、供給配線を介して電源電圧を供給する。 <Power supply circuit>
The power supply circuit 5 is for supplying a common power supply voltage in the imaging apparatus 1. The power supply circuit 5 supplies a power supply voltage via, for example, a supply wiring.

＜映像信号生成回路＞
映像信号生成回路６は、フルスペックＳＨＶに対応する放送用の映像信号を生成するものである。映像信号生成回路６は、映像処理回路６０と、フリッカー除去回路７０とを備えて構成されている。映像信号生成回路６は、例えば、ＦＰＧＡ（Field Programmable Gate Array：プログラミング可能な集積回路）である。 <Video signal generation circuit>
The video signal generation circuit 6 generates a broadcast video signal corresponding to the full specification SHV. The video signal generation circuit 6 includes a video processing circuit 60 and a flicker removal circuit 70. The video signal generation circuit 6 is, for example, an FPGA (Field Programmable Gate Array: programmable integrated circuit).

（映像処理回路）
映像処理回路６０は、通常画素出力信号に対して各種の映像処理を行い、映像信号を生成するものである。映像処理回路６０の概略構成図を図５に示す。
映像処理回路６０は、並べ替え・デモザイキング処理部６１と、切り替えＳＷ６２と、映像処理部６３と、を備えて構成されている。 (Video processing circuit)
The video processing circuit 60 performs various types of video processing on the normal pixel output signal to generate a video signal. A schematic configuration diagram of the video processing circuit 60 is shown in FIG.
The video processing circuit 60 includes a rearrangement / demosaicing processing unit 61, a switching SW 62, and a video processing unit 63.

並べ替え・デモザイキング処理部６１には、撮像素子３の信号出力回路３６ａから奇数列の通常画素Ｐ_Ａの出力に基づく通常画素出力信号Ｇ_Ａが入力され、また、信号出力回路３６ｂから偶数列の通常画素Ｐ_Ａの出力に基づく通常画素出力信号Ｇ_Ａが入力される。
並べ替え・デモザイキング処理部６１は、画面内の位置と時間（フレーム番号）とが整合するように通常画素出力信号の並べ替えを行った後に、デモザイキング処理を行う。デモザイキング処理は、各画素で撮像されない色の輝度値（画素値）を、周辺画素において撮像された当該色の輝度値に基づいて生成することにより、各画素で三色の輝度値を得るものである。この処理は、撮像素子３として、例えば、ベイヤ（Ｂａｙｅｒ）配列の色フィルタを有する場合に必要である。そして、並べ替え・デモザイキング処理部６１は、切り替えＳＷ６２に、処理後の通常画素出力信号Ｇ_Ａを出力する。 The sorting-demosaicing section 61, the normal pixel output signal G _A based on the output of the normal pixels P _A in the odd columns from the signal output circuit 36a of the image pickup device 3 is input and the even column from the signal output circuit 36b Usually the normal pixel output signal G _a based on the output of the pixel P _a is input.
The rearrangement / demosaicing processing unit 61 performs the demosaicing processing after rearranging the normal pixel output signals so that the position in the screen matches the time (frame number). In the demosaicing process, a luminance value (pixel value) of a color that is not captured by each pixel is generated based on the luminance value of the color that is captured by the surrounding pixels, thereby obtaining a luminance value of three colors at each pixel. It is. This processing is necessary when the image sensor 3 has, for example, a color filter with a Bayer array. The sorting-demosaicing processor 61, the switch SW 62, and outputs a normal pixel output signal _{G A} after processing.

切り替えＳＷ６２には、並べ替え・デモザイキング処理部６１からデモザイキング処理後の通常画素出力信号Ｇ_Ａが入力される。
切り替えＳＷ６２は、フリッカー除去回路７０を任意に切り離すためのものである。切り替えＳＷ６２は、例えば、撮像装置１が備える図示しない操作部に連動しており、撮影者による操作部の操作によって切り替えＳＷ６２のＯＦＦ／ＯＮが変更する。図６に切り替えＳＷ６２のＯＦＦ／ＯＮの状態を示す。切り替えＳＷ６２がＯＦＦの場合には、図６（ａ）に示すように、フリッカー除去回路７０（図５参照）を切り離し、並べ替え・デモザイキング処理部６１と映像処理部６３とを接続する。一方、切り替えＳＷ６２がＯＮの場合には、図６（ｂ）に示すように、フリッカー除去回路７０（図５参照）を切り離さず、並べ替え・デモザイキング処理部６１と演算回路７２とを接続する。 The switching SW 62, the normal pixel output signal G _A after demosaicing process from sorting-demosaicing processor 61 is input.
The switching SW 62 is for arbitrarily disconnecting the flicker removal circuit 70. The switching SW 62 is linked to, for example, an operation unit (not shown) included in the imaging apparatus 1, and OFF / ON of the switching SW 62 is changed by operation of the operation unit by the photographer. FIG. 6 shows the OFF / ON state of the switch SW62. When the switching SW 62 is OFF, as shown in FIG. 6A, the flicker removal circuit 70 (see FIG. 5) is disconnected, and the rearrangement / demosaicing processing unit 61 and the video processing unit 63 are connected. On the other hand, when the switching SW 62 is ON, as shown in FIG. 6B, the rearrangement / demosaicing processing unit 61 and the arithmetic circuit 72 are connected without disconnecting the flicker removal circuit 70 (see FIG. 5). .

映像処理部６３には、切り替えＳＷ６２を介して、並べ替え・デモザイキング処理部６１または後記するフリッカー除去回路７０の演算回路７２から通常画素出力信号Ｇ_Ａが入力される。
映像処理部６３は、入力された通常画素出力信号Ｇ_Ａに対して、欠陥補正処理、ホワイト・バランス処理、補間処理、色補正処理、輪郭補正処理などの画像補正処理やガンマ補正処理を行い、映像信号Ｇを生成する。ここでの映像信号Ｇは、フルスペックＳＨＶに対応する放送用の映像信号である。映像処理部６３は、生成した映像信号Ｇを撮像装置１の外部に出力する。 _A normal pixel output signal GA is input to the video processing unit 63 from the rearrangement / demosaicing processing unit 61 or the arithmetic circuit 72 of the flicker removal circuit 70 described later via the switching SW 62.
The video processing unit 63 performs on the inputted normal pixel output signal G _A, the defect correction processing, white balance processing, interpolation processing, color correction processing, the image correction processing and gamma correction processing such as contour correction processing, A video signal G is generated. The video signal G here is a video signal for broadcasting corresponding to the full specification SHV. The video processing unit 63 outputs the generated video signal G to the outside of the imaging device 1.

（フリッカー除去回路）
フリッカー除去回路７０は、画面内（フレーム内）の部分的なフリッカーを通常画素出力信号から除去するものである。フリッカー除去回路７０の概略構成図を図５に示す。
フリッカー除去回路７０は、メモリー７１と、演算回路７２とを備えて構成されている。 (Flicker removal circuit)
The flicker removal circuit 70 removes a partial flicker in the screen (in a frame) from the normal pixel output signal. A schematic configuration diagram of the flicker removal circuit 70 is shown in FIG.
The flicker removal circuit 70 includes a memory 71 and an arithmetic circuit 72.

メモリー７１には、撮像素子３の信号出力回路３６ａ，３６ｂ（図２参照）から検出用画素出力信号Ｇ_Ｂが入力され、画面内の位置と時間（フレーム番号）とが整合するように並べ替えを行った後に格納される。
メモリー７１は、例えば、ある程度のフレーム数分（例えば、数十フレーム）だけの検出用画素出力信号Ｇ_Ｂを格納することが可能である。図７に、メモリー７１に格納される検出用画素出力信号Ｇ_Ｂのイメージを示す。新しいフレームが入力されると、最も古いフレームがメモリー７１から削除される。 The memory 71, the signal output circuit 36a of the image pickup device 3, 36b (see FIG. 2) detection pixel output signal G _B input from the position and time in a screen (frame number) are sorted to match Stored after performing.
Memory 71 is, for example, a few minutes some frames (for example, several tens of frames) can be stored only in the detection pixel output signal G _B. Figure 7 shows an image of the detection pixel output signal G _B stored in the memory 71. When a new frame is input, the oldest frame is deleted from the memory 71.

図５に示すように、演算回路７２は、フーリエ変換部７３と、光源輝度波形解析部７４と、画素輝度値算出部７５と、補正係数算出部７６とからなる。演算回路７２には、並べ替え・デモザイキング処理部６１から通常画素出力信号Ｇ_Ａが入力される。また、演算回路７２には、メモリー７１に格納される検出用画素出力信号Ｇ_Ｂが入力される。ここでは、処理の概要のみを説明し、その詳細は「撮像装置の動作」で説明する。 As shown in FIG. 5, the arithmetic circuit 72 includes a Fourier transform unit 73, a light source luminance waveform analysis unit 74, a pixel luminance value calculation unit 75, and a correction coefficient calculation unit 76. The arithmetic circuit 72, the normal pixel output signal G _A Sorted-demosaicing processor 61 is input. Further, the arithmetic circuit 72, detects pixel output signal G _B stored in the memory 71 is input. Here, only the outline of the processing will be described, and the details will be described in “Operation of Imaging Device”.

フーリエ変換部７３は、メモリー７１から所定フレーム分の検出用画素出力信号Ｇ_Ｂを取得する。取得するフレーム数は、高速フーリエ変換を行うことが可能なように、２^ｎ個であることが望ましい。フーリエ変換部７３は、所定フレーム分の過去の検出用画素Ｐ_Ｂの輝度値（例えば、１２階調）を検出用画素Ｐ_Ｂ単位で離散フーリエ変換することで、時間経過に伴う輝度変化の周期を検出用画素Ｐ_Ｂ単位で求める（図７参照）。そして、フーリエ変換部７３は、輝度変化の周期にフリッカーの原因となる成分（ここでは、１００Ｈｚ）が含まれている場合に、当該フリッカー判定領域３１ａにフリッカーがあると判定する。この判定は、例えば、輝度変化の周期にフリッカーの原因となる成分が少しでも含まれている場合にフリッカーがあると判定してもよいし、閾値を設定してその値を超えた場合にフリッカーがあると判定してもよい。 Fourier transform unit 73 acquires the detection pixel output signal G _B of a predetermined number of frames from the memory 71. The number of frames to be acquired is desirably 2 ⁿ so that fast Fourier transform can be performed. The Fourier transform unit 73 performs a discrete Fourier transform on the luminance values (for example, 12 gradations) of the past detection pixels P _B for a predetermined frame in units of the detection pixels P _B, thereby performing a luminance change period with time. Is obtained in units of detection pixels P _B (see FIG. 7). The Fourier transform unit 73 determines that there is flicker in the flicker determination region 31a when the luminance change period includes a component that causes flicker (here, 100 Hz). For example, this determination may be made when there is even a flicker-causing component in the luminance change period, or when there is a flicker when a threshold value is set and exceeded. It may be determined that there is.

光源輝度波形解析部７４は、フーリエ変換部７３が求めた輝度変化の周期にフリッカーの原因となる成分（ここでは、１００Ｈｚ）が含まれている場合に、図７に示す所定フレーム分の過去の検出用画素Ｐ_Ｂの輝度値（１２階調）から時間経過に伴う過去の輝度変化の波形を求める（図９の符号８０１参照）。 The light source luminance waveform analysis unit 74, when the luminance change period obtained by the Fourier transform unit 73 includes a component that causes flicker (here, 100 Hz), the past of a predetermined frame shown in FIG. A waveform of a past luminance change with the passage of time is obtained from the luminance value (12 gradations) of the detection pixel P _B (see reference numeral 801 in FIG. 9).

画素輝度値算出部７５は、光源輝度波形解析部７４が求めた輝度変化の波形を、通常画素Ｐ_Ａの露光時間（１／１２０秒）単位で積分を行うことで、検出用画素Ｐ_Ｂにおける通常画素Ｐ_Ａの露光時間単位での画素輝度値変化の波形を求める（図９の符号８０２参照）。この符号８０２で示す画素輝度値変化の波形は、フリッカーにより画面上に現れる明暗のパターンに対応する。 Pixel luminance value calculation unit 75, the waveform of the change in luminance light source luminance waveform analyzer 74 is determined, normal pixels P _A of the exposure time by performing the integration in (1/120 sec) units, in the detection pixels P _B _A waveform of a change in pixel luminance value in units of exposure time of the normal pixel PA is obtained (see reference numeral 802 in FIG. 9). The pixel luminance value change waveform indicated by reference numeral 802 corresponds to a light and dark pattern that appears on the screen due to flicker.

補正係数算出部７６は、画素輝度値算出部７５が求めた画素輝度値変化の波形から、検出用画素Ｐ_Ｂの周辺に配置される通常画素Ｐ_Ａでの影響を予測し、フリッカーが影響する通常画素Ｐ_Ａを探索する。このフリッカーが影響する通常画素Ｐ_Ａの探索は、例えば、求めた画素輝度値変化の波形と、各々の通常画素Ｐ_Ａの輝度変化（輝度値の変化）とを比較し、その一致具合に基づいてフリッカー影響下にあるか否かを判定する。
また、補正係数算出部７６は、フリッカーの影響がある通常画素Ｐ_Ａについてフリッカーを打ち消す増幅率（補正係数）を求め、映像処理回路６０から入力された通常画素出力信号Ｇ_Ａの該当する通常画素Ｐ_Ａの輝度値に求めた増幅率を乗じることによって、フリッカーの影響を除去する（補正する）。この増幅率（補正係数）は、図９の符号８０２に示す画素輝度値変化の最低値、最高値および平均値の何れかに近づく様に決定するのがよい。画素輝度値変化の最低値、最高値または平均値は、画素輝度値変化の波形の周期、位相から計算で求めることができる。 Correction coefficient calculating unit 76, the waveform of the pixel luminance value changes the pixel luminance value calculating unit 75 is determined to predict the influence of a normal pixel P _A which is arranged around the detection pixel P _B, flicker affects normal to explore the pixel _{P a.} Search for normal pixels P _A where the flicker is affected, for example, compares the waveform of the pixel luminance value variation obtained, the luminance change in each of the normal pixels P _A (change in luminance value), based on the matching degree To determine whether it is under the influence of flicker.
Further, the correction coefficient calculation unit 76, typically an amplification factor that cancels the flicker for the pixel P _A where there is influence of flicker seeking (correction coefficient), the corresponding normal pixels in the normal pixel output signal G _A inputted from the video processing circuit 60 by multiplying the amplification factor obtained in the luminance value of P _a, to eliminate the influence of flicker (corrected). This amplification factor (correction coefficient) is preferably determined so as to approach one of the minimum value, the maximum value, and the average value of the pixel luminance value change indicated by reference numeral 802 in FIG. The minimum value, the maximum value, or the average value of the pixel luminance value change can be obtained by calculation from the period and phase of the pixel luminance value change waveform.

画素輝度値変化（図９の符号８０２参照）の最低値に通常画素Ｐ_Ａの輝度値を揃える場合を例に挙げて、増幅率（補正係数）を乗じる処理を説明する。ｍ番目のフレームにおけるＮ行目の画素輝度値をＶ（Ｎ，ｍ）とし、Ｖ（Ｎ，ｍ）の最低値をαとした場合に、補正係数Ｃ（Ｎ，ｍ）は、「Ｃ（Ｎ，ｍ）＝α／Ｖ（Ｎ，ｍ）」で表すことができる。ここで、補正係数Ｃ（Ｎ，ｍ）が行とフレームを引数にしているのは、フリッカーの輝度変化が列とは関係なく行のみに関係するためである。補正係数算出部７６は、この式を用いて補正係数Ｃ（Ｎ，ｍ）をフリッカーの影響がある通常画素Ｐ_Ａについて算出し、算出した補正係数Ｃ（Ｎ，ｍ）を実際の通常画素Ｐ_Ａの輝度値に乗じる。これにより、フリッカーの影響を除去した輝度値を得ることができる。 Taking a case of aligning the luminance values of the normal pixels P _A to the lowest value of the pixel luminance value changes (reference numeral 802 in FIG. 9) will be explained as an example a process of multiplying the amplification factor (correction coefficient). When the pixel luminance value of the Nth row in the mth frame is V (N, m) and the minimum value of V (N, m) is α, the correction coefficient C (N, m) is “C ( N, m) = α / V (N, m) ”. Here, the reason why the correction coefficient C (N, m) uses the row and the frame as arguments is that the luminance change of the flicker is related only to the row regardless of the column. Correction coefficient calculating unit 76, the correction coefficient C (N, m) using this equation was calculated for normal pixels P _A that the influence of the flicker, the calculated correction coefficient C (N, m) the actual normal pixel P Multiply the brightness value of _A. Thereby, the luminance value from which the influence of flicker is removed can be obtained.

例えば、あるフリッカー判定領域３１ａに１行１列目から９行９列目までの合計で８０個の通常画素Ｐ_Ａが配置されており（５行５列目には検出用画素Ｐ_Ｂが配置されている）、ｍフレームにおける２行１列目〜２行８列目、３行１列目〜３行５列目に配置された通常画素Ｐ_Ａにフリッカーの影響がある場合を想定する。
補正係数算出部７６は、前述した式を用いて補正係数Ｃ（２，ｍ）を算出し、通常画素出力信号Ｇ_Ａのｍフレーム目の２行１列目〜２行８列目の通常画素Ｐ_Ａに対応する輝度値にＣ（２，ｍ）を乗じる。また、補正係数算出部７６は、補正係数Ｃ（３，ｍ）を算出し、通常画素出力信号Ｇ_Ａのｍフレーム目の３行１列目〜３行５列目の通常画素Ｐ_Ａに対応する輝度値にＣ（３，ｍ）を乗じる。
このように、一つのフリッカー判定領域３１ａでは、フリッカーの影響がある通常画素Ｐ_Ａ行分の補正係数Ｃ（Ｎ，ｍ）の算出が必要であり、その算出量は、最大でその領域に含まれる行数分になる。なお、あるフリッカー判定領域３１ａで算出した補正係数Ｃ（Ｎ，ｍ）を、他のフリッカー判定領域３１ａで利用することもできる。 For example, some flicker judgment area 31a to 80 of the normal detection pixels P _B is disposed in the pixel P _A are arranged (five rows and five column a total of one row and one column to the ninth row 9 column and being), second row first column to 2 rows and 8 column in m frames, it is assumed that there is influence of flicker arranged normal pixels P _a fifth column to 3 rows 3 rows 1 column.
Correction coefficient calculating unit 76, using the equation described above calculates the correction coefficient C (2, m), the normal pixel output signal G 2 row and first column to 2 row 8 column of normal pixels m th frame _A multiplied by C (2, m) to the luminance value corresponding to P _a. Further, the correction coefficient calculation unit 76, the correction coefficient to calculate the C (3, m), normally corresponding to the normal pixel P _A of 3 rows and 1 column to 3 rows and 5 columns th m th frame of the pixel output signal G _A The luminance value to be multiplied by C (3, m).
Thus, in one flicker judgment area 31a, it is necessary to calculate the correction coefficient of the normal pixel P _A rows which are affected by the flicker C (N, m), the calculation amount is at most included in the region It will be as many lines as possible. The correction coefficient C (N, m) calculated in a certain flicker determination area 31a can be used in another flicker determination area 31a.

≪実施形態に係る撮像装置の動作≫
図８（適宜、図５を参照）を参照して、フリッカー除去回路７０の処理について説明する。図８は、フリッカー除去回路７０のフローチャートである。図８に示す処理は、検出用画素Ｐ_Ｂの単位に、すべての検出用画素Ｐ_Ｂについて行われる。 << Operation of Imaging Device according to Embodiment >>
The processing of the flicker removal circuit 70 will be described with reference to FIG. 8 (refer to FIG. 5 as appropriate). FIG. 8 is a flowchart of the flicker removal circuit 70. The process shown in FIG. 8 is performed for all the detection pixels P _B in units of the detection pixels P _B.

最初に、フーリエ変換部７３は、特定の検出用画素Ｐ_Ｂのある程度まとまったフレーム分（ここでは、２００フレーム分）の過去の輝度値（１２階調）に対して離散フーリエ変換を掛ける（図７参照）ことで輝度変化（輝度値の変化）の周期を求める（ステップＳ１０）。 First, the Fourier transform unit 73 performs a discrete Fourier transform on past luminance values (12 gradations) for a certain amount of frames (in this case, 200 frames) of a specific detection pixel P _B (see FIG. 7) to obtain the cycle of the luminance change (luminance value change) (step S10).

続いて、フーリエ変換部７３は、ステップＳ１０で求めた輝度変化の周期に１００Ｈｚの成分があるか否かを判定する（ステップＳ２０）。フーリエ変換部７３は、輝度変化の周期に１００Ｈｚの成分がない（ステップＳ２０で“Ｎｏ”）場合に、「フリッカーなし」と判定する（ステップＳ３０）。そして、当該検出用画素Ｐ_Ｂの処理を終了し、次の検出用画素Ｐ_Ｂの処理に移行する。一方、フーリエ変換部７３は、輝度変化の周期に１００Ｈｚの成分がある（ステップＳ２０で“Ｙｅｓ”）場合に、「フリッカーあり」と判定する（ステップＳ４０）。そして、処理はステップＳ５０に進む。 Subsequently, the Fourier transform unit 73 determines whether or not there is a 100 Hz component in the luminance change period obtained in step S10 (step S20). When there is no 100 Hz component in the luminance change period (“No” in step S20), the Fourier transform unit 73 determines “no flicker” (step S30). Then, the process for the detection pixel P _B is terminated, and the process proceeds to the next process for the detection pixel P _B. On the other hand, when there is a 100 Hz component in the luminance change period (“Yes” in step S20), the Fourier transform unit 73 determines that “flicker is present” (step S40). Then, the process proceeds to step S50.

続いて、光源輝度波形解析部７４は、所定フレーム分の過去の検出用画素Ｐ_Ｂの輝度値（１２階調）から時間経過に伴う過去の輝度変化の波形（図９の符号８０１）を求める（ステップＳ５０）。 Subsequently, the light source luminance waveform analysis unit 74 obtains a waveform of the past luminance change (reference numeral 801 in FIG. 9) with time from the luminance value (12 gradations) of the past detection pixel P _B for a predetermined frame. (Step S50).

続いて、画素輝度値算出部７５は、ステップＳ５０で求めた過去の輝度変化の波形を通常画素Ｐ_Ａの露光時間単位（１／１２０秒単位）で積分することで、検出用画素Ｐ_Ｂにおける画素輝度値変化の波形（図９の符号８０２）を求める（ステップＳ６０）。 Subsequently, the pixel luminance value calculation unit 75, by integrating the past waveform of luminance variation obtained in step S50 with an exposure time unit normal pixel P _A (1/120 seconds), in the detection pixel P _B A waveform of the pixel luminance value change (reference numeral 802 in FIG. 9) is obtained (step S60).

続いて、補正係数算出部７６は、当該検出用画素Ｐ_Ｂが担当するフリッカー判定領域３１ａ（図３参照）に配置される通常画素Ｐ_Ａ（周辺画素）での影響を予測し、フリッカーが影響する通常画素Ｐ_Ａを探索する（ステップＳ７０）。 Subsequently, the correction coefficient calculation unit 76 predicts the influence on the normal pixel P _A (peripheral pixels) arranged in the flicker determination area 31a (see FIG. 3) that the detection pixel P _B is responsible for, and the flicker is affected. Usually searching for a pixel _{P a} to (step S70).

続いて、補正係数算出部７６は、フリッカーの影響を受ける通常画素Ｐ_Ａについてフリッカーを打ち消す補正係数を求め、求めた補正係数を用いて通常画素出力信号Ｇ_Ａ（通常画素Ｐ_Ａの輝度値）を補正する（ステップＳ８０）。そして、当該検出用画素Ｐ_Ｂの処理を終了し、次の検出用画素Ｐ_Ｂの処理に移行する。 Subsequently, the correction coefficient calculation unit 76 obtains a correction coefficient for canceling the flicker for normal pixels P _A affected by flicker, the normal pixel output signal using the correction coefficient determined G _{A (luminance} value of the normal pixels P _A) Is corrected (step S80). Then, the process for the detection pixel P _B is terminated, and the process proceeds to the next process for the detection pixel P _B.

以上のように、本実施形態に係る撮像装置１は、通常画素Ｐ_Ａに代えて予め定めた画素間隔で配置された検出用画素Ｐ_Ｂが、通常画素Ｐ_Ａよりも短い露光時間で駆動する。そして、撮像装置１は、この検出用画素Ｐ_Ｂの輝度値を用いて輝度変化の波形を求め、通常画素Ｐ_Ａの露光時間単位で積分を行うことで、検出用画素Ｐ_Ｂにおける通常画素Ｐ_Ａの露光時間単位での画素輝度値変化の波形を求める。その為、撮像装置１は、画素輝度値変化の波形から検出用画素Ｐ_Ｂの周辺に配置される通常画素Ｐ_Ａでのフリッカーの影響を予測することができ、画面内（フレーム内）の部分的なフリッカーを除去することが可能になる。 As described above, the imaging apparatus 1 according to this embodiment, the normal pixels P _A detection pixels P _B which is arranged at the pixel spacing a predetermined place of the normally driven in a shorter exposure time than the pixel P _A . The imaging apparatus 1 obtains a waveform of brightness change using a luminance value of the detection pixel P _B, usually by performing the integration in exposure time units of the pixel P _A, the normal pixels in the detection pixel P _B P _A waveform of a change in pixel luminance value in units of exposure time _A is obtained. Therefore, the imaging apparatus 1 is able to predict the effects of flicker in a normal pixel P _A which is arranged around the detection pixel P _B from the waveform of the pixel luminance value changes, the portion of the screen (frame) Flicker can be removed.

［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。 [Modification]
As mentioned above, although embodiment of this invention was described, this invention is not limited to this, It can implement in the range which does not change the meaning of a claim.

実施形態に係る撮像装置１では、フーリエ変換部７１が輝度変化の周期に１００Ｈｚの成分があった場合に、「フリッカーあり」と判定していたが、フリッカーある・なしの判定はこれに限定されるものではない。例えば、フリッカーは、数値的にはそれ程大きな変動でなくても実際に画面で見ると影響が大きい場合もある。その為、フリッカーの検出のための閾値は、適宜選択するのがよい。 In the imaging apparatus 1 according to the embodiment, the Fourier transform unit 71 determines that “flicker is present” when there is a component of 100 Hz in the luminance change period. However, the determination of whether flicker is present or not is limited to this. It is not something. For example, flicker may have a large influence when actually viewed on the screen, even if it is not numerically so large. Therefore, the threshold for detecting flicker is preferably selected as appropriate.

また、実施形態に係る撮像装置１では、撮像素子３として通常画素Ｐ_Ａと検出用画素Ｐ_Ｂとが同一の基板上に配置されている場合（一体方式のもの）を想定していたが、これに限定されるものではない。例えば、通常画素Ｐ_Ａと検出用画素Ｐ_Ｂとを別々の基板に配置しておき、レンズ２から入った光を分けて、検出用画素Ｐ_Ｂが分けた光で処理を行うことも可能である。また、レンズ２から入った光を分けて、検出用画素Ｐ_Ｂを分けた光の空間にマッピングしてもよい。 In the imaging apparatus 1 according to the embodiment, it is assumed when the (integral type ones) that the imaging element 3 and the normal pixels P _A and the detection pixel P _B are disposed on the same substrate, It is not limited to this. For example, the normal pixel P _A and the detection pixel P _B can be arranged on different substrates, and the light entering from the lens 2 can be separated and processing can be performed with the light separated by the detection pixel P _B. is there. Further, the light entering from the lens 2 may be divided and mapped to the divided light space of the detection pixels P _B.

１撮像装置
２レンズ
３フリッカー除去用撮像素子（撮像素子）
４駆動回路
５電源回路
６映像信号生成回路
３１画素アレイ
３１ａフリッカー判定領域
３２ａ，３２ｂ通常画素用垂直走査回路（周辺回路）
３３検出用画素用垂直走査回路（周辺回路）
３４ａ，３４ｂ通常画素用信号処理回路（周辺回路）
３５ａ，３５ｂ検出用画素用信号処理回路（周辺回路）
３６ａ，３６ｂ信号出力回路（周辺回路）
６０映像処理回路
６１並べ替え・デモザイキング処理部
６２切り替えＳＷ
６３映像処理部
７０フリッカー除去回路
７１メモリー
７２演算回路
７３フーリエ変換部
７４光源輝度波形解析部
７５画素輝度値算出部
７６補正係数算出部
Ｐ画素
Ｐ_Ａ通常画素
Ｐ_Ｂ検出用画素
Ｇ映像信号
Ｇ_Ａ通常画素出力信号
Ｇ_Ｂ検出用画素出力信号 DESCRIPTION OF SYMBOLS 1 Imaging device 2 Lens 3 Flicker removal imaging device (imaging device)
4 drive circuit 5 power supply circuit 6 video signal generation circuit 31 pixel array 31a flicker determination area 32a, 32b normal pixel vertical scanning circuit (peripheral circuit)
33. Detection pixel vertical scanning circuit (peripheral circuit)
34a, 34b Normal pixel signal processing circuit (peripheral circuit)
35a, 35b Detection pixel signal processing circuit (peripheral circuit)
36a, 36b Signal output circuit (peripheral circuit)
60 Video Processing Circuit 61 Sorting / Demosaicing Processing Unit 62 Switching SW
63 Video processing unit 70 Flicker removal circuit 71 Memory 72 Arithmetic circuit 73 Fourier transform unit 74 Light source luminance waveform analysis unit 75 Pixel luminance value calculation unit 76 Correction coefficient calculation unit P pixel P _A normal pixel P _B detection pixel G video signal G _A normal pixel output signal G _B detection pixel output signal

Claims

ローリングシャッター方式で画像を撮像する撮像装置であって、
行および列からなる２次元マトリクス状に複数の画素が配列された画素アレイ、および前記画素を行、列の指定に基づいて順次走査し、前記画素の輝度値をデジタル信号として出力する周辺回路を備える撮像素子と、
前記撮像素子が出力したデジタル信号から映像信号を生成する映像信号生成回路と、を備え、
前記画素は、前記映像信号を作成するための通常画素と、フリッカーを検出するための画素であり、前記通常画素よりも短い露光時間で駆動する検出用画素とがあり、
前記画素アレイは、前記通常画素に代えて予め定めた画素間隔で前記検出用画素が配置されており、
前記映像信号生成回路は、映像処理回路とフリッカー除去回路とを備え、
前記フリッカー除去回路は、
前記検出用画素の所定フレーム分の過去の輝度値を離散フーリエ変換することで、前記検出用画素毎に輝度変化の周期を求めるフーリエ変換部と、
フーリエ変換部が求めた前記輝度変化の周期にフリッカーの原因となる成分が含まれている場合に、所定フレーム分の過去の輝度変化の波形を求める光源輝度波形解析部と、
前記光源輝度波形解析部が求めた前記輝度変化の波形を、前記通常画素の露光時間単位で積分を行うことで前記通常画素の露光時間単位での画素輝度値変化の波形を求める画素輝度値算出部と、
前記画素輝度値算出部が求めた前記画素輝度値変化の波形から前記検出用画素の周辺に配置される前記通常画素でのフリッカーの影響を予測し、フリッカーの影響がある前記通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いて前記デジタル信号を補正する補正係数算出部と、を有する、
ことを特徴とする撮像装置。 An imaging device that captures an image using a rolling shutter method,
A pixel array in which a plurality of pixels are arranged in a two-dimensional matrix comprising rows and columns, and a peripheral circuit that sequentially scans the pixels based on row and column designations and outputs the luminance values of the pixels as digital signals An image sensor comprising:
A video signal generation circuit that generates a video signal from a digital signal output by the imaging device;
The pixel includes a normal pixel for creating the video signal and a detection pixel that is a pixel for detecting flicker and is driven with an exposure time shorter than the normal pixel.
In the pixel array, the detection pixels are arranged at predetermined pixel intervals instead of the normal pixels,
The video signal generation circuit includes a video processing circuit and a flicker removal circuit,
The flicker removal circuit is
A Fourier transform unit that obtains a period of a luminance change for each of the detection pixels by performing a discrete Fourier transform on a past luminance value for a predetermined frame of the detection pixels;
A light source luminance waveform analysis unit for obtaining a waveform of a past luminance change for a predetermined frame when a component causing flicker is included in the cycle of the luminance change obtained by the Fourier transform unit;
Pixel luminance value calculation for obtaining the waveform of the pixel luminance value change in the exposure time unit of the normal pixel by integrating the waveform of the luminance change obtained by the light source luminance waveform analysis unit in the exposure time unit of the normal pixel And
The influence of flicker on the normal pixels arranged around the detection pixel is predicted from the waveform of the pixel brightness value change obtained by the pixel brightness value calculation unit, and flicker is applied to the normal pixels that are affected by flicker. A correction coefficient calculation unit that obtains a correction coefficient to cancel and corrects the digital signal using the correction coefficient;
An imaging apparatus characterized by that.

コンピュータを、請求項１に記載の撮像装置として機能させるためのフリッカー除去プログラム。
A flicker removal program for causing a computer to function as the imaging apparatus according to claim 1.