JP2016178505A - Image processing apparatus, image processing method, program and storage medium - Google Patents
Image processing apparatus, image processing method, program and storage medium Download PDFInfo
- Publication number
- JP2016178505A JP2016178505A JP2015057736A JP2015057736A JP2016178505A JP 2016178505 A JP2016178505 A JP 2016178505A JP 2015057736 A JP2015057736 A JP 2015057736A JP 2015057736 A JP2015057736 A JP 2015057736A JP 2016178505 A JP2016178505 A JP 2016178505A
- Authority
- JP
- Japan
- Prior art keywords
- image
- flicker
- correction coefficient
- detected
- flash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、例えばデジタルカメラやデジタルビデオカメラ等により蛍光灯照明下等で撮像された画像を処理する画像処理技術に関する。 The present invention relates to an image processing technique for processing an image captured by a digital camera, a digital video camera, or the like under illumination of a fluorescent lamp.
CMOSセンサ等のXYアドレス方式の撮像素子を用いて蛍光灯照明下の被写体を動画撮影する場合、画像内に明暗の縞模様が記録されることがある。これは、装置の駆動周期と被写体を照らす光源の電源周波数が一致せず、撮像素子上での露光量がラインごとに異なることにより発生する。 When taking a moving image of a subject under fluorescent lamp illumination using an XY addressing type imaging device such as a CMOS sensor, a bright and dark stripe pattern may be recorded in the image. This occurs because the drive cycle of the apparatus and the power supply frequency of the light source that illuminates the subject do not match, and the exposure amount on the image sensor varies from line to line.
このような画質の劣化を補正するために、画像の周期的な画素信号変化から光源の明滅成分(フリッカ成分)を検出し、このフリッカ成分をキャンセルする補正方法がある。画素信号レベルの変化によるフリッカ成分の明滅周期の検出では、フリッカ成分以外の要因による画素信号レベルの変化の影響を受け、フリッカ成分を正しく検出できず、誤検出・誤補正してしまうことがある。 In order to correct such image quality degradation, there is a correction method for detecting a flicker component (flicker component) of a light source from a periodic pixel signal change of an image and canceling the flicker component. The flicker component flicker cycle detection due to a change in the pixel signal level may be affected by a change in the pixel signal level due to a factor other than the flicker component, and the flicker component may not be detected correctly, and may be erroneously detected or corrected. .
このようなフリッカ成分以外の画素信号レベルの変化に対応するため、撮像対象物の輝度や色が瞬間的に変化した場合の一瞬の外乱において、時系列方向の移動平均フレーム数を変更することで安定した補正を可能にする技術が提案されている(特許文献1)。 To cope with such changes in the pixel signal level other than the flicker component, by changing the moving average number of frames in the time-series direction in a momentary disturbance when the luminance or color of the imaging target changes instantaneously, A technique that enables stable correction has been proposed (Patent Document 1).
また、時間方向の輝度変化量の傾きを算出し、傾きの大きさから瞬間的な輝度変化を検出して外乱の可能性が高い場合は、検出されたフリッカ成分を使用せず、過去の補正データを参照して補正を行う技術が提案されている(特許文献2)。 In addition, when the slope of the luminance change amount in the time direction is calculated and an instantaneous brightness change is detected from the magnitude of the slope and the possibility of disturbance is high, the detected flicker component is not used and past correction is performed. A technique for performing correction with reference to data has been proposed (Patent Document 2).
しかし、上記特許文献1では、瞬間的に輝度や色の変化による画像が検出器に入力されてしまうため、外乱の影響を完全になくすことはできない。 However, in Patent Document 1, since an image due to a change in luminance or color is instantaneously input to the detector, the influence of disturbance cannot be completely eliminated.
また、上記特許文献2においても、上記特許文献1と同様に、瞬間的に輝度や色が変化した画像がフリッカ検出器に入力されてしまうため、外乱の影響が収束するまで安定した検出結果を得ることができなくなってしまう。 Also in the above-mentioned Patent Document 2, as in the above-mentioned Patent Document 1, since an image whose luminance or color has changed instantaneously is input to the flicker detector, a stable detection result is obtained until the influence of the disturbance converges. I can't get it.
そこで、本発明は、フラッシュ発光などにより撮像対象物の輝度や色が瞬間的に変化した場合でも、撮像対象物の影響を受けることなく、安定してフリッカ成分を検出することが可能な画像処理技術を提供することを目的とする。 Therefore, the present invention is an image processing that can detect flicker components stably without being affected by the imaging target even when the luminance or color of the imaging target changes instantaneously due to flash emission or the like. The purpose is to provide technology.
上記目的を達成するために、本発明の画像処理装置は、時系列順に入力される画像を記憶領域に記憶する記憶手段と、入力される画像内の各領域におけるフリッカ成分を検出するフリッカ検出手段と、前記フリッカ検出手段により検出されたフリッカ成分に応じた補正係数を画像の各ラインごとに算出する補正係数算出手段と、前記補正係数算出手段により算出された補正係数により入力された画像を補正する補正手段と、検出対象となる光源の周波数と画像のフレームレートからフリッカ周期の整数倍に相当するフレーム数を算出するフレーム数算出手段と、フラッシュ発光を検出するフラッシュ検出手段と、前記フリッカ検出手段により前記フリッカ成分を検出するための画像を選択して、選択した画像を前記フリッカ検出手段に出力する選択手段と、を備え、前記選択手段は、前記フラッシュ検出手段によりフラッシュ発光が検出されない場合は、入力された画像を前記フリッカ検出手段に出力し、前記フラッシュ検出手段によりフラッシュ発光が検出された場合は、前記フレーム数算出手段により算出されたフレーム数の過去の入力画像を前記記憶領域から読み出して前記フリッカ検出手段に出力することを特徴とする。 In order to achieve the above object, an image processing apparatus according to the present invention includes a storage unit that stores images input in chronological order in a storage region, and a flicker detection unit that detects a flicker component in each region in the input image. Correction coefficient calculation means for calculating a correction coefficient corresponding to the flicker component detected by the flicker detection means for each line of the image, and correcting the image input by the correction coefficient calculated by the correction coefficient calculation means Correcting means, a frame number calculating means for calculating the number of frames corresponding to an integral multiple of the flicker cycle from the frequency of the light source to be detected and the frame rate of the image, a flash detecting means for detecting flash emission, and the flicker detection The image for detecting the flicker component is selected by the means, and the selected image is output to the flicker detection means. Selecting means, and when the flash detection means does not detect flash emission, the selection means outputs the input image to the flicker detection means, and when the flash detection means detects flash emission. Is characterized in that a past input image having the number of frames calculated by the frame number calculating means is read from the storage area and output to the flicker detecting means.
また、本発明の画像処理装置は、巡回型ローパスフィルタを利用して入力される画像内の各領域におけるフリッカ成分を検出するフリッカ検出手段と、前記フリッカ検出手段により検出されたフリッカ成分に応じた補正係数を画像の各ラインごとに算出する補正係数算出手段と、前記補正係数算出手段により算出された補正係数により入力された画像を補正する補正手段と、検出対象となる光源の周波数と画像のフレームレートからフリッカ周期の整数倍に相当するフレーム数を算出するフレーム数算出手段と、フラッシュ発光を検出するフラッシュ検出手段と、前記フラッシュ検出手段によりフラッシュ発光が検出された場合は、前記フレーム数算出手段により算出されたフレーム数の期間において前記フリッカ検出手段における前記巡回型ローパスフィルタのフィルタ係数を変更する変更手段と、を備えることを特徴とする。 The image processing apparatus according to the present invention further includes a flicker detection unit that detects a flicker component in each region in an image input using a cyclic low-pass filter, and a flicker component detected by the flicker detection unit. Correction coefficient calculation means for calculating the correction coefficient for each line of the image, correction means for correcting the image input by the correction coefficient calculated by the correction coefficient calculation means, the frequency of the light source to be detected, and the image Frame number calculation means for calculating the number of frames corresponding to an integral multiple of the flicker cycle from the frame rate, flash detection means for detecting flash emission, and calculation of the number of frames when flash emission is detected by the flash detection means In the period of the number of frames calculated by the means Characterized in that it comprises a changing means for changing the filter coefficients of the low-pass filter, the.
本発明によれば、フラッシュ発光などにより瞬間的に輝度や色の変化のある撮像画像が入力された場合においても、瞬間的な輝度や色の変化に影響を受けることなく、安定して照明光源によるフリッカ成分を検出して補正することができる。 According to the present invention, even when a captured image having a momentary change in luminance or color is input by flash light emission or the like, the illumination light source can be stably output without being affected by the momentary luminance or color change. The flicker component due to can be detected and corrected.
以下、図面を参照して、本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1の実施形態)
図1は、本発明の第1の実施形態である画像処理装置における画像信号の処理ブロック図である。図1において、信号レベル算出部100及び補正部108には、補正対象となる画像信号が並列に入力される。ここで、画像信号とは、一般的なテレビジョンで入力可能な輝度・色差信号(YCC)を時系列順に出力したものでもよいし、RGB画像を時系列順に出力したRGB画像信号でもよい。
(First embodiment)
FIG. 1 is a processing block diagram of an image signal in the image processing apparatus according to the first embodiment of the present invention. In FIG. 1, image signals to be corrected are input in parallel to the signal level calculation unit 100 and the correction unit 108. Here, the image signal may be a luminance / color difference signal (YCC) that can be input by a general television, which may be output in time series, or may be an RGB image signal which outputs RGB images in time series.
信号レベル算出部100は、入力された画像信号を復号し、例えばRGBの色信号値を画像のライン(行)ごとに積分値として抽出して、記憶バッファ(記憶領域)101及び画像信号選択部104へ出力する。本実施形態では、信号値として色信号値を例示するが、信号値としては色信号に限らず輝度信号など他の画像信号であってもよい。 The signal level calculation unit 100 decodes the input image signal, extracts, for example, RGB color signal values as integration values for each line (row) of the image, and stores the storage buffer (storage area) 101 and the image signal selection unit. To 104. In the present embodiment, the color signal value is exemplified as the signal value, but the signal value is not limited to the color signal, and may be another image signal such as a luminance signal.
また、ライン(行)ごとの色信号の積分値については、1つのライン(行)の中に複数の信号値が含まれるような場合は、1つのライン(行)に含まれる同じ色信号だけの積分値でもよいし、全色信号の積分値でも構わない。 As for the integrated value of the color signal for each line (row), when a plurality of signal values are included in one line (row), only the same color signal included in one line (row) is used. Or an integral value of all color signals.
一方、フレーム数算出部102は、検出対象としている電源周波数と入力された画像信号のフレームレート(fps)から、画像中に含まれるフリッカ明滅の縞模様が同じ様相を示すのに必要なフレーム数を算出して、画像信号選択部104に出力する。このフレーム数においては、前記フレーム数の整数倍であれば、同じ様相を示すという性質が変わることはなく、検出精度の安定化のために前記フレーム数の1倍よりも大きな値を用いることも含まれるものとする。 On the other hand, the frame number calculation unit 102 determines the number of frames necessary for the flicker flickering stripes included in the image to show the same aspect from the power supply frequency to be detected and the frame rate (fps) of the input image signal. Is output to the image signal selection unit 104. If the number of frames is an integral multiple of the number of frames, the property of showing the same aspect does not change, and a value larger than the number of frames may be used to stabilize detection accuracy. Shall be included.
フラッシュ検出部103は、被写体に対して瞬間的にフラッシュ発光に伴う光が照射され、光が照射された被写体の画像が入力されるタイミングか否かを画像信号選択部104に伝達する。フラッシュ発光の検出方法については、画像の輝度値の変化量が閾値以上か否かから発光の有無を検出する公知の方法や画像に埋め込まれたExifなどのメタデータから検知する方法がある。また、発光装置からの無線信号により直接的に検知する方法などがあるが、特に限定されない。 The flash detection unit 103 instantaneously irradiates the subject with light associated with flash emission, and transmits to the image signal selection unit 104 whether or not it is the timing at which the image of the subject irradiated with the light is input. As a method for detecting flash light emission, there are a known method for detecting the presence or absence of light emission based on whether or not the amount of change in luminance value of an image is equal to or greater than a threshold value, and a method for detecting from metadata such as Exif embedded in an image. Further, there is a method of directly detecting by a wireless signal from the light emitting device, but it is not particularly limited.
なお、本実施形態では、フラッシュ発光を検出する例を説明するが、被写体に対して瞬間的に照射される光はフラッシュ光以外にも考えられる。例えば、雲の切れ間から瞬間的に差す太陽光や、連続発光している照明装置の光の照射方向が変化して瞬間的に被写体の方向となり被写体に対して瞬間的に照射される光などである。そのため、フラッシュ検出部103の代わりに、被写体に対して瞬間的に照射される光の有無を、画像の輝度値の変化量が閾値以上か否かなどで検出する検出部を備えてもよい。 In this embodiment, an example in which flash light emission is detected will be described. However, light that is instantaneously applied to a subject can be considered other than flash light. For example, with sunlight that is instantaneously changed from a cloud break, or light that is emitted from a lighting device that continuously emits light and changes to the direction of the subject instantaneously, and light that is instantaneously applied to the subject is there. Therefore, instead of the flash detection unit 103, a detection unit may be provided that detects the presence or absence of light that is instantaneously applied to the subject based on whether or not the amount of change in the luminance value of the image is greater than or equal to a threshold value.
画像信号選択部104は、フラッシュ検出部103によりフラッシュ発光が検出されなかった場合は、信号レベル算出部100により算出された信号レベルをフリッカ検出部105に出力する。また、画像信号選択部104は、フラッシュ発光が検出された場合は、検出されたタイミングからフレーム数算出部102により算出されたフレーム数期間においてそのフレーム数に相当する過去の信号値を時系列順に記憶バッファ101から読み出す。そして、画像信号選択部104は、記憶バッファ101から読み出した過去の信号値をフリッカ検出部105に出力し続ける。 The image signal selection unit 104 outputs the signal level calculated by the signal level calculation unit 100 to the flicker detection unit 105 when the flash detection unit 103 does not detect flash emission. In addition, when the flash light emission is detected, the image signal selection unit 104 displays the past signal values corresponding to the number of frames in chronological order in the frame number period calculated by the frame number calculation unit 102 from the detected timing. Read from the storage buffer 101. The image signal selection unit 104 continues to output past signal values read from the storage buffer 101 to the flicker detection unit 105.
フリッカ検出部105は、入力された信号レベルから、画像内の各領域における照明光源の明滅によるフリッカ成分を検出し、検出したフリッカ成分を補正係数算出部107と状況判断部106に伝達する。なお、フリッカ検出部105によるフリッカ成分の検出処理の詳細については、後述する。 The flicker detection unit 105 detects a flicker component due to blinking of the illumination light source in each region in the image from the input signal level, and transmits the detected flicker component to the correction coefficient calculation unit 107 and the situation determination unit 106. Details of the flicker component detection processing by the flicker detection unit 105 will be described later.
補正係数算出部107は、フリッカ検出部105により検出されたフリッカ成分をキャンセルする補正係数を画像内の各ラインごとに算出して、算出結果を補正部108に出力する。なお、補正係数算出部107による補正係数の算出処理の詳細については、後述する。 The correction coefficient calculation unit 107 calculates a correction coefficient for canceling the flicker component detected by the flicker detection unit 105 for each line in the image, and outputs the calculation result to the correction unit 108. Details of the correction coefficient calculation processing by the correction coefficient calculation unit 107 will be described later.
状況判断部106は、フリッカ検出部105により検出されたフリッカ成分の振幅・位相・時系列方向の安定性などから補正を行うか否かを判断し、判断結果を補正部108に出力する。補正部108は、状況判断部106により補正を行うと判断された場合は、入力画像の各ラインの信号値に補正係数を乗算した信号値に変換して補正する。 The situation determination unit 106 determines whether or not to perform correction from the flicker component detected by the flicker detection unit 105, such as amplitude, phase, and stability in the time series direction, and outputs the determination result to the correction unit 108. When the situation determination unit 106 determines that the correction is to be performed, the correction unit 108 converts the signal value of each line of the input image into a signal value obtained by multiplying the correction value and corrects it.
次に、フリッカ検出部105によるフリッカ成分の検出処理及び補正係数算出部107による補正係数の算出処理について詳細に説明する。 Next, flicker component detection processing by the flicker detection unit 105 and correction coefficient calculation processing by the correction coefficient calculation unit 107 will be described in detail.
CMOSセンサ等に代表されるXYアドレス方式の撮像素子で画像を撮影する場合、図2に示すように、画像の垂直方向に明暗の縞模様が記録されることがある。この明暗の縞模様は、図3に示すように、屋内の照明光源の下で撮影される画像のフレームレートと撮影環境の光源の電源周波数とが一致していないことにより発生する。この明暗の縞模様からフリッカ成分を抽出するために、フリッカ検出部105は、次式(1)を用いて時間方向の定常的な信号成分を抽出する。 When an image is taken with an XY address type image pickup device typified by a CMOS sensor or the like, a bright and dark stripe pattern may be recorded in the vertical direction of the image as shown in FIG. As shown in FIG. 3, this bright and dark stripe pattern is generated when the frame rate of an image photographed under an indoor illumination light source does not match the power supply frequency of the light source in the photographing environment. In order to extract the flicker component from this bright and dark stripe pattern, the flicker detection unit 105 extracts a steady signal component in the time direction using the following equation (1).
mem=ave×k+mout×(1−k) …(1)
ここで、memは、上式(1)の出力として不図示のメモリに格納される値であり、aveは、画像信号選択部104から出力される画像内の各ラインの色成分の信号値である。また、kは、フリッカ成分の検出に利用する巡回型ローパスフィルタのフィルタ係数であり、moutは、1フレーム前の画像の信号値が入力されたときに上式(1)により演算された演算結果である。
mem = ave × k + mout × (1-k) (1)
Here, mem is a value stored in a memory (not shown) as an output of the above equation (1), and ave is a signal value of a color component of each line in the image output from the image signal selection unit 104. is there. K is a filter coefficient of a cyclic low-pass filter used for detecting a flicker component, and mout is a calculation result calculated by the above equation (1) when a signal value of an image one frame before is input. It is.
上式(1)の演算を各色成分で画像内の各ラインについて行うことにより、時間方向の定常的な信号成分を抽出することができる。抽出された定常的な信号成分を、現在のフレームで評価値取得手段から入力された信号レベルで各色成分の各信号値を除算することにより、フリッカ成分(入力画像信号のレベル変動成分)を算出する。そして、算出されたフリッカ成分に基づき垂直方向の信号のレベルの変動特性であるフリッカモデルを生成する。 By performing the calculation of the above equation (1) for each line in the image with each color component, a stationary signal component in the time direction can be extracted. The flicker component (level fluctuation component of the input image signal) is calculated by dividing the extracted stationary signal component by the signal value of each color component by the signal level input from the evaluation value acquisition means in the current frame. To do. Based on the calculated flicker component, a flicker model that is a fluctuation characteristic of the signal level in the vertical direction is generated.
フリッカモデルは、例えば垂直方向にある特定の振幅W・周波数f・位相θを持つ正弦波で近似することができる。周波数fは、フレームレートと光源の電源周波数により決定され、位相θは、検出された変動成分のうち変動比が1で垂直方向に変動比の変化量で1をとるラインを位相θ=0として各ラインの位相を算出することができる。振幅Wは、算出された位相のπ/2及び3π/2における変動比からから算出される。フリッカ検出部105は、このように生成されたフリッカモデルをフリッカ成分として各色成分ごとに生成し、補正係数算出部107に出力する。 The flicker model can be approximated by, for example, a sine wave having a specific amplitude W, frequency f, and phase θ in the vertical direction. The frequency f is determined by the frame rate and the power source frequency of the light source, and the phase θ is a line in which the fluctuation ratio is 1 among the detected fluctuation components and the line that takes 1 in the fluctuation ratio in the vertical direction is the phase θ = 0. The phase of each line can be calculated. The amplitude W is calculated from the fluctuation ratio of the calculated phase at π / 2 and 3π / 2. The flicker detection unit 105 generates the flicker model generated in this way as a flicker component for each color component, and outputs it to the correction coefficient calculation unit 107.
補正係数算出部107は、検出画像領域と補正画像の各ラインに対応する位相を調整し、フリッカ成分をキャンセルする補正係数を各ラインに乗じるゲイン値として算出し、算出結果を補正部108に出力する。 The correction coefficient calculation unit 107 adjusts the phase corresponding to each line of the detected image region and the correction image, calculates a gain value for multiplying each line by the correction coefficient for canceling the flicker component, and outputs the calculation result to the correction unit 108. To do.
次に、図4乃至図6を参照して、フリッカ補正処理について説明する。図4の各処理は、画像処理装置のROM等の記憶部に格納されたプログラムがRAMに展開されてCPU等により実行される。なお、ROM、RAM及びCPU等の図示は省略する。 Next, flicker correction processing will be described with reference to FIGS. Each process shown in FIG. 4 is executed by a CPU or the like after a program stored in a storage unit such as a ROM of the image processing apparatus is expanded in the RAM. The ROM, RAM, CPU, etc. are not shown.
図4において、ステップS401では、CPUは、フレーム数算出部102により、検出対象となる光源の周波数と画像のフレームレートからフリッカ周期のフレーム数Nを算出し、ステップS402に進む。 In FIG. 4, in step S401, the CPU calculates the number of frames N of the flicker cycle from the frequency of the light source to be detected and the frame rate of the image by the frame number calculation unit 102, and proceeds to step S402.
ステップS402では、CPUは、信号レベル算出部100により、入力画像を複数領域に分割して領域ごとの色信号を抽出し、ステップS403に進む。ステップS403では、CPUは、ステップS402で抽出した信号値を記憶バッファ101に格納し、ステップS404に進む。 In step S402, the CPU divides the input image into a plurality of regions by the signal level calculation unit 100, extracts the color signal for each region, and proceeds to step S403. In step S403, the CPU stores the signal value extracted in step S402 in the storage buffer 101, and proceeds to step S404.
ステップS404では、CPUは、フラッシュ検出部103によりフラッシュ発光が検出されたか否かを判定し、フラッシュ発光が検出された場合は、ステップS407に進み、フラッシュ発光が検出されない場合は、ステップS405に進む。 In step S404, the CPU determines whether or not flash emission is detected by the flash detection unit 103. If flash emission is detected, the process proceeds to step S407, and if flash emission is not detected, the process proceeds to step S405. .
ステップS405では、CPUは、過去のNフレーム期間内にフラッシュ検出部103によりフラッシュ発光が検出されたか否かを判定し、フラッシュ発光が検出されなかった場合は、ステップS406に進む。また、CPUは、フラッシュ検出部103によりフラッシュ発光が検出された後のNフレーム期間内である場合は、ステップS407に進む。 In step S405, the CPU determines whether flash emission is detected by the flash detection unit 103 within the past N frame periods. If no flash emission is detected, the CPU proceeds to step S406. On the other hand, if it is within the N frame period after the flash emission is detected by the flash detection unit 103, the CPU proceeds to step S407.
ステップS406では、CPUは、画像信号選択部104により、入力画像の信号値を選択して、図5に示すように、選択した信号値をそのままフリッカ検出部105に出力し、ステップS408に進む。 In step S406, the CPU selects the signal value of the input image by the image signal selection unit 104, and directly outputs the selected signal value to the flicker detection unit 105 as shown in FIG. 5, and the process proceeds to step S408.
一方、ステップS407では、CPUは、画像信号選択部104により、入力画像ではなく、図6に示すように、Nフレーム期間の過去の入力画像の信号値を記憶バッファ101から読み出してフリッカ検出部105に出力し、ステップS408に進む。 On the other hand, in step S407, the CPU reads the signal value of the past input image of the N frame period from the storage buffer 101, not the input image, by the image signal selection unit 104, as shown in FIG. The process proceeds to step S408.
ステップS408では、CPUは、フリッカ検出部105により、ステップS406又はステップS407で選択された入力画像のフリッカ成分を検出し、検出したフリッカ成分を状況判断部106及び補正係数算出部107を出力して、ステップS409に進む。ステップS409では、CPUは、ステップS408で検出されたフリッカ成分に基づき、状況判断部106、補正係数算出部107及び補正部108により前述したフリッカ補正処理を行い、ステップS402に戻る。 In step S408, the CPU detects the flicker component of the input image selected in step S406 or step S407 by the flicker detection unit 105, and outputs the detected flicker component to the situation determination unit 106 and the correction coefficient calculation unit 107. The process proceeds to step S409. In step S409, the CPU performs the above-described flicker correction process by the situation determination unit 106, the correction coefficient calculation unit 107, and the correction unit 108 based on the flicker component detected in step S408, and returns to step S402.
以上説明したように、本実施形態では、蛍光灯光源下等で撮像され明暗の縞模様が記録された画像信号を各ラインごとにゲイン値を乗算して補正する際に、フラッシュ発光の瞬間的な輝度や色の信号値変化の影響を受けることがない。このため、安定してフリッカ成分を検出し続けることができる。 As described above, in the present embodiment, when an image signal captured under a fluorescent light source or the like and recorded with bright and dark stripes is corrected by multiplying a gain value for each line, the instantaneous flash emission is performed. Without being affected by changes in signal values of brightness and color. For this reason, the flicker component can be detected stably.
なお、本実施形態では、画像信号を出力する出力元の機器や出力先の機器については省略したが、出力元は、画像を出力するプログラムや再生機器、撮像装置や他の電子機器等を例示することができ、出力先についても同様である。 In this embodiment, the output source device that outputs the image signal and the output destination device are omitted, but the output source is exemplified by an image output program, a playback device, an imaging device, other electronic devices, and the like. The same applies to the output destination.
(第2の実施形態)
次に、図7及び図8を参照して、本発明の第2の実施形態である画像処理装置を説明する。図7は、本実施形態の画像処理装置における画像信号の処理ブロック図である。
(Second Embodiment)
Next, an image processing apparatus according to the second embodiment of the present invention will be described with reference to FIGS. FIG. 7 is a processing block diagram of an image signal in the image processing apparatus of this embodiment.
図7において、信号レベル算出部200及び補正部206には、補正対象となる画像信号が並列に入力される。信号レベル算出部200は、入力された画像信号を復号し、RGBの色信号値を画像の各ラインごとに積分値として抽出してフリッカ検出部203へ出力する。 In FIG. 7, an image signal to be corrected is input in parallel to the signal level calculation unit 200 and the correction unit 206. The signal level calculation unit 200 decodes the input image signal, extracts RGB color signal values as integration values for each line of the image, and outputs them to the flicker detection unit 203.
一方、フレーム数算出部201は、検出対象としている電源周波数と入力画像信号のフレームレート(fps)から、画像中に含まれるフリッカ明滅の縞模様が同じ様相を示すのに必要なフレーム数を算出して、フリッカ検出部203に出力する。このフレーム数においては、前記フレーム数の整数倍であれば、同じ様相を示すという性質が変わることはなく、検出精度の安定化のために前記フレーム数の1倍よりも大きな値を用いることも含まれるものとする。 On the other hand, the frame number calculation unit 201 calculates the number of frames necessary for the flicker blinking stripe pattern included in the image to show the same aspect from the power supply frequency to be detected and the frame rate (fps) of the input image signal. Then, it outputs to the flicker detection unit 203. If the number of frames is an integral multiple of the number of frames, the property of showing the same aspect does not change, and a value larger than the number of frames may be used to stabilize detection accuracy. Shall be included.
フラッシュ検出部202は、被写体に対して瞬間的にフラッシュ発光に伴う光が照射され、光が照射された被写体の画像が入力されるタイミングか否かをフリッカ検出部203に伝達する。フリッカ検出部203は、フラッシュ検出部202の検出結果とフレーム数算出部201で算出したフレーム数を考慮してフリッカ成分を検出する。そして、フリッカ検出部203は、検出したフリッカ成分を補正係数算出部205と状況判断部204に伝達する。なお、本実施形態でも、第1の実施形態と同様にフラッシュ発光の検出方法は限定されないし、フラッシュ検出部の代わりに被写体に対して瞬間的に照射される光の有無を検出する検出部を備えてもよい。 The flash detection unit 202 instantaneously irradiates the subject with light accompanying flash emission, and transmits to the flicker detection unit 203 whether or not it is the timing when the image of the subject irradiated with the light is input. The flicker detection unit 203 detects a flicker component in consideration of the detection result of the flash detection unit 202 and the number of frames calculated by the frame number calculation unit 201. Then, the flicker detection unit 203 transmits the detected flicker component to the correction coefficient calculation unit 205 and the situation determination unit 204. Also in this embodiment, the flash emission detection method is not limited as in the first embodiment, and a detection unit that detects the presence or absence of light that is instantaneously applied to the subject is used instead of the flash detection unit. You may prepare.
状況判断部204は、検出されたフリッカ成分の振幅・位相・時系列方向の安定性などから補正を行うか否かを判断し、判断結果を補正部206に出力する。補正係数算出部205は、検出されたフリッカ成分をキャンセルするような補正係数を画像内の各ラインごとに乗じるゲイン値として算出し、算出結果を補正部206に出力する。補正部206は、状況判断部204により補正を行うと判断された場合は、入力画像の各ラインの信号値に補正係数を乗算した信号値に変換して補正を行う。 The situation determination unit 204 determines whether or not to perform correction from the detected flicker component amplitude, phase, time-series stability, and the like, and outputs the determination result to the correction unit 206. The correction coefficient calculation unit 205 calculates a gain value by which a correction coefficient that cancels the detected flicker component is multiplied for each line in the image, and outputs the calculation result to the correction unit 206. When the situation determination unit 204 determines that correction is to be performed, the correction unit 206 performs correction by converting the signal value of each line of the input image into a signal value that is multiplied by a correction coefficient.
なお、フリッカ検出部203によるフリッカ成分の検出処理及び補正係数算出部205による補正係数の算出処理の詳細については、上記第1の実施形態と同様であるため、その説明を省略する。 Note that the details of the flicker component detection processing by the flicker detection unit 203 and the correction coefficient calculation processing by the correction coefficient calculation unit 205 are the same as those in the first embodiment, and a description thereof will be omitted.
次に、図8を参照して、フリッカ補正処理について説明する。図8の各処理は、画像処理装置のROM等の記憶部に格納されたプログラムがRAMに展開されてCPU等により実行される。なお、ROM、RAM及びCPU等の図示は省略する。 Next, flicker correction processing will be described with reference to FIG. Each process in FIG. 8 is executed by a CPU or the like after a program stored in a storage unit such as a ROM of the image processing apparatus is expanded in the RAM. The ROM, RAM, CPU, etc. are not shown.
図8において、ステップS801では、CPUは、フレーム数算出部201により、検出対象となる光源の周波数と画像のフレームレートからフリッカ周期のフレーム数Nを算出し、ステップS802に進む。 In FIG. 8, in step S801, the CPU calculates the number of frames N of the flicker period from the frequency of the light source to be detected and the frame rate of the image using the frame number calculation unit 201, and the process proceeds to step S802.
ステップS802では、CPUは、信号レベル算出部200により、入力画像を複数領域に分割して領域ごとの色信号を抽出し、ステップS803に進む。ステップS803では、CPUは、フラッシュ検出部202により、フラッシュ発光が検出されたか否かを判定し、検出された場合は、ステップS806に進み、検出されない場合は、ステップS804に進む。 In step S802, the CPU divides the input image into a plurality of regions by the signal level calculation unit 200, extracts the color signal for each region, and proceeds to step S803. In step S803, the CPU determines whether or not flash light emission is detected by the flash detection unit 202. If detected, the process proceeds to step S806, and if not detected, the CPU proceeds to step S804.
ステップS804では、CPUは、過去のNフレーム期間内にフラッシュ検出部202によりフラッシュ発光が検出されたか否かを判定し、フラッシュ発光が検出されなかった場合は、ステップS805に進む。また、CPUは、フラッシュ検出部202によりフラッシュ発光が検出された後のNフレーム期間内である場合は、ステップS806に進む。 In step S804, the CPU determines whether flash light emission is detected by the flash detection unit 202 within the past N frame periods. If no flash light emission is detected, the CPU proceeds to step S805. On the other hand, if it is within the N frame period after the flash emission is detected by the flash detection unit 202, the CPU proceeds to step S806.
ステップS805では、CPUは、フリッカ検出部203により前述したフリッカの検出処理を行い、検出したフリッカ成分を補正係数算出部205及び状況判断部204に出力し、ステップS808に進む。 In step S805, the CPU performs the above-described flicker detection processing by the flicker detection unit 203, outputs the detected flicker component to the correction coefficient calculation unit 205 and the situation determination unit 204, and proceeds to step S808.
一方、ステップS806では、CPUは、フリッカ検出部203によるフリッカ検出に用いる上式(1)のフィルタ係数kを0に変更し、巡回ローパスフィルタの積分結果に瞬間的な信号値変化の影響を受けた画像信号の出力を停止し、ステップS807に進む。 On the other hand, in step S806, the CPU changes the filter coefficient k of the above equation (1) used for flicker detection by the flicker detection unit 203 to 0, and the integration result of the cyclic low-pass filter is affected by the instantaneous signal value change. The output of the received image signal is stopped, and the process proceeds to step S807.
ステップS807では、CPUは、フラッシュ発光前の振幅値を保持したまま位相だけ1フレーム進ませたフリッカ成分を補正係数算出部205及び状況判断部204に出力し、ステップS808に進む。ステップS808では、CPUは、ステップS805又はステップS807で出力されたフリッカ成分に基づき、状況判断部204、補正係数算出部205及び補正部206により前述したフリッカ補正処理を行い、ステップS802に戻る。 In step S807, the CPU outputs the flicker component advanced by one frame while maintaining the amplitude value before flash emission to the correction coefficient calculation unit 205 and the situation determination unit 204, and proceeds to step S808. In step S808, based on the flicker component output in step S805 or step S807, the CPU performs the above-described flicker correction processing by the situation determination unit 204, the correction coefficient calculation unit 205, and the correction unit 206, and returns to step S802.
以上説明したように、本実施形態では、蛍光灯光源下等で撮像され明暗の縞模様が記録された画像信号を各ラインごとにゲイン値を乗算して補正する際に、フラッシュ発光の瞬間的な輝度や色の信号値変化の影響を受けることがない。このため、安定してフリッカ成分を検出し続けることができる。 As described above, in the present embodiment, when an image signal captured under a fluorescent light source or the like and recorded with bright and dark stripes is corrected by multiplying a gain value for each line, the instantaneous flash emission is performed. Without being affected by changes in signal values of brightness and color. For this reason, the flicker component can be detected stably.
なお、本実施形態では、画像信号を出力する出力元や出力先の機器については省略したが、出力元は、画像を出力するプログラムや再生機器、撮像装置や他の電子機器等を例示することができ、出力先についても同様である。 In this embodiment, the output source that outputs the image signal and the output destination device are omitted, but the output source is exemplified by a program that outputs the image, a playback device, an imaging device, other electronic devices, and the like. The same applies to the output destination.
なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。 In addition, this invention is not limited to what was illustrated by said each embodiment, In the range which does not deviate from the summary of this invention, it can change suitably.
また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention can also be realized by executing the following processing. That is, the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus execute the program. It can also be realized by a process of reading and executing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
100 信号レベル算出部
101 記憶バッファ
102 フレーム数算出部
103 フラッシュ検出部
104 画像信号選択部
105 フリッカ検出部
106 状況判断部
107 補正係数算出部
108 補正部
100 signal level calculation unit 101 storage buffer 102 frame number calculation unit 103 flash detection unit 104 image signal selection unit 105 flicker detection unit 106 status determination unit 107 correction coefficient calculation unit 108 correction unit
Claims (10)
入力される画像内の各領域におけるフリッカ成分を検出するフリッカ検出手段と、
前記フリッカ検出手段により検出されたフリッカ成分に応じた補正係数を画像の各ラインごとに算出する補正係数算出手段と、
前記補正係数算出手段により算出された補正係数により入力された画像を補正する補正手段と、
検出対象となる光源の周波数と画像のフレームレートからフリッカ周期の整数倍に相当するフレーム数を算出するフレーム数算出手段と、
フラッシュ発光を検出するフラッシュ検出手段と、
前記フリッカ検出手段により前記フリッカ成分を検出するための画像を選択して、選択した画像を前記フリッカ検出手段に出力する選択手段と、を備え、
前記選択手段は、前記フラッシュ検出手段によりフラッシュ発光が検出されない場合は、入力された画像を前記フリッカ検出手段に出力し、前記フラッシュ検出手段によりフラッシュ発光が検出された場合は、前記フレーム数算出手段により算出されたフレーム数の過去の入力画像を前記記憶領域から読み出して前記フリッカ検出手段に出力することを特徴とする画像処理装置。 Storage means for storing, in a storage area, images input in chronological order;
Flicker detection means for detecting a flicker component in each region in the input image;
Correction coefficient calculation means for calculating a correction coefficient corresponding to the flicker component detected by the flicker detection means for each line of the image;
Correction means for correcting an image input with the correction coefficient calculated by the correction coefficient calculation means;
Frame number calculating means for calculating the number of frames corresponding to an integral multiple of the flicker cycle from the frequency of the light source to be detected and the frame rate of the image;
Flash detection means for detecting flash emission;
Selection means for selecting an image for detecting the flicker component by the flicker detection means and outputting the selected image to the flicker detection means,
The selection unit outputs the input image to the flicker detection unit when the flash detection unit does not detect the flash emission, and the frame number calculation unit when the flash detection unit detects the flash emission. An image processing apparatus, wherein a past input image having the number of frames calculated by the above is read from the storage area and output to the flicker detection means.
前記フリッカ検出手段により検出されたフリッカ成分に応じた補正係数を画像の各ラインごとに算出する補正係数算出手段と、
前記補正係数算出手段により算出された補正係数により入力された画像を補正する補正手段と、
検出対象となる光源の周波数と画像のフレームレートからフリッカ周期の整数倍に相当するフレーム数を算出するフレーム数算出手段と、
フラッシュ発光を検出するフラッシュ検出手段と、
前記フラッシュ検出手段によりフラッシュ発光が検出された場合は、前記フレーム数算出手段により算出されたフレーム数の期間において前記フリッカ検出手段における前記巡回型ローパスフィルタのフィルタ係数を変更する変更手段と、を備えることを特徴とする画像処理装置。 Flicker detection means for detecting a flicker component in each region in an image input using a cyclic low-pass filter;
Correction coefficient calculation means for calculating a correction coefficient corresponding to the flicker component detected by the flicker detection means for each line of the image;
Correction means for correcting an image input with the correction coefficient calculated by the correction coefficient calculation means;
Frame number calculating means for calculating the number of frames corresponding to an integral multiple of the flicker cycle from the frequency of the light source to be detected and the frame rate of the image;
Flash detection means for detecting flash emission;
A change means for changing a filter coefficient of the cyclic low-pass filter in the flicker detection means during a period of the number of frames calculated by the frame number calculation means when the flash emission is detected by the flash detection means. An image processing apparatus.
画像内の各領域におけるフリッカ成分を検出するフリッカ検出ステップと、
前記フリッカ検出ステップで検出されたフリッカ成分に応じた補正係数を画像の各ラインごとに算出する補正係数算出ステップと、
前記補正係数算出ステップで算出された補正係数により入力された画像を補正する補正ステップと、
検出対象となる光源の周波数と画像のフレームレートからフリッカ周期の整数倍に相当するフレーム数を算出するフレーム数算出ステップと、
フラッシュ発光を検出するフラッシュ検出ステップと、
前記フリッカ検出ステップで前記フリッカ成分を検出するための画像を選択する選択ステップと、を備え、
前記選択ステップは、前記フラッシュ検出ステップでフラッシュ発光が検出されない場合は、入力された画像を選択し、前記フラッシュ検出ステップでフラッシュ発光が検出された場合は、前記フレーム数算出ステップで算出されたフレーム数だけ前記記憶領域から読み出した過去の入力画像を選択し、
前記フリッカ検出ステップは、前記選択ステップで選択された画像内の各領域におけるフリッカ成分を検出することを特徴とする画像処理方法。 A storage step of storing, in a storage area, images input in chronological order;
A flicker detection step for detecting a flicker component in each region in the image;
A correction coefficient calculation step for calculating a correction coefficient corresponding to the flicker component detected in the flicker detection step for each line of the image;
A correction step of correcting the image input with the correction coefficient calculated in the correction coefficient calculation step;
A frame number calculating step for calculating the number of frames corresponding to an integral multiple of the flicker cycle from the frequency of the light source to be detected and the frame rate of the image;
A flash detection step for detecting flash emission;
A selection step of selecting an image for detecting the flicker component in the flicker detection step,
The selection step selects an input image when the flash emission is not detected in the flash detection step, and the frame calculated in the frame number calculation step when the flash emission is detected in the flash detection step. Select past input images read from the storage area by the number,
The flicker detection step detects a flicker component in each region in the image selected in the selection step.
前記フリッカ検出ステップで検出されたフリッカ成分に応じた補正係数を画像の各ラインごとに算出する補正係数算出ステップと、
前記補正係数算出ステップで算出された補正係数により入力された画像を補正する補正ステップと、
検出対象となる光源の周波数と画像のフレームレートからフリッカ周期の整数倍に相当するフレーム数を算出するフレーム数算出ステップと、
フラッシュ発光を検出するフラッシュ検出ステップと、
前記フラッシュ検出ステップでフラッシュ発光が検出された場合は、前記フレーム数算出ステップで算出されたフレーム数の期間において前記フリッカ検出ステップでの前記巡回型ローパスフィルタのフィルタ係数を変更する変更ステップと、を備えることを特徴とする画像処理方法。 A flicker detection step for detecting a flicker component in each region in an image input using a cyclic low-pass filter;
A correction coefficient calculation step for calculating a correction coefficient corresponding to the flicker component detected in the flicker detection step for each line of the image;
A correction step of correcting the image input with the correction coefficient calculated in the correction coefficient calculation step;
A frame number calculating step for calculating the number of frames corresponding to an integral multiple of the flicker cycle from the frequency of the light source to be detected and the frame rate of the image;
A flash detection step for detecting flash emission;
When flash emission is detected in the flash detection step, a change step of changing a filter coefficient of the cyclic low-pass filter in the flicker detection step in a period of the number of frames calculated in the frame number calculation step; An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015057736A JP6494351B2 (en) | 2015-03-20 | 2015-03-20 | Image processing apparatus, image processing method, program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015057736A JP6494351B2 (en) | 2015-03-20 | 2015-03-20 | Image processing apparatus, image processing method, program, and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016178505A true JP2016178505A (en) | 2016-10-06 |
JP6494351B2 JP6494351B2 (en) | 2019-04-03 |
Family
ID=57071381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015057736A Active JP6494351B2 (en) | 2015-03-20 | 2015-03-20 | Image processing apparatus, image processing method, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6494351B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006243381A (en) * | 2005-03-03 | 2006-09-14 | Fuji Photo Film Co Ltd | Photographing apparatus |
JP2007037103A (en) * | 2005-06-24 | 2007-02-08 | Canon Inc | Imaging apparatus |
JP2013219658A (en) * | 2012-04-11 | 2013-10-24 | Jvc Kenwood Corp | Image processing apparatus, image processing method, image processing program |
-
2015
- 2015-03-20 JP JP2015057736A patent/JP6494351B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006243381A (en) * | 2005-03-03 | 2006-09-14 | Fuji Photo Film Co Ltd | Photographing apparatus |
JP2007037103A (en) * | 2005-06-24 | 2007-02-08 | Canon Inc | Imaging apparatus |
JP2013219658A (en) * | 2012-04-11 | 2013-10-24 | Jvc Kenwood Corp | Image processing apparatus, image processing method, image processing program |
Also Published As
Publication number | Publication date |
---|---|
JP6494351B2 (en) | 2019-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7764312B2 (en) | Flicker correction method and device, and imaging device | |
US11082628B2 (en) | Method of flicker reduction | |
US20110255786A1 (en) | Method and apparatus for determining flicker in the illumination of a subject | |
US10735669B2 (en) | Method of flicker reduction | |
JP2004007402A (en) | Flicker detecting device, flicker correcting device, imaging device, flicker detecting program, and flicker correcting program | |
JP2009164774A (en) | Image processing apparatus, image processing method, program, and storage medium | |
US10721415B2 (en) | Image processing system with LED flicker mitigation | |
JP6525543B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
US9875423B2 (en) | Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic | |
US11546524B2 (en) | Reducing a flicker effect of multiple light sources in an image | |
US11128799B2 (en) | Image processing apparatus and image processing method | |
JP5331766B2 (en) | Imaging device | |
WO2012104932A1 (en) | Flicker compensation device, flicker compensation method, and flicker compensation program | |
US20140043502A1 (en) | Flicker noise detection apparatus, flicker noise detection method, and computer-readable storage device storing flicker noise detection program | |
JP6494351B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP2017169027A (en) | Flash band determination device, control method therefor, and control program, and imaging device | |
JP5383886B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
KR20140011294A (en) | Forming method of high dynamic range image | |
JP6827838B2 (en) | Imaging equipment and image processing equipment, their control methods, and programs | |
JP5818451B2 (en) | Imaging apparatus and control method | |
JP2007329604A (en) | Fluorescent light flicker detection circuit | |
JP7169859B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM | |
JP2009206569A (en) | Imaging apparatus and flicker correction method thereof | |
JP2007336329A (en) | Image sensing device | |
JP2011130228A (en) | Image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190305 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6494351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |