JP2018133686A - Imaging apparatus, image processing device, control method therefor and program - Google Patents
Imaging apparatus, image processing device, control method therefor and program Download PDFInfo
- Publication number
- JP2018133686A JP2018133686A JP2017025896A JP2017025896A JP2018133686A JP 2018133686 A JP2018133686 A JP 2018133686A JP 2017025896 A JP2017025896 A JP 2017025896A JP 2017025896 A JP2017025896 A JP 2017025896A JP 2018133686 A JP2018133686 A JP 2018133686A
- Authority
- JP
- Japan
- Prior art keywords
- flicker
- image
- correction
- image processing
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置とその制御方法、フリッカを含む画像の画像処理を行う画像処理装置とその制御方法及びプログラムに関する。 The present invention relates to an imaging apparatus, a control method thereof, an image processing apparatus that performs image processing of an image including flicker, a control method thereof, and a program.
ＣＭＯＳセンサ等の電荷蓄積型の固体撮像素子を備えたデジタルビデオカメラ等の撮像装置を用いて蛍光灯等の光源下で被写体を撮像したときに、光源からの照明光量の変化によって取得した画像内に明暗差（縞）が生じることがある。このような照明光量の変化は一般的にフリッカと称呼されており、フリッカは、撮像装置の駆動周期と光源の商用電源の周波数とが一致せずに撮像素子の露光量がラインごとに異なってしまうことに起因して所定の周期で発生する。 When an object is imaged under a light source such as a fluorescent lamp using an imaging device such as a digital video camera equipped with a charge storage type solid-state imaging device such as a CMOS sensor, the image is acquired by a change in the amount of illumination light from the light source. There may be a difference in brightness (stripe). Such a change in the amount of illumination light is generally referred to as flicker. Flicker does not match the drive cycle of the image pickup device and the frequency of the commercial power source of the light source, and the exposure amount of the image pickup device varies from line to line. This occurs at a predetermined cycle.
フリッカの撮影映像への影響を排除するために、フリッカ成分を検出し、検出したフリッカ成分が打ち消されるように撮影映像を補正する（以下「フリッカ補正」という）機能が提案されている。例えば、特許文献１には、映像中の縞模様をラインごとの画素値の利得として正弦波で近似することでフリッカ成分を検出し、検出したフリッカ成分を打ち消す画像処理を行う技術がする技術が提案されている。 In order to eliminate the influence of flicker on a captured image, a function for detecting a flicker component and correcting the captured image so that the detected flicker component is canceled (hereinafter referred to as “flicker correction”) has been proposed. For example, Patent Document 1 discloses a technique for performing a video processing for detecting a flicker component by approximating a stripe pattern in a video with a sine wave as a gain of a pixel value for each line and canceling the detected flicker component. Proposed.
しかしながら、上記特許文献１に記載された技術では、被写体を撮像する際のシャッタ速度や光源の入力電圧に対する光量変化の応答特性などによっては、撮影画像に生じる実際のフリッカ成分（明暗差）の形状が理想的な正弦波の形状から乖離してしまうことがあり、この場合には補正の精度が低下してしまう。また、補正精度の低い画像には補正しきれないフリッカ成分（以下「補正残り」と称す）が残り、その影響によって画像に明暗差（縞）が生じてしまう。こうして補正残りが生じた画像を外部の画像処理装置で補正する場合、補正残りに起因する明暗差はフリッカ成分との相似性が低い。そのため、外部の画像処理装置においてフリッカ検出及び補正を正確に行うことは容易ではなく、明暗差が低減された画像を得ることが困難となっている。 However, in the technique described in Patent Document 1, the shape of the actual flicker component (light / dark difference) generated in the captured image depends on the shutter speed when the subject is imaged, the response characteristics of the light amount change with respect to the input voltage of the light source, and the like. May deviate from the ideal shape of a sine wave, and in this case, the accuracy of correction is reduced. In addition, flicker components that cannot be corrected (hereinafter referred to as “remaining correction”) remain in an image with low correction accuracy, and a difference in brightness (stripes) occurs in the image due to the influence. In the case where an image in which an uncorrected image is generated is corrected by an external image processing apparatus, the contrast between the darkness and darkness caused by the uncorrected image is low in similarity with the flicker component. For this reason, it is not easy to accurately detect and correct flicker in an external image processing apparatus, and it is difficult to obtain an image with reduced contrast.
一方、撮像により得られた映像素材をすぐに放送等に用いるためにフリッカ補正を行った後に、高精度なフリッカ補正を行うために、一旦、フリッカ補正前の元の映像素材に戻したいという要望がある。また、フリッカ補正をキャンセルした元の映像素材を保存したいという要望もある。このような要望に対して、既に行われたフリッカ補正の条件を知ることができれば至便である。 On the other hand, after performing flicker correction so that the video material obtained by imaging can be used immediately for broadcasting, etc., in order to perform high-precision flicker correction, there is a request to return to the original video material before flicker correction. There is. There is also a desire to save the original video material with the flicker correction canceled. In response to such a request, it would be convenient if the conditions for flicker correction already performed can be known.
本発明は、フリッカに起因する明暗差が軽減された画像を容易に生成することを可能とする技術を提供することを目的とする。また、本発明は、フリッカ成分が補正された画像をフリッカ成分の補正前の画像へ容易に戻すことができる技術を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a technique that makes it possible to easily generate an image in which a contrast difference caused by flicker is reduced. It is another object of the present invention to provide a technique capable of easily returning an image with the flicker component corrected to an image before the flicker component correction.
本発明に係る撮像装置は、撮像手段と、前記撮像手段で撮像された画像に含まれるフリッカ成分を検出する検出手段と、前記検出手段により検出されたフリッカ成分が所定の条件を満たす場合に前記フリッカ成分を打ち消す画像処理を行うと判定する判定手段と、前記判定手段が前記画像処理を行うと判定した場合に前記画像処理のための補正値を算出する算出手段と、前記画像に対して前記補正値を用いて前記画像処理を行って補正画像を生成する補正手段と、前記フリッカ成分または前記補正値を含むフリッカ情報をメタデータとして前記画像または前記補正画像に付加する付加手段と、を備えることを特徴とする。 The imaging apparatus according to the present invention includes an imaging unit, a detection unit that detects a flicker component included in an image captured by the imaging unit, and the flicker component detected by the detection unit when the predetermined condition is satisfied. A determination unit that determines to perform image processing that cancels a flicker component; a calculation unit that calculates a correction value for the image processing when the determination unit determines to perform the image processing; and Correction means for performing the image processing using a correction value to generate a correction image; and an addition means for adding flicker information including the flicker component or the correction value as metadata to the image or the correction image. It is characterized by that.
本発明によれば、フリッカに起因する明暗差が軽減された画像を容易に生成することができ、逆に、フリッカ成分が補正された画像をフリッカ成分の補正前の画像へ容易に戻すことができる。 According to the present invention, it is possible to easily generate an image in which the difference in brightness due to flicker is reduced, and on the contrary, it is possible to easily return an image in which the flicker component is corrected to an image before correction of the flicker component. it can.
以下、本発明の実施形態について添付図面を参照して詳細に説明する。最初に、画像データからのフリッカ成分の検出方法と補正方法について概説する。図１は、撮像装置により撮影された映像にフリッカが発生している状態を模式的に示す図であり、液晶ディスプレイ等の表示装置に映像を再生した状態を示している。ＣＭＯＳセンサに代表されるＸＹアドレス方式の撮像素子で撮像を行った場合、図１に示されるように、映像の上下方向において明暗差が縞模様のように生じて撮影されることがある。前述したように、フリッカは、撮影時のフレームレートと撮影環境の光源の電源周波数が一致していないことにより発生する。映像に現れた明暗の縞模様からのフリッカ成分の抽出には、例えば、下記式１を用いて、時間方向の定常的な信号成分を抽出する方法を用いることができる。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, a method for detecting and correcting a flicker component from image data will be outlined. FIG. 1 is a diagram schematically illustrating a state in which flicker is generated in an image captured by an imaging device, and illustrates a state in which the image is reproduced on a display device such as a liquid crystal display. When an image is taken with an XY address type image pickup device typified by a CMOS sensor, as shown in FIG. 1, there may be a case where a difference in brightness occurs in a vertical direction of an image like a stripe pattern. As described above, flicker occurs when the frame rate at the time of shooting does not match the power supply frequency of the light source in the shooting environment. For extracting flicker components from bright and dark stripes appearing in the video, for example, a method of extracting a steady signal component in the time direction using the following Equation 1 can be used.
上記式１において、“ｍｅｍ”は、上記式１の出力としてメモリに格納される値であり、“ａｖｅ”は、入力される画像内の各行の色成分の信号値である。また、上記式１において、“ｋ”は、巡回型のローパスフィルタのフィルタ係数であり、“ｍｏｕｔ”は、１フレームの前の画像の信号値が入力されたときに演算された上記式１の演算結果（１フレーム前のｍｅｍ）である。上記式１による演算を各色成分について各行で行うことにより、時間方向の定常的な信号成分を抽出することができる。抽出された定常的な信号成分を、現在のフレームでの信号レベル（各行の色成分ごとの積分値）で除算することにより、フリッカ成分（映像信号のレベル変動成分）を算出することができる。 In Equation 1, “mem” is a value stored in the memory as the output of Equation 1, and “ave” is a signal value of the color component of each row in the input image. In the above equation 1, “k” is a filter coefficient of the cyclic low-pass filter, and “mout” is the equation 1 calculated when the signal value of the previous image of one frame is input. This is a calculation result (mem one frame before). A constant signal component in the time direction can be extracted by performing the calculation according to Equation 1 on each row for each color component. By dividing the extracted stationary signal component by the signal level in the current frame (integrated value for each color component in each row), a flicker component (level fluctuation component of the video signal) can be calculated.
続いて、算出されたフリッカ成分に基づき、上下方向の信号レベルの変動特性であるモデル関数（フリッカモデル）を生成する。モデル関数は、例えば、上下方向にある特定の振幅ｗ、周波数ｆ及び位相θを持つ周期的な関数として近似することができる。このとき、光源の電源である交流電源の電圧変動は三角関数の特徴を持つため、モデル関数とする周期的な関数として正弦波又は余弦波を用いるのが一般的である。但し、これに限られず、他の周期的な理想関数を用いても構わない。周波数ｆは、フレームレートと光源の電源周波数により決定される。各行の位相θは、フリッカ成分のうち変動比が１で上下方向に変動比の変化量で１をとる行を位相θ＝０（ゼロ）とすることによって算出される。振幅ｗは、算出された位相のπ／３及び３π／２における変動比から算出される。 Subsequently, based on the calculated flicker component, a model function (flicker model) that is a fluctuation characteristic of the signal level in the vertical direction is generated. The model function can be approximated as a periodic function having a specific amplitude w, frequency f, and phase θ in the vertical direction, for example. At this time, since the voltage fluctuation of the AC power source that is the power source of the light source has a trigonometric function, it is general to use a sine wave or cosine wave as a periodic function as a model function. However, the present invention is not limited to this, and other periodic ideal functions may be used. The frequency f is determined by the frame rate and the power source frequency of the light source. The phase θ of each row is calculated by setting the phase θ = 0 (zero) for the flicker component where the variation ratio is 1 and the variation amount of the variation ratio is 1 in the vertical direction. The amplitude w is calculated from the fluctuation ratio of the calculated phase at π / 3 and 3π / 2.
モデル関数は色成分ごとに生成され、検出されたフリッカ成分を打ち消すようなゲイン（以下「補正ゲイン」と称する）をフレーム（画像）の各行に掛ける。本実施形態におけるフリッカ補正において、「フリッカ成分を打ち消す」とは、フリッカ成分を完全に無くすことを必要とするものではなく、フリッカ成分を一定限度（鑑賞の妨害にならない程度）にまで低減させることを意味する。 The model function is generated for each color component, and a gain (hereinafter referred to as “correction gain”) that cancels the detected flicker component is applied to each row of the frame (image). In the flicker correction in the present embodiment, “cancelling flicker components” does not require completely eliminating the flicker components, but reducing the flicker components to a certain limit (a level that does not interfere with viewing). Means.
その際、入力画像（撮像素子から出力されるフレーム）の画像データがベイヤー配列の場合には、補正ゲインを調整するために各行に対して同じ補正係数を設定するのではなく、各行の同じ色成分の画素に対して同じ補正係数を設定する。なお、フリッカ成分を打ち消す補正ゲインを調整するための補正係数の算出方法としては、正弦波等の規則的なフリッカ成分であれば、位相をπだけずらした出力となる補正係数を算出すればよい。また、検出されたフリッカ成分が１倍を中心に正規化されている場合には、検出したフリッカ成分の逆数を補正係数とすることができる。 At that time, if the image data of the input image (the frame output from the image sensor) is a Bayer array, the same color of each row is used instead of setting the same correction coefficient for each row in order to adjust the correction gain. The same correction coefficient is set for the component pixels. As a method for calculating the correction coefficient for adjusting the correction gain for canceling the flicker component, if the regular flicker component such as a sine wave is used, a correction coefficient that produces an output whose phase is shifted by π may be calculated. . Further, when the detected flicker component is normalized around 1 time, the reciprocal of the detected flicker component can be used as the correction coefficient.
次に、上述したフリッカ補正方法を用いて映像信号を補正する撮像装置（第１実施形態）と画像処理装置（第２実施形態）について説明する。以下の説明では、撮像装置及び画像処理装置の構成について、フリッカ補正に関与する構成を中心に説明を行うこととし、フリッカ補正と直接の関係がない構成についての説明は省略する。 Next, an imaging apparatus (first embodiment) and an image processing apparatus (second embodiment) that correct a video signal using the flicker correction method described above will be described. In the following description, the configuration of the imaging device and the image processing device will be described with a focus on the configuration involved in flicker correction, and the description of the configuration not directly related to flicker correction will be omitted.
＜第１実施形態＞
本実施形態では、撮影映像に対する編集などを行わずに、撮影後すぐに使用するためにフリッカを補正する必要がある場合に有用な構成の例として、撮像装置で撮像を行い、得られた撮影映像のフリッカを検出し、フリッカ補正を行う構成を取り上げる。図２は、本発明の第１実施形態に係る撮像装置が備える信号処理部１００の概略構成を示すブロック図である。
<First Embodiment>
In this embodiment, as an example of a configuration that is useful when it is necessary to correct flicker in order to use immediately after shooting without editing the shot video, the shooting is performed by using the imaging device. A configuration for detecting flicker in video and correcting flicker will be taken up. FIG. 2 is a block diagram illustrating a schematic configuration of the signal processing unit 100 included in the imaging apparatus according to the first embodiment of the present invention.
信号処理部１００は、フリッカ成分検出部１０１、補正値算出部１０２、フリッカ補正部１０３及びメタデータ付加部１０４を有する。なお、フリッカ成分検出部１０１、補正値算出部１０２、フリッカ補正部１０３及びメタデータ付加部１０４はそれぞれ、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。また、これらの各部は、ソフトウェアとハードウェアとの組み合わせによって実装されていてもよいし、マイクロコンピュータ或いはＡＳＩＣ等の演算装置で構成されていてもよい。 The signal processing unit 100 includes a flicker component detection unit 101, a correction value calculation unit 102, a flicker correction unit 103, and a metadata addition unit 104. Note that each of the flicker component detection unit 101, the correction value calculation unit 102, the flicker correction unit 103, and the metadata addition unit 104 can be implemented by software (program) or hardware. Each of these units may be implemented by a combination of software and hardware, or may be configured by a computing device such as a microcomputer or ASIC.
撮像装置は、一般的なデジタルビデオカメラやデジタルカメラ等のように、撮像光学系、撮像素子、信号処理部１００、画像処理回路、記憶媒体等が共通の筐体に実装されたものであってもよい。また、撮像装置は、監視カメラのように、撮像光学系及び撮像素子を有する撮像部と、信号処理部１００、画像処理回路及び記憶媒体等を有する処理部（情報処理装置）とが通信可能に接続されたものであってもよい。信号処理部１００の動作は、撮像装置が備える不図示のシステム制御部によって制御される。 An imaging device is an imaging optical system, an imaging device, a signal processing unit 100, an image processing circuit, a storage medium, and the like mounted in a common housing, like a general digital video camera or digital camera. Also good. In addition, the imaging apparatus can communicate with an imaging unit having an imaging optical system and an imaging element and a processing unit (information processing apparatus) having a signal processing unit 100, an image processing circuit, a storage medium, and the like, like a surveillance camera. It may be connected. The operation of the signal processing unit 100 is controlled by a system control unit (not shown) included in the imaging apparatus.
信号処理部１００へ入力される画像信号とは、本実施形態では、不図示の撮像素子（具体的にはＣＭＯＳセンサ）により撮像された映像（動画）を構成するフレーム（画像）の画像データを指すものとする。画像信号は、一般的なテレビジョンで入力可能な輝度色差信号（ＹＣＣ）であってもよいし、ＲＧＢ画像を時系列順に出力したＲＧＢ画像信号であっても構わない。 In the present embodiment, the image signal input to the signal processing unit 100 is image data of a frame (image) constituting a video (moving image) captured by an image sensor (not shown) (specifically, a CMOS sensor). Shall point to. The image signal may be a luminance color difference signal (YCC) that can be input by a general television, or may be an RGB image signal obtained by outputting RGB images in chronological order.
信号処理部１００への入力信号である画像信号は、フリッカ成分検出部１０１とフリッカ補正部１０３へ並列的に入力される。フリッカ成分検出部１０１は、入力された画像信号を復号し、画像の行ごとにＲＧＢの色信号値を積分値として取得する。そして、フリッカ成分検出部１０１は、画像の行ごとに取得した色信号値の積分値から、画像内のフリッカ成分を検出する。その際に検出されるフリッカ成分には、検出に用いたモデル関数、フリッカの周波数（光量変化の周期）、振幅及びレベル等が含まれる。 An image signal that is an input signal to the signal processing unit 100 is input to the flicker component detection unit 101 and the flicker correction unit 103 in parallel. The flicker component detection unit 101 decodes the input image signal, and acquires RGB color signal values as integral values for each row of the image. Then, the flicker component detection unit 101 detects the flicker component in the image from the integrated value of the color signal value acquired for each row of the image. The flicker components detected at that time include the model function used for detection, the flicker frequency (the light quantity change period), the amplitude, the level, and the like.
フリッカ成分検出部１０１で検出されたフリッカ成分は、補正値算出部１０２とメタデータ付加部１０４へ並列的に出力される。補正値算出部１０２では、取得したフリッカ成分のフリッカレベルを監視し、フリッカ補正を行うか否かを所定の条件にしたがって判定する。例えば、フリッカレベルが予め定められた所定の閾値以上であることを所定の条件とすることができる。補正値算出部１０２は、取得したフリッカレベルが所定の閾値以上の場合にフリッカ補正を行うと判定し、取得したフリッカレベルが所定の閾値未満の場合にはフリッカ補正を行わないと判定する。所定の閾値のデフォルト値は、例えば、予めフリッカ環境下で撮像された各種映像を検証した試験結果から定めることができる。所定の閾値は、ユーザにより設定が可能な構成となっていてもよい。 The flicker component detected by the flicker component detection unit 101 is output to the correction value calculation unit 102 and the metadata addition unit 104 in parallel. The correction value calculation unit 102 monitors the flicker level of the acquired flicker component and determines whether or not to perform flicker correction according to a predetermined condition. For example, the predetermined condition can be that the flicker level is equal to or higher than a predetermined threshold. The correction value calculation unit 102 determines to perform flicker correction when the acquired flicker level is equal to or higher than a predetermined threshold, and determines not to perform flicker correction when the acquired flicker level is lower than the predetermined threshold. The default value of the predetermined threshold can be determined, for example, from a test result obtained by verifying various videos captured in advance in a flicker environment. The predetermined threshold may be configured to be settable by the user.
補正値算出部１０２は、フリッカ補正を行うと判定した場合に、フリッカ成分を打ち消す補正パラメータとして、補正ゲインの補正係数を算出し、フリッカ補正部１０３へ送る。一方、補正値算出部１０２は、フリッカ補正を実施しないと判定した場合、フリッカ補正部１０３で画像信号を実質的に補正しない補正ゲインとなる補正係数（例えば、基準倍率として１倍）をフリッカ補正部１０３へ送る。但し、補正値算出部１０２は、フリッカ補正を実施しないと判定した場合には、補正ゲインの補正係数を算出せず、画像信号を補正しない指令をフリッカ補正部１０３に送るようにしてもよい。 When it is determined that the flicker correction is to be performed, the correction value calculation unit 102 calculates a correction coefficient for the correction gain as a correction parameter for canceling the flicker component, and sends the correction coefficient to the flicker correction unit 103. On the other hand, when it is determined that the flicker correction is not performed, the correction value calculation unit 102 performs a flicker correction on a correction coefficient (for example, 1 × as a reference magnification) that is a correction gain that does not substantially correct the image signal by the flicker correction unit 103. Send to part 103. However, if it is determined that the flicker correction is not performed, the correction value calculation unit 102 may send a command to the flicker correction unit 103 to not correct the image signal without calculating the correction coefficient of the correction gain.
フリッカ補正部１０３は、補正値算出部１０２から取得した補正係数に応じた補正ゲインを、画像信号の各行に掛けることでフリッカ補正を行い、補正画像の画像信号を生成する。なお、フリッカ補正部１０３は、こうして生成した補正画像の画像信号をメタデータ付加部１０４へ出力する。また、フリッカ補正部１０３は、フリッカ補正を行わないときには、入力信号である画像信号をそのままメタデータ付加部１０４へ出力する。 The flicker correction unit 103 performs flicker correction by multiplying each row of the image signal by a correction gain corresponding to the correction coefficient acquired from the correction value calculation unit 102, and generates an image signal of the corrected image. Note that the flicker correction unit 103 outputs the image signal of the corrected image generated in this way to the metadata adding unit 104. Further, the flicker correction unit 103 outputs an image signal as an input signal to the metadata adding unit 104 as it is when flicker correction is not performed.
前述の通り、フリッカ成分検出部１０１は、検出したフリッカ成分に関する情報をメタデータ付加部１０４へ出力しており、補正値算出部１０２は、算出した補正係数やフリッカ補正の実施の有無の判定結果等の情報をメタデータ付加部１０４へ出力している。そこで、メタデータ付加部１０４は、フリッカ補正部１０３から取得した補正画像の画像信号又は入力信号の画像信号に対して、その画像信号がフリッカ補正されたものであるか否かの識別を可能とするためのフリッカ情報をメタデータとして付加する。フリッカ情報は、例えば、フリッカ補正の実施の有無を示す情報であってもよいし、フリッカ補正に用いられた補正ゲイン（補正係数）であってもいし、検出されたフリッカ成分そのものであっても構わない。 As described above, the flicker component detection unit 101 outputs information on the detected flicker component to the metadata adding unit 104, and the correction value calculation unit 102 determines the calculated correction coefficient and the determination result of whether or not to perform flicker correction. Are output to the metadata adding unit 104. Therefore, the metadata adding unit 104 can identify whether or not the image signal of the corrected image acquired from the flicker correcting unit 103 or the image signal of the input signal has been subjected to flicker correction. Flicker information is added as metadata. The flicker information may be, for example, information indicating whether or not flicker correction is performed, a correction gain (correction coefficient) used for flicker correction, or a detected flicker component itself. I do not care.
メタデータ付加部１０４から出力される画像信号は、例えば、メタデータ付加部１０４の後段に設けられた不図示の記憶媒体に記憶され或いは不図示の画像処理装置等の外部機器へ送られる。信号処理部１００での処理を経た画像信号であれば、後から外部機器等で画像処理ソフトウェアによる画像処理を行う際に、画像信号に付加されたメタデータから、フリッカ補正が施されたものが否かの判別が可能である。よって、判別結果に適した画像処理を行うことが可能になる。例えば、第２実施形態で説明するように、画像処理ソフトウェアを用いて画像処理を行う際に、メタデータに含まれるフリッカ情報に基づき、画像信号の画像処理条件を適切に設定することができ、また、処理時間の短縮を図ることができる。また、二重にフリッカ補正が施されてしまうことによる画質低下を防止することができる。 The image signal output from the metadata adding unit 104 is stored, for example, in a storage medium (not shown) provided after the metadata adding unit 104 or is sent to an external device such as an image processing apparatus (not shown). If the image signal has undergone processing by the signal processing unit 100, the image signal that has been subjected to flicker correction from the metadata added to the image signal when image processing is performed later by image processing software on an external device or the like. It is possible to determine whether or not. Therefore, it is possible to perform image processing suitable for the determination result. For example, as described in the second embodiment, when image processing is performed using image processing software, image processing conditions of an image signal can be appropriately set based on flicker information included in metadata, In addition, the processing time can be shortened. Further, it is possible to prevent image quality deterioration due to double flicker correction.
以上の説明の通り、本実施形態によれば、フリッカ補正後の映像信号を後になって画像処理する際の利便性を飛躍的に向上させることができる。なお、本実施形態では、信号処理部１００を備える機器として撮像装置を取り上げた。但し、信号処理部１００を備える機器は、外部からの画像信号の入力が可能であればよく、例えば、パーソナルコンピュータ（ＰＣ）等の情報処理装置であってもよい。その場合、信号処理部１００に入力される画像信号は、撮像装置により取得されて記憶媒体に記憶されていた画像データであってもよい。 As described above, according to the present embodiment, it is possible to dramatically improve the convenience when image processing is performed later on the video signal after flicker correction. In the present embodiment, the imaging apparatus is taken up as a device including the signal processing unit 100. However, the device provided with the signal processing unit 100 only needs to be able to input an image signal from the outside, and may be an information processing apparatus such as a personal computer (PC), for example. In that case, the image signal input to the signal processing unit 100 may be image data acquired by the imaging device and stored in the storage medium.
＜第２実施形態＞
本実施形態では、第１実施形態で説明した信号処理部１００から出力された画像信号（フリッカ情報がメタデータとして付加された画像信号）を画像処理する画像処理装置について説明する。図３は、本発明の第２実施形態に係る画像処理装置が備える信号処理部２００の概略構成を示すブロック図である。信号処理部２００は、メタデータ解析部２０１、周期成分検出部２０２、補正値算出部２０３及びフリッカ補正部２０４を有する。なお、画像処理装置は、例えば、パーソナルコンピュータであり、信号処理部２００の機能は、例えば、パーソナルコンピュータのＣＰＵが画像処理ソフトウェアのプログラムを実行することによって実現される。但し、信号処理部２００の機能は、ソフトウェアによる実現に限定されず、ハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの組み合わせにより実現されてもよい。
Second Embodiment
In the present embodiment, an image processing apparatus that performs image processing on an image signal (an image signal to which flicker information is added as metadata) output from the signal processing unit 100 described in the first embodiment will be described. FIG. 3 is a block diagram illustrating a schematic configuration of the signal processing unit 200 included in the image processing apparatus according to the second embodiment of the present invention. The signal processing unit 200 includes a metadata analysis unit 201, a periodic component detection unit 202, a correction value calculation unit 203, and a flicker correction unit 204. The image processing apparatus is, for example, a personal computer, and the function of the signal processing unit 200 is realized by, for example, the CPU of the personal computer executing a program of image processing software. However, the function of the signal processing unit 200 is not limited to being realized by software, and may be realized by hardware, or may be realized by a combination of software and hardware.
信号処理部２００へ入力される画像信号は、撮像装置による撮像動作により取得されて信号処理部１００で処理された後に続いて入力されるものであってもよいし、信号処理部１００で処理された後に、一旦、記憶媒体に記憶されていたものであってもよい。信号処理部２００への入力信号である画像信号は、メタデータ解析部２０１、周期成分検出部２０２及び補正値算出部２０３に並列的に入力される。メタデータ解析部２０１は、画像信号に付加されたメタデータを解析してフリッカ情報を取得する。ここで、メタデータ解析部２０１が取得するフリッカ情報とは、第１実施形態においてメタデータ付加部１０４が補正画像の画像信号又は入力信号の画像信号に付加したフリッカ情報と同じである。メタデータ解析部２０１は、解析したフリッカ情報を周期成分検出部２０２と補正値算出部２０３へ出力する。 The image signal input to the signal processing unit 200 may be input after being acquired by an imaging operation by the imaging device and processed by the signal processing unit 100, or may be processed by the signal processing unit 100. May once be stored in a storage medium. An image signal that is an input signal to the signal processing unit 200 is input in parallel to the metadata analysis unit 201, the periodic component detection unit 202, and the correction value calculation unit 203. The metadata analysis unit 201 analyzes the metadata added to the image signal and acquires flicker information. Here, the flicker information acquired by the metadata analyzing unit 201 is the same as the flicker information added to the image signal of the corrected image or the image signal of the input signal by the metadata adding unit 104 in the first embodiment. The metadata analysis unit 201 outputs the analyzed flicker information to the periodic component detection unit 202 and the correction value calculation unit 203.
周期成分検出部２０２及び補正値算出部２０３がメタデータ解析部２０１からフリッカ情報を取得して実行する処理について、具体的に３つの例を挙げて説明する。以下に説明する第１の例、第２の例及び第３の例のうちどの処理を行うかは、画像処理装置の不図示の操作手段を介してユーザにより指示される。 The processing that the periodic component detection unit 202 and the correction value calculation unit 203 acquire and execute flicker information from the metadata analysis unit 201 will be described with three specific examples. Which process to perform among the first example, the second example, and the third example described below is instructed by the user via an operation unit (not shown) of the image processing apparatus.
第１の例は、フリッカ補正が行われた画像信号が信号処理部２００に入力された場合に行われる処理の例であり、画像信号に含まれるフリッカ補正の補正残り（既に行われたフリッカ補正で補正しきれなかったフリッカ成分）を補正する処理である。図４は、フリッカ補正後に補正残りが発生している映像において観測される明暗差（縞模様）と、補正残りの補正に用いられる基準波形との関係を説明する図である。補正残りが生じた映像に現れる明暗差は、パルス波形に近い形状（波形）となり、その周期（周波数）はフリッカ補正前のフリッカの周期と略同一となるが、その位相φはフリッカ補正前のフリッカの位相φとは異なる。 The first example is an example of processing that is performed when an image signal that has been subjected to flicker correction is input to the signal processing unit 200, and the remaining correction of flicker correction included in the image signal (the flicker correction that has already been performed). This is a process for correcting flicker components that could not be corrected in step 1). FIG. 4 is a diagram for explaining a relationship between a contrast difference (striped pattern) observed in an image in which a correction residue occurs after flicker correction and a reference waveform used for correction of the correction residue. The difference in brightness and darkness that appears in the video with the remaining correction becomes a shape (waveform) close to the pulse waveform, and its period (frequency) is substantially the same as the period of flicker before flicker correction, but its phase φ is before flicker correction. It is different from the flicker phase φ.
周期成分検出部２０２は、まず、メタデータ解析部２０１から取得したフリッカ情報に基づき、入力信号である画像信号はフリッカ補正済みかフリッカ未補正かを判定する。ここでは、周期成分検出部２０２は、フリッカ補正済みの画像信号が信号処理部２００へ入力されたと判定したものとする。 The periodic component detection unit 202 first determines whether the image signal, which is an input signal, has been flicker corrected or not, based on the flicker information acquired from the metadata analysis unit 201. Here, it is assumed that the periodic component detection unit 202 determines that the flicker-corrected image signal has been input to the signal processing unit 200.
ここで、周期成分検出部２０２は、少なくともフリッカ補正の実施の有無を判定することができれば、画像信号を解析することによって、補正残りに起因する明暗差の周期、位相及びレベルを検出することは可能である。しかし、画像信号を解析して補正残りを検出する場合には、処理（演算）負荷が大きくなってしまう。そこで、本実施形態では、メタデータ解析部２０１から取得したフリッカ情報（フリッカ成分）に基づいて、補正残り（に起因する明暗差）の周期及び位相の検出に用いる基準波形となるパルス波形を決定する。つまり、補正残りの輝度変化には、フリッカの周期とは異なる周期ではあっても、一定の周期性があることを利用して、基準波形を用いて補正残りを検出する。なお、ここで用いるフリッカ情報とは、第１実施形態で説明したように、フリッカの検出に用いたモデル関数、フリッカの周波数、振幅及びレベル等である。これにより、補正残りの周期性から外れた輝度変化を補正残りと誤検知することを防止することができ、また、補正残りの周期性から外れた輝度変化を誤って補正してしまうことで不自然な輝度変化が生じた画像が生成されてしまうのを抑制することができる。 Here, if at least whether or not the flicker correction is performed can be determined, the periodic component detection unit 202 can detect the period, phase, and level of the brightness difference caused by the remaining correction by analyzing the image signal. Is possible. However, when an image signal is analyzed to detect a correction remainder, a processing (calculation) load increases. Therefore, in the present embodiment, based on the flicker information (flicker component) acquired from the metadata analysis unit 201, a pulse waveform serving as a reference waveform used for detection of the period and phase of the remaining correction (the brightness difference caused by the difference) is determined. To do. That is, the correction remaining is detected by using the reference waveform by utilizing the fact that the correction remaining luminance change has a certain periodicity even though it is a period different from the flicker period. Note that the flicker information used here is the model function used for flicker detection, the flicker frequency, amplitude, level, and the like, as described in the first embodiment. As a result, it is possible to prevent erroneous detection of a luminance change deviating from the remaining correction periodicity as an uncorrected correction, and it is not possible to erroneously correct a luminance change deviating from the remaining correction periodicity. Generation of an image in which a natural luminance change has occurred can be suppressed.
周期成分検出部２０２により検出された補正残りに起因する明暗差の周期、位相及びレベルは、補正値算出部２０３へ出力される。補正値算出部２０３は、周期成分検出部２０２から取得した情報に基づいて補正係数を算出し、フリッカ補正部２０４へ出力する。フリッカ補正部２０４は、取得した補正係数を用いて補正ゲインを決定し、入力画像の補正残りが打ち消されるように画像処理を行う。こうして、画像信号に付加されたメタデータに含まれるフリッカ情報を利用して画像信号の補正残りを適切に検出し、補正することで、補正残りによる画質劣化を抑制した良好な映像を得ることができる。 The period, phase, and level of the light / dark difference caused by the remaining correction detected by the periodic component detection unit 202 are output to the correction value calculation unit 203. The correction value calculation unit 203 calculates a correction coefficient based on the information acquired from the periodic component detection unit 202 and outputs the correction coefficient to the flicker correction unit 204. The flicker correction unit 204 determines a correction gain using the acquired correction coefficient, and performs image processing so that the remaining correction of the input image is canceled. In this way, it is possible to appropriately detect the correction residue of the image signal using the flicker information included in the metadata added to the image signal and correct it, thereby obtaining a good video with suppressed image quality deterioration due to the correction residue. it can.
第２の例は、フリッカ補正が行われていない画像信号が信号処理部２００に入力された場合に行われる処理であり、画像信号のフリッカ成分を補正する処理である。図５は、フリッカ未補正の映像において観測される明暗差（縞模様）と、フリッカの検出と補正に用いられる基準波形との関係を説明する図である。フリッカ未補正の映像では、明暗差は正弦波に近い波形として観測される。そこで、周期成分検出部２０２は、まず、メタデータ解析部２０１から取得したフリッカ情報に基づき、入力信号である画像信号はフリッカ補正済みかフリッカ未補正かを判定する。ここでは、周期成分検出部２０２は、フリッカ未補正の画像信号が信号処理部２００へ入力されたと判定したものとする。フリッカの補正方法について概説したように、フリッカの検出と補正は、基準波形として正弦波を用いて行うことができる。そこで、周期成分検出部２０２が備える不図示のメモリにフリッカを想定した正弦波情報を格納しておき、フリッカの検出に用いる基準波形として選択した正弦波と画像信号とを比較する。これにより、フリッカの周期や位相を容易に検出することができる。 The second example is processing that is performed when an image signal that has not been subjected to flicker correction is input to the signal processing unit 200, and is processing that corrects the flicker component of the image signal. FIG. 5 is a diagram for explaining the relationship between a contrast difference (striped pattern) observed in an image without flicker correction and a reference waveform used for flicker detection and correction. In the image without flicker correction, the light / dark difference is observed as a waveform close to a sine wave. Therefore, the periodic component detection unit 202 first determines, based on the flicker information acquired from the metadata analysis unit 201, whether the image signal that is the input signal has been flicker corrected or not. Here, it is assumed that the periodic component detection unit 202 determines that an image signal without flicker correction is input to the signal processing unit 200. As outlined about the flicker correction method, flicker detection and correction can be performed using a sine wave as a reference waveform. Therefore, sine wave information assuming flicker is stored in a memory (not shown) included in the periodic component detection unit 202, and the sine wave selected as the reference waveform used for flicker detection is compared with the image signal. This makes it possible to easily detect the flicker period and phase.
ところで、画像信号の輝度変化からフリッカ成分の検出と補正を行うフリッカ補正機能では、フリッカ成分に類似した周期的な被写体の変化をフリッカ成分と誤認してしまい、誤って補正してしまうことが起こり得る。この問題を回避するために、被写体の撮像時にはフリッカを補正せずに撮像後にフリッカを補正することがあり、これによってより適切なフリッカ補正を施すことができる。しかしながら、この場合には、フリッカの周波数や位相、レベル、基準波形等のすべてのパラメータを一から手動で設定した上で適切な補正係数を決定しなければならいため、画像補正についての深い知識や熟練した技術が必要となる。 By the way, in the flicker correction function that detects and corrects the flicker component from the luminance change of the image signal, a periodic subject change similar to the flicker component is mistaken as a flicker component, and it may be corrected erroneously. obtain. In order to avoid this problem, the flicker may be corrected after the image capturing without correcting the flicker when the subject is imaged, so that more appropriate flicker correction can be performed. However, in this case, since all parameters such as flicker frequency, phase, level, and reference waveform must be set manually from the beginning, an appropriate correction coefficient must be determined. Skilled skills are required.
この問題を回避するために、信号処理部２００を情報処理装置上で動作する画像処理ソフトウェアで実現する場合、フリッカ情報に含まれるフリッカ成分を補正候補パラメータに設定し、画像処理ソフトウェア上で設定する補正パラメータの初期値として利用する。例えば、補正値算出部２０３は、メタデータ解析部２０１から取得したフリッカ情報としてのフリッカ成分を打ち消す補正係数を算出し、画像処理ソフトウェアにおけるフリッカ補正の初期設定値として利用する。 In order to avoid this problem, when the signal processing unit 200 is realized by image processing software that operates on the information processing apparatus, the flicker component included in the flicker information is set as a correction candidate parameter and is set on the image processing software. Used as the initial value of the correction parameter. For example, the correction value calculation unit 203 calculates a correction coefficient for canceling a flicker component as flicker information acquired from the metadata analysis unit 201, and uses the correction coefficient as an initial setting value for flicker correction in the image processing software.
信号処理部２００として機能する画像処理ソフトウェアが動作する情報処理装置は、ユーザからの操作入力を受け付ける操作手段を備え、フリッカ補正の初期値を基準としてユーザによる操作による微調整を可能とする調整手段を備える。調整手段により実行される処理としては、例えば、ＲＧＢ別の補正ゲイン調整、位相調整、補正に用いる基準波形の変更、画像（フレーム）ごとの補正ゲインの変更、画像における補正領域の限定等が挙げられる。補正値算出部２０３は、初期値として利用した補正係数をそのまま用いるか又はユーザにより微調整された補正係数を用いてフリッカ補正部２０４に出力する。フリッカ補正部２０４は、取得した補正係数を用いて画像の行ごとに補正ゲインを掛ける。これによりフリッカ成分が補正された高品質な映像が生成され、生成された映像は後段へ出力され、例えば、不図示のディスプレイに表示される。 An information processing apparatus in which image processing software that functions as the signal processing unit 200 operates includes an operation unit that receives an operation input from a user, and an adjustment unit that enables fine adjustment by an operation by the user with reference to an initial value of flicker correction. Is provided. Examples of the processing executed by the adjusting means include correction gain adjustment for each RGB, phase adjustment, change of a reference waveform used for correction, change of correction gain for each image (frame), limitation of a correction area in an image, and the like. It is done. The correction value calculation unit 203 uses the correction coefficient used as the initial value as it is or outputs it to the flicker correction unit 204 using the correction coefficient finely adjusted by the user. The flicker correction unit 204 multiplies a correction gain for each row of the image using the acquired correction coefficient. As a result, a high-quality video in which the flicker component is corrected is generated, and the generated video is output to the subsequent stage and displayed on, for example, a display (not shown).
第３の例は、フリッカ補正が行われた画像信号が信号処理部２００に入力された場合に行われる処理の別の例であり、フリッカ補正後の画像信号をフリッカ補正前の画像信号（フリッカ未補正の画像信号）に戻す処理である。例えば、報道性が高く、歴史的に貴重な撮影素材は、放送局等で報道を目的として迅速に利用されることが期待されると共に、歴史的瞬間の貴重な撮影素材として繰り返し利用されることが期待される。その場合、撮影時には迅速に報道素材として完成度を高めるために、フリッカ補正を行うことが望ましい。一方で、後の利用時により高品質な映像資料とするために、フリッカ補正を高精度にやり直したいという要望があり、そのために既に施されたフリッカ補正をキャンセルしたいという要望がある。また、フリッカ補正前のオリジナルの映像を保存したいために、既に施されたフリッカ補正をキャンセルしたいという需要もある。 The third example is another example of processing performed when an image signal subjected to flicker correction is input to the signal processing unit 200. The image signal after flicker correction is converted into an image signal before flicker correction (flicker correction). Uncorrected image signal). For example, news materials that are highly reportable and historically valuable are expected to be used quickly for the purpose of news reporting in broadcasting stations, etc., and are repeatedly used as valuable photography materials for historical moments. There is expected. In that case, it is desirable to perform flicker correction in order to quickly increase the degree of completion as a news material at the time of shooting. On the other hand, there is a desire to perform flicker correction again with high accuracy in order to obtain higher quality video material at a later use, and there is a desire to cancel flicker correction that has already been performed. There is also a demand for canceling flicker correction that has already been made in order to preserve the original video before flicker correction.
そこで、周期成分検出部２０２は、メタデータ解析部２０１から取得したフリッカ情報の中から、入力された画像信号に対して既に実施されたフリッカ補正の際に用いられた補正ゲイン（補正係数）を補正値算出部２０３へ伝達する。補正値算出部２０３は、既に実施されたフリッカ補正をキャンセルする補正係数を算出し、入力された画像信号に対して既に実施されたフリッカ補正のキャンセル処理を行う。フリッカ補正部２０４は、キャンセル処理後の画像信号をその後段に設けられた記憶装置や表示装置等の不図示の処理装置へ出力する。 Therefore, the periodic component detection unit 202 uses the correction gain (correction coefficient) used in the flicker correction already performed on the input image signal from the flicker information acquired from the metadata analysis unit 201. This is transmitted to the correction value calculation unit 203. The correction value calculation unit 203 calculates a correction coefficient for canceling flicker correction that has already been performed, and performs processing for canceling flicker correction that has already been performed on the input image signal. The flicker correction unit 204 outputs the image signal after the cancellation process to a processing device (not shown) such as a storage device or a display device provided in the subsequent stage.
なお、非線形階調変換が施された画像信号が信号処理部２００に入力される場合がある。この場合、非線形変換特性の逆特性による変換を行ってリニアな画像信号に戻した後に、フリッカ補正をキャンセルする補正係数による画像処理を行えばよい。但し、これに限らず、非線形変換特性を考慮した補正係数を算出し、フリッカ補正をキャンセルするよう画像処理を行ってもよい。補正値算出部２０３は、ユーザ操作（ユーザによる補正方法の選択）を受け付けて、所定の補正係数を算出し、フリッカ補正部２０４へ出力する。フリッカ補正部２０４は、取得した補正係数を用いて、ユーザ指示に従う方法でフリッカ補正のキャンセル処理を行う。 Note that an image signal subjected to nonlinear gradation conversion may be input to the signal processing unit 200. In this case, image processing using a correction coefficient that cancels flicker correction may be performed after performing conversion based on the inverse characteristic of the non-linear conversion characteristic to return to a linear image signal. However, the present invention is not limited to this, and image processing may be performed so as to calculate a correction coefficient in consideration of nonlinear conversion characteristics and cancel flicker correction. The correction value calculation unit 203 receives a user operation (selection of a correction method by the user), calculates a predetermined correction coefficient, and outputs it to the flicker correction unit 204. The flicker correction unit 204 uses the acquired correction coefficient to perform flicker correction cancellation processing by a method in accordance with a user instruction.
以上の説明の通り、本実施形態によれば、画像信号に付加されたメタデータを用い、必要に応じて、フリッカ補正、フリッカ補正で補正しきれなかったフリッカ成分である補正残りの補正処理、フリッカ補正のキャンセル処理を行う。これにより、所望の映像を容易に得ることができると共に映像の再利用性を向上させることができ、更に画像処理の演算負荷を軽減することができる。 As described above, according to the present embodiment, using the metadata added to the image signal, if necessary, flicker correction, correction processing for the remaining correction that is a flicker component that could not be corrected by flicker correction, Performs flicker correction cancellation processing. As a result, it is possible to easily obtain a desired video, improve the reusability of the video, and further reduce the calculation load of image processing.
＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。例えば、信号処理部２００にメタデータが付加されていない画像信号が入力されることが考えられる。この場合、上述した第１の例、第２の例の画像処理を行うことができるようにするためには、信号処理部１００が備えるフリッカ成分検出部１０１とメタデータ付加部１０４を信号処理部２００に設けた構成とすればよい。その場合、メタデータ解析部２０１が画像信号にメタデータが付加されていないことを検知した場合、フリッカ成分検出部１０１が画像信号を解析してフリッカ成分又は補正残りの周期等に関する情報を検出し、検出結果を補正値算出部２０３に伝達する。補正値算出部２０３は、取得したフリッカ成分又は補正残りの周期等に基づいて補正係数を算出してフリッカ補正部２０４へ伝達し、フリッカ補正部２０４は取得した補正係数を用いてフリッカ成分又は補正残りを補正して補正画像を生成する。メタデータ付加部１０４は、補正画像に対してフリッカ情報或いは補正残りの補正情報等を付加する。
<Other embodiments>
Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. Furthermore, each embodiment mentioned above shows only one embodiment of this invention, and it is also possible to combine each embodiment suitably. For example, it is conceivable that an image signal to which no metadata is added is input to the signal processing unit 200. In this case, in order to be able to perform the image processing of the first example and the second example described above, the flicker component detection unit 101 and the metadata adding unit 104 included in the signal processing unit 100 are combined with the signal processing unit 200 may be provided. In this case, when the metadata analysis unit 201 detects that the metadata is not added to the image signal, the flicker component detection unit 101 analyzes the image signal to detect information on the flicker component or the remaining correction period. The detection result is transmitted to the correction value calculation unit 203. The correction value calculation unit 203 calculates a correction coefficient based on the acquired flicker component or the remaining correction period and transmits the correction coefficient to the flicker correction unit 204. The flicker correction unit 204 uses the acquired correction coefficient to correct the flicker component or correction. The remaining image is corrected to generate a corrected image. The metadata adding unit 104 adds flicker information or correction information remaining after correction to the corrected image.
また、上記の第１実施形態では、補正値算出部１０２は、フリッカレベルが所定の閾値以上である場合にフリッカ補正を行う構成としたが、フリッカ補正を行うか否かの判定基準は、フリッカレベルに限定されるものではない。例えば、画像の輝度情報に基づき、所定の輝度以上の行が周期的に現れている場合や、撮影時の露光時間情報に基づき、一定の露光時間以上の露光がなされている場合にフリッカ補正を行うと判定するようにしてもよい。更にフリッカレベルの変動幅が所定値よりも大きい場合には、フリッカ補正を行っても不自然な明暗差が残る可能性が高くなるため、フリッカ補正を行わないと判定するようにしてもよい。 In the first embodiment, the correction value calculation unit 102 is configured to perform flicker correction when the flicker level is equal to or higher than a predetermined threshold. However, the criterion for determining whether to perform flicker correction is flicker. It is not limited to the level. For example, flicker correction is performed when rows with a predetermined luminance or higher appear periodically based on the luminance information of the image, or when exposure over a certain exposure time is performed based on the exposure time information at the time of shooting. You may make it determine with performing. Further, when the fluctuation range of the flicker level is larger than a predetermined value, there is a high possibility that an unnatural light / dark difference will remain even if flicker correction is performed. Therefore, it may be determined that flicker correction is not performed.
本発明は以下の処理を実行することによっても実現される。本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention can also be realized by executing the following processing. The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１００，２００ 信号処理部
１０１ フリッカ成分検出部
１０２，２０３ 補正値算出部
１０３，２０４ フリッカ補正部
１０４ メタデータ付加部
２０１ メタデータ解析部
２０２ 周期成分検出部
100, 200 Signal processing unit 101 Flicker component detection unit 102, 203 Correction value calculation unit 103, 204 Flicker correction unit 104 Metadata addition unit 201 Metadata analysis unit 202 Periodic component detection unit
Claims (17)
前記撮像手段により撮像された画像に含まれるフリッカ成分を検出する検出手段と、
前記検出手段により検出されたフリッカ成分が所定の条件を満たす場合に前記フリッカ成分を打ち消す画像処理を行うと判定する判定手段と、
前記判定手段が前記画像処理を行うと判定した場合に前記画像処理のための補正値を算出する算出手段と、
前記画像に対して前記補正値を用いて前記画像処理を行って補正画像を生成する補正手段と、
前記フリッカ成分または前記補正値を含むフリッカ情報をメタデータとして前記画像または前記補正画像に付加する付加手段と、を備えることを特徴とする撮像装置。 Imaging means;
Detecting means for detecting a flicker component included in the image picked up by the image pickup means;
A determination unit that determines to perform image processing to cancel the flicker component when the flicker component detected by the detection unit satisfies a predetermined condition;
Calculation means for calculating a correction value for the image processing when the determination means determines to perform the image processing;
Correction means for generating a corrected image by performing the image processing on the image using the correction value;
An image pickup apparatus comprising: an adding unit that adds flicker information including the flicker component or the correction value as metadata to the image or the corrected image.
前記第１の検出手段により検出されたフリッカ成分が所定の条件を満たす場合に前記フリッカ成分を打ち消す画像処理を行うと判定する判定手段と、
前記判定手段が前記画像処理を行うと判定した場合に前記画像処理のための補正値を算出する算出手段と、
前記入力画像に対して前記補正値を用いて前記画像処理を行って補正画像を生成する第１の補正手段と、
前記フリッカ成分または前記補正値を含むフリッカ情報をメタデータとして前記入力画像または前記補正画像に付加する付加手段と、を備えることを特徴とする画像処理装置。 First detection means for detecting a flicker component of the input image;
A determination unit that determines to perform image processing to cancel the flicker component when the flicker component detected by the first detection unit satisfies a predetermined condition;
Calculation means for calculating a correction value for the image processing when the determination means determines to perform the image processing;
First correction means for generating a corrected image by performing the image processing on the input image using the correction value;
An image processing apparatus comprising: an adding unit that adds flicker information including the flicker component or the correction value as metadata to the input image or the correction image.
前記第２の検出手段が前記補正画像にフリッカ成分が残っていることを検出した場合に前記補正画像に残ったフリッカ成分を補正する第２の補正手段と、を備えることを特徴とする請求項５乃至８のいずれか１項に記載の画像処理装置。 Second detection means for detecting a flicker component that cannot be corrected by the first correction means and remains in the corrected image;
And a second correction unit configured to correct the flicker component remaining in the correction image when the second detection unit detects that the flicker component remains in the correction image. The image processing apparatus according to any one of 5 to 8.
前記解析手段から前記メタデータに含まれるフリッカ情報を取得する取得手段と、
前記取得手段が取得したフリッカ情報に基づき外部から入力される指示にしたがって前記入力画像に対して画像処理を行う画像処理手段と、を備えることを特徴とする画像処理装置。 An analysis means for analyzing metadata added to the input image;
Obtaining means for obtaining flicker information included in the metadata from the analyzing means;
An image processing apparatus comprising: an image processing unit that performs image processing on the input image in accordance with an instruction input from the outside based on flicker information acquired by the acquisition unit.
前記画像処理手段は、前記入力画像がフリッカ補正が実施されたものではない場合には前記入力画像のフリッカ成分を打ち消す画像処理を行い、前記入力画像がフリッカ補正が実施されたものである場合には前記入力画像に残っているフリッカ成分を打ち消す画像処理または前記入力画像に実施されたフリッカ補正をキャンセルする画像処理を行うことを特徴とする請求項１０に記載の画像処理装置。 The flicker information includes a flicker component and information indicating whether or not the input image has been subjected to flicker correction.
When the input image is not subjected to flicker correction, the image processing means performs image processing for canceling a flicker component of the input image, and when the input image is subjected to flicker correction. The image processing apparatus according to claim 10, wherein image processing for canceling flicker components remaining in the input image or image processing for canceling flicker correction performed on the input image is performed.
前記撮像ステップで得られた画像に含まれるフリッカ成分を検出する検出ステップと、
前記検出ステップで検出されたフリッカ成分のレベルが所定の閾値以上である場合に前記フリッカ成分を補正する画像処理を行うと判定する判定ステップと、
前記判定ステップで前記画像処理を行うと判定した場合に、前記検出ステップで検出したフリッカ成分に基づき前記画像のフリッカを補正するための補正値を算出する算出ステップと、
前記算出ステップで算出した補正値を用いて前記画像のフリッカを補正して補正画像を生成する補正ステップと、
前記フリッカ成分または前記補正値を含むフリッカ情報をメタデータとして前記画像または前記補正画像に付加する付加ステップと、を有することを特徴とする撮像装置の制御方法。 An imaging step of capturing an image by an imaging means;
A detection step of detecting a flicker component included in the image obtained in the imaging step;
A determination step of determining to perform image processing for correcting the flicker component when the level of the flicker component detected in the detection step is equal to or higher than a predetermined threshold;
A calculation step for calculating a correction value for correcting flicker of the image based on the flicker component detected in the detection step when it is determined that the image processing is performed in the determination step;
A correction step of generating a corrected image by correcting the flicker of the image using the correction value calculated in the calculating step;
And a step of adding flicker information including the flicker component or the correction value as metadata to the image or the corrected image.
前記検出ステップで検出されたフリッカ成分のレベルが所定の条件を満たす場合に前記フリッカ成分を打ち消す画像処理を行うと判定する判定ステップと、
前記判定ステップで前記画像処理を行うと判定した場合に前記画像処理のための補正値を算出する算出ステップと、
前記入力画像に対して前記補正値を用いて前記画像処理を行って補正画像を生成する補正ステップと、
前記フリッカ成分または前記補正値を含むフリッカ情報をメタデータとして前記入力画像または前記補正画像に付加する付加ステップと、を有することを特徴とする画像処理装置の制御方法。 A detection step of detecting a flicker component of the input image;
A determination step for determining that image processing for canceling the flicker component is performed when the level of the flicker component detected in the detection step satisfies a predetermined condition;
A calculation step for calculating a correction value for the image processing when it is determined that the image processing is performed in the determination step;
A correction step of generating a corrected image by performing the image processing on the input image using the correction value;
And a step of adding flicker information including the flicker component or the correction value as metadata to the input image or the corrected image.
前記取得ステップで取得したフリッカ情報に基づき、前記入力画像がフリッカ補正の実施されたものか否かを判定する判定ステップと、
外部から入力される指示にしたがって、前記入力画像がフリッカ補正の実施されたものではない場合に前記入力画像のフリッカ成分を打ち消す画像処理を行い、前記入力画像がフリッカ補正が実施されたものである場合に前記入力画像に残っているフリッカ成分を打ち消す画像処理または前記入力画像に実施されたフリッカ補正をキャンセルする画像処理を行う画像処理ステップと、を有し、
前記フリッカ情報は、前記フリッカ成分と、前記入力画像はフリッカ補正が実施されたものか否かを表す情報とを含むことを特徴とする画像処理装置の制御方法。 An acquisition step of acquiring flicker information added to the input image and included in the metadata;
A determination step of determining whether or not the input image has been subjected to flicker correction based on the flicker information acquired in the acquisition step;
In accordance with an instruction input from the outside, when the input image is not subjected to flicker correction, image processing is performed to cancel the flicker component of the input image, and the input image is subjected to flicker correction. An image processing step for performing image processing for canceling flicker components remaining in the input image or image processing for canceling flicker correction performed on the input image.
The method of controlling an image processing apparatus, wherein the flicker information includes the flicker component and information indicating whether or not the input image has been subjected to flicker correction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017025896A JP6827838B2 (en) | 2017-02-15 | 2017-02-15 | Imaging equipment and image processing equipment, their control methods, and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017025896A JP6827838B2 (en) | 2017-02-15 | 2017-02-15 | Imaging equipment and image processing equipment, their control methods, and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018133686A true JP2018133686A (en) | 2018-08-23 |
| JP6827838B2 JP6827838B2 (en) | 2021-02-10 |
Family
ID=63248666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017025896A Active JP6827838B2 (en) | 2017-02-15 | 2017-02-15 | Imaging equipment and image processing equipment, their control methods, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6827838B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116389915A (en) * | 2023-04-07 | 2023-07-04 | 北京拙河科技有限公司 | Method and device for reducing flicker of light field camera |
-
2017
- 2017-02-15 JP JP2017025896A patent/JP6827838B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116389915A (en) * | 2023-04-07 | 2023-07-04 | 北京拙河科技有限公司 | Method and device for reducing flicker of light field camera |
| CN116389915B (en) * | 2023-04-07 | 2024-03-22 | 北京拙河科技有限公司 | Method and device for reducing flicker of light field camera |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6827838B2 (en) | 2021-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8442347B2 (en) | Information processing apparatus, information processing method, program, and imaging apparatus including optical microscope | |
| JP2004007402A (en) | Flicker detecting device, flicker correcting device, imaging device, flicker detecting program, and flicker correcting program | |
| WO2015019586A1 (en) | Image processing device and method, eye fundus image processing device, image photographing method, and eye fundus image photographing device and method | |
| US8922681B2 (en) | Image processing device that performs image processing to correct target pixels in a region surrounding a defective pixel | |
| US9589339B2 (en) | Image processing apparatus and control method therefor | |
| US10972676B2 (en) | Image processing method and electronic device capable of optimizing hdr image by using depth information | |
| JP6552228B2 (en) | Image display apparatus and control method thereof | |
| JP2004222231A (en) | Image processing apparatus and image processing program | |
| JP2019047169A (en) | Apparatus, method, and program for generating high dynamic range image | |
| US11128799B2 (en) | Image processing apparatus and image processing method | |
| JP4479845B2 (en) | Image correction apparatus, image correction method, and image correction program | |
| US20200195857A1 (en) | Image capturing device and control method thereof and medium | |
| JP2006080942A (en) | Image processing apparatus, image processing program, image processing method, and imaging apparatus | |
| JP6827838B2 (en) | Imaging equipment and image processing equipment, their control methods, and programs | |
| JP2013062689A (en) | Imaging apparatus, control method thereof and program | |
| JP2017050646A (en) | Image processing apparatus, image processing method and program | |
| JPWO2011141972A1 (en) | Luminance correction apparatus, luminance correction system, and luminance correction method | |
| JP2015126416A (en) | Image processing apparatus, control method, and program | |
| JP2018190201A (en) | Image processing device, image processing method and program | |
| US20230196517A1 (en) | Information processing apparatus, control method of information processing apparatus, and non-transitory computer readable medium | |
| JP7169859B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM | |
| JP6628925B2 (en) | Image display device and control method thereof | |
| JP6494351B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP4356604B2 (en) | VIDEO SIGNAL PROCESSING DEVICE, VIDEO SIGNAL PROCESSING METHOD, VIDEO SIGNAL PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO SIGNAL PROCESSING PROGRAM | |
| JP2016170637A (en) | Image processing device and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210120 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6827838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |