JP5627319B2 - Image detection apparatus and image detection method - Google Patents
Image detection apparatus and image detection method Download PDFInfo
- Publication number
- JP5627319B2 JP5627319B2 JP2010153061A JP2010153061A JP5627319B2 JP 5627319 B2 JP5627319 B2 JP 5627319B2 JP 2010153061 A JP2010153061 A JP 2010153061A JP 2010153061 A JP2010153061 A JP 2010153061A JP 5627319 B2 JP5627319 B2 JP 5627319B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- hdr
- luminance value
- frames
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、画像検出装置及び画像検出方法に関する。 The present invention relates to an image detection apparatus and an image detection method.
予め異なる露出で同一の被写体を撮影し、得られた各画像の適正露出部分に注目してそれらの画像を合成することにより、ダイナミックレンジを向上する技術がある。また、露出の異なる複数の画像を交互に表示することにより、それらの画像を視覚的に合成し、ダイナミックレンジを向上する技術も提案されている。このように複数の画像を用いてダイナミックレンジを向上する技術をハイダイナミックレンジ合成（ＨＤＲ合成）と呼ぶ。 There is a technique for improving the dynamic range by photographing the same subject in advance with different exposures and synthesizing those images by paying attention to the appropriate exposure portions of the obtained images. In addition, a technique has been proposed in which a plurality of images with different exposures are alternately displayed so that the images are visually combined to improve the dynamic range. A technique for improving the dynamic range using a plurality of images in this way is called high dynamic range synthesis (HDR synthesis).
ＨＤＲ合成を実現する装置では、ＨＤＲ合成に用いる複数の画像（ＨＤＲ画像群）が、予め用意されている専用メモリに格納されている。そして、上記装置は、それらの画像を合成してディスプレイに表示し、または、それらの画像を順番にディスプレイに表示することにより、ＨＤＲ合成を実現する。 In an apparatus that realizes HDR synthesis, a plurality of images (HDR image group) used for HDR synthesis are stored in a dedicated memory prepared in advance. And the said apparatus synthesize | combines those images and displays them on a display, or implement | achieves HDR synthesis | combination by displaying those images on a display in order.
特許文献１には、専用メモリから読み出した画像間の動きの有無から、ＨＤＲ合成を行うか否かを判断する技術が提案されている。それにより、破綻した合成画像が生成されることを防ぐことができる。
しかしながら、今後は外部機器などを通じてＨＤＲ画像群が入力されることが考えられる。また、通常画像（例えば、適正露出の画像のように、ＨＤＲ合成に用いることを目的とした画像ではない画像）とＨＤＲ画像群が混在した画像データが入力されることも考えられる。従来技術では、通常画像とＨＤＲ画像群が混在した画像データが入力されることは想定されていないため、入力された画像データからＨＤＲ画像群を検出することができない。
また、入力された画像データからＨＤＲ画像群を検出できないため、ディスプレイに表示されている画像が何たる画像であるか、視聴者に知らせることができない。
However, it is conceivable that an HDR image group will be input through an external device in the future. It is also conceivable to input image data in which a normal image (for example, an image that is not intended to be used for HDR synthesis, such as an image with proper exposure) and a HDR image group are mixed. In the prior art, since it is not assumed that image data in which a normal image and an HDR image group are mixed is input, the HDR image group cannot be detected from the input image data.
Further, since the HDR image group cannot be detected from the input image data, the viewer cannot be notified of what the image displayed on the display is.
本発明は、入力された画像データからＨＤＲ画像群を検出することのできる技術を提供することを目的とする。 An object of the present invention is to provide a technique capable of detecting an HDR image group from input image data.
本発明の画像検出装置は、入力された画像データのフレーム毎に、そのフレームを代表する輝度値である代表輝度値を算出する代表輝度値算出手段と、前記代表輝度値算出手段で算出された代表輝度値のフレーム間の変化に周期性があるか否かを判断する周期判断手段と、前記周期判断手段により代表輝度値のフレーム間の変化に周期性があると判断された場合に、１周期内の代表輝度値の変化に基づいて、前記入力された画像データから異なる露出で同一の被写体を撮影することにより得られた複数の画像であるＨＤＲ画像群とみなす画像群を検出するＨＤＲ検出手段と、を有し、１周期内の代表輝度値の最大値または最小値である評価値の初期値が予め定められており、前記周期判断手段は、前記フレーム毎に、そのフレームの代表輝度値と前記評価値との差分の絶対値が第２の閾値以下である場合に、前記評価値を当該フレームの代表輝度値に更新し、前記評価値の更新が一定のフレーム数おきに行われる場合に、代表輝度値のフレーム間の変化に周期性があると判断し、前記ＨＤＲ検出手段は、１周期内の代表輝度値の最大値と最小値の差分の絶対値が第１の閾値以上である場合に、対応する周期内の複数のフレームが前記ＨＤＲ画像群のフレームであると判定する。
The image detection apparatus according to the present invention is calculated by a representative luminance value calculating unit that calculates a representative luminance value that is a luminance value representing a frame for each frame of the input image data, and the representative luminance value calculating unit. When the period determining means for determining whether or not the change between frames of the representative luminance value is periodic, and when the period determining means determines that the change between the frames of the representative luminance value is periodic, 1 HDR detection for detecting an image group regarded as an HDR image group , which is a plurality of images obtained by photographing the same subject with different exposures from the input image data, based on a change in representative luminance value within a cycle and means, possess an initial value of the maximum value or the evaluation value is the minimum value of the representative luminance value in one period it is predetermined, the period determination means for each of the frames, the representative luminance of the frame When the absolute value of the difference between the evaluation value and the evaluation value is equal to or smaller than a second threshold value, the evaluation value is updated to the representative luminance value of the frame, and the evaluation value is updated every certain number of frames. In addition, it is determined that the change in the representative luminance value between frames is periodic, and the HDR detection unit has an absolute value of a difference between the maximum value and the minimum value of the representative luminance value within one cycle equal to or greater than a first threshold value. In some cases, it is determined that a plurality of frames within the corresponding period are frames of the HDR image group .
本発明の画像検出方法は、画像検出装置により実行される画像検出方法であって、入力された画像データのフレーム毎に、そのフレームを代表する輝度値である代表輝度値を算出する代表輝度値算出ステップと、前記代表輝度値算出ステップで算出された代表輝度値のフレーム間の変化に周期性があるか否かを判断する周期判断ステップと、前記周期判断ステップにより代表輝度値のフレーム間の変化に周期性があると判断された場合に、１周期内の代表輝度値の変化に基づいて、前記入力された画像データから異なる露出で同一の被写体を撮影することにより得られた複数の画像であるＨＤＲ画像群とみなす画像群を検出するＨＤＲ検出ステップと、を有し、１周期内の代表輝度値の最大値または最小値である評価値の初期値が予め定められており、前記周期判断ステップでは、前記フレーム毎に、そのフレームの代表輝度値と前記評価値との差分の絶対値が第２の閾値以下である場合に、前記評価値を当該フレームの代表輝度値に更新し、前記評価値の更新が一定のフレー
ム数おきに行われる場合に、代表輝度値のフレーム間の変化に周期性があると判断し、前記ＨＤＲ検出ステップでは、１周期内の代表輝度値の最大値と最小値の差分の絶対値が第１の閾値以上である場合に、対応する周期内の複数のフレームが前記ＨＤＲ画像群のフレームであると判定する。
The image detection method of the present invention is an image detection method executed by an image detection apparatus, and for each frame of input image data, a representative luminance value for calculating a representative luminance value that is a luminance value representing the frame. A calculation step, a cycle determination step for determining whether or not the change in the representative luminance value calculated in the representative luminance value calculation step is periodic, and a frame between the representative luminance values in the cycle determination step. When it is determined that the change has periodicity, a plurality of images obtained by photographing the same subject with different exposures from the input image data based on a change in the representative luminance value within one cycle in it possess the HDR detecting a group of images regarded as HDR image group, the initial value is predetermined et evaluation value is the maximum value or the minimum value of the representative luminance value in one cycle In the period determining step, when the absolute value of the difference between the representative luminance value of the frame and the evaluation value is equal to or smaller than a second threshold value for each frame, the evaluation value is used as the representative luminance of the frame. Value and the evaluation value is updated at a certain frame rate.
When the change is performed every other number of times, it is determined that the change in the representative luminance value between frames is periodic, and in the HDR detection step, the absolute value of the difference between the maximum value and the minimum value of the representative luminance value in one cycle Is equal to or greater than the first threshold, it is determined that a plurality of frames within the corresponding period are frames of the HDR image group .
本発明によれば、入力された画像データからＨＤＲ画像群を検出することが可能となる。 According to the present invention, it is possible to detect an HDR image group from input image data.
＜実施例１＞
以下、本発明の実施例１に係る画像検出装置及び該画像検出装置により実行される画像検出方法について説明する。
本実施例に係る画像検出装置は、図１で示すような通常画像とＨＤＲ画像群が混在する入力画像データやＨＤＲ画像群の有無を示す情報が含まれていない入力画像データからＨＤＲ画像群を検出する。通常画像とは、例えば、適正露出の画像のように、ＨＤＲ合成（ダイナミックレンジを向上するための処理）に用いることを目的とした画像ではない画像である。ＨＤＲ画像群とは、異なる露出で同一の被写体を撮影することにより得られた複数の画像ように、ＨＤＲ合成に用いることを目的とした複数の画像である。典型的には、ＨＤＲ画像群は、露出（明るさ）のみが異なる複数の画像である。
また、本実施例に係る画像検出装置は、図１（Ａ）で示すような静止画像データ、及び、図１（Ｂ）で示すような動画像データからＨＤＲ画像群を検出する。
<Example 1>
Hereinafter, an image detection apparatus and an image detection method executed by the image detection apparatus according to the first embodiment of the present invention will be described.
The image detection apparatus according to the present embodiment selects an HDR image group from input image data in which normal images and HDR image groups are mixed as shown in FIG. 1 or input image data that does not include information indicating the presence or absence of an HDR image group. To detect. A normal image is an image that is not intended to be used for HDR synthesis (processing for improving the dynamic range), such as an image with proper exposure. The HDR image group is a plurality of images intended for use in HDR composition, such as a plurality of images obtained by photographing the same subject with different exposures. Typically, the HDR image group is a plurality of images that differ only in exposure (brightness).
Further, the image detection apparatus according to the present embodiment detects an HDR image group from still image data as shown in FIG. 1A and moving image data as shown in FIG.
図１（Ａ）は、画像間で動きの無い静止画像データが入力される例である。
図１（Ｂ）は、画像間（通常画像とＨＤＲ画像群の間、ＨＤＲ画像群間）で動きのある動画像データが入力される例である。
図１（Ａ），（Ｂ）では、４つの画像を１組とするＨＤＲ画像群が入力される。１つのＨＤＲ画像群内の各画像の輝度は、ＨＤＲ合成できる程度に互いに異なっており、輝度の順番は特に限定されない。本実施例では、ＨＤＲ画像群が４つの画像からなるものとしたが、ＨＤＲ画像群には少なくとも２つ画像が含まれていればよい。
なお、図１（Ｂ）の例では、ＨＤＲ画像群間で動きがあるため、輝度はＨＤＲ画像群単位で微妙に異なる。
FIG. 1A is an example in which still image data having no motion between images is input.
FIG. 1B is an example in which moving image data that moves between images (between a normal image and an HDR image group, between HDR images) is input.
1A and 1B, an HDR image group including four images as one set is input. The luminances of the images in one HDR image group are different from each other to the extent that HDR synthesis is possible, and the order of luminance is not particularly limited. In this embodiment, the HDR image group is composed of four images. However, the HDR image group only needs to include at least two images.
In the example of FIG. 1B, since there is movement between HDR image groups, the luminance is slightly different for each HDR image group.
次に、本実施例に係る画像検出装置の構成例について、図２を用いて説明する。本実施例に係る画像検出装置は、動き検出部２１０、フレーム遅延部２２０、輝度統計量抽出部２３０、ＨＤＲ画像検出部２４０などを有する。ＨＤＲ画像検出部２４０は、輝度判定部２４１、周期検出部２４２、差分算出部２４３、判定部２４４、情報生成部２４５などを有する。
Next, a configuration example of the image detection apparatus according to the present embodiment will be described with reference to FIG. The image detection apparatus according to the present embodiment includes a
動き検出部２１０は、入力された画像データのフレーム間の動きを検出する（動き検出手段）。具体的には、動き検出部２１０は、フレーム遅延部２２０によって１フレーム遅延された前フレーム（入力された画像の１つ前に入力された画像）と現フレーム（入力された画像）を用いて、それらのフレーム間の動きを検出する。動きはどのように検出してもよく、例えば、ブロックマッチング法などにより検出される。なお、ＨＤＲ画像群のフレームは予め輝度が調整されているため、動きを検出する際には、例えば、用いる２つの画像の輝度を一致させた後に、それらの画像を比較すればよい。検出結果（動き情報Ｗ４０１）は、ＨＤＲ画像検出部２４０へ転送される。
The
輝度統計量抽出部２３０は、入力された画像データのフレーム毎に、そのフレームの輝度値の統計量（輝度統計量）から、該フレームを代表する輝度値である代表輝度値を算出する（代表輝度値算出手段）。具体的には、輝度統計量抽出部２３０は、入力された画像から輝度統計量として輝度ヒストグラムを抽出する。そして、抽出した輝度統計量から、代表輝度値として輝度の平均値（輝度平均値Ｗ４００）を算出し、ＨＤＲ画像検出部２４０へ転送する。なお、代表輝度値は輝度平均値に限らない。例えば、輝度ヒストグラムにおいて度数がピークとなる輝度値を代表輝度値としてもよい。
The luminance
ＨＤＲ画像検出部２４０は、動き検出部２１０より取得した動き情報Ｗ４０１と、輝度統計量抽出部２３０より取得した輝度平均値Ｗ４００を用いて、ＨＤＲ画像群を検出する。具体的には、ＨＤＲ画像検出部２４０は、ＨＤＲ画像群が持つ特徴（規則性）を検出し、入力された画像がＨＤＲ画像群の画像であるか否かを判定する。そして、ＨＤＲ画像群の画像と判定した場合は、ＨＤＲ情報を生成し、その情報を他の処理部へ転送する。
The HDR
輝度判定部２４１は、代表輝度値の差分の絶対値が所定の閾値（第２の閾値）以下のフレームを検出する。具体的には、入力された画像の輝度平均値Ｗ４００が最大輝度値Ｗ４０４か否か、最小輝度値Ｗ４０３か否かを判定し、判定結果を差分算出部２４３へ転送する。最大輝度値Ｗ４０４と最小輝度値Ｗ４０３の検出方法は、後で詳しく説明する。
また、輝度判定部２４１は、最小輝度値Ｗ４０３の画像の時間位置を示す信号である最小輝度位置Ｗ４０６、及び、最大輝度値Ｗ４０４の画像の時間位置を示す信号である最大輝度位置Ｗ４０７を生成する。そして、最小輝度位置Ｗ４０６と最大輝度位置Ｗ４０７のいずれか一方を選択し、１フレーム遅延させ、輝度位置Ｗ４０８を生成し、周期検出部２
４２、差分算出部２４３、及び、判定部２４４へ転送する。
更に、輝度判定部２４１は、輝度位置Ｗ４０８が静止画像データと動画像データのどちらの画像を用いて生成された信号かを表す静動判定Ｗ４０９を生成し、情報生成部２４５へ転送する。
The
In addition, the
42, the
Further, the
周期検出部２４２は、算出された代表輝度値のフレーム間の変化に周期性があるか否かを判断する（周期判断手段）。本実施例では、代表輝度値の差分の絶対値が第２の閾値以下のフレームが一定のフレーム数おきに現れる場合に、代表輝度値のフレーム間の変化に周期性があると判断する。具体的には、周期検出部２４２には、輝度位置Ｗ４０８のアサート間隔をカウントするカウンタが用意されている。周期検出部２４２は、このカウンタを用いて代表輝度値のフレーム間の変化の周期性（輝度位置Ｗ４０８が一定のフレーム数おきに現れているか）を検出する。そして、周期検出部２４２は、上記周期性を示す周期信号Ｗ４１４と１周期内の画像枚数を示す最大カウント値Ｗ４１２を、判定部２４４及び情報生成部２４５へ転送する。
The
差分算出部２４３と判定部２４４は、代表輝度値のフレーム間の変化に周期性があると判断された場合に、１周期内の代表輝度値の変化に基づいて、入力された画像データからＨＤＲ画像群を検出する（ＨＤＲ検出手段）。
差分算出部２４３は、１周期内（１つのＨＤＲ画像群内）の最大輝度値Ｗ４０４（最大値）と最小輝度値Ｗ４０３（最小値）の差分の絶対値（以下、差分値と記載する）を算出する。具体的には、最大輝度値Ｗ４０４から最小輝度値Ｗ４０３を減算し、差分値Ｗ４１５を求める。算出された差分値Ｗ４１５は、判定部２４４へ転送される。
判定部２４４は、代表輝度値のフレーム間の変化に周期性があり、且つ、差分値Ｗ４１５が所定の閾値（第１の閾値）以上である場合に、対応する周期内の複数のフレームがＨＤＲ画像群のフレームであると判定する。判定部２４４による判定結果Ｗ４１７は、情報生成部２４５へ転送される。
When the
The
When the change in the representative luminance value between frames is periodic and the difference value W415 is greater than or equal to a predetermined threshold (first threshold), the
情報生成部２４５は、動き情報Ｗ４０１、静動判定Ｗ４０９、周期信号Ｗ４１４、最大カウント値Ｗ４１２、判定結果Ｗ４１７を用いてＨＤＲ画像群に係るＨＤＲ情報を生成する。ＨＤＲ情報には、例えば、画像がＨＤＲ画像群の画像であるか否かを示す情報、ＨＤＲ画像群の同期信号、１つのＨＤＲ画像群に含まれる画像の枚数などの情報が含まれる。
The
次に、ＨＤＲ画像検出部２４０の基本動作について、図３を用いて説明する。
まず、ＨＤＲ画像検出部２４０は、Ｓ３００において、輝度統計量抽出部２３０から転送される輝度平均値から最小輝度値及び最大輝度値を検出する。但し、入力される画像データが動画像データの場合、ＨＤＲ画像群ごとに最小輝度値が微妙に異なることが想定される。そのため、ＨＤＲ画像検出部２４０は、フレーム間の動きが検出されている場合に、動きによる輝度値の変動を考慮して最小輝度値か否かを判断する。具体的には、フレーム間の動きが検出されていない場合よりも大きな値を第２の閾値に設定する。最大輝度値についても同様である。
次に、Ｓ３０１において、最小輝度値と最大輝度値のいずれかの輝度値を用いて代表輝度値のフレーム間の変化の周期性を検出する。具体的には、Ｓ３００において最小輝度値または最大輝度値が一定のフレーム数おきに現れていることを検出する。
そして、Ｓ３０２において１周期内の最小輝度値及び最大輝度値を抽出し、Ｓ３０３においてその最大輝度値と最小輝度値の差分値を算出する。
次に、Ｓ３０４においてＳ３０３で算出された差分値と第１の閾値を比較し、差分値が第１の閾値以上であれば、Ｓ３０５において入力された画像がＨＤＲ画像群の画像であると判定するとともに、Ｓ３０６において該画像に対しＨＤＲ情報を生成する。
Next, the basic operation of the HDR
First, the HDR
Next, in S <b> 301, the periodicity of the change in the representative luminance value between frames is detected using either the minimum luminance value or the maximum luminance value. Specifically, it is detected in S300 that the minimum luminance value or the maximum luminance value appears every certain number of frames.
In S302, the minimum luminance value and the maximum luminance value in one cycle are extracted, and in S303, a difference value between the maximum luminance value and the minimum luminance value is calculated.
Next, in S304, the difference value calculated in S303 is compared with the first threshold value, and if the difference value is equal to or larger than the first threshold value, it is determined that the image input in S305 is an image of the HDR image group. At the same time, HDR information is generated for the image in S306.
次に、ＨＤＲ画像検出部２４０の動作について、図４を用いて更に詳しく説明する。図
４は、ＨＤＲ画像検出部２４０の入出力信号及び内部信号の一例を示すタイミングチャートである。このタイミングチャートは、図１（Ｂ）で示す動画像データを処理する場合の例であるが、静止画像データも同様に処理される。各信号についての説明は、以下の通りである。
Next, the operation of the HDR
輝度平均値Ｗ４００は、フレーム単位の輝度平均値である。輝度平均値Ｗ４００は、輝度統計量抽出部２３０から輝度判定部２４１へ転送される。
動き情報Ｗ４０１は、前フレームと現フレームとの間の動き情報であり、動き検出部２１０から輝度判定部２４１へ転送される。動き情報Ｗ４０１は、前フレームと現フレームとの間に動きがある場合に１となり、無い場合に０となる。
動き情報保持Ｗ４０２は、輝度判定部２４１の内部信号であり、一時的に保持される動き情報Ｗ４０１である。動き情報保持Ｗ４０２は、動き情報Ｗ４０１が１のときに１となり、輝度位置Ｗ４０８が１になることで０にクリアされる。動き情報Ｗ４０１と輝度位置Ｗ４０８が同時に１となった場合には動き情報Ｗ４０１が優先され、動き情報保持Ｗ４０２は１となる。
The average luminance value W400 is an average luminance value for each frame. The average luminance value W400 is transferred from the luminance
The motion information W 401 is motion information between the previous frame and the current frame, and is transferred from the
The motion information holding W402 is an internal signal of the
最小輝度値Ｗ４０３は、輝度判定部２４１の内部信号である。最小輝度値Ｗ４０３と判定された輝度平均値Ｗ４００は一時的に保持される。
最小輝度値Ｗ４０３の検出処理（更新処理）について、図５を用いて説明する。
まず、輝度判定部２４１は、輝度平均値Ｗ４００から最小輝度値Ｗ４０３を減算し、その絶対値を差分値として算出する（Ｓ５００）。次に、該差分値と閾値Ｗ４０５を比較する（Ｓ５０１）。差分値が閾値Ｗ４０５以下である場合には、輝度平均値Ｗ４００が最小輝度値であると判断し、輝度平均値Ｗ４００を最小輝度値Ｗ４０３に設定する（Ｓ５０３；最小輝度値Ｗ４０３の更新）。差分値が閾値Ｗ４０５より大きい場合には、輝度平均値Ｗ４００と最小輝度値Ｗ４０３を比較する（Ｓ５０２）。輝度平均値Ｗ４００が最小輝度値Ｗ４０３より小さい場合には、Ｓ５０３の処理を行う。輝度平均値Ｗ４００が最小輝度値Ｗ４０３以上の場合には、最小輝度値Ｗ４０３は保持される。
なお、図４の例では、最小輝度値の初期値として「５０」が設定されている。
The minimum luminance value W403 is an internal signal of the
The detection process (update process) of the minimum luminance value W403 will be described with reference to FIG.
First, the
In the example of FIG. 4, “50” is set as the initial value of the minimum luminance value.
最大輝度値Ｗ４０４は、輝度判定部２４１の内部信号である。最大輝度値Ｗ４０４と判定された輝度平均値Ｗ４００は一時的に保持される。
最大輝度値Ｗ４０４の検出処理（更新処理）について、図６を用いて説明する。
まず、輝度判定部２４１は、輝度平均値Ｗ４００から最大輝度値Ｗ４０４を減算し、その絶対値を差分値として算出する（Ｓ６００）。次に、該差分値と閾値Ｗ４０５を比較する（Ｓ６０１）。差分値が閾値Ｗ４０５以下である場合には、輝度平均値Ｗ４００が最大輝度値であると判断し、輝度平均値Ｗ４００を最大輝度値Ｗ４０４に設定する（Ｓ６０３；最大輝度値Ｗ４０４の更新）。差分値が閾値Ｗ４０５より大きい場合には、輝度平均値Ｗ４００と最大輝度値Ｗ４０４を比較する（Ｓ６０２）。輝度平均値Ｗ４００が最大輝度値Ｗ４０４より大きい場合には、Ｓ６０３の処理を行う。輝度平均値Ｗ４００が最大輝度値Ｗ４０４以下の場合には、最大輝度値Ｗ４０４は保持される。
なお、図４の例では、最大輝度値の初期値として「１５０」が設定されている。
The maximum luminance value W404 is an internal signal of the
The detection process (update process) of the maximum luminance value W404 will be described with reference to FIG.
First, the
In the example of FIG. 4, “150” is set as the initial value of the maximum luminance value.
閾値Ｗ４０５は、輝度判定部２４１の内部信号であり、輝度平均値Ｗ４００と最小輝度値Ｗ４０３または最大輝度値Ｗ４０４との差分値との比較に用いられる。動き情報保持Ｗ４０２が１のとき、閾値Ｗ４０５にはユーザが設定したパラメータ値が設定される。動き情報保持Ｗ４０２が０のときには、閾値Ｗ４０５には０が設定される。即ち、動きがある場合にはユーザが設定したパラメータ値が、動きが無い場合には０が閾値Ｗ４０５に設定されることになる。なお、動きが無い場合の閾値Ｗ４０５は０より大きな値であってもよい。
The threshold value W405 is an internal signal of the
最小輝度位置Ｗ４０６は、輝度判定部２４１の内部信号であり、入力信号である輝度平均値Ｗ４００が最小輝度値であるか否かを示す信号である。最小輝度位置Ｗ４０６は、入力信号である輝度平均値Ｗ４００が最小輝度値である場合に１となり、そうでない場合に０となる。
最小輝度位置Ｗ４０６の更新処理について、図７を用いて説明する。
まず、輝度判定部２４１は、輝度平均値Ｗ４００から最小輝度値Ｗ４０３を減算し、その絶対値を差分値として算出する（Ｓ７００）。次に、該差分値と閾値Ｗ４０５を比較する（Ｓ７０１）。差分値が閾値Ｗ４０５以下である場合には、最小輝度位置Ｗ４０６に１を設定する（Ｓ７０２）。差分値が閾値Ｗ４０５より大きい場合には、最小輝度位置Ｗ４０６に０を設定する（Ｓ７０３）。
The minimum luminance position W406 is an internal signal of the
The update process of the minimum luminance position W406 will be described with reference to FIG.
First, the
最大輝度位置Ｗ４０７は、輝度判定部２４１の内部信号であり、入力信号である輝度平均値Ｗ４００が最大輝度値であるか否かを示す信号である。最大輝度位置Ｗ４０７は、入力信号である輝度平均値Ｗ４００が最大輝度値である場合に１となり、そうでない場合に０となる。
最大輝度位置Ｗ４０７の更新処理の流れは、図７に示す最小輝度位置Ｗ４０６の更新処理の流れと同様である。
まず、輝度判定部２４１は、輝度平均値Ｗ４００から最大輝度値Ｗ４０４を減算し、その絶対値を差分値として算出する。次に、該差分値と閾値Ｗ４０５を比較する。差分値が閾値Ｗ４０５以下である場合には、最大輝度位置Ｗ４０７に１を設定する。差分値が閾値Ｗ４０５より大きい場合には、最大輝度位置Ｗ４０７に０を設定する。
The maximum luminance position W407 is an internal signal of the
The flow of update processing of the maximum luminance position W407 is the same as the flow of update processing of the minimum luminance position W406 shown in FIG.
First, the
輝度位置Ｗ４０８は、輝度判定部２４１の内部信号であり、最小輝度位置Ｗ４０６と最大輝度位置Ｗ４０７のいずれかを１フレーム遅延させた信号である。輝度判定部２４１は、最小輝度位置Ｗ４０６と最大輝度位置Ｗ４０７を観測し、観測を開始してから遅く１になった方を選択し、１フレーム遅延させる。
The luminance position W408 is an internal signal of the
静動判定Ｗ４０９は、輝度判定部２４１の内部信号であり、輝度位置Ｗ４０８が静止画像データと動画像データのどちらの画像を用いて生成された信号かを表す信号である。輝度判定部２４１は、輝度位置Ｗ４０８の元信号（最小輝度位置Ｗ４０６または最大輝度位置Ｗ４０７）が１のときの動き情報保持Ｗ４０２の状態に応じて静動判定Ｗ４０９の値を決定（更新）する。具体的には、輝度位置Ｗ４０８の元信号が１のときに、動き情報保持Ｗ４０２が１であった場合には、輝度判定部２４１は、輝度位置Ｗ４０８が動画像データの画像を用いて生成されたと判断し、静動判定Ｗ４０９を１とする。輝度位置Ｗ４０８の元信号が１のときに、動き情報保持Ｗ４０２が０であった場合には、輝度判定部２４１は、輝度位置Ｗ４０８が静止画像データの画像を用いて生成されたと判断し、静動判定Ｗ４０９を０とする。なお、静動判定Ｗ４０９の値は、輝度位置Ｗ４０８に同期して切り替えられる。
The static motion determination W409 is an internal signal of the
カウンタ値Ｗ４１０は、周期検出部２４２の内部信号であり、輝度位置Ｗ４０８のアサート間隔を得るために用いられる信号である。このカウンタ値を用いて、輝度位置Ｗ４０８が一定のフレーム数おきに現れているかが検出される。
カウンタ値Ｗ４１０の更新処理について、図８を用いて説明する。
まず、周期検出部２４２は、不図示の初期化信号が生成された場合に（Ｓ８００；初期化信号＝１）、カウンタ値Ｗ４１０を０に初期化する（Ｓ８０１）。初期化信号は、判定部２４４において生成される信号であり、判定結果Ｗ４１７が１から０に立ち下がったときに生成される信号である。Ｓ８００において初期化信号が生成されていない場合には、Ｓ８０２へ進む。Ｓ８０２において輝度位置Ｗ４０８が１の場合には、カウンタ値Ｗ４１０に１を設定する（Ｓ８０３）。Ｓ８０２において輝度位置Ｗ４０８が０の場合には、Ｓ８０４へ進む。Ｓ８０４においてカウンタ値Ｗ４１０が０でない場合には、カウンタ値Ｗ
４１０に１を加算する（Ｓ８０５）。Ｓ８０４においてカウンタ値が０である場合には、入力画像は通常画像であると判断され、カウンタ値Ｗ４１０は０のままとされる。
カウンタ遅延値Ｗ４１１は、周期検出部２４２の内部信号であり、カウンタ値Ｗ４１０を１フレーム遅延させた信号である。
The counter value W410 is an internal signal of the
The update process of the counter value W410 will be described with reference to FIG.
First, when an initialization signal (not shown) is generated (S800; initialization signal = 1), the
1 is added to 410 (S805). If the counter value is 0 in S804, it is determined that the input image is a normal image, and the counter value W410 remains at 0.
The counter delay value W411 is an internal signal of the
最大カウント値Ｗ４１２は、周期検出部２４２の内部信号であり、１周期分のカウンタ遅延値Ｗ４１１（画像枚数）を示す。最大カウント値Ｗ４１２は一時的に保持される。
最大カウント値Ｗ４１２の更新処理について、図９を用いて説明する。
まず、周期検出部２４２は、不図示の初期化信号が生成された場合に（Ｓ９００）、最大カウント値Ｗ４１２を０に初期化する（Ｓ９０１）。Ｓ９００において初期化信号が生成されていない場合には、Ｓ９０２へ進む。Ｓ９０２において輝度位置Ｗ４０８が１の場合には、最大カウント値Ｗ４１２にカウンタ遅延値Ｗ４１１を設定する（Ｓ９０３）。Ｓ９０２において輝度位置Ｗ４０８が０の場合には、最大カウント値Ｗ４１２は保持される。
最大カウント遅延値Ｗ４１３は、周期検出部２４２の内部信号であり、最大カウント値Ｗ４１２を１フレーム遅延させた信号である。
The maximum count value W412 is an internal signal of the
The update process of the maximum count value W412 will be described with reference to FIG.
First, when an initialization signal (not shown) is generated (S900), the
The maximum count delay value W413 is an internal signal of the
周期信号Ｗ４１４は、周期検出部２４２の内部信号であり、一定のフレーム数おきに存在する輝度位置Ｗ４０８を示す信号である。
周期信号Ｗ４１４の更新処理について、図１０を用いて説明する。
周期検出部２４２は、輝度位置Ｗ４０８が１であり（Ｓ１０００：Ｙｅｓ）、かつ最大カウント値Ｗ４１２と最大カウント遅延値Ｗ４１３が等しければ（Ｓ１００１：Ｙｅｓ）、その輝度位置Ｗ４０８が一定のフレーム数おきに存在していると判断する。そして、周期信号Ｗ４１４に１を設定する（Ｓ１００２）。Ｓ１０００とＳ１００１の少なくともいずれかにおいて条件が成立しなければ周期信号Ｗ４１４に０を設定する（Ｓ１００３）。
The periodic signal W414 is an internal signal of the
The update process of the periodic signal W414 will be described with reference to FIG.
If the luminance position W408 is 1 (S1000: Yes) and the maximum count value W412 and the maximum count delay value W413 are equal (S1001: Yes), the
差分値Ｗ４１５は、差分算出部２４３の内部信号であり、最小輝度値Ｗ４０３と最大輝度値Ｗ４０４の差分値である。具体的には、差分値Ｗ４１５は、輝度位置Ｗ４０８が１のときに、最大輝度値Ｗ４０４から最小輝度値Ｗ４０３を減算した結果である。算出された差分値Ｗ４１５は、次に輝度位置Ｗ４０８が１になるまで保持される。
閾値Ｗ４１６は、判定部２４４の内部信号であり、差分値Ｗ４１５と比較するために用いられる。閾値Ｗ４１６には、ユーザが設定したパラメータ値が設定される。
The difference value W415 is an internal signal of the
The threshold value W416 is an internal signal of the
判定結果Ｗ４１７は、判定部２４４の内部信号であり、入力された画像がＨＤＲ画像群の画像であるか否かを示す識別信号である。
判定結果Ｗ４１７の更新処理について、図１１を用いて説明する。
判定結果Ｗ４１７は、輝度位置Ｗ４０８と周期信号Ｗ４１４が等しく（Ｓ１１００：Ｙｅｓ）、周期信号Ｗ４１４が１であり（Ｓ１１０１：Ｙｅｓ）、差分値Ｗ４１５が閾値Ｗ４１６以上（Ｓ１１０２：Ｙｅｓ）の場合に１となる（Ｓ１１０３）。また、Ｓ１１００又はＳ１１０２において条件が成立しなければ、判定結果Ｗ４１７は０となる（Ｓ１１０４）。Ｓ１１０１において条件が成立しなければ、判定結果Ｗ４１７は保持される。
The determination result W417 is an internal signal of the
The update process of the determination result W417 will be described with reference to FIG.
The determination result W417 is 1 when the luminance position W408 is equal to the periodic signal W414 (S1100: Yes), the periodic signal W414 is 1 (S1101: Yes), and the difference value W415 is greater than or equal to the threshold value W416 (S1102: Yes). (S1103). If the condition is not satisfied in S1100 or S1102, the determination result W417 becomes 0 (S1104). If the condition is not satisfied in S1101, the determination result W417 is retained.
カウンタ値Ｗ４１８は、情報生成部２４５の内部信号であり、ＨＤＲイネーブルＷ４１９及びＨＤＲ同期信号Ｗ４２０の生成に使用される信号である。カウンタ値Ｗ４１８の上限値は、最大カウント値Ｗ４１２の値である。また、情報生成部２４５は、カウンタ値Ｗ４１８を生成する際に、静動判定Ｗ４０９によってカウントの開始タイミングを異ならせる。特に静動判定Ｗ４０９が１（動画像データ）のときは、ＨＤＲ画像群の先頭フレームを検出し、そこからカウントを開始する。
カウンタ値Ｗ４１８の更新処理について、図１２を用いて説明する。
まず、情報生成部２４５は、判定結果Ｗ４１７が０の場合に（Ｓ１２００：Ｎｏ）、カ
ウンタ値Ｗ４１８を０に初期化する。判定結果Ｗ４１７が１であり（Ｓ１２００：Ｙｅｓ）、カウンタ値Ｗ４１８が０の場合には（Ｓ１２０１：Ｙｅｓ）、カウンタ値Ｗ４１８に１を設定する（Ｓ１２０６）。但し、Ｓ１２０６における設定のタイミングは、静動判定Ｗ４０９の値によって異なる。静動判定Ｗ４０９が０の場合には（Ｓ１２０２：Ｙｅｓ）、判定結果Ｗ４１７が１となったタイミングでカウンタ値Ｗ４１８に１が設定される。静動判定Ｗ４０９が１の場合には（Ｓ１２０２：Ｎｏ）、動き情報Ｗ４０１が１のとなったタイミング（Ｓ１２０３：Ｙｅｓ）でカウンタ値Ｗ４１８に１が設定される。Ｓ１２０１においてカウンタ値Ｗ４１８が０でない場合には、Ｓ１２０４へ進む。Ｓ１２０４においてカウンタ値Ｗ４１８と最大カウント値Ｗ４１２が一致しなかった場合には、カウンタ値Ｗ４１８に１を加算する（Ｓ１２０７）。また、Ｓ１２０４においてカウンタ値Ｗ４１８と最大カウント値が一致した場合には、カウンタ値Ｗ４１８が上限値であるため、カウンタ値Ｗ４１８に１を設定する（Ｓ１２０６）。
The counter value W418 is an internal signal of the
The updating process of the counter value W418 will be described with reference to FIG.
First, when the determination result W417 is 0 (S1200: No), the
ＨＤＲイネーブルＷ４１９は、情報生成部２４５の出力信号であり、入力された画像がＨＤＲ画像群の画像であるか否かを示す識別信号である。ＨＤＲイネーブルＷ４１９は、カウンタ値Ｗ４１８が０以外のときに１となり、カウンタ値Ｗ４１８が０のときに０となる。
ＨＤＲ同期信号Ｗ４２０は、情報生成部２４５の出力信号であり、ＨＤＲ合成用の同期信号である。ＨＤＲ同期信号Ｗ４２０は、カウンタ値Ｗ４１８が１のときに１となり、カウンタ値Ｗ４１８が１以外のときに０となる。
ＨＤＲ画像枚数Ｗ４２１は、情報生成部２４５の出力信号であり、ＨＤＲ画像群の１周期内の画像枚数を示す信号である。情報生成部２４５は、ＨＤＲイネーブルＷ４１９とＨＤＲ同期信号Ｗ４２０の両方が１のときの最大カウント値Ｗ４１２を保持し、ＨＤＲ画像枚数Ｗ４２１として出力する。
The HDR enable W419 is an output signal of the
The HDR synchronization signal W420 is an output signal of the
The HDR image number W421 is an output signal of the
次に、情報生成部２４５で生成されるＨＤＲ情報の利用例について、図１３を用いて説明する。図１３は、不図示のＯＳＤ制御部を用いてＨＤＲ情報を利用する場合の例である。
ＯＳＤ制御部は、情報生成部２４５より取得したＨＤＲ情報をもとに、ＨＤＲ画像識別情報１３０１を表示部（表示パネル）で表示するか否かを制御する。具体的には、ＯＳＤ制御部は、情報生成部２４５からＨＤＲイネーブルＷ４１９を取得し、ＨＤＲイネーブルＷ４１９が１のときに画像識別情報１３０１を表示し、ＨＤＲイネーブルＷ４１９が０とき画像識別情報１３０１を表示しない、という制御を行う。画像識別情報１３０１は、表示されている画像がＨＤＲ画像群の画像であることを示す情報である。これにより、視聴者は、表示部１３００に表示されている画像がＨＤＲ画像群の画像であるか否かを判別できる。
Next, a usage example of the HDR information generated by the
The OSD control unit controls whether to display the HDR
このように、ＨＤＲ情報は、他の処理部において有効利用されることを目的として生成される。上述した例以外に、ＨＤＲ情報は、ダイナミックガンマ処理を行う処理部において、ＨＤＲ画像群に対して特定のテーブルを用いる制御に利用されることも想定できる。更には、ＨＤＲ合成を行う処理部において、ＨＤＲ合成するか否かの制御や合成枚数の制御などに利用されることも想定できる。 Thus, the HDR information is generated for the purpose of being effectively used in other processing units. In addition to the example described above, the HDR information can be assumed to be used for control using a specific table for the HDR image group in a processing unit that performs dynamic gamma processing. Furthermore, it can be assumed that the processing unit that performs HDR composition is used for control of whether or not to perform HDR composition, control of the number of composites, and the like.
以上、本実施例によれば、図１で示すような通常画像とＨＤＲ画像群が混在した画像データ、及びＨＤＲ画像群の有無を示す情報が含まれていない画像データからＨＤＲ画像群を検出することができる。具体的には、代表輝度値のフレーム間の変化の周期性及び１周期内の代表輝度値の変化といったＨＤＲ画像群が有する特徴（規則性）に注目することにより、ＨＤＲ画像群を検出することができる。また、ＨＤＲ画像群に対し該ＨＤＲ画像群に関するＨＤＲ情報を生成することで、その情報を他の処理部にて有効利用することができる。 As described above, according to the present embodiment, the HDR image group is detected from the image data in which the normal image and the HDR image group are mixed as shown in FIG. 1 and the image data not including the information indicating the presence or absence of the HDR image group. be able to. Specifically, the HDR image group is detected by paying attention to the characteristics (regularity) of the HDR image group such as the periodicity of the change of the representative luminance value between frames and the change of the representative luminance value within one period. Can do. In addition, by generating HDR information related to the HDR image group for the HDR image group, the information can be effectively used in other processing units.
＜実施例２＞
次に、本発明の実施例２に係る画像処理装置について説明する。
従来、インタレース方式の画像データ（インタレース画像データ）を補間によりプログレッシブ方式の画像データ（プログレッシブ画像データ）に変換する技術がある（ＩＰ変換処理）。また、そのようなＩＰ変換処理として、フィールド間の動きに応じてフィールド内補間とフィールド間補間とを切り替えて画像データの変換を行う動き適応型ＩＰ変換処理がある。しかしながら、ＨＤＲ画像群を含むインタレース画像データに対し動き適応型ＩＰ変換処理を施すと、（ＨＤＲ画像群のフィールドは意図的に輝度が調整されているため）、変換後の画像データ（プログレッシブ画像データ）の画質が不均一になってしまう。
そこで、本実施例では、インタレース画像データからＨＤＲ画像群を検出し、その検出結果に応じてＩＰ変換処理の方法を切り替える。それにより、ＨＤＲ画像群を含むインタレース画像データを、画質を劣化させることなくＩＰ変換することが可能となる。
<Example 2>
Next, an image processing apparatus according to
Conventionally, there is a technique for converting interlaced image data (interlaced image data) into progressive image data (progressive image data) by interpolation (IP conversion processing). Further, as such IP conversion processing, there is a motion adaptive IP conversion processing in which image data conversion is performed by switching between intra-field interpolation and inter-field interpolation according to the motion between fields. However, when motion adaptive IP conversion processing is performed on interlaced image data including an HDR image group (because the brightness of the HDR image group field is intentionally adjusted), the converted image data (progressive image) Data) image quality is uneven.
Therefore, in this embodiment, the HDR image group is detected from the interlaced image data, and the IP conversion processing method is switched according to the detection result. As a result, it is possible to IP convert interlaced image data including an HDR image group without degrading image quality.
図１４は本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。図１４に示すように、本実施例に係る画像処理装置は、フィールド内補間部２、フィールド間補間部３、周期検出部４、動き検出部５、セレクタ６などを有する。
フィールド内補間部２は、入力されたインタレース画像データをフィールド内補間によりプログレッシブ画像データに変換する。フィールド内補間は、処理対象のフィールド内の画素を用いて補間画素を生成する方法である。例えば、処理対象のフィールドにおいて、補間画素を生成するライン（補間ライン）の上下のライン上の画素値を用いて補間画素の画素値が決定される。
フィールド間補間部３は、入力されたインタレース画像データをフィールド間補間によりプログレッシブ画像データに変換する。フィールド間補間は、処理対象のフィールドの１つ前、１つ後、またはそれらの両方のフィールドの画素を用いて補間画素を生成する方法である。例えば、処理対象のフィールドの１つ前のフィールドの画素値（補間画素の生成位置と同じ位置の画素値）を用いて補間画素の画素値が決定される。
FIG. 14 is a block diagram illustrating an example of a functional configuration of the image processing apparatus according to the present embodiment. As shown in FIG. 14, the image processing apparatus according to the present embodiment includes an
The
The
周期検出部４は、入力されたインタレース画像データのフィールド毎に、そのフィールドの輝度ヒストグラムなどの輝度統計量を取得し、輝度平均値を算出する。なお、輝度統計量は画像解析により取得（生成）してもよいし、インタレース画像データにメタ情報として付加されていてもよい。周期検出部４は、そのような統計量を用いて、輝度平均値のフィールド間の変化の周期性を検出し、１周期内の輝度平均値の変化に基づいてインタレース画像データからＨＤＲ画像群を検出する。なお、インタレース画像データにメタ情報としてＨＤＲ画像群を識別する情報が付加されている場合には、ＨＤＲ画像群の検出は特に必要ないことは言うまでもない。
For each field of the input interlaced image data, the
動き検出部５は、時間的に連続する２フィールドを用いて、それらのフィールド間の動き（動きベクトル）を検出する。但し、ＨＤＲ画像群間の動きを検出する場合には、ＨＤＲ画像群内の時間位置（周期検出部４で検出された１周期内の時間位置）が同じ、即ち、輝度が対応するフィールド同士が比較される。
The
例えば、図１９に示すように、Ｈ，Ｈ，Ｌ，Ｌの順番で並んだＨＤＲ画像群間の動きを検出する場合には、Ｈのｏｄｄフィールド同士、Ｈのｅｖｅｎフィールド同士、Ｌのｏｄｄフィールド同士、または、Ｌのｅｖｅｎフィールド同士を比較すればよい。Ｈのｏｄｄフィールド同士、Ｈのｅｖｅｎフィールド同士、Ｌのｏｄｄフィールド同士、及び、Ｌのｅｖｅｎフィールド同士の全てについて比較を行ってもよい。ここで、“Ｈ”は輝度の高いフィールドを、“Ｌ”は輝度の低いフィールドを表す。ｏｄｄフィールドは奇数ラインのみで構成されるフィールド、ｅｖｅｎフィールドは偶数ラインのみで構成されるフィー
ルドを表す。
For example, as shown in FIG. 19, when detecting motion between HDR image groups arranged in the order of H, H, L, and L, the odd fields of H, the even fields of H, and the odd field of L Or the even fields of L may be compared with each other. The comparison may be performed for all of the odd fields of H, the even fields of H, the odd fields of L, and the even fields of L. Here, “H” represents a field with high luminance, and “L” represents a field with low luminance. The odd field represents a field composed of only odd lines, and the even field represents a field composed of only even lines.
セレクタ６は、周期検出部４の検出結果と動き検出部５の検出結果に応じて、フィールド内補間部２で生成された補間画素とフィールド間補間部３で生成された補間画素を切り替えて取得し、表示装置へ出力する。本実施例では、ＨＤＲ画像群のフィールドに対しては、フィールド内補間部２で生成された補間画素を生成する。それにより、他のフィールド（輝度が大きく異なるフィールド）の画素値を用いて補間画素が生成されないため、ＩＰ変換処理後に画質が不均一になってしまうことを抑制することができる。
なお、フィールド内補間部２で生成されたフレームとフィールド間補間部３で生成されたフレームの両方を取得し、周期検出部４の検出結果と動き検出部５の検出結果に応じた比で、それらのフレームを合成して出力してもよい。補間画素以外の画素は、フィールド内補間部２とフィールド間補間部３のどちらから取得してもよい。
The
It should be noted that both the frame generated by the
次に、図１５を用いて、本実施例のＩＰ変換処理の流れについて説明する。
まず、セレクタ６が垂直同期信号が１か否かを判断する（Ｓ１５０１）。これは、ＩＰ変換処理を入力されるインタレース画像データの垂直同期信号に同期させるため、即ち、フィールド単位で処理を行うための処理である。垂直同期信号が１であった場合には、Ｓ１５０２へ進む。
Ｓ１５０２では、周期検出部４がＨＤＲ画像群の検出を行う（ＨＤＲ画像群検出処理）。ＨＤＲ画像群検出処理については後で詳しく説明する。
次に、セレクタ６が入力されたフィールドがＨＤＲ画像群のフィールドか否かを判断する（Ｓ１５０３）。具体的には、後述するＨＤＲ＿ＦＬＧ変数が１または２の場合に入力されたフィールドがＨＤＲ画像群のフィールドであると判断し、ＨＤＲ＿ＦＬＧ変数が０の場合に入力されたフィールドがＨＤＲ画像群のフィールドではないと判断する。入力されたフィールドがＨＤＲ画像群のフィールドであった場合には、Ｓ１５０４へ進み、入力されたフィールドがＨＤＲ画像群のフィールドでなかった場合には、Ｓ１５０５へ進む。
Next, the flow of IP conversion processing according to the present embodiment will be described with reference to FIG.
First, the
In S1502, the
Next, it is determined whether the field to which the
Ｓ１５０４では、セレクタ６がフィールド内補間部２で生成された補間画素を取得し、表示装置へ出力する。即ち、ＨＤＲ画像群に対してはフィールド内補間によるＩＰ変換処理（フィールド内補間処理）が施される。
Ｓ１５０５では、セレクタ６が動き検出部５の検出結果に応じてフィールド内補間部２で生成された補間画素とフィールド間補間部３で生成された補間画素を切り替えて取得し、表示装置へ出力する。具体的には、動きのある位置に対してはフィールド内補間部２で生成された補間画素が割り当てられ、動きの無い位置に対してはフィールド間補間部３で生成された補間画素が割り当てられる。即ち、ＨＤＲ画像群以外の画像に対しては通常の動き適応型ＩＰ変換処理が施される。
そして、セレクタ６がＩＰ変換処理を終了するか否かを判断し（Ｓ１５０６）、終了しない場合にはＳ１５０１へ戻る。例えば、上記処理はインタレース画像データの最後のフィールドに対する処理が完了したり、ユーザによって処理の停止が指示されたりするまで繰り返し行われる。
In S1504, the
In step S <b> 1505, the
Then, the
次に、図１６を用いて、ＨＤＲ画像群検出処理について説明する。
まず、周期検出部４が輝度情報取得処理を行う（Ｓ１６０１）。輝度情報取得処理は、入力画像データのフィールドが“Ｈ”か“Ｌ”を識別する輝度情報を取得し、内部メモリに格納する処理である。輝度情報取得処理については後で詳しく説明する。
Next, HDR image group detection processing will be described with reference to FIG.
First, the
Ｓ１６０２，Ｓ１６０４では、周期検出部４が、Ｓ１６０１で取得した輝度情報のパターンが所定のパターンか否かを判断し、処理対象のフィールドがＨＤＲ画像群のフィールドか否かを判断する。
具体的には、処理対象のフィールドがＨ，Ｌ，Ｈ，Ｌ・・・の順で並ぶフィールド群の
フィールドである場合、周期検出部４が処理対象のフィールドがＨＤＲ画像群のフィールドであると判断し、Ｓ１６０３へ進む。処理対象のフィールドがＨ，Ｈ，Ｌ，Ｌ・・・の順で並ぶフィールド群のフィールドである場合、周期検出部４が処理対象のフィールドがＨＤＲ画像群のフィールドであると判断し、Ｓ１６０５へ進む。また、処理対象のフィールドが上述したフィールド群以外のフィールドである場合、周期検出部４は処理対象のフィールドがＨＤＲ画像群の画像ではないと判断し、Ｓ１６０６へ進む。
In S1602 and S1604, the
Specifically, when the processing target field is a field group field arranged in the order of H, L, H, L..., The
Ｓ１６０３では、周期検出部４がＨＤＲ＿ＦＬＧ変数に１を設定し、処理を終了する（Ｓ１５０３へ進む）。
Ｓ１６０５では、周期検出部４がＨＤＲ＿ＦＬＧ変数に２を設定し、処理を終了する（Ｓ１５０３へ進む）。
Ｓ１６０６では、周期検出部４がＨＤＲ＿ＦＬＧ変数に０を設定し、処理を終了する（Ｓ１５０３へ進む）。
In S1603, the
In S1605, the
In S1606, the
なお、所定のパターンは上述したパターンに限らない。例えば、輝度情報を“Ｈ”と“Ｌ”の２段階ではなく、３段階以上とし、より細かいパターンが予め用意されていてもよい。所定のパターンはＨＤＲ画像群を表すパターンであればどのようなパターンであってもよい。また、本実施例ではパターンがＨ，Ｌ，Ｈ，Ｌの場合とＨ，Ｈ，Ｌ，Ｌの場合とで設定するＨＤＲ＿ＦＬＧ変数を異ならせる構成としたが、ＨＤＲ画像群のフィールドに対して共通のＨＤＲ＿ＦＬＧ変数を設定する構成であってもよい。但し、パターン毎にＨＤＲ＿ＦＬＧ変数を異ならせれば、処理対象のフィールドがどの様なパターンのＨＤＲ画像群のフィールドかを判断することが可能となる。 The predetermined pattern is not limited to the pattern described above. For example, the brightness information may be three or more levels instead of two levels of “H” and “L”, and a finer pattern may be prepared in advance. The predetermined pattern may be any pattern as long as it represents the HDR image group. In this embodiment, the HDR_FLG variable is set to be different for patterns H, L, H, L and H, H, L, L. However, the pattern is common to the HDR image group fields. The configuration may be such that the HDR_FLG variable is set. However, if the HDR_FLG variable is varied for each pattern, it is possible to determine what pattern the HDR image group is the field to be processed.
次に、図１７を用いて、輝度情報取得処理について説明する。
まず、周期検出部４が、入力されたフィールドから輝度ヒストグラムを取得し、輝度平均値を算出する（Ｓ１７０１）。
そして、周期検出部４が、Ｓ１７０１で算出した輝度平均値が所定の閾値より大きいか否かを判定する（Ｓ１７０２）。輝度平均値が所定の閾値より大きい場合には（Ｓ１７０１：Ｙｅｓ）、Ｓ１７０３へ進み、所定の閾値以下の場合には（Ｓ１７０１：Ｎｏ）、Ｓ１７０４へ進む。
Next, the luminance information acquisition process will be described with reference to FIG.
First, the
Then, the
Ｓ１７０３では、周期検出部４が、入力されたフィールドの輝度情報を“Ｈ”とし、処理を終了する（Ｓ１６０２へ進む）。
Ｓ１７０４では、周期検出部４が、入力されたフィールドの輝度情報を“Ｌ”とし、処理を終了する（Ｓ１６０２へ進む）。
In S1703, the
In S1704, the
このように、本実施例によれば、フィールドの輝度情報を時系列に記録することができる。また、そのように記録された輝度情報を用いて、画像データからＨＤＲ画像群を検出することができる。更に、ＨＤＲ画像群の輝度のパターンを判別することができる。そして、ＨＤＲ画像群のフィールドに対してはフィールド内補間により補間画素が生成されるため、画質を劣化させることなくＩＰ変換することが可能となる。 Thus, according to the present embodiment, it is possible to record the luminance information of the field in time series. Further, the HDR image group can be detected from the image data by using the luminance information recorded as such. Furthermore, the luminance pattern of the HDR image group can be determined. Since the interpolation pixels are generated by intra-field interpolation for the fields of the HDR image group, it is possible to perform IP conversion without degrading the image quality.
なお、本実施例では、輝度平均値から“Ｈ”か“Ｌ”かを判定する構成としたが、輝度平均値を算出せずに、輝度ヒストグラムの分布に応じて“Ｈ”か“Ｌ”かを判定してもよい。例えば、所定の輝度値以上の輝度値に所定数以上の度数が分布しているフィールドを“Ｈ”と判定してもよい。また、入力されたフィールドのメタ情報を参照することにより“Ｈ”か“Ｌ”かを判定してもよい。 In this embodiment, it is determined whether the luminance average value is “H” or “L”, but “H” or “L” is calculated according to the distribution of the luminance histogram without calculating the luminance average value. It may be determined. For example, a field in which a predetermined number of frequencies or more are distributed in luminance values equal to or higher than a predetermined luminance value may be determined as “H”. Further, “H” or “L” may be determined by referring to meta information of the input field.
なお、フィールドがＨ，Ｈ，Ｌ，Ｌ・・・の順で並んでいる場合には、動きの有無に応じて以下のようにＩＰ変換処理を行ってもよい。
例えば、ＨＤＲ画像群間に動きがある場合には、上述したようにフィールド内補間によるＩＰ変換処理を行う。
そして、ＨＤＲ画像群間に動きが無い場合には、図１８に示すように、同じ輝度情報のｏｄｄフィールドとｅｖｅｎフィールドを用いて、フィールド間補間によるＩＰ変換処理を行う。具体的には、処理対象のフィールドが“Ｈ”のｏｄｄフィールドである場合には、時間的に隣接する“Ｈ”のｅｖｅｎフィールドを用いて、フィールド間補間によるＩＰ変換処理を行う。
このような構成にすることにより、ＨＤＲ画像群に対しても動き適応型ＩＰ変換処理を行うことができる。その結果、図１５の方法に比べ、ＨＤＲ画像群間に動きが無い場合に、より高画質なプログレッシブ画像データを生成することが可能となる。
If the fields are arranged in the order of H, H, L, L..., IP conversion processing may be performed as follows according to the presence or absence of motion.
For example, when there is a motion between HDR image groups, IP conversion processing by intra-field interpolation is performed as described above.
Then, when there is no motion between HDR image groups, as shown in FIG. 18, IP conversion processing by inter-field interpolation is performed using an odd field and an even field of the same luminance information. Specifically, when the field to be processed is an odd field of “H”, IP conversion processing by inter-field interpolation is performed using an even field of “H” that is temporally adjacent.
By adopting such a configuration, it is possible to perform the motion adaptive IP conversion processing for the HDR image group. As a result, it is possible to generate progressive image data with higher image quality when there is no movement between the HDR image groups as compared with the method of FIG.
なお、フィールドがＨ，Ｈ，Ｌ，Ｌ・・・の順で並んでいる場合には、補間処理は２フィールドに１回だけ行ってもよい。具体的には、プログレッシブ画像データにおいて、同じ輝度情報の２つのフレームのうち、１つ目のフレームを補間処理により生成、出力し、２つ目のフレームとして前フレーム（１つ目のフレーム）を出力してもよい。 If the fields are arranged in the order of H, H, L, L..., The interpolation process may be performed only once every two fields. Specifically, in progressive image data, the first frame of two frames having the same luminance information is generated and output by interpolation processing, and the previous frame (first frame) is used as the second frame. It may be output.
２３０ 輝度統計量抽出部
２４２ 周期検出部
２４３ 差分算出部
２４４ 判定部
230 Brightness
Claims (12)
前記代表輝度値算出手段で算出された代表輝度値のフレーム間の変化に周期性があるか否かを判断する周期判断手段と、
前記周期判断手段により代表輝度値のフレーム間の変化に周期性があると判断された場合に、１周期内の代表輝度値の変化に基づいて、前記入力された画像データから異なる露出で同一の被写体を撮影することにより得られた複数の画像であるＨＤＲ画像群とみなす画像群を検出するＨＤＲ検出手段と、
を有し、
１周期内の代表輝度値の最大値または最小値である評価値の初期値が予め定められており、
前記周期判断手段は、
前記フレーム毎に、そのフレームの代表輝度値と前記評価値との差分の絶対値が第２の閾値以下である場合に、前記評価値を当該フレームの代表輝度値に更新し、
前記評価値の更新が一定のフレーム数おきに行われる場合に、代表輝度値のフレーム間の変化に周期性があると判断し、
前記ＨＤＲ検出手段は、１周期内の代表輝度値の最大値と最小値の差分の絶対値が第１の閾値以上である場合に、対応する周期内の複数のフレームが前記ＨＤＲ画像群のフレームであると判定する
ことを特徴とする画像検出装置。 For each frame of the input image data, representative luminance value calculating means for calculating a representative luminance value that is a luminance value representative of the frame;
A period determining means for determining whether or not there is a periodicity in the change of the representative luminance value calculated by the representative luminance value calculating means between the frames;
When it is determined by the period determining means that the change in the representative luminance value between frames is periodic, based on the change in the representative luminance value within one period, the input image data has the same exposure with different exposures. HDR detecting means for detecting an image group regarded as an HDR image group which is a plurality of images obtained by photographing a subject;
I have a,
The initial value of the evaluation value which is the maximum value or the minimum value of the representative luminance value within one cycle is determined in advance.
The period determining means includes
For each frame, when the absolute value of the difference between the representative luminance value of the frame and the evaluation value is less than or equal to a second threshold, the evaluation value is updated to the representative luminance value of the frame,
When the evaluation value is updated every certain number of frames, it is determined that the change in the representative luminance value between frames is periodic,
When the absolute value of the difference between the maximum value and the minimum value of the representative luminance value within one period is equal to or greater than the first threshold, the HDR detection unit is configured to select a plurality of frames within the corresponding period as frames of the HDR image group. It is determined that the image detecting apparatus is an image detecting apparatus.
前記周期判断手段は、前記フレーム間の動きが検出されている場合に、前記フレーム間の動きが検出されていない場合よりも大きな値を前記第２の閾値に設定する
ことを特徴とする請求項１に記載の画像検出装置。 Motion detection means for detecting motion between frames of the input image data;
The period determining means sets a larger value as the second threshold value when the movement between the frames is detected than when the movement between the frames is not detected. image detection apparatus according to 1.
ことを特徴とする請求項１または２に記載の画像検出装置。 The representative luminance value, the image sensing apparatus according to claim 1 or 2 the average luminance value of the frame, or the frequency in the luminance histogram of the frame, characterized in that a luminance value becomes a peak.
ことを特徴とする請求項１〜３のいずれか１項に記載の画像検出装置。 Image detection apparatus according to any one of claims 1 to 3, further comprising a generating means for generating a HDR information indicating the detection result of the HDR detecting means.
ことを特徴とする請求項４に記載の画像検出装置。 The HDR information, frame HDR image group, HDR image group of the synchronization signal, and, according to claim 4, characterized in that it comprises one number of frames included in the HDR image group, of at least any one Image detection device.
前記変換手段は、ＨＤＲ画像群のフィールドに対しては、処理対象のフィールド内の画素を用いて補間画素を生成するフィールド内補間により補間画素を生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像検出装置。 Further comprising conversion means for converting interlaced image data into progressive image data by interpolation;
And the converting means, for field HDR images, according to claim 1 to 5, characterized in that generating an interpolation pixel by intra-field interpolation to generate an interpolated pixel by using the pixels in the field of the processing target The image detection apparatus according to any one of claims.
入力された画像データのフレーム毎に、そのフレームを代表する輝度値である代表輝度値を算出する代表輝度値算出ステップと、
前記代表輝度値算出ステップで算出された代表輝度値のフレーム間の変化に周期性があるか否かを判断する周期判断ステップと、
前記周期判断ステップにより代表輝度値のフレーム間の変化に周期性があると判断された場合に、１周期内の代表輝度値の変化に基づいて、前記入力された画像データから異なる露出で同一の被写体を撮影することにより得られた複数の画像であるＨＤＲ画像群とみなす画像群を検出するＨＤＲ検出ステップと、
を有し、
１周期内の代表輝度値の最大値または最小値である評価値の初期値が予め定められており、
前記周期判断ステップでは、
前記フレーム毎に、そのフレームの代表輝度値と前記評価値との差分の絶対値が第２の閾値以下である場合に、前記評価値を当該フレームの代表輝度値に更新し、
前記評価値の更新が一定のフレーム数おきに行われる場合に、代表輝度値のフレーム間の変化に周期性があると判断し、
前記ＨＤＲ検出ステップでは、１周期内の代表輝度値の最大値と最小値の差分の絶対値が第１の閾値以上である場合に、対応する周期内の複数のフレームが前記ＨＤＲ画像群のフレームであると判定する
ことを特徴とする画像検出方法。 An image detection method executed by an image detection apparatus,
A representative luminance value calculating step for calculating a representative luminance value, which is a luminance value representing the frame, for each frame of the input image data;
A period determining step for determining whether or not a change between frames of the representative luminance value calculated in the representative luminance value calculating step has periodicity;
When it is determined that the change in the representative luminance value between the frames is periodic in the cycle determining step, the same exposure with different exposure from the input image data is performed based on the change in the representative luminance value within one cycle. An HDR detection step for detecting an image group regarded as an HDR image group , which is a plurality of images obtained by photographing a subject;
I have a,
The initial value of the evaluation value which is the maximum value or the minimum value of the representative luminance value within one cycle is determined in advance.
In the period determining step,
For each frame, when the absolute value of the difference between the representative luminance value of the frame and the evaluation value is less than or equal to a second threshold, the evaluation value is updated to the representative luminance value of the frame,
When the evaluation value is updated every certain number of frames, it is determined that the change in the representative luminance value between frames is periodic,
In the HDR detection step, when the absolute value of the difference between the maximum value and the minimum value of the representative luminance value in one cycle is equal to or greater than the first threshold, a plurality of frames in the corresponding cycle are frames of the HDR image group. It is determined that the image is detected.
前記周期判断ステップでは、前記フレーム間の動きが検出されている場合に、前記フレーム間の動きが検出されていない場合よりも大きな値を前記第２の閾値に設定する
ことを特徴とする請求項７に記載の画像検出方法。 A motion detection step of detecting a motion between frames of the input image data;
The period determination step is characterized in that when the motion between the frames is detected, a larger value is set as the second threshold value than when the motion between the frames is not detected. 8. The image detection method according to 7 .
ことを特徴とする請求項７または８のいずれか１項に記載の画像検出方法。 9. The image detection method according to claim 7 , wherein the representative luminance value is an average luminance value of a frame or a luminance value having a frequency in a luminance histogram of the frame.
ことを特徴とする請求項７〜９のいずれか１項に記載の画像検出方法。 Image detecting method according to any one of claims 7-9, characterized by further comprising a generation step of generating a HDR information indicating the detection result of the HDR detection step.
ことを特徴とする請求項１０に記載の画像検出方法。 The HDR information, frame HDR image group, HDR image group of the synchronization signal, and, according to claim 10, characterized in that it comprises one number of frames included in the HDR image group, of at least any one Image detection method.
前記変換ステップでは、ＨＤＲ画像群のフィールドに対しては、処理対象のフィールド内の画素を用いて補間画素を生成するフィールド内補間により補間画素を生成する
ことを特徴とする請求項７〜１１のいずれか１項に記載の画像検出方法。
A conversion step of converting interlaced image data to progressive image data by interpolation;
The conversion step is, for the field of HDR images, according to claim 7 to 11, characterized in that to generate the interpolation pixel by intra-field interpolation to generate an interpolated pixel by using the pixels in the field of the processing target The image detection method according to any one of claims.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010153061A JP5627319B2 (en) | 2010-07-05 | 2010-07-05 | Image detection apparatus and image detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010153061A JP5627319B2 (en) | 2010-07-05 | 2010-07-05 | Image detection apparatus and image detection method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012014627A JP2012014627A (en) | 2012-01-19 |
| JP2012014627A5 JP2012014627A5 (en) | 2013-08-15 |
| JP5627319B2 true JP5627319B2 (en) | 2014-11-19 |
Family
ID=45600942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010153061A Expired - Fee Related JP5627319B2 (en) | 2010-07-05 | 2010-07-05 | Image detection apparatus and image detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5627319B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10582269B2 (en) | 2014-07-11 | 2020-03-03 | Lg Electronics Inc. | Method and device for transmitting and receiving broadcast signal |
| EP3169072A4 (en) * | 2014-07-11 | 2017-11-15 | LG Electronics Inc. -1- | Method and device for transmitting and receiving broadcast signal |
| JP2016122985A (en) * | 2014-12-25 | 2016-07-07 | 株式会社東芝 | Image processing system, image processing apparatus and image processing method |
| JP6697264B2 (en) * | 2015-12-28 | 2020-05-20 | 日本テレビ放送網株式会社 | Video discriminating apparatus, television receiver and video discriminating method |
| KR102594201B1 (en) * | 2016-09-22 | 2023-10-27 | 삼성디스플레이 주식회사 | Method of processing image and display apparatus performing the same |
| CN107545871B (en) * | 2017-09-30 | 2020-03-24 | 青岛海信电器股份有限公司 | Image brightness processing method and device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002314885A (en) * | 2001-04-09 | 2002-10-25 | Toshiba Corp | Imaging device |
| JP4640614B2 (en) * | 2006-05-09 | 2011-03-02 | ソニー株式会社 | Imaging device |
-
2010
- 2010-07-05 JP JP2010153061A patent/JP5627319B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012014627A (en) | 2012-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5627319B2 (en) | Image detection apparatus and image detection method | |
| US8189941B2 (en) | Image processing device, display device, image processing method, and program | |
| JP3850071B2 (en) | Conversion device and conversion method | |
| US8072498B2 (en) | Image processing apparatus, image processing method, and computer program | |
| TWI466543B (en) | Advanced deinterlacer for high-definition and standard-defintion video | |
| KR100838351B1 (en) | Method and Device for Generating 3D Images | |
| CN1694502B (en) | Ticker processing in video sequences | |
| JP2008167102A (en) | Video processor and video display device provided with same | |
| JP4031389B2 (en) | Image conversion apparatus and image conversion method | |
| US10230920B1 (en) | Adjusting interpolation phase for MEMC using image analysis | |
| WO2016031402A1 (en) | Image pickup device and control method for image pickup device | |
| JP2007274411A (en) | Device and method for detecting pull-down signal, and device and method for converting sequential scanning | |
| JP2006109488A (en) | Video processing device capable of selecting field and method thereof | |
| JP2012169727A (en) | Image signal processor and image signal processing method | |
| US8164689B2 (en) | Synchronizing signal control circuit and synchronizing signal control method | |
| US8203650B2 (en) | Pull-down signal detecting apparatus, pull-down signal detecting method, and video-signal converting apparatus | |
| JP4580347B2 (en) | Flicker video conversion device, program and method thereof, and video display device | |
| KR101838342B1 (en) | Image processing device, image processing method, and recording medium | |
| JP4031390B2 (en) | Image conversion apparatus and image conversion method | |
| JP2006195206A (en) | Video projection system | |
| JP5123643B2 (en) | Video processing device | |
| CN101742082A (en) | Moving-image processing apparatus and method therefor | |
| JP2012191366A (en) | Generation device and generation method | |
| WO2012169096A1 (en) | Image display device and image processing device | |
| JP2009124261A5 (en) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130701 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130701 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140902 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140930 |
|
| LAPS | Cancellation because of no payment of annual fees |