JP5266806B2 - Image format estimation apparatus, method and program - Google Patents
Image format estimation apparatus, method and program Download PDFInfo
- Publication number
- JP5266806B2 JP5266806B2 JP2008059789A JP2008059789A JP5266806B2 JP 5266806 B2 JP5266806 B2 JP 5266806B2 JP 2008059789 A JP2008059789 A JP 2008059789A JP 2008059789 A JP2008059789 A JP 2008059789A JP 5266806 B2 JP5266806 B2 JP 5266806B2
- Authority
- JP
- Japan
- Prior art keywords
- image format
- image
- format
- candidate
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Description
本発明は、画像形式推定装置、方法及びプログラムに関し、例えば、画像形式を含まない若しくは利用できない画像(画像信号)から、画像形式を推定しようとする場合に適用し得るものである。 The present invention relates to an image format estimation apparatus, method, and program, and can be applied, for example, when an image format is to be estimated from an image (image signal) that does not include or cannot be used.
特許文献1では、静止画像に対して、画像を表示するための1画素当りの割り当てビット数や、画像の幅、高さなどの画像格納情報が不明確な場合に、画像データから離散フーリエ変換を用いて自動的に画像の横の周期性を計算し、それをもとに画像の横幅を推定し、その値を用いて画像を表示することができる画像表示方法が記載されている。
しかし、特許文献1の記載技術では、離散フーリエ変換により画像の横幅を推定しているため、静止画が連続して定期に配置されているような動画の場合には、縦方向の大きさを検出できないという問題があった。言い換えると、特許文献1の記載技術では静止画像に対する技術であり、動画像には対応していない。
However, in the technique described in
また、特許文献1の記載技術では、画像データに対して離散フーリエ変換を行い、ビット列の周期を計算していたため、演算量が非常に多いという問題があった。
In addition, the technique described in
そのため、画像形式の情報が不明な画像データが入力されたときに、高速に画像形式を推定できる、入力画像データが動画像でも対応できる画像形式推定装置、方法及びプログラムが望まれている。 Therefore, there is a demand for an image format estimation apparatus, method, and program that can estimate an image format at high speed when image data with unknown image format information is input, and that can handle input image data even with moving images.
第1の本発明の画像形式推定装置は、画像形式の候補を複数種類登録している画像形式候補登録手段と、上記画像形式候補登録手段に登録されている各画像形式候補のそれぞれについて、画像形式が不明の入力画像データが、その画像形式候補の画像形式を採用していると仮定した場合における、入力画像データについての評価値を算出する評価値算出手段と、最も評価が良い算出された評価値に係る画像形式候補を、画像形式が不明の入力画像データの画像形式に推定する画像形式推定手段とを有し、上記評価値算出手段は、入力画像データが画像形式候補の画像形式を採用していると仮定した場合における、入力画像データの縦方向の類似性若しくは入力画像データの時間方向の類似性の少なくとも一方を反映させた評価値を算出することを特徴とする。 An image format estimation apparatus according to a first aspect of the present invention includes an image format candidate registration unit that registers a plurality of types of image format candidates, and an image format candidate registered in the image format candidate registration unit. When the input image data whose format is unknown is assumed to adopt the image format of the image format candidate, evaluation value calculation means for calculating an evaluation value for the input image data, and the highest evaluation was calculated Image format estimation means for estimating the image format candidate related to the evaluation value to the image format of the input image data whose image format is unknown, and the evaluation value calculation means includes the image format of the input image data as the image format candidate. this calculating on the assumption that employs the vertical direction evaluation value that reflects at least one time the direction of the similarity of the similarity or the input image data of the input image data The features.
第2の本発明の画像形式推定方法は、画像形式候補登録手段、評価値算出手段及び画像形式推定手段を有し、上記画像形式候補登録手段は、画像形式の候補を複数種類登録しており、上記評価値算出手段は、上記画像形式候補登録手段に登録されている各画像形式候補のそれぞれについて、画像形式が不明の入力画像データが、その画像形式候補の画像形式を採用していると仮定した場合における、入力画像データの縦方向の類似性若しくは入力画像データの時間方向の類似性の少なくとも一方を反映させた評価値を算出し、上記画像形式推定手段は、最も評価が良い算出された評価値に係る画像形式候補を、画像形式が不明の入力画像データの画像形式に推定することを特徴とする。 The image format estimation method of the second aspect of the present invention includes an image format candidate registration unit, an evaluation value calculation unit, and an image format estimation unit, and the image format candidate registration unit registers a plurality of types of image format candidates. The evaluation value calculating means uses, for each of the image format candidates registered in the image format candidate registration means, input image data whose image format is unknown adopts the image format of the image format candidate. When the assumption is made, an evaluation value reflecting at least one of the similarity in the vertical direction of the input image data or the similarity in the time direction of the input image data is calculated, and the image format estimation means is calculated with the highest evaluation. The image format candidate related to the evaluation value is estimated to be the image format of the input image data whose image format is unknown.
第3の本発明の画像形式推定プログラムは、コンピュータを、画像形式の候補を複数種類登録している画像形式候補登録手段と、上記画像形式候補登録手段に登録されている各画像形式候補のそれぞれについて、画像形式が不明の入力画像データが、その画像形式候補の画像形式を採用していると仮定した場合における、入力画像データの縦方向の類似性若しくは入力画像データの時間方向の類似性の少なくとも一方を反映させた評価値を算出する評価値算出手段と、最も評価が良い算出された評価値に係る画像形式候補を、画像形式が不明の入力画像データの画像形式に推定する画像形式推定手段として機能させることを特徴とする。 According to a third aspect of the present invention, there is provided an image format estimation program comprising: a computer, an image format candidate registration unit that registers a plurality of types of image format candidates; and each of the image format candidates registered in the image format candidate registration unit. As for input image data whose image format is unknown, assuming that the image format of the image format candidate is adopted , the similarity in the vertical direction of the input image data or the similarity in the time direction of the input image data An evaluation value calculation means for calculating an evaluation value reflecting at least one of the images, and an image format estimation for estimating an image format candidate related to the calculated evaluation value having the best evaluation as the image format of the input image data whose image format is unknown It is made to function as a means.
本発明によれば、画像形式の情報が不明な画像データが入力されたときに、高速に画像形式を推定できる、しかも、入力画像データが動画像でも対応できる。 According to the present invention, when image data whose image format information is unknown is input, the image format can be estimated at high speed, and the input image data can also be a moving image.
(A)主たる実施形態
以下、本発明による画像形式推定装置、方法及びプログラムの一実施形態を、図面を参照しながら詳述する。
(A) Main Embodiment Hereinafter, an embodiment of an image format estimation apparatus, method and program according to the present invention will be described in detail with reference to the drawings.
(A−1)実施形態の構成
図1は、実施形態の画像形式推定装置が適用された画像表示装置の構成を示す機能ブロック図である。図1に係る画像表示装置は、例えば、動画像コンテンツの配信を受けたり、記録媒体などから読み出した動画像を表示させたりするものであり、専用的に構成されたものであっても良く、また、パソコンや携帯通信端末の表示機能として実現されたものであっても良いが、機能的には、図1で表すことができる。パソコンや携帯通信端末などのハードウェア的な表示構成を利用して所望の表示を行う場合には、そのためのプログラムが搭載されており、そのプログラムの中には、画像形式推定プログラムも含まれている。
(A-1) Configuration of Embodiment FIG. 1 is a functional block diagram illustrating a configuration of an image display device to which the image format estimation device of the embodiment is applied. The image display device according to FIG. 1, for example, receives distribution of moving image content or displays a moving image read from a recording medium, and may be configured exclusively. Further, although it may be realized as a display function of a personal computer or a mobile communication terminal, it can be functionally represented in FIG. When a desired display is performed using a hardware display configuration such as a personal computer or a mobile communication terminal, a program for that purpose is installed, and the program includes an image format estimation program. Yes.
図1において、画像表示装置100は、画像表示部101、候補リスト格納部102、画像データ入力部103及び画像形式推定部104を有する。
In FIG. 1, the
画像データ入力部103は、表示対象の画像データが入力されるものである。画像データの入力は、他の装置からの転送入力であっても良く、記録媒体などからの読み出し入力であっても良く、その入力方法は問われない。以下では、色形式や画像の幅、高さなどの画像形式が未知な画像データが入力されるとする。なお、この実施形態は、画像形式は未知ではあるが、YUV形式のデータが入力されるものとする(後述する図4参照)。
The image
候補リスト格納部102には、画像形式推定部104が利用する画像サイズ候補リスト102A及び色形式候補リスト102Bが格納されている。候補リスト格納部102は、画像サイズ候補リスト102A及び色形式候補リスト102Bをそれぞれ、テーブル構成で格納している。なお、格納の方法は、テーブル構成に限定されない。
The candidate
図2は、候補リスト格納部102に格納されている画像サイズ候補リスト102Aの構成例を示す説明図である。画像サイズ候補リスト102Aは、各行が、候補の名称、幅(w)及び高さ(h)でなっている。
FIG. 2 is an explanatory diagram illustrating a configuration example of the image
候補の名称は、幅(w)及び高さ(h)が合致している、いわゆる映像フォーマットの名称が適用されている。「CIF」は、H.261で規定されるテレビ会議用の映像フォーマットである。「QCIF」は、CIFの面積を1/4にした映像再生用のフォーマットである(例えば携帯電話で利用されるフォーマットである)。「VGA」は、米国IBM社のPS/2(商標)パソコンにおけるグラフィックス機構に係るフォーマットである。「QVGA」は、VGAの面積を1/4にしたモバイル向けの解像度フォーマットである。「D1」は、「SDTV」(標準テレビ)などが該当する標準的な画像サイズを規定している。 As a candidate name, a so-called video format name having a matching width (w) and height (h) is applied. "CIF" This is a video format for video conferencing specified in H.261. “QCIF” is a video playback format in which the area of the CIF is ¼ (for example, a format used in a mobile phone). “VGA” is a format related to a graphics mechanism in a PS / 2 (trademark) personal computer of IBM Corporation. “QVGA” is a mobile resolution format in which the VGA area is ¼. “D1” defines a standard image size corresponding to “SDTV” (standard television) or the like.
幅(w)は、基準画像サイズ(Yデータ(輝度データ)における画像サイズ)の横方向のドット数を表しており、高さ(h)は、基準画像サイズの縦方向のドット数を表している。 The width (w) represents the number of dots in the horizontal direction of the reference image size (image size in Y data (luminance data)), and the height (h) represents the number of dots in the vertical direction of the reference image size. Yes.
図3は、候補リスト格納部102に格納されている色形式候補リスト102Bの構成例を示す説明図である。色形式候補リスト102Bは、各行が、候補の名称(色形式名)、幅倍率(wc)及び高さ倍率(hc)でなっている。
FIG. 3 is an explanatory diagram illustrating a configuration example of the color
図4は、各種の色形式(YUV形式)を示す説明図である。図5は、YUV形式の画像データの並びを示す説明図である。 FIG. 4 is an explanatory diagram showing various color formats (YUV format). FIG. 5 is an explanatory diagram showing the arrangement of image data in the YUV format.
YUV形式の画像データの並びは、図5に示すように、輝度を示すYデータが最初に位置し、その後、2つの色差を示すUデータ及びVデータがこの順に並んでいる。4:2:0形式の場合、図4(a)に示すように、Yデータはw×h、Uデータ及びVデータはそれぞれw(1/2)×h(1/2)の大きさを持つ。4:2:2形式の場合、図4(b)に示すように、Yデータはw×h、Uデータ及びVデータはそれぞれw(1/2)×hの大きさを持つ。4:4:4形式の場合、図4(c)に示すように、Yデータはw×h、Uデータ及びVデータはそれぞれw×hの大きさを持つ。従って、YUV形式の画像データの並びにおいて、Yデータ、Uデータ、Vデータに割かれているデータ量は、4:2:0形式、4:2:2形式又は4:4:4形式によって異なる。 As shown in FIG. 5, the YUV format image data is arranged first in the YUV format image data, and then U data and V data indicating two color differences are arranged in this order. In the case of 4: 2: 0 format, as shown in FIG. 4A, Y data has a size of w × h, U data and V data have a size of w (1/2) × h (1/2), respectively. Have. In the 4: 2: 2 format, as shown in FIG. 4B, the Y data has a size of w × h, and the U data and the V data have a size of w (1/2) × h. In the 4: 4: 4 format, as shown in FIG. 4C, Y data has a size of w × h, and U data and V data have a size of w × h. Therefore, in the arrangement of image data in the YUV format, the amount of data allocated to Y data, U data, and V data differs depending on the 4: 2: 0 format, 4: 2: 2 format, or 4: 4: 4 format. .
色形式候補リスト102Bの幅倍率(wc)及び高さ倍率(hc)の項には、その色形式候補の色差データ(Uデータ、Vデータ)の幅が、基準画像サイズの幅や高さの何倍かを示す値が格納される。
The width format (wc) and height magnification (hc) items of the color
画像形式推定部104は、入力された画像データの幅と高さと色形式を、候補リスト格納部102に格納されている画像サイズ候補リスト102A及び色形式候補リスト102Bを用いて推定するものである。画像形式推定部104による推定方法の詳細については、後述する動作の項で明らかにする。
The image
画像表示部101は、入力された画像データを、画像形式推定部104が推定した幅、高さ及び色形式などのパラメータを適用して表示するものである。
The
(A−2)実施形態の動作
次に、実施形態の画像形式推定装置が適用された画像表示装置の動作(特に、画像形式推定動作(実施形態の画像形式推定方法))を、図面を参照しながら説明する。
(A-2) Operation of Embodiment Next, the operation of the image display device to which the image format estimation device of the embodiment is applied (particularly the image format estimation operation (image format estimation method of the embodiment)) will be described with reference to the drawings. While explaining.
画像表示装置100における全体動きは以下の通りである。データ入力部103に画像データが入力される。なお、画像データの全体のサイズ(以下、ファイルサイズと呼ぶ)が、画像データと共に入力される場合がある。次に、候補リスト格納部102にある画像サイズ候補リスト102A及び色形式候補リスト102Bを参照しながら、画像形式推定部104が画像形式(の情報)を推定する。最後に、推定された画像形式の情報に基づいて、画像表示部101で、入力画像を表示する。
The overall movement in the
以下、画像形式推定部104で実行される画像形式推定動作の詳細を説明する。ここで、図6は、画像形式推定部104で実行される画像形式推定動作を示すフローチャートである。
Details of the image format estimation operation executed by the image
画像形式推定部104は、図6に示す画像形式推定動作を開始すると、画像形式の候補を入れ換えるか否かの判断(後述のステップ608)に用いる保存評価値の初期値として、十分に大きな値を代入する(ステップ601)。
When the image
その後、画像形式推定部104は、色形式候補リスト102Bに記述されている候補の中から、今まで候補となっていない候補を1つ定める(ステップ602)。例えば、色形式候補リスト102Bの上の行から候補を取り出すとした場合には、始めて、当該ステップ602に入ったときには4:2:0形式が候補となり、次に、当該ステップ602に入ったときには4:2:2形式が候補となり、さらに次に、当該ステップ602に入ったときには4:4:4形式が候補となる。
Thereafter, the image
続いて、画像形式推定部104は、画像サイズ候補リスト102Aに記述されている候補の中から、候補となっている色形式との組み合わせで考えて、今まで候補となっていない候補を1つ定める(ステップ603)。
Subsequently, the image
画像サイズ候補リスト102A及び色形式候補リスト102Bがそれぞれ、図2及び図3に示すものである場合、画像サイズ候補と色形式候補との組合せ数は全部で15通りがある。この15通りの候補をどのような順番で切り替えていくかは任意であるが、図6の場合、ステップ602、603、610、611の処理により、ある色形式候補を固定し、画像サイズ候補を順に切替え、固定したある色形式候補と全ての画像サイズ候補との組合せを検討したときに、次の色形式候補に切替え、再び、画像サイズ候補を順に切替えることを繰り返して、全15通りの組合せ候補を評価することとしている。
When the image
ステップ602及び603の処理により、色形式候補と画像サイズ候補の新たな組合せを決定すると、画像サイズ候補リスト102Aのリストから、現在の画像サイズ候補の幅(w)及び高さ(h)を読み出すと共に、色形式候補リスト102Bから、現在の色形式候補の幅倍率(wc)及び高さ倍率(hc)を読み出す(ステップ604)。そして、(1)式に従って、判定値を求めた後(ステップ605)、判定値が0か否かを判別する。
When a new combination of color format candidates and image size candidates is determined by the processing in
判定値=filesize mod ((w×h)*(1+wc×hc×2))
…(1)
(1)式において、filesizeは入力画像データのファイルサイズを表しており、ファイルサイズが不明の画像データが入力された場合には、(1)式を演算することなく、判定値を0とする。また、(1)式において、“z=x mod y”は、zにxをyで割った余りを代入する演算子を表している。w×hは、画像サイズ候補の基準画像サイズの総ドット数を表しており、1+wc×hc×2は、Yデータ、Uデータ及びVデータの合算ドット数は基準画像サイズの総ドット数の何倍かを示す値である。
Determination value = filesize mod ((w × h) * (1 + wc × hc × 2))
... (1)
In the expression (1), “filesize” represents the file size of the input image data. When image data whose file size is unknown is input, the determination value is set to 0 without calculating the expression (1). . In the equation (1), “z = x mod y” represents an operator that substitutes a remainder obtained by dividing x by y in z. w × h represents the total number of dots of the standard image size of the image size candidate, and 1 + wc × hc × 2 is the total number of dots of the Y data, the U data, and the V data. It is a value indicating whether it is double.
図5に示すように、動画像の場合、複数のフレームから構成されているが、何個のフレームで構成されているかは定まらない。しかしながら、何個のフレームで構成されていようと、総ドット数は、1フレームで必要なドット数の整数倍となっている。1フレームで必要なドット数は、その画像サイズ候補の基準画像サイズと、Yデータ、Uデータ及びVデータを合わせた画像サイズが基準画像サイズの何倍かで定まる。言い換えると、(1)式に従って求めた判定値が0であることは、現在対象となっている色形式候補と画像サイズ候補の組合せは、入力画像データのファイルサイズと整合がとれていることを意味している。 As shown in FIG. 5, in the case of a moving image, it is composed of a plurality of frames, but the number of frames is not determined. However, regardless of the number of frames, the total number of dots is an integral multiple of the number of dots required in one frame. The number of dots required for one frame is determined by the reference image size of the image size candidate and the image size of the Y data, U data, and V data combined with the reference image size. In other words, if the determination value obtained according to the equation (1) is 0, it means that the combination of the current color format candidate and the image size candidate is consistent with the file size of the input image data. I mean.
Yデータ、Uデータ及びVデータを合わせた画像サイズは、色形式候補が4:2:0形式であれば、図4(a)から明らかなように基準画像サイズの1.5倍であり、色形式候補が4:2:2形式であれば、図4(b)から明らかなように基準画像サイズの2倍であり、色形式候補が4:4:4形式であれば、図4(c)から明らかなように基準画像サイズの3倍である。 If the color format candidate is 4: 2: 0 format, the combined image size of Y data, U data, and V data is 1.5 times the reference image size as apparent from FIG. If the color format candidate is 4: 2: 2 format, it is twice the reference image size as apparent from FIG. 4B, and if the color format candidate is 4: 4: 4 format, As is clear from c), it is three times the reference image size.
基準画像サイズでの総ドット数は、画像サイズ候補が「CIF」であれば352×288=101376ドットであり、画像サイズ候補が「QCIF」であれば176×144=25344ドットである(他の候補については省略する)。基準画像サイズでの総ドット数がこのように整数倍の関係にある複数の画像サイズ候補が存在するので、それら複数の画像サイズ候補について(色形式候補は同一)、入力画像データのファイルサイズから求めた判定値が共に0となることもあり得る。 The total number of dots at the reference image size is 352 × 288 = 101376 dots if the image size candidate is “CIF”, and 176 × 144 = 25344 dots if the image size candidate is “QCIF” (others I ’ll omit the candidate). Since there are a plurality of image size candidates in which the total number of dots at the reference image size is an integer multiple in this way, the file size of the input image data is determined for the plurality of image size candidates (the color format candidates are the same). Both of the obtained determination values may be zero.
画像形式推定部104は、判定値が0であると、現在対象となっている色形式候補と画像サイズ候補の組合せを評価する後述する評価値を計算した後(ステップ607)、計算で得られた評価値が保存評価値より評価が高いものとなっているか否かを判別する(ステップ608)。この実施形態では、評価値の値が小さいほど評価が高いものとなっている。計算で得られた評価値が保存評価値より評価が高いものとなっている場合には、画像形式推定部104は、保存評価値を、計算で得られた評価値に更新させると共に、それに対応付けて、現在の色形式候補と画像サイズ候補の組合せを記憶させる(ステップ609)。
If the determination value is 0, the image
画像形式推定部104は、判定値が0以外であった場合(ステップ606で否定結果)や、計算で得られた評価値が保存評価値より評価が低い場合(ステップ608で否定結果)や、保存評価値の更新及び現在の色形式候補と画像サイズ候補の組合せの記憶を実行した場合には、現在の色形式候補に対し、全ての画像サイズ候補との組合せを全て処理したか否かを確認し(ステップ610)、処理していない場合には、上述した画像サイズ候補の決定処理(ステップ603)に戻る。
The image
現在の色形式候補に対し、全ての画像サイズ候補との組合せを全て処理した場合には、画像形式推定部104は、未処理の色形式候補が残っているか否かを確認する(ステップ611)。未処理の色形式候補が残っている場合には、画像形式推定部104は、上述した色形式候補の決定処理(ステップ602)に戻る。
When all the combinations with all image size candidates are processed for the current color format candidate, the image
全ての色形式候補に対する処理が終了し、未処理の色形式候補が残っていない場合には、画像形式推定部104は、保存評価値に対応付けて記憶されている色形式候補及び画像サイズ候補を、入力画像データの色形式及び画像サイズとし(ステップ612)、図6に示す一連の処理を終了する。
When the processing for all color format candidates is completed and there are no unprocessed color format candidates, the image
次に、色形式候補と画像サイズ候補の組合せを評価する評価値(ステップ607参照)の算出方法について、数例説明する。なお、以下の計算式において、“P(x)”は先頭(図5参照)からのバイト数を表している。ここで、各ドットの値はバイトで表現されているものとする。また、図5におけるYデータにおける並びはラスタスキャンに従っているものとする(UデータやVデータも同様)。また、以下の計算式において、“^2”は2乗を表している。 Next, several examples of a method of calculating an evaluation value (see step 607) for evaluating a combination of color format candidates and image size candidates will be described. In the following calculation formula, “P (x)” represents the number of bytes from the head (see FIG. 5). Here, it is assumed that the value of each dot is expressed in bytes. Further, it is assumed that the arrangement in the Y data in FIG. 5 conforms to the raster scan (the same applies to U data and V data). In the following calculation formula, “^ 2” represents the square.
評価値の第1例として、Yデータについて、縦(空間)方向の相関を利用したものを挙げることができる。この場合の算出式を(2)式で表すことができる。なお、(2)式における総和Σはx(Yデータに属するx)についてであり、xは0以上(w×(h−1))未満の1以上(w×(h−1))個以下の個数を取る。P(x)とP(x+w)とは、入力画像データの画像形式(画像サイズ及び色形式)と画像形式候補とが合致しているときには、幅方向に同じであって、高さ方向に1ライン分だけ異なる2つのドットのデータ値の関係になっているが、入力画像データの画像形式と画像形式候補とが合致していない場合には、幅方向の位置が異なるドットのデータ値となっており、相関はないものである。 As a first example of the evaluation value, Y data using a correlation in the vertical (space) direction can be cited. The calculation formula in this case can be expressed by formula (2). The sum Σ in equation (2) is for x (x belonging to Y data), and x is 0 or more and less than (w × (h−1)) and 1 or more (w × (h−1)). Take the number. P (x) and P (x + w) are the same in the width direction and 1 in the height direction when the image format (image size and color format) of the input image data matches the image format candidate. The data values of the two dots differ by the line, but if the image format of the input image data does not match the image format candidates, the data values of the dots differ in the width direction position. There is no correlation.
評価値=Σ{{P(x)−P(x+w)}^2} …(2)
評価値の第2例として、Yデータについて、時間方向の相関を利用したものを挙げることができる。この場合の算出式を(3)式で表すことができる。なお、(3)式における総和Σはx(Yデータに属するx)についてであり、xは0以上(w×h)未満の1以上(w×h))個以下の個数を取る。P(x)とP(x+(w×h)×(1+wc×hc×2))とは、入力画像データの画像形式と画像形式候補とが合致しているときには、幅方向及び高さ方向が同じ位置の1フレーム分だけずれた2つのドットのデータ値の関係になっているが、入力画像データの画像形式と画像形式候補とが合致していない場合には、1フレーム分だけずれた2つのドットではないので相関はない。
Evaluation value = Σ {{P (x) −P (x + w)} ^ 2} (2)
As a second example of the evaluation value, Y data using a correlation in the time direction can be cited. The calculation formula in this case can be expressed by formula (3). Note that the sum Σ in equation (3) is for x (x belonging to Y data), and x is 1 or more (w × h) less than or equal to (w × h) and less than or equal to (w × h). P (x) and P (x + (w × h) × (1 + wc × hc × 2)) indicate that the width direction and the height direction are the same when the image format of the input image data matches the image format candidate. The data values of two dots shifted by one frame at the same position are related, but when the image format of the input image data and the image format candidate do not match, they are shifted by one frame. There is no correlation because it is not one dot.
評価値=Σ{{P(x)−P(x+(w×h)×(1+wc×hc×2))}^2}
…(3)
以上の第1例や第2例のような、候補と入力画像データの画像形式との合致不一致による相関有無を利用する方法は、色差データについて適用するようにしても良い。
Evaluation value = Σ {{P (x) −P (x + (w × h) × (1 + wc × hc × 2))} ^ 2}
... (3)
The method using the presence / absence of correlation due to mismatch between the candidate and the image format of the input image data as in the first example and the second example above may be applied to the color difference data.
評価値の第3例として、色差データ(Uデータ、Vデータ)について、縦(空間)方向の相関を利用したものを挙げることができる。この場合の算出式を(4)式及び(5)式で表すことができ、(4)式はUデータに係る評価値EUの算出式であり、(5)式はVデータに係る評価値EVの算出式である。なお、(4)式における総和Σはxu(Uデータに属するx)についてであり、(w×h)以上((w×h)+((wc×w)×(hc×h−1))未満の1以上((wc×w)×(hc×h−1))個以下の個数を取る。(5)式における総和Σはxv(Vデータに属するx)についてであり、(w×h)以上((w×h)+((wc×w)×(hc×h−1))未満の1以上((wc×w)×(hc×h−1))個以下の個数を取る。 As a third example of the evaluation value, color difference data (U data, V data) that uses the correlation in the vertical (space) direction can be exemplified. The calculation formulas in this case can be expressed by formulas (4) and (5). Formula (4) is a formula for calculating an evaluation value EU related to U data, and formula (5) is an evaluation value related to V data. It is a calculation formula of EV. Note that the sum Σ in equation (4) is for xu (x belonging to U data) and is equal to or greater than (w × h) ((w × h) + ((wc × w) × (hc × h−1)). Less than 1 and not more than ((wc × w) × (hc × h−1)). The sum Σ in the equation (5) is for xv (x belonging to V data), and (w × h ) Or more and less than ((w × h) + ((wc × w) × (hc × h−1)) and not more than 1 ((wc × w) × (hc × h−1)).
評価値EU=Σ{{P(xu)−P(xu+(wc×w)))}^2} …(4)
評価値EV=Σ{{P(xv)−P(xv+(wc×w)))}^2} …(5)
ここで、評価値として、評価値EU又は評価値EVのみを用いるようにしても良く、また、これら評価値EU及びEVから最終的な評価値を求めて適用するようにしても良い。例えば、最終評価値=評価値EU+評価値EVを適用することができる。
Evaluation value EU = Σ {{P (xu) −P (xu + (wc × w)))} ^ 2} (4)
Evaluation value EV = Σ {{P (xv) −P (xv + (wc × w)))} ^ 2} (5)
Here, only the evaluation value EU or the evaluation value EV may be used as the evaluation value, or a final evaluation value may be obtained from these evaluation values EU and EV and applied. For example, final evaluation value = evaluation value EU + evaluation value EV can be applied.
評価値の第4例として、色差データ(Uデータ、Vデータ)について、時間方向の相関を利用したものを挙げることができる。この場合の算出式を(6)式及び(7)式で表すことができ、(6)式はUデータに係る評価値EUの算出式であり、(7)式はVデータに係る評価値EVの算出式である。なお、(6)式における総和Σはxu(Uデータに属するx)についてであり、(w×h)以上((w×h)+((wc×w)×(hc×h))未満の1以上((wc×w)×(hc×h))個以下の個数を取る。(7)式における総和Σはxv(Vデータに属するx)についてであり、(w×h)以上((w×h)+((wc×w)×(hc×h))未満の1以上((wc×w)×(hc×h))個以下の個数を取る。 As a fourth example of the evaluation value, color difference data (U data, V data) using the correlation in the time direction can be exemplified. The calculation formulas in this case can be expressed by formulas (6) and (7). Formula (6) is a formula for calculating the evaluation value EU related to U data, and formula (7) is an evaluation value related to V data. It is a calculation formula of EV. The sum Σ in equation (6) is for xu (x belonging to U data), and is greater than or equal to (w × h) and less than ((w × h) + ((wc × w) × (hc × h)). The number is 1 or more and ((wc × w) × (hc × h)). The sum Σ in equation (7) is for xv (x belonging to V data), and is (w × h) or more (( The number is 1 or more ((wc × w) × (hc × h)) less than (w × h) + ((wc × w) × (hc × h)).
評価値EU
=Σ{{P(xu)−P(xu+(w×h)×(1+wc×hc×2))}^2} …(6)
評価値EV
=Σ{{P(xv)−P(xv+(w×h)×(1+wc×hc×2))}^2} …(7)
この場合も、評価値として、評価値EU又は評価値EVのみを用いるようにしても良く、また、これら評価値EU及びEVから最終的な評価値を求めて適用するようにしても良い。例えば、最終評価値=評価値EU+評価値EVを適用することができる。
Evaluation value EU
= Σ {{P (xu) −P (xu + (w × h) × (1 + wc × hc × 2))} ^ 2} (6)
Evaluation value EV
= Σ {{P (xv) −P (xv + (w × h) × (1 + wc × hc × 2))} ^ 2} (7)
In this case as well, only the evaluation value EU or the evaluation value EV may be used as the evaluation value, or the final evaluation value may be obtained from the evaluation values EU and EV and applied. For example, final evaluation value = evaluation value EU + evaluation value EV can be applied.
評価値は、上述した4例に限定されるものではない。上述した4例のいくつかから最終的な評価値を形成するようにしても良い。 The evaluation value is not limited to the four examples described above. The final evaluation value may be formed from some of the four examples described above.
(A−3)実施形態の効果
上記実施形態によれば、画像形式の情報が不明な動画像データが入力された場合にも、予め用意しておいた画像サイズ候補リスト及び色形式候補リストから、候補の組合せを定め、評価値を算出して評価して画像形式を推定するようにしたので、従来技術で説明した離散フーリエ変換を用いる方法よりも、高速に画像形式を推定することができる。
(A-3) Effects of the Embodiment According to the above embodiment, even when moving image data whose image format information is unknown is input from the prepared image size candidate list and color format candidate list. Since the combination of candidates is determined, the evaluation value is calculated and evaluated, and the image format is estimated, the image format can be estimated at a higher speed than the method using the discrete Fourier transform described in the prior art. .
その結果、画像形式の情報が不明な動画像データが入力されても、画像表示部において色ずれなどを起こさずに画像を表示することができる。 As a result, even if moving image data whose image format information is unknown is input, an image can be displayed without causing color misregistration or the like in the image display unit.
(B)他の実施形態
上記実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
(B) Other Embodiments In the description of the above-described embodiment, various modified embodiments have been referred to. However, modified embodiments as exemplified below can be cited.
上記実施形態では、画像形式が推定された画像データを表示出力するものを示したが、他の出力方法で出力するものであっても良い。例えば、画像形式が推定された画像データを印刷出力しても良く、また、他の装置へ転送出力するようにしても良い。 In the above embodiment, the image data whose image format is estimated is displayed and output. However, the image data may be output by another output method. For example, the image data whose image format has been estimated may be printed out, and may be forwarded and output to another device.
また、色形式はYUV形式だけでなく、それに代え、若しくは、それに加え、その他の形式でも良い。画像サイズも、図2に示した種類だけでなく、それに代え、若しくは、それに加え、その他の形式でも良い。また、画像サイズ候補リスト102Aや色形式候補リスト102Bは追加や削除などの編集が実行できるものであっても良い。
Further, the color format is not limited to the YUV format, but may be other formats instead of or in addition to the YUV format. The image size is not limited to the type shown in FIG. 2, but may be other formats instead of or in addition to the types shown in FIG. Further, the image
評価値を求める(2)式〜(7)式は、データの差分の2乗和を用いたものであったが、データ間の類似性を評価できる式であれば良く、例えば、データの差分の絶対値和を用いても良い。 The formulas (2) to (7) for obtaining the evaluation value use the sum of squares of the data differences. However, any formula that can evaluate the similarity between the data may be used. The absolute value sum of may be used.
上記実施形態では、画像サイズ及び色形式を推定するものを示したが、画像サイズが固定であって色形式が不明な入力画像データであれば色形式だけを推定するようにしても良く、また、色形式が固定であって画像サイズが不明な入力画像データであれば画像サイズだけを推定するようにしても良い。 In the above embodiment, the estimation of the image size and the color format is shown. However, if the input image data has a fixed image size and the color format is unknown, only the color format may be estimated. If the input image data has a fixed color format and an unknown image size, only the image size may be estimated.
100…画像表示装置、101…画像表示部、102…候補リスト格納部、102A…画像サイズ候補リスト、102B…色形式候補リスト、103…画像データ入力部、104…画像形式推定部。
DESCRIPTION OF
Claims (5)
上記画像形式候補登録手段に登録されている各画像形式候補のそれぞれについて、画像形式が不明の入力画像データが、その画像形式候補の画像形式を採用していると仮定した場合における、入力画像データについての評価値を算出する評価値算出手段と、
最も評価が良い算出された評価値に係る画像形式候補を、画像形式が不明の入力画像データの画像形式に推定する画像形式推定手段とを有し、
上記評価値算出手段は、入力画像データが画像形式候補の画像形式を採用していると仮定した場合における、入力画像データの縦方向の類似性若しくは入力画像データの時間方向の類似性の少なくとも一方を反映させた評価値を算出する
ことを特徴とする画像形式推定装置。 Image format candidate registration means for registering multiple types of image format candidates,
For each image format candidate registered in the image format candidate registration means, the input image data when it is assumed that the input image data whose image format is unknown adopts the image format of the image format candidate An evaluation value calculating means for calculating an evaluation value for
Image format estimation means for estimating the image format candidate related to the calculated evaluation value with the best evaluation to the image format of the input image data whose image format is unknown ,
The evaluation value calculation means is at least one of the similarity in the vertical direction of the input image data and the similarity in the time direction of the input image data when it is assumed that the input image data adopts the image format candidate image format. An image format estimation apparatus that calculates an evaluation value reflecting the above .
上記画像形式候補登録手段は、画像形式の候補を複数種類登録しており、
上記評価値算出手段は、上記画像形式候補登録手段に登録されている各画像形式候補のそれぞれについて、画像形式が不明の入力画像データが、その画像形式候補の画像形式を採用していると仮定した場合における、入力画像データの縦方向の類似性若しくは入力画像データの時間方向の類似性の少なくとも一方を反映させた評価値を算出し、
上記画像形式推定手段は、最も評価が良い算出された評価値に係る画像形式候補を、画像形式が不明の入力画像データの画像形式に推定する
ことを特徴とする画像形式推定方法。 Image format candidate registration means, evaluation value calculation means and image format estimation means,
The image format candidate registration means registers a plurality of types of image format candidates,
The evaluation value calculation means assumes that for each image format candidate registered in the image format candidate registration means, the input image data whose image format is unknown adopts the image format of the image format candidate. In this case, the evaluation value reflecting at least one of the similarity in the vertical direction of the input image data or the similarity in the time direction of the input image data is calculated,
An image format estimation method, wherein the image format estimation means estimates an image format candidate related to a calculated evaluation value having the best evaluation to an image format of input image data whose image format is unknown.
画像形式の候補を複数種類登録している画像形式候補登録手段と、
上記画像形式候補登録手段に登録されている各画像形式候補のそれぞれについて、画像形式が不明の入力画像データが、その画像形式候補の画像形式を採用していると仮定した場合における、入力画像データの縦方向の類似性若しくは入力画像データの時間方向の類似性の少なくとも一方を反映させた評価値を算出する評価値算出手段と、
最も評価が良い算出された評価値に係る画像形式候補を、画像形式が不明の入力画像データの画像形式に推定する画像形式推定手段と
して機能させることを特徴とする画像形式推定プログラム。 Computer
Image format candidate registration means for registering multiple types of image format candidates,
For each of the image format candidates registered in the image format candidate registration means, in the case where the input image data in the image format is unknown, it was assumed that the adopted image format of the image format candidate, the input image data Evaluation value calculation means for calculating an evaluation value reflecting at least one of the similarity in the vertical direction or the similarity in the time direction of the input image data ;
An image format estimation program for causing an image format candidate associated with a calculated evaluation value having the best evaluation to function as an image format estimation means for estimating an image format of input image data whose image format is unknown.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008059789A JP5266806B2 (en) | 2008-03-10 | 2008-03-10 | Image format estimation apparatus, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008059789A JP5266806B2 (en) | 2008-03-10 | 2008-03-10 | Image format estimation apparatus, method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009216916A JP2009216916A (en) | 2009-09-24 |
JP5266806B2 true JP5266806B2 (en) | 2013-08-21 |
Family
ID=41188858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008059789A Expired - Fee Related JP5266806B2 (en) | 2008-03-10 | 2008-03-10 | Image format estimation apparatus, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5266806B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2936808A1 (en) * | 2012-12-19 | 2015-10-28 | Thomson Licensing | Methods and apparatus for automatically detecting image/video resolution and its color subsampling |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10333627A (en) * | 1997-06-04 | 1998-12-18 | Nec Corp | Picture signal discriminating circuit |
JP2004138654A (en) * | 2002-10-15 | 2004-05-13 | Sharp Corp | Information processing apparatus which decides resolution, information processing method, program for achieving the information processing method, and recording medium which stores the program |
JP4137779B2 (en) * | 2003-12-17 | 2008-08-20 | シャープ株式会社 | Video signal processing apparatus and electronic apparatus |
-
2008
- 2008-03-10 JP JP2008059789A patent/JP5266806B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009216916A (en) | 2009-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8958484B2 (en) | Enhanced image and video super-resolution processing | |
JP4564564B2 (en) | Moving picture reproducing apparatus, moving picture reproducing method, and moving picture reproducing program | |
JP3840129B2 (en) | Motion vector detection method and apparatus, interpolation image generation method and apparatus, and image display system | |
JP2008244687A (en) | Image processing device and image processing method | |
US10009507B2 (en) | Image processing device | |
US20100315547A1 (en) | Moving region detection device | |
JP5445467B2 (en) | Credit information section detection method, credit information section detection device, and credit information section detection program | |
JP2007241356A (en) | Image processor and image processing program | |
JP4940024B2 (en) | Information processing apparatus, motion vector generation program, and interpolated image generation program | |
JP5266806B2 (en) | Image format estimation apparatus, method and program | |
JP2008134791A (en) | Image processor and image processing program | |
JP5703898B2 (en) | Form management system, form image management method, and program | |
JP2007199749A (en) | Image retrieval method and image retrieval device | |
JP4868139B2 (en) | Image processing apparatus and image processing program | |
JP3629236B2 (en) | Object image tracking method and program | |
JP2008113292A (en) | Motion estimation method and device, program thereof and recording medium thereof | |
JP2008147880A (en) | Image compression apparatus and method, and its program | |
JP2009194627A (en) | Motion compensation-accompanying update area detecting device | |
JP2006215657A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
CN100474917C (en) | Interpolating scanning apparatus | |
US20030160777A1 (en) | Moving-image icon generating apparatus | |
Nolle et al. | Colour map design through optimization | |
JP2010097355A (en) | Image separation device, image separation method, and image separation program | |
JP2009225253A (en) | Image processing apparatus and its method | |
JP5085589B2 (en) | Image processing apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130422 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5266806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |