JP2005521169A - Analysis of an image consisting of a matrix of pixels - Google Patents
Analysis of an image consisting of a matrix of pixels Download PDFInfo
- Publication number
- JP2005521169A JP2005521169A JP2003579177A JP2003579177A JP2005521169A JP 2005521169 A JP2005521169 A JP 2005521169A JP 2003579177 A JP2003579177 A JP 2003579177A JP 2003579177 A JP2003579177 A JP 2003579177A JP 2005521169 A JP2005521169 A JP 2005521169A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- image content
- pixel
- classified
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
各ピクセルがパラメータ行列（Ｙ）に配列された少なくとも１つのパラメータにより規定されるようなピクセルの行列からなる画像を解析する方法である。本方法は、上記パラメータ行列（Ｙ）に微分演算を実行して、行列に配列された複数の微分エントリ（Ｄ）を得るステップを有する。略同一の微分エントリを有する隣接する微分エントリの集合が決定される。各集合におけるピクセルに関して、当該集合におけるエントリの数を示す経路長が決定される。上記経路長及び微分エントリに基づいて、ピクセルは、自然の又は合成の画像コンテンツとして分類される。A method of analyzing an image consisting of a matrix of pixels such that each pixel is defined by at least one parameter arranged in a parameter matrix (Y). The method includes performing a differential operation on the parameter matrix (Y) to obtain a plurality of differential entries (D) arranged in the matrix. A set of adjacent differential entries having substantially identical differential entries is determined. For pixels in each set, a path length indicating the number of entries in the set is determined. Based on the path length and derivative entry, the pixels are classified as natural or synthetic image content.
Description
本発明は、画像を解析する方法に関する。また、本発明はコンピュータプログラム製品、装置、プロセッサデバイスシステム及びコンピュータ読み取り可能な媒体にも関する。 The present invention relates to a method for analyzing an image. The invention also relates to a computer program product, an apparatus, a processor device system and a computer readable medium.
ＣＲＴ／ＬＣＤモニタ、即ちコンピュータ及びコンピュータシステムに適用可能なモニタは、高解像度及び低輝度を特徴としている。これらの表示システム（以下、モニタと称す）は、典型的には合成的コンテンツ、例えばテキスト又はグラフィックス、を表示するために使用される。これら表示システムは、現在は、益々自然的コンテンツ、例えば画像又はビデオ、を表示することを要求されるようになっている。特に、ＴＶモニタと比較して、ＣＲＴモニタは高解像度及び低輝度を特徴としている。これは、元々はモニタ（例えば、コンピュータ用のモニタ）上に表示されるコンテンツは専ら合成のものであり、特に本質的にはテキストにより表されていたからである。このタイプのコンテンツは、明らかに、ユーザにより享受されるべき高解像度を必要とするが、これは、例えばＣＲＴにおける所要の小さなスポット寸法の電子ビームにより輝度も減少も生じる。 CRT / LCD monitors, ie monitors applicable to computers and computer systems, are characterized by high resolution and low brightness. These display systems (hereinafter referred to as monitors) are typically used to display synthetic content, such as text or graphics. These display systems are now increasingly required to display natural content, such as images or videos. In particular, compared to TV monitors, CRT monitors are characterized by high resolution and low brightness. This is because the content originally displayed on a monitor (for example, a computer monitor) was exclusively composed, and was essentially represented by text. This type of content obviously requires a high resolution to be enjoyed by the user, but this also results in a decrease in brightness due to the required small spot size electron beam in eg a CRT.
合成的コンテンツとは、以下においては、自然的コンテンツと比較して、合成的起源により幾らか高い秩序度を有するような画像の内容と理解されたい。合成的コンテンツとしての上述したテキストの例とは別に、アイコン、記号、及び如何なる種類のどちらかというと構築された形状、グラフィックス又は画像も合成的コンテンツと理解されるべきである。対照的に、自然的コンテンツとは、以下においては、自然的起源の如何なる画像、特に任意の入力コンポジットラスタ画像の一部であるようなデジタル化写真、ビデオクリップ及び類似の画像のような構築された起源ではないものと理解されるべきである。 Synthetic content is to be understood in the following as the content of an image that has a somewhat higher degree of order due to its synthetic origin compared to natural content. Apart from the above-described example of text as synthetic content, icons, symbols, and any kind of constructed shapes, graphics or images should be understood as synthetic content. In contrast, natural content is constructed in the following as any image of natural origin, especially digitized photographs, video clips and similar images that are part of any input composite raster image. It should be understood that it is not of origin.
今日の状況は大きく変化している。インターネット及びマルチメディア技術（ＤＶＤ並びに画像記憶及び伝送等）は、モニタ用途での自然なＴＶ的コンテンツを増加させている。この新たな状況は、モニタが元々は合成的及び自然的コンテンツを表示するようには設計されていない故に、斯かるモニタに関する一連の問題を生じている。特には、この問題は、特にＣＲＴ及びＬＣＤモニタ及びフラットモニタ等の如何なるＰＣアプリケーション用モニタによっても直面されている。更に、斯様な問題は、合成的及び自然的コンテンツを含む画像を処理するように構成されたビデオカード、ビデオチップ、マルチメディアチップ、プロセッサユニット、フレームバッファ及びＶＲＡＭメモリ等の如何なる関連のあるプロセッサデバイスによっても同様に直面されている。 Today's situation is changing dramatically. Internet and multimedia technologies (such as DVD and image storage and transmission) are increasing natural TV-like content for monitor applications. This new situation creates a series of problems with such monitors because the monitors were not originally designed to display synthetic and natural content. In particular, this problem is faced by any PC application monitor, particularly CRT and LCD monitors and flat monitors. In addition, such a problem is caused by any related processor such as a video card, video chip, multimedia chip, processor unit, frame buffer and VRAM memory configured to process images containing synthetic and natural content. It is faced by devices as well.
合成的及び自然的コンテンツを含む画像は、複合コンテンツを有するものと云うことにする。 An image containing composite and natural content will be said to have composite content.
特にモニタ装置、デバイス及びプロセッサデバイスシステム等の現在普通な表示装置は、高解像度及び無視できる程度の輝度損失で、且つ、複合コンテンツの画像に対して許容可能な処理性能及び時間で画像処理を実行することを要する。 Particularly common display devices such as monitor devices, devices and processor device systems perform image processing with high resolution and negligible luminance loss, and with acceptable processing performance and time for complex content images. It is necessary to do.
特に視覚的性能等の性能を大幅に改善することが可能な強化解決策が既に存在している。画像処理の性能を効果的に向上させるために、斯様な処理は、例えば自然的コンテンツが存在するスクリーン等の、表示システムの特定の領域に適用及び限定することができる。ユーザによりなされる斯様な“ウインドウ型”の手動選択は、全体のウインドウのコンテンツが自然的なものである場合に採用することができる、簡単ではあるが効果的ではない領域を識別する方法である。 There are already enhanced solutions that can significantly improve performance, particularly visual performance. In order to effectively improve the performance of image processing, such processing can be applied and limited to specific areas of the display system, such as a screen where natural content is present. Such “window-type” manual selection made by the user is a simple but ineffective method of identifying areas that can be adopted when the content of the entire window is natural. is there.
米国特許第6,195,459号に記載されたファジー検出規則に基づく画像検出のための検出方法も適用可能であるが、信頼性に欠ける可能性がある。 A detection method for image detection based on the fuzzy detection rule described in US Pat. No. 6,195,459 is also applicable, but it may lack reliability.
残念ながら、ウェブページに典型的であるような同一のウインドウ内の複合コンテンツに対して同一の方法を使用することはできない。何故なら、純粋なテキスト又はグラフィックスに対する向上技術の適用は、これらテキスト又はグラフィックスの知覚される視覚品質の大きな損失を生じさせ得るからである。しかしながら、モニタ上に表示された自然画像の品質の大幅な向上を得るために適用されるビデオ向上アルゴリズムは、純粋なテキスト又はグラフィックスに適用されると悪影響がある。従って、適用される斯様なアルゴリズムの結果は、常に、不十分である。 Unfortunately, the same method cannot be used for complex content within the same window, as is typical for web pages. This is because the application of enhancement techniques to pure text or graphics can cause a significant loss of perceived visual quality of these texts or graphics. However, video enhancement algorithms that are applied to obtain a significant improvement in the quality of natural images displayed on a monitor have a negative impact when applied to pure text or graphics. Therefore, the result of such an algorithm applied is always inadequate.
従って、如何なる種類の複合コンテンツの画像に対しても自然的コンテンツと合成的コンテンツとの間を高信頼度で区別する能力が、重要になる。 Therefore, the ability to reliably distinguish between natural content and composite content for any type of composite content image becomes important.
本発明の目的は、画像を解析する、即ち特には複合コンテンツのデジタル画像の何の領域が自然画像コンテンツを含み、何の領域が合成画像コンテンツを含むかを検出する改善された方法を提供することにある。更に、本発明の目的は、斯様な方法を実行することが可能なコンピュータプログラム製品、装置、プロセッサデバイスシステム及びコンピュータ読み取り可能な媒体を提供することにもある。 It is an object of the present invention to provide an improved method of analyzing an image, i.e. in particular, detecting what regions of a digital image of a composite content contain natural image content and what regions contain composite image content. There is. It is a further object of the present invention to provide a computer program product, apparatus, processor device system and computer readable medium capable of performing such a method.
本発明は、独立請求項により規定される。従属請求項は、有利な実施例を規定している。 The invention is defined by the independent claims. The dependent claims define advantageous embodiments.
本発明の基本的な利点は、本発明による方法が、画像処理を特定の時点で表示され又は処理される画像コンテンツに自動的に適応化させるのを可能にすることにある。基本思想は、自然画像コンテンツは合成画像コンテンツから区別することができるということである。該区別は、本発明の基本的思想に基づいて、ローカル画像情報とグローバル画像情報との混合により実施される。グローバル情報とは経路長のような集合に関する情報である。ローカル情報は、各ピクセルに対する微分エントリにより提供される。 A fundamental advantage of the present invention is that it enables the method according to the present invention to automatically adapt image processing to image content that is displayed or processed at a particular point in time. The basic idea is that natural image content can be distinguished from composite image content. The distinction is performed by mixing local image information and global image information based on the basic idea of the present invention. Global information is information about a set such as a path length. Local information is provided by a differential entry for each pixel.
この種の区別から利益を受け得る他のアプリケーションは画像圧縮技術であり、斯かる圧縮技術は自然画像コンテンツと合成画像コンテンツとに各々別個の符号化方法を使用することができる。特に、これは、例えばビデオ画像及びテキスト／グラフィックスを符号化するための画像圧縮技術に関するものである。 Another application that can benefit from this type of distinction is image compression technology, which can use separate encoding methods for natural image content and composite image content. In particular, this relates to image compression techniques, for example for encoding video images and text / graphics.
上述した提案された方法は、各々が驚くべき知覚を有するような３つのステップに実質的に分割することができる。 The proposed method described above can be substantially divided into three steps, each having a surprising perception.
第１ステップにおいて、本方法はピクセルの１以上の関連するパラメータ値を処理する。更に、パラメータ行列の微分によりローカル画像情報が与えられる一方、グローバル画像情報は同一の微分エントリを有する隣接するピクセルの集合により与えられる。 In the first step, the method processes one or more associated parameter values of the pixel. Furthermore, the local image information is given by the differentiation of the parameter matrix, while the global image information is given by the set of adjacent pixels having the same derivative entry.
第２ステップに関しては、徹底した実験的観察が、長い経路を見つける確率は自然画像コンテンツに対しては非常に低いということを示した。該確率は、微分エントリの増加に伴い減少する。対照的に、この確率は合成画像コンテンツに対しては、より高くなる。考えは、この特徴を、複合画像コンテンツにおいて一方における自然画像コンテンツと、他方における合成画像コンテンツとを区別するために使用することである。特に、複合画像コンテンツに関しては、この知覚は、自然画像コンテンツは合成画像コンテンツより一層“断片化”されているので、自然画像コンテンツの経路長が非常に長くなることは一層困難となると見ることにより説明することができる。従って、一般的に自然画像コンテンツと合成画像コンテンツとの比較に関しては、自然画像コンテンツの経路が非常に長くなるということは余りありそうにない。 Regarding the second step, thorough experimental observations have shown that the probability of finding a long path is very low for natural image content. The probability decreases as the derivative entry increases. In contrast, this probability is higher for composite image content. The idea is to use this feature to distinguish between natural image content on one side and composite image content on the other side in composite image content. In particular, for composite image content, this perception is due to the fact that natural image content is much more “fragmented” than composite image content, so that the path length of natural image content becomes much more difficult. Can be explained. Therefore, in general, it is unlikely that the path of the natural image content will be very long when comparing the natural image content and the composite image content.
結果として、本発明の第３ステップは、閾関数Ｔ(D)を用いて閾処理を実行する。各集合の長さが計算され、該経路長と微分エントリとの組合せが該閾を超えた場合は、該集合に属する全てのピクセルは合成的と見なされ、該集合は合成画像コンテンツに属するものとしてラベルが付される。それ以外では、ピクセルは自然的とみなされ、当該集合は自然画像コンテンツに属するものとしてラベルが付される。 As a result, the third step of the present invention performs threshold processing using the threshold function T (D). If the length of each set is calculated and the combination of the path length and derivative entry exceeds the threshold, all pixels belonging to the set are considered synthetic and the set belongs to the composite image content As the label. Otherwise, the pixels are considered natural and the set is labeled as belonging to natural image content.
勾配値に関しては、自然画像コンテンツに対する閾は、より高い。何故なら、自然画像は一般的にピクセル間の低い勾配を特徴とし、従って長い集合が一層ありそうであるからである。従って、低勾配と高勾配との比較に関しては、低勾配の場合、自然画像コンテンツに対しては長い集合の方が一層ありそうである。反対に、高勾配値では閾は低くなければならない。何故なら、斯かる勾配値が合成画像に典型的であるからである。 With respect to gradient values, the threshold for natural image content is higher. This is because natural images are generally characterized by low gradients between pixels, and thus more likely to be long sets. Thus, with respect to the comparison between low and high gradients, there is more likely to be a long set for natural image content in the case of low gradients. Conversely, at high slope values, the threshold must be low. This is because such gradient values are typical for composite images.
提案された方法は、複合コンテンツに含まれる自然画像コンテンツを合成画像コンテンツから改善された品質で区別する方法を提供する。 The proposed method provides a way to distinguish natural image content contained in composite content from composite image content with improved quality.
有利な構成においては、ピクセルは、微分エントリＤにおける該ピクセルの微分エントリが最小エントリ値以下である場合、背景画像コンテンツとして分類される。改善は、低い値のピクセルは、これらピクセルが背景を表し、合成画像コンテンツ又は自然画像コンテンツの何れにも属し得るので別個に考察されるという認識から生じる。このように、上記最小エントリ値以下の値の全ての集合は、経路長の如何に拘わらず、背景画像コンテンツに属するとしてラベルが付される。 In an advantageous configuration, a pixel is classified as background image content if its differential entry in the differential entry D is less than or equal to the minimum entry value. The improvement arises from the recognition that low value pixels are considered separately because these pixels represent the background and can belong to either composite or natural image content. Thus, all sets of values less than or equal to the minimum entry value are labeled as belonging to the background image content regardless of the path length.
更に改善された構成は、所定の最大差分値が零の場合に達成される。この構成は処理時間を減少させる。 A further improved configuration is achieved when the predetermined maximum difference value is zero. This configuration reduces processing time.
また、前記少なくとも１つのパラメータ値がピクセルの輝度に対応すると有利である。輝度は画像を解析するための関連するパラメータである。何故なら、輝度は画像エネルギの及び形状に関する情報の主要な部分を含む、言い換えるとコンテンツの検出に必要とされるものを含むからである。 It is also advantageous if the at least one parameter value corresponds to the luminance of the pixel. Luminance is a relevant parameter for analyzing images. This is because the luminance contains the main part of the image energy and shape information, in other words, what is needed for content detection.
ピクセルに対する前記微分エントリが下記２つの勾配の最大値を選択することにより決定されることが、他の利点となる：
− 行列におけるピクセルの該行列のピクセルの行に沿う第１方向における位置の関数としての当該輝度の第１勾配、
− 上記行列における上記第１方向とは垂直なピクセルの他の行に沿う第２方向における位置の関数としての当該輝度の第２勾配。
上記第１及び第２勾配は、当該勾配の正又は負の値と、又は該勾配の絶対値とすることができる。
It is another advantage that the derivative entry for a pixel is determined by selecting the maximum of the following two gradients:
A first gradient of the luminance as a function of the position in a first direction of the pixels in the matrix along the row of pixels of the matrix;
A second slope of the brightness as a function of position in a second direction along other rows of pixels perpendicular to the first direction in the matrix;
The first and second gradients can be positive or negative values of the gradients, or absolute values of the gradients.
第１及び第２勾配は、勾配の正若しくは負の値又は勾配の絶対値とすることができる。 The first and second gradients can be positive or negative values of the gradient or absolute values of the gradient.
最小エントリ値を零とするのも他の利点である。これは、ピクセルを背景画像コンテンツとして分類するための好適な値であることが分かった。 Another advantage is that the minimum entry value is zero. This has been found to be a suitable value for classifying pixels as background image content.
他の有利な構成においては、背景画像コンテンツとして分類されたピクセルを持つ背景集合におけるピクセルは、
− 該背景集合が、合成画像コンテンツとして分類されたピクセルを持つ所定の数未満の隣接集合を有する、
− 該背景集合が、自然画像コンテンツとして分類されたピクセルを持つ最低数の隣接集合を有する、
場合に自然画像コンテンツとして分類され、それ以外の場合は合成画像コンテンツとして分類される。
In another advantageous configuration, the pixels in the background set with pixels classified as background image content are:
The background set has less than a predetermined number of neighboring sets with pixels classified as composite image content;
The background set has a minimum number of neighboring sets with pixels classified as natural image content;
In some cases, it is classified as a natural image content.
背景画像コンテンツとしてラベル付けされたピクセルは、背景画像コンテンツとしてラベル付けされたピクセルの関係解析を実行することにより、合成画像コンテンツ又は自然画像コンテンツの何れかへ変換される。これは、当該背景画像コンテンツの周囲の画像コンテンツを解析することにより実行することができる。 Pixels labeled as background image content are converted to either composite image content or natural image content by performing a relationship analysis of the pixels labeled as background image content. This can be performed by analyzing the image content around the background image content.
他の改善は、
− 隣接する集合が合成画像コンテンツとして分類されたピクセルを持つ、
− 当該集合の経路長が閾長さより短い、
場合において、集合における自然画像コンテンツとして分類されたピクセルが合成画像コンテンツとして分類される場合に達成される。
Other improvements are
-The adjacent set has pixels classified as composite image content,
-The path length of the set is shorter than the threshold length,
In some cases, this is achieved when pixels classified as natural image content in the set are classified as composite image content.
この最後に述べた改善ステップは、画像コンテンツの正しい検出を改善するために先に述べたステップの後で実行されることが重要である。 It is important that this last-mentioned improvement step is performed after the previous steps in order to improve the correct detection of the image content.
他の有利な構成においては、本方法は第３部分により補足することができる。該第３部分においては、主に自然画像コンテンツとしてラベル付けされたピクセルを伴う領域内の不規則さが補正される。特に、合成画像コンテンツとして分類された隣接ピクセルの系列は、該系列の長さが最大長より短い場合に自然画像コンテンツとして分類される。 In another advantageous configuration, the method can be supplemented by a third part. In the third part, irregularities in regions with pixels that are mainly labeled as natural image content are corrected. In particular, a series of adjacent pixels classified as composite image content is classified as natural image content when the length of the series is shorter than the maximum length.
他の有利な構成は、当該画像のうちの自然画像コンテンツとして分類されたピクセルを有する領域において、
− 各ピクセルに対して彩度パラメータがチェックされ、
− 彩度閾値より大きな彩度パラメータ値を持つピクセルの割合が、閾割合を超えたら、当該領域におけるピクセルは合成画像コンテンツとして分類される、
とする。
Another advantageous configuration is in the region of the image that has pixels classified as natural image content.
-The saturation parameter is checked for each pixel,
-If the percentage of pixels with a saturation parameter value greater than the saturation threshold exceeds the threshold percentage, the pixels in the region are classified as composite image content;
And
最後に、
− 当該画像において自然画像コンテンツとして分類された領域におけるピクセルの微分エントリの絶対値ｄが発生され、
− 下記のようなヒストグラムＨ(d)が発生され、
− 零と最大範囲値との間の絶対値ｄの範囲を有し、
− 同一の絶対値ｄを有する領域内のピクセルの数のカウントを前記絶対値ｄの範囲の関数として含み、
− 下記の場合に、絶対値ｄにおいてピークを有し、
− 隣接するヒストグラム値Ｈ(d-1)，Ｈ(d+1)がＨ(d)より小さい、且つ
− Ｈ(d)が、絶対値ｄと前記最大範囲値との間の絶対値ｄの範囲内の最高の値である、
− 下記の場合に、当該領域におけるピクセルが合成画像コンテンツとして分類される、
− Ｈ(d)がピークを持つような絶対値ｄの最低の値が、第１閾距離を超える、又は
− ヒストグラムＨ(d)の２つの隣接するピークに属する絶対値(d)の間の差が、第２閾距離を超える、
場合に、利点となる。
Finally,
The absolute value d of the differential entry of the pixel in the region classified as natural image content in the image is generated,
-The following histogram H (d) is generated,
-Having a range of absolute values d between zero and the maximum range value;
-Including a count of the number of pixels in a region having the same absolute value d as a function of the range of the absolute value d;
A peak in absolute value d in the following cases:
-Adjacent histogram values H (d-1), H (d + 1) are smaller than H (d), and-H (d) is an absolute value d between the absolute value d and the maximum range value. The highest value in the range,
-Pixels in the region are classified as composite image content if:
The lowest value of absolute value d such that H (d) has a peak exceeds the first threshold distance, or between absolute values (d) belonging to two adjacent peaks of histogram H (d) The difference exceeds the second threshold distance,
If it is an advantage.
上記微分エントリの絶対値のヒストグラムは、当該画像の自然画像コンテンツとして分類された領域が本当に自然のものであるかを検証するために使用される。 The histogram of the absolute value of the differential entry is used to verify whether the region classified as the natural image content of the image is really natural.
コンピュータプログラム製品に関する目的は、本発明によれば、コンピュータ上で実行された場合に上記の提案された方法を実行するコンピュータプログラム製品により解決される。 The object relating to a computer program product is solved according to the invention by a computer program product which, when executed on a computer, performs the proposed method described above.
特に、当該コンピュータプログラム製品の改良は、閾の利用に対して下記の擬似コードを提供する：
ここで、ラベルｉ及びｊは各行列のエントリをラベル付けするために使用され、Ｓ(i,j)は各ピクセルに対する画像コンテンツ（自然、合成又は背景）を含む意味行列（semantic matrix）である。 Where labels i and j are used to label each matrix entry, and S (i, j) is a semantic matrix containing the image content (natural, composite or background) for each pixel. .
前記装置に関する問題は、本発明によれば、ピクセルの行列からなる画像を解析する回路及び／又はコンピュータプログラムを有する装置であって、各ピクセルが少なくとも１つのパラメータにより規定され、各ピクセルに対する該少なくとも１つのパラメータの値がパラメータ行列（Ｙ）に配列され、当該装置が前述した請求項１の方法を実行する処理回路を有するような装置により解決される。 The problem with the device is, according to the invention, a device comprising a circuit and / or a computer program for analyzing an image consisting of a matrix of pixels, wherein each pixel is defined by at least one parameter, The value of one parameter is arranged in a parameter matrix (Y) and is solved by a device in which the device comprises a processing circuit for performing the method of claim 1 described above.
該装置は、コンピュータ、表示装置、モニタ、テレビジョン又は表示装置を有するか若しくは画像を処理する処理回路を有する如何なる他の製品でもあり得る。 The device can be a computer, display device, monitor, television, or display device or any other product with processing circuitry for processing images.
プロセッサデバイスシステム及び／又はコンピュータ読み取り可能な媒体に関する目的は、提案された前記方法を実行するためにロードされたコンピュータプログラム製品を有するプロセッサデバイスシステム及び／又はコンピュータ読み取り可能な媒体により解決される。 The object regarding the processor device system and / or computer readable medium is solved by a processor device system and / or computer readable medium having a computer program product loaded to perform the proposed method.
本発明による方法及び装置の、上記及び他の態様を添付図面を参照して詳細に解説及び記載する。 These and other aspects of the method and apparatus according to the present invention will be described and described in detail with reference to the accompanying drawings.
図１は、提案された画像を解析する方法に関する主要なフィーチャを３つのステップで示している。 FIG. 1 shows the main features of the proposed method for analyzing an image in three steps.
図１で使用されている記号は：
Ｙ 当該画像を作成するピクセルの行列のパラメータ値を有するパラメータ行列、
Ｄ 上記パラメータ値の微分エントリを含む勾配行列、
Ｐ 経路行列。該行列は各ピクセルに対する経路長を含む。
Ｓ 意味行列。各ピクセルに対して、該行列は以下に説明するように３つのラベルＮＡＴ、ＳＹＮＴ及びＢＡＣＫのうちの１つを含んでいる。
The symbols used in Figure 1 are:
Y a parameter matrix having parameter values of a matrix of pixels that create the image,
D a gradient matrix containing derivative entries of the parameter values,
P Path matrix. The matrix includes a path length for each pixel.
S Semantic matrix. For each pixel, the matrix includes one of three labels NAT, SYNT and BACK as described below.
画像は、ピクセルの行列からなっている。各ピクセルは、少なくとも１つのパラメータ値により規定される。上記ピクセル行列のパラメータ値は、パラメータ行列Ｙに配列される。これらパラメータ値は、通常は、デジタルの形態で利用可能である。パラメータとしては輝度が使用されることが有利である。第１ステップにおいては、行列Ｙの輝度パラメータ値に対して勾配演算１が実行され、該勾配は微分行列Ｄに配列された複数の微分エントリにより提供される。 An image consists of a matrix of pixels. Each pixel is defined by at least one parameter value. The parameter values of the pixel matrix are arranged in the parameter matrix Y. These parameter values are usually available in digital form. Advantageously, brightness is used as a parameter. In the first step, a gradient operation 1 is performed on the luminance parameter values of the matrix Y, which gradient is provided by a plurality of derivative entries arranged in the derivative matrix D.
第２ステップにおいては、所定の最大差分値以下しか相互にずれていない隣接する微分エントリの集合が識別される。各集合に対して、当該集合におけるエントリの数を示すような、経路長が経路発見器（path finder）２により決定される。
In the second step, a set of adjacent differential entries that are deviated from each other by a predetermined maximum difference value or less are identified. For each set, a
必要な計算を簡略化する代替例は、上記所定の最大差分値を零に等しくすることである。 An alternative that simplifies the necessary calculations is to make the predetermined maximum difference value equal to zero.
第３ステップにおいては、各ピクセルに対して当該ピクセルの微分エントリと経路長との組合せが所定の閾関数Ｔ(D)を超えるかチェックすることにより閾チェック３が実行される。
In the third step,
各集合に関して、経路長及び微分エントリの変数を閾関数Ｔ(D)と比較することにより、当該集合に関係するピクセルは、上記変数が閾関数Ｈ(D)を超える場合は合成画像コンテンツＳＹＮＴと分類され、上記変数が閾関数Ｈ(D)より低いままである場合は自然画像コンテンツＮＡＴと分類される。 For each set, by comparing the path length and derivative entry variables with the threshold function T (D), the pixels associated with the set are combined with the composite image content SYNT if the variable exceeds the threshold function H (D) If it is classified and the variable remains below the threshold function H (D), it is classified as natural image content NAT.
図２は、有利な実施例において使用される好ましい閾関数Ｔ(D)を示す。該閾関数は、微分エントリの絶対値ｄの関数として与えられる。自然画像においては、一般的にピクセル間では低い勾配が一層ありそうであり、結果として、統計的に見て、低い勾配に対しては一層長い経路長となる。この結果、図２に示すような好ましい閾関数Ｔ(D)が得られ、該図において、閾関数Ｈ(D)は部分エントリの絶対値ｄが増加すると減少する。図１における比較ステップにおいて、微分エントリは最小エントリ値と比較される。 FIG. 2 shows a preferred threshold function T (D) used in the preferred embodiment. The threshold function is given as a function of the absolute value d of the derivative entry. In natural images, there is generally more likely a lower slope between pixels, resulting in a longer path length for lower slopes, statistically. This results in a preferred threshold function T (D) as shown in FIG. 2, in which the threshold function H (D) decreases as the absolute value d of the partial entry increases. In the comparison step in FIG. 1, the derivative entry is compared with the minimum entry value.
上記最小エントリ値より小さい微分エントリを有するピクセルは、背景画像コンテンツＢＡＣＫと分類される。背景画像コンテンツとして分類されたピクセルは、合成画像コンテンツＳＹＮＴにも及び自然画像コンテンツにも属する可能性があるので、以下に見られるように更なる処理が必要とされる。 Pixels having differential entries that are smaller than the minimum entry value are classified as background image content BACK. Pixels classified as background image content may belong to both the composite image content SYNT and the natural image content, so further processing is required as will be seen below.
上記最小エントリ値は零とされるのが有利である。ここまで述べたステップの結果として、各ピクセルに対してラベルＮＡＴ、ＳＹＮＴ又はＢＡＣＫの１つを含む意味行列Ｓを作成することができる。 The minimum entry value is advantageously zero. As a result of the steps described so far, a semantic matrix S containing one of the labels NAT, SYNT or BACK can be created for each pixel.
前記勾配演算に関しては、該タスクを実行するために多数の演算子が好適であるが、実験的試験の後、異なる勾配演算を使用しても結果は大幅には相違しないことが分かった。従って、計算的見地からは、単純なノルム、即ちmaxノルム：
特に、
Ｎ＝２の場合、これは通常のユークリッドノルム：
Ｎ＝∞の場合、これは、有利な実施例において使用されるようにmaxノルムとなる。 For N = ∞, this is the max norm as used in the preferred embodiment.
各ピクセルに関して、微分エントリを追加メモリに記憶することができる。しかしながら、好ましい実施例においては、微分エントリＤの行列を記憶する追加のメモリは必要ではない。行列Ｙは、フレームメモリに記憶することができる。微分エントリが算出されている各ピクセルに対して、この微分エントリは、対応するパラメータ値が記憶されたのと同一のフレームメモリに記憶することができる。何故なら、このパラメータ値は、当該方法の後のステップにおいては最早決して使用されることはないからである。これを実行するために、追加のラインメモリのみを必要とすることもできる。 For each pixel, a derivative entry can be stored in additional memory. However, in the preferred embodiment, no additional memory is required to store the matrix of derivative entries D. The matrix Y can be stored in a frame memory. For each pixel for which a derivative entry has been calculated, this derivative entry can be stored in the same frame memory in which the corresponding parameter value is stored. This is because this parameter value is no longer used in later steps of the method. Only an additional line memory may be required to do this.
本方法の部分１の結果として、３つの可能性のあるラベルＮＡＴ、ＳＹＮＴ又はＢＡＣＫのうちの１つが各ピクセルに割り当てられる。 As a result of part 1 of the method, one of the three possible labels NAT, SYNT or BACK is assigned to each pixel.
背景画像コンテンツＢＡＣＫ値として分類されたピクセルを持つ集合は、図３のフローチャートに示すように更に処理されねばならない。これらの集合は、当該画像の一様な領域である。通常、一様な領域は画像の背景を表し、このような理由により、斯かる一様な領域は画像の自然コンテンツに及び／又は合成コンテンツの両方に属する可能性がある。例えば、風景の空の領域は、量子化の後にＪＰＥＧ圧縮により一様に見える可能性があり、同様にして、図のテキストも一様な背景を有する。一様な領域における前記集合の処理は２つのステップで、即ち短ＮＡＴ経路処理ステップ５が後続するＢＡＣＫ経路処理ステップ４により実行される。 The set with pixels classified as background image content BACK values must be further processed as shown in the flowchart of FIG. These sets are uniform regions of the image. Typically, a uniform region represents the background of the image, and for this reason, such a uniform region can belong to both the natural content of the image and / or to the composite content. For example, a sky region of a landscape may appear uniform due to JPEG compression after quantization, and similarly, the text of the figure has a uniform background. The processing of the set in a uniform region is performed in two steps, ie, a BACK path processing step 4 followed by a short NAT path processing step 5.
自然画像に属する一様な領域に関して検証されるべき２つの独特の特性が識別されている。即ち：
１．当該画像の一様な領域を囲む領域はテキスト文字又はグラフィック部分を含むべきではない（又は、斯かるテキスト文字又はグラフィック部分は少数しか含んではならない）。言い換えると、斯かる領域はＳＹＮＴとして分類されたピクセルを持つ集合を過度に多く含んではならない。
２．上記一様な領域は、ＮＡＴとして分類されたピクセルを持つ集合に少なくとも部分的に隣接していなければならない。さもなければ、これらをビデオ画像の一部として見なす理由が存在しない。
Two unique characteristics to be verified for uniform regions belonging to natural images have been identified. That is:
1. The area surrounding the uniform area of the image should not contain text characters or graphic parts (or few such text characters or graphic parts). In other words, such a region should not contain too many sets with pixels classified as SYNT.
2. The uniform region must be at least partially adjacent to a set having pixels classified as NAT. Otherwise there is no reason to consider these as part of the video image.
ＢＡＣＫ経路処理ステップ４においては２つの特性が前記意味行列Ｓを解析することにより検証される。これらの特性を持つＢＡＣＫとして分類されたピクセルを持つ集合が発見されたら、該集合のピクセルはＮＡＴに変換され、それ以外の場合、これらはＳＹＮＴに変換される。ＢＡＣＫ経路処理ステップ４の結果として、ＮＡＴ又はＳＹＮＴとして分類されたピクセルを含む適応化された意味行列Ｓが発生される。 In the BACK path processing step 4, two characteristics are verified by analyzing the semantic matrix S. If a set with pixels classified as BACK with these characteristics is found, the pixels of the set are converted to NAT, otherwise they are converted to SYNT. As a result of the BACK path processing step 4, an adapted semantic matrix S is generated that includes pixels classified as NAT or SYNT.
有利な実施例においては、上記２つの特性は、背景画像コンテンツＢＡＣＫとして分類されたピクセルを持つ背景集合においてピクセルを分類するために使用される。斯かる背景集合におけるピクセルは、下記の２つの特性が満足された場合は、自然画像コンテンツとして分類される：
１．当該背景集合が、合成画像コンテンツＳＹＮＴとして分類されたピクセルを持つ所定数未満の隣接する集合しか有しておらず、且つ
２．当該背景集合が、自然画像コンテンツＮＡＴとして分類されたピクセルを持つ最小数の隣接する集合を有する。
In an advantageous embodiment, the above two characteristics are used to classify pixels in a background set with pixels classified as background image content BACK. A pixel in such a background set is classified as natural image content if the following two properties are satisfied:
1. 1. the background set has less than a predetermined number of adjacent sets with pixels classified as composite image content SYNT; The background set has a minimum number of adjacent sets with pixels classified as natural image content NAT.
他の全ての場合には、背景集合におけるピクセルは合成画像コンテンツＳＹＮＴと分類される。 In all other cases, the pixels in the background set are classified as composite image content SYNT.
上述した処理の結果は、ＮＡＴ又はＳＹＮＴと分類されたピクセルを含む適応化された意味行列Ｓ１となる。 The result of the processing described above is an adapted semantic matrix S1 that includes pixels classified as NAT or SYNT.
背景が正しく分類されたら、好ましい実施例は、短ＮＡＴ経路処理ステップ５において、分離されており且つ自然画像コンテンツとして見なすには短か過ぎるＮＡＴとして分類された集合を変換し続ける。これらの集合は、短ＮＡＴ経路と呼ばれ、偽経路と考えられる。何故なら、これら集合は小さなアイコン又はＪＰＥＧで圧縮された合成画像の部分から生じるからである。短ＮＡＴ経路処理ステップ５において、短ＮＡＴ経路におけるピクセルはＳＹＮＴに変換される。該短ＮＡＴ経路処理の結果は、第２の適応化された意味行列Ｓ２に記憶される。 Once the background has been correctly classified, the preferred embodiment continues to convert the set classified as NAT, which is separated and too short to be considered natural image content, in the short NAT path processing step 5. These sets are called short NAT paths and are considered fake paths. This is because these sets originate from small icons or parts of the composite image compressed with JPEG. In short NAT path processing step 5, the pixels in the short NAT path are converted to SYNT. The result of the short NAT path processing is stored in a second adapted semantic matrix S2.
最後の２つのステップの順序は逆転されてはならないことに注意することが重要である。 It is important to note that the order of the last two steps must not be reversed.
事実、自然画像の小さな部分が当該画像から背景により分離されることはしばしば発生する。これらの種類の経路は真の短ＮＡＴ経路と呼ぶことができる。何故なら、これら経路は、好ましい実施例により、過度に短いが短ＮＡＴ経路の最大部分のような誤った検出ではない自然画像に属するものであるとして分類された経路であるからである。好ましい実施例がＢＡＣＫ部分の前に短ＮＡＴ経路を処理すると、全ての短ＮＡＴ経路がＳＹＮＴに変換されてしまう。従って、短ＮＡＴ経路の部分集合であるような幾つかの真の短ＮＡＴ経路もＳＹＮＴに変換されてしまう事態が発生し得る。これは、検出性能の低下に繋がる。このように、上記ステップの正に述べた順序を維持することが、不所望な影響を防止する。 In fact, it often happens that a small part of a natural image is separated from the image by the background. These types of paths can be referred to as true short NAT paths. This is because, according to the preferred embodiment, these paths are classified as belonging to a natural image that is not too short but not falsely detected as the largest part of a short NAT path. If the preferred embodiment processes the short NAT path before the BACK portion, all the short NAT paths are converted to SYNT. Therefore, a situation may occur in which some true short NAT paths that are a subset of the short NAT path are also converted to SYNT. This leads to a decrease in detection performance. Thus, maintaining the exact order of the above steps prevents unwanted effects.
図３に示すように、ＢＡＣＫ経路処理ステップ４及び短ＮＡＴ経路処理ステップ５の後、当該アルゴリズムは、２種類のラベル、即ちＮＡＴ及びＳＹＮＴのみを含む第２の適応化された意味行列Ｓ２を出力として生成する。各ピクセルは、これら２つのラベルのうちの１つで分類される。ＮＡＴとラベルが付されたピクセルの集合は出力マスクを表す。このようなマスクは、しばしば、該マスク内及び境界上の両方に幾つかの不規則性を含む。従って、有利な実施例においては、これらの不規則性を低減するために不規則性低減処理ステップ６が適用される。 As shown in FIG. 3, after BACK path processing step 4 and short NAT path processing step 5, the algorithm outputs a second adapted semantic matrix S2 containing only two types of labels, namely NAT and SYNT. Generate as Each pixel is classified with one of these two labels. The set of pixels labeled NAT represents the output mask. Such masks often contain some irregularities both within the mask and on the boundaries. Thus, in an advantageous embodiment, the irregularity reduction processing step 6 is applied to reduce these irregularities.
上記第２の適応化された意味行列は、行方向及び列方向の両方向に走査される。このようにすることにより、下記の２つの状況を特徴付けることができる。即ち、“マスク／非マスク”遷移及び反対の“非マスク／マスク”遷移である。最初の用語は、当該アルゴリズムが最初にマスクに属するピクセルに出会い、その後に該マスクに属さないピクセルに出会うような状況を示す。第２の用語は、反対の状況を示す。ライン内で“マスク／非マスク”遷移が見付かったら、反対の遷移が発生するか又は当該ラインが完了するまで、カウンタが増加される。次いで、該カウンタが評価される。即ち、該カウンタの値が或る閾より小さい場合は、最後の“マスク／非マスク”イベントからの全ピクセルは該マスクに属するピクセルに変換される。 The second adapted semantic matrix is scanned in both row and column directions. By doing so, the following two situations can be characterized. That is, the “mask / non-mask” transition and the opposite “non-mask / mask” transition. The first term refers to a situation where the algorithm first encounters a pixel that belongs to a mask and then encounters a pixel that does not belong to the mask. The second term indicates the opposite situation. If a “mask / non-mask” transition is found in the line, the counter is incremented until the opposite transition occurs or the line is complete. The counter is then evaluated. That is, if the value of the counter is less than a certain threshold, all pixels from the last “mask / unmask” event are converted to pixels belonging to the mask.
言い換えると、合成画像コンテンツとして分類された隣接するピクセルの系列は、該系列の長さが最大長より短い場合、自然画像コンテンツＮＡＴとして分類される。 In other words, a series of adjacent pixels classified as composite image content is classified as natural image content NAT if the length of the series is shorter than the maximum length.
この種の処理は、マスク不規則性の最も大きな部分を除去する。 This type of processing removes the largest portion of mask irregularities.
最終的に、自然領域の検出の信頼性のレベルを増加させる目的で、２つのテストＴ１、Ｔ２が当該処理の最後に実行される。 Finally, two tests T1, T2 are performed at the end of the process in order to increase the level of reliability of detection of the natural region.
図３に示すように、第１のテストＴ１は当該マスク内のピクセルの彩度パラメータに対して実行される。該彩度パラメータの飽和値Ｓｖは、自然と分類された領域においてピクセル毎に評価される。 As shown in FIG. 3, the first test T1 is performed on the saturation parameters of the pixels in the mask. The saturation value Sv of the saturation parameter is evaluated for each pixel in an area classified as natural.
各ピクセルに対する飽和値Ｓｖは、当該ピクセルのＲＧＢカラー成分から、
各ピクセルに対して飽和閾値Ｓｖが決定され、当該マスクにおける飽和値が該飽和閾値より大きいピクセルの割合が決定される。このピクセルの割合が上記飽和閾値より大きい場合、このマスクは合成領域と見なされ、関連するピクセル及び経路は合成画像コンテンツＳＹＮＴとラベル付けされる。 A saturation threshold Sv is determined for each pixel, and the percentage of pixels whose saturation value in the mask is greater than the saturation threshold is determined. If the percentage of pixels is greater than the saturation threshold, the mask is considered a composite region and the associated pixels and paths are labeled as composite image content SYNT.
最後に、自然として認識された各領域に関する微分エントリのヒストグラムに対して第２のテストＴ２が実行される。このようなヒストグラムは自然画像の場合に２つの規準を満たさねばならないことが分かった。従って、該第２のテストの目的は、自然画像コンテンツＮＡＴとして検出された領域に対して斯かる規準を検証すると共に、当該領域のヒストグラムが両規準を満たす場合に該テストされた領域の分類を自然画像コンテンツＮＡＴとして維持することにある。それ以外の場合は、当該分類は合成画像コンテンツＳＹＮＴに変更される。 Finally, a second test T2 is performed on the histogram of differential entries for each region recognized as natural. It has been found that such a histogram must meet two criteria for natural images. Therefore, the purpose of the second test is to verify such a criterion for the area detected as the natural image content NAT and to classify the tested area when the histogram of the area satisfies both criteria. The natural image content is to be maintained as NAT. In other cases, the classification is changed to the composite image content SYNT.
有利な実施例においては、テスト下の領域におけるピクセルの微分エントリの絶対値ｄが、斯かる絶対値ｄの関数としてのヒストグラムＨ(d)を発生するために使用される。 In the preferred embodiment, the absolute value d of the differential entry of the pixel in the region under test is used to generate a histogram H (d) as a function of such absolute value d.
他の実施例においては、上記微分エントリの正及び負の値が使用される。 In other embodiments, the positive and negative values of the derivative entry are used.
上記絶対値ｄのヒストグラムＨ(d)は、ｄの各値に対して、テスト中の領域における微分エントリの絶対値として該値ｄを持つピクセルの数を含む。 The histogram H (d) of the absolute value d includes the number of pixels having the value d as the absolute value of the differential entry in the region under test for each value of d.
絶対値ｄは、零から最大範囲値まで変化し得る。該最大範囲値は、前記パラメータ行列Ｙにおける２つの隣接するエントリが最大の差（例えば、零輝度から最大輝度値への又はその逆の遷移により）を有する場合に発生するような最大の微分エントリに対応する。 The absolute value d can vary from zero to a maximum range value. The maximum range value is the maximum differential entry that occurs when two adjacent entries in the parameter matrix Y have the maximum difference (eg, due to a transition from zero luminance to the maximum luminance value or vice versa). Corresponding to
上記ヒストグラムＨ(d)におけるピークは、下記の規準に基づいて定義される：
１）Ｈ(d)は極大（relative maximum）である。即ち、Ｈ(d)＞Ｈ(d-1)且つＨ(d)＞Ｈ(d+1)；
２）Ｈ(d)は当該範囲（ｄ，最大範囲値）内の絶対最大値である。
The peaks in the histogram H (d) are defined based on the following criteria:
1) H (d) is a relative maximum. That is, H (d)> H (d-1) and H (d)> H (d + 1);
2) H (d) is an absolute maximum value within the range (d, maximum range value).
ビデオ画像のような自然画像コンテンツＮＡＴの画像のヒストグラムにおいては、全てのピーク（２以上なら）は低勾配で現れ、ピーク間の距離は非常に小さい。テキスト及びグラフィックス画像のヒストグラムにおいては、ピーク間の距離はビデオ画像に対するものより著しく大きく、最初のピークは、しばしば、ビデオ画像におけるよりも大幅に大きな絶対値で現れる。広範囲の数の入力画像を処理した後、最も小さな値ｄを持つ第１ピークに対するｄの絶対値である第１閾距離及び隣接するピークの間の第２閾距離に関する適切な閾値が見付かった。 In a histogram of an image of natural image content NAT such as a video image, all peaks (if 2 or more) appear with a low gradient, and the distance between the peaks is very small. In text and graphics image histograms, the distance between the peaks is significantly greater than for video images, and the first peak often appears at a much larger absolute value than in video images. After processing a wide range of input images, a suitable threshold for the first threshold distance, which is the absolute value of d for the first peak with the smallest value d, and the second threshold distance between adjacent peaks was found.
上述した２つの閾値に基づけば、自然画像コンテンツＮＡＴの領域に関し該分類を維持するために満たされるべき２つの規準は：
１）最初のピークは上記第１閾距離より小さい絶対値で現れなければならず、
２）２つの連続するピークの間の距離は、上記第２閾距離よりも小さくなければならない、
となる。
Based on the two thresholds described above, the two criteria that must be met to maintain the classification for the region of the natural image content NAT are:
1) The first peak must appear with an absolute value less than the first threshold distance,
2) The distance between two consecutive peaks must be smaller than the second threshold distance,
It becomes.
有利な実施例においては、上記規準を適用する分類は下記のように実行される：
− 自然画像コンテンツ（ＮＡＴ）として分類された画像の領域におけるピクセルの微分エントリの絶対値ｄが発生される、
− 下記のようなヒストグラムＨ(d)が発生される、
− 零と最大範囲値との間の絶対値の範囲を有する、
− 絶対値ｄの範囲の関数として、当該領域における同じ絶対値ｄを持つピクセルの数のカウントを含む、
− 下記の場合に、絶対値ｄにピークを有する、
− 隣接するヒストグラム値Ｈ(d-1)、Ｈ(d+1)はＨ(d)より小さい、且つ
− Ｈ(d)は当該絶対値ｄと最大範囲値との間の絶対値ｄの範囲における最大の値である、
− 下記の場合に、当該領域におけるピクセルは合成画像コンテンツ（ＳＹＮＴ）と分類される、
− Ｈ(d)がピークを持つような絶対値ｄの最小の値が、第１閾距離を超える、又は
− ヒストグラムＨ(d)の２つの隣接するピークに属する絶対値（ｄ）の間の差が、第２閾距離を超える。
In an advantageous embodiment, the classification applying the above criteria is performed as follows:
The absolute value d of the differential entry of the pixel in the region of the image classified as natural image content (NAT) is generated;
-A histogram H (d) is generated as follows:
-Having a range of absolute values between zero and the maximum range value;
-Including a count of the number of pixels having the same absolute value d in the region as a function of the range of absolute values d;
A peak in absolute value d in the following cases:
-Adjacent histogram values H (d-1), H (d + 1) are smaller than H (d), and-H (d) is a range of absolute value d between the absolute value d and the maximum range value. Is the largest value in
-Pixels in the area are classified as composite image content (SYNT) if:
The minimum value of absolute value d such that H (d) has a peak exceeds the first threshold distance, or between absolute values (d) belonging to two adjacent peaks of histogram H (d) The difference exceeds the second threshold distance.
図３に示す最終マスクＭ、即ち上記２つのテストＴ１、Ｔ２の後に自然コンテンツＮＡＴの分類を維持したＮＡＴとラベル付けされたピクセルを持つ領域、は良好なレベルの信頼性で当該画像内の自然領域を表す。 The final mask M shown in FIG. 3, ie, the region with pixels labeled NAT that maintained the classification of the natural content NAT after the two tests T1, T2, is a natural level in the image with a good level of reliability. Represents an area.
尚、上述した実施例は本発明を限定するというよりは解説するものであり、当業者であれば添付請求項の範囲から逸脱すること無しに多数の代替実施例を設計することができることに注意すべきである。また、請求項において、括弧内に配された如何なる符号も当該請求項を限定するものと見なしてはならない。また、“有する”なる動詞及びその活用形の使用は、請求項に記載されたもの以外の構成要素又はステップの存在を排除するものではない。また、単数形の構成要素は複数の斯様な構成要素の存在を排除するものではない。また、本発明は、幾つかの別個の構成要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施化することができる。また、幾つかの手段を列挙する装置の請求項において、これら手段の幾つかはハードウェアの１つの同一のものにより実施化することができる。また、特定の手段が相互に異なる従属請求項において引用されているという事実だけで、これら手段の組合せを有利に使用することができないということを示すものではない。 It should be noted that the embodiments described above are illustrative rather than limiting the invention, and that many alternative embodiments can be designed by those skilled in the art without departing from the scope of the appended claims. Should. In the claims, any reference signs placed between parentheses shall not be construed as limiting the claim. Also, the use of the verb “comprise” and its conjugations does not exclude the presence of elements or steps other than those stated in a claim. In addition, singular components do not exclude the presence of a plurality of such components. The present invention can also be implemented by hardware having several distinct components and by a suitably programmed computer. In the device claim enumerating several means, several of these means can be embodied by one and the same item of hardware. The mere fact that certain measures are recited in mutually different dependent claims does not indicate that a combination of these measured cannot be used to advantage.
Claims (14)
− 前記パラメータ行列に微分演算を実行して、行列に配列された複数の微分エントリを設けるステップと、
− 所定の最大差分値以下しか相互にずれていない隣接する微分エントリの集合を決定するステップと、
− 各集合に対して該集合における前記隣接する微分エントリの数を示す経路長を決定すると共に、該経路長を当該集合における各ピクセルに割り当てるステップと、
− ピクセルを、
− 該ピクセルに割り当てられた前記経路長と該ピクセルに関する前記微分エントリとの組合せが閾関数を超えた場合は、合成画像コンテンツとして、
− 該ピクセルに割り当てられた前記経路長と該ピクセルに関する前記微分エントリとの組合せが前記閾関数より低い場合には、自然画像コンテンツとして、
分類するステップと、
を有していることを特徴とする方法。 In a method of analyzing an image consisting of a matrix of pixels such that each pixel is defined by at least one parameter value arranged in a parameter matrix,
Performing a differential operation on the parameter matrix to provide a plurality of differential entries arranged in the matrix;
-Determining a set of adjacent differential entries that are offset from each other by a predetermined maximum difference value;
-Determining for each set a path length indicating the number of said adjacent differential entries in said set and assigning said path length to each pixel in said set;
− Pixel
-If the combination of the path length assigned to the pixel and the derivative entry for the pixel exceeds a threshold function,
If the combination of the path length assigned to the pixel and the derivative entry for the pixel is lower than the threshold function, as natural image content,
A step of classification;
A method characterized by comprising:
− 前記行列におけるピクセルの行に沿う第１方向における該行列内のピクセルの位置の関数としての前記輝度の第１勾配、及び
− 前記行列における前記第１方向とは垂直のピクセルの他の行に沿う第２方向における該行列内の位置の関数としての前記輝度の第２勾配、
なる２つの勾配のうちの最大値を選択することにより決定されることを特徴とする方法。 5. The method of claim 4, wherein the derivative entry for a pixel is
-A first gradient of the luminance as a function of the position of the pixel in the matrix in a first direction along the row of pixels in the matrix; and-in another row of pixels perpendicular to the first direction in the matrix A second gradient of the luminance as a function of position in the matrix in a second direction along;
A method characterized in that it is determined by selecting the maximum value of two gradients.
− 前記背景集合が、合成画像コンテンツとして分類されたピクセルを持つ所定数未満の隣接する集合を有し、及び
− 前記背景集合が、自然画像コンテンツとして分類されたピクセルを持つ最小数の隣接する集合を有する、
場合に自然画像コンテンツとして分類され、それ以外の場合には合成画像コンテンツとして分類されることを特徴とする方法。 The method of claim 2, wherein the pixels in the background set having pixels classified as background image content are:
-The background set has less than a predetermined number of adjacent sets with pixels classified as composite image content; and-the background set has the minimum number of adjacent sets with pixels classified as natural image content Having
The method is classified as a natural image content in some cases, and is classified as a composite image content in other cases.
− 隣接する集合が合成画像コンテンツとして分類されたピクセルを有し、及び
− 当該集合の前記経路長が閾長より短い、
場合に合成画像コンテンツとして分類されることを特徴とする方法。 8. The method of claim 7, wherein pixels classified as natural image content in the set are
An adjacent set has pixels classified as composite image content, and the path length of the set is less than a threshold length,
A method characterized by being classified as composite image content.
− 各ピクセルに対して飽和パラメータ値がチェックされ、
− 飽和閾値より大きな飽和パラメータ値を有するピクセルの割合が閾割合を超えた場合に、前記領域におけるピクセルが合成画像コンテンツとして分類される、
ことを特徴とする方法。 The method of claim 1, wherein the region has pixels classified as natural image content of the image.
The saturation parameter value is checked for each pixel,
The pixels in the region are classified as composite image content when the percentage of pixels having a saturation parameter value greater than the saturation threshold exceeds the threshold percentage;
A method characterized by that.
− 当該画像における自然画像コンテンツとして分類された領域内のピクセルの微分エントリの絶対値ｄが発生され、
− 下記のようなヒストグラムＨ(d)が発生され、
− 零と最大範囲値との間の絶対値ｄの範囲を有し、
− 前記絶対値ｄの範囲の関数として、当該領域内の同じ絶対値ｄを持つピクセルの数のカウントを含み、
− 下記の場合に絶対値ｄにおいてピークを有し、
− 隣接するヒストグラム値Ｈ(d-1)、Ｈ(d+1)がＨ(d)より小さく、及び
− Ｈ(d)が、当該絶対値ｄと前記最大範囲値との間の絶対値ｄの範囲における最大値である、
− 下記の場合に、当該領域内のピクセルが合成画像コンテンツとして分類される、
− Ｈ(d)がピークを持つような絶対値ｄのうちの最小値が、第１閾距離を超える、又は
− 前記ヒストグラムＨ(d)の２つの隣接するピークに属する絶対値（ｄ）間の差が、第２閾距離を超える、
ことを特徴とする方法。 The method of claim 1, wherein
The absolute value d of the differential entry of the pixels in the region classified as natural image content in the image is generated,
-The following histogram H (d) is generated,
-Having a range of absolute values d between zero and the maximum range value;
-A count of the number of pixels having the same absolute value d in the region as a function of the range of the absolute value d,
A peak at absolute value d in the following cases:
-Adjacent histogram values H (d-1), H (d + 1) are smaller than H (d), and-H (d) is an absolute value d between the absolute value d and the maximum range value. Is the maximum value in the range of
-Pixels in the area are classified as composite image content if:
The minimum value of absolute values d such that H (d) has a peak exceeds the first threshold distance, or between absolute values (d) belonging to two adjacent peaks of the histogram H (d) The difference exceeds the second threshold distance,
A method characterized by that.
A processor device system and / or computer readable medium having a computer program stored for performing the method of claim 1.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP02076184 | 2002-03-26 | ||
| PCT/IB2003/001100 WO2003081533A2 (en) | 2002-03-26 | 2003-03-12 | Classifying pixels as natural or synthetic image content |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005521169A true JP2005521169A (en) | 2005-07-14 |
Family
ID=28051811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003579177A Pending JP2005521169A (en) | 2002-03-26 | 2003-03-12 | Analysis of an image consisting of a matrix of pixels |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP1490834A2 (en) |
| JP (1) | JP2005521169A (en) |
| CN (1) | CN1656516A (en) |
| AU (1) | AU2003212574A1 (en) |
| TW (1) | TW200404268A (en) |
| WO (1) | WO2003081533A2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006087666A1 (en) * | 2005-02-16 | 2006-08-24 | Koninklijke Philips Electronics N.V. | Method for natural content detection and natural content detector |
| JP4683294B2 (en) * | 2006-03-16 | 2011-05-18 | ソニー株式会社 | Image processing apparatus and method, program recording medium, and program |
| EP2442238A1 (en) | 2010-09-29 | 2012-04-18 | Accenture Global Services Limited | Processing a reusable graphic in a document |
| US11521378B2 (en) | 2020-01-06 | 2022-12-06 | International Business Machines Corporation | Refined searching based on detected object configurations |
| US11366624B2 (en) | 2020-03-30 | 2022-06-21 | Kyocera Document Solutions Inc. | Super-resolution convolutional neural network with gradient image detection |
| CN117390600B (en) * | 2023-12-08 | 2024-02-13 | 中国信息通信研究院 | Detection method for depth synthesis information |
-
2003
- 2003-03-12 EP EP03708399A patent/EP1490834A2/en not_active Withdrawn
- 2003-03-12 AU AU2003212574A patent/AU2003212574A1/en not_active Abandoned
- 2003-03-12 JP JP2003579177A patent/JP2005521169A/en active Pending
- 2003-03-12 WO PCT/IB2003/001100 patent/WO2003081533A2/en not_active Application Discontinuation
- 2003-03-12 CN CNA038120356A patent/CN1656516A/en active Pending
- 2003-03-26 TW TW092106794A patent/TW200404268A/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2003081533A3 (en) | 2004-08-26 |
| TW200404268A (en) | 2004-03-16 |
| EP1490834A2 (en) | 2004-12-29 |
| CN1656516A (en) | 2005-08-17 |
| WO2003081533A2 (en) | 2003-10-02 |
| AU2003212574A1 (en) | 2003-10-08 |
| AU2003212574A8 (en) | 2003-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112990191B (en) | Shot boundary detection and key frame extraction method based on subtitle video | |
| US5073953A (en) | System and method for automatic document segmentation | |
| JP4626886B2 (en) | Method and apparatus for locating and extracting captions in digital images | |
| US10169655B2 (en) | Detection of logos in a sequence of video frames | |
| US8787690B2 (en) | Binarizing an image | |
| CA3114255C (en) | Automatically detecting and isolating objects in images | |
| JP2000132690A (en) | Image processing method and image processor using image division by making token | |
| US7330592B2 (en) | Method and apparatus for detecting the location and luminance transition range of slant image edges | |
| US8170361B2 (en) | Video window detector | |
| US6625308B1 (en) | Fuzzy distinction based thresholding technique for image segmentation | |
| US6658399B1 (en) | Fuzzy based thresholding technique for image segmentation | |
| JP5847062B2 (en) | Image processing device | |
| US20070076965A1 (en) | Image encoding apparatus | |
| JP2005521169A (en) | Analysis of an image consisting of a matrix of pixels | |
| US20040161152A1 (en) | Automatic natural content detection in video information | |
| JPH10285399A (en) | Binarization method for image | |
| CN110211085B (en) | Image fusion quality evaluation method and system | |
| KR20050041848A (en) | Method and apparatus for detecting the location and luminance transition range of slant image edges | |
| JP4409713B2 (en) | Document image recognition apparatus and recording medium | |
| US11900643B2 (en) | Object detection method and object detection system | |
| RU2607415C2 (en) | Method of identifying multimedia data stream frames basing on correlation analysis of frame images histograms | |
| US11295452B1 (en) | Automated method and apparatus for detecting black borders in an image frame | |
| US20240153050A1 (en) | Method and a device for reducing a dynamic range of an image | |
| JP3634248B2 (en) | Character area extraction method, character area extraction apparatus, and recording medium | |
| JP4282512B2 (en) | Image processing apparatus, binarization threshold management method in image processing apparatus, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090210 |