JP2018097414A - Image processing apparatus, image processing method, image processing system and program - Google Patents
Image processing apparatus, image processing method, image processing system and program Download PDFInfo
- Publication number
- JP2018097414A JP2018097414A JP2016238464A JP2016238464A JP2018097414A JP 2018097414 A JP2018097414 A JP 2018097414A JP 2016238464 A JP2016238464 A JP 2016238464A JP 2016238464 A JP2016238464 A JP 2016238464A JP 2018097414 A JP2018097414 A JP 2018097414A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- area
- designated area
- image processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 123
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims description 53
- 230000002093 peripheral effect Effects 0.000 claims description 53
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 description 59
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000002372 labelling Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 7
- 230000000644 propagated effect Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, an image processing system, and a program.
画像から特定領域を切り出す処理は、特定領域の特性を解析、または特定領域をデザインするなど、画像編集や加工の分野では欠かせないものの1つである。特定領域を切り出す方法としては、様々なアプローチが考えられるが、例えば、グラフカット(GraphCut)法が公知の代表手法として挙げられる。 The process of cutting out a specific area from an image is one of indispensable in the field of image editing and processing, such as analyzing the characteristics of the specific area or designing the specific area. As a method for cutting out the specific region, various approaches can be considered. For example, a graph cut method is known as a known representative method.
特許文献1には、画像の中からユーザが特定の画像領域として指定した指定領域の代表位置を表す位置情報を取得するユーザ指示受付部と、画像を構成する画素を頂点とみなすとともに、隣り合う画素を結ぶ辺および隣り合う画素同士の色度の近さに応じて決定される重みからなるグラフを設定するグラフ設定部と、設定されたグラフの頂点を予め定められた規則に従い縮約する縮約部と、縮約した頂点に対応する画素の位置を基に指定領域を検出する領域検出部と、を備えることを特徴とする画像処理装置が開示されている。
また特許文献2には、画像中の指定領域に含まれる画素を基準画素として一つ選択すると共に基準画素周辺の特定の範囲を第1の範囲として設定し、選択した一の基準画素のみを対象として第1の範囲に含まれる対象画素の各々について指定領域への属否の判定を行った後、新たに基準画素を一つ選択し、第1の範囲の設定および判定を再度行って、指定領域の検出を行う領域判定装置が開示されている。
In
In
ユーザが画像処理を行なう際には、ユーザが画像処理を行なう領域として指定する指定領域を切り出す処理が必要となる。この際、指定領域に対し指定領域の代表位置としてシードを入力し、そのシードを基に領域を拡張する領域拡張方法により指定領域を切り出すことがある。
しかしながら領域を拡張する際に、指定領域外の領域であっても類似色を有する領域について指定領域であるとする場合がある。
本発明は、指定領域の切り出しを行なう際に、指定領域をより精度よく切り出すことができる画像処理装置等を提供することを目的とする。
When the user performs image processing, it is necessary to perform processing for cutting out a designated area that is designated as an area for the user to perform image processing. At this time, there is a case where a seed is input as a representative position of the designated area with respect to the designated area, and the designated area is cut out by an area expansion method for expanding the area based on the seed.
However, when an area is expanded, an area having a similar color may be designated even if it is outside the designated area.
An object of the present invention is to provide an image processing apparatus and the like that can cut out a designated area with higher accuracy when the designated area is cut out.
請求項1に記載の発明は、画像中の指定領域の代表位置を表す位置情報を取得する位置情報取得部と、位置情報から指定領域を検出する領域検出部と、を備え、前記領域検出部は、前記指定領域に属する画素の周囲のテクスチャと当該指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に当該指定領域を検出する画像処理装置である。
請求項2に記載の発明は、前記領域検出部は、前記指定領域に属する画素の中から選択された基準画素の周囲のテクスチャを算出するための範囲として第1の局所領域を設定するとともに、当該基準画素に対し設定され、当該指定領域に含まれるか否かを判断する対象である画素である周辺画素の周囲のテクスチャを算出するための範囲として第2の局所領域を設定する局所領域設定部と、前記第1の局所領域内のテクスチャと前記第2の局所領域内のテクスチャとの類似度を算出する類似度算出部と、を備えることを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記基準画素の周囲のテクスチャは、前記第1の局所領域内の全画素の特徴量であり、前記周辺画素の周囲のテクスチャは、前記第2の局所領域内の全画素の特徴量であることを特徴とする請求項2に記載の画像処理装置である。
請求項4に記載の発明は、前記類似度算出部は、前記類似度を基に前記周辺画素が前記指定領域に属する強さをさらに算出し、前記強さを使用して前記周辺画素が前記指定領域に属するか否かを判断することにより、前記指定領域を検出することを特徴とする請求項2または3に記載の画像処理装置である。
請求項5に記載の発明は、前記領域検出部は、前記代表位置が設定された前記画像をブロック毎に分割する画像分割部と、前記ブロックを単位としテクスチャを算出するための範囲として、第1の局所領域および第2の局所領域を設定する局所領域設定部と、前記第1の局所領域内のテクスチャと前記第2の局所領域内のテクスチャとの類似度を算出する類似度算出部と、を備えることを特徴とする請求項1に記載の画像処理装置である。
請求項6に記載の発明は、前記類似度により前記第2の局所領域内の画素が前記指定領域に含まれると検出したときに、前記第2の局所領域内の何れの画素が当該指定領域に含まれるかを設定する画素設定部をさらに備えることを特徴とする請求項5に記載の画像処理装置である。
請求項7に記載の発明は、前記類似度算出部は、前記類似度を基に前記第2の局所領域が前記指定領域に属する強さをさらに算出し、前記強さを使用して前記第2の局所領域中の画素が前記指定領域に属するか否かを判断することにより、前記指定領域を検出することを特徴とする請求項5または6に記載の画像処理装置である。
請求項8に記載の発明は、前記領域検出部は、前記ブロックを単位とした指定領域を検出した後に、当該ブロックを単位とした指定領域の境界の領域において指定領域の設定を解除し、指定領域の設定を解除されなかった画素の中から選択された基準画素を基に当該指定領域の境界の領域において指定領域を再度検出することを特徴とする請求項5に記載の画像処理装置である。
請求項9に記載の発明は、画像中の指定領域の代表位置を表す位置情報を取得する位置情報取得工程と、位置情報から指定領域を検出する領域検出工程と、を備え、前記領域検出工程は、前記指定領域に属する画素の周囲のテクスチャと当該指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に当該指定領域を検出することを特徴とする画像処理方法である。
請求項10に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、を備え、前記画像処理装置は、前記画像中の指定領域の代表位置を表す位置情報を取得する位置情報取得部と、位置情報から指定領域を検出する領域検出部と、を備え、前記領域検出部は、前記指定領域に属する画素の周囲のテクスチャと当該指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に当該指定領域を検出する画像処理システムである。
請求項11に記載の発明は、コンピュータに、画像中の指定領域の代表位置を表す位置情報を取得する位置情報取得機能と、位置情報から指定領域を検出する領域検出機能と、を実現させ、前記領域検出機能は、前記指定領域に属する画素の周囲のテクスチャと当該指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に当該指定領域を検出するプログラムである。
The invention according to
In the invention according to
In the invention according to
According to a fourth aspect of the present invention, the similarity calculation unit further calculates the strength of the peripheral pixel belonging to the designated area based on the similarity, and the peripheral pixel is calculated using the strength. 4. The image processing apparatus according to
According to a fifth aspect of the present invention, the area detecting unit includes an image dividing unit that divides the image for which the representative position is set for each block, and a range for calculating a texture in units of the block. A local region setting unit that sets one local region and a second local region, and a similarity calculation unit that calculates the similarity between the texture in the first local region and the texture in the second local region; The image processing apparatus according to
In the invention according to claim 6, when it is detected that the pixel in the second local area is included in the designated area based on the similarity, any pixel in the second local area is in the designated area. The image processing apparatus according to claim 5, further comprising: a pixel setting unit configured to set whether to be included in the image processing unit.
In the invention according to claim 7, the similarity calculation unit further calculates the strength of the second local region belonging to the designated region based on the similarity, and uses the strength to 7. The image processing apparatus according to claim 5, wherein the designated area is detected by determining whether or not a pixel in the second local area belongs to the designated area.
In the invention according to claim 8, the area detection unit detects a specified area in units of the block, and thereafter cancels the setting of the specified area in the boundary area of the specified area in units of the block, and specifies 6. The image processing apparatus according to claim 5, wherein the designated area is detected again in the boundary area of the designated area based on the reference pixel selected from the pixels whose area setting has not been canceled. .
The invention according to claim 9 includes a position information acquisition step of acquiring position information representing a representative position of the designated region in the image, and a region detection step of detecting the designated region from the position information, wherein the region detection step Is characterized in that the designated area is detected based on the similarity between the texture around the pixel belonging to the designated area and the texture around the pixel that is a target for determining whether or not the designated area is included. This is an image processing method.
The invention according to
The invention according to
請求項1の発明によれば、指定領域の切り出しを行なう際に、指定領域をより精度よく切り出すことができる画像処理装置を提供することができる。
請求項2の発明によれば、処理速度がより高速になる。
請求項3の発明によれば、テクスチャの定量化がより容易になる。
請求項4の発明によれば、処理速度がさらに高速になる。
請求項5の発明によれば、処理速度がさらに高速になる。
請求項6の発明によれば、指定領域を拡張するための画素を設定することができる。
請求項7の発明によれば、処理速度がさらに高速になる。
請求項8の発明によれば、さらに精度の高い指定領域の切り出しを行なうことができる。
請求項9の発明によれば、指定領域の切り出しを行なう際に、指定領域をより精度よく切り出すことができる画像処理方法を提供することができる。
請求項10の発明によれば、画像処理がより容易に行える画像処理システムが提供できる。
請求項11の発明によれば、指定領域の切り出しを行なう際に、指定領域をより精度よく切り出すことができる機能をコンピュータにより実現できる。
According to the first aspect of the present invention, it is possible to provide an image processing apparatus capable of cutting out a designated area more accurately when the designated area is cut out.
According to the invention of
According to the invention of
According to the invention of claim 4, the processing speed is further increased.
According to the invention of claim 5, the processing speed is further increased.
According to the invention of claim 6, it is possible to set pixels for expanding the designated area.
According to the invention of claim 7, the processing speed is further increased.
According to the invention of claim 8, it is possible to cut out the designated area with higher accuracy.
According to the ninth aspect of the present invention, it is possible to provide an image processing method capable of cutting out the designated area with higher accuracy when the designated area is cut out.
According to the invention of
According to the invention of
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。 Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
<画像処理システム全体の説明>
図1は、本実施の形態における画像処理システム1の構成例を示す図である。
図示するように本実施の形態の画像処理システム1は、表示装置20に表示される画像の画像情報に対し画像処理を行なう画像処理装置10と、画像処理装置10により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置20と、画像処理装置10に対しユーザが種々の情報を入力するための入力装置30とを備える。
<Description of the entire image processing system>
FIG. 1 is a diagram illustrating a configuration example of an
As shown in the figure, the
画像処理装置10は、例えば、所謂汎用のパーソナルコンピュータ(PC)である。そして、画像処理装置10は、OS(Operating System)による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
The
表示装置20は、表示画面21に画像を表示する。表示装置20は、例えばPC用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置20における表示方式は、液晶方式に限定されるものではない。なお、図1に示す例では、表示装置20内に表示画面21が設けられているが、表示装置20として例えばプロジェクタを用いる場合、表示画面21は、表示装置20の外部に設けられたスクリーン等となる。
The
入力装置30は、キーボードやマウス等で構成される。入力装置30は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置10に対し画像処理を行なうための指示を入力するのに使用する。
The
画像処理装置10および表示装置20は、DVI(Digital Visual Interface)を介して接続されている。なお、DVIに代えて、HDMI(登録商標)(High-Definition Multimedia Interface)やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置10と入力装置30とは、例えば、USB(Universal Serial Bus)を介して接続されている。なお、USBに代えて、IEEE1394やRS−232C等を介して接続されていてもよい。
The
The
このような画像処理システム1において、表示装置20には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置30を使用して、画像処理装置10に対し画像処理を行なうための指示を入力すると、画像処理装置10により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置20に表示される画像に反映され、画像処理後の画像が再描画されて表示装置20に表示されることになる。この場合、ユーザは、表示装置20を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。
In such an
なお本実施の形態における画像処理システム1は、図1の形態に限られるものではない。例えば、画像処理システム1としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置20および入力装置30として機能する。また同様に表示装置20および入力装置30を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置20の表示画面21としてタッチパネルを使用したものである。この場合、画像処理装置10により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。
Note that the
<画像処理装置の説明>
図2は、本実施の形態における画像処理装置10の機能構成例を表すブロック図である。なお図2では、画像処理装置10が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置10は、画像情報取得部11と、ユーザ指示受付部12と、領域検出部13と、領域切替部14と、画像処理部15と、画像情報出力部16とを備える。
<Description of Image Processing Device>
FIG. 2 is a block diagram illustrating a functional configuration example of the
As shown in the figure, an
画像情報取得部11は、画像処理を行なう画像の画像情報を取得する。即ち、画像情報取得部11は、画像処理を行なう前の原画像の画像情報を取得する。この画像情報は、表示装置20で表示を行なうための、例えば、RGB(Red、Green、Blue)のビデオデータ(RGBデータ)である。
The image
ユーザ指示受付部12は、位置情報取得部の一例であり、入力装置30により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部12は、表示装置20で表示している画像の中から、ユーザが特定の画像領域として指定した指定領域を指定する指示をユーザ指示情報として受け付ける。この特定の画像領域は、この場合、ユーザが画像処理を行なう画像領域である。実際には、本実施の形態では、ユーザ指示受付部12は、ユーザ指示情報として、ユーザが入力した指定領域の代表位置を表す位置情報を取得する。
また詳しくは後述するが、ユーザ指示受付部12は、ユーザが、この指定領域の中から実際に画像処理を行なうものを選択する指示をユーザ指示情報として受け付ける。さらにユーザ指示受付部12は、選択された指定領域に対し、ユーザが画像処理を行う処理項目や処理量等に関する指示をユーザ指示情報として受け付ける。これらの内容に関するさらに詳しい説明については後述する。
The user
Specifically, the user
As will be described in detail later, the user
本実施の形態では、指定領域を指定する作業を下記に説明するユーザインタラクティブに行う方法を採用する。
図3は、指定領域を指定する作業をユーザインタラクティブに行う方法の例を示した図である。
図3では、表示装置20の表示画面21で表示している画像が、人物と、人物の背後に写る背景とからなる写真の画像Gである場合を示している。そしてユーザが、前景として人物の顔の部分、および後景として顔以外の部分をそれぞれ指定領域として選択する場合を示している。即ち、この場合指定領域は2つある。以後、顔の部分の指定領域を「第1の指定領域」、顔以外の部分の指定領域を「第2の指定領域」と言うことがある。
In the present embodiment, a method of performing the operation of designating the designated area interactively as described below is adopted.
FIG. 3 is a diagram illustrating an example of a method for performing interactive operation for designating a designated area.
FIG. 3 shows a case where the image displayed on the
そしてユーザは、指定領域のそれぞれに対し代表となる軌跡をそれぞれ与える。この軌跡は、入力装置30により入力することができる。具体的には、入力装置30がマウスであった場合は、マウスを操作して表示装置20の表示画面21で表示している画像Gをドラッグし軌跡を描く。また入力装置30がタッチパネルであった場合は、ユーザの指やタッチペン等により画像Gをなぞりスワイプすることで同様に軌跡を描く。なお軌跡ではなく、点として与えてもよい。即ち、ユーザは、頭髪の部分などのそれぞれの指定領域に対し代表となる位置を示す情報を与えればよい。これは指定領域の代表位置を表す位置情報をユーザが入力する、と言い換えることもできる。なお以後、この軌跡や点等を「シード」と言うことがある。
Then, the user gives a representative trajectory to each of the designated areas. This trajectory can be input by the
図3の例では、顔の部分と顔以外の部分にそれぞれシードが描かれている。なお以後、前景である顔の部分に描かれたシードを「シード1」、後景である顔以外の部分に描かれたシードを「シード2」ということがある。
In the example of FIG. 3, seeds are drawn in the face portion and the non-face portion, respectively. Hereinafter, the seed drawn on the face portion that is the foreground may be referred to as “
領域検出部13は、シードの位置情報に基づき、表示装置20で表示されている画像の中から指定領域を検出する。詳しくは後述するが、領域検出部13は、指定領域に属する画素の周囲のテクスチャと指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に指定領域を検出する。
The
領域検出部13が、シードの位置情報を基にして指定領域を切り出すには、まずシードが描かれた箇所の画素に対しラベルを付加する。図3の例では、顔の部分に描かれたシード1に対応する画素に「ラベル1」を、顔以外の部分に描かれたシード2に対応する画素に「ラベル2」を付加する。本実施の形態では、このようにラベルを付与することを「ラベル付け」と言う。
In order for the
図4(a)〜(c)は、図3で示した画像Gについて、領域拡張方法により指定領域が切り出される様子を示している。
このうち図4(a)は、図3と同様の図であり、画像Gにシードとしてシード1およびシード2が描かれた状態を示している。
そして図4(b)で示すように、シードが描かれた箇所から指定領域内に領域が拡張していき、図4(c)で示すように最後に指定領域として2つの指定領域である第1の指定領域S1、第2の指定領域S2が切り出される。
FIGS. 4A to 4C show how the designated area is cut out by the area expansion method for the image G shown in FIG.
4A is a view similar to FIG. 3 and shows a state in which
Then, as shown in FIG. 4B, the area expands into the designated area from the place where the seed is drawn. Finally, as shown in FIG. 4C, the two designated areas are the designated areas. One designated area S1 and second designated area S2 are cut out.
以上のような方法を採用することで、指定領域が複雑な形状であっても、ユーザは、より直感的に、またより容易に指定領域が切り出せる。 By adopting the method as described above, even if the designated area has a complicated shape, the user can cut out the designated area more intuitively and more easily.
領域切替部14は、複数の指定領域を切り替える。即ち、指定領域が複数存在した場合、ユーザが画像調整を行ないたい指定領域の選択を行ない、これに従い、領域切替部14が指定領域を切り替える。
The
図5(a)〜(b)は、ユーザが指定領域の選択を行なうときに、表示装置20の表示画面21に表示される画面の例を示している。
図5(a)〜(b)に示した例では、表示画面21の左側に指定領域が選択された状態の画像Gが表示され、表示画面21の右側に領域1または領域2の何れかを選択するラジオボタン212a、212bが表示される。この場合、領域1は、第1の指定領域S1に、領域2は、第2の指定領域S2に対応する。そしてユーザが入力装置30を使用して、このラジオボタン212a、212bを選択すると、指定領域が切り替わる。
FIGS. 5A and 5B show examples of screens displayed on the
In the example shown in FIGS. 5A and 5B, the image G in a state where the designated area is selected is displayed on the left side of the
図5(a)は、ラジオボタン212aが選択されている状態であり、指定領域として、顔の部分の画像領域である第1の指定領域S1が選択されている。そしてユーザがラジオボタン212bを選択すると、図5(b)に示すように指定領域として、顔の部分以外の画像領域である第2の指定領域S2に切り替わる。
FIG. 5A shows a state in which the
実際には、図5で説明を行なった操作の結果は、ユーザ指示情報としてユーザ指示受付部12により取得され、さらに領域切替部14により指定領域の切り替えが行なわれる。
In practice, the result of the operation described with reference to FIG. 5 is acquired by the user
画像処理部15は、選択された指定領域に対し実際に画像処理を行なう。
図6は、画像処理を行なう際に、表示装置20の表示画面21に表示される画面の例を示している。
ここでは、選択された指定領域に対し、色相、彩度、輝度の調整を行なう例を示している。この例では、表示画面21の左上側に指定領域が選択された状態の画像Gが表示され、表示画面21の右上側に領域1および領域2の何れかを選択するラジオボタン212a、212bが表示される。ここでは、ラジオボタンのうち212aが選択されており、指定領域として、顔の部分の画像領域である第1の指定領域S1が選択されている。なおラジオボタン212a、212bを操作することで、指定領域の切り替えが可能であることは、図5の場合と同様である。
The
FIG. 6 shows an example of a screen displayed on the
Here, an example is shown in which the hue, saturation, and luminance are adjusted for the selected designated area. In this example, an image G in a state where the designated area is selected is displayed on the upper left side of the
また表示画面21の下側には、色相、彩度、輝度の調整を行なうためのスライドバー213aと、スライダ213bが表示される。スライダ213bは、入力装置30の操作によりスライドバー213a上において図中左右に移動し、スライドが可能である。スライダ213bは、初期状態ではスライドバー213aの中央に位置し、この位置において色相、彩度、輝度の調整前の状態を表す。
Also, a
そしてユーザが、入力装置30を使用して、色相、彩度、輝度の何れかのスライダ213bをスライドバー213a上で図中左右にスライドさせると、選択された指定領域に対し画像処理がなされ、表示画面21で表示される画像Gもそれに対応して変化する。この場合、図中右方向にスライダ213bをスライドさせると、対応する色相、彩度、輝度の何れかを増加させる画像処理がなされる。対して図中左方向にスライダ213bをスライドさせると、対応する色相、彩度、輝度の何れかを減少させる画像処理がなされる。
When the user uses the
図2に戻り、画像情報出力部16は、以上のように画像処理がなされた後の画像情報を出力する。画像処理がなされた後の画像情報は、表示装置20に送られる。そして表示装置20にてこの画像情報に基づき画像が表示される。
Returning to FIG. 2, the image
<領域検出部の説明>
次に領域検出部13が領域拡張方法により指定領域を切り出す方法についてさらに詳しく説明を行なう。
<Description of Area Detection Unit>
Next, the method in which the
ここではまず従来の領域拡張方法についての説明を行なう。
図7(a)〜(c)は、従来の領域拡張方法について説明した図である。
このうち図7(a)は、原画像であり、縦3画素、横3画素の3×3=9画素の領域からなる。この原画像は、2つの画像領域から構成される。図7(a)では、それぞれの画素の色の濃さの違いによりこの2つの画像領域を表している。それぞれの画像領域に含まれる画素値は互いに近い値を示すものとする。
Here, a conventional area expansion method will be described first.
7A to 7C are diagrams for explaining a conventional region expansion method.
Of these, FIG. 7A shows an original image, which is composed of a 3 × 3 = 9 pixel region of 3 vertical pixels and 3 horizontal pixels. This original image is composed of two image areas. In FIG. 7A, the two image regions are represented by the difference in color intensity of each pixel. It is assumed that the pixel values included in each image area are close to each other.
そして図7(b)に示すように、2行1列に位置する画素にシード1を、1行3列に位置する画素にシード2を与える。
Then, as shown in FIG. 7B,
このとき中央の画素である2行2列に位置する画素が、シード1が含まれる指定領域に属するか、シード2が含まれる指定領域に属するか否かを判定する場合を考える。ここでは、この中央の画素について、中央の画素の画素値と、中央の画素に接する周辺8画素の中に存在するシードの画素値を比較する。そして画素値が近ければ、中央の画素は、そのシードが含まれる指定領域に含まれると判定する。この場合、周辺8画素の中には、シード1とシード2の2つのシードが含まれるが、中央の画素の画素値は、シード1の画素値よりシード2の画素値とより近いため、シード1が含まれる指定領域に属すると判定される。
Consider a case where it is determined whether or not the pixel located in the second row and the second column, which is the central pixel, belongs to the designated area including the
そして図7(c)に示すように、中央の画素は、シード1の領域に属するようになる。そして中央の画素は、今度は、新たなシードとして扱われる。そしてこの場合、中央の画素は、シード1と同じ、「ラベル1」にラベル付けされる。
As shown in FIG. 7C, the center pixel belongs to the
従来の領域拡張方法では、シードの画素に接する画素を指定領域に含まれるか否かの判定の対象となる対象画素として選択し(上述した例では、中央の画素)、この対象画素の画素値と、対象画素の周辺8画素の画素に含まれるシードの画素値とを比較する。そして対象画素は、画素値が近いシードに含まれる領域に属すると考え、ラベル付けをする。さらにこれを繰り返すことで領域を拡張していくのが基本的な考え方となる。 In the conventional region expansion method, a pixel in contact with the seed pixel is selected as a target pixel to be determined whether it is included in the specified region (in the above example, the central pixel), and the pixel value of this target pixel And the pixel value of the seed included in the eight pixels around the target pixel. The target pixel is considered to belong to an area included in a seed having a close pixel value, and is labeled. The basic idea is to expand the area by repeating this process.
図8−1(a)〜(e)は、従来の領域拡張方法を使用し、2つのシードが与えられた場合に、画像が2つの指定領域に分けられる様子を示した図である。
ここでは図8−1(a)の原画像に対し、図8−1(b)で示すように、シードとしてシード1とシード2の2つを与える。そして各々のシードを基点に領域を拡張していく。この場合、上述したように原画像における周辺画素の画素値との近さ等に応じて領域を拡張していくことができる。このとき図8−1(c)に示すように領域同士のせめぎ合いがある場合は、再判定の対象画素となり、再判定の対象画素の画素値と近傍の画素値との関係でどちらの領域に属するかを決めればよい。このとき、下記文献に記載されている方法を使うことができる。
FIGS. 8A to 8E are diagrams showing how an image is divided into two designated areas when two seeds are given using a conventional area expansion method.
Here, as shown in FIG. 8-1 (b), two seeds,
V.Vezhnevets and V.Konouchine: "Grow-Cut" -Interactive Multi-label N-D Image Segmentation", Proc.Graphicon.pp 150-156(2005) V.Vezhnevets and V.Konouchine: "Grow-Cut" -Interactive Multi-label N-D Image Segmentation ", Proc.Graphicon.pp 150-156 (2005)
図8−1(d)の例では、再判定の対象画素は、最終的にはシード2の領域として判定され、図8−1(e)に示すように2つのシードを基に、2つの領域に切り分けられて収束する。なおこの例では、2つの領域に切り分ける場合を示したが、3つ以上のシードを与え、3つ以上の領域に切り分けることもできる。
In the example of FIG. 8-1 (d), the re-determined target pixel is finally determined as the
このように従来の領域拡張方法では、対象画素に着目し、対象画素の画素値に対して周辺8画素にあるシードの画素の画素値を比較して対象画素が属する指定領域を決定する。 As described above, in the conventional region expansion method, attention is paid to the target pixel, and the pixel value of the seed pixel in the surrounding eight pixels is compared with the pixel value of the target pixel to determine the designated region to which the target pixel belongs.
しかしながら従来の領域拡張方法では、画素を対象画素として1つずつ選択し、ラベル付けを行なっていく必要があり、処理速度が遅くなりやすい問題がある。また領域が入り組んでいる箇所などでは、切り分けの際の精度が低くなりやすい。この問題を解決するため、例えば、以下に説明するような領域拡張方法も存在する。 However, in the conventional area expansion method, it is necessary to select pixels one by one as target pixels and perform labeling, and there is a problem that the processing speed tends to be slow. Also, in areas where the area is complicated, the accuracy in carving is likely to be low. In order to solve this problem, for example, there is a region expansion method as described below.
この領域拡張方法では、シード1やシード2の画素である基準画素を中心としてそれぞれ予め定められた第1の範囲を設定する。そしてこの第1の範囲内において、基準画素を除く画素を対象画素とし、この対象画素について、画素の「強さ」を利用してシード1が含まれる指定領域やシード2が含まれる指定領域に属するとの判断を行なう。
In this area expansion method, a predetermined first range is set around a reference pixel which is a
図8−2は、第1の範囲について説明した図である。
図示するように、2つの画像領域のそれぞれに基準画素であるシード1およびシード2が選択されている。そしてさらにこのシード1とシード2を中心に位置するようにして縦5画素×横5画素の範囲を第1の範囲とする。図では、この範囲を太線の枠内の範囲として表示している。
FIG. 8B is a diagram illustrating the first range.
As shown in the drawing,
「強さ」は、ラベルに対応する指定領域に属する強さであり、ある画素がラベルに対応する指定領域に属する可能性の大きさを表す。強さが大きいほどその画素がラベルに対応する指定領域に属する可能性が高く、強さが小さいほどその画素がラベルに対応する指定領域に属する可能性が低い。強さは、次のようにして定まる。
まずユーザが最初に指定した代表位置に含まれる画素の強さは、初期値として1となる。つまり領域を拡張する前のシード1やシード2の画素は、強さが1である。またまだラベル付けがされていない画素については、強さは0である。
“Strength” is the strength belonging to the designated area corresponding to the label, and represents the possibility that a certain pixel belongs to the designated area corresponding to the label. The higher the intensity, the higher the possibility that the pixel belongs to the designated area corresponding to the label, and the lower the intensity, the lower the possibility that the pixel belongs to the designated area corresponding to the label. The strength is determined as follows.
First, the strength of the pixel included in the representative position designated first by the user is 1 as an initial value. That is, the intensity of the
そして強さが与えられた画素が周辺の画素に及ぼす影響力を考える。
図8−3(a)〜(b)は、影響力を決定する方法について示した図である。図8−3(a)〜(b)において、横軸は、ユークリッド距離diを表し、縦軸は、影響力を表す。
このユークリッド距離diは、強さを与えられた画素とその画素の周辺に位置する画素との間で決まる画素値のユークリッド距離diである。画素値がRGB値で表される場合、ユークリッド距離diは、以下の数1式のように表すことができる。数1式では、強さを与えられた画素の画素値を(RO、GO、BO)とし、周辺に位置する画素の画素値を(Ri、Gi、Bi)とした場合のユークリッド距離diを示している。
Then, consider the influence exerted on the surrounding pixels by the pixel to which the strength is given.
8A to 8B are diagrams illustrating a method for determining influence. In FIG. 8-3 (a) ~ (b) , the horizontal axis represents the Euclidean distance d i, and the vertical axis represents the influence.
The Euclidean distance d i is the Euclidean distance d i of the pixel value determined between the pixels located around the pixel and the pixel given strength. When the pixel value is represented by an RGB value, the Euclidean distance d i can be represented by the following equation (1). In
そして例えば、図8−3(a)に図示するように非線形の単調減少関数を定め、ユークリッド距離diに対し、この単調減少関数により決まる値を影響力とする。
つまりユークリッド距離diが小さいほど、影響力はより大きくなり、ユークリッド距離diが大きいほど、影響力はより小さくなる。
なお単調減少関数は、図8−3(a)のような形状のものに限られるものではなく、単調減少関数であれば特に限られるものではない。よって図8−3(b)のような線形の単調減少関数であってもよい。またユークリッド距離diの特定の範囲で線形であり、他の範囲で非線形であるような区分線形の単調減少関数であってもよい。
The example defines a monotonically decreasing function of the nonlinear as shown in FIGS. 8-3 (a), with respect to the Euclidean distance d i, a value determined by the monotonically decreasing function and influence.
That enough Euclidean distance d i is small, influence becomes larger, as the Euclidean distance d i is large, the influence becomes smaller.
The monotone decreasing function is not limited to the shape shown in FIG. 8-3 (a), and is not particularly limited as long as it is a monotone decreasing function. Therefore, it may be a linear monotonously decreasing function as shown in FIG. Further, it may be a piecewise linear monotonic decreasing function that is linear in a specific range of the Euclidean distance d i and nonlinear in other ranges.
そして指定領域に属すると判断された画素の強さは、基準画素の強さに影響力を乗じたものとなる。例えば、基準画素の強さが1で、その左側に隣接する対象画素に与える影響力が0.9だった場合、この左側に隣接する対象画素が指定領域に属すると判断されたときに与えられる強さは、1×0.9=0.9となる。また例えば、基準画素の強さが1で、その2つ左側に隣接する対象画素に与える影響力が0.8だった場合、この対象画素が指定領域に属すると判断されたときに与えられる強さは、1×0.8=0.8となる。 The intensity of the pixel determined to belong to the designated area is obtained by multiplying the intensity of the reference pixel by the influence. For example, when the intensity of the reference pixel is 1 and the influence exerted on the target pixel adjacent to the left side thereof is 0.9, this is given when it is determined that the target pixel adjacent to the left side belongs to the designated area. The strength is 1 × 0.9 = 0.9. Further, for example, when the strength of the reference pixel is 1 and the influence exerted on the target pixel adjacent to the two left sides thereof is 0.8, the strength given when it is determined that the target pixel belongs to the designated area. The length is 1 × 0.8 = 0.8.
以上の計算方法を利用し、第1の範囲内の対象画素に与えられている強さにより判断を行なうこともできる。このとき対象画素が、ラベルを有しない場合は、基準画素が属する指定領域に含まれると判断し、対象画素が他の指定領域についてのラベルを既に有する場合は、強さが大きい方の指定領域に含まれると判断する。そして前者の場合は、全て基準画素と同じラベル付けを行なう。また後者の場合は、特性のうち強さが強い方のラベル付けを行う。 It is also possible to make a determination based on the strength given to the target pixel in the first range by using the above calculation method. At this time, if the target pixel does not have a label, it is determined that the target pixel is included in the designated area to which the reference pixel belongs. If the target pixel already has a label for another designated area, the designated area having the larger strength is used. Is determined to be included. In the former case, the same labeling as that of the reference pixel is performed. In the latter case, the label having the stronger characteristic is applied.
図8−4は、図8−2で示す第1の範囲内の対象画素について、強さを基にした方法で判断を行なった結果を示している。
図8−2に示す第1の範囲は、シード1とシード2とで一部重なる。そして第1の範囲が、重ならない箇所、即ち、シード1とシード2とで競合しない箇所では、この場合、ラベル付けされていないもので、全て基準画素であるシード1またはシード2と同じラベル付けを行なう。一方、第1の範囲が、シード1とシード2とで重なる箇所、即ち、競合する箇所では、強さが強い方のラベル付けをする。その結果、図8−4に示すようにラベル付けがなされる。
FIG. 8D illustrates a result of determination performed on the target pixel in the first range illustrated in FIG. 8B by a method based on intensity.
The first range illustrated in FIG. 8B partially overlaps with the
図8−5(a)〜(h)は、図8−3〜図8−4で説明した領域拡張方法で順次ラベル付けがされていく過程の例を示した図である。
図8−5(a)は、このときシードの画素に対し設定される第1の範囲を示している。つまり基準画素であるシード1およびシード2が選択されている。そしてさらにこのシード1とシード2を中心に位置するようにして縦3画素×横3画素の範囲を第1の範囲としている。図では、この第1の範囲を太線の枠内の範囲として表示している。
本実施の形態では、図8−5(b)に示すように2行2列の位置に設定されるシード2を起点とし、まず第1の範囲内の対象画素が何れの指定領域に属するか否かを判断する。そして図8−5(c)〜(d)に示すように基準画素を図中右側に一画素ずつ移動させつつ、第1の範囲内の対象画素が何れの指定領域に属するか否かを判断していく。この判断は、上述した強さによりなされる。
そして図中右端までを対象画素として判断した後は、次に基準画素を第3列に移し、同様に基準画素を図中右側に一画素ずつ移動させつつ、第1の範囲内の対象画素が何れの指定領域に属するか否かを判断していく。そして図中右端までを対象画素として判断した後は、さらに次の列に移る。これは図8−5(e)〜(g)に示すように繰り返され、図中右下端部に基準画素が移動するまで行なわれる。つまり基準画素を一画素毎に走査するように移動させつつ判断を行なう。
8-5 (a) to (h) are diagrams illustrating an example of a process in which labeling is sequentially performed by the region expansion method described with reference to FIGS. 8-3 to 8-4.
FIG. 8-5 (a) shows the first range set for the seed pixel at this time. That is,
In this embodiment, as shown in FIG. 8-5 (b), the
Then, after determining up to the right end in the figure as the target pixel, the reference pixel is then moved to the third column, and similarly, the target pixel in the first range is moved while moving the reference pixel to the right side in the figure one by one. It is determined whether it belongs to any designated area. After determining up to the right end in the figure as the target pixel, the process proceeds to the next column. This is repeated as shown in FIGS. 8-5 (e) to (g), and is performed until the reference pixel moves to the lower right end in the figure. That is, the determination is made while moving the reference pixel so as to scan every pixel.
さらに右下端部に基準画素が達し、画素の移動がこれ以上できなくなった後は、上述した場合と逆向きに基準画素を移動させ、基準画素が左上端部に移動するまで同様の処理を行なう。これで基準画素が1回往復移動したことになる。さらに以後、収束するまでこの基準画素の往復移動を繰り返す。 Further, after the reference pixel reaches the lower right corner and the pixel cannot be moved any more, the reference pixel is moved in the opposite direction to the above case, and the same processing is performed until the reference pixel moves to the upper left corner. . Thus, the reference pixel is reciprocated once. Thereafter, the reciprocation of the reference pixel is repeated until convergence.
そして最終的には、図8−5(h)に示すように、第1の指定領域と第2の指定領域に切り分けが行なわれる。 Finally, as shown in FIG. 8-5 (h), the first designated area and the second designated area are divided.
以上の方法で領域拡張を行うことで、速度の向上や切り抜き境界の精度を高めることができる。しかしこの方法でも、画素間の色の距離を基に領域を拡張している。そのため指定領域外の領域であっても類似色を有する領域について誤ったラベル付けがなされ、同じ指定領域であるとする場合がある。 By performing the area expansion by the above method, the speed can be improved and the accuracy of the cutout boundary can be increased. However, even in this method, the area is expanded based on the color distance between pixels. For this reason, an area having a similar color may be erroneously labeled even if it is outside the designated area, and may be the same designated area.
そこで本実施の形態では、領域検出部13を以下の構成とし、類似色を有する画素間であっても、誤ったラベル付けが行われることを抑制し、切り抜き境界の精度の向上を図る。
Therefore, in the present embodiment, the
[第1の実施形態]
まず領域検出部13の第1の実施形態について説明を行なう。
図9は、第1の実施形態における領域検出部13の機能構成例を表すブロック図である。
図示するように本実施の形態の領域検出部13は、画素選択部131と、局所領域設定部132と、類似度算出部133と、判断部134と、特性変更部135と、収束判定部136とを備える。
[First Embodiment]
First, the first embodiment of the
FIG. 9 is a block diagram illustrating a functional configuration example of the
As shown in the figure, the
第1の実施形態において、画素選択部131は、指定領域に属する画素の中から基準画素を選択する。ここで「指定領域に属する画素」は、例えば、ユーザが指定した代表位置に含まれる画素、即ち、上述したシードの画素である。またこれには、領域拡張により新たにラベル付けされた画素も含まれる。ここでは画素選択部131は、基準画素として指定領域に属する画素の中から1つの画素を選択する。
また画素選択部131は、基準画素に対し設定され、指定領域に含まれるか否かを判断する対象である周辺画素を選択する。ここでは画素選択部131は、周辺画素として基準画素の周辺にある画素の中から1つの画素を選択する。周辺画素は、シードが付与されていない画素から選択する。
In the first embodiment, the
In addition, the
局所領域設定部132は、基準画素の周囲のテクスチャを算出するための範囲として第1の局所領域を設定する。また局所領域設定部132は、周辺画素の周囲のテクスチャを算出するための範囲として第2の局所領域を設定する。
The local
図10は、第1の局所領域および第2の局所領域について説明した図である。
図示する例では、基準画素をP1とし、周辺画素をP2としている。そして基準画素P1を中心に位置するようにして、縦5画素×横5画素の範囲を第1の局所領域R1としている。同様に周辺画素P2を中心に位置するようにして、縦5画素×横5画素の範囲を第2の局所領域R2としている。図では、これらの範囲を太線の枠内の範囲として表示している。
FIG. 10 is a diagram illustrating the first local region and the second local region.
In the illustrated example, the reference pixel is P 1, has a peripheral pixel and P 2. A range of 5 vertical pixels × 5 horizontal pixels is defined as the first local region R 1 so as to be centered on the reference pixel P 1 . Similarly, a range of 5 vertical pixels × 5 horizontal pixels is set as the second local region R 2 so that the peripheral pixel P 2 is located at the center. In the figure, these ranges are displayed as ranges within a bold frame.
類似度算出部133は、基準画素P1の周囲である第1の局所領域R1内のテクスチャと周辺画素P2の周囲である第2の局所領域R2内のテクスチャとの類似度を算出する。ここでテクスチャが類似するとは、それぞれの局所領域全体が作り出す印象が類似することである。例えば、木材からなる床と同様に木材からなる椅子を含む画像があった場合、色彩としては同じ茶色である。しかしこれらの表面の質感は異なり、その結果、人が受ける印象は異なる。本実施の形態では、この印象の類似度をテクスチャの類似度として算出する。さらに具体的には、テクスチャの類似度は、それぞれの局所領域内の全画素の特徴量の類似度として抽出できる。この特徴量は、例えば、局所領域内に含まれる画素の画素値、画素値の平均値、画素値の分散、画像の周波数スペクトル、繰り返しパターンなどである。以上のように、局所領域R1内および局所領域R2内において、輝度の高低差、輝度の頻度、輝度発生の規則、さらには色度等において同様のパターンが見られるような場合、テクスチャ類似度が大きいとし、ここでは、例えば、以下のようにして類似度を算出する。
The
第1の局所領域R1のテクスチャと第2の局所領域R2のテクスチャとの類似度をsとすると、類似度sは、例えば、下記数2式で算出できる。数2式では、第1の局所領域R1内や第2の局所領域R2内の画素位置の座標を(x、y)で表わしている。そして第1の局所領域R1内の画素位置(x、y)における画素値をI1(x、y)とし、第2の局所領域R2内の画素位置(x、y)における画素値をI2(x、y)とした場合の類似度sを求めている。なおここでは画素値として、輝度成分Iのみを使用している。 When the similarity between the first local region R 1 of the texture and the second local region R 2 texture and s, the similarity s, for example, can be calculated by the equation (2) below. In Equation 2 , the coordinates of the pixel positions in the first local region R 1 and the second local region R 2 are represented by (x, y). The pixel value at the pixel position (x, y) in the first local region R 1 is I 1 (x, y), and the pixel value at the pixel position (x, y) in the second local region R 2 is The similarity s when I 2 (x, y) is obtained. Here, only the luminance component I is used as the pixel value.
なお数2式では、画素値の差の2乗を利用して類似度sを算出しているが、下記数3式のように画素値の差の絶対値を利用して類似度sを算出してもよい。また他にもテクスチャの類似度を表すものであれば、いかなる指標でもよい。
In
つまり局所領域を画素数分の次元(この場合、5×5=25次元)を有する多次元ベクトルを考え、類似度sは、第1の局所領域R1および第2の局所領域R2の画素値から求まる2つの多次元ベクトル間の距離に基づく量であると考えることもできる。また数2式および数3式における類似度sは、値が小さいほど第1の局所領域R1のテクスチャと第2の局所領域R2のテクスチャとが類似していることを意味する。また値が大きいほど第1の局所領域R1のテクスチャと第2の局所領域R2のテクスチャとが類似していないことを意味する。
That is, a local region is considered to be a multidimensional vector having dimensions corresponding to the number of pixels (in this case, 5 × 5 = 25 dimensions), and the similarity s is determined by the pixels of the first local region R 1 and the second local region R 2 . It can also be considered that the amount is based on the distance between two multidimensional vectors obtained from the values. Further, the similarity s in
ここで各画素の色データがRGBデータである場合は、例えばL*a*b*データやYCbCrデータなどの輝度色差空間に変換し、輝度成分のL*やYなどをI1(x、y)やI2(x、y)にしてもよい。また、輝度成分としてHSVデータのVなどでもよい。また輝度成分に限らず、色度や彩度を表す値でもよい。例えば、HSVデータであればSやHを用いてもよい。またL*a*b*データでは、下記数4式により算出される値を用いてもよく、YCbCrデータでは、下記数5式により算出される値を用いてもよい。即ち、輝度、色度、彩度の程度を表すものであればどのような基準でもよく、これをI1(x、y)やI2(x、y)の画素値とすればよい。 Here, when the color data of each pixel is RGB data, for example, it is converted into a luminance color difference space such as L * a * b * data or YCbCr data, and L * or Y of the luminance component is converted to I 1 (x, y ) Or I 2 (x, y). Further, V of HSV data may be used as the luminance component. Further, not only the luminance component but also a value representing chromaticity or saturation. For example, S or H may be used for HSV data. In the L * a * b * data, a value calculated by the following formula 4 may be used, and in YCbCr data, a value calculated by the following formula 5 may be used. In other words, any standard can be used as long as it represents the level of brightness, chromaticity, and saturation, and this may be the pixel value of I 1 (x, y) or I 2 (x, y).
判断部134は、類似度算出部133が算出したテクスチャの類似度により、周辺画素P2が指定領域に含まれるか否かを判断する。
判断部134は、例えば、閾値θを設け、数6式に示すように類似度sが閾値θより小さい場合は、周辺画素P2が、基準画素P1と同じ指定領域に属すると判断する。また類似度sが閾値θ以上である場合は、周辺画素P2が、基準画素P1と同じ指定領域に属さないと判断する。
For example, the
また閾値θは、固定値に限られるものではなく、画像に応じて変化させてもよい。また閾値θは、基準画素P1や周辺画素P2の画像中における位置に応じて変化させてもよい。 The threshold θ is not limited to a fixed value, and may be changed according to the image. The threshold θ may be changed according to the position in the image of the reference pixel P 1 and the peripheral pixel P 2.
または、判断部134は、上述した強さを基にした方法で判断を行なってもよい。例えば、基準画素P1は、前述のように、シードまたは更新によってラベル付けがされた画素であるので強さを1としておき、第1の局所領域R1のテクスチャと第2の局所領域R2のテクスチャとの類似度sから、図8−3で説明した方法で影響力を算出する(ただしこの場合、横軸はユークリッド距離diではなく、類似度sとなる)。そして基準画素P1の強さと影響力によって、周辺画素P2に強さが伝搬されるようにしてもよい。仮に、基準画素P1が持つ強さをu1とし、基準画素P1から周辺画素P2への影響力をw12とすると、u1w12が周辺画素P2に伝搬される強さとなる。
Alternatively, the
下記数7式の条件を満たすかどうかで、ラベル付けをするか否かの判断をおこなってもよい。数6式では、類似度が小さいほど指定領域に属すことになるが、数7式の場合は、強さを基に判断しているので、強さu1w12が、閾値θwを超えることが、判断部134が、周辺画素P2が、基準画素P1と同じ指定領域に属する(ラベル付けする)と判断する基準となる。なお強さu1w12が、閾値θw以下である場合は、判断部134は、周辺画素P2が、基準画素P1と同じ指定領域に属さないと判断し、ラベル付けは行なわない。また閾値θwは、前述と同様、固定値に限らず、基準画素P1や周辺画素P2の画像中における位置に応じて変化させてもよい。
Whether or not to perform labeling may be determined depending on whether or not the following equation (7) is satisfied. In equation (6), the smaller the similarity, the more belonging to the specified region. However, in equation (7), since the determination is based on the strength, the strength u 1 w 12 exceeds the threshold θ w . it is determining
なお図10の場合は、閾値θの値にもよるが、第1の局所領域R1のテクスチャと第2の局所領域R2のテクスチャとは類似せず(類似度sが大きく、伝搬される強さは小さい)、周辺画素P2が、基準画素P1と同じ指定領域に属しないと判断される場合である。 In the case of FIG. 10, although depending on the value of the threshold value θ, the texture of the first local region R 1 and the texture of the second local region R 2 are not similar (similarity s is large and propagated). strength is small), the peripheral pixels P 2 is a case where it is determined not to belong to the same specified region as the reference pixel P 1.
図11および図12は、第1の局所領域R1のテクスチャと第2の局所領域R2のテクスチャとは類似し(類似度sが小さく)、周辺画素P2が、基準画素P1と同じ指定領域に属すると判断される場合を示した図である。
例えば、図12では、基準画素P1と周辺画素P2の画素値(この場合、輝度値)は大きく異なるが、第1の局所領域R1のテクスチャと第2の局所領域R2のテクスチャとが類似するため、周辺画素P2が、基準画素P1と同じ指定領域に属すると判断される。
11 and 12, the texture of the first local region R 1 and the texture of the second local region R 2 are similar (similarity s is small), and the peripheral pixel P 2 is the same as the reference pixel P 1. It is the figure which showed the case where it is judged that it belongs to the designated area | region.
For example, in FIG. 12, the reference pixel P 1 and the peripheral pixel P 2 of the pixel value (in this case, the brightness value) but varies widely, a first local region R 1 textures and the second local region R 2 textures There to similar, surrounding the pixel P 2 is determined to belong to the same specified region as the reference pixel P 1.
判断部134を以上のように動作させることで、与えたシードに対して、自動でシードを拡散する効果がある。
By operating the
特性変更部135は、周辺画素P2に対し付与される特性を変更する。
ここで特性とは、その画素に付与されるラベルや強さのことを言い、前述のように、シードとなっている基準画素P1の強さは1で、周辺画素P2の強さは伝搬されたu1w12となる(ここでは例えば、これをu2とする)。
ラベルは、上述したようにその画素が何れの指定領域に属するかを表すものであり、指定領域1に属する画素は、ラベル1、指定領域2に属する画素は、ラベル2が付与される。ここではシード1のラベルはラベル1、シード2のラベルはラベル2となるので、判断部134で指定領域1に属する画素と判断された場合は、周辺画素P2は、ラベル1にラベル付けされる。また判断部134で指定領域2に属する画素と判断された場合は、周辺画素P2は、ラベル2にラベル付けされる。ここで、数7式の場合は、閾値θwによってラベルを決定していたが、もし周辺画素P2にラベル付けがされていなければ、そのまま基準画素P1のラベルとし、u1w12を周辺画素P2の強さu2としてもよい。またこの後で、他から伝搬されてきた強さがu2より大きかった場合は、強い方の強さとラベルに変えていき、これを繰り返して収束させてもよい。
Here, the characteristic means a label or strength given to the pixel, and as described above, the strength of the reference pixel P 1 which is a seed is 1, and the strength of the peripheral pixel P 2 is Propagated u 1 w 12 (here, for example, u 2 ).
As described above, the label indicates to which designated area the pixel belongs.
なお周辺画素P2は、画像中における基準画素P1以外の全ての画素について順次選択され、選択された周辺画素P2について基準画素P1と同じ指定領域に属するか否かが判断される。さらに基準画素P1についてもシードが付与される画素について同様に順次選択されていく。この処理は、基準画素P1や周辺画素P2の選択は、画素選択部131が順次行なっていく。
Note peripheral pixels P 2 are sequentially selected for all pixels other than the reference pixel P 1 in the image, whether belonging to the same specified region as the reference pixel P 1 is determined for the peripheral pixels P 2, which is selected. Are sequentially selected in the same manner for the pixels seed is also given for further reference pixel P 1. This process, selection of the reference pixel P 1 and the peripheral pixel P 2 is sequentially performed
そしてこの一連の処理は収束するまで繰り返し行なわれる。即ち、新たに指定領域1や指定領域2に属すると判断された画素は、新たに基準画素P1として選択され、さらに周辺画素P2が選択されて周辺画素P2について、指定領域1や指定領域2に属するかの判断が行なわれることになる。この処理を繰り返し、更新していくことで、ラベル付けの特性変更がされる領域は順次拡張されていき、指定領域1および指定領域2の切り出しが行なえる。なおこの方法によれば、上述したように、いったんあるラベルにラベル付けされた画素についても、他のラベルに変更されることがあり得る。
This series of processing is repeated until convergence. That is, new the pixels which are determined to belong to the designated
収束判定部136は、上記一連の処理が収束したか否かを判定する。
収束判定部136は、例えば、ラベルが変更される画素がなくなった、または、強さが変わらなくなったときに収束したと判定する。また予め最大更新回数を定めておき、最大更新回数に達したときに収束したものとみなすこともできる。
The
For example, the
次に第1の実施形態における領域検出部13の動作について説明を行なう。
図13は、第1の実施形態における領域検出部13の動作について説明したフローチャートである。
まず画素選択部131が、指定領域に属する画素の中から基準画素P1を選択する(ステップ101)。さらに画素選択部131は、基準画素P1に対し設定され、指定領域に含まれるか否かを判断する対象である周辺画素P2を選択する(ステップ102)。
Next, the operation of the
FIG. 13 is a flowchart for explaining the operation of the
次に局所領域設定部132が、基準画素P1の周囲のテクスチャを算出するための範囲として第1の局所領域R1を設定する(ステップ103)。さらに局所領域設定部132は、周辺画素P2の周囲のテクスチャを算出するための範囲として第2の局所領域R2を設定する(ステップ104)。
Next, the local
そして類似度算出部133が、基準画素P1の周囲である第1の局所領域R1内のテクスチャと周辺画素P2の周囲である第2の局所領域R2内のテクスチャとの類似度を算出する(ステップ105)。これは例えば、上述した数1式や数2式により算出することができる。また判断部134が強さを基に判断を行なう場合は、さらに基準画素P1の強さと影響力を基に周辺画素P2に伝搬される強さを算出する。
Then, the
次に判断部134は、類似度算出部133が算出したテクスチャの類似度あるいは強さにより、周辺画素P2が指定領域に含まれるか否かを判断する(ステップ106)。
その結果、周辺画素P2が指定領域に含まれると判断された場合(ステップ106でYes)、特性変更部135が、周辺画素P2に対し付与される特性としてラベルを変更する(ステップ107)。また判断部134が強さを基に判断を行なった場合は、特性変更部135は、周辺画素P2に対し付与される特性としてさらに強さを変更する。
Then
As a result, if the peripheral pixels P 2 is determined to be included in the specified area (Yes in step 106), the
ステップ107の後、および周辺画素P2が指定領域に含まれないと判断された場合(ステップ106でNo)、収束判定部136が、上記一連の処理が収束したか否かを判定する(ステップ108)。
その結果、処理が収束した場合(ステップ108でYes)、全ての処理を終了する。
対して処理が収束していない場合(ステップ108でNo)、ステップ101に戻り、新たに基準画素P1や周辺画素P2を選択し、収束するまで周辺画素P2が指定領域に含まれるか否かが判断されていく。
After step 107, and if the peripheral pixels P 2 is determined not to be included in the specified area (No in step 106), the
As a result, when the process has converged (Yes in step 108), all the processes are terminated.
Or if the process has not converged (No in step 108), returns to step 101, newly selects the reference pixel P 1 and the peripheral pixel P 2, the peripheral pixels P 2 until it converges in a specified area for It is judged whether or not.
[第2の実施形態]
次に領域検出部13の第2の実施形態について説明を行なう。
図14は、第2の実施形態における領域検出部13の機能構成例を表すブロック図である。
図示するように本実施の形態の領域検出部13は、画像分割部137と、シード反映部138と、局所領域設定部132と、類似度算出部133と、判断部134と、画素設定部139と、特性変更部135と、収束判定部136とを備える。
図14に示した領域検出部13は、図9に示した領域検出部13と比較して、画素選択部131が存在しない。一方、画像分割部137、シード反映部138および画素設定部139が加わっている。
[Second Embodiment]
Next, a second embodiment of the
FIG. 14 is a block diagram illustrating a functional configuration example of the
As shown in the figure, the
The
画像分割部137は、シードが設定された画像をブロック毎に分割する。
図15は、シードが設定された画像Gを表す。ここでは、画像Gに、シード1、シード2、シード3が設定されている。
また図16(a)は、シードが設定された画像Gを分割した例を示している。
ここではシードが設定された画像Gは、図16(b)に示す3画素×3画素からなるブロックB毎に分割されている。なおここでは3画素×3画素=9画素からなるブロックBを設定したが、これに限られるものではない。例えば、n画素×n画素、n画素×m画素(n、mは1以上の整数、ただしn、mは少なくとも一方が2以上である)であってもよい。
The
FIG. 15 shows an image G in which a seed is set. Here,
FIG. 16A shows an example in which the image G in which the seed is set is divided.
Here, the seed-set image G is divided into blocks B each having 3 pixels × 3 pixels shown in FIG. In addition, although the block B consisting of 3 pixels × 3 pixels = 9 pixels is set here, the present invention is not limited to this. For example, n pixels × n pixels and n pixels × m pixels (n and m are integers of 1 or more, provided that at least one of n and m is 2 or more).
シード反映部138は、代表位置反映部の一例であり、ブロックBを一画素とした画像に対し、シードを反映させる。
図17(a)〜(b)は、シード反映部138の動作について説明した図である。
ここで図17(a)は、図16(a)と同様の図であり、シードが設定された画像GをブロックB毎に分割した例を示している。また図17(b)は、ブロックBを一画素とし、画像Gでシードが設定された画素を含むブロックBには、シードを付与することで、シードを反映させたシード反映画像Gsを示している。この場合、画像Gsに、シード1、シード2、シード3を反映した場合を示している。その結果、このシード反映画像Gsには、図17(a)と同様にシード1、シード2、シード3が設定される。この場合、図17(b)で示したシード反映画像Gsは、図17(a)で示した画像Gを縮小したものであると見ることができる。
The
FIGS. 17A and 17B are diagrams illustrating the operation of the
Here, FIG. 17A is a diagram similar to FIG. 16A, and shows an example in which the image G in which the seed is set is divided for each block B. FIG. 17B shows a seed reflected image G s in which the seed is reflected by assigning a seed to the block B including the pixel in which the block B is one pixel and the seed is set in the image G. ing. In this case, the image G s, shows a case that reflects the
局所領域設定部132は、ブロックBを単位としテクスチャを算出するための範囲として第1の局所領域R1を設定する。ここではシード反映画像Gsのシードが反映された画素の中から一画素を選択し、これを第1の局所領域R1とする。シード反映画像Gsの一画素は、画像Gでは、3画素×3画素=9画素の画素からなるブロックBであるため、これを画像Gにおける局所領域とみなすことができる。同様に、局所領域設定部132は、ブロックBを単位としテクスチャを算出するための範囲として第2の局所領域R2を設定する。即ち、シード反映画像Gsにおいて第1の局所領域R1として選択された一画素の周囲の一画素をさらに選択する。これはシード反映画像Gsにおいてシードが反映されなかった画素の中から選択される。そしてこれを第2の局所領域R2とする。なおここではブロックBを1つ選択したが、複数選択して第1の局所領域R1や第2の局所領域R2としてもよい。
Local
図18(a)は、シード反映画像Gsにおいて、第1の局所領域R1と第2の局所領域R2とを設定した例を示している。第1の局所領域R1は、シード反映画像Gsでは、一画素となるが、第1の局所領域R1は、図18(b)に示すように画像Gでは、3画素×3画素=9画素からなる。同様に第2の局所領域R2は、図18(c)に示すように画像Gでは、3画素×3画素=9画素からなる。 FIG. 18 (a) shows the seed reflected image G s, an example of setting the first and local region R 1 and the second local region R 2. The first local region R 1 is one pixel in the seed reflected image G s , but the first local region R 1 is 3 pixels × 3 pixels = in the image G as shown in FIG. It consists of 9 pixels. The second local region R 2 Similarly, the image G as shown in FIG. 18 (c), consisting of 3 × 3 pixels = 9 pixels.
類似度算出部133は、画像Gの画素値を用い、第1の局所領域R1のテクスチャと第2の局所領域R2のテクスチャとの類似度を算出する。
The
判断部134は、類似度算出部133が算出したテクスチャの類似度により、第2の局所領域R2中の画素が指定領域に含まれるか否かを判断する。そして指定領域に含まれれば、その指定領域に含まれるシードが表す指定領域のラベルが付与される。この判断は、第1の実施形態の場合と同様の考えでよく、類似度sを基に行なうことができる。また類似度sから強さを算出しこの強さにより判断してもよい、または、ラベル付けに関しても、第1の実施形態と同様に行うことができる。
第2の実施形態では、画素をブロック化し、ブロックB単位の関係性を利用する、つまりは、基準となるブロックBとその周辺ブロックBとの関係(近さ)を利用することがポイントとなる。 In the second embodiment, the point is to block the pixels and use the relationship of the block B unit, that is, to use the relationship (closeness) between the reference block B and the peripheral block B. .
図19(a)は、従来手法における、基準画素P1とその周辺画素P2に関する影響力を示したものであり、太い線ほど画素の色が近く影響力が大きいことを表す。この影響力は、前述の図8−3で説明したものである。そして図19(a)と同様にして、本実施の形態では、これをブロックBの場合に拡張することができ、例えば、図19(a)の1画素を3×3の1ブロックに置き換えると、基準のブロックB1とその周辺のブロックB2との影響力の関係は、図19(b)に示すようになる。ここでは、太い線ほどブロックB1とブロックB2との間の影響力が大きいことを表す。 FIG. 19 (a), the conventional method is limited to showing influence related to the reference pixel P 1 and its peripheral pixels P 2, the color of the pixel as a thick line represents a greater near impact. This influence has been explained with reference to FIG. Similarly to FIG. 19A, in the present embodiment, this can be expanded to the case of block B. For example, when one pixel in FIG. 19A is replaced with one block of 3 × 3. , the relationship of the influence of the reference block B 1 and the block B 2 around this, as shown in FIG. 19 (b). Here, it indicates that influence between about bold line block B 1 and the block B 2 is large.
第1の実施形態では、ブロックB同士のつながりではなくてもよかったが、第2の実施形態は、図19(b)に示すように1つのブロックBを1画素のように捉え、影響力を導入した例である。図19(b)からわかるように、中央の基準のブロックB1の輝度発生特徴に対して、周辺のブロックB2との関係をみると、中央の基準のブロックB1の右の列に位置する3つのブロックB2と、真下の1つのブロックB2とは、テクスチャが近いので太線で示されている(影響力が大きいことに相当)。また、それ以外のブロックB2は、類似していないので細い線で示されている(影響力が小さいことに相当)。またここでは第1の局所領域R1や第2の局所領域R2を、1つのブロックBで構成した例を説明したが、第1の局所領域R1や第2の局所領域R2を、複数のブロックBで構成する場合は、複数のブロックB同士での関係となる。即ち、第1の局所領域R1と第2の局所領域R2との関係となる。 In the first embodiment, the blocks B may not be connected to each other. However, in the second embodiment, as shown in FIG. 19B, one block B is regarded as one pixel, and the influence is increased. This is an example of introduction. As can be seen from FIG. 19B, the relationship between the luminance generation feature of the central reference block B 1 and the peripheral block B 2 is located in the right column of the central reference block B 1. (equivalent to influential) and three blocks B 2, and one block B 2 immediately below, since the texture is close to that shown by the bold line of. The block B 2 other than it (equivalent to impact force is small) Similar shown by thin lines since no. The first local region R 1 and the second local region R 2 in this case has been described an example in which one block B, and a first local region R 1 and the second local region R 2, In the case of a plurality of blocks B, the relationship is between the plurality of blocks B. That is, the relationship between the first local region R 1 and the second local region R 2 is established.
ブロックBにシードの画素が含まれている場合のブロックBの強さを1とすれば、シードの拡散方法や、強さの更新方法は第1の実施形態の場合と同様に行うことができ、また、ブロックBを画素と見立てれば、図8−5と同じ考えでラベル付けや、特定の領域の切り抜きを行うことができる。この場合、1画素が持つ色の近さだけではない影響力を基にした強さを伝搬するので、人が領域を判断するのに近いラベル付けを行うことができる。 If the intensity of the block B when the seed pixel is included in the block B is 1, the seed diffusion method and the strength update method can be performed in the same manner as in the first embodiment. If the block B is regarded as a pixel, labeling or cutting out of a specific area can be performed with the same idea as in FIG. 8-5. In this case, since the intensity based not only on the closeness of the color of one pixel but also on the basis of influence is propagated, it is possible to perform labeling that is close to a person judging a region.
なお図17で示すようにブロック化した後、図19(b)で示す影響力の計算を最初に全ブロックBで行っておけば、この影響力は変化することがないので、全体の処理を高速に行うこともできる。 Note that, after the block is formed as shown in FIG. 17, if the influence calculation shown in FIG. 19 (b) is first performed for all the blocks B, this influence does not change. It can also be performed at high speed.
図20は、図18(a)のシード反映画像Gsにおいて、第2の局所領域R2中の画素が指定領域に含まれるとした例を示している。この場合、第2の局所領域R2は、シード2が属する指定領域に含まれるようになったことを示している。
Figure 20 is the seed reflected image G s in FIG. 18 (a), shows an example in which a pixel of the second in local regions R 2 are included in the designated area. In this case, the second local region R 2 indicates that it is now included in the specified area where the
画素設定部139は、類似度により第2の局所領域R2内の画素が指定領域に含まれると検出したときに、第2の局所領域R2内の何れの画素が指定領域に含まれるかを設定する。
つまり判断部134が、第2の局所領域R2中の画素が指定領域に含まれると判断したとき、第2の局所領域R2中の画素は、3画素×3画素=9画素ある。そのためこの中の何れの画素が指定領域に含まれるようにするかが問題となる。この場合、9画素中の何れか1画素を選択してもよく、複数の画素を選択してもよい。例えば、9画素中の中心の1画素としてもよく、9画素中の中から1画素以上をランダムに選択してもよい。また9画素全てが指定領域に含まれるとしてもよい。
Whether the
That
図21は、画素設定部139が画像Gにおいて第2の局所領域R2中の中心の一画素が指定領域に含まれるとしたときを示している。またこの場合、3つの画素が、シード2に含まれるようになったことを示している。
Figure 21 shows a case in which a
なお以後の特性変更部135、収束判定部136の動作は、第1の実施形態と同様である。第1の実施形態と同様、シードとして拡散させることもできれば、または、図17(b)のように、1つのブロックBを1画素とした画像と捉えれば、図8−5のように従来の伝搬方法で実施すれば、より精度の高い切り抜きや領域分離を行うことができる。
The subsequent operations of the characteristic changing
次に第2の実施形態における領域検出部13の動作について説明を行なう。
図22は、第2の実施形態における領域検出部13の動作について説明したフローチャートである。
まず画像分割部137は、シードが設定された画像をブロックB毎に分割する(ステップ201)。
Next, the operation of the
FIG. 22 is a flowchart for explaining the operation of the
First, the
次にシード反映部138が、ブロックBを一画素とした画像に対し、シードを反映させる(ステップ202)。これは図17で説明した方法により行うことができる。
Next, the
そして局所領域設定部132が、ブロックBを単位としテクスチャを算出するための範囲として第1の局所領域R1を、シード反映画像Gsのシードが反映された画素の中から設定する(ステップ203)。さらに局所領域設定部132は、ブロックBを単位としテクスチャを算出するための範囲として第2の局所領域R2をシード反映画像Gsのシードが反映されなかった画素の中から設定する(ステップ204)。
Then, the local
次に類似度算出部133が、画像Gの画素値を用い、第1の局所領域R1のテクスチャと第2の局所領域R2のテクスチャとの類似度を算出する(ステップ205)。また判断部134が強さを基に判断を行なう場合は、さらに基準のブロックB1の強さと影響力を基に周辺のブロックB2に伝搬される強さを算出する。
Next, the
また判断部134は、類似度算出部133が算出したテクスチャの類似度あるいは強さにより、第2の局所領域R2中の画素が指定領域に含まれるか否かを判断する(ステップ206)。
The
その結果、第2の局所領域R2中の画素が指定領域に含まれると判断された場合(ステップ206でYes)、画素設定部139が、第2の局所領域R2内の何れの画素が指定領域に含まれるかを設定する(ステップ207)。そして特性変更部135が、画素設定部139が設定した画素に対し付与される特性としてラベルを変更する(ステップ208)。また判断部134が強さを基に判断を行なった場合は、特性変更部135は、画素設定部139が設定した画素に対し付与される特性としてさらに強さを変更する。
As a result, when it is determined that the pixel in the second local region R 2 is included in the designated region (Yes in Step 206), the
ステップ208の後、および第2の局所領域R2中の画素が指定領域に含まれないと判断された場合(ステップ206でNo)、収束判定部136が、上記一連の処理が収束したか否かを判定する(ステップ209)。
その結果、処理が収束した場合(ステップ209でYes)、全ての処理を終了する。
対して処理が収束していない場合(ステップ209でNo)、ステップ202に戻り、新たに第1の局所領域R1や第2の局所領域R2を設定し、収束するまで第2の局所領域R2中の画素が指定領域に含まれるか否かが判断されていく。
After step 208, and if the second pixel in the local region R 2 is determined not to be included in the specified area (No in step 206), the
As a result, when the process has converged (Yes in step 209), all the processes are terminated.
When the process for has not converged (No in step 209), returns to step 202, new first set local regions R 1 and the second local region R 2, the second local region to converge whether pixels in R 2 is included in the designated area will be determined.
第2の実施形態の利用方法としては、例えば、2通りある。1つ目は、図21のようにシードを拡散させる目的で使用することであり、拡散した状態を収束とみなして一旦終了する。その後、ブロックBを解除して、今度は元のとおりの画素を有する画像Gとして考え、図8−2〜8−5に示すような強さの伝搬によって、領域を分離する方法である。
また、2つ目としては、図17(b)のようにブロック化した後、ブロックBを画素とみなし、この場合は、閾値による判断のみに依存するシードの拡散というよりは、強さ比較の更新ルールで収束させる伝搬を行って、収束した結果を領域分離の結果とする方法である。画像Gが大きいときはこれでもよい。
For example, there are two ways to use the second embodiment. The first one is used for the purpose of diffusing the seed as shown in FIG. 21, and the diffused state is regarded as convergence, and is terminated once. After that, the block B is released, and this time, the image G having the original pixels is considered, and the regions are separated by the propagation of the strength as shown in FIGS. 8-2 to 8-5.
Secondly, after the block is formed as shown in FIG. 17B, the block B is regarded as a pixel. In this case, rather than the seed diffusion depending only on the judgment based on the threshold value, the intensity comparison is performed. This is a method in which propagation that converges with the update rule is performed and the converged result is used as the result of region separation. This may be used when the image G is large.
[第3の実施形態]
第2の実施形態で、シードの拡散のみならず、強さの更新に基づく収束方法で領域分離までを行った場合、画像Gの大きさやブロックBの大きさによっては、図23(a)に示すように、領域の境界が、粗くなることがある。
[Third Embodiment]
In the second embodiment, when not only the seed diffusion but also the region separation is performed by the convergence method based on the strength update, depending on the size of the image G and the size of the block B, FIG. As shown, the boundary of the region may become rough.
この場合は、図23(b)に示すように、境界領域付近のラベルや強さをリセットした未知領域Mを設定する。そしてブロックBを解除して、画素単位の構造に戻し、未知領域M以外のラベルを付した画素はシードとして利用する。さらに図19(a)で示した画素単位の影響力を用いて、これまでと同様に、図8−5で示した領域拡張方法で強さの伝搬を行えば、図23(c)のような領域の境界が滑らかになる領域分離の結果を得ることができる。
これは領域検出部13は、ブロックBを単位とした指定領域を検出した後に、ブロックBを単位とした指定領域の境界の領域において指定領域の設定を解除し、指定領域の設定を解除されなかった画素の中から選択された基準画素を基に指定領域の境界の領域において指定領域を再度検出する、と言うこともできる。
In this case, as shown in FIG. 23B, an unknown area M in which the label and strength near the boundary area are reset is set. Then, the block B is released to return to the pixel unit structure, and the pixels with labels other than the unknown area M are used as seeds. Further, if the intensity is propagated by the region expansion method shown in FIG. 8-5 using the influence of the pixel unit shown in FIG. 19A as in the past, as shown in FIG. As a result, it is possible to obtain a result of region separation in which the boundary of a region is smooth.
This is because the
このような方法を使用する利点は、画像Gに対し、縮小画像を使用して処理することと等価になるので、より高速になる。また単に色の近さを比較する場合に比較してテクスチャの類似度を比較することで、影響力を計算する際の情報量が増えるので、従来よりも精度の高い領域分離が行えることにある。 The advantage of using such a method is faster because the image G is equivalent to processing using a reduced image. In addition, comparing the texture similarity compared to simply comparing colors, the amount of information when calculating the influence increases, so that it is possible to perform region separation with higher accuracy than before. .
以上説明した第1の実施形態〜第3の実施形態により、指定領域の切り出しを行なうことができる。
図24は、前景として写る床と、床以外の後景とからなる写真の画像Gにおいて、シード1およびシード2を設定した場合を示している。
本実施の形態では、図25のような切り抜き結果(過剰な検出や、検出不足が伴う結果)が生じにくく、図26のように、第1の指定領域S1、第2の指定領域S2をより精度よく切り出すことができる。
According to the first to third embodiments described above, the designated area can be cut out.
FIG. 24 shows a case where
In the present embodiment, the cutout results (results of excessive detection and insufficient detection) as shown in FIG. 25 are unlikely to occur, and the first designated area S1 and the second designated area S2 are more arranged as shown in FIG. It can be cut out with high accuracy.
なおシードの拡散は、前景だけで行なってもよく、後景だけで行なってもよい。また、前景および後景の両方で行ってもよい。前景および後景の両方で行なう場合は、類似度sがどちらも閾値θ以下である場合は、より小さい方を選択するなどの判断を行えばよい。
また上述した例では、第1の局所領域R1および第2の局所領域R2に含まれる画素は、同数であったが、異なっていてもよい。
Note that the seed diffusion may be performed only in the foreground or only in the background. Further, it may be performed in both the foreground and the background. When both the foreground and the foreground are performed, if both of the similarities s are equal to or smaller than the threshold value θ, it may be determined to select the smaller one.
In the example described above, the number of pixels included in the first local region R 1 and the second local region R 2 is the same, but may be different.
なお以上説明した領域検出部13で行われる処理は、画像中の指定領域の代表位置(シード)を表す位置情報を取得する位置情報取得工程と、位置情報から指定領域を検出する領域検出工程と、を備え、領域検出工程は、指定領域に属する画素の周囲のテクスチャと指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に指定領域を検出することを特徴とする画像処理方法として捉えることもできる。
The processing performed by the
<画像処理装置のハードウェア構成例>
次に、画像処理装置10のハードウェア構成について説明する。
図27は、画像処理装置10のハードウェア構成を示した図である。
画像処理装置10は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置10は、演算手段であるCPU(Central Processing Unit)91と、記憶手段であるメインメモリ92、およびHDD(Hard Disk Drive)93とを備える。ここで、CPU91は、OS(Operating System)やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ92は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、HDD93は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置10は、外部との通信を行うための通信インターフェース(以下、「通信I/F」と表記する)94を備える。
<Hardware configuration example of image processing apparatus>
Next, the hardware configuration of the
FIG. 27 is a diagram illustrating a hardware configuration of the
The
Further, the
<プログラムの説明>
ここで以上説明を行った本実施の形態における画像処理装置10が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
<Description of the program>
The processing performed by the
よって本実施の形態で、画像処理装置10が行なう処理は、コンピュータに、画像中の指定領域の代表位置(シード)を表す位置情報を取得する位置情報取得機能と、位置情報から指定領域を検出する領域検出機能と、を実現させ、領域検出機能は、指定領域に属する画素の周囲のテクスチャと指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に指定領域を検出するプログラムとして捉えることもできる。
Therefore, in the present embodiment, the processing performed by the
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。 The program for realizing the present embodiment can be provided not only by communication means but also by storing it in a recording medium such as a CD-ROM.
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。 Although the present embodiment has been described above, the technical scope of the present invention is not limited to the scope described in the above embodiment. It is clear from the description of the scope of the claims that various modifications or improvements added to the above embodiment are also included in the technical scope of the present invention.
1…画像処理システム、10…画像処理装置、11…画像情報取得部、12…ユーザ指示受付部、13…領域検出部、14…領域切替部、15…画像処理部、16…画像情報出力部、20…表示装置、30…入力装置、131…画素選択部、132…局所領域設定部、133…類似度算出部、134…判断部、135…特性変更部、136…収束判定部、137…画像分割部、138…シード反映部
DESCRIPTION OF
Claims (11)
位置情報から指定領域を検出する領域検出部と、
を備え、
前記領域検出部は、前記指定領域に属する画素の周囲のテクスチャと当該指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に当該指定領域を検出する画像処理装置。 A position information acquisition unit that acquires position information representing the representative position of the designated area in the image;
An area detection unit for detecting a specified area from position information;
With
The area detection unit detects the designated area based on a similarity between a texture around a pixel belonging to the designated area and a texture around a pixel that is a target for determining whether the texture is included in the designated area. Image processing device.
前記指定領域に属する画素の中から選択された基準画素の周囲のテクスチャを算出するための範囲として第1の局所領域を設定するとともに、当該基準画素に対し設定され、当該指定領域に含まれるか否かを判断する対象である画素である周辺画素の周囲のテクスチャを算出するための範囲として第2の局所領域を設定する局所領域設定部と、
前記第1の局所領域内のテクスチャと前記第2の局所領域内のテクスチャとの類似度を算出する類似度算出部と、
を備えることを特徴とする請求項1に記載の画像処理装置。 The region detection unit
Whether the first local area is set as a range for calculating the texture around the reference pixel selected from the pixels belonging to the specified area, and is set for the reference pixel and included in the specified area A local region setting unit that sets a second local region as a range for calculating a texture around a peripheral pixel that is a pixel to be determined;
A similarity calculation unit that calculates the similarity between the texture in the first local region and the texture in the second local region;
The image processing apparatus according to claim 1, further comprising:
前記強さを使用して前記周辺画素が前記指定領域に属するか否かを判断することにより、前記指定領域を検出することを特徴とする請求項2または3に記載の画像処理装置。 The similarity calculation unit further calculates the strength of the surrounding pixels belonging to the designated area based on the similarity,
The image processing apparatus according to claim 2, wherein the designated area is detected by determining whether the peripheral pixel belongs to the designated area using the intensity.
前記代表位置が設定された前記画像をブロック毎に分割する画像分割部と、
前記ブロックを単位としテクスチャを算出するための範囲として、第1の局所領域および第2の局所領域を設定する局所領域設定部と、
前記第1の局所領域内のテクスチャと前記第2の局所領域内のテクスチャとの類似度を算出する類似度算出部と、
を備えることを特徴とする請求項1に記載の画像処理装置。 The region detection unit
An image dividing unit that divides the image in which the representative position is set for each block;
A local region setting unit for setting the first local region and the second local region as a range for calculating the texture in units of the block;
A similarity calculation unit that calculates the similarity between the texture in the first local region and the texture in the second local region;
The image processing apparatus according to claim 1, further comprising:
前記強さを使用して前記第2の局所領域中の画素が前記指定領域に属するか否かを判断することにより、前記指定領域を検出することを特徴とする請求項5または6に記載の画像処理装置。 The similarity calculation unit further calculates the strength with which the second local region belongs to the designated region based on the similarity,
The said designated area | region is detected by determining whether the pixel in the said 2nd local area belongs to the said designated area | region using the said intensity | strength. Image processing device.
位置情報から指定領域を検出する領域検出工程と、
を備え、
前記領域検出工程は、前記指定領域に属する画素の周囲のテクスチャと当該指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に当該指定領域を検出することを特徴とする画像処理方法。 A position information acquisition step of acquiring position information representing the representative position of the designated area in the image;
An area detection step of detecting a specified area from position information;
With
The area detection step detects the designated area based on the similarity between the texture around the pixel belonging to the designated area and the texture around the pixel that is a target for determining whether the texture is included in the designated area. An image processing method.
前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、
ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、
を備え、
前記画像処理装置は、
前記画像中の指定領域の代表位置を表す位置情報を取得する位置情報取得部と、
位置情報から指定領域を検出する領域検出部と、
を備え、
前記領域検出部は、前記指定領域に属する画素の周囲のテクスチャと当該指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に当該指定領域を検出する画像処理システム。 A display device for displaying an image;
An image processing device that performs image processing on image information of the image displayed on the display device;
An input device for a user to input an instruction to perform image processing on the image processing device;
With
The image processing apparatus includes:
A position information acquisition unit that acquires position information representing a representative position of the designated area in the image;
An area detection unit for detecting a specified area from position information;
With
The area detection unit detects the designated area based on a similarity between a texture around a pixel belonging to the designated area and a texture around a pixel that is a target for determining whether the texture is included in the designated area. Image processing system.
画像中の指定領域の代表位置を表す位置情報を取得する位置情報取得機能と、
位置情報から指定領域を検出する領域検出機能と、
を実現させ、
前記領域検出機能は、前記指定領域に属する画素の周囲のテクスチャと当該指定領域に含まれるか否かを判断する対象である画素の周囲のテクスチャとの類似度を基に当該指定領域を検出するプログラム。 On the computer,
A position information acquisition function for acquiring position information representing the representative position of the designated area in the image;
An area detection function for detecting a specified area from position information;
Realized,
The area detection function detects the designated area based on the similarity between the texture around the pixel belonging to the designated area and the texture around the pixel that is a target for determining whether or not it is included in the designated area. program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016238464A JP6930099B2 (en) | 2016-12-08 | 2016-12-08 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016238464A JP6930099B2 (en) | 2016-12-08 | 2016-12-08 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018097414A true JP2018097414A (en) | 2018-06-21 |
JP6930099B2 JP6930099B2 (en) | 2021-09-01 |
Family
ID=62632973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016238464A Active JP6930099B2 (en) | 2016-12-08 | 2016-12-08 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6930099B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000216979A (en) * | 1999-01-22 | 2000-08-04 | Canon Inc | Image extraction method and device and storage medium |
JP2016006645A (en) * | 2014-05-30 | 2016-01-14 | 富士ゼロックス株式会社 | Area determination device, area determination method, and program |
-
2016
- 2016-12-08 JP JP2016238464A patent/JP6930099B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000216979A (en) * | 1999-01-22 | 2000-08-04 | Canon Inc | Image extraction method and device and storage medium |
JP2016006645A (en) * | 2014-05-30 | 2016-01-14 | 富士ゼロックス株式会社 | Area determination device, area determination method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6930099B2 (en) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5880767B2 (en) | Region determination apparatus, region determination method, and program | |
US9792695B2 (en) | Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium | |
KR101719088B1 (en) | Method for partitioning area, and inspection device | |
JP5867198B2 (en) | Area designation method and area designation apparatus | |
JP2017126304A (en) | Image processing apparatus, image processing method, image processing system, and program | |
JP6287337B2 (en) | Image processing apparatus, image processing method, image processing system, and program | |
US20170039683A1 (en) | Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium | |
JP5907196B2 (en) | Image processing apparatus, image processing method, image processing system, and program | |
JP6241320B2 (en) | Image processing apparatus, image processing method, image processing system, and program | |
AU2014280985B2 (en) | Image processing apparatus, image processing method, image processing system, and program | |
JP6550819B2 (en) | Selection support device and program | |
JP6930099B2 (en) | Image processing device | |
US20210072884A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP2018097415A (en) | Image processing apparatus, image processing method, image processing system, and program | |
US20230215050A1 (en) | Information processing apparatus, method, and storage medium to generate a color-difference map | |
JP2016004309A (en) | Image processor, image processing method, image processing system and program | |
JP2019101844A (en) | Image processing apparatus, image processing method, image processing system and program | |
JP2017162035A (en) | Image processing apparatus, image processing method, image processing system, and program | |
JP2023031373A (en) | Image processing device, image processing system, and program | |
JP2007080188A (en) | Drawing retrieval program, method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210726 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6930099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |