JP5745370B2 - Specific area extraction device and specific area extraction program - Google Patents
Specific area extraction device and specific area extraction program Download PDFInfo
- Publication number
- JP5745370B2 JP5745370B2 JP2011195011A JP2011195011A JP5745370B2 JP 5745370 B2 JP5745370 B2 JP 5745370B2 JP 2011195011 A JP2011195011 A JP 2011195011A JP 2011195011 A JP2011195011 A JP 2011195011A JP 5745370 B2 JP5745370 B2 JP 5745370B2
- Authority
- JP
- Japan
- Prior art keywords
- specific area
- image
- window
- specific
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、特定領域抽出装置及び特定領域抽出プログラムに係り、特に画像中の特定領域を効率的かつ高精度に抽出するための特定領域抽出装置及び特定領域抽出プログラムに関する。 The present invention relates to a specific area extraction apparatus and a specific area extraction program, and more particularly to a specific area extraction apparatus and a specific area extraction program for efficiently and accurately extracting a specific area in an image.
従来では、マルチメディア技術の発展に伴い、画像処理に対する要求も高まっている。例えば、画像中から前傾領域や物体領域を自動的に抽出する技術については、様々な手法が開示されている（例えば、特許文献１〜４参照）。 Conventionally, with the development of multimedia technology, the demand for image processing has increased. For example, various techniques have been disclosed for automatically extracting a forward tilt area and an object area from an image (see, for example, Patent Documents 1 to 4).
特許文献１に示されている手法では、入力画像に映っている各物体までの距離を測定し、入力画像に対応する距離画像を作成し、作成した距離画像を用いて物体までの距離に応じてオブジェクト検出枠を設定している。 In the method disclosed in Patent Document 1, the distance to each object shown in the input image is measured, a distance image corresponding to the input image is created, and the created distance image is used in accordance with the distance to the object. The object detection frame is set.
また、特許文献２に示されている手法では、ユーザにより指定された前景ピクセル及び背景ピクセルをそれぞれ基準ピクセルとして、３次元の色空間が複数に分割された分割色空間のうちから、各基準ピクセルが属する分割色空間を基準分割色空間として特定し、各基準ピクセルとこれに隣接する隣接ピクセルとの色空間における色の距離を算出すると共に各隣接ピクセルが各基準分割色空間に属するか否かを判別し、各隣接ピクセルについて算出された色の距離と、各隣接ピクセルについて判別された基準分割色空間への属否に基づく重み付けとに基づいて各隣接ピクセルについてのコストを算出して前景ピクセル又は背景ピクセルを確定している。 Further, in the technique disclosed in Patent Document 2, each reference pixel is selected from among divided color spaces obtained by dividing a three-dimensional color space into a plurality of reference pixels, each of which is a foreground pixel and a background pixel specified by the user. The divided color space to which the reference pixel belongs is specified as the reference divided color space, the color distance in the color space between each reference pixel and the adjacent pixel adjacent thereto is calculated, and whether or not each adjacent pixel belongs to each reference divided color space Foreground pixels by calculating the cost for each adjacent pixel based on the distance of the color calculated for each adjacent pixel and the weighting based on the belonging to the reference divided color space determined for each adjacent pixel Or the background pixel is fixed.
また、特許文献３に示されている手法では、動画像データ中から対象物が存在する存在領域を抽出し、抽出された存在領域を除いた複数の動画像のフレーム画像データ又はフィールド画像データを合成して、背景画像データを生成し、生成された背景画像データに基づいて、動画像データから所定の対象物の画像データを抽出している。 Further, in the technique disclosed in Patent Document 3, an existing area where an object exists is extracted from moving image data, and frame image data or field image data of a plurality of moving images excluding the extracted existing areas is extracted. Background image data is generated by synthesis, and image data of a predetermined object is extracted from the moving image data based on the generated background image data.
また、特許文献４に示されている手法では、画像に閉曲線を配置し閉曲線の歪み具合を示す内部エネルギー又は画像の輝度勾配を示す画像エネルギー又は閉曲線の膨張或いは収縮を示す外部エネルギーの少なくともいずれかの和である総エネルギーに基づいて閉曲線を動的に変形させて画像に含まれる対象領域の輪郭を抽出している。 In addition, in the technique disclosed in Patent Document 4, at least one of internal energy indicating the degree of distortion of the closed curve by arranging a closed curve in the image, image energy indicating the luminance gradient of the image, and external energy indicating expansion or contraction of the closed curve. The contour of the target area included in the image is extracted by dynamically deforming the closed curve based on the total energy that is the sum of the two.
しかしながら、上述した特許文献１に示されているような手法では、入力画像の他に距離画像が必要であり、その分の処理内容や処理時間等が増えるため、効率的な処理が行えない。また、特許文献２に示されているような手法では、ユーザによる前景ピクセル及び背景ピクセルの初期指定が必要であり、精度がユーザに依存してしまう。 However, in the method as described in Patent Document 1 described above, a distance image is required in addition to the input image, and the processing content, processing time, and the like increase accordingly, so that efficient processing cannot be performed. In the method as disclosed in Patent Document 2, initial designation of foreground pixels and background pixels by the user is necessary, and accuracy depends on the user.
また、特許文献３に示されているような手法では、動画を対象としており、背景と前景領域の動きが異なる場合に限定されるため、１つの画像に対して効率的かつ高精度に特定領域を抽出することはできない。更に、特許文献４に示されているような手法では、物体の正確な輪郭線を抽出するために、輪郭モデル（閉曲線）の各サンプル点の位置を、繰り返し演算による収束により決定する必要があるため、計算時間を要してしまう。 In addition, the technique as disclosed in Patent Document 3 is intended for moving images, and is limited to the case where the background and the foreground area move differently. Therefore, the specific area can be efficiently and highly accurately applied to one image. Cannot be extracted. Furthermore, in the method as shown in Patent Document 4, in order to extract an accurate contour line of an object, it is necessary to determine the position of each sample point of the contour model (closed curve) by convergence by iterative calculation. Therefore, calculation time is required.
本発明は、上述した問題点に鑑みなされたものであり、画像中の特定領域を効率的かつ高精度に抽出するための特定領域抽出装置及び特定領域抽出プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a specific area extraction apparatus and a specific area extraction program for extracting a specific area in an image efficiently and with high accuracy.
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。 In order to solve the above problems, the present invention employs means for solving the problems having the following characteristics.
本発明は、入力画像に対する特定領域を抽出する特定領域抽出装置において、前記入力画像に所定の基準線を設定し、設定された基準線を対称軸とする２つの同一サイズの各領域をそれぞれ窓領域として設定する窓領域設定手段と、前記基準線を動かすことで、前記窓領域を前記入力画像の水平方向及び垂直方向に対してそれぞれ所定間隔で移動させ、各移動位置における前記窓領域に含まれる色特徴及びテクスチャ特徴を画像特徴として取得する特徴取得手段と、前記窓領域の移動に伴う前記特徴取得手段により得られる画像特徴の変化量に基づいて１又は複数の境界を設定する境界設定手段と、前記境界設定手段により設定される境界に基づいて特定領域を抽出する特定領域抽出手段とを有し、前記特徴取得手段は、取得した前記色特徴及び前記テクスチャ特徴のそれぞれに対して前記２つの窓領域での差分を取得すると共に、前記窓領域を前記水平方向及び前記垂直方向へ移動させたときの前記差分の変化量から、前記色特徴及び前記テクスチャ特徴における前記差分が極大で、かつ予め設定された閾値以上となるときの水平軸及び垂直軸の値を取得し、前記境界設定手段は、前記特徴取得手段により得られる前記水平軸及び垂直軸でのそれぞれの値の最小値及び最大値を用いて前記境界を設定することを特徴とする。
The present invention provides a specific area extraction apparatus for extracting a specific area for an input image, wherein a predetermined reference line is set for the input image, and two areas of the same size having the set reference line as a symmetry axis are respectively displayed in windows. A window area setting means to set as an area and the reference line are moved to move the window area at predetermined intervals in the horizontal direction and the vertical direction of the input image, and are included in the window area at each moving position. Acquisition means for acquiring the color features and texture features to be obtained as image features, and boundary setting means for setting one or more boundaries based on the amount of change in the image features obtained by the feature acquisition means accompanying the movement of the window region If, possess a specific area extracting means for extracting a specific area based on the boundaries set by the boundary setting unit, the characteristic acquisition means, said color characteristic acquired And the difference between the two window regions for each of the texture features, and the color feature and the amount of change in the difference when the window region is moved in the horizontal direction and the vertical direction. A horizontal axis and a vertical axis value when the difference in the texture feature is maximal and equal to or greater than a preset threshold value are acquired, and the boundary setting unit is configured to obtain the horizontal axis and the vertical axis obtained by the feature acquisition unit. The boundary is set using a minimum value and a maximum value of each value on the axis .
また、本発明は、コンピュータを、上述した特定領域抽出装置が有する各手段として機能させるための特定領域抽出プログラムである。 In addition, the present invention is a specific area extraction program for causing a computer to function as each unit included in the above-described specific area extraction apparatus.
本発明によれば、画像中の特定領域を効率的かつ高精度に抽出することができる。 According to the present invention, a specific region in an image can be extracted efficiently and with high accuracy.
＜本発明について＞
本発明は、例えば上述した従来手法のような距離画像やユーザによる初期操作等を必要とせず、画像上に設定した窓領域の水平方向及び垂直方向への１度のみの移動により、大まかな特定領域を高速に抽出可能とするものである。
<About the present invention>
The present invention does not require a distance image or a user's initial operation as in the conventional method described above, for example, and can be roughly specified by moving the window area set on the image only once in the horizontal and vertical directions. The region can be extracted at high speed.
具体的には、本発明は、入力画像に対して、水平方向及び垂直方向に窓領域を移動して窓領域内の画像特徴（例えば、色、テクスチャ等）の移動に伴う変化を計測し、特定領域と、非特定領域との境界線を、水平方向及び垂直方向でそれぞれ２本抽出する。そして、抽出された合計４本の境界線で囲まれた矩形領域を、画像上の特定領域とする。 Specifically, the present invention measures a change accompanying movement of an image feature (for example, color, texture, etc.) in the window area by moving the window area in the horizontal direction and the vertical direction with respect to the input image. Two boundary lines between the specific area and the non-specific area are extracted in the horizontal direction and the vertical direction, respectively. Then, a rectangular area surrounded by a total of four extracted boundary lines is set as a specific area on the image.
なお、特定領域とは、例えば画像中に含まれる前景領域、被写体（例えば、人物）等の物体領域、注視領域、注目領域等からなり、これらの領域を画像の内容や抽出目的に応じて任意に設定することができるものとするが、本発明においてはこれに限定されるものではない。また、非特定領域とは、画像中において上述した特定領域に含まれない領域を意味し、例えば前景領域に対する背景領域、注視領域に対する非注視領域等がこれに該当する。更に、本実施形態では、上述で非特定領域とした背景領域や非注視領域を特定領域とし、前景領域や注視領域を非特定領域としてもよい。 Note that the specific area includes, for example, a foreground area included in the image, an object area such as a subject (for example, a person), a gaze area, an attention area, and the like, and these areas are arbitrarily selected according to the content of the image and the purpose of extraction. However, the present invention is not limited to this. The non-specific area means an area that is not included in the above-described specific area in the image, for example, a background area for the foreground area, a non-gaze area for the gaze area, and the like. Furthermore, in the present embodiment, the background area or the non-gaze area that is the non-specific area described above may be the specific area, and the foreground area or the gaze area may be the non-specific area.
以下に、上述したような特徴を有する本発明における特定領域抽出装置及び特定領域抽出プログラムを好適に実施した形態について、図面を用いて詳細に説明する。なお、以下の説明においては、一例として、画像中に含まれる前景領域を特定領域とし、背景領域を非特定領域として説明する。 In the following, embodiments of a specific area extraction apparatus and a specific area extraction program according to the present invention having the above-described features are described in detail with reference to the drawings. In the following description, as an example, the foreground region included in the image is described as a specific region, and the background region is described as a non-specific region.
＜特定領域抽出装置：機能構成例＞
図１は、本実施形態における特定領域抽出装置の機能構成の一例を示す図である。図１に示す特定領域抽出装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、窓領域設定手段１４と、特徴取得手段１５と、境界設定手段１６と、特定領域抽出手段１７と、画像生成手段１８と、送受信手段１９と、制御手段２０とを有するよう構成されている。
<Specific area extraction device: functional configuration example>
FIG. 1 is a diagram illustrating an example of a functional configuration of a specific area extracting apparatus according to the present embodiment. 1 includes an input unit 11, an output unit 12, a storage unit 13, a window region setting unit 14, a feature acquisition unit 15, a boundary setting unit 16, and a specific region extraction unit 17. And an image generation means 18, a transmission / reception means 19, and a control means 20.
入力手段１１は、例えばユーザ等からの窓領域設定指示、特徴取得指示、境界設定指示、特定領域抽出指示、画像生成指示、送受信指示等の特定領域抽出処理における各入力を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等を有する。 The input unit 11 accepts each input in specific area extraction processing such as a window area setting instruction, a feature acquisition instruction, a boundary setting instruction, a specific area extraction instruction, an image generation instruction, and a transmission / reception instruction from a user or the like. The input unit 11 includes, for example, a keyboard, a pointing device such as a mouse, a voice input device such as a microphone, and the like.
出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された窓領域、画像特徴、境界設定、特定領域、生成された画像等の特定領域抽出処理における抽出結果や各種処理経過等の内容を表示したり、音声等を出力する。なお、出力手段１２は、ディスプレイ等の画面表示デバイスやスピーカ等の音声出力デバイス等を有する。なお、入力手段１１と出力手段１２とは、例えばタッチパネル等のような一体型であってもよい。 The output means 12 is the extraction result in the specific area extraction process such as the instruction content input by the input means 11, the window area, the image feature, the boundary setting, the specific area, and the generated image generated based on each instruction content. And displays the contents of various processes, etc., and outputs audio. The output unit 12 includes a screen display device such as a display, an audio output device such as a speaker, and the like. The input unit 11 and the output unit 12 may be an integrated type such as a touch panel.
蓄積手段１３は、本実施形態における特定領域の抽出を行うための元となる画像データ（原画像データ）や、窓領域の設定情報、画像特徴取得情報、境界設定情報、特定領域情報、生成された特定領域抽出情報等の各種データ等、本実施形態における特定領域抽出において必要な各種情報等を蓄積する。 The storage unit 13 generates image data (original image data) that is a source for extracting a specific area in the present embodiment, window area setting information, image feature acquisition information, boundary setting information, specific area information, and the like. In addition, various data necessary for the specific area extraction in the present embodiment, such as various data such as the specific area extraction information, is stored.
なお、蓄積手段１３は、送受信手段１９を介して通信ネットワーク等に接続される外部装置等から取得される本実施形態で使用可能な画像データや各種設定情報等を蓄積する。また、蓄積手段１３は、本実施形態における特定領域抽出処理等において、上述した各種データを読み出したり、書き込んだりすることができる。 The storage unit 13 stores image data, various setting information, and the like that can be used in the present embodiment, acquired from an external device or the like connected to a communication network or the like via the transmission / reception unit 19. In addition, the storage unit 13 can read and write the various data described above in the specific area extraction process or the like in the present embodiment.
窓領域設定手段１４は、所定の窓領域を設定する。なお、窓領域の幅を設定する場合、窓領域設定手段１４は、まず画像に対して設定された基準座標を含む基準線（例えば、中心線等）を、縦及び横にそれぞれ設定する。次に、窓領域設定手段１４は、設定した縦の基準線（例えば、直線等）に対して、左側及び右側のそれぞれの領域（幅）を設定する。 The window area setting unit 14 sets a predetermined window area. When setting the width of the window region, the window region setting unit 14 first sets a reference line (for example, a center line) including the reference coordinates set for the image vertically and horizontally. Next, the window area setting unit 14 sets the left and right areas (widths) with respect to the set vertical reference line (for example, a straight line).
また、窓領域設定手段１４は、設定した横の基準線（直線）に対して、上側及び下側のそれぞれの領域（幅）を設定する。具体的には、設定された基準線を対称軸とする２つの同一サイズの領域を窓領域として設定する。なお、本実施形態では、基準線からの幅は、左と右、又は、上と下で同一の幅でもよく、それぞれ異なる幅であってもよい。また、幅の設定は、例えばユーザ等により特定の値に設定されていてもよく、また画像サイズ等に合わせて任意に設定されてもよい。 Further, the window area setting means 14 sets the upper and lower areas (widths) with respect to the set horizontal reference line (straight line). Specifically, two areas having the same size with the set reference line as the axis of symmetry are set as window areas. In the present embodiment, the width from the reference line may be the same width on the left and right, or the upper and lower sides, or may be different widths. The width may be set to a specific value by the user or the like, for example, or may be arbitrarily set according to the image size or the like.
更に、本実施形態における窓領域は、例えば特定領域を抽出する対象画像に対する周波数解析を行い、その解析結果に応じて窓の幅を設定してもよい。これにより、画像全体（特に背景）が芝生等のような色特徴やテクスチャ特徴の出やすい場合であっても、周波数解析の結果に対応させて窓領域を調整することでノイズ等をなくして高精度に特定領域を抽出することができる。 Furthermore, for the window region in the present embodiment, for example, frequency analysis may be performed on a target image from which a specific region is extracted, and the window width may be set according to the analysis result. As a result, even if the entire image (especially the background) is prone to color or texture features such as lawn, noise and other factors can be eliminated by adjusting the window area according to the frequency analysis results. A specific area can be extracted with high accuracy.
特徴取得手段１５は、上述した窓領域に含まれる画像に対する画像特徴を取得する。なお、画像特徴としては、例えば、色特徴及びテクスチャ特徴等であるが本発明においてはこれに限定されるものではない。 The feature acquisition unit 15 acquires an image feature for the image included in the window area described above. The image features include, for example, color features and texture features, but are not limited to these in the present invention.
例えば、特徴取得手段１５は、左窓領域の色特徴と、右窓領域の色特徴とを計算し、その差分ｈＣ（Ｘ）を取得する。なお、色特徴の例としては、例えばＲＧＢ平均値ベクトル、色相成分のヒストグラム等があるが、本発明においてはこれに限定されるものではない。 For example, the feature acquisition unit 15 calculates the color feature of the left window region and the color feature of the right window region, and acquires the difference h C (X). Examples of color features include, for example, an RGB average value vector, a hue component histogram, and the like, but are not limited to this in the present invention.
また、特徴取得手段１５は、左窓領域のテクスチャ特徴と、右窓領域のテクスチャ特徴とを計算し、その差分ｈＴ（Ｘ）を取得する。なお、テクスチャ特徴の例としては、例えばエッジ画素数、エッジの方向ヒストグラム等があるが、本発明においてはこれに限定されるものではない。 The feature acquisition unit 15 calculates the texture feature of the left window region and the texture feature of the right window region, and acquires the difference h T (X). Examples of texture features include, for example, the number of edge pixels, edge direction histograms, and the like, but are not limited to this in the present invention.
更に、特徴取得手段１５は、上窓領域の色特徴と下窓領域の色特徴とを計算し、その差分ｖＣ（Ｙ）を取得する。更に、特徴取得手段１５は、上窓領域のテクスチャ特徴と下窓領域のテクスチャ特徴とを計算し、その差分ｖＴ（Ｙ）を取得する。 Further, the feature acquisition means 15 calculates the color feature of the upper window region and the color feature of the lower window region, and acquires the difference v C (Y). Furthermore, the feature acquisition means 15 calculates the texture feature of the upper window region and the texture feature of the lower window region, and acquires the difference v T (Y).
ここで、特徴取得手段１５は、上述の内容を、基準線を所定間隔（例えば、１画素〜１０画素等）毎に水平方向（Ｘ）又は垂直方向（Ｙ）に移動し（ずらし）、左右及び上下に対して画面の全部又は一部を走査して、上述した特徴取得処理を行う。なお、本実施形態における走査方法は、例えば画像の端部から端部まで走査してもよく、両端部から中心に向けて走査してもよい。 Here, the feature acquisition unit 15 moves (shifts) the reference line in the horizontal direction (X) or the vertical direction (Y) at predetermined intervals (for example, 1 to 10 pixels, etc.) And the whole or a part of the screen is scanned up and down, and the above-described feature acquisition processing is performed. Note that, in the scanning method in the present embodiment, for example, scanning may be performed from the end of the image to the end, or from both ends to the center.
境界設定手段１６は、上述した窓領域の移動に伴う特徴取得手段１５により得られる画像特徴の変化量に基づいて１又は複数の境界を設定する。具体的には、境界設定手段１６は、例えば基準線を水平方向に移動させながら取得した複数の色特徴の差分ｈＣ（Ｘ）の最大値ＭＡＸ＿ｈＣ、基準線を水平方向に移動させながら取得した複数のテクスチャ特徴の差分ｈＴ（Ｘ）の最大値ＭＡＸ＿ｈＴを用いて全てのｈＣ（Ｘ）及びｈＴ（Ｘ）の値が０〜１の範囲となるように調整する。なお、調整手法としては、例えば、ｈＣ（Ｘ）＝ｈＣ（Ｘ）／ＭＡＸ＿ｈＣ、ｈＴ（Ｘ）＝ｈＴ（Ｘ）／ＭＡＸ＿ｈＴとして計算することで、０〜１の範囲に含めることができる。このとき、ＭＡＸ＿ｈＣ、ＭＡＸ＿ｈＴの場合の値は１になる。 The boundary setting unit 16 sets one or a plurality of boundaries based on the change amount of the image feature obtained by the feature acquisition unit 15 accompanying the movement of the window area described above. Specifically, the boundary setting unit 16 acquires, for example, the maximum value MAX_h C of the difference h C (X) of the plurality of color features acquired while moving the reference line in the horizontal direction, while moving the reference line in the horizontal direction. Using the maximum value MAX_h T of the difference h T (X) of the plurality of texture features, adjustment is performed so that all the values of h C (X) and h T (X) are in the range of 0-1. Incidentally, as the adjustment method, for example, h C (X) = h C (X) / MAX_h C, by calculating as h T (X) = h T (X) / MAX_h T, in the range of 0 to 1 Can be included. At this time, the value in the case of MAX_h C and MAX_h T is 1.
また、境界設定手段１６は、ｈＣ（Ｘ）が極大（前後のｈＣ（Ｘ）よりも大きな値（変化量）を持つ）であって、予め設定された閾値ｈ＿ＴＨ以上となるＸの値のうち、一番小さいものをＸＣＬ、一番大きいものをＸＣＲとする。また、境界設定手段１６は、ｈＴ（Ｘ）が極大（前後のｈＴ（Ｘ）よりも大きな値（変化量）を持つ）であって、予め設定した閾値ｈ＿ＴＨ以上となるＸの値のうち、一番小さいものをＸＴＬ、一番大きいものをＸＴＲとする。 Further, the boundary setting means 16 has a value of X where h C (X) has a maximum value (has a larger value (change amount) than the preceding and following h C (X)) and is equal to or greater than a preset threshold value h_TH. Of these, X CL is the smallest and X CR is the largest. The boundary setting means 16, a h T (X) is (greater than before and after h T (X) (with variation)) maximum, the value of X as a threshold h_TH than a preset Of these, the smallest one is designated XTL and the largest one is designated XTR .
そして、境界設定手段１６は、ＸＣＬとＸＴＬの最小値をＸＬとし、ＸＣＲとＸＴＲの最大値をＸＲとし、その座標から垂直に引いた直線を特定領域の左側境界線及び右側境界線として設定する。 Then, the boundary setting means 16 sets X L as the minimum value of X CL and X TL , sets the maximum value of X CR and X TR as X R, and draws a straight line drawn perpendicularly from the coordinates to the left boundary line of the specific region and Set as right border.
また、境界設定手段１６は、上述した水平方向と同様に、垂直方向についても上側及び下側の境界線を設定する。具体的には、境界設定手段１６は、例えば基準線を素直方向に移動させながら取得した複数の色特徴の差分ｖＣ（Ｙ）の最大値ＭＡＸ＿ｖＣ、基準線を垂直方向に移動させながら取得した複数のテクスチャ特徴の差分ｖＴ（Ｙ）の最大値ＭＡＸ＿ｖＴを用いて全てのｖＣ（Ｙ）及びｖＴ（Ｙ）の値が０〜１の範囲となるように調整する。なお、調整手法としては、上述と同様に、例えばｖＣ（Ｙ）＝ｖＣ（Ｙ）／ＭＡＸ＿ｖＣ、ｖＴ（Ｙ）＝ｖＴ（Ｙ）／ＭＡＸ＿ｖＴとして計算することで、０〜１の範囲に含めることができる。このとき、ＭＡＸ＿ｈＣ、ＭＡＸ＿ｈＴの場合の値は１になる。 Further, the boundary setting means 16 sets the upper and lower boundary lines in the vertical direction as in the horizontal direction described above. Specifically, the boundary setting unit 16 acquires, for example, the maximum value MAX_v C of the differences v C (Y) of the plurality of color features acquired while moving the reference line in the straight direction, while moving the reference line in the vertical direction. Using the maximum value MAX_v T of the difference v T (Y) of the plurality of texture features, adjustment is made so that all the values of v C (Y) and v T (Y) are in the range of 0-1. As the adjustment method, as described above, for example, by calculating as v C (Y) = v C (Y) / MAX_v C , v T (Y) = v T (Y) / MAX_v T , 1 can be included. At this time, the value in the case of MAX_h C and MAX_h T is 1.
次に、境界設定手段１６は、ｖＣ（Ｙ）が極大（前後のｖＣ（Ｙ）よりも大きな値（変化量）を持つ）であって、予め設定されたｖＣ（Ｙ）が閾値ｗ＿ＴＨ以上となるＹの値のうち、一番小さいものをＹＣＴとし、一番大きいものをＹＣＢとする。また、境界設定手段１６は、ｖＴ（Ｙ）が極大（前後のｖＴ（Ｙ）よりも大きな値（変化量）を持つ）であって、予め設定された閾値ｗ＿ＴＨ以上となるＹの値のうち、一番小さいものをＹＴＴとし、大きいものをＹＴＢとする。 Then, boundary setting means 16, v a C (Y) is maximum (with front and rear v C (Y) greater than (amount of change)), v C (Y) is a threshold value set in advance among the values of Y of the above W_TH, those smallest and Y CT, to those largest and Y CB. Further, the boundary setting means 16 has a value of Y where v T (Y) has a maximum value (has a larger value (variation) than v T (Y) before and after) and is equal to or greater than a preset threshold value w_TH. Among them, the smallest one is YTT , and the largest one is YTB .
そして、境界設定手段１６は、ＹＣＴとＹＴＴの最小値をＹＴとし、ＹＣＢとＹＴＢの最大値をＹＢとして、その座標から水平に引いた直線を特定領域の上側境界線及び下側境界線として設定する。 Then, the boundary setting means 16 sets the minimum value of Y CT and Y TT as Y T and the maximum value of Y CB and Y TB as Y B , and draws a straight line drawn horizontally from the coordinates of the upper boundary line of the specific area and Set as the lower border.
なお、上述した閾値ｈ＿ＴＨ，ｗ＿ＴＨについては、同一の閾値を用いてもよく、異なる閾値を用いてもよい。また、本実施形態では、閾値ｈ＿ＴＨ，ｗ＿ＴＨのそれぞれについても色特徴からの差分とテクスチャ特徴からの差分とで、それぞれ異なる閾値を設定してもよい。更に、本実施形態における閾値の設定では、例えば特徴取得手段１５により取得した特徴の最大値に対する比率（例えば、０．６〜０．８等）によって設定することもできる。 In addition, about the threshold value h_TH and w_TH mentioned above, the same threshold value may be used and a different threshold value may be used. In the present embodiment, different threshold values may be set for the threshold values h_TH and w_TH, depending on the difference from the color feature and the difference from the texture feature. Furthermore, in setting the threshold value in the present embodiment, for example, the threshold value can be set by a ratio (for example, 0.6 to 0.8) of the feature acquired by the feature acquisition unit 15.
特定領域抽出手段１７は、境界設定手段１６により得られる４本の境界線（左側、右側、上側、下側）に囲まれた矩形領域を特定領域とする。なお、特定領域抽出手段１７において抽出される特定領域は、１つであってもよく、複数であってもよい。 The specific area extracting unit 17 sets a rectangular area surrounded by four boundary lines (left side, right side, upper side, and lower side) obtained by the boundary setting unit 16 as a specific area. In addition, the specific area extracted by the specific area extracting unit 17 may be one or plural.
また、特定領域抽出手段１７は、複数の特定領域を抽出する場合に、例えば１つの画像を複数に分割し、それぞれの分割画像に対して上述した処理を行って、特定領域を抽出してもよく、また上述した境界設定手段１６により、左右の境界と上下の境界との組を複数設定して、それらの境界を用いて複数の特定領域を抽出してもよい。 In addition, when extracting a plurality of specific areas, the specific area extraction unit 17 may, for example, divide one image into a plurality of parts and perform the above-described processing on each divided image to extract the specific areas. Alternatively, a plurality of sets of left and right boundaries and upper and lower boundaries may be set by the boundary setting unit 16 described above, and a plurality of specific regions may be extracted using these boundaries.
また、特定領域抽出手段１７は、複数の特定領域が設定された場合に、その中から所定の条件（例えば、画像の中心に最も近い領域、所定のサイズ以上の領域、所定の色を含む領域、若しくはそれらの組み合わせ等）に基づいて、少なくとも１つの特定領域を抽出することもできる。更に、特定領域抽出手段１７は、得られた複数の特定領域から、各特定領域を全て又は１部を包含する特定領域を抽出することもできる。 In addition, when a plurality of specific areas are set, the specific area extracting unit 17 includes a predetermined condition (for example, an area closest to the center of the image, an area having a predetermined size or more, an area including a predetermined color) , Or a combination thereof) at least one specific region can be extracted. Furthermore, the specific area extraction means 17 can also extract a specific area including all or one part of each specific area from the obtained specific areas.
画像生成手段１８は、入力された画像中に特定領域抽出手段１７により抽出された特定領域を表示（合成）させた画像を生成する。具体的には、画像生成手段１８は、入力された画像中に含まれる特定領域の部分を、例えば枠や模様等により囲んだ画像を生成する。なお、枠については、背景画像の色と重なり見えづらくなることがないように背景色を反転させた色で表示してもよく、枠内の領域全体を半透明の色で合成表示してもよい。なお、画像生成手段１８は、生成した画像を出力手段１２等により出力させて、ユーザに提示させる。 The image generation means 18 generates an image in which the specific area extracted by the specific area extraction means 17 is displayed (synthesized) in the input image. Specifically, the image generation unit 18 generates an image in which a part of a specific area included in the input image is surrounded by, for example, a frame or a pattern. As for the frame, it may be displayed in a color obtained by inverting the background color so that it does not overlap with the color of the background image, and the entire area in the frame may be displayed in a semitransparent color. Good. Note that the image generation means 18 causes the output means 12 to output the generated image and present it to the user.
送受信手段１９は、インターネット等に代表される通信ネットワーク等を介して、特定領域抽出装置１０内の各種画像や窓領域設定情報、画像特徴、境界設定情報、特定領域抽出結果、特定領域抽出画像等を外部装置等に送信する。また、送受信手段１９は、通信ネットワークに接続された外部装置等から、入力画像、窓領域設定情報、画像特徴、境界設定情報、その他の各種データ等を受信する。つまり、送受信手段１９は、送受信可能な各種データを、他の装置に送信したり、他の装置から各種データを受信するための通信インタフェースである。 The transmission / reception means 19 receives various images, window area setting information, image features, boundary setting information, specific area extraction results, specific area extraction images, etc. in the specific area extraction device 10 via a communication network represented by the Internet or the like. Is transmitted to an external device or the like. The transmission / reception means 19 receives an input image, window area setting information, image characteristics, boundary setting information, and other various data from an external device connected to the communication network. That is, the transmission / reception means 19 is a communication interface for transmitting various data that can be transmitted and received to other devices and receiving various data from other devices.
制御手段２０は、特定領域抽出装置１０における各機能構成全体の制御を行う。具体的には、制御手段２０は、入力手段１１により入力されたユーザ等からの入力情報に基づいて、窓領域を設定したり、画像特徴を取得したり、境界を設定したり、特定領域を抽出したり、画像を生成する等の本実施形態における特定領域抽出処理において必要となる各種を制御する。上述したように、本実施形態によれば、画像中の特定領域を効率的かつ高精度に抽出することができる。 The control unit 20 controls the entire functional configuration in the specific area extracting apparatus 10. Specifically, the control unit 20 sets a window region, acquires an image feature, sets a boundary, sets a specific region based on input information from a user or the like input by the input unit 11. Various types of control necessary for the specific area extraction process in the present embodiment, such as extraction and image generation, are controlled. As described above, according to the present embodiment, a specific area in an image can be extracted efficiently and with high accuracy.
＜窓領域設定から境界設定までの具体例＞
ここで、上述した本実施形態における窓領域設定から境界設定までの具体例について図を用いて説明する。図２は、本実施形態における窓領域設定から境界設定までの具体例を説明するための図である。なお、図２（ａ）〜（ｅ）に適宜示される窓領域は、画像に対して抽出する特定領域の横の境界（範囲）と縦の境界（範囲）を探索するための窓領域を示している。
<Specific example from window area setting to border setting>
Here, a specific example from the window region setting to the boundary setting in the above-described embodiment will be described with reference to the drawings. FIG. 2 is a diagram for explaining a specific example from window region setting to boundary setting in the present embodiment. 2A to 2E are window areas for searching for a horizontal boundary (range) and a vertical boundary (range) of a specific area to be extracted from an image. ing.
図２（ａ）では、ある画像（サイズＷ（横）×Ｈ（縦））３０に対し、ある基準線（中心線）３１を設定し、更にその基準線から左右の何れか又は両方に幅を設けて所定の範囲Ｌからなる窓領域３２を設定する。 In FIG. 2A, a certain reference line (center line) 31 is set for a certain image (size W (horizontal) × H (vertical)) 30, and the width from the reference line to either or both of the left and right sides is set. And a window region 32 having a predetermined range L is set.
ここで、図２（ａ）の例では、基準線３１−１に対して左右に同距離の幅を持たせている。具体的には、基準線３１−１の横軸Ｗにおける横座標Ｘ（ＭＡＸ：Ｗ−１）に対して「Ｘ−Ｌ／２」，「Ｘ＋Ｌ／２」の２つの座標と、縦座標Ｙ（ＭＡＸ：Ｈ−１）からなる窓領域が構成されている。 Here, in the example of FIG. 2A, the same width is given to the left and right with respect to the reference line 31-1. Specifically, with respect to the abscissa X (MAX: W−1) on the abscissa W of the reference line 31-1, two coordinates “XL / 2” and “X + L / 2” and the ordinate Y A window region made up of (MAX: H-1) is formed.
つまり、窓領域設定手段１４は、画像（サイズＷ×Ｈ）上の直線（Ｘ，０）−（Ｘ，Ｈ−１）を基準線３１−１として、左窓領域（左上座標（Ｘ−（Ｌ／２），０）−右下座標（Ｘ，Ｈ−１））３２−１ａ、及び、右窓領域（左上座標（Ｘ，０）−右下座標（Ｘ＋（Ｌ／２），Ｈ−１））３２−１ｂを設定する。なお、本明細書中の記載において「直線Ａ−Ｂ」とは、座標Ａから座標Ｂまでの直線を意味し、「領域（座標Ａ―Ｂ）」とは、座標Ａと座標Ｂを角とする矩形の領域を意味する。 That is, the window area setting unit 14 uses the straight line (X, 0)-(X, H-1) on the image (size W × H) as the reference line 31-1, and sets the left window area (upper left coordinates (X- ( L / 2), 0) -lower right coordinates (X, H-1)) 32-1a and the right window area (upper left coordinates (X, 0) -lower right coordinates (X + (L / 2), H- 1) Set 32-1b. In this description, “straight line AB” means a straight line from coordinates A to B, and “region (coordinate AB)” means that coordinates A and B are an angle. Means a rectangular area.
また、本実施形態における窓領域の幅の大きさは、例えば、画像サイズや画像内容、ユーザ等の指示により任意に設定することができる。 Further, the width of the window area in the present embodiment can be arbitrarily set by, for example, an image size, image content, or a user instruction.
次に、本実施形態では、特徴取得手段１５において、上述のように設定された左右の窓領域３２−１ａ，３２−１ｂを、例えば横方向の左端から右端（例えば右端から左端、両端から中心でもよい）まで、所定間隔（例えば、約１〜１０画素）毎に横に移動（水平走査）させ、移動させた位置毎に上述した特徴取得手段１５により左右それぞれの窓領域における特徴（例えば、色特徴、テクスチャ特徴等）を取得する。 Next, in the present embodiment, in the feature acquisition unit 15, the left and right window regions 32-1 a and 32-1 b set as described above, for example, from the horizontal left end to the right end (eg right end to left end, center from both ends). Or horizontally) at predetermined intervals (for example, about 1 to 10 pixels), and features (for example, for example) in the left and right window regions by the above-described feature acquisition unit 15 for each moved position. Color features, texture features, etc.).
また、特徴取得手段１５は、図２（ｂ）に示すように、移動毎に取得される特徴から、左窓領域３２−１ａの色特徴と右窓領域３２−１ｂの色特徴の差分ｈＣ（Ｘ）が極大（前後のｈＣ（Ｘ）よりも大きな値（変化量）を持つ）かつ閾値ｈ＿ＴＨ以上となるＸの値をＸＣ１，ＸＣ２，…，ＸＣＭとして取得する。また、特徴取得手段１５は、上述の条件で取得したＸの値の数Ｍが２以上の場合には、そのうち一番小さいＸの値をＸＣＬとし、一番大きいＸの値をＸＣＲとする。図２（ｂ）の例では、ＸＣ１〜ＸＣ４の値が取得され、そのうちＸＣＬ＝ＸＣ１、ＸＣＲ＝ＸＣ４として取得される。 In addition, as shown in FIG. 2B, the feature acquisition unit 15 calculates the difference h C between the color feature of the left window region 32-1a and the color feature of the right window region 32-1b from the feature acquired for each movement. (X) is maximum (around the h C (with X) greater than (amount of change)) and the value of the threshold h_TH more X X C1, X C2, ... , is obtained as X CM. In addition, when the number M of X values acquired under the above-described conditions is 2 or more, the feature acquisition unit 15 sets the smallest X value as XCL and the largest X value as XCR . To do. In the example of FIG. 2B, the values of X C1 to X C4 are acquired, of which X CL = X C1 and X CR = X C4 are acquired.
なお、本実施形態において、Ｍ＝０の場合には、ＸＣＬ＝０、ＸＣＲ＝Ｗ−１とする。また、Ｍ＝１の場合には、ＸＣ１≧Ｗ／２であればＸＣＬ＝ＸＣ１、ＸＣＲ＝Ｗ−１とし、ＸＣ１＜Ｗ／２であれば、ＸＣＬ＝０、ＸＣＲ＝ＸＣ１とする。 In this embodiment, when M = 0, X CL = 0 and X CR = W−1 are set. In the case of M = 1, if X C1 ≧ W / 2, X CL = X C1 and X CR = W−1, and if X C1 <W / 2, X CL = 0 and X CR = X C1 .
また同様に、特徴取得手段１５は、移動毎に取得される特徴から、左窓領域３２−１ａのテクスチャ特徴と右窓領域３２−１ｂのテクスチャ特徴の差分ｈＴ（Ｘ）が極大（前後のｈＴ（Ｘ）よりも大きな値（変化量）を持つ）かつ閾値ｈ＿ＴＨ以上となるＸの値をＸＴ１，ＸＴ２，…，ＸＴＮとして取得する。また、特徴取得手段１５は、上述の条件で取得したＸの値の数Ｎが２以上の場合には、そのうち一番小さいＸの値をＸＴＬとし、一番大きいＸの値をＸＴＲとする。なお、本実施形態において、Ｎ＝０の場合には、ＸＴＬ＝０、ＸＴＲ＝Ｗ−１とする。また、Ｎ＝１の場合には、ＸＴ１≧Ｗ／２であればＸＴＬ＝ＸＴ１、ＸＴＲ＝Ｗ−１とし、ＸＴ１＜Ｗ／２であれば、ＸＴＬ＝０、ＸＴＲ＝ＸＴ１とする。 Similarly, the feature acquisition unit 15 maximizes the difference h T (X) between the texture feature of the left window region 32-1a and the texture feature of the right window region 32-1b from the feature acquired for each movement. X values having a value (change amount) larger than h T (X) and not less than the threshold value h_TH are acquired as X T1 , X T2 ,..., X TN . In addition, when the number N of X values acquired under the above conditions is 2 or more, the feature acquisition unit 15 sets the smallest X value as XTL and the largest X value as XTR . To do. In this embodiment, when N = 0, X TL = 0 and X TR = W−1. In the case of N = 1, if X T1 ≧ W / 2, X TL = X T1 and X TR = W−1, and if X T1 <W / 2, X TL = 0 and X TR = X T1 .
また、上述の例では、色特徴の差分ｈＣ（Ｘ）の最大値ＭＡＸ＿ｈＣ、テクスチャ特徴の差分ｈＴ（Ｘ）の最大値ＭＡＸ＿ｈＴを用いて、全てのｈＣ（Ｘ）及びｈＴ（Ｘ）の値が０〜１の範囲となるように調整してから上述の処理を行ってもよい。 In the above example, the maximum value MAX_h C of the difference h C color characteristic (X), using the maximum value MAX_h T of the texture features of difference h T (X), all the h C (X) and h T You may perform the above-mentioned process, after adjusting so that the value of (X) may become the range of 0-1.
次に、境界設定手段１６は、上述したＸＣＬとＸＴＬとの最小値をＸＬとし、ＸＣＲとＸＴＲとの最大値をＸＲとし、図２（ｃ）に示すように、直線（ＸＬ，０）−（ＸＬ，Ｈ−１）を、例えば特定領域と非特定領域との左側境界線３３とし、直線（ＸＲ，０）−（ＸＲ，Ｈ−１）を、例えば特定領域と非特定領域との右側境界線３４とする。 Then, boundary setting means 16, the minimum value of the X CL and X TL described above and X L, the maximum value of the X CR and X TR and X R, as shown in FIG. 2 (c), linear (X L, 0) - ( X L, H-1) , for example a left boundary line 33 between the specific region and the non-specific region, the straight line (X R, 0) - the (X R, H-1) , For example, the right boundary line 34 between the specific area and the non-specific area.
ここで、上述の例は、画像に対して設定される特定領域の左右の境界設定の内容について説明したが、特定領域の上下の境界設定の内容についても同様の手法で取得することができる。なお、上下の境界については、例えば上述にて設定された左右の境界を利用することができる。 Here, in the above-described example, the contents of the left and right boundary settings of the specific area set for the image have been described. However, the contents of the upper and lower boundary settings of the specific area can also be acquired by the same method. For the upper and lower boundaries, for example, the left and right boundaries set as described above can be used.
具体的には、図２（ｄ）に示すように、窓領域設定手段１４は、画像３０上の直線（ＸＬ，Ｙ）−（ＸＲ，Ｙ）を基準線３１−２として、上窓領域（左上座標（ＸＬ，Ｙ−（Ｌ／２））−右下座標（ＸＲ，Ｙ））３２−２ａ、及び下窓領域（左上座標（ＸＬ，Ｙ）−右下座標（ＸＲ，Ｙ＋（Ｌ／２））３２−２ｂからなる窓領域を設定する。このように、左右の境界を利用することで、窓領域を小さくすることができ、データ量が削減されるため、画像処理の負荷を軽減することができる。 Specifically, as shown in FIG. 2D, the window area setting unit 14 uses the straight line (X L , Y)-(X R , Y) on the image 30 as the reference line 31-2, and the upper window region (upper left coordinates (X L, Y- (L / 2)) - lower right coordinates (X R, Y)) 32-2a , and the lower window region (upper left coordinates (X L, Y) - lower right coordinates (X R , Y + (L / 2)) 32-2b is set in this way, by using the left and right boundaries, the window area can be reduced and the amount of data is reduced. The load of image processing can be reduced.
なお、本実施形態における上下の窓領域の設定方法は、これに限定されるものではなく、窓領域設定手段１４は、上述した左右の境界の設定内容を用いずに画像サイズを基準として上下の窓領域を設定することもできる。その場合、窓領域設定手段１４は、画像３０上の直線（０，Ｙ）−（Ｗ，Ｙ）を基準線３１−２として、上窓領域（左上座標（０，Ｙ−（Ｌ／２））−右下座標（Ｗ−１，Ｙ））、及び下窓領域（左上座標（０，Ｙ）−右下座標（Ｗ−１，Ｙ＋（Ｌ／２））からなる窓領域を設定する。 Note that the method of setting the upper and lower window areas in the present embodiment is not limited to this, and the window area setting unit 14 uses the above-described setting contents of the left and right boundaries to set the upper and lower window areas on the basis of the image size. A window area can also be set. In that case, the window area setting means 14 uses the straight line (0, Y)-(W, Y) on the image 30 as the reference line 31-2, and the upper window area (upper left coordinates (0, Y- (L / 2)). ) -Lower right coordinates (W-1, Y)) and lower window areas (upper left coordinates (0, Y) -lower right coordinates (W-1, Y + (L / 2))) are set.
次に、本実施形態では、特徴取得手段１５において、上述のように設定された上下の窓領域３２−２ａ，３２−２ｂを、例えば縦方向の上端から下端（例えば下端から上端、両端から中心でもよい）まで、所定間隔（例えば、約１〜１０画素）毎に縦に移動（垂直走査）させ、移動させた位置毎に上述した特徴取得手段１５により上下それぞれの窓領域における特徴（例えば、色特徴、テクスチャ特徴等）を取得する。また、特徴取得手段１５は、上窓領域３２−２ａの色特徴と下窓領域３２−２ｂの色特徴との差分ｖＣ（Ｙ）と、上窓領域３２−２ａのテクスチャ特徴と下窓領域３２−２ｂのテクスチャ特徴との差分ｖＴ（Ｙ）とを取得する。 Next, in the present embodiment, in the feature acquisition unit 15, the upper and lower window regions 32-2a and 32-2b set as described above, for example, from the upper end to the lower end in the vertical direction (for example, from the lower end to the upper end and from both ends to the center) May be moved vertically (perpendicular scanning) at predetermined intervals (for example, about 1 to 10 pixels), and the features (for example, Color features, texture features, etc.). In addition, the feature acquisition unit 15 calculates the difference v C (Y) between the color feature of the upper window region 32-2a and the color feature of the lower window region 32-2b, and the texture feature and lower window region of the upper window region 32-2a. The difference v T (Y) from the texture feature of 32-2b is acquired.
次に、境界設定手段１６は、ｖＣ（Ｙ）が極大（前後のｖＣ（Ｙ）よりも大きな値（変化量）を持つ）かつｖＣ（Ｙ）が閾値ｗ＿ＴＨ以上となるＹの値をＹＣ１，ＹＣ２，…，ＹＣＭ'として取得する。また、特徴取得手段１５は、上述の条件で取得したＹの値の数Ｍ'が２以上の場合には、そのうち一番小さいＹの値をＹＣＴとし、一番大きいＹの値をＹＣＢとする。なお、本実施形態において、Ｍ'＝０の場合には、ＹＣＴ＝０、ＹＣＢ＝Ｈ−１とする。また、Ｍ'＝１の場合には、ＹＣ１≧Ｈ／２であれば、ＹＣＴ＝ＹＣ１、ＹＣＢ＝Ｈ−１とし、ＹＣ１＜Ｈ／２であれば、ＹＣＴ＝０、ＹＣＢ＝ＹＣ１とする。 Next, the boundary setting means 16 determines the value of Y at which v C (Y) is maximal (has a larger value (variation) than v C (Y) before and after) and v C (Y) is greater than or equal to the threshold value w_TH. Are obtained as Y C1 , Y C2 ,..., Y CM ′ . In addition, when the number M ′ of Y values acquired under the above-described conditions is 2 or more, the feature acquisition unit 15 sets the smallest Y value as Y CT and sets the largest Y value as Y CB. And In the present embodiment, when M ′ = 0, Y CT = 0 and Y CB = H−1. In the case of M ′ = 1, if Y C1 ≧ H / 2, Y CT = Y C1 and Y CB = H−1, and if Y C1 <H / 2, Y CT = 0, Let Y CB = Y C1 .
また同様に、特徴取得手段１５は、移動毎に取得される特徴から、上窓領域３２−２ａのテクスチャ特徴と下窓領域３２−２ｂのテクスチャ特徴の差分ｖＴ（Ｙ）が極大（前後のｖＴ（Ｙ）よりも大きな値（変化量）を持つ）かつ閾値ｗ＿ＴＨ以上となるＹの値をＹＴ１，ＹＴ２，…，ＹＴＮ'として取得する。また、特徴取得手段１５は、上述の条件で取得したＹの値の数Ｎ'が２以上の場合には、一番小さいＹの値をＹＴＴとし、一番大きいＹの値をＹＴＢとする。なお、本実施形態において、Ｎ'＝０の場合には、ＹＴＴ＝０、ＹＴＢ＝Ｈ−１とする。また、Ｎ'＝１の場合には、ＹＴ１≧Ｈ／２であればＹＴＴ＝ＹＴ１、ＹＴＢ＝Ｈ−１とし、ＹＴ１＜Ｈ／２であれば、ＹＴＴ＝０、ＹＴＢ＝ＹＴ１とする。 Similarly, the feature acquisition unit 15 maximizes the difference v T (Y) between the texture feature of the upper window region 32-2a and the texture feature of the lower window region 32-2b from the feature acquired for each movement. Y values having a value (variation amount) larger than v T (Y) and not less than the threshold value w_TH are acquired as Y T1 , Y T2 ,..., Y TN ′ . In addition, when the number N ′ of Y values acquired under the above conditions is 2 or more, the feature acquisition unit 15 sets the smallest Y value as Y TT and the largest Y value as Y TB . To do. In this embodiment, when N ′ = 0, Y TT = 0 and Y TB = H−1. When N ′ = 1, if Y T1 ≧ H / 2, then Y TT = Y T1 and Y TB = H−1, and if Y T1 <H / 2, then Y TT = 0, Y Let TB = Y T1 .
また、上述の例では、色特徴の差分ｖＣ（Ｘ）の最大値ＭＡＸ＿ｖＣ、テクスチャ特徴の差分ｖＴ（Ｘ）の最大値ＭＡＸ＿ｖＴを用いて、全てのｖＣ（Ｘ）及びｖＴ（Ｘ）の値が０〜１の範囲となるように調整してから上述の処理を行ってもよい。 In the above example, the maximum value MAX_v C of color feature difference v C (X), using the maximum value MAX_v T of the texture feature difference v T (X), all v C (X) and v T You may perform the above-mentioned process, after adjusting so that the value of (X) may become the range of 0-1.
次に、境界設定手段１６は、上述したＹＣＴとＹＴＴとの最小値をＹＴとし、ＹＣＢとＹＴＢとの最大値をＹＢとし、直線（ＸＬ，ＹＴ）−（ＸＲ，ＹＴ）を、例えば特定領域と非特定領域との上側境界線とし、直線（ＸＲ，ＹＢ）−（ＸＲ，ＹＢ）を、例えば特定領域と非特定領域との下側境界線とする。 Next, the boundary setting unit 16 sets the minimum value of Y CT and Y TT described above as Y T , the maximum value of Y CB and Y TB as Y B , and a straight line (X L , Y T ) − (X R 1 , Y T ) is, for example, the upper boundary line between the specific area and the non-specific area, and the straight line (X R , Y B ) − (X R , Y B ) is, for example, the lower side of the specific area and the non-specific area Boundary line.
そして、特定領域抽出手段１７は、図２（ｅ）に示すように、境界設定手段１６により得られる４本の境界線（左側、右側、上側、下側）に囲まれた画像３０における矩形領域を特定領域３５として抽出する。 Then, as shown in FIG. 2 (e), the specific area extracting unit 17 is a rectangular area in the image 30 surrounded by four boundary lines (left side, right side, upper side, and lower side) obtained by the boundary setting unit 16. Are extracted as the specific area 35.
このように、本実施形態では、予め設定された２つの窓領域に対するそれぞれの画像特徴に基づいて、画像中の特定領域を効率的かつ高精度に抽出することができる。 As described above, in the present embodiment, a specific area in an image can be extracted efficiently and with high accuracy based on the respective image features for two preset window areas.
＜特定領域の他の抽出例＞
ここで、本実施形態における特定領域の他の抽出例について説明する。上述した例では、水平（左右）→垂直（上下）の順で走査して境界線を設定し、特定領域を抽出したが、垂直（上下）→水平（左右）の順で操作して境界線を設定し、特定領域を抽出してもよい。
<Other extraction examples of specific area>
Here, another extraction example of the specific area in the present embodiment will be described. In the above example, the boundary line is set by scanning in the order of horizontal (left and right) → vertical (up and down), and a specific area is extracted. However, the boundary line is operated by operating in the order of vertical (up and down) → horizontal (left and right). And a specific area may be extracted.
図３は、窓領域設定から境界設定までの他の例を説明するための図である。なお、図３（ａ）〜（ｄ）に適宜示される窓領域は、画像に対して抽出する特定領域の縦の境界と横の境界（範囲）を探索するための窓領域を示している。また、図３に示す窓領域設定から境界設定までの処理は、上述した図２に示す水平（左右）→垂直（上下）の順序を逆に行えばよいため、ここでの詳しい説明は省略する。 FIG. 3 is a diagram for explaining another example from window area setting to boundary setting. Note that the window regions shown as appropriate in FIGS. 3A to 3D are window regions for searching for a vertical boundary and a horizontal boundary (range) of a specific region to be extracted from the image. Further, the processing from the window area setting to the boundary setting shown in FIG. 3 may be performed in the reverse order of horizontal (left and right) → vertical (up and down) shown in FIG. .
窓領域設定手段１４は、図３（ａ）に示すように、画像３０上に設定した基準線３１−３に対して上窓領域３２−３ａ及び下窓領域３２−３ｂを設定する。次に、特徴取得手段１５は、窓領域を垂直方向に所定間隔（例えば、約１〜１０画素）毎に走査させながら、それぞれの窓領域における特徴（例えば、色特徴、テクスチャ特徴等）を取得する。 As shown in FIG. 3A, the window area setting unit 14 sets an upper window area 32-3a and a lower window area 32-3b with respect to the reference line 31-3 set on the image 30. Next, the feature acquisition unit 15 acquires features (for example, color features, texture features, etc.) in each window region while scanning the window region in the vertical direction at predetermined intervals (for example, about 1 to 10 pixels). To do.
また、境界設定手段１６は、特徴取得手段１５から得られる色特徴、テクスチャ特徴を用いて上述した処理を行い、図３（ｂ）に示すように、画像３０における特定領域と非特定領域との上側境界線３６と下側境界線３７とを設定する。 Further, the boundary setting unit 16 performs the above-described processing using the color feature and the texture feature obtained from the feature acquisition unit 15, and, as shown in FIG. 3B, the boundary between the specific region and the non-specific region in the image 30. An upper boundary line 36 and a lower boundary line 37 are set.
次に、図３の例では、例えば上述にて設定された上下の境界を利用して左右の境界を設定する。具体的には、窓領域設定手段１４は、図３（ｃ）に示すように、画像３０上に基準線３１−４を設定し、左窓領域３２−４ａ及び右窓領域３２−４ｂからなる窓領域を設定する。なお、上下の境界を利用することで、窓領域を小さくすることができ、データ量が削減されるため、画像処理の負荷を軽減することができる。 Next, in the example of FIG. 3, for example, the left and right boundaries are set using the upper and lower boundaries set as described above. Specifically, as shown in FIG. 3C, the window area setting unit 14 sets a reference line 31-4 on the image 30, and includes a left window area 32-4a and a right window area 32-4b. Sets the window area. By using the upper and lower boundaries, the window area can be reduced and the amount of data can be reduced, so that the load of image processing can be reduced.
なお、図３の例における左右の窓領域の設定方法は、これに限定されるものではなく、窓領域設定手段１４は、上述した上下の境界の設定内容を用いずに画像サイズを基準として左右の窓領域を設定することもできる。 Note that the setting method of the left and right window areas in the example of FIG. 3 is not limited to this, and the window area setting unit 14 does not use the above-described setting contents of the upper and lower boundaries, and sets the left and right window areas as the reference. You can also set the window area.
次に、特徴取得手段１５は、窓領域を水平方向に所定間隔（例えば、約１〜１０画素）毎に走査させながら、それぞれの窓領域における特徴（例えば、色特徴、テクスチャ特徴等）を取得する。 Next, the feature acquisition unit 15 acquires features (for example, color features, texture features, etc.) in each window region while scanning the window region in the horizontal direction at predetermined intervals (for example, about 1 to 10 pixels). To do.
また、境界設定手段１６は、特徴取得手段１５から得られる色特徴、テクスチャ特徴を用いて上述した処理を行い、画像３０における特定領域と非特定領域との上側境界線と下側境界線とを設定する。 Further, the boundary setting unit 16 performs the above-described processing using the color feature and the texture feature obtained from the feature acquisition unit 15 to obtain the upper boundary line and the lower boundary line between the specific region and the non-specific region in the image 30. Set.
そして、特定領域抽出手段１７は、図３（ｅ）に示すように、境界設定手段１６により得られる４本の境界線（上側、下側、左側、右側）に囲まれた画像３０における矩形領域を特定領域３８として抽出する。 Then, as shown in FIG. 3E, the specific area extracting unit 17 is a rectangular area in the image 30 surrounded by four boundary lines (upper, lower, left, right) obtained by the boundary setting unit 16. Are extracted as the specific region 38.
このように、図３に示す手順においても同様に特定領域を抽出することができる。 Thus, the specific region can be extracted in the same manner in the procedure shown in FIG.
なお、本実施形態では、例えば窓領域設定手段１４が、縦、横の画像サイズの大きさに応じて、水平と垂直のどちらの走査を先に行うかを選択することができる。つまり、上述したように、先の走査では、画像の両端の幅が窓領域となり、後の走査では、先の走査で求められた境界線の幅が窓領域となる。したがって、本実施形態では、縦、横の幅（サイズ）の小さい方に対する走査を先に行うのが好ましい。これにより、画像処理を行う対象となるデータ量を削減することができ、より迅速に特定領域を設定することができる。 In this embodiment, for example, the window area setting unit 14 can select whether to perform horizontal or vertical scanning first according to the size of the vertical and horizontal image sizes. That is, as described above, in the previous scan, the width of both ends of the image becomes the window region, and in the subsequent scan, the width of the boundary line obtained in the previous scan becomes the window region. Therefore, in the present embodiment, it is preferable to perform scanning with respect to the smaller vertical and horizontal widths (sizes) first. As a result, the amount of data to be subjected to image processing can be reduced, and the specific area can be set more quickly.
また、例えば画像が風景画のような場合には、水平線や地平線等、左右に直線的な画像特徴（例えば、色特徴等）の変位部分が見られるようなことが多い。したがって、そのような画像の場合には、先に上下の境界を設定してから左右の境界を設定するように処理を行うことで、より確実かつ迅速に特定領域を抽出することができる。 In addition, for example, when the image is a landscape image, there are many cases where a linear image feature (for example, a color feature) is displaced from side to side, such as a horizontal line or a horizon line. Therefore, in the case of such an image, the specific region can be extracted more reliably and quickly by performing processing so that the upper and lower boundaries are set first and then the left and right boundaries are set.
更に、本実施形態では、例えば、図２に示すように水平→垂直の順で走査した場合の特定領域３５と、図３に示すように垂直→水平の順で走査した場合の特定領域３８とを比較して最終的な特定領域を抽出してもよい。 Further, in the present embodiment, for example, a specific area 35 when scanned in the order of horizontal → vertical as shown in FIG. 2, and a specific area 38 when scanned in the order of vertical → horizontal as shown in FIG. May be extracted to extract a final specific region.
ここで、図４は、特定領域の抽出例を示す図である。図４の例では、画像３０上に水平→垂直の順で走査した場合の特定領域３５と、垂直→水平の順で走査した場合の特定領域３８とが表示されている。本実施形態において、特定領域抽出手段１７は、複数の抽出手法で得られた複数の特定領域のうち、例えば面積が最小の特定領域を最終的な特定領域とする。したがって、図４の例では、特定領域３８が最終的な特定領域として抽出される。 Here, FIG. 4 is a diagram illustrating an example of extracting a specific region. In the example of FIG. 4, a specific area 35 when scanned in the order of horizontal → vertical and a specific area 38 when scanned in the order of vertical → horizontal are displayed on the image 30. In the present embodiment, the specific area extraction unit 17 sets, for example, a specific area having the smallest area as a final specific area among a plurality of specific areas obtained by a plurality of extraction methods. Therefore, in the example of FIG. 4, the specific area 38 is extracted as the final specific area.
なお、本実施形態においては、これに限定されるものではなく、例えば、特定領域抽出手段１７は、複数の特定領域のうち、面積が最大の特定領域を最終的な特定領域として抽出してもよく、また複数の特定領域が重複する領域（いわゆるＡＮＤ領域）、何れかの特定領域を含む領域（いわゆるＯＲ領域）、又は複数の特定領域を平均した領域を最終的な特定領域として抽出してもよい。 In the present embodiment, the present invention is not limited to this. For example, the specific area extracting unit 17 may extract a specific area having the largest area as a final specific area from among a plurality of specific areas. Well, a region where a plurality of specific regions overlap (so-called AND region), a region including any specific region (so-called OR region), or a region obtained by averaging a plurality of specific regions is extracted as a final specific region. Also good.
＜特定領域を細分化した部分特定領域の抽出例＞
更に、本実施形態では、特定領域抽出手段１７において、特定領域を更に細分化して部分特定領域を抽出することもできる。
<Extraction example of partial specific area by subdividing specific area>
Furthermore, in the present embodiment, the specific area extraction unit 17 can further subdivide the specific area and extract a partial specific area.
例えば、特定領域の形状が縦長（縦の長さ＞横の長さ）の場合は、ｖＣ（Ｙ）が極大かつ閾値ｈ＿ＴＨ以上であったＹの値（ＹＣ１，ＹＣ２，…，ＹＣＭ'）の数Ｍ'と、ｖＴ（Ｙ）が極大（かつ閾値ｈ＿ＴＨ以上となるＹの値（ＹＴ１，ＹＴ２，…，ＹＴＮ）の数Ｎ'とを比較し、少ない方のＹの値の系列をＹ１，Ｙ２，…，ＹＫとする（Ｋ＝Ｍ'又はＮ'）。 For example, when the shape of the specific region is vertically long (vertical length> horizontal length), the value of Y (Y C1 , Y C2 ,..., Y) where v C (Y) is maximal and is equal to or greater than the threshold value h_TH. Compare the number M ′ of CM ′ ) with the number N ′ of Y values (Y T1 , Y T2 ,..., Y TN ) where v T (Y) is maximal (and greater than or equal to the threshold value h_TH). Let Y 1 , Y 2 ,..., Y K be a series of Y values (K = M ′ or N ′).
ここで、Ｋ＝Ｍ'の場合（つまり、ｖＣの系列が選択された場合）には、フラグ＝０、Ｋ＝Ｎ'の場合（つまり、ｖＴの系列が選択された場合）には、フラグ＝１とする。次に、特定領域抽出手段１７は、上述したＫが偶数（Ｋ＝２ｎ）の場合に、特定領域（左上頂点座標（ＸＬ，ＹＴ）、右下頂点座標（ＸＲ，ＹＢ））内にセットした以下のｎ（ｎ：１以上の整数）個の領域を、特定領域を細分化した部分特定領域として抽出する。
領域１（左上頂点座標（ＸＬ，Ｙ１）、右下頂点座標（ＸＲ，Ｙ２））
領域２（左上頂点座標（ＸＬ，Ｙ３）、右下頂点座標（ＸＲ，Ｙ４））
…
領域ｎ（左上頂点座標（ＸＬ，Ｙ２ｎ−１）、右下頂点座標（ＸＲ，Ｙ２ｎ））
また、特定領域抽出手段１７は、上述したＫが奇数（Ｋ＝２ｎ＋１）の場合であってフラグ＝０のときは、Ｙ１，Ｙ２，…，Ｙ２ｎ＋１の中からｖＣ（Ｙｉ）（ｉ＝１，…．Ｋ）の値が最も小さいＹｉを除去したＹの値の系列をＹ'１，Ｙ'２，…，Ｙ'２ｎとする。また、特定領域抽出手段１７は、上述したＫが奇数の場合であってフラグ＝１のときは、Ｙ１，Ｙ２，…，Ｙ２ｎ＋１の中から、ｖＴ（Ｙｉ）（ｉ＝１，…．Ｋ）の値が最も小さいＹｉを除去したＹの値の系列をＹ'１，Ｙ'２，…，Ｙ'２ｎとする。
Here, when K = M ′ (that is, when a sequence of v C is selected), when flag = 0 and K = N ′ (that is, when a sequence of v T is selected), , Flag = 1. Next, the specific area extracting means 17, when the above-mentioned K is an even number of (K = 2n), a specific area (upper left vertex coordinates (X L, Y T), the lower right vertex coordinates (X R, Y B)) The following n (n: integer greater than or equal to 1) regions set therein are extracted as partial specific regions obtained by subdividing the specific region.
Region 1 (upper left vertex coordinates (X L , Y 1 ), lower right vertex coordinates (X R , Y 2 ))
Region 2 (upper left vertex coordinates (X L , Y 3 ), lower right vertex coordinates (X R , Y 4 ))
...
Area n (upper left vertex coordinates (X L, Y 2n-1 ), the lower right vertex coordinates (X R, Y 2n))
In addition, the specific area extracting unit 17 may select v C (Y i ) from Y 1 , Y 2 ,..., Y 2n + 1 when K is an odd number (K = 2n + 1) and flag = 0. Let Y ′ 1 , Y ′ 2 ,..., Y ′ 2n be a series of Y values from which Y i having the smallest value (i = 1,... K) is removed. In addition, the specific area extracting unit 17 can calculate v T (Y i ) (i = 1) from Y 1 , Y 2 ,..., Y 2n + 1 when K is an odd number and flag = 1. ,... K), a Y value series from which Y i having the smallest value is removed is Y ′ 1 , Y ′ 2 ,.
次に、特定領域抽出手段１７は、特定領域（左上頂点座標（ＸＬ，ＹＴ）、右下頂点座標（ＸＲ，ＹＢ））内にセットした以下のｎ個の領域を、特定領域を細分化した部分特定領域として抽出する。
領域１（左上頂点座標（ＸＬ，Ｙ'１）、右下頂点座標（ＸＲ，Ｙ'２））
領域２（左上頂点座標（ＸＬ，Ｙ'３）、右下頂点座標（ＸＲ，Ｙ'４））
…
領域ｎ（左上頂点座標（ＸＬ，Ｙ'２ｎ−１）、右下頂点座標（ＸＲ，Ｙ'２ｎ））
また同様に、ｈＣ（Ｘ）が極大かつ閾値ｈ＿ＴＨ以上であったＸの値（ＸＣ１，ＸＣ２，…，ＸＣＭ）の数Ｍと、ｈＴ（Ｘ）が極大かつ閾値ｈ＿ＴＨ以上であったＸの値（ＸＴ１，ＸＴ２，…，ＸＴＮ）の数Ｎとを比較し、少ない方のＸの値の系列を（Ｘ１，Ｘ２，…，ＸＫ）とする（Ｋ＝Ｍ又はＮ）ここで、Ｋ＝Ｍのとき（ｈＣの系列が選択された）はフラグ＝０、Ｋ＝Ｎのとき（ｈＴの系列が選択された）はフラグ＝１とする。
Next, the specific area extraction unit 17 sets the following n areas set in the specific area (upper left vertex coordinates ( XL , Y T ), lower right vertex coordinates (X R , Y B )) to the specific area Are extracted as segmented specific areas.
Region 1 (upper left vertex coordinates (X L , Y ′ 1 ), lower right vertex coordinates (X R , Y ′ 2 ))
Region 2 (upper left vertex coordinates (X L , Y ′ 3 ), lower right vertex coordinates (X R , Y ′ 4 ))
...
Region n (upper left vertex coordinates (X L , Y ′ 2n−1 ), lower right vertex coordinates (X R , Y ′ 2n ))
Similarly, the number M of X values (X C1 , X C2 ,..., X CM ) where h C (X) is maximal and greater than or equal to the threshold value h_TH, and h T (X) is maximal and greater than or equal to the threshold value h_TH. The number X of the existing X values (X T1 , X T2 ,..., X TN ) is compared, and the smaller X value series is set to (X 1 , X 2 ,..., X K ) (K = M or N), where when K = M (h C series is selected) sequence when (h T flag = 0, K = N is selected) to flag = 1.
ここで、特定領域抽出手段１７は、Ｋが偶数の場合（Ｋ＝２ｎ）に、特定領域（左上頂点座標（ＸＬ，ＹＴ）、右下頂点座標（ＸＲ，ＹＢ））内にセットした以下のｎ個の領域を、特定領域を細分化した部分特定領域として抽出する。
領域１（左上頂点座標（Ｘ１，ＹＴ）、右下頂点座標（Ｘ２，ＹＢ））
領域２（左上頂点座標（Ｘ３，ＹＴ）、右下頂点座標（Ｘ４，ＹＢ））
…
領域ｎ（左上頂点座標（Ｘ２ｎ−１，ＹＴ）、右下頂点座標（Ｘ２ｎ，ＹＢ））
また、特定領域抽出手段１７は、上述したＫが奇数（Ｋ＝２ｎ＋１）の場合であってフラグ＝０のときは、Ｘ１，Ｘ２，…，Ｘ２ｎ＋１の中から、ｈＣ（Ｘｉ）（ｉ＝１，…．Ｋ）の値が最も小さいＸｉを除去したＸの値の系列をＸ'１，Ｘ'２，…，Ｘ'２ｎとする。また、特定領域抽出手段１７は、上述したＫが奇数の場合であってフラグ＝０のときは、Ｘ１，Ｘ２，…，Ｘ２ｎ＋１の中から、ｈＴ（Ｘｉ）（ｉ＝１，…．Ｋ）の値が最も小さいＸｉを除去したＸの値の系列をＸ'１，Ｘ'２，…，Ｘ'２ｎとする。
Here, when K is an even number (K = 2n), the specific area extraction means 17 is within the specific area (upper left vertex coordinates ( XL , Y T ), lower right vertex coordinates (X R , Y B )). The following n areas that have been set are extracted as partial specific areas obtained by subdividing the specific areas.
Region 1 (upper left vertex coordinates (X 1 , Y T ), lower right vertex coordinates (X 2 , Y B ))
Region 2 (upper left vertex coordinates (X 3 , Y T ), lower right vertex coordinates (X 4 , Y B ))
...
Region n (upper left vertex coordinates (X 2n−1 , Y T ), lower right vertex coordinates (X 2n , Y B ))
In addition, the specific area extraction unit 17 selects h C (X i) from among X 1 , X 2 ,..., X 2n + 1 when K is an odd number (K = 2n + 1) and flag = 0. ) Let X ′ 1 , X ′ 2 ,..., X ′ 2n be a series of X values from which X i having the smallest value (i = 1,... K) is removed. In addition, the specific area extracting unit 17 sets h T (X i ) (i = 1) from among X 1 , X 2 ,..., X 2n + 1 when K is an odd number and flag = 0. ,... K), and the X value series from which X i having the smallest value is removed is represented by X ′ 1 , X ′ 2 ,.
次に、特定領域抽出手段１７は、特定領域（左上頂点座標（ＸＬ，ＹＴ）、右下頂点座標（ＸＲ，ＹＢ））内にセットした以下のｎ個の領域を、特定領域を細分化した部分特定領域として抽出する。
領域１（左上頂点座標（Ｘ'１，ＹＴ）、右下頂点座標（Ｘ'２，ＹＢ））
領域２（左上頂点座標（Ｘ'３，ＹＴ）、右下頂点座標（Ｘ'４，ＹＢ））
…
領域ｎ（左上頂点座標（Ｘ'２ｎ−１，ＹＴ）、右下頂点座標（Ｘ'２ｎ，ＹＢ））
ここで、図５は、部分特定領域の抽出例を示す図である。本実施形態では、上述した処理を行うことで、特定領域に含まれる１又は複数の部分特徴領域を抽出することができる。図５の例では、２つの部分特徴領域３９−１，３９−２が抽出されている。
Next, the specific area extraction unit 17 sets the following n areas set in the specific area (upper left vertex coordinates ( XL , Y T ), lower right vertex coordinates (X R , Y B )) to the specific area Are extracted as segmented specific areas.
Region 1 (upper left vertex coordinates (X ′ 1 , Y T ), lower right vertex coordinates (X ′ 2 , Y B ))
Region 2 (upper left vertex coordinates (X ′ 3 , Y T ), lower right vertex coordinates (X ′ 4 , Y B ))
...
Region n (upper left vertex coordinates (X ′ 2n−1 , Y T ), lower right vertex coordinates (X ′ 2n , Y B ))
Here, FIG. 5 is a diagram illustrating an example of extraction of the partial specific region. In the present embodiment, one or a plurality of partial feature areas included in the specific area can be extracted by performing the above-described processing. In the example of FIG. 5, two partial feature areas 39-1 and 39-2 are extracted.
これにより、本実施形態では、より詳細に特徴領域を抽出することができる。なお、本実施形態では、上述したように複数の部分特徴領域がある場合に、少なくとも１つの特徴領域のみを画像生成手段１８により表示するようにしてもよい。その場合には、例えば中心に近い部分特定領域が抽出されるが本発明においてはこれに限定されるものではない。 Thereby, in this embodiment, a feature area can be extracted in more detail. In the present embodiment, as described above, when there are a plurality of partial feature areas, only at least one feature area may be displayed by the image generation means 18. In that case, for example, a partial specific region close to the center is extracted, but the present invention is not limited to this.
＜境界設定の他の例＞
ここで、図６は、境界設定手段における境界設定の他の例について説明するための図である。例えば、図６に示す画像４０のように、注視すべき被写体（対象物）４１が、画像の中心にない場合、左右や上下の何れかの境界が設定できない場合がある。
<Other examples of boundary setting>
Here, FIG. 6 is a diagram for explaining another example of the boundary setting in the boundary setting means. For example, when the subject (target object) 41 to be watched is not at the center of the image as in the image 40 shown in FIG.
例えば、左右何れかの境界（例えば、直線ＸＬ）のみが抽出された場合には、図６（ａ），（ｂ）に示すように、予め設定された一方の領域について上下の窓領域を設定してもよく、また画像４０において、直線ＸＬで区切られる左右の境界のうち、領域の小さい方又は大きい方の何れかを選択して上下の窓領域を設定してもよい。 For example, when only one of the left and right borders (for example, the straight line X L ) is extracted, the upper and lower window regions are set for one of the preset regions as shown in FIGS. may be set, also in the image 40, of the left and right boundaries delimited by a straight line X L, it may be set the upper and lower window area by selecting either smaller or larger the region.
図６（ａ）の例では、画像４０に対して直線ＸＬで区切られた右側領域に対して窓領域４２が設定されている。また、図６（ｂ）の例では、画像４０に対して直線ＸＬで区切られた左側領域に対して窓領域４３が設定されている。本実施形態では、何れかの窓領域を用いて上下の境界を設定してもよく、両方の窓領域について境界を設定し、設定された境界から得られたそれぞれの特定領域のうち、小さい方、又は大きい方の領域を選択してもよく、両方の領域を選択してもよい。 In the example of FIG. 6A, the window area 42 is set for the right area divided by the straight line XL with respect to the image 40. In the example of FIG. 6B, the window area 43 is set for the left area divided by the straight line XL with respect to the image 40. In this embodiment, the upper and lower boundaries may be set using any one of the window areas, and the boundary is set for both window areas, and the smaller one of the specific areas obtained from the set boundaries. Or the larger area may be selected, or both areas may be selected.
なお、本実施形態では、左右何れも閾値以下である場合には、特定領域を抽出しないか、抽出できない旨の表示を上述したが画像生成手段１８により生成し、出力手段１２に出力し、ユーザに通知することもできる。 In the present embodiment, when both the left and right sides are equal to or smaller than the threshold value, the display indicating that the specific area is not extracted or cannot be extracted is generated by the image generating unit 18 and output to the output unit 12, Can also be notified.
＜特徴取得の具体例＞
ここで、上述した特徴取得手段１５における特徴取得の具体例について説明する。本実施形態における画像特徴の例としては、例えば、色特徴やテクスチャ特徴（モノクロ特徴）等を用いることができるが、本発明においてはこれに限定されるものではない。
<Specific example of feature acquisition>
Here, a specific example of feature acquisition in the above-described feature acquisition unit 15 will be described. As an example of the image feature in the present embodiment, for example, a color feature, a texture feature (monochrome feature), or the like can be used, but the present invention is not limited to this.
上述した色特徴の例としては、例えば各ブロックにより得られるＲＧＢ平均値ベクトル（ｒ，ｇ，ｂ）や色相ヒストグラム（ｈ１，ｈ２，・・・，ｈＫ）（なお、Ｋはブロック数を示し、ｈ１〜ｈＫは各ブロックの色相を示す）等を用いることができる。 Examples of the color feature described above include, for example, an RGB average value vector (r, g, b) obtained by each block and a hue histogram (h1, h2,..., HK) (K represents the number of blocks, h1 to hK indicate the hue of each block).
また、テクスチャ特徴（モノクロ特徴）の例としては、例えば各ブロックにより得られる平均輝度値（ｍ）やエッジ量（ｅ）、エッジ方向ヒストグラム（ｄ１，ｄ２，・・・，ｄＬ）（なお、Ｌはブロック数を示し、ｄ１〜ｄＬは各ブロックのエッジ方向を示す）等を用いることができる。 Examples of texture features (monochrome features) include, for example, average luminance values (m) and edge amounts (e) obtained by each block, edge direction histograms (d1, d2,..., DL) (L Indicates the number of blocks, and d1 to dL indicate the edge direction of each block).
更に、本実施形態では、上述した例に限定されるものではなく、例えば複数の画像特徴を組み合わせることもできる。例えば、色特徴とテクスチャ特徴とを組み合せた場合には、例えばＲＧＢ平均値ベクトルとエッジ量とを組み合わせて（ｒ，ｇ，ｂ，ｅ）としたり、色相ヒストグラムとエッジ方向ヒストグラムとを組み合わせて（ｈ１，ｈ２，・・・，ｈＫ，ｄ１，ｄ２，・・・，ｄＬ）とし、得られた画像特徴に基づいて境界を設定することができる。 Furthermore, in this embodiment, it is not limited to the example mentioned above, For example, a some image feature can also be combined. For example, when the color feature and the texture feature are combined, for example, the RGB average vector and the edge amount are combined to (r, g, b, e), or the hue histogram and the edge direction histogram are combined ( h1, h2,..., hK, d1, d2,..., dL), and boundaries can be set based on the obtained image features.
＜画像生成手段１８により生成される画像例＞
次に、上述した画像生成手段１８により生成される画像例について、図を用いて説明する。図７は、本実施形態における出力画像例を示す図である。図７（ａ）〜（ｆ）に示される画像５０−１〜５０−８は、それぞれが上述した本実施形態における特定領域抽出処理により抽出された特定領域５１−１〜５１−８が表示されている。
<Example of Image Generated by Image Generation Unit 18>
Next, an example of an image generated by the above-described image generation unit 18 will be described with reference to the drawings. FIG. 7 is a diagram showing an output image example in the present embodiment. Images 50-1 to 50-8 shown in FIGS. 7A to 7F display specific areas 51-1 to 51-8 extracted by the specific area extraction processing in the present embodiment described above. ing.
なお、図７（ｇ）の例では、３つの花の画像を示している。この場合、３つの花について特定領域が設定される場合もあるが、特定領域抽出手段１７は、複数の特定領域が設定された場合に、その中から所定の条件に基づく少なくとも１つの特定領域を設定することができる。したがって、図７（ｇ）の例では、複数の特定領域のうち、中心に近い特定領域が抽出される。 In the example of FIG. 7G, three flower images are shown. In this case, specific areas may be set for three flowers, but when a plurality of specific areas are set, the specific area extracting unit 17 selects at least one specific area based on a predetermined condition from among the specific areas. Can be set. Therefore, in the example of FIG. 7G, a specific area close to the center is extracted from the plurality of specific areas.
また、図７（ｈ）の例では、画像５０−８に２本の菜の花が含まれているが、このような場合には、特定領域抽出手段１７は、例えば、両方の花が含まれるような特定領域５１−８を抽出することもできる。なお、本発明においてはこれに限定されるものではなく、特定領域抽出手段１７は、例えば、それぞれの菜の花に対する２つの部分特定領域を抽出してもよい
なお、本実施形態における画像生成手段１８により生成される画像例は、図７（ａ）〜（ｆ）に限定されるものではなく、例えば上述した図２〜６等に示すような画像も生成される。
In the example of FIG. 7 (h), the image 50-8 includes two rape blossoms. In such a case, the specific area extracting unit 17 includes, for example, both flowers. It is also possible to extract a specific area 51-8. In the present invention, the present invention is not limited to this, and the specific area extracting unit 17 may extract, for example, two partial specific areas for each rape blossom. Examples of images to be generated are not limited to FIGS. 7A to 7F, and for example, images as illustrated in FIGS. 2 to 6 and the like described above are also generated.
＜実行プログラム＞
ここで、上述した特定領域抽出装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータ（ハードウェア）によって構成することができる。
<Execution program>
Here, the above-described specific area extraction apparatus 10 includes, for example, a CPU (Central Processing Unit), a volatile storage medium such as a RAM (Random Access Memory), a nonvolatile storage medium such as a ROM (Read Only Memory), a mouse, It can be constituted by a computer (hardware) provided with an input device such as a keyboard and a pointing device, a display device for displaying images and data, and an interface device for communicating with the outside.
したがって、特定領域抽出装置１０が有する上述した各手段は、各手段が有する機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。 Therefore, each of the above-described means included in the specific area extracting apparatus 10 can be realized by causing the CPU to execute a program that describes the function of each means. These programs can also be stored and distributed in a recording medium such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, or the like.
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（特定領域抽出プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、特定領域抽出処理を実現することができる。なお、本発明における実行プログラムによる処理については、例えば上述した各処理を実現することができる。 In other words, a specific area extraction process is realized by generating an execution program (specific area extraction program) for causing a computer to execute the processing in each configuration described above and installing the program in, for example, a general-purpose personal computer or server can do. In addition, about the process by the execution program in this invention, each process mentioned above is realizable, for example.
＜特定領域抽出処理＞
次に、上述した実行プログラム（特定領域抽出プログラム）により実行される特定領域抽出処理の具体例についてフローチャートを用いて説明する。
<Specific area extraction processing>
Next, a specific example of the specific area extraction process executed by the execution program (specific area extraction program) described above will be described with reference to a flowchart.
図８は、本実施形態における特定領域抽出処理の一例を示すフローチャートである。図８において、まず、処理対象の画像を入力し（Ｓ０１）、入力された画像に対して、上述した手法により左右境界設定及び上下境界設定を行う（Ｓ０２、Ｓ０３）。なお、本実施形態におけるＳ０２及びＳ０３の処理は、上述したようにどちらを先に処理してもよい。また、左右（水平）→上下（垂直）の順及び上下（垂直）→左右（水平）の順の両方を行ってもよい。 FIG. 8 is a flowchart showing an example of the specific area extraction process in the present embodiment. In FIG. 8, first, an image to be processed is input (S01), and left and right boundary settings and upper and lower boundary settings are performed on the input image by the above-described method (S02 and S03). Note that either of the processes of S02 and S03 in the present embodiment may be performed first as described above. Further, both the order of left and right (horizontal) → up and down (vertical) and the order of up and down (vertical) → left and right (horizontal) may be performed.
次に、Ｓ０２及びＳ０３の処理により得られた左右境界及び上下境界で囲まれる特定領域を抽出し（Ｓ０４）、抽出領域をディスプレイ等の出力手段に表示する（Ｓ０５）。また、Ｓ０４の処理において、左右と上下を入れ替えて両方で境界設定を行った場合には、上述したように、得られた複数の特定領域に基づいて最終的な特定領域を抽出してもよい。 Next, a specific area surrounded by the left and right boundaries and the upper and lower boundaries obtained by the processes of S02 and S03 is extracted (S04), and the extracted area is displayed on output means such as a display (S05). Further, in the process of S04, when the boundary setting is performed by switching the left and right and the upper and lower sides, as described above, the final specific area may be extracted based on the obtained specific areas. .
ここで、対象とする全ての画像に対して特定領域抽出処理を行ったか否かを判断し（Ｓ０６）、全ての画像に対して処理を行っていない場合（Ｓ０６において、ＮＯ）、Ｓ０１に戻り、他の画像を入力して後続の処理を行う。 Here, it is determined whether or not the specific area extraction process has been performed on all the target images (S06). If all the images have not been processed (NO in S06), the process returns to S01. Then, another image is input to perform subsequent processing.
また、Ｓ０６の処理において、全ての画像に対して特定領域処理を行った場合（Ｓ０６において、ＹＥＳ）、当該処理を終了する。 In the process of S06, when the specific area process is performed on all the images (YES in S06), the process ends.
上述したように本発明によれば、画像中の特定領域を効率的かつ高精度に抽出することができる。具体的には、本発明によれば、例えば、距離画像等の入力画像以外のデータや、ユーザによる初期操作を必要とせず、例えば画像の大まかな前景領域（例えば、注視領域、顔領域、被写体等も含む）を高速に抽出可能となり、物体認識等の処理を効率化することができる。 As described above, according to the present invention, a specific area in an image can be extracted efficiently and with high accuracy. Specifically, according to the present invention, for example, data other than an input image such as a distance image or an initial operation by a user is not required, and a rough foreground region (for example, a gaze region, a face region, a subject) Etc.) can be extracted at high speed, and processing such as object recognition can be made efficient.
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。 Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment, and various modifications, within the scope of the gist of the present invention described in the claims, It can be changed.
１０ 特定領域抽出装置
１１ 入力手段
１２ 出力手段
１３ 蓄積手段
１４ 窓領域設定手段
１５ 特徴取得手段
１６ 境界設定手段
１７ 特定領域抽出手段
１８ 画像生成手段
１９ 送受信手段
２０ 制御手段
３０，４０，５０ 画像
３１ 基準線（中心線）
３２，４２，４３ 窓領域
３３ 左側境界線
３４ 右側境界線
３６ 上側境界線
３７ 下側境界線
３５，３８，５１ 特定領域
３９ 部分特徴領域
４１ 被写体
DESCRIPTION OF SYMBOLS 10 Specific area extraction apparatus 11 Input means 12 Output means 13 Storage means 14 Window area setting means 15 Feature acquisition means 16 Boundary setting means 17 Specific area extraction means 18 Image generation means 19 Transmission / reception means 20 Control means 30, 40, 50 Image 31 Reference | standard Line (center line)
32, 42, 43 Window area 33 Left boundary line 34 Right boundary line 36 Upper boundary line 37 Lower boundary line 35, 38, 51 Specific area 39 Partial feature area 41 Subject
Claims (6)
前記入力画像に所定の基準線を設定し、設定された基準線を対称軸とする２つの同一サイズの各領域をそれぞれ窓領域として設定する窓領域設定手段と、
前記基準線を動かすことで、前記窓領域を前記入力画像の水平方向及び垂直方向に対してそれぞれ所定間隔で移動させ、各移動位置における前記窓領域に含まれる色特徴及びテクスチャ特徴を画像特徴として取得する特徴取得手段と、
前記窓領域の移動に伴う前記特徴取得手段により得られる画像特徴の変化量に基づいて１又は複数の境界を設定する境界設定手段と、
前記境界設定手段により設定される境界に基づいて特定領域を抽出する特定領域抽出手段とを有し、
前記特徴取得手段は、取得した前記色特徴及び前記テクスチャ特徴のそれぞれに対して前記２つの窓領域での差分を取得すると共に、前記窓領域を前記水平方向及び前記垂直方向へ移動させたときの前記差分の変化量から、前記色特徴及び前記テクスチャ特徴における前記差分が極大で、かつ予め設定された閾値以上となるときの水平軸及び垂直軸の値を取得し、
前記境界設定手段は、前記特徴取得手段により得られる前記水平軸及び垂直軸でのそれぞれの値の最小値及び最大値を用いて前記境界を設定することを特徴とする特定領域抽出装置。 In a specific area extraction device that extracts a specific area for an input image,
Set the predetermined reference line in the input image, the window area setting means for setting predetermined reference line of each of the two regions of the same size as the axis of symmetry as each window region,
By moving the reference line, the window region is moved at predetermined intervals in the horizontal direction and the vertical direction of the input image, and color features and texture features included in the window region at each moving position are used as image features. A feature acquisition means for acquiring;
Boundary setting means for setting one or a plurality of boundaries based on the amount of change of the image feature obtained by the feature acquisition means accompanying the movement of the window region;
Possess a specific area extracting means for extracting a specific area based on the boundaries set by the demarcation means,
The feature acquisition means acquires the difference in the two window regions for each of the acquired color feature and texture feature, and moves the window region in the horizontal direction and the vertical direction. From the change amount of the difference, obtain the values of the horizontal axis and the vertical axis when the difference in the color feature and the texture feature is maximal and is equal to or greater than a preset threshold,
The specific area extracting apparatus, wherein the boundary setting unit sets the boundary using a minimum value and a maximum value of the respective values on the horizontal axis and the vertical axis obtained by the feature acquisition unit .
前記特徴取得手段により得られる前記差分に基づいて、前記画像特徴の変化量が大きい順に予め設定された数の前記窓領域を抽出し、抽出した前記窓領域から前記境界を設定することを特徴とする請求項１に記載の特定領域抽出装置。 The boundary setting means includes
Wherein based on the characteristic acquisition means the difference component obtained by said variation amount of the image feature extracts the preset said window region having been in descending order, sets the boundary from the extracted the window area The specific area extracting apparatus according to claim 1 .
前記境界設定手段により得られた前記水平方向及び前記垂直方向の何れか一方に対する境界情報を用いて、他方に移動させる前記窓領域を設定することを特徴とする請求項１又は２に記載の特定領域抽出装置。 The window area setting means includes:
3. The specification according to claim 1, wherein the window region to be moved to the other is set by using boundary information for either one of the horizontal direction and the vertical direction obtained by the boundary setting unit. Region extraction device.
複数の特定領域が抽出された場合に、前記複数の特定領域を比較して最終的な特定領域を抽出することを特徴とする請求項１乃至３の何れか１項に記載の特定領域抽出装置。 The specific area extracting means includes
When a plurality of specific regions have been extracted, a specific region extracting device according to any one of claims 1 to 3, characterized in that to extract the final specified area by comparing the plurality of specific regions .
前記特定領域を細分化して少なくとも１つの部分特定領域を抽出することを特徴とする請求項１乃至４の何れか１項に記載の特定領域抽出装置。 The specific area extracting means includes
Specific area extracting apparatus according to any one of claims 1 to 4, wherein the extracting at least one partial specific areas by subdividing the specific area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011195011A JP5745370B2 (en) | 2011-09-07 | 2011-09-07 | Specific area extraction device and specific area extraction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011195011A JP5745370B2 (en) | 2011-09-07 | 2011-09-07 | Specific area extraction device and specific area extraction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013058017A JP2013058017A (en) | 2013-03-28 |
| JP5745370B2 true JP5745370B2 (en) | 2015-07-08 |
Family
ID=48133877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011195011A Active JP5745370B2 (en) | 2011-09-07 | 2011-09-07 | Specific area extraction device and specific area extraction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5745370B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101558419B1 (en) * | 2015-06-11 | 2015-10-07 | (주)프로브디지털 | Image processing unit and contolling methods using plural cameras |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08153187A (en) * | 1994-09-27 | 1996-06-11 | Oki Electric Ind Co Ltd | Image recognizing method |
| JP3561985B2 (en) * | 1994-11-28 | 2004-09-08 | ソニー株式会社 | Image processing device |
| JPH0991429A (en) * | 1995-09-26 | 1997-04-04 | Nippon Telegr & Teleph Corp <Ntt> | Face area extraction method |
| JP3549725B2 (en) * | 1998-04-13 | 2004-08-04 | シャープ株式会社 | Image processing device |
| JP2000235640A (en) * | 1999-02-15 | 2000-08-29 | Oki Electric Ind Co Ltd | Facial organ detecting device |
| US7003161B2 (en) * | 2001-11-16 | 2006-02-21 | Mitutoyo Corporation | Systems and methods for boundary detection in images |
-
2011
- 2011-09-07 JP JP2011195011A patent/JP5745370B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013058017A (en) | 2013-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6016061B2 (en) | Image generation apparatus, image display apparatus, image generation method, and image generation program | |
| US8400473B2 (en) | Multi-operator media retargeting | |
| US20150097827A1 (en) | Target Region Fill Utilizing Transformations | |
| US8717390B2 (en) | Art-directable retargeting for streaming video | |
| US8373802B1 (en) | Art-directable retargeting for streaming video | |
| WO2013069341A1 (en) | Image processing device, method for controlling image processing device, program, and information storage medium | |
| EP2202683A1 (en) | Image generation method, device, its program and recording medium with program recorded therein | |
| TW201505420A (en) | Content-aware display adaptation methods | |
| KR20110032157A (en) | Method for producing high definition video from low definition video | |
| KR100860968B1 (en) | Image-resolution-improvement apparatus and method | |
| KR100987412B1 (en) | Multi-Frame Combined Video Object Matting System and Method Thereof | |
| JP2012194751A (en) | Image processing method, image processing system and computer program | |
| Zhang et al. | Seam warping: a new approach for image retargeting for small displays | |
| JP6904842B2 (en) | Image processing device, image processing method | |
| JP2013012045A (en) | Image processing method, image processing system, and computer program | |
| KR101028699B1 (en) | Apparatus and method for painterly rendering | |
| US9071832B2 (en) | Image processing device, image processing method, and image processing program | |
| US8405681B2 (en) | Image comparison by asymmetric dynamic warping | |
| JP2014078799A (en) | Image processing apparatus and image processing method | |
| CN109325909B (en) | Image amplification method and image amplification device | |
| Chen et al. | Image retargeting with a 3D saliency model | |
| JP5745370B2 (en) | Specific area extraction device and specific area extraction program | |
| Wu et al. | A fast hybrid retargeting scheme with seam context and content aware strip partition | |
| JP2014048896A (en) | Distance information estimating apparatus | |
| JP2018010359A (en) | Information processor, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150501 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5745370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |