WO2014045950A1 - 画像処理システム、画像処理方法、およびプログラム - Google Patents
画像処理システム、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2014045950A1 WO2014045950A1 PCT/JP2013/074448 JP2013074448W WO2014045950A1 WO 2014045950 A1 WO2014045950 A1 WO 2014045950A1 JP 2013074448 W JP2013074448 W JP 2013074448W WO 2014045950 A1 WO2014045950 A1 WO 2014045950A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- peripheral
- region
- elements
- image processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Definitions
- An object of the present invention is to provide an image processing system, an image processing method, and a program capable of extracting silhouette information of an object shape by dividing a general image such as a photograph.
- FIG. 1 is a block diagram showing a schematic configuration of an image processing system according to the first embodiment of the present invention.
- FIG. 2 is an explanatory diagram showing an example of an input image.
- FIG. 3 is an explanatory diagram showing an example of an image obtained by compressing an input image.
- FIG. 4 is an explanatory diagram showing an example of an initial nucleus (pixel) selected from the image of FIG.
- FIG. 5 is an explanatory diagram showing an example of peripheral pixel representation from the image of FIG.
- FIG. 6 is an explanatory diagram showing an example of how the set gradually expands in the image of FIG.
- FIG. 7 is a block diagram showing a configuration of an initial nucleus selection unit used in the image processing system shown in FIG.
- FIG. 8 is an explanatory diagram showing an example of the component feature.
- the inventors propose a system that performs image processing as follows.
- the processing operation of this image processing system can be shown by the following three steps.
- a pixel that is a nucleus of silhouette information of an object shape included in an image, that is, an initial nucleus is selected.
- the surrounding pixel representation is generated by comparing the color information, ie, RGB values, of each pixel and the surrounding pixel. For example, as shown in FIG.
- a pixel within 3 pixels in each of the vertical and horizontal directions with respect to a certain pixel (center pixel) is defined as a peripheral pixel, and a difference between RGB values from the center pixel (RGB value is expressed by a three-dimensional vector. (Expressed in norm).
- This peripheral pixel representation is performed for all pixels. That is, all the pixels recognize a difference from surrounding pixels as an expression.
- the third step by comparing the initial kernel and the “peripheral pixel representation” of its surrounding pixels, it is determined whether the corresponding peripheral pixel should be included in the same set as the initial kernel and included in the set If so, the same decision is made for the surrounding pixels.
- an element that is neither a “diagram” nor a “ground” of a set is represented by a matrix of 1, -1, 0 (each element of the matrix is, for example, each element of an image), and elements outside the set (peripheral elements) , Let us say that the elements that are neither the “figure” nor the “ground” in the vicinity are represented by a matrix of 1, -1, 0, respectively.
- the inter-element-set comparison unit 103-2 includes an element outside the target set in the set based on an evaluation value obtained by summing all elements of the set expression and the peripheral element expression with all elements. It can be determined whether or not it should be.
- the initial nucleus selection unit 101 selects a pixel that is a nucleus of silhouette information of an object shape included in an image, that is, an initial nucleus, by the following three steps.
- the component characterization unit 101-1 of the initial kernel selection unit 101 performs a component characterization step (S ⁇ b> 1002) for expressing each component (for example, pixel) constituting the given image as an element feature.
- the element feature comparison unit 101-2 of the initial core selection unit 101 performs an element feature comparison step (S1003) for comparing the element features of the respective constituent elements.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一般的な画像を分割することによって物体形状のシルエット情報を抽出するために、画像内に含まれる物体または形状の領域を、画像から分割する画像処理システムは、画像を構成する構成要素のうち、領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択部と、構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、周辺要素を周辺要素表現として特徴化する周辺要素表現部と、領域をなす初期核または領域の構成要素の特徴と、その周辺要素の周辺要素表現とを比較することによって、それぞれの周辺要素が初期核と同一の領域に所属するか否かを決定して、領域をなす構成要素の集合を生成し、領域を画像から分割する集合生成部と、を含む。
Description
本発明は、画像情報に含まれる一般的な物体または形状の認識や検索などを行うためのシステムに関し、特に、画像情報から物体または形状の情報を分割することによって対象を識別処理する画像処理システムに関する。
近年、デジタルカメラを始めとするデジタル映像機器の急速な普及に伴い、撮影された画像や映像のなかに、どのような物体が含まれているのかを識別する一般物体認識への期待が高まっている。
一般物体認識では、データベース内に分類されずに格納されている画像データの適切な分類や、必要な画像データの検索などが行なわれている。またさらには、動画像の中からの所望のシーンの抽出や、所望のシーンだけを切り取っての再編集など、様々な用途に応用できる可能性を、一般物体認識は有している。
物体認識に関する技術として、顔認識や指紋認識など様々な認識技術がこれまでに開発されてきたが、これらは多くの場合、特定の用途に向けられたものである。このような特定の用途に特化した認識技術は、別の用途に利用しようとすると能率よく動作しない。この問題点としては、認識率の低下や誤識別、情報処理量の増大などの問題が挙げられる。このため、一般的な物体の認識を能率よく行う技術の開発が期待されている。
情報処理装置によって一般物体を認識する方法として、物体形状のシルエットを利用する方法が提案されており、広く利用されている(例えば、特許文献1、特許文献2参照)。
これらの方法を用いて画像内に含まれる一般物体を認識するためには、画像からシルエット情報を抽出する必要がある。しかしながら、一般的な画像からシルエット情報を抽出することは容易ではない。
画像からシルエット情報を抽出する技術としては、画像内の輝度情報を空間的に微分処理することによりエッジを取り出し、エッジ情報から物体の輪郭情報を抽出することによってシルエット情報を抽出する方法が一般的である。
こうした微分処理によるエッジ抽出手法は、輝度の微分値がどの値を超えた場合に「エッジ」とし、どの値を超えない場合に「エッジ」としないかを決定する閾値を前もって与える必要がある。しかしながら、この手法で物体の輪郭をなすエッジ情報を抽出するためには、前もって、抽出すべきエッジ情報に適した閾値を知っておく必要があり、一般的な、初めて扱う画像に対して自動的にこれを行うことは困難である。
一方で、これらの課題を回避することのできる技術として、画像を構成するピクセルに帰属する情報を用いて、ピクセルをクラスタリングすることによってシルエット情報を抽出する技術もまた、提案されている(例えば、特許文献3、特許文献4参照)。
例えば、特許文献3に開示された技術は、画像にバンドパスフィルタを適用したうえで、出力値を二種類の閾値によって三値化し、画像を三種類のクラスターに分解する技術である。また、特許文献4に開示された技術は、画像内に含まれるエッジ情報からエッジ分布情報を抽出し、特異なエッジをもつピクセルをクラスタリング処理の初期核とし、初期核の近傍に位置しかつ類似度の強いピクセル(エッジ情報などピクセルに起因する情報で定義した値が閾値以内のピクセル)をクラスターに取り込んでいく技術である。これらの技術は、エッジに関する閾値を前もって与える必要はない。
しかしながら、特許文献3では三値化するための閾値を設定する必要があり、特許文献4では「類似度の強さ」を定義するための閾値を設定する必要があり、一般的な、初めて扱う画像に対して自動的にこれを行うことは、やはり困難である。
一般物体認識では、データベース内に分類されずに格納されている画像データの適切な分類や、必要な画像データの検索などが行なわれている。またさらには、動画像の中からの所望のシーンの抽出や、所望のシーンだけを切り取っての再編集など、様々な用途に応用できる可能性を、一般物体認識は有している。
物体認識に関する技術として、顔認識や指紋認識など様々な認識技術がこれまでに開発されてきたが、これらは多くの場合、特定の用途に向けられたものである。このような特定の用途に特化した認識技術は、別の用途に利用しようとすると能率よく動作しない。この問題点としては、認識率の低下や誤識別、情報処理量の増大などの問題が挙げられる。このため、一般的な物体の認識を能率よく行う技術の開発が期待されている。
情報処理装置によって一般物体を認識する方法として、物体形状のシルエットを利用する方法が提案されており、広く利用されている(例えば、特許文献1、特許文献2参照)。
これらの方法を用いて画像内に含まれる一般物体を認識するためには、画像からシルエット情報を抽出する必要がある。しかしながら、一般的な画像からシルエット情報を抽出することは容易ではない。
画像からシルエット情報を抽出する技術としては、画像内の輝度情報を空間的に微分処理することによりエッジを取り出し、エッジ情報から物体の輪郭情報を抽出することによってシルエット情報を抽出する方法が一般的である。
こうした微分処理によるエッジ抽出手法は、輝度の微分値がどの値を超えた場合に「エッジ」とし、どの値を超えない場合に「エッジ」としないかを決定する閾値を前もって与える必要がある。しかしながら、この手法で物体の輪郭をなすエッジ情報を抽出するためには、前もって、抽出すべきエッジ情報に適した閾値を知っておく必要があり、一般的な、初めて扱う画像に対して自動的にこれを行うことは困難である。
一方で、これらの課題を回避することのできる技術として、画像を構成するピクセルに帰属する情報を用いて、ピクセルをクラスタリングすることによってシルエット情報を抽出する技術もまた、提案されている(例えば、特許文献3、特許文献4参照)。
例えば、特許文献3に開示された技術は、画像にバンドパスフィルタを適用したうえで、出力値を二種類の閾値によって三値化し、画像を三種類のクラスターに分解する技術である。また、特許文献4に開示された技術は、画像内に含まれるエッジ情報からエッジ分布情報を抽出し、特異なエッジをもつピクセルをクラスタリング処理の初期核とし、初期核の近傍に位置しかつ類似度の強いピクセル(エッジ情報などピクセルに起因する情報で定義した値が閾値以内のピクセル)をクラスターに取り込んでいく技術である。これらの技術は、エッジに関する閾値を前もって与える必要はない。
しかしながら、特許文献3では三値化するための閾値を設定する必要があり、特許文献4では「類似度の強さ」を定義するための閾値を設定する必要があり、一般的な、初めて扱う画像に対して自動的にこれを行うことは、やはり困難である。
画像内に含まれる一般物体を認識するためには、物体形状をシルエットなどの形で抽出し、特定する必要がある。しかしながら、写真などの一般的な画像からシルエット情報を抽出するためには、従来手法では、画像を構成するピクセルに帰属する情報に閾値処理を施す必要があり、一般的な初めて扱う画像に対して適用可能な閾値を前もって与えることは困難であった。
本発明の目的は、写真などの一般的な画像を分割することによって物体形状のシルエット情報を抽出することを可能とする画像処理システム、画像処理方法、およびプログラムを提供することにある。
本発明の目的は、写真などの一般的な画像を分割することによって物体形状のシルエット情報を抽出することを可能とする画像処理システム、画像処理方法、およびプログラムを提供することにある。
本発明の一形態は、画像内に含まれる物体または形状の領域を、画像から分割する画像処理システムであって、画像を構成する構成要素のうち、領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手段と、構成要素のひとつひとつとそれらの周辺の周辺要素とを比較することによって、周辺要素を周辺要素表現として特徴化する周辺要素表現手段と、領域をなす初期核または領域の構成要素の特徴と、その周辺要素の周辺要素表現とを比較することによって、それぞれの周辺要素が初期核と同一の領域に所属するか否かを決定して、領域をなす構成要素の集合を生成し、領域を画像から分割する集合生成手段と、を備えることを特徴とする。
本発明によれば、写真などの一般的な画像を分割することによって物体形状のシルエット情報を抽出することを可能とする画像処理システムを提供できる。
図1は本発明の第1の実施の形態に係る画像処理システムの概略構成を示すブロック図であり、
図2は入力画像の一例を示す説明図であり、
図3は入力画像を圧縮した画像の一例を示す説明図であり、
図4は図3の画像から選択された初期核(ピクセル)の一例を示す説明図であり、
図5は図3の画像から周辺ピクセル表現の一例を示す説明図であり、
図6は図3の画像において集合が徐々に拡大されていく様子の一例を示す説明図であり、
図7は図1に示した画像処理システムに使用される、初期核選択部の構成を示すブロック図であり、
図8は構成要素特徴の一例を示す説明図であり、
図9は図1に示した画像処理システムに使用される、周辺要素表現部の構成を示すブロック図であり、
図10は図1に示した画像処理システムに使用される、集合生成部の構成を示すブロック図であり、
図11は周辺要素との差異が曖昧な要素の一例を示す説明図であり、
図12は要素追加手段によって集合に要素が追加されていく様子の一例を示す説明図であり、
図13は図1に示した画像処理システムによって生成されたシルエット情報の一例を示す説明図であり、
図14は図1に示した画像処理システムの動作の一例を示すフローチャートであり、
図15は本発明の第2の実施の形態における画像処理システムの概略構成を示すブロック図であり、
図16は図15に示した画像処理システムに使用される、入力画像制御部の構成を示すブロック図であり、
図17は図17A及び図17Bからなり、図15に示した画像処理システムの動作の一例を示すフローチャートである。
図2は入力画像の一例を示す説明図であり、
図3は入力画像を圧縮した画像の一例を示す説明図であり、
図4は図3の画像から選択された初期核(ピクセル)の一例を示す説明図であり、
図5は図3の画像から周辺ピクセル表現の一例を示す説明図であり、
図6は図3の画像において集合が徐々に拡大されていく様子の一例を示す説明図であり、
図7は図1に示した画像処理システムに使用される、初期核選択部の構成を示すブロック図であり、
図8は構成要素特徴の一例を示す説明図であり、
図9は図1に示した画像処理システムに使用される、周辺要素表現部の構成を示すブロック図であり、
図10は図1に示した画像処理システムに使用される、集合生成部の構成を示すブロック図であり、
図11は周辺要素との差異が曖昧な要素の一例を示す説明図であり、
図12は要素追加手段によって集合に要素が追加されていく様子の一例を示す説明図であり、
図13は図1に示した画像処理システムによって生成されたシルエット情報の一例を示す説明図であり、
図14は図1に示した画像処理システムの動作の一例を示すフローチャートであり、
図15は本発明の第2の実施の形態における画像処理システムの概略構成を示すブロック図であり、
図16は図15に示した画像処理システムに使用される、入力画像制御部の構成を示すブロック図であり、
図17は図17A及び図17Bからなり、図15に示した画像処理システムの動作の一例を示すフローチャートである。
[発明の概略]
これまで画像からシルエット情報を抽出する際には、二つの方法が採用されている。ひとつの方法は、画像内の輝度情報を空間的に微分処理し、微分値が閾値を超える場合をエッジとし、エッジ情報を用いて物体の輪郭を抽出する方法である。もうひとつの方法は、輝度の差分値が閾値以内のピクセルを同一物体のシルエット情報としてクラスタリングする方法である。
しかしながら、何れの手法であっても画像によって最適値が異なる閾値を前もって設定する必要があり、初めて扱う画像に対して自動的にこれを行うことは困難である。すなわち、初めて扱う画像に対してシルエット情報を抽出する手法は、これまで考案されていない。
こうした課題に対して、発明者らは以下のように画像処理を行なうシステムを提案する。
本画像処理システムの処理動作は、次に述べる3のステップで示すことができる。
第一のステップでは、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。例えば、ピクセルによって構成される図3のような画像が画像処理システムに与えられた際に、図4のようにひとつ(または複数)のピクセルを「初期核」として選択する。
第二のステップでは、それぞれのピクセルと周辺ピクセルとの、色情報すなわちRGB値を比較することで、周辺ピクセル表現を生成する。例えば、図5のようにあるピクセル(中心ピクセル)に対して縦横それぞれ3ピクセル以内のピクセルを周辺ピクセルと定義し、中心ピクセルとのRGB値の差(RGB値を三次元ベクトルで表現し、そのノルムで表現)を値で表現する。この周辺ピクセル表現は、すべてのピクセルについて行う。すなわち、すべてのピクセルが、周辺のピクセルとの差を表現として認識する。
第三のステップでは、初期核とその周辺ピクセルの「周辺ピクセル表現」とを比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定し、集合に含まれるのであれば、その周辺ピクセルについて同一の意思決定を実施する。例えば、初期核との差が小さいピクセルを、集合内に取り込んでいき、物体形状のシルエットをなす集合を形成していく。このようにして集合が徐々に拡大されていく様子の例を図6に示す。
以下、図1乃至図17A及び図17Bを参照して、それぞれのステップ行なう本発明の画像処理システムを、実施の形態を用いて説明する。
本実施の形態を採用することにより、画像から物体形状のシルエット情報を抽出することを可能にする画像処理を行なう情報処理システムを提供できる。
[第1の実施の形態]
[構成の説明]
図1は、本発明の第1の実施形態に係る画像認識システムの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
図示の画像処理システムは、情報処理の全体を管理する制御部10と、処理対象とする画像データを取得する画像情報取得部20と、取得した画像データなどを記憶する画像情報記憶部30と、画像処理を完了した物体のシルエットを画像内要素(ピクセル)の集合として記憶する集合情報記憶部40と、処理結果出力部50とを含み構成されている。また、図示の画像処理システムは、初期核選択部101、周辺要素表現部102、および集合生成部103を含み構成されている。
制御部10は、画像処理に関連する情報処理の全体動作を管理する。
画像情報取得部20は、動画や写真などユーザが指定した画像データを本システムに取り込み、画像情報記憶部30に記憶する。取り込み方法は、ユーザが指定した画像情報をそのまま取得してもよいし、演算量を省略するために、モザイク処理による圧縮などの前処理を施したうえで取得してもよい。
画像情報取得部20によって取得される画像情報の例(赤い色のりんごの例)を、図2および図3に例示する。図2は取り込んだ画像そのものの例を示す。図3はモザイク処理によって圧縮を施した図の例を示す。なお、動画像などから、任意の間隔などで自動的に収集して画像情報を取り込むようにすることも可能である。
画像情報記憶部30は、取得した画像データや処理して得た結果、必要に応じて中間データ(初期核情報や周辺要素表現など)を記憶する。画像情報記憶部30は、メモリで構成してもよいし、ハードディスクドライブ(HDD)で構成してもよく、記憶部であればよい。
集合情報記憶部40は、画像処理を完了した物体のシルエットを、画像内要素(ピクセル)の集合として記憶する。すなわち、集合情報記憶部40には、集合情報が記憶されている。なお、集合情報記憶部40として、外部データベースを参照することとしてもよい。
処理結果出力部50は、システムで得られた画像処理結果を出力する。例えば、処理結果出力部50は、集合情報記憶部40に記録されている処理結果の対象の物体や形状をモニターなどに出力する。なお、出力形態は、どのような情報を出力してもよい。
初期核選択部101は、図4に示すように、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。初期核選択部101は、具体的には3つの構成要素からなる。
すなわち、初期核選択部101は、図7に示されるように、与えられた画像を構成するひとつひとつの構成要素(例えばピクセル)を要素特徴として表現する構成要素特徴化部101−1と、それぞれの構成要素の要素特徴同士を比較する要素特徴比較部101−2と、要素特徴の比較結果から最適な要素を上記初期核として選択する最適要素選択部101−3とから成る。
構成要素特徴化部101−1は、如何なる要素の特徴化であっても構わないが、画像においては色情報を用いることが望ましい。例えば、構成要素特徴化部101−1は、要素特徴として色情報を表すRGB値を用いる。
この時、注視したい物体の色情報が前もって決まっているのであれば、構成要素特徴化部101−1は、要素特徴として、その色情報(RGB値をベクトルで表現したもの)と、要素の色情報との差分(ベクトルのノルム)を用いることも可能である。また、目立つ要素を初期核としたいのであれば、構成要素特徴化部101−1は、要素特徴として、対象とする要素の周辺要素との差分、例えば、色情報の差分(RGB値をベクトルで表現したもののノルム)を用いることも可能である。さらに、なるべく大きな領域から順に注視したいのであれば、構成要素特徴化部101−1は、周辺の要素(または画像全体の要素)の中から、色情報の差分が、前もって定められた閾値以内のもの、すなわち集合要素候補の数を数え、その数を、要素の特徴として表現することも可能である。また、色情報の差分は、必ずしもRGB値のベクトル表現のノルムである必要はなく、例えば、RGBそれぞれの差分のうち、最大のものを利用しても構わない。
このようにして表現した要素特徴の例を、図8に示す。図8は、図5と同等の方法で、それぞれのピクセルに対して、周辺ピクセルとの差異を計算したうえで、それらの周辺ピクセルとの差異のなかから最大の値を選択し、可視化したものである。つまり、周辺ピクセルとの差異が大きいものがより大きな値で示される。この例と同等の方法を用いると、より周辺との差異が大きな目立つピクセルを選択することが可能である。
要素特徴比較部101−2は、構成要素特徴化部101−1によって特徴化されたそれぞれの要素を比較する。
最適要素選択部101−3は、要素特徴比較部101−2によって比較されたものの中から最適なものを選択する。例えば、最適要素選択部101−3は、注視したい物体の色情報が前もって決まっている場合であれば、その色情報と最も近い特徴を持つ要素を選択する。最適要素選択部101−3は、目立つ要素を初期核としたい場合は、周辺との差分特徴の値が最大となる要素を選択する。最適要素選択部101−3は、なるべく大きな領域から順に注視したい場合は、集合要素候補の数が最大となる要素を選択する。この最適要素選択部101−3は、初期核となるのに最適な要素を選択することを可能にする手段であれば、これ以外の手法を採用することも可能である。
図8の例では、最適要素選択部101−3は、図8のうちで最も値が大きなものを選択することによって、より周辺との差異が大きな目立つピクセルを選択することが可能である。
周辺要素表現部102は、それぞれのピクセルとその周辺ピクセルとの、色情報すなわちRGB値を比較することで、周辺ピクセル表現を生成する。周辺要素表現手段102は、具体的には2つの構成要素からなる。
すなわち、図9に示されるように、周辺要素表現部102は、与えられた画像を構成するひとつひとつの構成要素(例えばピクセル)に対し、その周辺要素となるべき要素を特定する周辺要素領域特定部102−1と、対象とする要素とその周辺要素とを比較することでそれぞれの周辺要素を特徴化する周辺要素特徴化部102−2とから成る。
周辺要素領域特定部102−1は、画像を構成するひとつひとつの要素に対し、その周辺要素となるべき要素を特定する。この操作は、初期核を開始点として集合を形成していく際、初期核を含む集合内の核要素が、周囲の要素を集合内に取り込んでいく際に集合の要素の候補となる要素をサーチする範囲を特定する目的で行う。すなわち、集合に新たに取り込みたい要素の範囲が広ければ広く、狭ければ狭く取ることが可能であり、対象とする要素に隣接する要素であってもよいし、また、画像全体であってもよい。周辺要素となる範囲は狭いほうが、一回当たりの集合を決定する演算時間(すなわち集合生成部において行われる手段)を短縮できる。一方、範囲が広いほうが、同等の特徴をもつ要素を、より高い精度で集合に含めることができる。
図5の例では、周辺要素特定部102−1は、あるピクセルから縦横3ピクセル以内に含まれるものを周辺要素領域として特定している。
周辺要素特徴化部102−2は、周辺要素領域特定部102−1によって定めた領域の周辺要素を、対象とする要素と比較することによって特徴化する。例えば、周辺要素特徴化部102−2は、色情報の差分を、RGB値のベクトル表現のノルムで表現することによってこれを行う。また、周辺要素特徴化部102−2は、この色情報の差分値を、閾値を超えるかどうかによって二値化して評価してもよく、二種類の閾値を用いて三値化してもよい。二値化或いは三値化を行うことにより、ある要素を中心とした集合(ここでは「図」と記述する)と、そうでない集合(ここでは「地」と記述する)を表現することが可能である(三値化により、どちらでもない領域となる中間領域を設定することが可能である)。この閾値は、色情報の差分情報の画像全体の分布情報によって正規化することが可能であり、ある特定の画像を対象としない手法に一般化することが可能である。この手法によって、あるピクセルを中心として周辺ピクセルを特徴化(色情報の差分による表現)した例が図5に示されている。
集合生成部103は、初期核とその周辺ピクセルの「周辺ピクセル表現」とを比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定する。該当する周辺ピクセルが、初期核と同一の集合に含まれるのであれば、集合生成部103は、その周辺ピクセルについて同一の意思決定を実施する。集合生成部103は、具体的には3つの構成要素からなる。
すなわち、集合生成部103は、図10に示されるように、初期核を開始点として生成された集合の特徴を表現する集合表現生成部103−1と、対象とする集合の集合表現と対象とする集合に含まれない外部要素の周辺要素表現とを比較する要素集合間比較部103−2と、要素集合間比較手段の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加部103−3とから成る。
集合表現生成部103−1は、初期核を開始点として生成された集合の特徴を表現する。集合の特徴は、初期核および要素追加部103−3によって集合の要素として追加されたすべての要素によって表現することも可能である。例えば、集合表現を、初期核のRGB値や、集合に含まれる要素のRGB値の平均値とすることで、集合に含まれる要素に近い色情報をもつ要素を、集合に含めることが可能である。しかしながら、このように単純に集合に含まれる要素のみを用いるのではなく、集合のそれぞれの要素が「地」とする要素を表現に加えることも可能である。すなわち、集合内に含まれる要素を「図」として、それらとの色情報が離れている要素を「地」とした場合、集合の「図」と「地」によって集合を表現することが可能となる。
この手法を用い、「地」の情報を参照することで、例えば、図11に白枠で示されているような、周辺要素(ピクセル)との差異が曖昧な要素を、集合に追加するかどうかの判断を行う場合に、どこまで追加し続けるべきかが明確になり、延々と周辺の要素を追加して、ついには画像全体を要素としてしまう処理を避けることができる。したがって、「図」と「地」の両方の情報を用いて表現することが、より望ましい。集合表現生成手段として採用されうる手段はこの限りではなく、集合を表現することが可能な手段であれば如何なる手段であってもよい。
要素集合間比較部103−2は、対象とする集合の集合表現と、対象とする集合に含まれない外部要素の周辺要素表現とを比較する。例えば、集合の「図」と「地」とどちらでもない要素をそれぞれ1,−1,0のマトリクス(マトリクスの各要素は例えば画像の各要素)で表現し、集合外部の要素(周辺要素)について、その周辺の「図」と「地」とどちらでもない要素をそれぞれ1,−1,0のマトリクスで表現するとする。この場合、要素集合間比較部103−2は、この集合表現と周辺要素表現の各要素の積算をすべての要素で和算した評価値によって、対象としている集合外部の要素が、集合に含まれるべきか否かを判断することができる。
すなわち、要素集合間比較部103−2は、評価値が正でかつ絶対値の大きなものであれば、その要素は集合に含まれるべきものであり、負でかつ絶対値の大きなものであれば、その要素は集合に含まれるべきではないものと判断することができる。さらに、要素集合間比較部103−2は、集合の値が1となる場合の評価値と、−1となる場合の評価値を別々に評価しておくことで、より精度の高い評価を行うことが可能となる。
要素集合間比較部103−2は、必ずしもここで示した構成要素である必要はなく、集合外部の要素が集合に含まれるかどうかを判断することが可能であればどのような方法を用いることも可能である。
要素追加部103−3は、要素集合間比較部103−2の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う。例えば、要素追加部103−3は、前記したマトリクス要素の積算を和算した評価値が、規定された値、例えば0を超えた場合に要素追加を行う。この追加要素処理は、外部要素だけでなく、集合内の要素に対しても行うことが望ましい。要素追加処理は、外部要素が新たに集合に追加される毎に行うのが望ましいが、演算時間の増大を防ぐために、幾つかの外部要素の追加をまとめて行ったあとでこれを行うことも可能である。
要素追加部103−3は、追加すべき要素がなくなる状態に収束するまで実施するのが望ましいが、演算時間の増大を防ぐために、演算回数の上限などの条件を設けることも可能である。この追加処理が徐々に行われていく様子を図12に示し、追加が完了した際の集合の様子を図13に示す。
[動作の説明]
次に、第1の実施の形態の動作例について説明する。図14は、本第1の実施の形態に係る画像処理システムの動作の例を示すフローチャートである。
まず、画像情報取得部20は、ユーザが指定する対象画像データを取得して画像情報記憶部30に記録する(S1001)。画像情報の取得は、ユーザが指定したものに限らず、システムが自動的に、半自動的に取得してもよい。
次に、初期核選択部101は、以下の3つのステップによって、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。まず、初期核選択部101の構成要素特徴化部101−1は、与えられた画像を構成するひとつひとつの構成要素(例えばピクセル)を要素特徴として表現する構成要素特徴化ステップ(S1002)を実施する。次に、初期核選択部101の要素特徴比較部101−2は、それぞれの構成要素の要素特徴を比較する要素特徴比較ステップ(S1003)を実施する。最後に、初期核選択部101の最適要素選択部101−3は、要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択ステップ(S1004)を実施する。
次に、周辺要素表現部102は、以下の2つのステップによって、それぞれのピクセルが、周辺ピクセルと、色情報すなわちRGB値を比較することで、周辺ピクセル表現を生成する。まず、周辺要素表現部102の周辺要素領域特定部102−1は、与えられた画像を構成するひとつひとつの構成要素(例えばピクセル)に対し、その周辺要素となるべき要素を特定する、周辺要素領域特定ステップ(S1005)を実施する。次に、周辺要素表現部102の周辺要素特徴化部102−2は、対象とする要素とその周辺要素を比較することでそれぞれの周辺要素を特徴化する、周辺要素特徴化ステップ(S1006)を実施する。
次に、集合生成部103は、以下の3つのステップによって、初期核とその周辺ピクセルの「周辺ピクセル表現」を比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定し、集合に含まれるのであれば、その周辺ピクセルについて同一の意思決定を実施する。まず、集合生成部103の集合表現生成部103−1は、初期核を開始点として生成された集合の特徴を表現する、集合表現生成ステップ(S1007)を実施する。次に、集合生成部103の要素集合間比較部103−2は、対象とする集合の集合表現と、対象とする集合に含まれない外部要素の周辺要素表現とを比較する、要素集合間比較ステップ(S1008)を実施する。次に、集合生成部103の要素追加部103−3は、要素集合間比較部103−2の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加ステップ(S1009)を実施する。要素追加ステップは、要素追加手段が定めた終了条件を満たすまで実施し続ける。
最後に、処理結果出力部50は、処理した結果生成された集合を、物体形状のシルエットをなす領域情報として出力する(S1010)。
このように画像処理システムを動作させることによって、画像から物体形状のシルエット情報を抽出することを可能にする画像処理処理を行なうことが期待できる。
尚、画像処理システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、RAMに画像処理プログラムが展開され、該プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記実施の形態を別の表現で説明すれば、画像処理システムとして動作させる情報処理装置を、RAMに展開された画像処理プログラムに基づき、初期核選択部101、周辺要素表現部102、集合生成部103として制御部10を動作させることで実現することが可能である。
以上説明したように、本発明の第1の実施の形態によれば、画像から物体形状のシルエット情報を抽出することを可能にする画像処理を提供できる。
また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
[第2の実施の形態]
本発明を実施するための第2の実施の形態について、図面を参照して詳細に説明する。
[構成の説明]
図15は、本発明の第2の実施の形態に係る画像処理システムの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
本第2の実施の形態は、第1の実施の形態において取得された画像サイズが非常に大きく、計算量が膨大になる場合を想定している。こうした場合、第1の実施の形態は、取得された画像を細分化し、細分化された画像内で一旦シルエットの部分情報を生成した後、細分化されたすべての画像内で生成されたシルエット情報を要素として、再び第1の実施の形態で施された手法を実施することにより、全体のシルエット情報を計算する手法を採用する。
このために、第2の実施の形態は、入力画像制御部201を新たに設ける点が、第1の実施の形態とは異なる。このほか、いくつかの要素は第1の実施の形態とは異なる機能を有す。
入力画像制御部201は、取得された画像を細分化するとともに、細分化された画像(細分化画像)内で一旦シルエットの部分情報を生成するために、システムの入力画像として、それぞれの細分化画像内を与える制御を行うとともに、すべての細分化画像の入力が完了した後、それぞれの細分化画像内で構成されたシルエット情報を構成要素とする画像情報を入力として与える。入力画像制御は、具体的には3つの構成要素からなる。
すなわち、入力画像制御部201は、図16に示されるように、システムが取得した画像(原画像)を、グリッド分割を始めとする何らかの方法で前もって細分化する画像細分化部201−1と、細分化画像のそれぞれを、システムへの入力画像として与える細分化画像入力部201−2と、それぞれの細分化画像内で構成された領域を構成要素とした画像を、システムへの入力として与える統合画像入力部201−3とから成る。
画像細分化部201−1は、細分化画像の縦横のサイズを前もって与える方式で細分化してもよいし、細分化画像数を前もって与えて、それに適した画像サイズによって細分化してもよい。その他、画像細分化部201−は、画像の細分化を目的とする構成要素であれば、如何なる構成要素であっても構わない。
細分化画像入力部201−2は、画像細分化部201−1によって細分化された画像をひとつひとつ入力する。
統合画像入力部201−3は、それぞれの細分化画像内で構成された領域を構成要素とした画像を構成したうえで、システムへの入力を行う。
[動作の説明]
次に、第2の実施の形態の動作例について説明する。図17は、本第2の実施の形態に係る画像処理システムの動作の例を示すフローチャートである。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
入力画像制御部201は、以下の3つのステップによって、取得された画像を細分化するとともに、細分化された画像(細分化画像)内で一旦シルエットの部分情報を生成するために、システムの入力画像として、それぞれの細分化画像内を与える制御を行うとともに、すべての細分化画像の入力が完了した後、それぞれの細分化画像内で構成されたシルエット情報を構成要素とする画像情報を入力として与える。
まず、入力画像制御部201の画像細分化部201−1は、システムが取得した画像(原画像)を、グリッド分割を始めとする何らかの方法で前もって細分化する、画像細分化ステップ(S2001)を実施する。次に、入力画像制御部201の細分化画像入力部201−2は、細分化画像のそれぞれを、システムへの入力画像として与える細分化画像入力ステップ(S2002)を実施する。最後に、入力画像制御部201の統合画像入力部201−3は、それぞれの細分化画像内で構成された領域を構成要素とした画像を、システムへの入力として与える統合画像入力ステップ(S2003)を実施する。
なお、上述の各実施の形態において、実施の形態の処理は、プログラム、ソフトウェア、又はコンピュータによって実行されることが可能な命令でコード化された、コンピュータ読み取り可能な記憶媒体に格納された情報を、コンピュータにインストールすることによって実行されてもよい。記憶媒体には、光ディスク、フロッピー(登録商標)ディスク、ハードディスク等の可搬型の記録媒体が含まれることはもとより、ネットワークのようにデータを一時的に記録保持するような伝送媒体も含まれる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1) 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理システムであって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手段と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手段と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手段と、
を備えることを特徴とする画像処理システム。
(付記2) 前記初期核選択手段は、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化手段と、
前記要素特徴同士を比較する要素特徴比較手段と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択手段と、
を備えること特徴とする付記1に記載の画像処理システム。
(付記3) 前記構成要素特徴化手段は、該当する要素と前記画像を構成する前記構成要素のすべてに関して、i)定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ii)差分が前もって定められた数値以内となる要素の数、およびiii)前もって定められた特徴と前記該当する要素特徴との差分、のいずれか1つによって特徴化を行うことを特徴とする付記2に記載の画像処理システム。
(付記4) 前記周辺要素表現手段は、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定手段と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化手段と、
を備えることを特徴とする付記1から3の何れかに記載の画像処理システム。
(付記5) 前記周辺要素特徴化手段は、該当する要素と前記周辺要素領域特定手段によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行うことを特徴とする付記4に記載の画像処理システム。
(付記6) 前記周辺要素特徴化手段において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記5に記載の画像処理システム。
(付記7) 前記集合生成手段は、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成手段と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較手段と、
前記要素集合間比較手段の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加手段と、
を備えることを特徴とする付記4から6の何れかに記載の画像処理システム。
(付記8) 前記集合表現生成手段は、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現することを特徴とする付記7に記載の画像処理システム。
(付記9) 前記要素集合間比較手段は、
前記集合表現生成手段及び前記周辺要素特徴化手段によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行うことを特徴とする付記7又は8に記載の画像処理システム。
(付記10) 前記画像処理システムは、
前記画像を前もって細分化する画像細分化手段と、
細分化された画像のそれぞれを、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力画像として与える細分化画像入力手段と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力として与える統合画像入力手段と、
を備えること特徴とする付記1から9の何れかに記載の画像処理システム。
(付記11) 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理方法であって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択工程と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現工程と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成工程と、
を含むことを特徴とする画像処理方法。
(付記12) 前記初期核選択工程は、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化工程と、
前記要素特徴同士を比較する要素特徴比較工程と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択工程と、
から成ること特徴とする付記11に記載の画像処理方法。
(付記13) 前記構成要素特徴化工程は、該当する要素と前記画像を構成する前記構成要素のすべてに関して、i)定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ii)差分が前もって定められた数値以内となる要素の数、およびiii)前もって定められた特徴と前記該当する要素特徴との差分、のいずれか1つによって特徴化を行うことを特徴とする付記12に記載の画像処理方法。
(付記14) 前記周辺要素表現工程は、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定工程と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化工程と、
から成ることを特徴とする付記11から13の何れかに記載の画像処理方法。
(付記15) 前記周辺要素特徴化工程は、該当する要素と前記周辺要素領域特定工程によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行うことを特徴とする付記14に記載の画像処理方法。
(付記16) 前記周辺要素特徴化工程において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記15に記載の画像処理方法。
(付記17) 前記集合生成工程は、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成工程と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較工程と、
前記要素集合間比較工程の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加工程と、
から成ることを特徴とする請求項14から16の何れかに記載の画像処理方法。
(付記18) 前記集合表現生成工程は、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現することを特徴とする付記17に記載の画像処理方法。
(付記19) 前記要素集合間比較工程は、
前記集合表現生成工程及び前記周辺要素特徴化工程によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行うことを特徴とする付記17又は18に記載の画像処理方法。
(付記20) 前記画像処理方法は、
前記画像を前もって細分化する画像細分化工程と、
細分化された画像のそれぞれを、前記初期核選択工程、前記周辺要素表現工程、および前記集合生成工程のそれぞれの入力画像として与える細分化画像入力工程と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択工程、前記周辺要素表現工程、および前記集合生成工程のそれぞれの入力として与える統合画像入力工程と、
を更に含むこと特徴とする付記11から19の何れかに記載の画像処理方法。
(付記21) コンピュータに、画像内に含まれる物体または形状の領域を、前記画像から分割させる画像処理プログラムであって、前記コンピュータに、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手順と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手順と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手順と、
を実行させる画像処理プログラム。
(付記22) 前記初期核選択手順は、前記コンピュータに、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化手順と、
前記要素特徴同士を比較する要素特徴比較手順と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択手順と、
を実行させる付記21に記載の画像処理プログラム。
(付記23) 前記構成要素特徴化手順は、前記コンピュータに、該当する要素と前記画像を構成する前記構成要素のすべてに関して、i)定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ii)差分が前もって定められた数値以内となる要素の数、およびiii)前もって定められた特徴と前記該当する要素特徴との差分、のいずれか1つによって特徴化を行わせることを特徴とする付記22に記載の画像処理プログラム。
(付記24) 前記周辺要素表現手順は、前記コンピュータに、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定手順と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化手順と、
を実行させる付記21から23の何れかに記載の画像処理プログラム。
(付記25) 前記周辺要素特徴化手順は、前記コンピュータに、該当する要素と前記周辺要素領域特定手順によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行わせることを特徴とする付記24に記載の画像処理プログラム。
(付記26) 前記周辺要素特徴化手順において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記25に記載の画像処理プログラム。
(付記27) 前記集合生成手順は、前記コンピュータに、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成手順と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較手順と、
前記要素集合間比較手順の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加手順と、
を実行させる付記24から26の何れかに記載の画像処理プログラム。
(付記28) 前記集合表現生成手順は、前記コンピュータに、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現させることを特徴とする付記27に記載の画像処理プログラム。
(付記29) 前記要素集合間比較手順は、前記コンピュータに、
前記集合表現生成手順及び前記周辺要素特徴化手順によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行わせることを特徴とする付記27又は28に記載の画像処理プログラム。
(付記30) 前記画像処理プログラムは、前記コンピュータに、
前記画像を前もって細分化する画像細分化手順と、
細分化された画像のそれぞれを、前記初期核選択手順、前記周辺要素表現手順、および前記集合生成手順のそれぞれの入力画像として与える細分化画像入力手順と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択手順、前記周辺要素表現手順、および前記集合生成手順のそれぞれの入力として与える統合画像入力手順と、
を更に実行させる付記21から29の何れかに記載の画像処理プログラム。
これまで画像からシルエット情報を抽出する際には、二つの方法が採用されている。ひとつの方法は、画像内の輝度情報を空間的に微分処理し、微分値が閾値を超える場合をエッジとし、エッジ情報を用いて物体の輪郭を抽出する方法である。もうひとつの方法は、輝度の差分値が閾値以内のピクセルを同一物体のシルエット情報としてクラスタリングする方法である。
しかしながら、何れの手法であっても画像によって最適値が異なる閾値を前もって設定する必要があり、初めて扱う画像に対して自動的にこれを行うことは困難である。すなわち、初めて扱う画像に対してシルエット情報を抽出する手法は、これまで考案されていない。
こうした課題に対して、発明者らは以下のように画像処理を行なうシステムを提案する。
本画像処理システムの処理動作は、次に述べる3のステップで示すことができる。
第一のステップでは、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。例えば、ピクセルによって構成される図3のような画像が画像処理システムに与えられた際に、図4のようにひとつ(または複数)のピクセルを「初期核」として選択する。
第二のステップでは、それぞれのピクセルと周辺ピクセルとの、色情報すなわちRGB値を比較することで、周辺ピクセル表現を生成する。例えば、図5のようにあるピクセル(中心ピクセル)に対して縦横それぞれ3ピクセル以内のピクセルを周辺ピクセルと定義し、中心ピクセルとのRGB値の差(RGB値を三次元ベクトルで表現し、そのノルムで表現)を値で表現する。この周辺ピクセル表現は、すべてのピクセルについて行う。すなわち、すべてのピクセルが、周辺のピクセルとの差を表現として認識する。
第三のステップでは、初期核とその周辺ピクセルの「周辺ピクセル表現」とを比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定し、集合に含まれるのであれば、その周辺ピクセルについて同一の意思決定を実施する。例えば、初期核との差が小さいピクセルを、集合内に取り込んでいき、物体形状のシルエットをなす集合を形成していく。このようにして集合が徐々に拡大されていく様子の例を図6に示す。
以下、図1乃至図17A及び図17Bを参照して、それぞれのステップ行なう本発明の画像処理システムを、実施の形態を用いて説明する。
本実施の形態を採用することにより、画像から物体形状のシルエット情報を抽出することを可能にする画像処理を行なう情報処理システムを提供できる。
[第1の実施の形態]
[構成の説明]
図1は、本発明の第1の実施形態に係る画像認識システムの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
図示の画像処理システムは、情報処理の全体を管理する制御部10と、処理対象とする画像データを取得する画像情報取得部20と、取得した画像データなどを記憶する画像情報記憶部30と、画像処理を完了した物体のシルエットを画像内要素(ピクセル)の集合として記憶する集合情報記憶部40と、処理結果出力部50とを含み構成されている。また、図示の画像処理システムは、初期核選択部101、周辺要素表現部102、および集合生成部103を含み構成されている。
制御部10は、画像処理に関連する情報処理の全体動作を管理する。
画像情報取得部20は、動画や写真などユーザが指定した画像データを本システムに取り込み、画像情報記憶部30に記憶する。取り込み方法は、ユーザが指定した画像情報をそのまま取得してもよいし、演算量を省略するために、モザイク処理による圧縮などの前処理を施したうえで取得してもよい。
画像情報取得部20によって取得される画像情報の例(赤い色のりんごの例)を、図2および図3に例示する。図2は取り込んだ画像そのものの例を示す。図3はモザイク処理によって圧縮を施した図の例を示す。なお、動画像などから、任意の間隔などで自動的に収集して画像情報を取り込むようにすることも可能である。
画像情報記憶部30は、取得した画像データや処理して得た結果、必要に応じて中間データ(初期核情報や周辺要素表現など)を記憶する。画像情報記憶部30は、メモリで構成してもよいし、ハードディスクドライブ(HDD)で構成してもよく、記憶部であればよい。
集合情報記憶部40は、画像処理を完了した物体のシルエットを、画像内要素(ピクセル)の集合として記憶する。すなわち、集合情報記憶部40には、集合情報が記憶されている。なお、集合情報記憶部40として、外部データベースを参照することとしてもよい。
処理結果出力部50は、システムで得られた画像処理結果を出力する。例えば、処理結果出力部50は、集合情報記憶部40に記録されている処理結果の対象の物体や形状をモニターなどに出力する。なお、出力形態は、どのような情報を出力してもよい。
初期核選択部101は、図4に示すように、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。初期核選択部101は、具体的には3つの構成要素からなる。
すなわち、初期核選択部101は、図7に示されるように、与えられた画像を構成するひとつひとつの構成要素(例えばピクセル)を要素特徴として表現する構成要素特徴化部101−1と、それぞれの構成要素の要素特徴同士を比較する要素特徴比較部101−2と、要素特徴の比較結果から最適な要素を上記初期核として選択する最適要素選択部101−3とから成る。
構成要素特徴化部101−1は、如何なる要素の特徴化であっても構わないが、画像においては色情報を用いることが望ましい。例えば、構成要素特徴化部101−1は、要素特徴として色情報を表すRGB値を用いる。
この時、注視したい物体の色情報が前もって決まっているのであれば、構成要素特徴化部101−1は、要素特徴として、その色情報(RGB値をベクトルで表現したもの)と、要素の色情報との差分(ベクトルのノルム)を用いることも可能である。また、目立つ要素を初期核としたいのであれば、構成要素特徴化部101−1は、要素特徴として、対象とする要素の周辺要素との差分、例えば、色情報の差分(RGB値をベクトルで表現したもののノルム)を用いることも可能である。さらに、なるべく大きな領域から順に注視したいのであれば、構成要素特徴化部101−1は、周辺の要素(または画像全体の要素)の中から、色情報の差分が、前もって定められた閾値以内のもの、すなわち集合要素候補の数を数え、その数を、要素の特徴として表現することも可能である。また、色情報の差分は、必ずしもRGB値のベクトル表現のノルムである必要はなく、例えば、RGBそれぞれの差分のうち、最大のものを利用しても構わない。
このようにして表現した要素特徴の例を、図8に示す。図8は、図5と同等の方法で、それぞれのピクセルに対して、周辺ピクセルとの差異を計算したうえで、それらの周辺ピクセルとの差異のなかから最大の値を選択し、可視化したものである。つまり、周辺ピクセルとの差異が大きいものがより大きな値で示される。この例と同等の方法を用いると、より周辺との差異が大きな目立つピクセルを選択することが可能である。
要素特徴比較部101−2は、構成要素特徴化部101−1によって特徴化されたそれぞれの要素を比較する。
最適要素選択部101−3は、要素特徴比較部101−2によって比較されたものの中から最適なものを選択する。例えば、最適要素選択部101−3は、注視したい物体の色情報が前もって決まっている場合であれば、その色情報と最も近い特徴を持つ要素を選択する。最適要素選択部101−3は、目立つ要素を初期核としたい場合は、周辺との差分特徴の値が最大となる要素を選択する。最適要素選択部101−3は、なるべく大きな領域から順に注視したい場合は、集合要素候補の数が最大となる要素を選択する。この最適要素選択部101−3は、初期核となるのに最適な要素を選択することを可能にする手段であれば、これ以外の手法を採用することも可能である。
図8の例では、最適要素選択部101−3は、図8のうちで最も値が大きなものを選択することによって、より周辺との差異が大きな目立つピクセルを選択することが可能である。
周辺要素表現部102は、それぞれのピクセルとその周辺ピクセルとの、色情報すなわちRGB値を比較することで、周辺ピクセル表現を生成する。周辺要素表現手段102は、具体的には2つの構成要素からなる。
すなわち、図9に示されるように、周辺要素表現部102は、与えられた画像を構成するひとつひとつの構成要素(例えばピクセル)に対し、その周辺要素となるべき要素を特定する周辺要素領域特定部102−1と、対象とする要素とその周辺要素とを比較することでそれぞれの周辺要素を特徴化する周辺要素特徴化部102−2とから成る。
周辺要素領域特定部102−1は、画像を構成するひとつひとつの要素に対し、その周辺要素となるべき要素を特定する。この操作は、初期核を開始点として集合を形成していく際、初期核を含む集合内の核要素が、周囲の要素を集合内に取り込んでいく際に集合の要素の候補となる要素をサーチする範囲を特定する目的で行う。すなわち、集合に新たに取り込みたい要素の範囲が広ければ広く、狭ければ狭く取ることが可能であり、対象とする要素に隣接する要素であってもよいし、また、画像全体であってもよい。周辺要素となる範囲は狭いほうが、一回当たりの集合を決定する演算時間(すなわち集合生成部において行われる手段)を短縮できる。一方、範囲が広いほうが、同等の特徴をもつ要素を、より高い精度で集合に含めることができる。
図5の例では、周辺要素特定部102−1は、あるピクセルから縦横3ピクセル以内に含まれるものを周辺要素領域として特定している。
周辺要素特徴化部102−2は、周辺要素領域特定部102−1によって定めた領域の周辺要素を、対象とする要素と比較することによって特徴化する。例えば、周辺要素特徴化部102−2は、色情報の差分を、RGB値のベクトル表現のノルムで表現することによってこれを行う。また、周辺要素特徴化部102−2は、この色情報の差分値を、閾値を超えるかどうかによって二値化して評価してもよく、二種類の閾値を用いて三値化してもよい。二値化或いは三値化を行うことにより、ある要素を中心とした集合(ここでは「図」と記述する)と、そうでない集合(ここでは「地」と記述する)を表現することが可能である(三値化により、どちらでもない領域となる中間領域を設定することが可能である)。この閾値は、色情報の差分情報の画像全体の分布情報によって正規化することが可能であり、ある特定の画像を対象としない手法に一般化することが可能である。この手法によって、あるピクセルを中心として周辺ピクセルを特徴化(色情報の差分による表現)した例が図5に示されている。
集合生成部103は、初期核とその周辺ピクセルの「周辺ピクセル表現」とを比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定する。該当する周辺ピクセルが、初期核と同一の集合に含まれるのであれば、集合生成部103は、その周辺ピクセルについて同一の意思決定を実施する。集合生成部103は、具体的には3つの構成要素からなる。
すなわち、集合生成部103は、図10に示されるように、初期核を開始点として生成された集合の特徴を表現する集合表現生成部103−1と、対象とする集合の集合表現と対象とする集合に含まれない外部要素の周辺要素表現とを比較する要素集合間比較部103−2と、要素集合間比較手段の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加部103−3とから成る。
集合表現生成部103−1は、初期核を開始点として生成された集合の特徴を表現する。集合の特徴は、初期核および要素追加部103−3によって集合の要素として追加されたすべての要素によって表現することも可能である。例えば、集合表現を、初期核のRGB値や、集合に含まれる要素のRGB値の平均値とすることで、集合に含まれる要素に近い色情報をもつ要素を、集合に含めることが可能である。しかしながら、このように単純に集合に含まれる要素のみを用いるのではなく、集合のそれぞれの要素が「地」とする要素を表現に加えることも可能である。すなわち、集合内に含まれる要素を「図」として、それらとの色情報が離れている要素を「地」とした場合、集合の「図」と「地」によって集合を表現することが可能となる。
この手法を用い、「地」の情報を参照することで、例えば、図11に白枠で示されているような、周辺要素(ピクセル)との差異が曖昧な要素を、集合に追加するかどうかの判断を行う場合に、どこまで追加し続けるべきかが明確になり、延々と周辺の要素を追加して、ついには画像全体を要素としてしまう処理を避けることができる。したがって、「図」と「地」の両方の情報を用いて表現することが、より望ましい。集合表現生成手段として採用されうる手段はこの限りではなく、集合を表現することが可能な手段であれば如何なる手段であってもよい。
要素集合間比較部103−2は、対象とする集合の集合表現と、対象とする集合に含まれない外部要素の周辺要素表現とを比較する。例えば、集合の「図」と「地」とどちらでもない要素をそれぞれ1,−1,0のマトリクス(マトリクスの各要素は例えば画像の各要素)で表現し、集合外部の要素(周辺要素)について、その周辺の「図」と「地」とどちらでもない要素をそれぞれ1,−1,0のマトリクスで表現するとする。この場合、要素集合間比較部103−2は、この集合表現と周辺要素表現の各要素の積算をすべての要素で和算した評価値によって、対象としている集合外部の要素が、集合に含まれるべきか否かを判断することができる。
すなわち、要素集合間比較部103−2は、評価値が正でかつ絶対値の大きなものであれば、その要素は集合に含まれるべきものであり、負でかつ絶対値の大きなものであれば、その要素は集合に含まれるべきではないものと判断することができる。さらに、要素集合間比較部103−2は、集合の値が1となる場合の評価値と、−1となる場合の評価値を別々に評価しておくことで、より精度の高い評価を行うことが可能となる。
要素集合間比較部103−2は、必ずしもここで示した構成要素である必要はなく、集合外部の要素が集合に含まれるかどうかを判断することが可能であればどのような方法を用いることも可能である。
要素追加部103−3は、要素集合間比較部103−2の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う。例えば、要素追加部103−3は、前記したマトリクス要素の積算を和算した評価値が、規定された値、例えば0を超えた場合に要素追加を行う。この追加要素処理は、外部要素だけでなく、集合内の要素に対しても行うことが望ましい。要素追加処理は、外部要素が新たに集合に追加される毎に行うのが望ましいが、演算時間の増大を防ぐために、幾つかの外部要素の追加をまとめて行ったあとでこれを行うことも可能である。
要素追加部103−3は、追加すべき要素がなくなる状態に収束するまで実施するのが望ましいが、演算時間の増大を防ぐために、演算回数の上限などの条件を設けることも可能である。この追加処理が徐々に行われていく様子を図12に示し、追加が完了した際の集合の様子を図13に示す。
[動作の説明]
次に、第1の実施の形態の動作例について説明する。図14は、本第1の実施の形態に係る画像処理システムの動作の例を示すフローチャートである。
まず、画像情報取得部20は、ユーザが指定する対象画像データを取得して画像情報記憶部30に記録する(S1001)。画像情報の取得は、ユーザが指定したものに限らず、システムが自動的に、半自動的に取得してもよい。
次に、初期核選択部101は、以下の3つのステップによって、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。まず、初期核選択部101の構成要素特徴化部101−1は、与えられた画像を構成するひとつひとつの構成要素(例えばピクセル)を要素特徴として表現する構成要素特徴化ステップ(S1002)を実施する。次に、初期核選択部101の要素特徴比較部101−2は、それぞれの構成要素の要素特徴を比較する要素特徴比較ステップ(S1003)を実施する。最後に、初期核選択部101の最適要素選択部101−3は、要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択ステップ(S1004)を実施する。
次に、周辺要素表現部102は、以下の2つのステップによって、それぞれのピクセルが、周辺ピクセルと、色情報すなわちRGB値を比較することで、周辺ピクセル表現を生成する。まず、周辺要素表現部102の周辺要素領域特定部102−1は、与えられた画像を構成するひとつひとつの構成要素(例えばピクセル)に対し、その周辺要素となるべき要素を特定する、周辺要素領域特定ステップ(S1005)を実施する。次に、周辺要素表現部102の周辺要素特徴化部102−2は、対象とする要素とその周辺要素を比較することでそれぞれの周辺要素を特徴化する、周辺要素特徴化ステップ(S1006)を実施する。
次に、集合生成部103は、以下の3つのステップによって、初期核とその周辺ピクセルの「周辺ピクセル表現」を比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定し、集合に含まれるのであれば、その周辺ピクセルについて同一の意思決定を実施する。まず、集合生成部103の集合表現生成部103−1は、初期核を開始点として生成された集合の特徴を表現する、集合表現生成ステップ(S1007)を実施する。次に、集合生成部103の要素集合間比較部103−2は、対象とする集合の集合表現と、対象とする集合に含まれない外部要素の周辺要素表現とを比較する、要素集合間比較ステップ(S1008)を実施する。次に、集合生成部103の要素追加部103−3は、要素集合間比較部103−2の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加ステップ(S1009)を実施する。要素追加ステップは、要素追加手段が定めた終了条件を満たすまで実施し続ける。
最後に、処理結果出力部50は、処理した結果生成された集合を、物体形状のシルエットをなす領域情報として出力する(S1010)。
このように画像処理システムを動作させることによって、画像から物体形状のシルエット情報を抽出することを可能にする画像処理処理を行なうことが期待できる。
尚、画像処理システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、RAMに画像処理プログラムが展開され、該プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記実施の形態を別の表現で説明すれば、画像処理システムとして動作させる情報処理装置を、RAMに展開された画像処理プログラムに基づき、初期核選択部101、周辺要素表現部102、集合生成部103として制御部10を動作させることで実現することが可能である。
以上説明したように、本発明の第1の実施の形態によれば、画像から物体形状のシルエット情報を抽出することを可能にする画像処理を提供できる。
また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
[第2の実施の形態]
本発明を実施するための第2の実施の形態について、図面を参照して詳細に説明する。
[構成の説明]
図15は、本発明の第2の実施の形態に係る画像処理システムの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
本第2の実施の形態は、第1の実施の形態において取得された画像サイズが非常に大きく、計算量が膨大になる場合を想定している。こうした場合、第1の実施の形態は、取得された画像を細分化し、細分化された画像内で一旦シルエットの部分情報を生成した後、細分化されたすべての画像内で生成されたシルエット情報を要素として、再び第1の実施の形態で施された手法を実施することにより、全体のシルエット情報を計算する手法を採用する。
このために、第2の実施の形態は、入力画像制御部201を新たに設ける点が、第1の実施の形態とは異なる。このほか、いくつかの要素は第1の実施の形態とは異なる機能を有す。
入力画像制御部201は、取得された画像を細分化するとともに、細分化された画像(細分化画像)内で一旦シルエットの部分情報を生成するために、システムの入力画像として、それぞれの細分化画像内を与える制御を行うとともに、すべての細分化画像の入力が完了した後、それぞれの細分化画像内で構成されたシルエット情報を構成要素とする画像情報を入力として与える。入力画像制御は、具体的には3つの構成要素からなる。
すなわち、入力画像制御部201は、図16に示されるように、システムが取得した画像(原画像)を、グリッド分割を始めとする何らかの方法で前もって細分化する画像細分化部201−1と、細分化画像のそれぞれを、システムへの入力画像として与える細分化画像入力部201−2と、それぞれの細分化画像内で構成された領域を構成要素とした画像を、システムへの入力として与える統合画像入力部201−3とから成る。
画像細分化部201−1は、細分化画像の縦横のサイズを前もって与える方式で細分化してもよいし、細分化画像数を前もって与えて、それに適した画像サイズによって細分化してもよい。その他、画像細分化部201−は、画像の細分化を目的とする構成要素であれば、如何なる構成要素であっても構わない。
細分化画像入力部201−2は、画像細分化部201−1によって細分化された画像をひとつひとつ入力する。
統合画像入力部201−3は、それぞれの細分化画像内で構成された領域を構成要素とした画像を構成したうえで、システムへの入力を行う。
[動作の説明]
次に、第2の実施の形態の動作例について説明する。図17は、本第2の実施の形態に係る画像処理システムの動作の例を示すフローチャートである。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
入力画像制御部201は、以下の3つのステップによって、取得された画像を細分化するとともに、細分化された画像(細分化画像)内で一旦シルエットの部分情報を生成するために、システムの入力画像として、それぞれの細分化画像内を与える制御を行うとともに、すべての細分化画像の入力が完了した後、それぞれの細分化画像内で構成されたシルエット情報を構成要素とする画像情報を入力として与える。
まず、入力画像制御部201の画像細分化部201−1は、システムが取得した画像(原画像)を、グリッド分割を始めとする何らかの方法で前もって細分化する、画像細分化ステップ(S2001)を実施する。次に、入力画像制御部201の細分化画像入力部201−2は、細分化画像のそれぞれを、システムへの入力画像として与える細分化画像入力ステップ(S2002)を実施する。最後に、入力画像制御部201の統合画像入力部201−3は、それぞれの細分化画像内で構成された領域を構成要素とした画像を、システムへの入力として与える統合画像入力ステップ(S2003)を実施する。
なお、上述の各実施の形態において、実施の形態の処理は、プログラム、ソフトウェア、又はコンピュータによって実行されることが可能な命令でコード化された、コンピュータ読み取り可能な記憶媒体に格納された情報を、コンピュータにインストールすることによって実行されてもよい。記憶媒体には、光ディスク、フロッピー(登録商標)ディスク、ハードディスク等の可搬型の記録媒体が含まれることはもとより、ネットワークのようにデータを一時的に記録保持するような伝送媒体も含まれる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1) 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理システムであって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手段と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手段と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手段と、
を備えることを特徴とする画像処理システム。
(付記2) 前記初期核選択手段は、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化手段と、
前記要素特徴同士を比較する要素特徴比較手段と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択手段と、
を備えること特徴とする付記1に記載の画像処理システム。
(付記3) 前記構成要素特徴化手段は、該当する要素と前記画像を構成する前記構成要素のすべてに関して、i)定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ii)差分が前もって定められた数値以内となる要素の数、およびiii)前もって定められた特徴と前記該当する要素特徴との差分、のいずれか1つによって特徴化を行うことを特徴とする付記2に記載の画像処理システム。
(付記4) 前記周辺要素表現手段は、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定手段と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化手段と、
を備えることを特徴とする付記1から3の何れかに記載の画像処理システム。
(付記5) 前記周辺要素特徴化手段は、該当する要素と前記周辺要素領域特定手段によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行うことを特徴とする付記4に記載の画像処理システム。
(付記6) 前記周辺要素特徴化手段において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記5に記載の画像処理システム。
(付記7) 前記集合生成手段は、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成手段と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較手段と、
前記要素集合間比較手段の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加手段と、
を備えることを特徴とする付記4から6の何れかに記載の画像処理システム。
(付記8) 前記集合表現生成手段は、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現することを特徴とする付記7に記載の画像処理システム。
(付記9) 前記要素集合間比較手段は、
前記集合表現生成手段及び前記周辺要素特徴化手段によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行うことを特徴とする付記7又は8に記載の画像処理システム。
(付記10) 前記画像処理システムは、
前記画像を前もって細分化する画像細分化手段と、
細分化された画像のそれぞれを、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力画像として与える細分化画像入力手段と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力として与える統合画像入力手段と、
を備えること特徴とする付記1から9の何れかに記載の画像処理システム。
(付記11) 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理方法であって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択工程と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現工程と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成工程と、
を含むことを特徴とする画像処理方法。
(付記12) 前記初期核選択工程は、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化工程と、
前記要素特徴同士を比較する要素特徴比較工程と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択工程と、
から成ること特徴とする付記11に記載の画像処理方法。
(付記13) 前記構成要素特徴化工程は、該当する要素と前記画像を構成する前記構成要素のすべてに関して、i)定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ii)差分が前もって定められた数値以内となる要素の数、およびiii)前もって定められた特徴と前記該当する要素特徴との差分、のいずれか1つによって特徴化を行うことを特徴とする付記12に記載の画像処理方法。
(付記14) 前記周辺要素表現工程は、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定工程と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化工程と、
から成ることを特徴とする付記11から13の何れかに記載の画像処理方法。
(付記15) 前記周辺要素特徴化工程は、該当する要素と前記周辺要素領域特定工程によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行うことを特徴とする付記14に記載の画像処理方法。
(付記16) 前記周辺要素特徴化工程において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記15に記載の画像処理方法。
(付記17) 前記集合生成工程は、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成工程と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較工程と、
前記要素集合間比較工程の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加工程と、
から成ることを特徴とする請求項14から16の何れかに記載の画像処理方法。
(付記18) 前記集合表現生成工程は、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現することを特徴とする付記17に記載の画像処理方法。
(付記19) 前記要素集合間比較工程は、
前記集合表現生成工程及び前記周辺要素特徴化工程によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行うことを特徴とする付記17又は18に記載の画像処理方法。
(付記20) 前記画像処理方法は、
前記画像を前もって細分化する画像細分化工程と、
細分化された画像のそれぞれを、前記初期核選択工程、前記周辺要素表現工程、および前記集合生成工程のそれぞれの入力画像として与える細分化画像入力工程と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択工程、前記周辺要素表現工程、および前記集合生成工程のそれぞれの入力として与える統合画像入力工程と、
を更に含むこと特徴とする付記11から19の何れかに記載の画像処理方法。
(付記21) コンピュータに、画像内に含まれる物体または形状の領域を、前記画像から分割させる画像処理プログラムであって、前記コンピュータに、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手順と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手順と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手順と、
を実行させる画像処理プログラム。
(付記22) 前記初期核選択手順は、前記コンピュータに、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化手順と、
前記要素特徴同士を比較する要素特徴比較手順と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択手順と、
を実行させる付記21に記載の画像処理プログラム。
(付記23) 前記構成要素特徴化手順は、前記コンピュータに、該当する要素と前記画像を構成する前記構成要素のすべてに関して、i)定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ii)差分が前もって定められた数値以内となる要素の数、およびiii)前もって定められた特徴と前記該当する要素特徴との差分、のいずれか1つによって特徴化を行わせることを特徴とする付記22に記載の画像処理プログラム。
(付記24) 前記周辺要素表現手順は、前記コンピュータに、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定手順と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化手順と、
を実行させる付記21から23の何れかに記載の画像処理プログラム。
(付記25) 前記周辺要素特徴化手順は、前記コンピュータに、該当する要素と前記周辺要素領域特定手順によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行わせることを特徴とする付記24に記載の画像処理プログラム。
(付記26) 前記周辺要素特徴化手順において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記25に記載の画像処理プログラム。
(付記27) 前記集合生成手順は、前記コンピュータに、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成手順と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較手順と、
前記要素集合間比較手順の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加手順と、
を実行させる付記24から26の何れかに記載の画像処理プログラム。
(付記28) 前記集合表現生成手順は、前記コンピュータに、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現させることを特徴とする付記27に記載の画像処理プログラム。
(付記29) 前記要素集合間比較手順は、前記コンピュータに、
前記集合表現生成手順及び前記周辺要素特徴化手順によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行わせることを特徴とする付記27又は28に記載の画像処理プログラム。
(付記30) 前記画像処理プログラムは、前記コンピュータに、
前記画像を前もって細分化する画像細分化手順と、
細分化された画像のそれぞれを、前記初期核選択手順、前記周辺要素表現手順、および前記集合生成手順のそれぞれの入力画像として与える細分化画像入力手順と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択手順、前記周辺要素表現手順、および前記集合生成手順のそれぞれの入力として与える統合画像入力手順と、
を更に実行させる付記21から29の何れかに記載の画像処理プログラム。
本発明によれば、画像から物体形状のシルエット情報を抽出することを可能にする画像処理処理を実施し、物体形状の位置と形状を特定することができるので、画像の検索や、画像の分類といった用途に適用可能である。
10 制御部
20 画像情報取得部
30 画像情報記憶部
40 集合情報記憶部
50 処理結果出力部
101 初期核選択部
101−1 構成要素特徴化部
101−2 要素特徴比較部
101−3 最適要素選択部
102 周辺要素表現部
102−1 周辺要素領域特定部
102−2 周辺要素特徴化部
103 集合生成部
103−1 集合表現生成部
103−2 要素集合間比較部
103−3 要素追加部
201 入力画像制御部
201−1 画像細分化部
201−2 細分化画像入力部
201−3 統合画像入力部
この出願は、2012年9月20日に出願された、日本特許出願第2012−206877号を基礎とする優先権を主張し、その開示を全てここに取り込む。
20 画像情報取得部
30 画像情報記憶部
40 集合情報記憶部
50 処理結果出力部
101 初期核選択部
101−1 構成要素特徴化部
101−2 要素特徴比較部
101−3 最適要素選択部
102 周辺要素表現部
102−1 周辺要素領域特定部
102−2 周辺要素特徴化部
103 集合生成部
103−1 集合表現生成部
103−2 要素集合間比較部
103−3 要素追加部
201 入力画像制御部
201−1 画像細分化部
201−2 細分化画像入力部
201−3 統合画像入力部
この出願は、2012年9月20日に出願された、日本特許出願第2012−206877号を基礎とする優先権を主張し、その開示を全てここに取り込む。
Claims (10)
- 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理システムであって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手段と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手段と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手段と、
を備えることを特徴とする画像処理システム。 - 前記初期核選択手段は、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化手段と、
前記要素特徴同士を比較する要素特徴比較手段と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択手段と、
を備えること特徴とする請求項1に記載の画像処理システム。 - 前記構成要素特徴化手段は、該当する要素と前記画像を構成する前記構成要素のすべてに関して、
i)定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、
ii)差分が前もって定められた数値以内となる要素の数、および
iii)前もって定められた特徴と前記該当する要素特徴との差分、
のいずれか1つによって特徴化を行うことを特徴とする請求項2に記載の画像処理システム。 - 前記周辺要素表現手段は、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定手段と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化手段と、
を備えることを特徴とする請求項1から3の何れかに記載の画像処理システム。 - 前記周辺要素特徴化手段は、該当する要素と前記周辺要素領域特定手段によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行うことを特徴とする請求項4に記載の画像処理システム。
- 前記周辺要素特徴化手段において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする請求項5に記載の画像処理システム。 - 前記集合生成手段は、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成手段と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較手段と、
前記要素集合間比較手段の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加手段と、
を備えることを特徴とする請求項4から6の何れかに記載の画像処理システム。 - 前記画像処理システムは、
前記画像を前もって細分化する画像細分化手段と、
細分化された画像のそれぞれを、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力画像として与える細分化画像入力手段と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力として与える統合画像入力手段と、
を備えること特徴とする請求項1から7の何れかに記載の画像処理システム。 - 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理方法であって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択工程と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現工程と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成工程と、
を含むことを特徴とする画像処理方法。 - コンピュータに、画像内に含まれる物体または形状の領域を、前記画像から分割させる画像処理プログラムであって、前記コンピュータに、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手順と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手順と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手順と、
を実行させる画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014536771A JPWO2014045950A1 (ja) | 2012-09-20 | 2013-09-04 | 画像処理システム、画像処理方法、およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-206877 | 2012-09-20 | ||
JP2012206877 | 2012-09-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014045950A1 true WO2014045950A1 (ja) | 2014-03-27 |
Family
ID=50341264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/074448 WO2014045950A1 (ja) | 2012-09-20 | 2013-09-04 | 画像処理システム、画像処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2014045950A1 (ja) |
WO (1) | WO2014045950A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981750A (ja) * | 1995-09-18 | 1997-03-28 | Iseki & Co Ltd | 除草ロボットの雑草認識装置 |
JP2001043376A (ja) * | 1999-07-30 | 2001-02-16 | Canon Inc | 画像抽出方法及び装置並びに記憶媒体 |
JP2001266142A (ja) * | 2000-01-13 | 2001-09-28 | Nikon Corp | データ分類方法及びデータ分類装置、信号処理方法及び信号処理装置、位置検出方法及び位置検出装置、画像処理方法及び画像処理装置、露光方法及び露光装置、並びにデバイス製造方法 |
-
2013
- 2013-09-04 WO PCT/JP2013/074448 patent/WO2014045950A1/ja active Application Filing
- 2013-09-04 JP JP2014536771A patent/JPWO2014045950A1/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981750A (ja) * | 1995-09-18 | 1997-03-28 | Iseki & Co Ltd | 除草ロボットの雑草認識装置 |
JP2001043376A (ja) * | 1999-07-30 | 2001-02-16 | Canon Inc | 画像抽出方法及び装置並びに記憶媒体 |
JP2001266142A (ja) * | 2000-01-13 | 2001-09-28 | Nikon Corp | データ分類方法及びデータ分類装置、信号処理方法及び信号処理装置、位置検出方法及び位置検出装置、画像処理方法及び画像処理装置、露光方法及び露光装置、並びにデバイス製造方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2014045950A1 (ja) | 2016-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7317919B2 (ja) | 外観検索のシステムおよび方法 | |
CN109151501B (zh) | 一种视频关键帧提取方法、装置、终端设备及存储介质 | |
CN105989594B (zh) | 一种图像区域检测方法及装置 | |
AU2015274708B2 (en) | Rule-based video importance analysis | |
CN110088805B (zh) | 用于检测和分割多个前景对象的方法 | |
JP4725690B2 (ja) | 映像識別子抽出装置 | |
US20230196837A1 (en) | Action recognition method and apparatus, and device and storage medium | |
US9020195B2 (en) | Object tracking device, object tracking method, and control program | |
CN104508682B (zh) | 使用群组稀疏性分析来识别关键帧 | |
CN108647641B (zh) | 基于双路模型融合的视频行为分割方法和装置 | |
US9626585B2 (en) | Composition modeling for photo retrieval through geometric image segmentation | |
EP3044947A1 (en) | Automated selection of keeper images from a burst photo captured set | |
Varnousfaderani et al. | Weighted color and texture sample selection for image matting | |
JP5500024B2 (ja) | 画像認識方法及び装置並びにプログラム | |
JP5914046B2 (ja) | 画像処理装置および画像処理方法 | |
JP5965764B2 (ja) | 映像領域分割装置及び映像領域分割プログラム | |
KR101323369B1 (ko) | 영상 프레임 군집화 장치 및 방법 | |
JP2005352718A (ja) | 代表画像選択装置,代表画像選択方法および代表画像選択プログラム | |
CN116721288A (zh) | 一种基于YOLOv5的安全帽检测方法及*** | |
Katsenou et al. | Understanding video texture—A basis for video compression | |
WO2014045950A1 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
JP6068895B2 (ja) | 画像処理装置およびプログラム | |
Ye et al. | Unsupervised Monocular depth estimation based on dual attention mechanism and depth-aware loss | |
Majumder et al. | Two-in-One Refinement for Interactive Segmentation. | |
Kalaivani et al. | Automatic color image segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13839744 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2014536771 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13839744 Country of ref document: EP Kind code of ref document: A1 |