JPWO2014045950A1 - 画像処理システム、画像処理方法、およびプログラム - Google Patents
画像処理システム、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JPWO2014045950A1 JPWO2014045950A1 JP2014536771A JP2014536771A JPWO2014045950A1 JP WO2014045950 A1 JPWO2014045950 A1 JP WO2014045950A1 JP 2014536771 A JP2014536771 A JP 2014536771A JP 2014536771 A JP2014536771 A JP 2014536771A JP WO2014045950 A1 JPWO2014045950 A1 JP WO2014045950A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- peripheral
- region
- peripheral element
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一般的な画像を分割することによって物体形状のシルエット情報を抽出するために、画像内に含まれる物体または形状の領域を、画像から分割する画像処理システムは、画像を構成する構成要素のうち、領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択部と、構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、周辺要素を周辺要素表現として特徴化する周辺要素表現部と、領域をなす初期核または領域の構成要素の特徴と、その周辺要素の周辺要素表現とを比較することによって、それぞれの周辺要素が初期核と同一の領域に所属するか否かを決定して、領域をなす構成要素の集合を生成し、領域を画像から分割する集合生成部と、を含む。
Description
本発明は、画像情報に含まれる一般的な物体または形状の認識や検索などを行うためのシステムに関し、特に、画像情報から物体または形状の情報を分割することによって対象を識別処理する画像処理システムに関する。
近年、デジタルカメラを始めとするデジタル映像機器の急速な普及に伴い、撮影された画像や映像のなかに、どのような物体が含まれているのかを識別する一般物体認識への期待が高まっている。
一般物体認識では、データベース内に分類されずに格納されている画像データの適切な分類や、必要な画像データの検索などが行なわれている。またさらには、動画像の中からの所望のシーンの抽出や、所望のシーンだけを切り取っての再編集など、様々な用途に応用できる可能性を、一般物体認識は有している。
物体認識に関する技術として、顔認識や指紋認識など様々な認識技術がこれまでに開発されてきたが、これらは多くの場合、特定の用途に向けられたものである。このような特定の用途に特化した認識技術は、別の用途に利用しようとすると能率よく動作しない。この問題点としては、認識率の低下や誤識別、情報処理量の増大などの問題が挙げられる。このため、一般的な物体の認識を能率よく行う技術の開発が期待されている。
情報処理装置によって一般物体を認識する方法として、物体形状のシルエットを利用する方法が提案されており、広く利用されている（例えば、特許文献１、特許文献２参照）。
これらの方法を用いて画像内に含まれる一般物体を認識するためには、画像からシルエット情報を抽出する必要がある。しかしながら、一般的な画像からシルエット情報を抽出することは容易ではない。
画像からシルエット情報を抽出する技術としては、画像内の輝度情報を空間的に微分処理することによりエッジを取り出し、エッジ情報から物体の輪郭情報を抽出することによってシルエット情報を抽出する方法が一般的である。
こうした微分処理によるエッジ抽出手法は、輝度の微分値がどの値を超えた場合に「エッジ」とし、どの値を超えない場合に「エッジ」としないかを決定する閾値を前もって与える必要がある。しかしながら、この手法で物体の輪郭をなすエッジ情報を抽出するためには、前もって、抽出すべきエッジ情報に適した閾値を知っておく必要があり、一般的な、初めて扱う画像に対して自動的にこれを行うことは困難である。
一方で、これらの課題を回避することのできる技術として、画像を構成するピクセルに帰属する情報を用いて、ピクセルをクラスタリングすることによってシルエット情報を抽出する技術もまた、提案されている（例えば、特許文献３、特許文献４参照）。
例えば、特許文献３に開示された技術は、画像にバンドパスフィルタを適用したうえで、出力値を二種類の閾値によって三値化し、画像を三種類のクラスターに分解する技術である。また、特許文献４に開示された技術は、画像内に含まれるエッジ情報からエッジ分布情報を抽出し、特異なエッジをもつピクセルをクラスタリング処理の初期核とし、初期核の近傍に位置しかつ類似度の強いピクセル（エッジ情報などピクセルに起因する情報で定義した値が閾値以内のピクセル）をクラスターに取り込んでいく技術である。これらの技術は、エッジに関する閾値を前もって与える必要はない。
しかしながら、特許文献３では三値化するための閾値を設定する必要があり、特許文献４では「類似度の強さ」を定義するための閾値を設定する必要があり、一般的な、初めて扱う画像に対して自動的にこれを行うことは、やはり困難である。
一般物体認識では、データベース内に分類されずに格納されている画像データの適切な分類や、必要な画像データの検索などが行なわれている。またさらには、動画像の中からの所望のシーンの抽出や、所望のシーンだけを切り取っての再編集など、様々な用途に応用できる可能性を、一般物体認識は有している。
物体認識に関する技術として、顔認識や指紋認識など様々な認識技術がこれまでに開発されてきたが、これらは多くの場合、特定の用途に向けられたものである。このような特定の用途に特化した認識技術は、別の用途に利用しようとすると能率よく動作しない。この問題点としては、認識率の低下や誤識別、情報処理量の増大などの問題が挙げられる。このため、一般的な物体の認識を能率よく行う技術の開発が期待されている。
情報処理装置によって一般物体を認識する方法として、物体形状のシルエットを利用する方法が提案されており、広く利用されている（例えば、特許文献１、特許文献２参照）。
これらの方法を用いて画像内に含まれる一般物体を認識するためには、画像からシルエット情報を抽出する必要がある。しかしながら、一般的な画像からシルエット情報を抽出することは容易ではない。
画像からシルエット情報を抽出する技術としては、画像内の輝度情報を空間的に微分処理することによりエッジを取り出し、エッジ情報から物体の輪郭情報を抽出することによってシルエット情報を抽出する方法が一般的である。
こうした微分処理によるエッジ抽出手法は、輝度の微分値がどの値を超えた場合に「エッジ」とし、どの値を超えない場合に「エッジ」としないかを決定する閾値を前もって与える必要がある。しかしながら、この手法で物体の輪郭をなすエッジ情報を抽出するためには、前もって、抽出すべきエッジ情報に適した閾値を知っておく必要があり、一般的な、初めて扱う画像に対して自動的にこれを行うことは困難である。
一方で、これらの課題を回避することのできる技術として、画像を構成するピクセルに帰属する情報を用いて、ピクセルをクラスタリングすることによってシルエット情報を抽出する技術もまた、提案されている（例えば、特許文献３、特許文献４参照）。
例えば、特許文献３に開示された技術は、画像にバンドパスフィルタを適用したうえで、出力値を二種類の閾値によって三値化し、画像を三種類のクラスターに分解する技術である。また、特許文献４に開示された技術は、画像内に含まれるエッジ情報からエッジ分布情報を抽出し、特異なエッジをもつピクセルをクラスタリング処理の初期核とし、初期核の近傍に位置しかつ類似度の強いピクセル（エッジ情報などピクセルに起因する情報で定義した値が閾値以内のピクセル）をクラスターに取り込んでいく技術である。これらの技術は、エッジに関する閾値を前もって与える必要はない。
しかしながら、特許文献３では三値化するための閾値を設定する必要があり、特許文献４では「類似度の強さ」を定義するための閾値を設定する必要があり、一般的な、初めて扱う画像に対して自動的にこれを行うことは、やはり困難である。
画像内に含まれる一般物体を認識するためには、物体形状をシルエットなどの形で抽出し、特定する必要がある。しかしながら、写真などの一般的な画像からシルエット情報を抽出するためには、従来手法では、画像を構成するピクセルに帰属する情報に閾値処理を施す必要があり、一般的な初めて扱う画像に対して適用可能な閾値を前もって与えることは困難であった。
本発明の目的は、写真などの一般的な画像を分割することによって物体形状のシルエット情報を抽出することを可能とする画像処理システム、画像処理方法、およびプログラムを提供することにある。
本発明の目的は、写真などの一般的な画像を分割することによって物体形状のシルエット情報を抽出することを可能とする画像処理システム、画像処理方法、およびプログラムを提供することにある。
本発明の一形態は、画像内に含まれる物体または形状の領域を、画像から分割する画像処理システムであって、画像を構成する構成要素のうち、領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手段と、構成要素のひとつひとつとそれらの周辺の周辺要素とを比較することによって、周辺要素を周辺要素表現として特徴化する周辺要素表現手段と、領域をなす初期核または領域の構成要素の特徴と、その周辺要素の周辺要素表現とを比較することによって、それぞれの周辺要素が初期核と同一の領域に所属するか否かを決定して、領域をなす構成要素の集合を生成し、領域を画像から分割する集合生成手段と、を備えることを特徴とする。
本発明によれば、写真などの一般的な画像を分割することによって物体形状のシルエット情報を抽出することを可能とする画像処理システムを提供できる。
図１は本発明の第１の実施の形態に係る画像処理システムの概略構成を示すブロック図であり、
図２は入力画像の一例を示す説明図であり、
図３は入力画像を圧縮した画像の一例を示す説明図であり、
図４は図３の画像から選択された初期核（ピクセル）の一例を示す説明図であり、
図５は図３の画像から周辺ピクセル表現の一例を示す説明図であり、
図６は図３の画像において集合が徐々に拡大されていく様子の一例を示す説明図であり、
図７は図１に示した画像処理システムに使用される、初期核選択部の構成を示すブロック図であり、
図８は構成要素特徴の一例を示す説明図であり、
図９は図１に示した画像処理システムに使用される、周辺要素表現部の構成を示すブロック図であり、
図１０は図１に示した画像処理システムに使用される、集合生成部の構成を示すブロック図であり、
図１１は周辺要素との差異が曖昧な要素の一例を示す説明図であり、
図１２は要素追加手段によって集合に要素が追加されていく様子の一例を示す説明図であり、
図１３は図１に示した画像処理システムによって生成されたシルエット情報の一例を示す説明図であり、
図１４は図１に示した画像処理システムの動作の一例を示すフローチャートであり、
図１５は本発明の第２の実施の形態における画像処理システムの概略構成を示すブロック図であり、
図１６は図１５に示した画像処理システムに使用される、入力画像制御部の構成を示すブロック図であり、
図１７は図１７Ａ及び図１７Ｂからなり、図１５に示した画像処理システムの動作の一例を示すフローチャートである。
図２は入力画像の一例を示す説明図であり、
図３は入力画像を圧縮した画像の一例を示す説明図であり、
図４は図３の画像から選択された初期核（ピクセル）の一例を示す説明図であり、
図５は図３の画像から周辺ピクセル表現の一例を示す説明図であり、
図６は図３の画像において集合が徐々に拡大されていく様子の一例を示す説明図であり、
図７は図１に示した画像処理システムに使用される、初期核選択部の構成を示すブロック図であり、
図８は構成要素特徴の一例を示す説明図であり、
図９は図１に示した画像処理システムに使用される、周辺要素表現部の構成を示すブロック図であり、
図１０は図１に示した画像処理システムに使用される、集合生成部の構成を示すブロック図であり、
図１１は周辺要素との差異が曖昧な要素の一例を示す説明図であり、
図１２は要素追加手段によって集合に要素が追加されていく様子の一例を示す説明図であり、
図１３は図１に示した画像処理システムによって生成されたシルエット情報の一例を示す説明図であり、
図１４は図１に示した画像処理システムの動作の一例を示すフローチャートであり、
図１５は本発明の第２の実施の形態における画像処理システムの概略構成を示すブロック図であり、
図１６は図１５に示した画像処理システムに使用される、入力画像制御部の構成を示すブロック図であり、
図１７は図１７Ａ及び図１７Ｂからなり、図１５に示した画像処理システムの動作の一例を示すフローチャートである。
［発明の概略］
これまで画像からシルエット情報を抽出する際には、二つの方法が採用されている。ひとつの方法は、画像内の輝度情報を空間的に微分処理し、微分値が閾値を超える場合をエッジとし、エッジ情報を用いて物体の輪郭を抽出する方法である。もうひとつの方法は、輝度の差分値が閾値以内のピクセルを同一物体のシルエット情報としてクラスタリングする方法である。
しかしながら、何れの手法であっても画像によって最適値が異なる閾値を前もって設定する必要があり、初めて扱う画像に対して自動的にこれを行うことは困難である。すなわち、初めて扱う画像に対してシルエット情報を抽出する手法は、これまで考案されていない。
こうした課題に対して、発明者らは以下のように画像処理を行なうシステムを提案する。
本画像処理システムの処理動作は、次に述べる３のステップで示すことができる。
第一のステップでは、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。例えば、ピクセルによって構成される図３のような画像が画像処理システムに与えられた際に、図４のようにひとつ（または複数）のピクセルを「初期核」として選択する。
第二のステップでは、それぞれのピクセルと周辺ピクセルとの、色情報すなわちＲＧＢ値を比較することで、周辺ピクセル表現を生成する。例えば、図５のようにあるピクセル（中心ピクセル）に対して縦横それぞれ３ピクセル以内のピクセルを周辺ピクセルと定義し、中心ピクセルとのＲＧＢ値の差（ＲＧＢ値を三次元ベクトルで表現し、そのノルムで表現）を値で表現する。この周辺ピクセル表現は、すべてのピクセルについて行う。すなわち、すべてのピクセルが、周辺のピクセルとの差を表現として認識する。
第三のステップでは、初期核とその周辺ピクセルの「周辺ピクセル表現」とを比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定し、集合に含まれるのであれば、その周辺ピクセルについて同一の意思決定を実施する。例えば、初期核との差が小さいピクセルを、集合内に取り込んでいき、物体形状のシルエットをなす集合を形成していく。このようにして集合が徐々に拡大されていく様子の例を図６に示す。
以下、図１乃至図１７Ａ及び図１７Ｂを参照して、それぞれのステップ行なう本発明の画像処理システムを、実施の形態を用いて説明する。
本実施の形態を採用することにより、画像から物体形状のシルエット情報を抽出することを可能にする画像処理を行なう情報処理システムを提供できる。
［第１の実施の形態］
［構成の説明］
図１は、本発明の第１の実施形態に係る画像認識システムの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
図示の画像処理システムは、情報処理の全体を管理する制御部１０と、処理対象とする画像データを取得する画像情報取得部２０と、取得した画像データなどを記憶する画像情報記憶部３０と、画像処理を完了した物体のシルエットを画像内要素（ピクセル）の集合として記憶する集合情報記憶部４０と、処理結果出力部５０とを含み構成されている。また、図示の画像処理システムは、初期核選択部１０１、周辺要素表現部１０２、および集合生成部１０３を含み構成されている。
制御部１０は、画像処理に関連する情報処理の全体動作を管理する。
画像情報取得部２０は、動画や写真などユーザが指定した画像データを本システムに取り込み、画像情報記憶部３０に記憶する。取り込み方法は、ユーザが指定した画像情報をそのまま取得してもよいし、演算量を省略するために、モザイク処理による圧縮などの前処理を施したうえで取得してもよい。
画像情報取得部２０によって取得される画像情報の例（赤い色のりんごの例）を、図２および図３に例示する。図２は取り込んだ画像そのものの例を示す。図３はモザイク処理によって圧縮を施した図の例を示す。なお、動画像などから、任意の間隔などで自動的に収集して画像情報を取り込むようにすることも可能である。
画像情報記憶部３０は、取得した画像データや処理して得た結果、必要に応じて中間データ（初期核情報や周辺要素表現など）を記憶する。画像情報記憶部３０は、メモリで構成してもよいし、ハードディスクドライブ（ＨＤＤ）で構成してもよく、記憶部であればよい。
集合情報記憶部４０は、画像処理を完了した物体のシルエットを、画像内要素（ピクセル）の集合として記憶する。すなわち、集合情報記憶部４０には、集合情報が記憶されている。なお、集合情報記憶部４０として、外部データベースを参照することとしてもよい。
処理結果出力部５０は、システムで得られた画像処理結果を出力する。例えば、処理結果出力部５０は、集合情報記憶部４０に記録されている処理結果の対象の物体や形状をモニターなどに出力する。なお、出力形態は、どのような情報を出力してもよい。
初期核選択部１０１は、図４に示すように、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。初期核選択部１０１は、具体的には３つの構成要素からなる。
すなわち、初期核選択部１０１は、図７に示されるように、与えられた画像を構成するひとつひとつの構成要素（例えばピクセル）を要素特徴として表現する構成要素特徴化部１０１−１と、それぞれの構成要素の要素特徴同士を比較する要素特徴比較部１０１−２と、要素特徴の比較結果から最適な要素を上記初期核として選択する最適要素選択部１０１−３とから成る。
構成要素特徴化部１０１−１は、如何なる要素の特徴化であっても構わないが、画像においては色情報を用いることが望ましい。例えば、構成要素特徴化部１０１−１は、要素特徴として色情報を表すＲＧＢ値を用いる。
この時、注視したい物体の色情報が前もって決まっているのであれば、構成要素特徴化部１０１−１は、要素特徴として、その色情報（ＲＧＢ値をベクトルで表現したもの）と、要素の色情報との差分（ベクトルのノルム）を用いることも可能である。また、目立つ要素を初期核としたいのであれば、構成要素特徴化部１０１−１は、要素特徴として、対象とする要素の周辺要素との差分、例えば、色情報の差分（ＲＧＢ値をベクトルで表現したもののノルム）を用いることも可能である。さらに、なるべく大きな領域から順に注視したいのであれば、構成要素特徴化部１０１−１は、周辺の要素（または画像全体の要素）の中から、色情報の差分が、前もって定められた閾値以内のもの、すなわち集合要素候補の数を数え、その数を、要素の特徴として表現することも可能である。また、色情報の差分は、必ずしもＲＧＢ値のベクトル表現のノルムである必要はなく、例えば、ＲＧＢそれぞれの差分のうち、最大のものを利用しても構わない。
このようにして表現した要素特徴の例を、図８に示す。図８は、図５と同等の方法で、それぞれのピクセルに対して、周辺ピクセルとの差異を計算したうえで、それらの周辺ピクセルとの差異のなかから最大の値を選択し、可視化したものである。つまり、周辺ピクセルとの差異が大きいものがより大きな値で示される。この例と同等の方法を用いると、より周辺との差異が大きな目立つピクセルを選択することが可能である。
要素特徴比較部１０１−２は、構成要素特徴化部１０１−１によって特徴化されたそれぞれの要素を比較する。
最適要素選択部１０１−３は、要素特徴比較部１０１−２によって比較されたものの中から最適なものを選択する。例えば、最適要素選択部１０１−３は、注視したい物体の色情報が前もって決まっている場合であれば、その色情報と最も近い特徴を持つ要素を選択する。最適要素選択部１０１−３は、目立つ要素を初期核としたい場合は、周辺との差分特徴の値が最大となる要素を選択する。最適要素選択部１０１−３は、なるべく大きな領域から順に注視したい場合は、集合要素候補の数が最大となる要素を選択する。この最適要素選択部１０１−３は、初期核となるのに最適な要素を選択することを可能にする手段であれば、これ以外の手法を採用することも可能である。
図８の例では、最適要素選択部１０１−３は、図８のうちで最も値が大きなものを選択することによって、より周辺との差異が大きな目立つピクセルを選択することが可能である。
周辺要素表現部１０２は、それぞれのピクセルとその周辺ピクセルとの、色情報すなわちＲＧＢ値を比較することで、周辺ピクセル表現を生成する。周辺要素表現手段１０２は、具体的には２つの構成要素からなる。
すなわち、図９に示されるように、周辺要素表現部１０２は、与えられた画像を構成するひとつひとつの構成要素（例えばピクセル）に対し、その周辺要素となるべき要素を特定する周辺要素領域特定部１０２−１と、対象とする要素とその周辺要素とを比較することでそれぞれの周辺要素を特徴化する周辺要素特徴化部１０２−２とから成る。
周辺要素領域特定部１０２−１は、画像を構成するひとつひとつの要素に対し、その周辺要素となるべき要素を特定する。この操作は、初期核を開始点として集合を形成していく際、初期核を含む集合内の核要素が、周囲の要素を集合内に取り込んでいく際に集合の要素の候補となる要素をサーチする範囲を特定する目的で行う。すなわち、集合に新たに取り込みたい要素の範囲が広ければ広く、狭ければ狭く取ることが可能であり、対象とする要素に隣接する要素であってもよいし、また、画像全体であってもよい。周辺要素となる範囲は狭いほうが、一回当たりの集合を決定する演算時間（すなわち集合生成部において行われる手段）を短縮できる。一方、範囲が広いほうが、同等の特徴をもつ要素を、より高い精度で集合に含めることができる。
図５の例では、周辺要素特定部１０２−１は、あるピクセルから縦横３ピクセル以内に含まれるものを周辺要素領域として特定している。
周辺要素特徴化部１０２−２は、周辺要素領域特定部１０２−１によって定めた領域の周辺要素を、対象とする要素と比較することによって特徴化する。例えば、周辺要素特徴化部１０２−２は、色情報の差分を、ＲＧＢ値のベクトル表現のノルムで表現することによってこれを行う。また、周辺要素特徴化部１０２−２は、この色情報の差分値を、閾値を超えるかどうかによって二値化して評価してもよく、二種類の閾値を用いて三値化してもよい。二値化或いは三値化を行うことにより、ある要素を中心とした集合（ここでは「図」と記述する）と、そうでない集合（ここでは「地」と記述する）を表現することが可能である（三値化により、どちらでもない領域となる中間領域を設定することが可能である）。この閾値は、色情報の差分情報の画像全体の分布情報によって正規化することが可能であり、ある特定の画像を対象としない手法に一般化することが可能である。この手法によって、あるピクセルを中心として周辺ピクセルを特徴化（色情報の差分による表現）した例が図５に示されている。
集合生成部１０３は、初期核とその周辺ピクセルの「周辺ピクセル表現」とを比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定する。該当する周辺ピクセルが、初期核と同一の集合に含まれるのであれば、集合生成部１０３は、その周辺ピクセルについて同一の意思決定を実施する。集合生成部１０３は、具体的には３つの構成要素からなる。
すなわち、集合生成部１０３は、図１０に示されるように、初期核を開始点として生成された集合の特徴を表現する集合表現生成部１０３−１と、対象とする集合の集合表現と対象とする集合に含まれない外部要素の周辺要素表現とを比較する要素集合間比較部１０３−２と、要素集合間比較手段の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加部１０３−３とから成る。
集合表現生成部１０３−１は、初期核を開始点として生成された集合の特徴を表現する。集合の特徴は、初期核および要素追加部１０３−３によって集合の要素として追加されたすべての要素によって表現することも可能である。例えば、集合表現を、初期核のＲＧＢ値や、集合に含まれる要素のＲＧＢ値の平均値とすることで、集合に含まれる要素に近い色情報をもつ要素を、集合に含めることが可能である。しかしながら、このように単純に集合に含まれる要素のみを用いるのではなく、集合のそれぞれの要素が「地」とする要素を表現に加えることも可能である。すなわち、集合内に含まれる要素を「図」として、それらとの色情報が離れている要素を「地」とした場合、集合の「図」と「地」によって集合を表現することが可能となる。
この手法を用い、「地」の情報を参照することで、例えば、図１１に白枠で示されているような、周辺要素（ピクセル）との差異が曖昧な要素を、集合に追加するかどうかの判断を行う場合に、どこまで追加し続けるべきかが明確になり、延々と周辺の要素を追加して、ついには画像全体を要素としてしまう処理を避けることができる。したがって、「図」と「地」の両方の情報を用いて表現することが、より望ましい。集合表現生成手段として採用されうる手段はこの限りではなく、集合を表現することが可能な手段であれば如何なる手段であってもよい。
要素集合間比較部１０３−２は、対象とする集合の集合表現と、対象とする集合に含まれない外部要素の周辺要素表現とを比較する。例えば、集合の「図」と「地」とどちらでもない要素をそれぞれ１，−１，０のマトリクス（マトリクスの各要素は例えば画像の各要素）で表現し、集合外部の要素（周辺要素）について、その周辺の「図」と「地」とどちらでもない要素をそれぞれ１，−１，０のマトリクスで表現するとする。この場合、要素集合間比較部１０３−２は、この集合表現と周辺要素表現の各要素の積算をすべての要素で和算した評価値によって、対象としている集合外部の要素が、集合に含まれるべきか否かを判断することができる。
すなわち、要素集合間比較部１０３−２は、評価値が正でかつ絶対値の大きなものであれば、その要素は集合に含まれるべきものであり、負でかつ絶対値の大きなものであれば、その要素は集合に含まれるべきではないものと判断することができる。さらに、要素集合間比較部１０３−２は、集合の値が１となる場合の評価値と、−１となる場合の評価値を別々に評価しておくことで、より精度の高い評価を行うことが可能となる。
要素集合間比較部１０３−２は、必ずしもここで示した構成要素である必要はなく、集合外部の要素が集合に含まれるかどうかを判断することが可能であればどのような方法を用いることも可能である。
要素追加部１０３−３は、要素集合間比較部１０３−２の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う。例えば、要素追加部１０３−３は、前記したマトリクス要素の積算を和算した評価値が、規定された値、例えば０を超えた場合に要素追加を行う。この追加要素処理は、外部要素だけでなく、集合内の要素に対しても行うことが望ましい。要素追加処理は、外部要素が新たに集合に追加される毎に行うのが望ましいが、演算時間の増大を防ぐために、幾つかの外部要素の追加をまとめて行ったあとでこれを行うことも可能である。
要素追加部１０３−３は、追加すべき要素がなくなる状態に収束するまで実施するのが望ましいが、演算時間の増大を防ぐために、演算回数の上限などの条件を設けることも可能である。この追加処理が徐々に行われていく様子を図１２に示し、追加が完了した際の集合の様子を図１３に示す。
［動作の説明］
次に、第１の実施の形態の動作例について説明する。図１４は、本第１の実施の形態に係る画像処理システムの動作の例を示すフローチャートである。
まず、画像情報取得部２０は、ユーザが指定する対象画像データを取得して画像情報記憶部３０に記録する（Ｓ１００１）。画像情報の取得は、ユーザが指定したものに限らず、システムが自動的に、半自動的に取得してもよい。
次に、初期核選択部１０１は、以下の３つのステップによって、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。まず、初期核選択部１０１の構成要素特徴化部１０１−１は、与えられた画像を構成するひとつひとつの構成要素（例えばピクセル）を要素特徴として表現する構成要素特徴化ステップ（Ｓ１００２）を実施する。次に、初期核選択部１０１の要素特徴比較部１０１−２は、それぞれの構成要素の要素特徴を比較する要素特徴比較ステップ（Ｓ１００３）を実施する。最後に、初期核選択部１０１の最適要素選択部１０１−３は、要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択ステップ（Ｓ１００４）を実施する。
次に、周辺要素表現部１０２は、以下の２つのステップによって、それぞれのピクセルが、周辺ピクセルと、色情報すなわちＲＧＢ値を比較することで、周辺ピクセル表現を生成する。まず、周辺要素表現部１０２の周辺要素領域特定部１０２−１は、与えられた画像を構成するひとつひとつの構成要素（例えばピクセル）に対し、その周辺要素となるべき要素を特定する、周辺要素領域特定ステップ（Ｓ１００５）を実施する。次に、周辺要素表現部１０２の周辺要素特徴化部１０２−２は、対象とする要素とその周辺要素を比較することでそれぞれの周辺要素を特徴化する、周辺要素特徴化ステップ（Ｓ１００６）を実施する。
次に、集合生成部１０３は、以下の３つのステップによって、初期核とその周辺ピクセルの「周辺ピクセル表現」を比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定し、集合に含まれるのであれば、その周辺ピクセルについて同一の意思決定を実施する。まず、集合生成部１０３の集合表現生成部１０３−１は、初期核を開始点として生成された集合の特徴を表現する、集合表現生成ステップ（Ｓ１００７）を実施する。次に、集合生成部１０３の要素集合間比較部１０３−２は、対象とする集合の集合表現と、対象とする集合に含まれない外部要素の周辺要素表現とを比較する、要素集合間比較ステップ（Ｓ１００８）を実施する。次に、集合生成部１０３の要素追加部１０３−３は、要素集合間比較部１０３−２の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加ステップ（Ｓ１００９）を実施する。要素追加ステップは、要素追加手段が定めた終了条件を満たすまで実施し続ける。
最後に、処理結果出力部５０は、処理した結果生成された集合を、物体形状のシルエットをなす領域情報として出力する（Ｓ１０１０）。
このように画像処理システムを動作させることによって、画像から物体形状のシルエット情報を抽出することを可能にする画像処理処理を行なうことが期待できる。
尚、画像処理システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭに画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記実施の形態を別の表現で説明すれば、画像処理システムとして動作させる情報処理装置を、ＲＡＭに展開された画像処理プログラムに基づき、初期核選択部１０１、周辺要素表現部１０２、集合生成部１０３として制御部１０を動作させることで実現することが可能である。
以上説明したように、本発明の第１の実施の形態によれば、画像から物体形状のシルエット情報を抽出することを可能にする画像処理を提供できる。
また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
［第２の実施の形態］
本発明を実施するための第２の実施の形態について、図面を参照して詳細に説明する。
［構成の説明］
図１５は、本発明の第２の実施の形態に係る画像処理システムの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
本第２の実施の形態は、第１の実施の形態において取得された画像サイズが非常に大きく、計算量が膨大になる場合を想定している。こうした場合、第１の実施の形態は、取得された画像を細分化し、細分化された画像内で一旦シルエットの部分情報を生成した後、細分化されたすべての画像内で生成されたシルエット情報を要素として、再び第１の実施の形態で施された手法を実施することにより、全体のシルエット情報を計算する手法を採用する。
このために、第２の実施の形態は、入力画像制御部２０１を新たに設ける点が、第１の実施の形態とは異なる。このほか、いくつかの要素は第１の実施の形態とは異なる機能を有す。
入力画像制御部２０１は、取得された画像を細分化するとともに、細分化された画像（細分化画像）内で一旦シルエットの部分情報を生成するために、システムの入力画像として、それぞれの細分化画像内を与える制御を行うとともに、すべての細分化画像の入力が完了した後、それぞれの細分化画像内で構成されたシルエット情報を構成要素とする画像情報を入力として与える。入力画像制御は、具体的には３つの構成要素からなる。
すなわち、入力画像制御部２０１は、図１６に示されるように、システムが取得した画像（原画像）を、グリッド分割を始めとする何らかの方法で前もって細分化する画像細分化部２０１−１と、細分化画像のそれぞれを、システムへの入力画像として与える細分化画像入力部２０１−２と、それぞれの細分化画像内で構成された領域を構成要素とした画像を、システムへの入力として与える統合画像入力部２０１−３とから成る。
画像細分化部２０１−１は、細分化画像の縦横のサイズを前もって与える方式で細分化してもよいし、細分化画像数を前もって与えて、それに適した画像サイズによって細分化してもよい。その他、画像細分化部２０１−は、画像の細分化を目的とする構成要素であれば、如何なる構成要素であっても構わない。
細分化画像入力部２０１−２は、画像細分化部２０１−１によって細分化された画像をひとつひとつ入力する。
統合画像入力部２０１−３は、それぞれの細分化画像内で構成された領域を構成要素とした画像を構成したうえで、システムへの入力を行う。
［動作の説明］
次に、第２の実施の形態の動作例について説明する。図１７は、本第２の実施の形態に係る画像処理システムの動作の例を示すフローチャートである。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
入力画像制御部２０１は、以下の３つのステップによって、取得された画像を細分化するとともに、細分化された画像（細分化画像）内で一旦シルエットの部分情報を生成するために、システムの入力画像として、それぞれの細分化画像内を与える制御を行うとともに、すべての細分化画像の入力が完了した後、それぞれの細分化画像内で構成されたシルエット情報を構成要素とする画像情報を入力として与える。
まず、入力画像制御部２０１の画像細分化部２０１−１は、システムが取得した画像（原画像）を、グリッド分割を始めとする何らかの方法で前もって細分化する、画像細分化ステップ（Ｓ２００１）を実施する。次に、入力画像制御部２０１の細分化画像入力部２０１−２は、細分化画像のそれぞれを、システムへの入力画像として与える細分化画像入力ステップ（Ｓ２００２）を実施する。最後に、入力画像制御部２０１の統合画像入力部２０１−３は、それぞれの細分化画像内で構成された領域を構成要素とした画像を、システムへの入力として与える統合画像入力ステップ（Ｓ２００３）を実施する。
なお、上述の各実施の形態において、実施の形態の処理は、プログラム、ソフトウェア、又はコンピュータによって実行されることが可能な命令でコード化された、コンピュータ読み取り可能な記憶媒体に格納された情報を、コンピュータにインストールすることによって実行されてもよい。記憶媒体には、光ディスク、フロッピー（登録商標）ディスク、ハードディスク等の可搬型の記録媒体が含まれることはもとより、ネットワークのようにデータを一時的に記録保持するような伝送媒体も含まれる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１） 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理システムであって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手段と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手段と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手段と、
を備えることを特徴とする画像処理システム。
（付記２） 前記初期核選択手段は、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化手段と、
前記要素特徴同士を比較する要素特徴比較手段と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択手段と、
を備えること特徴とする付記１に記載の画像処理システム。
（付記３） 前記構成要素特徴化手段は、該当する要素と前記画像を構成する前記構成要素のすべてに関して、ｉ）定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ｉｉ）差分が前もって定められた数値以内となる要素の数、およびｉｉｉ）前もって定められた特徴と前記該当する要素特徴との差分、のいずれか１つによって特徴化を行うことを特徴とする付記２に記載の画像処理システム。
（付記４） 前記周辺要素表現手段は、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定手段と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化手段と、
を備えることを特徴とする付記１から３の何れかに記載の画像処理システム。
（付記５） 前記周辺要素特徴化手段は、該当する要素と前記周辺要素領域特定手段によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行うことを特徴とする付記４に記載の画像処理システム。
（付記６） 前記周辺要素特徴化手段において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記５に記載の画像処理システム。
（付記７） 前記集合生成手段は、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成手段と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較手段と、
前記要素集合間比較手段の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加手段と、
を備えることを特徴とする付記４から６の何れかに記載の画像処理システム。
（付記８） 前記集合表現生成手段は、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現することを特徴とする付記７に記載の画像処理システム。
（付記９） 前記要素集合間比較手段は、
前記集合表現生成手段及び前記周辺要素特徴化手段によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行うことを特徴とする付記７又は８に記載の画像処理システム。
（付記１０） 前記画像処理システムは、
前記画像を前もって細分化する画像細分化手段と、
細分化された画像のそれぞれを、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力画像として与える細分化画像入力手段と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力として与える統合画像入力手段と、
を備えること特徴とする付記１から９の何れかに記載の画像処理システム。
（付記１１） 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理方法であって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択工程と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現工程と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成工程と、
を含むことを特徴とする画像処理方法。
（付記１２） 前記初期核選択工程は、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化工程と、
前記要素特徴同士を比較する要素特徴比較工程と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択工程と、
から成ること特徴とする付記１１に記載の画像処理方法。
（付記１３） 前記構成要素特徴化工程は、該当する要素と前記画像を構成する前記構成要素のすべてに関して、ｉ）定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ｉｉ）差分が前もって定められた数値以内となる要素の数、およびｉｉｉ）前もって定められた特徴と前記該当する要素特徴との差分、のいずれか１つによって特徴化を行うことを特徴とする付記１２に記載の画像処理方法。
（付記１４） 前記周辺要素表現工程は、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定工程と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化工程と、
から成ることを特徴とする付記１１から１３の何れかに記載の画像処理方法。
（付記１５） 前記周辺要素特徴化工程は、該当する要素と前記周辺要素領域特定工程によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行うことを特徴とする付記１４に記載の画像処理方法。
（付記１６） 前記周辺要素特徴化工程において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記１５に記載の画像処理方法。
（付記１７） 前記集合生成工程は、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成工程と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較工程と、
前記要素集合間比較工程の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加工程と、
から成ることを特徴とする請求項１４から１６の何れかに記載の画像処理方法。
（付記１８） 前記集合表現生成工程は、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現することを特徴とする付記１７に記載の画像処理方法。
（付記１９） 前記要素集合間比較工程は、
前記集合表現生成工程及び前記周辺要素特徴化工程によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行うことを特徴とする付記１７又は１８に記載の画像処理方法。
（付記２０） 前記画像処理方法は、
前記画像を前もって細分化する画像細分化工程と、
細分化された画像のそれぞれを、前記初期核選択工程、前記周辺要素表現工程、および前記集合生成工程のそれぞれの入力画像として与える細分化画像入力工程と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択工程、前記周辺要素表現工程、および前記集合生成工程のそれぞれの入力として与える統合画像入力工程と、
を更に含むこと特徴とする付記１１から１９の何れかに記載の画像処理方法。
（付記２１） コンピュータに、画像内に含まれる物体または形状の領域を、前記画像から分割させる画像処理プログラムであって、前記コンピュータに、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手順と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手順と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手順と、
を実行させる画像処理プログラム。
（付記２２） 前記初期核選択手順は、前記コンピュータに、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化手順と、
前記要素特徴同士を比較する要素特徴比較手順と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択手順と、
を実行させる付記２１に記載の画像処理プログラム。
（付記２３） 前記構成要素特徴化手順は、前記コンピュータに、該当する要素と前記画像を構成する前記構成要素のすべてに関して、ｉ）定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ｉｉ）差分が前もって定められた数値以内となる要素の数、およびｉｉｉ）前もって定められた特徴と前記該当する要素特徴との差分、のいずれか１つによって特徴化を行わせることを特徴とする付記２２に記載の画像処理プログラム。
（付記２４） 前記周辺要素表現手順は、前記コンピュータに、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定手順と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化手順と、
を実行させる付記２１から２３の何れかに記載の画像処理プログラム。
（付記２５） 前記周辺要素特徴化手順は、前記コンピュータに、該当する要素と前記周辺要素領域特定手順によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行わせることを特徴とする付記２４に記載の画像処理プログラム。
（付記２６） 前記周辺要素特徴化手順において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記２５に記載の画像処理プログラム。
（付記２７） 前記集合生成手順は、前記コンピュータに、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成手順と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較手順と、
前記要素集合間比較手順の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加手順と、
を実行させる付記２４から２６の何れかに記載の画像処理プログラム。
（付記２８） 前記集合表現生成手順は、前記コンピュータに、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現させることを特徴とする付記２７に記載の画像処理プログラム。
（付記２９） 前記要素集合間比較手順は、前記コンピュータに、
前記集合表現生成手順及び前記周辺要素特徴化手順によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行わせることを特徴とする付記２７又は２８に記載の画像処理プログラム。
（付記３０） 前記画像処理プログラムは、前記コンピュータに、
前記画像を前もって細分化する画像細分化手順と、
細分化された画像のそれぞれを、前記初期核選択手順、前記周辺要素表現手順、および前記集合生成手順のそれぞれの入力画像として与える細分化画像入力手順と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択手順、前記周辺要素表現手順、および前記集合生成手順のそれぞれの入力として与える統合画像入力手順と、
を更に実行させる付記２１から２９の何れかに記載の画像処理プログラム。
これまで画像からシルエット情報を抽出する際には、二つの方法が採用されている。ひとつの方法は、画像内の輝度情報を空間的に微分処理し、微分値が閾値を超える場合をエッジとし、エッジ情報を用いて物体の輪郭を抽出する方法である。もうひとつの方法は、輝度の差分値が閾値以内のピクセルを同一物体のシルエット情報としてクラスタリングする方法である。
しかしながら、何れの手法であっても画像によって最適値が異なる閾値を前もって設定する必要があり、初めて扱う画像に対して自動的にこれを行うことは困難である。すなわち、初めて扱う画像に対してシルエット情報を抽出する手法は、これまで考案されていない。
こうした課題に対して、発明者らは以下のように画像処理を行なうシステムを提案する。
本画像処理システムの処理動作は、次に述べる３のステップで示すことができる。
第一のステップでは、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。例えば、ピクセルによって構成される図３のような画像が画像処理システムに与えられた際に、図４のようにひとつ（または複数）のピクセルを「初期核」として選択する。
第二のステップでは、それぞれのピクセルと周辺ピクセルとの、色情報すなわちＲＧＢ値を比較することで、周辺ピクセル表現を生成する。例えば、図５のようにあるピクセル（中心ピクセル）に対して縦横それぞれ３ピクセル以内のピクセルを周辺ピクセルと定義し、中心ピクセルとのＲＧＢ値の差（ＲＧＢ値を三次元ベクトルで表現し、そのノルムで表現）を値で表現する。この周辺ピクセル表現は、すべてのピクセルについて行う。すなわち、すべてのピクセルが、周辺のピクセルとの差を表現として認識する。
第三のステップでは、初期核とその周辺ピクセルの「周辺ピクセル表現」とを比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定し、集合に含まれるのであれば、その周辺ピクセルについて同一の意思決定を実施する。例えば、初期核との差が小さいピクセルを、集合内に取り込んでいき、物体形状のシルエットをなす集合を形成していく。このようにして集合が徐々に拡大されていく様子の例を図６に示す。
以下、図１乃至図１７Ａ及び図１７Ｂを参照して、それぞれのステップ行なう本発明の画像処理システムを、実施の形態を用いて説明する。
本実施の形態を採用することにより、画像から物体形状のシルエット情報を抽出することを可能にする画像処理を行なう情報処理システムを提供できる。
［第１の実施の形態］
［構成の説明］
図１は、本発明の第１の実施形態に係る画像認識システムの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
図示の画像処理システムは、情報処理の全体を管理する制御部１０と、処理対象とする画像データを取得する画像情報取得部２０と、取得した画像データなどを記憶する画像情報記憶部３０と、画像処理を完了した物体のシルエットを画像内要素（ピクセル）の集合として記憶する集合情報記憶部４０と、処理結果出力部５０とを含み構成されている。また、図示の画像処理システムは、初期核選択部１０１、周辺要素表現部１０２、および集合生成部１０３を含み構成されている。
制御部１０は、画像処理に関連する情報処理の全体動作を管理する。
画像情報取得部２０は、動画や写真などユーザが指定した画像データを本システムに取り込み、画像情報記憶部３０に記憶する。取り込み方法は、ユーザが指定した画像情報をそのまま取得してもよいし、演算量を省略するために、モザイク処理による圧縮などの前処理を施したうえで取得してもよい。
画像情報取得部２０によって取得される画像情報の例（赤い色のりんごの例）を、図２および図３に例示する。図２は取り込んだ画像そのものの例を示す。図３はモザイク処理によって圧縮を施した図の例を示す。なお、動画像などから、任意の間隔などで自動的に収集して画像情報を取り込むようにすることも可能である。
画像情報記憶部３０は、取得した画像データや処理して得た結果、必要に応じて中間データ（初期核情報や周辺要素表現など）を記憶する。画像情報記憶部３０は、メモリで構成してもよいし、ハードディスクドライブ（ＨＤＤ）で構成してもよく、記憶部であればよい。
集合情報記憶部４０は、画像処理を完了した物体のシルエットを、画像内要素（ピクセル）の集合として記憶する。すなわち、集合情報記憶部４０には、集合情報が記憶されている。なお、集合情報記憶部４０として、外部データベースを参照することとしてもよい。
処理結果出力部５０は、システムで得られた画像処理結果を出力する。例えば、処理結果出力部５０は、集合情報記憶部４０に記録されている処理結果の対象の物体や形状をモニターなどに出力する。なお、出力形態は、どのような情報を出力してもよい。
初期核選択部１０１は、図４に示すように、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。初期核選択部１０１は、具体的には３つの構成要素からなる。
すなわち、初期核選択部１０１は、図７に示されるように、与えられた画像を構成するひとつひとつの構成要素（例えばピクセル）を要素特徴として表現する構成要素特徴化部１０１−１と、それぞれの構成要素の要素特徴同士を比較する要素特徴比較部１０１−２と、要素特徴の比較結果から最適な要素を上記初期核として選択する最適要素選択部１０１−３とから成る。
構成要素特徴化部１０１−１は、如何なる要素の特徴化であっても構わないが、画像においては色情報を用いることが望ましい。例えば、構成要素特徴化部１０１−１は、要素特徴として色情報を表すＲＧＢ値を用いる。
この時、注視したい物体の色情報が前もって決まっているのであれば、構成要素特徴化部１０１−１は、要素特徴として、その色情報（ＲＧＢ値をベクトルで表現したもの）と、要素の色情報との差分（ベクトルのノルム）を用いることも可能である。また、目立つ要素を初期核としたいのであれば、構成要素特徴化部１０１−１は、要素特徴として、対象とする要素の周辺要素との差分、例えば、色情報の差分（ＲＧＢ値をベクトルで表現したもののノルム）を用いることも可能である。さらに、なるべく大きな領域から順に注視したいのであれば、構成要素特徴化部１０１−１は、周辺の要素（または画像全体の要素）の中から、色情報の差分が、前もって定められた閾値以内のもの、すなわち集合要素候補の数を数え、その数を、要素の特徴として表現することも可能である。また、色情報の差分は、必ずしもＲＧＢ値のベクトル表現のノルムである必要はなく、例えば、ＲＧＢそれぞれの差分のうち、最大のものを利用しても構わない。
このようにして表現した要素特徴の例を、図８に示す。図８は、図５と同等の方法で、それぞれのピクセルに対して、周辺ピクセルとの差異を計算したうえで、それらの周辺ピクセルとの差異のなかから最大の値を選択し、可視化したものである。つまり、周辺ピクセルとの差異が大きいものがより大きな値で示される。この例と同等の方法を用いると、より周辺との差異が大きな目立つピクセルを選択することが可能である。
要素特徴比較部１０１−２は、構成要素特徴化部１０１−１によって特徴化されたそれぞれの要素を比較する。
最適要素選択部１０１−３は、要素特徴比較部１０１−２によって比較されたものの中から最適なものを選択する。例えば、最適要素選択部１０１−３は、注視したい物体の色情報が前もって決まっている場合であれば、その色情報と最も近い特徴を持つ要素を選択する。最適要素選択部１０１−３は、目立つ要素を初期核としたい場合は、周辺との差分特徴の値が最大となる要素を選択する。最適要素選択部１０１−３は、なるべく大きな領域から順に注視したい場合は、集合要素候補の数が最大となる要素を選択する。この最適要素選択部１０１−３は、初期核となるのに最適な要素を選択することを可能にする手段であれば、これ以外の手法を採用することも可能である。
図８の例では、最適要素選択部１０１−３は、図８のうちで最も値が大きなものを選択することによって、より周辺との差異が大きな目立つピクセルを選択することが可能である。
周辺要素表現部１０２は、それぞれのピクセルとその周辺ピクセルとの、色情報すなわちＲＧＢ値を比較することで、周辺ピクセル表現を生成する。周辺要素表現手段１０２は、具体的には２つの構成要素からなる。
すなわち、図９に示されるように、周辺要素表現部１０２は、与えられた画像を構成するひとつひとつの構成要素（例えばピクセル）に対し、その周辺要素となるべき要素を特定する周辺要素領域特定部１０２−１と、対象とする要素とその周辺要素とを比較することでそれぞれの周辺要素を特徴化する周辺要素特徴化部１０２−２とから成る。
周辺要素領域特定部１０２−１は、画像を構成するひとつひとつの要素に対し、その周辺要素となるべき要素を特定する。この操作は、初期核を開始点として集合を形成していく際、初期核を含む集合内の核要素が、周囲の要素を集合内に取り込んでいく際に集合の要素の候補となる要素をサーチする範囲を特定する目的で行う。すなわち、集合に新たに取り込みたい要素の範囲が広ければ広く、狭ければ狭く取ることが可能であり、対象とする要素に隣接する要素であってもよいし、また、画像全体であってもよい。周辺要素となる範囲は狭いほうが、一回当たりの集合を決定する演算時間（すなわち集合生成部において行われる手段）を短縮できる。一方、範囲が広いほうが、同等の特徴をもつ要素を、より高い精度で集合に含めることができる。
図５の例では、周辺要素特定部１０２−１は、あるピクセルから縦横３ピクセル以内に含まれるものを周辺要素領域として特定している。
周辺要素特徴化部１０２−２は、周辺要素領域特定部１０２−１によって定めた領域の周辺要素を、対象とする要素と比較することによって特徴化する。例えば、周辺要素特徴化部１０２−２は、色情報の差分を、ＲＧＢ値のベクトル表現のノルムで表現することによってこれを行う。また、周辺要素特徴化部１０２−２は、この色情報の差分値を、閾値を超えるかどうかによって二値化して評価してもよく、二種類の閾値を用いて三値化してもよい。二値化或いは三値化を行うことにより、ある要素を中心とした集合（ここでは「図」と記述する）と、そうでない集合（ここでは「地」と記述する）を表現することが可能である（三値化により、どちらでもない領域となる中間領域を設定することが可能である）。この閾値は、色情報の差分情報の画像全体の分布情報によって正規化することが可能であり、ある特定の画像を対象としない手法に一般化することが可能である。この手法によって、あるピクセルを中心として周辺ピクセルを特徴化（色情報の差分による表現）した例が図５に示されている。
集合生成部１０３は、初期核とその周辺ピクセルの「周辺ピクセル表現」とを比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定する。該当する周辺ピクセルが、初期核と同一の集合に含まれるのであれば、集合生成部１０３は、その周辺ピクセルについて同一の意思決定を実施する。集合生成部１０３は、具体的には３つの構成要素からなる。
すなわち、集合生成部１０３は、図１０に示されるように、初期核を開始点として生成された集合の特徴を表現する集合表現生成部１０３−１と、対象とする集合の集合表現と対象とする集合に含まれない外部要素の周辺要素表現とを比較する要素集合間比較部１０３−２と、要素集合間比較手段の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加部１０３−３とから成る。
集合表現生成部１０３−１は、初期核を開始点として生成された集合の特徴を表現する。集合の特徴は、初期核および要素追加部１０３−３によって集合の要素として追加されたすべての要素によって表現することも可能である。例えば、集合表現を、初期核のＲＧＢ値や、集合に含まれる要素のＲＧＢ値の平均値とすることで、集合に含まれる要素に近い色情報をもつ要素を、集合に含めることが可能である。しかしながら、このように単純に集合に含まれる要素のみを用いるのではなく、集合のそれぞれの要素が「地」とする要素を表現に加えることも可能である。すなわち、集合内に含まれる要素を「図」として、それらとの色情報が離れている要素を「地」とした場合、集合の「図」と「地」によって集合を表現することが可能となる。
この手法を用い、「地」の情報を参照することで、例えば、図１１に白枠で示されているような、周辺要素（ピクセル）との差異が曖昧な要素を、集合に追加するかどうかの判断を行う場合に、どこまで追加し続けるべきかが明確になり、延々と周辺の要素を追加して、ついには画像全体を要素としてしまう処理を避けることができる。したがって、「図」と「地」の両方の情報を用いて表現することが、より望ましい。集合表現生成手段として採用されうる手段はこの限りではなく、集合を表現することが可能な手段であれば如何なる手段であってもよい。
要素集合間比較部１０３−２は、対象とする集合の集合表現と、対象とする集合に含まれない外部要素の周辺要素表現とを比較する。例えば、集合の「図」と「地」とどちらでもない要素をそれぞれ１，−１，０のマトリクス（マトリクスの各要素は例えば画像の各要素）で表現し、集合外部の要素（周辺要素）について、その周辺の「図」と「地」とどちらでもない要素をそれぞれ１，−１，０のマトリクスで表現するとする。この場合、要素集合間比較部１０３−２は、この集合表現と周辺要素表現の各要素の積算をすべての要素で和算した評価値によって、対象としている集合外部の要素が、集合に含まれるべきか否かを判断することができる。
すなわち、要素集合間比較部１０３−２は、評価値が正でかつ絶対値の大きなものであれば、その要素は集合に含まれるべきものであり、負でかつ絶対値の大きなものであれば、その要素は集合に含まれるべきではないものと判断することができる。さらに、要素集合間比較部１０３−２は、集合の値が１となる場合の評価値と、−１となる場合の評価値を別々に評価しておくことで、より精度の高い評価を行うことが可能となる。
要素集合間比較部１０３−２は、必ずしもここで示した構成要素である必要はなく、集合外部の要素が集合に含まれるかどうかを判断することが可能であればどのような方法を用いることも可能である。
要素追加部１０３−３は、要素集合間比較部１０３−２の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う。例えば、要素追加部１０３−３は、前記したマトリクス要素の積算を和算した評価値が、規定された値、例えば０を超えた場合に要素追加を行う。この追加要素処理は、外部要素だけでなく、集合内の要素に対しても行うことが望ましい。要素追加処理は、外部要素が新たに集合に追加される毎に行うのが望ましいが、演算時間の増大を防ぐために、幾つかの外部要素の追加をまとめて行ったあとでこれを行うことも可能である。
要素追加部１０３−３は、追加すべき要素がなくなる状態に収束するまで実施するのが望ましいが、演算時間の増大を防ぐために、演算回数の上限などの条件を設けることも可能である。この追加処理が徐々に行われていく様子を図１２に示し、追加が完了した際の集合の様子を図１３に示す。
［動作の説明］
次に、第１の実施の形態の動作例について説明する。図１４は、本第１の実施の形態に係る画像処理システムの動作の例を示すフローチャートである。
まず、画像情報取得部２０は、ユーザが指定する対象画像データを取得して画像情報記憶部３０に記録する（Ｓ１００１）。画像情報の取得は、ユーザが指定したものに限らず、システムが自動的に、半自動的に取得してもよい。
次に、初期核選択部１０１は、以下の３つのステップによって、画像内に含まれる物体形状のシルエット情報の核となるピクセルすなわち初期核を選択する。まず、初期核選択部１０１の構成要素特徴化部１０１−１は、与えられた画像を構成するひとつひとつの構成要素（例えばピクセル）を要素特徴として表現する構成要素特徴化ステップ（Ｓ１００２）を実施する。次に、初期核選択部１０１の要素特徴比較部１０１−２は、それぞれの構成要素の要素特徴を比較する要素特徴比較ステップ（Ｓ１００３）を実施する。最後に、初期核選択部１０１の最適要素選択部１０１−３は、要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択ステップ（Ｓ１００４）を実施する。
次に、周辺要素表現部１０２は、以下の２つのステップによって、それぞれのピクセルが、周辺ピクセルと、色情報すなわちＲＧＢ値を比較することで、周辺ピクセル表現を生成する。まず、周辺要素表現部１０２の周辺要素領域特定部１０２−１は、与えられた画像を構成するひとつひとつの構成要素（例えばピクセル）に対し、その周辺要素となるべき要素を特定する、周辺要素領域特定ステップ（Ｓ１００５）を実施する。次に、周辺要素表現部１０２の周辺要素特徴化部１０２−２は、対象とする要素とその周辺要素を比較することでそれぞれの周辺要素を特徴化する、周辺要素特徴化ステップ（Ｓ１００６）を実施する。
次に、集合生成部１０３は、以下の３つのステップによって、初期核とその周辺ピクセルの「周辺ピクセル表現」を比較することで、該当する周辺ピクセルが、初期核と同一の集合に含まれるべきかを決定し、集合に含まれるのであれば、その周辺ピクセルについて同一の意思決定を実施する。まず、集合生成部１０３の集合表現生成部１０３−１は、初期核を開始点として生成された集合の特徴を表現する、集合表現生成ステップ（Ｓ１００７）を実施する。次に、集合生成部１０３の要素集合間比較部１０３−２は、対象とする集合の集合表現と、対象とする集合に含まれない外部要素の周辺要素表現とを比較する、要素集合間比較ステップ（Ｓ１００８）を実施する。次に、集合生成部１０３の要素追加部１０３−３は、要素集合間比較部１０３−２の比較結果によって、それぞれの外部要素が対象とする集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加ステップ（Ｓ１００９）を実施する。要素追加ステップは、要素追加手段が定めた終了条件を満たすまで実施し続ける。
最後に、処理結果出力部５０は、処理した結果生成された集合を、物体形状のシルエットをなす領域情報として出力する（Ｓ１０１０）。
このように画像処理システムを動作させることによって、画像から物体形状のシルエット情報を抽出することを可能にする画像処理処理を行なうことが期待できる。
尚、画像処理システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭに画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記実施の形態を別の表現で説明すれば、画像処理システムとして動作させる情報処理装置を、ＲＡＭに展開された画像処理プログラムに基づき、初期核選択部１０１、周辺要素表現部１０２、集合生成部１０３として制御部１０を動作させることで実現することが可能である。
以上説明したように、本発明の第１の実施の形態によれば、画像から物体形状のシルエット情報を抽出することを可能にする画像処理を提供できる。
また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
［第２の実施の形態］
本発明を実施するための第２の実施の形態について、図面を参照して詳細に説明する。
［構成の説明］
図１５は、本発明の第２の実施の形態に係る画像処理システムの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
本第２の実施の形態は、第１の実施の形態において取得された画像サイズが非常に大きく、計算量が膨大になる場合を想定している。こうした場合、第１の実施の形態は、取得された画像を細分化し、細分化された画像内で一旦シルエットの部分情報を生成した後、細分化されたすべての画像内で生成されたシルエット情報を要素として、再び第１の実施の形態で施された手法を実施することにより、全体のシルエット情報を計算する手法を採用する。
このために、第２の実施の形態は、入力画像制御部２０１を新たに設ける点が、第１の実施の形態とは異なる。このほか、いくつかの要素は第１の実施の形態とは異なる機能を有す。
入力画像制御部２０１は、取得された画像を細分化するとともに、細分化された画像（細分化画像）内で一旦シルエットの部分情報を生成するために、システムの入力画像として、それぞれの細分化画像内を与える制御を行うとともに、すべての細分化画像の入力が完了した後、それぞれの細分化画像内で構成されたシルエット情報を構成要素とする画像情報を入力として与える。入力画像制御は、具体的には３つの構成要素からなる。
すなわち、入力画像制御部２０１は、図１６に示されるように、システムが取得した画像（原画像）を、グリッド分割を始めとする何らかの方法で前もって細分化する画像細分化部２０１−１と、細分化画像のそれぞれを、システムへの入力画像として与える細分化画像入力部２０１−２と、それぞれの細分化画像内で構成された領域を構成要素とした画像を、システムへの入力として与える統合画像入力部２０１−３とから成る。
画像細分化部２０１−１は、細分化画像の縦横のサイズを前もって与える方式で細分化してもよいし、細分化画像数を前もって与えて、それに適した画像サイズによって細分化してもよい。その他、画像細分化部２０１−は、画像の細分化を目的とする構成要素であれば、如何なる構成要素であっても構わない。
細分化画像入力部２０１−２は、画像細分化部２０１−１によって細分化された画像をひとつひとつ入力する。
統合画像入力部２０１−３は、それぞれの細分化画像内で構成された領域を構成要素とした画像を構成したうえで、システムへの入力を行う。
［動作の説明］
次に、第２の実施の形態の動作例について説明する。図１７は、本第２の実施の形態に係る画像処理システムの動作の例を示すフローチャートである。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
入力画像制御部２０１は、以下の３つのステップによって、取得された画像を細分化するとともに、細分化された画像（細分化画像）内で一旦シルエットの部分情報を生成するために、システムの入力画像として、それぞれの細分化画像内を与える制御を行うとともに、すべての細分化画像の入力が完了した後、それぞれの細分化画像内で構成されたシルエット情報を構成要素とする画像情報を入力として与える。
まず、入力画像制御部２０１の画像細分化部２０１−１は、システムが取得した画像（原画像）を、グリッド分割を始めとする何らかの方法で前もって細分化する、画像細分化ステップ（Ｓ２００１）を実施する。次に、入力画像制御部２０１の細分化画像入力部２０１−２は、細分化画像のそれぞれを、システムへの入力画像として与える細分化画像入力ステップ（Ｓ２００２）を実施する。最後に、入力画像制御部２０１の統合画像入力部２０１−３は、それぞれの細分化画像内で構成された領域を構成要素とした画像を、システムへの入力として与える統合画像入力ステップ（Ｓ２００３）を実施する。
なお、上述の各実施の形態において、実施の形態の処理は、プログラム、ソフトウェア、又はコンピュータによって実行されることが可能な命令でコード化された、コンピュータ読み取り可能な記憶媒体に格納された情報を、コンピュータにインストールすることによって実行されてもよい。記憶媒体には、光ディスク、フロッピー（登録商標）ディスク、ハードディスク等の可搬型の記録媒体が含まれることはもとより、ネットワークのようにデータを一時的に記録保持するような伝送媒体も含まれる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１） 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理システムであって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手段と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手段と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手段と、
を備えることを特徴とする画像処理システム。
（付記２） 前記初期核選択手段は、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化手段と、
前記要素特徴同士を比較する要素特徴比較手段と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択手段と、
を備えること特徴とする付記１に記載の画像処理システム。
（付記３） 前記構成要素特徴化手段は、該当する要素と前記画像を構成する前記構成要素のすべてに関して、ｉ）定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ｉｉ）差分が前もって定められた数値以内となる要素の数、およびｉｉｉ）前もって定められた特徴と前記該当する要素特徴との差分、のいずれか１つによって特徴化を行うことを特徴とする付記２に記載の画像処理システム。
（付記４） 前記周辺要素表現手段は、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定手段と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化手段と、
を備えることを特徴とする付記１から３の何れかに記載の画像処理システム。
（付記５） 前記周辺要素特徴化手段は、該当する要素と前記周辺要素領域特定手段によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行うことを特徴とする付記４に記載の画像処理システム。
（付記６） 前記周辺要素特徴化手段において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記５に記載の画像処理システム。
（付記７） 前記集合生成手段は、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成手段と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較手段と、
前記要素集合間比較手段の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加手段と、
を備えることを特徴とする付記４から６の何れかに記載の画像処理システム。
（付記８） 前記集合表現生成手段は、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現することを特徴とする付記７に記載の画像処理システム。
（付記９） 前記要素集合間比較手段は、
前記集合表現生成手段及び前記周辺要素特徴化手段によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行うことを特徴とする付記７又は８に記載の画像処理システム。
（付記１０） 前記画像処理システムは、
前記画像を前もって細分化する画像細分化手段と、
細分化された画像のそれぞれを、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力画像として与える細分化画像入力手段と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力として与える統合画像入力手段と、
を備えること特徴とする付記１から９の何れかに記載の画像処理システム。
（付記１１） 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理方法であって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択工程と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現工程と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成工程と、
を含むことを特徴とする画像処理方法。
（付記１２） 前記初期核選択工程は、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化工程と、
前記要素特徴同士を比較する要素特徴比較工程と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択工程と、
から成ること特徴とする付記１１に記載の画像処理方法。
（付記１３） 前記構成要素特徴化工程は、該当する要素と前記画像を構成する前記構成要素のすべてに関して、ｉ）定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ｉｉ）差分が前もって定められた数値以内となる要素の数、およびｉｉｉ）前もって定められた特徴と前記該当する要素特徴との差分、のいずれか１つによって特徴化を行うことを特徴とする付記１２に記載の画像処理方法。
（付記１４） 前記周辺要素表現工程は、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定工程と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化工程と、
から成ることを特徴とする付記１１から１３の何れかに記載の画像処理方法。
（付記１５） 前記周辺要素特徴化工程は、該当する要素と前記周辺要素領域特定工程によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行うことを特徴とする付記１４に記載の画像処理方法。
（付記１６） 前記周辺要素特徴化工程において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記１５に記載の画像処理方法。
（付記１７） 前記集合生成工程は、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成工程と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較工程と、
前記要素集合間比較工程の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加工程と、
から成ることを特徴とする請求項１４から１６の何れかに記載の画像処理方法。
（付記１８） 前記集合表現生成工程は、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現することを特徴とする付記１７に記載の画像処理方法。
（付記１９） 前記要素集合間比較工程は、
前記集合表現生成工程及び前記周辺要素特徴化工程によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行うことを特徴とする付記１７又は１８に記載の画像処理方法。
（付記２０） 前記画像処理方法は、
前記画像を前もって細分化する画像細分化工程と、
細分化された画像のそれぞれを、前記初期核選択工程、前記周辺要素表現工程、および前記集合生成工程のそれぞれの入力画像として与える細分化画像入力工程と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択工程、前記周辺要素表現工程、および前記集合生成工程のそれぞれの入力として与える統合画像入力工程と、
を更に含むこと特徴とする付記１１から１９の何れかに記載の画像処理方法。
（付記２１） コンピュータに、画像内に含まれる物体または形状の領域を、前記画像から分割させる画像処理プログラムであって、前記コンピュータに、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手順と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手順と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手順と、
を実行させる画像処理プログラム。
（付記２２） 前記初期核選択手順は、前記コンピュータに、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化手順と、
前記要素特徴同士を比較する要素特徴比較手順と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択手順と、
を実行させる付記２１に記載の画像処理プログラム。
（付記２３） 前記構成要素特徴化手順は、前記コンピュータに、該当する要素と前記画像を構成する前記構成要素のすべてに関して、ｉ）定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、ｉｉ）差分が前もって定められた数値以内となる要素の数、およびｉｉｉ）前もって定められた特徴と前記該当する要素特徴との差分、のいずれか１つによって特徴化を行わせることを特徴とする付記２２に記載の画像処理プログラム。
（付記２４） 前記周辺要素表現手順は、前記コンピュータに、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定手順と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化手順と、
を実行させる付記２１から２３の何れかに記載の画像処理プログラム。
（付記２５） 前記周辺要素特徴化手順は、前記コンピュータに、該当する要素と前記周辺要素領域特定手順によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行わせることを特徴とする付記２４に記載の画像処理プログラム。
（付記２６） 前記周辺要素特徴化手順において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする付記２５に記載の画像処理プログラム。
（付記２７） 前記集合生成手順は、前記コンピュータに、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成手順と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較手順と、
前記要素集合間比較手順の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加手順と、
を実行させる付記２４から２６の何れかに記載の画像処理プログラム。
（付記２８） 前記集合表現生成手順は、前記コンピュータに、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素を、前記集合の構成要素に含まれる可能性の高さを連続値または三値化を含む多値化を行った値によって表現させることを特徴とする付記２７に記載の画像処理プログラム。
（付記２９） 前記要素集合間比較手順は、前記コンピュータに、
前記集合表現生成手順及び前記周辺要素特徴化手順によって表現された、前記画像を構成する前記構成要素のすべてまたは定められた範囲内に含まれる要素における特徴を、それぞれの要素内で積算し、
該当するすべての要素において前記積算結果を和算することで、
前記要素と前記集合との比較を行わせることを特徴とする付記２７又は２８に記載の画像処理プログラム。
（付記３０） 前記画像処理プログラムは、前記コンピュータに、
前記画像を前もって細分化する画像細分化手順と、
細分化された画像のそれぞれを、前記初期核選択手順、前記周辺要素表現手順、および前記集合生成手順のそれぞれの入力画像として与える細分化画像入力手順と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択手順、前記周辺要素表現手順、および前記集合生成手順のそれぞれの入力として与える統合画像入力手順と、
を更に実行させる付記２１から２９の何れかに記載の画像処理プログラム。
本発明によれば、画像から物体形状のシルエット情報を抽出することを可能にする画像処理処理を実施し、物体形状の位置と形状を特定することができるので、画像の検索や、画像の分類といった用途に適用可能である。
１０ 制御部
２０ 画像情報取得部
３０ 画像情報記憶部
４０ 集合情報記憶部
５０ 処理結果出力部
１０１ 初期核選択部
１０１−１ 構成要素特徴化部
１０１−２ 要素特徴比較部
１０１−３ 最適要素選択部
１０２ 周辺要素表現部
１０２−１ 周辺要素領域特定部
１０２−２ 周辺要素特徴化部
１０３ 集合生成部
１０３−１ 集合表現生成部
１０３−２ 要素集合間比較部
１０３−３ 要素追加部
２０１ 入力画像制御部
２０１−１ 画像細分化部
２０１−２ 細分化画像入力部
２０１−３ 統合画像入力部
この出願は、２０１２年９月２０日に出願された、日本特許出願第２０１２−２０６８７７号を基礎とする優先権を主張し、その開示を全てここに取り込む。
２０ 画像情報取得部
３０ 画像情報記憶部
４０ 集合情報記憶部
５０ 処理結果出力部
１０１ 初期核選択部
１０１−１ 構成要素特徴化部
１０１−２ 要素特徴比較部
１０１−３ 最適要素選択部
１０２ 周辺要素表現部
１０２−１ 周辺要素領域特定部
１０２−２ 周辺要素特徴化部
１０３ 集合生成部
１０３−１ 集合表現生成部
１０３−２ 要素集合間比較部
１０３−３ 要素追加部
２０１ 入力画像制御部
２０１−１ 画像細分化部
２０１−２ 細分化画像入力部
２０１−３ 統合画像入力部
この出願は、２０１２年９月２０日に出願された、日本特許出願第２０１２−２０６８７７号を基礎とする優先権を主張し、その開示を全てここに取り込む。
Claims (10)
- 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理システムであって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手段と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手段と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手段と、
を備えることを特徴とする画像処理システム。 - 前記初期核選択手段は、
前記画像を構成する前記構成要素のひとつひとつを要素特徴として表現する構成要素特徴化手段と、
前記要素特徴同士を比較する要素特徴比較手段と、
前記要素特徴の比較結果から最適な要素を前記初期核として選択する最適要素選択手段と、
を備えること特徴とする請求項１に記載の画像処理システム。 - 前記構成要素特徴化手段は、該当する要素と前記画像を構成する前記構成要素のすべてに関して、
ｉ）定められた範囲内に含まれる要素との特徴量の差分のうちの最大の値、
ｉｉ）差分が前もって定められた数値以内となる要素の数、および
ｉｉｉ）前もって定められた特徴と前記該当する要素特徴との差分、
のいずれか１つによって特徴化を行うことを特徴とする請求項２に記載の画像処理システム。 - 前記周辺要素表現手段は、
前記画像を構成する前記構成要素のひとつひとつに対し、その周辺要素となるべき別の前記構成要素を特定する周辺要素領域特定手段と、
前記構成要素のひとつひとつとその前記周辺要素とを比較することで、それぞれの周辺要素を特徴化する周辺要素特徴化手段と、
を備えることを特徴とする請求項１から３の何れかに記載の画像処理システム。 - 前記周辺要素特徴化手段は、該当する要素と前記周辺要素領域特定手段によって定められた周辺要素との比較によって得られる特徴量の差分値、または、前記差分値を二種類の閾値で三値化した値によって特徴化を行うことを特徴とする請求項４に記載の画像処理システム。
- 前記周辺要素特徴化手段において三値化を行う閾値は、
前記画像を構成する前記構成要素の特徴量の差分値の分布情報を始めとする、前記画像に帰属する特徴量を用いて正規化処理を行うことによって決定することを特徴とする請求項５に記載の画像処理システム。 - 前記集合生成手段は、
前記初期核を開始点として生成された集合の特徴を、前記初期核を含む集合の構成要素を用いることによって集合表現を生成する集合表現生成手段と、
前記集合の前記集合表現と、前記集合に含まれない外部要素の前記周辺要素表現とを比較する要素集合間比較手段と、
前記要素集合間比較手段の比較結果によって、前記外部要素が前記集合に追加されるべきか否かを決定し、追加されるべきであれば追加を行う要素追加手段と、
を備えることを特徴とする請求項４から６の何れかに記載の画像処理システム。 - 前記画像処理システムは、
前記画像を前もって細分化する画像細分化手段と、
細分化された画像のそれぞれを、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力画像として与える細分化画像入力手段と、
細分化された画像内で構成された領域を構成要素とした画像を、前記初期核選択手段、前記周辺要素表現手段、および前記集合生成手段のそれぞれの入力として与える統合画像入力手段と、
を備えること特徴とする請求項１から７の何れかに記載の画像処理システム。 - 画像内に含まれる物体または形状の領域を、前記画像から分割する画像処理方法であって、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択工程と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現工程と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成工程と、
を含むことを特徴とする画像処理方法。 - コンピュータに、画像内に含まれる物体または形状の領域を、前記画像から分割させる画像処理プログラムであって、前記コンピュータに、
前記画像を構成する構成要素のうち、前記領域を特定するために必要な計算を開始する開始点であるひとつまたは複数の要素を、初期核として選択する初期核選択手順と、
前記構成要素のひとつひとつと、それらの周辺の周辺要素とを比較することによって、前記周辺要素を周辺要素表現として特徴化する周辺要素表現手順と、
前記領域をなす前記初期核または前記領域の構成要素の特徴と、その周辺要素の前記周辺要素表現とを比較することによって、それぞれの前記周辺要素が前記初期核と同一の領域に所属するか否かを決定して、前記領域をなす前記構成要素の集合を生成し、前記領域を前記画像から分割する集合生成手順と、
を実行させる画像処理プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012206877 | 2012-09-20 | ||
| JP2012206877 | 2012-09-20 | ||
| PCT/JP2013/074448 WO2014045950A1 (ja) | 2012-09-20 | 2013-09-04 | 画像処理システム、画像処理方法、およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2014045950A1 true JPWO2014045950A1 (ja) | 2016-08-18 |
Family
ID=50341264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014536771A Pending JPWO2014045950A1 (ja) | 2012-09-20 | 2013-09-04 | 画像処理システム、画像処理方法、およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2014045950A1 (ja) |
| WO (1) | WO2014045950A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0981750A (ja) * | 1995-09-18 | 1997-03-28 | Iseki & Co Ltd | 除草ロボットの雑草認識装置 |
| JP2001043376A (ja) * | 1999-07-30 | 2001-02-16 | Canon Inc | 画像抽出方法及び装置並びに記憶媒体 |
| JP2001266142A (ja) * | 2000-01-13 | 2001-09-28 | Nikon Corp | データ分類方法及びデータ分類装置、信号処理方法及び信号処理装置、位置検出方法及び位置検出装置、画像処理方法及び画像処理装置、露光方法及び露光装置、並びにデバイス製造方法 |
-
2013
- 2013-09-04 WO PCT/JP2013/074448 patent/WO2014045950A1/ja active Application Filing
- 2013-09-04 JP JP2014536771A patent/JPWO2014045950A1/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0981750A (ja) * | 1995-09-18 | 1997-03-28 | Iseki & Co Ltd | 除草ロボットの雑草認識装置 |
| JP2001043376A (ja) * | 1999-07-30 | 2001-02-16 | Canon Inc | 画像抽出方法及び装置並びに記憶媒体 |
| JP2001266142A (ja) * | 2000-01-13 | 2001-09-28 | Nikon Corp | データ分類方法及びデータ分類装置、信号処理方法及び信号処理装置、位置検出方法及び位置検出装置、画像処理方法及び画像処理装置、露光方法及び露光装置、並びにデバイス製造方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014045950A1 (ja) | 2014-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7317919B2 (ja) | 外観検索のシステムおよび方法 | |
| CN109151501B (zh) | 一种视频关键帧提取方法、装置、终端设备及存储介质 | |
| AU2015274708B2 (en) | Rule-based video importance analysis | |
| CN110088805B (zh) | 用于检测和分割多个前景对象的方法 | |
| CN105989594B (zh) | 一种图像区域检测方法及装置 | |
| US20230196837A1 (en) | Action recognition method and apparatus, and device and storage medium | |
| US9020195B2 (en) | Object tracking device, object tracking method, and control program | |
| Varnousfaderani et al. | Weighted color and texture sample selection for image matting | |
| US9626585B2 (en) | Composition modeling for photo retrieval through geometric image segmentation | |
| EP3044947A1 (en) | Automated selection of keeper images from a burst photo captured set | |
| JP5500024B2 (ja) | 画像認識方法及び装置並びにプログラム | |
| JPWO2010084739A1 (ja) | 映像識別子抽出装置 | |
| JP5965764B2 (ja) | 映像領域分割装置及び映像領域分割プログラム | |
| JP5914046B2 (ja) | 画像処理装置および画像処理方法 | |
| US9224069B2 (en) | Program, method and apparatus for accumulating images that have associated text information | |
| KR101323369B1 (ko) | 영상 프레임 군집화 장치 및 방법 | |
| JP2005352718A (ja) | 代表画像選択装置，代表画像選択方法および代表画像選択プログラム | |
| CN116721288A (zh) | 一种基于YOLOv5的安全帽检测方法及*** | |
| WO2014045950A1 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
| Katsenou et al. | Understanding video texture—A basis for video compression | |
| JP6068895B2 (ja) | 画像処理装置およびプログラム | |
| Ye et al. | Unsupervised Monocular depth estimation based on dual attention mechanism and depth-aware loss | |
| Majumder et al. | Two-in-One Refinement for Interactive Segmentation. | |
| KR102444172B1 (ko) | 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템 | |
| US10380447B1 (en) | Providing regions of interest in an image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170913 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180404 |