JP6089886B2 - 領域分割方法および検査装置 - Google Patents

Description

本発明は、画像から所望の領域を抽出するための技術に関する。

コンピュータによるデジタル画像処理によって、与えられた画像を前景（抽出したい部分）と背景（それ以外の部分）に分離する領域分割（セグメンテーション）と呼ばれる技術が知られている。領域分割のアルゴリズムには従来から様々なものが提案されているが、大別すると、ピクセル毎に前景か背景かを判別するピクセルベースの方法と、前景と背景の境界を探索する輪郭ベースの方法とがある。前者としては、単純な二値化や色域抽出、クラスタリングによる色分割などがある。また特許文献１には、色域抽出により得られたピクセル群をさらにクラスタリングすることで、対象色（人の肌色等）のピクセルとそれ以外の色のピクセルを細かく弁別する方法が提案されている。後者の方法としては、スネーク（Snakes）、レベルセット（Level Sets）、グラフカット（Graph Cuts）などが知られている（例えば非特許文献１参照）。これらの方法は、前景領域の輪郭（前景と背景の境界）の最適解をエネルギー最小化問題として解く方法である。

領域分割においては、アルゴリズムの簡単化と分割精度の向上のため、ユーザが前景と背景それぞれの代表的な色を教示する方法が採られることが多い（インタラクティブセグメンテーションと呼ばれる）。例えば非特許文献１では、ユーザが表示画像に対し前景の一部と背景の一部にそれぞれ線を描画すると、その線上から前景と背景の代表色をサンプルする方法が開示されている。

インタラクティブセグメンテーションは、前景や背景の色が未知であったり、画像中に多くの色や模様が含まれていたり、前景と背景の色が似ているなど、前景と背景の自動切り分けが難しい場合に非常に有効である。しかしながら、ユーザによっては、前景と背景の両方を指定する作業を面倒に感じたり、適切な背景を探すのに手間取ったりする可能性がある。また一般的な人の感覚として、関心のある対象物（前景）の一部を指定することは直感的であるが、関心のない領域（背景）を指定する操作は直感的でなく違和感をおぼえるユーザも多い。

ユーザの指定作業を簡易化する方法として、特許文献２では、事前知識として対象物の大きさ（存在し得る範囲）をあらかじめ設定しておき、ユーザが対象物（前景）の１点を指定すると、その点の座標と対象物の大きさとから対象物の外側に存在する点（背景）を推定し、前景と背景それぞれの色を抽出するという方法が提案されている。しかし、この方法は、対象物の大きさが未知の場合には適用することができず、汎用性に欠けるという課題がある。

また、アドビ社のフォトレタッチソフトPhotoshopに搭載された「自動選択ツール」お
よび「クイック選択ツール」では、ユーザが画像の一部を指定すると、その指定箇所の周囲にある類似色のピクセルが自動で選択される。つまり、前景の一部を指定するだけで領域抽出が可能であり、背景を指定する手間を省いている。しかし、同ソフトでは指定箇所の色（前景の代表色）との類似性だけを評価しているため、抽出結果の精度があまり高くない。例えば、前景と背景の色が似ている場合や、前景部分の色の変化がなだらかに続いている場合などには、ユーザが意図する範囲が選択されず、範囲の追加や削除といった修正作業が必要となる。

特開２００７−１９３５５３号公報 特開２００８−２４５７１９号公報

Y. Boykov and M.-P. Jolly: "Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D images", ICCV2001, 01, p. 105 (2001).

本発明は上記実情に鑑みなされたものであって、その目的とするところは、ユーザが前景の一部を教示するだけで、画像を前景と背景に精度よく分割可能な技術を提供することにある。

上記目的を達成するために、本発明では、ユーザにより指定された前景指定ピクセルの色に基づいて前景の色分布と背景の色分布を推定し、これらの色分布を条件として用いて領域分割を行うことを要旨とする。

具体的には、本発明は、画像を前景と背景に分割する領域分割方法であって、コンピュータが、前記画像のうち前景とすべき領域内の一部のピクセルを前景指定ピクセルとしてユーザに指定させる前景指定ステップと、コンピュータが、ユーザにより指定された前記前景指定ピクセルの色に基づいて、前景の色分布と背景の色分布を推定する推定ステップと、コンピュータが、推定された前記前景の色分布と前記背景の色分布を条件として用いて、前記画像を前景領域と背景領域に分割する領域分割ステップと、を含み、前記推定ステップは、前記画像の色分布を複数のクラスタに分けるステップと、前記複数のクラスタのうち、ユーザにより指定された前記前景指定ピクセルとの関連性が大きい一以上のクラスタを前記前景の色分布として選び、前記前景指定ピクセルとの関連性が小さい一以上のクラスタを前記背景の色分布として選ぶステップと、を含む。

この構成によれば、ユーザは前景の一部を指定するだけでよい（背景を指定する必要がない）ので、ユーザの操作が直感的かつ簡易になる。そして、ユーザにより指定された前景指定ピクセルの色に基づいて前景の色分布と背景の色分布を推定し、前景と背景の両方の色分布を条件として用いて領域分割を行うので、前景の条件のみを用いる方法に比べて、精度の高い領域分割を行うことができる。また、対象物（前景）の大きさ等の事前知識を与える必要がないので、汎用性に優れるという利点もある。

前記領域分割ステップでは、前景領域の候補解である複数の候補領域について、前記前景の色分布に対する候補領域の内側の各ピクセルの色の前景らしさと前記背景の色分布に対する候補領域の外側の各ピクセルの色の背景らしさとを評価することにより、前記複数の候補領域のなかから前景領域の最適解が求められることが好ましい。このような最適解探索によれば精度の良い領域分割が可能となる。

前記領域分割ステップでは、ユーザにより指定された前記前景指定ピクセルを包含するように前記複数の候補領域が設定されることが好ましい。このように、ユーザにより指定された前景指定ピクセルの色の情報だけでなく位置の情報も初期条件として利用することで、探索範囲を絞り込むことができるので、最適解探索の精度向上と処理時間の短縮を期待できる。

前記推定ステップでは、前記複数のクラスタの各々について、クラスタに含まれる前記前景指定ピクセルをカウントした結果に基づいて前記前景指定ピクセルとの関連性の大きさを評価することが好ましい。クラスタに含まれる前景指定ピクセルをカウントするときに、前景指定ピクセルの数をそのままカウントしてもよいし、前景指定ピクセルの位置に応じた重みを付けてカウントしてもよい。

前記推定ステップでは、前記前景指定ピクセルとの関連性が閾値以上であるクラスタ、または、前記前景指定ピクセルとの関連性が大きいものから順に所定数のクラスタを、前記前景の色分布として選ぶことができる。また、前記推定ステップでは、前記前景指定ピクセルを含まないクラスタ、前記前景指定ピクセルとの関連性が閾値より小さいクラスタ、または、前記前景指定ピクセルとの関連性が小さいものから順に所定数のクラスタを、前記背景の色分布として選ぶことができる。ここで、閾値や所定数は１以上の任意の値を採ることができ、ユーザにより変更できるようにしてもよいし、コンピュータが動的に変更してもよい。

前記前景ステップでは、表示装置に表示した前記画像の上に図形を描画する操作により、前記前景指定ピクセルの指定が行われることが好ましい。このようなユーザインタフェースを用いることで、前景指定ピクセルを直観的かつ簡易に指定することができる。ここで、描画する図形の形式はどのようなものでもよい。例えば、前記図形は、直線、曲線、円、楕円、多角形、または、閉図形であるとよい。

なお、本発明は、上記処理の少なくともいずれかを含む領域分割方法として捉えることもできるし、上記処理（機能）の少なくともいずれかを有する領域分割装置または画像処理装置として捉えることもできる。また本発明は、上記処理によって抽出された前景領域を検査領域に設定し、当該検査領域内の画像を解析することにより検査対象物の検査を行う検査装置や検査方法として捉えることもできる。さらに本発明は、上記領域分割方法または検査方法の各ステップをコンピュータに実行させるためのプラグラムやこのプログラムを記録した記憶媒体として捉えることもできる。上記処理及び機能は、技術的な矛盾のない限り、任意に組み合わせて本発明を構成することができる。

本発明によれば、ユーザが前景の一部を教示するだけで、画像を前景と背景に精度よく分割することができる。

画像検査装置の構成を模式的に示す図。 検査処理の流れを示すフローチャート。 検査処理における検査領域の抽出過程を説明するための図。 設定ツール１０３を用いて検査領域を設定する処理の流れを示すフローチャート。 検査領域設定画面の一例を示す図。 前景指定図形の描画の一例を示す図。 前景の色分布と背景の色分布の推定処理を説明するための図。

本発明は、ユーザの教示を必要とするインタラクティブセグメンテーションにおいて、ユーザが前景の一部を指定するだけで、前景と背景の両方の色分布を推定し、これらの色分布を条件として用いることで高精度な領域分割を実現するものである。本発明に係る領域分割方法は、各種のデジタル画像処理、コンピュータビジョン、マシンビジョンの要素技術として利用可能である。一例を挙げると、画像検査装置において元画像から検査対象
とすべき領域を抽出する処理、静止画や動画から顔・人体・手指（ジェスチャ）の領域や輪郭を検出する処理、車載カメラの映像から道路の白線や標識や所定の物体を検出する処理、画像処理用の学習用データベースを構築する際に入力対象となる領域を設定する処理、画像編集で背景合成を行うにあたり元画像の中から前景部分のみをトリミングする処理、医用画像の中から診断対象の臓器や部位のみ抽出する処理など、様々な応用例が考えられる。以下に述べる実施形態では、一応用例として、画像検査装置における検査領域設定機能（設定ツール）に本発明に係る領域分割方法を実装した例を説明する。

（画像検査装置）
図１は、画像検査装置の構成を模式的に示している。この画像検査装置１は、搬送路上を搬送される検査対象物２の外観検査を行うシステムである。

図１に示すように、画像検査装置１は、装置本体１０、画像センサ１１、表示装置１２、記憶装置１３、入力装置１４などのハードウエアから構成される。画像センサ１１は、カラー又はモノクロの静止画像あるいは動画像を装置本体１０に取り込むためのデバイスであり、例えばデジタルカメラを好適に用いることができる。ただし、可視光像以外の特殊な画像（Ｘ線画像、サーモ画像など）を検査に利用する場合には、その画像に合わせたセンサを用いればよい。表示装置１２は、画像センサ１１で取り込まれた画像、検査結果、検査処理や設定処理に関わるＧＵＩ画面を表示するためのデバイスであり、例えば液晶ディスプレイなどを用いることができる。記憶装置１３は、画像検査装置１が検査処理において参照する各種の設定情報（検査領域定義情報、検査ロジックなど）や検査結果などを格納するデバイスであり、例えばＨＤＤ、ＳＳＤ、フラッシュメモリ、ネットワークストレージなどを利用可能である。入力装置１４は、ユーザが装置本体１０に対し指示を入力するために操作するデバイスであり、例えばマウス、キーボード、タッチパネル、専用コンソールなどを利用可能である。

装置本体１０は、ハードウエアとして、ＣＰＵ（中央演算処理装置）、主記憶装置（ＲＡＭ）、補助記憶装置（ＲＯＭ、ＨＤＤ、ＳＳＤなど）を備えたコンピュータで構成することができ、その機能として、検査処理部１０１、検査領域抽出部１０２、設定ツール１０３を有している。検査処理部１０１と検査領域抽出部１０２が検査処理に関わる機能であり、設定ツール１０３は検査処理に必要な設定情報のユーザによる設定作業を支援する機能である。これらの機能は、補助記憶装置又は記憶装置１３に格納されたコンピュータ・プログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで実現される。なお、図１は装置構成の一例を示すものにすぎず、画像センサ１１、表示装置１２、記憶装置１３、入力装置１４の全部又は一部を装置本体１０に一体化してもよい。なお装置本体１０は、パーソナルコンピュータやスレート型端末のようなコンピュータで構成してもよいし、或いは、専用チップやオンボードコンピュータなどで構成することもできる。

（検査処理）
図２及び図３を参照して、画像検査装置１の検査処理に関わる動作を説明する。図２は、検査処理の流れを示すフローチャートであり、図３は、検査処理における検査領域の抽出過程を説明するための図である。ここでは、説明の便宜のため、携帯電話の筐体部品のパネル面の検査（キズ、色ムラの検出）を例に挙げて検査処理の流れを説明する。

ステップＳ２０では、画像センサ１１によって検査対象物２が撮影され、画像データが装置本体１０に取り込まれる。ここで取り込まれた画像（元画像）は必要に応じて表示装置１２に表示される。図３の上段は元画像の一例を示している。元画像の中央に検査対象となる筐体部品２が写っており、その左右には搬送路上の隣にある筐体部品の一部が写り込んでいる。

ステップＳ２１では、検査領域抽出部１０２が、記憶装置１３から必要な設定情報を読み込む。設定情報には、少なくとも検査領域定義情報と検査ロジックとが含まれる。検査領域定義情報とは、元画像から抽出すべき検査領域の位置・形状を定義する情報である。検査領域定義情報の形式は任意であり、例えば検査領域の内側と外側とでラベルを変えたビットマスクや、検査領域の輪郭をベジェ曲線やスプライン曲線で表現したベクタデータなどを用いることができる。検査ロジックとは、検査処理の内容を定義する情報であり、例えば、検査に用いる特徴量の種類、判定方法、特徴量抽出や判定処理で用いるパラメタや閾値などが該当する。

ステップＳ２２では、検査領域抽出部１０２が、検査領域定義情報にしたがって、元画像から検査領域とする部分を抽出する。図３の中段は、検査領域定義情報で定義された検査領域（クロスハッチングで示す）３０を元画像に重ねた様子を示している。検査領域３０がちょうど筐体部品２のパネル面の上に重なっていることがわかる。図３の下段は、元画像から検査領域３０の部分の画像（検査領域画像３１）を抽出した様子を示している。検査領域画像３１では、筐体部品２のまわりに写っていた搬送経路や隣の部品が削除されている。また、表面検査の対象部位から除外される、ヒンジ部分２０やボタン部分２１も削除されている。このようにして得られた検査領域画像３１は検査処理部１０１に引き渡される。

ステップＳ２３では、検査処理部１０１が、検査ロジックにしたがって、検査領域画像３１を解析して必要な特徴量を抽出する。本例では、表面のキズ・色ムラの検査を行うための特徴量として、検査領域画像３１の各ピクセルの色とその平均値が抽出される。

ステップＳ２４では、検査処理部１０１が、検査ロジックにしたがって、キズ・色ムラの有無を判定する。例えば、ステップＳ２３で得られた平均値に対する色差が閾値を超えるピクセル群が検出された場合に、そのピクセル群をキズあるいは色ムラと判定することができる。

ステップＳ２５では、検査処理部１０１が検査結果を表示装置１２に表示し、記憶装置１３に記録する。以上で、１つの検査対象物２に対する検査処理が完了する。生産ラインにおいては、検査対象物２が画像センサ１１の画角内に搬送されるタイミングと同期して、図２のステップＳ２０〜Ｓ２５の処理が繰り返される。

外観検査においては、検査の対象とすべきピクセルのみを過不足なく検査領域画像３１として切り出すことが望ましい。検査領域画像３１の中に背景部分や余計な部分（図３の例ではヒンジ部分２０やボタン部分２１）が含まれていたりするとそのピクセルがノイズとなり検査精度を低下させるおそれがあるし、逆に、検査領域画像３１が検査の対象とすべき範囲よりも小さいと、検査の漏れを生じるおそれがあるからである。そこで本実施形態の画像検査装置１では、正確な検査領域画像を切り出すための検査領域定義情報を簡単に作成するための設定ツール１０３を用意している。

（検査領域の設定処理）
図４のフローチャートに沿って、設定ツール１０３の機能及び動作について説明する。図４は、設定ツール１０３を用いて検査領域を設定する処理の流れを示すフローチャートである。また、適宜、図５の検査領域設定画面例も参照する。

設定ツール１０３を起動すると、表示装置１２に図５の設定画面が表示される。この設定画面には、画像ウィンドウ５０、画像取込ボタン５１、ツールボタン５２、領域分割ボタン５３、確定ボタン５４、設定変更ボタン５５が設けられている。ボタンの選択、画像ウィンドウ５０に表示された画像に対する図形描画（前景指定）などは入力装置１４を用
いた所定の操作（例えばマウスのクリックやドラッグ、所定のキーの押下など）により行うことができる。なおこの設定画面はあくまでも一例にすぎず、以下に述べる入力操作や画像の確認などを行うことができればどのようなＵＩを用いてもよい。

ユーザにより画像取込ボタン５１が押されると、設定ツール１０３は画像センサ１１によって検査対象物のサンプルを撮影する（ステップＳ４０）。サンプルとしては良品の検査対象物を用い、実際の検査処理の場合と同じ状態（画像センサ１１とサンプルの相対位置、照明など）で撮影を行うとよい。得られたサンプル画像データは装置本体１０に取り込まれる。なお、事前に撮影されたサンプル画像が装置本体１０の補助記憶装置や記憶装置１３の中に存在する場合には、設定ツール１０３は補助記憶装置又は記憶装置１３からサンプル画像のデータを読み込んでもよい。

ステップＳ４０で取り込まれたサンプル画像は、図５に示すように、設定画面の画像ウィンドウ５０に表示される（ステップＳ４１）。図５に示すように対象物が複雑な形状をもつものであったり、前景（検査領域として抽出すべき部分）と背景（それ以外の部分）の色又は輝度の差があまり大きくないものであったりする場合は、検査領域をどこに設定すべきかをコンピュータが自動で解釈・決定することは難しい。そこで、本実施形態では、ユーザがサンプル画像中の前景とすべき領域内の一部を初期値としてコンピュータに教示する。

（前景の指定）
本実施形態では、サンプル画像上の任意の位置に図形を描画する操作により、前景の指定が行われる（以下、この図形を前景指定図形と呼ぶ）。設定ツール１０３は、前景指定図形を描画するためのツールとして、直線描画ツール、曲線描画ツール、円描画ツール、矩形描画ツール、閉図形描画ツール、消しゴムツールを用意している。ツールボタン５２における該当するアイコンを選択することで、ツールの切換が可能である。

直線描画ツールを利用すると、図６（ａ）に示すように、画像ウィンドウ５０に表示されたサンプル画像上に直線分や連続直線（折れ線）を描画できる。線の太さは任意に変更できる。直線の入力操作については、ＣＡＤやドローソフトなどで用いられている操作（例えば、始点と終点のクリック、始点クリックとドラッグの組み合わせなど）を利用すればよいので、ここでは説明を省略する。他の図形入力についても同様である。曲線描画ツールを利用すると、図６（ｂ）に示すように、画像上に自由曲線やベジェ曲線やスプライン曲線を描画できる。円描画ツールを利用すると、図６（ｃ）に示すように、円または楕円を描画できる。矩形描画ツールを利用すると、図６（ｄ）に示すように、正方形または長方形を描画できる。閉図形描画ツールを利用すると、図６（ｅ）に示すように、自由曲線で定義される任意の閉図形を描画できる。図６（ａ）〜（ｅ）では１つの図形しか示されていないが、複数の図形を描画することも可能である。円描画ツール、矩形描画ツール、閉図形描画ツールの場合は、円、矩形、または閉図形の内側の領域を前景指定図形としてもよいし、直線描画ツールや曲線描画ツールと同じように図形の輪郭部分を前景指定図形としてもよい。消しゴムツールは、描画した図形を消去するためのツールである。なお、これらのツールは一例であり、画像上の一部の領域を線や多角形その他の閉図形で指定することができればどのようなツールを用いてもよい。

いずれかのツールを利用して画像上に前景指定図形が描画されると（ステップＳ４２）、領域分割ボタン５３が選択可能となる。その後、ユーザにより領域分割ボタン５３が押されると、設定ツール１０３は、前景指定図形が重畳されている部分のピクセル（これを前景指定ピクセルと呼ぶ）のデータをサンプル画像から取得する（ステップＳ４３）。そして、設定ツール１０３は、これらの前景指定ピクセルの色に基づいて以下に述べる方法により前景と背景それぞれの代表色の色分布を推定する。

（前景と背景の色分布の推定）
まず設定ツール１０３は、サンプル画像の各ピクセルの値（色）を所定の色空間にマッピングする（ステップＳ４４）。色空間としては、サンプル画像のカラーチャネルと同じ色空間（例えばＲＧＢ色空間）でもよいし、Ｌ＊ａ＊ｂ＊やＸＹＺのような他の色空間を用いることもできる。また計算を簡単にするために、２次元や１次元の色空間を用いてもよい。図７（ａ）は、マッピング結果の一例を模式的に示している（図示の便宜から２次元の色空間の例を示す）。×マークがマッピングされたピクセルを表している。実際の画像では数十万から数百万程度のピクセルが存在するが、図７（ａ）では簡略化して示している。

次に設定ツール１０３は、色空間にマッピングされたピクセル群（すなわちサンプル画像の色分布）を色の類似性に基づいて複数のクラスタに分割する（ステップＳ４５）。クラスタリングアルゴリズムとしては、ＧＭＭ（Gaussian Mixture Model）クラスタリング、K-means法、mean-shift法、無限混合ディリクレ分布など、どのようなアルゴリズムを
用いてもよいが、本実施形態の場合はＧＭＭクラスタリングを用いることが好ましい。後段の最適解探索における尤度計算にＧＭＭを利用するため、ＧＭＭクラスタリングの計算結果をそのまま最適解探索に流用できるという利点があるからである。なお、クラスタの数（分割数）は動的に決定してもよいし、ユーザが設定することもできる。図７（ｂ）は、クラスタリング結果の一例として、６つのクラスタ７１〜７６に分割された例を模式的に示している。

次に設定ツール１０３は、６つのクラスタ７１〜７６の各々について、ステップＳ４３で取得した前景指定ピクセルとの関連性の大きさを評価する（ステップＳ４６）。具体的には、設定ツール１０３は、各々のクラスタに含まれる前景指定ピクセルをカウントし、そのカウント結果に基づいて前景指定ピクセルとの関連性の大きさを表すスコアを計算する。図７（ｃ）において、○マークで示したものが前景指定ピクセルである。クラスタ７１、７２、７３には前景指定ピクセルが含まれ、残りのクラスタ７４、７５、７６には前景指定ピクセルが含まれていないことがわかる。本実施形態では、前景指定ピクセル１個につき１ずつカウントした結果（つまりクラスタ内の前景指定ピクセルの総数）をスコアとして用いる。この場合、クラスタ７３のスコアが「５」、クラスタ７１と７２のスコアが「２」、クラスタ７４、７５、７６のスコアが「０」となり、前景指定ピクセルとの関連性はクラスタ７３が最も大きく、クラスタ７４、７５、７６が最も小さい、との評価結果が得られる。

なお、関連性の大きさを表す指標（スコア）の計算方法は上記の例に限らない。例えば、設定ツール１０３は、前景指定ピクセルの位置に応じた重みを付けて、前景指定ピクセルのカウントを行ってもよい。例えば、ユーザにより描画された前景指定図形の中心部にあるピクセルの重みを、周辺部にあるピクセルの重みよりも大きくするとよい。ユーザは典型的な前景部分だと思う箇所を中心として図形を描画する可能性が高いからである。周辺部のピクセルの重みを小さくしておけば、図形の端が前景からはみ出し背景部分にかかってしまったとしても、スコアに与える影響を小さくできるという利点もある。別の方法として、複数の前景指定図形が描画されたときに、図形ごとにピクセルの重みを変えることもできる。例えば、中心にある図形ほど重みを大きくするとか、面積の小さい図形ほど重みを大きくするとか、ユーザに図形ごとの重みを指定させるなどが考えられる。なお、ここまでは前景指定ピクセルの画像内の位置に応じた重み制御であるが、前景指定ピクセルの色空間内（クラスタ内）の位置に応じた重み制御を行うこともできる。例えば、クラスタの中心部にあるピクセルの重みを、クラスタの周辺部にあるピクセルの重みよりも大きくするとよい。クラスタの中心に前景指定ピクセルが集中しているほど、当該クラスタが前景の色を表している蓋然性が高いといえるからである。

次に設定ツール１０３は、６つのクラスタ７１〜７６の中から、前景指定ピクセルとの関連性が大きい一以上のクラスタを選択し、それらを合成したＧＭＭを前景の色分布に決定する（ステップＳ４７）。本実施形態では、スコアが１以上のクラスタ（つまり前景指定ピクセルを一個以上含んでいるクラスタ）がすべて選択される。図７（ｃ）の例では、３つのクラスタ７１、７２、７３からなるＧＭＭが前景の色分布となる。

なお、ステップＳ４７におけるクラスタの選択の仕方は上記の例に限られない。例えば、前景指定ピクセルとの関連性（スコア）が大きいか否かを判定する閾値を１より大きい値に設定してもよいし、ユーザにより閾値を変更できるようにしてもよい。前景指定ピクセルの総数や前景指定ピクセルの分布などに応じて閾値を動的に変えることも好ましい。あるいは、スコアと閾値との比較で決めるのではなく、前景指定ピクセルとの関連性（スコア）が大きい順にクラスタをソートし、前景指定ピクセルとの関連性が大きいものから順に所定数のクラスタを前景の色分布に選ぶこともできる。所定数は１以上の任意の値に設定でき、ユーザにより変更できるようにしてもよい。前景指定ピクセルの総数やクラスタの分割数などに応じて、前景の色分布として選択するクラスタの数を動的に変えることも好ましい。

次に設定ツール１０３は、６つのクラスタ７１〜７６の中から、前景指定ピクセルとの関連性が小さい一以上のクラスタを選択し、それらを合成したＧＭＭを背景の色分布に決定する（ステップＳ４８）。本実施形態では、スコアが１より小さい（つまり前景指定ピクセルを一つも含まない）クラスタがすべて選択される。図７（ｃ）の例では、３つのクラスタ７４、７５、７６からなるＧＭＭが背景の色分布となる。

ステップＳ４８におけるクラスタの選択の仕方についても様々なバリエーションが考えられる。例えば、前景指定ピクセルとの関連性（スコア）が小さいか否かを判定する閾値を１より大きい値に設定してもよいし、ユーザにより閾値を変更できるようにしてもよい。前景指定ピクセルの総数や前景指定ピクセルの分布などに応じて閾値を動的に変えることも好ましい。あるいは、スコアと閾値との比較で決めるのではなく、前景指定ピクセルとの関連性（スコア）が小さい順にクラスタをソートし、前景指定ピクセルとの関連性が小さいものから順に所定数のクラスタを背景の色分布に選ぶこともできる。所定数は１以上の任意の値に設定でき、ユーザにより変更できるようにしてもよい。前景指定ピクセルの総数やクラスタの分割数などに応じて、背景の色分布として選択するクラスタの数を動的に変えることも好ましい。

なお、すべてのクラスタが前景の色分布か背景の色分布として選択される必要はない。逆に、同じクラスタが前景の色分布と背景の色分布の両方に選択されることを許容しても構わない。前景と背景に似た色が含まれる場合があるからである。さらに、ステップＳ４７、Ｓ４８において、前景指定ピクセルとの関連性だけでなく、クラスタ間の距離（色空間での距離）を考慮することも好ましい。例えば、前景と背景の色の違いが明確であることが予めわかっている場合であって、かつ、背景のクラスタの候補が多く存在する場合には、前景の色分布として選ばれたクラスタからの距離が離れているクラスタを優先的に背景のクラスタとして選択するとよい。あるいは、背景の色を網羅的にサンプルするために、なるべくクラスタ間の距離が大きくなるように背景のクラスタを選択してもよい。前景のクラスタの場合も同様である。

（領域分割）
続いて、設定ツール１０３は、ステップＳ４４〜Ｓ４８で推定された前景の色分布と背景の色分布を初期条件として用いて、サンプル画像に対し領域分割（セグメンテーション）を実行する（ステップＳ４９）。領域分割についてはいかなるアルゴリズムを利用する
こともできるが、前景と背景の最適な境界を探索する輪郭ベースのアルゴリズムを用いることが好ましい。例えば、グラフカットやレベルセットなどのアルゴリズムを好適に利用できる。これらのアルゴリズムでは、前景領域の候補解（候補領域）について、候補領域の内側のピクセルの色の前景らしさ（前景尤度）と候補領域の外側のピクセルの色の背景らしさ（背景尤度）を評価することで、複数の候補領域のなかから前景領域の最適解を探索する。ここで、各ピクセルの色の前景らしさ（前景尤度）は、ステップＳ４７で得られた前景の色分布であるＧＭＭを確率密度関数として用いて、計算できる。また、各ピクセルの色の背景らしさ（背景尤度）は、ステップＳ４８で得られた背景の色分布であるＧＭＭを確率密度関数として用いて、計算できる。例えば、グラフカットアルゴリズムを用いる場合には、候補領域の内側の各ピクセルの前景尤度と候補領域の外側の各ピクセルの背景尤度の合計値を評価する式を目的関数のデータ項として用いればよい。その場合の平滑化項には、例えば、各ピクセルの４近傍のエッジ重みを評価する式などを用いることができる。グラフカットアルゴリズムは公知の手法であるため（非特許文献１など参照）、ここでは詳しい説明は割愛する。

なお、ステップＳ４９の最適解探索においては、ユーザにより指定された前景指定ピクセルをすべて包含するように前景領域の候補領域の設定を行うとよい。このように前景指定ピクセルの位置情報も初期条件として利用することで、探索範囲を絞り込むことができ、最適解探索の精度向上と処理時間の短縮を期待できるからである。

設定ツール１０３は、ステップＳ４９の領域分割の結果として抽出された前景領域（または前景領域と背景領域の境界）をサンプル画像の上にオーバーレイ表示する（ステップＳ５０）。ユーザはこの表示を見ることで、所望の領域が前景として抽出されたかどうかを確認することができる。その後、ユーザにより確定ボタン５４が押されると、設定ツール１０３は、前景領域を検査領域として確定し、検査領域定義情報を生成し記憶装置１３に格納する（ステップＳ５１）。

なお、ステップＳ４９で抽出された前景領域が適当でない場合には、画像の取込み（ステップＳ４０）または前景指定（ステップＳ４２）からやり直せばよい。あるいは、設定変更ボタン５５を押すことにより、設定変更ダイアログを表示し、前景指定や領域分割に関する設定パラメタを調整することもできる。設定パラメタとしては、例えば、前景指定図形を描画するときの線（ブラシ）の太さ、クラスタの分割数、前景と背景それぞれの色分布の決定方法や閾値などを調整できるようにするとよい。

（本実施形態の利点）
以上述べた設定ツール１０３によれば、ユーザは前景の一部を指定するだけでよい（背景を指定する必要がない）ので、ユーザの操作が直感的かつ簡易になる。そして、ユーザにより指定された前景指定ピクセルの色に基づいて前景の色分布と背景の色分布を推定し、前景と背景の両方の色分布を条件として用いて領域分割を行うので、前景の条件のみを用いる方法に比べて、精度の高い領域分割を行うことができる。また、対象物（前景）の大きさ等の事前知識を与える必要がないので、汎用性に優れるという利点もある。特に本実施形態では、グラフカットやレベルセットなどの領域分割アルゴリズムを利用して前景領域の最適解を求めているので、前景と背景の境界を精度良く決定することが可能となる。しかも、ユーザにより指定された前景指定ピクセルを包含するように探索範囲を設定するので、探索精度の向上と処理時間の短縮を両立できる。

上述した実施形態は本発明の一具体例を示したものであり、本発明の範囲をそれらの具体例に限定する趣旨のものではない。例えば、上記実施形態ではサンプル画像としてカラー画像を想定しているため、画像の色情報を利用したが、モノクロ画像を用いる場合には、輝度（濃度）の情報を色情報の代わりに用いればよい。また、前述したように、本発明
の領域分割方法は、外観検査装置に限らず、各種のデジタル画像処理、コンピュータビジョン、マシンビジョンの要素技術として汎用的に利用可能である。

１：画像検査装置
２：検査対象物
１０：装置本体、１１：画像センサ、１２：表示装置、１３：記憶装置、１４：入力装置１０１：検査処理部、１０２：検査領域抽出部、１０３：設定ツール
２０：ヒンジ部分、２１：ボタン部分
３０：検査領域、３１：検査領域画像
５０：画像ウィンドウ、５１：画像取込ボタン、５２：ツールボタン、５３：領域分割ボタン、５４：確定ボタン、５５：設定変更ボタン
７１−７６：クラスタ

Claims (15)

1. 画像を前景と背景に分割する領域分割方法であって、
   コンピュータが、前記画像のうち前景とすべき領域内の一部のピクセルを前景指定ピクセルとしてユーザに指定させる前景指定ステップと、
   コンピュータが、ユーザにより指定された前記前景指定ピクセルの色に基づいて、前景の色分布と背景の色分布を推定する推定ステップと、
   コンピュータが、推定された前記前景の色分布と前記背景の色分布を条件として用いて、前記画像を前景領域と背景領域に分割する領域分割ステップと、を含み、
   前記推定ステップは、
   前記画像の色分布を複数のクラスタに分けるステップと、
   前記複数のクラスタの各々について、クラスタに含まれる前記前景指定ピクセルをカウントした結果に基づいて前記前景指定ピクセルとの関連性の大きさを評価する評価ステップと、
   前記複数のクラスタのうち、ユーザにより指定された前記前景指定ピクセルとの関連性が大きい一以上のクラスタを前記前景の色分布として選び、前記前景指定ピクセルとの関連性が小さい一以上のクラスタを前記背景の色分布として選ぶ選択ステップと、を含むことを特徴とする領域分割方法。
2. 前記評価ステップでは、クラスタに含まれる前記前景指定ピクセルをカウントするときに、前記前景指定ピクセルの位置に応じた重みを付けてカウントする
   ことを特徴とする請求項１に記載の領域分割方法。
3. 前記前景指定ステップでは、表示装置に表示した前記画像の上に図形を描画する操作により、前記前景指定ピクセルの指定が行われ、
   前記評価ステップでは、描画された前記図形の中心部にあるピクセルの重みを、前記図形の周辺部にあるピクセルの重みよりも大きくする
   ことを特徴とする請求項２に記載の領域分割方法。
4. 前記評価ステップでは、前記前景指定ピクセルをクラスタ内の位置に応じた重みを付け
   てカウントする
   ことを特徴とする請求項２に記載の領域分割方法。
5. 前記評価ステップでは、前記クラスタの中心部にあるピクセルの重みを、前記クラスタの周辺部にあるピクセルの重みよりも大きくする
   ことを特徴とする請求項４に記載の領域分割方法。
6. 画像を前景と背景に分割する領域分割方法であって、
   コンピュータが、前記画像のうち前景とすべき領域内の一部のピクセルを前景指定ピクセルとしてユーザに指定させる前景指定ステップと、
   コンピュータが、ユーザにより指定された前記前景指定ピクセルの色に基づいて、前景の色分布と背景の色分布を推定する推定ステップと、
   コンピュータが、推定された前記前景の色分布と前記背景の色分布を条件として用いて、前記画像を前景領域と背景領域に分割する領域分割ステップと、を含み、
   前記推定ステップは、
   前記画像の色分布を複数のクラスタに分けるステップと、
   前記複数のクラスタのうち、ユーザにより指定された前記前景指定ピクセルとの関連性が大きい一以上のクラスタを前記前景の色分布として選び、前記前景指定ピクセルとの関連性が小さい一以上のクラスタを前記背景の色分布として選ぶ選択ステップと、を含み、
   前記選択ステップでは、前記前景指定ピクセルとの関連性が閾値以上であるクラスタ、または、前記前景指定ピクセルとの関連性が大きいものから順に所定数のクラスタが、前記前景の色分布として選ばれる
   ことを特徴とする領域分割方法。
7. 画像を前景と背景に分割する領域分割方法であって、
   コンピュータが、前記画像のうち前景とすべき領域内の一部のピクセルを前景指定ピクセルとしてユーザに指定させる前景指定ステップと、
   コンピュータが、ユーザにより指定された前記前景指定ピクセルの色に基づいて、前景の色分布と背景の色分布を推定する推定ステップと、
   コンピュータが、推定された前記前景の色分布と前記背景の色分布を条件として用いて、前記画像を前景領域と背景領域に分割する領域分割ステップと、を含み、
   前記推定ステップは、
   前記画像の色分布を複数のクラスタに分けるステップと、
   前記複数のクラスタのうち、ユーザにより指定された前記前景指定ピクセルとの関連性が大きい一以上のクラスタを前記前景の色分布として選び、前記前景指定ピクセルとの関連性が小さい一以上のクラスタを前記背景の色分布として選ぶ選択ステップと、を含み、
   前記選択ステップでは、前記前景指定ピクセルを含まないクラスタ、前記前景指定ピクセルとの関連性が閾値より小さいクラスタ、または、前記前景指定ピクセルとの関連性が小さいものから順に所定数のクラスタが、前記背景の色分布として選ばれる
   ことを特徴とする領域分割方法。
8. 前記選択ステップでは、前記前景指定ピクセルとの関連性が閾値以上であるクラスタ、または、前記前景指定ピクセルとの関連性が大きいものから順に所定数のクラスタが、前記前景の色分布として選ばれる
   ことを特徴とする請求項１〜５のうちいずれか１項に記載の領域分割方法。
9. 前記選択ステップでは、前記前景指定ピクセルを含まないクラスタ、前記前景指定ピクセルとの関連性が閾値より小さいクラスタ、または、前記前景指定ピクセルとの関連性が
   小さいものから順に所定数のクラスタが、前記背景の色分布として選ばれる
   ことを特徴とする請求項１〜６のうちいずれか１項に記載の領域分割方法。
10. 前記領域分割ステップでは、前景領域の候補解である複数の候補領域について、前記前景の色分布に対する候補領域の内側の各ピクセルの色の前景らしさと前記背景の色分布に対する候補領域の外側の各ピクセルの色の背景らしさとを評価することにより、前記複数の候補領域のなかから前景領域の最適解が求められる
    ことを特徴とする請求項１〜９のうちいずれか１項に記載の領域分割方法。
11. 前記領域分割ステップでは、ユーザにより指定された前記前景指定ピクセルを包含するように前記複数の候補領域が設定される
    ことを特徴とする請求項１０に記載の領域分割方法。
12. 前記前景指定ステップでは、表示装置に表示した前記画像の上に図形を描画する操作により、前記前景指定ピクセルの指定が行われる
    ことを特徴とする請求項１〜１１のうちいずれか１項に記載の領域分割方法。
13. 前記図形は、直線、曲線、円、楕円、多角形、または、閉図形である
    ことを特徴とする請求項１２に記載の領域分割方法。
14. 請求項１〜１３のうちいずれか１項に記載の領域分割方法の各ステップをコンピュータに実行させるためのプログラム。
15. 検査対象物を撮影して得られた元画像の一部に検査領域を設定し、前記検査領域内の画像を解析することにより前記検査対象物の検査を行う検査装置であって、
    請求項１〜１３のうちいずれか１項に記載の領域分割方法を用いて前記元画像を前景領域と背景領域に分割し、前記前景領域を前記検査領域として設定する
    ことを特徴とする検査装置。
    

Images