JP3708042B2

JP3708042B2 - 画像処理方法及びプログラム

Info

Publication number: JP3708042B2
Application number: JP2001358350A
Authority: JP
Inventors: 雄志三田; 敏充金子; 修堀
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-11-22
Filing date: 2001-11-22
Publication date: 2005-10-19
Anticipated expiration: 2021-11-22
Also published as: JP2003162718A

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー画像のセグメンテーションを行う画像処理方法及びプログラムに関する。
【０００２】
【従来の技術】
画像平面上で知覚的に一様な色領域をなす画素群は、均等色空間の中で稠密なクラスタを形成する。これを利用し、均等色空間においてクラスタリングを行い、カラー画像のセグメンテーションを行う方法が知られている（参考文献「コンピュータビジョン技術評論と将来展望、新技術コミュニケーションズ、ｐｐ．６８−７１」）。
【０００３】
人間の知覚に近いセグメンテーションを行うためにはＣＩＥ−ＬＡＢやＣＩＥ−ＬＵＶといった表色系を用い、均等色空間を表現するのが適しているという知見がある。また、クラスタリングには、パターン認識におけるパターン分類法として知られているｋ−ｍｅａｎｓ法やＩＳＯＤＡＴＡのような手法を利用するのが一般的である。
【０００４】
実際の画像はハイライトや陰影を含んでおり、クラスタリングにおいて同一の色相を持つ画素が別々のクラスタに分類されてしまうことがある。そこで、ハイライトや陰影に依存しないセグメンテーションが必要な場合には、上記の方法により基本的なクラスタリングを先ず行い、これにより抽出されたクラスタの代表色を色相差で再分類する方法が採られる。再分類においては、色相差がしきい値以下のクラスタ同士を併合することにより、明度に違いはあるが色相は近い領域を同一の領域として分割（セグメンテーション）する。
【０００５】
【発明が解決しようとする課題】
かかるセグメンテーション方法では、色相差によるクラスタの再分類のためのしきい値をチューニングする必要がある。この作業は、従来、人手により行われており熟練を要する上、手間が掛かるという問題点がある。そこで、初期設定も含めこのようなチューニングを必要としないで自動的にセグメンテーションを行えるような画像処理技術の提供が望まれている。
【０００６】
また、画像を一様な色領域へ分割するのみならず、画像中の対象物体を他の色に置き換えたり、隠蔽するなどといったいわゆる画像編集技術についても実現の要請がある。かかる画像編集は、例えば映像中の残酷なシーンを低年齢者に見せない配慮のために、画像中の血の領域を隠蔽したり、ぼかすなどの編集を施すことなどである。そして、ハイライトや陰影を含んだ実際の画像では同じ血の領域であっても明度が大きく異なる場合が多く、人間の知覚に近いセグメンテーションを行う画像処理がこのような画像編集技術に好適であることからも上述した技術的課題の解決が必須である。
【０００７】
【課題を解決するための手段】
本発明の画像処理方法は、入力画像中の少なくとも一部の画素を似通った色相を有するクラスタに分類するためのパラメータを計算する画像処理方法であって、前記画素の色相値を計算するステップと、色相を表す色相円の周上に前記画素をマッピングするステップと、前記色相円を可変の分割数で分割すると共に当該分割された色相円を可変の回転角で回転させることにより、前記画素をクラスタリングするステップと、前記クラスタリングの結果に基づく評価値を計算するステップと、前記評価値を最適化するよう前記分割数及び回転角を変化させて前記パラメータを決定するステップと、を具備することを特徴とする。
【０００８】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【０００９】
図１は本発明の一実施形態に係る画像処理システムの概略構成を示すブロック図である。図１に示すように、本実施形態の画像処理システムは、基本分類部１０２と、パラメータ計算部１０３と、再分類部１０４とを有する。これらの構成要素は、例えばハードディスク等の記憶装置から入力画像１０１を読み出して作業メモリ１０６に一旦記憶させ、同作業メモリ１０６上で本発明に係る画像処理を施し、その処理結果１０５を出力するよう構成されている。このような本実施形態の画像処理システムは、例えば汎用のコンピュータと、同コンピュータ上で動作するプログラムとにより実現される。
【００１０】
図２は、本実施形態の画像処理システムにおけるセグメンテーション手順の一例を示すフローチャートである。
【００１１】
まず、入力画像１０１が作業メモリ１０６に読み出されるとともに、このうち、処理対象の画像データが基本分類部１０２に入力される。基本分類部１０２は、かかる画像データに対し必要に応じて表色系の変換を行ってから、均等色空間の中で１つ以上のクラスタ分類を行う（ステップＳ２０２）。ここで、入力画像１０１に処理の対象となる画素を特定するための情報が付加されている場合、分類対象となる画素を限定して処理を行うものとする。もし、これらの付加情報がない場合は、画像データの全ての画素が分類対象となる。
【００１２】
次に、入力画像１０１はパラメータ計算部１０３に送られる。ここでは、基本分類部１０２で得られたクラスタの中で色相が近いクラスタを併合するための、色相差のしきい値を計算する（ステップＳ２０３）。
【００１３】
再分類部１０４では、基本分類部１０２において得られたクラスタを、パラメータ計算部１０３において得られたパラメータを用いて再分類する（ステップＳ２０４）。ここまでの処理によって、カラー画像のセグメンテーションが完了し、処理結果１０５が出力される。
【００１４】
以下、基本分類部１０２、パラメータ計算部１０３、および再分類部１０４の各々の内部処理について詳細に説明する。
【００１５】
図３は、基本分類部１０２におけるクラスタリング手順の一例を示すフローチャートである。基本分類部１０２では、パターン認識においてよく知られているｋ−ｍｅａｎｓ法などのクラスタリング手法が用いられる。ｋ−ｍｅａｎｓ法はクラスタ数が既知である場合に有効である。図３は、ＧＬＡ（Generalized Lloyd Algorithm）法を基本的な枠組みとして用いた例である。ＧＬＡ法は、クラスタ数の上限を指定するのみでクラスタリングを行える方法である。条件に応じて、これらの方法を使い分けてもよい。
【００１６】
また、クラスタリングを行う前に、入力画像１０１をＣＩＥ−ＬＡＢもしくはＣＩＥ−ＬＵＶのような表色系に変換しておくことが望ましい。これらの表色系を用いることによって、人間の知覚に近いセグメンテーションが行えるようになる。クラスタリングは、これらの表色系で表される均等色空間において行うことが好ましい。
【００１７】
まず、初期値としてクラスタ数を１に設定し、全ての画素が１つのクラスタに属するものとする（ステップＳ３０１）。次に、ステップＳ３０２からＳ３１２までの処理を繰り返すことによってクラスタリングを行う。ステップＳ３０２においては、それぞれのクラスタの重心を求める。画素と各クラスタの重心とのユークリッド距離（これを「色差」と呼ぶ）を求め（ステップＳ３０３）、距離が最小となるクラスタにその画素を割り当てる（ステップＳ３０４）。各画素とその画素が属するクラスタの重心との距離の総和を求め、これを画素数で割ることにより平均二乗誤差を求める（ステップＳ３０５）。ここで、現状でのクラスタの総数が設定したしきい値Ｔ１を上回っている場合、処理の終了判定に移行する（ステップＳ３０６）。すなわち、ステップＳ３０５において計算した平均二乗誤差の変化率としきい値Ｔ３とを比較する（ステップＳ３０８）。平均二乗誤差の変化率は、例えば以下の数式で定義される。
【００１８】
【数１】

【００１９】
この変化率が、しきい値Ｔ３以下の場合、クラスタリングが十分収束したものとみなして処理を終了する。変化率がＴ３を上回る場合はステップＳ３０２に戻る。
【００２０】
一方、ステップＳ３０６においてクラスタの総数がしきい値Ｔ１以下であると判定されたとき、クラスタの分割を行うかどうかの判定を行う。すなわち、平均二乗誤差の変化率をしきい値Ｔ２と比較する（ステップＳ３０７）。なお、本実施形態では、Ｔ２＞＝Ｔ３のように設定する。
【００２１】
平均二乗誤差の変化率がＴ２を上回る場合、ステップＳ３０２に戻る。一方、平均二乗誤差の変化率がＴ２を上回らない場合は、ステップＳ３０９に進む。
【００２２】
ステップＳ３０９では、各クラスタ内の分散を計算する。分散は、クラスタの重心とクラスタに属する画素の距離の２乗をクラスタ内の画素数で割ることによって求める。すべてのクラスタの中での分散の最大値がしきい値Ｔ４未満である場合に処理を終了する（ステップＳ３１０）。
【００２３】
一方、分散の最大値がしきい値Ｔ４以上である場合は、分散が最大となるクラスタを分割する。クラスタを分割するためには、まずそのクラスタに主成分分析を施す（ステップＳ３１１）。主成分分析によって、図４に示すように固有ベクトルが得られる。最も分布の広がりがある方向を示す第１主成分ベクトルに垂直であって、かつ、クラスタの重心を通る平面の方程式を求め、その平面でクラスタを分割する（ステップＳ３１２）。ステップＳ３０２に戻り、終了判定条件を満たすまで処理を繰り返す。前述したように、ハイライトや陰影のような明度変化を多く含む画像に対して、以上のクラスタリング処理を行うと、ハイライトや陰影の領域を別のクラスタとしてしまうという問題が発生する。細分化され過ぎたクラスタ群を、同一の色相のクラスタ同士を併合することによって再分類する方法を以下に説明する。
【００２４】
図５は、パラメータ計算部１０３における処理手順の一例を示すフローチャートである。まず、ステップＳ５０１において各画素の色相値を計算する。通常、入力画像１０１はＲＧＢの値を画素値として持つ。ＲＧＢ値から色相を計算するためには、ＨＳＩやＨＳＶといった表色系への変換式を用いてＨ成分を求める。変換式としては、例えば、上述した参考文献（「コンピュータビジョン技術評論と将来展望、新技術コミュニケーションズ、ｐｐ．６５−６６」）に紹介されている以下の式を利用することができる。
【００２５】
【数２】

【００２６】
色相の取り得る範囲は、［０，２π］である。ただし、無彩色の色相は計算できないので、ステップＳ５０１以降では有彩色の画素のみを対象とする。次に、各画素の色相値を、設定した分割数と回転角によってクラスタリングする。上式によって求めた色相は角度で表現され、例えば図６に示すような円の周上に各画素がマッピングされる。この円を、設定した分割数で分割する。図６は分割数＝４の場合を示しており、実線によって４つの分割クラスタが得られている。この円を、設定した角度で回転させると、それぞれのクラスタに分類される画素の分類パターンが変化する。そして分割数及び回転角を様々な値で変更し、最も当てはまりのよいクラスタの分割の仕方を自動的に選ぶ。
【００２７】
分割数の変更方法としては、例えば最大の分割数を設定しておき、１から順に分割数を大きくしていく方法がある。しかし、分割数が大きくなるにつれ、クラスタ１つあたりに含まれる色相の範囲はほとんど変化しなくなる。そこで、例えば分割数を｛1,2,3,4,5,6,7,8,9,10,12,15,18,24,36…｝のように段階的に増やし、１つのクラスタに含まれる色相の範囲を一定の角度以上で変化させていくようにすると効率がよい。
【００２８】
回転角については、本実施形態では、予め設定しておいた固定の値を用いることし、この回転角で色相マップの円を回転させる（図６参照）。分割数の最大値が３６のとき、１つのクラスタは１０度の範囲を持つので、回転角を５度に設定すれば、効率よく異なったクラスタ分類パターンを調べることが可能である。例えば、分割数が１０で回転角が５度のときは、合計８通りの回転角を試すことになる。
【００２９】
次にステップＳ５０２においては、全ての分割数を試したかどうかチェックする。全ての分割数を試した場合は、処理が終了となる。そうでない場合、分割数を設定する（ステップＳ５０３）。ステップＳ５０４で全ての回転角を試したかチェックする。回転角の試行回数は分割数に依存して決定される。全ての回転角を試した場合、ステップＳ５０２に戻る。そうでない場合は、回転角を設定する（ステップＳ５０５）。以上のステップにより設定された分割数と回転角で、各画素をクラスタ分類する。各画素の色相値を参照して、その画素を含むクラスタに割り当てる（ステップＳ５０６）。各画素と割り当てられたクラスタの中心との平均二乗誤差を計算する（ステップＳ５０７）。
【００３０】
分割数を大きくすればするほど、平均二乗誤差の値は小さくなる。しかし、それでは分類されるクラスタ数が増大するだけである。分割数をできるだけ小さくし、かつ当てはまりのよいクラスタ分類を行うことが重要となる。そこで分割数と計算された平均二乗誤差とから、情報量規準を計算する（ステップＳ５０８）。情報量規準の値が最小となる分割数と回転角を更新し（ステップＳ５０９）、ステップＳ５０４に戻る。情報量規準は、分割数とクラスタへの当てはまりの良さを同時に最適化するための評価値として利用できる。情報量規準としてはＡＩＣ（Akaike Information Criterion;赤池情報量基準）と記述長最小化原理（ＭＤＬ；Minimum Description Length）が最もよく利用される。それらの計算方法を以下に示す。
【００３１】
画素数をｎとし、各色相クラスタの中心と画素との平均２乗誤差（ＬＭＳ：Least Mean Squared Error）が、
【数３】

で表されるとき、誤差εが平均０であって分散がσ²の正規分布に従うと仮定すると、情報量規準ＭＤＬは、
【数４】

のようにして求めることができる。また、情報量規準ＡＩＣは、
【数５】

によって求められる。ここで、Ｆは分割数＋１である。
【００３２】
この計算式により、ステップＳ５０８で情報量規準を計算する。ＡＩＣもしくはＭＤＬのどちらを利用してもよい。この値は小さいほど、クラスタ分類が良いということになる。
【００３３】
以上の処理により、カラー画像を色相によってセグメンテーションする際の、色相の分割数と回転角を求めることができる。
【００３４】
再分類部１０４では、基本分類の結果とパラメータ計算の結果（最適な色相の分割数と回転角）に基づいて、クラスタの再分類を行う。
【００３５】
図７は再分類部１０４における処理の手順の一例を示すフローチャートである。まず、基本分類によって得られたクラスタの代表色（例えば、クラスタの重心）の色相を計算する（ステップＳ７０１）。次に、この代表色を、該当する色相のクラスタへ分類する（ステップＳ７０２）。例えば、基本分類によって得られた２つのクラスタの代表色が、それぞれ、同一の色相クラスタへ分類された場合、これらのクラスタは色相が同一であるとみなし、クラスタを併合する（ステップＳ７０３）。ここまでの処理により、カラー画像のセグメンテーションが終了する。
【００３６】
このような本発明の実施形態に係る画像処理システムによれば、色相差によるクラスタの再分類のためのしきい値をチューニングする必要が不要であり、自動的にセグメンテーションを行える。
【００３７】
次に、画像中の対象物体を他の色に置き換えたり隠蔽するための画像編集について説明する。図８は、セグメンテーションの結果をユーザが参照して画像を編集する際の手順を示すフローチャート、図９は、この画像編集に適用されるユーザインタフェースの一例を示す図である。
【００３８】
図９に示すユーザインターフェースは、入力画像表示領域９０４（図９（ｂ））と、代表色表示領域９０２および各クラスタの画像上での面積占有率等を表示する領域９０３を有するクラスタリング結果表示画面９０１（図９（ａ））とにより構成されている。このようなユーザインターフェースを用いて、各クラスタの代表色を表示する（ステップＳ８０１）。領域９０３に表示する内容としては、各クラスタの面積占有率以外に、代表色のＲＧＢ値や色相値を表示してもよい。ユーザはマウス等のポインティングデバイスを用いて、加工したい色クラスタを選択する（ステップＳ８０２）。選択するクラスタの数は１つでも複数でも構わない。さらにユーザはそのクラスタに対して行う編集方法を指定する（ステップＳ８０３）。編集方法としては、指定したクラスタに属する画素を除くことや、指定したクラスタに属する画素のみを残すなどが挙げられる。最後に、編集結果を表示する（ステップＳ８０４）。図９（ｂ）は、指定したクラスタに属する画素を除いて生成した画像９０５と、指定したクラスタのみを残して生成した画像９０６を例として示している。
【００３９】
以上説明したように、本発明に係る画像処理方法によれば、パラメータのチューニングを行わなくとも、より人間の知覚に近いカラー画像のセグメンテーションを簡単かつ速やかに行うことが可能となる。これにより、セグメンテーション結果を利用した画像編集作業を効率化することができるようになる。
【００４０】
なお、本発明は上述した実施形態に限定されず種々変形して実施可能である。
【００４１】
【発明の効果】
以上説明したように、本発明によれば、チューニングを必要とせず、より人間の知覚に近いカラー画像セグメンテーションを行うことのできる画像処理方法及びプログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像処理システムの概略構成を示すブロック図。
【図２】上記実施形態におけるセグメンテーション手順の一例を示すフローチャート
【図３】上記実施形態の基本分類部におけるクラスタリング手順の一例を示すフローチャート
【図４】主成分分析により得られた固有ベクトルの一例を示す図
【図５】上記実施形態のパラメータ計算部における処理手順の一例を示すフローチャート
【図６】クラスタリングを行うための円周状の色相マップを示す図
【図７】上記実施形態の再分類部における処理の手順の一例を示すフローチャート
【図８】上記実施形態を応用した画像編集の手順を示すフローチャート
【図９】上記画像編集に適用されるユーザインタフェースの一例を示す図
【符号の説明】
１０１…入力画像
１０２…基本分類部
１０３…パラメータ計算部
１０４…再分類部
１０５…処理結果
１０６…作業メモリ

Claims

入力画像中の少なくとも一部の画素を似通った色相を有するクラスタに分類するためのパラメータを計算する画像処理方法であって、
前記入力画像中の少なくとも一部の画素をその色差に応じてクラスタリングするステップと、
前記画素の色相値を計算するステップと、
色相を表す色相円を可変の分割数の分割クラスタに分割するとともに、前記分割された色相円を可変の回転角で回転させて前記各分割クラスタに対応する色相値の範囲を変化させることにより、前記画素の色相値をクラスタリングするステップと、
前記クラスタリングの結果に基づく評価値を計算するステップと、
前記評価値を最適化するよう前記分割数及び回転角を変化させて前記パラメータを決定するステップと、
前記色差に応じたクラスタリング結果を、前記パラメータに基づいて再分類するステップと、
を具備することを特徴とする画像処理方法。
前記再分類ステップは、第１のクラスタと第２のクラスタの各々の代表色の色相差を前記パラメータと比較し、その比較結果に応じて当該第１、第２のクラスタ同士を併合するステップを含むことを特徴とする請求項１に記載の画像処理方法。
前記再分類されたクラスタリング結果を参照し、似通った色相を有する画像中の対象物を隠蔽し、又は該対象物に装飾を施すことを含む画像編集ステップをさらに具備することを特徴とする請求項１又は２に記載の画像処理方法。
前記画像編集ステップは、
複数のクラスタの代表色を一覧表示するステップと、
前記複数のクラスタのうちの少なくとも一つのクラスタの選択をユーザから受け付けるステップと、
選択された前記クラスタに属する画素のみから構成される画像又は選択された前記クラスタに属する画素を前記入力画像から除いて成る画像を生成するステップと、
を具備することを特徴とする請求項３に記載の画像処理方法。
前記評価値として、赤池情報量基準又は記述長最小化原理（ＭＤＬ）を計算することを特徴とする請求項１に記載の画像処理方法。
入力画像中の少なくとも一部の画素を似通った色相を有するクラスタに分類するためのパラメータを計算する画像処理プログラムであって、
コンピュータに、
前記入力画像中の少なくとも一部の画素をその色差に応じてクラスタリングする手順と、
前記画素の色相値を計算する手順と、
色相を表す色相円を可変の分割数の分割クラスタに分割するとともに、前記分割された色相円を可変の回転角で回転させて前記各分割クラスタに対応する色相値の範囲を変化させることにより、前記画素の色相値をクラスタリングする手順と、
前記クラスタリングの結果に基づく評価値を計算する手順と、
前記評価値を最適化するよう前記分割数及び回転角を変化させて前記パラメータを決定する手順と、
前記色差に応じたクラスタリング結果を、前記パラメータに基づいて再分類する手順と、を実行させる画像処理プログラム。