JP3706755B2 - 画像処理装置及び方法並びに記憶媒体 - Google Patents
画像処理装置及び方法並びに記憶媒体 Download PDFInfo
- Publication number
- JP3706755B2 JP3706755B2 JP31814098A JP31814098A JP3706755B2 JP 3706755 B2 JP3706755 B2 JP 3706755B2 JP 31814098 A JP31814098 A JP 31814098A JP 31814098 A JP31814098 A JP 31814098A JP 3706755 B2 JP3706755 B2 JP 3706755B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- contour line
- contour
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び方法並びに記憶媒体に関し、より具体的には、画像から所望の被写体を抽出し、移動、反転、回転、変倍及び変形などの処理を施す画像編集・加工ツール、他の画像へはめ込み合成する合成ツール、特定された領域に限定して何らかの画像処理を施す画像処理ツール、及び画像を領域分割してシーンの理解を助けるロボット・ビジョンのプリプロセッサ等に利用できる画像処理装置及び方法並びに、その方法を実行するソフトウエアを記憶する記憶媒体に関する。
【０００２】
【従来の技術】
従来、画像から対象物体を切り出す方法として、平成４年特許出願公告第１４３９１号公報に記載されているように、濃淡画像をその平均濃度及び濃度値の分散に基づいて先ず粗く領域分割し、続いてその濃淡画像のエッジ情報を用いて、先の領域分割の結果得られる各領域の境界を拡張するように処理する方法が知られている。
【０００３】
同様に、中須による「画像合成のための対象物の切り出し法」（ＮＨＫ技研月報、昭和６２年１２月）では、対象物の輪郭を含む限定された領域を色情報に基づいて先ず粗く領域分割し、続いて、画像の微分処理により求まる尾根線を用いて先の領域分割の結果得られる各領域を再分割する。
【０００４】
このように、画像の領域分割や対象物の抽出を目的として、従来、同程度の濃度又は色を持った領域を先ず粗く定め、次にエッジのような画像の高周波成分を用いて、より高い分解能で輪郭線又は境界線を求めている。
【０００５】
【発明が解決しようとする課題】
従来例では、入力画像に雑音成分が多い場合、又は複雑なテキスチャを多く含む場合には、画像の各領域のまとまりが悪く、必要以上に細かく領域分割される過分割の問題があった。また、領域分割処理は、画像に対する全体的な処理（グローバルな処理）であり、高速化が難しいという問題もあった。
【０００６】
本発明は、入力画像を複数段階の解像度レベルに分解し、低解像度の画像から順に処理することにより、入力画像が雑音を多く含むものでも、また、多くの高周波成分を含む場合でも、正しく対象物を抽出でき、又は領域分割できる画像処理装置及び方法を提示することを目的とする。
【０００７】
本発明はまた、高精度に対象物を抽出する画像処理装置及び方法を提示することを目的とする。
【０００８】
本発明はまた、従来よりも高速に対象物を抽出する画像処理装置及び方法を提示することを目的とする。
【０００９】
本発明は更に、上述の画像処理方法を実行するプログラムを記憶する記憶媒体を提示することを目的とする。
【００１０】
【課題を解決するための手段】
本発明に係る画像処理装置は、画像を入力する画像入力手段と、入力画像を記憶する画像記憶手段と、当該入力画像を表示する画像表示手段と、当該入力画像から抽出したい対象物を指定する対象物指定手段と、当該入力画像の帯域を制限するフィルタリング手段と、当該フィルタリング手段により帯域制限されて出力される異なる解像度を持った複数の画像を低解像度の画像から順に処理対象として、当該対象物の輪郭線を各解像度レベルに適した処理条件下で段階的に抽出する輪郭線抽出手段と、先行する段階で抽出された輪郭線の範囲に後続の輪郭線抽出処理の実行範囲を限定するマスク手段と、最後に求められる輪郭線を用いて当該対象物を切り出す対象物抽出手段とを具備し、当該輪郭線抽出手段は、低解像度の画像に対しては、画像の色差情報を参照する度合いを高め、高解像度の画像に対しては、画像の輝度情報を参照する度合いを高めるように、画像の色差情報と輝度情報の参照する割合を画像に応じて変化させながら段階的に対象物の輪郭線を抽出することを特徴とする。
【００１１】
本発明に係る画像処理方法は、異なる解像度を持った複数の画像を低解像度の画像から順に処理対象として、画像中の対象物の輪郭線を各解像度レベルに適した処理条件で段階的に抽出する輪郭線抽出ステップを有し、先行するステップで抽出された輪郭線の範囲に限定して、後続のステップで更に高解像度に輪郭線を求める画像処理方法であって、当該輪郭線抽出ステップは、低解像度の画像に対しては、画像の色差情報を参照する度合いを高め、高解像度の画像に対しては、画像の輝度情報を参照する度合いを高めるように、画像の色差情報と輝度情報の参照する割合を画像の解像度に応じて変化させながら段階的に対象物の輪郭線を抽出することを特徴とする。
【００１２】
本発明に係る記憶媒体には、上述の画像処理方法を実行するプログラム・ソフトウエアが外部読み出し自在に格納される。
【００１３】
【実施例】
以下、図面を参照して本発明の実施例を詳細に説明する。
【００１４】
図１は、本発明の一実施例の概略構成ブロック図を示す。図１において、１０は画像ソースであり、例えば、撮像素子及びその出力をディジタル化するＡ／Ｄ変換器からなる画像発生装置、又は画像再生装置からなる。
【００１５】
１２は画像ソース１０から出力される画像データを記憶する画像メモリ、１４は画像の雑音を除去するローパス・フィルタであり、例えばメジアン・フィルタ又は簡単な平滑化回路からなる。１６は雑音除去後の画像を格納する画像メモリ、１８は画像から抽出したい対象物を指定する対象物指定装置、２０は雑音除去後の画像から所定の高周波成分を遮断するローパス・フィルタ、２２は画像データを間引くダウン・サンプラ、２４は高域を遮断された画像を格納する画像メモリである。
【００１６】
２６は入力画像の中域以上を遮断するローパス・フィルタ、２８は画像データを間引くダウン・サンプラ、３０は中域以上を遮断された画像を保持する画像メモリ、３２は低域のみの画像から輪郭線を抽出する輪郭線抽出回路、３４は画像データ数を増やすアップ・サンプラ、３６は画像メモリ２４に格納された画像にマスク処理を施すマスク処理回路、３８は低域及び中域の画像から輪郭線を抽出する輪郭線抽出回路、４０は画像データ数を増やすアップ・サンプラである。
【００１７】
４２は画像メモリ１６に格納された画像にマスク処理を施すマスク処理回路、４４は低域、中域及び高域からなる画像（雑音除去後の原画像）から輪郭線を抽出する輪郭線抽出回路、４６は画像メモリ１２に格納された原画像から、輪郭線抽出回路４４により抽出された輪郭線を用いて対象物を切り出す対象物抽出回路、４８は切り出された対象物を格納する画像メモリである。
【００１８】
本実施例の動作を説明する。画像メモリ１２は、画像ソース１０からの画像データを二次元配列に記憶する。フィルタ１４は、画像メモリ１２からの画像からノイズを除去して、画像メモリ１６に格納する。オペレータは、図２、図３及び図４に示すように、対象物指定装置１８を使用して画像から抽出したい対象物を指定する。対象物指定装置１８による抽出対象物の指定の詳細は、後述する。
【００１９】
フィルタ２０は、メモリ１６に記憶される画像から高周波成分を遮断し、低域及び中域からなる画像を出力する。ダウン・サンプラ２２は、高域成分を除去された画像から折り返し歪みが出ない範囲で画素を間引き、画像メモリ２４に格納する。
【００２０】
フィルタ２６は、画像メモリ２４に記憶される画像から中域以上を遮断し、低域成分だけからなる画像を出力する。ダウン・サンプラ２８は、フィルタ２６の出力画像から、ダウン・サンプラ２２と同様に折り返し歪みが出ない範囲で画素を間引き、メモリ３０に格納する。
【００２１】
輪郭線抽出回路３２は、低域（低周波）成分のみからなる画像から対象物の輪郭線を抽出する。アップ・サンプラ３２は、標本データを繰り返すことにより画像をダウン・サンプラ２８の直前の解像度に戻す。マスク処理回路３６は、輪郭線抽出回路３２によって抽出された輪郭線領域のみをその後の処理対象とするためのマスク処理を施す。輪郭線抽出回路３８は、画像メモリ２４から供給される低域及び中域からなる画像において、マスク処理回路３６により処理対象として限定された領域内で輪郭線を抽出する。アップ・サンプラ４０は、標本データを繰り返すことにより画像をダウン・サンプラ２２直前の解像度に戻す。
【００２２】
マスク処理回路４２は、輪郭線抽出回路３８によって抽出された輪郭線領域のみを後続の処理対象とするためのマスク処理を施す。輪郭線抽出回路４４は、画像メモリ１６から供給される低域乃至高域からなる画像（雑音除去後の原画像）において、マスク処理回路４２により処理対象とされた領域内で輪郭線を抽出する。対象物抽出回路４６は、輪郭線抽出回路４４により抽出された輪郭線に従い対象物を原画像から抜き出し、抜き出した対象物の画像データを画像メモリ４８に格納する。
【００２３】
図２、図３及び図４は、対象物指定装置１８によりオペレータが大雑把に抽出したい対象物を指定する様子を示す。図２は、オペレータが例えばマウスのようなポインティング・デバイスを用いて、対象物の輪郭線に沿って要所要所に点を打った様子を図示する。連続する各点を結ぶ直線を中心線として延在する閉領域が形成され、その閉領域が、引き続く処理の対象領域となる。図３は、オペレータがある幅を持った太ペンのようなツールを用いて、対象物の輪郭線をトレースした様子を図示する。トレースされた閉領域が、引き続く処理の対象領域となる。図４は、オペレータが対象物を包含するような閉曲線を描いた様子を図示する。図３と同様に、その閉領域が、引き続く処理の対象領域となる。
【００２４】
対象物指定装置１８による対象物の指定方法は、上述の何れかの方法に限定されるものではなく、上述の方法の変形、又はこれらの組み合わせ、若しくは、全く別の方法であっても良い。また、フィルタ２０，２６を、対象物指定装置１８により指定された範囲に限定して適用することにより、その処理を高速化することもできる。
【００２５】
図５は、画像メモリ１６，２４，３０にそれぞれ格納される画像の階層関係とマスク処理回路３６，４２の作用を説明する図である。図５（ａ）は画像メモリ１６に格納される雑音除去後の画像（フィルタ１４の出力画像）を示す。図５（ｂ）は、画像メモリ２４に格納される画像であって、フィルタ１８により高周波成分が除去された低域乃至中域からなる画像を示す。ダウン・サンプラ２０により解像度が半分に落とされている。図５（ｃ）は画像メモリ３０に格納される画像であって、中域以上が除去されて低域成分だけからなる画像（フィルタ２６の出力画像）を示す。ダウン・サンプラ２６により解像度が更に半分に落とされている。
【００２６】
輪郭線抽出回路３２は、図５（ｃ）に示す最も低解像度の画像を用いて、対象物指定装置１８により指定された領域で対象物の輪郭線抽出を実行する。ここで、例えば、図５（ｃ）に斜線で示されているような輪郭線が抽出されたとする。アップ・サンプラ３４は、輪郭線が抽出された画像を補間して、図５（ｂ）に示すように解像度を上げる。マスク処理回路３６は、輪郭線部分に１を、それ以外の領域には０を与える２値マスクを形成し、そのマスクを画像メモリ２４に格納される画像に乗算する。これにより、輪郭線抽出回路３８の処理対象が、図５（ｂ）に示される斜線領域のみに限定され、輪郭線抽出回路３８は、図５（ｂ）の斜線領域から輪郭線を抽出する。図５（ｂ）に示す画像で、輪郭線抽出回路３８が、縦線領域で輪郭線を抽出したとする。マスク処理回路４２はマスク処理回路３６と同様にマスクを生成して、画像メモリ１６に記憶される画像に乗算する。これにより、輪郭線抽出回路４６の処理対象領域は、図５（ａ）に示す画像の縦線領域に限定される。
【００２７】
ここでは、理解を容易にするために、ダウン・サンプラ２２，２８で解像度を半分にする例を取り上げたが、目的及び要求精度等に応じて適切なサンプリング・レートを選択できることは明らかである。
【００２８】
次に、輪郭線抽出処理回路３２，３８，４４の動作を具体的に説明する。各輪郭線抽出処理回路３２，３８，４４への入力画像は、先ず、画像情報の冗長性を減じて処理効率を上げるために、下式により輝度情報と色差情報に分解される。
【００２９】
【数１】
Ｘ１＝（Ｒ＋Ｇ＋Ｂ）／３
【００３０】
【数２】
Ｘ２＝（Ｒ−Ｂ）／２
【００３１】
【数３】
Ｘ３＝（２Ｇ−Ｒ−Ｂ）／４
ここで、Ｒ，Ｇ及びＢはそれぞれ、入力画像の各画素が持つ赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の信号値である。Ｘ１は画像の輝度情報を示し、Ｘ２及びＸ３は画像の色差情報を示す。一般に、Ｘ３は冗長な情報であり、Ｘ１及びＸ２だけで画像分割には十分であることが知られているので、以後、Ｘ３は省略する。
【００３２】
次に、微分処理により、Ｘ１及びＸ２のそれぞれのエッジ強度Ｅ１，Ｅ２を求める。即ち、
【００３３】
【数４】
【００３４】
【数５】
以後、Ｅ１を輝度エッジ、Ｅ２を色エッジと称する。
【００３５】
但し、エッジ強度Ｅの定義は、上記のものに限定されない。第１項及び第２項の２乗和の代わりに絶対値和であっても良いし、より簡単には、下記のごとく、第１項と第２項の大きい方を出力しても良い。即ち、
【００３６】
【数６】
【００３７】
【数７】
この時、Ｅ１及びＥ２を混合した輪郭値Ｃを下式のように定義する。即ち、
【００３８】
【数８】
Ｃ＝α・Ｅ１＋（１−α）・Ｅ２ （但し、０≦α≦１）
輪郭値Ｃは、輝度エッジＥ１と色エッジＥ２を荷重平均したものであり、本実施例では、輪郭値Ｃの局所的な最大値を探索することにより輪郭線を抽出する。
【００３９】
ところで、数１及び数２の比較からも明らかなように、輝度情報Ｘ１は、Ｒ、Ｇ及びＢの各信号の平均値（積分＝平滑化効果）であるのに対し、色差情報Ｘ２は、ＲとＢの差分（微分＝高域強調効果）であるので、色差情報Ｘ２は、輝度情報Ｘ１より画像信号に含まれる雑音の影響を受けやすい。従って、ＳＮ比の低い（よりノイジーな）高解像度画像に対しては、輝度情報Ｘ１から求められる輝度エッジＥ１の方が信頼性が高く、ＳＮ比の高い低解像度画像に対しては、色差情報Ｘ２から求められる色エッジＥ２の信頼性が高くなってくる。
【００４０】
また、異なる色の境界であるにも拘わらず、輝度Ｘ１がほぼ一定である場合、輝度エッジＥ１を抽出するのは画像の解像度が低くなるほど困難となるが、色エッジは、解像度に関係なく抽出可能である。従って、この場合も、解像度が低くなる程に色エッジの相対的な信頼性が高まる。
【００４１】
そこで、数８のパラメータαを変化させることにより、輝度エッジと色エッジの参照する重みを画像の解像度に応じて変化させる。低解像度の画像を対象とする初段の輪郭線抽出回路３２では、色エッジの参照比重を高めるようにパラメータαの値を小さく設定する。その結果、色エッジＥ２をより重視して、境界の探索又はトレースを行うことができる。逆に、より高解像度の画像を対象とする後段の輪郭線抽出回路３８，４４では、パラメータαの値を徐々に大きくしていき、輝度エッジを重視した境界探索又はトレースを行う。補足ながら、全ての境界探索又はトレース作業は、対象物指定装置１８によりオペレータが指示した初期の対象領域に限って行なわれ、解像度が上がるほどに対象領域がより限定されていく。
【００４２】
以上のように、本実施例では、低解像度画像に対しては同色領域の抽出という色情報ベースの手法を重視し、高解像度になるほどに輝度エッジを重視して輪郭線を高精度化するように動作するので、解像度の異なる各ステージで最適な情報を効率よく活用できる。なお、輪郭値Ｃの定義は、数８に限定されない。画像の解像度が低いほどに色差情報の参照比重を高め、解像度が高くなるほどに輝度情報の参照比重を高める特性を有しているものであれば、何であっても良い。
【００４３】
上記実施例によれば、次のような特有の効果がある。即ち、第１に、低解像度の画像から処理を開始するので、輪郭線抽出時に不要な雑音及び細かいテキスチャ・パターンの影響を極力抑制することができ、対象物を安定的に抽出できる。第２に、階層的な画像のセットを用いた段階的な処理で、後続の処理対象領域を順次制限していくので、無駄な処理が少なくなり、結果的に高速になる。第３に、解像度の異なる各ステージで最適な画像情報を優先的に活用できるので、高精度に対象物を抽出できる。
【００４４】
上記実施例では、輝度情報と色情報を分離するためにカラー入力画像（ＲＧＢ画像）をＸ１、Ｘ２及びＸ３に変換したが、上記実施例の上述の効果は、この変換を使用する場合に限定されない。例えば、ＹＩＱモデル又はＨＳＩモデルのような他の分離方法を利用しても構わないし、ＲＧＢ画像をそのまま使用しても良い。
【００４５】
また、上記実施例では、フィルタ、ダウン・サンプラ及びアップ・サンプラを用いて入力画像の解像度を明示的に変化させたが、これらの処理を省略し、入力画像の画素数を保持したまま実行しても、帯域の異なる画像を、低周波寄りの画像から順に用いて輪郭線抽出すれば、同様の効果を得ることができる。同様に、既に多重解像度化された階層画像を入力画像とし、低周波寄りの画像から順に輪郭線を抽出しても、同様の効果を得ることができる。
【００４６】
更には、画像全体のフィルタリング処理の代わりに、輪郭抽出又は被写体切出しのための注目点をローカルなフィルタリング処理（例えば、フィルタリングのマスクサイズを変えて、階層的にフィルタリングする。）により多重解像度の画像を生成しても良い。
【００４７】
上記実施例では、低解像度画像に対しては色エッジの参照度合いを高め、高解像度画像に対しては輝度エッジの参照度合いを高め、処理自体は、画像の解像度に関わらずエッジ抽出と抽出されたエッジのトレースという局所的（ローカルな）な処理になっている。これに対し、低解像度画像に対し、エッジ抽出の代わりに領域分割という全体的な（グローバルな）処理を先ず実行し、高解像度画像に対してエッジを抽出する処理を説明する。
【００４８】
図６は、図３で示された太線トレースの一部の拡大図を示す。太線の両縁上に点在する点は、同色領域を形成するための基準画素である。各基準画素を始点として同色と見なす領域を徐々に、太線の両縁から歩み寄るように成長させる。その結果、輪郭線の存在しうる範囲が限定されるので、より解像度の高い画像を用いる後続の処理では、この限定された領域でのみ輪郭線を探索すれば良い。最終的な輪郭線の抽出は、先の実施例と同じくエッジ情報を用いる。
【００４９】
同色領域の決定方法は、例えば、以下の通りである。即ち、下記式から得られる色ベクトルの距離ｄに対して閾値処理をする。
【００５０】
【数９】
ｄ１＝（Ｒａ−Ｒｂ）２＋（Ｇａ−Ｇｂ）２＋（Ｂａ−Ｂｂ）２
【００５１】
【数１０】
ｄ２＝｜Ｒａ−Ｒｂ｜＋｜Ｇａ−Ｇｂ｜＋｜Ｂａ−Ｂｂ｜
【００５２】
【数１１】
ｄ３＝ｍａｘ｛｜Ｒａ−Ｒｂ｜、｜Ｇａ−Ｇｂ｜、｜Ｂａ−Ｂｂ｜｝
ここで、Ｒ、Ｇ及びＢはそれぞれ、各画素が持つ赤色、緑色及び青色の信号値である。Ｒａ、Ｇａ及びＢａは、基準画素ａの赤色、緑色及び青色の信号値を示し、Ｒｂ、Ｇｂ及びＢｂは、同色領域に属するかどうかを基準画素ａと比較して評価される画素ｂの赤色、緑色及び青色の信号値である。なお、画像の明るさの影響を排除するために、Ｒ、Ｇ及びＢ値の代わりに、Ｒ、Ｇ及びＢ値を対応する画素の明るさＹ＝Ｒ＋Ｇ＋Ｂで正規化した値ｒ、ｇ及びｂ、即ち、
【００５３】
【数１２】
ｒ＝Ｒ／Ｙ
【００５４】
【数１３】
ｇ＝Ｇ／Ｙ
【００５５】
【数１４】
ｂ＝Ｂ／Ｙ
を用いても良い。
【００５６】
Ｒ、Ｇ及びＢ値又はｒ、ｇ及びｂ値の代わりに、上述の実施例で説明した、予め輝度と色情報を分離した空間を用いれば、同色領域の形成だけでなく、同輝度領域の形成も同時に実行できる。先の実施例と同様に、輝度情報Ｘ１及び色差情報Ｘ２を用いる場合を例にとり説明する。この時の距離ｄは、下式のように表される。
【００５７】
【数１５】
ｄ４＝β・（Ｘ１ａ−Ｘ１ｂ）２＋（１−β）・（Ｘ２ａ−Ｘ２ｂ）２
但し、０≦β≦１
Ｘ１ａ及びＸ２ａはそれぞれ、太線の縁に点在する基準画素ａの輝度値と色差値であり、Ｘ１ｂ及びＸ２ｂはそれぞれ基準点ａと比較して、同色かどうかを評価される画素ｂの輝度値と色差値である。第１項は、同輝度領域を形成するように機能し、第２項は同色領域を形成するように機能する。従って、入力画像が白黒画像であったり、色が鮮明でない場合には、βを１又は１に近い値を設定し、逆に、色鮮やかな画像の場合には、βを０又は０に近い値を設定する。
【００５８】
以上をまとめると、低解像度の画像に対して、色情報又は色情報と輝度情報を用いてまず粗く画像を領域分割し、輪郭線の存在する領域を限定する。解像度が上がる度に先行する領域分割処理によって限定された領域に絞って、再度、領域分割を行う。そして、高解像度画像に対しては、このように限定された領域内でエッジ抽出を行い、輪郭線を抽出する。これにより、低解像度の画像から処理を開始するので、領域分割時に問題となる過分割を防ぐことができる。一定以上の面積を持つ閉領域は、解像度を低くしても消失しないので、低解像度の画像から処理することにより、精度を落とすことなく、通常は高速化しにくい領域分割処理を高速化できる。
【００５９】
上記実施例に有用なグラフイック・ユーザー・インターフェース（ＧＵＩ）を説明する。図７は、３段階に解像度が異なる画像を、各解像度画像に対応した輪郭値Ｃと一緒に表示する状態を示す。５０，５２，５４は、輪郭線を抽出する際の処理パラメータ（ここでは、パラメータα）を制御するためのスライド・バーである。５６，５８，６０は、スライド・バー５０，５２，５４により設定された環境下における各解像度画像（ここでは輪郭値Ｃ）であり、スライド・バー５０，５２，５４の設定に応じてリアルタイムに表示される。従って、オペレータは画像５６，５８，６０を見ながらスライド・バー５０，５２，５４を操作して、輪郭線が最もくっきりと浮かびあがるように各解像度における最適なパラメータを設定することができる。パラメータ設定後は、輪郭線抽出回路３２，３８，４４が、その設定パラメータの条件に従い、対象物を抽出する。
【００６０】
図７に示すＧＵＩでは、オペレータが目視しながら最適なパラメータを変更及び設定できるので、入力画像にカラー情報が乏しい場合及び、入力画像が白黒画像である場合でも、簡単な走査で対象物を高精度に切り出すことができる。
【００６１】
本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００６２】
また、上述した実施例の機能を実現するように各種のデバイスを動作させるべく当該各種デバイスと接続された装置又はシステム内のコンピュータに、上記実施例の機能を実現するためのソフトウェアのプログラムコードを供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ）を、格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本願発明の範囲に含まれる。
【００６３】
この場合、前記ソフトウエアのプログラムコード自体が、前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は、本発明を構成する。かかるプログラムコードを格納する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード及びＲＯＭ等を用いることが出来る。
【００６４】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施例の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフトウエア等と共同して上述の実施例の機能が実現される場合にも、かかるプログラムコードが本出願に係る発明の実施例に含まれることは言うまでもない。
【００６５】
更には、供給されたプログラムコードが、コンピュータの機能拡張ボード又はコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて、その機能拡張ボード又は機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施例の機能が実現される場合も、本出願に係る発明に含まれることは言うまでもない。
【００６６】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、多重解像度画像の活用により、対象物の抽出及び画像分割処理を高効率化し、高速化できる。多重解像度画像を活用し、低解像度画像から順に処理するので、ノイズ及び細かいテキスチャ・パターンの影響を受けずに対象物を抽出でき、画像を分割できる。各解像度画像に最適なパラメータを設定できるので、画像情報を有効に活用でき、ひいては対象物の抽出及び画像分割の精度を高めることができる。グラフイック・ユーザー・インターフェースによる処理パラメータの設定が簡単になる。各解像度画像に最適な輪郭線抽出処理をすることにより対象物の抽出及び画像分割の処理を安定化できる。
【図面の簡単な説明】
【図１】 本発明の第１実施例の概略構成ブロック図である。
【図２】 対象物指定装置１８による対象物指定法の一例の説明図である。
【図３】 対象物指定装置１８による対象物指定法の第２例の説明図である。
【図４】 対象物指定装置１８による対象物指定法の第３例の説明図である。
【図５】 画像の階層構造とマスク処理を説明する模式図である。
【図６】 輪郭線抽出処理の別例の説明用模式図である。
【図７】 本実施例のグラフィック・ユーザ・インターフェースの説明図である。
【符号の説明】
１０：画像ソース
１２：画像メモリ
１４：ローパス・フィルタ
１６：画像メモリ
１８：対象物指定装置
２０：ローパス・フィルタ
２２：ダウン・サンプラ
２４：画像メモリ
２６：ローパス・フィルタ
２８：ダウン・サンプラ
３０：画像メモリ
３２：輪郭線抽出回路
３４：アップ・サンプラ
３６：マスク処理回路
３８：輪郭線抽出回路
４０：アップ・サンプラ
４２：マスク処理回路
４４：輪郭線抽出回路
４６：対象物抽出回路
４８：画像メモリ
５０，５２，５４：スライド・バー
５６，５８，６０：各解像度の画像
【発明の属する技術分野】
本発明は、画像処理装置及び方法並びに記憶媒体に関し、より具体的には、画像から所望の被写体を抽出し、移動、反転、回転、変倍及び変形などの処理を施す画像編集・加工ツール、他の画像へはめ込み合成する合成ツール、特定された領域に限定して何らかの画像処理を施す画像処理ツール、及び画像を領域分割してシーンの理解を助けるロボット・ビジョンのプリプロセッサ等に利用できる画像処理装置及び方法並びに、その方法を実行するソフトウエアを記憶する記憶媒体に関する。
【０００２】
【従来の技術】
従来、画像から対象物体を切り出す方法として、平成４年特許出願公告第１４３９１号公報に記載されているように、濃淡画像をその平均濃度及び濃度値の分散に基づいて先ず粗く領域分割し、続いてその濃淡画像のエッジ情報を用いて、先の領域分割の結果得られる各領域の境界を拡張するように処理する方法が知られている。
【０００３】
同様に、中須による「画像合成のための対象物の切り出し法」（ＮＨＫ技研月報、昭和６２年１２月）では、対象物の輪郭を含む限定された領域を色情報に基づいて先ず粗く領域分割し、続いて、画像の微分処理により求まる尾根線を用いて先の領域分割の結果得られる各領域を再分割する。
【０００４】
このように、画像の領域分割や対象物の抽出を目的として、従来、同程度の濃度又は色を持った領域を先ず粗く定め、次にエッジのような画像の高周波成分を用いて、より高い分解能で輪郭線又は境界線を求めている。
【０００５】
【発明が解決しようとする課題】
従来例では、入力画像に雑音成分が多い場合、又は複雑なテキスチャを多く含む場合には、画像の各領域のまとまりが悪く、必要以上に細かく領域分割される過分割の問題があった。また、領域分割処理は、画像に対する全体的な処理（グローバルな処理）であり、高速化が難しいという問題もあった。
【０００６】
本発明は、入力画像を複数段階の解像度レベルに分解し、低解像度の画像から順に処理することにより、入力画像が雑音を多く含むものでも、また、多くの高周波成分を含む場合でも、正しく対象物を抽出でき、又は領域分割できる画像処理装置及び方法を提示することを目的とする。
【０００７】
本発明はまた、高精度に対象物を抽出する画像処理装置及び方法を提示することを目的とする。
【０００８】
本発明はまた、従来よりも高速に対象物を抽出する画像処理装置及び方法を提示することを目的とする。
【０００９】
本発明は更に、上述の画像処理方法を実行するプログラムを記憶する記憶媒体を提示することを目的とする。
【００１０】
【課題を解決するための手段】
本発明に係る画像処理装置は、画像を入力する画像入力手段と、入力画像を記憶する画像記憶手段と、当該入力画像を表示する画像表示手段と、当該入力画像から抽出したい対象物を指定する対象物指定手段と、当該入力画像の帯域を制限するフィルタリング手段と、当該フィルタリング手段により帯域制限されて出力される異なる解像度を持った複数の画像を低解像度の画像から順に処理対象として、当該対象物の輪郭線を各解像度レベルに適した処理条件下で段階的に抽出する輪郭線抽出手段と、先行する段階で抽出された輪郭線の範囲に後続の輪郭線抽出処理の実行範囲を限定するマスク手段と、最後に求められる輪郭線を用いて当該対象物を切り出す対象物抽出手段とを具備し、当該輪郭線抽出手段は、低解像度の画像に対しては、画像の色差情報を参照する度合いを高め、高解像度の画像に対しては、画像の輝度情報を参照する度合いを高めるように、画像の色差情報と輝度情報の参照する割合を画像に応じて変化させながら段階的に対象物の輪郭線を抽出することを特徴とする。
【００１１】
本発明に係る画像処理方法は、異なる解像度を持った複数の画像を低解像度の画像から順に処理対象として、画像中の対象物の輪郭線を各解像度レベルに適した処理条件で段階的に抽出する輪郭線抽出ステップを有し、先行するステップで抽出された輪郭線の範囲に限定して、後続のステップで更に高解像度に輪郭線を求める画像処理方法であって、当該輪郭線抽出ステップは、低解像度の画像に対しては、画像の色差情報を参照する度合いを高め、高解像度の画像に対しては、画像の輝度情報を参照する度合いを高めるように、画像の色差情報と輝度情報の参照する割合を画像の解像度に応じて変化させながら段階的に対象物の輪郭線を抽出することを特徴とする。
【００１２】
本発明に係る記憶媒体には、上述の画像処理方法を実行するプログラム・ソフトウエアが外部読み出し自在に格納される。
【００１３】
【実施例】
以下、図面を参照して本発明の実施例を詳細に説明する。
【００１４】
図１は、本発明の一実施例の概略構成ブロック図を示す。図１において、１０は画像ソースであり、例えば、撮像素子及びその出力をディジタル化するＡ／Ｄ変換器からなる画像発生装置、又は画像再生装置からなる。
【００１５】
１２は画像ソース１０から出力される画像データを記憶する画像メモリ、１４は画像の雑音を除去するローパス・フィルタであり、例えばメジアン・フィルタ又は簡単な平滑化回路からなる。１６は雑音除去後の画像を格納する画像メモリ、１８は画像から抽出したい対象物を指定する対象物指定装置、２０は雑音除去後の画像から所定の高周波成分を遮断するローパス・フィルタ、２２は画像データを間引くダウン・サンプラ、２４は高域を遮断された画像を格納する画像メモリである。
【００１６】
２６は入力画像の中域以上を遮断するローパス・フィルタ、２８は画像データを間引くダウン・サンプラ、３０は中域以上を遮断された画像を保持する画像メモリ、３２は低域のみの画像から輪郭線を抽出する輪郭線抽出回路、３４は画像データ数を増やすアップ・サンプラ、３６は画像メモリ２４に格納された画像にマスク処理を施すマスク処理回路、３８は低域及び中域の画像から輪郭線を抽出する輪郭線抽出回路、４０は画像データ数を増やすアップ・サンプラである。
【００１７】
４２は画像メモリ１６に格納された画像にマスク処理を施すマスク処理回路、４４は低域、中域及び高域からなる画像（雑音除去後の原画像）から輪郭線を抽出する輪郭線抽出回路、４６は画像メモリ１２に格納された原画像から、輪郭線抽出回路４４により抽出された輪郭線を用いて対象物を切り出す対象物抽出回路、４８は切り出された対象物を格納する画像メモリである。
【００１８】
本実施例の動作を説明する。画像メモリ１２は、画像ソース１０からの画像データを二次元配列に記憶する。フィルタ１４は、画像メモリ１２からの画像からノイズを除去して、画像メモリ１６に格納する。オペレータは、図２、図３及び図４に示すように、対象物指定装置１８を使用して画像から抽出したい対象物を指定する。対象物指定装置１８による抽出対象物の指定の詳細は、後述する。
【００１９】
フィルタ２０は、メモリ１６に記憶される画像から高周波成分を遮断し、低域及び中域からなる画像を出力する。ダウン・サンプラ２２は、高域成分を除去された画像から折り返し歪みが出ない範囲で画素を間引き、画像メモリ２４に格納する。
【００２０】
フィルタ２６は、画像メモリ２４に記憶される画像から中域以上を遮断し、低域成分だけからなる画像を出力する。ダウン・サンプラ２８は、フィルタ２６の出力画像から、ダウン・サンプラ２２と同様に折り返し歪みが出ない範囲で画素を間引き、メモリ３０に格納する。
【００２１】
輪郭線抽出回路３２は、低域（低周波）成分のみからなる画像から対象物の輪郭線を抽出する。アップ・サンプラ３２は、標本データを繰り返すことにより画像をダウン・サンプラ２８の直前の解像度に戻す。マスク処理回路３６は、輪郭線抽出回路３２によって抽出された輪郭線領域のみをその後の処理対象とするためのマスク処理を施す。輪郭線抽出回路３８は、画像メモリ２４から供給される低域及び中域からなる画像において、マスク処理回路３６により処理対象として限定された領域内で輪郭線を抽出する。アップ・サンプラ４０は、標本データを繰り返すことにより画像をダウン・サンプラ２２直前の解像度に戻す。
【００２２】
マスク処理回路４２は、輪郭線抽出回路３８によって抽出された輪郭線領域のみを後続の処理対象とするためのマスク処理を施す。輪郭線抽出回路４４は、画像メモリ１６から供給される低域乃至高域からなる画像（雑音除去後の原画像）において、マスク処理回路４２により処理対象とされた領域内で輪郭線を抽出する。対象物抽出回路４６は、輪郭線抽出回路４４により抽出された輪郭線に従い対象物を原画像から抜き出し、抜き出した対象物の画像データを画像メモリ４８に格納する。
【００２３】
図２、図３及び図４は、対象物指定装置１８によりオペレータが大雑把に抽出したい対象物を指定する様子を示す。図２は、オペレータが例えばマウスのようなポインティング・デバイスを用いて、対象物の輪郭線に沿って要所要所に点を打った様子を図示する。連続する各点を結ぶ直線を中心線として延在する閉領域が形成され、その閉領域が、引き続く処理の対象領域となる。図３は、オペレータがある幅を持った太ペンのようなツールを用いて、対象物の輪郭線をトレースした様子を図示する。トレースされた閉領域が、引き続く処理の対象領域となる。図４は、オペレータが対象物を包含するような閉曲線を描いた様子を図示する。図３と同様に、その閉領域が、引き続く処理の対象領域となる。
【００２４】
対象物指定装置１８による対象物の指定方法は、上述の何れかの方法に限定されるものではなく、上述の方法の変形、又はこれらの組み合わせ、若しくは、全く別の方法であっても良い。また、フィルタ２０，２６を、対象物指定装置１８により指定された範囲に限定して適用することにより、その処理を高速化することもできる。
【００２５】
図５は、画像メモリ１６，２４，３０にそれぞれ格納される画像の階層関係とマスク処理回路３６，４２の作用を説明する図である。図５（ａ）は画像メモリ１６に格納される雑音除去後の画像（フィルタ１４の出力画像）を示す。図５（ｂ）は、画像メモリ２４に格納される画像であって、フィルタ１８により高周波成分が除去された低域乃至中域からなる画像を示す。ダウン・サンプラ２０により解像度が半分に落とされている。図５（ｃ）は画像メモリ３０に格納される画像であって、中域以上が除去されて低域成分だけからなる画像（フィルタ２６の出力画像）を示す。ダウン・サンプラ２６により解像度が更に半分に落とされている。
【００２６】
輪郭線抽出回路３２は、図５（ｃ）に示す最も低解像度の画像を用いて、対象物指定装置１８により指定された領域で対象物の輪郭線抽出を実行する。ここで、例えば、図５（ｃ）に斜線で示されているような輪郭線が抽出されたとする。アップ・サンプラ３４は、輪郭線が抽出された画像を補間して、図５（ｂ）に示すように解像度を上げる。マスク処理回路３６は、輪郭線部分に１を、それ以外の領域には０を与える２値マスクを形成し、そのマスクを画像メモリ２４に格納される画像に乗算する。これにより、輪郭線抽出回路３８の処理対象が、図５（ｂ）に示される斜線領域のみに限定され、輪郭線抽出回路３８は、図５（ｂ）の斜線領域から輪郭線を抽出する。図５（ｂ）に示す画像で、輪郭線抽出回路３８が、縦線領域で輪郭線を抽出したとする。マスク処理回路４２はマスク処理回路３６と同様にマスクを生成して、画像メモリ１６に記憶される画像に乗算する。これにより、輪郭線抽出回路４６の処理対象領域は、図５（ａ）に示す画像の縦線領域に限定される。
【００２７】
ここでは、理解を容易にするために、ダウン・サンプラ２２，２８で解像度を半分にする例を取り上げたが、目的及び要求精度等に応じて適切なサンプリング・レートを選択できることは明らかである。
【００２８】
次に、輪郭線抽出処理回路３２，３８，４４の動作を具体的に説明する。各輪郭線抽出処理回路３２，３８，４４への入力画像は、先ず、画像情報の冗長性を減じて処理効率を上げるために、下式により輝度情報と色差情報に分解される。
【００２９】
【数１】
Ｘ１＝（Ｒ＋Ｇ＋Ｂ）／３
【００３０】
【数２】
Ｘ２＝（Ｒ−Ｂ）／２
【００３１】
【数３】
Ｘ３＝（２Ｇ−Ｒ−Ｂ）／４
ここで、Ｒ，Ｇ及びＢはそれぞれ、入力画像の各画素が持つ赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の信号値である。Ｘ１は画像の輝度情報を示し、Ｘ２及びＸ３は画像の色差情報を示す。一般に、Ｘ３は冗長な情報であり、Ｘ１及びＸ２だけで画像分割には十分であることが知られているので、以後、Ｘ３は省略する。
【００３２】
次に、微分処理により、Ｘ１及びＸ２のそれぞれのエッジ強度Ｅ１，Ｅ２を求める。即ち、
【００３３】
【数４】
【数５】
【００３５】
但し、エッジ強度Ｅの定義は、上記のものに限定されない。第１項及び第２項の２乗和の代わりに絶対値和であっても良いし、より簡単には、下記のごとく、第１項と第２項の大きい方を出力しても良い。即ち、
【００３６】
【数６】
【数７】
【００３８】
【数８】
Ｃ＝α・Ｅ１＋（１−α）・Ｅ２ （但し、０≦α≦１）
輪郭値Ｃは、輝度エッジＥ１と色エッジＥ２を荷重平均したものであり、本実施例では、輪郭値Ｃの局所的な最大値を探索することにより輪郭線を抽出する。
【００３９】
ところで、数１及び数２の比較からも明らかなように、輝度情報Ｘ１は、Ｒ、Ｇ及びＢの各信号の平均値（積分＝平滑化効果）であるのに対し、色差情報Ｘ２は、ＲとＢの差分（微分＝高域強調効果）であるので、色差情報Ｘ２は、輝度情報Ｘ１より画像信号に含まれる雑音の影響を受けやすい。従って、ＳＮ比の低い（よりノイジーな）高解像度画像に対しては、輝度情報Ｘ１から求められる輝度エッジＥ１の方が信頼性が高く、ＳＮ比の高い低解像度画像に対しては、色差情報Ｘ２から求められる色エッジＥ２の信頼性が高くなってくる。
【００４０】
また、異なる色の境界であるにも拘わらず、輝度Ｘ１がほぼ一定である場合、輝度エッジＥ１を抽出するのは画像の解像度が低くなるほど困難となるが、色エッジは、解像度に関係なく抽出可能である。従って、この場合も、解像度が低くなる程に色エッジの相対的な信頼性が高まる。
【００４１】
そこで、数８のパラメータαを変化させることにより、輝度エッジと色エッジの参照する重みを画像の解像度に応じて変化させる。低解像度の画像を対象とする初段の輪郭線抽出回路３２では、色エッジの参照比重を高めるようにパラメータαの値を小さく設定する。その結果、色エッジＥ２をより重視して、境界の探索又はトレースを行うことができる。逆に、より高解像度の画像を対象とする後段の輪郭線抽出回路３８，４４では、パラメータαの値を徐々に大きくしていき、輝度エッジを重視した境界探索又はトレースを行う。補足ながら、全ての境界探索又はトレース作業は、対象物指定装置１８によりオペレータが指示した初期の対象領域に限って行なわれ、解像度が上がるほどに対象領域がより限定されていく。
【００４２】
以上のように、本実施例では、低解像度画像に対しては同色領域の抽出という色情報ベースの手法を重視し、高解像度になるほどに輝度エッジを重視して輪郭線を高精度化するように動作するので、解像度の異なる各ステージで最適な情報を効率よく活用できる。なお、輪郭値Ｃの定義は、数８に限定されない。画像の解像度が低いほどに色差情報の参照比重を高め、解像度が高くなるほどに輝度情報の参照比重を高める特性を有しているものであれば、何であっても良い。
【００４３】
上記実施例によれば、次のような特有の効果がある。即ち、第１に、低解像度の画像から処理を開始するので、輪郭線抽出時に不要な雑音及び細かいテキスチャ・パターンの影響を極力抑制することができ、対象物を安定的に抽出できる。第２に、階層的な画像のセットを用いた段階的な処理で、後続の処理対象領域を順次制限していくので、無駄な処理が少なくなり、結果的に高速になる。第３に、解像度の異なる各ステージで最適な画像情報を優先的に活用できるので、高精度に対象物を抽出できる。
【００４４】
上記実施例では、輝度情報と色情報を分離するためにカラー入力画像（ＲＧＢ画像）をＸ１、Ｘ２及びＸ３に変換したが、上記実施例の上述の効果は、この変換を使用する場合に限定されない。例えば、ＹＩＱモデル又はＨＳＩモデルのような他の分離方法を利用しても構わないし、ＲＧＢ画像をそのまま使用しても良い。
【００４５】
また、上記実施例では、フィルタ、ダウン・サンプラ及びアップ・サンプラを用いて入力画像の解像度を明示的に変化させたが、これらの処理を省略し、入力画像の画素数を保持したまま実行しても、帯域の異なる画像を、低周波寄りの画像から順に用いて輪郭線抽出すれば、同様の効果を得ることができる。同様に、既に多重解像度化された階層画像を入力画像とし、低周波寄りの画像から順に輪郭線を抽出しても、同様の効果を得ることができる。
【００４６】
更には、画像全体のフィルタリング処理の代わりに、輪郭抽出又は被写体切出しのための注目点をローカルなフィルタリング処理（例えば、フィルタリングのマスクサイズを変えて、階層的にフィルタリングする。）により多重解像度の画像を生成しても良い。
【００４７】
上記実施例では、低解像度画像に対しては色エッジの参照度合いを高め、高解像度画像に対しては輝度エッジの参照度合いを高め、処理自体は、画像の解像度に関わらずエッジ抽出と抽出されたエッジのトレースという局所的（ローカルな）な処理になっている。これに対し、低解像度画像に対し、エッジ抽出の代わりに領域分割という全体的な（グローバルな）処理を先ず実行し、高解像度画像に対してエッジを抽出する処理を説明する。
【００４８】
図６は、図３で示された太線トレースの一部の拡大図を示す。太線の両縁上に点在する点は、同色領域を形成するための基準画素である。各基準画素を始点として同色と見なす領域を徐々に、太線の両縁から歩み寄るように成長させる。その結果、輪郭線の存在しうる範囲が限定されるので、より解像度の高い画像を用いる後続の処理では、この限定された領域でのみ輪郭線を探索すれば良い。最終的な輪郭線の抽出は、先の実施例と同じくエッジ情報を用いる。
【００４９】
同色領域の決定方法は、例えば、以下の通りである。即ち、下記式から得られる色ベクトルの距離ｄに対して閾値処理をする。
【００５０】
【数９】
ｄ１＝（Ｒａ−Ｒｂ）２＋（Ｇａ−Ｇｂ）２＋（Ｂａ−Ｂｂ）２
【００５１】
【数１０】
ｄ２＝｜Ｒａ−Ｒｂ｜＋｜Ｇａ−Ｇｂ｜＋｜Ｂａ−Ｂｂ｜
【００５２】
【数１１】
ｄ３＝ｍａｘ｛｜Ｒａ−Ｒｂ｜、｜Ｇａ−Ｇｂ｜、｜Ｂａ−Ｂｂ｜｝
ここで、Ｒ、Ｇ及びＢはそれぞれ、各画素が持つ赤色、緑色及び青色の信号値である。Ｒａ、Ｇａ及びＢａは、基準画素ａの赤色、緑色及び青色の信号値を示し、Ｒｂ、Ｇｂ及びＢｂは、同色領域に属するかどうかを基準画素ａと比較して評価される画素ｂの赤色、緑色及び青色の信号値である。なお、画像の明るさの影響を排除するために、Ｒ、Ｇ及びＢ値の代わりに、Ｒ、Ｇ及びＢ値を対応する画素の明るさＹ＝Ｒ＋Ｇ＋Ｂで正規化した値ｒ、ｇ及びｂ、即ち、
【００５３】
【数１２】
ｒ＝Ｒ／Ｙ
【００５４】
【数１３】
ｇ＝Ｇ／Ｙ
【００５５】
【数１４】
ｂ＝Ｂ／Ｙ
を用いても良い。
【００５６】
Ｒ、Ｇ及びＢ値又はｒ、ｇ及びｂ値の代わりに、上述の実施例で説明した、予め輝度と色情報を分離した空間を用いれば、同色領域の形成だけでなく、同輝度領域の形成も同時に実行できる。先の実施例と同様に、輝度情報Ｘ１及び色差情報Ｘ２を用いる場合を例にとり説明する。この時の距離ｄは、下式のように表される。
【００５７】
【数１５】
ｄ４＝β・（Ｘ１ａ−Ｘ１ｂ）２＋（１−β）・（Ｘ２ａ−Ｘ２ｂ）２
但し、０≦β≦１
Ｘ１ａ及びＸ２ａはそれぞれ、太線の縁に点在する基準画素ａの輝度値と色差値であり、Ｘ１ｂ及びＸ２ｂはそれぞれ基準点ａと比較して、同色かどうかを評価される画素ｂの輝度値と色差値である。第１項は、同輝度領域を形成するように機能し、第２項は同色領域を形成するように機能する。従って、入力画像が白黒画像であったり、色が鮮明でない場合には、βを１又は１に近い値を設定し、逆に、色鮮やかな画像の場合には、βを０又は０に近い値を設定する。
【００５８】
以上をまとめると、低解像度の画像に対して、色情報又は色情報と輝度情報を用いてまず粗く画像を領域分割し、輪郭線の存在する領域を限定する。解像度が上がる度に先行する領域分割処理によって限定された領域に絞って、再度、領域分割を行う。そして、高解像度画像に対しては、このように限定された領域内でエッジ抽出を行い、輪郭線を抽出する。これにより、低解像度の画像から処理を開始するので、領域分割時に問題となる過分割を防ぐことができる。一定以上の面積を持つ閉領域は、解像度を低くしても消失しないので、低解像度の画像から処理することにより、精度を落とすことなく、通常は高速化しにくい領域分割処理を高速化できる。
【００５９】
上記実施例に有用なグラフイック・ユーザー・インターフェース（ＧＵＩ）を説明する。図７は、３段階に解像度が異なる画像を、各解像度画像に対応した輪郭値Ｃと一緒に表示する状態を示す。５０，５２，５４は、輪郭線を抽出する際の処理パラメータ（ここでは、パラメータα）を制御するためのスライド・バーである。５６，５８，６０は、スライド・バー５０，５２，５４により設定された環境下における各解像度画像（ここでは輪郭値Ｃ）であり、スライド・バー５０，５２，５４の設定に応じてリアルタイムに表示される。従って、オペレータは画像５６，５８，６０を見ながらスライド・バー５０，５２，５４を操作して、輪郭線が最もくっきりと浮かびあがるように各解像度における最適なパラメータを設定することができる。パラメータ設定後は、輪郭線抽出回路３２，３８，４４が、その設定パラメータの条件に従い、対象物を抽出する。
【００６０】
図７に示すＧＵＩでは、オペレータが目視しながら最適なパラメータを変更及び設定できるので、入力画像にカラー情報が乏しい場合及び、入力画像が白黒画像である場合でも、簡単な走査で対象物を高精度に切り出すことができる。
【００６１】
本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００６２】
また、上述した実施例の機能を実現するように各種のデバイスを動作させるべく当該各種デバイスと接続された装置又はシステム内のコンピュータに、上記実施例の機能を実現するためのソフトウェアのプログラムコードを供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ）を、格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本願発明の範囲に含まれる。
【００６３】
この場合、前記ソフトウエアのプログラムコード自体が、前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は、本発明を構成する。かかるプログラムコードを格納する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード及びＲＯＭ等を用いることが出来る。
【００６４】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施例の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフトウエア等と共同して上述の実施例の機能が実現される場合にも、かかるプログラムコードが本出願に係る発明の実施例に含まれることは言うまでもない。
【００６５】
更には、供給されたプログラムコードが、コンピュータの機能拡張ボード又はコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて、その機能拡張ボード又は機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施例の機能が実現される場合も、本出願に係る発明に含まれることは言うまでもない。
【００６６】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、多重解像度画像の活用により、対象物の抽出及び画像分割処理を高効率化し、高速化できる。多重解像度画像を活用し、低解像度画像から順に処理するので、ノイズ及び細かいテキスチャ・パターンの影響を受けずに対象物を抽出でき、画像を分割できる。各解像度画像に最適なパラメータを設定できるので、画像情報を有効に活用でき、ひいては対象物の抽出及び画像分割の精度を高めることができる。グラフイック・ユーザー・インターフェースによる処理パラメータの設定が簡単になる。各解像度画像に最適な輪郭線抽出処理をすることにより対象物の抽出及び画像分割の処理を安定化できる。
【図面の簡単な説明】
【図１】 本発明の第１実施例の概略構成ブロック図である。
【図２】 対象物指定装置１８による対象物指定法の一例の説明図である。
【図３】 対象物指定装置１８による対象物指定法の第２例の説明図である。
【図４】 対象物指定装置１８による対象物指定法の第３例の説明図である。
【図５】 画像の階層構造とマスク処理を説明する模式図である。
【図６】 輪郭線抽出処理の別例の説明用模式図である。
【図７】 本実施例のグラフィック・ユーザ・インターフェースの説明図である。
【符号の説明】
１０：画像ソース
１２：画像メモリ
１４：ローパス・フィルタ
１６：画像メモリ
１８：対象物指定装置
２０：ローパス・フィルタ
２２：ダウン・サンプラ
２４：画像メモリ
２６：ローパス・フィルタ
２８：ダウン・サンプラ
３０：画像メモリ
３２：輪郭線抽出回路
３４：アップ・サンプラ
３６：マスク処理回路
３８：輪郭線抽出回路
４０：アップ・サンプラ
４２：マスク処理回路
４４：輪郭線抽出回路
４６：対象物抽出回路
４８：画像メモリ
５０，５２，５４：スライド・バー
５６，５８，６０：各解像度の画像
Claims (9)
- 画像を入力する画像入力手段と、
入力画像を記憶する画像記憶手段と、
当該入力画像を表示する画像表示手段と、
当該入力画像から抽出したい対象物を指定する対象物指定手段と、
当該入力画像の帯域を制限するフィルタリング手段と、
当該フィルタリング手段により帯域制限されて出力される異なる解像度を持った複数の画像を低解像度の画像から順に処理対象として、当該対象物の輪郭線を各解像度レベルに適した処理条件下で段階的に抽出する輪郭線抽出手段と、
先行する段階で抽出された輪郭線の範囲に後続の輪郭線抽出処理の実行範囲を限定するマスク手段と、
最後に求められる輪郭線を用いて当該対象物を切り出す対象物抽出手段
とを具備し、当該輪郭線抽出手段は、低解像度の画像に対しては、画像の色差情報を参照する度合いを高め、高解像度の画像に対しては、画像の輝度情報を参照する度合いを高めるように、画像の色差情報と輝度情報の参照する割合を画像に応じて変化させながら段階的に対象物の輪郭線を抽出することを特徴とする画像処理装置。 - 当該輪郭線抽出手段は、低解像度の画像に対しては、画像の色情報及び濃淡情報の少なくとも一方を用いて領域分割を行い、後続の輪郭線抽出処理の対象領域の範囲を限定していき、高解像度の画像に対しては、画像のエッジ情報をもって対象物の輪郭線を抽出することを特徴とする請求項１に記載の画像処理装置。
- 更に、異なる解像度の各画像における輪郭線抽出のための処理パラメータを設定するパラメータ設定手段を備える請求項１に記載の画像処理装置。
- 当該画像表示手段は、帯域制限されて異なる解像度を持った複数の画像を同時に表示する請求項１に記載の画像処理装置。
- 当該画像表示手段は、帯域制限されて異なる解像度を持った複数の画像から輪郭線抽出のために生成された複数の画像を同時に表示する請求項１に記載の画像処理装置。
- 異なる解像度を持った複数の画像を低解像度の画像から順に処理対象として、画像中の対象物の輪郭線を各解像度レベルに適した処理条件で段階的に抽出する輪郭線抽出ステップを有し、先行するステップで抽出された輪郭線の範囲に限定して、後続のステップで更に高解像度に輪郭線を求める画像処理方法であって、
当該輪郭線抽出ステップは、低解像度の画像に対しては、画像の色差情報を参照する度合いを高め、高解像度の画像に対しては、画像の輝度情報を参照する度合いを高めるように、画像の色差情報と輝度情報の参照する割合を画像の解像度に応じて変化させながら段階的に対象物の輪郭線を抽出することを特徴とする画像処理方法。 - 当該輪郭線抽出ステップは、低解像度の画像に対しては、画像の色情報及び濃淡情報の少なくとも一方を用いて領域分割を行い、後続の輪郭線抽出処理の対象領域の範囲を限定していき、高解像度の画像に対しては、画像のエッジ情報をもって対象物の輪郭線を抽出する請求項６に記載の画像処理方法。
- 異なる解像度を持った複数の画像を低解像度の画像から順に処理対象として、画像中の対象物の輪郭線を各解像度レベルに適した処理条件で段階的に抽出する輪郭線抽出ステップを有し、先行するステップで抽出された輪郭線の範囲に限定して、後続のステップで更に高解像度に輪郭線を求める画像処理方法を実行するプログラム・ソフトウエアであって 、当該輪郭線抽出ステップは、低解像度の画像に対しては、画像の色差情報を参照する度合いを高め、高解像度の画像に対しては、画像の輝度情報を参照する度合いを高めるように、画像の色差情報と輝度情報の参照する割合を画像の解像度に応じて変化させながら段階的に対象物の輪郭線を抽出するプログラム・ソフトウエアを外部読み出し自在に記憶することを特徴とする記憶媒体。
- 当該輪郭線抽出ステップは、低解像度の画像に対しては、画像の色情報及び濃淡情報の少なくとも一方を用いて領域分割を行い、後続の輪郭線抽出処理の対象領域の範囲を限定していき、高解像度の画像に対しては、画像のエッジ情報をもって対象物の輪郭線を抽出する請求項８に記載の記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31814098A JP3706755B2 (ja) | 1998-11-09 | 1998-11-09 | 画像処理装置及び方法並びに記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31814098A JP3706755B2 (ja) | 1998-11-09 | 1998-11-09 | 画像処理装置及び方法並びに記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000149031A JP2000149031A (ja) | 2000-05-30 |
| JP3706755B2 true JP3706755B2 (ja) | 2005-10-19 |
Family
ID=18095955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31814098A Expired - Fee Related JP3706755B2 (ja) | 1998-11-09 | 1998-11-09 | 画像処理装置及び方法並びに記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3706755B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102084396A (zh) * | 2009-05-08 | 2011-06-01 | 索尼公司 | 图像处理设备、方法和程序 |
| KR20230013664A (ko) * | 2021-07-15 | 2023-01-27 | 중앙대학교 산학협력단 | 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003061105A (ja) | 2001-06-07 | 2003-02-28 | Seiko Epson Corp | 画像処理方法、画像処理プログラム、画像処理装置およびそれを用いたディジタルスチルカメラ |
| US7517089B2 (en) | 2004-03-29 | 2009-04-14 | Seiko Epson Corporation | Image processing system, projector, information storage medium, and image processing method |
| JP3882929B2 (ja) | 2004-03-29 | 2007-02-21 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタおよび画像処理方法 |
| JP3882928B2 (ja) * | 2004-03-29 | 2007-02-21 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタおよび画像処理方法 |
| JP4730525B2 (ja) * | 2005-06-13 | 2011-07-20 | 富士ゼロックス株式会社 | 画像処理装置及びそのプログラム |
| JP5076744B2 (ja) * | 2007-08-30 | 2012-11-21 | セイコーエプソン株式会社 | 画像処理装置 |
| JP6364837B2 (ja) * | 2014-03-14 | 2018-08-01 | オムロン株式会社 | 画像処理装置および領域分割方法 |
| WO2023281636A1 (ja) * | 2021-07-06 | 2023-01-12 | 日本電信電話株式会社 | 被写体抽出装置、被写体抽出方法及びプログラム |
| WO2023281637A1 (ja) * | 2021-07-06 | 2023-01-12 | 日本電信電話株式会社 | 被写体抽出装置、被写体抽出方法及びプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2961174B2 (ja) * | 1990-03-02 | 1999-10-12 | 日本電信電話株式会社 | 特徴量抽出方法 |
| JP3078132B2 (ja) * | 1992-10-27 | 2000-08-21 | 沖電気工業株式会社 | 輪郭線抽出装置 |
| JP3574170B2 (ja) * | 1994-03-17 | 2004-10-06 | 富士通株式会社 | 分散型画像処理装置 |
| JPH0981735A (ja) * | 1995-09-08 | 1997-03-28 | Toshiba Corp | 印刷物の目視検査補助装置 |
| JPH09212632A (ja) * | 1996-02-02 | 1997-08-15 | Fuji Xerox Co Ltd | 画像処理装置 |
| JPH1091786A (ja) * | 1996-09-17 | 1998-04-10 | Iwane Kenkyusho:Kk | 三次元画像情報抽出方法及びそれを用いた画像作成方法 |
-
1998
- 1998-11-09 JP JP31814098A patent/JP3706755B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102084396A (zh) * | 2009-05-08 | 2011-06-01 | 索尼公司 | 图像处理设备、方法和程序 |
| KR20230013664A (ko) * | 2021-07-15 | 2023-01-27 | 중앙대학교 산학협력단 | 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법 |
| KR102582861B1 (ko) | 2021-07-15 | 2023-09-27 | 중앙대학교 산학협력단 | 카메라와 레이저를 이용하여 사물 자율인식이 가능한 전자의수 및 그 작동방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000149031A (ja) | 2000-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2469403C2 (ru) | Устройство, способ и программа обработки изображения | |
| US6973213B2 (en) | Background-based image segmentation | |
| EP1173003B1 (en) | Image processing method and image processing apparatus | |
| JP3706755B2 (ja) | 画像処理装置及び方法並びに記憶媒体 | |
| US7577313B1 (en) | Generating synthesized texture in differential space | |
| JPH11313202A (ja) | 画像処理装置および画像処理方法 | |
| CN114449181B (zh) | 图像和视频处理方法及其***、数据处理设备、介质 | |
| CN107564078B (zh) | 一种带有干扰像素的栅格分区图自动矢量化方法 | |
| US6798424B2 (en) | Image processing method and apparatus and storage medium | |
| US7885486B2 (en) | Image processing system, method for processing image and computer readable medium | |
| CN110675463B (zh) | 一种局部彩色铅笔画生成方法及装置 | |
| CN103942756A (zh) | 一种深度图后处理滤波的方法 | |
| JP2004502262A (ja) | 指示介入不要なシーン分割 | |
| JP3515019B2 (ja) | 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置 | |
| JP4441300B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体 | |
| JP2003162718A (ja) | 画像処理方法及びプログラム | |
| CN112614149A (zh) | 基于实例分割的语义合成方法 | |
| JP2004199622A (ja) | 画像処理装置、画像処理方法、記録媒体およびプログラム | |
| JP5111226B2 (ja) | 画像処理方法、画像処理装置、及び、そのプログラムならびにコンピュータ読み取り可能な記憶媒体 | |
| JP2006025448A (ja) | キー信号生成装置及び方法、画像合成装置、並びに記録媒体 | |
| JP2001209808A (ja) | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 | |
| JP2775122B2 (ja) | イラストデータの自動輪郭抽出ベクトル化処理方法，及びそれに使用する処理装置 | |
| JPH07334648A (ja) | 画像処理方法及びその装置 | |
| JP2001127999A (ja) | 画像処理装置および画像処理方法 | |
| JP2011188237A (ja) | 画像処理方法、及び画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050801 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080805 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100805 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110805 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130805 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |