JP3638845B2 - 画像処理装置及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置及び方法並びに記録媒体に関し、特に原画像から空間微分値を用いて物体の輪郭を抽出する処理に関する。
【０００２】
【従来の技術】
従来より、画像から物体、具体的には物体の輪郭（エッジ）を抽出するための種々の方法が提案されている。例えば、原画像の輝度の空間微分より勾配を求め、非極大値抑制（局所的に極大となる点以外を削除する）によりエッジを抽出する方法、物体の濃淡パターンを想定したテンプレートを予め用意し、原画像との相関演算を行ってエッジを抽出する（テンプレートマッチング）方法、原画像の輝度の空間微分の２階微分値が０となる点を抽出する方法、等である。
【０００３】
【発明が解決しようとする課題】
しかしながら、テンプレートマッチング法では、予め抽出すべき物体の濃淡パターンが既知であることが前提となり、テンプレート以外の物体のエッジを抽出することができない、あるいはエッジ抽出精度がテンプレートの精度に大きく影響される問題がある。
【０００４】
また、原画像の空間微分からエッジを抽出する方法では、輝度レベルが急峻に変化するエッジ、いわゆるステップエッジは精度良く抽出できるものの、輝度レベルが穏やかに変化する陰影領域の境界はエッジとして抽出することができない問題があった。物体、特に自由曲面からなる物体の場合には、ステップエッジのみならず陰影領域が存在する場合がほとんどであり、この陰影領域の境界を抽出できないと物体の全体形状が明らかとならず、その物体の種類を特定することも困難となる。
【０００５】
本発明は、上記従来技術の有する課題に鑑みなされたものであり、その目的は、物体のエッジ、特に陰影領域の境界を確実に抽出することができる装置及び方法並びに記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、画像内の物体を抽出する画像処理装置であって、原画像の輝度を２階空間微分する微分手段と、前記２階空間微分値が実質的に０の領域をグループ化して前記物体の陰影領域を抽出する陰影領域抽出手段と、前記原画像内の前記物体のステップエッジを抽出するエッジ抽出手段と、前記ステップエッジと前記陰影領域の境界を統合する統合手段とを有し、前記微分手段は、前記原画像の輝度の空間微分値が０でない領域のみを処理対象としてさらに空間微分することにより前記２階空間微分を行うものであり、かつ、前記エッジ抽出手段で抽出された前記物体の前記ステップエッジが閉曲線を構成しておらず欠落している場合に、該欠落部分に処理ウィンドウを設定し該処理ウィンドウ内において前記２階空間微分することを特徴とする。
【０００８】
また、本発明は、画像内の物体を抽出する画像処理装置であって、原画像の輝度を２階空間微分する微分手段と、前記２階空間微分値が実質的に０の領域をグループ化して前記物体の陰影領域を抽出する陰影領域抽出手段と、前記原画像内の前記物体のステップエッジを抽出するエッジ抽出手段と、前記ステップエッジと前記陰影領域の境界を統合する統合手段とを有し、前記微分手段は、前記原画像の輝度の空間微分値が０でない領域のみを処理対象としてさらに空間微分することにより前記２階空間微分を行うものであり、前記エッジ抽出手段は、前記陰影領域抽出手段で抽出された前記物体の前記陰影領域境界の延長線上に処理ウィンドウを設定し該処理ウィンドウ内において前記ステップエッジを抽出することを特徴とする。
【００１３】
また、本発明は、画像内の物体を抽出する画像処理方法であって、原画像の輝度を２階空間微分する微分ステップと、前記２階空間微分値が実質的に０の領域をグループ化して前記物体の陰影領域を抽出する陰影領域抽出ステップと、前記原画像内の前記物体のステップエッジを抽出するエッジ抽出ステップと、前記ステップエッジと前記陰影領域の境界を統合する統合ステップとを有し、前記微分ステップでは、前記原画像の輝度の空間微分値が０でない領域のみを処理対象としてさらに空間微分することにより前記２階空間微分を行うものであり、かつ、前記エッジ抽出ステップで抽出された前記物体の前記ステップエッジが閉曲線を構成しておらず欠落している場合に、該欠落部分に処理ウィンドウを設定し該処理ウィンドウ内において前記２階空間微分することを特徴とする。
【００１４】
また、本発明は、画像内の物体を抽出する画像処理方法であって、原画像の輝度を２階空間微分する微分ステップと、前記２階空間微分値が実質的に０の領域をグループ化して前記物体の陰影領域を抽出する陰影領域抽出ステップと、前記原画像内の前記物体のステップエッジを抽出するエッジ抽出ステップと、前記ステップエッジと前記陰影領域の境界を統合する統合ステップとを有し、前記微分ステップでは、前記原画像の輝度の空間微分値が０でない領域のみを処理対象としてさらに空間微分することにより前記２階空間微分を行うものであり、前記エッジ抽出ステップでは、前記陰影領域抽出ステップで抽出された前記物体の前記陰影領域境界の延長線上に処理ウィンドウを設定し該処理ウィンドウ内において前記ステップエッジを抽出することを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面に基づき本発明の実施形態について説明する。
【００２０】
図１には、本実施形態にかかる画像処理装置の全体構成ブロック図が示されている。イメージセンサ１０は画像を取得するもので、例えばＣＣＤカメラで構成することができる。イメージセンサ１０で取得した画像データはＡ／Ｄ変換器１２でデジタル化され、フレームメモリ１４に記憶される。フレームメモリ１４に記憶されたデジタル画像データ、すなわち原画像データはメインメモリ１６に記憶され、適宜ＣＰＵ１８に読み出されて後述の処理が行われ、ステップエッジや陰影領域が抽出される。抽出されたステップエッジデータや陰影領域データはメインメモリ１６に記憶され、表示制御部２０に供給されてＣＲＴや液晶などのディスプレイに表示される。Ａ／Ｄ１２、フレームメモリ１４、メインメモリ１６、ＣＰＵ１８及び表示制御部２０はコンピュータで構成することができる。
【００２１】
図２には、図１におけるＣＰＵ１８の全体処理フローチャートが示されている。ＣＰＵ１８は、メインメモリ１６に記憶された原画像データを読み出し、まず勾配を算出する（Ｓ１０１）。次に、しきい値処理を行い、エッジ点の候補を求め、非極大値抑制処理により局所的に極大点となる点のみを残す。さらに、細線化処理により１画素幅のエッジを抽出する（Ｓ１０２）。なお、必要に応じて、求めたエッジ点を延長し、境界を求める処理を施すことも好適である。
【００２２】
図３には、輝度が急峻に変化するステップエッジ部分（ａ）及び輝度が穏やかに変化する陰影部分（ｂ）における空間微分により算出された勾配が模式的に示されている。ステップエッジ部分では、ピーク値が明瞭に現れるため、しきい値処理によりピーク値を抽出することができるが、陰影領域ではピーク値は出現しないため、しきい値を用いてその境界を抽出することが困難である。
【００２３】
そこで、ＣＰＵ１８は、Ｓ１０１及びＳ１０２でステップエッジを抽出した後、原画像から陰影領域の境界を抽出するか否かを判定する（Ｓ１０３）。この判定は、物体によってはステップエッジのみで十分全体のエッジを抽出でき、陰影領域の境界を抽出する必要性が低い場合もあり得ることに鑑みたものである。具体的には、抽出されたステップエッジが閉じていて欠落部分が存在しないと思われる場合には、陰影領域の抽出処理は不要と考えられる。
【００２４】
陰影領域抽出が必要と判定した場合、ＣＰＵ１８はＳ１０１で算出した勾配データを用い、勾配の方向が略等しい画素を抽出し、それらの画素をグループ化する（Ｓ１０４）。陰影領域は、物体に一方向から光を照射したときに影の部分にできる輝度の変化であるから、その勾配は一定の方向になる。逆に言えば、勾配が一定の方向にある画素群を抽出することで、陰影領域を抽出することができる。具体的には、隣接する画素の勾配の方向の差が所定値（例えば±５度）以内の画素群を勾配の方向が略同一の画素群とグループ化することができる。グループ化は、例えば略同一の勾配方向を有する画素群に対して同一フラグを設定すればよい。
【００２５】
陰影領域を抽出した後、Ｓ１０１及びＳ１０２で抽出したステップエッジとＳ１０３で抽出した陰影領域とを統合させ、物体の完全な全体エッジを抽出する（Ｓ１０５）。統合の方法としては、ステップエッジと陰影領域のエッジを単純加算する、ステップエッジと陰影領域のエッジを重み付け加算する等がある。重み付け加算する場合、ステップエッジと陰影領域のエッジが相互に重複する部分においてステップエッジの算出精度と陰影領域の算出精度とを考慮し、精度の高い方に大きな重みを付けることが好適である。なお、陰影領域のエッジは、例えば同一フラグが付された画素群の境界画素を選択することで抽出できる。ステップエッジと陰影領域のエッジを統合して得られた物体の全体エッジは表示制御部２０に供給され、ディスプレイに表示される。統合して得られる全体エッジから物体の種類を特定し、その物体の種類をディスプレイに表示することも好適である。このためには、予め全体エッジと物体の種類との関係を記憶するデータベースを備えておけばよい。
【００２６】
図４には、以上述べた処理が模式的に示されている。（ａ）は原画像であり、立体物体１００及び平面状物体１０２が存在するとする。（ｂ）は原画像を空間微分して勾配を算出し、しきい値処理をしてステップエッジを抽出した図である。平面状物体１０２については、ステップエッジ１０２ａは閉じたものとなり、ステップエッジ１０２ａを抽出することで物体の全体形状を得ることができるが、立体物体１００の場合は一部分のみがステップエッジ１００ａとして抽出され、図中右下の部分は輝度が穏やかに変化する陰影領域であるためエッジが欠落してしまう。そこで、立体物体１００の全体エッジを抽出するために、立体物体１００の陰影領域を抽出する。（ｃ）は原画像の勾配方向を矢印で模式的に示したものであり、略同一方向を有する勾配、すなわち隣接する画素で勾配方向の差分が所定値以下の画素群が図中符号１０３で示されている。
【００２７】
なお、勾配の方向が略同一か否かを判定する際に、原画像のすべての画素について判定を行うのではなく、陰影領域と考えられる領域のみに限定して判定することも好適である。具体的には、抽出した物体のステップエッジが欠落している部分を陰影領域とみなし、この欠落部分近傍に処理ウィンドウを設定して、そのウィンドウ内に存在する画素が略同一の勾配方向を有するか否かを判定する。（ｂ）において、ウィンドウ１０４がエッジの欠落した部分に設定された処理ウィンドウを示している。ウィンドウを設定することで処理を効率化し、グループ化に要する時間を短縮することができる。
【００２８】
（ｄ）は、勾配方向が略同一の画素群をグループ化し（ウィンドウは設定せず）、その他の部分を削除したものであり、立体物体１００の陰影領域に相当する。（ｅ）は（ｄ）で抽出された陰影領域の境界を抽出したものである。図では、立体物体１００のほぼ全体輪郭が抽出されているが、物体によっては輪郭の一部のみが抽出される場合もあり得る。物体表面の凹凸度あるいは曲面度に応じて陰影領域が形成されるから、凹凸度の大きい物体の場合には、陰影領域の境界は全体輪郭の中で大きな比重を占めることになる。
【００２９】
（ｆ）は、（ｅ）で抽出した陰影領域の境界と、（ｂ）で抽出したステップエッジとを統合したものであり、平面状物体のみならず、立体物体１００についても完全な輪郭が得られている。統合は、（ｂ）のステップエッジと（ｅ）の陰影領域境界との重み付け加算で行われ、具体的には（ｂ）のステップエッジと（ｅ）の境界とが重複する部分ではステップエッジを選択し（ステップエッジの重みを１とし陰影領域境界の重みを０とする）、ステップエッジが欠落している部分では陰影領域境界を選択する。ステップエッジと陰影領域境界とが重複する部分でステップエッジを優先させるのは、陰影領域を抽出する場合のグループ化における誤差を考慮したものである。
【００３０】
このように、本実施形態では、ステップエッジを抽出し、ステップエッジが欠落している場合に勾配方向が略同一であるという条件の下で陰影領域を抽出し、ステップエッジと陰影領域境界とを統合することで、従来では抽出することが困難であった、複雑な背景からなるシーン中の人物の手や指といった陰影領域となり易い滑らかな曲面を有する物体を類似色の背景から抽出することも可能となり、
物体認識率を向上させることができる。
【００３１】
なお、本実施形態において、陰影領域を抽出するために勾配の方向（空間微分）が略同一の領域を抽出したが、原画像の輝度の２階微分（２次微分）を用いて抽出することもできる。勾配方向が略同一であることと、２階微分値が実質的に０であることは等価である。
【００３２】
図５には、この場合の処理フローチャートが示されている。まず、原画像の１階微分（１次微分）あるいは空間微分を算出する（Ｓ２０１）。空間微分を算出した後、しきい値処理や非極大値抑制処理、さらには細線化処理を施すことによりステップエッジを抽出することができる。
【００３３】
次に、勾配の方向が略同一である画素群を抽出するのではなく、空間微分をさらにもう一度微分し、２階微分を算出する（Ｓ２０２）。但し、２階微分を算出するのは、１階微分、すなわち空間微分の値が０でない領域に限定する。これは、本来的に陰影領域でない領域においても、空間微分が０の領域は２階微分の値も０となってしまい、２階微分の値のみでは両者を識別することができないからである。２階微分を算出した後、２階微分の値が実質的に０、具体的には２階微分の絶対値が０近傍の所定値εより小さい画素を抽出し、これらの画素に同一フラグを付してグループ化する（Ｓ２０３）。グループ化した画素群は、陰影領域を現しており、その境界を抽出してステップエッジと統合することで（Ｓ２０４）、物体の全輪郭を抽出することができる。
【００３４】
また、本実施形態では、まずステップエッジを抽出し、そのステップエッジが欠落して閉じていない場合に陰影領域を抽出する処理を行って両者を統合しているが、例えば図４に示されるように、陰影領域が物体の輪郭の大部分を占めるような場合には、まず陰影領域を抽出し、その結果に基づいてステップエッジ領域を抽出することも可能である。
【００３５】
図６には、この場合の概略処理フローチャートが示されている。まず、原画像から陰影領域を抽出する（Ｓ３０１）。この処理は上述した処理と同様に、原画像を一回微分（空間微分）してその勾配方向が略同一の画素をグループ化することで抽出でき、あるいは１階微分の値が０でない画素に対する２階微分値が実質的に０である画素をグループ化することで抽出することができる。陰影領域を抽出した後、その陰影領域境界の延長線上に処理ウィンドウを設定し、処理ウィンドウ内で１階微分値をしきい値処理してステップエッジを抽出する（Ｓ３０２）。ステップエッジを抽出する際に、非極大値抑制処理や細線化処理を施しても良いことは言うまでもない。
【００３６】
なお、この実施形態では、２階微分値を用いた後で再び１階微分値を用いることになるので、１階微分値を算出した後に２階微分値を算出する際には、算出した２階微分値を１階微分値とはメモリの別の領域に格納しておくことが好適である。また、陰影領域境界の欠落部分に対して処理ウィンドウを設定する際に、グループ化に伴う誤差を考慮し、処理ウィンドウを十分大きく設定しておくことも好適である。
【００３７】
また、ステップエッジを抽出した後に陰影領域を抽出し、両者を統合する場合においても、陰影領域の抽出結果をステップエッジ抽出にフィードバックし、ステップエッジ抽出を修正してより高精度化することも可能である。
【００３８】
図７には、この場合の処理フローチャートが示されている。まず、Ｓ１０１及びＳ１０２と同様の処理を行って原画像からステップエッジを抽出する（Ｓ４０１）。次に、ステップエッジは十分抽出できたか否か、すなわちＳ１０３と同様に陰影領域の境界を抽出する必要があるか否かを判定し（Ｓ４０２）、陰影領域を抽出する必要がある場合には、Ｓ１０４と同様に勾配方向が略同一の画素をグループ化して陰影領域を抽出し、さらにその境界を抽出する（Ｓ４０３）。もちろん、２階微分値を用いて陰影領域を抽出してもよい。
【００３９】
陰影領域及びその境界を抽出した後、Ｓ４０１で抽出したステップエッジとＳ４０３で抽出した陰影領域境界との同一性を判定する。同一性とは、ステップエッジと引例領域境界とが同一物体に属するものか否かを判定するもので、具体的にはステップエッジの延長線上に陰影領域境界が存在するか否か、あるいは逆に陰影領域の延長線上にステップエッジが存在するか否かで判定する。そして、例えばステップエッジよりも陰影領域境界の方が抽出された割合が大きく、あるいはグループ化における勾配方向の同一度も高く、陰影領域境界の延長線上にステップエッジが存在していない場合には、ステップエッジの抽出精度が十分でないと判定し、再びＳ４０１の処理に戻ってステップエッジの抽出処理を繰り返す。ステップエッジの抽出処理を再度行う際には、陰影領域境界の延長線上に処理ウィンドウを設定するとともに、しきい値処理におけるしきい値を高めに修正するなど、より高精度な処理を行うことが好適である。これにより、ステップエッジの抽出精度を上げ、より的確に物体の輪郭を抽出することができる。
【００４０】
以上、本発明の実施形態について説明したが、本実施形態で示した各種処理、具体的には図２、図５〜図７の処理は、処理プログラムを記録した媒体からコンピュータにインストールし、ＣＰＵが逐次実行することで実現することができる。処理プログラムは、例えば図２の場合においては原画像の隣接画素データ（輝度データ）の差分を演算するルーチン、算出した差分値、すなわち空間微分値をメモリの所定アドレスに格納するルーチン、予め記憶された所定のしきい値をメモリから読み出して差分値と比較しステップエッジを抽出するルーチン、抽出したステップエッジデータをメモリに格納するルーチン、ステップエッジデータが閉曲線を構成しているか否かを演算するルーチン、メモリに格納した差分値、すなわち空間微分値を読み出し、隣接する画素のデータでそのなす角が一定値以下であるか否かを判定し、一定値以下である場合に該画素に対してフラグを設定するルーチン、フラグが設定された画素群の境界に位置する画素に別のフラグを設定して境界を画定するルーチン、及びメモリに記憶されたステップエッジデータと陰影領域の境界データを統合して表示制御部に出力するルーチンを含むことができる。処理プログラムを記憶する媒体には、ＣＤ−ＲＯＭやＤＶＤ、ハードディスク、半導体メモリなど、電磁気的、光学的、あるいは化学的に情報を保持できる任意の媒体が含まれる。
【００４１】
【発明の効果】
本発明によれば、画像中のエッジ、特に穏やかな輝度変化を有する陰影領域を確実に抽出することができる。これにより、従来では検出することが困難であった物体、例えば複雑な背景からなるシーン中の人物の手や指なども容易に抽出することができ、物体認識の精度を向上させることができる。
【図面の簡単な説明】
【図１】 実施形態の構成ブロック図である。
【図２】 実施形態の処理フローチャートである。
【図３】 輝度変化と輝度勾配との関係を示す説明図である。
【図４】 図２の処理フローチャートの模式的説明図である。
【図５】 他の実施形態の処理フローチャートである。
【図６】 さらに他の実施形態の処理フローチャートである。
【図７】 さらに他の実施形態の処理フローチャートである。
【符号の説明】
１０ イメージセンサ、１２ Ａ／Ｄ、１４ フレームメモリ、１６ メインメモリ、１８ ＣＰＵ、２０ 表示制御部。

Claims (4)

1. 画像内の物体を抽出する画像処理装置であって、
   原画像の輝度を２階空間微分する微分手段と、
   前記２階空間微分値が実質的に０の領域をグループ化して前記物体の陰影領域を抽出する陰影領域抽出手段と、
   前記原画像内の前記物体のステップエッジを抽出するエッジ抽出手段と、
   前記ステップエッジと前記陰影領域の境界を統合する統合手段と、
   を有し、前記微分手段は、前記原画像の輝度の空間微分値が０でない領域のみを処理対象としてさらに空間微分することにより前記２階空間微分を行うものであり、かつ、前記エッジ抽出手段で抽出された前記物体の前記ステップエッジが閉曲線を構成しておらず欠落している場合に、該欠落部分に処理ウィンドウを設定し該処理ウィンドウ内において前記２階空間微分することを特徴とする画像処理装置。
2. 画像内の物体を抽出する画像処理装置であって、
   原画像の輝度を２階空間微分する微分手段と、
   前記２階空間微分値が実質的に０の領域をグループ化して前記物体の陰影領域を抽出する陰影領域抽出手段と、
   前記原画像内の前記物体のステップエッジを抽出するエッジ抽出手段と、
   前記ステップエッジと前記陰影領域の境界を統合する統合手段と、
   を有し、前記微分手段は、前記原画像の輝度の空間微分値が０でない領域のみを処理対象としてさらに空間微分することにより前記２階空間微分を行うものであり、
   前記エッジ抽出手段は、前記陰影領域抽出手段で抽出された前記物体の前記陰影領域境界の延長線上に処理ウィンドウを設定し該処理ウィンドウ内において前記ステップエッジを抽出することを特徴とする画像処理装置。
3. 画像内の物体を抽出する画像処理方法であって、
   原画像の輝度を２階空間微分する微分ステップと、
   前記２階空間微分値が実質的に０の領域をグループ化して前記物体の陰影領域を抽出する陰影領域抽出ステップと、
   前記原画像内の前記物体のステップエッジを抽出するエッジ抽出ステップと、
   前記ステップエッジと前記陰影領域の境界を統合する統合ステップと、
   を有し、前記微分ステップでは、前記原画像の輝度の空間微分値が０でない領域のみを処理対象としてさらに空間微分することにより前記２階空間微分を行うものであり、かつ、前記エッジ抽出ステップで抽出された前記物体の前記ステップエッジが閉曲線を構成しておらず欠落している場合に、該欠落部分に処理ウィンドウを設定し該処理ウィンドウ内において前記２階空間微分することを特徴とする画像処理方法。
4. 画像内の物体を抽出する画像処理方法であって、
   原画像の輝度を２階空間微分する微分ステップと、
   前記２階空間微分値が実質的に０の領域をグループ化して前記物体の陰影領域を抽出する陰影領域抽出ステップと、
   前記原画像内の前記物体のステップエッジを抽出するエッジ抽出ステップと、
   前記ステップエッジと前記陰影領域の境界を統合する統合ステップと、
   を有し、前記微分ステップでは、前記原画像の輝度の空間微分値が０でない領域のみを処理対象としてさらに空間微分することにより前記２階空間微分を行うものであり、
   前記エッジ抽出ステップでは、前記陰影領域抽出ステップで抽出された前記物体の前記陰影領域境界の延長線上に処理ウィンドウを設定し該処理ウィンドウ内において前記ステップエッジを抽出することを特徴とする画像処理方法。

Images