JP3812763B2 - キー信号生成装置及び方法 - Google Patents
キー信号生成装置及び方法 Download PDFInfo
- Publication number
- JP3812763B2 JP3812763B2 JP33903896A JP33903896A JP3812763B2 JP 3812763 B2 JP3812763 B2 JP 3812763B2 JP 33903896 A JP33903896 A JP 33903896A JP 33903896 A JP33903896 A JP 33903896A JP 3812763 B2 JP3812763 B2 JP 3812763B2
- Authority
- JP
- Japan
- Prior art keywords
- boundary
- edge
- calculating
- contour
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
(1)全体構成(図1)
(2−1)境界抽出部の構成(図2〜図16)
(2−1−1)境界座標抽出部の構成(図8及び図9)
(2−1−1−1)経路算出部の構成(図10及び図11)
(2−1−1−2)エツジ強度ピーク検出部及びエツジ強度断面積算出部の構成(図12〜図14)
(2−1−2)境界曲線生成部の構成(図15及び図16)
(2−2)ソフトキー生成部の構成(図17及び図18)
(2−3)実施例の動作及び効果
(3)他の実施例(図19〜図21)
発明の効果
【0002】
【発明の属する技術分野】
本発明は輪郭抽出装置、輪郭抽出方法、キー信号生成装置及びキー信号生成方法に関し、例えばテレビジヨンや映画等の映像制作における特殊効果処理において、画像中から注目する物体の画像を抽出し、当該抽出した物体画像を他の画像に合成する際に適用して好適なものである。
【0003】
【従来の技術】
従来、この種の特殊効果処理においては、抽出した部分画像を他の画像に合成する際にはソフトキーを用いるようになされており、画像から任意の部分画像を抽出する際の精度が重要となる。この抽出作業においては、エツジ検出、領域検出及び既知物体との対応付け等の処理が必要であり、特に画像中の背景や対象物が複雑である場合には、対象物の輪郭を構成するエツジを精度良く検出して追跡する必要がある。
【0004】
ここでエツジ検出とは、濃淡画像内で画素値が急激に変化している部分を検出する処理(色変化を検出する処理)である。通常、このような画素値の急激な変化は、対象物体の輪郭で発生するため、エツジ検出の結果に基づいて画像から対象物体の輪郭を抽出することができる。この輪郭抽出は、物体の認識、物体の追尾及び画像合成等において使用される基本的かつ重要な技術である。従つてエツジ検出は、画像から対象物体に関する情報を得るための最も基本的な技術であると言える。
【0005】
このように画像中から対象物の輪郭を抽出する輪郭抽出方法として、「画像合成のための対象物抽出法」(井上誠善、電子情報通信学会論文誌、vol.J74-D-IINo.10 、pp.1411-1418、1991)、「領域抽出方法」(特開平3-17680 号)、「領域分割に基づく複雑物体の自動切り出し」(栄藤稔、白井良明、 NICOGRAPH′92論文集、pp.8-17 、1992)、「領域抽出装置」(特開平5-61977 号)、「弾性輪郭モデルとエキルギー最小化原理による輪郭追跡手法」(上田修功、間瀬健二、末永康仁、信学誌、Vol.J-75-D-II 、No.1、pp.111-120、1992)、「動物体の輪郭追跡方法」(特開平5-12443 号)、「Intelligent Scissors for Image Composition」(Eric N. Mortensen and William A. Barrett、Computer Graphics Proceedings 、Annual Coference Series 、1995、ACM SIGGRAPH 、pp.191-198)などが知られている。
これらの輪郭抽出方法においては、対象物の輪郭のほぼ中心を通過するように輪郭を1本の曲線又は線図形画像として抽出する。
【0006】
画像合成処理においては、注目する対象物の領域を切り抜くために、まず対象物の輪郭を抽出する処理を行うことが多い。上述した輪郭抽出方法は、画像合成処理に適用するためのものである。
一般に、画像合成処理においては、画像を合成した結果の合成画像Iは、前景画像Fと背景画像Bより次式
【数1】
を用いて算出される。ここでαは、各画素において色の混合比を決定するキー情報である。
【0007】
一般に画像における物体の輪郭は、撮像系のフイルタ効果及び物体の運動に起因するぼけのために、ある有限の太さをもつた領域である。この輪郭領域は、本来の物体の色と背景の色とが混合した色をもつている。キー情報の変化と輪郭の色の変化が一致していない場合には、輪郭領域において変色した画素を合成することになるので、合成画像の品質が著しく低下する。このような問題を解決するための方法として、輪郭領域においてキーを緩やかに変化させ、輪郭の色の変化に近づけるようにする方法がある。ここでαが「0」(又は「1」)から「1」(又は「0」)に急激に変化するキーをハードキーと呼び、上述の方法で緩やかに変化するキーをソフトキーと呼ぶ。
【0008】
すなわち画像のうち注目する対象物を前景(前景画像)とし、それ以外の部分を背景(背景画像)とした場合、画像における前景領域を「1」とすると共に、背景領域を「0」とした2値のキー情報をハードキーと呼ぶ。これに対して、画像にはエイリアスやモーシヨンブラー(動きぼけ)が生ずるが、これらを考慮して、「0」から「1」の範囲の連続した実数値をもつキー情報をソフトキーと呼ぶ。従つてハードキーは、急峻な境目を有する信号(キー信号が「0」(又は「1」)から「1」(又は「0」)に変わる境目の傾斜が急峻な信号)であり、ソフトキーは、滑らかな境目を有する信号(キー信号が「0」(又は「1」)から「1」(又は「0」)に変わる境目の傾斜が滑らかな信号)となる。
【0009】
この輪郭領域にソフトキーを生成する方法として、「画像合成装置」(特開昭60-232787 号)がある。この「画像合成装置」においては、ハードキーを得た後、このハードキーを用いて輪郭領域を平滑化することにより、輪郭領域をぼかして、見た目上滑らかにするものである。また「画像合成におけるアンチエイリアシング方法」(特開平4-340671号)に記載されている方法は、ハードキー2値画像における輪郭領域の画素パターンを観察し、適当な中間値のαに置き換えることによりソフトキーを得るものである。
【0010】
しかしながらこれら2つのソフトキー生成方法によつて生成されたソフトキーは、グレー領域(「0」から「1」までの間の値をとる領域)における値が一様なものであるため、例えば前景が動いている場合に生ずるモーシヨンブラーに対処することが困難であつた。
このような問題を解決するためのソフトキー生成方法として、「映像信号合成装置」(特開平5-143493号)、「動画像のための対象物の抽出とはめ込み法」(井上誠善、小山広毅、テレビジヨン学会誌、Vol.47、No.7、pp.999-1005 、1993)及び「ソフトキー生成装置」(特開平5-236347号)がある。
【0011】
「映像信号合成装置」に記載されている方法は、フレーム間の画素値の変化を検出することにより、この画素値の変化に基づいて物体が移動したか否かを判断し、画素値の変化の大きさに基づいてソトフキーを生成するものである。また「動画像のための対象物の抽出とはめ込み法」及び「ソフトキー生成装置」に記載されている方法は、予め得たハードキーを、物体内部に向かつてα値を削つていくことによりソフトキーを生成するものである。このとき、物体の重心の運動方向と輪郭の各場所におけるエツジ強度を検出し、物体運動によるぶれの影響をαの削り量に反映させている。
【0012】
【発明が解決しようとする課題】
ところで上述のように、画像における物体の輪郭は、撮像系のフイルタ効果及び物体の運動に起因するぼけのために、ある有限の太さをもつた領域であり、本来の物体の色と背景の色が混合した色をもつている。
ところが上述したソフトキー生成方法は、上述した輪郭抽出方法を用いてハードキーを生成し、このハードキーの輪郭部におけるα値の変化を適当に緩やかにする操作を行うことによりソフトキーを生成しているため、ハードキーを作成した時点において物体色と背景色とが混合した輪郭領域の太さについての情報が失われ、ソフトキーのα値が緩やかに変化する領域と画像の輪郭領域とが一致せず、ソフトキーを精度良く生成することができなかつた。
【0013】
このような問題を解決する1つの方法として、画像勾配情報を用いることによりソフトキーを精度良く生成することができる。この画像勾配情報を用いたソフトキー生成方法として上述の「ソフトキー生成装置」がある。ところがこの「ソフトキー生成装置」の場合、物体運動によるキーのぶれを確実に回避することができず、また画像勾配を分離して処理したり、予め得たハードキーの内側だけにソフトキー領域を作成するなど、本来の画像勾配とソフトキーの物理的関係とが異なる経験則的な手法を用いているために、ソフトキーを精度良く生成するには実用上未だ不十分であつた。
【0014】
また上述した「映像信号合成装置」に記載されている方法は、フレーム間の画像勾配を検出することによりキーのぶれ量を推測しているが、通常の画像フレームレートは24フレーム/秒、25フレーム/秒又は30フレーム/秒程度であるため、画像上を高速に運動する物体のぶれ量を正確に測定することは困難であり、このためソフトキーを精度良く生成することができなかなつた。
【0015】
本発明は以上の点を考慮してなされたもので、対象物の輪郭を表す2本の境界曲線を抽出することにより、キー情報を精度良く生成することのできる輪郭抽出装置、輪郭抽出方法、キー信号生成装置及びキー信号生成方法を提案しようとするものである。
【0016】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像中からキー信号を生成するキー信号生成装置において、対象物の輪郭についての輪郭領域を決定する輪郭領域決定手段と、輪郭領域におけるグラデイエントベクトルを算出するグラデイエントベクトル算出手段と、輪郭領域におけるグラデイエントベクトルに基づき、輪郭領域のエツジに沿つてエツジの内側及び外側における境界位置をそれぞれ複数抽出し、当該各境界位置を表す境界座標情報をエツジの内側及び外側毎に生成して出力する境界座標抽出手段と、境界座標抽出手段の出力に基づき、各境界座標情報によつて表される各形状を近似する2本の境界曲線を対象物の輪郭として生成する境界曲線生成手段と、境界曲線生成手段の出力に基づいて、2本の境界曲線間に形成する曲面の形状を決定する曲面制御情報を算出して出力する曲面制御情報算出手段と、曲面制御情報算出手段の出力に基づいて、各境界曲線によつて挟まれた領域上に曲面を生成し、当該曲面をキー情報として出力する曲線生成手段とを具え、曲面制御情報算出手段は、境界曲線のうち一方の境界曲線をz=1の平面上に位置させると共に、境界曲線のうち他方の境界曲線をz=0の平面上に位置させ、当該境界曲線を相対する縁とする曲線を生成するような曲面制御情報を算出する。
【0017】
本発明によれば、輪郭領域を囲む2本の境界曲線間に当該境界曲線間を縁とするような曲面が生成されるので、対象物の色が混合する輪郭領域とソフトキー情報の位置とを一致させたキー情報を生成することができる。
【0018】
【発明の実施の形態】
以下、図面について本発明の一実施例を詳述する。
【0019】
(1)全体構成
図1において、1は全体として本発明を適用したキー信号生成装置を示し、連続した複数の画像中に存在する対象物の輪郭領域にソフトキーを生成する。
キー信号生成装置1は、輪郭抽出部2及びソフトキー生成部3により構成されている。
【0020】
キー信号生成装置1は、マウスやタブレツト等の2次元ポインテイングデバイスを入力手段としてオペレータによつて入力された、輪郭のおおまかな形状を示す線分情報、折れ線情報、曲線情報、又は太い筆でなぞつたようなマスク画像情報S1を、輪郭抽出部2の推定輪郭算出部5で受ける。推定輪郭算出部5は、輪郭領域決定手段として線分情報、折れ線情報、曲線情報又はマスク画像情報S1に基づいて対象物の輪郭の推定形状(以下、これを推定輪郭と呼ぶ)に応じた推定輪郭情報S2を得、当該推定輪郭情報S2を輪郭候補領域決定部6に送出する。
【0021】
輪郭候補領域決定部6は、輪郭領域決定手段として、推定輪郭情報S2に基づいて、輪郭が存在すると考えられる領域(以下、これを輪郭候補領域と呼ぶ)を算出し、当該輪郭候補領域に応じた輪郭候補領域情報S3をグラデイエントベクトル算出部7に送出する。グラデイエントベクトル算出部7は、グラデイエントベクトル算出手段として、輪郭候補領域情報S3に基づいて輪郭候補領域におけるグラデイエント強度(エツジ強度)を算出することにより輪郭のグラデイエントベクトルを算出した後、当該グラデイエントベクトルに基づいてエツジ強度画像Gを生成し、エツジ強度画像Gを輪郭経路探査部8及び境界抽出部9に送出する。
【0022】
輪郭経路探査部8は、エツジ強度画像Gに基づいて、輪郭の中心を通過する画素のリスト(以下、これを輪郭座標リストと呼ぶ)Dを生成し、当該輪郭座標リストDを曲線生成部10に送出する。曲線生成部10は、輪郭座標リストDに基づいて得られる輪郭を曲線近似することにより輪郭曲線を生成し、当該輪郭曲線に応じた輪郭曲線情報Cを境界抽出部9に送出する。
【0023】
ここでこのキー信号生成装置1においては、線分情報、折れ線情報、曲線情報又はマスク画像情報S1より推定輪郭情報S2を得る方法とは別に、1つ前のフレームである画像i−1の輪郭曲線情報Cを用い、動きベクトル推定処理によつて画像i−1の輪郭曲線が現画像iにおいてどこに移動したかを推定することにより、現画像iにおける推定輪郭情報S2を得ることができるようになされている。
【0024】
すなわち動きベクトル推定部11は、1つ前の画像i−1について、輪郭候補領域決定部6、グラデイエントベクトル算出部7、輪郭経路探査部8、曲線生成部10を介して得られる輪郭曲線情報Cを用いて、当該輪郭曲線情報Cに応じた輪郭曲線が現画像iにおいてどこに移動したかを推定し、この結果を推定輪郭情報S2として輪郭候補領域決定部6に送出する。この場合、輪郭候補領域決定部6から曲線生成部10までの処理は、上述と同様の方法で行われる。
従つて推定輪郭情報S2を得る方法として動きベクトル推定部11が選択された場合、曲線生成部10は、輪郭曲線情報Cを遅延回路12を介して動きベクトル推定部11にフイードバツクするようになされている。
【0025】
境界抽出部9はエツジ強度画像G及び輪郭曲線情報Cに基づいて、対象物の輪郭に相当する領域を囲むような2本の境界曲線C0及びC1を生成し、これら2本の境界曲線C0及びC1をソフトキー生成部3に送出する。ソフトキー生成部3は、これら境界曲線C0及びC1間の幅を算出し、当該境界曲線C0及びC1間の幅に基づいて2本の境界曲線間に高さが「0」から「1」まで滑らかに変化する曲面を生成し、この曲面の高さをソフトキーKの値として画像に書き込む処理を行つてソフトキーKを算出し出力する。
【0026】
この場合、ソフトキー生成部3は、対象物の内部側の境界曲線を境界として対象物の内部側領域におけるキー情報を「1」とし、対象物の外部側領域におけるキー情報を「0」とすることにより、ソフトキーKを生成する。
ここで、後述するように、生成されたソフトキーKは画像(x、y)のキー情報をz値にもつような曲面で定義されたものである。画像合成処理においては、各画素のキー情報が与えられなければならないが、ここで言う曲面で定義されたキーから曲面のz値を画像平面上に曲面を垂直に投影した位置に書き込む処理を行うことによりキー画像を得ることができる。この実施例においては、曲面でキー情報を定義したものを含めてソフトキーと呼ぶ。
【0027】
かくしてこのキー信号生成装置1は、画像中に存在する対象物の輪郭領域にソフトキーKを精度良く生成することができるようになされている。
【0028】
(2−1)境界抽出部の構成
本発明の実施例による境界抽出部9の構成を図2に示し、境界抽出部9における境界抽出処理の処理手順について図3に示すフローチヤートを用いて説明する。
境界抽出部9は、境界抽出手段として、ステツプSP1より境界抽出処理を開始し、ステツプSP2及びステツプSP3において、それぞれエツジ強度画像G(x、y)及び輪郭曲線情報Cを境界座標抽出部21で受ける。
【0029】
ステツプSP4において、境界抽出部9は、境界座標抽出部21において、エツジ強度画像G及び輪郭曲線情報Cに基づき、対象物の輪郭のエツジ強度が対象物の内部側領域において所定のしきい値以下となる点p00 〜p0m-1 を境界位置として輪郭に沿つて複数抽出し、当該抽出した境界位置p00 〜p0m-1 の座標を表す境界座標リストP0を境界座標情報として生成すると共に、対象物の輪郭のエツジ強度が対象物の外部側領域において所定のしきい値以下となる点p10 〜p1n-1 を境界位置として輪郭に沿つて複数抽出し、当該抽出した境界位置p10 〜p1n-1 の座標を表す境界座標リストP1を境界座標情報として生成し、これら境界座標リストP0及びP1を境界曲線生成部22に送出する。
【0030】
ステツプSP5において、境界抽出部9は、境界曲線生成部22において、境界座標リストP0及びP1に基づき、境界座標リストP0によつて表される形状を近似する近似曲線(曲線セグメント)c00 〜c0k-1 を生成してこれら近似曲線c00 〜c0k-1 で構成される境界曲線C0を生成すると共に、境界座標リストP1によつて表される形状を近似する近似曲線c10 〜c1l-1 を生成してこれら近似曲線c10 〜c1l-1 で構成される境界曲線C1を生成し、ステツプSP6においてこれら2本の境界曲線C0及びC1をソフトキー生成部3に送出する。
【0031】
(2−1−1)境界座標抽出部の構成
この実施例の場合、境界抽出部9は、図4(A)に示すように、まずエツジ近傍の適当な位置poをエツジの方向に沿つて適当な間隔で決めた後、各位置poにおけるエツジの法線方向を算出し、このエツジの法線方向に平行で長さが「1」のベクトルpdを決定する。ここで位置poは、エツジの近傍にあればどこでもよい。
【0032】
次に境界抽出部9は、各位置poと当該位置poでのベクトルpdによつて決まるエツジを横切る経路P上において、後述する境界位置検出方法によつてエツジの境界位置p0i 及びp1i を検出する(図4(B))。すなわち境界抽出部9は、各経路P上においてエツジ強度断面の面積を測定すると共に、エツジ強度が最大となるエツジ強度最大位置pci と当該エツジ強度最大位置pci でのエツジ強度値hi とを求め、エツジ強度最大値hi に等しい高さと、エツジ強度最大位置pci を底辺の中心位置に有し、かつ算出したエツジ強度断面の面積に等しい矩形を算出した後、当該矩形の底辺における両端位置をエツジの境界位置p0i 及びp1i として算出する。これによりエツジ強度にノイズがある場合でもエツジの境界位置p0i 及びp1i を安定して抽出し得るようになされている。
【0033】
かくして境界抽出部9は、対象物の内部側領域においてエツジ沿つて得られる内側境界位置p0i の座標を表す境界座標リストP0と、対象物の外部側領域においてエツジに沿つて得られる外側境界位置p1i の座標を表す境界座標リストP1を得ることができるようになされている。
【0034】
ここでエツジにおける内側境界位置及び外側境界位置の検出原理について図5(A)〜図5(E)を用いて説明する。図5(A)は画像中において対象物の輪郭が存在する領域を模式的に表したものであり、左側の領域を色B、右側の領域を色Fとする。また中心に輪郭領域が存在し、輪郭領域の画像勾配を濃淡の勾配で表す。ここで輪郭を横切る方向の経路Pにおける色の変化の測定結果を図5(B)に示し、輪郭領域において色Bから色Fへの色の変化を観察することができる。
【0035】
図5(C)は図5(B)における勾配、すなわち1次微分を示す。勾配の大きさは輪郭領域の境界位置、すなわち内側境界位置aと外側境界位置bとの間で「0」でない値をもち、勾配の面積をsとする。図5(D)は以降の処理を分かりやすくするため面積sが「1」になるように規格化したことを表すものである。。ここで勾配の大きさの最大値hを求め、この最大値hをもつ位置pcの周囲に高さhで面積「1」の矩形を求めることにより、輪郭領域における境界位置を算出し、この境界位置をそれぞれ内側境界位置p0及び外側境界位置p1とする。
【0036】
ここで上述した境界位置の検出方法がノイズに対して強いことを図6及び図7を用いて説明する。図6(A)はノイズを含む輪郭領域の画像勾配の大きさの一例を示す。この場合、輪郭領域の左側に陰影などの効果によつて緩やかな勾配が生じているものとする。この勾配は輪郭に起因する成分ではない。図6(B)及び図6(C)は画像勾配の大きさが小さくなる位置を直接探査し、その位置を輪郭の境界位置とする処理を用いた例を示す。画像勾配が小さくなる位置を検出するためにしきい値Tとして小さいしきい値を用いる。このときしきい値Tをわずかにしきい値T′にずらして設定すると、検出される位置a及び位置bがそれぞれ位置a′及び位置bに変化する(右側の位置bはほとんど影響を受けないものとする)。この方法で求めた境界位置p0及びp1を図6に示す。この方法では、しきい値処理で検出した位置が直接境界位置となるので、設定するしきい値の大きさによつて結果が大きく変化する。
【0037】
一方、図7(A)〜図7(C)は、上述した本発明の方法で輪郭領域の境界位置を検出するプロセスを示す。図6(A)と同様にノイズがある画像勾配が算出されたとする(図7(A))。本発明の方法ではまず勾配の面積を計算するために画像勾配の大きさが小さくなる位置を測定する必要がある。この手順(図7(B))を図6(B)と同じにすると、上述の場合と同様に、勾配の面積を計算する領域の大きさは設定するしきい値の大きさによつて大きく変化する。しかしながら輪郭における勾配の大きさは十分に大きいため、算出した勾配の面積全体に対するノイズ領域の面積の割合は小さい。
【0038】
勾配の面積と同じ面積の矩形を算出する過程を図7(C)に示す。ノイズ領域の面積の影響が小さいので、異なるしきい値から得られる矩形の高さhとh′の違いを小さく抑えることができる。従つて図7(D)に示すように、その矩形から得られる輪郭領域の境界位置はほとんど変わらないように得ることができる。
【0039】
ここで実際の画像においては、輪郭に起因する画像勾配成分だけでなく、物体内部のテクスチヤや陰影などに起因する成分が存在するので、上述したノイズの影響は無視できない。従つて上述した本発明の方法によればノイズの影響を実用上十分に回避することができる。
【0040】
境界座標抽出部21の構成を図8に示し、境界座標抽出部21における境界抽出処理の処理手順について図9に示すフローチヤートを用いて説明する。
境界座標抽出部21は、境界座標抽出手段として、ステツプSP1より境界座標抽出処理を開始し、ステツプSP2において輪郭曲線情報Cを経路算出部23で受けると共に、ステツプSP3において、エツジ強度画像Gをそれぞれエツジ強度ピーク検出部24及びエツジ強度断面積算出部25で受ける。
【0041】
続いてステツプSP4において、境界座標抽出部21は、経路算出部23において、輪郭曲線情報Cに基づき、輪郭曲線C上の適当な位置poi と当該位置poi でのベクトルpdi との対をエツジの方向に複数個({po0 ,pd0 }、……、{pom-1 ,pdm-1 })算出し、これら位置poi 及びベクトルpdi の対を経路情報としてエツジ強度ピーク検出部24及びエツジ強度断面積算出部25に送出する。
【0042】
次いでステツプSP5において、境界座標抽出部21は、エツジ強度ピーク検出部24において、エツジ強度画像G及び経路情報(位置poi 及びベクトルpdi の対)に基づき、位置poi 及びベクトルpdi の対で決まる各経路P上において、エツジ強度最大値hi を検出すると共に、当該エツジ強度最大値hi の位置(以下、これをエツジ強度最大位置と呼ぶ)pci を算出し、これらエツジ強度最大値hi 及びエツジ強度最大位置pci をそれぞれエツジ強度断面積算出部25及び矩形算出部26に送出する。
【0043】
続いてステツプSP6において、境界座標抽出部21は、エツジ強度断面積算出部25において、エツジ強度画像G、位置poi 及びベクトルpdi の対、エツジ強度最大値hi 及びエツジ強度最大位置pci に基づき、位置poi 及びベクトルpdi の対で決まる各経路P上において、エツジ強度を積分した値si を算出し、当該積分値si をエツジ強度の断面積として矩形算出部26に送出する。
【0044】
次いでステツプSP7において、境界座標抽出部21は、矩形算出部26において、エツジ強度最大値hi 、エツジ強度最大位置pci 及び積分値si に基づき、各経路P上においてエツジ強度最大位置pci を基準位置として当該基準位置から各経路P上の両側に(si /hi )*cだけ離れた位置を輪郭領域における境界位置、すなわち内側境界位置p0i 及び外側境界位置p1i として算出し(図4(B))、ステツプSP8において内側境界位置p0i の座標を表す境界座標リストP0と、外側境界位置p1i の座標を表す境界座標リストP1を境界曲線近似部22に送出し、ステツプSP9において境界座標抽出処理を終了する。ここでcは予め与えられた定数値であり、0.5 前後の値が用いられる。
【0045】
(2−1−1−1)経路算出部の構成
経路算出部23の構成を図10に示し、経路算出部23における経路算出処理について図11に示すフローチヤートを用いて説明する。
経路算出部23は、経路算出手段として、ステツプSP1より経路算出処理を開始し、ステツプSP2において、輪郭曲線情報Cを計算点抽出回路23Aで受ける。
【0046】
続いてステツプSP3において、経路算出部23は、計算点抽出手段としての計算点抽出回路23Aにおいて、予め定めた適当な間隔dtで輪郭曲線情報Cによつて表される曲線C上における始点から終点までn個の位置を計算点poi (poo 、po1 、……、pon-1 )として抽出してこれら計算点poi でなる計算点座標リストPoを生成し、ステツプSP4において、計算点座標リストPoをエツジ強度ピーク検出部24、エツジ強度断面積算出部25及び方向算出回路23Bに送出する。ここで曲線Cは、パラメータtがts からte の範囲で定義されているものとする。また「WHILE A{B}」は、「Aが真である間は、処理Bを繰り返す」ということを意味する。
【0047】
続いてステツプSP5において、経路算出部23は、方向算出手段としての方向算出回路23Bにおいて、各計算点poi において、曲線Cの接線ベクトルtgを算出した後、当該各接線ベクトルtgと直角をなす単位ベクトルpdi を法線方向として算出してこれら単位ベクトルpdi でなる方向ベクトルリストPdを生成し、ステツプSP6において、方向ベクトルリストPdをエツジ強度ピーク検出部24及びエツジ強度断面積算出部25に送出し、ステツプSP7において経路算出処理を終了する。
【0048】
(2−1−1−2)エツジ強度ピーク検出部及びエツジ強度断面積算出部の構成エツジ強度ピーク検出部24におけるエツジ強度ピーク検出処理及びエツジ強度断面積算出部25におけるエツジ強度断面積算出処理について図12に示すフローチヤートを用いて説明する。
【0049】
エツジ強度ピーク検出部24及びエツジ強度断面積算出部25は、ステツプSP1よりエツジ強度ピーク検出処理及びエツジ強度断面積算出処理を開始し、ステツプSP2において、それぞれエツジ強度画像G、計算点座標リストPo及び方向ベクトルリストPdを受ける。
【0050】
続いてステツプSP3において、エツジ強度ピーク検出部24は、エツジ強度ピーク検出手段として計算点座標リストPo及び方向ベクトルリストPdのそれぞれ対応する計算点poi 及び単位ベクトルpdi によつて決まる各経路P上において、エツジ強度画像Gに基づきエツジ強度最大値hi 及びエツジ強度最大位置pci を検出してエツジ強度最大値hi でなるエツジ強度最大値リストH及びエツジ強度最大位置pci でなるエツジ強度最大位置リストPcを生成し、当該エツジ強度最大値リストH及びエツジ強度最大位置リストPcをエツジ強度断面積算出部25に送出する。
ここでステツプSP3において、kは適当なスカラを表す。
【0051】
次いでステツプSP4において、エツジ強度断面積算出部25は、エツジ強度断面積算出手段として計算点座標リストPo及び方向ベクトルリストPdのそれぞれ対応する計算点poi 及び単位ベクトルpdi によつて決まる各経路P上において、エツジの一端からエツジ強度最大位置pci を通過してエツジの他端までの区間、すなわちエツジ強度最大位置pci を基準位置として当該基準位置を中心に各経路上の両側にそれぞれ1点ずつ位置a及び位置bを境界位置として求めて当該位置a及び位置bを結ぶ線分abを積分区間とし、当該積分区間abにおけるエツジ強度値の総和を計算することによりエツジ強度の断面積si を算出し、断面積si でなる断面積リストSを生成する。これにより最初に与えられた輪郭を横切る経路があいまいな場合でも、輪郭を正しく横切るようにエツジ強度の断面積を算出し得るようになされている。
【0052】
ここで位置a及び位置bを求める処理は、エツジ強度最大位置pci を基準位置として、エツジ強度が予めエツジ強度最大値hi のスカラk倍で設定したしきい値より最初に小さくなる位置を、基準位置を中心に経路Pに沿つて両方向に順次探査することにより行われる。図12のステツプSP4において、dは経路P上のエツジ強度をサンプルするために予め定めたスカラである。
【0053】
次いでステツプSP5において、エツジ強度ピーク検出部24は、エツジ強度最大位置リストPc及びエツジ強度最大値リストHを矩形算出部26に送出し、エツジ強度断面積算出部25は、断面積リストSを矩形算出部26に送出し、ステツプSP6においてエツジ強度ピーク検出処理及びエツジ強度断面積算出処理を終了する。
【0054】
実際上、図13に示すように、エツジ強度断面積算出部25は、積分区間算出回路25A及び積分回路25Bによつて構成されている。積分区間算出回路25Aは、エツジ強度最大位置pci を基準位置として、エツジ強度がエツジ強度最大値hi のスカラh倍で設定したしきい値より最初に小さくなる経路上の2点を、基準位置を中心に両方向に経路端点a及びbとして算出し、端点a及びbを結ぶ線分abを積分区間abとして算出し、各経路P上において算出した積分区間abでなる積分区間リストABを積分回路25Bに送出する。積分回路25Bは、積分区間リストABを基に、各積分区間abおけるエツジ強度値を積分することにより、エツジ強度の断面積si を算出し、断面積si でなる断面積リストSを生成して矩形算出部26に送出する。
【0055】
ここで上述のように、エツジ強度ピーク検出部24及びエツジ強度断面積算出部25は、エツジを横切る経路P上の点におけるエツジ強度値を算出する必要がある。この場合、経路P上の位置は必ずしも画素格子上にあるとは限らないので、この実施例においては、エツジ強度ピーク検出部24及びエツジ強度断面積算出部25は、サブピクセル精度の計算を実現するものとして画像補間手段(図示せず)を有する。この画像補間手段は、画素格子上にない位置におけるエツジ強度値を得るために、画像と実数座標とを入力とし、実数座標上の画像値を出力するようになされている。
【0056】
画像補間手段における画像補間処理について図14に示すフローチヤートを用いて説明する。
画像補間手段は、ステツプSP1より画像補間処理を開始し、ステツプSP2及びステツプSP3において、それぞれ画像Ii (x、y)及び実数座標(xf、yf)を受けた後、ステツプSP4において、補間フイルタの重み関数を定義する。
【0057】
ここで補間フイルタの重み関数としては、「画像理解のためのデイジタル画像処理(I)」(鳥脇純一郎、昭晃堂)、「画像解析ハンドブツク」(高木幹雄、下田陽久、東京大学出版会、1991)に記載されている方法を利用する。例えば次式
【数2】
で表される関数を用いることができる。ここでx**yはxのy乗を表す。
【0058】
次いで画像補間手段は、ステツプSP5において、画像Ii と重み関数の畳み込みを計算することにより、関数Ic(x、y)を作成した後、ステツプSP6において、当該関数Icを実数座標上の画像値として出力し、ステツプSP7において画像補間処理を終了する。
かくしてエツジ強度ピーク検出部24及びエツジ強度断面積算出部25は、それぞれエツジ強度最大値hi 及びエツジ強度断面積si を精度良く算出し得るようになされている。
【0059】
(2−1−2)境界曲線生成部の構成
境界曲線生成部22の構成を図15に示す。境界曲線生成部22は、境界曲線生成手段として、境界座標抽出部21から供給される境界座標リストP0及びP1を、それぞれ入力座標分割回路22A、連結条件算出回路22B及び曲線近似回路22Cで受ける。入力座標分割回路22Aは、それぞれ境界座標リストP0及びP1によつて表される各形状をそれぞれ分割する分割点({e00 、e01 、……、e0m-1 }、{e10 、e11 、……、e1m-1 })の座標リスト(以下、これを分割点座標リストと呼ぶ)E0及びE1を生成し、これを連結条件算出回路22B及び曲線近似回路22Cに送出する。
【0060】
すなわち入力座標分割回路22Aは、それぞれ境界座標リストP0及びP1における境界位置p0i 及びp1i の離散的な並びから、求める形状の次数を局所的に推定する。この場合、境界座標リストP0及びP1は分割された各セグメントにおける形状の次数が大きくならないように分割する。例えば各分割点を曲率の大きさに基づいて決定することにより、座標データ数に依存せずに各セグメントにおける次数を決定することができるので、各セグメントにおける次数が大きくなることを防止し得るようになされている。
【0061】
連結条件算出回路22Bは、境界座標リストP0及びP1と分割点座標リストE0及びE1とに基づいて、それぞれ各分割点における連結条件、すなわちG1連続性を満たす連結条件を算出し、連結条件リストRV0及びRV1として曲線近似回路22Cに送出する。すなわち連結条件算出回路22Bは、分割点座標リストP0における各分割点の連結位置を一致させるための連結位置の座標r0i と、連結位置r0i における速度方向を一致させるための速度ベクトルv0i との対(すなわち接線)を連結条件リストRV0として算出すると共に、分割点座標リストP1における各分割点の連結位置を一致させるための連結位置の座標r1i と、連結位置r1i における速度方向を一致させるための速度ベクトルv1i との対(すなわち接線)を連結条件リストRV1として算出する。この場合、連結位置の座標と分割点の座標とは必ずしも一致しない。
【0062】
曲線近似回路22Cは、隣接する分割点で区切られる各セグメントを、これら分割点における連結条件を満たすように最小2乗法を用いて曲線近似することにより、隣接する分割点間における近似曲線c0i 及びC1i を曲線セグメントc0i 及びc1i として算出し、当該曲線セグメントc0i でなる近似曲線群及び曲線セグメントc1i でなる近似曲線群をそれぞれ境界曲線C0及びC1としてソフトキー生成部3に送出する。これによりエツジ強度にノイズが含まれている場合でも、境界曲線C0及びC1を精度良く生成することができるようになされている。
【0063】
境界曲線生成部22における境界曲線生成処理について図16に示すフローチヤートを用いて説明する。ここでは境界座標リストP0から境界曲線C0を生成する場合について説明する。
【0064】
境界曲線生成部22は、ステツプSP1より境界曲線生成処理を開始し、ステツプSP2において、境界座標抽出部21から境界座標リストP0を受け、ステツプSP3において、境界座標リストP0に基づいて分割点(e00 、e01 、……、e0m-1 )でなる分割点座標リストE0を作成する。続いて境界曲線生成部22は、ステツプSP4において、境界座標リストP0及び分割点座標リストE0に基づいて、各分割点e0i 近傍における形状に近似した近似曲線を算出し、当該近似曲線における分割点e0i 近傍での連結位置r0i 及び速度ベクトルv0i (接線)を、各セグメントを曲線近似するための連結条件RV0として算出する。
【0065】
次いで境界曲線生成部22は、ステツプSP5において、隣接する分割点e0i 及びe0i+1 で区切られる各セグメントを、これら分割点e0i 及びe0i+1 における連結条件r0i 、v0i r0i+1 及びv0i+1 を満たすように最小2乗法を用いて曲線近似することにより得られる近似曲線を曲線セグメントc0i として算出し、ステツプSP6において、これら曲線セグメントc00 、c01 、……、c0n-1 を境界曲線C0として出力し、ステツプSP7において境界曲線生成処理を終了する。
【0066】
以上の処理を境界座標リストP1に対して行うことにより、境界座標リストP1より境界曲線C1を算出し、境界曲線生成部22は、各境界曲線C0及びC1をソフトキー生成部3に送出する。
【0067】
(2−2)ソフトキー生成部の構成
ソフトキー生成部3の構成を図17に示し、ソフトキー生成部3におけるソフトキー生成処理について図18に示すフローチヤートを用いて説明する。
ソフトキー生成部3は、ステツプSP1よりソフトキー生成処理を開始し、ステツプSP2において、境界曲線C0及びC1を曲面制御情報算出回路3Aで受ける。
【0068】
次いでステツプSP3において、ソフトキー生成部3は、曲面制御情報算出手段としての曲面制御情報算出回路3Aにおいて、対応する近似曲線c0i 及びc1i 毎に曲面を生成するための曲面制御情報f0i 及びf1i を算出し、当該曲面制御情報f0i 及びf1i を曲面生成回路3Bに送出する。ここで曲面制御情報f0及びf1は(x、y、z)空間上の曲線である。(x、y)平面は画像に平行であり、z軸は画像に垂直である。i番目の曲面制御情報f0i はz=0の平面上に曲線セグメントc0i を描いたものである。また曲面制御情報f1i はz=1の平面上に曲線セグメントf1i を描いたものである。
【0069】
次いでステツプSP4において、ソフトキー生成部3は、曲面生成手段としての曲面生成回路3Bにおいて、対応する各曲線セグメントc0i 及びc1i 毎に、それぞれ対応する曲面制御情報f0i 及びf1i を用いて(x、y)空間上の曲面ri を生成し、曲面r0 、r1 、……、rk-1 でなる曲面群Rをソフトキー情報Kとして出力する。ここでi番目の曲線セグメントにおける曲面ri は次式
【数3】
のようにパラメータsで表現できる。
【0070】
(2−3)実施例の動作及び効果
以上の構成において、このキー信号生成装置1は、エツジ強度画像Gに基づいて、輪郭領域のエツジに沿つてエツジの内側及び外側における境界位置をそれぞれ複数抽出し、エツジの内側及び外側毎に各境界位置の座標を表す境界座標リストP0及びP1を作成し、境界座標リストP0によつて表される形状を近似する境界曲線C0を生成すると共に、境界座標リストP1によつて表される形状を近似する境界曲線C1を生成する。
【0071】
続いてキー信号生成装置1は、境界曲線C0及びC1に基づいて、対応する曲線セグメントc0i 及びc1i 毎に曲面を生成するための曲面制御情報f0i 及びf1i を算出した後、対応する曲線セグメントc0i 及びc1i 毎に、それぞれ対応する曲面制御情報f0i 及びf1i を用いて曲面ri を生成し、これら曲面ri でなる曲面群Rをソフトキー情報Kとして出力する。
【0072】
従つてこのキー信号生成装置1は、対象物の輪郭を、画像勾配の大きさが「0」でない領域を囲む2本の境界曲線C0及びC1として抽出するので、境界曲線C0及びC1によつて囲まれる領域にα値の勾配を作成することができる。これにより対象物の色が混合する輪郭領域の位置が必要な場合に特に有効な情報を与えることができる。
またこのキー信号生成装置1は、輪郭領域を囲む2本の境界曲線C0及びC1間に、当該各境界曲線C0及びC1を縁とするような曲面を生成したので、対象物の色が混合する輪郭領域とソフトキー情報の位置とを一致させたキー情報を生成することができる。
【0073】
以上の構成によれば、輪郭曲線C上の点poi と当該位置poi でのベクトルpdi との対をエツジの方向に複数個算出し、これら位置poi 及びベクトルpdi で決まる各経路P上においてエツジ強度最大値hi 及びエツジ強度最大位置pci を算出すると共にエツジ強度を積分した値si を算出し、各経路P上においてエツジ強度最大位置pci を基準位置として当該基準位置から各経路P上の両側に(si /hi )*cだけ離れた位置を内側境界位置p0i 及び外側境界位置p1i として算出し、内側境界位置p0i の座標を表す境界座標リストP0及び外側境界位置p1i の座標を表す境界座標リストP1によつてそれぞれ表される各形状をそれぞれ分割する分割点でなる座標リストE0及びE1を生成すると共に各分割点における連結条件RV0及びRV1を算出し、隣接する分割点で区切られる各セグメントを、これら分割点における連結条件を満たすように最小2乗法を用いて曲線近似することにより、隣接する分割点間における曲線セグメントc0i 及びC1i を算出した後、対応する曲線セグメントc0i 及びc1i 毎に曲面制御情報f0i 及びf1i を作成し、対応する曲線セグメントc0i 及びc1i 毎に、それぞれ対応する曲面制御情報f0i 及びf1i を用いて曲面ri を生成し、これら曲面ri でなる曲面群Rをソフトキー情報Kとして出力したことにより、対象物の輪郭を、画像勾配の大きさが「0」でない領域を囲む2本の境界曲線C0及びC1として抽出し得るので、境界曲線C0及びC1によつて囲まれる領域にα値の勾配を作成することができると共に、輪郭領域を囲む2本の境界曲線C0及びC1間に当該各境界曲線C0及びC1を縁とするような曲面Rを生成したので、対象物の色が混合する輪郭領域とソフトキー情報の位置とを一致させたキー情報を生成することができる。
かくしてキー情報を精度良く生成することのできる輪郭抽出部2、輪郭抽出方法、キー信号生成装置1及びキー信号生成方法を実現することができる。
【0074】
また上述の構成によれば、グラデイエントベクトルに基づいて輪郭座標リストDを作成し、当該輪郭座標リストDによつて表される形状を近似することによつて得た輪郭曲線情報Cに基づいて、計算点座標リストPo及び方向ベクトルリストPdを算出したので、対象物の輪郭領域とソフトキーの位置とを一段と一致させたキー情報を生成することができる。
【0075】
さらに上述の構成によれば、エツジを横切る経路P上における点のエツジ強度を算出する際、画像補間手段を用いてサブピクセル精度で経路P上における点のエツジ強度を算出したので、エツジ強度最大値hi 及びエツジ強度断面積si の精度を格段的に向上させることができる。
【0076】
さらに上述の構成によれば、エツジを横切る方向においてエツジ強度最大値hi 及びエツジ強度断面積si を算出し、エツジ強度最大値hi 及びエツジ強度断面積si に基づいて内側境界位置p0i 及び外側境界位置p1i を算出したので、エツジ強度にノイズがある場合でも、対象物の輪郭領域を精度良く抽出することができる。
【0077】
さらに上述の構成によれば、計算点座標リストPo及び方向ベクトルリストPdのそれぞれ対応する計算点poi 及び単位ベクトルpdi によつて決まる各経路P上において、エツジ強度最大位置pci を基準位置として当該基準位置から各経路P上の両側にそれぞれ1点ずつ位置aと位置bとを経路端点として求めて当該端点a及び端点bを結ぶ線分abを積分区間とし、当該積分区間abにおけるエツジ強度値の総和を計算することによりエツジ強度の断面積si を算出したので、最初に与えられた輪郭を横切る経路があいまいでも実際の輪郭を正しく横切るように断面積を算出することができ、これにより対象物の輪郭領域を精度よく抽出することができる。
【0078】
さらに上述の構成によれば、境界座標リストP0、P1及び分割点座標リストE0、E1に基づいて、各分割点近傍における形状に近似した近似曲線を算出し、当該近似曲線における分割点近傍での接線r0i 、v0i 及び接線r1i 、v1i を各セグメントを曲線近似するための連結条件RV0及びRV1として算出し、隣接する分割点で区切られる各セグメントを、これら分割点における連結条件を満たすように最小2乗法を用いて曲線近似してそれぞれ曲線セグメントc0i 及びc1i を算出したので、エツジ強度にノイズが含まれている場合でも境界曲線C0及びC1を精度良く生成することができる。また境界曲線C0及びC1を滑らかに連結することができるので、ソフトキー生成部3における曲面制御処理を容易に行うことができる。
【0079】
さらに上述の構成によれば、境界曲線C0及びC1の一方をz=1の平面上に位置させ、他方をz=0の平面上に位置させて境界曲線C0及びC1を縁とする曲面を生成するようにしたので、曲面制御処理を容易に行うことができると共に、z値が「0」から「1」まで変化する曲面を輪郭領域において決定することができる。このz値をキー情報αとみなして画像に書き込むことによつてソフトキー画像を得ることができる。
【0080】
さらに上述の構成によれば、現画像iと、既に輪郭曲線情報Cとして輪郭曲線Cが得られている1フレーム前の画像i−1と、当該画像i−1の輪郭曲線情報Cとに基づいて現画像iについての推定輪郭情報S2を得るようにしたので、オペレータが入力手段4を用いて対象物の輪郭のおおまかな形状を表す折れ線情報、曲線情報又は線図形2値画像情報をその都度入力する場合に比して、作業効率を大幅に向上させることができ、特に動画像に対して有効である。
【0081】
(3)他の実施例
なお上述の実施例においては、経路算出手段として経路算出部23を用いて、曲線生成部10から供給される輪郭曲線Cに基づいて計算点座標リストPo及び方向ベクトルリストPdを算出した場合について述べたが、本発明はこれに限らず、図10との対応部分に同一符号を付した図19に示すような経路算出部30を用いてもよい。この経路算出部30における経路算出処理について図20に示すフローチヤートを用いて説明する。
【0082】
経路算出部30は、ステツプSP1より経路算出処理を開始し、ステツプSP2において、グラデイエントベクトル算出部7から供給されるエツジ強度画像Gを細線化手段としての細線化回路30Aで受けた後、ステツプSP3において、エツジ強度を指標としてエツジ強度画像Gを細線化回路30Aで細線化処理することにより輪郭の位置を表す線図形2値画像B(x、y)を算出し、当該線図形2値画像Bを座標変換手段としての座標リスト変換回路30Bに送出する。ここで細線化処理としては、例えば上述の「画像合成のための対象物抽出法」に記載されている方法を用いることができる。
【0083】
また細線化回路30Aによつてエツジ強度画像Gから線図形2値画像Bを生成したが、例えばCRTなどの表示手段の表示画面上に対象とする画像を表示し、入力手段4から画像中の対象物の軌跡を入力することにより、線図形2値画像を得るようにしてもよい。従つてこの場合には、入力手段4から入力された対象物の軌跡に応じた線図形2値画像は直接座標リスト変換回路30Bに入力される。
【0084】
続いてステツプSP4において、経路算出部30は、座標リスト変換回路30Bにおいて、線図形2値画像Bより座標リストLを算出し、当該座標リストLを計算点抽出回路23A及び方向算出回路23Bに送出する。この座標リストLは、m個のベクトルli (i=0〜m−1)の配列でなる。すなわち座標リストLは、チエーンコーデイング(Chain Coding)と呼ばれる方法を用いて、線図形2値画像Bのある点から線図形を辿る処理を行うことによつて画像からベクトルデータへの変換を行うことにより得ることができる。
【0085】
次いでステツプSP5において、経路算出部30は、計算点抽出回路23Aにおいて、予め定めた間隔dtで座標リストLの始点から終点までn個の位置を計算点poとして抽出し、ステツプSP6において当該計算点poでなる計算点リストPoを方向算出回路23B、エツジ強度ピーク検出部24及びエツジ強度断面積算出部25に送出する。
【0086】
続いてステツプSP7において、経路算出部30は、方向算出回路23Bにおいて、各計算点poi における接線ベクトルtgを座標リストLに基づいて算出し、ステツプSP8において当該接線ベクトルtgと直角をなす単位ベクトル(法線方向)pdi を算出し、当該単位ベクトルpdi でなる方向ベクトルリストPdをエツジ強度ピーク検出部24及びエツジ強度断面積算出部25に送出し、ステツプSP9において経路算出処理を終了する。
【0087】
また上述の実施例においては、境界抽出部として境界抽出部9を用いた場合について述べたが、本発明はこれに限らず、図8、図10及び図15との対応部分に同一符号を付した図21に示すような境界抽出部40を用いてもよい。
この場合、境界抽出部40は、境界座標抽出部41における経路算出部42の計算点抽出回路42Aにおいて作成された分割点座標リストEを境界曲線生成部43の連結条件算出部22Bで受けるようになされている。
【0088】
すなわち計算点抽出部42Aは、入力される輪郭曲線情報Cに応じた曲線C上の位置を計算点poi として所定の間隔で抽出することにより作成した計算点リストPo中の適当なサブセツトを分割座標リストEとして作成し、これを連結条件算出部22Bに送出する。ここで連結条件算出部22Bには、境界座標リストP0及びP1が入力されるので、分割座標リストEがそのサブセツトであることは保証される。
【0089】
従つてこの境界抽出部40は、境界抽出部9に比して入力座標分割部22Aの分だけ構成が簡易になり、これによりキー信号生成装置1の構成を簡略化することができる。また曲線近似部22Cから出力される境界曲線C0及びC1をそれぞれ構成する曲線セグメントc0i 及びc1i の数は同数(すなわち図3のステツプSP5においてk=l)となるので、ソフトキー生成部3における処理を容易にすることができる。
【0090】
さらに上述の実施例においては、曲線生成部10から供給される輪郭曲線情報Cに基づいて計算点座標リストPo及び方向ベクトルリストPdを作成した場合について述べたが、本発明はこれに限らず、例えば推定輪郭情報S2や輪郭候補領域情報S3を用いてもよい。また対象物の輪郭についてのおおまかな形状を表す折れ線情報又は曲線情報を入力手段4から入力し、この折れ線情報又は曲線情報を用いて計算点座標リストPo及び方向ベクトルリストPdを作成するようにしてもよい。これにより、抽出したい対象物の輪郭を指定することができるので、輪郭抽出を精度良く行うことができる。従つてキー信号生成装置1として、輪郭経路探査部8及び曲線生成部9をもたないキー信号生成装置1に本発明を適用し得る。
【0091】
ここで入力手段4から折れ線情報又は曲線情報をそれぞれ計算点抽出回路23A及び入力座標分割回路22Aに直接入力させるようにしてもよい。この場合、折れ線情報に応じた折れ線の対応する線分、又は曲線情報に応じた曲線の対応するセグメントに基づいて得た境界座標リストP0及びP1における対応する境界位置p0i 及びp1i を1つのセグメントと見なして、これら境界位置p0i 及びp1i を分割点とすることにより、境界座標リストP0及びP1を分割する必要がなくなるので、境界曲線生成部22の構成を入力座標分割回路22Aの分だけ簡略化することができ、これによりキー信号生成装置1の構成を簡略化することができる。
【0092】
さらに上述の実施例においては、エツジ強度画像Gを用いて対象物の輪郭を表す境界曲線C0及びC1を生成した場合について述べたが、本発明はこれに限らず、グラデイエントベクトル算出部7で算出したグラデイエントベクトルに基づいて対象物の輪郭を表す境界曲線C0及びC1を生成してもよい。
【0093】
【発明の効果】
上述のように本発明によれば、対象物の輪郭についての輪郭領域を決定し、輪郭領域におけるグラデイエントベクトルを算出し、輪郭領域におけるグラデイエントベクトルに基づいて、輪郭領域のエツジに沿つてエツジの内側及び外側における境界位置をそれぞれ複数抽出し、当該各境界曲線を表す境界座標情報をエツジの内側及び外側毎に生成し、各境界座標情報によつて表される各形状を近似する2本の境界曲線を対象物の輪郭として生成することにより、対象物の輪郭を、画像勾配の大きさで「0」でない領域を囲む2本の境界曲線として抽出することができるので、境界曲線によつて囲まれる領域にα値の勾配を作成することができ、さらに、画像中における対象物の輪郭について、当該輪郭における内側及び外側における境界位置を表す2本の境界曲線を生成し、各境界曲線間に形成する曲面の形状を決定する曲面制御情報を算出し、曲面制御情報に基づいて各境界曲線によつて挟まれた領域上に曲面を生成し、当該曲面をキー情報として出力することにより、輪郭領域を囲む2本の境界曲線間に当該境界曲線間を縁とするような曲面を生成することができるので、対象物の色が混合する輪郭領域とソフトキー情報の位置とを一致させたキー情報を生成することができる。
かくしてキー情報を精度良く生成することができるキー信号生成装置及びキー信号生成方法を実現することができる。
【図面の簡単な説明】
【図1】本発明を適用したキー信号生成装置の全体構成を示すブロツク図である。
【図2】境界抽出部の構成を示すブロツク図である。
【図3】境界抽出部における境界抽出処理の処理手順を示すフローチヤートである。
【図4】境界座標抽出部における境界位置抽出処理の説明に供する略線図である。
【図5】境界位置の検出原理の説明に供する略線図及びグラフである。
【図6】エツジ強度のノイズに対する強さの説明に供するグラフ及び略線図である。
【図7】エツジ強度のノイズに対する強さの説明に供するグラフ及び略線図である。
【図8】境界座標抽出部の構成を示すブロツク図である。
【図9】境界座標抽出部における境界座標抽出処理の処理手順を示すフローチヤートである。
【図10】経路算出部の構成を示すブロツク図である。
【図11】経路算出部における経路算出処理の処理手順を示すフローチヤートである。
【図12】エツジ強度ピーク検出処理及びエツジ強度断面積算出処理の処理手順を示すフローチヤートである。
【図13】エツジ強度断面積算出部の構成を示すブロツク図である。
【図14】画像補間手段における画像補間処理の処理手順を示すフローチヤートである。
【図15】境界曲線生成部の構成を示すブロツク図である。
【図16】境界曲線生成部における境界曲線生成処理の処理手順を示すフローチヤートである。
【図17】ソフトキー生成部の構成を示すブロツク図である。
【図18】ソフトキー生成部におけるソフトキー生成処理の処理手順を示すフローチヤートである。
【図19】他の実施例による経路算出部の構成を示すブロツク図である。
【図20】他の実施例による経路算出部における経路算出処理の処理手順を示すフローチヤートである。
【図21】他の実施例による境界抽出部の構成を示すブロツク図である。
【符号の説明】
1……キー信号生成装置、2……輪郭抽出部、3……ソフトキー生成部、3A……曲面制御情報算出回路、3B……曲面生成回路、4……入力手段、5……推定輪郭算出部、6……輪郭候補領域決定部、7……グラデイエントベクトル算出部、8……輪郭経路探査部、9、40……境界抽出部、10……曲線生成部、11……動きベクトル推定部、12……遅延回路、21、41……境界座標抽出部、22……境界曲線生成部、22A……入力座標分割回路、22B……連結条件算出回路、22C……曲線近似回路、23、30、42……経路算出部、23A、42A……計算点抽出回路、23B……方向算出回路、24……エツジ強度ピーク検出部、25……エツジ強度断面積算出部、25A……積分区間算出回路、25B……積分回路、26……矩形算出部、26A……積分区間算出回路、26B……積分回路、30A……細線化回路、30B……座標リスト変換回路。
Claims (8)
- 画像中からキー信号を生成するキー信号生成装置において、
上記対象物の輪郭についての輪郭領域を決定する輪郭領域決定手段と、
上記輪郭領域におけるグラデイエントベクトルを算出するグラデイエントベクトル算出手段と、
上記輪郭領域におけるグラデイエントベクトルに基づき、上記輪郭領域のエツジに沿つて上記エツジの内側及び外側における境界位置をそれぞれ複数抽出し、当該各境界位置を表す境界座標情報を上記エツジの内側及び外側毎に生成して出力する境界座標抽出手段と、
上記境界座標抽出手段の出力に基づき、上記各境界座標情報によつて表される各形状を近似する2本の境界曲線を上記対象物の輪郭として生成する境界曲線生成手段と、
上記境界曲線生成手段の出力に基づいて、上記2本の境界曲線間に形成する曲面の形状を決定する曲面制御情報を算出して出力する曲面制御情報算出手段と、
上記曲面制御情報算出手段の出力に基づいて、上記各境界曲線によつて挟まれた領域上に曲面を生成し、当該曲面をキー情報として出力する曲線生成手段とを具え、
上記曲面制御情報算出手段は、
上記境界曲線のうち一方の上記境界曲線をz=1の平面上に位置させると共に、上記境界曲線のうち他方の上記境界曲線をz=0の平面上に位置させ、当該境界曲線を相対する縁とする曲線を生成するような上記曲面制御情報を算出する
ことを特徴とするキー信号生成装置。 - 上記境界座標抽出手段は、
上記グラデイエントベクトル算出手段の出力に基づいて、上記エツジを横切る経路を経路情報として算出して出力する経路算出手段と、
上記グラデイエントベクトル算出手段及び上記経路算出手段の出力に基づいて、上記エツジを横切る方向におけるエツジ強度最大値と、当該エツジ強度最大値の位置とを検出して出力するエツジ強度ピーク検出手段と、
上記グラデイエントベクトル算出手段、上記経路算出手段及び上記エツジ強度ピーク検出手段の出力に基づいて、上記エツジを横切る方向におけるエツジ強度断面積を算出するエツジ強度断面積算出手段と、
上記エツジ強度ピーク検出手段及び上記エツジ強度断面積算出手段に基づいて、上記エツジ強度最大値に等しい高さ及び上記エツジ強度最大値の位置に等しい中心位置を底辺に有し、かつ上記エツジ強度断面関と等しい面積を有する矩形を算出し、上記矩形における底辺の両端点の座標を上記エツジの内側及び外側における境界位置として算出して出力する矩形算出手段と
を具えることを特徴とする請求項1に記載のキー信号生成装置。 - 上記エツジ強度断面積算出手段は、
上記グラデイエントベクトル算出手段、上記経路算出手段及び上記エツジ強度ピーク算出手段の出力に基づいて、上記エツジを横切る経路上において、上記エツジの一端から上記エツジ強度最大値の位置を通過して上記エツジの他端までの区間を積分区間として算出して出力する積分区間算出手段と、
上記グラデイエントベクトル算出手段及び上記積分経路算出手段の出力に基づいて、上記積分区間におけるエツジ強度値を積分した値を上記エツジ強度断面積として算出して出力する積分手段と
を具えることを特徴とする請求項2に記載のキー信号生成装置。 - 上記経路算出手段は、
上記エツジ強度画像に基づいて、エツジ強度を指標として上記エツジ強度画像を細線化処理することにより上記対象物の輪郭の位置を算出して出力する細線化手段と、
上記細線化手段の出力に基づいて、上記対象物の位置を座標情報に変換して出力する座標情報変換手段と、
上記座標情報から所定の間隔で計算点を抽出して出力する計算点抽出手段と、
上記座標情報変換手段及び上記計算点抽出手段の出力に基づいて、上記各計算点における法線方向を算出する方向算出手段と
を具え、上記経路算出手段は、対応する上記計算点及び上記法線方向を上記経路情報として出力するようにした
ことを特徴とする請求項2に記載のキー信号生成装置。 - 上記境界曲線生成手段は、
それぞれ上記エツジの内側及び外側における境界位置を表す上記各境界座標情報によつて表される各形状をそれぞれ複数のセグメントに分割する分割点を算出する分割点算出手段と、
上記各境界座標情報によつて表される上記各形状について、上記各境界座標情報及び上記各分割点に基づき、上記各セグメントを連結するための連結条件を上記各分割点毎に算出する連結条件算出手段と、
上記各境界座標情報によつて表される上記各形状について、上記各境界座標情報、上記各分割点及び上記各連結条件に基づき、上記各分割点における上記連結条件を満たすように上記各セグメントを曲線近似することにより上記2本の境界曲線を生成する曲線近似手段と
を具えることを特徴とする請求項1に記載のキー信号生成装置。 - 上記輪郭領域決定手段は、
上記対象物の輪郭についてのおおまかな形状を示す折れ線情報又は曲線情報を入力する入力手段
を具え、
上記経路算出手段は、
上記入力手段より入力された上記折れ線情報又は曲線情報に応じた折れ線又は曲線上における任意の複数の位置を計算点として抽出する計算点抽出手段と、
上記折れ線又は曲線及び上記各計算点に基づいて、上記各計算点における法線方向を算出する方向算出手段と
を具え、上記経路算出手段は、対応する上記計算点及び上記法線方向を上記経路情報として出力するようにした
ことを特徴とする請求項2に記載のキー信号生成装置。 - 任意の実数座標における上記画像の値を算出する画像補間手段を具え、
上記エツジ強度ピーク検出手段による上記エツジを横切る方向における上記エツジ強度最大値の検出、又は上記エツジ強度断面積算出手段による上記エツジを横切る方向における上記エツジ強度断面積の算出が行われる
ことを特徴とする請求項2に記載のキー信号生成装置。 - 画像中からキー信号を生成するキー信号生成方法において、
上記対象物の輪郭についての輪郭領域を決定する輪郭領域決定ステツプと、
上記輪郭領域におけるグラデイエントベクトルを算出するグラデイエントベクトル算出ステツプと、
上記輪郭領域におけるグラデイエントベクトルに基づき、上記輪郭領域にエツジに沿つて上記エツジの内側及び外側における境界位置をそれぞれ複数抽出し、当該各境界位置を表す境界座標情報を上記エツジの内側及び外側毎に生成して出力する境界座標抽出ステツプと、
上記境界座標抽出手段の出力に基づき、上記各境界座標情報によつて表される各形状を近似する2本の境界曲線を上記対象物の輪郭として生成する境界曲線生成ステツプと、
上記境界曲線生成ステツプの出力に基づいて、上記2本の境界曲線間に形成する曲面の形状を決定する曲面制御情報を算出して出力する曲面制御情報算出ステツプと、
上記曲面制御情報算出ステツプの出力に基づいて、上記各境界曲線によつて挟まれた領域上に曲面を生成し、当該曲面をキー情報として出力する曲面生成ステツプと
を具えることを特徴とするキー信号生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33903896A JP3812763B2 (ja) | 1996-12-04 | 1996-12-04 | キー信号生成装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33903896A JP3812763B2 (ja) | 1996-12-04 | 1996-12-04 | キー信号生成装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10164436A JPH10164436A (ja) | 1998-06-19 |
JP3812763B2 true JP3812763B2 (ja) | 2006-08-23 |
Family
ID=18323691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33903896A Expired - Fee Related JP3812763B2 (ja) | 1996-12-04 | 1996-12-04 | キー信号生成装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3812763B2 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002523985A (ja) * | 1998-08-21 | 2002-07-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像信号における問題領域位置決め |
JP2000251086A (ja) * | 1999-02-26 | 2000-09-14 | Sony Corp | 曲線生成装置及び方法、並びにプログラム提供媒体 |
EP1852823B1 (en) * | 1999-12-28 | 2011-07-27 | Sony Corporation | Signal processing method and apparatus and recording medium |
US7003061B2 (en) | 2000-12-21 | 2006-02-21 | Adobe Systems Incorporated | Image extraction from complex scenes in digital video |
JP4596201B2 (ja) * | 2001-02-01 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
JP4596202B2 (ja) | 2001-02-05 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
JP4596203B2 (ja) * | 2001-02-19 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4150949B2 (ja) | 2001-05-30 | 2008-09-17 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
WO2002099753A1 (fr) * | 2001-06-05 | 2002-12-12 | Sony Corporation | Processeur d'images |
JP4596215B2 (ja) * | 2001-06-19 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596217B2 (ja) * | 2001-06-22 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596218B2 (ja) * | 2001-06-22 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596209B2 (ja) * | 2001-06-05 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596213B2 (ja) * | 2001-06-15 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4660979B2 (ja) * | 2001-06-15 | 2011-03-30 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4660980B2 (ja) * | 2001-06-15 | 2011-03-30 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
US7715643B2 (en) | 2001-06-15 | 2010-05-11 | Sony Corporation | Image processing apparatus and method, and image pickup apparatus |
WO2002103635A1 (fr) * | 2001-06-15 | 2002-12-27 | Sony Corporation | Dispositif et procede de traitement d'images et dispositif de prises de vue |
JP4596212B2 (ja) * | 2001-06-15 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596211B2 (ja) * | 2001-06-15 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596214B2 (ja) * | 2001-06-15 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596216B2 (ja) * | 2001-06-20 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596219B2 (ja) * | 2001-06-25 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596220B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596225B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
DE60230206D1 (de) * | 2001-06-26 | 2009-01-15 | Sony Corp | Bildverarbeitungsvorrichtung und Verfahren, und Bilderfassungsvorrichtung |
JP4596221B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596222B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596227B2 (ja) | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
JP4596224B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596223B2 (ja) | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4840630B2 (ja) * | 2001-06-27 | 2011-12-21 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596226B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
CN114383506B (zh) * | 2022-01-12 | 2024-03-19 | 江苏沙钢高科信息技术有限公司 | 一种基于红外技术的高速线材盘卷形状与位置检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06203157A (ja) * | 1992-10-14 | 1994-07-22 | Fujitsu Ltd | カラー画像処理方法および装置 |
JPH07262385A (ja) * | 1994-03-25 | 1995-10-13 | Fuji Xerox Co Ltd | アウトラインデータ生成装置 |
-
1996
- 1996-12-04 JP JP33903896A patent/JP3812763B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10164436A (ja) | 1998-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3812763B2 (ja) | キー信号生成装置及び方法 | |
JP2915894B2 (ja) | ターゲット追跡方法及び装置 | |
US7684592B2 (en) | Realtime object tracking system | |
Klein et al. | Full-3D Edge Tracking with a Particle Filter. | |
JP5213486B2 (ja) | 対象物追跡装置および対象物追跡方法 | |
US8611728B2 (en) | Video matting based on foreground-background constraint propagation | |
US5577175A (en) | 3-dimensional animation generating apparatus and a method for generating a 3-dimensional animation | |
Hebborn et al. | Occlusion matting: realistic occlusion handling for augmented reality applications | |
JP2002513476A (ja) | データ変換方法及び装置 | |
Yalamanchili et al. | Extraction of moving object descriptions via differencing | |
JP2001043376A (ja) | 画像抽出方法及び装置並びに記憶媒体 | |
US20180005039A1 (en) | Method and apparatus for generating an initial superpixel label map for an image | |
CN109961016B (zh) | 面向智能家居场景的多手势精准分割方法 | |
Wuest et al. | Tracking of industrial objects by using cad models | |
JP3006338B2 (ja) | 運動領域輪郭検出装置 | |
JP2006195525A (ja) | 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム | |
JP3411469B2 (ja) | フレーム多重画像作成方法 | |
US20230394834A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
CN112270697A (zh) | 一种结合超分辨率重建的卫星序列影像运动目标检测方法 | |
KR101028699B1 (ko) | 회화적 렌더링 장치 및 방법 | |
JP3716455B2 (ja) | 領域抽出方法及び領域抽出装置 | |
JP2001061152A (ja) | 動き検出方法および動き検出装置 | |
JP2000149031A (ja) | 画像処理装置及び方法並びに記憶媒体 | |
Bradley et al. | Augmenting non-rigid objects with realistic lighting | |
JPH08329110A (ja) | 画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060525 |
|
LAPS | Cancellation because of no payment of annual fees |