JP3924048B2 - 輪郭線符号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号で表現された物体の輪郭線を符号化する輪郭線符号化装置に関し、特に、輪郭線動き推定技法を用いて、伝送すべきデータの量を減らし得る輪郭線符号化装置に関する。
【０００２】
【従来の技術】
テレビ電話、電子会議及び高精細度テレビジョンシステムのようなディジタルテレビジョンシステムにおいては、映像フレーム信号のビデオライン信号が「画素値」と呼ばれる一連のディジタルデータよりなっているため、各映像フレーム信号を定義するには大量のディジタルデータを必要とする。しかしながら、従来の伝送チャネル上の利用可能な周波数帯域幅は制限されているため、特に、テレビ電話及び電子会議のシステムのような低ビットレートの映像信号符号化器の場合、このような伝送チャネルを通じて多量のディジタルデータを伝送するためには、多様なデータ圧縮技法を用いて伝送すべきデータの量を圧縮するか減らす必要がある。
【０００３】
低ビットレートの符号化システムに於いて、映像信号の符号化方法の中の１つに、いわゆる、物体（オブジェクト）指向分析−合成符号化方法がある（Ｍｉｃｈａｅｌ Ｈｏｔｔｅｒの論文、“Ｏｂｊｅｃｔ−Ｏｒｉｅｎｔｅｄ Ａｎａｌｙｓｉｓ−Ｓｙｎｔｈｅｓｉｓ Ｃｏｄｉｎｇ Ｂａｓｅｄ ｏｎ ＭＯＶＩＮＧ Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ Ｏｂｊｅｃｔｓ」、Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ２”，４０９−４２８頁（１９９０年１２月参照））。
【０００４】
この物体指向分析−合成符号化方法によれば、入力映像信号は複数の物体に分けられ、各物体の動き、輪郭線及び画素データを定義するための３つの組よりなるパラメータが異なる符号化チャネルを通して処理される。
【０００５】
物体の輪郭線の処理の際、輪郭線情報用いて物体の形状を分析及び合成する。この輪郭線情報を表す通常の符号化方法に、チェーン符号化法（chain coding method）がある。しかし、このチェーン符号化法は、たとえ輪郭線情報を損失なく符号化しても、輪郭線情報を表現のために大量のデータビットが必要となる短所を有する。
【０００６】
これに関連して、Ｂ−スプライン近似化技法及び多角近似化技法のような輪郭線情報符号化法が幾つか提案されてきた。多角近似化方法には、輪郭線が粗く表現されるという短所がある。一方、Ｂ−スプライン近似化技法は輪郭線をより精細に表現し得るが、近似化エラーを減らすため高次多項式を要するので、映像信号符号化器の全体的な計算量が増加するという不都合がある。
【０００７】
上記のような輪郭線の粗さ表現及び計算の複雑さのような問題点を克服するための方法の１つに、離散的サイン変換（ＤＳＴ）を用いる輪郭線近似化方法がある。
【０００８】
しかし、上記のＤＳＴに基づく輪郭線近似化技法を用いて、たとえ、輪郭線の粗い表現及び計算量の複雑さを克服することができたとしても、例えば、６４ｋｂ／ｓの伝送チャネル帯域幅を有する低ビットレートのコーデックシステムを効果的に具現するには、伝送すべきデータの量をより一層減らすことが好ましい。
【０００９】
【発明が解決しようとする課題】
従って、本発明の主な目的は、現輪郭線と前輪郭線との間の差分に基づく輪郭線動き推定技法を用いて、輪郭線情報をインタ符号化して伝送すべきデータの量をより一層減らし得る、改善された輪郭線符号化装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、映像信号で表現された１つまたは複数の前復元輪郭線に基づいて、現輪郭線を符号化する輪郭線符号化装置であって、
前記前復元輪郭線のうちの何れか１つを選択して、前記現輪郭線に対する予測輪郭線として発生する選択手段と、
前記現輪郭線と前記予測輪郭線とを重複させる重複手段と、
前記予測輪郭線と前記現輪郭線との間の整合線分を求め、前記各整合線分上の両終点を主頂点として決定する整合手段と、
前記重複予測輪郭線を拡張すると共に、前記現輪郭線において、２つの主頂点の間の拡張輪郭線と重複する前記現輪郭線部分を表す整合区間を決定する拡張手段と、
前記各整合区間の両終点における前記各主頂点を第１頂点として決定する頂点決定手段と、
前記現輪郭線上の各非整合区間を多角近似化して、該非整合区間上に第２頂点を決定する多角近似化手段と、
前記各整合区間を各区間上の２つの第１頂点の間の前記予測輪郭線部分で表現し、前記非整合部分を前記第２頂点で表現し、前記現輪郭線を符号化して、符号化現輪郭線データを発生する符号化手段とを含むことを特徴とする輪郭線符号化装置が提供される。
【００１１】
【発明の実施の形態】
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。
【００１２】
図１には、本発明の輪郭線符号化装置１０のブロック図が示されている。図中で、１つまたは複数の物体を有する現フレームの輪郭線映像信号が、分割マスク形式でラインＬ５０を通じて、輪郭線検出部１００及び動き推定部３００に各々入力される。ここで、分割マスク内の各画素は、該当画素が属する領域を表すラベルを有する。例えば、背景画面内の画素はラベル「０」が付けされ、物体画面内の各画素はゼロでない値のうちの何れか１つにラベル付けされる。
【００１３】
輪郭線検出部１００は入力分割マスクから複数の輪郭線を検出し、その処理順に輪郭線映像信号に含まれた各輪郭線にインデックスデータを割り当て、現フレーム内の各輪郭線に対する輪郭線情報を順に出力する。この輪郭線情報は、輪郭線上の輪郭線画素の位置データ及びそのインデックスデータを有する。
【００１４】
輪郭線検出部１００からラインＬ１０を通じて出力された輪郭線情報は、現輪郭線情報としてインタ符号化部２００及び動き推定部３００に各々供給される。
【００１５】
動き推定部３００はラインＬ５０上の現輪郭線映像信号と、ラインＬ１０上の現輪郭線情報と、フレームメモリ７００からラインＬ３０を通じて供給された復元前輪郭線映像信号とに基づいて、ラインＬ１０上の現輪郭線と最も類似な輪郭線を検出する。前輪郭線映像信号も分割マスクの形態で表現され、各画素は該当画素が属する領域を確認し得るラベルを有する。この動き推定部３０は最も類似な輪郭線のインデックスデータと、現輪郭線と最も類似な輪郭線との間の変位を表す動き情報とをラインＬ２０及びラインＬ４０を通じて出力する。動き推定部３００については、図２及び図３を参照して詳しく説明する。
【００１６】
図２は、動き推定部３００の詳細なブロック図で、全域動きベクトル検出部３１０、予測輪郭線映像発生部３２０及び最適輪郭線検出部３３０を有する。
【００１７】
全域動きベクトル検出部３１０は、ラインＬ３０上の前輪郭線映像信号及びラインＬ５０上の現輪郭線映像信号を用いて、両信号間に重複する物体画素の数が最大となる全域動きベクトル（ＧＭＶ）を検出する。
【００１８】
このＧＭＶは、例えば、±１６画素からなる予め定められた探索領域内で求められる。全域動きベクトル検出部３１０によって検出されたＧＭＶは予測輪郭線映像発生部３２０に、ラインＬ２２を通じて動き補償部４００に、ラインＬ４２を通じてＭＵＸ８００に各々供給される。
【００１９】
予測輪郭線映像発生部３２０は、ラインＬ３０を通じて供給された予測輪郭線映像をＧＭＶだけシフトさせて予測輪郭線映像を発生する。更に、図１中の輪郭線検出部１００のように、予測輪郭線映像発生部３２０は予測輪郭線映像における輪郭線を検出する。予測輪郭線映像発生部３２０は、検出した各予測輪郭線に対する輪郭線情報をラインＬ６０に出力する。
【００２０】
最適輪郭線検出部３３０はラインＬ６０上の予測輪郭線情報とラインＬ１０上の現輪郭線情報とに基づいて、現輪郭線と最も類似な予測輪郭線（即ち、最適輪郭線）を予め定められた探索範囲（例えば、±８画素からなる現輪郭線）内にある予測輪郭線のなかから検出し、現輪郭線と最適輪郭線との間の変位を表す局部動きベクトル（ＬＭＶ）をラインＬ２０上に、最適輪郭線のインデックスデータをラインＬ４０上に各々出力する。本発明の好適実施例によれば、予測輪郭線のインデックスデータは、予測輪郭線に対応する各物体の画素のラベル値と同一の値を有する。
【００２１】
図３は、図２中の最適輪郭線検出部３３０の詳細なブロック図であって、候補輪郭線決定部３３１、整合部３３３及び最適輪郭線決定部３３５を有する。
【００２２】
候補輪郭線決定部３３１は、現輪郭線から予め定められた探索範囲内に位置する予測輪郭線を検出し、ラインＬ１０上の現輪郭線情報及びラインＬ６０上の予測輪郭線情報に基づいて、現輪郭線の長さ及び検出された予測輪郭線の長さを計算する。その後、現輪郭線の長さと予め定められた探索範囲内の各予測輪郭線の長さとが比較される。両輪郭線の間の長さ差が、両輪郭線のうちより小さい長さのＭ倍より小さい場合には、該予測輪郭線が候補輪郭線として決定される。ここで、Ｍは予め定められた数である。現輪郭線に対して１つまたは複数の候補輪郭線が決定されると、各候補輪郭線を確認し得る指示信号（例えば、各候補輪郭線のインデックスデータ）が整合部３３３に入力される。輪郭線の長さは、例えば、該輪郭線を構成する輪郭線画素の数によって定義され得る。
【００２３】
本発明の他の好適実施例においては、候補輪郭線を、長さの代わりに各輪郭線の内部に位置する物体画素の数に基づいて決定し得る。
【００２４】
整合部３３３は受け取った指示信号に応じて、予測輪郭線映像発生部３２０からラインＬ６０を通じて入力された各候補輪郭線に対する輪郭線情報を取り出す。続いて、ラインＬ１０上の現輪郭線情報及びラインＬ６０上の候補輪郭線情報に基づいて、現輪郭線と候補輪郭線との間の整合がとられる。
【００２５】
現輪郭線と候補輪郭線との間の整合プロセスが行われた後、整合部３３３は各候補輪郭線に対する整合情報を最適輪郭線決定部３３５に供給する。この整合情報は、候補輪郭線に対するインデックスデータ、動き変位及び整合長さを有する。
【００２６】
現輪郭線と候補輪郭線との間の整合プロセスが行われた後、整合部３３３は各候補輪郭線に対する整合情報を最適輪郭線決定部３３５に供給する。この整合情報は、候補輪郭線に対するインデックスデータ、動き変位及び整合長さを有する。 候補輪郭線に対する整合過程の際、候補輪郭線は例えば、予め定められた探索範囲内で画素単位で置き換えられ、各変位における現輪郭線と候補輪郭線との間の整合線分が決定される。その後、各変位に対して整合線分の全長が計算される。そして、計算された全長は互いに比較され、そのうち最大長さが候補輪郭線の整合長さとして決定され、最大長さをもたらす変位が候補輪郭線の動き変位として決定される。図５は、整合線分の決定方法を説明するための模式図であって、互いに重複された現輪郭線２０及び候補輪郭線３０が示されている。両輪郭線２０及び３０が重ね合せられた後、それらの間の交点（即ち、ＰＶ１〜ＰＶ６、Ｐ１及びＰ２）が求められ、重複線分の長さ（即ち、ＰＶ６−ＰＶ１、ＰＶ２−ＰＶ３、Ｐ１−Ｐ２、ＰＶ４−ＰＶ５）が計算される。この重複線分の長さが閾値ＴＨ１より大きい場合、重複線分は整合線分として決定される。図５において、両交点Ｐ１とＰ２との間の重複線分がＴＨ１以下であり、残余重複線分がＴＨ１より大きいと仮定する。従って、残余重複線分（例えば、ＰＶ２−ＰＶ３、ＰＶ４−ＰＶ５、ＰＶ６−ＰＶ１）が整合線分として決定される。本発明の他の好適実施例によれば、整合線分の長さの代わりに、与えられた重複線分上に位置する輪郭線画素の個数に基づいて、整合線分が決定され得る。
【００２７】
そのような整合過程において、輪郭線が映像フレームの縁部と交差する場合、交点間の縁部は輪郭線の一部と見なされる。例えば、図６に示したように、現輪郭線５０及び候補輪郭線６０が、映像フレーム４０の右側縁４０−１において点５０−１、５０−２及び６０−１、６０−２と各々交差する場合、点５０−１と点５０−２との間の縁４０−１の部分は現輪郭線５０の一部分として見なされ、点６０−と点６０−２との間の縁４０−１の部分は候補輪郭線６０の一部分として見なされる。
【００２８】
最適輪郭線決定部３３５は各候補輪郭線に対する整合情報に基づいて、各候補輪郭線の整合長さを互いに比較し、最大の整合長さに対応する候補輪郭線を現輪郭線の最適輪郭線として決定する。この最適輪郭線に対応する動き変位はＬＭＶとして定められる。最適輪郭線決定部３３５は、該最適輪郭線のＬＭＶ及びインデックスデータをラインＬ２０及びＬ４０上に出力する。
【００２９】
図１を再び参照すると、動き補償部４００はラインＬ２２上のＧＭＶ、ラインＬ２０上の最適輪郭線のＬＭＶ及びインデックスデータに基づいて、ラインＬ３０を通じてフレームメモリ７００から最適輪郭線情報を取り出すことによって、予測現輪郭線を生成する。この予測現輪郭線はＧＭＶとＬＭＶとの和によってシフトされた最適輪郭線を表す。動き補償部４００は、ラインＬ５５を通じてインタ符号化部２００及び輪郭線復元部６００に、予測現輪郭線の輪郭線画素の位置データ及びそのインデックスデータを表す予測現輪郭線情報を供給する。
【００３０】
図４は、インタ符号化部２００の詳細なブロック図であって、整合部４２０、拡張部４３０及び符号化部４４０から構成される。
【００３１】
ラインＬ５５上の予測現輪郭線情報及びラインＬ１０上の現輪郭線情報は、整合部４２０に各々入力される。
【００３２】
整合部４２０は予測現輪郭線と現輪郭線との間の整合を行う。整合部４２０の整合過程は、図５及び図６を参照して上述した図３中の整合部３３３と類似に行われる。例えば、図５において輪郭線２０が現輪郭線、候補輪郭線３０が予測現輪郭線である場合、整合線分の終点になる各点ＰＶ１〜ＰＶ６は主頂点として決定される。交点Ｐ１及びＰ２は、それらの間の重複線分が整合線分でないため、主頂点として決定されない。このようにして求められた整合輪郭線は拡張部４３０に供給される。ここで、整合輪郭線情報は、予測現輪郭線及び現輪郭線上の輪郭線画素の位置情報及び主頂点の位置情報を有する。
【００３３】
図７に示したように、拡張部４３０は、予測現輪郭線２０を予め定められた閾値Ｄmaxだけ拡張して、予測輪郭線バンド３０′を生成する。その後、拡張部４３０は予測輪郭線バンド３０′と現輪郭線２０とを整合して、対をなす各主頂点の間で予測輪郭線バンド３０′に重複される現輪郭線の部分を検出する。
【００３４】
図７において、主頂点の対ＰＶ６〜ＰＶ３、ＰＶ４〜ＰＶ５で現輪郭線２０と予測輪郭線バンド３０′とが重複されることが分かる。現輪郭線２０の重複部分ＰＶ６〜ＰＶ３、ＰＶ４〜ＰＶ５は重複区間として決定される。
【００３５】
その後、各重複区間の長さは閾値ＴＨ２と比較され、閾値ＴＨ２より長い重複区間は整合区間として決定され、該整合区間の端部にある各主頂点は第１頂点として決定される。図６に例示的に示した整合輪郭線において、対になった両頂点ＰＶ６〜ＰＶ３及びＰＶ４〜ＰＶ５の間の長さがＴＨ２より長いと、各頂点は第１頂点になる。後続する符号化過程において、それらの整合区間は、第１頂点の各対での頂点間に予測現輪郭線が整合される部分として取り扱われる。 拡張部４３０は、第１頂点及び現輪郭線の輪郭線画素の位置情報を表す整合データを符号化部４４０に供給する。
【００３６】
符号化部４４０は予め定められた閾値Ｄmaxに基づく通常の多角近似化技法を用いて、現輪郭線上の各非整合区間（例えば、現輪郭線２０上の第１頂点ＰＶ６〜ＰＶ５、ＰＶ４〜ＰＶ３間）に複数の頂点を決定する。即ち、通常の多角近似化によって、該当線分と最大の垂線を有する、ある輪郭線分上の輪郭線画素は、該最大垂線の長さがＤｍａｘより大きい場合に１つの頂点として定められる。このような多角近似化によって決定された各頂点は、第２頂点として定められる。符号化部４４０は第１及び第２頂点の位置データを符号化して、符号化データをＭＵＸ８００及びインタ復号化部５００に各々供給する。
【００３７】
ＭＵＸ８００は、符号化頂点データ、ＧＭＶ、ＬＭＶ及び最適輪郭線のインデックスデータを多重化して、符号化輪郭線データをその伝送のため伝送器（図示せず）に送り出す。
【００３８】
一方、インタ復号化部５００は、符号化頂点データを復号化して、復号化された第１及び第２頂点を表す復号化頂点データを輪郭線復元部６００に供給する。
【００３９】
輪郭線復元部６００において、インタ復号化部５００からの復号化頂点データはラインＬ５５を通じて供給された予測現輪郭線情報と共に現映像信号を復元するのに用いられる。即ち、復元現輪郭線を有する復元現映像信号を供給するため、現輪郭線の非整合区間に対応する復元現輪郭線の部分は、復号化頂点データに基づいて復元され、残余の部分は予測現輪郭線から復元される。復元現映像信号は、フレームメモリ７００に格納され、次の映像信号のため復元前映像信号として用いられる。
【００４０】
上記において、本発明の好適な実施の形態について説明したが、本発明の請求範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【００４１】
【発明の効果】
従って、本発明によれば、現輪郭線と前輪郭線との間の差分に基づいて輪郭線情報をインタ符号化することによって、伝送すべきデータの量をより一層減らすことができる。
【図面の簡単な説明】
【図１】本発明の輪郭線符号化装置のブロック図である。
【図２】図１中の動き推定部の詳細なブロック図である。
【図３】図２中の最適輪郭線検出部の詳細なブロック図である。
【図４】図１中の符号化部の詳細なブロック図である。
【図５】本発明に基づいて、整合線分の決定方法を説明するための模式図である。
【図６】本発明に基づいて、整合線分の決定方法を説明するための模式図である。
【図７】本発明に基づいて、整合輪郭線に対する拡張過程を説明するための模式図である。
【符号の説明】
１０ 輪郭線符号化装置
２０、５０ 現輪郭線
３０、６０ 候補輪郭線
４０ 映像フレーム
３０′ 予測輪郭線バンド
１００ 輪郭線検出部
２００ インタ符号化部
３００ 動き推定部
３１０ 全域動きベクトル検出部
３２０ 予測輪郭線映像発生部
３３０ 最適輪郭線検出部
３３１ 候補輪郭線決定部
３３３、４２０ 整合部
３３５ 最適輪郭線決定部
４００ 動き補償部
４３０ 拡張部
４４０ 符号化部
５００ インタ復号化部
６００ 輪郭線復元部
７００ フレームメモリ
８００ マルチプレクサ（ＭＵＸ）
ＰＶ１〜ＰＶ６ 頂点

Claims (8)

1. 映像信号で表現された１つまたは複数の前復元輪郭線に基づいて、現輪郭線を符号化する輪郭線符号化装置であって、
   前復元輪郭線を表現する映像信号と現輪郭線を表現する映像信号とを両映像信号間で重複する物体画素の数が最大となる位置で重ね合わせたときに、前記前復元輪郭線のうちの前記現輪郭線に最も類似な１つを選択して、前記現輪郭線に対する予測輪郭線として発生する選択手段と、
   前記現輪郭線と前記予測輪郭線とを前復元輪郭線を表現する映像信号と前記現輪郭線を表現する映像信号とを両映像信号間で重複する物体画素の数が最大となる位置で重ね合わせたときの両輪郭線の交点を求め、２つの隣接する交点の間の各区間で両輪郭線が整合しているか否かを判定し、一定の長さ以上でかつ整合した両輪郭線の隣接する交点間の線分を前記予測輪郭線と前記現輪郭線との間の整合線分として決定し、前記各整合線分上の両終点を主頂点として決定する整合手段と、
   前記整合手段において両輪郭線の交点を求めたときと同じ位置で現輪郭線に重ね合わせた前記予測輪郭線を、それを中心とした所定の幅を有するバンド形状となるように幅方向に拡張すると共に、前記現輪郭線において、２つの主頂点の間の拡張された予測輪郭線と重複する前記現輪郭線の部分を表す整合区間を決定する拡張手段と、
   前記各整合区間の両終点における前記各主頂点を第１頂点として決定する頂点決定手段と、
   前記現輪郭線上の各非整合区間を多角近似化して、該非整合区間上に第２頂点を決定する多角近似化手段と、
   前記各整合区間を各区間上の２つの第１頂点の間の前記予測輪郭線部分で表現し、前記非整合部分を前記第２頂点で表現し、前記現輪郭線を符号化して、符号化現輪郭線データを発生する符号化手段とを含むことを特徴とする輪郭線符号化装置。
2. 前記選択手段が、
   前記現輪郭線の長さ及び前記前復元輪郭線の長さを計算する輪郭線長さ計算手段と、
   前記現輪郭線の長さを前記前復元輪郭線の各長さと比較して、前記現輪郭線の長さと各前記前復元輪郭線の長さとの間の比率が予め定められた範囲内にある時、前記前復元輪郭線のなかの前記予め定められた範囲にある１つまたは複数の前記前復元輪郭線を、１つまたは複数の候補輪郭線として決定する比較手段と、
   前記各候補輪郭線を異なる値に置き換えて、得られた代替輪郭線と前記現輪郭線との間の重複線分を検出すると共に、該重複線分の長さの和を計算する重複線分検出手段と、
   前記各長さの最大和に対応する候補輪郭線を最適輪郭線として決定すると共に、前記最大和をもたらす変位を動きベクトルとして発生する最適輪郭線決定手段と、
   前記最適輪郭線を前記動きベクトル分だけシフトさせて、前記予測輪郭線を発生するシフト手段とを有することを特徴とする請求項１に記載の輪郭線符号化装置。
3. 前記重複線分の長さが、予め定められた閾値ＴＨ１より長いことを特徴とする請求項２に記載の輪郭線符号化装置。
4. 前記整合線分が、予め定められた閾値ＴＨ２より長いことを特徴とする請求項３に記載の輪郭線符号化装置。
5. 前記多角近似化手段が、閾値Ｄｍａｘに基づいて多角近似化を行うことを特徴とする請求項１に記載の輪郭線符号化装置。
6. 前記拡張輪郭線の幅が、前記閾値Ｄｍａｘに対応することを特徴とする請求項５に記載の輪郭線符号化装置。
7. 前記符号化現輪郭線データが、符号化動きベクトル、符号化第１頂点及び符号化第２頂点を有することを特徴とする請求項２に記載の輪郭線符号化装置。
8. 前記映像信号が複数のフレームからなり、前記現輪郭線及び前記前復元輪郭線が異なるフレームに属することを特徴とする請求項１に記載の輪郭線符号化装置。

Images