JP4043073B2 - 輪郭線映像信号復号化方法及び輪郭線映像信号復号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号復号化方法及びその装置に関し、特に、映像信号で表現された物体の輪郭線をより正確に復号化して、復号化輪郭線上の復元エラーを減らし得る輪郭線映像信号復号化方法及び輪郭線映像信号復号化装置に関する。
【０００２】
【従来の技術】
一般に、テレビ電話、電子会議及び高精細度テレビジョンシステムのようなディジタルテレビジョンシステムにおいては、映像フレーム信号のビデオライン信号が「画素値」と呼ばれる一連のディジタルデータよりなっているため、各映像フレーム信号を定義するには大量のディジタルデータが必要となる。
【０００３】
しかしながら、従来の伝送チャネル上の利用可能な周波数帯域幅は制限されているため、取分け、テレビ電話及び電子会議のシステムのような低ビットレートの映像信号エンコーダの場合、そのような伝送チャネルを通じて多量のディジタルデータを伝送するためには、多様なデータ圧縮技法を用いて伝送すべきデータの量を圧縮するかまたは減らす必要がある。
【０００４】
低ビットレートの符号化システムに於いて、映像信号の符号化方法の中の１つに、いわゆる、オブジェクト指向分析−合成符号化方法がある。ここで、入力映像は複数の物体に分けられ、各物体（オブジェクト）の動き、輪郭線、画素データを定義するための３つの組よりなるパラメータが異なる符号化チャネルを通じて処理される。
【０００５】
物体の輪郭線の処理の際、物体の形状を分析及び合成するためには、輪郭線情報が肝要に用いられる。この輪郭線情報を表す通常の符号化方法に、チェーン符号化法（chain coding method）がある。ここで、輪郭線上の全ての画素（以下、「輪郭線画素」と称する）は頂点として取り扱われ、これらの頂点は符号化されて輪郭線情報を形成する。しかし、このチェーン符号化法は、たとえ輪郭線情報を損失なく符号化しても、輪郭線情報の表現のために大量のデータビットが必要となる短所を有する。
【０００６】
これに関連して、多角近似化技法を用いる輪郭線情報符号化法が幾つか提案されてきた。多角近似化方法において、最初、輪郭線を構成する複数の輪郭線画素のうちで開始頂点が選択される。詳述すると、輪郭線が開ループ形態である場合は、該開ループ上の２つの終点が輪郭線の開始頂点として決まり、また輪郭線が閉ループ形態である場合には、輪郭線上で最遠距離にある２つの点が開始頂点として選択される。輪郭線上で２つの開始頂点が選択された後、両終点の間に直線が引かれる。その後、両頂点を結ぶ輪郭線分上の各輪郭線画素から直線までの垂直距離を測定する。直線に対応する輪郭線分上の各輪郭線画素のうち、垂直距離のうち最大の距離が予め決められた閾値より大きい場合、該最大距離に位置する輪郭線画素は次の頂点として決定される。このような頂点決定過程を繰り返すことによって、輪郭線上で複数の頂点が決定され、輪郭線上の全ての頂点の位置を示す頂点情報が符号化される。
【０００７】
図１には、輪郭線取出し部１１、輪郭線符号化部１２、輪郭線型符号化部１４及びマルチプレクサ（ＭＵＸ１６）からなる、従来の輪郭線エンコーダ１０の概略的なブロック図が示されている。
【０００８】
輪郭線取出し部１１は、入力輪郭線マスク映像データから輪郭線を取出して。
取出輪郭線を輪郭線符号化部１２に供給し、該取出輪郭線の型を輪郭線型符号化部１４に供給する。
【０００９】
さらに、輪郭線取出し部１１は、各取出輪郭線の型をチェックして、輪郭線が外側輪郭線であるかまたは内側輪郭線であるかを示す指標（インデックス）を該輪郭線に付し、各輪郭線のインデックスを輪郭線型符号化部１４に供給する。ここで、外側輪郭線は物体の外側境界に位置する輪郭線を示し、内側輪郭線は、物体と輪郭線内の孔との間の境界に位置する輪郭線を示す。図３（Ａ）には両外側輪郭線Ｅ（１）及びＥ（２）と両内側輪郭線Ｉ（１）及びＩ（２）を有する例示的な物体Ｏ（１）及びＯ（２）、図４（Ａ）には外側輪郭線Ｅ（３）と内側輪郭線Ｉ（３）を有する例示的な物体Ｏ（３）が各々示されている。輪郭線符号化部１２は、例えば、多角近似化方法のような輪郭線近似化方法を用いて輪郭線を符号化して、符号化輪郭線をＭＵＸ１６に供給する。輪郭線インデックスは輪郭線型符号化部１４にて符号化されてＭＵＸ１６に供給される。
【００１０】
ＭＵＸ１６は、輪郭線符号化部１２からの符号化輪郭線と輪郭線型符号化部１４からの輪郭線インデックスとを多重化して、符号化輪郭線データとしてその伝送のため伝送器（図示せず）に送られる。
【００１１】
受信側のデコーダは送信側から伝送された符号化輪郭線情報に基づいて、物体の輪郭線が復元する。しかし、輪郭線が近似化方法によって符号化される場合、一般に、復号化輪郭線上に復号化映像の画質を低下させる近似化エラーが生じる。
【００１２】
図３（Ｂ）及び図４（Ｂ）は、図３（Ａ）及び図４（Ａ）に示した物体の復号化映像で生じ得るエラーの例が各々示されている。図３中の物体Ｏ（１）の外側輪郭線Ｅ（１）と物体Ｏ（２）の外側輪郭線Ｅ（２）とが復号化される場合、図３（Ｂ）に示したように、近似化エラーのため両復元輪郭線Ｅ（１）′、Ｅ（２）′がマージされることになる。図４（Ｂ）は、近似化エラーのため復号化外側輪郭線Ｅ（３）′からやや外側の方へ突出されている再構成内側輪郭線Ｉ（３）′が示されている。ここで、内側輪郭線Ｉ（３）は、図４（Ａ）に示すような元の映像において外側輪郭線Ｅ（３）の内側に位置する。
【００１３】
【発明が解決しようとする課題】
本発明の主な目的は、再構成輪郭線映像における近似化エラーを補償して映像画質を向上させ得る輪郭線映像信号復号化方法及び輪郭線映像信号復号化装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために、本発明の一実施例によれば、輪郭線に対する符号化輪郭線データと映像に含まれた物体の前復元輪郭線とに基づいて、該映像に含まれた複数の物体の輪郭線を復号化する輪郭線映像信号復号化方法であって、現輪郭線に対する符号化輪郭線データを復号化して、現復元輪郭線として発生する第１段階と、
前記現復元輪郭線が前復元輪郭線のうちの何れかと重なり合うか否かを判断する第２段階と、
前記現復元輪郭線と前記前復元輪郭線との間に重複部分がない場合、前記現復元輪郭線を現復元輪郭線として決定する第３段階と、
前記現復元輪郭線と前記前復元輪郭線との間に重複部分が存在する場合には、前記現復元輪郭線を前記前復元輪郭線と重なり合わないように変更し、該変更輪郭線を前記現復元輪郭線として決定する第４段階とを含むことを特徴とする輪郭線映像信号復号化方法が提供される。
【００１５】
また、本発明の他の実施例によれば、輪郭線に対する符号化輪郭線データと映像に含まれた物体の前復元輪郭線とに基づいて、該映像に含まれた複数の物体の輪郭線を復号化する輪郭線映像信号復号化装置であって、
該映像に含まれた各輪郭線が外側輪郭線または内側輪郭線のうちの何れか１つであり、該符号化輪郭線データが各輪郭線の型と各輪郭線が属する物体とを示すインデックスを有し、前記外側輪郭線が前記内側輪郭線より先に復号化されることを特徴とし、
１つまたは複数の前復元輪郭線を格納する格納手段と、
現輪郭線に対する符号化輪郭線データを復号化して、該現輪郭線の型を検出して、現復元輪郭線として発生する復号化手段と、
前記現輪郭線の型に応じて、前記現復元輪郭線が前記前復元輪郭線のうちのいずれとも重なり合わないように変更する変更手段とを含むことを特徴とする輪郭線映像信号復号化装置が提供される。
【００１６】
【発明の実施の形態】
以下、本発明の好適実施例による輪郭線デコーダを図面を参照しながら説明する。
【００１７】
図２を参照すると、本発明の輪郭線映像信号復号化装置２０のブロック図が示されている。この輪郭線映像信号復号化装置２０はデマルチプレクサ（ＤＥＭＵＸ）２１、輪郭線型復号化部２２、輪郭線復号化部２３、切換え部２４、外側輪郭線復元部２５、内側輪郭線復元部２６、メモリ２７及びマスク復元部２８から構成されている。
【００１８】
伝送器（図示せず）からの符号化輪郭線データはＤＥＭＵＸ２１に入力される。この符号化輪郭線データは、符号化輪郭線インデックス及び符号化輪郭線情報を有する。ＤＥＭＵＸ２１は、受け取った符号化輪郭線データを符号化輪郭線情報と該当輪郭線の型を表す符号化輪郭線インデックスとに分けて、輪郭線型復号化部２２及び輪郭線復号化部２３に各々供給する。
【００１９】
輪郭線型復号化部２２は、符号化輪郭線インデックスを復号化して各輪郭線に対する輪郭線インデックスを切換え部２４に供給する。この輪郭線インデックスは該当輪郭線に対するインデックス及びその型を示す。輪郭線復号化部２３はＤＥＭＵＸ２１からの符号化輪郭線情報を復号化して、各輪郭線に対する復号化輪郭線データ（例えば、復号化頂点データ）を発生して切換え部２４に供給する。
【００２０】
切換え部２４は受け取った各輪郭線の輪郭線インデックスに基づいて、各輪郭線に対する復号化輪郭線データ及びその輪郭線インデックスを外側輪郭線復元部２５または内側輪郭線復元部２６のうちの何れか１つに供給する。例えば、図３（Ａ）及び図４（Ａ）に示したような、外側輪郭線Ｅ（１）、Ｅ（２）及びＥ（３）の復号化輪郭線データは外側輪郭線復元部２５に、内側輪郭線Ｉ（１）、Ｉ（２）及びＩ（３）の復号化輪郭線データは内側輪郭線復元部２６に各々切換え部２４によって伝送される。
【００２１】
外側輪郭線復元部２５は受け取った復号化輪郭線データに基づいて、現在の外側輪郭線を復元すると共に、現復元輪郭線をメモリ２７に既に格納されている前復元輪郭線うちの何れかとも重なり合わないように変更する。即ち、現外側輪郭線を復元した後、外側輪郭線復元部２５はメモリ２７から前復元輪郭線を取出して、現復元輪郭線と重複する輪郭線が存在するかをチェックする。重複輪郭線が存在する場合、外側輪郭線復元部２５は現復元輪郭線上の重複部分を前復元輪郭線と重なり合わない新たな輪郭線分に代替える。詳述すると、図３（Ｂ）に示したように、現復元輪郭線Ｅ（２）′が前復元輪郭線Ｅ（１）′と重なり合った場合、各輪郭線Ｅ（２）′及びＥ（１）′によって形成される両物体Ｏ（２）′及びＯ（１）′は１つの物体にマージされることになる。このような場合に、物体Ｏ（１）′と重なり合った部分は物体Ｏ（１）′の一部と見なされて、修正された輪郭線分が前復元輪郭線の外側に描かれる。本発明の好適実施例によれば、修正された線分は、物体Ｏ（２）′に属し、前復元輪郭線Ｅ（１）′に隣接する画素を結んで形成される。その結果、図３（Ａ）に示した２つの相異なる物体Ｏ（１）とＯ（２）は、図３（Ｃ）に示したような２つの物体Ｏ（１）′とＯ（２）″に分けられ得る。その後、現復元外側輪郭線データはメモリ２７に伝送されて格納される。
【００２２】
一方、内側輪郭線復元部２６はメモリ２７からの前復元外側輪郭線に基づいて、現在内側輪郭線を復元する。詳述すると、内側輪郭線復元部２６は切換え部２４からの現在内側輪郭線に該当する復号化現輪郭線に基づいて、現在内側輪郭線を復元すると共に、メモリ２７に格納された前復元輪郭線のうち現在内側輪郭線と重なり合う外側輪郭線を検出する。つまり、現復元内側輪郭線のインデックスがＩ（ｎ）′である場合、内側輪郭線復元部２６はメモリ２７からの前復元輪郭線のうちインデックスＥ（ｎ）′を有する輪郭線を検出する。ここで、インデックスＩ（ｎ）′の輪郭線は物体Ｏ（ｎ）′の内側輪郭線であり、インデックスＥ（ｎ）′の輪郭線は物体Ｏ（ｎ）′の外側輪郭線である。しかる後、内側輪郭線復元部２６は輪郭線Ｉ（ｎ）′が輪郭線Ｅ（ｎ）′の外に突出するか否かを判断する。突出していない場合には、内側輪郭線復元部２６は現復元内側輪郭線データを直ちにメモリ２７に送り出す。もし、輪郭線Ｉ（ｎ）′が輪郭線Ｅ（ｎ）′の外に突出している場合には、内側輪郭線復元部２６は輪郭線Ｅ（ｎ）′に存在する輪郭線Ｉ（ｎ）′の部分は取り除き、輪郭線Ｉ（ｎ）′の残りの部分に該当する輪郭線データのみをメモリ２７に供給する。例えば、図４（Ｂ）に示したように、物体Ｏ（３）′の現復元内側輪郭線Ｉ（３）′がそれに対応する復元外側輪郭線Ｅ（３）′の外側に突出する。この場合、輪郭線Ｅ（３）′の外側にある輪郭線Ｉ（３）′の部分を内側輪郭線の一部でないと見なしてその部分を捨て、図４（Ｃ）のようにそれに対応する外側輪郭線の内側に含まれた復元内側輪郭線のみをメモリ２７に供給する。その結果、内側輪郭線は含まれるべき外側輪郭線の外側に突出せずに復元される。現復元内側輪郭線データはメモリ２７に入力されて格納される。ここで、好適実施例では、内側輪郭線を適切に復元するため、物体の外側輪郭線は内側輪郭線より先に復元されなければならないことに注目されたい。
【００２３】
メモリ２７は、外側輪郭線復元部２５及び内側輪郭線復元部２６から入力された全ての復元輪郭線を格納すると共に、現輪郭線の復元の際、格納された輪郭線を参照輪郭線として発生する。全ての輪郭線に対する復元プロセスが終わると、メモリ２７に格納された輪郭線に対する復元輪郭線データは、物体の映像データの復元のための次のプロセッサ（図示せず）に供給される。
上記において、本発明の好適な実施の形態について説明したが、本発明の請求範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【００２４】
【発明の効果】
従って、本発明によれば、再構成輪郭線映像における近似化エラーを効果的に補償して、輪郭線情報を復元して輪郭線の歪みを防ぐことによって、映像画質をより一層向上させることができる。
【図面の簡単な説明】
【図１】従来の輪郭線符号化装置の概略的なブロック図である。
【図２】本発明の輪郭線映像信号復号化装置のブロック図である。
【図３】Ａ〜Ｃよりなり、各々外側輪郭線を復号化する過程を説明するための模式図である。
【図４】Ａ〜Ｃよりなり、各々外側輪郭線に含まれた内側輪郭線を復号化する過程を説明するための模式図である。
【符号の説明】
１０ 従来の輪郭線エンコーダ
１１ 輪郭線取り出し部
１２ 輪郭線符号化部
１４ 輪郭線型符号化部
１６ ＭＵＸ
２０ 輪郭線映像信号復号化装置
２１ ＤＥＭＵＸ
２２ 輪郭線型復号化部
２３ 輪郭線復号化部
２４ 切換え部
２５ 外側輪郭線復元部
２６ 内側輪郭線復元部
２７ メモリ
Ｉ（１）〜Ｉ（３） 内側輪郭線
Ｅ（１）〜Ｅ（３） 外側輪郭線
Ｏ（１）〜Ｏ（３） 物体
Ｉ（３）´ 復元内側輪郭線
Ｅ（１）´〜Ｅ（３）´ 復元外側輪郭線
Ｏ（１）´〜Ｏ（３）´ 復元物体

Claims (7)

1. 輪郭線に対する符号化輪郭線データと映像に含まれた物体の前復元輪郭線とに基づいて、該映像に含まれた複数の物体の輪郭線を復号化する輪郭線映像信号復号化方法であって、
   現輪郭線に対する符号化輪郭線データを復号化して、現復元輪郭線として発生する第１段階と、
   前記現復元輪郭線が前復元輪郭線のうちの何れかと重なり合うか否かを判断する第２段階と、
   前記現復元輪郭線と前記前復元輪郭線との間に重複部分がない場合、前記現復元輪郭線を現復元輪郭線として決定する第３段階と、
   前記現復元輪郭線と前記前復元輪郭線との間に重複部分が存在する場合には、前記現復元輪郭線を前記前復元輪郭線と重なり合わないように変更し、該変更輪郭線を前記現復元輪郭線として決定する第４段階とを含み、
   前記第４段階で、前記現復元輪郭線により形成される物体の像の内部に属し、かつ前記前復元輪郭線に隣接する画素を互いに連結した線分に前記重複部分の前記現復元輪郭線を変更することを特徴とする輪郭線映像信号復号化方法。
2. 輪郭線デコーダに用いられ、輪郭線に対する符号化輪郭線データに基づいて、該映像に含まれた複数の物体の輪郭線を復号化する輪郭線映像信号復号化方法であって、
   該映像に含まれた各輪郭線が外側輪郭線または内側輪郭線のうちの何れか１つに分類され、該符号化輪郭線データが各輪郭線の型と各輪郭線が属する物体とを示すインデックスを有し、物体が外側輪郭線と内側輪郭線とからなる時、前記外側輪郭線に対する符号化輪郭線データが前記内側輪郭線に対する符号化データより先に前記輪郭線デコーダに入力されて復号化されることを特徴とし、
   第１輪郭線に対する符号化輪郭線データを復号化して、第１復元輪郭線として発生する第１段階と、
   後続輪郭線に対する符号化輪郭線データを復号化して、該後続輪郭線の型を検出し、後続復元輪郭線として発生する第２段階と、
   前記後続復元輪郭線が前復元輪郭線のうちのいずれかと重なり合うか否かを判断する第３段階と、
   前記後続復元輪郭線と前記前復元輪郭線との間に重複部分がない場合、前記後続復元輪郭線を現復元輪郭線として決定する第４段階と、
   前記後続復元輪郭線の型が前記外側輪郭線であり、前復元輪郭線と重なり合う場合、前記後続復元輪郭線が前記前復元輪郭線と重なり合わないように変更し、該変更輪郭線を前記現復元輪郭線として決定する第５段階と、
   前記後続復元輪郭線の型が前記内側輪郭線であり、同一物体の前復元外側輪郭線と重なり合う場合、前記後続復元輪郭線が前記前復元外側輪郭線と重なり合わないように変更し、該変更輪郭線を前記現復元輪郭線として決定する第６段階と、
   残余輪郭線に対して、前記第１段階より前記第６段階までを繰り返す第７段階とを含むことを特徴とする輪郭線映像信号復号化方法。
3. 輪郭線に対する符号化輪郭線データと映像に含まれた物体の前復元輪郭線とに基づいて、該映像に含まれた複数の物体の輪郭線を復号化する輪郭線映像信号復号化装置であって、
   該映像に含まれた各輪郭線が外側輪郭線または内側輪郭線のうちの何れか１つであり、該符号化輪郭線データが各輪郭線の型と各輪郭線が属する物体とを示すインデックスを有し、前記外側輪郭線が前記内側輪郭線より先に復号化されることを特徴とし、
   １つまたは複数の前復元輪郭線を格納する格納手段と、
   現輪郭線に対する符号化輪郭線データを復号化して、該現輪郭線の型を検出して、現復元輪郭線として発生する復号化手段と、
   前記現輪郭線の型に応じて、前記現復元輪郭線が前記前復元輪郭線のうちのいずれとも重なり合わないように変更する変更手段とを含むことを特徴とする輪郭線映像信号復号化装置。
4. 前記変更手段が、
   前記現復元輪郭線の型が前記外側輪郭線である場合、前記現復元輪郭線を変更して、該変更輪郭線によって形成された物体が前記外側輪郭線の前記前復元輪郭線のうちのいずれとも重なり合わないようにする第１変更手段と、
   前記現復元輪郭線の型が前記内側輪郭線である場合、前記現復元輪郭線を変更して、該変更輪郭線が現物体の前復元外側輪郭線によって形成されるようにする第２変更手段とを有することを特徴とする請求項３に記載の輪郭線映像信号復号化装置。
5. 前記第１変更手段が、
   前記現復元輪郭線が前記外側輪郭線型の前復元輪郭線のうちのいずれかと重なり合うか否かを判断する判断手段と、
   前記現復元輪郭線と前記前復元輪郭線との間に重複部分が存在する場合、前記現復元輪郭線を変更して、該変更輪郭線を前記輪郭線に対する前記復元輪郭線として格納し、そうでない場合には、前記現復元輪郭線を前記輪郭線に対する前記復元輪郭線として格納する変更手段とを有することを特徴とする請求項４に記載の輪郭線映像信号復号化装置。
6. 前記第２変更手段が、
   前記現復元輪郭線が前記現輪郭線の前記前復元外側輪郭線のうちのいずれかと重なり合うか否かを判断する判断手段と、
   前記前復元外側輪郭線のうちの何れか１つと前記現復元輪郭線との間に重複部分が存在する場合、前記現復元輪郭線を変更して該変更輪郭線を格納し、そうでない場合には、前記現復元輪郭線を前記輪郭線に対する前記復元輪郭線として格納する変更手段とを有することを特徴とする請求項５に記載の輪郭線映像信号復号化装置。
7. 輪郭線に対する符号化輪郭線データと映像に含まれた物体の前復元輪郭線とに基づいて、該映像に含まれた複数の物体の輪郭線を復号化する輪郭線映像信号復号化方法であって、
   現輪郭線に対する符号化輪郭線データを復号化して、現復元輪郭線として発生する第１段階と、
   前記現復元輪郭線が前復元輪郭線のうちの何れかと重なり合うか否かを判断する第２段階と、
   前記現復元輪郭線と前記前復元輪郭線との間に重複部分がない場合、前記現復元輪郭線を現復元輪郭線として決定する第３段階と、
   前記現復元輪郭線と前記前復元輪郭線との間に重複部分が存在する場合には、前記現復元輪郭線を前記前復元輪郭線と重なり合わないように変更し、該変更輪郭線を前記現復元輪郭線として決定する第４段階とを含み、
   前記第４段階で、前記現復元輪郭線のうち前記前復元輪郭線の外側にある部分を取り除くことにより前記現復元輪郭線を変更することを特徴とする輪郭線映像信号復号化方法。

Images