JPH0670301A

JPH0670301A - 画像セグメント化装置

Info

Publication number: JPH0670301A
Application number: JP5087547A
Authority: JP
Inventors: Philippe Riglet; リグレフイリップ; Lionel Bouchard; ボウシヤリオネル; Jacques-Ariel Sirat; アリエルシラジャック
Original assignee: Koninklijke Philips Electronics NV; Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1992-04-14
Filing date: 1993-04-14
Publication date: 1994-03-11
Also published as: FR2690031A1; EP0566188B1; EP0566188A1; DE69315612D1; US5631975A

Abstract

(57)【要約】（修正有）【目的】収斂の問題を回避し、伝送又は記憶させるべ
き最も関心あるデータの選択に際し、簡単かつ迅速な作
動を可能にするような初期画像の予備的処理を行う。【構成】 (1) 現在のイメージと少なくとも１つ前のイ
メージ間の輝度の差を計算した後、その差をスレショー
ルド値と比較し、スレショールド値に関する該差の値に
応じて該イメージの背景および有用ゾーンに対応する２
進イメージを形成することによりシルエットを決定する
手段101 と、(2) 有用ゾーンに影響を与える任意の不規
則性を抑圧する手段102, 103, 104と、(3) 該手段101
ないし104 により原イメージから抽出したパターンおよ
び均一背景により形成したセグメント化イメージを再現
する手段105, 106とを含む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は固定または半固定背景を
背にした少なくとも１つの可動パターンを含み、画素上
の輝度情報またはカラー情報に対応するディジタル信号
の形状で利用可能な画像をセグメント化する装置に関す
るものである。本発明は特に伝送もしくは記憶しようと
する画像の有用ゾーンを自動的に決定するためのテレビ
電話（ビデオフオーン）画像コーディングシステム分
野で使用される。

【０００２】

【従来の技術】テレビ会議およびテレビ電話は現時点に
おいてきわめて急速な開発を経験している事業活動であ
り、実際上、専門紙には、48ないし64キロビット／秒の
伝送速度を有するISDN（Integrated Switched Data Net
work；総合ディジタル通信網）ラインを介しての多数の
業者によるテレビ電話の提供またはマーケティングに関
し種々の記載がなされている。しかし、この伝送モード
は、電話回線網のきわめて低い伝送速度の故に、すべて
のプライベートな顧客にアクセス可能な電話回線網によ
る伝送を介してテレビ電話を使用することは不可能であ
り、いまだにかなり小規模の専門顧客のサークルに保留
されているのが現状である。実際上、ディジタル化され
た画像はきわめて大量の情報（例えば１秒のテレビジョ
ンは約30メガバイトのコーディングスペースヲ要し、
CCIR フォーマットの静止画像は約１メガバイトのコー
ディングスペースを必要とする。）を含み、きわめて
高い圧縮率による低減を必要とする。

【０００３】この情報の低減化を可能にする手段の１つ
は、伝送（もしくは記憶）すべき最も有用なデータを選
択するため初期画像を予備的に処理することであり、ジ
ャーナル“Electronics and Comunication Engineering
Journal”，1991年２月，29- 36 ページに掲載されて
いるダブリュー・ジェー・ウェルシュ（W.J.Welsh ）に
よる論文“Model-based coding of videophone images
”には、この形式の予備的処理につき提案がなされて
おり、実際この論文には、“Int. J. ComputVision”，
1988年，321 〜331 ページに掲載されているエム・カス
（M. Cass)、エー・ウイトキン(A. Witkin) およびディ
ー・テルゾポーロス(D. Terzopoulos)による論文“Snak
es；active contour models ”により提案されているア
ルゴリズムを使用して、頭部および肩部、すなわちイメ
ージシーケンスの可動部分の輪郭の画像からの隔離に
つき記載されている。しかし、この手順はかなり複雑で
あり、頭部の輪郭のレベルにおける安定に通じる近似
（approximation ）によって進められるアルゴリズムの
収斂（コンバーゼンス）が保証されないという難点があ
る。

【０００４】

【発明が解決しようとする課題】本発明の目的はこれら
の収斂（コンバーゼンス）の問題を回避し、伝送もしく
は記憶すべき最も興味あるデータの選択においてより簡
単かつ迅速な作動を可能にするような初期画像の予備的
処理を行う装置を提供しようとするものである。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、前述形式の本発明画像セグメント化装置の場合、該
装置は、(1) ほぼ均一な背景輝度において現在の画像と
該現在の画像より前の画像シーケンス内の少なくとも１
つの画像の輝度の差を計算した後、この差をスレショー
ルド値と比較し、スレショールドに関する該差の値によ
って各画素に対し、それぞれ画像の背景およびその有用
ゾーンに対応する２つの可能な輝度値のいずれか一方を
とるような２進イメージを形成させることによりシルエ
ットを決定するための手段と、(2) 有用なゾーンに影響
を与える可能性のある不規則性を抑圧するための手段
と、(3) シルエットを決定するための該手段および不規
則性を抑圧するための該手段により原イメージから抽出
したパターン表示と均一背景とにより形成したセグメン
ト化画像を再現するための手段とを含むことを特徴とす
る。

【０００６】このような構造により可能となる情報の選
択は、画像の有用ゾーン（上述の特定利用の場合には顔
および胸部）が動かない背景に対し可動であるという仮
定をベースにしており、この仮定からスタートして、本
来可動要素の動きを描写するそれらの情報ビットに限定
される伝送（もしくは記憶）の原理にもとづくものであ
る。かくして提案された装置は、きわめて低いデータ速
度の伝送もしくは高い圧縮レートによる記憶の利用にお
ける画像圧縮のための全体システムの実現においてきわ
めて有効なリンクを形成する。

【０００７】輪郭検出による画像のセグメント化につい
ては、例えばドキュメント FR-2663139により既知であ
るが、ここに記載の装置では、現在の場合のように、そ
れらの分離した輪郭のいずれかの側上に位置するイメー
ジゾーンの前進的処理によってでなく、セグメント化
画像の構成部分を分離させる輪郭の局所的な構造特性を
調査することによって作動させるようにしている。

【０００８】

【実施例】以下図面により本発明を説明する。ビデオフ
ォーン（テレビ電話）は電話通話者に対してそれ以外に
通話相手のアニメ画像をスクリーン上に与えることを可
能にする装置で、この場合、スクリーン上では２つの形
式の情報、すなわち、人物および背景が認識可能でなけ
ればならない。以下に記載の実際例では、伝送しようと
する画像（イメージ）は１つの動く人物と固定背景（ま
たは半固定背景、例えば、画像偏移を受け易い背景をい
う。）により形成されるものと考える。さらに、この場
合、前記画像のフォーマットはきわめて低いデータ速度
を有するネットワークによる伝送のための標準画像フォ
ーマットとして、CCITT （Consultative Committee for
InternationalTelephony and Telegraph ；国際電信電
話諮問委員会）により限定された形式のもの、すなわち
世界におけるテレビジョン標準の非互換性の現状に対す
る解決策を見出す目的でテレビ電話およびテレビ会議利
用のため採用されているCIF （Common Intermediate Fo
rmat；共通中間フォーマット）フォーマットとする。

【０００９】CIF フォーマットにおいては、輝度信号は
各々360 画素の288 ラインを含み、クロミナンス信号
（色信号）は各々180 画素の144 ラインを含む。かくし
て、CIF ビデオ画像は155,520 画素により形成される。
したがって、例えば毎秒15イメージを与えるイメージン
グプロセスにおいては、各々８ビットにより符号化さ
れた2,332,800 画素が伝送されなければならない。かく
して、CIF イメージを転送するための伝送速度は毎秒18
メガビットより高い速度となる。これは正確には低いデ
ータ速度とはいえず、データ圧縮が絶対的に必要とな
る。また、低価格装置の使用を可能にするため第２の画
像フォーマットが規定される。QCIF（Quarter CIF ；ク
オータ CIF）で与えられるこのフォーマットは毎秒7.5
イメージのイメージング周波数で輝度情報精細度を半減
（各々180 画素の144 ライン）させ、クロミナンス情報
精細度を半減（各々90画素の72ライン）させるようにし
ている。以下の記述においては、ある結果、もしくはあ
る値はCIF 標準またはQCIF標準あるいは、例えば682 ×
512 画素（フォーマット 4/3）のような第３のフォーマ
ットのいずれかで規定されるものとするが、ここでいう
フォーマットは本発明に関して限定例を形成するもので
はない（720 ×576 画素の 4/3 テレビジョン標準もき
わめて良く使用される）。また、さらに、毎秒10イメー
ジの周波数は，通話者の視覚的な安楽さと必要なデータ
速度の減少との間で、満足な妥協を示しているものと思
われる。

【００１０】以下、きわめて低いデータ速度でのこのよ
うな伝送を運命づけられている画像用のもしくはこれら
の画像に対応する高いデータ圧縮レートによる記憶のた
めのコーディングおよびデコーディングアセンブリに
つき説明する。この場合、前期アセンブリはテレビ電話
画像をコーディングするためのサブアセンブリおよびこ
のようにコード化された画像をデコードするためのデコ
ーディングサブアセンブリを含む。図１に関して以下に
記述するテレビ電話画像コーディングサブアセンブリ
はその入力に前述したビデオ画像のシーケンスを受信す
る。これらの画像は、例えば、512 ×512 画素のオリジ
ナルフォーマットを有するCCD カメラにより得られ
る。このカメラは256 レベル（８ビットでコード化され
た画素）における灰色の影の信号を供給するが、異なる
フォーマットの画像およびカラー画像を処理することも
可能である。

【００１１】このようにしてサブアセンブリの入力にあ
らわれるCIF フォーマットの画像シーケンスはセグメン
ト化装置（分割装置）100 に供給される。本実施例の場
合、その目的とするところは、通話者の顔（および胸の
上部）に対応するゾーンを固定背景から自動的に区別す
ることである。この区別は、例えば、ナンバーｎが保持
されている約10および20の間の画像の連続、例えば、そ
れぞれI1, I2, I3, I4で表示する４，８，12および16で
ナンバー付けしたイメージの連続（この順序において、
記憶画像は変位を最適に捕捉するため充分離れたもので
なければならないが、大きく動いた場合のシルエットの
はみだし（overdimensioning）を回避しうるよう余り離
れ過ぎないことが必要である）を分析することをベース
にしている。図２に示すように、装置100 は、次式にし
たがって、これらの画像間の差（ここでは画素ごとの
差）を計算し、頭部と胸部の動きの変動を考慮に入れる
ことを可能にする平均差を得ることによりシルエットを
決定するための回路101 を含む。 DIFF(i,j) ＝｜I₄(i,j) ・I₃(i,j) ｜＋｜I₄(i,j) ・I₂(i,j) ｜＋｜I₄(i,j) ・I₁(i,j) ｜上式において、ｉおよびｊはラインおよびカラム（行）
内の現在の画素のナンバー、｜・｜は“絶対値（absolu
te value of ）”用の記号、またDIFFはこのようにして
計算される平均差である。次いで、この差は背景ノイズ
から有用な信号を分離するため、スレショールド値THRE
I （いくつかのユニット、例えば４の）と比較し、その
差がスレショールドより大きい場合は、DIFF(i,j) ＝25
5 （０ないし255 に至る256 の輝度レベルのスケールの
最大値）が取られ、対応する画素は考慮中の画像の連続
における可動画素、したがって人物に属するものとみな
される。これに対して、その差がスレショールドより大
きくない場合は、現在の画素は静止しているものとみな
され、したがってゼロルミナンス（ゼロ輝度）DIFF
(i,j）＝０が与えられる。この動きをベースにした背景
の抑圧による差の計算は明らかにこの画像の連続の間、
背景に対応する周囲輝度が一定値のまま残ることを意味
し、そうでない場合は輝度の変化が本当の動きと、混同
されうる恐れがあることを意味する。

【００１２】回路101 の後段には雑音抑圧回路102 を配
置する。シルエットを決定している間には、背景の明る
さにおける小さな変化が残る可能性があり、顔のゾーン
の外側に位置する隔離されたいくつかの画素に悪影響を
及ぼす恐れがある。この場合、回路102 は画像の各画素
Ｐに対して、例えば、この画素Ｐ上に中心を置くブロッ
ク内に含まれる隣接画素の輝度を調査し、それによりＰ
の周囲状況に対する平均を得ることを可能にする。かく
して、ブロックの画素の大部分が白（ホワイト）の場
合、Ｐは輝度レベル255 で与えられ、そうでない場合に
は、その輝度は0に等しいものとみなされる。このオペ
ーレションは次式により表される。 −ifΣDIFF(k,l) ＞THRE 2 →ΣDIFF(k,l) ＝255 −ifΣDIFF(k,l) ＜THRE 2 →ΣDIFF(k,l) ＝０上式において、文字ｋ，ｌはＰ（i,j ）の隣接画素のラ
インナンバーおよびカラムナンバー、THRE 2は輝度平
均が決定された後の決定（majority decision ）を可能
にするスレショールド値である。この操作が終了する
と、背景に対応するゾーンは黒（ブラック）の画素で満
たされ、人物に対応するゾーンは大部分白（ホワイト）
の画素で満たされる。

【００１３】次に、不連続性を抑圧する回路103 は人物
のシルエットをその内側にある任意の黒の画素を除去す
ることにより均一にすることを可能にする。この抑圧
は、例えば、画像をラインごとに走査し、各ラインに対
して、その２つの端部が人物の左および右の２つの輪郭
（外形）と一致するようなセグメントを決定し、ついで
このセグメントのすべての画素に輝度値255 を割当てる
ことにより実現される。かくして、白のなかで、表われ
るゾーンは連続するプロフィールを示すものでなければ
ならない。このように、その目的はこれらのセグメント
の最も外のポイントの間からプロフィール内に不連続を
もたらすそれらのポイントを除去することである。さら
に、正確には、現在のラインのセグメントの最も外のポ
イントをP_L(i,j) および P_R(i,j) 、すなわち、走査
されている現在のライン上で出会う最初の白の画素およ
び最後の白の画素（換言すれば、スクリーンの左からス
タートしてこのライン上で出会う最初の画素およびスク
リーンの右からスタートしてこのライン上で出会う画
素）と名付けた場合は、不連続をもたらすこの偏移ポイ
ントの抑圧は走査中の該ラインに関する実物のシルエッ
トの輪郭のより大きい傾斜またはより小さい傾斜を考慮
しながら前のラインｊ−１と現在のラインｊとの間の不
連続性のテストを介して行われる。この操作は次のよう
に表現することができる。すなわち、列（row)ｊ−１お
よびｊの画 P_L（場合によっては P_R）間の輝度の差が
所定のスレショールド THRE 3 より大きいか小さいかに
よってポイント P_L（または P_R）が無効とみなされ
て、除去される（輝度が値０に抑圧される）か、有効と
みなされて、同様のテストがラインｊおよびｊ＋１に対
して行われる。

【００１４】スレショールド THRE 3 は人物のゾーンの
２つの連続するライン間で容認される不連続値を表わ
す。この値は人物の輪郭に沿って考えられる領域に従属
する。−プロフィールが非常に丸まっており（頭の上
部）、したがって該傾斜が小さい角度であるか、反対に
180°に近い場合には１つのラインから他のラインにわ
たってかなり大きい連続性が受容でき、例えばTHRE３に
対し数ダースのオーダーの画素の値をとることができ
る。−こめかみ（側頭）、頬および頚に対応する領域に
おける画像の中心において、この傾斜が90°に近いか、
極端な値０°および 180°からはるかに離れた任意の場
合で、１つのラインから次のラインへの不連続性が小さ
いときは、THRE３は数個のオーダーの画素の値となる。
−肩および胸の領域における画像の下部に対しては、傾
斜は上述のような極端な値をとり、連続するライン間に
強い不連続性が得られ、THRE３は数ダースのオーダーの
画素の値となる。

【００１５】最後に平滑操作を実行する回路102 および
103 に、背景からシルエットを分離させる輪郭内の不規
則性を抑圧するための回路104 を接続する。この場合に
も、例えば形態学的フィルタリング（morphological fi
ltering ）のような種々の抑圧方法を使用することがで
きる。また、回路102 の場合と同様に、平均値を設定
し、輝度スレショールドTHRE４との比較を行うための選
択、さらに正しくは輪郭からあまり遠くは離れていない
白い各画素を考慮し、その近傍の輝度をテストして、そ
れにこの近傍の大部分の輝度（majority luminance）を
割当てることによる選択がなされる。

【００１６】背景、シルエットおよびそれらを分離する
輪郭に影響を及ぼす恐れのある不規則性を抑圧するこれ
らの連続的作動の後、画像のセグメント化は終了し、そ
の時点から２進イメージの使用が可能となり、かくし
て、式DIFF（ｉ，ｊ）は各画素Ｐ（ｉ，ｊ）に対応す
る。この２進イメージは、いまや、灰色（または場合に
応じてカラー）の影における人物のゾーンのイメージを
限定するため画像置換回路105 により使用される。この
限定は次のような方法で実現される。すなわち、DIFF
（ｉ，ｊ）＝255 の場合、原イメージは２進イメージの
ロケーション（位置）に再現され、そうでない場合、背
景はDIFF（ｉ，ｊ）＝０の場合、各画素に対して値０を
与えられる。

【００１７】この灰色またはカラーの影の背景のないイ
メージは動きの効果を抑圧する回路106 による最終処理
に従わせる。実際上、入力イメージシーケンスのいく
つかの画像の組合せにより生ずる異なるイメージに原イ
メージが重畳された場合は、この原イメージと該差動イ
メージ（必然的に大きい）との間にある種のハロー（ha
lo, 暈）またはスーパーディメンション（Supperdimens
ion ）があらわれ、このハローの厚みは、前の処理のた
めに使用された画像の連続に通じる道程（takes ）の間
に人物によって実行された動きに対応する。このハロー
を取除くため回路106 はハローの外縁部（すなわち背景
のない画像の輪郭）およびその内縁部（すなわち、人物
の実際の輪郭）を同時にコールアップ（call up ）する
輪郭検出器を含む。回路106 のこの検出器は人物の左側
上の２つの輪郭ポイントおよび連続的に走査される各ラ
インごとの右側上の他の２つの輪郭ポイントを検出し、
次いで左側上のこれらの２つの輪郭ポイント間にある画
素ならびに右側上のこれら２つの輪郭ポイント間にある
画素に対してゼロ輝度を割当てる。可能な最終的平滑操
作を行った後は、人物の実際のプロフィールを表すイメ
ージの使用が可能となる。図３は背景から人物を区別す
るため連続的に行われる操作を要約したフローチャート
を示すものである。図示のように、各ステップは、各原
イメージIOからスタートして以下のような中間操作ステ
ップ、すなわちいくつかの画像間での差分（differenti
ating ）によるシルエットの生成（CS）、ノイズ抑圧
（SB）、シルエットのフィリングアップ（RS）、このシ
ルエットの平滑化（LS）、背景のないイメージのセグメ
ント化（SI）、輪郭の検出（DC）、ハロー抑圧（SH）お
よび最終平滑操作（LF）を経路し、背景のないイメージ
（IF）に至る。

【００１８】また、図１に示すシステムは有用イメージ
ゾーンの内容の３次元モデルを構成する装置200 なら
びに該モデルの精細度（definition）の主パラメータを
更新する装置300 よりなる並列配置を含むほか、装置20
0 および300 により供給される情報をコード化するため
の装置400 を具える。装置200 は活動するテレビ電流画
像シーケンス内の人物の局限（localization）および追
従（following ）よりなるここに記載の利用面に基本的
な３次元モデルを適応することにより初期校正を与える
機能を有する。次に装置300 は該シーケンスの間に生ず
る動きを考慮に入れて、このモデルを更新する働きをす
る。また、装置100 の出力には、装置200 の作動と装置
300 の作動との間の転移を制御するため、転換器250(そ
の作動については後述する）を配置する。

【００１９】装置200 は、例えば、前述のセグメンテー
ション原理によるセグメント化により選定され、画像シ
ーケンスのアニメート部分に対応するディジタルビデ
オ信号をその情報として受信するもので、まず始めに、
伝送すべき該有用ゾーン内の基準ポイントを抽出する回
路201 を含む。３次元の幾何学的モデルをベースにして
該有用ゾーンを専有する人物の顔の真の再現もしくはい
ずれにしても満足な再現を得るためには、まず第１に３
次元モデルの初期校正（後述するように変位のトラッキ
ングが追従する）を可能とするような画像シーケンス内
に存在する顔の主要な特性ポイント（すなわち、図４に
示すような頭の頂部、こめかみ、眼、鼻、口およびあご
の部分）を決定することが実際上重要である。SignalPr
ocessing；Image Communication,１（1989），139 〜15
2 ページに掲載のケー・アイザワ（K. Aizawa ）ほか、
による論文“Model-based analysis synthesisimage co
ding (MBASIC) system for a person's face ”には、
３次元モデルをベースにして出力イメージの究極的合成
をめざすこのような作動の実施例につき記載されてい
る。

【００２０】したがって、この基準ポイントの抽出のた
め、回路201 は背景が抑圧されたイメージを考え、この
イメージの走査、例えば垂直走査を行って、その縦座標
が背景のないイメージの最大の縦線（ordinate）に対応
する第１の特性ポイント、すなわち、頭の頂部を決定す
る。次に、眼のゾーン上に自動的に集中し、特に頭の頂
部の位置をベースにしてこの目的用に限定されたウイン
ドウ（窓）相にセグメンテーションにより眼の特性ポイ
ント（眼の両隅、上部ポイント、下部ポイント）を決定
し、人によってきわめてまちまちな髪の部分の厚みを考
慮しながら、この窓が髪の部分に対応するゾーンの正し
く下側に位置し、眼のレベルに有効に集中するようにす
る。

【００２１】セグメント化の方法はいくつかのレベルに
おけるスレショールドをベースにし、そのスレショール
ドはウインドウ内の輝度ヒストグラムの最小値に等しく
なるよう選定する。さらに、正しくいえば、初期作動
は、まずヒストグラム法により上縁部が頭の頂部で与え
られるようなウインドウをセグメント化することによ
り、髪の部分に対応する領域の外縁部を決めるために実
行されなければならず、ヒストグラムレベルの数は、
髪の部分の輝度が一定であるように見え、したがって、
この髪のゾーンが単一の領域として感知されるよう調整
する。このように、髪の領域の下限は眼のウインドウを
限定する基準として選定することもできる。髪の毛が検
出されない場合（頭のはげた人の場合）には充分な幅の
ウインドウを選定することにより頭の頂部の位置のみか
ら眼のウインドウのありそうな位置を決定することがで
きる。このように眼のウインドウが限定された後の第２
の作動は、皮膚よりコントラストに優れた実際の眼のゾ
ーンを確保するため、再びヒストグラム法を用いていく
つかの領域にセグメント化する操作を含む（この場合、
人物の照明条件はセグメント化を妨害する可能性をもつ
影が存在しないよう充分適正なものとする）。また、こ
の場合、ヒストグラムレベルの数はセグメント化の後
に得られる形状の横座標および縦座標に対する極限値を
見出すことによりその座標が与えられるような各々の眼
の４つの特性ポイントの局限化を可能にするよう自動的
に調整される。また、この眼の局限に対して、ほぼ眉の
レベルで選定した縦座標（眼の外側の輪郭ポイントの縦
座標にほぼ対応する）において人物の一番左と一番右の
輪郭に属する２つのポイントを限定するこめかみ（側頭
部）の局限を付加することもできる。この場合、対応す
る横座標は、この縦座標に対応するラインの走査を介し
て背景のない画像の外側の輪郭ポイントにより決められ
る。

【００２２】このように局限された眼からスタートし、
眼を含むウインドウのトランスレーション（translatio
n ；翻訳）により口に対する探索ウインドウが限定され
る。ここで、口のまわりのコントラストが弱い場合に
は、この場合あまり正確とはいえないセグメンテーショ
ン法を使用するのでなく、口の全体の形を得ることを可
能にし、下側の唇を示す最小限度の輪郭に位置する特性
ポイントを局限することを可能にする輪郭検出法を使用
することが望ましい。ついで眼と口の局限化から、その
側縁部が眼の内側のポイントのほぼ直下にあり、下縁部
および上縁部が眼および口に関するウインドウのそれら
と接する鼻を見出すためのウインドウを確定（deduce；
演繹）することができ、その後、任意の妨害を与える影
を生ずることのない照明のもとで人の顔がカメラに向い
ているとの仮定のもとで、このウインドウの水平走査に
よるこの鼻ウインドウのセグメント化により鼻孔の位置
を推定することが可能となる。

【００２３】最後に、あごの部分を見出すためのウイン
ドウを口のウインドウのトランスレーションを介して発
見することができる。この場合にも、あごのまわりのコ
ントラストが弱い可能性があり、したがって、セグメン
テーション法または輪郭検出法の代わりに、シーケンス
のいくつかの画像をベースにして、差動イメージを得る
ことにより作動する始めに使用したシルエット決定のた
めの方法と同じ方法を使用することが望ましく、さらに
雑音抑圧および水平走査を行ってあごの下側端部に対応
する最小限度の弧（アーク）を決定する。

【００２４】基準ポイントを抽出する回路201 の後段に
は、3 次元のベースモデルを適応させるための手段20
2 を配置する。このモデルは、前述の論文“SignalProc
essing；Image Communication ”に指摘されているよう
に複数の三角形小面格子により形成される。これらの小
面（facet ）の各々は三角形の３つの端部に位置するナ
ンバーV1, V2, V3を有する３つのノードおよび小面体ナ
ンバーFNにより他から区別するよう限定される。これら
のノードに関連する座標 x_V, y_v,z_vはモデルの部分
を形成する基準フレーム内で限定される。図5Aはこのよ
うなベーシックモデルの一例を示し、図5Bは正しく決
定された実際の顔への適応が行われた後の同じモデルを
示す。

【００２５】このモデルは、横軸が水平、縦軸が垂直、
ｚ軸がスクリーンに対して垂直（座標 x_s, y_s, z_s
は古典形式のマトリックス変換により座標 x_v, y_v,
z_vから抽出される）であるようなスクリーン座標 x_s,
y_s, z_sのシステム内のスクリーン上に描写するよ
うにし、イメージのシーケンスに適応させる必要があ
る。すなわち、該座標は前に決められた特性ポイントに
もとづいて修正される。与えられる適応手段はまず始め
に原イメージと整列させ、正しいスケールを得るための
回路202 を含む。この整列（alignment ）に対する基準
マークは水平方向では、２つの側頭部を含むセグメント
の中心であり、垂直方向では頭の頂部である。したがっ
て、モデルを原イメージと整列させるための変位（disp
lacement）は、 (a) 横座標に対しては、 dx＝1/2 〔(x_v(RT)-x_v(LT))-(x_c (RT)-x _c(LT)) 〕 (b) 縦座標に対しては、 dy＝ y_v(HT)- y _c(HT) ここで、- x_vおよび y_vは既に限定された値、- RTお
よびLTはそれぞれ右の側頭部および左の側頭部であり、
またHTは頭の頂部、- x_cおよび y_cは前に限定された
それらの間から考えられた特性ポイントの座標である。

【００２６】モデルは整列後人物と同じスケールで表示
されるよう膨張させる。それに対しては、次式にしたが
って、こめかみ（側頭部）、眼およびあごの特性ポイン
トが使用される。 DIL(X)＝(x_c(RT)-x_c(LT))/(x_v(RT)-x_v(LT)) DIL(Y)＝(y_c(CH)-y_c(EY))/(y_v(CH)-y_v(EY)) ここで、DIL(X)およびDIL(Y)はモデルの座標に供給すべ
き倍増率、CHおよびEYはそれぞれあごおよび眼を表す。
また、所望に応じて、 y_c(EY)は眼のまわりで選定した
種々の特性ポイントに対して座標 y_c(EY)の平均値を表
す値 y_cm(EY)に置き換えることができる。実際には、単
一ポイントの座標の代わりに平均値をとることによりア
イソレーション（isolation ；隔離）において考慮され
るこれらの特性ポイントの１つの縦座標上の可能なエラ
ーを最小にすることができる。

【００２７】次に、回路202 の後段には表現ゾーンおよ
びプロフィールを調整するための回路203 を配置する。
実際には、いくつかのポイントの位置のみしか決められ
ていないので、整列ならびに正しいスケーリングを達成
した後は、かなり粗雑なままのイメージとモデル間には
なにがしかの一致が設定されるが、顔の表現ゾーンおよ
びプロフィールをも再現するためには、原イメージの最
適表現に対して３次元モデルのすべてのノードを調整す
る必要がある。各ノード v_iに対して、３次元モデルは
座標 x_vi , y_vi, z_viだけでなく、該ノードが顔または
胸のどのゾーン（頭の側部、頬、眉、鼻、眼、口、その
他）に属するかを示すナンバーまたはラベルをも含む。
実際上、これらの各ノードに対しては、そのゾーンに応
じて特定の処理を行うことができる。 (a) 外面プロフィール、顔の側部、頬および眉；これ
らのノードは前に決められた背景のないイメージの外側
の輪郭に対して調整される。したがって、Ｘ軸に沿う変
位DEPL(X) は、ノード V_iに対する新しい座標 x_vがそ
れから推定されるよう３次元モデルの外側の輪郭の各ノ
ードに対応するものでなければならない。頭の側部にお
けるノードに関しては、頭のカーブならびに耳の近似形
状を考慮し、各ノードに適する僅かな横方向調整SMSH(v
_i) を付加した上で外側のプロフィールに接する画素の
レンジにわたって同じ形式の整列を行い、かくして懸案
のノード v_iの新しい座標 x_vをこれから抽出する。変
位DEPL(.) は次式で与えられる。 DEPL(x(v_i))＝ x_CTR(y_s(v_i))−x _s(v_i) ＋SMSH(v_i) ここで、 x_ctr(.) は、ノード v_iに対応する縦座標に
対する背景のないイメージの輪郭の横座標、 x_s(v_i)
ははノード v_iに対する横座標である。頬および肩の
ノードに対しても同じ手順が使用される。 (b) 鼻、眼および口：これらのノードは関連の特性ポ
イントにかんするそれらの近似整列が次式により得られ
るよう調整する。 DEPL(y(NN)) ＝ y_cl(NN)− y_s(NN) DEPL(y(BM)) ＝ y_cl(BM)− y_s(BM) DEPL(y(YE)) ＝ y_cl(YE)− y_s(YE) ここで、DEPL(.) は鼻(NN)、口(BM)または眼(YE)に対応
するノードの変位、 y_cl(.) はこのように考えたときの
特性ポイントの縦座標、 y_s(.) は鼻、口または眼に対
する３次元モデル用の特性ポイントのスクリーン座標を
示す。その後、対応する該変位により限定される鼻、口
または眼に対して近似的翻訳（approximate translatio
n ）を行い、これから懸案のノード v_iの新しい座標y
_vを抽出する。

【００２８】３次元モデルのこの調整はシャドウ効果を
付加することによりさらに完全となる。これがため、例
えば、照明は、影をつけることを所望する小面（ファジ
ット）Ｆ（頂点v₁, v₂, v₃を有する）から距離ｒの所に
位置する点光源Ｓ（図６参照）により与えられるものと
し、またこの照明は光源の方向に対する小面のオリエン
テーションにより変わりうるものと考える。いま、Ｉ(A
MB) をシーン（scene項）の周囲の照度値、Ｉ（OMB ）
を光源から直接到来する照度値とした場合は、懸案の小
面Ｆの座標（ｘ，ｙ）を有する任意の点Ｐにおける輝度
値（luminancevalue ）は次式で与えられる。Ｉ(OMB)(x,y)＝Ｉ(AMB) ＋ (I(INC)/r).cos θ ここで、角θは図６に示すように、セグメントPSと小面
への垂線ANとの間になす角である。小面( ファシット)
の間における照度の連続性を保証するため、この座標Ｎ
を次のような方法で人為的に限定することもできる。す
なわち、その方法では、まず懸案の小面Ｆの角頂点v₁,
v₂, v₃ において、Ｆに隣接する小面に対するこれらの
頂点における垂線の平均である垂線を限定し、次いで、
各頂点においてこのように限定された３つの垂線N₁,
N₂, N₃の補間によってＦの任意のポイントにおけるＦへ
の垂線を計算する。

【００２９】装置200 および300 の出力に配置したコー
ディング装置400 は図１から明らかなように、調整回路
203 の出力に導出される種々の情報アイテム、すなわ
ち、３次元モデルのノードの新しい座標ならびに各小面
Ｆに関連するテクスチュア係数（texture coefficient
）と呼ばれる量をコード化する回路420 を始めとする
種々のコーディングサブアセンブリを含む。得ること
を目的とする合成イメージがシャドウ効果を考慮に入れ
る場合、このイメージは次式、すなわち、Ｉ（SYNTH)_F＝Ｉ_OMB(F) ×CT(F) で与えられるように、関連のテクスチュア係数と該小面
に関連するシャドウ係数の積をベースにして各小面ごと
に限定され、小面Ｆに対するテキスチュア係数CT(F) そ
れ自体は、顔（face）に関して見られる原イメージＩ
（SOURCE) _Fをベースにして初期校正の間に決められ
る。 CT(F) ＝Ｉ(SOURCE)_F／Ｉ_OMB(F) これは、コーディングサブアセンブリをそれがすべて
の小面に対して上述のようにして計算したすべてのテク
スチュア係数をグループ分けしたテーブルをデコーディ
ングサブアセンブリに伝送するよう校正し、それに応
じて該デコーディングサブアセンブリにより、各ポイ
ントの輝度を絶えず考慮しながら上式にしたがって完全
なイメージを再構成するよう形成した場合、真実であ
る。かくして、いくつかのイメージのシーケンスをコー
ド化しようとする場合は最初のイメージに対応するテク
スチュア係数のテーブルを一度伝送するだけで充分であ
る。この場合、人物が動くにつれて、モデルの変位によ
り、このモデルを形成する小面の変形をもたらすことに
なるが、これらのテクスチュアは、最初のテクチュア係
数値の補間により計算することができる。

【００３０】また、テクスチュア係数のテーブルを伝送
するのでなく、原イメージの対応する部分を、例えば静
止画像に属するデータのコーディングおよび圧縮に適応
させたJPEG形−Joint Photographic Experts Group−の
ディジタルビデオ標準にしたがってコード化するよう
にした他のコーディングサブアセンブリの実施例も可
能である。多くの論文、例えば、Journal IEEE Spectru
m, 1991 年10月, vol.28, no.10, 16 -19ページに掲載
の論文“Video compression makes big gains”に記載
されているこの標準は、イメージの各ビデオ成分をブロ
ックに分割した後、DCT 形（Discrete Cosine Transfor
m ）の直交交換（orthogonaltransformation）を用いて
これらのブロックの周波数における内容を表す係数に変
換し、かつそれらを量子化しコード化することを含む。
この実施例の場合は、デコーディング端において分離さ
れているだけのテクスチュア係数を計算するに必要な情
報は明らかに常にイメージの背景に対応する部分と同時
に伝送される。この場合のコーディングコストは0.5
ビット／画素のオーダーである。この場合にも、前の実
施例の場合と同じく、いくつかのイメージのシーケンス
のコード化にあたっては、人物の動いている間に一度だ
けJPEG形のコーディングを行うことで充分である。さら
に、この方法は、初期設定フェーズの間、すべてのイメ
ージ、すなわちテクスチュア情報と同時に背景のイメー
ジを伝送することを可能にする。

【００３１】モデルのノードの新しい座標に関しては、
それらをデコードする目的でこれらの座標自体を伝送も
しくは記憶させることができるが、伝送レートに対して
は３次元モデルのノードの原座標は既知であり、デコー
ディング端に記憶されており、伝送もしくは記憶のため
には、これらの原座標と新しく計算された値との差の値
のみを提供すればよいと考えることが有効である。これ
らの差を充分なビット数、例えば６ビットでコード化す
る場合は、高いノード変位（６ビットの64画素) を取扱
うことができる。構成は例えば所定数のシーケンスのイ
メージに対応する限定周期の間に行われるようにする。
この周期は、この周期の経過後、装置200 から装置300
にスイッチさせる図１に示す転換器250 により決定され
る。モード信号は転換器250 の各位置と関連させるよう
にする。この信号はデコーディングシステムが究極的
に受信した信号の特性を認識しうるよう他の符号化デー
タと同時に伝送されなければならない。この初期構成お
よび構成情報のコーディングが終わったときは前述のよ
うに、装置300 により３次元モデルに関する該情報の更
新が可能となる。

【００３２】また、転換器250 を介してイメージのシー
ケンスの可動部分に対応し、かつセグメント化により選
択されたディジタル信号を受信するこの装置300 は第１
に前に構成される３次元モデルの特性ポイントの動きを
決定するための回路301 を含む。前記回路は、デコーデ
ィングに際して３次元モデルの正しい位置を見出すこと
を可能にするそれらのパラメータのみを究極的に符号化
しうるようにするため、このモデル情報からスタートし
て顔の回転（ローテーション）および変形（トランスレ
ーション）を決定するものでなければならない。３次元
の動きに関するこの記述はモデルの回転および変形運動
が図７に示すような６つの自由度にしたがって決めら
れ、変形（トランスレーション）運動は軸 T_x, T_y,
T_zに沿うものであり、回転運動はこれらの関連の軸に
関して各φ，θ，Ψによりなされるものであることを意
味する。

【００３３】前期トランスレーション（変形）および回
転による種々の特性ポイントｉの変位dx_i, dy_iを決定
するため図８に示すような顔の特性ゾーン内で限定され
るウインドウの変位が与えられる。深みの方向の動きを
考慮しないで済むようにするため、シーケンスを通して
人は同一面内にあるものとした場合、その目的は図８に
示すように、所定イメージの各ウインドウに対して例え
ば最小の絶対誤差を見出すための類似基準（resemblanc
e criterion ）により所定の該イメージに後続するイメ
ージ内に位置する探索ゾーン内で最もそれに類似する１
つを該ウインドウの間から見つけ出すことである。最終
的に、各特性ポイントｉに対して変位dx _i, dy_iは次式
により与えられる。 dx_i＝r(y _i) ・cos θ・d θ+r(z_i)cosΨ・d Ψ+dT _x dy_i＝r(x _i) ・cos φ・d φ+r(z_i)cosΨ・d Ψ+dT _y ここで、 r(x_i), r(y_i), r(z_i) は決められた特
性ポイントｉに対する回転軸である。種々の特性ポイン
トｉに対してこの式を解くときはパラメータ dφ(.), d
θ(.) , dΨ(.) およびdT(.) が得られ、絶対角は前の
イメージから既知である。このパラメータの抽出（extr
action）は有用ゾーンの形状の任意の変形を考慮するよ
うな３次元モデルの更新を可能にする。

【００３４】しかしながら、周知のように、顔の中のこ
の有用ゾーンには、その表現ができるだけ現実的なもの
でなければならないような強力な顔の表示ゾーン、例え
ば、口のゾーンおよび各々の眼のゾーンが存在する。最
終的コーディングは独立して、もしくは単一ウインドウ
内で取扱うことが可能な特別の関心のあるこれらのゾー
ンを考慮に入れる。３つの個別のウインドウの区分は、
ここでは図９に示すように、各々の眼に対する１つのウ
インドウおよび口に対する１つのウインドウまたおそら
く鼻と頬の一部を含むものとが選択されているが、最高
に眼と口に限定された最も簡単な単一ウインドウの選択
も可能である。以下、特別の関心のあるゾーンを選定
し、それらの動きを決定する回路302 により実行される
これら2 つの選択につき説明する。

【００３５】単一ウインドウの場合には、書かれた左上
隅の座標（ x_G, y_G）およびウインドウの右下隅（ x
_D, y_D）の座標は、引用された３つのフォーマット
（CIF,QCIF またはフォーマット4/3 ）の１つにしたが
って保持される。これは例えば次のように与えられる。 (a) フォーマット 4/3： x_G＝ x_c(left temple) ＋dist x y_G＝ y_c(left eye)−dist y₁ x_D＝ x_c(right temple)−dist x y_D＝ y_c(mouth) ＋dist y₂ ここで、 x_c(.) および y_c(.) は特性ポイントの座標
を表し、dist x, dist y ₁, dist y₂はウインドウの幅を
調整することを可能にする値（このフォーマットに対し
てはdist x＝０ないし40画素、dist y₁＝45、dist y₂
＝40に選定される）である。 (b) CIF およびQCIFフォーマット：３つの個別のウイン
ドウに対して論議しようとしていることに関する場合と
同じ方法で決められる。

【００３６】３つのウインドウの場合には、３つのフォ
ーマットの各々に対する座標は次のように決められる。 (a) フォーマット 4/3： a₁) 口（BO) に対しては、口および眼のコーナー（隅）
の特性ポイントをベースにしてウインドウが限定され，
20, 40などのような以下に与えられるすべての値にテス
トされ、検証された例に対応する。 x_G(BO)＝ x_c(left eye , left corner ） y_G(BO)＝ y_c(bottom of nose)＋20 x_D(BO)＝ x_c(right eye , right corner ） y_D(BO)＝ y_c(mouth, bottom point) ＋40 (a₂) 左眼（OG) に対しては、こめかみ（側頭部）およ
び眼の特性ポイントをベースにしてウインドウが限定さ
れる。 x_G(OG)＝ x_c(left temple) ＋40 y_G(OG)＝ y_c(left eye, left corner) −35 x_D(OG)＝ ( x_c(left temple) ＋ x_c(right temple))/2 y_D(OG)＝ y_c(left eye, left corner) ＋35 (a₃) 右眼（OD) に対しては、こめかみ（側頭部）およ
び眼の特性ポイントをベースにしてウインドウが限定さ
れる。 x_G(OD)＝(x_c(left temple) ＋ x_c(right temple))/2 y_G(OD)＝ x_c(right eye, right corner) −35 x_D(OD)＝ x_C(right temple)−40 y_D(OD)＝ y_c(right eye, right corner) ＋35 (b) CIF フォーマットにおいては、ウインドウ座標は 4
/3フォーマットに関して上述したように、次式により与
えられる（ただし、“rel,window”は口のウインドウ、
左眼のウインドウまたは右眼のウインドウを示す）。 x_G(CIF) ＝(x_G(rel.window)＋19)/2 y_G(CIF) ＝(y_G(rel.window)+32)/2 x_D(CIF) ＝(x_D(rel.window)＋19)/2 y_D(CIF) ＝(y_D(rel.window)+32)/2 (c) QCIFフォーマットにおいては、ウインドウは同じよ
うに次式により与えられる。 x_G(QCIF)＝(x_G(rel.window)＋19)/4 y_G(QCIF)＝(y_G(rel.window)＋32)/4 x_D(QCIF)＝(x_D(rel.window)＋19)/4 y_D(QCIF)＝(y_D(rel.window)＋32)/4

【００３７】次に、このように決められたウインドウの
幅はブロックの幅のマルチブルMULまで丸める（roundin
g）ことに適応させる。これは例えばブロックの最も近
い高い整数にコーディングするのに使用される。このよ
うにして、ウインドウの真の幅に付加される値Δｘおよ
びΔｙは０と精々１ブロックまたはマクロブロックの幅
との間にあり、新しい座標 X_G, Y_G， X_D, Y_Dに通
じる関連ウインドウのいずれかの側に平等に分布され
る。 X_G(win) ＝ x_C(win) −Δx(win) Y_G(win) ＝ y_G(win) ＋Δy(win) X_D(win) ＝ x_D(win) ＋Δx(win) Y_D(win) ＝ y_D(win) −Δy(win)

【００３８】最後に、これらのウインドウがイメージの
シーケンスの動きの過程内にあるときは、次式によりナ
ンバー（Ｎ−１）を有するフレーム内で限定されたウイ
ンドウの座標からナンバーＮを有するフレームのウイン
ドウの座標が抽出される。 X_G(win_N) ＝ X_G(win_N-1)−DEPL(X) _N-1 Y_G(win_N) ＝ Y_G(win_N-1)−DEPL(Y) _N-1 X_D(win_N) ＝ X_D(win_N-1)−DEPL(X) _N-1 Y_D(win_N) ＝ Y_D(win_N-1)−DEPL(y) _N-1 ここで、DEPL(x) _N-1, DEPL(y)_N-1はフレーム（Ｎ−
１）に関するフレームＮの変位のｘ−成分およびｙ−成
分である。

【００３９】このように有用情報の更新は上述のような
方法で初期校正後に得られる。コーディングステッ
プ、この場合、更新情報のコーディングは該校正の場合
と同様になお実行されなければならない。このステップ
はコーディング装置400 内において、特性ポイントの動
きを決定する回路301 の出力情報をコード化するための
回路431 ならびに特別の関心のあるゾーンを製造するた
めの回路302 の出力情報をコード化するための回路432
により達成される。

【００４０】回路431 は各特性ポイントに対して前に計
算したパラメータ、すなわち dθ,dφ, d Ψ, dT_x, dT
_y, DEPL(X), DEPL(Y)のコーディングを行う。これらの
パラメータは、それらを常に同じオーダーで検索できる
よう、所定シーケンスにおいて例えば５ビットでコード
化する。特性ポイントが上述のように左および右の側頭
部、左および右の眼、鼻および口の下方ポイントである
ときは、伝送されるビットナンバーの大きさのオーダ
ーは本実施例の場合、イメージあたり約95ビットであ
る。

【００４１】回路432 は特別の関心を有するゾーンをと
りまくウインドウ内に存在する情報をコード化する機能
を有する（以下の回路432 に関する記述では、１つのウ
インドウの場合への利用を取扱っているが、数個のウイ
ンドウの前述の実施例の場合は３つの個別ウインドウの
場合への一般的利用も可能なこと明らかである）。ウイ
ンドウの位置および幅が正確に限定された後は、これら
のウインドウ内に銘記された原イメージの部分はメモリ
内に記憶される。この場合、ｉ個のラインとｊ個のカラ
ムにより校正される各イメージ部分はWIN(i, j) と呼ば
れ、“ソースイメージ（source image）”なる語句はウ
インドウ内に包含され、いまコーディングを受けようと
している原イメージのその部分を表す。

【００４２】この場合、このソースイメージのコーデ
ィングは、同じ空間的原点（spatial origin）を有する
情報のコーディング（intra coding；イントラコーデ
ィング）と同じ空間的原点をもたない情報のコーディン
グ（予言によるコーディング）が組合されるよう、標準
MPEGおよびH261（CCITT により勧告されたH261標準およ
びMPEG標準−Moving Pictures Expert Group−について
は、journalIEEE spectrum から引用された論文に述べ
られている）による形式の混成コーディングモードに
より実現されるようにする。いわゆるイントラコーデ
ィング（intra-coding）においては、コード化された情
報は１つの同じイメージに属するが、予見によるコーデ
ィング（coding by prediction）においては、コーディ
ングがコード化されているものより前のイメージからス
タートして単方向移動の補償を与えるときは（これは標
準H261およびMPEGの場合である）。予言はシンプル（si
mple）と呼ばれ、コーディングがコード化されているも
のより前および後のイメージからスタートして双方向移
動の補償を与えるときは（これはMPEG標準の場合のみで
ある）。予言は双方向であると呼ばれる。ソースイメ
ージに対するこのコーディング原理は、最も関心のある
顔のゾーンであるが、最も強い変位を受けるような強力
な顔表現ゾーンのコーディングに対し良好な適応を示
す。

【００４３】かくして、このアニメートイメージのコ
ーディングにあたっては、H261形コーディングの場合に
は、ナンバーｎおよびｎ−１を有する原イメージを永久
に記憶させる必要があり、MPEG形コーディングの場合に
は、ナンバーｎ（＝現在のイメージ）、ｎ−１，ｎ−
２およびｎ−３を有する原イメージを永久に記憶させる
必要がある（これは回路432 において実現される）。さ
らに、コーディングはイメージのグループに対して実行
され、連続するグループはオリジナルテーク（origin
al takes）に起因するイメージのシーケンスを形成する
ことに留意すべきである。各グループのイメージは例え
ば、８と16の間にあり、常にイントラコードイメージ
（intra-coded image ）で始まるイメージのナンバーＮ
により形成される。図10はＮ＝10の場合のこのようなグ
ループの一例を示すもので、イメージP₃, P₂, P₁はシン
プルな予言（simple prediction ）によりそれぞれイメ
ージP₂, P₁およびＩ（イントラコードされた最初のイ
メージ）から抽出され、イメージB₁ないしB₆はそれぞれ
早いイメージおよび遅いイメージから双方向予言（bidi
rectional prediction）により抽出される（すなわち、
B₁およびB₂はＩおよびP₂から抽出され、B₃およびB₄はP₁
およびP₂から、またB₅およびB₆はP₂およびP₃から抽出さ
れる）。図10の矢印はこのシンプルまたは双方向の予言
方法を示す働きをする。これらの詳細については、前述
の論文“Video compression makesbig gain”（IEEE Sp
ectrum, 1991 年10月, vol. 28, no.10, 16 - 19 ペー
ジ参照）を始めとする種々の論文に記載されているの
で、アニメートイメージのコーディングに関する記述
は省略することにする。

【００４４】このように、特定の関心のあるウインドウ
および可動３次元モデルのこれらの特定コーディングは
回路431 および回路432 によりあたえられるが、コード
化される特定の情報は種々の原点（origin）のものであ
ることに留意すべきである。すなわち、回路431 により
コード化されたものは、所定の瞬間においては、同じ空
間的原点の情報（モデルの特性ポイントの座標の周期的
出力）であるが、回路432 によりコード化されたものは
さらに複雑な原点のもの（イントラコード化イメー
ジ、シンプルな予言により得られるイメージ、双方向の
予言により得られる補間イメージ）である。さらに、ウ
インドウの内側および外側の輝度値は、３次元モデルの
シャドウ効果を決定するためになされる輝度値Ｉ(AMB)
およびＩ(INC) の選択のため必ずしも一致させるを要し
ないことにも留意すべきである。実際上、この選択は、
必ずしも記録がなされる間に得られる輝度特性を反映す
るものである必要はなく、３次元モデルの特性ポイント
の適応から得られる合成イメージ上への任意のコード化
ウインドウの重畳は、この輝度の差の故に２つの領域間
の境界線を明らかにする。

【００４５】このウインドウ内のイメージと合成イメー
ジとの間のこの輝度の偏移（luminance shift ）を回避
するため、本記述の関係するコーディングアセンブリ
およびデコーディングはこれに対する補正を与え、関連
のウインドウにおけるこの補正はビデオフォーンイメ
ージデコーディングシステムもしくはコーディング
システムのいずれかにおいて実行される。前者の場合
にはコーディング装置400 は前記補正を与えるを要しな
い。また、後者の場合、コーディング装置400は以下の
ように作動する輝度偏移補正回路433 を含む。

【００４６】この回路433 はまず、顔それ自体の外側に
あるウインドウの部分（口のいずれかの側上のこのよう
な外側領域の例を図９に示す。）を除外するため、実際
の合成イメージを含み、各ウインドウ内に銘記されるい
わゆる有効ゾーンを決定する。このことにより、その照
度（顔の画素の明るさと大幅に異なる）が究極的な計算
を誤らせるかもしれない顔に属さないゾーンを考慮する
ことを回避することができる。この有効ゾーンはｘ−方
向およびｙ−方向において次のような方法で限定され
る。 (a) ｘ−方向の場合：左側上では、考慮中のウインド
ウの最も左端の横座標に等しいが、あるいはウインドウ
が顔の外側を伸長する場合は、このウインドウの左側の
縁部からスタートする合成イメージのゼロでない最初の
画素の横座標に等しいｘ(MIN) で示す横座標により限定
され、また右側上では、同じように、考慮中のウインド
ウの最も右端の横座標に等しいか、あるいはウインドウ
が顔の外側を伸長する場合はこのウインドウの右側の縁
部からスタートする合成イメージのゼロでない最初の画
素の横座標に等しいｘ(MAX) で示す横座標により限定さ
れる。 (b) ｙ−方向の場合：上側では、考慮中のウインドウ
の上縁の縦座標であるｙ(MAX) で示す縦座標により限定
され、下側ではウインドウの下縁の縦座標であるｙ(MI
N) で示す縦座標により限定される。

【００４７】この有効ゾーンの限定後、回路433 は考慮
中のウインドウ内のイメージソースと合成イメージ間
の平均輝度偏移を計算する。この計算は合成イメージと
ウインドウ内のイメージの双方の場合、各ウインドウに
対してかなり一様な明るさのゾーン間に位置する通常方
形の小ゾーン内で行うようにし、かくして眼および口に
近接する周辺のように輪郭またはコントラストに富んだ
ゾーンを避けるようにする（このようなゾーンにおいて
は、ソースイメージと合成イメージは大幅に異なり、
考慮中の全ウインドウに対する総体的な輝度偏移の評価
はもはや重要ではない。）。

【００４８】ここにいう、小ゾーンはウインドウの中心
の下方に位置するいくつかの画素の平方（CIF またはQC
IFフォーマットにおいては２つの画素、4/3 フォーマッ
トにおいては５つの画素）であり、実際上輝度がかなり
一様な位置にある（図11ないし13参照）。この方形のソ
ースイメージにおける平均輝度をＩ(SOURCE)で表し、
同じ方形内であるが合成イメージにおいて検出される平
均輝度をＩ(SYNTH) で表すものとすれば、次式によりOF
FSET(f) で表すようなこれらの輝度値の差は考慮中のウ
インドウに対する２つのイメージ間の平均偏移を示す。

【００４９】

【数１】ここで、ｎは考慮中の小ゾーン（ここでは方形）内の画
素の数、ｆは論議中のウインドウに関する値である。か
くして計算された平均偏移はすべてのウインドウ用とし
て採用される。

【００５０】回路433 により行われるべき輝度偏移の補
正は、次のように実現される（図11ないし13および関連
する以下の記述参照）。まず始めに、すべて各ウインド
ウの縁部に沿って伸長し、この場合は線形様式で輝度が
変化し、したがって一種の傾度を生ずるような転移ゾー
ンを形成するような数個の画素の幅（CIF, QCIF または
4/3フォーマットのいずれが含まれるかにより、５，３
あるいは10の画素の幅）を有するフリンジ領域RBを限定
する。本実施例の場合、この転移ゾーンは図11に示すよ
うに、その縁部がウインドウの境界に平行であり、かつ
すべてが関連ウインドウの内側に位置するを可とするよ
うな船形領域（ship）であるが、この船形ゾーンは図12
に示すように完全にウインドウの外側に位置するもので
もよく、また図13に示すように、ウインドウの縁部をま
たぐようなものでもよい。

【００５１】最初の場合には補正後のウインドウ内の輝
度は次式により与えられる。 I₁(WIN/CORR)＝I(SOURCE) _i,j＋VALCOR ここで、 −I₁(WIN/CORR)は補正された輝度値； −I(SOURCE) _i,jは該転移ゾーンにおいて考慮中の座標
点（ｉ，ｊ）におけるソースイメージの輝度の値； −VALCORは、そのサイン(sign)により考慮することを要
し、（ウインドウの外側の合成イメージはソースイメ
ージより多少は明るい）かつ考慮中の座標ポイント
（ｉ，ｊ）により異なる値VALCOR₁, VALCOR₂, VALCOR₃
をとる偏移補正値で、(a) 顔のゾーンの外側（図11の
ゾーンＡ）では、この値は各ポイントごとに次式、すな
わち、 VALCOR₁＝I(SYNTH)_i,j− I(SOURCE)_i,j で与えられ、(b) 転移ゾーンの内部境界の内側にある
ウインドウのすべてのゾーン（ゾーンＢ）（すでに顔の
ゾーンの外側にあり、上記の(a) により処理されるであ
ろうポイントを除く）では、この値は一定で、次式、す
なわち、 VALCOR₂＝ OFFSET(f) で与えられ、(c) 転移ゾーンの該内部境界とウインド
ウの縁部の間（ゾーンＣ）では、値VALCOR₃はこれらの
２つの値VALCOR₂とVALCOR₁の間を直線的に変化する。

【００５２】実際にウインドウの縁部は、ここでは限定
されたｘ−軸およびｙ−軸に平行であり、この場合にお
ける該変化はそれがウインドウの左および右の側縁部に
沿って起こる場合は単一水平座標ｘに関する線形変化で
あり、ウインドウの下縁および上縁に沿って起こる場合
は、単一垂直座標ｙに関する線形変化である。第２の場
合（図12）または第３の場合（図13）には輝度（lumina
nce ）に適用すべき補正値を決定することを可能にする
ようなほぼ同じ計算が行われ（ゾーンＡ，Ｂ，Ｃは同じ
ようにして限定される）。最終的に、平均偏移OFFSET
(f) は全体としてウインドウごとにかなり僅かしか変化
しないことが要求（仮定）される。しかし、この差は最
後に再構成された際、イメージ内で眼に見え、審美的で
はないため、例えば、それらの平均をとり、この平均の
計算から大幅に他と異なる平均偏移値の任意の１つを捨
てることにより、ウインドウの各々に対して同じ平均オ
フセット値を選定することが望ましい。

【００５３】このようにして輝度補正が行われた後、コ
ーディング装置400 の回路432 は、ウインドウ内にソー
スイメージの輝度値のコーディングの代わりに上述の
ようなこれらの補正値のコーディングを与え、次いで、
コーディング装置400 の出力から図１に示す伝送・記憶
チャネルCLに向かって例えは校正フェーズまたは更新フ
ェーズが３次元モデル用の特性コーディングパラメー
タウインドウ用の特定コーディングパラメータを得
ることを示す信号、イメージの終わりを示す信号、…の
ような符号化情報がこの順序で適当に供給されるよう形
成する。フォーマッティング（formatting）と呼ばれる
このような順序的供給作動については公知のものでその
詳細については説明を省略するが、符号化データの提供
の変化が上述の作動原理になんらかの影響を与えること
はない。

【００５４】これまで記述してきたコーディング手段
は、イメージシーケンス内の小物を顔または小アング
ルで見る限り、デコーディング端において究極的に満足
な質のイメージ再校正を与えるのに充分である。実際
上、イメージの有用部分の２つのゾーンの間の境界にお
ける輝度偏移の補正は１つの同じイメージの範囲におけ
る２つの別個のコーディング原理の組合せに起因する再
現イメージの任意の不均等性を一掃させる。

【００５５】他方において、ある環境のもとではイメー
ジの他の部分の劣化が勘案される。すなわち、最初に校
正された３次元モデルは、動く人物とイメージの固定背
景との間の移り変わりにおいては、例えば人物が15°以
上の左または右への垂直軸のまわりの回転のよう頭部の
大きな回転を行うときこの人物の動きにそれ自体を適応
させるのに充分な程正確とはいえず、実際には耳や頭の
背部を含む側方小面（lateral facet ）があらわれ、当
初の校正ではこれらのアイテムに関する情報は考慮され
ておらず、さらに頬の部分の上に位置するいくつかの小
面に新しい情報の伝送を必要とする。図14は特に、プロ
フィールで見た３次元モデル内のこれらの２つのゾー
ン、すなわち耳および頭髪を含むゾーンARおよび頬を含
むゾーンJOを示す。

【００５６】このイメージ品質の局部的劣化を回復させ
るためには、リフレッシュ操作を提案することが好まし
い。ただし、イメージ品質（頻繁なリフレッシュが必
要）と伝送すべきデータ量（最も少ない値に減少させ、
リフレッシュの感覚をできるだけ広くすることが必要）
との間に妥協が得られるような頻度でこのリフレッシュ
が行われなければならないことに留意する必要がある。
上述の説明から分かるように、３次元モデルの校正はシ
ーケンスのスタート時に原イメージに対する調整を得る
ことで、シャドウ効果の利用により完成されるこのベー
スモデルのノードと小面とをベースにしており、ま
た、最終的に得られる合成イメージは各モデル小面ごと
に、この小面Ｆに属する頻度値 L_OMB(F) とテクスチュ
ア係数（texture coefficient ；組織係数）CTとの積に
より限定される。この場合、テクスチュア係数それ自体
は顔で見たオリジナルイメージをベースにして定めら
れる。小面Ｆに対するこの合成イメージは次式、すなわ
ち、 I(SYNTH) _F＝ I_OMB(F)x CT(F) で表され、CT(F) は次式、すなわち、 CT(F)＝ I(SOURCE)_F／ I_OMB(F) で表される。

【００５７】頭部の大きな回転の間に強力に変化するい
くつかの側部小面（lateral facet）あるいは隠された
小面（hidden facet）に対応するテクスチュア係数（te
xture coefficient ）については未知である。これらを
決定するため、初期校正の周期的繰返しを実行すること
は可能であるが、その場合には隣接する小面間の輝度の
累進的不連続が明らかとなることが観察される。

【００５８】次に、この問題を解決するため、コーディ
ングサブアセンブリは図１に示すような校正補正装置
500 を含む。前記装置500 は一方では合成イメージとオ
リジナルイメージ間の輝度差（または色度差）を検出
する手段510 、他方では該検出の結果にしたがってデー
タをリフレッシュする手段520 を含み、さらにコーディ
ング装置400 内に配置したかくして得られる新しい情報
をコード化する手段530 を具える。これらの手段510 な
いし530 は必ずしもすべての環境下に与えられるのでな
く、この利用において観察可能なイメージ品質の劣化を
救済する前述の特定利用のみにおいて与えられるような
独自のブロックを構成する。

【００５９】第１実施例の場合、前記検出手段510 は合
成イメージとオリジナルイメージ間の平均エラーを計
算する回路を含む。この平均エラー ERR_M(.) は各イメ
ージに対して次式により評価される。

【００６０】

【数２】ここで、ZCは関連のゾーン（この場合はゾーンARまたは
ゾーンIO）、 N_Fはこのゾーンにおける小面の数、また
N_PはF(i)に関係する小面の画素の数である。リフレッ
シュが与えられない場合は、平均エラーは側部小面の出
現に比例して増加し、これらの小面が最大の表面積を示
すときその最大値を呈する。このようなリフレッシュ操
作を実行するかどうかの欠点はこの平均エラーをスレシ
ュールドTHRES と比較することにより行われる。すなわ
ち、平均エラー ERR_M(ZC)がスレショールドより大きい
場合はテクスチュアパラメータの新しい伝送によりこ
のゾーンに対してリフレッシュが起こり、この伝送が終
了すると、平均エラーは減少し、きわめて大きい回転が
関与する以外は、後続の新しいテクスチュアパラメー
タの伝送を必要としない。スレショールドTHRES は所望
のイメージ品質と伝送しようとするデータ量との間の所
望の妥協に適合するよう調整する。

【００６１】第２実施例の場合、検出手段510 は角検出
回路を含む。すなわち、垂直軸のまわりの回転（角θに
よる）の結果としてのモデルの小面のオリエンテーショ
ンによって、リフレッシュ操作が起こったり、起こらな
かったりする。頭および耳の側部（ゾーンAR）における
小面に対しては通常、少なくとも２つのリフレッシュ操
作、すなわち、１つは例えば20°のオーダーの適度の角
に対するもの、他は顔の場合に耳の形を満足に描写しよ
うとするときの約35°の角に対するものが必要であるこ
とが分かっている。これに対して、ゾーンJOにおける情
報は輪郭およびテクスチュア（組織）に富んでおらず、
約35°に対する単一リフレッシュで充分である。

【００６２】第３実施例の場合、前記検出手段510 は、
所定の小面に対して、これらのテクスチュア係数の初期
値の補間により決められたテクスチュア係数の数とこれ
ら初期のテクスチュア係数の数との比を計算し、もしく
は考慮中のゾーン（ゾーンARまたはゾーンJO）内の全体
の小面に対してこのように設定された平均レシオを計算
する回路を含む。

【００６３】リフレッシュ決定とも呼ばれる校正補正の
決定を行うには、このリフレッシュ情報がある場合は、
そのコーディングを確保することが必要である。以下、
例えばコーディングサブアセンブリにおいてはテクス
チュア係数はコード化されず、オリジナル（またはソー
ス）イメージの一部のコーディングにもとづいてデコー
ディングサブアセンブリにおいて限定される場合に関
しこのコーディングを説明することにする。この場合に
も、例えば、ゾーンAR（頭の後部の頭髪プラス耳）の場
合とゾーンJO（頬）の場合を区別することが可能であ
る。

【００６４】ゾーンAR内でリフレッシュされるべきゾー
ンは、その中でDCT 形コーディングが行われるほぼ方形
のウインドウにより限定（delimit ）される。ウンドウ
用に選定される座標は、例えば、図14に示すように、リ
フレッシュしようとするゾーンの一番はしのポイント、
すなわちこの場合は次のポイントにより定められる。 −一番左はしのポイント P_EG： x_EG＝X(88) −一番上のポイント P_ES： y_ES＝y(120) −一番右はしのポイント P_ED： x_ED＝x(231) −一番下のポイント P_EL： y_EL＝y(231) ここで、x(.), y(.)はこのようにナンバー付けしたモデ
ルのすべてのノードの間で括弧間に示したナンバーを有
する図14内のポイントの横座標および縦座標である（た
だし、他のノードのナンバーは図を混乱させないように
するため図示を省略してある）。

【００６５】次に、このようにして限定されたウインド
ウの幅を、ブロックの整数、ここでは次に上位の整数に
ラウンドアップ（round up）することにより、DCT コ
ーディング用として使用するブロック（ここでは８×８
画素のブロック）の幅の倍数に適応させ、ついでコーデ
ィング（DCT 変換によるJPEG形コーディング）を実施さ
せる。この場合、コーディングのコストの大きさのオー
ダーは考慮中の種々のフォーマットに対して次表により
与えられる。 θ＝ 15° 30° コーディング前： CIF （バイト） 4500 7400 コーディング前： QCIF（バイト） 1150 1800 コーディング後： CIF （ビット） 1916 4400 コーディング後： QCIF（ビット） 1500 2340 伝送時間： CIF （秒） 0.3 0.6 伝送時間： QCIF（秒） 0.2 0.3

【００６６】上表の値は明らかに実行されるテストに対
する表示を与えるのみであり、CIFウンドウに対するコ
ーディングトール（coding toll ）は約0.6 ビット／
画素において評価され、QCIFウインドウに対するそれは
約1.3 ビット／画素において評価される。また、伝送時
間の値は１つのイメージに対して７キロビット／秒の伝
送速度をベースにして決められる。この伝送の迅速性を
確保するため、リフレッシュデータは、このリフレッ
シュ操作が起こる限りコーディングビットの伝送がス
トップされ、その後再選定されるよう一時的に優先権が
与えられるようにする。この伝送の中断は、例えば0.6
秒のオーダーの中断に対応する６つのイメージのような
所定の限定イメージ数に影響を与える。明らかに、どの
フェーズが行われるかを示すことは必要であり、データ
の始めに置かれたモードインジケータパラメータが
この情報を与え、例えば、リフレッシュが進行している
ときは値１をとり、リフレッシュがないか、それが終了
したときは値０をとる。

【００６７】ゾーンJOの場合も、その手順は同様でほぼ
方形のウインドウは上述のように決められた例えば次に
示すような一番はしのポイントの座標により図14のよう
に限定される。 −一番左はしのポイント P_EG： x_EG＝x(125) −一番上のポイント P_ES： y_ES＝y(72) −一番右はしのポイント P_ED： x_ED＝x(30) −一番下のポイント P_EL： y_EL＝y(13) ついで、前述のようにして、ウインドウの幅の適応化お
よびそのコーディングが行われる。この場合、コーディ
ングトール（coding toll ）の評価は次のように与え
られる。 θ＝ 15° 30° コーディング前 CIF （バイト） 3200 3800 コーディング前 QCIF（バイト） 800 950 コーディング後 CIF（ビット） 1920 2270 コーディング後 QCIF（ビット） 1040 1230 伝送時間 CIF（秒） 0.27 0.3 伝送時間 QCIF（秒） 0.15 0.17

【００６８】伝送時間はゾーンARの場合と比較すると低
くなっているが、頬の部分の輝度(または色度) が比較
的一様な場合はまだかなりの大きさと考えられる。した
がって、考慮中の小面の３つの頂点における強度間の線
形補間によって各小面上の強度を描写することができ
る。かくして、小面の内側の任意のポイントにおける輝
度I(PIXEL)は次のような形式により小面の左端部および
右端部に関するその位置の関数として表される。 I(PIXEL) ＝aL＋bR ここで、ａおよびｂは係数、ＬおよびＲはそれぞれ左縁
部および右縁部において補間された強度で、該強度は両
縁部の端部における３つの強度と関係する。この補間の
可能性は縁部の該端部の強度のみをコード化し、伝送す
ることを可能にし、かくしてコーディングトール（コ
ーディング料金）のかなりの低減をもたらす（例えば、
15の小面上の強度が13の縁端における強度をベースにし
て補間された場合は、コーディングトールは補間が起
こらない場合の2000ビットに対して13×８＝104 ビット
となり、約20分の１、すなわちファクタ20で減少する。

【図面の簡単な説明】

【図１】本発明によるイメージセグメント化装置を含
むテレビジョン電話（ビデオフォン）画像符号化サブア
センブリの一実施例を示すブロック図、

【図２】本発明イメージセグメント化装置の一実施例
を示すブロック図、

【図３】セグメント化を与えるため画像の処理段階にお
いて実行される種々の操作の要約を示すフローチャー
ト、

【図４】モデル校正操作および変位トラッキングの観点
で、人物の顔の特徴を限定する基準点が局限される主ゾ
ーンを示す図、

【図５】Ａは原イメージに対する適応をベースにした小
面を有する３次元モデルの実施例を示す図であり、Ｂは
実際に決定された本当の顔の実施例に対して上記の適応
を実施した後における同じモデルを示す図、

【図６】３次元モデルの各小面がポイント発光源から受
光した光により影をつける状態を示す図、

【図７】それによりこの顔の動きが描写される顔上の６
つの自由度を示す図、

【図８】顔の特性ゾーン内に位置するウインドウの変位
を追跡する方法を示す図、

【図９】３つの個別ウインドウを特定コーディングに従
うよう保持させた特別の場合の顔を示す図、

【図１０】コード化しようとする原イメージのシーケン
ス内のイメージグループを示す図、

【図１１】該ウインドウとコード化しようとするイメー
ジの残りの部分との間の転移ゾーンの１つの例を示す
図、

【図１２】該ウインドウとコード化しようとするイメー
ジの残りの部分との間の転移ゾーンの他の例を示す図、

【図１３】該ウインドウとコード化しようとするイメー
ジの残りの部分との間の転移ゾーンの別の例を示す図、

【図１４】プロフィールで見た３次元モデルを示す図で
ある。

【符号の説明】

100 セグメント化装置 101 シルエット決定回路 102 雑音抑圧回路 103 不連続性抑圧回路 104 不規則性抑圧回路 105 イメージ置換回路 106 モーション効果抑圧回路 200 ３次元モデル構成装置 201 基準ポイント抽出回路 202 整列回路 203 調整回路 250 転換器 300 主パラメータ更新回路 301, 302 回路 400 コーディング装置 420, 431, 432 コーディング回路 433 輝度偏移補正回路 500 校正補正装置 510 検出手段 520 リフレッシュ手段 530 コード化手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者リオネルボウシヤフランス国 06200 ニースリュオーガストペグリエル 34 (72)発明者ジャックアリエルシラフランス国 94450 リメイルブレバンヌアブニュデスカルテ 22

Claims

【特許請求の範囲】

【請求項１】固定または半固定背景を背にした少なく
とも１つの可動パターンを含むもので、画素上の輝度情
報またはカラー情報に対応するディジタル信号の形状で
利用可能な画像をセグメント化する装置において、該装
置は (1) ほぼ均一な背景輝度において、現在の画像と該現在
の画像より前の画像シーケンス内の少なくも１つの画像
の輝度の差を計算した後、この差をスレショールド値と
比較し、スレショールドに関する該差の値によって、各
画素に対しそれぞれ画像の背景およびその有用ゾーンに
対応する２つの可能な輝度値のいずれか一方をとるよう
な２進イメージを形勢させることによりシルエットを決
定するための手段と、 (2) 有用なゾーンに影響を与える可能性のある不規則性
を抑圧するための手段と、 (3) シルエットを決定するための該手段および不規則性
を抑圧するための該手段により原イメージから抽出した
パターン表示と均一背景とにより形成したセグメント化
画像を再現するための手段とを含むことを特徴とする画
像セグメント化装置。
【請求項２】シルエットを決定するための該手段は、
現在の画像と該現在画像より前の画像シーケンスからの
取得した（ｎ−１）画像との差を計算し、該２進イメー
ジの形成のため１つの画素が該シルエットに属するもの
かどうかを限定することに関し、この差を所定のスレシ
ョールド値と比較するための回路を具えたことを特徴と
する請求項１記載の装置。
【請求項３】不規則性を抑圧するための該手段は、 (a) シルエットを決定するための該手段の出力に配置し
た画像の背景に対応する２進イメージのゾーンにおける
ノイズ抑圧回路と、 (b) セグメント化画像を再現するための該手段の入力の
前段に配置した画像の背景から該有用ゾーンを分離する
輪郭の不規則性を抑圧する回路とを含むことを特徴とす
る請求項１または請求項２に記載の装置。
【請求項４】ノイズを抑圧するための該回路および不
規則性を抑圧するための該回路は考慮中の画素の周囲状
況に対する平均を計算し、かつ所定の輝度スレショール
ドと比較した後、該画素の輝度に対して選んだ２進値に
関し決定を行うための手段を具えたことを特徴とする請
求項３記載の装置。
【請求項５】有用ゾーンに影響を与える不規則性を抑
圧するための該手段は該有用ゾーンに属するセグメント
の各走査ラインへの限界決定（delimitation）を介して
輪郭の不規則性を抑圧し、該セグメント内部の決定値に
対して輝度値を均一にするための回路を具えたことを特
徴とする請求項１ないし４のいずれか１項に記載の装
置。
【請求項６】セグメントの画素の輝度に課せられる該
決定値を輝度レベルのスケール上の最大値としたことを
特徴とする請求項５記載の装置。
【請求項７】現在走査中のラインに関するセグメント
の限界決定を得るため、現在のラインより前のラインへ
のセグメントの限界決定と画像の背景および有用ゾーン
間の現在ラインに対する傾斜との間に相関を与えるよう
にしたことを特徴とする請求項５または６に記載の装
置。
【請求項８】セグメント化画像を再現するための該手
段は該２進画像を灰色またはカラーの影の背景のない画
像に置き換えるための回路を具えるほか、該画像シーケ
ンス内で取得した最初の画像と現在の画像間に起こる任
意の動きの影響を抑圧するための回路を具えたことを特
徴とする請求項１ないし７のいずれか１項に記載の装
置。