JPH0591407A - 映像通信装置 - Google Patents

Abstract

(57)【要約】 【目的】 家庭内のプライバシーやオフィス内の機密を
保護し、さらには、背景部分を充分な精度で除去し、送
信する映像信号の品質を向上させること。 【構成】 カメラで撮影した映像信号のうち隣接するフ
レ−ム間の映像信号の相対比較によって動き量の小さい
映像部分を被写体の背景部分として検出し、この背景部
分の映像信号を除去した被写体のみの映像信号を符号化
して送信する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＴＶ電話装置やＴＶ会
議装置に適用して好適な映像通信装置に関し、詳しくは
カメラによって撮影した映像から背景部分を除去して送
信するようにした映像通信装置に関するものである。

【０００２】

【従来の技術】従来、この種の映像通信装置として、Ｔ
Ｖ電話装置やＴＶ会議装置がある。

【０００３】図８は、従来のＴＶ電話装置の一般的構成
を示すブロック図であり、カメラ１、Ａ／Ｄ変換回路
２、フォ−マット変換回路３、映像符号化回路４、多重
分離回路５、フォ−マット逆変換回路６、Ｄ／Ａ変換回
路７、モニタ８から構成されている。

【０００４】この構成にあっては、先ず、カメラ１によ
って撮影された人物や風景、書画等の映像はアナログ映
像信号ａとしてＡ／Ｄ変換回路２に入力され、ここでデ
ィジタル映像信号ｂに変換される。そして、このディジ
タル映像信号ｂは、フォーマット変換回路３により、Ｔ
Ｖ電話装置やＴＶ会議装置用の映像符号化回路４で用い
られる共通中間フォーマット（Common Intermediate Fo
rmat:以下、CIF信号と略す）信号ｃに変換される。そし
て、このＣＩＦ信号ｃは、映像符号化回路４で符号化さ
れ、映像符号化信号ｄｌとして多重分離回路５に送られ
る。多重分離回路５は、映像符号化信号ｄｌに音声信号
の符号化情報ｊを多重化し、多重化信号ｅを形成し、伝
送路に送出する。

【０００５】これに対し、相手装置から多重化信号ｅを
受信した場合、多重分離回路５はその受信多重化信号ｅ
を受信映像符号化信号ｄ２と受信音声符号化信ｊに分離
し、受信映像符号化信号ｄ２は映像符号化回路４に入力
し、受信音声符号化信ｊは図示しない音声回路に入力す
る。映像符号化回路Ｄ４は、受信映像符号化ｄ２をＣＩ
Ｆ信号ｆに復号化し、フォーマット逆変換回路６に入力
する。フォーマット逆変換回路６は、ＣＩＦ信号ｆをデ
ィジタル映像信号ｇに変換し、Ｄ／Ａ変換回路７に入力
する。Ｄ／Ａ変換回路７はディジタル映像信号ｇをアナ
ログ映像信号ｈに変換し、モニタ８の画面に受信画像と
して再生する。

【０００６】なお、映像符号化回路４でＣＩＦ信号が用
いられる場合を説明したが、1/4ＣＩＦ信号を用いる場
合もある。

【０００７】

【発明が解決しようとする課題】ところが、このような
従来構成においては、カメラ１で撮像した映像信号をそ
のまま符号化して送信しているため、通信中の人物像の
背景等の通信内容に関係しない映像部分も符号化・送信
していることになる。このため、ＴＶ電話装置を家庭や
オフィスで用いる際に、家庭あるいはオフィス内の様子
が相手に知られてしまい、個人のプライバシーやオフィ
ス内の機密を保護するという点で具合が悪いという問題
があった。また、本来必要である人物の映像情報部分に
割り当てる符号化ビット数が少なくなる結果、映像品質
の向上が望めないという問題があった。

【０００８】この場合、背景部分を除去する方法とし
て、電子情報通信学会春期全国大会（１９８９年）Ｄ−
１０１「背景分離を用いた動画像通信に関する一検討」
に示されているように、２台のカメラを用いて被写体ま
での距離を測定し、距離が一定以上であるものを背景と
して除去する方法がある。しかし、この方法では、距離
を算出するための対象点を求めることが困難であり、誤
判定も多く、背景の除去精度が悪いという問題がある。

【０００９】本発明の目的は、家庭内のプライバシーや
オフィス内の機密を保護し、さらには、背景部分を充分
な精度で除去し、送信する映像信号の品質を向上させる
ことができる映像通信装置を提供することである。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、この発明は、カメラで撮影した映像信号のうち隣接
するフレ−ム間の映像信号の相対比較によって動き量の
小さい映像部分を被写体の背景部分として検出する背景
検出部と、この背景検出部が検出した背景部分の映像信
号を除去する背景除去部と、背景部分が除去された被写
体のみの映像信号を符号化して送信する符号化回路とを
具備させた。

【００１１】

【作用】上述した手段によれば、カメラで撮影した映像
信号のうち隣接するフレ−ム間の映像信号の相対比較に
よって動き量の小さい映像部分を被写体の背景部分とし
て検出し、この背景部分の映像信号を除去した被写体の
みの映像信号を符号化して送信するので、家庭内のプラ
イバシーやオフィス内の機密を保護し、さらには、背景
部分を充分な精度で除去し、送信する映像信号の品質を
向上させることができる。

【００１２】

【実施例】以下、図示する実施例に基づいて本発明を詳
細に説明する。

【００１３】図１は本発明の第１の実施例を示すブロッ
ク図、図２は通信内容に関係しない背景部分の概念を示
す説明図である。

【００１４】最初に、図２を参照して背景部分の概念に
ついて説明する。

【００１５】一般に、通信内容に関連する対象物である
人物は、カメラの直前に位置し、通信中にはその動きも
大きくなる。従って、動きのある領域を補足し、その領
域を通信に関係する部分、動きの少ない領域を背景部分
と定義することができる。例えば、図２（ａ）に示すよ
うに、通信対称である人物Ｋは、その背景に存在する絵
画Ｍや植木鉢Ｌといった静止物に比べ、動き量が大き
く、絵画Ｍ等の静止物は動き量がゼロに近い。そこで、
隣接するｎ−１番目のフレ−ムと次のｎ番目のフレ−ム
間の映像信号の相対比較を行い、動きベクトルの大きい
部分は通信上主要な部分であるとし、動きベクトルの小
さな部分は背景部分として検出し、その背景部分を除去
すれば、図２（ｂ）に示すように通信対称である人物Ｋ
のみを抽出することができる。

【００１６】このような処理は、映像符号化回路で一般
的に用いられる「動き補償方式」という信号処理方法に
よって実現することができる。この動き補償方式とは、
詳しくは、映像信号を複数画像から成るブロックに分割
し、現フレームの１つのブロックについて、前フレーム
においてそのブロックの位置と近傍位置にあるブロック
との間で相関を測定し、前フレームで相関が最も大きな
ブロックの位置から現フレームのブロックが動いてきた
と判断するものである。図２（ｂ）に示すように、人物
のある部分で動き量が大きく、そのことを示す矢印が集
中する。従って、この領域を追跡すれば通信中の人物を
検出することが可能である。

【００１７】次に、図２の背景部分の定義を用いた図１
の実施例について説明する。

【００１８】図１おいて、カメラ１、Ａ／Ｄ変換回路
２、フォーマット変換回路３、映像符号化回路４は従来
と同一構成でであるため、その詳細な説明は省略する。
図１において、背景検出部９は、動き補償回路９０と背
景検出回路９１で構成されており、背景除去部１０は、
遅延回路１００、背景データメモリ１０１、背景除去回
路１０２、フレームメモリ１０３で構成されている。

【００１９】この構成において、まず、フォーマット変
換回路３から出力されるＣＩＦ信号ｃは動き補償回路９
０と遅延回路１００に送られる。動き補償回路９０で
は、入力されたＣＩＦ信号ｃとフレームメモリ１０３に
蓄積されていた前フレームのＣＩＦ信号との間でブロッ
ク単位に相関値を求め、最も相関の高いブロック間のベ
クトルとして動きベクトルｏ１１を生成する。動きベク
トルｏ１１は、背景検出回路９１に送られ、前フレーム
からの動き量が大きいか否かでブロック単位に背景か背
景でないかの判定が実施され、その判定結果ｏ１２が背
景除去回路１０２に送られる。

【００２０】一方、遅延回路１００では、動き補償回路
９０と背景検出回路９１での背景検出処理が実行される
期間だけ遅延が施された遅延ＣＩＦ信号ｐ１１が生成さ
れ、その後、背景データメモリ１０１の背景データｐ１
２と同期を合わせたブロック単位のＣＩＦ信号が背景除
去回路１０２に送られる。背景除去回路１０２では入力
されたブロック単位の遅延ＣＩＦ信号ｐ１１と背景デー
タｐ１２とを背景検出回路９１の判定結果ｏ１２にした
がって、背景部と判定された場合には背景データｐ１２
を、背景でないと判定された場合には遅延ＣＩＦ信号ｐ
１１を出力とする判定出力ｐ１３をフレームメモリ１０
３に送る。

【００２１】フレームメモリ１０３では、背景除去回路
１０２からの入力を１フレーム分蓄積し、後続の映像符
号化回路４で符号化される背景除去映像信号ｐ１４とし
て送るとともに、前述の動き補償回路９０で用いられる
前フレームの信号として、次のフレームの入力に合せて
動き補償回路９０へ前フレームのＣＩＦ信号を送る。

【００２２】本実施例を用いれば、映像の動きが大き
く、背景部分でないと判定されたブロっクについてはカ
メラ１より入力された映像信号がそのまま符号化して送
信され、動きが少なく背景部分と判定されたブロックに
ついては背景データとして予め設定された信号が符号化
して送信される。すなわち、図３（ａ）に示すような被
写体と背景の像のうち、絵画Ｋや植木鉢Ｌは除去され、
人物Ｋのみが図（ｂ）に示すような映像として送信され
る。

【００２３】従って、背景部分ではその符号化ビット数
を減少させ、その分だけ通信対象の映像部分の符号化ビ
ット数を増加させることが可能になり、通信対象の映像
部分の画品質を向上させることができる。

【００２４】また、ＴＶ電話装置等においては、通信対
象の人物像のみが相手装置に送信され、その背景部分は
送信されない。この結果、家庭内の様子など、相手に知
られたくないことを隠し、プライバシ−を守ることがで
きる。

【００２５】図４は、本発明の第２の実施例を示すブロ
ック図であり、図１との相違点は、背景検出部９に動き
判定回路９２、動き判定メモリ９３を設けた点と、背景
除去部Ｐ２における遅延回路１００の遅延量が、背景検
出部９にあわせて変更されている点である。

【００２６】図１の実施例においては、動き補償の結
果、動きの小さなブロックをブロック単位で背景と判定
していたが、このような構成においては、本来、背景で
あるべき部分に動き補償方式による動き量の誤判定によ
り、孤立的に背景でないブロックが発生したり、逆に、
通信対象であるべき部分に孤立的に背景ブロックが発生
する場合がある。その様子を図５（ａ）に示す。図５
（ａ）では、背景と判定されたブロックを“０”で、背
景でないと判定されたブロックを“１”で示している。
先に述べた孤立ブロックを除去するためには、図５
（ｂ）に示すような孤立除去フィルタ９４を用いた孤立
除去処理が有効である。この孤立除去処理を図５（ａ）
に適用したものを図５（ｃ）に示す。図５（ｃ）から明
らかなように、図５（ｂ）の孤立除去処理により孤立ブ
ロックが減少していることがわかる。

【００２７】この図４の構成にあっては、動き補償部９
０で動きベクトルｏ２１が測定され、動き判定回路９２
に送られる。動き判定回路９２では、動き量を予め定め
られた値と比較し、動き量が小さく背景部と判定された
ブロックは”０”、動き量が大きく背景でないと判定さ
れたブロックは”１”として動き判定結果ｏ２２を得、
動き判定メモリ９３に蓄積する。その後、背景検出回路
９１で動き判定メモリ９３内の値ｏ２３に、図５（ｂ）
に示す孤立除去フィルタ９４を用いた孤立除去処理が施
され、ブロック単位の判定結果ｏ２４として背景除去回
路１０２に送られる。

【００２８】この実施例によれば、図５（ａ）に”０”
で示す孤立背景ブロックが除去されるので、受信側での
受信映像品質が改善される。また、１つのカメラのみで
背景部分を効率良く除去することが可能になる。

【００２９】図６は本発明の第３の実施例を示すブロッ
ク図であり、この実施例は２つのカメラ１Ａ，１Ｂを設
け、ステレオ画像を入力する構成にした点が先の実施例
と大きく異なる。カメラ１Ａ，１Ｂは図７に示すよう
に、通信の対象が存在する位置で光軸が交差するように
配置される。そして、カメラ１Ａから出力されるアナロ
グ映像信号ａ１は、Ａ／Ｄ変換回路２Ａ，フォ−マット
変換回路３Ａを介して背景検出部９に入力され、ここで
図１と同様の処理が施され、背景部分の判定がなされ
る。

【００３０】一方、カメラ２Ｂから出力されるアナログ
映像信号ａ２は、Ａ／Ｄ変換回路２Ｂ，フォ−マット変
換回路３Ｂを介して視差補償回路１２に入力され、ここ
で動き補償方式と同様の視差補償処理が実施される。す
なわち、アナログ映像信号ａ２は視差補償回路１１に送
られ、ここでアナログ映像信号ａ１との間でブロック単
位に相関が求められる。その相関値ｑ３１は視差ベクト
ル算出回路１２に送られ、視差ベクトルｑ３２が求めら
れる。カメラ１からのアナログ映像信号ａ１に対する背
景判定結果ｏ３２と視差ベクトルｑ３２は背景除去回路
１０２に送られ、背景判定結果ｏ３２で動きが大きく、
背景部でないと判定されたブロックのうち、視差ベクト
ルｑ３２が予め定められた値より大きい場合には、その
ブロックの判定結果を背景部分に変更し、それ以外につ
いては図１と同様に処理する。

【００３１】従って、この実施例では、動きが大きな領
域であっても、２つのカメラ１Ａ，１Ｂから入力された
映像信号間で視差ベクトルが小さなものは背景と見な
し、除去される。これは、通信の途中で、背景部分に人
物などが通りかかった場合等、図１、図４の実施例では
背景でないものと判定し、そのまま映像として符号化す
ることになっていたが、この実施例では、カメラからの
距離が離れている対象については視差ベクトルが小さく
なる特徴を利用して、本来背景である部分に動きのある
対象物が入ってきた場合でも、この部分は背景として除
去される。

【００３２】なお、他の回路部分については図１の実施
例と同様の動作であるため、詳細な説明は省略する。

【００３３】なお、上記各実施例において、ブロック単
位の動き補償方式による動き量を背景検出のための背景
検出部に用いたが、これ以外の動き量の検出方法を用い
ることも可能である。例えば、画素単位にブロックをシ
フトした画素単位の動き補償方式を用い、画素単位に背
景部であるか否かを背景検出に用いてもよい。さらに
は、図５を用いて説明した孤立除去処理についても、周
辺判定結果８画素の多数決処理や２画素単位のＡＮＤ処
理、ＯＲ処理による孤立点の除去方法等の他の方法を用
いてもよい。

【００３４】

【発明の効果】以上説明したように本発明によれば、通
信に関係しない背景部分を充分な精度で除去してから符
号化して送信できるため、ＴＶ電話装置やＴＶ会議装置
を家庭内やオフィス内で用いる場合でも、個人のプライ
バシーやオフィス内の機密等を保護することができる。
さらには、背景部分の映像情報を削減できるため、本来
通信内容に関係する対象の映像信号部分に割り当てられ
る符号化ビット数が増加し、映像品質を向上させること
ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すブロック図であ
る。

【図２】背景部分の定義を示す説明図である。

【図３】背景部分を除去した映像を示す説明図である。

【図４】本発明の第２の実施例を示すブロック図であ
る。

【図５】背景検出結果の孤立ブロック除去処理を説明す
る説明図である。

【図６】本発明の第３の実施例を示すブロック図であ
る。

【図７】図６における２台のカメラの位置関係を示す説
明図である。

【図８】従来の映像通信装置の一例であるＴＶ電話装置
の構成図である。

【符号の説明】

１…カメラ、２…Ａ／Ｄ変換回路、３…フォ−マット変
換回路、４…映像符号化回路、５…多重分離回路、６…
フォ−マット逆変換回路、７…Ｄ／Ａ変換回路、８…モ
ニタ、９…背景検出部、１０…背景除去部、１１…視差
補償回路、１２…視差ベクトル算出回路、９０…動き補
償回路、９１…背景検出回路、９２…動き判定回路、１
０２…背景除去回路、１０３…フレ−ムメモリ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 カメラで撮影した被写体の映像信号を符
   号化して送信する映像通信装置において、前記カメラで
   撮影した映像信号のうち隣接するフレ−ム間の映像信号
   の相対比較によって動き量の小さい映像部分を被写体の
   背景部分として検出する背景検出部と、この背景検出部
   が検出した背景部分の映像信号を除去する背景除去部
   と、背景部分が除去された被写体のみの映像信号を符号
   化して送信する符号化回路とを備えたことを特徴とする
   映像通信装置。