JPH0898089A - 画像合成装置 - Google Patents
画像合成装置Info
- Publication number
- JPH0898089A JPH0898089A JP6231028A JP23102894A JPH0898089A JP H0898089 A JPH0898089 A JP H0898089A JP 6231028 A JP6231028 A JP 6231028A JP 23102894 A JP23102894 A JP 23102894A JP H0898089 A JPH0898089 A JP H0898089A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- terminal
- foreground
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Studio Circuits (AREA)
Abstract
な画像合成を行う。 【構成】 少なくとも1つ以上の前景画像を作成する前
景画面作成部14と、少なくとも1つ以上の背景画像を
作成する背景画像作成部15と、前景画像を作成するた
めの情報を管理するための前景画面作成情報管理部16
と、背景画像を作成するための情報を管理するための背
景画面作成情報管理部17と、少なくとも1つ以上の前
景画像と少なくとも1つ以上の背景画像を合成し、画像
を生成する画面合成部18と、情報の伝送を行う伝送部
19の各手段を制御する端末支援制御部20とを具備す
る端末支援装置102が、情報の入出力を行う入出力部
11と、情報の伝送を行う伝送部12と、これら各手段
を制御する端末制御部13とを具備する端末装置101
を少なくとも1つ以上、制御、管理する構成。
Description
を行い表現力の豊かな画像合成を行う画像合成装置に関
するものである。
ら、例えば人物画像を抽出し、その画像と相手側から送
られてきた人物画像と予め記憶されている相手側と共通
的に表示する仮想的な空間の画像とを重畳して表示する
ことにより、相手が自分の前にいるという実在感を充足
し、臨場感のある映像通信を目指したものがある(特公
平4―24914号公報、「ハイパーメディア パーソ
ナル コンピュータ コミュニケーション システム」
(Fukuda, K., Tahara, T., Miyoshi, T.:"Hypermedia
Personal Computer Communication System: Fujitsu Ha
bitat", FUJITSUSci. Tech.J., 26, 3, pp.197-206(Oct
ober 1990).)、中村:「ネットワーク対応仮想現実感
による分散協同作業支援」、情報処理学会オーディオビ
ジュアル複合情報処理研究会(1993))。
た会議システムのような各端末間の性能や通信容量がほ
ぼ対等な通信環境を前提に画像合成を応用した画像通信
サービスを提供するためのシステムが考えられてきた。
従って、各端末間の性能が大きく異なり、端末間の通信
容量が大きく異なるCATVのような通信環境下を前提
にした画像合成を応用した画像通信システムについては
考慮されていない。
ような通信帯域が狭いシステムを対象としていたため、
動画情報を活用したような表現力豊かな画像合成は実現
されていなかった。また、センター側端末から家庭側端
末への通信容量が大きく、逆方向の通信容量は小さい、
双方向CATVにおいては、従来、映画やゲームなどの
既存のパッケージソフトを利用者の要求に応じてセンタ
ー側端末から家庭側端末へ伝送する用途が多かった(双
方向CATVの通信特性を活かした画像合成の通信方式
は考慮されていない)。なお、本発明で考慮している通
信形態は、有線の双方向CATVだけではなく、センタ
ー側端末(放送局)から家庭側端末への映像や音声の伝
送は電波(例えば、VHF帯、UHF帯)で、センター
側端末と家庭側端末との制御データのやり取りはアナロ
グの電話回線やN−ISDNであってもよい。
端末に前景を作成するイメージ情報で表現された前景画
像部品(例えば、人物キャラクタ)と背景画像(同様
に、イメージ情報で表現される風景になるような”山や
太陽”)をCD−ROMなどに持たせている(前景と背
景の区別はシステム設計者が予め決定しておく)。ある
家庭側端末から利用者が前景情報や背景情報を操作する
コマンド要求を発生させれば、アナログの電話回線のよ
うな低速の通信回線を使って、センター側端末などを経
由して、他の利用者の家庭側端末に表示されている前景
情報と背景情報をコマンド要求に応じて変更させる(コ
マンドのみのやり取り)。従って、本発明で実現してい
るような動画情報を有効に利用した、CATVの通信特
性を利用した動きのある臨場感のある画像通信システム
は実現できていない。
利用者がキーボードやマウスといった入力デバイスを用
いて、利用者が明示的に操作する必要があったため、利
用者の端末の利用状況に応じた画像合成を行うのは十分
ではなかった。
合成を活用した画像通信サービスを実現するために、あ
らかじめ家庭側端末に前景を作成するイメージ情報で表
現された画像部品(例えば、人物キャラクタ)と背景画
像(同様に、イメージ情報で表現される)を持たせる。
ある家庭側端末から利用者が前景情報や背景情報を操作
するコマンド要求が発生すれば、アナログの電話回線の
ような低速の通信回線を使って、センター側端末などを
経由して、他の利用者の家庭側端末に表示されている前
景情報と背景情報をコマンド要求に応じて変更させる。
そのため、センター側端末から家庭側端末への通信容量
が大きく、逆方向の通信容量は小さい、双方向CATV
の通信特性を有効に利用した表現力の豊かな画像合成を
活用した画像通信サービスが実現できていないという課
題がある。
を行い表現力の豊かな画像合成が可能な画像合成装置を
実現することを目的とする。
つ以上の前景画像を作成する前景画面作成手段と、少な
くとも1つ以上の背景画像を作成する背景画像作成手段
と、前景画像を作成するための情報を管理するための前
景画面作成情報管理手段と、背景画像を作成するための
情報を管理するための背景画面作成情報管理手段と、少
なくとも1つ以上の前景画像と少なくとも1つ以上の背
景画像を合成し、画像を生成する画面合成手段と、情報
の伝送を行う伝送手段の各手段を制御する端末支援制御
手段とを具備する端末支援装置が、情報の入出力を行う
入出力手段と、情報の伝送を行う伝送手段と、これら各
手段を制御する端末制御手段とを具備する端末装置を少
なくとも1つ以上、制御、管理を行う構成である。
作成する背景画像作成手段と、背景画像を作成するため
の情報を管理するための背景画像作成情報管理手段と、
情報の伝送を行う伝送手段と、これら各手段を管理する
端末支援制御手段とを具備する端末支援装置が、情報の
入出力を行う入出力手段と、情報の伝送を行う伝送手段
と、少なくとも1つ以上の前景画像を作成する前景画面
作成手段と、前景画像を作成するための情報を管理する
ための前景画面作成情報管理手段と、少なくとも1つ以
上の前景画像と少なくとも1つ以上の背景画像とを合成
する画像合成手段と、これら各手段を制御する端末制御
手段を具備する端末装置を少なくとも1つ以上、制御、
管理する構成である。
行い表現力の豊かな画像合成を行うことが可能である。
て説明する。図1は本発明の一実施例における画像合成
装置の概略構成図である。図1の構成は、CATVを対
象とした場合、センター側端末(端末支援装置102)
で画像合成に関する情報を集中して管理、画像合成を行
い、家庭側端末(端末装置101)へ、画像合成された
情報を映像で送信を行うための集中管理型のシステム構
成図に相当する。
部11は、カメラ、スキャナー、キーボード、マウス、
デジタイザ、タッチパネル、ライトペン、タブレット、
マイク、ディスプレイ、スピーカー、プリンタ等の入出
力装置である。
ム、デジタルPBX等の伝送装置である。端末制御部1
3は入出力部11と伝送部12を制御、管理する手段か
ら構成される。
と、背景画像を作成する背景画面作成部15と、前景画
像を作成するための情報を管理するための前景画面作成
情報管理部16と、背景画像を作成するための情報を管
理するための背景画面作成情報管理部17と、前景画像
と背景画像を合成し画像を生成する画面合成部18と、
情報の伝送を行う伝送部19の各部を制御する端末支援
制御部20とを具備する端末支援装置102が、先の端
末装置101を少なくとも1つ以上、制御、管理する。
び背景画面作成情報管理部17は、磁気ディスク、VT
R、光ディスク等の装置である。また、前景画面作成情
報管理部16および背景画面作成情報管理部17で管理
させる情報は、具体的には、それぞれ、前景画像の情報
(例えば、人物キャラクタ、”人間や鳥”)と、背景画
像の情報(例えば、風景になるような”山や太陽”のイ
メージ、動画情報、CG)を管理させる。なお、前景情
報と背景情報の区別はシステム設計者が用途に併せて予
め決定しておく。なお、本発明で考慮している通信形態
は、有線の双方向CATVだけではなく、センター側端
末(放送局)から家庭側端末への映像や音声の伝送は電
波(例えば、VHF帯、UHF帯)で、センター側端末
と家庭側端末との制御データのやり取りはアナログの電
話回線やN−ISDNであってもよい。
型の画像合成装置の概略構成図である。図2の構成は、
CATVを対象とした場合に、センター側端末(端末支
援装置202)での画像合成の処理を行わずに、それぞ
れの家庭側端末(端末装置201)で画像合成を行うこ
とにより、センター側端末でのシステムの負荷を軽減す
ることを目的とした分散管理型のシステム構成図に相当
する。また、図1の構成に比べ、背景画像を映像で送
り、各端末装置201で個別に画像合成を行うため、各
利用者の利用状況に応じた、表現力豊かな動きのある画
像合成が可能となる。逆に、端末装置201で画像合成
の処理が必要となるため、端末装置201側で図1の端
末装置に比べ高い処理能力が必要とされる。
部21は、カメラ、スキャナー、キーボード、マウス、
デジタイザ、タッチパネル、ライトペン、タブレット、
マイク、ディスプレイ、スピーカー、プリンタ等の入出
力装置である。また、伝送部22は、LAN、CAT
V、モデム、デジタルPBX等の伝送装置である。
と、前景情報を管理するための前景画面作成情報管理部
24と、前景画像と、端末支援装置202から映像情報
として送られてくる背景画像を合成する画面合成部25
と、これら各部を制御、管理する端末制御部26から構
成される。また、端末支援装置202は、背景画像を作
成する背景画面作成部27と、背景画像を作成するため
の情報を管理するための背景画面作成情報管理部28
と、情報の伝送を行う伝送部29の各部を制御する端末
支援制御部30とを具備する端末支援装置202が、先
の端末装置201を少なくとも1つ以上、制御、管理す
る。
背景画面作成情報管理部28は、磁気ディスク、VT
R、光ディスク等の装置である。図1と同様に、本発明
で考慮している通信形態は、有線の双方向CATVだけ
ではなく、センター側端末(放送局)から家庭側端末へ
の映像や音声の伝送は電波(例えば、VHF帯、UHF
帯)で、センター側端末と家庭側端末との制御データの
やり取りはアナログの電話回線やN−ISDNであって
もよい。
して行う方法を説明する図である。図の例では、”太
陽”、”山”の画像部品は背景画像であり、”人”、”
鳥”の画像部品は前景画像である。(a)は集中して画
像合成を行う方式であり、それぞれの画像部品は端末支
援装置で合成される。合成された画像情報は映像情報と
して端末装置へ伝送される。(b)は分散して画像合成
を行う方式であり、背景画像部品は映像情報として端末
支援装置から端末装置へ伝送される。伝送された背景画
像の映像は、各端末装置にて、端末装置から取り込まれ
た前景画像部品と合成されるか、他の端末装置や端末支
援装置から伝送された前景画像部品と合成される。
いて説明する図である。図に示すように(a)の集中型
の画像合成方式においては前景部品は端末装置(端末)
から端末支援装置(センター端末)へ伝送されるか、端
末支援装置で管理されるかのどちらかである。先に述べ
たように、前景部品と背景部品は端末支援装置で映像情
報として作成され、各端末装置へ伝送される。(b)の
分散型の画像合成方式においては、端末支援装置から端
末装置へ背景画像を映像情報で伝送を行った情報と、自
らの端末装置が保有する前景部品、他の端末装置から伝
送されてきた前景部品、もしくは、端末支援装置から各
端末装置へ送信してきた前景部品と画像合成を行う。
(c)の分散型の画像合成においては、背景画像情報は
端末支援装置から各端末装置へ映像情報として配信され
る。また、前景画像部品の情報は、端末支援装置を経由
せずに端末装置間をループ状に情報が伝送される。分散
型と集中型の大きな違いは、先に述べたように、端末支
援装置にかかる画像合成のための負荷の違いである。
場合、(b)に比べ、端末支援装置へ前景部品が伝送さ
れないので、端末支援装置への負荷が小さくなる。その
反面(c)の場合には、新たに端末装置が画像合成の処
理中に追加したり、削除したりするために手間がかか
る。そこで、各端末間が有する前景部品を一貫性を保っ
て、端末装置を途中参加、削除するために、適宜、例え
ば、一定時間毎や、端末装置が追加された時、削除され
た時に各端末装置が管理する前景部品の状態を端末支援
装置が比較、調整することにより手間が低減できる。た
だし、各端末装置が管理する前景部品の状態を比較、調
整を端末支援装置が行うのではなく、端末装置間でもち
まわりで行う方法によっても実現できる(端末支援装置
の役割を果たす端末装置を決めておけばよい)。(c)
は、特に、片方向のCATVと、既存のLANやISD
Nといった異種のネットワークを融合して利用する場合
には有効である。
る図である。図1および図2で説明した画像合成部は、
画像を作成する対象物の固有情報を管理する対象物固有
情報管理部51と、対象物間の位置情報を管理する対象
物間位置情報管理部52と、対象物間の相互干渉の情報
を管理する対象物間相互干渉情報管理部53と、これら
各部を制御する画像合成制御部54の各部から構成され
る。具体的な管理情報は以下で説明する。
固有情報を管理する対象物固有情報管理部が管理する情
報について説明する図である。図6の例では管理される
情報としては、前景部品の情報が管理され(前景画面作
成情報管理部が記憶、管理する情報と同じ)、キャラク
タ名(前景部品の名称)、キャラクタID、キャラクタ
ーの大きさ、中心座標(キャラクターの重心座標)、キ
ャラクターの振る舞い方(演出ルール)のそれぞれの情
報が管理されている。図7は、図6で管理されている情
報を視覚的に表現したものである。図8の例では、背景
画像の情報が管理され(背景画面作成情報管理部が記
憶、管理する情報と同じ)、背景画像名、背景画像I
D、背景画像としての演出効果の内容を示す演出コード
の各情報が管理されている。図8の例では、キャラクタ
ー間の衝突や遭遇時の演出効果を表現する画像情報を背
景画像の情報として管理されているが、図9に示した例
では、図6の例とは逆に前景部品の情報として管理して
いる。従って、図10に示した例では、ロボットと石は
前景部品の情報として管理される。なお、図に示したよ
うに、衝突時の効果が前景情報であるか、背景情報であ
るかは、アプリケーションを設計時に、適宜、システム
設計者の目的に応じて管理すればよい。なお、利用者が
前景画像部品として登録した情報とともに、同様に、利
用者が演出の効果を高める目的で効果音を演出のための
情報として登録してもよい。
管理する対象物間位置情報管理部について説明する図で
ある。対象物間位置情報管理部が管理する具体的な管理
情報について述べる。図の例では、現在利用されている
前景部品のキャラクターIDと、現在キャラクターが存
在する座標位置が管理されている。図には示していない
が、背景画像の座標位置の管理も同様の要領で実現でき
る。尚、前景画像や背景画像を3次元情報として構築し
てもよく、その場合には、奥行き情報を考慮すればよい
(2次元の情報を対象としてもキャラクタ間の重なり状
態を考慮して、3次元CGなどと同様に、奥行きを考慮
すればよい。2つのキャラクターが重なっていても衝突
していない状況は作れる。)。
定を行う具体的な例を示したものである。図示した例
は、鳥が木に衝突するかを判定する例である。鳥は前景
部品として、木は背景部品として管理され、大きさや部
品の中心座標などの部品固有の情報は先に述べた対象物
固有情報管理部で管理されている。また、現在のそれぞ
れの画像部品の状態が図11で説明した対象物間位置情
報管理部にて管理されている。図の例では、対象物間の
接近距離の測定は、それぞれの部品の中心座標に基づい
て行っている。接近距離がある一定より小さくなると衝
突と判定して、図15で述べる対象物間の相互干渉の情
報を管理する対象物間相互干渉情報管理部の衝突時の画
面上の演出効果のルールに基づき、一連の画面上の演出
効果を実現する。
品は動画であってもよい。また、背景画像全体を映像情
報とした場合、カメラから取り込んだ映像(図13に示
すように利用者が自由にカメラの制御が可能なものであ
ってもよい)や映像情報の一部をクリッピング(切り出
す)した映像(例えば、図14に示した映像)や、VT
Rなどに記録されている映像などで、各映像シーンの特
定の領域(例えば、”山”、”太陽”、”木”に関する
映像が記録されているものであれば、特に”木”が撮影
されている領域)に、衝突判定すべき背景画像が存在す
るというアトリビュート(属性)を各映像シーンに対応
させて記録、管理させることにより、背景が映像であっ
ても前景部品との衝突判定処理は実現できる。
理する対象物間相互干渉情報管理部について説明する図
である。図の例では、(a)前景画像もしくは背景画像
の画面上での演出効果について管理されている。(a)
の情報を元に、時間軸を考慮して、画面上での前景画像
もしくは背景画像の一連の時間的に流れのある演出ルー
ルを定義している。例えば、pat#1の場合は、遭遇時
(対象物間の接近距離が一定以下になったとき)は「爆
発」、更に衝突時(予めアプリケーションで決めた接近
距離の限界値より小さくなったとき)には「倒れる」の
演出を行う。
間的な経過を含めた具体的な情報のやり取りについて説
明した図である。なお、図16から図18の方式は、先
の図4に示した(a)から(c)の方式に対応する。
管理型の方式においては、例えば、端末装置A(端末
A)が送信した前景画像(例えば、自らの人物像、顔画
像、似顔絵、3次元CG、映像など)を端末支援装置に
て受信、背景画像(静止画像、3次元CG、映像など)
と合成を行い、合成結果を各端末へ映像情報として伝送
している。特に、自らの顔画像を画像合成の情報として
利用することにより、利用者の利用意欲は高まる。ま
た、前景部品を操作するコマンド(例えば、”移動
(右)”といった端末装置と端末支援装置間で予め取り
決めを行って、前景部品を操作するための命令)が端末
Bから端末支援装置へ伝送され、前景部品を操作するコ
マンドに従い、前景部品を操作し、操作された前景部品
画像と背景画像とともに端末支援装置で合成され、各端
末装置へ伝送される。なお、背景画像と前景画像、前景
画像同士の衝突判定などは前述の方法で処理が各端末支
援装置で集中して行われる。
は、例えば、端末Aから端末支援装置に前景画像が送信
され、各端末へ送信される。また、端末支援装置から前
景部品が各端末装置へ伝送される。各端末装置では端末
支援装置から伝送されてくる背景の映像情報とともに画
像合成を行う。さらに、端末Bから前景部品を操作する
操作要求が発生すれば、端末支援装置を経由して、各端
末装置へ伝送される。なお、背景画像と前景画像、前景
画像同士の衝突判定などは前述の方法で処理が各端末装
置で分散して行われる。
は、例えば、端末Bから前景部品が伝送されれば、予め
システムで取り決めたルート(各端末は、どの端末に情
報を送り、どの端末から情報が来るかを記憶、管理して
いる。FDDIのようなトークンリング的な通信形態)
で端末支援装置を介さずに前景部品が順番に伝送されて
ゆく。また、前景部品に対する操作に関しても、端末支
援装置を介さずに操作コマンドが順番に伝送されてゆ
く。なお、背景画像と前景画像、前景画像同士の衝突判
定などは前述の方法で処理が各端末装置で分散して行わ
れる。
置でやり取りされる情報の具体例を説明した図である。
図19に示すように、端末間でやり取りされる情報とし
ては、例えば、送信先、送信元、キャラクタID(前景
部品もしくは背景部品)、コマンドID(部品の操作I
D)、コマンドの引数から構成される。具体的なコマン
ドとしては、図20に示すように、コマンド名、コマン
ドID、コマンド引数、コマンドの実行内容といった情
報が管理されている。
する図である。映像の特徴量の抽出は図1の構成では、
端末支援装置102の端末支援制御部20で集中して行
われる。また、図2の構成では、端末装置201の端末
制御部26で分散して映像の特徴量の抽出が行われる。
映像の特徴量の抽出を行う映像特徴量抽出部は、映像の
色相情報を調べる色相特徴量抽出部1901と、映像の
輝度情報を調べる輝度特徴量抽出部1902と、映像の
彩度情報を調べる彩度特徴量抽出部1903、映像の特
徴量を抽出する各部を制御、管理する映像特徴量抽出制
御部1904から構成される。映像の特徴量の変化と、
図15で述べた演出効果との関係を定量化するすること
により、利用者がキーボードやマウスといった入力デバ
イスを用いて、利用者が明示的に操作をしないで、利用
者の端末の利用状況に応じた画像合成を行うことが可能
となる。例えば、画像合成を用いた通信カラオケや教育
などで、利用者の動きに合わせた、前景部品や背景部品
の演出を行うことができる(例えば、画面が乱れる、画
面がフラッシュするなど)。
する図である。音声の特徴量の抽出は図1の構成では、
端末支援装置102の端末支援制御部20で集中して行
われる。また、図2の構成では、端末装置201の端末
制御部26で分散して音声の特徴量の抽出が行われる。
音声の特徴量の抽出を行う音声特徴量抽出部は、音の大
きさを調べる音の大きさ検出部2001と、音のピッチ
を調べる音声ピッチ抽出部2002、利用者の発話命令
を調べる発話命令抽出部2003と、これら各部を制
御、管理する音声特徴量抽出制御部2004から構成さ
れる。音のピッチ検出にあたっては、例えばマイクで拾
われた音声信号にローパスフィルタを通して、倍音部分
を除去してからサンプリング周波数20kHzでA/D
変換して12ビットのデジタルデータとして、基本周期
を計算する。基本周期はあらかじめ設定したしきい値以
上の振幅のピーク間の時間を測定して求めればよい。図
21でも述べたように、音声の特徴量の変化と、図15
で述べた演出効果との関係を定量化するすることによ
り、利用者がキーボードやマウスといった入力デバイス
を用いて、利用者が明示的に操作をしないで、利用者の
端末の利用状況に応じた画像合成を行うことが可能とな
る。また、先に示した音声の特徴量以外に、音のリズ
ム、音色といった音声の特徴量を利用することも考えら
れる。先と同様に、画像合成を用いた通信カラオケや教
育などで、利用者の動きに合わせた、前景部品や背景部
品の演出を行うことができる。
ー側端末から家庭側端末への通信容量が大きく、逆方向
の通信容量は小さい、双方向CATVの通信特性を有効
に利用した表現力の豊かな画像合成を活用した画像通信
サービスを実現することが可能である。
図
図
して行う方法を示す図
す図
象物固有情報管理部が管理する情報を示す図
象物固有情報管理部が管理する情報を示す図
象物固有情報管理部が管理する情報を示す図
象物固有情報管理部が管理する情報を示す図
対象物固有情報管理部が管理する情報を示す図
情報管理部を示す図
情報管理部を示す図
情報管理部を示す図
情報管理部を示す図
する対象物間相互干渉情報管理部を示す図
具体的な情報のやり取りを示す図
具体的な情報のやり取りを示す図
具体的な情報のやり取りを示す図
報の具体例を示す図
報の具体例を示す図
Claims (14)
- 【請求項1】少なくとも1つ以上の前景画像を作成する
前景画面作成手段と、少なくとも1つ以上の背景画像を
作成する背景画像作成手段と、前景画像を作成するため
の情報を管理するための前景画面作成情報管理手段と、
背景画像を作成するための情報を管理するための背景画
面作成情報管理手段と、少なくとも1つ以上の前景画像
と少なくとも1つ以上の背景画像を合成し、画像を生成
する画面合成手段と、情報の伝送を行う伝送手段の各手
段を制御する端末支援制御手段とを具備する端末支援装
置が、情報の入出力を行う入出力手段と、情報の伝送を
行う伝送手段と、これら各手段を制御する端末制御手段
とを具備する端末装置を少なくとも1つ以上、制御、管
理することを特徴とする画像合成装置。 - 【請求項2】端末支援装置で前景画像と背景画像の合成
を行い、その結果を少なくとも1つ以上の端末装置に映
像情報で伝送することを特徴とする請求項1記載の画像
合成装置。 - 【請求項3】少なくとも1つ以上の背景画像を作成する
背景画像作成手段と、背景画像を作成するための情報を
管理するための背景画像作成情報管理手段と、情報の伝
送を行う伝送手段と、これら各手段を管理する端末支援
制御手段とを具備する端末支援装置が、情報の入出力を
行う入出力手段と、情報の伝送を行う伝送手段と、少な
くとも1つ以上の前景画像を作成する前景画面作成手段
と、前景画像を作成するための情報を管理するための前
景画面作成情報管理手段と、少なくとも1つ以上の前景
画像と少なくとも1つ以上の背景画像とを合成する画像
合成手段と、これら各手段を制御する端末制御手段を具
備する端末装置を少なくとも1つ以上、制御、管理する
ことを特徴とする画像合成装置。 - 【請求項4】端末支援装置から前景画像を作成するため
の情報を、少なくとも1つ以上の端末装置に伝送すると
ともに、映像情報で構成される背景画像情報を前記端末
支援装置から少なくとも1つ以上の前記端末装置に伝送
し、少なくとも1つ以上の前記端末装置で前景画像と背
景画像を合成することを特徴とする請求項3記載の画像
合成装置。 - 【請求項5】少なくとも1つ以上の前記端末装置から前
景画像を作成するための情報を少なくとも他の1つ以上
の前記端末装置に順々に伝送し、少なくとも1つ以上の
前記端末装置に映像情報で構成される背景画像情報を前
記端末支援装置から伝送し、少なくとも1つ以上の前記
端末装置で前景画像と背景画像情報とを合成することを
特徴とする請求項3記載の画像合成装置。 - 【請求項6】端末装置からの前景画像作成するための情
報として、人物画像を用いることを特徴とする請求項
2、4または5のいずれかに記載の画像合成装置。 - 【請求項7】端末装置からの前景画像作成するための情
報として、似顔絵もしくは顔画像を用いることを特徴と
する請求項2、4または5のいずれかに記載の画像合成
装置。 - 【請求項8】画像を作成する対象物の固有情報を管理す
る対象物固有情報管理手段と、対象物間の位置情報を管
理する対象物間位置情報管理手段と、対象物間の相互干
渉の情報を管理する対象物間相互干渉情報管理手段と、
これら各手段を制御する画像合成制御手段とを具備する
ことを特徴とする請求項1または3記載の画像合成装
置。 - 【請求項9】端末装置の入出力手段から入力される映像
情報から、映像の特徴量を抽出する映像特徴量抽出手段
を端末制御手段に具備し、前記映像特徴抽出手段が管理
する情報に基づいて画像合成方法を制御することを特徴
とする請求項8記載の画像合成装置。 - 【請求項10】端末装置の入出力手段から入力される映
像情報から、映像の特徴量を抽出する映像特徴量抽出手
段を端末支援制御手段に具備し、前記映像特徴量抽出手
段が管理する情報に基づいて画像合成方法を制御するこ
とを特徴とする請求項8記載の画像合成装置。 - 【請求項11】映像特徴量抽出手段は、映像の色相情報
を調べる色相特徴量抽出手段と、映像の輝度情報を調べ
る輝度特徴量抽出手段と、映像の彩度情報を調べる彩度
特徴量抽出手段のうち、少なくとも1つ以上の映像の特
徴量を抽出する手段を具備し、具備した映像の特徴量を
抽出する手段を制御、管理する映像特徴量抽出制御手段
から構成されることを特徴とする請求項9または10記
載の画像合成装置。 - 【請求項12】端末装置の入出力手段から入力される音
声情報から、音声の特徴量を抽出する音声特徴量抽出手
段を端末制御手段に具備し、前記音声特徴量抽出手段が
管理する情報に基づいて画像合成方法を制御することを
特徴とする請求項8記載の画像合成装置。 - 【請求項13】端末装置の入出力手段から入力される音
声情報から、音声の特徴量を抽出する音声特徴量抽出手
段を端末支援制御手段に具備し、前記音声特徴量抽出手
段が管理する情報に基づいて画像合成方法を制御するこ
とを特徴とする請求項8記載の画像合成装置。 - 【請求項14】音声特徴量抽出手段は、音声の大きさを
調べる音量抽出手段と、音声のピッチを調べる音声ピッ
チ抽出手段と、利用者の発話命令を調べる発話命令抽出
手段のうち、少なくとも1つ以上の音声の特徴量を抽出
する手段から構成されることを特徴とする請求項12ま
たは13記載の画像合成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23102894A JP3533717B2 (ja) | 1994-09-27 | 1994-09-27 | 画像合成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23102894A JP3533717B2 (ja) | 1994-09-27 | 1994-09-27 | 画像合成装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004008934A Division JP2004164668A (ja) | 2004-01-16 | 2004-01-16 | 画像生成装置及び画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0898089A true JPH0898089A (ja) | 1996-04-12 |
JP3533717B2 JP3533717B2 (ja) | 2004-05-31 |
Family
ID=16917141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23102894A Expired - Lifetime JP3533717B2 (ja) | 1994-09-27 | 1994-09-27 | 画像合成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3533717B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998057718A1 (en) * | 1997-06-18 | 1998-12-23 | Two Way Tv Ltd. | Method and apparatus for generating a display signal |
JP2004506996A (ja) * | 2000-08-22 | 2004-03-04 | バーチャルメディア カンパニー リミテッド | 顔映像の形態情報に基づく合成顔映像の生成装置およびその方法 |
US8065701B2 (en) | 1997-04-30 | 2011-11-22 | Sony Corporation | Information broadcasting method, information broadcasting system, and receiving apparatus for transmitting data other than program through digital broadcasting |
US9717988B2 (en) | 2011-11-07 | 2017-08-01 | Square Enix Holdings Co., Ltd. | Rendering system, rendering server, control method thereof, program, and recording medium |
-
1994
- 1994-09-27 JP JP23102894A patent/JP3533717B2/ja not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8065701B2 (en) | 1997-04-30 | 2011-11-22 | Sony Corporation | Information broadcasting method, information broadcasting system, and receiving apparatus for transmitting data other than program through digital broadcasting |
WO1998057718A1 (en) * | 1997-06-18 | 1998-12-23 | Two Way Tv Ltd. | Method and apparatus for generating a display signal |
US7095450B1 (en) | 1997-06-18 | 2006-08-22 | Two Way Media Limited | Method and apparatus for generating a display signal |
JP2004506996A (ja) * | 2000-08-22 | 2004-03-04 | バーチャルメディア カンパニー リミテッド | 顔映像の形態情報に基づく合成顔映像の生成装置およびその方法 |
US9717988B2 (en) | 2011-11-07 | 2017-08-01 | Square Enix Holdings Co., Ltd. | Rendering system, rendering server, control method thereof, program, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP3533717B2 (ja) | 2004-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11895426B2 (en) | Method and apparatus for capturing video, electronic device and computer-readable storage medium | |
US6753857B1 (en) | Method and system for 3-D shared virtual environment display communication virtual conference and programs therefor | |
JP2020091504A (ja) | 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム | |
JP2005182843A (ja) | 仮想現実回路の動作方法 | |
TW201308195A (zh) | 於虛擬區域及實體空間之間通訊的技術 | |
US12047430B2 (en) | Receiving virtual relocation during a network conference | |
EP4161067A1 (en) | A method, an apparatus and a computer program product for video encoding and video decoding | |
JP3623415B2 (ja) | 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体 | |
JP3660198B2 (ja) | 3次元共有仮想空間表示方法、3次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体 | |
US20230199037A1 (en) | Virtual relocation during network conferences | |
CN113014960B (zh) | 一种在线制作视频的方法、装置及存储介质 | |
JP3610423B2 (ja) | 映像表示システムおよびその臨場感向上方法 | |
US8937635B2 (en) | Device, method and system for real-time screen interaction in video communication | |
JP3533717B2 (ja) | 画像合成装置 | |
WO2021187647A1 (ko) | 가상 공간에서 사용자의 동작을 따라 하는 아바타를 표현하는 방법 및 시스템 | |
JP3139615B2 (ja) | 3次元仮想空間音通信方法とその装置 | |
JP3276057B2 (ja) | 3次元仮想世界表示システム | |
JP2004164668A (ja) | 画像生成装置及び画像生成方法 | |
JP3296471B2 (ja) | 音場制御方法および装置 | |
KR20210112016A (ko) | 증강현실을 이용한 영상통화 서비스를 제공하는 장치 및 방법 | |
JP7409467B1 (ja) | 仮想空間生成装置、仮想空間生成プログラム、および、仮想空間生成方法 | |
JP3184028B2 (ja) | 人物映像表示システム | |
KR102526599B1 (ko) | 비대면 리액티브 공연을 위한 공연서버 운영 방법 | |
JPH07184180A (ja) | 会議環境制御装置 | |
JP7029118B2 (ja) | 画像表示方法、画像表示システム、及び画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040301 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080319 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090319 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100319 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110319 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110319 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 9 |