JP3520318B2 - 映像合成演算処理装置、その方法及びシステム - Google Patents
映像合成演算処理装置、その方法及びシステムInfo
- Publication number
- JP3520318B2 JP3520318B2 JP33119199A JP33119199A JP3520318B2 JP 3520318 B2 JP3520318 B2 JP 3520318B2 JP 33119199 A JP33119199 A JP 33119199A JP 33119199 A JP33119199 A JP 33119199A JP 3520318 B2 JP3520318 B2 JP 3520318B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- data
- composite
- control command
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Editing Of Facsimile Originals (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Circuits (AREA)
Description
【0001】
【発明の属する技術分野】本発明は、受信した複数の映
像データから1つの画像を実時間で合成する映像合成処
理装置、特にその汎用回路、その方法及びシステムに関
する。
像データから1つの画像を実時間で合成する映像合成処
理装置、特にその汎用回路、その方法及びシステムに関
する。
【0002】
【従来の技術】従来の映像合成方法は、ディスプレーに
表示する速度と同じスピードタイミングで映像信号を入
力する「ビデオ信号方式」と、画像メモリ(フレームメ
モリ)に書き込まれたデータをディスプレーの描画速度
に従って読み出す「ビットマップディスプレー方式」に
分類できる。
表示する速度と同じスピードタイミングで映像信号を入
力する「ビデオ信号方式」と、画像メモリ(フレームメ
モリ)に書き込まれたデータをディスプレーの描画速度
に従って読み出す「ビットマップディスプレー方式」に
分類できる。
【0003】
【発明の解決しようとする課題】前者の場合、入力映像
で同期及び描画速度を同一にしなければならず、前者は
手数を要していた。後者の方法は、複数のビデオ信号方
式の映像データ(同期、非同期共に)を合成したり、ビ
デオ信号方式の映像データとビットマップ型の映像デー
タの合成を行う場合、画像データをデジタル化して、1
枚のビットマップ型の映像データを画像メモリに作成
し、それをディスプレーに表示する方式が主であった。
で同期及び描画速度を同一にしなければならず、前者は
手数を要していた。後者の方法は、複数のビデオ信号方
式の映像データ(同期、非同期共に)を合成したり、ビ
デオ信号方式の映像データとビットマップ型の映像デー
タの合成を行う場合、画像データをデジタル化して、1
枚のビットマップ型の映像データを画像メモリに作成
し、それをディスプレーに表示する方式が主であった。
【0004】後者の方法は、1画面分をメモリに取り込
んでから、画面を合成するため、画面合成が得られるま
でに時間を要していた。垂直帰線ブランキング時間内に
処理が終了しない限り、合成映像に入力映像の更新内容
を反映することができない。たとえ、垂直帰線ブランキ
ング時間内に合成画面の処理が終了したとしても、最低
で1フレーム分の時間遅れ、NTSCの映像信号では1
/60秒の時間遅れが生じることになる。
んでから、画面を合成するため、画面合成が得られるま
でに時間を要していた。垂直帰線ブランキング時間内に
処理が終了しない限り、合成映像に入力映像の更新内容
を反映することができない。たとえ、垂直帰線ブランキ
ング時間内に合成画面の処理が終了したとしても、最低
で1フレーム分の時間遅れ、NTSCの映像信号では1
/60秒の時間遅れが生じることになる。
【0005】例えば、複数相手の映像、自分の映像及び
掲示板の合成映像を基に会議を行うテレビ会議において
は、特に相手所在地が遠隔地の場合、テレビ画面映像の
合成画面に時間ずれが生じ、会議が円滑に進行しないと
いう問題があった。又、垂直帰線時間内で1フレーム分
の合成画像を確実に演算するためには高速演算処理をす
る大型コンピュータが必要であった。
掲示板の合成映像を基に会議を行うテレビ会議において
は、特に相手所在地が遠隔地の場合、テレビ画面映像の
合成画面に時間ずれが生じ、会議が円滑に進行しないと
いう問題があった。又、垂直帰線時間内で1フレーム分
の合成画像を確実に演算するためには高速演算処理をす
る大型コンピュータが必要であった。
【0006】
【課題を解決するための手段】上記問題を解決するため
に、本発明は、映像合成する映像信号のそれぞれに対応
した複数の書き込み用ラインバッファ、フレームメモ
リ、読み取り用ラインバッファと、画素毎に演算方法を
指定する合成制御命令データを記憶する制御メモリと、
出力側バッファと、各画素毎に独立して映像合成の演算
を行う演算部と、コントローラとによって、映像信号デ
ータを1水平走査線分毎にフレームメモリに書き込み、
フレームメモリの読み出しにより画素単位で映像合成の
演算を行い、出力側バッファを描画速度で読み出すこと
により、いかなる映像信号に対しても実時間で合成映像
信号を得ることのできる汎用性のある映像合成演算処理
装置、その方法を提供する。
に、本発明は、映像合成する映像信号のそれぞれに対応
した複数の書き込み用ラインバッファ、フレームメモ
リ、読み取り用ラインバッファと、画素毎に演算方法を
指定する合成制御命令データを記憶する制御メモリと、
出力側バッファと、各画素毎に独立して映像合成の演算
を行う演算部と、コントローラとによって、映像信号デ
ータを1水平走査線分毎にフレームメモリに書き込み、
フレームメモリの読み出しにより画素単位で映像合成の
演算を行い、出力側バッファを描画速度で読み出すこと
により、いかなる映像信号に対しても実時間で合成映像
信号を得ることのできる汎用性のある映像合成演算処理
装置、その方法を提供する。
【0007】又、最終的な合成映像を作り出すことを想
定された複数の素材映像の受信信号の内、任意の素材映
像信号を、利用者が用意する素材映像信号に切り換えて
利用者の要求に対応した合成映像信号を作成する映像合
成演算処理システムを提供する。
定された複数の素材映像の受信信号の内、任意の素材映
像信号を、利用者が用意する素材映像信号に切り換えて
利用者の要求に対応した合成映像信号を作成する映像合
成演算処理システムを提供する。
【0008】更に、該映像合成演算処理装置の入力側に
アドレス加工処理部を設けて、視聴者の位置をセンサで
検知し、センサ出力に追従して映像信号のアドレス部及
び対応する合成命令制御データを加工して合成映像に臨
場感を持せた映像合成演算処理システム、及び両眼合成
映像のためにアドレス加工処理部、該映像合成演算処理
装置を2組設けて、ステレオ合成映像を得る映像合成演
算処理システムを提供する。なお、後者のアドレス加工
処理部は1個に省略できる。
アドレス加工処理部を設けて、視聴者の位置をセンサで
検知し、センサ出力に追従して映像信号のアドレス部及
び対応する合成命令制御データを加工して合成映像に臨
場感を持せた映像合成演算処理システム、及び両眼合成
映像のためにアドレス加工処理部、該映像合成演算処理
装置を2組設けて、ステレオ合成映像を得る映像合成演
算処理システムを提供する。なお、後者のアドレス加工
処理部は1個に省略できる。
【0009】本発明によれば、合成画像を1枚のビット
マップ型の映像データを作成するのではなく、表示する
瞬間に表示する1行分(ライン分)だけをその場で合成
して表示するという、汎用性の高い映像合成表示とする
ことができる。映像合成演算処理装置の演算部は定型処
理であり、並列処理により高速化が可能であり、小型化
も可能となる。更に、本発明のシステムにより、いかな
る映像信号に対しても視聴者の位置に追従する合成映
像、ステレオ構成映像を、リアルタイムで得ることがで
きる。
マップ型の映像データを作成するのではなく、表示する
瞬間に表示する1行分(ライン分)だけをその場で合成
して表示するという、汎用性の高い映像合成表示とする
ことができる。映像合成演算処理装置の演算部は定型処
理であり、並列処理により高速化が可能であり、小型化
も可能となる。更に、本発明のシステムにより、いかな
る映像信号に対しても視聴者の位置に追従する合成映
像、ステレオ構成映像を、リアルタイムで得ることがで
きる。
【0010】
【発明の実施の態様】図1は本発明の映像合成演算処理
装置の一実施例を示している。図中1は本発明の装置全
体を表し、1A,1B,1Cは映像信号入力端子、2
A,2B,2Cは書き込み用ラインバッファ、3A,3
B,3Cはフレームメモリ、4A,4B,4Cは読み取
り用ラインバッファを表わしている。これらは合成映像
を作成するに必要な映像信号に対応して複数組設けられ
ている。図1の例では映像合成する映像信号はA,B,
Cの3個の場合を示している。
装置の一実施例を示している。図中1は本発明の装置全
体を表し、1A,1B,1Cは映像信号入力端子、2
A,2B,2Cは書き込み用ラインバッファ、3A,3
B,3Cはフレームメモリ、4A,4B,4Cは読み取
り用ラインバッファを表わしている。これらは合成映像
を作成するに必要な映像信号に対応して複数組設けられ
ている。図1の例では映像合成する映像信号はA,B,
Cの3個の場合を示している。
【0011】1Kは合成制御命令データの入力端子、5
は複数の映像データを合成制御命令データの指定する方
法により合成演算を行う演算部、6は演算結果用のライ
ンバッファ、7は合成映像出力用のラインバッファ、8
は制御メモリ、9は制御メモリ用ラインバッファ、10
は各バッファ、メモリの書き込み、読み取りタイミング
信号(C2〜C6)を発生するコントローラを表わして
いる。
は複数の映像データを合成制御命令データの指定する方
法により合成演算を行う演算部、6は演算結果用のライ
ンバッファ、7は合成映像出力用のラインバッファ、8
は制御メモリ、9は制御メモリ用ラインバッファ、10
は各バッファ、メモリの書き込み、読み取りタイミング
信号(C2〜C6)を発生するコントローラを表わして
いる。
【0012】書き込み用ラインバッファ2A,2B,2
C、読み取り用ラインバッファ4A,4B,4C、演算
結果用のラインバッファ6、合成映像出力用のラインバ
ッファ7、制御メモリ用ラインバッファ9はそれぞれF
IFO構成となっている。
C、読み取り用ラインバッファ4A,4B,4C、演算
結果用のラインバッファ6、合成映像出力用のラインバ
ッファ7、制御メモリ用ラインバッファ9はそれぞれF
IFO構成となっている。
【0013】本発明を説明する前に、本発明を使用する
システム例について説明する。図2は複数の映像信号を
受信し、本発明の装置を使用して映像合成した後、合成
映像信号を実時間で出力し、表示装置に合成映像を表示
するシステム例を模式的に示してものである。 図2
中、20A,20B,20Cは、カメラを表し、21
A,21B,21Cはアナログ・デジタル変換部、25
はデジタル・アナログ変換器、26は同期信号付加回
路、27は表示装置、27aは合成映像を表示する表示
画面を表している。
システム例について説明する。図2は複数の映像信号を
受信し、本発明の装置を使用して映像合成した後、合成
映像信号を実時間で出力し、表示装置に合成映像を表示
するシステム例を模式的に示してものである。 図2
中、20A,20B,20Cは、カメラを表し、21
A,21B,21Cはアナログ・デジタル変換部、25
はデジタル・アナログ変換器、26は同期信号付加回
路、27は表示装置、27aは合成映像を表示する表示
画面を表している。
【0014】22B,22Cはキー信号発生装置、23
B,23Cはアナログ・デジタル変換部、24は映像信
号A,B,Cの映像を合成する演算方法を指定する合成
制御命令データKを出力する合成制御命令データ作成装
置を表している。なお、本明細書において同じ参照符号
で表すものは同じものを表している。
B,23Cはアナログ・デジタル変換部、24は映像信
号A,B,Cの映像を合成する演算方法を指定する合成
制御命令データKを出力する合成制御命令データ作成装
置を表している。なお、本明細書において同じ参照符号
で表すものは同じものを表している。
【0015】コンポジット映像信号がアナログ信号の場
合、図2のアナログ・デジタル変換部21A,21B,
21Cによりコンポジット信号はデジタル信号に変換さ
れる。図3はこの動作を説明する図で、(a)はアナロ
グ・デジタル変換部21A,21B,21Cの構成例
を、(b)は本発明の装置に入力される出力信号を示し
ている。
合、図2のアナログ・デジタル変換部21A,21B,
21Cによりコンポジット信号はデジタル信号に変換さ
れる。図3はこの動作を説明する図で、(a)はアナロ
グ・デジタル変換部21A,21B,21Cの構成例
を、(b)は本発明の装置に入力される出力信号を示し
ている。
【0016】図3(a)中、31は水平同期信号H、垂
直同期信号Vを取り出す同期信号分離回路、32はアナ
ログ信号のサンプル時点における画素データ(D1〜D
8)を出力するアナログ・デジタル変換器、33は書き
込み信号Wとコマンド/データ切換信号CSとを出力す
るパルス信号発生器、34は1水平走査線(以下ライ
ン)における映像信号の描画開始時点の映像信号アドレ
ス部(XX,YY,LL)を作成するためのアドレス発
生器を表している。
直同期信号Vを取り出す同期信号分離回路、32はアナ
ログ信号のサンプル時点における画素データ(D1〜D
8)を出力するアナログ・デジタル変換器、33は書き
込み信号Wとコマンド/データ切換信号CSとを出力す
るパルス信号発生器、34は1水平走査線(以下ライ
ン)における映像信号の描画開始時点の映像信号アドレ
ス部(XX,YY,LL)を作成するためのアドレス発
生器を表している。
【0017】出力信号のコマンド/データDはコマンド
である映像信号アドレス部(XX,YY,LL)と映像
データ(DATA)とを含むパケット単位で構成され
る。XX(8ビット)は映像データが出現する画素番号
サンプル番号(画素番号)を、YY(8ビット)はライ
ン番号、LL(8ビット)はサンプル数(画素数)を表
している。書き込み信号WはコマンドのXX,YY,L
L、映像データ(DATA)のサンプルデータ(画素デ
ータ、8ビット)に対応して、読み取り又は書き込みす
るタイミング信号である。CSはHレベルがコマンド信
号期間であることを示すコマンド/データ切換信号であ
る。
である映像信号アドレス部(XX,YY,LL)と映像
データ(DATA)とを含むパケット単位で構成され
る。XX(8ビット)は映像データが出現する画素番号
サンプル番号(画素番号)を、YY(8ビット)はライ
ン番号、LL(8ビット)はサンプル数(画素数)を表
している。書き込み信号WはコマンドのXX,YY,L
L、映像データ(DATA)のサンプルデータ(画素デ
ータ、8ビット)に対応して、読み取り又は書き込みす
るタイミング信号である。CSはHレベルがコマンド信
号期間であることを示すコマンド/データ切換信号であ
る。
【0018】なお、図3(b)のコンポジット信号の場
合は、描画開始の横方向の位置は左端に固定され(XX
=「0」)、さらに画素数LLも一定であるため、アド
レス発生器34はライン番号YYを発生するカウンタ回
路とXX,LLの値を保持したメモリ回路との組み合わ
せで実現できる。
合は、描画開始の横方向の位置は左端に固定され(XX
=「0」)、さらに画素数LLも一定であるため、アド
レス発生器34はライン番号YYを発生するカウンタ回
路とXX,LLの値を保持したメモリ回路との組み合わ
せで実現できる。
【0019】本発明のデジタル映像データ(DATA)
の1ライン分をフレームメモリ3に書き込むまでの動作
を図4,図5(a)〜(c),図6を参照して説明す
る。図4は、書き込み用ラインバッファ2,フレームメ
モリ3の動作を説明する概略図で、図3の信号を取り入
れた場合における一例である。41,43はメモリ、4
2,44は書き込みアドレス制御手段、45は読み取り
アドレス制御手段を表している。
の1ライン分をフレームメモリ3に書き込むまでの動作
を図4,図5(a)〜(c),図6を参照して説明す
る。図4は、書き込み用ラインバッファ2,フレームメ
モリ3の動作を説明する概略図で、図3の信号を取り入
れた場合における一例である。41,43はメモリ、4
2,44は書き込みアドレス制御手段、45は読み取り
アドレス制御手段を表している。
【0020】書き込み用ラインバッファ2に書き込まれ
たデータ(D1〜D8)はコマンド/データ切換信号C
SのHレベル期間、書き込み信号Wに同期してコマンド
は書き込みアドレス制御手段42に書き込まれる。コマ
ンド/データ切換信号CSのLレベル期間、映像信号の
画素データ(DATA)は書き込み信号Wに同期して書
き込み用ラインバッファ2のメモリ41に順次書き込ま
れる。
たデータ(D1〜D8)はコマンド/データ切換信号C
SのHレベル期間、書き込み信号Wに同期してコマンド
は書き込みアドレス制御手段42に書き込まれる。コマ
ンド/データ切換信号CSのLレベル期間、映像信号の
画素データ(DATA)は書き込み信号Wに同期して書
き込み用ラインバッファ2のメモリ41に順次書き込ま
れる。
【0021】書き込みアドレス制御手段42内のカウン
タに記憶された「LL」は1画素データが書き込まれる
毎に減算される。書き込み用ラインバッファ2の書き込
み終了をカウンタ値「0」で検出すると、以後に続くブ
ランキング期間に相当する所定期間内でラインデータ全
てをフレームメモリ3に転送する。上記所定期間の時点
において、書き込みアドレス制御手段44は、転送され
てきたパケットデータのアドレス部XX,YY,LLに
基づき、書き込み用ラインバッファ2のメモリ41から
LL画素分の映像データをフレームメモリ3のラインア
ドレス#YYのXX番目以降に転送する。
タに記憶された「LL」は1画素データが書き込まれる
毎に減算される。書き込み用ラインバッファ2の書き込
み終了をカウンタ値「0」で検出すると、以後に続くブ
ランキング期間に相当する所定期間内でラインデータ全
てをフレームメモリ3に転送する。上記所定期間の時点
において、書き込みアドレス制御手段44は、転送され
てきたパケットデータのアドレス部XX,YY,LLに
基づき、書き込み用ラインバッファ2のメモリ41から
LL画素分の映像データをフレームメモリ3のラインア
ドレス#YYのXX番目以降に転送する。
【0022】図5は、コンポジット映像信号Aがノン・
インタレース走査、合成映像信号Fがインタレース走査
である場合のバッファ,フレームの書き込み、読み取り
動作を示したタイムチャートである。図中(a)は、入
力映像信号AのラインY,Y+1のラインデータAY,
AY+1が入力された状態を示している。書き込み用ラ
インバッファ2Aに書き込まれたラインデータAYは水
平帰線ブランキング期間内の時刻t2においてフレームメ
モリ3Aのラインアドレス#Yの記憶領域に書き込まれ
る((b),(c)参照)。なお、図5中で、ハッチン
グしたものは記録された映像データが一括して転送され
ることを、(c)では次の映像データが転送されて記録
内容が更新するまで、(e),(f),(g)では1ラ
イン期間映像データが記憶保持されていることを表して
いる。
インタレース走査、合成映像信号Fがインタレース走査
である場合のバッファ,フレームの書き込み、読み取り
動作を示したタイムチャートである。図中(a)は、入
力映像信号AのラインY,Y+1のラインデータAY,
AY+1が入力された状態を示している。書き込み用ラ
インバッファ2Aに書き込まれたラインデータAYは水
平帰線ブランキング期間内の時刻t2においてフレームメ
モリ3Aのラインアドレス#Yの記憶領域に書き込まれ
る((b),(c)参照)。なお、図5中で、ハッチン
グしたものは記録された映像データが一括して転送され
ることを、(c)では次の映像データが転送されて記録
内容が更新するまで、(e),(f),(g)では1ラ
イン期間映像データが記憶保持されていることを表して
いる。
【0023】図6は、映像合成する映像データA,B,
Cが非同期で入力する状態でのフレームメモリにおける
映像データの記録更新状態を模式的に説明する図であ
る。映像信号Aはノンインタレース、B,Cはインタレ
ース走査の映像信号である場合である。なお、図5,6
中のラインデータにダッシュ(′)を付加したものはt
時刻(又は図5中の経過時刻)で記憶データが前フレー
ムの映像データであることを表している。例えば、AY
は最新データ、AY+2 ′は後フレームのデータを表
している。
Cが非同期で入力する状態でのフレームメモリにおける
映像データの記録更新状態を模式的に説明する図であ
る。映像信号Aはノンインタレース、B,Cはインタレ
ース走査の映像信号である場合である。なお、図5,6
中のラインデータにダッシュ(′)を付加したものはt
時刻(又は図5中の経過時刻)で記憶データが前フレー
ムの映像データであることを表している。例えば、AY
は最新データ、AY+2 ′は後フレームのデータを表
している。
【0024】映像データA,B,Cは非同期で順次書き
込み用ラインバッファ2A,2B,2Cに書き込まれる
(図6(a))。各書き込み用ラインバッファ2A,2
B,2Cに書き込まれた映像信号A,B,Cのラインデ
ータは次の水平帰線期間にフレームメモリ3A,3B,
3Cのラインアドレスのメモリ領域に書き込まれ、ライ
ンデータを更新する。(図6(b),(c)参照)
込み用ラインバッファ2A,2B,2Cに書き込まれる
(図6(a))。各書き込み用ラインバッファ2A,2
B,2Cに書き込まれた映像信号A,B,Cのラインデ
ータは次の水平帰線期間にフレームメモリ3A,3B,
3Cのラインアドレスのメモリ領域に書き込まれ、ライ
ンデータを更新する。(図6(b),(c)参照)
【0025】次に、フレームメモリ3A,3B,3Cに
記憶された映像データを基に映像合成する方法を説明す
る。キー信号発生装置22B,22Cは前景映像信号を
使用するか、背景映像信号を使用するかのキー信号を発
生し、アナログ・デジタル変換部23B,23Cで該キ
ー信号が前景映像信号を選択する画素に対応する合成制
御データを「1」に、そうでない画素に対応する合成制
御データを「0」となるように該キー信号を画素単位で
デジタル化し、アドレス部を付加して、合成制御データ
作成装置24に信号を転送する。
記憶された映像データを基に映像合成する方法を説明す
る。キー信号発生装置22B,22Cは前景映像信号を
使用するか、背景映像信号を使用するかのキー信号を発
生し、アナログ・デジタル変換部23B,23Cで該キ
ー信号が前景映像信号を選択する画素に対応する合成制
御データを「1」に、そうでない画素に対応する合成制
御データを「0」となるように該キー信号を画素単位で
デジタル化し、アドレス部を付加して、合成制御データ
作成装置24に信号を転送する。
【0026】キー信号はクロマキー信号処理、ルミナン
スキー信号処理,距離情報を利用したZキー信号処理
や、背景画像との差分を用いた信号処理を行う公知のキ
ー信号発生装置により作成できる。ただし、図2の例で
は、合成制御命令データは前景映像信号B,Cのキー信
号だけで決定されるため、背景映像信号Aのキー信号は
不要であり、省略している。(詳しくは後述する。)
スキー信号処理,距離情報を利用したZキー信号処理
や、背景画像との差分を用いた信号処理を行う公知のキ
ー信号発生装置により作成できる。ただし、図2の例で
は、合成制御命令データは前景映像信号B,Cのキー信
号だけで決定されるため、背景映像信号Aのキー信号は
不要であり、省略している。(詳しくは後述する。)
【0027】合成制御命令データ作成装置24はコンピ
ュータで構成され、前景映像信号のキー信号と距離関係
情報から合成制御命令データKを生成し、合成画面の画
素の演算方法を指定する命令として映像合成処理装置1
中の制御メモリ8の合成画面の画素に対応した所定領域
に書き込む。合成制御命令データKは映像合成の演算を
行うに際し、コンピュータの機械語に相当する機能を有
するデータである。
ュータで構成され、前景映像信号のキー信号と距離関係
情報から合成制御命令データKを生成し、合成画面の画
素の演算方法を指定する命令として映像合成処理装置1
中の制御メモリ8の合成画面の画素に対応した所定領域
に書き込む。合成制御命令データKは映像合成の演算を
行うに際し、コンピュータの機械語に相当する機能を有
するデータである。
【0028】制御メモリ8は、フレームメモリ3A,3
B,3Cの画素記憶領域に対応して、メモリの領域が決
めらている。制御メモリ8の行,列アドレスは、映像信
号のラインアドレス,サンプルデータ番号(画素データ
番号)に対応させている。つまり、制御メモリに記憶さ
れる合成制御命令データはフレームメモリ3A,3B,
3Cの画素に対応させて記録され、読み出される。
B,3Cの画素記憶領域に対応して、メモリの領域が決
めらている。制御メモリ8の行,列アドレスは、映像信
号のラインアドレス,サンプルデータ番号(画素データ
番号)に対応させている。つまり、制御メモリに記憶さ
れる合成制御命令データはフレームメモリ3A,3B,
3Cの画素に対応させて記録され、読み出される。
【0029】フレームメモリ3A,3B,3Cの画素に
対応させて合成制御命令データが読み出されることによ
り、映像合成の演算処理手順が制御メモリ8に記憶され
ていることになる。制御メモリ8の記憶セルを8ビット
とすると、制御メモリ8は256種類の合成制御命令デ
ータ(演算命令)Kを画素単位で記憶することができ
る。合成制御命令データ作成装置24は、そのモニタ画
面により制御メモリ8に記憶された合成制御命令データ
を確認、修正できる。
対応させて合成制御命令データが読み出されることによ
り、映像合成の演算処理手順が制御メモリ8に記憶され
ていることになる。制御メモリ8の記憶セルを8ビット
とすると、制御メモリ8は256種類の合成制御命令デ
ータ(演算命令)Kを画素単位で記憶することができ
る。合成制御命令データ作成装置24は、そのモニタ画
面により制御メモリ8に記憶された合成制御命令データ
を確認、修正できる。
【0030】コントローラ10の読み出しタイミングC
2のタイミング(図5(d)参照)に同期してフレーム
メモリ3A,3B,3Cの同一ラインアドレスのライン
データは各々のフレームメモリから読み取り用ラインバ
ッファ4A,4B,4Cにそれぞれ転送される(図5、
時刻t3参照)。
2のタイミング(図5(d)参照)に同期してフレーム
メモリ3A,3B,3Cの同一ラインアドレスのライン
データは各々のフレームメモリから読み取り用ラインバ
ッファ4A,4B,4Cにそれぞれ転送される(図5、
時刻t3参照)。
【0031】図5の(e)映像データAは各映像信号の
映像データを代表して示している。フレームメモリ3A
のラインアドレス・・・,#Y−2,#Y,#Y+2,
・・・のラインデータ・・・,AY−2,AY,A
Y+2′,AY+4′,・・・は1ラインデータ毎に読
み取られ、タイミングC2に同期して順次読み取り用ラ
インバッファ4Aに書き込まれる。ラインY+4のライ
ンデータはこの時点では未更新なので、前走査のライン
データAY+4′を読み取る。図6の例で、時刻tでフ
レームメモリ3A,3B,3Cのラインアドレス#3の
ラインデータを読み取り用ラインバッファ3A,3B,
3Cにそれぞれ読み取るタイミングの場合では、ライン
データA3′,B3,C3が各読み取り用バッファにそ
れぞれ転送される。
映像データを代表して示している。フレームメモリ3A
のラインアドレス・・・,#Y−2,#Y,#Y+2,
・・・のラインデータ・・・,AY−2,AY,A
Y+2′,AY+4′,・・・は1ラインデータ毎に読
み取られ、タイミングC2に同期して順次読み取り用ラ
インバッファ4Aに書き込まれる。ラインY+4のライ
ンデータはこの時点では未更新なので、前走査のライン
データAY+4′を読み取る。図6の例で、時刻tでフ
レームメモリ3A,3B,3Cのラインアドレス#3の
ラインデータを読み取り用ラインバッファ3A,3B,
3Cにそれぞれ読み取るタイミングの場合では、ライン
データA3′,B3,C3が各読み取り用バッファにそ
れぞれ転送される。
【0032】一方、合成制御命令データKも、読み取り
信号C2に対応して、各フレームメモリの読み取るライ
ンアドレスに対応した行アドレスの1ライン分が制御メ
モリ8から読み出され、制御メモリ用ラインバッファ9
に書き込まれる。読み取り用ラインバッファ4A,4
B,4C、制御メモリ用ラインバッファ9はそれぞれ、
コンピュータのデータキャッシュメモリ、命令キャッシ
ュメモリの機能を有する。
信号C2に対応して、各フレームメモリの読み取るライ
ンアドレスに対応した行アドレスの1ライン分が制御メ
モリ8から読み出され、制御メモリ用ラインバッファ9
に書き込まれる。読み取り用ラインバッファ4A,4
B,4C、制御メモリ用ラインバッファ9はそれぞれ、
コンピュータのデータキャッシュメモリ、命令キャッシ
ュメモリの機能を有する。
【0033】フレームメモリ3A,3B,3Cの画素に
対応する映像データ及び合成制御命令データは読み取り
用ラインバッファ4A,4B,4C、制御メモリ用ライ
ンバッファ9からコントローラのタイミングパルスに同
期して読み出され演算部5に取り込まれる。演算部5に
おいて、合成制御命令データが指定する演算方法により
画素毎に合成映像が演算され、画素毎に、コントローラ
10のタイミングに同期して順次演算結果用のラインバ
ッファ6に転送される。
対応する映像データ及び合成制御命令データは読み取り
用ラインバッファ4A,4B,4C、制御メモリ用ライ
ンバッファ9からコントローラのタイミングパルスに同
期して読み出され演算部5に取り込まれる。演算部5に
おいて、合成制御命令データが指定する演算方法により
画素毎に合成映像が演算され、画素毎に、コントローラ
10のタイミングに同期して順次演算結果用のラインバ
ッファ6に転送される。
【0034】このようにして、1ライン分の合成映像が
画素単位で演算され、演算結果用のラインバッファ6に
書き込まれると、演算結果用のラインバッファ7から1
ライン分の合成映像データが、合成映像信号出力用のラ
インバッファ7に転送される。表示装置27の描画速度
と同一速度で、コントローラ10は合成映像信号を画素
単位で合成映像信号出力用のラインバッファ7から外部
のD/A変換器25に出力する。合成映像信号は、外部
のD/A変換器25でアナログ量に変換され、同期信号
付加回路26で水平同期信号、垂直同期信号等の信号が
付加され表示映像信号として表示装置27に入力され、
表示画面27aに描画される。
画素単位で演算され、演算結果用のラインバッファ6に
書き込まれると、演算結果用のラインバッファ7から1
ライン分の合成映像データが、合成映像信号出力用のラ
インバッファ7に転送される。表示装置27の描画速度
と同一速度で、コントローラ10は合成映像信号を画素
単位で合成映像信号出力用のラインバッファ7から外部
のD/A変換器25に出力する。合成映像信号は、外部
のD/A変換器25でアナログ量に変換され、同期信号
付加回路26で水平同期信号、垂直同期信号等の信号が
付加され表示映像信号として表示装置27に入力され、
表示画面27aに描画される。
【0035】演算処理は時刻t4から時刻t5の間に終
了すれば良く、この演算は1ライン分について画素毎に
独立に処理できるので、演算装置を複数個用いることに
より、演算の実質的高速化が容易に可能となる。
了すれば良く、この演算は1ライン分について画素毎に
独立に処理できるので、演算装置を複数個用いることに
より、演算の実質的高速化が容易に可能となる。
【0036】図7は、上記画素単位の演算処理を高速に
するために3個の演算単位でパイプライン並列演算処理
をした一実施例である。51,55は1画素分のデータ
を格納するレジスタ、52,54は1画素分のデータを
記憶するデータメモリである。56は制御メモリを画素
単位の合成制御命令データKを記憶するレジスタ、57
は合成制御命令データKを記憶するメモリを表してい
る。
するために3個の演算単位でパイプライン並列演算処理
をした一実施例である。51,55は1画素分のデータ
を格納するレジスタ、52,54は1画素分のデータを
記憶するデータメモリである。56は制御メモリを画素
単位の合成制御命令データKを記憶するレジスタ、57
は合成制御命令データKを記憶するメモリを表してい
る。
【0037】レジスタ51で直列3画素データを並列に
変換し各演算単位53に入力し、レジスタ55は演算結
果の並列画素データを入力された順に直列に変換し演算
結果用のラインバッファ6に出力する。この例では3倍
の高速演算処理ができる。n個の演算単位を使用すると
n倍の高速演算処理ができる。
変換し各演算単位53に入力し、レジスタ55は演算結
果の並列画素データを入力された順に直列に変換し演算
結果用のラインバッファ6に出力する。この例では3倍
の高速演算処理ができる。n個の演算単位を使用すると
n倍の高速演算処理ができる。
【0038】図2の本発明を使用するシステム例では、
入力映像信号をインタレース(映像信号A)、ノン・イ
ンタレース走査信号(映像信号B,C)で、合成映像出
力信号をノン・インタレース走査信号で説明したが(図
5,図6)、これらは、フレームメモリ43の書き込み
アドレス制御手段44、読み取りアドレス制御手段45
のアドレス制御により、フレームメモリ43にアドレス
を書き込み、フレームメモリ43からアドレスを読み取
ることで対応できることは明らかである。
入力映像信号をインタレース(映像信号A)、ノン・イ
ンタレース走査信号(映像信号B,C)で、合成映像出
力信号をノン・インタレース走査信号で説明したが(図
5,図6)、これらは、フレームメモリ43の書き込み
アドレス制御手段44、読み取りアドレス制御手段45
のアドレス制御により、フレームメモリ43にアドレス
を書き込み、フレームメモリ43からアドレスを読み取
ることで対応できることは明らかである。
【0039】すなわち、1ライン毎のパケットの値が、
インタレース走査信号では[1,1,・・・・],
[1,3,・・・・],[1,5,・・・・]なので、
フレームメモリのラインアドレス#1,#3,#5,・
・・の記憶領域に、ノン・インタレース走査信号では
[1,1,・・・・],[1,2,・・・・],[1,
3,・・・・]なので、フレームメモリのラインアドレ
ス#1,#2,#3,・・・の記憶領域にそれぞれ書き
込まれる。また、合成映像出力信号をノン・インタレー
ス走査信号とするならば、読み取りアドレス制御手段4
5により、フレームメモリのラインアドレス#1,#
2,#3,・・・に記憶されたラインデータを読み取れ
ばよい。
インタレース走査信号では[1,1,・・・・],
[1,3,・・・・],[1,5,・・・・]なので、
フレームメモリのラインアドレス#1,#3,#5,・
・・の記憶領域に、ノン・インタレース走査信号では
[1,1,・・・・],[1,2,・・・・],[1,
3,・・・・]なので、フレームメモリのラインアドレ
ス#1,#2,#3,・・・の記憶領域にそれぞれ書き
込まれる。また、合成映像出力信号をノン・インタレー
ス走査信号とするならば、読み取りアドレス制御手段4
5により、フレームメモリのラインアドレス#1,#
2,#3,・・・に記憶されたラインデータを読み取れ
ばよい。
【0040】図2では、入力映像信号をカメラ撮影信号
によるアナログ・コンポジット映像信号として説明した
が、テレビ撮影信号,衛星放送の映像信号でも、またデ
ジタル・コンポジット映像信号であっても、さらにコン
ピュータグラフィック(CG)信号入力でも本発明の映
像合成は可能である。これらの信号はアナログ・デジタ
ル変換部21A,21B,21Cでパケットデータ作成
を調整することにより対応できる。
によるアナログ・コンポジット映像信号として説明した
が、テレビ撮影信号,衛星放送の映像信号でも、またデ
ジタル・コンポジット映像信号であっても、さらにコン
ピュータグラフィック(CG)信号入力でも本発明の映
像合成は可能である。これらの信号はアナログ・デジタ
ル変換部21A,21B,21Cでパケットデータ作成
を調整することにより対応できる。
【0041】図8は、本発明による合成映像の作成例を
示している。この例は、映像信号Aに背景映像が、映像
信号Bに自動車の映像が、映像信号Cに人物の映像が与
えられ、合成映像の合成制御命令データが映像信号A,
B,Cだけをそれぞれ選択する命令データKA,KB,
KCである場合の例である。映像信号A,Bは合成映像
信号Fと同じ画素数の映像信号であり、映像信号Cはそ
れらより小さい画素数の映像信号とする例である。映像
信号Cは合成画面の画素位置に対応したフレームバッフ
ァの所定記憶領域に書き込まれる。書き込みを行わない
部分(映像信号Cの図の黒い部分)は最終的に使用され
ることがないので、どのような値でも構わない。
示している。この例は、映像信号Aに背景映像が、映像
信号Bに自動車の映像が、映像信号Cに人物の映像が与
えられ、合成映像の合成制御命令データが映像信号A,
B,Cだけをそれぞれ選択する命令データKA,KB,
KCである場合の例である。映像信号A,Bは合成映像
信号Fと同じ画素数の映像信号であり、映像信号Cはそ
れらより小さい画素数の映像信号とする例である。映像
信号Cは合成画面の画素位置に対応したフレームバッフ
ァの所定記憶領域に書き込まれる。書き込みを行わない
部分(映像信号Cの図の黒い部分)は最終的に使用され
ることがないので、どのような値でも構わない。
【0042】合成制御命令データ作成装置24は、これ
らの入力映像信号A,B,Cの画像のいずれを使用する
か否かの合成制御データAs,Bs,Csを基に、映像
信号A,B,Cだけを選択する合成制御命令データK
A,KB,KCを作成し、制御メモリ8中の合成画面の
画素に対応する所定領域に書き込む。
らの入力映像信号A,B,Cの画像のいずれを使用する
か否かの合成制御データAs,Bs,Csを基に、映像
信号A,B,Cだけを選択する合成制御命令データK
A,KB,KCを作成し、制御メモリ8中の合成画面の
画素に対応する所定領域に書き込む。
【0043】例えば、図2の各映像信号A,B,Cの例
で説明する。この例では、合成画像上で各映像信号を選
択する基準は、視聴者に近い標準距離の映像信号を優
先、つまり標準距離の逆順位で選択するとする。合成映
像上での標準距離は、背景映像信号A>前景映像信号B
>前景映像信号Cであるので、合成制御命令データKの
合成画面の画素 (x,y)に対する命令 K (x,y) は、合成
制御データBs,Csに対して以下の値(命令コード,
8ビット)が割り当てられる。 Cs(x,y) =「1」 のとき 映像信号Cを選択する命令KC、 Cs(x,y) =「0」 かつBs(x,y) =「1」のとき 映像信号Bを選択する命令KB、 Cs(x,y) =「0」 かつBs(x,y) =「0」のとき 映像信号Aを選択する命令KA、 このとき、映像信号Aの選択は不要なので、映像信号A
のキー信号は省略できる。
で説明する。この例では、合成画像上で各映像信号を選
択する基準は、視聴者に近い標準距離の映像信号を優
先、つまり標準距離の逆順位で選択するとする。合成映
像上での標準距離は、背景映像信号A>前景映像信号B
>前景映像信号Cであるので、合成制御命令データKの
合成画面の画素 (x,y)に対する命令 K (x,y) は、合成
制御データBs,Csに対して以下の値(命令コード,
8ビット)が割り当てられる。 Cs(x,y) =「1」 のとき 映像信号Cを選択する命令KC、 Cs(x,y) =「0」 かつBs(x,y) =「1」のとき 映像信号Bを選択する命令KB、 Cs(x,y) =「0」 かつBs(x,y) =「0」のとき 映像信号Aを選択する命令KA、 このとき、映像信号Aの選択は不要なので、映像信号A
のキー信号は省略できる。
【0044】合成制御命令データKA,KB,KCは合
成制御命令データ作成装置24のモニタ画面に図8のよ
うに映像信号と関連させて表示することができる。背景
映像信号Aの地点に、映像信号Bの自動車の指定した1
台と、映像信号Cの人物の中の指定した1人がいるよう
な合成映像Fが得られ、表示装置27に描画される。
成制御命令データ作成装置24のモニタ画面に図8のよ
うに映像信号と関連させて表示することができる。背景
映像信号Aの地点に、映像信号Bの自動車の指定した1
台と、映像信号Cの人物の中の指定した1人がいるよう
な合成映像Fが得られ、表示装置27に描画される。
【0045】複数の画像データは合成映像を作り出す時
点で、失う訳ではない。例えば、合成映像には使われな
いある物体の後方に隠れる部分の映像も、フレームメモ
リに保存されている。この性質を積極的に利用して映像
情報を送受信することにより、伝送する場合に必要な情
報量を大幅に低下させることも可能である。例えば、あ
る風景に自動車があり、その手前に人物が動いている映
像があるとすると、これを、映像の背景、自動車の映
像、人物の映像としてそれぞれ独立した映像として送信
し、受信側で、本発明の装置を用いて、それらを組み合
わせて映像を再生することができる。
点で、失う訳ではない。例えば、合成映像には使われな
いある物体の後方に隠れる部分の映像も、フレームメモ
リに保存されている。この性質を積極的に利用して映像
情報を送受信することにより、伝送する場合に必要な情
報量を大幅に低下させることも可能である。例えば、あ
る風景に自動車があり、その手前に人物が動いている映
像があるとすると、これを、映像の背景、自動車の映
像、人物の映像としてそれぞれ独立した映像として送信
し、受信側で、本発明の装置を用いて、それらを組み合
わせて映像を再生することができる。
【0046】動きの速い自動車は、例えば秒60コマ
で、背景は秒5コマで送ることもできる。本発明の映像
合成画面の表示方式では、自動車の移動によって一旦は
自動車の後ろになった背景画面が、自動車の通過により
再表示される時点で、再送信する必要はない。それは合
成映像で一旦は表示されなくなった背景画像は失ったの
ではなく、合成表示されなかっただけで、画像メモリ
(フレームメモリ)に残っているからである。
で、背景は秒5コマで送ることもできる。本発明の映像
合成画面の表示方式では、自動車の移動によって一旦は
自動車の後ろになった背景画面が、自動車の通過により
再表示される時点で、再送信する必要はない。それは合
成映像で一旦は表示されなくなった背景画像は失ったの
ではなく、合成表示されなかっただけで、画像メモリ
(フレームメモリ)に残っているからである。
【0047】同様に、本発明では時々刻々書き換えられ
るそれぞれの画像メモリとは無関係に、その瞬間の複数
の映像データを用いて、合成映像データを作成し、表示
するもできる。例えば、上記の背景の秒5コマ、人物の
秒15コマ、自動車の秒60コマの合成映像が、ディス
プレーの性能に応じた読み出し速度、例えば秒70コマ
で表示することも問題なくできる。
るそれぞれの画像メモリとは無関係に、その瞬間の複数
の映像データを用いて、合成映像データを作成し、表示
するもできる。例えば、上記の背景の秒5コマ、人物の
秒15コマ、自動車の秒60コマの合成映像が、ディス
プレーの性能に応じた読み出し速度、例えば秒70コマ
で表示することも問題なくできる。
【0048】図9はこれら複数の素材の映像を撮影し、
それらの映像信号を加工し、合成映像を作成してから放
送する代わりに、素材の映像信号と合成制御命令データ
又は合成制御データを作成し、これらのデータを放送
し、受信側では、これらのデータを基に本発明の映像合
成処理装置1を使用して合成映像を得て、受信側の表示
装置の描画速度で実時間で出力するシステム例を模式的
に示している。図9(a)のシステムは、放送局側で作
成された素材映像信号、合成制御命令データを送信し、
受信側で合成映像を作成するシステム例であり、図9
(b)のシステムは、放送局側では作成された素材映像
信号、合成制御データを送信し、受信側において受信し
た合成制御データに基づいて合成制御命令データを作成
して、合成映像を作成するシステム例である。
それらの映像信号を加工し、合成映像を作成してから放
送する代わりに、素材の映像信号と合成制御命令データ
又は合成制御データを作成し、これらのデータを放送
し、受信側では、これらのデータを基に本発明の映像合
成処理装置1を使用して合成映像を得て、受信側の表示
装置の描画速度で実時間で出力するシステム例を模式的
に示している。図9(a)のシステムは、放送局側で作
成された素材映像信号、合成制御命令データを送信し、
受信側で合成映像を作成するシステム例であり、図9
(b)のシステムは、放送局側では作成された素材映像
信号、合成制御データを送信し、受信側において受信し
た合成制御データに基づいて合成制御命令データを作成
して、合成映像を作成するシステム例である。
【0049】図中、60は合成制御命令データ作成装
置、61は送信パケット作成部、62は送信装置、63
は受信装置を表している。60Sは合成制御データ作成
装置、60Rは合成制御命令データ作成装置を表してい
る。なお、図9(a),(b)の例では、キー信号発生
装置、アナログ・デジタル変換部に相当する装置は、合
成制御命令データ作成装置60,合制御データ作成装置
60S内に組みこまれている。
置、61は送信パケット作成部、62は送信装置、63
は受信装置を表している。60Sは合成制御データ作成
装置、60Rは合成制御命令データ作成装置を表してい
る。なお、図9(a),(b)の例では、キー信号発生
装置、アナログ・デジタル変換部に相当する装置は、合
成制御命令データ作成装置60,合制御データ作成装置
60S内に組みこまれている。
【0050】素材映像信号A,B,Cは、図9(a)の
例ではそれぞれカメラ20A,20B,20Cにより撮
影された背景,車,人物の映像信号である。合成制御命
令データ作成装置60は撮影された各映像画面をもとに
画素毎に合成制御命令データKを作成する。映像信号
A,B,C、合成制御命令データKはそれぞれに最適な
データ圧縮・加工を施した後、送信パケット作成部61
によりパケット信号に構成されて、送信される。
例ではそれぞれカメラ20A,20B,20Cにより撮
影された背景,車,人物の映像信号である。合成制御命
令データ作成装置60は撮影された各映像画面をもとに
画素毎に合成制御命令データKを作成する。映像信号
A,B,C、合成制御命令データKはそれぞれに最適な
データ圧縮・加工を施した後、送信パケット作成部61
によりパケット信号に構成されて、送信される。
【0051】図9(b)の合成制御データ作成装置60
Sは、映像信号A,B,Cから例えば各種キー処理によ
り、合成制御データを作成する装置である。図2,図9
の例において、厳密にはキー信号がそのまま合成制御デ
ータに対応せず、距離関係情報(LA,LB,LC又は
LA:LB:LC)から合成映像上での標準配置位置
(視聴者が位置補正せずに見る位置)が決定されたもの
となっている。これは、2値化してカメラマン(撮影
者)が意図した構図になるように画面位置(x,y)を
標準位置に設定するからである。
Sは、映像信号A,B,Cから例えば各種キー処理によ
り、合成制御データを作成する装置である。図2,図9
の例において、厳密にはキー信号がそのまま合成制御デ
ータに対応せず、距離関係情報(LA,LB,LC又は
LA:LB:LC)から合成映像上での標準配置位置
(視聴者が位置補正せずに見る位置)が決定されたもの
となっている。これは、2値化してカメラマン(撮影
者)が意図した構図になるように画面位置(x,y)を
標準位置に設定するからである。
【0052】距離関係情報を合成制御データ作成装置6
0Sに入力する方法としては、例えば、カメラマン(撮
影者)が直接その値を入力する方法、カメラ毎に距離計
測装置を設置して、その計測結果を自動的に入力する方
法がある。例えば、カメラマンは観察者(視聴者)から
山までLA=10km、車までLB=30m、人物まで
LC=10mとなる構図となるように映像信号A,B,
Cの標準位置を設定する。
0Sに入力する方法としては、例えば、カメラマン(撮
影者)が直接その値を入力する方法、カメラ毎に距離計
測装置を設置して、その計測結果を自動的に入力する方
法がある。例えば、カメラマンは観察者(視聴者)から
山までLA=10km、車までLB=30m、人物まで
LC=10mとなる構図となるように映像信号A,B,
Cの標準位置を設定する。
【0053】図9(b)中、合成制御命令データ作成装
置60Rは受信した合成制御命令As〜Cs,LA〜L
Cに基づいて合成制御命令データKを作成し、映像合成
制御装置1の制御メモリに合成制御命令データKを送信
する装置である。受信側で合成画面の映像信号の表示位
置を修正する場合には、合成制御データとともに距離関
係情報が送信側から伝送される。
置60Rは受信した合成制御命令As〜Cs,LA〜L
Cに基づいて合成制御命令データKを作成し、映像合成
制御装置1の制御メモリに合成制御命令データKを送信
する装置である。受信側で合成画面の映像信号の表示位
置を修正する場合には、合成制御データとともに距離関
係情報が送信側から伝送される。
【0054】図9の例では、例えば、背景信号が動きが
少ない代りとして高精度の画像が送信でき、人物,車は
動きがある代りに画像範囲が狭いという特徴を生かし
て、小領域だけの画像を送信するとことができる。例え
ば、画像の送信は全て(XX,YY,LL,画素デー
タ)という1ライン1パケットのデータ形式で行えばこ
れは可能である。
少ない代りとして高精度の画像が送信でき、人物,車は
動きがある代りに画像範囲が狭いという特徴を生かし
て、小領域だけの画像を送信するとことができる。例え
ば、画像の送信は全て(XX,YY,LL,画素デー
タ)という1ライン1パケットのデータ形式で行えばこ
れは可能である。
【0055】図10は、図9(a)の方式における送信
パケットデータ(A,B,C,K)、映像合成の演算結
果(F)のタイムチャート例及びタイムチャートに対応
した1フレーム映像画面例(A*,B*,C*)、合成
制御命令データ例(K*)、演算映像合成画面(F*)
例を模式的に示したものである。この例では、各送信パ
ケットデータはフレーム画像単位で、添え字は送信され
る順番を表している。合成制御命令データK1*,K2
*,K3*は制御メモリに記憶された画素ごとの演算命
令データKA,KB,KCをフレーム画像対応で表示し
ている。伝送パケットは映像データの伝送情報量に対応
して、非同期で伝送されている。映像信号B,Cの黒い
部分は伝送されない画素を表している。
パケットデータ(A,B,C,K)、映像合成の演算結
果(F)のタイムチャート例及びタイムチャートに対応
した1フレーム映像画面例(A*,B*,C*)、合成
制御命令データ例(K*)、演算映像合成画面(F*)
例を模式的に示したものである。この例では、各送信パ
ケットデータはフレーム画像単位で、添え字は送信され
る順番を表している。合成制御命令データK1*,K2
*,K3*は制御メモリに記憶された画素ごとの演算命
令データKA,KB,KCをフレーム画像対応で表示し
ている。伝送パケットは映像データの伝送情報量に対応
して、非同期で伝送されている。映像信号B,Cの黒い
部分は伝送されない画素を表している。
【0056】図11(a)は、例えば、3つの素材映像
により最終的な合成映像を作り出すことが想定された素
材映像群に対し、第2番目の素材映像の代わりに利用者
の映像を使うことにより、特定の俳優の代理を利用者が
演じる映像を得る映像合成演算処理システム例を模式的
に示している。
により最終的な合成映像を作り出すことが想定された素
材映像群に対し、第2番目の素材映像の代わりに利用者
の映像を使うことにより、特定の俳優の代理を利用者が
演じる映像を得る映像合成演算処理システム例を模式的
に示している。
【0057】図11(a)中、65、66は、利用者の
素材映像信号の切換設定(図ではBからD)に応じて映
像信号、合成制御データをそれぞれ切り換える切換手段
を表している。20Dは利用者が合成映像の素材を撮影
するカメラを表している。67は複数の素材映像信号
(A,B,C)及びこれに関する合成制御データ(A
s,Bs,Cs)を記録し、合成映像の素材として利用
するときに再生する記録再生装置を、68は受信装置6
3の出力と記録再生装置67の出力とを切り換える切換
回路を、69は素材表示位置検出回路を表している。ま
た、受信装置63により受信される素材映像信号及び制
御データは切換回路68を介して、記録再生装置67に
記録するようにしてもよい。21D,23Dはアナログ
・デジタル変換部を、22Dはキー信号発生装置を表
し、図2のものと同じ動作を行う。
素材映像信号の切換設定(図ではBからD)に応じて映
像信号、合成制御データをそれぞれ切り換える切換手段
を表している。20Dは利用者が合成映像の素材を撮影
するカメラを表している。67は複数の素材映像信号
(A,B,C)及びこれに関する合成制御データ(A
s,Bs,Cs)を記録し、合成映像の素材として利用
するときに再生する記録再生装置を、68は受信装置6
3の出力と記録再生装置67の出力とを切り換える切換
回路を、69は素材表示位置検出回路を表している。ま
た、受信装置63により受信される素材映像信号及び制
御データは切換回路68を介して、記録再生装置67に
記録するようにしてもよい。21D,23Dはアナログ
・デジタル変換部を、22Dはキー信号発生装置を表
し、図2のものと同じ動作を行う。
【0058】素材映像信号Dの標準位置データはアナロ
グ・デジタル変換部21D,23Dにより作成される。
素材映像信号Dを素材映像信号Bの役者映像の代役映像
信号とすると、役者が動き回れば、それに追従して代役
の役者を動かす必要がある。素材映像信号Bと素材映像
信号Dとが同じ位置になるようにアナログ・デジタル変
換部21D,23Dの出力信号D,Dsのアドレス部は
調整されて出力される。
グ・デジタル変換部21D,23Dにより作成される。
素材映像信号Dを素材映像信号Bの役者映像の代役映像
信号とすると、役者が動き回れば、それに追従して代役
の役者を動かす必要がある。素材映像信号Bと素材映像
信号Dとが同じ位置になるようにアナログ・デジタル変
換部21D,23Dの出力信号D,Dsのアドレス部は
調整されて出力される。
【0059】素材表示位置検出回路69はこの調節を正
確に行うために特に設けられたものである。素材表示位
置検出回路69は、合成制御データBsあるいは素材映
像信号Bを取り入れて、役者の合成画面上の位置を計算
して、それをアナログ・デジタル変換部21D,23D
に出力する。アナログ・デジタル変換部21D,23D
は、これにより調整されたアドレス部の出力信号D.D
sをそれぞれ映像合成演算処理装置1,合成制御命令作
成装置60Rに出力する。
確に行うために特に設けられたものである。素材表示位
置検出回路69は、合成制御データBsあるいは素材映
像信号Bを取り入れて、役者の合成画面上の位置を計算
して、それをアナログ・デジタル変換部21D,23D
に出力する。アナログ・デジタル変換部21D,23D
は、これにより調整されたアドレス部の出力信号D.D
sをそれぞれ映像合成演算処理装置1,合成制御命令作
成装置60Rに出力する。
【0060】図11(b)は該映像合成演算処理システ
ムの素材映像データ、合成制御命令データを例示的に示
している。図中A,B,Cは素材映像データで、黒い部
分は素材映像データの内放送されない画素を、As,B
s,Csはそれぞれの素材映像の有効範囲を示す合成制
御データで、それぞれ画面表示で表している。同様に、
Dは利用者を撮影した映像データを、Dsは素材として
有効範囲を示す合成制御データを表している。Fは受信
した素材映像データA,B,Cを映像合成した合成映像
データ、FDは受信素材映像データA,Cと利用者が撮
影した素材映像データDを映像合成した合成映像データ
を画面表示で表したものである。
ムの素材映像データ、合成制御命令データを例示的に示
している。図中A,B,Cは素材映像データで、黒い部
分は素材映像データの内放送されない画素を、As,B
s,Csはそれぞれの素材映像の有効範囲を示す合成制
御データで、それぞれ画面表示で表している。同様に、
Dは利用者を撮影した映像データを、Dsは素材として
有効範囲を示す合成制御データを表している。Fは受信
した素材映像データA,B,Cを映像合成した合成映像
データ、FDは受信素材映像データA,Cと利用者が撮
影した素材映像データDを映像合成した合成映像データ
を画面表示で表したものである。
【0061】利用者がカメラ20Dで撮影した映像信号
と、キー信号発生装置22Dによって得られたキー信号
は、素材表示位置検出回路69によって検出された素材
映像Bの表示位置に表示されるように映像データとDと
合成制御データDsに加工される。
と、キー信号発生装置22Dによって得られたキー信号
は、素材表示位置検出回路69によって検出された素材
映像Bの表示位置に表示されるように映像データとDと
合成制御データDsに加工される。
【0062】利用者が撮影した映像を利用して合成映像
を作成する場合、切換手段65,66により、素材映像
信号A,B,Cの内Bを素材映像信号Dに切換え、合成
制御命令データ作成装置60Rに入力している素材映像
信号の合成制御データAs,Bs,Csの内合成制御デ
ータBsを素材映像信号の合成制御データDsに、切り
換える。合成制御命令データ作成装置60Rは合成制御
データAs,Bs,Dsから合成制御命令データKを作
成し、映像合成処理装置1は素材映像信号A,B,Dと
合成制御命令Kデータとから利用者の要求に応じた合成
映像FDが得られる。切換回路68により記録再生装置
67のデータを利用することができる。
を作成する場合、切換手段65,66により、素材映像
信号A,B,Cの内Bを素材映像信号Dに切換え、合成
制御命令データ作成装置60Rに入力している素材映像
信号の合成制御データAs,Bs,Csの内合成制御デ
ータBsを素材映像信号の合成制御データDsに、切り
換える。合成制御命令データ作成装置60Rは合成制御
データAs,Bs,Dsから合成制御命令データKを作
成し、映像合成処理装置1は素材映像信号A,B,Dと
合成制御命令Kデータとから利用者の要求に応じた合成
映像FDが得られる。切換回路68により記録再生装置
67のデータを利用することができる。
【0063】例えば、第1番目,第2番目,第3番目の
素材映像信号A,B,Cをそれぞれ背景,俳優,道具の
映像とすると、切換手段65,66の切り換えにより第
2番目の素材映像信号Bの代わりに利用者の映像信号D
を利用すると、対応した俳優の代わりに利用者が演じて
いる合成映像が得られる。
素材映像信号A,B,Cをそれぞれ背景,俳優,道具の
映像とすると、切換手段65,66の切り換えにより第
2番目の素材映像信号Bの代わりに利用者の映像信号D
を利用すると、対応した俳優の代わりに利用者が演じて
いる合成映像が得られる。
【0064】図12は、図9(b)と同じデータを受信
し、受信側では、視聴者の移動位置に追従させて実時間
で合成映像画面を動かし、合成映像画面に立体感を持た
せた装置に本発明装置を使用した映像合成処理システム
例を模式的に示したものである。図9(b)中※印に相
当する受信側箇所で図12の機能システムを接続する。
70は、受信した画像信号パケット先頭の映像信号アド
レス部(XX,YY,LL)及び同時に対応する合成制
御命令データを加工するアドレス加工処理部、71は表
示装置、72は表示装置71と視聴者との位置関係を検
知する位置センサー、73は、その値をアドレス加工処
理部70にフィードバックするフィードバック信号であ
る。
し、受信側では、視聴者の移動位置に追従させて実時間
で合成映像画面を動かし、合成映像画面に立体感を持た
せた装置に本発明装置を使用した映像合成処理システム
例を模式的に示したものである。図9(b)中※印に相
当する受信側箇所で図12の機能システムを接続する。
70は、受信した画像信号パケット先頭の映像信号アド
レス部(XX,YY,LL)及び同時に対応する合成制
御命令データを加工するアドレス加工処理部、71は表
示装置、72は表示装置71と視聴者との位置関係を検
知する位置センサー、73は、その値をアドレス加工処
理部70にフィードバックするフィードバック信号であ
る。
【0065】表示装置71と視聴者との位置関係を位置
センサー72により検知し、その値をアドレス加工処理
部70にフィードバックする。受信したパケットデータ
から取り出された距離データと上記相対位置関係とをも
とにアドレス加工処理部70は各映像信号アドレス部の
XX,YY,LLの加工量を個別に増減制御する。加工
された映像信号アドレス部のコマンドを及び映像データ
を本発明の装置1に入力し合成映像を表示装置71に描
画する。
センサー72により検知し、その値をアドレス加工処理
部70にフィードバックする。受信したパケットデータ
から取り出された距離データと上記相対位置関係とをも
とにアドレス加工処理部70は各映像信号アドレス部の
XX,YY,LLの加工量を個別に増減制御する。加工
された映像信号アドレス部のコマンドを及び映像データ
を本発明の装置1に入力し合成映像を表示装置71に描
画する。
【0066】アドレス加工処理部70では、合成映像画
面におけるカメラ20A,20B,20Cによって撮影
された映像信号の奥行きの位置関係を基に、各映像信号
アドレス部(XX,YY,LL)のXXの増減値をフィ
ードバック信号73を基に計算し、その結果合成画面か
らはみ出る部分は削除して画素数LLを調整する。これ
と同時に、合成制御命令データ作成装置60Rで作成さ
れた合成制御命令データの各映像信号を選択する制御命
令データの配置も前述の鑑賞位置から算出したXXの増
減値に基づき修正を加える。
面におけるカメラ20A,20B,20Cによって撮影
された映像信号の奥行きの位置関係を基に、各映像信号
アドレス部(XX,YY,LL)のXXの増減値をフィ
ードバック信号73を基に計算し、その結果合成画面か
らはみ出る部分は削除して画素数LLを調整する。これ
と同時に、合成制御命令データ作成装置60Rで作成さ
れた合成制御命令データの各映像信号を選択する制御命
令データの配置も前述の鑑賞位置から算出したXXの増
減値に基づき修正を加える。
【0067】第13図を参照して、アドレス加工処理部
70による映像信号A,B,C及び合成制御データA
s,Bs,Csのアドレス増減制御について簡単に説明
する。(a)は素材映像Aが不動とする場合、(b)は
素材映像Cが不動とする場合の位置変動計算例を示して
いる。Δxは、視聴者が位置P1から位置P2への位置
変動量を表している。位置センサー72でこの位置変動
量Δxを計測し、距離関係情報LA,LB,LCで比例
配分し、映像データA,B,Cの位置変動量ΔxA,Δ
xB、ΔxCが計算される。この位置変動に応じた画素
数だけ映像信号A,B,Cのアドレス部XX、合成制御
データAs,Bs,Csのアドレス増減調整がなされ、
アドレス加工処理部70から映像信号A’,B’,
C’、合成制御データAs’,Bs’,Cs’が出力さ
れる。
70による映像信号A,B,C及び合成制御データA
s,Bs,Csのアドレス増減制御について簡単に説明
する。(a)は素材映像Aが不動とする場合、(b)は
素材映像Cが不動とする場合の位置変動計算例を示して
いる。Δxは、視聴者が位置P1から位置P2への位置
変動量を表している。位置センサー72でこの位置変動
量Δxを計測し、距離関係情報LA,LB,LCで比例
配分し、映像データA,B,Cの位置変動量ΔxA,Δ
xB、ΔxCが計算される。この位置変動に応じた画素
数だけ映像信号A,B,Cのアドレス部XX、合成制御
データAs,Bs,Csのアドレス増減調整がなされ、
アドレス加工処理部70から映像信号A’,B’,
C’、合成制御データAs’,Bs’,Cs’が出力さ
れる。
【0068】これにより、視聴者の視点の動きに応じた
合成映像をリアルタイムに表示でき、立体感のある映像
を視聴者は鑑賞することができる。図12の右側に、鑑
賞位置P1での映像と鑑賞位置P2での映像を模式的に
例示している。同じ瞬間の映像であっても鑑賞位置P2
では、画面内人物は画面内背景の山より右にいるが、鑑
賞位置P1では山と人物は重なって、表示されている。
合成映像をリアルタイムに表示でき、立体感のある映像
を視聴者は鑑賞することができる。図12の右側に、鑑
賞位置P1での映像と鑑賞位置P2での映像を模式的に
例示している。同じ瞬間の映像であっても鑑賞位置P2
では、画面内人物は画面内背景の山より右にいるが、鑑
賞位置P1では山と人物は重なって、表示されている。
【0069】図14は、図9(b)中※印に相当する受
信側箇所で接続され、複数の映像信号を受信し、受信側
では本発明の映像合成演算処理装置を2個使用し、映像
信号のアドレス部を加工して両眼視差のある2個の合成
映像を出力するステレオ映像合成演算処理システムを模
式的に示している。図14(a)中、1R,1Lは右
眼,左眼用の映像合成演算処理装置、70R,70Lは
右眼,左眼用のアドレス加工処理部、74R,74Lは
アドレス加工処理部70R,70Lの映像信号アドレス
部(XX,YY,LL)を増減加工する調整入力を表し
ている。
信側箇所で接続され、複数の映像信号を受信し、受信側
では本発明の映像合成演算処理装置を2個使用し、映像
信号のアドレス部を加工して両眼視差のある2個の合成
映像を出力するステレオ映像合成演算処理システムを模
式的に示している。図14(a)中、1R,1Lは右
眼,左眼用の映像合成演算処理装置、70R,70Lは
右眼,左眼用のアドレス加工処理部、74R,74Lは
アドレス加工処理部70R,70Lの映像信号アドレス
部(XX,YY,LL)を増減加工する調整入力を表し
ている。
【0070】アドレス加工処理部70R,70Lは、右
眼,左眼用の映像合成演算処理装置の合成映像出力信号
FR,FLが両眼視差により充分遠近感を与える量にな
るように受信したパケットデータから取り出された距離
データをもとに調整入力74R,74Lによりそれぞれ
のアドレス部を加減調整する。 合成映像信号FR,R
Lは図示していないステレオディスプレイ装置に供給さ
れる。受信側のステレオディスプレイ装置により、両眼
視差を利用して得られる立体感のあるステレオ映像を、
実時間で視聴者は見ることができる。
眼,左眼用の映像合成演算処理装置の合成映像出力信号
FR,FLが両眼視差により充分遠近感を与える量にな
るように受信したパケットデータから取り出された距離
データをもとに調整入力74R,74Lによりそれぞれ
のアドレス部を加減調整する。 合成映像信号FR,R
Lは図示していないステレオディスプレイ装置に供給さ
れる。受信側のステレオディスプレイ装置により、両眼
視差を利用して得られる立体感のあるステレオ映像を、
実時間で視聴者は見ることができる。
【0071】図14(b)の映像合成演算システムは、
図14(a)の両眼の映像データ内どちらか一方の受信
映像データのアドレス加工を省略したシステムである。
図14(b)では左眼用映像データはアドレス加工をせ
ず、アドレス加工処理部70により、右眼用,左眼用合
成映像信号の両眼視差量だけアドレス部を調整入力74
により増減調整する。
図14(a)の両眼の映像データ内どちらか一方の受信
映像データのアドレス加工を省略したシステムである。
図14(b)では左眼用映像データはアドレス加工をせ
ず、アドレス加工処理部70により、右眼用,左眼用合
成映像信号の両眼視差量だけアドレス部を調整入力74
により増減調整する。
【0072】
【発明の効果】本発明の映像合成演算処理は、映像合成
する映像信号毎にフレームメモリを用意し、書き込み用
ラインバッファにより1ライン分の映像データをフレー
ムメモリに書き込み、フレームメモリから1ライン分デ
ータを読み出して画像合成の演算処理をするので、従来
のように1フレーム後に画像合成するのに比べて合成映
像作成に時間遅れが少なく、実時間で映像合成画面を得
ることができる。書き込み用ラインバッファ、読み出し
用ラインバッファを設けて、フレームメモリのアクセス
競合が防止できる。さらに、コンピュータの機械語に相
当する映像信号の合成制御命令データを演算部に各画素
毎に取り込むことで演算速度が速くなる。
する映像信号毎にフレームメモリを用意し、書き込み用
ラインバッファにより1ライン分の映像データをフレー
ムメモリに書き込み、フレームメモリから1ライン分デ
ータを読み出して画像合成の演算処理をするので、従来
のように1フレーム後に画像合成するのに比べて合成映
像作成に時間遅れが少なく、実時間で映像合成画面を得
ることができる。書き込み用ラインバッファ、読み出し
用ラインバッファを設けて、フレームメモリのアクセス
競合が防止できる。さらに、コンピュータの機械語に相
当する映像信号の合成制御命令データを演算部に各画素
毎に取り込むことで演算速度が速くなる。
【0073】本発明では、合成画像を1枚のビットマッ
プ型の映像データを作成するのではなく、表示する瞬間
に表示する1行分(ライン分)だけをその場で合成して
表示するという、汎用性の高い映像合成表示とすること
ができる。合成演算部は定型処理であり、並列処理によ
り高速化が可能であり、LSIチップで作成でき小型化
も可能である。
プ型の映像データを作成するのではなく、表示する瞬間
に表示する1行分(ライン分)だけをその場で合成して
表示するという、汎用性の高い映像合成表示とすること
ができる。合成演算部は定型処理であり、並列処理によ
り高速化が可能であり、LSIチップで作成でき小型化
も可能である。
【0074】本発明の装置では、これらすべての処理が
同時並行に進行するので、並列処理ができ、装置内の個
々の処理に高速性が要求されずに、合成映像が得られる
までの時間が短くできるという効果を奏する。しかも、
映像入力、映像出力及び制御入力は非同期でよいという
特長がある。さらに、描画速度(1秒間の画面更新回
数)が異なっていても動作できる効果もある。
同時並行に進行するので、並列処理ができ、装置内の個
々の処理に高速性が要求されずに、合成映像が得られる
までの時間が短くできるという効果を奏する。しかも、
映像入力、映像出力及び制御入力は非同期でよいという
特長がある。さらに、描画速度(1秒間の画面更新回
数)が異なっていても動作できる効果もある。
【0075】複数の映像入力、制御メモリのアクセス、
映像出力は非同期で良く、それぞれの映像更新周期も等
しくする必要はない。さらに更新間隔が不定の映像入力
や、画面の一部だけの映像信号であっても構わない。こ
のように、各映像入力信号は他の映像入力信号とは独立
に与えることができ、本回路を用いたシステム全体の複
雑さが低減できる。
映像出力は非同期で良く、それぞれの映像更新周期も等
しくする必要はない。さらに更新間隔が不定の映像入力
や、画面の一部だけの映像信号であっても構わない。こ
のように、各映像入力信号は他の映像入力信号とは独立
に与えることができ、本回路を用いたシステム全体の複
雑さが低減できる。
【0076】本発明の映像合成処理システムでは、利用
者の作成した素材映像信号を利用して利用者の要求する
合成画像を得ることができる。特に演劇の分野において
特定の配役の練習に利用したり、鑑賞するだけでなく、
代役をすることにより演劇を楽しむといった新しい楽し
み方が実現する。
者の作成した素材映像信号を利用して利用者の要求する
合成画像を得ることができる。特に演劇の分野において
特定の配役の練習に利用したり、鑑賞するだけでなく、
代役をすることにより演劇を楽しむといった新しい楽し
み方が実現する。
【0077】更に、本発明の映像合成演算処理装置の入
力側に受信映像信号のアドレス部を増減加工する映像合
成処理システムでは、視聴者の移動に追従する合成画
像、入力側でアドレス加工をした2個の合成映像信号の
内少なくとも1個にアドレス加工をすることによりステ
レオ合成画像を、いかなる映像データに対しても、リア
ルタイムで得ることができる。
力側に受信映像信号のアドレス部を増減加工する映像合
成処理システムでは、視聴者の移動に追従する合成画
像、入力側でアドレス加工をした2個の合成映像信号の
内少なくとも1個にアドレス加工をすることによりステ
レオ合成画像を、いかなる映像データに対しても、リア
ルタイムで得ることができる。
【図 1】本発明の実施例を示す図である。
【図 2】本発明を使用するシステム例を示す図であ
る。
る。
【図 3】本発明の入力データを示す図である。
【図 4】本発明の入力側ラインバッファ,フレームメ
モリの概略を示す図である。
モリの概略を示す図である。
【図 5】映像データのタイムチャートを示す図であ
る。
る。
【図 6】各映像データの入力、記録更新タイミングを
説明する図である。
説明する図である。
【図 7】並列パイプライン演算処理を説明する図であ
る。
る。
【図 8】本発明による映像合成例を説明する図であ
る。
る。
【図 9】本発明に使用するデータを受信して合成映像
を作成する場合の映像合成演算処理システム例を説明す
る図である。
を作成する場合の映像合成演算処理システム例を説明す
る図である。
【図10】図9のデータを説明する図である。
【図11】他の発明である利用者の映像を使用して合成
映像を作成する映像合成演算処理システム例を説明する
図である。
映像を作成する映像合成演算処理システム例を説明する
図である。
【図12】他の発明である鑑賞者の位置に追従して合成
映像を作成する映像合成演算処理システム例を説明する
図である。
映像を作成する映像合成演算処理システム例を説明する
図である。
【図13】アドレス加工処理のアドレス増減制御を説明
するための図である。
するための図である。
【図14】他の発明であるステレオ合成画像を作成する
映像合成演算処理システム例を説明する図である。
映像合成演算処理システム例を説明する図である。
1 映像合成処理装置
2,2A〜2C 書き込み用ラインバッファ
3,3A〜3C フレームメモリ
4,4A〜4C 読み取り用ラインバッファ
5 演算部
6 演算結果用のラインバッファ
7 合成映像出力用のラインバッファ
8 制御メモリ
9 制御メモリ用ラインバッファ
10 コントローラ
24,60 合成制御命令データ作成装置
60S 合成制御データ作成装置
60R 合成制御命令データ作成装置
20D 利用者を撮影する撮影装置
21D,23D アナログ・デジタル変換部
22D キー信号発生装置
63 受信装置
65,66 切換手段
67 記録再生装置
68 切換回路
70,70R,70L アドレス加工処理部
72 位置センサ
74,74R,74L 調整入力
Claims (9)
- 【請求項1】非同期で入力された複数の映像信号に対応
して設けられ、該映像信号の1水平走査線の映像データ
を読み込む複数の第1のラインバッファと、 第1のラインバッファが映像データを1水平走査線分読
み込み完了したとき該1水平走査線の映像データが転送
される第1のラインバッファに対応して設けられた複数
のフレームメモリと、 画素毎に演算方法を指定する合成制御命令データを記憶
する制御メモリと、 各フレームメモリの対応画素のデータ、該対応画素に対
応する合成制御命令データを取り込み、映像合成の演算
を行う演算部と、 合成映像データを1水平走査線分記憶し、合成映像デー
タを描画速度で出力する出力ラインバッファと、 フレームメモリ、制御メモリの読み出し、演算部、出力
ラインバッファのタイミングをとるコントローラとを具
備することを特徴とする映像合成演算処理装置。 - 【請求項2】画素単位の演算処理をパイプライン並列処
理で行うことを特徴とする請求項1の映像合成演算処理
装置。 - 【請求項3】非同期で受信した複数の映像データの1水
平走査線データをそれぞれの第1のラインバッファに読
み込み、 読み込み完了直後にそれぞれの対応するフレームメモリ
に第1のラインバッファに読み込まれた該データを読み
込み、 各フレームメモリと制御メモリから対応する画素データ
と合成制御命令データの1水平走査線分のデータをそれ
ぞれの第2のラインバッファに読み込み、 各画素単位で映像合成の演算を行い、合成映像データの
1水平走査線分を第3のラインバッファに転送し、 表示装置の描画速度で出力することを特徴とする映像合
成演算処理方法。 - 【請求項4】請求項1の映像合成演算処理装置と、 背景、道具、俳優という画面を構成する各素材映像を撮
影する撮影装置と、 該撮影装置で撮影した各素材映像を用いて最終的な合成
映像を作り出すための演算処理手順を合成制御命令デー
タとして作り出す合成制御命令データ作成装置とを具備
した映像合成演算処理システムであって、 各素材映像の映像信号と合成制御命令データ作成装置か
ら出力された合成制御命令データとを前記映像合成演算
処理装置に入力することを特徴とする映像合成演算処理
システム。 - 【請求項5】請求項1の映像合成演算処理装置と、 利用者の撮影映像を得るための撮影装置と、 背景、道具、俳優という画面を構成する各素材を撮影し
た素材映像を記録し再生する記録再生装置と、 記録再生装置から得られた素材映像と利用者の撮影映像
とを用いて最終的な合成映像を作り出すための演算処理
手順を合成制御命令データとして作り出す合成制御命令
データ作成装置とを具備した映像合成演算処理システム
であって、 各素材映像の映像信号と合成制御命令データ作成装置か
ら出力された合成制御命令データとを前記映像合成演算
処理装置に入力することを特徴とする映像合成演算処理
システム。 - 【請求項6】請求項1の映像合成演算処理装置と、 利用者の撮影映像を得るための撮影装置と、 利用者の撮影映像の素材映像の各画素を有効とするか否
かの合成制御データを作成する回路装置と、 背景、道具、俳優という画面を構成する各素材を撮影し
た素材映像の映像信号及びこれらの素材映像の各画素を
有効とするか否かを表す合成制御データの放送を受信す
る受信装置と、 受信装置から得られた素材映像、利用者の撮影映像及び
合成制御データを用いて、最終的な合成映像を作り出す
ための演算処理手順を合成制御命令データとして作り出
す合成制御命令データ作成装置とを具備し、 各素材映像の映像信号と合成制御命令データ作成装置か
ら出力された合成制御命令データとを前記映像合成演算
処理装置に入力することを特徴とする映像合成演算処理
システム。 - 【請求項7】請求項1の映像合成演算処理装置と、 映像合成演算処理装置の入力側に設けられ、複数の入力
された素材映像の映像信号及び該映像信号の各画素を有
効とするか否かを表す合成制御データのアドレス部を加
工するアドレス加工処理部と、 アドレス部が加工された合成制御データを入力し、最終
的な合成映像を作り出すための演算処理手順を合成制御
命令データとして作り出す合成制御命令データ作成装置
と、 視聴者の位置を検知する位置センサと、 位置センサの検知信号をアドレス加工処理部にフィード
バックするフィードバック信号線とを具備し、 各素材映像の映像信号と合成制御命令データ作成装置か
ら出力された合成制御命令データとを前記映像合成演算
処理装置に入力することを特徴とする映像合成演算処理
システム。 - 【請求項8】同一の複数の映像信号をそれぞれ入力する
2個の請求項1の映像合成演算処理装置と、 該2個の映像合成演算処理装置の入力側にそれぞれ設け
られ、複数の入力された素材映像の映像信号及び合成制
御データのアドレス部を加工する2個のアドレス加工処
理部と、 アドレス部が加工された合成制御データを入力し、最終
的な合成映像を作り出すための演算処理手順を合成制御
命令データとして作り出す2個の合成制御命令データ作
成装置とを具備し、 上記アドレス部の差は2個のアドレス加工処理部により
2個の合成映像が視聴者の両眼視差となるように設定さ
れ、各素材映像の映像信号と合成制御命令データ作成装
置から出力された合成制御命令データとを前記映像合成
演算処理装置に入力することを特徴とする映像合成演算
処理システム。 - 【請求項9】同一の複数の映像信号をそれぞれ入力する
2個の請求項1の映像合成演算処理装置と、 一つの映像合成演算処理装置の入力側に設けられ、複数
の入力された素材映像の映像信号及び合成制御データの
アドレス部を加工する1個のアドレス加工処理部と、 アドレス部が加工された合成制御データを入力し、最終
的な合成映像を作り出すための演算処理手順を合成制御
命令データとして作り出す合成制御命令データ作成装置
と、アドレス部が加工されていない合成制御データを入力
し、最終的な合成映像を作り出すための演算処理手順を
合成制御命令データとして作り出す合成制御命令データ
作成装置と を具備し、 アドレス部の差は2個の合成映像が視聴者の両眼視差と
なるように設定され、各素材映像の映像信号と合成制御
命令データ作成装置から出力された合成制御命令データ
とを前記映像合成演算処理装置に入力することを特徴と
する映像合成演算処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33119199A JP3520318B2 (ja) | 1999-11-22 | 1999-11-22 | 映像合成演算処理装置、その方法及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33119199A JP3520318B2 (ja) | 1999-11-22 | 1999-11-22 | 映像合成演算処理装置、その方法及びシステム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003336606A Division JP4423416B2 (ja) | 2003-09-29 | 2003-09-29 | 映像合成処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001148806A JP2001148806A (ja) | 2001-05-29 |
JP3520318B2 true JP3520318B2 (ja) | 2004-04-19 |
Family
ID=18240915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33119199A Expired - Lifetime JP3520318B2 (ja) | 1999-11-22 | 1999-11-22 | 映像合成演算処理装置、その方法及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3520318B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012256068A (ja) * | 2012-08-17 | 2012-12-27 | National Institute Of Advanced Industrial & Technology | 映像表示装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007241687A (ja) * | 2006-03-09 | 2007-09-20 | Casio Comput Co Ltd | 撮像装置及び画像編集装置 |
JP6214367B2 (ja) * | 2013-12-05 | 2017-10-18 | 三菱電機株式会社 | 画像合成装置及び画像合成プログラム |
KR101489272B1 (ko) | 2014-03-17 | 2015-02-06 | ㈜베이다스 | 신호발생 백업기능을 구비한 복수 이미지의 동기화 합성 시스템 |
DE112016007132T5 (de) | 2016-09-14 | 2019-04-25 | Mitsubishi Electric Corporation | Anzeigesteuervorrichtung, anzeigesteuerverfahren und anzeigesteuerprogramm |
-
1999
- 1999-11-22 JP JP33119199A patent/JP3520318B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012256068A (ja) * | 2012-08-17 | 2012-12-27 | National Institute Of Advanced Industrial & Technology | 映像表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2001148806A (ja) | 2001-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0793392B1 (en) | Method and apparatus for the transmission and the reception of three-dimensional television signals of stereoscopic images | |
US6704042B2 (en) | Video processing apparatus, control method therefor, and storage medium | |
US7688346B2 (en) | VTV system | |
JP2005500721A5 (ja) | ||
US20050128286A1 (en) | VTV system | |
WO2005009031A1 (ja) | 撮像装置と同期信号発生装置 | |
JP2002534010A (ja) | ビデオシークエンスの中に画像を挿入するためのシステム | |
KR101269900B1 (ko) | 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치 | |
WO2016139898A1 (ja) | ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 | |
JP2000057350A (ja) | 画像処理装置と方法及び画像送信装置と方法 | |
JPH06350937A (ja) | 画像合成再生装置 | |
CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、***及存储介质 | |
JP3520318B2 (ja) | 映像合成演算処理装置、その方法及びシステム | |
JPH03117093A (ja) | 立体テレビジョン画像信号の処理・伝送方法 | |
JP4423416B2 (ja) | 映像合成処理システム | |
JP2011151773A (ja) | 映像処理装置及び制御方法 | |
EP1219115A2 (en) | Narrow bandwidth broadcasting system | |
CN106681674A (zh) | 一种虚拟现实显示器的显示控制方法及*** | |
JPH0965374A (ja) | 3次元映像記録装置および3次元映像再生装置 | |
KR100817055B1 (ko) | 회귀경로를 이용한 영상처리 시스템 장치 및 영상처리 방법 | |
JP3087236B2 (ja) | 立体視画像の合成表示装置 | |
JP3128467B2 (ja) | 2次元映像を3次元映像に変換する方法 | |
JP2640030B2 (ja) | 固体撮像装置 | |
JP2006270160A (ja) | 画像データ処理装置 | |
JP2007174097A (ja) | 映像信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3520318 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |