JPH10112852A - 映像データ伝送装置及び映像データ伝送方法 - Google Patents

Abstract

(57)【要約】 【課題】 回線の伝送帯域やクライアントの処理能力に
より、サーバの全映像データを受信できなくても映像情
報の欠落を防ぐ伝送装置及び方法を提供する。 【解決手段】 符号化部１は、Ｉフレーム挿入判断部７
からの指示と通知により、入力映像に対しフレーム内／
間符号化を行ない、フレーム内符号化したフレーム間を
映像シーケンスグループとしてＩＤを付与し、符号化映
像を送信用のバッファメモリ２に順次蓄積する。一方、
フレーム重畳画像作成部３は、該グループ内の映像の動
きを複数のフレームを重ね合わせ残像効果のように表現
した１枚の静止画像を作成して符号化し、同じＩＤを付
与して蓄積媒体８に蓄積する。送信部９は、クライアン
トの映像送信要求で通知されたＩＤの符号化映像が既に
更新されてバッファメモリ２に無い場合、そのＩＤに対
応の符号化した前記静止画像を読み出して送信し、本来
伝送すべき映像を補間して映像情報の欠落を防ぐ。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、インターネット等
のネットワーク上でクライアント主導で映像データを伝
送する装置および方法に関するものである。

【０００２】

【従来の技術】インターネット等のネットワーク上で、
映像データを伝送する方式としては、伝送容量や端末処
理能力に応じた映像伝送を行なうソフトウェアビジョン
（参考：ｈｔｔｐ：//ｗｗｗ．ｈｉｌ．ｎｔｔ．ｊｐ／
ＳｏｆｔｗａｒｅＶｉｓｉｏｎ／）やストリームワーク
ス（参考：ｈｔｔｐ：//ｗｗｗ．ｘｉｎｇｔｅｃｈ．ｃ
ｏｍ／ｓｔｒｅａｍｓ／）等の方式がある。

【０００３】

【発明が解決しようとする課題】上記従来のソフトウェ
アビジョン等による映像データの伝送方式では、サーバ
−クライアント間に十分な伝送帯域の回線が確保できな
い場合や、クライアントの処理能力が低い場合は、映像
データが間欠的に送られてくるため、映像情報に欠落が
生じ、例えばスポーツ中継に使用した場合、得点シーン
等の決定的瞬間が見られない可能性がある等の問題点が
あった。

【０００４】本発明の目的は、十分な伝送帯域の回線が
確保できないため、あるいはクライアントの処理能力が
低いため、サーバ側からの映像データの全てをクライア
ント側で受信できない場合であっても、映像情報の欠落
を防ぐ事を可能にする伝送装置および伝送方法を提供す
ることにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明による映像データ伝送装置は、ネットワーク
上で、クライアントがサーバに対して映像送信要求を行
なうクライアント主導型映像配信システムにおけるサー
バ側の映像データ伝送装置であって、前記映像送信要求
による映像の伝送時に、状況によりクライアントの所望
の映像を、あるいは前記所望の映像に代えて前記所望の
映像を要約した画像を伝送する手段を具備することを特
徴とする。

【０００６】また、前記映像データ伝送装置において、
前記所望の映像を、あるいは前記所望の映像に代えて前
記所望の映像を要約した画像を伝送する手段は、伝送す
べき映像を符号化し識別標を付与する手段と、前記伝送
すべき映像内で一定間隔あるいは映像の動き量に応じて
複数のフレームを選択し該フレームを重ね合わせて一枚
の静止画像を作成する手段と、前記静止画像を符号化す
る手段と、前記符号化した静止画像を前記伝送すべき映
像と同じ識別標を付与して蓄積する手段と、映像送信要
求による所望の映像を前記識別標により識別して前記符
号化された映像を、あるいは前記蓄積された静止画像を
状況に応じて送信する手段と、を具備することを特徴と
する。

【０００７】また、前記映像データ伝送装置において、
前記伝送すべき映像を符号化し識別標を付与する手段
は、映像シーケンス中で一定間隔あるいはシーンチェン
ジ時にフレーム内符号化、それ以外の時にはフレーム間
符号化を実施し、前記フレーム内符号化を実施した隣接
する２つのフレーム間に存在する画像フレームを映像シ
ーケンスグループとし、該映像シーケンスグループを識
別するＩＤを付与して送信用の記録媒体又はメモリに順
次蓄積する手段であり、前記静止画像を作成する手段
は、前記映像シーケンスグループ内で一定間隔あるいは
映像の動き量に応じて複数のフレームを選択し、該フレ
ームを重ね合わせて一枚の静止画像を作成する手段であ
り、前記静止画像を符号化する手段は、前記作成された
静止画像を前記フレーム内符号化と同様に符号化する手
段であり、前記符号化した静止画像を前記伝送すべき映
像と同じ識別標を付与して蓄積する手段は、前記静止画
像を符号化したデータを対応する前記映像シーケンスグ
ループと同値の識別ＩＤを付与して記録媒体あるいはメ
モリに蓄積する手段であり、前記符号化された映像を、
あるいは前記蓄積された静止画像を状況に応じて送信す
る手段は、映像送信要求による所望の映像を前記識別Ｉ
Ｄにより識別して、前記符号化された映像を、あるいは
前記蓄積された静止画像を状況に応じて送信する手段で
あることを特徴とする。

【０００８】さらに、本発明の映像データ伝送方法は、
まず、クライアントからサーバヘ所望の映像シーケンス
グループの識別ＩＤを通知することにより映像送信要求
を行い、次に、前記サーバは、前記クライアントの所望
の映像シーケンスグループの識別ＩＤと現在送信用のバ
ッファ内に存在する送信可能な映像シーケンスグループ
の識別ＩＤとを比較し、前記所望の映像シーケンスグル
ープの識別ＩＤが存在する場合には、前記バッファ内の
映像シーケンスグループの映像符号化データを送信し、
前記所望の映像シーケンスグループの識別ＩＤが存在し
ない場合には、前記映像シーケンスグループの識別ＩＤ
と同じ識別ＩＤを持つ映像シーケンスグループの映像を
要約した静止画像の符号化データを送信し、次に、前記
クライアントは、前記サーバから送信された前記映像符
号化データあるいは前記静止画像の符号化データを提示
することを特徴とする。

【０００９】本発明では、映像入力時に、例えばＨ．２
６１あるいはＭＰＥＧ等のようにフレーム内符号化／フ
レーム間符号化を行なう映像符号化において、フレーム
内符号化を実施したフレーム間を映像シーケンスグルー
プとして、該グループ内の映像の動きを複数のフレーム
を重ね合わせ残像効果のように表現するなどにより当該
グループの映像を要約した１枚の静止画像を作成し、こ
れを符号化、蓄積し、映像送信時において、クライアン
トの所望の映像シーケンスグループの映像符号化データ
が既に送信バッファに存在せず送信不可能な場合には、
対応する前記映像シーケンスグループの映像を要約した
１枚の静止画像の符号化データを読み出して送信し、ク
ライアントでは、該送信された静止画像を提示すること
により、回線やクライアント端末の処理能力によって、
サーバ側で符号化する映像を全てはリアルタイムで受信
することが不可能な場合であっても、本来伝送すべき映
像を要約した１枚の静止画像で本来伝送すべき映像を補
間して映像情報の欠落を防ぐ。

【００１０】

【発明の実施の形態】以下、本発明の実施形態例を、図
面を参照して詳しく説明する。

【００１１】図１は、本発明の映像入力および符号化時
の処理ならびに装置構成の一実施形態例を示すブロック
図である。

【００１２】入力映像は、符号化部１およびフレーム重
畳画像作成部３内のフレーム選択部４に入力される。符
号化部１では、Ｈ．２６１、ＭＰＥＧあるいはＭｏｔｉ
ｏｎ−ＪＰＥＧ等の映像符号化方式を用いて映像を符号
化し、送信用のバッファメモリ２に蓄積する。バッファ
メモリ２はリング状になっており、古いデータから順次
最新のデータに置き換わる。ここではＨ．２６１を例に
説明する。

【００１３】図２に、符号化部１における符号化方式を
説明する概念図を示す。図中、Ｉとはフレーム内の情報
のみを使用して符号化するＩフレーム（Ｉｎｔｒａ ｆ
ｒａｍｅ）を示し、Ｐとは直前のフレームとの差分情報
を符号化するＰフレーム（Ｐｒｅｄｉｃｔｉｖｅ ｆｒ
ａｍｅ）を示す。またＧＯＰとはＩフレームから次のＩ
フレームの直前のＰフレームまでの複数のフレームで構
成されるグループ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒ
ｅ）を示し、（）内の数値はＧＯＰを識別するＩＤ（Ｉ
ｄｅｎｔｉｆｉｃａｔｉｏｎ）である。

【００１４】Ｉフレーム挿入判断部７は、入力映像を監
視し、予め設定されている間隔（例：５秒）もしくはシ
ーンチェンジの発生時に、あるいはそれら両方の時に符
号化部１に対しては１フレームで符号化するよう、また
フレーム重畳画像作成部３に対してはフレーム選択処理
およびフレーム重畳画像作成処理のリフレッシュを実施
するよう、それぞれ指示する。この時、同時にＧＯＰの
ＩＤも付与および通知する。

【００１５】図３に、フレーム重畳画像作成部３での処
理概念図を示す。まず、フレーム選択部４では、Ｉフレ
ーム挿入判断部７より指示されたリフレッシュ実施を契
機にフレーム選択を開始する。フレーム選択は、予め設
定されたフレーム間隔（図では４フレーム間隔で説
明）、あるいはフレーム間の動き（例えば動きベクト
ル）を監視し、動きが大きいフレームを選択する等の手
法で実施する。次に、フレーム重畳部５では、フレーム
選択部４で選択されたフレームを重ね合わせ、１枚の静
止画像（フレーム重畳画像）を作成する。この静止画像
は、写真の残像効果のように１枚の静止画像中で動きが
表現されたものになり、元となったＧＯＰの映像全体を
要約したものになる。符号化部６では、前記フレーム重
畳部５で作成された１枚の静止画像をＩフレームとして
符号化部１と同様の符号化方式で符号化し、ＨＤ（ハー
ドディスク）等の蓄積媒体８に蓄積する。この符号化デ
ータは１枚の静止画像ではあるが、データ（ｂｉｔｓｔ
ｒｅａｍ）シンタックスは映像のそれと同様であるか
ら、クライアント側では映像と同様の符号化器で復号可
能である。該静止画像の符号化データには、元となった
ＧＯＰと同じＩＤが付与される。

【００１６】クライアントからの映像送信要求に対して
は、図１の送信部９が、次に述べる伝送処理シーケンス
により、状況に応じて、バッファメモリ２の符号化映
像、あるいは蓄積媒体８の符号化データをクライアント
に送信する。

【００１７】図４は、本発明の前提となるクライアント
主導型映像伝送システムにおけるサーバ、クライアント
間での映像伝送処理シーケンスを示す図である。なお、
サーバ側ではライブ映像（現在発生している映像）を符
号化し、クライアントに配信している状況とする。

【００１８】クライアントは、サーバに対して映像送信
要求（ＩＤ＝１を通知）を送信し、サーバは現在の送信
バッファ内の映像シーケンスグループＧＯＰ（１）の送
信を開始する。クライアントは受信後直ちに復号、提示
する。ここで復号処理はＧＯＰ全ての受信後ではなく、
フレーム単位のデータ受信後、速やかに行われる。クラ
イアントは受信バッファおよび回線状態を監視し、映像
がとどまる事無く提示できるように、映像送信要求（１
増加させたＩＤを通知）により次のデータを前もってサ
ーバに要求する。以上の処理を繰り返し、映像を提示す
る。

【００１９】図５は、本発明をクライアント主導型映像
伝送システムに適用した場合のサーバ、クライアント間
の映像伝送処理シーケンスを示す図である。

【００２０】回線状態の悪化（十分な伝送帯域の確保が
不可能な状態）によりサーバからクライアントヘの映像
シーケンスグループＧＯＰ伝送に時間がかかった場合
（図ではＧＯＰ（２）の伝送に相当）、あるいはクライ
アントでの処理能力の低下（映像提示以外の処理による
十分なマシンリソース確保が不可能な状態）によりＧＯ
Ｐの提示終了が通常より遅くなり、次の映像提示要求が
遅れた場合（図では、ＧＯＰ（３）の送信要求に相
当）、サーバでは所望のＧＯＰ（図では、ＧＯＰ（３）
に相当）が既に更新されて送信用のバッファメモリ２内
に存在せず、該ＧＯＰ送信が不可能な状況となる。この
時、サーバはＨＤ等の蓄積媒体８上に保存されている該
ＧＯＰと同じＩＤを持つフレーム重畳画像ＴＰを送信す
る（図では、ＴＰ（３）送信に相当）。ＴＰはデータフ
ォーマット上はＧＯＰと同様（単にＩフレーム１枚のみ
の映像データと解釈される）なので、通常のＧＯＰと同
様に復号、提示される。該ＴＰの提示中にクライアント
は次のＧＯＰの送信をサーバに要求する（図では、ＧＯ
Ｐ（４）の送信要求に相当）。ＴＰはＧＯＰよりもデー
タ量が少ないので、伝送時間もクライアントでの提示時
間も短時間となり、ＴＰの送受信および提示を繰り返す
間に、映像提示に追いつき、映像（ＧＯＰ）の提示が可
能となる（図では、ＴＰを２回提示した後、ＧＯＰ
（５）で映像提示に追いついた状態を示している）。

【００２１】なお、静止画像を伝送するか否かはクライ
アント側で選択できるようにすることも可能である。

【００２２】

【発明の効果】以上説明したように、本発明によれば、
クライアント主導型映像伝送システムにおいて、回線や
クライアント端末の処理能力によって、サーバ側で符号
化する映像を全てはリアルタイムで受信不可能な場合で
あっても、映像を補完する静止画を受信、提示する事に
よって、映像情報の欠落を防ぐ事が可能となる。

【図面の簡単な説明】

【図１】本発明の映像入力および符号化時の処理ならび
に装置構成を示すブロック図である。

【図２】符号化部における符号化方式を説明する概念図
である。

【図３】フレーム重畳画像作成処理を示す概念図であ
る。

【図４】クライアント主導型映像伝送システムにおける
映像伝送処理シーケンスを示す図である。

【図５】本発明をクライアント主導型映像伝送システム
に適用した場合の映像伝送処理シーケンスを示す図であ
る。

【符号の説明】

１…符号化部 ２…バツファメモリ ３…フレーム重畳画像作成部 ４…フレーム選択部 ５…フレーム重畳部 ６…符号化部 ７…Ｉフレーム挿入部 ８…蓄積媒体 ９…送信部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ネットワーク上で、クライアントがサー
   バに対して映像送信要求を行なうクライアント主導型映
   像配信システムにおけるサーバ側の映像データ伝送装置
   であって、 前記映像送信要求による映像の伝送時に、状況によりク
   ライアントの所望の映像を、あるいは前記所望の映像に
   代えて前記所望の映像を要約した画像を伝送する手段を
   具備する、 ことを特徴とする映像データ伝送装置。
2. 【請求項２】 前記所望の映像を、あるいは前記所望の
   映像に代えて前記所望の映像を要約した画像を伝送する
   手段は、 伝送すべき映像を符号化し識別標を付与する手段と、 前記伝送すべき映像内で一定間隔あるいは映像の動き量
   に応じて複数のフレームを選択し該フレームを重ね合わ
   せて一枚の静止画像を作成する手段と、 前記静止画像を符号化する手段と、 前記符号化した静止画像を前記伝送すべき映像と同じ識
   別標を付与して蓄積する手段と、 映像送信要求による所望の映像を前記識別標により識別
   して前記符号化された映像を、あるいは前記蓄積された
   静止画像を状況に応じて送信する手段と、 を具備することを特徴とする請求項１に記載の映像デー
   タ伝送装置。
3. 【請求項３】 前記伝送すべき映像を符号化し識別標を
   付与する手段は、映像シーケンス中で一定間隔あるいは
   シーンチェンジ時にフレーム内符号化、それ以外の時に
   はフレーム間符号化を実施し、前記フレーム内符号化を
   実施した隣接する２つのフレーム間に存在する画像フレ
   ームを映像シーケンスグループとし、該映像シーケンス
   グループを識別するＩＤを付与して送信用の記録媒体又
   はメモリに順次蓄積する手段であり、 前記静止画像を作成する手段は、前記映像シーケンスグ
   ループ内で一定間隔あるいは映像の動き量に応じて複数
   のフレームを選択し、該フレームを重ね合わせて一枚の
   静止画像を作成する手段であり、 前記静止画像を符号化する手段は、前記作成された静止
   画像を前記フレーム内符号化と同様に符号化する手段で
   あり、 前記符号化した静止画像を前記伝送すべき映像と同じ識
   別標を付与して蓄積する手段は、前記静止画像を符号化
   したデータを対応する前記映像シーケンスグループと同
   値の識別ＩＤを付与して記録媒体あるいはメモリに蓄積
   する手段であり、 前記符号化された映像を、あるいは前記蓄積された静止
   画像を状況に応じて送信する手段は、映像送信要求によ
   る所望の映像を前記識別ＩＤにより識別して、前記符号
   化された映像を、あるいは前記蓄積された静止画像を状
   況に応じて送信する手段である、 ことを特徴とする請求項２に記載の映像データ伝送装
   置。
4. 【請求項４】 まず、クライアントからサーバヘ所望の
   映像シーケンスグループの識別ＩＤを通知することによ
   り映像送信要求を行い、 次に、前記サーバは、前記クライアントの所望の映像シ
   ーケンスグループの識別ＩＤと現在送信用のバッファ内
   に存在する送信可能な映像シーケンスグループの識別Ｉ
   Ｄとを比較し、前記所望の映像シーケンスグループの識
   別ＩＤが存在する場合には、前記バッファ内の映像シー
   ケンスグループの映像符号化データを送信し、前記所望
   の映像シーケンスグループの識別ＩＤが存在しない場合
   には、前記映像シーケンスグループの識別ＩＤと同じ識
   別ＩＤを持つ映像シーケンスグループの映像を要約した
   静止画像の符号化データを送信し、 次に、前記クライアントは、前記サーバから送信された
   前記映像符号化データあるいは前記静止画像の符号化デ
   ータを提示する、 ことを特徴とする映像データ伝送方法。