JPH11331839A - 映像伝送再送の装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 映像データをネットワークを介して伝送し即
時に再生する場合において、受信側が伝送に誤りの生じ
たデータすべてに対して再送を要求することなく、重要
な情報の欠落を回避することを目的とする。 【解決手段】 伝送装置の送信機100で、映像データを
再生したときの画面の位置情報を検査し、画面中心から
の距離に応じて中心から近いデータに対しては高い重要
度を、離れているデータに対しては低い重要度を付加
し、重要度の高い順にデータを送信する。受信機200
で、伝送の誤りを検出したら誤りの生じたデータの重要
度を調べ、重要度に応じて再送するかしないかを判定す
る。高い重要度を持つデータに対しては再送要求を行
う。この方式により、伝送に誤りが生じても重要度の高
いデータは再送を行うので重要な情報を持つ可能性のあ
るデータの欠落を防ぐことを実現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】ネットワークを介した映像伝
送において、通信によるデータの欠落時に、データの再
送をする映像伝送装置に関する。

【０００２】

【従来の技術】近年、インターネットが普及し、ネット
ワークを介した情報伝達が頻繁に行われるようになっ
た。文字、画像、音声といった、さまざまな形態の情報
がやり取りできるようになっている。動画もその一種で
ある。そして、あらかじめ録画された映像だけでなく、
ライブ中継や監視などのために、撮影された映像を、情
報を受け取る側に即時に伝送し、再生するといった需要
も高まっている。

【０００３】通常、インターネット通信にはTCP(Transm
ission Control Protocol )とUDP(User Datagram Proto
col)という通信プロトコルが使われている。この二つの
プロトコルの特徴について簡単に述べる。

【０００４】ＴＣＰは、コネクション型の通信であり、
信頼性の高い通信機能を保証する。送信するパケットの
ヘッダ内に、誤り検出用のチェックサムをつけて送信す
る。受信側では、誤りを検出したら送信側に再送を自動
的に要求する。したがって、正しいデータの伝送を保証
するため、信頼性の高い通信をすることができる。しか
し、コネクションを開設するために伝送帯域を大きく使
い、またすべての誤ったデータに対して再送処理を行う
ので、データの伝送に遅延が生じる可能性がある。

【０００５】ＵＤＰは、コネクションレス型の通信であ
る。受信されたデータが送信されたとおりのものかどう
かを検証しないため、信頼性の高い通信機能を保証する
わけではない。したがって、データに誤りや欠落が発生
し、信頼性が低くなる。しかし、コネクションを開設し
たり解放する手間がないために、高速に伝送処理をする
ことができる。

【０００６】動画はサイズの大きい連続データであるの
で、リアルタイムで再生する場合、高速に送る必要があ
る。インターネットで動画を伝送する場合、高速に送信
できるUDPを使うことが多い。

【０００７】連続データを伝送する装置として、「特開
平9-191314号公報」がある。これは送信側が、伝送する
パケットにデータが到着して再生されるまでの制限時刻
を示すタイムスタンプ情報をつける。受信側は、データ
の誤りを検出したら、タイムスタンプの時刻とシステム
クロックを比較し、タイムスタンプに押された受信制限
時刻に余裕のあるパケットに限って再送要求を行い、受
信制限時刻を越えている場合は、誤りを検出しても再送
要求をしない、というものである。

【０００８】図21を用いてこれらの動作について簡単に
説明する．この連続データ伝送装置は、映像データ1を
送信する送信機100と受信する受信機200から構成され
る。

【０００９】送信機100は、データの到着制限時刻を示
すタイムスタンプを押すタイムスタンプ押印部141と、
タイムスタンプを付加したパケットを生成するパケット
生成部142と、パケットを送受信する送受信管理部143
と、受信側から再送要求があった場合に指定パケットを
再度送信指示をする再送管理部144から構成される。

【００１０】受信機200は、パケットを送受信する送受
信管理部241と、パケットの誤りを検出するパケット解
析部242と、データの到着時刻とタイムスタンプに示さ
れた制限時刻とを比較するタイムスタンプ比較部243
と、パケットの再送要求をするか判定する再送要求部24
4と、受信データを元のデータに戻して再生する映像再
生部245から成る。

【００１１】送信機100では、映像データ１を読み込ん
だら、タイムスタンプ押印部141が到着制限時刻Tsを算
出して、パケット生成部142がタイムスタンプ押印部141
からタイムスタンプ情報を取り出し、パケットのヘッダ
情報として付加する。送受信管理部143が生成したパケ
ットを送信する。

【００１２】受信機200では、送受信管理部241がパケッ
トを受信して、パケット解析部242で誤り検出を行い、
同時にタイムスタンプ情報を読み取り、タイムスタンプ
比較部243に送る。タイムスタンプ比較部243で、システ
ムクロックが示す現在時刻Scと、パケットに押印された
到着制限時刻Tsと、あらかじめ見積もっていた再送にか
かる時間Trから再送要求を判定する。Ts≦Sc の場合
は、再送を行わない。Ts>Sc の場合は、さらに比較をす
る。Ts-Sc≦Tr ならば、再送を行わない。Ts-Sc>Tr な
らば、再送要求部244に通知する。再送要求部244では、
誤りを検出したパケットの再送要求するパケットを生成
して、送受信管理部241で送信する。

【００１３】

【発明が解決しようとする課題】しかしながら従来の技
術では、データ伝送の誤りが発生したとき、再送をして
も送信側が押印したタイムスタンプに示される到着制限
時刻Tsに間に合うときに限って、再送要求を行ってい
た。このため、受信した時刻Scがすでにタイムスタンプ
に示された到着制限時刻Tsを超過している場合、または
再送をすると到着制限時刻Tsを超える場合、パケットの
再送を行わない。パケットの再送を行わないで受信機が
映像データを再生したとき、欠落したパケットが持って
いたデータの部分の映像を正しく再生することはできな
い。このような部分が画面の中心近くにあったときや、
映像のシーンが大きく変わったときなどは、視聴者にと
って重要な情報を持つ映像が再生されない可能性があ
る、という課題がある。

【００１４】また、ネットワークの伝送速度が一定でな
いと、パケットの受信が連続して遅くなる。このような
ときにパケットの伝送で誤りが生じると、パケット受信
時刻Scが到着制限時刻Tsを越えたためにパケットを破棄
することになる。誤りの生じたパケットが連続して大量
に発生した場合には、１フレーム分の映像データを受信
できなくなることもある。その結果、動画のフレームレ
ートが低くなる、という課題がある。

【００１５】本発明は、映像データをデータ生成時間と
同じ時間で再生する場合、誤ったデータの再送による映
像のフレームレートの低下を防ぎ、誤りが生じたデータ
に対して、すべて再送を要求するのではなく、しかしな
がら、重要な情報の欠落を回避してデータの伝送を行う
ことを目的とする。

【００１６】

【課題を解決するための手段】この課題を解決するため
に本発明は、送信する映像データに（1）再生時に画面
上でどの位置に表示されるかという位置情報、（2）伝
送処理中であるフレームよりも一つ前のフレームにおい
て、送信する映像データと同位置の映像データに変化が
あったかどうかという変化の度合い、（3）伝送処理中
であるフレームと一つ前のフレームとを比較してフレー
ム全体の映像シーンに変化があるかというシーンの相
関、（4）送信機が複数の異なる映像を読み込んで映像
データ送信する場合に、それぞれの映像を相対的に比較
して映像として動きが大きいか少ないかという相関関
係、を算出する。

【００１７】その結果をもとに送信するデータの重要度
を決定して、送信機は送信するデータの単位であるパケ
ットを送信し、受信機はデータに誤りを検出した場合
は、データの重要度に応じて再送を要求する。この手段
をとることによって、重要であると思われる情報を持つ
データに対してが欠落したときには再送し、重要な画面
情報の欠落を回避することを実現する。

【００１８】

【発明の実施の形態】本発明の請求項1に記載の発明
は、ネットワークを介した通信を行うときに、データ伝
送誤りが生じた場合、重要な情報の欠落を防ぐために、
映像データを伝送する送信機が映像データを表示したと
きの画面の位置情報からデータに重要度を付加して伝送
することを特徴とした映像伝送再送装置であり、データ
に重要度をつけることによって、通信時にデータが欠落
したときに再送を行うかどうかを受信が我が判断するこ
とができるという作用を有する。

【００１９】本発明の請求項2に記載の発明は、映像デ
ータを伝送する送信機と、受信する受信機で、ネットワ
ークを介した通信を行うときに、送信機が映像データを
表示したときの画面の位置情報からデータに重要度を付
加して伝送し、データが正しく伝送されなかったときに
受信機が重要度をもとに再送要求の判定をすることを特
徴とした映像再送伝送装置であり、受信側が通信時にデ
ータが欠落した場合にはそのデータの重要度に応じて再
送要求を行い、重要度の高いデータに対しては再送を行
うことによって映像データ再生時に重要な画面情報の欠
落を回避することができるという作用を有する。

【００２０】本発明の請求項3に記載の発明は、データ
を読み込むデータ読込み手段と、映像データが画面のど
の位置に表示されるかという位置情報を検査する位置情
報検査手段と、送信するデータの順位を決める送信順位
決定手段と、データを送信する単位であるパケットを生
成するパケット生成手段と、データを送信するデータ送
信手段と、データを受信するデータ受信手段と、正しく
伝送されなかったデータに対して受信側から再送要求が
あった場合にデータを再送する再送処理手段を備えた映
像伝送再送装置、としたものであり、データに重要度を
つけることによって、通信時にデータの欠落が生じた場
合に受信側が再送をするか判断し、重要なデータに対し
ては再送を行うという作用を有する。

【００２１】本発明の請求項4に記載の発明は、データ
を読み込むデータ読込み手段と、映像データが画面のど
の位置に表示されるかという位置情報を検査する位置情
報検査手段と、送信するデータの順位を決める送信順位
決定手段と、データを送信する単位であるパケットを生
成するパケット生成手段と、データを送信するデータ送
信手段と、データを受信するデータ受信手段と、正しく
伝送されなかったデータに対して受信側から再送要求が
あった場合にデータを再送する再送処理手段を備えた送
信機と、正しく伝送されなかったデータの誤りを検査す
るパケット解析手段と、正しく伝送されなかったデータ
の再送を要求するかどうかを判断する再送判定手段と、
再送要求を行う再送要求手段と、受信した映像データを
再生するデータ再生手段を備えた受信機を持つ映像伝送
再送装置、としたものであり、重要度の高いデータに対
しては再送を行うことによって映像データ再生時に重要
な画面情報の欠落を回避することができるという作用を
有する。

【００２２】本発明の請求項5に記載の発明は、映像デ
ータが画面のどの位置に表示されるかという位置情報を
もとに、映像データの1フレームを構成する要素となる
データが画面の中心からどれくらい離れているかを設定
する距離設定手段と、中心からの距離とデータの重要度
の関係を記述したしきい値情報から重要度が矩形に分布
するように決定する重要度決定手段を備えた映像伝送再
送装置、としたものであり、画面の位置情報から矩形に
分布した重要度を決定することができ、映像表示画面も
また矩形であるので表示画面に応じた重要度を決定する
という作用を有する。

【００２３】本発明の請求項6に記載の発明は、映像デ
ータをバッファにいれるバッファ処理手段と、バッファ
に蓄えられた伝送処理中のフレームより一つ前以上のフ
レーム情報から、伝送処理中のフレームを構成するデー
タと画面に表示したときに同位置に表示されるデータを
参照して、データの長さを比較することによってデータ
が持つ映像情報が変化したかどうかを判定するデータ長
比較手段を備えた映像伝送再送装置としたものであり、
データ長の変化から重要度を決定するという作用を有す
る。

【００２４】本発明の請求項7に記載の発明は、前フレ
ーム情報から一つ以上前のフレームとの変化の度合いを
比較するフレーム比較手段を備えた映像伝送再送装置と
したものであり、フレーム同士の変化の度合いから重要
度を決定するという作用を有する。

【００２５】本発明の請求項8、9に記載の発明は、送信
側が異なる複数映像データを読込み、受信側は異なる複
数映像データを同一画面上で複数表示するマルチ画面に
おいて、複数の映像の中で相対的に比較して動きが大き
いものと小さいものの相関関係を判定し管理するマルチ
画面管理手段を備えた映像伝送再送装置としたものであ
り、映像の相関関係から重要度を決定するという作用を
有する。

【００２６】以下に、本発明の各実施の形態について、
図1から図20を用いて説明する。なお、本発明はこれら
実施の形態に何等限定されるものではなく、その要旨を
逸脱しない範囲において、種々なる態様で実施し得る。

【００２７】（実施の形態１）本実施例では、送信機10
0が映像データに表示画面における位置情報をもとに重
要度をつけて伝送し、受信機がデータの伝送に誤りが生
じたときにデータの重要度に応じて再送を要求するか判
断する映像伝送再送装置について説明する。本装置の構
成図を図1に示す。

【００２８】図1において、１は映像データ、100はデー
タを送信する送信機、200はデータを受信する受信機で
ある．送信機100は、映像データ1を読み込むデータ読込
み部101と、映像データのフレームを構成するブロック
の位置情報を検査する位置情報検査部102と、位置情報
から送信するブロックの順位を決める送信順位決定部10
3と、送信するパケットを生成するパケット生成部104
と、データを送信するデータ送信部105と、データを受
信するデータ受信部106と、受信機から再送要求があっ
た場合に指定されたパケットを再送させる再送処理部10
7から構成される。

【００２９】受信機200は、送信機から送信されたデー
タを受信する受信部201と、受信したパケットの誤りや
欠落を検査するパケット解析部202と、パケットに対す
る再送要求をするかどうかを判断する再送判定部203
と、再送判定部で再送要求が決定したパケットに対して
再送要求を行う再送要求部204と、再送要求のデータを
送信するデータ送信部205と、受信した映像データを再
生するデータ再生部206から構成される。

【００３０】本実施例で扱う映像データ1とパケットに
ついて説明する。本実施例では、DVやJPEGの圧縮方式の
ように映像データがフレームごとに構成されるものを扱
う。図2に本実施例で扱う映像データとパケットの概念
図を示す。

【００３１】まず送信機100で扱う映像データとパケッ
トについて説明する。フレームは、動画を構成する画面
の単位である（21）。DV圧縮方式では1秒間に30フレー
ムを連続して表示することによって動画を構成する。圧
縮により符号化したフレームは、複数の可変長ブロック
で構成される（22）。本実施例では、それぞれのブロッ
クに対して重要度を決定する。一つのブロックは、複数
のフレームの情報を持たない。ネットワーク通信におい
て、伝送するデータの単位であるパケットは、複数のブ
ロックを集結してデータ部分を構成し、データ部分にヘ
ッダ情報を付加して構成される（23）。

【００３２】本実施例で扱うパケットは、ヘッダ情報と
して、パケット番号、伝送するフレームの番号、重要
度、伝送するフレームのなかで等しい重要度を持つパケ
ットの総数、という情報を持つ（24）。

【００３３】パケットのデータ部分を構成するブロック
は、同一フレームを構成するものであり、同じ重要度を
つけたブロックで構成されるように生成する。異なるフ
レームの情報を持つ、また異なる重要度を持つブロック
からパケットは生成しない。これは、次の二つの理由か
らである。(1)本実施例で扱う映像データ1はフレーム単
位で伝送／再生の処理をするからである。（2）受信機2
00で伝送に誤りの生じたパケットには、再送要求するか
しないかをパケットのヘッダ情報につけられた重要度で
判定するからである。したがって、一つのパケットに対
して重要度が一つに決まる。そして、パケットは重要度
の高い順番に送信する。これは、次の二つの理由からで
ある。（1）重要度の高い順にパケットを送信すると、
受信機200で伝送に誤りの生じたパケットに対して再送
要求の判定をするときに、誤りが生じたパケット番号の
前後の番号を持つパケットも重要度順に並んでいるの
で、前後のパケットが持つヘッダ情報にある重要度を参
照して欠落したパケットの重要度を判断することができ
る。（2）重要度が高いパケットは、伝送に誤りが生じ
ても必ず再送するように受信機200が判定するので、重
要度の高いパケットを1フレーム分のデータを伝送する
処理の中で最後の方のパケットで送ったために、再送を
するとその欠落したパケットが再送されるまで受信機が
映像データ再生開始を待ち、データ再生時刻が遅くなる
ことを防ぐ。受信機200が再送要求するパケットは、パ
ケット番号と、再送を要求するデータのフレーム番号
と、再送を要求するパケット番号から構成されている
（25）。

【００３４】本実施例では、映像データを表示したとき
に画面の中心に近い位置に表示される情報を持つブロッ
クに対して高い重要度を、中心から離れていくにしたが
って低い重要度をつける。これは、（1）一般的に映像
データを生成するときは、画面の中心に焦点を当てるた
め、中心に近い位置ほど重要な情報が含まれる、（2）
映像データを見る視聴者も画面の端よりも中央に近い位
置を見ている時間が長い、という理由からである。図3
に位置情報をもとに重要度をつけた映像データの概念図
を示す。この例では、1フレームが100個のブロックから
構成され、重要度を最も高いレベルを1、最も低いレベ
ルを5のように5段階に設定している。したがって、映像
表示画面で中心に近い位置では重要度が1、画面の端に
近い位置では重要度5となる。

【００３５】送信機の処理の流れについて説明する。送
信機100は、まずデータ読込み部101で映像データ1を読
み込む。データ読込み部101で読み込んだ映像データ1
を、位置情報検査部102が、映像データ1が再生されたと
きに画面上で表示される位置の情報をそれぞれのブロッ
クに対して検査する。そして、検査した位置情報を送信
順位決定部103に渡す。送信順位決定部103では、位置情
報をもとにブロックの重要度を決める。映像データ再生
画面において、中心に近い位置の情報を持つブロックに
は高い重要度を、中心から離れるにしたがって、低い重
要度をブロックにつける。送信順位決定部103で送信順
位が決まったブロックを、パケット生成部104では、同
じ重要度を持つブロックを1パケットのデータ分集め、
ヘッダ情報をつけ、送信するパケットとして生成する。
データ送信部105が、パケット生成部で生成したパケッ
トを送信する。

【００３６】受信機200の動作を図4、5、6を用いて説明
する。図4は誤りの生じたパケットの再送までの処理の
流れ、図5は誤りの生じたパケットの重要度を判定する
処理の流れ、図6は欠落したパケットの概念図である。
受信機200は、データ受信部201で送信機100から送信さ
れたデータを受信する(41)。データ受信部201で受信し
たデータを、パケット解析部202で解析する。ここで
は、パケットが完全な形で送られていないという「伝送
の誤り」があるか判定する(42)。図6の例では、パケッ
ト番号10番のパケットが欠落して、伝送の誤りが生じた
ことを示す。判定した結果を再送判定部203に通知し、
誤りがあったと判定された場合には、誤りの生じたパケ
ットの重要度を判別する(43)。図5の例では、誤りの生
じたパケット番号の前後の番号をもつパケットのヘッダ
情報を参照して、重要度を判定する。図6の場合では、1
0番のパケットが欠落したので、まず始めに9番のパケッ
トのヘッダ情報を参照する(51)。ヘッダ情報によると、
9番のパケットがもつデータのフレーム番号6、データの
重要度はK1=1、フレーム番号6において重要度K1を持つ
パケットの総数N1が10であることがわかる。10番より前
のパケット番号をもち、すでに受信したパケットの中で
重要度K1を持つもの総数を数え、N1と比較する(52)。N1
に満たないなら、このパケットの重要度はK1と判定する
(53)。N1に達しているならば、欠落したパケットの次の
パケットを参照する(54)。（62）の場合では、11番のヘ
ッダ情報を参照する。11番のパケットのヘッダ情報によ
ると、11番のパケットの重要度はK2=2であるから、欠落
した10番のパケットの重要度はK2と判定する(55)。本実
施例では、あらかじめ再送要求をするかしないかを決定
する重要度のしきい値を設定しておく。（43）で重要度
を判定したら、しきい値と比較する(44)。しきい値に記
述してある重要度よりも判定した重要度が高かったら、
再送判定部203が、再送要求部204に通知する(45)。判定
した重要度がしきい値にある重要度よりも低かったら、
現時刻Tcと再送に要する時間Trをたしたものと、あらか
じめ決めた処理中のフレームの再生開始時間Tpを比較し
て(46)、再送をしても間に合うならば、上記と同様に再
送を要求する(45)。再送要求部204が再送を要求するパ
ケット番号とフレーム番号から再送要求のパケットを生
成して、データ送信部205が再送を要求するパケットを
送信する。なお、再送に要する時間Trと再生開始時間Tp
は、あらかじめ受信機200が決めたものであり、決定方
法については特定しない。

【００３７】受信機200がパケットの誤りや欠落を検出
し再送を要求してきたならば、送信機100のデータ受信
部106で、その再送要求パケットを受信して、再送処理
部107に通知する。再送処理部107では、伝送されたパケ
ットから、送信機100が伝送して誤りの発生したパケッ
トを判定する。そしてパケット生成部104へパケット番
号を通知する。パケット生成部104が指定されたパケッ
トを再生成し、データ送信部105で再送する。

【００３８】受信機200の映像データ再生部206は、1フ
レーム分の映像データを受信し終わったら、映像を再生
する。

【００３９】このように、本実施の形態では、送信側が
映像を表示したときの画面のどの位置に表示されるかと
いう位置情報からデータに重要度をつけることによっ
て、受信側が通信時にデータが欠落した場合にはそのデ
ータの重要度に応じて再送要求を行い、例えば画面の中
心にあるデータに対しては必ず再送を行うなど、映像再
生時に重要な画面情報の欠落を回避することができ、そ
の実用的効果は大きい。

【００４０】（実施の形態２）実施の形態１では、画面
の位置情報からデータに重要度をつけ、それをもとに受
信機200が誤りの生じたデータに対する再送要求の判定
を行った。ここでは、画面の位置情報からデータの表示
画面における座標を求め、それによってデータの重要度
を決定する機能を持った装置について説明する。

【００４１】図7は、画面の位置情報から重要度を決定
する映像再送伝送装置の送信機の構成を示したものであ
る。本実施の形態では、図7において、1は映像データ、
100はデータを送信する送信機、200はデータを受信する
受信機である。

【００４２】送信機100は、実施の形態1の構成に、位置
情報検査部102で求めた位置情報から座標を求めて中心
からの距離を決定する距離設定部108と、送信するデー
タの重要度を決めるしきい値情報110を参照して重要度
を決定する重要度決定部109を追加してある。その他の
構成は、図1に示す実施の形態1の構成と同じである。

【００４３】図8に本実施の形態で述べる方法で重要度
を決定した画面の例を示す。実施の形態1では、画面の
中心からの距離に応じて、データの重要度を決定した。
データの表示位置と中心との間の距離を計算して、実施
の形態1と同様に5段階に重要度を決定すると（81）のよ
うに同じ重要度を持つデータの範囲が円状に分布する。
しかし、通常映像を表示する画面は長方形であるので、
矩形に重要度を決定する方が表示画面に応じた重要度を
つけることができる（82）。そこで、本実施の形態で
は、表示画面における位置情報から座標を求め、矩形に
重要度を決定する方法について説明する。

【００４４】図9に、位置情報から重要度を決定する処
理のフローを示す。距離設定部108は、位置情報検査部1
02で取得した位置情報から、映像表示画面の中心からの
距離を求める。映像再生画面において中心となる点を
(0,0)、右上端を(1,1)とした座標上で、検査対象となる
映像データの表示位置の座標を取得する(91)。図10に座
標軸とデータの座標を取得する例を示す。この例では、
取得した座標は(0.5,0.3)となる。そして、取得した座
標のx座標とy座標の絶対値を比較する(92)。x座標の絶
対値の方が大きければ、中心からの距離はx座標の絶対
値に設定し(93)、x座標の絶対値の方が小さければ、中
心からの距離はｙ座標の絶対値に設定する(94)。

【００４５】図10の例の場合は、座標が(0.5,0.3)とな
るので、中心からの距離が0.5となる。そして、中心か
らの距離と重要度の相関関係情報が記述してあるしきい
値情報110を参照して、重要度を決定する(95)。例とし
て、しきい値情報110で、中心からの距離を百分率で表
した比率が20％づつ増えるごとに重要度が変化するとい
う相関関係が記述されている場合について示す。中心か
らの距離を百分率で表したものとは、中心からの距離が
0のときは0％、1のときは100％としたときの比率であ
る。

【００４６】図10の例の場合は、中心からの距離が0.5
なので、比率が50％となる。しきい値情報110で、中心
からの距離が20％未満の場合には重要度が１、20％以上
40％未満の場合には重要度が２、40％以上60％未満の場
合には重要度が3、60％以上80％未満の場合には重要度
が4、80％以上の場合は重要度が5、のように定義されて
いたとする。この場合、図10にの例では、比率が50％な
ので重要度が3に決定される。

【００４７】このように、本実施の形態では、映像再生
時の画面の位置情報を取得して、容易に重要度を決定す
ることができる。また、中心からの距離が矩形に決定す
ることによって、画面の面積比に応じた重要度をつける
ことができ、その実用的効果は大きい。

【００４８】（実施の形態３）実施の形態1では、映像
表示画面の位置情報をもとに重要度を決定した。実施の
形態3では、データに重要度を決定するときに、伝送中
のフレーム（現フレーム）より一つ以上前のフレーム
（前フレーム）における同位置のデータと比べて変化が
あったかどうかで重要度を決定する。変化があったかど
うかは、一つ以上前のフレームにおける同位置のデータ
の長さを比較することによって判定する。DV圧縮データ
では、1フレームの映像を構成するデータの単位をブロ
ックという。同じ映像情報を持つ二つのブロックは、再
生したときに同じ映像を表示し、ブロックのデータの長
さ（ブロック長）は等しい。

【００４９】そこで本実施の形態では、伝送中のフレー
ムにおけるブロックを一つ以上前のフレームにおいて映
像再生時に同じ位置の映像情報を持つブロックの長さを
比較して、ブロック長が等しい場合には同じ映像が表示
され、映像に変化がなかったものとする。変化があった
場合には、前フレームの映像とは異なり、パケットが欠
落しても前のフレームで補えない場合があるので、重要
度を高くする。もし、変化がなかったとされたものな
ら、パケットが欠落しても前フレームのブロックを補う
ことができるので、再送要求の判定の元になる重要度を
低くする本実施の形態では、伝送中のフレームよりも一
つ前のフレームを前フレームとして扱った。なお、前フ
レームは一つ前のフレームに限定するものではない。ま
た本実施の形態では、比較するデータの単位をブロック
としたが、これはブロックに限定するものではない。

【００５０】図10は、ブロック長を比較して重要度を決
定する映像再送伝送装置である．本実施の形態では、図
11において、1は映像データ、100はデータを送信する送
信機、200はデータを受信する受信機である。

【００５１】送信機100は、実施の形態1の位置情報検査
部102に代わって、映像データのブロックをバッファに
入れ、また参照する必要がなくなったバッファの中身を
削除するバッファ処理部111と、バッファに確保された
前フレーム情報から、現フレームのブロックと同位置の
前フレームのブロックを獲得し、長さを比較するブロッ
ク長比較部112を追加したものである。その他の構成
は、図1に示す実施の形態1と同じである。

【００５２】受信機200は、実施の形態1に再生時に欠落
したデータを補う前フレーム情報207を付加したもので
ある。

【００５３】送信機100の処理の流れについて説明す
る．送信機100は、実施の形態１と同様にデータ読込み
部101が映像データ1を読み込む。読込んだデータを、バ
ッファ処理部111がブロックごとにバッファに確保し、
不必要となったフレーム情報を順次バッファから消去し
ていく。バッファ処理部111によってバッファに確保さ
れたデータは、前フレーム情報113として取っておく。

【００５４】ブロック長を比較して重要度を決定する処
理の流れを図13に示す。ブロック長比較部112は、デー
タ読込み部101で読み込んだ現フレームのデータから重
要度決定対象となるブロックの長さL1を取得する(13
1)。また、前フレーム情報113から、現フレームの重要
度決定対象であるブロックと表示画面において同じ位置
にある前フレームのブロックのブロック長L0を取得する
(132)。現フレームのブロック長L1と前フレームのブロ
ック長L0を比較し(133)、L0≠L1ならば高い重要度を（1
34）、L0=L1ならば低い重要度を（135）つける。図12に
ブロック長比較の概念図を示す。前フレームと現フレー
ムを比較して、（121）はブロック長が等しい場合を、
（122）はブロック長が異なる場合を示している。図13
では、映像に変化があったと判定された場合は重要度を
1に、変化がなかったと判定された場合には重要度を5に
決定した場合の例である。

【００５５】そして実施の形態１と同様に、パケット生
成部104でパケットを生成し、データ送信部105で生成し
たパケットを送信する。また、再送要求があった場合に
は、データ受信部106で受信機200からの再送要求パケッ
トを受信し、再送処理部107で指定されたパケットを判
定し再送の処理を行う。

【００５６】受信機200は、実施の形態１と同様に、デ
ータ受信部201がデータを受信し、パケット解析部202で
誤りや欠落が生じたか解析する。誤りや欠落が生じた場
合には、再送判定部203がデータの重要度をもとに再送
要求の判定を行う。再送要求部204が、重要度の高いデ
ータに対しては再送要求をし、低いデータに対しては行
わない。1フレーム分のパケットを受信し終わったら、
データ再生部206が映像を再生する。ここで欠落してい
る映像データ、すなわち伝送に誤りが生じてもパケット
の再送を行わなかったデータがあったら、データ再生部
206は、あらかじめバッファに蓄えられていた前フレー
ム情報207から一つ前のフレームで同じ位置に表示され
るデータを取得して、欠落したデータの代わりに補う。
また、データ再生部206は、現在処理中のフレームのデ
ータは、次のフレームのためにバッファに確保してお
く。

【００５７】このように、本実施の形態では、伝送中の
フレームの映像データと、伝送中のフレームより一つ前
のフレームにおける同位置のデータを比較して、映像に
変化があったかどうかを判定し、重要度をつける。この
ことによって、通信時にデータが欠落した場合には、そ
のデータの重要度に応じて再送要求を行い、映像再生時
に重要な画面情報の欠落を回避することができ、その実
用的効果は大きい。

【００５８】（実施の形態４）実施の形態１では、位置
情報をもとに重要度を決定した。実施の形態4では、重
要度を決定する手法として、位置情報に加えて、伝送中
であるフレーム（現フレーム）と、伝送中のフレームよ
り一つ以上前のフレーム（前フレーム）とを比較して、
フレーム全体の映像として変化があったか、シーンが変
わったかという変化の度合いによって重要度を決定す
る。図14は、実施の形態1にフレームの変化の度合いを
比較して重要度を決定する機能を付加した映像再送伝送
装置である。

【００５９】本実施の形態では、フレームのシーンの変
化が大きいときは重要度を高く、変化が小さいときは重
要度を低く設定する。これは、シーンに変化がなかった
場合には、前フレームの映像と近似している可能性が高
いので、パケットが欠落しても前フレームのブロックを
補うことができるものとして、再送要求の判定の元にな
る重要度をフレーム全体で低くする。シーンが変わった
場合には前フレームの映像とは異なり、パケットが欠落
しても前のフレームで補えないので、フレーム全体の重
要度を高くしてパケットの欠落を回避する。

【００６０】二つのフレームに変化があったかどうかの
度合いを測る方法として、本実施の形態では関数K=Y(F
0,F1)を利用する。これは、あらかじめ決められた関数
であり、二つのフレーム情報 F0,F1を引数として、二フ
レーム間の変化の度合いを表す変数Kの値を返す。な
お、変化の度合いを求める関数Yについては、本実施の
形態では特定しない。

【００６１】本実施の形態では、伝送中のフレームより
も一つ前のフレームを前フレームとして扱った。なお、
前フレームは一つ前のフレームに限定するものではな
い。

【００６２】本実施の形態では、図14において、1は映
像データ、100はデータを送信する送信機、200はデータ
を受信する受信機である。

【００６３】送信機100は、実施の形態1に読み込んだデ
ータを前フレーム情報113としてバッファに入れるバッ
ファ処理部111と、処理中のフレームと前フレームの変
化の度合いを比較するフレーム比較部114を追加したも
のである。それ以外の構成は、図１に示す実施の形態１
と同じである。受信機200は、図11に示す実施の形態3と
同じである。

【００６４】送信機100は、実施の形態１と同様にデー
タ読込み部101が映像データ1を読み込む。実施の形態3
と同様に、バッファ処理部111が復元したデータをブロ
ックごとにバッファに確保し、前フレーム情報113とし
て取っておく。

【００６５】位置情報検査部102と、フレーム比較部114
と、送信順位決定部103で、位置情報とフレームの変化
の度合いから重要度を獲得する処理の流れを図16に示
す。

【００６６】位置情報検査部102で、そのデータが再生
されたときにどの位置に表示されるかという位置情報を
検査する（161）。フレーム比較部114では，前のフレー
ムと処理中のフレームを比較して、変化の度合いを表す
変数K=Y(F0,F1) を算出する（162）。図15に前のフレー
ムと現フレームを比較して、シーンに変化があった場合
の例を示す。（151）のように映像の変化が少なけれ
ば、シーンに変化がないものとして、変化度Kの値が小
さくなる。（152）のように映像が大きく変わるものな
らば、シーンに変化があったものとして、変化度Kの値
が大きくなる。送信順位決定部103では、実施の形態1と
同様に、位置情報検査部102で検査した位置情報から、
重要度を設定する（163）。また、本実施の形態では、
あらかじめ設定された、Kの値によって変化が大きいか
小さいかを判定するしきい値を決定してある。このしき
い値を参照し、変化度Kと比較する（164）。Kがしきい
値よりも大きかったら、すなわち変化が大きいと判定さ
れたら、（163）で設定した重要度のレベルを最も高い
値にし直す（165）。Kがしきい値よりも小さかったら、
すなわち変化が少ないと判定されたら、（163）で設定
した重要度のレベルを解析し（166）、最低レベルでな
ければ、重要度のレベルを1下げる（167）。

【００６７】そして実施の形態１と同様に、パケット生
成部104でパケットを生成し、データ送信部105でパケッ
トを送信する。また、再送要求があった場合には、デー
タ受信部106で受信機からのパケットを受信し、再送処
理部107で指定されたパケットを判定し再送の処理を行
う。

【００６８】受信機200は、実施の形態１と同様に、デ
ータ受信部201がデータを受信し、パケット解析部202で
に誤りや欠落が生じたか解析する。誤りや欠落が生じた
場合には、再送判定部203がデータの重要度をもとに再
送要求の判定を行う。再送要求部204が、重要度の高い
データに対しては再送要求をし、低いデータに対しては
行わない。1フレーム分受信し終わったら、データ再生
部206が実施の形態3と同様にデータを再生する。

【００６９】このように、本実施の形態では、伝送中の
フレームの映像データと、伝送中のフレームより一つ前
のフレームとの変化の度合いを比較して、映像シーンに
変化があったかどうかを判定し、重要度をつける。この
ことによって、通信時にデータが欠落した場合には、そ
のデータの重要度に応じて再送要求を行い、映像再生時
に重要な画面情報の欠落を回避することができ、その実
用的効果は大きい。

【００７０】（実施の形態５）実施の形態１では、位置
情報をもとに重要度を決定した。実施の形態5では、重
要度を決定する手法として、位置情報に加えて、送信側
が複数の異なる映像データを伝送し、受信側が一画面上
で複数の異なる映像データを再生する装置において、読
み込んでいる複数の映像データを比較して、それぞれの
映像において一連のフレームの変化が大きいか小さい
か、すなわち複数の映像を表示する画面の中で映像とし
て相対的に比較して動きが大きいものであるか、または
動きが少ないものかを判定して重要度を決定する。

【００７１】本実施の形態では、複数の異なる映像デー
タを表示した画面（マルチ画面）において、相対的に動
きの大きいと判定した映像には高い重要度を、動きが少
ないと判定した映像には、低い重要度をつける。これ
は、動きの大きい映像は、フレームごとに映像が大きく
変化するので、一つ一つのフレームの重要性は高いと言
え、また、動きの少ない映像は、フレームが代わっても
映像の変化が少ないので、フレームの重要性は低いと言
えるからである。したがって、動きが小さいと判定され
た映像に対しては、フレーム全体に高い重要度を付加し
て、フレームレートが高くなるようにし、動きが小さい
と判定された映像には、フレーム全体の重要度を低くす
る。

【００７２】n画面の映像を表示するマルチ画面の中
で、映像として相対的に比較したとき動きが大きいもの
か、または動きが少ないかという度合い(映像相関)を測
る方法として、本実施の形態では関数P=Q(D1,D2,...,D
n)を利用する。これは、あらかじめ決められた関数であ
り、n個の映像情報D1,D2,...,Dnを引数とし、映像Dkを
マルチ画面におけるその他の映像との相関を表す相関変
数Pkを算出する関数である。なお、映像相関関数Qにつ
いては、本実施の形態では特定しない。

【００７３】図17と図18は実施の形態1に、複数の異な
る映像データを表示した画面（マルチ画面）において、
一つの映像が他の映像と比較して動きがあるかないかと
いう映像どうしの相関を求めることによって、重要度を
決定する機能を付加した映像再送伝送装置の受信機と送
信機である。

【００７４】本実施の形態では、図17において、1はDV
圧縮方式による映像データ、100はデータを送信する送
信機、300-Nは、一つの映像データ1を読み込んでパケッ
トを生成し、伝送するまでの一連の処理である。300-1
から300-Nまでは、同一構成でN種類の映像データをそれ
ぞれの処理が読み込んで、パケットを生成し伝送する構
成であることを示している。送信機100は、実施の形態
１に、映像データを伝送する処理の過程で、映像データ
の相関を判定し、管理するマルチ画面管理部115を追加
したものである。

【００７５】図18において、200はデータを受信する受
信機である。400-Nは、伝送された一つの映像データを
受信して再生する一連の処理の流れである。400-1から4
00-Nまでは、同一構成でN種類の映像データを受信して
再生する構成であることを示している。その他の構成
は、実施の形態１と同じである。

【００７６】送信機100は、実施の形態１と同様にデー
タ読込み部101が映像データ1を読み込む。位置情報検査
部102と、マルチ画面管理部115、と送信順位決定部103
で、位置情報とマルチ画面における映像の相関から重要
度を決定する処理の流れを図19に示す。

【００７７】位置情報検査部102で、映像データの表示
画面でどの位置に表示されるかという位置情報を検査す
る（191）。マルチ画面管理部115では、送信機100が複
数の映像を送信する場合に、それぞれの映像の画面上で
の相対的な動きを比較して、映像Dkを他の映像と比較し
たときの相関関数Pk=Ｑ（D1,D2,...,Dn）を算出する（1
92）。映像を比較する例として、図1７のように送信機
が四つのカメラの映像を読み込んで、マルチ画面におけ
る動きの大きさの相関について比較する場合について説
明する。ここでは、四つの映像の動きを比較して、例え
ばカメラ4のようなスポーツの映像やカメラ3のような動
く乗物の映像には、相関関数P3,P4を高く設定する。ま
た、カメラ1のような風景やカメラ2のような静物の映像
には、低い相関関数P1,P2を設定する。送信順位決定部1
03では、まず、位置情報検査部102で検査した位置情報
から、実施の形態1と同様に重要度を設定する（193）。
本実施の形態では、あらかじめマルチ画面管理部115で
求めたPkの値からデータにつける重要度を決定するしき
い値が設定されている。送信順位決定部103では、しき
い値を参照し、(192)で設定した相関関数Pkとしきい値
を比較する（194）。Pkがしきい値よりも大きかった
ら、すなわち映像の動きが大きい画面であると判定され
たら、（193）で設定した重要度のレベルを最も高い値
に設定し直す（195）。Pｋがしきい値よりも小さかった
ら、すなわち映像の動きが少ない画面であると判定され
たら、（193）で設定した重要度のレベルを解析し（18
6）、最低レベルでなければ、重要度のレベルを1下げる
（197）。

【００７８】そして実施の形態1と同様に、パケット生
成部104でパケットを生成し、データ送信部105でパケッ
トを送信する。また、再送要求があった場合には、デー
タ受信部106で受信機からのパケットを受信し、再送処
理部で指定されたパケットを判定し再送の処理を行う。

【００７９】受信機200は、実施の形態１と同様に、デ
ータ受信部201がデータを受信し、パケット解析部202で
誤りや欠落が生じたか解析する。誤りや欠落が生じた場
合には、再送判定部203がデータの重要度をもとに再送
要求の判定を行う。再送要求部204が、重要度の高いデ
ータに対しては再送要求をし、低いデータに対しては行
わない。1フレーム分データを受信したら、データ再生
部206が映像を再生する。

【００８０】このように、本実施の形態では、送信する
複数の映像において、高いフレームレートで伝送すべき
映像とフレームレートを落として影響が少ないものとを
判定して重要度をつける。このことによって、通信時に
データが欠落した場合には、そのデータの重要度に応じ
て再送要求を行い、映像再生時に重要な画面情報の欠落
を回避することができ、その実用的効果は大きい。

【００８１】

【発明の効果】以上のように本発明によれば、送信機が
映像データを生成し伝送し、受信機が即時に再生する場
合において、(1)誤りや欠落が生じたデータに対してデ
ータの重要度に応じて再送を行うので映像画面の重要な
情報の欠落を防ぐことができる、(2)誤りや欠落が生じ
たデータに対して、すべて再送を行うのではないので、
ネットワーク帯域の消費を軽減することができる、
（3）表示画面の位置座標から、中心からの距離を求め
て映像データのブロックの重要度を容易に決定できる、
（4）前のフレームと処理中のフレームの変化の度合い
を比較することによって映像データのブロックの重要度
を決定できる。（5）複数のカメラの映像を再生するマ
ルチ画面において、映像の相関を比較することによって
映像データのブロックの重要度を決定できる、という効
果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態1における映像伝送再送装
置の構成図

【図２】本発明の実施の形態1における映像データとパ
ケットの構成図

【図３】本発明の実施の形態1における重要度をつけた
映像データ例図

【図４】本発明の実施の形態1における再送判定処理の
流れ図

【図５】本発明の実施の形態1における重要度判定の流
れ図

【図６】本発明の実施の形態1における伝送に誤り生じ
たデータ例図

【図７】本発明の実施の形態2における映像伝送再送装
置の構成図

【図８】本発明の実施の形態2における重要度をつけた
映像データ例図

【図９】本発明の実施の形態2における重要度決定処理
の流れ図

【図１０】本発明の実施の形態2における中心からの距
離取得例図

【図１１】本発明の実施の形態3における映像伝送再送
装置の構成図

【図１２】本発明の実施の形態3におけるブロック長比
較例図

【図１３】本発明の実施の形態3における重要度決定処
理の流れ図

【図１４】本発明の実施の形態4における映像伝送再送
装置の構成図

【図１５】本発明の実施の形態4におけるフレーム比較
例図

【図１６】本発明の実施の形態4における重要度決定処
理の流れ図

【図１７】本発明の実施の形態5における映像伝送再送
装置の送信機の構成図

【図１８】本発明の実施の形態5における映像伝送再送
装置の受信機の構成図

【図１９】本発明の実施の形態5における映像相関比較
例図

【図２０】本発明の実施の形態5における重要度決定処
理の流れ図

【図２１】従来例の映像伝送装置の構成図

【符号の説明】

1 映像データ 100 送信機 101 データ読込み部 102 位置情報検査部 103 送信順位決定部 104 パケット生成部 105 データ送信部 106 データ受信部 107 再送処理部 108 距離設定部 109 重要度決定部 110 しきい値情報 111 バッファ処理部 112 ブロック長比較部 113 前フレーム情報 114 フレーム比較部 115 マルチ画面管理部 200 受信機 201 データ受信部 202 パケット解析部 203 再送判定部 204 再送要求部 205 データ送信部 206 データ再生部 207 前フレーム情報

Claims (9)

【特許請求の範囲】
1. 【請求項１】 データ伝送誤りが生じた場合、重要な情
   報の欠落を防ぐために、映像データを伝送する際に、そ
   の映像データが表示されたときの画面の位置情報からデ
   ータに重要度を付加することを特徴とした映像伝送方
   法。
2. 【請求項２】 データ伝送誤りが生じた場合、重要な情
   報の欠落を防ぐために、送信側が映像データを表示した
   ときの画面の位置情報からデータに重要度を付加して伝
   送し、受信側がデータに付加された重要度をもとに再送
   要求の判定をすることを特徴とした映像伝送再送方法。
3. 【請求項３】 データを読み込むデータ読込み手段と、
   映像データが画面のどの位置に表示されるかという位置
   情報を検査する位置情報検査手段と、前記位置情報から
   送信するデータの順位を決める送信順位決定手段と、前
   記送信順位に従ってデータを送信するデータ送信手段
   と、データを受信するデータ受信手段と、正しく伝送さ
   れなかったデータに対して受信側から再送要求があった
   場合にデータを再送する再送処理手段とを備えた映像伝
   送装置。
4. 【請求項４】 データを読み込むデータ読込み手段と、
   映像データが画面のどの位置に表示されるかという位置
   情報を検査する位置情報検査手段と、前記位置情報から
   送信するデータの順位を決める送信順位決定手段と、前
   記送信順位に従ってデータを送信するデータ送信手段
   と、データを受信するデータ受信手段と、 正しく伝送されなかったデータに対して受信側から再送
   要求があった場合にデータを再送する再送処理手段と、
   を備えた送信機と、 正しく伝送されなかったデータの誤りを検査する解析手
   段と、正しく伝送されなかったデータの再送を要求する
   かどうかを判断する再送判定手段と、再送要求を行う再
   送要求手段と、受信した映像データを再生するデータ再
   生手段と、を備えた受信機と、を有する映像伝送再送装
   置。
5. 【請求項５】 映像データが画面のどの位置に表示され
   るかという位置情報をもとに、映像データの1フレーム
   を構成する要素となるデータが画面の中心からどれくら
   い離れているかを設定する距離設定手段と、中心からの
   距離とデータの重要度の関係を記述したしきい値情報か
   ら重要度が矩形に分布するように決定する重要度決定手
   段とを備たことを特徴とする請求項３に記載の映像伝送
   装置、または請求項４に記載の映像伝送再送装置。
6. 【請求項６】 映像データを送信側のバッファにいれる
   バッファ処理手段と、バッファに蓄えられた伝送処理中
   のフレームより一つ以上前のフレーム情報から、伝送処
   理中のフレームを構成するデータと画面に表示したとき
   に同位置に表示されるデータを参照して、データの長さ
   を比較することによってデータが持つ映像情報が変化し
   たかどうかを判定するデータ長比較手段とを備え、 データ長の変化から重要度を決定することを特徴とする
   請求項３に記載の映像伝送装置、または請求項４に記載
   の映像伝送再送装置。
7. 【請求項７】 バッファに蓄えられた伝送処理中のフレ
   ームより一つ以上前のフレーム情報から、伝送処理中の
   フレームと一つ前のフレームのシーンが変わったかどう
   かを比較するフレーム比較手段を備え、 シーンが大きく変わったかどうかの変化の度合いから重
   要度を決定する機能を備えた請求項３に記載の映像伝送
   装置、または請求項４に記載の映像伝送再送装置。
8. 【請求項８】 複数映像データを読込み、複数の映像の
   中で相対的に比較して動きが大きいものと小さいものの
   相関関係を判定し管理するマルチ画面管理手段を備え、
   複数映像の相関関係から重要度を決定する機能を備えた
   請求項３に記載の映像伝送装置。
9. 【請求項９】 送信機が、異なる複数映像データを読込
   み、複数の映像の中で相対的に比較して動きが大きいも
   のと小さいものの相関関係を判定し管理するマルチ画面
   管理手段を備え、 複数映像の相関関係から重要度を決定する機能を備えた
   請求項４に記載の映像伝送再送装置。