JP2006229618A - 映像通信システム、映像通信装置、プログラム、及び映像通信方法 - Google Patents

Abstract

【課題】ネットワーク帯域を十分に確保できない環境下でも音声が途切れることなくHDTV映像を送受信することを可能とする。
【解決手段】送信側端末が、外部装置から符号化データを入力し、前記符号化データを音声符号化データと映像符号化データとに分離し、前記映像符号化データから送信対象となるフレームを選択し、選択されたフレームの情報を前記受信側端末へ送信し、選択されたフレームに対応した映像符号化データと前記音声符号化データとを前記受信側端末へ送信し、前記受信側端末は、前記送信側端末から受信したフレームの情報に基づいて、受信した映像符号化データを、そのフレーム数が前記送信側端末におけるフレーム選択前の元のフレーム数となるように再構成し、再構成された映像符号化データと受信した音声符号化データとを結合して音声映像符号化データを生成し、生成された音声映像符号化データを外部装置に出力する。
【選択図】 図７

Description

本発明は、映像をインターネット等のネットワーク上で送受信する映像通信技術に関し、特にHDTV（High-Definition TV：高精細テレビ、ハイビジョンともいう）映像をインターネット等のネットワーク上で送受信する映像通信技術に関するものである。

ハイビジョン映像の原信号は、そのまま伝送しようとすると約1.2Gbpsの符号量が必要となるが、地上デジタル放送等では、MPEG2を用いることによりハイビジョン映像の原信号を25Mbps程度まで圧縮して放送している。
また、ハイビジョン映像をＩＰネットワーク等のネットワーク上で送受信するためのシステムが提案されており、例えば非特許文献１、非特許文献２に記載されたシステムがある。このようなシステムでは、例えば、ハイビジョンに対応した市販のＨＤカメラ等を用いてMPEG2で符号化された映像符号化データをＰＣ上でパケット化し、パケット化したデータをネットワークを介して他のＰＣに送り、受信側のＰＣからデジタル放送録画再生装置を介してハイビジョン対応ＴＶに表示している。

既存のデジタル放送録画再生装置は地上・ＢＳデジタル放送のように安定した周期で符号化データを受信しないと正常に復号化できないため、受信側ＰＣではネットワーク遅延を吸収するためのバッファを持たせる工夫をしている。しかしながら、伝送すべきMPEG2データの符号量は19〜25Mbpsであり、現在、一般に普及しているベストエフォート型のインターネットでは、その混雑状況により全てのデータを送ることできず、その結果、映像だけでなく音声も届かないため、遠隔会議や遠隔講演に使用することができないという問題がある。なお、MPEGに関係する文献として非特許文献３がある。
平成１７年２月９日検索、インターネットhttp://www.tel.co.jp/cn/product/ruff_systems/index.html 平成１７年２月９日検索、インターネットhttp://www.hpk.co.jp/Jpn/products/dv/hd.htm 「ポイント図解式ブロードバンド＋モバイル標準ＭＰＥＧ４教科書」（株）アスキー、2003年

本発明は上記の点に鑑みてなされたものであり、ネットワーク帯域を十分に確保できない環境下でも音声が途切れることなくHDTV映像を送受信することを可能とした映像通信技術を提供することを目的とする。

上記の課題は、送信側映像通信装置と受信側映像通信装置とがネットワークを介して接続された映像通信システムであって、前記送信側映像通信装置は、外部装置から音声映像符号化データを入力する入力手段と、前記音声映像符号化データを音声符号化データと映像符号化データとに分離する分離手段と、前記映像符号化データをフレーム毎に分離し送信対象となるフレームを選択するフレーム選択手段と、前記フレーム選択手段により選択されるフレームの情報を前記受信側映像通信装置へ送信する選択フレーム情報送信手段と、前記フレーム選択手段により選択されたフレームに対応した映像符号化データと前記音声符号化データとを前記受信側映像通信装置へ送信する符号化データ送信手段とを有し、前記受信側映像通信装置は、前記送信側映像通信装置から受信したフレームの情報に基づいて、受信した映像符号化データを、そのフレーム数が前記送信側映像通信装置におけるフレーム選択前の元のフレーム数となるように再構成する符号化データ再構成手段と、再構成された映像符号化データと受信した音声符号化データとを結合して音声映像符号化データを生成する生成手段と、前記生成手段により生成された音声映像符号化データを外部装置に出力する出力手段とを有することを特徴とする映像通信システムにより解決できる。

また、前記映像符号化データがMPEG形式又はMPEGと同等のフレーム構成を持つ符号化形式で構成される場合、前記送信側映像通信装置の前記フレーム選択手段は、Iフレームのみ、又は、IフレームとPフレームのみ、又は、入力された映像符号化データに含まれる全てのフレームを送信対象フレームとして選択するように構成することができる。

また、前記受信側映像通信装置の前記符号化データ再構成手段は、選択されたフレームの情報に基いて、前記送信側映像通信装置で選択されなかったフレームを、受信した映像符号化データのフレームのうちのベースとなる所定のフレームに対する変化量が０のフレームとして生成し、生成したフレームを受信した映像符号化データに内挿してフレーム選択前の元のフレーム数となるように映像符号化データを再構成する。

また、本発明は、上記の送信側映像通信装置としての機能を有する映像通信装置、上記の受信側映像通信装置としての機能を有する映像通信装置として構成することもできる。また、これらの映像通信装置をコンピュータに実現させるプログラムとして構成することも可能である。

本発明によれば、送信側映像通信装置において、音声符号化データと映像符号化データを分離し、フレームを間引きすることにより映像符号化データを圧縮するので、ネットワーク帯域が狭いインターネット上でも音声が途切れることなくハイビジョン映像を送受信することが可能となる。また、予め選択するフレームの情報を受信側映像通信装置に送っておくことにより、受信側映像通信装置ではリアルタイムにフレームの内挿処理を行うことができるので、内挿処理に伴う受信側映像通信装置での遅延を抑制できる。

以下、図面を参照して本発明の実施の形態について説明する。図１に、本発明の実施の形態におけるシステム構成を示す。

図１に示すように、本実施の形態のシステムは、符号化した映像データの送受信を行うＰＣ端末１とＰＣ端末２とがインターネット３を介して接続された構成をとる。各ＰＣ端末には、ハイビジョン対応のＨＤカメラ４、５とデジタル放送録画再生装置（Ｄ−ＶＨＳ等）６、７が接続され、デジタル放送録画再生装置６、７の先にハイビジョン対応ＴＶ８、９が接続される。一般にＨＤカメラとデジタル放送録画再生装置はIEEE1394(i-link)で接続される。各ＨＤカメラと各デジタル放送録画再生装置は、現在市販されている一般的なものである。

図１にシステムでは、ＰＣ端末１側に設置された各機器と、ＰＣ端末２側に設置された各機器とは同じ機能を有し、双方向の映像送受信が可能であるが、以下、ＰＣ端末１側からＰＣ端末２側への映像通信を例にとって各装置の機能を説明する。

ＨＤカメラ４は、撮影したハイビジョン映像（音声を含む）をMPEG２で符号化し、符号化データをＰＣ端末１に送信する。ＰＣ端末１は、受信した符号化データの全部又は一部をインターネット３を介してＰＣ端末２に送信する。ＰＣ端末２は、受信した符号化データをデジタル放送録画再生装置７が復号化できる形に再構成し、再構成した符号化データをデジタル放送録画再生装置７に送信する。デジタル放送録画再生装置７は、受信した符号化データを復号化し、ハイビジョン対応ＴＶ９に出力する。ハイビジョン対応ＴＶ９は、受信したハイビジョン映像と音声を出力する。

図２に、符号化データ送信機能に着目した場合のＰＣ端末１の機能構成を示す。図２に示すように、ＰＣ端末１は、カメラから音声映像符号化データを入力する符号化データ入力部１１、受信した音声映像符号化データを音声符号化データと映像符号化データに分離する符号化データ分離部１２、映像符号化データの中から送信すべきフレームを選択するフレーム選択部１３、選択されるフレームの情報を送信する選択フレーム情報送信部１４、選択されたフレームを送信する選択フレーム送信部１５、及び、インターネットを介した通信を行うためのネットワーク通信部１６を有している。

図３に、符号化データ受信機能に着目した場合のＰＣ端末２の機能構成を示す。図３に示すように、ＰＣ端末２は、インターネットを介した通信を行うためのネットワーク通信部２１、受信した映像符号化データをデジタル放送録画再生装置７で復号化できるようにするために、受信した映像符号化データにおいて不足しているフレームの内挿を行うことにより映像符号化データの再構成を行う符号化データ再構成部２２、選択フレーム情報を受信して符号化データ再構成部２２に提供する選択フレーム情報受信部２３、ネットワーク通信部２１を介して受信した音声符号化データと符号化データ再構成部２２により再構成された映像符号化データとを結合する多重化部２４、及び、音声符号化データと映像符号化データとが結合された音声映像符号化データをデジタル放送録画再生装置７に出力する符号化データ出力部２５を有している。

上記の各機能は、ＣＰＵ、メモリやハードディスク等の記憶装置、カメラやデジタル放送録画再生装置とのインターフェース装置、及びインターネットとのインターフェース装置等を備えた一般的なＰＣ（パーソナルコンピュータ）上で、上記の各機能を実現するためのプログラムを実行させることにより実現できるものである。

次に、ＰＣ端末１側からＰＣ端末２側へ映像通信を行う場合におけるＰＣ端末１とＰＣ端末２の処理の流れを図４、５のフローチャートに沿って説明する。まず、ＰＣ端末１の処理を図４のフローチャートに沿って説明する。

まず、ＨＤカメラ４が撮影を行い、撮影によって得られた音声映像符号化データをＰＣ端末１がＨＤカメラ４から受信する（ステップ１）。なお、一般にＨＤカメラの出力形式として非圧縮のHD-SDI形式と圧縮されたMPEG2形式があるが、本実施の形態では後者のMPEG2形式のみを対象としている。

次に、音声映像符号化データを受信したＰＣ端末１の符号化データ分離部１２が、音声映像符号化データを映像符号化データと音声符号化データとに分離する（ステップ２）。ここではMPEG2データを対象とするので、映像符号化データとしてMPEG2ビデオデータが得られ、音声符号化データとしてMPEG2オーディオデータが得られる。

次に、ＰＣ端末１のフレーム選択部１３が、映像符号化データ（MPEG2ビデオデータ）に対するフレーム選択を行う（ステップ３）。図６を用いて本実施の形態におけるフレーム選択処理について説明する。

一般に、MPEG2ビデオデータは、フレーム内圧縮されたＩフレーム、過去のＩフレームもしくはＰフレームと対象フレームとの差分で構成されるＰフレーム、現在及び未来のＩフレームもしくはＰフレームと対象フレームとの差分で構成されるＢフレームからなる。ＨＤカメラ４からＰＣ端末１が受信する映像符号化データが図６（ａ）に示す通りである場合において、全フレームを選択するものとすれば、選択後のフレーム構成も図６（ａ）と全く同じ図６（ｂ）のようになる。

また、Iフレーム及びPフレームのみを選択するものとした場合には、フレーム選択後のフレーム構成は図６（ｃ）のようになる。また、Iフレームのみをスキップすることなく選択することとした場合は、図６（ｄ）のようになる。また、Iフレームのみを１つ置きに選択することとした場合（スキップ数が１であるという）、フレーム選択後のフレーム構成は図６（ｅ）のようになる。

なお、どのフレームを選択するかは、例えば、ＰＣ端末１、ＰＣ端末２とインターネットとの接続回線の速さに応じて決定することができる。また、インターネットの混雑具合に応じて決定することもできる。インターネットの混雑具合に応じて決定する場合には、例えば、パケットを通信相手ＰＣ端末２に送り、そのパケットが通信相手ＰＣ端末２から返送されてくる時間に応じて決定する。あるいは、送信時刻を付したパケットを通信相手ＰＣ端末２に送り、通信相手ＰＣ端末２が当該パケットを受信したときに当該パケットの伝送に要した時間をパケット送信元ＰＣ端末１に送り、ＰＣ端末１が当該伝送時間に基づき送信方向のインターネットの混雑具合を判断してどのフレームを選択するかを判断することもできる。どのフレームを選択するかの決定は、例えば一定時間間隔で行う。

続いて、フレーム選択部１３は、どのフレームを選択するかを示す選択フレーム情報を選択フレーム情報送信部１４に送り、選択フレーム情報送信部１４は、選択フレーム情報をＰＣ端末２に向けて送信する（図４のステップ４）。このように、映像符号化データを送信する前に上記の選択フレーム情報を受信側のＰＣ端末２へ送付することにより、受信側ＰＣ端末２ではどのようなフレーム構成及び周期で映像符号化データを受信するか予め知ることができる。

次に、ＰＣ端末１の符号化データ送信部１５が、フレーム選択部１３で選択されたフレームを有する映像符号化データと、符号化データ分離部１２から受信した音声符号化データとをＰＣ端末２に向けて送信する（ステップ５）。ここでは、一般にインターネット上で、音声及び映像データをやり取りするRTPプロトコルを用いて送信を行う。また、プロキシ等が存在してRTPプロトコルが使用できない場合には、HTTPトンネリング等のトンネリング技術を用いてRTPプロトコルをカプセル化して送信してもよい。

次に、受信側のＰＣ端末２の処理について図５のフローチャートに沿って説明する。ステップ４でＰＣ端末１が選択フレーム情報を送信したことに応じて、ＰＣ端末２の選択フレーム情報受信部２３がその選択フレーム情報を受信する（ステップ１１）。また、選択フレーム情報受信部２３は、受信した選択フレーム情報を符号化データ再構成部２２に渡す。

続いて、ＰＣ端末２は、ＰＣ端末１から送信された映像符号化データと音声符号化データとを受信する（ステップ１２）。そして、ＰＣ端末２の符号化データ再構成部２２が、選択フレーム情報に基づく映像符号化再構成処理を行う（ステップ１３）。以下、本実施の形態における選択フレーム情報に基づく映像符号化再構成処理について説明する。

本実施の形態のように、一般的なデジタル放送録画再生装置７で映像符号化データを復号するためには、復号する対象となる映像符号化データが、ＨＤカメラ４で取得されたMPEG2ビデオデータの並びとフレームレート(30fps)と同じ並びとフレームレートを持つ必要がある。従って、ＰＣ端末２の符号化データ再構成部２２は、選択フレーム情報からどのようにフレームの選択が行われているかを把握し、フレームの選択が行われている場合（Ｉフレームのみの場合やＩ及びＰフレームのみの場合）には、選択方法に応じて不足しているフレームを受信映像符号化データに内挿する。

図７に、符号化データ再構成部２２がＩ及びＰフレームのみを受信した場合にＢフレームを内挿する方法の一例を示す。図７に示す例では、Ｉフレームに続くＢフレームについては、直前のＩフレームのヘッダに含まれるＩ、Ｐ、Ｂフレーム共通のヘッダ情報（例えば、画像サイズ、フレームレート等）を引き継ぎ、フレームの識別子をＢフレームを示す識別子に置き換え、且つ予測方式を順方向のみ（Ｐフレームと同等）にし、当該Bフレームのヘッダ情報を生成する（例えば、非特許文献３参照）。符号化データは、ヘッダ情報に基づいてＩフレームとの差分が０になるように生成する。つまり、当該Bフレームの時間位置のフレームの画像は直前のIフレームの画像と全く同じものであることを意味する。Bフレームに続くBフレームについても上記と全く同じように生成する。

Ｐフレームに続くＢフレームの場合には、Ｉフレームの場合と同様に、直前のPフレームのヘッダに含まれるＩ、Ｐ、Ｂフレーム共通のヘッダ情報を引き継ぎ、Ｂフレームを示す識別子に置き換え、且つ予測方式を順方向のみにし、ヘッダ情報を生成する。符号化データは、ヘッダ情報に基づいてPフレームとの差分が０になるように生成する。

図８は、スキップ数が０の場合（skip=0）でＩフレームのみを受信した場合にＰフレーム及びＢフレームを内挿する方法の一例を示した図である。ここでは、Ｉフレームに続くＢフレームは、図７と同様な方法で生成する。Ｐフレームは、Ｉフレームに続くＢフレームの場合と同様に、直前のＩフレームのヘッダに含まれるＩ、Ｐ、Ｂフレーム共通のヘッダ情報（例えば、画像サイズ、フレームレート等）を引き継ぎ、Ｐフレームを示す識別子に置き換え、ヘッダ情報を生成する。符号化データは、ヘッダ情報に基づいてＩフレームとの差分が０になるように生成する。Ｐフレームに続くＢフレームは、図７と同様な方法で生成する。

図９は、スキップ数が１（skip=１）でＩフレームのみを受信した場合に、Ｉフレーム、Ｐフレーム及びＢフレームを内挿する方法の一例を示す図である。ここでは、Ｐ及びＢフレームは、図８と同様な方法で生成する。スキップされているＩフレームは、直前のＩフレームと同等とする。スキップされたIフレームが内挿された後、そのIフレームの後に続くBフレーム、Pフレームを図７、図８と同様の方法で内挿する。

前述したように、本実施の形態では、ＰＣ端末１がＰＣ端末２に選択フレーム情報を予め通知するので、ＰＣ端末２はどのようなフレーム構成で符号化データを受信するかを符号化データを受信する前に把握することができる。従って、ＰＣ端末２の符号化データ再構成部２２では、次のフレームを待つことなくリアルタイムに内挿フレームを生成できる。すなわち、例えば、Ｉフレームのみ選択された場合において、ＰＣ端末２は、Ｉフレームを受信してからＰフレームを受信すべき時刻まで待つことなくＰフレームが選択されていないことを知ることができ、直前のＩフレームを受信してすぐに間引かれたＰフレームを内挿することができる。また、スキップ数１でＩフレームのみ選択された場合において、ＰＣ端末２は、Ｉフレームがスキップされたことを、当該Ｉフレームを受信すべき時刻まで待つことなく知ることができ、直前のＩフレームを受信してすぐにスキップされたＩフレームを内挿することができる。

続いて、ＰＣ端末２の多重化部２４は、符号化データ再構成部２２により再構成された映像符号化データと受信した音声符号化データとを多重化することにより音声映像符号化データを生成する（図５のステップ１４）。ここではMPEG2ビデオデータとMPEG2オーディオデータを多重化したMPEG2データを生成する。

次に、ＰＣ端末２は、符号化データ出力部２５を介して多重化部２４で生成された音声映像符号化データをデジタル放送録画再生装置７へ送出する（ステップ１５）。音声映像符号化データを受信したデジタル放送録画再生装置７では、音声映像符号化データを復号化し、ハイビジョン対応ＴＶ９へハイビジョン映像及び音声を出力する。

ここでは、音声と映像を同期させていないが、送信側のＰＣ端末１で音声符号化データと映像符号化データを分離するときに、音声符号化データと映像符号化データの先頭に個別識別ビット列を付加し、受信側のＰＣ端末２で個別識別ビット列に基づいて多重化処理を行い、音声と映像を同期させることもできる。

また、本実施の形態では、ＰＣ端末１とＰＣ端末２の端末間通信を例にとって説明したが、インターネット上のサーバを介してＰＣ端末１とＰＣ端末２間で通信を行うようにしてもよい。この場合、サーバが、選択されたフレームからなる符号化データをＰＣ端末１からＰＣ端末２へ中継する。

また、本実施の形態では、ＰＣ端末１ではＨＤカメラ４から出力される符号化データを入力していたが、デジタル放送録画再生装置６に録画映像として蓄積されている符号化データをＰＣ端末１に入力するようにしてもよい。また、ＰＣ端末２側では、フレーム再構成により得られた符号化データをデジタル放送録画再生装置７からハイビジョン対応ＴＶ９に出力していたが、符号化データをデジタル放送録画再生装置７に蓄積してもよい。また、本実施の形態では符号化方式としてMPEG２を用いているが、MPEG２と同等のフレーム構成を持つ符号化方式であればMPEG２に限らず本発明を適用することが可能である。

本発明の実施の形態で説明したシステムを用いることにより、インターネットのネットワーク帯域が十分に確保できない場合にも音声を途切れさせることなく、インターネットを介してハイビジョン映像を送受信することができる。また、予め送信される選択フレーム情報を受信側に伝えることで、リアルタイムにフレーム内挿入が可能となる結果、処理を高速化することが可能となり、本発明に係るシステムを低遅延が要求されるＴＶ会議や遠隔講義に適用できるようになる。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

本発明の実施の形態におけるシステム構成図である。 ＰＣ端末１の機能構成図である。 ＰＣ端末２の機能構成図である。 ＰＣ端末１の処理フローチャートである。 ＰＣ端末２の処理フローチャートである。 符号化データ送信側のフレーム選択処理を説明するための図である。 符号化データ送信側の符号化データ再構成処理を説明するための図である。 符号化データ送信側の符号化データ再構成処理を説明するための図である。 符号化データ送信側の符号化データ再構成処理を説明するための図である。

符号の説明

１、２ ＰＣ端末
３ インターネット
４、５ ＨＤカメラ
６、７ デジタル放送録画再生装置
８、９ ハイビジョン対応ＴＶ
１１ 符号化データ入力部
１２ 符号化データ分離部
１３ フレーム選択部
１４ 選択フレーム情報送信部
１５ 選択フレーム送信部
１６、２１ ネットワーク通信部
２２ 符号化データ再構成部
２３ 選択フレーム情報受信部
２４ 多重化部
２５ 符号化データ出力部

Claims (10)

1. 送信側映像通信装置と受信側映像通信装置とがネットワークを介して接続された映像通信システムであって、
   前記送信側映像通信装置は、
   外部装置から音声映像符号化データを入力する入力手段と、
   前記音声映像符号化データを音声符号化データと映像符号化データとに分離する分離手段と、
   前記映像符号化データをフレーム毎に分離し送信対象となるフレームを選択するフレーム選択手段と、
   前記フレーム選択手段により選択されるフレームの情報を前記受信側映像通信装置へ送信する選択フレーム情報送信手段と、
   前記フレーム選択手段により選択されたフレームに対応した映像符号化データと前記音声符号化データとを前記受信側映像通信装置へ送信する符号化データ送信手段とを有し、
   前記受信側映像通信装置は、
   前記送信側映像通信装置から受信したフレームの情報に基づいて、受信した映像符号化データを、そのフレーム数が前記送信側映像通信装置におけるフレーム選択前の元のフレーム数となるように再構成する符号化データ再構成手段と、
   再構成された映像符号化データと受信した音声符号化データとを結合して音声映像符号化データを生成する生成手段と、
   前記生成手段により生成された音声映像符号化データを外部装置に出力する出力手段とを有することを特徴とする映像通信システム。
2. 前記映像符号化データがMPEG形式又はMPEGと同等のフレーム構成を持つ符号化形式で構成される場合、前記送信側映像通信装置の前記フレーム選択手段は、Iフレームのみ、又は、IフレームとPフレームのみ、又は、入力された映像符号化データに含まれる全てのフレームを送信対象フレームとして選択する請求項１に記載の映像通信システム。
3. 前記受信側映像通信装置の前記符号化データ再構成手段は、選択されたフレームの情報に基いて、前記送信側映像通信装置で選択されなかったフレームを、受信した映像符号化データのフレームのうちのベースとなる所定のフレームに対する変化量が０のフレームとして生成し、生成したフレームを受信した映像符号化データに内挿してフレーム選択前の元のフレーム数となるように映像符号化データを再構成する請求項１又は２に記載の映像通信システム。
4. 送信側映像通信装置と受信側映像通信装置とがネットワークを介して接続された映像通信システムにおける前記送信側映像通信装置としての機能を有する映像通信装置であって、
   外部装置から音声映像符号化データを入力する入力手段と、
   前記音声映像符号化データを音声符号化データと映像符号化データとに分離する分離手段と、
   前記映像符号化データをフレーム毎に分離し送信対象となるフレームを選択するフレーム選択手段と、
   前記フレーム選択手段により選択されるフレームの情報を前記受信側映像通信装置へ送信する選択フレーム情報送信手段と、
   前記フレーム選択手段により選択されたフレームに対応した映像符号化データと前記音声符号化データとを前記受信側映像通信装置へ送信する符号化データ送信手段と
   を有することを特徴とする映像通信装置。
5. 前記映像符号化データがMPEG形式又はMPEGと同等のフレーム構成をもつ符号化形式で構成される場合、前記フレーム選択手段は、Iフレームのみ、又は、IフレームとPフレームのみ、又は、入力された映像符号化データに含まれる全てのフレームを送信対象フレームとして選択する請求項４に記載の映像通信装置。
6. 音声映像符号化データにおける映像符号化データから送信対象となるフレームを選択し、選択されたフレームに対応した映像符号化データと前記音声映像符号化データにおける音声符号化データとを送信する送信側映像通信装置と、受信側映像通信装置とがネットワークを介して接続された映像通信システムにおける前記受信側映像通信装置としての機能を有する映像通信装置であって、
   前記送信側映像通信装置から、選択されるフレームの情報を受信し、その情報に基づいて、前記送信側映像通信装置から受信した映像符号化データを、そのフレーム数が前記送信側映像通信装置におけるフレーム選択前の元のフレーム数となるように再構成する符号化データ再構成手段と、
   再構成された映像符号化データと受信した音声符号化データとを結合して音声映像符号化データを生成する生成手段と、
   前記生成手段により生成された音声映像符号化データを外部装置に出力する出力手段と
   を有することを特徴とする映像通信装置。
7. 前記符号化データ再構成手段は、選択されたフレームの情報に基いて、前記送信側映像通信装置で選択されなかったフレームを、受信した映像符号化データのフレームのうちのベースとなる所定のフレームに対する変化量が０のフレームとして生成し、生成したフレームを受信した映像符号化データに内挿してフレーム選択前の元のフレーム数となるように映像符号化データを再構成する請求項６に記載の映像通信装置。
8. 送信側映像通信装置と受信側映像通信装置とがネットワークを介して接続された映像通信システムにおける前記送信側映像通信装置としての機能を有する映像通信装置をコンピュータに実現させるプログラムであって、前記コンピュータを、
   外部装置から音声映像符号化データを入力する入力手段、
   前記音声映像符号化データを音声符号化データと映像符号化データとに分離する分離手段、
   前記映像符号化データをフレーム毎に分離し送信対象となるフレームを選択するフレーム選択手段、
   前記フレーム選択手段により選択されるフレームの情報を前記受信側映像通信装置へ送信する選択フレーム情報送信手段、
   前記フレーム選択手段により選択されたフレームに対応した映像符号化データと前記音声符号化データとを前記受信側映像通信装置へ送信する符号化データ送信手段、
   として機能させるプログラム。
9. 音声映像符号化データにおける映像符号化データから送信対象となるフレームを選択し、選択されたフレームに対応した映像符号化データと前記音声映像符号化データにおける音声符号化データとを送信する送信側映像通信装置と、受信側映像通信装置とがネットワークを介して接続された映像通信システムにおける前記受信側映像通信装置としての機能を有する映像通信装置をコンピュータに実現させるプログラムであって、前記コンピュータを、
   前記送信側映像通信装置から、選択されるフレームの情報を受信し、その情報に基づいて、前記送信側映像通信装置から受信した映像符号化データを、そのフレーム数が前記送信側映像通信装置におけるフレーム選択前の元のフレーム数となるように再構成する符号化データ再構成手段、
   再構成された映像符号化データと受信した音声符号化データとを結合して音声映像符号化データを生成する生成手段、
   前記生成手段により生成された音声映像符号化データを外部装置に出力する出力手段、
   として機能させるプログラム。
10. 送信側映像通信装置と受信側映像通信装置とがネットワークを介して接続された映像通信システムにおける映像通信方法であって、
    前記送信側映像通信装置は、
    外部装置から音声映像符号化データを入力し、
    前記音声映像符号化データを音声符号化データと映像符号化データとに分離し、
    前記映像符号化データをフレーム毎に分離し送信対象となるフレームを選択し、
    選択されたフレームの情報を前記受信側映像通信装置へ送信し、
    選択されたフレームに対応した映像符号化データと前記音声符号化データとを前記受信側映像通信装置へ送信し、
    前記受信側映像通信装置は、
    前記送信側映像通信装置から受信したフレームの情報に基づいて、受信した映像符号化データを、そのフレーム数が前記送信側映像通信装置におけるフレーム選択前の元のフレーム数となるように再構成し、
    再構成された映像符号化データと受信した音声符号化データとを結合して音声映像符号化データを生成し、
    生成された音声映像符号化データを外部装置に出力する
    ことを特徴とする映像通信方法。

Images