JP2005057362A - 音声及び画像の送受信記録システム - Google Patents
音声及び画像の送受信記録システム Download PDFInfo
- Publication number
- JP2005057362A JP2005057362A JP2003206447A JP2003206447A JP2005057362A JP 2005057362 A JP2005057362 A JP 2005057362A JP 2003206447 A JP2003206447 A JP 2003206447A JP 2003206447 A JP2003206447 A JP 2003206447A JP 2005057362 A JP2005057362 A JP 2005057362A
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- audio
- moving image
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
【解決手段】相手の装置から受信した動画データと音声データを多重化したデータストリームを記録する受信記憶部と、自装置が相手の装置へ送信するデータストリームを記録する送信記憶部と、受信記憶部に記録されたデータストリームと送信記憶部に記録されたデータストリームを、符号化した音声データと符号化した動画データに分離する分離部と、2つに分離した音声データを復号化する音声復号化部と、2つの音声データを1つの音声データに合成する音声合成部を備える。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、音声及び画像の送受信記録システムに係り、特にテレビ電話装置における音声及び画像の録画再生機能に関するものである。
【0002】
【従来の技術】
電話回線、ISDN、インターネットや携帯電話等の通信網を用いてテレビ電話をおこなうテレビ電話装置が一般的に知られている。このテレビ電話装置は、音声データと画像データを符号化(データ圧縮)して、通信網を介して送信すると共に、受信する音声データ及び画像データを復号化(データ伸長)し、送受信データを相手側と自分の両方の端末で出力することでテレビ電話機能を実現する。
また、従来のテレビ電話装置では、相手から送信された符号化画像と音声を受信側の端末で記録し、その記録した相手側の画像と音声を復号化する技術が知られている。例えば、特開平9−200713公報(特許文献1)には、相手側から送信された圧縮画像と音声メッセージをメモリに記憶し、その圧縮画像と音声メッセージを再生することにより留守録画機能を実現する技術が開示されている。
【0003】
【特許文献1】
特開平9−200713号公報
【0004】
【発明が解決しようとする課題】
この種の従来技術による、受信した情報の記録には、相手側から送信される画像と音声しか含まれていない。即ち、自分の端末から送信される画像と音声は記録されていないので、双方の会話の記録にはならない。
【0005】
本発明の目的は、相手側から送信された画像及び音声と、自分側から送信される画像及び音声の記録を行い得るテレビ電話装置における音声及び画像の送受信記録システムを提供することにある。
【0006】
【課題を解決するための手段】
上記目的を達成するために、本発明は、相手の装置から受信した動画データと音声データを多重化したデータストリームを記録する受信記憶部と、自装置が相手の装置へ送信するデータストリームを記録する送信記憶部と、受信記憶部に記録されたデータストリームと送信記憶部に記録されたデータストリームを、符号化した音声データと符号化した動画データに分離する分離部と、分離した音声データを復号化する音声復号化部と、音声データを1つの音声データに合成する音声合成部を備えて構成される。
【0007】
また、他の例によれば、相手装置から受信されたデータを符号化した音声データと符号化した動画データに分離する分離部と、自装置から送信する符号化した音声データと、分離部で分離された符号化した音声データと符号化した動画データを1つのデータに多重化する多重化部と、多重化部で多重化されたデータを記録する記憶部を備えて構成される。
【0008】
さらに他の例として、相手装置から受信されたデータを符号化した音声データと符号化した動画データに分離する分離部と、分離部で分離された符号化した音声データを復号化して音声データにする音声復号化部と、音声データを入力する音声入力部と、音声復号化部で復号化された音声データと音声入力部で入力された音声データを1つの音声データに合成する音声合成部と、音声合成部から出力される音声データを符号化する音声符号化部と、音声符号化部で符号化された音声データと符号化された動画データを多重化して1つのデータにする多重化部と、多重化部で多重化されたデータを記録する記憶部を有し、テレビ電話の会話の録画時に記憶部に記憶するようにしたものである。
【0009】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について説明する。
【0010】
・第1の実施形態
図1は、一実施形態によるテレビ電話装置100の構成を示すブロック図である。
図において、テレビ電話装置100は、インターネット、ISDN、アナログ電話網や携帯電話網等の通信網101を介して、他のテレビ電話装置との間で通信される。
【0011】
このテレビ電話装置100は、通信制御部102により通信網101に接続される。記憶部103、104は、録画したデータを記憶するメモリであり、例えば半導体メモリやハードディスクのような記憶ユニットである。この記憶部103と記憶部104は同一の記憶装置或いは記憶媒体で構成してもよい。多重化部105は、符号化した音声データや動画データ等のデータを1つのデータストリームに多重化する。音声符号化部106は非符号化のデジタルの音声データを符号化する。A/D変換部107は、アナログの音声データをデジタルの音声データへ変換する。音声入力部108は、マイクなどのアナログの音声データを入力する。動画符号化部109は、非符号化のデジタルの動画データを符号化する。画像入力部110は、非符号化のデジタルの動画データを取り込むための例えばカメラである。
【0012】
分離部111は、1つのデータストリームから符号化した音声データや動画データを分離する。動画復号化部113、114は、符号化した動画データを復号化する。画像表示部115は、画像を表示するためのLCDやディスプレイなどの表示器である。遅延バッファ116、117は、動画復号化部113、114で復号化される動画データと同期を取るために音声データを遅延させるためのバッファである。音声復号化部118、119は、符号化した音声データを復号化する。音声合成部120は、非符号化の2つのデジタル音声データを1つの音声データに合成する。セレクタ121は、2つ以上の音声データのうちどの音声データを出力するか選択する。D/A変換部122はデジタルの音声データをアナログに変換する。音声出力部123はスピーカやイヤホンなどの出力機能である。
【0013】
このテレビ電話装置100内の各構成部は、制御部124により制御される。尚、制御部124と各部との間の制御線は、図示していない。ユーザ入力部125は、テレビ電話装置100を使うためにユーザがテレビ電話開始などのコマンドを入力するためのキーなどの入力器である。ユーザ入力部125からの入力に応じて、制御部124はテレビ電話装置100内の関係する構成部を制御して目的とする機能を実現する。
【0014】
図1において、多重化部105、分離部111、112で用いられるデータを1つのストリームに多重化する方式には、例えばITU−T(International Telecommunication Union − Telecommunication Standardization Sector)の標準であるH.221、H.223やIETF(The Internet Engineering Task Force)のRFC1889:RTP(Real−time Transport Protocol)等がある。
また、動画符号化部109や動画復号化部113、114で用いる動画符号化方式として、ITU−Tの標準であるH.261、H.263、H.264やMPEG−4などがある。また、音声符号化部106や音声復号化部118、119で用いる音声符号化方式として、ITU−Tの標準であるG.711、G.723、G.729や3GPP(3rd Generation Partnership Project)の標準であるAMR(Adaptive Multi−Rate)等がある。
【0015】
次に、図1に示すテレビ電話装置100の動作について説明する。
まず、テレビ電話装置100は、動画データ、音声データの送受信を開始する前に、お互いの動画符号化部109、動画復号化部113、114で使用する動画符号化方式を決定する。同様にして、音声符号化部106、音声復号化部117、119で使用する音声符号化方式、及び多重化部105や分離部111、112で用いる多重化方式やビットレート、イメージサイズ等のそれらの動作に必要なパラメータ等を決定する。これら方式及びパラメータの決定は、暗黙に決められた方式でもよい。例えば、動画符号化方式はMPEG−4 Visual、音声符号化方式はAMR、ビットレートは64kbps、イメージサイズは176ラ144画素などのお互いにテレビ電話としての送受信に必要なパラメータを、通信の初段階でお互いの能力を交換したり、ネゴシエートして決定され得る。また、これらのパラメータのうち暗黙にあらかじめ決められたパラメータ、たとえばビットレート64kbpsでテレビ電話通信をおこなうようなパラメータに従ってもよい。
尚、最初の通信確立の段階で、お互いの能力を公開して一定のロジックを用いて決定した方式でもよい。それらの決められた方式に従って、本実施形態のテレビ電話装置100は動作する。この方式の決定方法についての詳細な説明はここでは省略するが、ITU−Tの標準であるH.245やIETFのSIPには、決定方式や通信プロトコルについて詳述な記載がある。通常のテレビ電話機能ではこれらが決定された後、テレビ電話装置100は、相手のテレビ電話装置との間で動画データ及び音声データの送受信を開始する。
【0016】
まず、送信手順について説明する。
すなわち、図1において、通常のテレビ電話機能が動作している場合の自分側のテレビ電話装置100から相手側のテレビ電話装置へ動画データ及び音声データを送信する場合について説明する。
【0017】
まず、音声入力部108から入力したアナログの音声データをA/D変換部107へ送る。A/D変換部107で、アナログの音声データは任意の周波数でサンプリングされ、デジタルの音声データに変換されて、音声符号化部106へ送られる。このサンプリングの周波数は、音声符号化部106で採用された音声符号化方式で用いられているサンプリング周波数と同じであると望ましい。例えば、AMRでは8000Hzのサンプリング周波数が用いられる。音声符号化部106では、デジタルの音声データを、任意の音声符号化方式によって定められたサンプル数毎に符号化して作成する。例えば、AMRでは160サンプル毎に符号化するため、1秒間に50回の符号化が必要となり、1フレームあたり20m秒分のデータとなる。ここで、このサンプル数毎に符号化された音声データを音声フレームと呼ぶ。符号化された音声データは音声フレーム毎に多重化部105に送られる。
【0018】
また、画像入力部110では、デジタルの画像データを取り込む。ここで、取り込まれる画像データは静止画イメージであり、本実施形態ではこの1枚の静止画イメージを画像フレームと呼ぶ。このイメージ取りこみのサイズは、前述の手順で決定したサイズで取り込まれることが望ましい。例えば、テレビ電話では352×288画素や176×144画素などのサイズが用いられる場合が多い。
この画像入力部110では、動画符号化部109が符号化するフレーム数に応じて、例えば15フレーム毎秒のように連続して取り込むことができる。このように画像フレームを連続で入力したデータを、本実施形態では動画データと呼ぶ。
この動画データは画像フレーム毎に動画符号化部109へ送られる。また同時に、画像入力部110から動画データを画像フレーム毎に、画像表示部115に送るようにしてもよい。この場合、画像表示部115では、送られてきた動画データをプレビュとして表示することができる。
【0019】
動画符号化部109では、画像フレーム毎に前記の能力情報の交換で決定した動画符号化方式に応じて符号化をおこなう。この動画符号化の過程で、符号化された各画像フレームに画像入力部109で入力された時間を示すタイムスタンプを入れても良い。例えば、MPEG−4では各画像フレームにタイムスタンプを入れることが可能である。15フレーム毎秒で取りこんだ場合は、例えば0m秒、66m秒、133m秒のように約66m秒毎にタイムスタンプが付けられる。
この符号化された動画データは画像フレーム毎に多重化部105へ送られる。
【0020】
多重化部105では、符号化された音声データと符号化された動画データを1つのデータストリームに多重化する。この多重化処理は、相手側のテレビ電話装置100´の分離部111´と、自装置100の多重化部105の間で、動画データの送受信が始まる前に多重化に関する方式の情報を予めやりとりして共有しておき、その方式の情報に従って行う。この多重化処理では、方式に応じて多重化した音声データや動画データの各フレーム単位にタイムスタンプを付けることができる。例えばRTPでは、画像フレームまたは音声フレーム毎に再生すべき時間のタイムスタンプを付けることができる。このタイムスタンプは、動画データの場合は画像入力部110で画像フレームを取り込んだ時間を付け、音声データの場合は音声入力部108で音声を入力した時間を付けることが望ましい。
【0021】
また、多重化方式でタイムスタンプを入れることができない方式(例えばH.233)場合は、画像フレームと音声フレームの送った時間と実際の再生の時間差情報を別途データストリームに挿入して送ってもよい。これは、例えば音声符号化部106で符号化した音声フレームとその音声フレームの入力と同じ時間に画像入力部110で取りこんだ画像フレームを動画符号化部109から送出した時間の差分から算出することができる。動画データと音声データが多重化されたデータストリームは、通信制御部102へ送られる。通信制御部102では、このデータストリームを、通信網101を介して相手側のテレビ電話装置100´に送出する。
【0022】
次に、通常のテレビ電話機能が動作している場合のテレビ電話装置100が相手側のテレビ電話装置からのデータ受信について説明する。
【0023】
まず、相手側のテレビ電話装置が通信網101を介して動画データと音声データを含むデータストリームを通信制御部102に送る。通信制御部102では、受信したデータストリームを分離部111に送る。分離部111では、データストリームを分離し、符号化した音声データや動画データ等を得る。この分離は、テレビ電話の相手側テレビ電話装置の多重化部とこの分離部112の間で、動画データの送受信が始まる前に多重化に関する方式の情報をあらかじめやりとりして共有し、その方式の情報に応じておこなう。分離した音声データは音声フレーム毎に遅延バッファ116へ、動画データは画像フレーム毎に動画復号化部113へ送る。
【0024】
動画復号化部113では、符号化された動画データを画像フレーム毎に復号化する。そして、復号化した画像フレームを表示するタイミングになった時に、復号化した画像フレームを画像表示部115に送る。この画像フレームの表示するタイミングは、例えば符号化された動画データの中に動画データの各フレームに符号化したタイムスタンプが格納されており、そのタイムスタンプを参照して表示する時間を決定することができる。また、例えば受信したデータストリームがRTPを用いて多重化したような場合には、そのRTPの中に各フレームのタイムスタンプを埋め込むことができ、分離部105においてそのタイムスタンプを取り出し、動画符号化部113に符号化した動画データを送るときに同時にタイムスタンプを送り、動画符号化部113では、そのタイムスタンプを元に表示時間を算出することができる。画像表示部115では、送られた画像フレームの表示をおこなう。
【0025】
図2に画像表示の例を示す。
図2に示される2つの表示例おいて、201と204は画像入力部110から入力された前述のプレビュであり、202、203は相手側画像の表示である。表示例1では、相手画像201とプレビュ202が同時に表示される。この2つの表示201,202のうち、ユーザの選択によって、片方の表示を表示しないようにすることもできる。
また、表示例2のように、相手画像203の表示の中にプレビュ204を小さく表示をすることもできる。この表示とは逆に、ユーザの選択によってプレビュ204の表示の中に相手画像203を小さくして表示することもできる。
【0026】
分離部111で分離された音声データは、遅延バッファ116へ送出される。
遅延バッファ116では、符号化した音声データの音声フレーム受け取ると、その音声フレームを動画データの表示と同期するために一時バッファリングする。
一般的に音声データと動画データでは、動画データの方が符号化に時間がかかり、またデータ量も多いためデータ転送にも時間がかかる。そのため、同時刻の音声データより動画データの方が後に届くので、両者間の同期をとるために音声データをバッファリングする。ここで、遅延バッファ116がデータを保持する時間は、同時刻の画像フレームと音声フレームの到着時間から算出することができる。
【0027】
例えば、分離部111がRTPを用いている場合は、RTPには各フレーム毎にタイムスタンプが格納されているため、画像フレームと音声フレームのタイムスタンプをチェックし、同時刻のタイムスタンプの画像フレームを動画復号化部113で復号化するまでの時間差分だけ遅延バッファ116で音声フレームを保持する。また、例えば相手側のテレビ電話装置が予め動画データと音声データの送出時間の差分情報をデータストリームに多重化して通知してくれる場合は、分離部111でその情報を分離し、遅延バッファ116に送出して差分情報を用いてデータ保持の時間を算出してもよい。これらの動画データと音声データの再生の時間差分は、後述する遅延情報として使うことができる。
【0028】
また、例えば、最初に動画データが届くのまで遅延バッファ116は音声データを保持し、最初の届いた時点で音声データを保持はじめたときから動画データが届くまでの時間を時間差分として、音声データと動画データを同時に復号化開始してもよい。もし、同時刻の音声データと動画データが同じ時間に受信できるのであれば、この遅延バッファ116は構成からはずすこともできる。この場合、音声フレームはデータの到着順にすぐに復号化が行われる。もし、画像フレームと音声フレームが同時に到着すれば音声データと動画データの遅延時間は0とすることができる。遅延バッファ116は、保持する時間がすぎたら音声フレーム毎に音声データを音声復号化部118へ送る。音声復号化部118では、音声フレーム毎に符号化した音声データを復号化し、符号化方式に応じたサンプル数のデジタルの音声データを得る。このデジタル音声データを、セレクタ121を介してD/A変換部122へ送る。D/A変換部122では、デジタルの音声データを特定の周波数でアナログの音声データに変換して音声出力部123へ送る。音声出力部123では、アナログの音声データを再生することで相手の音声を鳴らすことができる。
上述ような動作を行うことにより、自分の動画と音声を相手のテレビ電話装置に送出し、相手の動画と音声を再生することで通常のテレビ電話機能を実現することができる。
【0029】
次に、この通常のテレビ電話の機能を実行中にテレビ電話の録画を開始した場合の動作について説明する。
テレビ電話の録画は、ユーザ入力部125からの録画の指示が入り、制御部124で次のようにテレビ電話装置100を制御することで実現する。制御部124による録画の制御として、例えば記憶部103、104に格納するデータストリームのサイズを設定し、そのサイズに達した時点で格納をやめるように制御する方法がある。また、例えば制御部124が録画開始からあらかじめ設定した時間に達した時点で格納をやめるように制御する方法もある。また、例えばユーザ入力部か125から録画停止の入力を受けて、制御部124が録画の停止することもできる。
【0030】
ユーザ入力部125から録画の制御が制御部124に入ると、通信制御部102が分離部111に送っているデータストリームを記憶部104へも送る。記憶部104では、送られたデータストリームを録画データとして格納する。この時、この記憶部104にデータストリームを格納する場合は、例えば図3で示すような情報をデータストリームと同じデータに格納する。
【0031】
図3において、301はデータストリームに多重化されている音声データの音声符号化方式に関する情報、302はデータストリームに多重化されている動画データの動画符号化方式に関する情報、303は分離部111で分離するために必要とされる多重化方式に関する情報、304はデータストリームに多重化されている音声データと画像データの遅延情報、305は音声データと動画データが多重化されているデータストリームである。301、302、303に関する情報は、再生するときに特に必要がない場合、例えば格納するデータストリームの符号化方式が既知である場合などは省くことができる。遅延情報304の詳細に関しては後述する。
【0032】
また、記憶部103においても、記憶部104でデータストリームの格納と同様に多重化部105から通信制御部102へ送るデータストリームを録画データとして格納する。記憶するデータストリームの形式は、図3と同様な形式で格納される。この記憶部103に格納される録画データと、記憶部104に同時期に格納される録画データとは、関連付けられて記憶されることが望ましい。例えば、図4に示すような2つの録画データを関連つけるテーブルがあってもよい。
【0033】
図4において、401は録画データのナンバー、402は受信側の記憶部104に格納される録画データのファイル名、403は送信側の記憶部103に格納される録画データのファイル名、404は受信側の録画データと送信側の録画データとの再生時の遅延情報である。図4では、受信側の録画データと送信側の録画データを便宜的にファイル名で表しているが、ファイルシステムが無い場合には、例えばメモリのアドレスであっても問題ない。このようなテーブルを例えば記憶部103や104に録画開始と同時に制御部123が記録して、管理することが望ましい。また、この受信側の録画データと送信側の録画データを録画後に1つの録画データとして結合して管理してもよい。尚、再生時遅延情報404の詳細については後述する。
この記憶部103に格納される録画データと、同じ時に記憶部104に格納される録画データに含まれる動画データと音声データとの間には、図5に示すような時間的関係がある。
【0034】
図5は、再生すべき時間に対して、記憶部103、104で格納されるデータストリームの動画データと音声データの再生時間を示した図である。
図5において、501は相手端末から送られてくる動画データの再生すべき時間、501は相手端末から送られてくる音声データの再生すべき時間、503は自端末から相手端末に送る動画データの再生すべき時間、504は自端末から相手端末に送る音声データの再生すべき時間である。
501は記憶部104に格納したデータストリームが含む相手側の動画データであり、502は記憶部104に格納したデータストリームが含む相手側の音声データであり、503は記憶部103に格納したデータストリームが含む自装置側の動画データであり、504は記憶部103に格納したデータストリームが含む自装置側の音声データである。501と502は記憶装置104に格納するデータストリーム内に多重化されており、503と504は記憶装置103に格納するデータストリーム内に多重化されている。
【0035】
例えば、記憶部103,104にそれぞれのデータストリームを同時に格納を開始したとすると、501から504のデータは図5のように再生すべき時間にずれが生じる。このずれのうち、動画データ501と音声データ502のずれT1は、前記した再生時に動画データと音声データの同期を取るために遅延バッファ116において音声フレームを保持する時間である。また、動画データ503と音声データ504のずれT2は、音声符号化部106と動画符号化部109のデータ送出の時間差である。また、T3は相手側のデータストリームと自装置のデータストリームの時間差であり、これは動画符号化部109、音声符号化部106、動画復号化部113、音声復号化部118によるCODEC遅延や、多重化部105や分離部111等の処理時間による遅延、または記録開始の時間のずれ等の合計を示す。記憶部103に格納されるデータストリームの遅延情報404にはT2の遅延情報が格納され、記憶部104に格納されるデータストリームの遅延情報404にはT1の遅延情報が格納される。このT1の遅延情報は、前述した遅延バッファ116で音声データを遅延させる時間の情報から容易に導き出すことができる。またT2の遅延情報は、多重化部105において音声データを最初に多重化した時間と動画データを最初に多重化した時間の差分から容易に導き出すことができる。これらの時間が端末によって固定値である場合は、その固定値を用いてもよい。また、これらの遅延情報の値が十分に小さい場合は代わりに0を用いてもよい。また、もし相手側動画データ501と相手側音声データ502において、相手側画像データ501が早く送られてくる場合は、その時間差の情報をT1としてあつかえばよい。また、自装置動画データ503と自装置音声データ504のデータ送出が自装置動画データ503を早く送る場合のT2に関しても同様である。また、T3の時間情報は、例えば図4の再生時間遅延404として格納してもよい。
【0036】
次に、記憶部103及び記憶部104に格納された録画データを再生する場合について説明する。
再生を開始するときには、ユーザ入力部125から録画データを再生するための指示が入力され、制御部124の制御の下、録画データの再生が行われる。図10に、再生方法を指示するための表示画面を示す。再生の指示は、(a)再生ファイルの選択画面と、(b)再生方法の選択画面の2つから対象を選択することで行える。例えば、(a)の画面からは目的とする再生ファイル1001又は1002などを指示し、(b)の画面からは再生方法の選択項目1003として、送信データのみ1004、受信データのみ1005、または送受信のデータを同時1006を指示して選択できる。
【0037】
まず、記憶部104に格納された録画データを再生する場合には、制御部124の制御により、記憶部104内の録画データから音声符号化方式情報301、動画符号化方式情報302、多重化情報303が取り出され、それぞれ音声復号化部118、動画復号化部113、分離部111へ送られ、これらの情報に基づいてそれぞれの処理の準備が行われる。また、遅延情報304を用いて遅延バッファ116での音声データの遅延時間が決定される。もし、遅延情報304が「0」でならば、遅延バッファ116は構成からはずしてもよい。
次に、分離部111は記憶部103から録画データを読み込み、音声データと画像データに分離し、画像データは画像フレーム毎に動画復号化部113へ、音声データは音声フレーム毎に遅延バッファ116へ送出される。この後の再生手順は、前述した通常のテレビ電話機能が動作している場合のテレビ電話装置100が相手側のテレビ電話装置からのデータ受信の場合と同様である。ただし、音声復号化118が復号化した音声データは音声合成部120へも送られ、セレクタ121で再生する音声データを選択できる。
【0038】
次に、記憶部103に格納された録画データを再生する場合は、記憶部104の場合と同様に、まず録画データから音声符号化方式情報301、動画符号化方式情報302、多重化情報303が取り出され、それぞれ音声復号化部119、動画復号化部114、分離部112へ送られ、これらの情報に基づいてそれぞれの処理の準備が行われる。また、遅延情報304を用いて遅延バッファ117での音声データの遅延時間が決定される。もし、遅延情報304が「0」であるなら、遅延バッファ117は構成からはずしてもよい。もし、図4の再生時間遅延404のような記憶部103と記憶部104に格納した録画データに再生遅延が必要な場合、前記の記憶部104の録画データ再生に対して、再生を開始する時間を遅延させてもよい。再生開始時間が着たら分離部112は記憶部103から録画データを読み込み、音声データと画像データに分離し、画像データは画像フレーム毎に動画復号化部114へ、音声データは音声フレーム毎に遅延バッファ117へ送出される。
【0039】
動画復号化部114では、符号化された動画データが画像フレーム毎に復号化される。そして、画像フレームを表示するタイミングになった時に、復号化した画像データを画像表示部115に送られる。画像表示部115では、前記の動画復号化部113から送られてきた画像フレームと動画復号化部114から送られてきた画像フレームの表示をおこなう。この表示は、例えば図2で示すような通常のテレビ電話時の表示と同様におこなうことができる。ただし、図2においてプレビュ201とプレビュ204は、動画復号化部114が復号化した動画データとなる。この画像表示部115の表示は、動画復号化部113と動画復号化部114からの画像フレームを同時に表示しても、いずれか片方のみ表示しても、両方とも表示しなくてもよい。この選択は、例えばユーザ入力部125からユーザが表示する画像データを選択して、制御部124であらかじめ設定したものであっても良い。
【0040】
遅延バッファ117では、音声復号化部119で音声データを復号化し、復号化した音声データを音声合成部120とセレクタ121に送出する。音声合成部120では、音声復号化部118で復号化した音声データと、音声復号化部119が復号化した音声データをミキシングして、2つの音声データを1つの音声データにし、それをセレクタ121へ送出する。セレクタ121では、音声復号化部118からの音声データと、音声合成部120からの音声データと、音声復号化部119からの音声データから1つの音声データを選択してD/A変換部122へ送出する。この選択は、例えばユーザ入力部125からユーザが出力する音声データを選択して、制御部124で設定したものであっても良い。音声合成部120からの音声データを出力することで、自分の音声データと相手の音声データを同時に再生することができる。
以上のようにして、テレビ電話の会話中の自分と相手の双方の動画と音声が録画でき、同時に再生することで会話の記録が可能になる。
【0041】
・第2の実施形態
図6は、この発明の第2の実施形態におけるテレビ電話装置100の構成を示すブロック図である。
図6において、601、605は音声データや動画データを多重化する多重化部、602、606は録画データを格納するメモリなどの記憶部、603、607は多重化した録画データを音声データと動画データに分離する分離部、604は2つの動画データから1つの動画データを選択することができるセレクタ、608は2つの音声データをから1つの音声データを選択することができるセレクタである。その他図1と同じ符号を付した部分の構成及び動作に関しては、第1の実勢形態で説明したものと同様である。ただし、通常のテレビ電話中は、セレクタ604は分離部111が送った動画データを動画符号化部113へ送り、セレクタ608は分離部111が送った音声データを遅延バッファ116へ送るものとする。
【0042】
次に、通常のテレビ電話の機能を実行中にテレビ電話の録画を開始した場合の動作について説明する。
テレビ電話の録画は、ユーザ入力部125からの録画の指示が入り、制御部124で次のようにテレビ電話装置100を制御することで実行される。録画の制御信号が制御部124に入力すると、受信側の録画として次の制御が行われる。
まず、分離部111が分離した音声データと動画データをフレーム毎に多重化部605へ送る。多重化部605では、音声データと動画データを多重化し、1つのデータとして記憶部606へ送る。この多重化部605で用いられる多重化方式は分離部111や多重化部103で用いられる多重化方式と同じでもよいし、また異なる多重化方式でもよい。異なる多重化方式としては、例えばMPEG−4のファイルフォーマットであるMP4FF(MPEG−4 File Format)などがある。この多重化において、各フレームにタイムスタンプを付けることができる場合は、付けることが望ましい。このタイムスタンプの情報は、例えば分離部111でRTPが用いられているような場合には、そのRTPに含まれるタイムスタンプを分離部111から受け取り、多重化時に各フレームに対応していれることができる。また、分離部111で用いられる多重化方式でタイムスタンプない場合は、例えば遅延バッファ116のデータの保持時間から各フレームのタイムスタンプを算出することが望ましい。また、多重化した録画データには再生時に必要な、音声データの音声符号化方式の情報、動画データの動画符号化方式の情報が録画データ内に入ることが望ましい。多重化された動画データは、記憶部606に格納される。
【0043】
また、録画の制御信号が制御部124に入力すると、送信側の録画として次の制御が行われる。まず、音声符号化部106が多重化部103へ送る音声データと、動画符号化部109は多重化部103へ送る動画データを、フレーム毎に多重化部601へも同時に送る。多重化部601では、動画データと音声データを多重化して1つのデータとして記憶部602へ送る。この多重化部601で用いられる多重化方式は分離部111や多重化部103で用いられる多重化方式と同じでもよいし、異なる多重化方式でもよい。多重化部605における方式と同じ方式であることが望ましい。また、多重化する場合には各フレームにタイムスタンプが付くことが望ましい。このタイムスタンプは、例えば動画符号化部109や音声符号化部106が各フレームを同時に送ったタイムスタンプであることが望ましい。
【0044】
制御部124から録画中止の指示が着たら上記動作を中止する。このような手順で、記憶部602に送信側の録画データ、記憶部606に受信側の録画データを記録することができる。記憶部602と記憶部606に記録されるデータは、関連付けられていられることが望ましい。例えば、第1の実施形態で説明したように、図4のテーブルをこの実施形態でもちいることができる。この場合、再生時間遅延404の時間は、動画符号化部109、音声符号化部106、動画復号化部113、音声復号化部118によるCODEC遅延から算出することができる。このCODEC遅延の値は端末で固定値を持ってもよいし、これが十分に小さいときは0とみなしてもよい。
【0045】
次に、記憶部602と記憶部606に格納した録画データを再生する場合を説明する。
再生を開始する場合は、ユーザ入力部125から録画データの再生の指示が入力され、制御部124が録画データ再生を制御する。ユーザは例えば、図4の401で示した1番の録画データ再生開始を指示するとか、またはユーザが同時に再生する録画データを2つ選んで再生開始を指示してもよい。
【0046】
まず、記憶部606に格納された録画データを再生する場合について説明する。
分離部607は、多重化部605で用いた多重化方式と同じ方式で録画データを分離することができる。まず分離部607は、記憶部606に格納された録画データから音声符号化方式の情報、動画符号化方式の情報を取りだし、それぞれ音声復号化部118、動画復号化部113送り、これらの情報に基づいてそれぞれの処理の準備を行う。また、録画データ内にタイムスタンプがある場合は、このタイムスタンプから音声データと動画データの遅延情報を算出し遅延バッファ116での音声データの遅延時間を決定する。もし、遅延が「0」であるなら、遅延バッファ116は構成からはずしてもよい。次に、分離部607は記憶部606から録画データを読み込み、音声データと動画データに分離し、動画データは画像フレーム毎にセレクタ604を介して動画復号化部113へ、音声データは音声フレーム毎にセレクタ608を介して遅延バッファ116へ送出する。この後の再生手順は、第1の実施形態で説明した動作と同様である。
【0047】
次に、記憶部602に格納した録画データを再生する場合を説明する。
分離部603は、多重化部601で用いた多重化方式と同じ方式で録画データを分離することができる。まず分離部603は、記憶部602に格納した録画データから音声符号化方式の情報、動画符号化方式の情報を取りだし、それぞれ音声復号化部119、動画復号化部114送り、これらの情報に基づいてそれぞれの処理の準備をおこなう。また、録画データ内にタイムスタンプがある場合は、このタイムスタンプから音声データと動画データの遅延情報を算出し遅延バッファ117での音声データの遅延時間を決定する。もし、録画データの再生遅延情報が「0」でない場合は、この記憶部602で録画したデータの再生の開始は、記憶部606の録画データの再生より再生遅延情報で示された分遅く行う。再生が開始したら、分離部603は動画データを画像フレーム毎に動画復号化部113へ、音声データは音声フレーム毎に遅延バッファ116へ送出される。この後の再生手順は、第1の実施形態で説明した動作と同様である。
【0048】
第2の実施形態において、もし通常のテレビ電話中に同時に多重化部601や605で多重化ができない場合は、録画が終わるまで音声データと動画データを記憶部602や606に一時蓄積をおこない、テレビ電話の通話が終了するなどの多重化がおこなえるタイミングになったら記憶部602や606に一時蓄積をおこなった音声データと動画データを多重化部601や605に送って多重化をおこない、その多重化した録画データを記憶部602や606に格納してもよい。
【0049】
図6に示した例では、多重化部と分離部と記憶部が、それぞれ2つずつ必要になる。しかし、多重化方式によってはこれらを1つの系にすることができる。例えば、MP4FFでは、複数の音声データと動画データを1つのデータに多重化することができる。これを用いて実現すると、図7で示すような構成となる。
【0050】
図7において、701はMP4FFなどの複数の音声データと動画データを多重化する多重化部、702は録画データを格納する記憶部、703はMP4FFなどの方式で多重化されたデータを分離する分離部である。この構成において、録画をするときは、送信側の音声データと動画データ、受信側の音声データと動画データの各フレームに対して、データの再生時間に合わせたタイムスタンプを用いて多重化を行い、記憶部702に録画データを格納する。再生するときは、記憶部702に格納された録画データを分離部703で送信側の音声データと動画データ、受信側の音声データと動画データに分離し、それぞれ前述の例と同じように再生する。
【0051】
この第2の実施形態によれば、多重化された動画データを記憶部に格納するにように構成したので、例えば多重化方式をMPEG−4ファイルフォーマットのような共通のフォーマットに統一することにより、記憶部に記憶された動画データを他の用途、例えばパソコンや携帯電話での添付ファイルとして、第三者に転送することができる。
【0052】
・第3の実施形態
図8は、第3の実施形態によるテレビ電話装置100の構成を示すブロック図である。
図8において、801は音声データや動画データを多重化する多重化部、802は録画データを格納するメモリなどの記憶部、803は多重化した録画データから音声データと動画データに分離する分離部、804は音声データを符号化する音声符号化部、805は2つの音声データを1つの音声データに合成をおこなう音声合成部、806は動画データを動画符号化する動画符号化部、807は2つの画像フレームを合成する画像合成部である。その他の図1又は図6に示す符号と同じものは、上記した第1、第2の実施形態における機能、動作と同様である。
【0053】
次に、通常のテレビ電話の機能を実行中にテレビ電話の録画を開始する場合の動作について説明する。
テレビ電話の録画は、ユーザ入力部125から録画の指示が入力され、制御部124で以下のようにテレビ電話装置100の関連する部分を制御することで実行される。
録画の制御信号が制御部124に入力すると、受信側の録画として次の制御が行われる。まず、画像入力部110で取り込まれた画像フレームは画像合成部807へ送られと共に、動画復号化部113で復号化された画像フレームも画像合成部807へ送られる。画像合成部807では、送られてきた2枚の画像フレームから1枚の画像フレームが合成される。
【0054】
例えば、図9に示すように画像合成例がある。図9において、901、904は相手端末からの画像、902、903は自端末の画像である。この例のようにお互いの動きがわかりやすいように合成することが望ましい。また、合成後の画像サイズは、合成前の画像フレームのサイズと同じであることが望ましい。この合成した画像フレーム毎に、動画符号化部806へ送られる。動画符号化部806では、送られてきた画像フレーム毎に動画符号化し、符号化した動画データを多重化部801へ送る。この動画符号化部806で用いられる動画符号化方式は、動画復号化部113等で用いられる動画符号化方式と同じ方式であることが望ましい。
【0055】
一方、音声入力部108で入力し、A/D変換部107でデジタル化された音声データは音声合成部805へ送られ、音声復号化部118で復号化された音声データも音声合成部805へ送られる。音声合成部805では、2つの音声データから1つの音声データを合成し、合成した音声データを音声符号化部804へ送る。音声符号化部804では音声フレーム毎に音声データを符号化し、符号化した音声データを多重化部801へ送る。この音声符号化部806で用いる音声符号化方式は音声符号化部118などで用いられる方式と同じであることが望ましい。
【0056】
多重化部806では、まず動画符号化部113で用いられた動画符号化方式の情報と音声符号化方式の情報を録画データに記録する。そして、送られた符号化した音声データと符号化した動画データを多重化して1つの録画データにする。
このとき多重化部801がタイムスタンプ使用できる多重化方式であれば、画像フレームは動画復号化部113で合成の元になった画像フレームを復号化して表示をかけたときの時間を、音声フレームは音声復号化部118が音声合成の基となった音声フレームを復号化した時間をタイムスタンプとして用いることが望ましい。この多重化した録画データは記憶部802へ送られ、格納される。
尚、多重化部801において、入力として合成した画像フレームを用いたが、もし相手画像の動画データだけ録画データに残したい場合は、分離部111から分離された動画データを用いてもよい。上述のようにすることで会話を記録した録画データを格納できる。
【0057】
次に、記憶部802に格納した録画データを再生する場合を説明する。再生を開始する場合は、ユーザ入力部125から録画データを再生するための指示が入力され、制御部124が録画データ再生を制御する。
【0058】
まず、記憶部802に格納された録画データを再生する場合について説明する。
分離部803は、多重化部801で用いた多重化方式と同じ方式で録画データを分離することができる。まず分離部801は、記憶部802に格納した録画データから音声符号化方式の情報、動画符号化方式の情報を取り出し、それぞれ音声復号化部118、動画復号化部113送り、これらの情報に基づいてそれぞれの処理の準備を行う。また、録画データ内にタイムスタンプがある場合は、このタイムスタンプから音声データと動画データの遅延情報を算出し、遅延バッファ116での音声データの遅延時間を決定する。もし、遅延が「0」であるならば、遅延バッファ116を構成から外してもよい。次に、分離部803は記憶部802から録画データを読み出し、音声データと動画データに分離する。動画データは画像フレーム毎にセレクタ604を介して動画復号化部113へ送出され、音声データは音声フレーム毎にセレクタ608を介して遅延バッファ116へ送出される。この後の再生手順は、第1の実施形態で説明した動作と同様である。
【0059】
上記した実施例、例えば図1において、記憶部103,104、及びA/D変換部107、D/A変換部122などはハードウェアで構成するのが好ましいが、多重化部105、分離部111、112、音声符号化部106、動画符号化部109、音声復号化部118、119、動画復号化部113,114、音声合成部120、セレクタ121などはハードウェアで構成しても良いし、またファームウェアで構成しても良い。ハードウェアで構成する場合には、この部分は半導体回路にて構成される。
【0060】
以上説明したいくつかの実施例によれば、複数のテレビ電話装置が互いにテレビ電話を行なっている最中に、片方のテレビ電話装置がテレビ電話の記録を残すため録画を開始したときに、双方の音声データ、動画データを録画でき、また双方の動画と音声を再生することができる。また、録画による遅延時間を用いて、ずらして再生することでテレビ電話中の会話と、再生時の会話がほぼ同じ遅延で再生することができ、違和感なく鑑賞することができる。
【0061】
【発明の効果】
本発明によれば、相手側から送信された画像及び音声と、自分側から送信される画像及び音声の記録が行え、また、それらの情報の再生が可能な音声及び画像の送受信記録システムを実現できる。
【図面の簡単な説明】
【図1】本発明の1実施形態によるテレビ電話装置の構成例を示すブロック図。
【図2】画面の表示例を示す図。
【図3】録画データの構成例を示す図。
【図4】録画データ関連テーブルの構成例を示す図。
【図5】再生時間のずれの関係を示す図。
【図6】本発明の第2実施形態によるテレビ電話装置の構成例を示すブロック図。
【図7】本発明の第2実施形態におけるテレビ電話装置の代替例を示すブロック図。
【図8】本発明の第3実施形態によるテレビ電話装置の構成例を示すブロック図。
【図9】画像合成の例を示す図。
【図10】再生方法を選択するための表示画面の例を示す図。
【符号の説明】
100 テレビ電話装置、 101 通信網
102・・・通信制御部、
103、104、602、606、702 記憶部、
105、601、605、701 多重化部、 106、804 音声符号化部
107 A/D変換部、 108 音声入力部
109、806 動画符号化部、 110 画像入力部
111、112、603、607、703 分離部、
113、114 動画復号化部、 115 画像表示部
116、117 遅延バッファ、 118、119 音声復号化部
120 音声合成部、 121、604、608 セレクタ
122 D/A変換部、 123 音声出力部、 124 制御部
125 ユーザ入力部、 807 画像合成部。
Claims (16)
- 符号化された音声データ及び動画データを多重化し、通信網を介してこの多重化されたデータを送受信するテレビ電話装置において、
相手のテレビ電話装置から送信され、受信されたデータを記録する受信記憶部と、
自分のテレビ電話装置から相手のテレビ電話装置へ送信される多重化データを記録する送信記憶部と、
テレビ電話の会話の録画時に該受信記憶部、及び該送信記憶部に該多重化データの記録を行うように制御する制御部を有することを特徴とするテレビ電話装置。 - 請求項1に記載のテレビ電話装置において、
前記受信記憶部に記録されたデータを、符号化した音声データと符号化した動画データに分離する第1の分離部と、
該第1の分離部で分離された音声データを復号化する第1の音声復号化部と、
該送信記憶部のデータを、符号化した音声データと符号化した動画データに分離する第2の分離部と、
該第2の分離部で分離された音声データを復号化する第2の音声復号化部と、
該第1の音声復号化部で復号化された音声データと、該第2の音声復号化部で復号化された音声データを1つの音声データに合成する音声合成部とを有し、
該制御部は、該受信記憶部と送信記憶部に格納されたデータを、同時に再生するように制御することを特徴とするテレビ電話装置。 - 前記受信記憶部及び送信記憶部には、データストリームに多重化されている音声データの音声符号化方式に関する情報、データストリームに多重化されている動画データの動画符号化方式に関する情報、多重化方式に関する情報、及び多重化された音声データと動画データのデータストリームが格納されることを特徴とする請求項1に記載のテレビ電話装置。
- 前記受信記憶部及び送信記憶部には、データストリームに多重化されている音声データの音声符号化方式に関する情報、データストリームに多重化されている動画データの動画符号化方式に関する情報、前記分離部で分離するために必要とされる多重化方式に関する情報、データストリームに多重化されている音声データと画像データの遅延情報、及び多重化された音声データと動画データのデータストリームが格納されることを特徴とする請求項2に記載のテレビ電話装置。
- 前記受信記憶部及び送信記憶部には、録画データのファイル及び送信データのファイルを示す情報、及び再生時の遅延に関する情報が格納されることを特徴とする請求項1に記載のテレビ電話装置。
- 前記送信記憶部及び受信記憶部に記録された音声及び動画データを再生するための指示を入力する入力部を有し、該入力部より該記憶部に記憶されている再生の対象となるデータを選択し、かつ送信データを再生するか、受信データを再生するか、又は両方を再生するかを選択するための機能を有することを特徴とする請求項1に記載のテレビ電話装置。
- 通信網を介して符号化された音声データと符号化した動画データを1つのデータに多重化して送受信する送受信システムにおいて、
少なくとも相手装置から受信されたデータを第1の符号化した音声データと符号化した動画データに分離する第1の分離部と、
自装置から送信する第2の符号化した音声データと、該第1の分離部で分離された第1の符号化した音声データと符号化した動画データを1つのデータに多重化する多重化部と、
該多重化部で多重化されたデータを記録する記憶部と、を有することを特徴とする送受信記録システム。 - 請求項7のシステムにおいて、
前記記憶部に記録したデータを2つ以上の符号化した音声データと符号化した動画データに分離する第2の分離部と、
該第2の分離部で分離した音声データの1つを復号化する第1の音声復号化部と、
該第2の分離部で分離した音声データの他方を復号化する第2の音声復号化部と、
該第1の音声復号化部で復号化した音声データと該第2の音声復号化部で復号化した音声データを1つの音声データに合成する音声合成部と、
会話の録画時に、音声及び動画データを該記憶部に記録するように制御すると共に、該記憶部に格納されたデータを同時に再生するよう制御する制御部と、を有することを特徴とする送受信記録システム。 - 前記記憶部には、データストリームに多重化されている音声データの音声符号化方式に関する情報、データストリームに多重化されている動画データの動画符号化方式に関する情報、多重化方式に関する情報、及び多重化された音声データと動画データのデータストリームが格納されることを特徴とする請求項7に記載の送受信記録システム。
- 前記記憶部には、録画データのファイル及び送信データのファイルを示す情報、及び再生時の遅延に関する情報が格納されることを特徴とする請求項7に記載の送受信記録システム。
- 音声データ及び動画データは、フレーム化されて扱われ、各フレームにはタイムスタンプが付与されていることを特徴とする請求項1又は7記載のテレビ電話装置。
- 音声データ及び動画データは、MPEG−4のファイルフォーマットであることを特徴とする請求項11記載のテレビ電話装置。
- 通信網を介して符号化した音声データと符号化した動画データを1つのデータに多重化して送受信するテレビ電話装置において、
少なくとも相手装置から受信されたデータを第1の符号化した音声データと符号化した動画データに分離する第1の分離部と、
該第1の分離部で分離された符号化した音声データを復号化して音声データにする音声復号化部と、
音声データを入力する音声入力部と、
該音声復号化部で復号化された音声データと該音声入力部で入力された音声データを1つの音声データに合成する音声合成部と、
該音声合成部から出力される音声データを符号化する音声符号化部と、
該音声符号化部で符号化された音声データと符号化された動画データを多重化して1つのデータにする多重化部と、
該多重化部で多重化されたデータを記録する記憶部を有し、
テレビ電話の会話の録画時に該記憶部に記録を行うことを特徴とするテレビ電話装置。 - 前記記憶部に記憶された音声及び動画データを再生するための指示をする入力部を有し、該入力部より該記憶部に記憶されている再生の対象となるデータを選択し、かつ送信データを再生するか、受信データを再生するか、又は両方を再生するかを選択するための機能を有することを特徴とする請求項7又は13に記載のテレビ電話装置。
- 通信網を介して符号化された音声データと符号化した動画データを1つのデータに多重化して送受信する送受信方法において、
少なくとも相手装置から受信されたデータを第1の符号化した音声データと符号化した動画データに分離部で分離し、
自装置から送信する第2の符号化した音声データと、該分離部で分離された第1の符号化した音声データと符号化した動画データを1つのデータに多重化し、
該多重化されたデータをメモリに記憶することを特徴とする送受信方法。 - 入力部より該記憶部に記憶されている再生の対象となるデータを選択し、かつ送信データを再生するか、受信データを再生するか、又は両方を再生するかを選択することを特徴とする請求項15に記載の送受信データの記録再生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003206447A JP2005057362A (ja) | 2003-08-07 | 2003-08-07 | 音声及び画像の送受信記録システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003206447A JP2005057362A (ja) | 2003-08-07 | 2003-08-07 | 音声及び画像の送受信記録システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005057362A true JP2005057362A (ja) | 2005-03-03 |
Family
ID=34363311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003206447A Pending JP2005057362A (ja) | 2003-08-07 | 2003-08-07 | 音声及び画像の送受信記録システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005057362A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009055648A (ja) * | 2008-12-11 | 2009-03-12 | Hitachi Kokusai Electric Inc | 画像データ圧縮装置 |
JP2011501929A (ja) * | 2007-10-19 | 2011-01-13 | レベルヴォックス,エルエルシー | ネットワークを介したリアルタイムメディア同期の方法およびシステム |
JP2016540454A (ja) * | 2013-09-29 | 2016-12-22 | ゼットティーイー コーポレーションZte Corporation | エンドポイント情報インタラクト処理方法、装置及びテレプレゼンスエンドポイント |
-
2003
- 2003-08-07 JP JP2003206447A patent/JP2005057362A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011501929A (ja) * | 2007-10-19 | 2011-01-13 | レベルヴォックス,エルエルシー | ネットワークを介したリアルタイムメディア同期の方法およびシステム |
JP2009055648A (ja) * | 2008-12-11 | 2009-03-12 | Hitachi Kokusai Electric Inc | 画像データ圧縮装置 |
JP2016540454A (ja) * | 2013-09-29 | 2016-12-22 | ゼットティーイー コーポレーションZte Corporation | エンドポイント情報インタラクト処理方法、装置及びテレプレゼンスエンドポイント |
US10356141B2 (en) | 2013-09-29 | 2019-07-16 | Zte Corporation | Method and device for exchanging endpoint information, and telepresence endpoint |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20070070182A1 (en) | Video call apparatus for mobile communication terminal and method thereof | |
JP2005033664A (ja) | 通信装置及びその動作制御方法 | |
JP2007527128A (ja) | メデイアストリームの混合 | |
JP2007527128A5 (ja) | ||
JP2004304601A (ja) | Tv電話装置、tv電話装置のデータ送受信方法 | |
JP2000324463A (ja) | テレビ会議システム | |
JP2005057362A (ja) | 音声及び画像の送受信記録システム | |
US20110074909A1 (en) | Video telephony | |
KR100754736B1 (ko) | 영상 수신 시스템에서 영상 프레임의 재생 방법 및 그 장치 | |
JP2007020095A (ja) | 情報合成装置、情報合成システム、情報同期方法およびプログラム | |
JP2002290973A (ja) | マルチメディア通信装置 | |
EP1489823B1 (en) | Media stream mixing | |
JPH1169330A (ja) | 留守録機能を備えた画像通信装置 | |
JP2003158729A (ja) | テレビ電話装置 | |
KR20090010385A (ko) | 화상 통신 단말의 화상 통화 녹화 방법 및 장치 | |
JP2004297229A (ja) | 画像処理装置及びその方法並びにそれを用いた画像処理システム及びプログラム | |
JPH10271482A (ja) | 符号化映像の同期再生制御方法およびシステム | |
JP3728812B2 (ja) | 画像通信端末装置 | |
JP3178509B2 (ja) | ステレオ音声テレビ会議装置 | |
JP4122997B2 (ja) | テレビ電話装置 | |
JP3683210B2 (ja) | 映像音声伝送システム | |
JPH05111017A (ja) | テレビ電話機 | |
KR20070067271A (ko) | 대체영상 전송방법 및 그 장치 | |
KR20070054269A (ko) | 영상 재생장치에서 영상 프레임의 재생 방법 및 장치 | |
JPH08317362A (ja) | テレビ会議システムの端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051212 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090630 |