JP3462267B2 - 情報通信端末装置 - Google Patents
情報通信端末装置Info
- Publication number
- JP3462267B2 JP3462267B2 JP15023994A JP15023994A JP3462267B2 JP 3462267 B2 JP3462267 B2 JP 3462267B2 JP 15023994 A JP15023994 A JP 15023994A JP 15023994 A JP15023994 A JP 15023994A JP 3462267 B2 JP3462267 B2 JP 3462267B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- memory
- transmission
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Description
【0001】
【産業上の利用分野】本発明は情報通信端末装置に係
り、特に文字、画像、音声などのいわゆるマルチメディ
ア情報の通信に適した情報通信端末装置に関する。
り、特に文字、画像、音声などのいわゆるマルチメディ
ア情報の通信に適した情報通信端末装置に関する。
【0002】
【従来の技術】画像情報や音声情報を限られた帯域の伝
送路を用いて伝送する場合、情報の圧縮が不可能にな
る。その場合、画質・音質の劣化は避けられず、この様
な劣化をいかに低減するか、あるいはこの様な劣化をど
こまで許容するか等が従来より課題となっていた。伝送
路の帯域が狭い場合には、十分に劣化の少ない画像・音
声情報を得たいという要求には答えられないというのが
現状であった。
送路を用いて伝送する場合、情報の圧縮が不可能にな
る。その場合、画質・音質の劣化は避けられず、この様
な劣化をいかに低減するか、あるいはこの様な劣化をど
こまで許容するか等が従来より課題となっていた。伝送
路の帯域が狭い場合には、十分に劣化の少ない画像・音
声情報を得たいという要求には答えられないというのが
現状であった。
【0003】
【0004】
【0005】
【0006】
【0007】
【0008】
【0009】
【0010】
【0011】
【発明が解決しようとする課題】本発明の目的は、伝送
帯域の制限された伝送路を用いて高品質の情報伝送を行
うことができる情報通信端末装置を提供することにあ
る。
帯域の制限された伝送路を用いて高品質の情報伝送を行
うことができる情報通信端末装置を提供することにあ
る。
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【課題を解決するための手段】上記の目的を達成するた
め、本発明に係る情報通信端末装置は、伝送すべき情報
を第1のメモリを介さずに実時間で伝送する第1の伝送
モードと、該情報を該第1のメモリを介して伝送する第
2の伝送モードと、該情報の一部を第1のメモリを介さ
ずに実時間で伝送すると共に、該情報の他の一部を該第
1のメモリを介して伝送する第3の伝送モードを有する
送信装置と、該送信装置から前記第1の伝送モードによ
り伝送されてきた情報を第2のメモリを介さずに実時間
で受信する第2の受信モードと、前記第2の伝送モード
により伝送されてきた情報を該第2のメモリを介して受
信する第2の受信モードと、前記第3の伝送モードによ
り伝送されてきた情報のうち実時間で伝送されてきた情
報については該第2のメモリを介さずに実時間で受信
し、前記第1のメモリを介して伝送されてきた情報につ
いては該第2のメモリを介して受信する第3の受信モー
ドを有する受信装置とからなることを特徴とする。
め、本発明に係る情報通信端末装置は、伝送すべき情報
を第1のメモリを介さずに実時間で伝送する第1の伝送
モードと、該情報を該第1のメモリを介して伝送する第
2の伝送モードと、該情報の一部を第1のメモリを介さ
ずに実時間で伝送すると共に、該情報の他の一部を該第
1のメモリを介して伝送する第3の伝送モードを有する
送信装置と、該送信装置から前記第1の伝送モードによ
り伝送されてきた情報を第2のメモリを介さずに実時間
で受信する第2の受信モードと、前記第2の伝送モード
により伝送されてきた情報を該第2のメモリを介して受
信する第2の受信モードと、前記第3の伝送モードによ
り伝送されてきた情報のうち実時間で伝送されてきた情
報については該第2のメモリを介さずに実時間で受信
し、前記第1のメモリを介して伝送されてきた情報につ
いては該第2のメモリを介して受信する第3の受信モー
ドを有する受信装置とからなることを特徴とする。
【0019】また、前記受信装置は記録手段を有し、前
記送信装置から前記第1の伝送モードにより伝送されて
きた情報については該情報を該記録手段により記録し、
前記送信装置から前記第3の伝送モードで伝送されてき
た情報については該情報のうち実時間で伝送されてきた
情報と前記第1のメモリを介して伝送されてきた情報と
を統合した後に該記録手段により記録することを特徴と
する。
記送信装置から前記第1の伝送モードにより伝送されて
きた情報については該情報を該記録手段により記録し、
前記送信装置から前記第3の伝送モードで伝送されてき
た情報については該情報のうち実時間で伝送されてきた
情報と前記第1のメモリを介して伝送されてきた情報と
を統合した後に該記録手段により記録することを特徴と
する。
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【作用】本発明では、従来の実時間での通信が出来る機
能に加えて、送信側・受信側にメモリを持ち、伝送すべ
き情報を一度メモリ内に取り込んだ後、それを発信者が
要求する画質・音質で符号化伝送する機能を備えてい
る。従って、例えば留守番電話の様に実時間通信が必要
でない場合は、その情報を一度メモリ内に取り込み、時
間をかけてその情報を精細に符号化して伝送出来る。
能に加えて、送信側・受信側にメモリを持ち、伝送すべ
き情報を一度メモリ内に取り込んだ後、それを発信者が
要求する画質・音質で符号化伝送する機能を備えてい
る。従って、例えば留守番電話の様に実時間通信が必要
でない場合は、その情報を一度メモリ内に取り込み、時
間をかけてその情報を精細に符号化して伝送出来る。
【0031】また、実時間通信が必要な場合は、ある程
度画質・音質の劣化を許容する従来のモードに加えて、
狭い帯域で伝送可能な情報のみは実時間で通信すること
により、従来画質・音質レベルの情報伝達が出来、さら
に精細な情報を作成するために必要な残りの情報は一度
メモリに取り込んだ後、非実時間で受信側に伝送するこ
とができる。受信側では、実時間で伝送されてきた情報
と、一度メモリに取り込まれた情報とを統合し、それを
記録することによって、後から今行った通信内容を精細
な画質・音質で再現出来る。
度画質・音質の劣化を許容する従来のモードに加えて、
狭い帯域で伝送可能な情報のみは実時間で通信すること
により、従来画質・音質レベルの情報伝達が出来、さら
に精細な情報を作成するために必要な残りの情報は一度
メモリに取り込んだ後、非実時間で受信側に伝送するこ
とができる。受信側では、実時間で伝送されてきた情報
と、一度メモリに取り込まれた情報とを統合し、それを
記録することによって、後から今行った通信内容を精細
な画質・音質で再現出来る。
【0032】このように本発明によれば、従来と同等の
狭い帯域を用いていながら、従来と同等レベルの画質・
音質での実時間通信に加えて、精細情報の通信も可能に
なるので、ユーザが要求する画質・音質での情報伝達が
可能になる。
狭い帯域を用いていながら、従来と同等レベルの画質・
音質での実時間通信に加えて、精細情報の通信も可能に
なるので、ユーザが要求する画質・音質での情報伝達が
可能になる。
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【実施例】以下、本発明の実施例を図面を用いて説明す
る。
る。
【0041】(実施例1)図1は、本実施例に係る情報
通信端末装置のブロック図であり、(a)は送信装置、
(b)は受信装置を示している。
通信端末装置のブロック図であり、(a)は送信装置、
(b)は受信装置を示している。
【0042】図1(a)に示す送信装置では、まずカメ
ラ11を通じて画像情報が、またマイク12を通じて音
声情報がそれぞれ取り込まれ、これら画像情報および音
声情報が符号化部13で符号化される。一方、キーボー
ドなどの入力部14からは送信者が要求する画質・音質
(モード)が設定できるようになっており、これに基づ
いてモード発生部15で要求された画質・音質に相当す
るモード情報が出力される。
ラ11を通じて画像情報が、またマイク12を通じて音
声情報がそれぞれ取り込まれ、これら画像情報および音
声情報が符号化部13で符号化される。一方、キーボー
ドなどの入力部14からは送信者が要求する画質・音質
(モード)が設定できるようになっており、これに基づ
いてモード発生部15で要求された画質・音質に相当す
るモード情報が出力される。
【0043】符号化部13では、モード発生部15から
のモード情報によりどの程度の圧縮率で符号化すべき
か、つまり符号化レートが決定され、それに基づいて例
えば量子化ステップサイズの値や、1秒間に符号化する
フレームの枚数などが設定される。符号化部13からの
符号化情報は、次段の信号分離部16に送られる。信号
分離部16では、モード発生部15からのモード情報に
より、実時間で伝送すべき情報と、メモリ17に一度取
り込んでから改めて伝送する情報を分離して出力する。
多重化部18では、信号分離部16からの符号化情報と
モード情報が多重化される。この多重化部18の出力
は、図示しない伝送路を介して図1(b)に示す受信装
置に伝送される。
のモード情報によりどの程度の圧縮率で符号化すべき
か、つまり符号化レートが決定され、それに基づいて例
えば量子化ステップサイズの値や、1秒間に符号化する
フレームの枚数などが設定される。符号化部13からの
符号化情報は、次段の信号分離部16に送られる。信号
分離部16では、モード発生部15からのモード情報に
より、実時間で伝送すべき情報と、メモリ17に一度取
り込んでから改めて伝送する情報を分離して出力する。
多重化部18では、信号分離部16からの符号化情報と
モード情報が多重化される。この多重化部18の出力
は、図示しない伝送路を介して図1(b)に示す受信装
置に伝送される。
【0044】本実施例において、送信装置は第1〜第3
の伝送モードを有する。以下、送信装置の動作を第1〜
第3の伝送モード毎に説明する。
の伝送モードを有する。以下、送信装置の動作を第1〜
第3の伝送モード毎に説明する。
【0045】<第1の伝送モード>今、ユーザによって
実時間での通信のみが入力部14を介して要求されたと
すると、モード発生部15からはその時に使用している
伝送路の帯域に合った符号化レートを指示するモード情
報が符号化部13へ出力され、符号化部13ではそれに
応じてその符号化レートを越えないように例えば量子化
ステップサイズが適応的に変化され、圧縮符号化が行わ
れる、また、信号分離部16では同様にモード発生部1
5からのモード情報により、符号化部13からの符号化
情報は全て伝送路に送出しても良いことが分かっている
ので、符号化部13からの符号化情報は全て多重化部1
8を通って伝送路へ送出される。
実時間での通信のみが入力部14を介して要求されたと
すると、モード発生部15からはその時に使用している
伝送路の帯域に合った符号化レートを指示するモード情
報が符号化部13へ出力され、符号化部13ではそれに
応じてその符号化レートを越えないように例えば量子化
ステップサイズが適応的に変化され、圧縮符号化が行わ
れる、また、信号分離部16では同様にモード発生部1
5からのモード情報により、符号化部13からの符号化
情報は全て伝送路に送出しても良いことが分かっている
ので、符号化部13からの符号化情報は全て多重化部1
8を通って伝送路へ送出される。
【0046】<第2の伝送モード>一方、非実時間での
精細情報での通信のみが入力部14を介して要求された
とすると、モード発生部15からは要求された精細情報
が得られる程度の符号化レートを指示するモード情報が
符号化部13へ出力され、符号化部13ではそれに応じ
て圧縮符号化が行われる。このとき、伝送路の帯域が上
記符号化レート以下であったとすると、符号化部13か
ら出力される符号化情報の全てを実時間で送出すること
は不可能である。従って、モード発生部15からの「全
て非実時間伝送で良い」という情報により、信号分離部
16ではこれら符号化部13からの符号化情報を全て一
度メモリ17へ格納する。その後、メモリ17の内容は
伝送路の帯域に合った伝送レートで読み出され、多重化
部18を通じて伝送路へ送出される。
精細情報での通信のみが入力部14を介して要求された
とすると、モード発生部15からは要求された精細情報
が得られる程度の符号化レートを指示するモード情報が
符号化部13へ出力され、符号化部13ではそれに応じ
て圧縮符号化が行われる。このとき、伝送路の帯域が上
記符号化レート以下であったとすると、符号化部13か
ら出力される符号化情報の全てを実時間で送出すること
は不可能である。従って、モード発生部15からの「全
て非実時間伝送で良い」という情報により、信号分離部
16ではこれら符号化部13からの符号化情報を全て一
度メモリ17へ格納する。その後、メモリ17の内容は
伝送路の帯域に合った伝送レートで読み出され、多重化
部18を通じて伝送路へ送出される。
【0047】<第3の伝送モード>また、実時間での通
信は行ないたいが、さらにそのときの内容を後で精細画
像として再度確認したいという要求が入力部14を介し
て要求されたとする。この時は、どの程度の精細画像を
必要としているかの情報も同時に入力部14から入力さ
れるので、その精細度を達成できるような符号化レート
を指示するモード情報がモード発生部15から出力され
る。符号化部13では、この情報を基に圧縮符号化が行
われ、その信号が信号分離部16に送られるが、ここで
は実時間通信が可能な情報量、つまり伝送路の帯域以下
の伝送レートになるように情報が分離される。例えば低
周波成分から情報量を計算していき、所定の情報量(伝
送路で伝送可能な情報量)になった段階で残りの情報は
メモリ17に取り込まれる。こうしてメモリ17に取り
込まれた情報も、多重化部18を通して伝送路に送出さ
れるが、ここで信号分離部16からの出力情報とメモリ
17からの出力情報とは多重化部18で多重化されて伝
送路に送出される。
信は行ないたいが、さらにそのときの内容を後で精細画
像として再度確認したいという要求が入力部14を介し
て要求されたとする。この時は、どの程度の精細画像を
必要としているかの情報も同時に入力部14から入力さ
れるので、その精細度を達成できるような符号化レート
を指示するモード情報がモード発生部15から出力され
る。符号化部13では、この情報を基に圧縮符号化が行
われ、その信号が信号分離部16に送られるが、ここで
は実時間通信が可能な情報量、つまり伝送路の帯域以下
の伝送レートになるように情報が分離される。例えば低
周波成分から情報量を計算していき、所定の情報量(伝
送路で伝送可能な情報量)になった段階で残りの情報は
メモリ17に取り込まれる。こうしてメモリ17に取り
込まれた情報も、多重化部18を通して伝送路に送出さ
れるが、ここで信号分離部16からの出力情報とメモリ
17からの出力情報とは多重化部18で多重化されて伝
送路に送出される。
【0048】従って、これら2系統の情報量の合計が伝
送路の帯域に収まるように、信号分離部16から直接出
力される実時間通信用の情報量と、メモリ17から出力
される詳細用情報とがモード発生部15からのモード情
報により、それぞれ信号分離部16とメモリ17の内部
で制御される。また、実時間通信用情報と精細用情報と
はいずれもヘッダを有しており、実時間通信用情報のヘ
ッダにはその情報の番号が、また精細詳細用情報のヘッ
ダには、その精細用情報がどの実時間通信用情報に対す
る精細用情報なのかを示す番号がそれぞれ付加されてい
る。
送路の帯域に収まるように、信号分離部16から直接出
力される実時間通信用の情報量と、メモリ17から出力
される詳細用情報とがモード発生部15からのモード情
報により、それぞれ信号分離部16とメモリ17の内部
で制御される。また、実時間通信用情報と精細用情報と
はいずれもヘッダを有しており、実時間通信用情報のヘ
ッダにはその情報の番号が、また精細詳細用情報のヘッ
ダには、その精細用情報がどの実時間通信用情報に対す
る精細用情報なのかを示す番号がそれぞれ付加されてい
る。
【0049】一方、送信装置の第1〜第3の伝送モード
に対応して、受信装置は第1〜第3の受信モードを有す
る。すなわち、受信装置では各伝送モードに応じて処理
が異なるが、その判定は送信側から送られてくるモード
情報により行われる。以下、受信装置の動作を第1〜第
3の受信モード毎に説明する。
に対応して、受信装置は第1〜第3の受信モードを有す
る。すなわち、受信装置では各伝送モードに応じて処理
が異なるが、その判定は送信側から送られてくるモード
情報により行われる。以下、受信装置の動作を第1〜第
3の受信モード毎に説明する。
【0050】<第1の受信モード>まず、実時間通信の
みが要求されている場合は、伝送路から送られてきた情
報はそのまま分離部21を通って復号化部23で復号化
され、画像情報はモニタ26に、音声情報はスピーカ2
7からそれぞれ出力される。なお、これら復号化された
情報は例えばVTRやディスクメモリのような記録部2
5に記憶しておくことが可能で、その内容を後から参照
することも出来る。
みが要求されている場合は、伝送路から送られてきた情
報はそのまま分離部21を通って復号化部23で復号化
され、画像情報はモニタ26に、音声情報はスピーカ2
7からそれぞれ出力される。なお、これら復号化された
情報は例えばVTRやディスクメモリのような記録部2
5に記憶しておくことが可能で、その内容を後から参照
することも出来る。
【0051】<第2の受信モード>一方、非実時間での
精細情報通信のみが要求された場合は、それを示すモー
ド情報により分離部21からの出力信号は全て一度メモ
リ24に取り込まれ、その後、復号化部23で復号化さ
れてモニタ26やスピーカ27から出力される。また、
これら情報も記録部25に記録することが可能で、後で
その内容を参照することもできる。
精細情報通信のみが要求された場合は、それを示すモー
ド情報により分離部21からの出力信号は全て一度メモ
リ24に取り込まれ、その後、復号化部23で復号化さ
れてモニタ26やスピーカ27から出力される。また、
これら情報も記録部25に記録することが可能で、後で
その内容を参照することもできる。
【0052】<第3の受信モード>また、実時間通信を
行いながら、さらに後でその内容を精細情報で確認した
い要求があった場合は、そのことを示すモード情報によ
り、分離部21で情報が2系統に分離される。一方は実
時間通信用情報であり、これはそのまま復号化部23で
復号化されてモニタ26やスピーカ27から出力され
る。もう一方は実時間通信用情報と精細用情報が含まれ
た全情報であり、これは各情報のヘッダ部に書かれてい
る番号情報に基づいて、同じ情報源から信号分離部21
で分離された情報どうしが結合されるように、メモリ2
4内に取り込まれる。その後実時間通信が終了した段階
でメモリ24から読み出され、復号化部23により復号
化されてモニタ26やスピーカ27に出力されたり、記
録部で25で記録される。記録部25に記録された情報
は精細情報であり、通信が終了してから精細画像にて内
容を確認できる。
行いながら、さらに後でその内容を精細情報で確認した
い要求があった場合は、そのことを示すモード情報によ
り、分離部21で情報が2系統に分離される。一方は実
時間通信用情報であり、これはそのまま復号化部23で
復号化されてモニタ26やスピーカ27から出力され
る。もう一方は実時間通信用情報と精細用情報が含まれ
た全情報であり、これは各情報のヘッダ部に書かれてい
る番号情報に基づいて、同じ情報源から信号分離部21
で分離された情報どうしが結合されるように、メモリ2
4内に取り込まれる。その後実時間通信が終了した段階
でメモリ24から読み出され、復号化部23により復号
化されてモニタ26やスピーカ27に出力されたり、記
録部で25で記録される。記録部25に記録された情報
は精細情報であり、通信が終了してから精細画像にて内
容を確認できる。
【0053】なおこの場合、復号化部23内にもメモリ
を有していれば、分離部21からメモリ24に取り込ま
れる情報は精細用情報のみで良く、実時間通信用情報は
復号化部23内のメモリに格納されていて、後で精細情
報を復号化する際に、それら2つの情報を結合してから
実際の復号化を行うことも可能である。
を有していれば、分離部21からメモリ24に取り込ま
れる情報は精細用情報のみで良く、実時間通信用情報は
復号化部23内のメモリに格納されていて、後で精細情
報を復号化する際に、それら2つの情報を結合してから
実際の復号化を行うことも可能である。
【0054】(実施例2)図2は、本実施例に係る情報
通信端末装置のブロック図であり、(a)は送信装置、
(b)は受信装置を示している。図1と相対応する部分
に同一符号を付して説明すると、本実施例では送信装置
の符号化部13と信号分離部16の位置、および受信装
置の分離部21復号化部23の位置がそれぞれ図1の場
合と入れ替わっている点と、受信装置に切り替え部28
が追加されている点が異なる。実施例1と同様に、モー
ド別に動作を説明する。
通信端末装置のブロック図であり、(a)は送信装置、
(b)は受信装置を示している。図1と相対応する部分
に同一符号を付して説明すると、本実施例では送信装置
の符号化部13と信号分離部16の位置、および受信装
置の分離部21復号化部23の位置がそれぞれ図1の場
合と入れ替わっている点と、受信装置に切り替え部28
が追加されている点が異なる。実施例1と同様に、モー
ド別に動作を説明する。
【0055】(第1の伝送モード>今、実時間での通信
のみが入力部14を介して要求されたとすると、モード
発生部15はその時に使用している伝送路の帯域にあっ
た符号化レートを指示するモード情報を出力し、それに
応じてその符号化レートを越えないように、例えば画像
の場合は画素のサブサンプリングによる情報の分離や、
フレームの一部のみを実時間通信の対象にするなどの処
理により、信号分離部16で画像・音声情報の分離が行
われる。なお、符号化部13では同様にモード発生部1
5からのモード情報により、信号分離部16からの情報
は全て伝送路に送出することが分かっているので、量子
化スッテプサイズなどを調節して伝送路で伝送可能な符
号量に圧縮符号化を行い、伝送路へ送出する。なお、こ
こでは信号分離部16で情報の削減を行ったが、符号化
部13のみ所望の精細度に圧縮して出力しても良い。
のみが入力部14を介して要求されたとすると、モード
発生部15はその時に使用している伝送路の帯域にあっ
た符号化レートを指示するモード情報を出力し、それに
応じてその符号化レートを越えないように、例えば画像
の場合は画素のサブサンプリングによる情報の分離や、
フレームの一部のみを実時間通信の対象にするなどの処
理により、信号分離部16で画像・音声情報の分離が行
われる。なお、符号化部13では同様にモード発生部1
5からのモード情報により、信号分離部16からの情報
は全て伝送路に送出することが分かっているので、量子
化スッテプサイズなどを調節して伝送路で伝送可能な符
号量に圧縮符号化を行い、伝送路へ送出する。なお、こ
こでは信号分離部16で情報の削減を行ったが、符号化
部13のみ所望の精細度に圧縮して出力しても良い。
【0056】<第2の伝送モード>一方、非実時間での
精細情報での通信のみが入力部14を介して要求された
とすると、モード発生部15からは要求された精細情報
が得られる程度の符号化レートを指示するモード情報が
出力され、それに応じて信号分離部16で情報が削減さ
れ、メモリ17に取り込まれる。その後、伝送路で伝送
可能なレートで再びメモリ17から読み出され、符号化
部13で圧縮符号化が行われた後、伝送路へ送出され
る。なお、ここでも信号分離部16で情報の削減を行っ
たが、このモードの場合も、信号分離部16での圧縮は
行わず、符号化部13でのみ所望の精細度に圧縮して出
力しても良い。
精細情報での通信のみが入力部14を介して要求された
とすると、モード発生部15からは要求された精細情報
が得られる程度の符号化レートを指示するモード情報が
出力され、それに応じて信号分離部16で情報が削減さ
れ、メモリ17に取り込まれる。その後、伝送路で伝送
可能なレートで再びメモリ17から読み出され、符号化
部13で圧縮符号化が行われた後、伝送路へ送出され
る。なお、ここでも信号分離部16で情報の削減を行っ
たが、このモードの場合も、信号分離部16での圧縮は
行わず、符号化部13でのみ所望の精細度に圧縮して出
力しても良い。
【0057】<第3の伝送モード>また、実時間での通
信は行ないたいが、さらにそのときの内容を後で精細画
像として再度確認したいという要求が入力部14を介し
てなされたとする。この時はどの程度の精細画像を必要
としているかも同時に入力部14から入力されるので、
その精細度を達成できる符号化レートを指示するモード
情報がモード発生部15から出力される。信号分離部1
6では、このモード情報をもとにサブサンプリング等に
よる信号の分離が行われ、そのうちの一部が符号化部1
3に送られ、残りの信号がメモリ17に取り込まれる。
符号化部13では、実時間通信が可能な情報量、つまり
伝送路の帯域以下の伝送レートになるように量子化スッ
テプサイズ等を調整して圧縮符号化が行われた後、伝送
路に送出される。一方、メモリ17内の情報は、実時間
通信の最中に符号化部13から出力される情報との合計
が上記伝送レート以下になるように読み出され、符号化
されて伝送路に送出されても良いし、あるいはまた実時
間通信が終了した段階でメモリ17内の情報の符号化を
開始しても良い。
信は行ないたいが、さらにそのときの内容を後で精細画
像として再度確認したいという要求が入力部14を介し
てなされたとする。この時はどの程度の精細画像を必要
としているかも同時に入力部14から入力されるので、
その精細度を達成できる符号化レートを指示するモード
情報がモード発生部15から出力される。信号分離部1
6では、このモード情報をもとにサブサンプリング等に
よる信号の分離が行われ、そのうちの一部が符号化部1
3に送られ、残りの信号がメモリ17に取り込まれる。
符号化部13では、実時間通信が可能な情報量、つまり
伝送路の帯域以下の伝送レートになるように量子化スッ
テプサイズ等を調整して圧縮符号化が行われた後、伝送
路に送出される。一方、メモリ17内の情報は、実時間
通信の最中に符号化部13から出力される情報との合計
が上記伝送レート以下になるように読み出され、符号化
されて伝送路に送出されても良いし、あるいはまた実時
間通信が終了した段階でメモリ17内の情報の符号化を
開始しても良い。
【0058】なお、実時間通信用情報と精細用情報とは
いずれもヘッダを有しており、実時間通信用情報のヘッ
ダにはその情報の番号が、また精細用情報のヘッダに
は、その精細用情報がどの実時間通信用情報に対する精
細用情報なのかを示す番号がそれぞれ付加されている。
いずれもヘッダを有しており、実時間通信用情報のヘッ
ダにはその情報の番号が、また精細用情報のヘッダに
は、その精細用情報がどの実時間通信用情報に対する精
細用情報なのかを示す番号がそれぞれ付加されている。
【0059】一方、送信装置の第1〜第3の伝送モード
に対応して、受信装置は第1〜第3の受信モードを有す
る。すなわち、受信装置では各伝送モードに応じて処理
が異なるが、その判定は送信側から送られてくるモード
情報により行われる。以下、受信装置の動作を第1〜第
3の受信モード毎に説明する。
に対応して、受信装置は第1〜第3の受信モードを有す
る。すなわち、受信装置では各伝送モードに応じて処理
が異なるが、その判定は送信側から送られてくるモード
情報により行われる。以下、受信装置の動作を第1〜第
3の受信モード毎に説明する。
【0060】<第1の受信モード>実時間通信のみが要
求されている場合は、伝送路から送られてきた情報はそ
のまま復号化部23で復号化され、分離部21、切替部
28を通過して、画像情報はモニタ26に、音声情報は
スピーカ27からそれぞれ出力される。なお、これら復
号化された情報は記録部25により記録しておくことも
可能で、その内容を後から参照することも出来る。
求されている場合は、伝送路から送られてきた情報はそ
のまま復号化部23で復号化され、分離部21、切替部
28を通過して、画像情報はモニタ26に、音声情報は
スピーカ27からそれぞれ出力される。なお、これら復
号化された情報は記録部25により記録しておくことも
可能で、その内容を後から参照することも出来る。
【0061】<第2の受信モード>一方、非実時間での
精細情報通信のみが要求された場合、それを示すモード
情報により、復号化部23の復号化信号は全て分離部2
1によりメモリ24に取り込まれる。その後、メモリ2
4から情報が読み出され、切替部28を通過して実際に
図2のカメラ11、マイク12から取り込まれたスピー
ドでモニタ26、スピーカ27から出力される。また、
これら情報も記録部25により記録することが可能で、
後にその内容を参照することもできる。
精細情報通信のみが要求された場合、それを示すモード
情報により、復号化部23の復号化信号は全て分離部2
1によりメモリ24に取り込まれる。その後、メモリ2
4から情報が読み出され、切替部28を通過して実際に
図2のカメラ11、マイク12から取り込まれたスピー
ドでモニタ26、スピーカ27から出力される。また、
これら情報も記録部25により記録することが可能で、
後にその内容を参照することもできる。
【0062】<第3の受信モード>また、実時間通信を
行いながら、さらに後でその内容を精細情報で確認した
い要求があった場合は、そのことを示すモード情報によ
り、復号化部23で復号化された情報は、分離部21で
2系統に分離される。一方は実時間通信用情報であり、
これはすぐに切替部28を通過してモニタ26やスピー
カ27から出力される。もう一方は実時間通信用情報と
精細用情報が含まれた情報であり、これは各情報のヘッ
ダ部に書かれている番号情報に基づいて、同じ情報源か
ら信号分離部21で分離された情報どうしが結合される
ように、メモリ24内に取り込まれる。その後、実時間
通信が終了した段階でメモリ24から情報が読み出さ
れ、切替部28により今度はメモリ24からの情報がモ
ニタ26やスピーカ27から出力されるか、またはこれ
ら情報が記録部25に記録される。記録部25に記録さ
れた情報は精細情報であり、通信が終了してから精細画
像によってその内容を確認できる。
行いながら、さらに後でその内容を精細情報で確認した
い要求があった場合は、そのことを示すモード情報によ
り、復号化部23で復号化された情報は、分離部21で
2系統に分離される。一方は実時間通信用情報であり、
これはすぐに切替部28を通過してモニタ26やスピー
カ27から出力される。もう一方は実時間通信用情報と
精細用情報が含まれた情報であり、これは各情報のヘッ
ダ部に書かれている番号情報に基づいて、同じ情報源か
ら信号分離部21で分離された情報どうしが結合される
ように、メモリ24内に取り込まれる。その後、実時間
通信が終了した段階でメモリ24から情報が読み出さ
れ、切替部28により今度はメモリ24からの情報がモ
ニタ26やスピーカ27から出力されるか、またはこれ
ら情報が記録部25に記録される。記録部25に記録さ
れた情報は精細情報であり、通信が終了してから精細画
像によってその内容を確認できる。
【0063】なおこの場合、分離部21内にもメモリを
有していれば、分離部21からメモリ24に取り込まれ
る情報は精細用情報のみで良く、実時間通信用情報は分
離部21内のメモリに格納されていて、後で精細情報を
復号化する際に、それら2つの情報を切替部28内で結
合してから実際の出力を行うことも可能である。
有していれば、分離部21からメモリ24に取り込まれ
る情報は精細用情報のみで良く、実時間通信用情報は分
離部21内のメモリに格納されていて、後で精細情報を
復号化する際に、それら2つの情報を切替部28内で結
合してから実際の出力を行うことも可能である。
【0064】(実施例3)図3は、本実施例に係る情報
通信端末装置のブロック図であり、(a)は送信装置、
(b)は受信装置を示している。なお、本発明はメモリ
の容量を余り大きくできない携帯型情報通信端末に特に
有効であり、送信装置および受信装置は各端末に備えら
れることになる。
通信端末装置のブロック図であり、(a)は送信装置、
(b)は受信装置を示している。なお、本発明はメモリ
の容量を余り大きくできない携帯型情報通信端末に特に
有効であり、送信装置および受信装置は各端末に備えら
れることになる。
【0065】図3(a)に示す送信装置は、符号化部3
1、メモリ32、蓄積可能量表示部33、切替部34お
よび無線通信部35を有する。ここで、符号化部31
は、入力された画像情報を圧縮符号化し、符号化した情
報を情報蓄積手段であるメモリ32と切替部34へ送出
する機能を持つ。メモリ32は、符号化部31で符号化
された画像情報を蓄積し、切替部34からの指示に従っ
て切替部34へ画像情報を送出する。蓄積可能量表示部
33は、自装置のメモリ32の蓄積可能量を示す機能
と、通信相手のメモリの蓄積可能量を得てその値を示す
機能を持つ。切替部34は、外部からの指示に従って符
号化部31からの情報とメモリ32からの情報を無線通
信部35へ転送する機能を持つ。無線通信部35は、各
携帯端末への通信処理を行なう機能を持つ。
1、メモリ32、蓄積可能量表示部33、切替部34お
よび無線通信部35を有する。ここで、符号化部31
は、入力された画像情報を圧縮符号化し、符号化した情
報を情報蓄積手段であるメモリ32と切替部34へ送出
する機能を持つ。メモリ32は、符号化部31で符号化
された画像情報を蓄積し、切替部34からの指示に従っ
て切替部34へ画像情報を送出する。蓄積可能量表示部
33は、自装置のメモリ32の蓄積可能量を示す機能
と、通信相手のメモリの蓄積可能量を得てその値を示す
機能を持つ。切替部34は、外部からの指示に従って符
号化部31からの情報とメモリ32からの情報を無線通
信部35へ転送する機能を持つ。無線通信部35は、各
携帯端末への通信処理を行なう機能を持つ。
【0066】一方、図3(b)に示す受信装置は、無線
通信部41、切替部42、復号化部43、メモリ44お
よび蓄積可能量表示部45を有する。なお、無線通信部
35と無線通信部41は共通の無線通信部を用いてもよ
い。無線通信部41は、各携帯端末への通信処理を行な
う機能を持つ。切替部42は、無線通信部41から得た
受信画像信号を外部からの指示に従って復号化部43と
メモリ44へ転送する機能を持つ。復号化部43は、切
替部42、メモリ44から入力された画像符号化情報か
ら画像信号を復号化する処理を行なう機能を持つ。メモ
リ44は、切替部42から転送された画像情報を蓄積
し、指示に従って復号化部42へ転送する機能を持つ。
蓄積可能量表示部45は、自装置のメモリ44の蓄積可
能量を示す機能と、自装置のメモリ44の蓄積可能量を
送信側へ通知するための情報を切替部42へ転送する機
能と、通信相手のメモリ(この場合、送信装置のメモリ
32)の蓄積可能量を得てその値を示す機能を持つ。
通信部41、切替部42、復号化部43、メモリ44お
よび蓄積可能量表示部45を有する。なお、無線通信部
35と無線通信部41は共通の無線通信部を用いてもよ
い。無線通信部41は、各携帯端末への通信処理を行な
う機能を持つ。切替部42は、無線通信部41から得た
受信画像信号を外部からの指示に従って復号化部43と
メモリ44へ転送する機能を持つ。復号化部43は、切
替部42、メモリ44から入力された画像符号化情報か
ら画像信号を復号化する処理を行なう機能を持つ。メモ
リ44は、切替部42から転送された画像情報を蓄積
し、指示に従って復号化部42へ転送する機能を持つ。
蓄積可能量表示部45は、自装置のメモリ44の蓄積可
能量を示す機能と、自装置のメモリ44の蓄積可能量を
送信側へ通知するための情報を切替部42へ転送する機
能と、通信相手のメモリ(この場合、送信装置のメモリ
32)の蓄積可能量を得てその値を示す機能を持つ。
【0067】次に、本実施例の動作を説明する。
【0068】図3(a)に示す送信装置では、画像情報
を送信する場合、まず任意の時間において、切替部34
が相手側端末の図3(b)に示す受信装置の切替部42
に対し、無線通信部35を経由してメモリ44に蓄積可
能な情報量を問い合わせる。この問い合わせを無線通信
部41を介して受け取った受信装置側の切替部42で
は、蓄積可能量表示部45から蓄積可能量の情報、つま
りメモリ44の残り容量の情報を受け、送信装置側の切
替部34へ送信する。
を送信する場合、まず任意の時間において、切替部34
が相手側端末の図3(b)に示す受信装置の切替部42
に対し、無線通信部35を経由してメモリ44に蓄積可
能な情報量を問い合わせる。この問い合わせを無線通信
部41を介して受け取った受信装置側の切替部42で
は、蓄積可能量表示部45から蓄積可能量の情報、つま
りメモリ44の残り容量の情報を受け、送信装置側の切
替部34へ送信する。
【0069】蓄積可能量の情報を受けた送信装置側の切
替部34は、その値を蓄積可能量表示部33に記録す
る。そして、この蓄積可能量表示部33に示された値に
従って蓄積可能量表示部33が符号化部31またはメモ
リ32に規制を行なうことによって、画像情報の送信レ
ートを制御する。なお、この送信レートの制御は切替部
34が蓄積可能量表示部33に示された値に従って行う
ようにしてもよい。
替部34は、その値を蓄積可能量表示部33に記録す
る。そして、この蓄積可能量表示部33に示された値に
従って蓄積可能量表示部33が符号化部31またはメモ
リ32に規制を行なうことによって、画像情報の送信レ
ートを制御する。なお、この送信レートの制御は切替部
34が蓄積可能量表示部33に示された値に従って行う
ようにしてもよい。
【0070】このように本実施例によれば、受信側のメ
モリ44の空き状況を蓄積可能量の情報の形式で送信側
に伝達することにより、送信側からの画像情報などの情
報送出フロー制御を行うことができる。
モリ44の空き状況を蓄積可能量の情報の形式で送信側
に伝達することにより、送信側からの画像情報などの情
報送出フロー制御を行うことができる。
【0071】(実施例4)次に、本発明に係る情報通信
端末装置における送受信画面の表示に関する実施例につ
いて説明する。図4は、本実施例に係る情報通信端末装
置に含まれるコンピュータシステムの構成図であり、キ
ーボード51、マウス52、演算制御部(CPU)5
3、ディスクメモリ54、RAM55、モニタ56、ス
ピーカ57、ネットワークコントローラ58およびメー
ルサーバ59からなる。
端末装置における送受信画面の表示に関する実施例につ
いて説明する。図4は、本実施例に係る情報通信端末装
置に含まれるコンピュータシステムの構成図であり、キ
ーボード51、マウス52、演算制御部(CPU)5
3、ディスクメモリ54、RAM55、モニタ56、ス
ピーカ57、ネットワークコントローラ58およびメー
ルサーバ59からなる。
【0072】(実施例4−1)図5は、本発明の一実施
例に係る情報端末の送受信画面である。図5に示す送信
画面において、To:121は宛先を記入する欄、Su
bject:122は通信内容の題名を記入する欄、文
字ウィンド123は通信文を書き込んでいく欄、Tex
t:124は文字情報部分を伝送するかしないかを選択
する欄で○×の表示127で選択する。Image:1
25は画像を伝送するかしないかを選択する欄、Sou
nd:126は音声を伝送するかしないかを選択する欄
であり、画像および音声に関して圧縮をするかしないか
を選択欄129で選択する。
例に係る情報端末の送受信画面である。図5に示す送信
画面において、To:121は宛先を記入する欄、Su
bject:122は通信内容の題名を記入する欄、文
字ウィンド123は通信文を書き込んでいく欄、Tex
t:124は文字情報部分を伝送するかしないかを選択
する欄で○×の表示127で選択する。Image:1
25は画像を伝送するかしないかを選択する欄、Sou
nd:126は音声を伝送するかしないかを選択する欄
であり、画像および音声に関して圧縮をするかしないか
を選択欄129で選択する。
【0073】画像の圧縮符号化については、例えば国際
標準方式であるJPEG、MPEG1、MPEG2その
他、音声の圧縮符号化については、例えば国際標準方式
であるG.728、LDーCELPや、各種8kbp
s、4kbps、2kbps、1kbpsなどの方式を
選択できる。
標準方式であるJPEG、MPEG1、MPEG2その
他、音声の圧縮符号化については、例えば国際標準方式
であるG.728、LDーCELPや、各種8kbp
s、4kbps、2kbps、1kbpsなどの方式を
選択できる。
【0074】動画像は、ウィンド131に再生等の操作
を実行するボタン状のアイコン130とともに表示され
ており、ここをマウスでクリックすれば動画像の再生表
示、停止、逆転再生などが実行できる。動画像ファイル
の全体量に比べて始点からの位置をパーセントで棒グラ
フ状に表示132で行う。音声はファイル名を示す欄1
34にボタン表示133と棒グラフ135が表示されて
いる。この送信側画面に表示されている文字、画像、音
声の情報は、上記選択操作により指定されたものが送信
ボタン128により送信される。
を実行するボタン状のアイコン130とともに表示され
ており、ここをマウスでクリックすれば動画像の再生表
示、停止、逆転再生などが実行できる。動画像ファイル
の全体量に比べて始点からの位置をパーセントで棒グラ
フ状に表示132で行う。音声はファイル名を示す欄1
34にボタン表示133と棒グラフ135が表示されて
いる。この送信側画面に表示されている文字、画像、音
声の情報は、上記選択操作により指定されたものが送信
ボタン128により送信される。
【0075】この送信動作は、図4に示したコンピュー
タシステムにより実行できる。すなわち、キーボード5
1の操作により演算制御部53が文字データを作り、ハ
ードディスクなどの大容量ディスクメモリ54に書き込
むとともに、表示部分を切り出し、表示用メモリである
RAM55に転送する。RAM55に記憶された1画面
分の情報は、モニタ56に送られ表示される。動画像、
音声データは必要により取り込むこともできる。予めデ
ィスクメモリ54に蓄積されているデータは必要により
取り出され、動画像データは逐次ディスクメモリ54を
書き換えることにより、図5のウィンド131に動画像
として表示される。また、音声はマウス52などによる
操作指示によりスピーカ57から出力される。送信デー
タは、ネットワークコントローラ58を介して電子メー
ルサーバ59へ送られ、回線を介して受信側へ送られ
る。
タシステムにより実行できる。すなわち、キーボード5
1の操作により演算制御部53が文字データを作り、ハ
ードディスクなどの大容量ディスクメモリ54に書き込
むとともに、表示部分を切り出し、表示用メモリである
RAM55に転送する。RAM55に記憶された1画面
分の情報は、モニタ56に送られ表示される。動画像、
音声データは必要により取り込むこともできる。予めデ
ィスクメモリ54に蓄積されているデータは必要により
取り出され、動画像データは逐次ディスクメモリ54を
書き換えることにより、図5のウィンド131に動画像
として表示される。また、音声はマウス52などによる
操作指示によりスピーカ57から出力される。送信デー
タは、ネットワークコントローラ58を介して電子メー
ルサーバ59へ送られ、回線を介して受信側へ送られ
る。
【0076】受信側では、以上とほぼ逆の動作によりデ
ータの復元が行われ、図5(b)に示すように表示が行
われる。すなわち、受信データは受信側に番号付けさ
れ、図5(b)の左側の欄136に記入される。また送
信者名が次の欄137に、受信日または日時が欄138
に、題名が欄139に記入される。また動画像などの画
像データはその第1フレーム、第1フレーム以外の適当
なフレームなどが取り出され、圧縮符号化されたデータ
は復元されて、また画面サイズは見出し用に縮小されて
小ウィンドの欄140a,140b,140cなどに表
示される。また音声情報がある場合には、それを示すマ
ーク141a,141bが表示される。また音声がない
場合には、マークの欄141cが空欄であったり、薄文
字であったり、欄自体が省略されていることによって示
される。これらの表形式の一覧表は情報部をマウス等で
クリックすれば、文字情報がウィンド表示される。また
画像見出し部分をクリックすれば、動画像ウィンド(図
5(a)の131とおなじもの)が開き、さらに上部の
ボタン操作により、動画像表示、停止などを実行するこ
とができる。
ータの復元が行われ、図5(b)に示すように表示が行
われる。すなわち、受信データは受信側に番号付けさ
れ、図5(b)の左側の欄136に記入される。また送
信者名が次の欄137に、受信日または日時が欄138
に、題名が欄139に記入される。また動画像などの画
像データはその第1フレーム、第1フレーム以外の適当
なフレームなどが取り出され、圧縮符号化されたデータ
は復元されて、また画面サイズは見出し用に縮小されて
小ウィンドの欄140a,140b,140cなどに表
示される。また音声情報がある場合には、それを示すマ
ーク141a,141bが表示される。また音声がない
場合には、マークの欄141cが空欄であったり、薄文
字であったり、欄自体が省略されていることによって示
される。これらの表形式の一覧表は情報部をマウス等で
クリックすれば、文字情報がウィンド表示される。また
画像見出し部分をクリックすれば、動画像ウィンド(図
5(a)の131とおなじもの)が開き、さらに上部の
ボタン操作により、動画像表示、停止などを実行するこ
とができる。
【0077】図6は、図5の送受信画面の表示を実現す
るための送信側の構成を示す機能ブロック図である。図
6においては、テキストデータ101、動画データ10
2、音声データ103が入力される。テキストデータ1
01と動画データ102は、合成・編集部104で合成
されかつ編集され、音声データ103は編集部105で
編集される。テキストデータ101は表示部106とメ
ール合成処理部110に送られ、合成・編集部104の
合成・編集結果は表示部106に送られるとともに、圧
縮部108で圧縮符号化された後メール合成処理部11
0に送られる。編集部105の編集結果は再生部107
に送られるとともに、圧縮部109で圧縮符号化された
後メール合成処理部110に送られる。各部に与えられ
る制御サイズ位置111、取り込み区間112、同期制
御113および確定送出データ114などの各種制御信
号は、図4のキーボード51またはマウス52によって
入力される。
るための送信側の構成を示す機能ブロック図である。図
6においては、テキストデータ101、動画データ10
2、音声データ103が入力される。テキストデータ1
01と動画データ102は、合成・編集部104で合成
されかつ編集され、音声データ103は編集部105で
編集される。テキストデータ101は表示部106とメ
ール合成処理部110に送られ、合成・編集部104の
合成・編集結果は表示部106に送られるとともに、圧
縮部108で圧縮符号化された後メール合成処理部11
0に送られる。編集部105の編集結果は再生部107
に送られるとともに、圧縮部109で圧縮符号化された
後メール合成処理部110に送られる。各部に与えられ
る制御サイズ位置111、取り込み区間112、同期制
御113および確定送出データ114などの各種制御信
号は、図4のキーボード51またはマウス52によって
入力される。
【0078】(実施例4−2)図7は本実施例に係る画
面の表示例であり、(a)が見出しを設定する前の画面
で、画面上部の操作ボタンに低速再生を指示できるボタ
ン(SLOW)151がある。このボタン151をクリ
ックし、動画像を低速再生ないしは駒送り状態にしてお
き、見出しとして設定したい場面で「見出し設定ボタ
ン」152をクリックすれば、見出しとして登録され、
(b)のごとく小画面に縮小された見出し153,15
4などが次々と生成される。この場合、単に画面の縮小
だけでなく、位置的に特定部分を指定して、その部分を
見出し画面を見出し画面に登録することもできる。見出
し情報の伝送方法として、 (1)送信側において、動画像系列の特定のフレームに
見出しであることを示すフラッグを付加し、受信側でフ
ラッグ情報より見出し画面を再生する。必要により、さ
らに位置情報を付加する。
面の表示例であり、(a)が見出しを設定する前の画面
で、画面上部の操作ボタンに低速再生を指示できるボタ
ン(SLOW)151がある。このボタン151をクリ
ックし、動画像を低速再生ないしは駒送り状態にしてお
き、見出しとして設定したい場面で「見出し設定ボタ
ン」152をクリックすれば、見出しとして登録され、
(b)のごとく小画面に縮小された見出し153,15
4などが次々と生成される。この場合、単に画面の縮小
だけでなく、位置的に特定部分を指定して、その部分を
見出し画面を見出し画面に登録することもできる。見出
し情報の伝送方法として、 (1)送信側において、動画像系列の特定のフレームに
見出しであることを示すフラッグを付加し、受信側でフ
ラッグ情報より見出し画面を再生する。必要により、さ
らに位置情報を付加する。
【0079】(2)送信側において作成した見出し情報
を動画像情報に追加して伝送する。この場合、見出しと
して始めの動画像系列から作成した画像だけでなく、こ
れとは異なる静止画像や、図7(b)中に示すようなマ
ーク155や、自己の顔画像156あるいはサインなど
の画像を添付して伝送することもできる。
を動画像情報に追加して伝送する。この場合、見出しと
して始めの動画像系列から作成した画像だけでなく、こ
れとは異なる静止画像や、図7(b)中に示すようなマ
ーク155や、自己の顔画像156あるいはサインなど
の画像を添付して伝送することもできる。
【0080】図8は、図7の表示画面を実現するための
送信側の構成を示す機能ブロック図である。図8におい
て、動画ファイル201からは可変速度読出し・表示制
御部202で動画像情報が読み出される。この場合、読
み出し・表示速度は標準速度データ203のほかに、図
4のキーボード51またはマウス52からの速度指示デ
ータ204によって高速および低速も指定可能となって
いる。また、キーボード51またはマウス52により設
定可能な設定メモリ205は、動画像系列の特定のフレ
ームに見出しであることを示すフラッグを発生する。こ
の設定メモリ205の出力は可変速度読出し・表示制御
部202からの動画像情報とともに表示部206で表示
され、さらに送信データとして送信される。この送信デ
ータを受けて、受信側では図7のような表示を行う。
送信側の構成を示す機能ブロック図である。図8におい
て、動画ファイル201からは可変速度読出し・表示制
御部202で動画像情報が読み出される。この場合、読
み出し・表示速度は標準速度データ203のほかに、図
4のキーボード51またはマウス52からの速度指示デ
ータ204によって高速および低速も指定可能となって
いる。また、キーボード51またはマウス52により設
定可能な設定メモリ205は、動画像系列の特定のフレ
ームに見出しであることを示すフラッグを発生する。こ
の設定メモリ205の出力は可変速度読出し・表示制御
部202からの動画像情報とともに表示部206で表示
され、さらに送信データとして送信される。この送信デ
ータを受けて、受信側では図7のような表示を行う。
【0081】(実施例4−3)図9は、本実施例におけ
る受信画面である。受信画面が小さい場合は画像の見出
し画面も小さくせざるを得ないので、図9のように文字
の一行相当まで縮小して表示する。
る受信画面である。受信画面が小さい場合は画像の見出
し画面も小さくせざるを得ないので、図9のように文字
の一行相当まで縮小して表示する。
【0082】図10は、図9の表示画面を実現するため
の送信側の構成を示すブロック図である。図10におい
ては、テキストデータ301、動画データ302、音声
データ303が入力され、テキストデータ301と動画
データ302は、合成・編集部304で合成されかつ編
集され、音声データ303は編集部305で編集され
る。テキストデータ301は図示しないメール合成処理
部に送られる。
の送信側の構成を示すブロック図である。図10におい
ては、テキストデータ301、動画データ302、音声
データ303が入力され、テキストデータ301と動画
データ302は、合成・編集部304で合成されかつ編
集され、音声データ303は編集部305で編集され
る。テキストデータ301は図示しないメール合成処理
部に送られる。
【0083】合成・編集部304の合成・編集結果は、
縮小処理部306により図9のようなし縮小表示を可能
とするために縮小処理された後、メモリ307を介して
表示部308および図示しないメール合成処理部に送ら
れる。また、編集部305の編集結果は再生部309に
送られるとともに、メモリ307を介して図示しないメ
ール合成処理部に送られる。各部に与えられる制御信号
は、図4のキーボード51またはマウス52によって入
力される。
縮小処理部306により図9のようなし縮小表示を可能
とするために縮小処理された後、メモリ307を介して
表示部308および図示しないメール合成処理部に送ら
れる。また、編集部305の編集結果は再生部309に
送られるとともに、メモリ307を介して図示しないメ
ール合成処理部に送られる。各部に与えられる制御信号
は、図4のキーボード51またはマウス52によって入
力される。
【0084】(実施例4−4)図11は、本実施例の受
信側の表示画面である。図4において、ハードディスク
などのディスクメモリ54は、大量の動画像データが蓄
積されるすぐに満杯になってしまうので、動画像はもち
ろん音声や文字情報のアクセスが不便となる。そこで、
大量のデータを蓄積できる媒体へ情報を移動させること
が望ましい。本実施例では、表形式の表示欄161にデ
ィスクメモリ54であるハードディスクとは異なる補助
記憶装置として用いられる媒体の名称が列挙されてい
る。HDDはディスクメモリ54とは別のハードディス
クであり、例えばD、E、F、G、Hと5種ある。SC
SIはSCSIインタフェースの別のハードディスクで
あり、0から7まで8個ある。またMOは光磁気ディス
ク、Tapeは磁気テープなどのテープ媒体である。光
磁気ディスクやテープはオフラインで接続されている場
合もあり、必要に応じて光磁気ディスクの交換、テープ
の挿入巻き戻し、頭出しなどの補助操作を行う。またこ
れらの媒体への転送は、マニュアル操作により行っても
よいが、ハードディスクであるディスクメモリ54の使
用量(残容量)を常時監視し、一定限度を越えたら、規
則的に順次補助記憶装置に転送してもよい。転送後は例
えばSCSI、MOといった転送先の媒体名162,1
63などが表示される。
信側の表示画面である。図4において、ハードディスク
などのディスクメモリ54は、大量の動画像データが蓄
積されるすぐに満杯になってしまうので、動画像はもち
ろん音声や文字情報のアクセスが不便となる。そこで、
大量のデータを蓄積できる媒体へ情報を移動させること
が望ましい。本実施例では、表形式の表示欄161にデ
ィスクメモリ54であるハードディスクとは異なる補助
記憶装置として用いられる媒体の名称が列挙されてい
る。HDDはディスクメモリ54とは別のハードディス
クであり、例えばD、E、F、G、Hと5種ある。SC
SIはSCSIインタフェースの別のハードディスクで
あり、0から7まで8個ある。またMOは光磁気ディス
ク、Tapeは磁気テープなどのテープ媒体である。光
磁気ディスクやテープはオフラインで接続されている場
合もあり、必要に応じて光磁気ディスクの交換、テープ
の挿入巻き戻し、頭出しなどの補助操作を行う。またこ
れらの媒体への転送は、マニュアル操作により行っても
よいが、ハードディスクであるディスクメモリ54の使
用量(残容量)を常時監視し、一定限度を越えたら、規
則的に順次補助記憶装置に転送してもよい。転送後は例
えばSCSI、MOといった転送先の媒体名162,1
63などが表示される。
【0085】(実施例4−5)図12は、本実施例に係
る送信側の構成を示す機能ブロック図である。図12に
おいては、テキストデータ401と動画データ402が
入力される。テキストデータ401と動画データ402
は、合成・編集部404で合成されかつ編集された後、
圧縮部405で圧縮符号化されてメール合成処理部40
6に送られる。、テキストデータ401は、さらにテキ
スト付加部403を介してメール合成処理部406に送
られる。
る送信側の構成を示す機能ブロック図である。図12に
おいては、テキストデータ401と動画データ402が
入力される。テキストデータ401と動画データ402
は、合成・編集部404で合成されかつ編集された後、
圧縮部405で圧縮符号化されてメール合成処理部40
6に送られる。、テキストデータ401は、さらにテキ
スト付加部403を介してメール合成処理部406に送
られる。
【0086】復号プログラムファイル408は、圧縮符
号化された動画像データに対する受信側での種々の方式
の復号プログラムまたはIDを格納している。宛先リス
ト(宛先受信機の能力リスト)409に従って圧縮部4
05での圧縮符号化の方式が選択されるとともに、その
圧縮符号化方式に対応した復号プログラムまたはIDが
復号プログラムファイル408から読み出され、メール
合成処理部406に入力される。
号化された動画像データに対する受信側での種々の方式
の復号プログラムまたはIDを格納している。宛先リス
ト(宛先受信機の能力リスト)409に従って圧縮部4
05での圧縮符号化の方式が選択されるとともに、その
圧縮符号化方式に対応した復号プログラムまたはIDが
復号プログラムファイル408から読み出され、メール
合成処理部406に入力される。
【0087】なお、サイズ、位置、配置、動画取り込み
区間といった制御情報は、図4のキーボード51または
マウス52によって入力される。
区間といった制御情報は、図4のキーボード51または
マウス52によって入力される。
【0088】(実施例5)図13は、本実施例に係るマ
ルチメディア情報伝送システムの構成図である。このマ
ルチメディア情報伝送システムはマルチメディアデータ
ベース装置510とマルチメディア情報端末装置520
からなる。
ルチメディア情報伝送システムの構成図である。このマ
ルチメディア情報伝送システムはマルチメディアデータ
ベース装置510とマルチメディア情報端末装置520
からなる。
【0089】まず、マルチメディアデータベース装置5
10について説明すると、マルチメディアデータ記憶部
511は磁気ディスク装置や半導体メモリ装置などの記
憶媒体により、マルチメディア文書や電子メールなどの
多くのマルチメディアデータを蓄積する。また、データ
送信部512はネットワークで接続されたマルチメディ
ア情報端末装置520からの要求に応じて、それぞれの
データを送信する。データ送信制御部513は、利用者
の要求する情報の種類に応じて、データベース中のデー
タを一定のデータセグメントに分割し、マルチメディア
情報端末装置520に順次送信する。
10について説明すると、マルチメディアデータ記憶部
511は磁気ディスク装置や半導体メモリ装置などの記
憶媒体により、マルチメディア文書や電子メールなどの
多くのマルチメディアデータを蓄積する。また、データ
送信部512はネットワークで接続されたマルチメディ
ア情報端末装置520からの要求に応じて、それぞれの
データを送信する。データ送信制御部513は、利用者
の要求する情報の種類に応じて、データベース中のデー
タを一定のデータセグメントに分割し、マルチメディア
情報端末装置520に順次送信する。
【0090】このデータセグメントは、文字や図形、音
声、動画像などのデータの種類毎に適度な大きさに分割
したもので、例えば文字データの場合には、表示端末に
おける行や段落といった単位が、また動画像データの場
合には、コマ単位あるいはさらにその一コマの一部分と
いった単位がこれに当たる。これらのデータセグメント
の構成や大きさに関する設定は、データベースシステム
の管理者や管理プログラムが決定するようにしてもよい
し、マルチメディア情報端末装置520の利用者が指示
することも可能である。
声、動画像などのデータの種類毎に適度な大きさに分割
したもので、例えば文字データの場合には、表示端末に
おける行や段落といった単位が、また動画像データの場
合には、コマ単位あるいはさらにその一コマの一部分と
いった単位がこれに当たる。これらのデータセグメント
の構成や大きさに関する設定は、データベースシステム
の管理者や管理プログラムが決定するようにしてもよい
し、マルチメディア情報端末装置520の利用者が指示
することも可能である。
【0091】さらに、各データセグメントには、マルチ
メディア情報端末装置520における表示を制御する情
報、例えば表示位置座標や表示サイズ、表示色やフォン
ト種別、線種などの表示属性情報も付随する。さらに、
これらの各データセグメントの送出順序は、各データセ
グメントのデータ種別やサイズにより順序の入れ替えが
行われたり、あるいは不必要なデータセグメントについ
ては送出されない等、動的に変更され得る。
メディア情報端末装置520における表示を制御する情
報、例えば表示位置座標や表示サイズ、表示色やフォン
ト種別、線種などの表示属性情報も付随する。さらに、
これらの各データセグメントの送出順序は、各データセ
グメントのデータ種別やサイズにより順序の入れ替えが
行われたり、あるいは不必要なデータセグメントについ
ては送出されない等、動的に変更され得る。
【0092】一方、マルチメディア情報端末装置520
においては、マルチメディアデータベース装置510か
ら送信された各データセグメントをデータ受信部521
で受信し、それらをマルチメディアデータ一時記憶部5
22に蓄積する。蓄積された各データセグメントは、利
用者の要求に応じマルチメディアデータ表示部523上
にマルチメディアデータ表示制御部524の制御により
表示される。マルチメディアデータ一時記憶部522
は、例えば先入れ先出し(FIFO)、あるいはLRU
(Least Recently Used)などのアルゴリズムにより管理
されるバッファ記憶装置として実現することができる。
これにより、一度送信されたデータセグメントは一定時
間再送信なしに何度も再表示が可能となる。また、マル
チメディアデータ一時記憶部522において増設可能な
記憶媒体を用いることで、その記憶可能サイズを用途や
利用頻度に応じて変更するようにすると、さらに効率的
な情報表示を行うことができる。
においては、マルチメディアデータベース装置510か
ら送信された各データセグメントをデータ受信部521
で受信し、それらをマルチメディアデータ一時記憶部5
22に蓄積する。蓄積された各データセグメントは、利
用者の要求に応じマルチメディアデータ表示部523上
にマルチメディアデータ表示制御部524の制御により
表示される。マルチメディアデータ一時記憶部522
は、例えば先入れ先出し(FIFO)、あるいはLRU
(Least Recently Used)などのアルゴリズムにより管理
されるバッファ記憶装置として実現することができる。
これにより、一度送信されたデータセグメントは一定時
間再送信なしに何度も再表示が可能となる。また、マル
チメディアデータ一時記憶部522において増設可能な
記憶媒体を用いることで、その記憶可能サイズを用途や
利用頻度に応じて変更するようにすると、さらに効率的
な情報表示を行うことができる。
【0093】次に、本実施例の動作を図14〜図17を
参照して説明する。
参照して説明する。
【0094】図14および図15は、動画像データを例
にデータセグメントの送信方法を図示したものである。
図14は、データベース上に6コマからなる動画像デー
タがあり、これをマルチメディア情報端末装置520へ
伝送する手順の一例を示している。ここでは、それぞれ
のコマ(フレーム)を動画像のデータセグメントとして
扱う。最初にフレーム1を送信し、次にフレーム2およ
び3を飛び越してフレーム4を送信する。以降、フレー
ム2、5、3、6の順に送信することにより、全ての動
画像データが送信できる。
にデータセグメントの送信方法を図示したものである。
図14は、データベース上に6コマからなる動画像デー
タがあり、これをマルチメディア情報端末装置520へ
伝送する手順の一例を示している。ここでは、それぞれ
のコマ(フレーム)を動画像のデータセグメントとして
扱う。最初にフレーム1を送信し、次にフレーム2およ
び3を飛び越してフレーム4を送信する。以降、フレー
ム2、5、3、6の順に送信することにより、全ての動
画像データが送信できる。
【0095】ここで、フレーム4を送信完了した時刻T
1においては、マルチメディア情報端末装置520にお
いては既に2つのフレームを受信しているので、フレー
ム1および4を表示することでユーザはこの動画像のお
およその画像を判別することができ、万一不要な動画像
であることが判明すれば、それ以降の動画像の送信は必
要でなくなる。一方、必要な場合には何度か再生を繰り
返してゆく間に残りのフレームの伝送が完了してくるの
で、時刻T3においては完全なる動画像データが再生可
能となる。このようなフレームの送信順序には、上記の
ほか、まず先頭フレーム、次に最終フレーム、その後、
中間フレームという具合に2分探索方式での順序付け
等、さまざまな順序付けが考えられる。
1においては、マルチメディア情報端末装置520にお
いては既に2つのフレームを受信しているので、フレー
ム1および4を表示することでユーザはこの動画像のお
およその画像を判別することができ、万一不要な動画像
であることが判明すれば、それ以降の動画像の送信は必
要でなくなる。一方、必要な場合には何度か再生を繰り
返してゆく間に残りのフレームの伝送が完了してくるの
で、時刻T3においては完全なる動画像データが再生可
能となる。このようなフレームの送信順序には、上記の
ほか、まず先頭フレーム、次に最終フレーム、その後、
中間フレームという具合に2分探索方式での順序付け
等、さまざまな順序付けが考えられる。
【0096】一方、図15はデータベース上に3つのフ
レームからなる動画像があり、その各1コマの4分の1
をデータセグメントとしたものである。図に示すよう
に、たとえば、フレーム1−パート(c)、2−
(c)、3−(c)という具合に、画像の左下部分を最
初に送信し、以降パート(d)、パート(b)、パート
(a)という具合にデータセグメントを送信する。より
変化の激しいパートを最初に送ることで、利用者はマル
チメディア情報端末装置520において動画像データの
要点をより早く知ることができる。
レームからなる動画像があり、その各1コマの4分の1
をデータセグメントとしたものである。図に示すよう
に、たとえば、フレーム1−パート(c)、2−
(c)、3−(c)という具合に、画像の左下部分を最
初に送信し、以降パート(d)、パート(b)、パート
(a)という具合にデータセグメントを送信する。より
変化の激しいパートを最初に送ることで、利用者はマル
チメディア情報端末装置520において動画像データの
要点をより早く知ることができる。
【0097】図16では、データベース上の画像の空間
的解像度を落とすことによって伝送することにより、伝
送データを削減することができる。それにより早くフレ
ーム終了まで伝送でき、利用者は画像の大まかな内容を
早く確認することができる。表示側では、画面サイズを
小さくして表示する。また、画質を落として表示すれば
データベース上の画像と同じ大きさに表示することも可
能である。
的解像度を落とすことによって伝送することにより、伝
送データを削減することができる。それにより早くフレ
ーム終了まで伝送でき、利用者は画像の大まかな内容を
早く確認することができる。表示側では、画面サイズを
小さくして表示する。また、画質を落として表示すれば
データベース上の画像と同じ大きさに表示することも可
能である。
【0098】図17は、上述の例えば動画像データの送
信方法を用いた電子メールシステムへの適用の一例であ
る。ここでは、文字列セグメントT1…T8と動画像セ
グメントV1a…V3dが入り混じって送信されてい
る。セグメントV1dが送信完了した時刻t1におい
て、利用者はおおよその動画像と電子メールと意図する
ところを大まかに理解でき、必要であればそのまま受信
を続行したり、あるいは必要でなければ受信を停止し、
次の電子メールの表示に移行することができる。伝送が
全て完了した状態において、動画像データの完全な再生
が可能にある。
信方法を用いた電子メールシステムへの適用の一例であ
る。ここでは、文字列セグメントT1…T8と動画像セ
グメントV1a…V3dが入り混じって送信されてい
る。セグメントV1dが送信完了した時刻t1におい
て、利用者はおおよその動画像と電子メールと意図する
ところを大まかに理解でき、必要であればそのまま受信
を続行したり、あるいは必要でなければ受信を停止し、
次の電子メールの表示に移行することができる。伝送が
全て完了した状態において、動画像データの完全な再生
が可能にある。
【0099】以上、図14〜図17を用いて動画像なら
びに文字列データセグメントの伝送方法について説明し
たが、図形や音声などのデータについても、同様にセグ
メント化して、順次あるいは送信順序の入れ替えを行う
ことで、利用者の要求に合ったマルチメディアデータの
伝送と表示が実現できる。音声の場合には、複数のチャ
ンネルが存在する音声多重あるいはステレオ方式の場合
には、一方のチャンネルから先に伝送することも可能で
あるし、図形の場合にはキー図形となりうる可能性のあ
る図形種、あるいは表示サイズの大きい図形から優先し
て送信するというような実現方法が考えられる。
びに文字列データセグメントの伝送方法について説明し
たが、図形や音声などのデータについても、同様にセグ
メント化して、順次あるいは送信順序の入れ替えを行う
ことで、利用者の要求に合ったマルチメディアデータの
伝送と表示が実現できる。音声の場合には、複数のチャ
ンネルが存在する音声多重あるいはステレオ方式の場合
には、一方のチャンネルから先に伝送することも可能で
あるし、図形の場合にはキー図形となりうる可能性のあ
る図形種、あるいは表示サイズの大きい図形から優先し
て送信するというような実現方法が考えられる。
【0100】図18には、図13のマルチメディア情報
端末装置520に備えられたデータ送受信方式選択部5
25を用いて利用者が表示したい情報の種類(文字、図
形、画像、音声)や表示内容の選択を行った場合の設定
画面の例を示す。
端末装置520に備えられたデータ送受信方式選択部5
25を用いて利用者が表示したい情報の種類(文字、図
形、画像、音声)や表示内容の選択を行った場合の設定
画面の例を示す。
【0101】(実施例6)図19は、本実施例に係る情
報通信端末装置のブロック図であり、(a)は送信装
置、(b)は受信装置を示している。
報通信端末装置のブロック図であり、(a)は送信装
置、(b)は受信装置を示している。
【0102】図19(a)に示す送信装置では、画像信
号と音声信号が入力される。電力解析部601は、音声
の状態を解析するために信号電力を求め、この信号電力
が雑音を考慮して設定されたしきい値より大きい場合は
有音であると判定し、しきい値以下の場合は無音である
と判定する。情報量解析部602は動画像の情報量を解
析する。例えば、対象フレーム(現フレーム)と前フレ
ームとのフレーム間差分を求めて残差信号の和をとる
か、あるいは画像符号化部605で符号化を行って量子
化する前の各フレームの符号量を計算する。これらの値
が大きいときは情報量が多く、小さいときは情報量が少
ないと判定する。
号と音声信号が入力される。電力解析部601は、音声
の状態を解析するために信号電力を求め、この信号電力
が雑音を考慮して設定されたしきい値より大きい場合は
有音であると判定し、しきい値以下の場合は無音である
と判定する。情報量解析部602は動画像の情報量を解
析する。例えば、対象フレーム(現フレーム)と前フレ
ームとのフレーム間差分を求めて残差信号の和をとる
か、あるいは画像符号化部605で符号化を行って量子
化する前の各フレームの符号量を計算する。これらの値
が大きいときは情報量が多く、小さいときは情報量が少
ないと判定する。
【0103】レート配分部603は、電力解析部601
で判定された状態に応じて通信路の帯域幅を音声および
画像の伝送に対してどのように配分するか決める。音声
が無音の場合は、帯域のほとんどを画像の伝送に使うよ
うに配分し、画像情報が少なく音声が有音の場合は音声
の帯域が広くなるように配分する。音声符号化部604
および画像符号化部605では、レート配分部603で
決められた符号量に基づき音声信号、画像信号をそれぞ
れ圧縮符号化する。一方、一定時間毎にレート配分部6
03で決められたレート配分を表すフラグをフラグ発生
部606で作成する。多重化部607は、音声符号化部
604および画像符号化部605からの符号化された信
号をフラグ発生部606で作られるフラグを付けて多重
化し出力する。
で判定された状態に応じて通信路の帯域幅を音声および
画像の伝送に対してどのように配分するか決める。音声
が無音の場合は、帯域のほとんどを画像の伝送に使うよ
うに配分し、画像情報が少なく音声が有音の場合は音声
の帯域が広くなるように配分する。音声符号化部604
および画像符号化部605では、レート配分部603で
決められた符号量に基づき音声信号、画像信号をそれぞ
れ圧縮符号化する。一方、一定時間毎にレート配分部6
03で決められたレート配分を表すフラグをフラグ発生
部606で作成する。多重化部607は、音声符号化部
604および画像符号化部605からの符号化された信
号をフラグ発生部606で作られるフラグを付けて多重
化し出力する。
【0104】図23に、画像と音声のレート配分の一例
を示す。1フレームから20フレームまでは有音で画像
の情報量が多いため、画像と音声はそれぞれ8Kbps
と4Kbpsに分けられ、また21フレームから40フ
レームまでは有音で画像の情報量が少ないため画像と音
声はそれぞれ6Kbpsと6Kbpsに分けられ、さら
に41フレームから70フレームまでは無音なので、画
像のみ12Kbpsで符号化される。このときフラグ発
生部606では、画像信号の伝送レートをフラグとして
多重している。
を示す。1フレームから20フレームまでは有音で画像
の情報量が多いため、画像と音声はそれぞれ8Kbps
と4Kbpsに分けられ、また21フレームから40フ
レームまでは有音で画像の情報量が少ないため画像と音
声はそれぞれ6Kbpsと6Kbpsに分けられ、さら
に41フレームから70フレームまでは無音なので、画
像のみ12Kbpsで符号化される。このときフラグ発
生部606では、画像信号の伝送レートをフラグとして
多重している。
【0105】一方、図19(b)に示す受信装置では図
19(a)の送信装置から伝送されてきた多重化された
信号を受信し、前記フラグから音声と画像のレート配分
を読み取り、分離部608により音声と画像の符号化信
号を分離する。音声および画像の符号化信号は、それぞ
れ音声復号化部609および画像復号化部610で復号
化されて出力される。
19(a)の送信装置から伝送されてきた多重化された
信号を受信し、前記フラグから音声と画像のレート配分
を読み取り、分離部608により音声と画像の符号化信
号を分離する。音声および画像の符号化信号は、それぞ
れ音声復号化部609および画像復号化部610で復号
化されて出力される。
【0106】以上により、音声や画像の状態に応じてレ
ート配分を変えることによって、情報量の多い信号に多
くのレートを割り当てることができ、通信路の有効活用
が可能となる。
ート配分を変えることによって、情報量の多い信号に多
くのレートを割り当てることができ、通信路の有効活用
が可能となる。
【0107】(実施例7)従来の動き補償予測では、画
像のみの情報を用いているので、どの方向も一様に探索
するか、木探索によって全方向の中で予測誤差の少ない
方向を細かく探索していた。実施例7の画像符号化部6
05において、さらに音声の電力解析部601からの有
音/無音判定情報を用いて、音声信号が有音区間の場合
は画面中央の顔の口の付近は上下方向に動きベクトルの
探索点を増やすこともできる。このように音声の状態に
基づいて動きベクトルの探索点を設定することにより、
音声情報にあった適切な動きベクトルの探索ができる。
像のみの情報を用いているので、どの方向も一様に探索
するか、木探索によって全方向の中で予測誤差の少ない
方向を細かく探索していた。実施例7の画像符号化部6
05において、さらに音声の電力解析部601からの有
音/無音判定情報を用いて、音声信号が有音区間の場合
は画面中央の顔の口の付近は上下方向に動きベクトルの
探索点を増やすこともできる。このように音声の状態に
基づいて動きベクトルの探索点を設定することにより、
音声情報にあった適切な動きベクトルの探索ができる。
【0108】本実施例を図20によりさらに具体的に説
明する。図20は、図19の画像符号化部605として
用いられ得る動き補償予測方式による動画像符号化装置
の構成を示している。端子700に入力される画像信号
は、減算器701で動き補償予測回路709からの予測
信号との差(予測誤差)がとられる。この予測誤差信号
は、DCT(離散コサイン変換)回路702でDCT係
数に変換され、さらに量子化回路703で量子化された
後、可変長符号化回路711で可変長符号化される。
明する。図20は、図19の画像符号化部605として
用いられ得る動き補償予測方式による動画像符号化装置
の構成を示している。端子700に入力される画像信号
は、減算器701で動き補償予測回路709からの予測
信号との差(予測誤差)がとられる。この予測誤差信号
は、DCT(離散コサイン変換)回路702でDCT係
数に変換され、さらに量子化回路703で量子化された
後、可変長符号化回路711で可変長符号化される。
【0109】一方、量子化回路703の出力は、逆量子
化回路704および逆DCT回路705を経て局部復号
され、加算器706で予測信号と加算された後、フレー
ムメモリ708を介して動き補償予測回路709に入力
される。動き補償予測回路709は、入力の動画像信号
とフレームメモリ708に蓄積されている画像信号から
動きベクトルを求め、この動きベクトルを用いて動き補
償予測を行って予測信号を作成する。動きベクトルの情
報は、可変長符号化回路712にも入力される。可変長
符号化回路711,712の出力はマルチプレクサ71
3で合成され、出力される。
化回路704および逆DCT回路705を経て局部復号
され、加算器706で予測信号と加算された後、フレー
ムメモリ708を介して動き補償予測回路709に入力
される。動き補償予測回路709は、入力の動画像信号
とフレームメモリ708に蓄積されている画像信号から
動きベクトルを求め、この動きベクトルを用いて動き補
償予測を行って予測信号を作成する。動きベクトルの情
報は、可変長符号化回路712にも入力される。可変長
符号化回路711,712の出力はマルチプレクサ71
3で合成され、出力される。
【0110】ここで、動き補償予測回路709における
動きベクトルの探索点は、動きベクトル探索点設定部7
10により設定される。この動きベクトル探索点設定部
710は、図19の電力解析部601からの有音/無音
判定情報が入力され、この有音/無音判定情報に基づい
て、前述のように音声信号が有音区間の場合は画面中央
の顔の口の付近は上下方向に動きベクトルの探索点を増
やすように動きベクトルの探索点を設定する。
動きベクトルの探索点は、動きベクトル探索点設定部7
10により設定される。この動きベクトル探索点設定部
710は、図19の電力解析部601からの有音/無音
判定情報が入力され、この有音/無音判定情報に基づい
て、前述のように音声信号が有音区間の場合は画面中央
の顔の口の付近は上下方向に動きベクトルの探索点を増
やすように動きベクトルの探索点を設定する。
【0111】(実施例8)図21は、本実施例に係る情
報通信端末装置のブロック図であり、(a)は送信装
置、(b)は受信装置を示している。
報通信端末装置のブロック図であり、(a)は送信装
置、(b)は受信装置を示している。
【0112】図21(a)に示す送信装置では、図24
(a)のような蓄積された画像・音声・文字データ等の
2つ以上のメディア情報を持つ信号を圧縮して決まった
帯域幅で伝送する。すなわち、蓄積されている信号から
検出した各メディアの情報発生スケジュールF1,F
2,…,Fnをスケジューラ611に入力する。図24
(b)のように動画を一度に送ろうとすると、伝送帯域
幅に合わせて動画像を圧縮しなければならず、動画像を
送り始めるまでの期間Aでは伝送帯域幅に空きがある。
この空いている帯域を利用して動画像情報を時間の過去
の方向に伸張し帯域を圧縮すると、失われる情報量は少
なくなるため、画像の劣化が少ない。このように未来の
情報発生スケジュールに基づいて圧縮するために、スケ
ジューラ611で各メディアの送信スケジュールと伝送
ビットレートを決定する。例えば図24(a)の信号を
伝送する場合、図24(c)のように期間Aの0〜60
秒まで動画、文字、音声をそれぞれ10Kbps,2K
bps,4Kbpsで伝送し、60秒から90秒まで動
画の期間は動画、音声を12Kbps,4Kbpsでそ
れぞれ伝送する。このようなスケジュールに従った時の
伝送レートを概算してみる。動画を伝送するレートは9
60Kbpsになり、動画を10Hzで送るとフレーム
数は300フレームになるので、1フレーム当たり3.
2Kbitに圧縮することになる。図24(b)のよう
にそのまま伝送した場合、動画像は1フレームあたり
1.2Kbpsになる。
(a)のような蓄積された画像・音声・文字データ等の
2つ以上のメディア情報を持つ信号を圧縮して決まった
帯域幅で伝送する。すなわち、蓄積されている信号から
検出した各メディアの情報発生スケジュールF1,F
2,…,Fnをスケジューラ611に入力する。図24
(b)のように動画を一度に送ろうとすると、伝送帯域
幅に合わせて動画像を圧縮しなければならず、動画像を
送り始めるまでの期間Aでは伝送帯域幅に空きがある。
この空いている帯域を利用して動画像情報を時間の過去
の方向に伸張し帯域を圧縮すると、失われる情報量は少
なくなるため、画像の劣化が少ない。このように未来の
情報発生スケジュールに基づいて圧縮するために、スケ
ジューラ611で各メディアの送信スケジュールと伝送
ビットレートを決定する。例えば図24(a)の信号を
伝送する場合、図24(c)のように期間Aの0〜60
秒まで動画、文字、音声をそれぞれ10Kbps,2K
bps,4Kbpsで伝送し、60秒から90秒まで動
画の期間は動画、音声を12Kbps,4Kbpsでそ
れぞれ伝送する。このようなスケジュールに従った時の
伝送レートを概算してみる。動画を伝送するレートは9
60Kbpsになり、動画を10Hzで送るとフレーム
数は300フレームになるので、1フレーム当たり3.
2Kbitに圧縮することになる。図24(b)のよう
にそのまま伝送した場合、動画像は1フレームあたり
1.2Kbpsになる。
【0113】本実施例ではマルチメディア信号と一緒に
情報発生スケジュールを送るので、概算よりやや小さく
なるが、図24(b)よりは大きい伝送レートで送るこ
とが可能となる。スケジューラ611で決定された伝送
レートに応じて符号化部612で各メディア信号S1,
S2,…,Snが符号化される。この符号化された信号
をバッファ613で時間方向に伸張し、多重化部614
で各メディア信号、情報発生スケジュールを多重化して
出力する。
情報発生スケジュールを送るので、概算よりやや小さく
なるが、図24(b)よりは大きい伝送レートで送るこ
とが可能となる。スケジューラ611で決定された伝送
レートに応じて符号化部612で各メディア信号S1,
S2,…,Snが符号化される。この符号化された信号
をバッファ613で時間方向に伸張し、多重化部614
で各メディア信号、情報発生スケジュールを多重化して
出力する。
【0114】一方、図21(b)に示す受信装置では、
分離部615で各メディア信号と情報発生スケジュール
を分離し、メディア信号はバッファ616に送り、情報
発生スケジュールはタイミング発生器617に送る。バ
ッファ616とタイミング発生器617で情報発生スケ
ジュールに合わせて復号化部618で復号化を行って出
力する。
分離部615で各メディア信号と情報発生スケジュール
を分離し、メディア信号はバッファ616に送り、情報
発生スケジュールはタイミング発生器617に送る。バ
ッファ616とタイミング発生器617で情報発生スケ
ジュールに合わせて復号化部618で復号化を行って出
力する。
【0115】このように本実施例によれば、未来の情報
発生スケジュールからスケジューラ611で許容伝送帯
域を有効に利用するように伝送スケジュールを作成し、
これに基づいて符号化を行うことによって、メディアの
品質(画質・音質)を向上させることができる。
発生スケジュールからスケジューラ611で許容伝送帯
域を有効に利用するように伝送スケジュールを作成し、
これに基づいて符号化を行うことによって、メディアの
品質(画質・音質)を向上させることができる。
【0116】(実施例9)図22は、本実施例に係る遠
隔地監視用の情報通信端末装置のブロック図であり、
(a)は送信装置、(b)は受信装置を示している。
隔地監視用の情報通信端末装置のブロック図であり、
(a)は送信装置、(b)は受信装置を示している。
【0117】図22(a)において、監視カメラ621
で得られた画像情報は画像符号化・多重化部622で符
号化され多重化される。多重化信号は情報分配部626
でいくつかの通信路に分配され、受信側に伝送される。
で得られた画像情報は画像符号化・多重化部622で符
号化され多重化される。多重化信号は情報分配部626
でいくつかの通信路に分配され、受信側に伝送される。
【0118】図22(b)の受信装置では伝送路を経て
伝送されてきた信号が情報複合部631によって複合さ
れ、さらに分離・画像復号化部629で分離、復号され
てモニタ630に出力される。
伝送されてきた信号が情報複合部631によって複合さ
れ、さらに分離・画像復号化部629で分離、復号され
てモニタ630に出力される。
【0119】本実施例では、画像に変化の少ない監視で
は通常は最低限の回線を使用して情報を伝送する。接続
された通信路の容量を上回る情報が発生した場合、新し
い回線を接続して伝送容量をふやすため、送信装置にお
いて情報量モニタ623によって多重化した信号の情報
量の変化をモニタする。ここで、現在の伝送容量を上回
る情報が検出された場合は、通信路制御部624によっ
て情報分配部626と新しい回線を接続する。制御信号
多重化部625で回線制御信号を通常接続されている通
信路の信号に多重化し、受信装置側に送る。
は通常は最低限の回線を使用して情報を伝送する。接続
された通信路の容量を上回る情報が発生した場合、新し
い回線を接続して伝送容量をふやすため、送信装置にお
いて情報量モニタ623によって多重化した信号の情報
量の変化をモニタする。ここで、現在の伝送容量を上回
る情報が検出された場合は、通信路制御部624によっ
て情報分配部626と新しい回線を接続する。制御信号
多重化部625で回線制御信号を通常接続されている通
信路の信号に多重化し、受信装置側に送る。
【0120】受信装置では制御信号分離部628で上記
の回線制御信号を分離して、この制御信号に従って新し
い回線が受信側と接続される。通信路の接続が完了した
ことを示す信号を送信装置側に送り返し、情報分配部6
26が接続完了を確認して各回線に情報分配を始める。
新しい回線がつながれるまでの間に、あふれた信号はバ
ッファ627に蓄積しておき、新しい回線がつながった
後に伝送する。
の回線制御信号を分離して、この制御信号に従って新し
い回線が受信側と接続される。通信路の接続が完了した
ことを示す信号を送信装置側に送り返し、情報分配部6
26が接続完了を確認して各回線に情報分配を始める。
新しい回線がつながれるまでの間に、あふれた信号はバ
ッファ627に蓄積しておき、新しい回線がつながった
後に伝送する。
【0121】このように本実施例によれば、画像の変化
の少ない場合は最低限の回線数で、情報量が伝送容量を
上回れば新しい回線を接続して伝送する。そして、接続
されるまでにあふれた信号はバッファ627に蓄積して
おくことによって情報が失われず、また監視画像の発生
符号量によって回線数を制御していることにより、回線
使用コストを下げることができる。
の少ない場合は最低限の回線数で、情報量が伝送容量を
上回れば新しい回線を接続して伝送する。そして、接続
されるまでにあふれた信号はバッファ627に蓄積して
おくことによって情報が失われず、また監視画像の発生
符号量によって回線数を制御していることにより、回線
使用コストを下げることができる。
【0122】
【発明の効果】以上説明したように、本発明によればメ
モリを介さずに実時間で送受信を行うモードと、メモリ
を介して送受信を行うモードおよび情報の一部をメモリ
を介さずに実時間で残りの一部をメモリを介して送受信
するモードを選択できるため、従来と同等の狭い帯域を
用いていながら、従来と同等レベルの画質・音質での実
時間通信に加えて、精細情報の通信も可能になり、ユー
ザが要求する画質・音質での情報伝達が可能になる。
モリを介さずに実時間で送受信を行うモードと、メモリ
を介して送受信を行うモードおよび情報の一部をメモリ
を介さずに実時間で残りの一部をメモリを介して送受信
するモードを選択できるため、従来と同等の狭い帯域を
用いていながら、従来と同等レベルの画質・音質での実
時間通信に加えて、精細情報の通信も可能になり、ユー
ザが要求する画質・音質での情報伝達が可能になる。
【0123】
【0124】
【0125】
【0126】
【0127】
【0128】
【0129】
【0130】
【図1】実施例1に係る情報通信端末装置の構成を示す
ブロック図
ブロック図
【図2】実施例2に係る情報通信端末装置の構成を示す
ブロック図
ブロック図
【図3】実施例3に係る情報通信端末装置の構成を示す
ブロック図
ブロック図
【図4】実施例4に係る情報通信端末装置の構成を示す
ブロック図
ブロック図
【図5】実施例4−1に係る表示画面例を示す図
【図6】図5の表示画面を実現する送信側の構成を示す
機能ブロック図
機能ブロック図
【図7】実施例4−2に係る表示画面例を示す図
【図8】図7の表示を実現する送信側の構成を示す機能
ブロック図
ブロック図
【図9】実施例4−3に係る表示画面例を示す図
【図10】図9の表示を実現する送信側の構成を示す機
能ブロック図
能ブロック図
【図11】実施例4−4に係る表示画面例を示す図
【図12】実施例4−5に係る送信側の構成を示す機能
ブロック図
ブロック図
【図13】実施例5に係る情報通信端末装置の構成を示
すブロック図
すブロック図
【図14】実施例5における動画像データの第1の伝送
例を示す図
例を示す図
【図15】実施例5における動画像データの第1の伝送
例を示す図
例を示す図
【図16】実施例5における表示方法を説明するための
図
図
【図17】実施例5に係る電子メールデータの伝送例を
示す図
示す図
【図18】実施例5に係るデータ送受信方式設定画面の
例を示す図
例を示す図
【図19】実施例6に係る情報通信端末装置の構成を示
すブロック図
すブロック図
【図20】実施例7における画像符号化部の構成を示す
図
図
【図21】実施例8に係る情報通信端末装置の構成を示
すブロック図
すブロック図
【図22】実施例9に係る情報通信端末装置の構成を示
すブロック図
すブロック図
【図23】実施例6における音声と画像情報のレート配
分を示す図
分を示す図
【図24】実施例9における伝送スケジュールを示す図
11…TVカメラ
12…マイク
13…符号化部
14…入力部
15…モード発生部
16…信号分離部
17…第1のメモリ
18…多重化部
21…分離部
22…モード情報抽出部
23…復号化部
24…第2のメモリ
25…記録部
26…モニタ
27…スピーカ
フロントページの続き
(51)Int.Cl.7 識別記号 FI
H04L 29/12 H04L 13/00 317
H04N 7/14
(72)発明者 渡邊 敏明
神奈川県川崎市幸区小向東芝町1番地
株式会社東芝研究開発センター内
(72)発明者 山口 浩司
神奈川県川崎市幸区小向東芝町1番地
株式会社東芝研究開発センター内
(72)発明者 山下 明延
神奈川県川崎市幸区小向東芝町1番地
株式会社東芝研究開発センター内
(72)発明者 倉立 尚明
大阪府大阪市北区大淀中一丁目1番30号
株式会社東芝関西支社内
(56)参考文献 特開 平2−17778(JP,A)
特開 平4−301949(JP,A)
特開 平5−167861(JP,A)
特開 平4−40186(JP,A)
特開 昭55−134576(JP,A)
特開 平1−213085(JP,A)
(58)調査した分野(Int.Cl.7,DB名)
H04L 29/06
H04L 12/54
H04L 12/58
H04L 12/64
H04L 13/08
H04L 29/12
H04N 7/14
Claims (2)
- 【請求項1】伝送すべき情報を第1のメモリを介さずに
実時間で伝送する第1の伝送モードと、該情報を該第1
のメモリを介して伝送する第2の伝送モードと、該情報
の一部を第1のメモリを介さずに実時間で伝送すると共
に、該情報の他の一部を該第1のメモリを介して伝送す
る第3の伝送モードを有する送信装置と、 該送信装置から前記第1の伝送モードにより伝送されて
きた情報を第2のメモリを介さずに実時間で受信する第
1の受信モードと、前記第2の伝送モードにより伝送さ
れてきた情報を該第2のメモリを介して受信する第2の
受信モードと、前記第3の伝送モードにより伝送されて
きた情報のうち実時間で伝送されてきた情報については
該第2のメモリを介さずに実時間で受信し、前記第1の
メモリを介して伝送されてきた情報については該第2の
メモリを介して受信する第3の受信モードを有する受信
装置とからなることを特徴とする情報通信端末装置。 - 【請求項2】前記受信装置は記録手段を有し、前記送信
装置から前記第1の伝送モードにより伝送されてきた情
報については該情報を該記録手段により記録し、前記送
信装置から前記第3の伝送モードで伝送されてきた情報
については該情報のうち実時間で伝送されてきた情報と
前記第1のメモリを介して伝送されてきた情報とを統合
した後に復号化して該記録手段により記録することを特
徴とする請求項1に記載の情報通信端末装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15023994A JP3462267B2 (ja) | 1994-06-30 | 1994-06-30 | 情報通信端末装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15023994A JP3462267B2 (ja) | 1994-06-30 | 1994-06-30 | 情報通信端末装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0818622A JPH0818622A (ja) | 1996-01-19 |
JP3462267B2 true JP3462267B2 (ja) | 2003-11-05 |
Family
ID=15492609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15023994A Expired - Fee Related JP3462267B2 (ja) | 1994-06-30 | 1994-06-30 | 情報通信端末装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3462267B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2341159A1 (en) * | 1998-01-12 | 1999-07-15 | David Monroe | Apparatus for capturing, converting and transmitting a visual image signal via a digital transmission system |
US6134243A (en) * | 1998-01-15 | 2000-10-17 | Apple Computer, Inc. | Method and apparatus for media data transmission |
DE19833318C2 (de) | 1998-07-24 | 2001-08-02 | Bosch Gmbh Robert | Verfahren zur Übertragung von digitalen Nutzdaten |
JP2001159889A (ja) * | 1999-12-02 | 2001-06-12 | Ntt Docomo Inc | 携帯端末、及びその画像表示制御方法 |
JP3324036B2 (ja) * | 2000-02-22 | 2002-09-17 | 株式会社アトラス | 遊戯装置における画像データの配信方法 |
JP4705265B2 (ja) * | 2001-04-19 | 2011-06-22 | 三菱電機株式会社 | 映像または音声伝送システム |
JP2007048089A (ja) * | 2005-08-10 | 2007-02-22 | Sharp Corp | データ処理装置、データ処理方法、データ処理プログラム、データ処理プログラムを記録した記録媒体、および構造化文書データファイルのデータ構造 |
JP5230164B2 (ja) * | 2007-10-18 | 2013-07-10 | 三洋電機株式会社 | 音声記録装置 |
JP4740356B2 (ja) | 2009-06-30 | 2011-08-03 | 富士通株式会社 | メディア配信切替え方法、受信装置、送信装置 |
JP6350194B2 (ja) * | 2014-10-08 | 2018-07-04 | セイコーエプソン株式会社 | 運動計測装置、運動計測方法および運動計測プログラム |
-
1994
- 1994-06-30 JP JP15023994A patent/JP3462267B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0818622A (ja) | 1996-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7295757B2 (en) | Advancing playback of video data based on parameter values of video data | |
EP1187475B1 (en) | Method and apparatus for video data recording | |
US6989868B2 (en) | Method of converting format of encoded video data and apparatus therefor | |
JP4153995B2 (ja) | 画像復号化符号化装置、画像符号化装置及び画像復号化装置 | |
JP3516585B2 (ja) | データ処理装置及びデータ処理方法 | |
US20160249033A9 (en) | Method and apparatus for selecting compression for an incoming video signal in an interactive television system | |
US20020076194A1 (en) | Methods of recording/reproducing moving image data and the devices using the methods | |
KR20050052484A (ko) | 데이터 처리방법 | |
JP3462267B2 (ja) | 情報通信端末装置 | |
US20060002682A1 (en) | Recording apparatus and recording control method | |
JP2020053760A (ja) | 情報処理システム、端末装置およびプログラム | |
JP4526294B2 (ja) | ストリームデータ送信装置、受信装置、プログラムを記録した記録媒体、およびシステム | |
JP2008204397A (ja) | コンテンツデータ変換装置、コンテンツ再生装置、コンテンツデータ配信装置、コンテンツデータ配信システム、コンテンツ再生システム、並びに、コンテンツデータ変換プログラム、コンテンツ再生プログラム、コンテンツデータ配信プログラム、およびそれらプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP4315914B2 (ja) | 画像再生装置及び画像再生方法 | |
US20030123844A1 (en) | Data reproduction apparatus and data reproduction method | |
JP5135147B2 (ja) | 動画ファイル送信サーバおよびその動作制御方法 | |
JPH09326873A (ja) | 情報伝送システム | |
JPH1155626A (ja) | テレビジョン信号符号化装置およびテレビジョン信号記録装置 | |
JP2002171485A (ja) | 圧縮映像信号記録装置 | |
JPH0983948A (ja) | 情報伝送システム | |
JP2004158929A (ja) | 動画像処理方法および動画像処理装置ならびに動画像伝送装置 | |
JP2003046928A (ja) | ネットワーク映像再生方法および圧縮映像データ復号再生装置 | |
CN101326822A (zh) | 用于编辑/创作地面数字多媒体广播内容的设备、地面数字多媒体广播的交互式内容提供*** | |
JP2006339980A (ja) | 映像再生装置 | |
KR100530919B1 (ko) | 동화상 데이터의 처리 및 송수신 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080815 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |