JP2007228412A

JP2007228412A - 携帯端末装置

Info

Publication number: JP2007228412A
Application number: JP2006048922A
Authority: JP
Inventors: Yasushi Fukushige; 泰志福重
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-02-24
Filing date: 2006-02-24
Publication date: 2007-09-06

Abstract

【課題】無線接続により構成された３Ｇ−Ｈ．３２４Ｍによるテレビ電話システムにおいて、伝送情報量を端末間で最適に制御しながら、補間フレームの生成による滑らかな動画像表示を可能にする。
【解決手段】伝送データの多重化／逆多重化を行うＨ．２２３制御部１０００と、ＭＰＥＧ４／Ｈ．２６３復号部１０１０と、復号データ格納部１０１１と、ＭＰＥＧ４／Ｈ．２６３符号化部１０６０と、Ｈ．２４５制御データの解析を行うＨ．２４５制御部１０４０と、パラメータ判定部１０５０とに加えて、画像補間部１０２０と、補間画像格納部１０２１とを具備し、パラメータ判定部１０５０とＨ．２４５制御部１０４０により端末間の伝送情報量を制御し、パラメータ判定部１０５０で最適な補間フレーム間隔を決定し、画像補間部１０２０で補間フレーム間隔に応じた補間画像データを生成する。
【選択図】図１

Description

本発明は第３世代移動通信規格３Ｇ−Ｈ．３２４Ｍを使用したテレビ電話システムにおける動画像データの処理技術に係り、特に伝送情報量を端末間で最適に制御しながら補間フレームの生成により滑らかな動画像表示を可能にする携帯端末装置に関する。

第３世代移動通信規格３Ｇ−Ｈ．３２４Ｍにおいて、対局端末との呼接続完了後、動画像の伝送の前に、自局端末及び対局端末間でＨ．２４５プロトコルを用いて、送信及び受信能力情報の交換（ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔ）、Ｈ．２２３多重化テーブルエントリ情報の交換（ＭｕｌｔｉｐｌｅｘＥｎｔｒｙＳｅｎｄ）、論理チャネルの接続（ＯｐｅｎＬｏｇｉｃａｌＣｈａｎｎｅｌ）を行う。また、テレビ電話開始後も、モード要求メッセージ（ＲｅｑｕｅｓｔＭｏｄｅ）により送信パラメータの変更が可能である。動画像はＨ．２６３またはＭＰＥＧ−４を用いて符号化が行われ、符号化された動画像データはＨ．２２３のアダプテーション層に入力され、指定した多重化テーブルエントリに従いビデオ用パケットデータユニットと呼ばれる１つまたは複数の可変長パケットに分割され、それぞれのパケットに対してＣＲＣコードが付加され、伝送される。

図１３は３Ｇ−Ｈ．３２４Ｍを使用したテレビ電話システムにおける従来の携帯端末の構成を示すブロック図である。図１３において、Ｈ．２２３制御部１０００は音声／動画像／Ｈ．２４５制御データの多重化／逆多重化を行い、Ｈ．２２３制御部１０００で抽出された受信ＭＰＥＧ４／Ｈ．２６３動画像符号化データ１１１１はＭＰＥＧ４／Ｈ．２６３復号部１０１０に転送される。ＭＰＥＧ４／Ｈ．２６３復号部１０１０で復号されたデータは復号データ格納部１０１１に格納され、復号データ１１２０として表示部１０３０に転送され、画像が表示される。

Ｈ．２２３制御部１０００にて抽出されたＨ．２４５制御データ１１４１はＨ．２４５制御部１０４０に転送されてパラメータ解析が行われ、Ｈ．２４５関連パラメータ情報１１４２としてパラメータ判定部１０５０に通知され、復号に関連するパラメータは復号関連パラメータ１１１２としてＭＰＥＧ４／Ｈ．２６３復号部１０１０に通知され、符号化に関連するパラメータは符号化関連パラメータ１１６１としてＭＰＥＧ４／Ｈ．２６３符号化部１０６０に通知される。撮像部１０７０にて撮影された撮像データ１１７１はＭＰＥＧ４／Ｈ．２６３符号化部１０６０に転送され、ＭＰＥＧ４／Ｈ．２６３符号化部１０６０にて符号化されたデータは、送信ＭＰＥＧ４／Ｈ．２６３符号化データ１１０１としてＨ．２２３制御部１０００に転送される。

無線接続により構成された３Ｇ−Ｈ．３２４Ｍによるテレビ電話システムにおいては、伝送路の通信状況が悪化するとビデオ用パケットデータユニットが欠損し、動画像表示の滞りが発生する。伝送路上の雑音等によってパケットデータユニットの一部が誤って受信された場合や完全に失われてしまった場合に、ビデオ用再送プロトコルによりビデオ用パケットデータユニットが再送される。

しかしながら、受信側にて表示される時間間隔内で再送されなかった画像は復号されず、動画像の表示が滞ることがある。この対策として、受信側に動画像補間手段を設け、伝送中に欠落したフレームの補間を行う技術が開発されている。動画像補間の効果を上げるために、動画像データを時間的に分割して複数の伝送路に送り出し、エラーが混入した伝送路の画像を他の伝送路の時間的に直前の画像を用いて補間する技術が開示されている（例えば、特許文献１参照）。また、送信側で間引きされた複数のフレームに対する複数の動きベクトルを伝送フレームに付加することで、受信側において欠落したフレームの正確な再生を可能にする補間処理技術が開示されている（例えば、特許文献２参照）。
特開２００２−２２３４３７号公報特開平１０−２７１５０８号公報

前述したように、無線接続により構成された３Ｇ−Ｈ．３２４Ｍによるテレビ電話システムにおいて、伝送路の通信状況の悪化により発生するビデオ用パケットデータユニットの欠損対策として動画像補間が有効な手段となる。さらに、伝送路の通信状況に起因するビデオ用パケットデータユニットの欠損対策のみならず、動画像補間を積極的に活用することで、伝送情報量を抑制しながら復号した画像間から補間画像を生成して滑らかな動画像表示を行うことが考えられる。その際に、端末側の処理量や消費電力の増減を考慮する必要がある。

本発明は、無線接続により構成された３Ｇ−Ｈ．３２４Ｍによるテレビ電話システムにおいて、伝送情報量を端末間で最適に制御しながら、補間フレームの生成による滑らかな動画像表示を可能にすることを目的とする。

本発明は、無線接続により構成されたテレビ電話システムを構成する携帯端末装置であって、自局の処理能力に応じた最適な補間フレーム間隔を決定する手段と、復号画像データから前記補間フレーム間隔に応じた補間画像データを生成する手段とを具備するものである。上記構成によれば、自局の処理能力に応じた最適な補間フレーム間隔で復号画像データから補間画像データを生成することで、滑らかな動画像表示を可能にしながら、端末間の伝送情報量を抑制し、対局側の処理量を低減することができる。

さらに本発明において、前記補間フレーム間隔を決定する手段は、復号画像データの受信フレームレートに基づき自局の処理能力に応じた最適な補間フレーム間隔を決定するものである。上記構成によれば、対局側が送信フレームレートを低くして伝送情報量を抑制した場合にも、自局側が復号画像データの受信フレームレートに基づき自局の処理能力に応じた最適な補間フレーム間隔を決定して滑らかな動画像表示を行うことができる。

さらに本発明において、前記補間フレーム間隔を決定する手段は、ユーザが指定する補間フレーム間隔情報に基づき自局の処理能力に応じた最適な補間フレーム間隔を決定するものである。上記構成によれば、ユーザが指定する補間フレーム間隔情報に基づき自局の処理能力に応じた最適な補間フレーム間隔を決定するため、ユーザが動画像表示の品質を判断しながらテレビ電話システムを使用することができる。

さらに本発明において、自局に設定した受信フレームレート能力を対局へ通知する手段を具備するものである。上記構成によれば、対局側が通知された受信フレームレート能力に応じて端末間の伝送情報量を抑制し、対局側の処理量を低減することができる。

さらに本発明において、前記補間画像データを生成する手段の有無を対局へ通知する手段を具備するものである。上記構成によれば、対局側が通知された補間画像データを生成する手段の有無に応じて端末間の伝送情報量を抑制し、対局側の処理量を低減することができる。

さらに本発明において、前記補間画像データを生成する手段の活動状態を対局へ通知する手段を具備するものである。上記構成によれば、対局側が通知された補間画像データを生成する手段の有無とその活動状態に応じて端末間の伝送情報量を抑制し、対局側の処理量を低減することができる。

さらに本発明において、対局に送信フレームレート要求を通知する手段を具備するものである。上記構成によれば、対局側が通知された送信フレームレート要求に応じて端末間の伝送情報量を抑制し、対局側の処理量を低減することができる。

本発明によれば、端末の処理能力に応じた最適な補間フレーム間隔で復号画像データから補間画像データを生成することで、滑らかな動画像表示を可能にしながら、端末間の伝送情報量を抑制し、対局側の処理量を低減することができ、情報処理量や消費電力を端末間で最適化する効果が得られる。

図１は３Ｇ−Ｈ．３２４Ｍを使用したテレビ電話システムにおける本発明の一実施形態に係る携帯端末の構成を示すブロック図である。図１において、図１３に示した従来の携帯端末の構成に付加されたものとして、１０２０は復号画像から指定されたフレームレートに基づき補間画像を生成する画像補間部、１０２１は復号画像と補間画像を格納する復号画像及び補間画像格納部、１０８０はテレビ電話動作中にテレビ電話の録画を行う場合に使用される録画データ格納部である。他の構成要素は図１３に示した従来の構成と同様である。

図１の構成におけるデータ及び信号としては、１１３１は表示部１０３０に転送される復号画像データ及び補間画像データ、１１５１は復号時刻情報、１１５２はユーザから指定される補間フレーム間隔情報、１１５３は対局端末に要求する送信フレーム間隔情報、１１５４はユーザから指定される画像補間機能のＯＮ／ＯＦＦ情報、１１２１はパラメータ判定部にて判定された補間フレーム生成数及び補間処理ＯＮ／ＯＦＦ情報を含む画像補間制御情報、１１４２は従来のＨ．２４５制御情報に加えて送信要求フレーム間隔と補間手段有無情報と補間ＯＮ／ＯＦＦ情報を含むＨ．２４５制御情報、１１４１は従来のＨ．２４５メッセージに加えて送信要求フレーム間隔と補間手段有無情報と補間ＯＮ／ＯＦＦ情報を含むＨ．２４５メッセージ、１１８１及び１１０２は録画データである。他のデータ及び信号は図１３に示した従来の構成と同様である。

図２は復号データ格納部１０１１に格納されている復号時刻情報と復号画像の管理情報を示す図であり、２０００は復号時刻情報と復号画像データの対応表、２００１は前回の復号時刻ｔ＋０、２０１１は時刻ｔ＋０の復号画像データ、２００２は最新の復号時刻ｔ＋３、２０１２は時刻ｔ＋３の復号画像データを示す。

図３は復号画像及び補間画像格納部１０２１に格納されている復号時刻情報及び補間時刻情報と復号画像データ及び補間画像データの管理情報であり、３０００は復号時刻及び補間時刻と復号画像データ及び補間画像データの対応表、３００１及び３０１１と３００４及び３０１４は図２の情報と同様の復号に関する情報、３００２と３００３は画像補間制御情報１１２１により通知されたフレームレートに基づき補間フレームを生成する補間時刻、３０１２は補間時刻ｔ＋１に対応する補間画像データ、３０１３は補間時刻ｔ＋２に対応する補間画像データを示す。

以上のように構成された３Ｇ−Ｈ．３２４Ｍによるテレビ電話システムの携帯端末において、滑らかな動画像の表示を行うための補間画像データを生成し、端末間で処理量を最適化する処理について、以下に様々な実施形態を説明する。

（実施形態１）
図４は、携帯端末が補間画像データを生成するために、パラメータ判定部１０５０にて補間処理に用いる補間フレーム間隔を復号時刻情報から決定する実施形態１の手順を示すフロー図である。対局端末から受信されたＨ．２２３多重化データがＨ．２２３制御部１０００にて逆多重化されると、受信ＭＰＥＧ４／Ｈ．２６３動画像符号化データ１１１１がＭＰＥＧ４／Ｈ．２６３復号部１０１０に入力される。

ＭＰＥＧ４／Ｈ．２６３復号部１０１０は、まず新復号時刻２００２を前復号時刻格納変数２００１に転送し、新復号画像データ２０１２を前復号画像データ２０１１に転送する。次に、受信ＭＰＥＧ４／Ｈ．２６３動画像符号化データ１１１１の復号を実行し、このときに取得される復号時刻情報を新復号時刻２００２に、復号画像データを新復号画像データ２０１２に格納する。さらに、新復号時刻２００２及び新復号画像データ２０１２を復号データ１１２０として画像補間部１０２０に転送する。

画像補間部１０２０では、復号データ１１２０が転送されると、新復号時刻３００４を前復号時刻３００１に、新復号画像データ３０１４を前復号画像データ３０１１に転送した後に、新たに転送された復号データ１１２０から復号時刻を新復号時刻３００４に、復号画像データを新復号画像データ３０１４に格納する。

また、ＭＰＥＧ４／Ｈ．２６３復号部１０１０は、受信ＭＰＥＧ４／Ｈ．２６３動画像符号化データ１１１１の復号実行で取得した上記復号時刻情報を復号時刻情報１１５１としてパラメータ判定部１０５０に通知する。パラメータ判定部１０５０に復号時刻情報ｔ１１５１が通知されると、前復号時刻判定４００１にて前復号時刻格納変数ａが初期値か否かを判定し、ａが初期値の場合は前復号時刻格納処理４００８にてａにｔを入力し、補間フレーム間隔決定処理４００９にて補間フレーム間隔格納変数ｆに初期値を入力する。

前復号時刻判定４００１にて前復号時刻格納変数ａが初期値でないと判定された場合は、新復号時刻格納処理４００２にてｂにｔを入力し、復号時刻差算出処理４００３にて前フレームとの復号時刻差ｃを算出し、最小復号時刻差判定４００４にて復号時刻差ｃを最小復号時刻差ｍと比較する。復号時刻差ｃが最小復号時刻差ｍより大きい場合は、フレームレート決定処理４００５にてフレームレート変数ｆにｍの逆数を入力する。最小復号時刻差判定４００４の比較結果で復号時刻差ｃが最小復号時刻差ｍより小さい場合は、フレームレート決定処理４００６にてフレームレート変数ｆにｃの逆数を入力し、最小復号時刻差更新処理４００７にて最小復号時刻差ｍにｃを入力する。

パラメータ判定部１０５０は、以上のようにして決定された補間フレーム間隔ｆを画像補間制御情報１１２１として画像補間部１０２０に通知する。画像補間制御情報１１２１が通知されると、画像補間部１０２０では、前復号時刻３００１と新復号時刻３００４と画像補間制御情報１１２１から補間時刻ｔ＋１及びｔ＋２を算出し、それぞれ補間時刻３００２及び３００３に格納し、また、前復号画像データ３０１１と新復号画像データ３０１４を用いて補間時刻ｔ＋１の補間画像データＰｔ＋１と補間時刻ｔ＋１の補間画像データＰｔ＋２を算出し、それぞれ補間画像データ３０１２、３０１３に格納する。画像補間部１０２０にて補間処理が完了し、補間画像格納部１０２１に復号データ及び補間データが格納されると、復号画像データ及び補間画像データ１１３１として表示部１０３０に転送され、画像が表示される。

（実施形態２）
図５は、携帯端末が補間画像データを生成するために、パラメータ判定部１０５０にてユーザ指定による補間フレーム間隔から補間処理に用いる補間フレーム間隔を決定する実施形態２の手順を示すフロー図である。対局端末から受信されたＨ．２２３多重化データがＨ．２２３制御部１０００にて逆多重化され、受信ＭＰＥＧ４／Ｈ．２６３動画像符号化データ１１１１がＭＰＥＧ４／Ｈ．２６３復号部１０１０に入力されてから、画像補間部１０２０で新復号時刻３００４及び新復号画像データ３０１４が格納されるまでの処理は実施形態１と同様である。

ユーザが受信端末に対して補間フレーム間隔を指定すると、ユーザ指定補間フレーム間隔情報１１５２としてパラメータ判定部１０５０に通知される。パラメータ判定部１０５０は、ユーザ指定の補間フレーム間隔ｆｒ１１５２が通知されると、補間フレーム間隔範囲判定５００１にてユーザ指定の補間フレーム間隔ｆｒが指定可能な範囲か否かを判定し、ｆｒが指定可能な範囲の下限値ｍｉｎより小さい場合は、補間フレーム間隔決定処理５００２にて補間フレーム間隔ｆにｍｉｎを入力する。補間フレーム間隔範囲判定５００１の判定結果でｆｒが指定可能な範囲の上限値ｍａｘより大きい場合は、補間フレーム間隔決定処理５００４にて補間フレーム間隔ｆにｍａｘを入力する。補間フレーム間隔範囲判定５００１の判定結果でｆｒが指定可能な範囲の場合は、補間フレーム間隔決定処理５００３にて補間フレーム間隔ｆにユーザ指定補間フレーム間隔ｆｒを入力する。パラメータ判定部１０５０は、以上のようにして決定された補間フレーム間隔ｆを画像補間制御情報１１２１として画像補間部１０２０に通知する。

画像補間制御情報１１２１が画像補間部１０２０に通知された後、画像補間部１０２０が補間時刻ｔ＋１及びｔ＋２を算出し、さらに補間処理により補間画像データＰｔ＋１と補間画像データＰｔ＋２を算出し、それらが復号画像データ及び補間画像データ１１３１として表示部１０３０に転送され、画像が表示されるまでの処理は実施形態１と同様である。

（実施形態３）
図６は、携帯端末が画像補間手段を使用することで、対局端末の動画像の送信フレーム間隔を制御し、対局端末の処理量を低減することを目的とする実施形態３の手順を示すフロー図である。ユーザが受信端末に対して補間フレーム間隔ｆｒを指定すると、ユーザ指定の補間フレーム間隔情報ｆｒ１１５２としてパラメータ判定部１０５０に通知される。補間フレーム間隔情報ｆｒが通知されてから、パラメータ判定部１０５０において補間フレーム間隔ｆを決定するまでの処理は実施形態２と同様である。

パラメータ判定部１０５０は、以上のようにして決定された補間フレーム間隔ｆを画像補間制御情報１１２１として画像補間部１０２０に通知する。さらに、パラメータ判定部１０５０は、自局受信フレームレート処理能力決定処理５００５にてｆｂ≦ｆとなるｆｂを決定し、自局受信フレームレート処理能力ｆａにｆｂを入力する。パラメータ判定部１０５０は、こうして決定された自局受信フレームレート処理能力ｆａをＨ．２４５関連パラメータ情報１１４２としてＨ．２４５制御部１０４０に通知する。

呼接続完了後、Ｈ．２４５制御部１０４０は、対局端末に送信する能力情報交換メッセージ（ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔ）にＨ．２４５関連パラメータ情報１１４２にて通知された自局端末の受信フレームレート処理能力を設定し、Ｈ．２４５メッセージ１１４１としてＨ．２２３制御部１０００に通知する。Ｈ．２２３制御部１０００で多重化されたＨ．２４５メッセージは対局端末にて受信され、対局端末のＨ．２２３制御部にて逆多重化処理が行われ、Ｈ．２４５メッセージ１１４１としてＨ．２４５制御部１０４０に通知される。Ｈ．２４５制御部１０４０にて能力情報交換メッセージ（ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔ）の解析が行われ、対局端末の受信フレームレート処理能力を含めた設定パラメータがＨ．２４５関連パラメータ情報１１４２としてパラメータ判定部１０５０に通知される。パラメータ判定部１０５０は、これを符号化関連パラメータ１１６１としてＭＰＥＧ４／Ｈ．２６３符号化部１０６０に通知する。

ＭＰＥＧ４／Ｈ．２６３符号化部１０６０は、符号化関連パラメータ１１６１として通知された対局端末の受信フレームレート処理能力を最大フレームレートとして、撮像部１０７０から転送される撮像データ１１７１をＭＰＥＧ４／Ｈ．２６３符号化部１０６０にて符号化し、送信ＭＰＥＧ４／Ｈ．２６３符号化データ１１０１としてＨ．２２３制御部１０００に転送する。この符号化データがＨ．２２３制御部１０００にて多重化され、対局端末に送信される。対局端末から受信されたＨ．２２３多重化データがＨ．２２３制御部１０００にて逆多重化され、受信ＭＰＥＧ４／Ｈ．２６３動画像符号化データ１１１１がＭＰＥＧ４／Ｈ．２６３復号部１０１０に入力されてから、画像補間部１０２０で新復号時刻３００４及び新復号画像データ３０１４が格納されるまでの処理は実施形態１と同様である。また、画像補間制御情報１１２１が画像補間部１０２０に通知された後、画像補間部１０２０が補間時刻ｔ＋１及びｔ＋２を算出し、さらに補間処理により補間画像データＰｔ＋１と補間画像データＰｔ＋２を算出し、それらが復号画像データ及び補間画像データ１１３１として表示部１０３０に転送され、画像が表示されるまでの処理も実施形態１と同様である。

（実施形態４）
図７は、自局端末が画像補間手段を具備することを対局端末に通知することで、対局端末が動画像の送信フレーム間隔を制御し、対局端末の処理量を低減することを目的とする実施形態４の手順を示すフロー図である。ユーザが受信端末に対して補間フレーム間隔ｆｒを指定すると、ユーザ指定の補間フレーム間隔情報ｆｒ１１５２としてパラメータ判定部１０５０に通知される。補間フレーム間隔情報ｆｒが通知されてから、パラメータ判定部１０５０において補間フレーム間隔ｆを決定するまでの処理は実施形態２と同様である。

パラメータ判定部１０５０は、以上のようにして決定された補間フレーム間隔ｆを画像補間制御情報１１２１として画像補間部１０２０に通知する。さらにパラメータ判定部１０５０は、補間手段具備情報設定処理５００６にて画像補間手段具備情報ｅに具備情報を入力し、設定された画像補間手段具備情報ｅをＨ．２４５関連パラメータ情報１１４２としてＨ．２４５制御部１０４０に通知する。

呼接続完了後、Ｈ．２４５制御部１０４０は、対局端末に送信する能力情報交換メッセージ（ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔ）にＨ．２４５関連パラメータ情報１１４２にて通知された自局端末の画像補間手段具備情報を設定し、Ｈ．２４５メッセージ１１４１としてＨ．２２３制御部１０００に通知する。Ｈ．２２３制御部１０００で多重化されたＨ．２４５メッセージは対局端末にて受信され、対局端末のＨ．２２３制御部にて逆多重化処理が行われ、Ｈ．２４５メッセージ１１４１としてＨ．２４５制御部１０４０に通知される。Ｈ．２４５制御部１０４０にて能力情報交換メッセージ（ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔ）の解析が行われ、対局端末の受信フレームレート処理能力及び画像補間手段具備情報を含めた設定パラメータがＨ．２４５関連パラメータ情報１１４２としてパラメータ判定部１０５０に通知される。パラメータ判定部１０５０は、対局端末の画像補間手段具備情報により、対局端末の受信フレームレート処理能力の変更を行う。

図８はパラメータ判定部１０５０にて対局端末の受信フレームレート処理能力の変更を行う処理のフロー図である。図８において、対局端末の受信フレームレート処理能力ｆｏ及び対局端末の画像補間手段具備情報ｅｏが通知されると、補間手段具備情報判定５１０１にて対局端末の画像補間手段具備情報ｅｏを判定する。ｅｏが「具備」の場合は受信フレームレート処理能力変更設定５１０２にてｆａ≦ｆｏとなるｆａを決定し、受信フレームレート処理能力ｆにｆａを入力し、ｅｏが「不具備」の場合は受信フレームレート処理能力設定５１０３にて受信フレームレート処理能力ｆにｆｏを入力する。

パラメータ判定部１０５０は、以上のようにして決定された受信フレームレート処理能力ｆを符号化関連パラメータ１１６１に含めてＭＰＥＧ４／Ｈ．２６３符号化部１０６０に通知する。符号化関連パラメータ１１６１が通知されると、ＭＰＥＧ４／Ｈ．２６３符号化部１０６０は、通知された対局端末の受信フレームレート処理能力ｆを最大フレームレートとして、撮像部１０７０から通知される撮像データ１１７１を符号化し、送信ＭＰＥＧ４／Ｈ．２６３符号化データ１１０１としてＨ．２２３制御部１０００に転送する。この符号化データがＨ．２２３制御部１０００にて多重化され、対局端末に送信される。

対局端末から受信されたＨ．２２３多重化データがＨ．２２３制御部１０００にて逆多重化され、受信ＭＰＥＧ４／Ｈ．２６３動画像符号化データ１１１１がＭＰＥＧ４／Ｈ．２６３復号部１０１０に入力されてから、画像補間部１０２０で新復号時刻３００４及び新復号画像データ３０１４が格納されるまでの処理は実施形態１と同様である。また、画像補間制御情報１１２１が画像補間部１０２０に通知された後、画像補間部１０２０が補間時刻ｔ＋１及びｔ＋２を算出し、さらに補間処理により補間画像データＰｔ＋１と補間画像データＰｔ＋２を算出し、それらが復号画像データ及び補間画像データ１１３１として表示部１０３０に転送され、画像が表示されるまでの処理も実施形態１と同様である。

（実施形態５）
図９は、自局端末が画像補間手段を具備し、画像補間手段の状態（ＯＮ／ＯＦＦ）を対局端末に通知することで、対局端末が動画像の送信フレーム間隔を制御し、対局端末の処理量を低減することを目的とする実施形態５の手順を示すフロー図である。ユーザが受信端末に対して補間フレーム間隔ｆｒ及び画像補間手段の状態ｓ（ＯＮ／ＯＦＦ）を指定すると、ユーザ指定の補間フレーム間隔情報ｆｒ１１５２及び補間手段状態情報ｓ１１５４としてパラメータ判定部１０５０に通知される。補間フレーム間隔情報ｆｒ及び補間手段状態情報ｓが通知された後、パラメータ判定部１０５０において補間フレーム間隔ｆを決定するまでの処理は実施形態２と同様である。

さらにパラメータ判定部１０５０は、補間手段具備情報設定処理５００６にて画像補間手段具備情報ｅに具備情報を入力し、補間手段具備情報判定５００７にて画像補間手段具備情報ｅを判定し、ｅが「具備」の場合には補間手段状態設定５００８にて補間手段状態情報ｓｔに補間手段状態情報ｓを入力する。パラメータ判定部１０５０は、以上のようにして決定された補間フレーム間隔ｆ及び設定された補間手段状態情報ｓｔを画像補間制御情報１１２１として画像補間部１０２０に通知する。さらにパラメータ判定部１０５０は、画像補間手段具備情報ｅ及び補間手段状態情報ｓｔをＨ．２４５関連パラメータ情報１１４２としてＨ．２４５制御部１０４０に通知する。

呼接続完了後、Ｈ．２４５制御部１０４０は、対局端末に送信する能力情報交換メッセージ（ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔ）にＨ．２４５関連パラメータ情報１１４２にて通知された自局端末の画像補間手段具備情報及び補間手段状態情報を設定し、Ｈ．２４５メッセージ１１４１としてＨ．２２３制御部１０００に通知する。Ｈ．２２３制御部１０００で多重化されたＨ．２４５メッセージは対局端末にて受信され、対局端末のＨ．２２３制御部にて逆多重化処理が行われ、Ｈ．２４５メッセージ１１４１としてＨ．２４５制御部１０４０に通知される。Ｈ．２４５制御部１０４０にて能力情報交換メッセージ（ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔ）の解析が行われ、対局端末の受信フレームレート処理能力及び画像補間手段具備情報及び補間手段状態情報を含めた設定パラメータがＨ．２４５関連パラメータ情報１１４２としてパラメータ判定部１０５０に通知される。パラメータ判定部１０５０は、対局端末の画像補間手段具備情報及び補間手段状態情報により、対局端末の受信フレームレート処理能力の変更を行う。

図１０はパラメータ判定部１０５０にて対局端末の受信フレームレート処理能力の変更を行う処理のフロー図である。図１０において、対局端末の受信フレームレート処理能力ｆｏ及び対局端末の画像補間手段具備情報ｅｏ及び対局端末の画像補間手段状態情報ｓｔｏが通知されると、補間手段具備情報判定５１０１にて対局端末の画像補間手段具備情報ｅｏを判定する。ｅｏが「具備」の場合は補間手段状態情報判定５１０４にて対局端末の画像補間手段情報ｓｔｏを判定する。ｓｔｏが「ＯＮ」の場合は受信フレームレート処理能力変更設定５１０２にてｆａ≦ｆｏとなるｆａを決定し、受信フレームレート処理能力ｆにｆａを入力し、ｅｏが「不具備」の場合あるいはｓｔｏが「ＯＦＦ」の場合は受信フレームレート処理能力設定５１０３にて受信フレームレート処理能力ｆにｆｏを入力する。

パラメータ判定部１０５０は、以上のようにして決定された受信フレームレート処理能力ｆを符号化関連パラメータ１１６１に含めてＭＰＥＧ４／Ｈ．２６３符号化部１０６０に通知する。符号化関連パラメータ１１６１が通知されると、ＭＰＥＧ４／Ｈ．２６３符号化部１０６０は、通知された対局端末の受信フレームレート処理能力ｆを最大フレームレートとして、撮像部１０７０から通知される撮像データ１１７１を符号化し、送信ＭＰＥＧ４／Ｈ．２６３符号化データ１１０１としてＨ．２２３制御部１０００に転送する。この符号化データがＨ．２２３制御部１０００にて多重化され、対局端末に送信される。対局端末から受信されたＨ．２２３多重化データがＨ．２２３制御部１０００にて逆多重化され、受信ＭＰＥＧ４／Ｈ．２６３動画像符号化データ１１１１がＭＰＥＧ４／Ｈ．２６３復号部１０１０に入力されてから、画像補間部１０２０で新復号時刻３００４及び新復号画像データ３０１４が格納されるまでの処理は実施形態１と同様である。また、画像補間制御情報１１２１が画像補間部１０２０に通知された後、画像補間部１０２０が補間時刻ｔ＋１及びｔ＋２を算出し、さらに補間処理により補間画像データＰｔ＋１と補間画像データＰｔ＋２を算出し、それらが復号画像データ及び補間画像データ１１３１として表示部１０３０に転送され、画像が表示されるまでの処理も実施形態１と同様である。

（実施形態６）
図１１は、自局端末が画像補間手段を具備し、テレビ電話動作中にテレビ電話の録画を行う場合に、対局端末の動画像の送信フレーム間隔を制御し、対局端末の処理量を低減させることを目的とする実施形態６の手順を示すフロー図である。テレビ電話動作中にユーザが補間フレーム間隔ｆｒ及び対局端末に要求するｆｒより小さい値の要求送信フレーム間隔ｆｄ及び画像補間手段の状態ｓ（ＯＮ／ＯＦＦ）を指定すると、ユーザ指定の補間フレーム間隔情報ｆｒ１１５２及び要求送信フレーム間隔情報ｆｄ１１５３及び補間手段状態情報ｓとしてパラメータ判定部１０５０に通知される。補間フレーム間隔情報ｆｒ及び要求送信フレーム間隔情報ｆｄ及び補間手段状態情報ｓが通知された後、パラメータ判定部１０５０において補間フレーム間隔ｆを決定するまでの処理は実施形態２と同様である。

さらに、パラメータ判定部１０５０では、補間手段具備情報設定処理５００６にて画像補間手段具備情報ｅに具備情報を入力し、補間手段具備情報判定５００７にて画像補間手段具備情報ｅを判定し、ｅが「具備」の場合には補間手段状態判定５００９にて補間手段状態情報ｓを判定し、ｓが「ＯＮ」の場合には補間手段状態設定５００８にて補間手段状態情報ｓｔに補間手段状態情報ｓを入力する。次に、要求送信フレーム間隔範囲判定５０１０にて要求送信フレーム間隔ｆｄが要求可能な範囲か否かを判定する。ｆｄが指定可能な範囲の下限値ｆｑｍｉｎより小さい場合は要求送信フレーム間隔決定処理５０１１にて要求送信フレーム間隔ｆｑにｆｑｍｉｎを入力し、ｆｄが指定可能な範囲の上限値ｆｑｍａｘより大きい場合は要求送信フレーム間隔決定処理５０１３にて要求送信フレーム間隔ｆｑにｆｑｍａｘを入力し、ｆｄが指定可能な範囲の場合は要求送信フレーム間隔決定処理５０１２にて要求送信フレーム間隔ｆｑにユーザ指定の要求送信フレーム間隔ｆｄを入力しする。

パラメータ判定部１０５０は、以上のようにして決定された補間フレーム間隔ｆ及び設定された補間手段状態情報ｓｔを画像補間制御情報１１２１として画像補間部１０２０に通知する。さらにパラメータ判定部１０５０は、要求送信フレーム間隔ｆｑをＨ．２４５関連パラメータ情報１１４２としてＨ．２４５制御部１０４０に通知する。呼接続完了後、Ｈ．２４５制御部１０４０は、対局端末に送信するモード要求メッセージ（ＲｅｑｕｅｓｔＭｏｄｅ）にＨ．２４５関連パラメータ情報１１４２にて通知された要求送信フレーム間隔情報を設定し、Ｈ．２４５メッセージ１１４１としてＨ．２２３制御部１０００に通知する。Ｈ．２２３制御部１０００で多重化されたＨ．２４５メッセージは対局端末にて受信され、対局端末のＨ．２２３制御部にて逆多重化処理が行われ、Ｈ．２４５メッセージ１１４１としてＨ．２４５制御部１０４０に通知される。Ｈ．２４５制御部１０４０にてモード要求メッセージ（ＲｅｑｕｅｓｔＭｏｄｅ）の解析が行われ、要求送信フレームレートを含めた設定パラメータがＨ．２４５関連パラメータ情報１１４２としてパラメータ判定部１０５０に通知される。パラメータ判定部１０５０は、それを符号化関連パラメータ１１６１に含めてＭＰＥＧ４／Ｈ．２６３符号化部１０６０に通知する。

符号化関連パラメータ１１６１が通知されると、ＭＰＥＧ４／Ｈ．２６３符号化部１０６０は、通知された要求送信フレームレートを最大フレームレートとして、撮像部１０７０から通知される撮像データ１１７１を符号化し、送信ＭＰＥＧ４／Ｈ．２６３符号化データ１１０１としてＨ．２２３制御部１０００に転送する。この符号化データがＨ．２２３制御部１０００にて多重化され、対局端末に送信される。対局端末から受信されたＨ．２２３多重化データがＨ．２２３制御部１０００にて逆多重化され、受信ＭＰＥＧ４／Ｈ．２６３動画像符号化データ１１１１がＭＰＥＧ４／Ｈ．２６３復号部１０１０に入力されてから、画像補間部１０２０で新復号時刻３００４及び新復号画像データ３０１４が格納されるまでの処理は実施形態１と同様である。

また、画像補間制御情報１１２１が画像補間部１０２０に通知された後、画像補間部１０２０が補間時刻ｔ＋１及びｔ＋２を算出し、さらに補間処理により補間画像データＰｔ＋１と補間画像データＰｔ＋２を算出し、それらが復号画像データ及び補間画像データ１１３１として表示部１０３０に転送され、画像が表示されるまでの処理も実施形態１と同様である。また、テレビ電話動作中のテレビ電話の録画を行うときは、Ｈ．２２３制御部１０００にて受信された対局端末からのＨ．２２３多重化データがそのまま録画データ１１８１としてＨ．２２３多重化テーブルとともに録画データ格納部１０８０に格納される。

図１２は、録画データ格納部１０８０に録画されたテレビ電話の再生を行う際に、パラメータ判定部１０５０にてユーザ指定による補間フレーム間隔から補間処理に用いる補間フレーム間隔を決定するフロー図である。ユーザが補間フレーム間隔ｆｒ及び画像補間手段の状態ｓ（ＯＮ／ＯＦＦ）を指定すると、ユーザ指定の補間フレーム間隔情報ｆｒ１１５２及び補間手段状態情報ｓ１１５４としてパラメータ判定部１０５０に通知される。補間フレーム間隔情報ｆｒ及び補間手段状態情報ｓが通知された後、パラメータ判定部１０５０において補間フレーム間隔ｆを決定するまでの処理は実施形態２と同様である。

さらにパラメータ判定部１０５０は、補間手段状態設定５００８にて補間手段状態情報ｓｔに補間手段状態情報ｓを入力する。パラメータ判定部１０５０は、以上のようにして決定された補間フレーム間隔ｆ及び設定された補間手段状態情報ｓｔを画像補間制御情報１１２１として画像補間部１０２０に通知する。録画されたテレビ電話の再生が開始されると、録画データ格納部１０８０からＨ．２２３制御部１０００に録画データ１１０２と多重化テーブルが転送される。録画データ１１０２がＨ．２２３制御部１０００にて逆多重化され、受信ＭＰＥＧ４／Ｈ．２６３動画像符号化データ１１１１がＭＰＥＧ４／Ｈ．２６３復号部１０１０に入力されてから、画像補間部１０２０で新復号時刻３００４及び新復号画像データ３０１４が格納されるまでの処理は実施形態１と同様である。また、画像補間制御情報１１２１が画像補間部１０２０に通知された後、画像補間部１０２０が補間時刻ｔ＋１及びｔ＋２を算出し、さらに補間処理により補間画像データＰｔ＋１と補間画像データＰｔ＋２を算出し、それらが復号画像データ及び補間画像データ１１３１として表示部１０３０に転送され、画像が表示されるまでの処理も実施形態１と同様である。

本発明の携帯端末装置は、端末の処理能力に応じた最適な補間フレーム間隔で復号画像データから補間画像データを生成することで、滑らかな動画像表示を可能にしながら、端末間の伝送情報量を抑制し、対局側の処理量を低減することができ、情報処理量や消費電力を端末間で最適化する効果を有し、伝送情報量を端末間で最適に制御しながら補間フレームの生成により滑らかな動画像表示を可能にする携帯端末装置等として有用である。

本発明の一実施形態に係る携帯端末装置の構成を示すブロック図。復号データ格納部における復号時刻と復号画像データの対応表。復号画像及び補間画像格納部における復号時刻及び補間時刻と復号画像データ及び補間画像データの対応表。復号時刻情報から補間フレーム間隔を決定する手順を示すフロー図。ユーザ指定の補間フレーム間隔から補間フレーム間隔を決定する手順を示すフロー図。対局端末の動画像の送信フレーム間隔を制御する手順を示すフロー図。画像補間手段の具備を対局端末に通知することにより対局端末が動画像の送信フレーム間隔を制御する手順を示すフロー図。対局端末の受信フレームレート処理能力の変更を行う処理のフロー図。画像補間手段の具備と画像補間手段の状態を対局端末に通知することにより対局端末が動画像の送信フレーム間隔を制御する手順を示すフロー図。対局端末の受信フレームレート処理能力の変更を行う処理のフロー図。テレビ電話の録画を行う場合に対局端末の動画像の送信フレーム間隔を制御する手順を示すフロー図。録画されたテレビ電話の再生を行う際にユーザ指定の補間フレーム間隔から補間フレーム間隔を決定するフロー図。３Ｇ−Ｈ．３２４Ｍを使用したテレビ電話システムにおける従来の携帯端末の構成を示すブロック図。

符号の説明

１０００Ｈ．２２３制御部
１０１０ＭＰＥＧ４／Ｈ．２６３復号部
１０１１復号データ格納部
１０２０画像補間部
１０２１復号画像及び補間画像格納部
１０３０表示部
１０４０Ｈ．２４５制御部
１０５０パラメータ判定部
１０６０ＭＰＥＧ４／Ｈ．２６３符号化部
１０７０撮像部
１０８０録画データ格納部
１１０１送信ＭＰＥＧ４／Ｈ．２６３符号化データ
１１０２録画データ
１１１１受信ＭＰＥＧ４／Ｈ．２６３動画像符号化データ
１１１２復号関連パラメータ
１１２０復号データ
１１２１画像補間制御情報
１１３１復号画像データ及び補間画像データ
１１４１Ｈ．２４５メッセージ
１１４２Ｈ．２４５制御情報
１１５１復号時刻情報
１１５２ユーザから指定される補間フレーム間隔情報
１１５３対局端末に要求する送信フレーム間隔情報
１１５４画像補間機能のＯＮ／ＯＦＦ情報
１１６１符号化関連パラメータ
１１７１撮像データ
１１８１録画データ

Claims

無線接続により構成されたテレビ電話システムを構成する携帯端末装置であって、自局の処理能力に応じた最適な補間フレーム間隔を決定する手段と、復号画像データから前記補間フレーム間隔に応じた補間画像データを生成する手段とを備える携帯端末装置。
前記補間フレーム間隔を決定する手段は、復号画像データの受信フレームレートに基づき自局の処理能力に応じた最適な補間フレーム間隔を決定する請求項１記載の携帯端末装置。
前記補間フレーム間隔を決定する手段は、ユーザが指定する補間フレーム間隔情報に基づき自局の処理能力に応じた最適な補間フレーム間隔を決定する請求項１記載の携帯端末装置。
自局に設定した受信フレームレート能力を対局へ通知する手段を備える請求項１記載の携帯端末装置。
前記補間画像データを生成する手段の有無を対局へ通知する手段を備える請求項１記載の携帯端末装置。
前記補間画像データを生成する手段の活動状態を対局へ通知する手段を備える請求項５記載の携帯端末装置。
対局に送信フレームレート要求を通知する手段を備える請求項１記載の携帯端末装置。