JP2007228412A - 携帯端末装置 - Google Patents
携帯端末装置 Download PDFInfo
- Publication number
- JP2007228412A JP2007228412A JP2006048922A JP2006048922A JP2007228412A JP 2007228412 A JP2007228412 A JP 2007228412A JP 2006048922 A JP2006048922 A JP 2006048922A JP 2006048922 A JP2006048922 A JP 2006048922A JP 2007228412 A JP2007228412 A JP 2007228412A
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- unit
- information
- image
- frame interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
Abstract
【課題】無線接続により構成された3G−H.324Mによるテレビ電話システムにおいて、伝送情報量を端末間で最適に制御しながら、補間フレームの生成による滑らかな動画像表示を可能にする。
【解決手段】伝送データの多重化/逆多重化を行うH.223制御部1000と、MPEG4/H.263復号部1010と、復号データ格納部1011と、MPEG4/H.263符号化部1060と、H.245制御データの解析を行うH.245制御部1040と、パラメータ判定部1050とに加えて、画像補間部1020と、補間画像格納部1021とを具備し、パラメータ判定部1050とH.245制御部1040により端末間の伝送情報量を制御し、パラメータ判定部1050で最適な補間フレーム間隔を決定し、画像補間部1020で補間フレーム間隔に応じた補間画像データを生成する。
【選択図】図1
【解決手段】伝送データの多重化/逆多重化を行うH.223制御部1000と、MPEG4/H.263復号部1010と、復号データ格納部1011と、MPEG4/H.263符号化部1060と、H.245制御データの解析を行うH.245制御部1040と、パラメータ判定部1050とに加えて、画像補間部1020と、補間画像格納部1021とを具備し、パラメータ判定部1050とH.245制御部1040により端末間の伝送情報量を制御し、パラメータ判定部1050で最適な補間フレーム間隔を決定し、画像補間部1020で補間フレーム間隔に応じた補間画像データを生成する。
【選択図】図1
Description
本発明は第3世代移動通信規格3G−H.324Mを使用したテレビ電話システムにおける動画像データの処理技術に係り、特に伝送情報量を端末間で最適に制御しながら補間フレームの生成により滑らかな動画像表示を可能にする携帯端末装置に関する。
第3世代移動通信規格3G−H.324Mにおいて、対局端末との呼接続完了後、動画像の伝送の前に、自局端末及び対局端末間でH.245プロトコルを用いて、送信及び受信能力情報の交換(TerminalCapabilitySet)、H.223多重化テーブルエントリ情報の交換(MultiplexEntrySend)、論理チャネルの接続(OpenLogicalChannel)を行う。また、テレビ電話開始後も、モード要求メッセージ(RequestMode)により送信パラメータの変更が可能である。動画像はH.263またはMPEG−4を用いて符号化が行われ、符号化された動画像データはH.223のアダプテーション層に入力され、指定した多重化テーブルエントリに従いビデオ用パケットデータユニットと呼ばれる1つまたは複数の可変長パケットに分割され、それぞれのパケットに対してCRCコードが付加され、伝送される。
図13は3G−H.324Mを使用したテレビ電話システムにおける従来の携帯端末の構成を示すブロック図である。図13において、H.223制御部1000は音声/動画像/H.245制御データの多重化/逆多重化を行い、H.223制御部1000で抽出された受信MPEG4/H.263動画像符号化データ1111はMPEG4/H.263復号部1010に転送される。MPEG4/H.263復号部1010で復号されたデータは復号データ格納部1011に格納され、復号データ1120として表示部1030に転送され、画像が表示される。
H.223制御部1000にて抽出されたH.245制御データ1141はH.245制御部1040に転送されてパラメータ解析が行われ、H.245関連パラメータ情報1142としてパラメータ判定部1050に通知され、復号に関連するパラメータは復号関連パラメータ1112としてMPEG4/H.263復号部1010に通知され、符号化に関連するパラメータは符号化関連パラメータ1161としてMPEG4/H.263符号化部1060に通知される。撮像部1070にて撮影された撮像データ1171はMPEG4/H.263符号化部1060に転送され、MPEG4/H.263符号化部1060にて符号化されたデータは、送信MPEG4/H.263符号化データ1101としてH.223制御部1000に転送される。
無線接続により構成された3G−H.324Mによるテレビ電話システムにおいては、伝送路の通信状況が悪化するとビデオ用パケットデータユニットが欠損し、動画像表示の滞りが発生する。伝送路上の雑音等によってパケットデータユニットの一部が誤って受信された場合や完全に失われてしまった場合に、ビデオ用再送プロトコルによりビデオ用パケットデータユニットが再送される。
しかしながら、受信側にて表示される時間間隔内で再送されなかった画像は復号されず、動画像の表示が滞ることがある。この対策として、受信側に動画像補間手段を設け、伝送中に欠落したフレームの補間を行う技術が開発されている。動画像補間の効果を上げるために、動画像データを時間的に分割して複数の伝送路に送り出し、エラーが混入した伝送路の画像を他の伝送路の時間的に直前の画像を用いて補間する技術が開示されている(例えば、特許文献1参照)。また、送信側で間引きされた複数のフレームに対する複数の動きベクトルを伝送フレームに付加することで、受信側において欠落したフレームの正確な再生を可能にする補間処理技術が開示されている(例えば、特許文献2参照)。
特開2002−223437号公報
特開平10−271508号公報
前述したように、無線接続により構成された3G−H.324Mによるテレビ電話システムにおいて、伝送路の通信状況の悪化により発生するビデオ用パケットデータユニットの欠損対策として動画像補間が有効な手段となる。さらに、伝送路の通信状況に起因するビデオ用パケットデータユニットの欠損対策のみならず、動画像補間を積極的に活用することで、伝送情報量を抑制しながら復号した画像間から補間画像を生成して滑らかな動画像表示を行うことが考えられる。その際に、端末側の処理量や消費電力の増減を考慮する必要がある。
本発明は、無線接続により構成された3G−H.324Mによるテレビ電話システムにおいて、伝送情報量を端末間で最適に制御しながら、補間フレームの生成による滑らかな動画像表示を可能にすることを目的とする。
本発明は、無線接続により構成されたテレビ電話システムを構成する携帯端末装置であって、自局の処理能力に応じた最適な補間フレーム間隔を決定する手段と、復号画像データから前記補間フレーム間隔に応じた補間画像データを生成する手段とを具備するものである。上記構成によれば、自局の処理能力に応じた最適な補間フレーム間隔で復号画像データから補間画像データを生成することで、滑らかな動画像表示を可能にしながら、端末間の伝送情報量を抑制し、対局側の処理量を低減することができる。
さらに本発明において、前記補間フレーム間隔を決定する手段は、復号画像データの受信フレームレートに基づき自局の処理能力に応じた最適な補間フレーム間隔を決定するものである。上記構成によれば、対局側が送信フレームレートを低くして伝送情報量を抑制した場合にも、自局側が復号画像データの受信フレームレートに基づき自局の処理能力に応じた最適な補間フレーム間隔を決定して滑らかな動画像表示を行うことができる。
さらに本発明において、前記補間フレーム間隔を決定する手段は、ユーザが指定する補間フレーム間隔情報に基づき自局の処理能力に応じた最適な補間フレーム間隔を決定するものである。上記構成によれば、ユーザが指定する補間フレーム間隔情報に基づき自局の処理能力に応じた最適な補間フレーム間隔を決定するため、ユーザが動画像表示の品質を判断しながらテレビ電話システムを使用することができる。
さらに本発明において、自局に設定した受信フレームレート能力を対局へ通知する手段を具備するものである。上記構成によれば、対局側が通知された受信フレームレート能力に応じて端末間の伝送情報量を抑制し、対局側の処理量を低減することができる。
さらに本発明において、前記補間画像データを生成する手段の有無を対局へ通知する手段を具備するものである。上記構成によれば、対局側が通知された補間画像データを生成する手段の有無に応じて端末間の伝送情報量を抑制し、対局側の処理量を低減することができる。
さらに本発明において、前記補間画像データを生成する手段の活動状態を対局へ通知する手段を具備するものである。上記構成によれば、対局側が通知された補間画像データを生成する手段の有無とその活動状態に応じて端末間の伝送情報量を抑制し、対局側の処理量を低減することができる。
さらに本発明において、対局に送信フレームレート要求を通知する手段を具備するものである。上記構成によれば、対局側が通知された送信フレームレート要求に応じて端末間の伝送情報量を抑制し、対局側の処理量を低減することができる。
本発明によれば、端末の処理能力に応じた最適な補間フレーム間隔で復号画像データから補間画像データを生成することで、滑らかな動画像表示を可能にしながら、端末間の伝送情報量を抑制し、対局側の処理量を低減することができ、情報処理量や消費電力を端末間で最適化する効果が得られる。
図1は3G−H.324Mを使用したテレビ電話システムにおける本発明の一実施形態に係る携帯端末の構成を示すブロック図である。図1において、図13に示した従来の携帯端末の構成に付加されたものとして、1020は復号画像から指定されたフレームレートに基づき補間画像を生成する画像補間部、1021は復号画像と補間画像を格納する復号画像及び補間画像格納部、1080はテレビ電話動作中にテレビ電話の録画を行う場合に使用される録画データ格納部である。他の構成要素は図13に示した従来の構成と同様である。
図1の構成におけるデータ及び信号としては、1131は表示部1030に転送される復号画像データ及び補間画像データ、1151は復号時刻情報、1152はユーザから指定される補間フレーム間隔情報、1153は対局端末に要求する送信フレーム間隔情報、1154はユーザから指定される画像補間機能のON/OFF情報、1121はパラメータ判定部にて判定された補間フレーム生成数及び補間処理ON/OFF情報を含む画像補間制御情報、1142は従来のH.245制御情報に加えて送信要求フレーム間隔と補間手段有無情報と補間ON/OFF情報を含むH.245制御情報、1141は従来のH.245メッセージに加えて送信要求フレーム間隔と補間手段有無情報と補間ON/OFF情報を含むH.245メッセージ、1181及び1102は録画データである。他のデータ及び信号は図13に示した従来の構成と同様である。
図2は復号データ格納部1011に格納されている復号時刻情報と復号画像の管理情報を示す図であり、2000は復号時刻情報と復号画像データの対応表、2001は前回の復号時刻t+0、2011は時刻t+0の復号画像データ、2002は最新の復号時刻t+3、2012は時刻t+3の復号画像データを示す。
図3は復号画像及び補間画像格納部1021に格納されている復号時刻情報及び補間時刻情報と復号画像データ及び補間画像データの管理情報であり、3000は復号時刻及び補間時刻と復号画像データ及び補間画像データの対応表、3001及び3011と3004及び3014は図2の情報と同様の復号に関する情報、3002と3003は画像補間制御情報1121により通知されたフレームレートに基づき補間フレームを生成する補間時刻、3012は補間時刻t+1に対応する補間画像データ、3013は補間時刻t+2に対応する補間画像データを示す。
以上のように構成された3G−H.324Mによるテレビ電話システムの携帯端末において、滑らかな動画像の表示を行うための補間画像データを生成し、端末間で処理量を最適化する処理について、以下に様々な実施形態を説明する。
(実施形態1)
図4は、携帯端末が補間画像データを生成するために、パラメータ判定部1050にて補間処理に用いる補間フレーム間隔を復号時刻情報から決定する実施形態1の手順を示すフロー図である。対局端末から受信されたH.223多重化データがH.223制御部1000にて逆多重化されると、受信MPEG4/H.263動画像符号化データ1111がMPEG4/H.263復号部1010に入力される。
図4は、携帯端末が補間画像データを生成するために、パラメータ判定部1050にて補間処理に用いる補間フレーム間隔を復号時刻情報から決定する実施形態1の手順を示すフロー図である。対局端末から受信されたH.223多重化データがH.223制御部1000にて逆多重化されると、受信MPEG4/H.263動画像符号化データ1111がMPEG4/H.263復号部1010に入力される。
MPEG4/H.263復号部1010は、まず新復号時刻2002を前復号時刻格納変数2001に転送し、新復号画像データ2012を前復号画像データ2011に転送する。次に、受信MPEG4/H.263動画像符号化データ1111の復号を実行し、このときに取得される復号時刻情報を新復号時刻2002に、復号画像データを新復号画像データ2012に格納する。さらに、新復号時刻2002及び新復号画像データ2012を復号データ1120として画像補間部1020に転送する。
画像補間部1020では、復号データ1120が転送されると、新復号時刻3004を前復号時刻3001に、新復号画像データ3014を前復号画像データ3011に転送した後に、新たに転送された復号データ1120から復号時刻を新復号時刻3004に、復号画像データを新復号画像データ3014に格納する。
また、MPEG4/H.263復号部1010は、受信MPEG4/H.263動画像符号化データ1111の復号実行で取得した上記復号時刻情報を復号時刻情報1151としてパラメータ判定部1050に通知する。パラメータ判定部1050に復号時刻情報t1151が通知されると、前復号時刻判定4001にて前復号時刻格納変数aが初期値か否かを判定し、aが初期値の場合は前復号時刻格納処理4008にてaにtを入力し、補間フレーム間隔決定処理4009にて補間フレーム間隔格納変数fに初期値を入力する。
前復号時刻判定4001にて前復号時刻格納変数aが初期値でないと判定された場合は、新復号時刻格納処理4002にてbにtを入力し、復号時刻差算出処理4003にて前フレームとの復号時刻差cを算出し、最小復号時刻差判定4004にて復号時刻差cを最小復号時刻差mと比較する。復号時刻差cが最小復号時刻差mより大きい場合は、フレームレート決定処理4005にてフレームレート変数fにmの逆数を入力する。最小復号時刻差判定4004の比較結果で復号時刻差cが最小復号時刻差mより小さい場合は、フレームレート決定処理4006にてフレームレート変数fにcの逆数を入力し、最小復号時刻差更新処理4007にて最小復号時刻差mにcを入力する。
パラメータ判定部1050は、以上のようにして決定された補間フレーム間隔fを画像補間制御情報1121として画像補間部1020に通知する。画像補間制御情報1121が通知されると、画像補間部1020では、前復号時刻3001と新復号時刻3004と画像補間制御情報1121から補間時刻t+1及びt+2を算出し、それぞれ補間時刻3002及び3003に格納し、また、前復号画像データ3011と新復号画像データ3014を用いて補間時刻t+1の補間画像データPt+1と補間時刻t+1の補間画像データPt+2を算出し、それぞれ補間画像データ3012、3013に格納する。画像補間部1020にて補間処理が完了し、補間画像格納部1021に復号データ及び補間データが格納されると、復号画像データ及び補間画像データ1131として表示部1030に転送され、画像が表示される。
(実施形態2)
図5は、携帯端末が補間画像データを生成するために、パラメータ判定部1050にてユーザ指定による補間フレーム間隔から補間処理に用いる補間フレーム間隔を決定する実施形態2の手順を示すフロー図である。対局端末から受信されたH.223多重化データがH.223制御部1000にて逆多重化され、受信MPEG4/H.263動画像符号化データ1111がMPEG4/H.263復号部1010に入力されてから、画像補間部1020で新復号時刻3004及び新復号画像データ3014が格納されるまでの処理は実施形態1と同様である。
図5は、携帯端末が補間画像データを生成するために、パラメータ判定部1050にてユーザ指定による補間フレーム間隔から補間処理に用いる補間フレーム間隔を決定する実施形態2の手順を示すフロー図である。対局端末から受信されたH.223多重化データがH.223制御部1000にて逆多重化され、受信MPEG4/H.263動画像符号化データ1111がMPEG4/H.263復号部1010に入力されてから、画像補間部1020で新復号時刻3004及び新復号画像データ3014が格納されるまでの処理は実施形態1と同様である。
ユーザが受信端末に対して補間フレーム間隔を指定すると、ユーザ指定補間フレーム間隔情報1152としてパラメータ判定部1050に通知される。パラメータ判定部1050は、ユーザ指定の補間フレーム間隔fr1152が通知されると、補間フレーム間隔範囲判定5001にてユーザ指定の補間フレーム間隔frが指定可能な範囲か否かを判定し、frが指定可能な範囲の下限値minより小さい場合は、補間フレーム間隔決定処理5002にて補間フレーム間隔fにminを入力する。補間フレーム間隔範囲判定5001の判定結果でfrが指定可能な範囲の上限値maxより大きい場合は、補間フレーム間隔決定処理5004にて補間フレーム間隔fにmaxを入力する。補間フレーム間隔範囲判定5001の判定結果でfrが指定可能な範囲の場合は、補間フレーム間隔決定処理5003にて補間フレーム間隔fにユーザ指定補間フレーム間隔frを入力する。パラメータ判定部1050は、以上のようにして決定された補間フレーム間隔fを画像補間制御情報1121として画像補間部1020に通知する。
画像補間制御情報1121が画像補間部1020に通知された後、画像補間部1020が補間時刻t+1及びt+2を算出し、さらに補間処理により補間画像データPt+1と補間画像データPt+2を算出し、それらが復号画像データ及び補間画像データ1131として表示部1030に転送され、画像が表示されるまでの処理は実施形態1と同様である。
(実施形態3)
図6は、携帯端末が画像補間手段を使用することで、対局端末の動画像の送信フレーム間隔を制御し、対局端末の処理量を低減することを目的とする実施形態3の手順を示すフロー図である。ユーザが受信端末に対して補間フレーム間隔frを指定すると、ユーザ指定の補間フレーム間隔情報fr1152としてパラメータ判定部1050に通知される。補間フレーム間隔情報frが通知されてから、パラメータ判定部1050において補間フレーム間隔fを決定するまでの処理は実施形態2と同様である。
図6は、携帯端末が画像補間手段を使用することで、対局端末の動画像の送信フレーム間隔を制御し、対局端末の処理量を低減することを目的とする実施形態3の手順を示すフロー図である。ユーザが受信端末に対して補間フレーム間隔frを指定すると、ユーザ指定の補間フレーム間隔情報fr1152としてパラメータ判定部1050に通知される。補間フレーム間隔情報frが通知されてから、パラメータ判定部1050において補間フレーム間隔fを決定するまでの処理は実施形態2と同様である。
パラメータ判定部1050は、以上のようにして決定された補間フレーム間隔fを画像補間制御情報1121として画像補間部1020に通知する。さらに、パラメータ判定部1050は、自局受信フレームレート処理能力決定処理5005にてfb≦fとなるfbを決定し、自局受信フレームレート処理能力faにfbを入力する。パラメータ判定部1050は、こうして決定された自局受信フレームレート処理能力faをH.245関連パラメータ情報1142としてH.245制御部1040に通知する。
呼接続完了後、H.245制御部1040は、対局端末に送信する能力情報交換メッセージ(TerminalCapabilitySet)にH.245関連パラメータ情報1142にて通知された自局端末の受信フレームレート処理能力を設定し、H.245メッセージ1141としてH.223制御部1000に通知する。H.223制御部1000で多重化されたH.245メッセージは対局端末にて受信され、対局端末のH.223制御部にて逆多重化処理が行われ、H.245メッセージ1141としてH.245制御部1040に通知される。H.245制御部1040にて能力情報交換メッセージ(TerminalCapabilitySet)の解析が行われ、対局端末の受信フレームレート処理能力を含めた設定パラメータがH.245関連パラメータ情報1142としてパラメータ判定部1050に通知される。パラメータ判定部1050は、これを符号化関連パラメータ1161としてMPEG4/H.263符号化部1060に通知する。
MPEG4/H.263符号化部1060は、符号化関連パラメータ1161として通知された対局端末の受信フレームレート処理能力を最大フレームレートとして、撮像部1070から転送される撮像データ1171をMPEG4/H.263符号化部1060にて符号化し、送信MPEG4/H.263符号化データ1101としてH.223制御部1000に転送する。この符号化データがH.223制御部1000にて多重化され、対局端末に送信される。対局端末から受信されたH.223多重化データがH.223制御部1000にて逆多重化され、受信MPEG4/H.263動画像符号化データ1111がMPEG4/H.263復号部1010に入力されてから、画像補間部1020で新復号時刻3004及び新復号画像データ3014が格納されるまでの処理は実施形態1と同様である。また、画像補間制御情報1121が画像補間部1020に通知された後、画像補間部1020が補間時刻t+1及びt+2を算出し、さらに補間処理により補間画像データPt+1と補間画像データPt+2を算出し、それらが復号画像データ及び補間画像データ1131として表示部1030に転送され、画像が表示されるまでの処理も実施形態1と同様である。
(実施形態4)
図7は、自局端末が画像補間手段を具備することを対局端末に通知することで、対局端末が動画像の送信フレーム間隔を制御し、対局端末の処理量を低減することを目的とする実施形態4の手順を示すフロー図である。ユーザが受信端末に対して補間フレーム間隔frを指定すると、ユーザ指定の補間フレーム間隔情報fr1152としてパラメータ判定部1050に通知される。補間フレーム間隔情報frが通知されてから、パラメータ判定部1050において補間フレーム間隔fを決定するまでの処理は実施形態2と同様である。
図7は、自局端末が画像補間手段を具備することを対局端末に通知することで、対局端末が動画像の送信フレーム間隔を制御し、対局端末の処理量を低減することを目的とする実施形態4の手順を示すフロー図である。ユーザが受信端末に対して補間フレーム間隔frを指定すると、ユーザ指定の補間フレーム間隔情報fr1152としてパラメータ判定部1050に通知される。補間フレーム間隔情報frが通知されてから、パラメータ判定部1050において補間フレーム間隔fを決定するまでの処理は実施形態2と同様である。
パラメータ判定部1050は、以上のようにして決定された補間フレーム間隔fを画像補間制御情報1121として画像補間部1020に通知する。さらにパラメータ判定部1050は、補間手段具備情報設定処理5006にて画像補間手段具備情報eに具備情報を入力し、設定された画像補間手段具備情報eをH.245関連パラメータ情報1142としてH.245制御部1040に通知する。
呼接続完了後、H.245制御部1040は、対局端末に送信する能力情報交換メッセージ(TerminalCapabilitySet)にH.245関連パラメータ情報1142にて通知された自局端末の画像補間手段具備情報を設定し、H.245メッセージ1141としてH.223制御部1000に通知する。H.223制御部1000で多重化されたH.245メッセージは対局端末にて受信され、対局端末のH.223制御部にて逆多重化処理が行われ、H.245メッセージ1141としてH.245制御部1040に通知される。H.245制御部1040にて能力情報交換メッセージ(TerminalCapabilitySet)の解析が行われ、対局端末の受信フレームレート処理能力及び画像補間手段具備情報を含めた設定パラメータがH.245関連パラメータ情報1142としてパラメータ判定部1050に通知される。パラメータ判定部1050は、対局端末の画像補間手段具備情報により、対局端末の受信フレームレート処理能力の変更を行う。
図8はパラメータ判定部1050にて対局端末の受信フレームレート処理能力の変更を行う処理のフロー図である。図8において、対局端末の受信フレームレート処理能力fo及び対局端末の画像補間手段具備情報eoが通知されると、補間手段具備情報判定5101にて対局端末の画像補間手段具備情報eoを判定する。eoが「具備」の場合は受信フレームレート処理能力変更設定5102にてfa≦foとなるfaを決定し、受信フレームレート処理能力fにfaを入力し、eoが「不具備」の場合は受信フレームレート処理能力設定5103にて受信フレームレート処理能力fにfoを入力する。
パラメータ判定部1050は、以上のようにして決定された受信フレームレート処理能力fを符号化関連パラメータ1161に含めてMPEG4/H.263符号化部1060に通知する。符号化関連パラメータ1161が通知されると、MPEG4/H.263符号化部1060は、通知された対局端末の受信フレームレート処理能力fを最大フレームレートとして、撮像部1070から通知される撮像データ1171を符号化し、送信MPEG4/H.263符号化データ1101としてH.223制御部1000に転送する。この符号化データがH.223制御部1000にて多重化され、対局端末に送信される。
対局端末から受信されたH.223多重化データがH.223制御部1000にて逆多重化され、受信MPEG4/H.263動画像符号化データ1111がMPEG4/H.263復号部1010に入力されてから、画像補間部1020で新復号時刻3004及び新復号画像データ3014が格納されるまでの処理は実施形態1と同様である。また、画像補間制御情報1121が画像補間部1020に通知された後、画像補間部1020が補間時刻t+1及びt+2を算出し、さらに補間処理により補間画像データPt+1と補間画像データPt+2を算出し、それらが復号画像データ及び補間画像データ1131として表示部1030に転送され、画像が表示されるまでの処理も実施形態1と同様である。
(実施形態5)
図9は、自局端末が画像補間手段を具備し、画像補間手段の状態(ON/OFF)を対局端末に通知することで、対局端末が動画像の送信フレーム間隔を制御し、対局端末の処理量を低減することを目的とする実施形態5の手順を示すフロー図である。ユーザが受信端末に対して補間フレーム間隔fr及び画像補間手段の状態s(ON/OFF)を指定すると、ユーザ指定の補間フレーム間隔情報fr1152及び補間手段状態情報s1154としてパラメータ判定部1050に通知される。補間フレーム間隔情報fr及び補間手段状態情報sが通知された後、パラメータ判定部1050において補間フレーム間隔fを決定するまでの処理は実施形態2と同様である。
図9は、自局端末が画像補間手段を具備し、画像補間手段の状態(ON/OFF)を対局端末に通知することで、対局端末が動画像の送信フレーム間隔を制御し、対局端末の処理量を低減することを目的とする実施形態5の手順を示すフロー図である。ユーザが受信端末に対して補間フレーム間隔fr及び画像補間手段の状態s(ON/OFF)を指定すると、ユーザ指定の補間フレーム間隔情報fr1152及び補間手段状態情報s1154としてパラメータ判定部1050に通知される。補間フレーム間隔情報fr及び補間手段状態情報sが通知された後、パラメータ判定部1050において補間フレーム間隔fを決定するまでの処理は実施形態2と同様である。
さらにパラメータ判定部1050は、補間手段具備情報設定処理5006にて画像補間手段具備情報eに具備情報を入力し、補間手段具備情報判定5007にて画像補間手段具備情報eを判定し、eが「具備」の場合には補間手段状態設定5008にて補間手段状態情報stに補間手段状態情報sを入力する。パラメータ判定部1050は、以上のようにして決定された補間フレーム間隔f及び設定された補間手段状態情報stを画像補間制御情報1121として画像補間部1020に通知する。さらにパラメータ判定部1050は、画像補間手段具備情報e及び補間手段状態情報stをH.245関連パラメータ情報1142としてH.245制御部1040に通知する。
呼接続完了後、H.245制御部1040は、対局端末に送信する能力情報交換メッセージ(TerminalCapabilitySet)にH.245関連パラメータ情報1142にて通知された自局端末の画像補間手段具備情報及び補間手段状態情報を設定し、H.245メッセージ1141としてH.223制御部1000に通知する。H.223制御部1000で多重化されたH.245メッセージは対局端末にて受信され、対局端末のH.223制御部にて逆多重化処理が行われ、H.245メッセージ1141としてH.245制御部1040に通知される。H.245制御部1040にて能力情報交換メッセージ(TerminalCapabilitySet)の解析が行われ、対局端末の受信フレームレート処理能力及び画像補間手段具備情報及び補間手段状態情報を含めた設定パラメータがH.245関連パラメータ情報1142としてパラメータ判定部1050に通知される。パラメータ判定部1050は、対局端末の画像補間手段具備情報及び補間手段状態情報により、対局端末の受信フレームレート処理能力の変更を行う。
図10はパラメータ判定部1050にて対局端末の受信フレームレート処理能力の変更を行う処理のフロー図である。図10において、対局端末の受信フレームレート処理能力fo及び対局端末の画像補間手段具備情報eo及び対局端末の画像補間手段状態情報stoが通知されると、補間手段具備情報判定5101にて対局端末の画像補間手段具備情報eoを判定する。eoが「具備」の場合は補間手段状態情報判定5104にて対局端末の画像補間手段情報stoを判定する。stoが「ON」の場合は受信フレームレート処理能力変更設定5102にてfa≦foとなるfaを決定し、受信フレームレート処理能力fにfaを入力し、eoが「不具備」の場合あるいはstoが「OFF」の場合は受信フレームレート処理能力設定5103にて受信フレームレート処理能力fにfoを入力する。
パラメータ判定部1050は、以上のようにして決定された受信フレームレート処理能力fを符号化関連パラメータ1161に含めてMPEG4/H.263符号化部1060に通知する。符号化関連パラメータ1161が通知されると、MPEG4/H.263符号化部1060は、通知された対局端末の受信フレームレート処理能力fを最大フレームレートとして、撮像部1070から通知される撮像データ1171を符号化し、送信MPEG4/H.263符号化データ1101としてH.223制御部1000に転送する。この符号化データがH.223制御部1000にて多重化され、対局端末に送信される。対局端末から受信されたH.223多重化データがH.223制御部1000にて逆多重化され、受信MPEG4/H.263動画像符号化データ1111がMPEG4/H.263復号部1010に入力されてから、画像補間部1020で新復号時刻3004及び新復号画像データ3014が格納されるまでの処理は実施形態1と同様である。また、画像補間制御情報1121が画像補間部1020に通知された後、画像補間部1020が補間時刻t+1及びt+2を算出し、さらに補間処理により補間画像データPt+1と補間画像データPt+2を算出し、それらが復号画像データ及び補間画像データ1131として表示部1030に転送され、画像が表示されるまでの処理も実施形態1と同様である。
(実施形態6)
図11は、自局端末が画像補間手段を具備し、テレビ電話動作中にテレビ電話の録画を行う場合に、対局端末の動画像の送信フレーム間隔を制御し、対局端末の処理量を低減させることを目的とする実施形態6の手順を示すフロー図である。テレビ電話動作中にユーザが補間フレーム間隔fr及び対局端末に要求するfrより小さい値の要求送信フレーム間隔fd及び画像補間手段の状態s(ON/OFF)を指定すると、ユーザ指定の補間フレーム間隔情報fr1152及び要求送信フレーム間隔情報fd1153及び補間手段状態情報sとしてパラメータ判定部1050に通知される。補間フレーム間隔情報fr及び要求送信フレーム間隔情報fd及び補間手段状態情報sが通知された後、パラメータ判定部1050において補間フレーム間隔fを決定するまでの処理は実施形態2と同様である。
図11は、自局端末が画像補間手段を具備し、テレビ電話動作中にテレビ電話の録画を行う場合に、対局端末の動画像の送信フレーム間隔を制御し、対局端末の処理量を低減させることを目的とする実施形態6の手順を示すフロー図である。テレビ電話動作中にユーザが補間フレーム間隔fr及び対局端末に要求するfrより小さい値の要求送信フレーム間隔fd及び画像補間手段の状態s(ON/OFF)を指定すると、ユーザ指定の補間フレーム間隔情報fr1152及び要求送信フレーム間隔情報fd1153及び補間手段状態情報sとしてパラメータ判定部1050に通知される。補間フレーム間隔情報fr及び要求送信フレーム間隔情報fd及び補間手段状態情報sが通知された後、パラメータ判定部1050において補間フレーム間隔fを決定するまでの処理は実施形態2と同様である。
さらに、パラメータ判定部1050では、補間手段具備情報設定処理5006にて画像補間手段具備情報eに具備情報を入力し、補間手段具備情報判定5007にて画像補間手段具備情報eを判定し、eが「具備」の場合には補間手段状態判定5009にて補間手段状態情報sを判定し、sが「ON」の場合には補間手段状態設定5008にて補間手段状態情報stに補間手段状態情報sを入力する。次に、要求送信フレーム間隔範囲判定5010にて要求送信フレーム間隔fdが要求可能な範囲か否かを判定する。fdが指定可能な範囲の下限値fqminより小さい場合は要求送信フレーム間隔決定処理5011にて要求送信フレーム間隔fqにfqminを入力し、fdが指定可能な範囲の上限値fqmaxより大きい場合は要求送信フレーム間隔決定処理5013にて要求送信フレーム間隔fqにfqmaxを入力し、fdが指定可能な範囲の場合は要求送信フレーム間隔決定処理5012にて要求送信フレーム間隔fqにユーザ指定の要求送信フレーム間隔fdを入力しする。
パラメータ判定部1050は、以上のようにして決定された補間フレーム間隔f及び設定された補間手段状態情報stを画像補間制御情報1121として画像補間部1020に通知する。さらにパラメータ判定部1050は、要求送信フレーム間隔fqをH.245関連パラメータ情報1142としてH.245制御部1040に通知する。呼接続完了後、H.245制御部1040は、対局端末に送信するモード要求メッセージ(RequestMode)にH.245関連パラメータ情報1142にて通知された要求送信フレーム間隔情報を設定し、H.245メッセージ1141としてH.223制御部1000に通知する。H.223制御部1000で多重化されたH.245メッセージは対局端末にて受信され、対局端末のH.223制御部にて逆多重化処理が行われ、H.245メッセージ1141としてH.245制御部1040に通知される。H.245制御部1040にてモード要求メッセージ(RequestMode)の解析が行われ、要求送信フレームレートを含めた設定パラメータがH.245関連パラメータ情報1142としてパラメータ判定部1050に通知される。パラメータ判定部1050は、それを符号化関連パラメータ1161に含めてMPEG4/H.263符号化部1060に通知する。
符号化関連パラメータ1161が通知されると、MPEG4/H.263符号化部1060は、通知された要求送信フレームレートを最大フレームレートとして、撮像部1070から通知される撮像データ1171を符号化し、送信MPEG4/H.263符号化データ1101としてH.223制御部1000に転送する。この符号化データがH.223制御部1000にて多重化され、対局端末に送信される。対局端末から受信されたH.223多重化データがH.223制御部1000にて逆多重化され、受信MPEG4/H.263動画像符号化データ1111がMPEG4/H.263復号部1010に入力されてから、画像補間部1020で新復号時刻3004及び新復号画像データ3014が格納されるまでの処理は実施形態1と同様である。
また、画像補間制御情報1121が画像補間部1020に通知された後、画像補間部1020が補間時刻t+1及びt+2を算出し、さらに補間処理により補間画像データPt+1と補間画像データPt+2を算出し、それらが復号画像データ及び補間画像データ1131として表示部1030に転送され、画像が表示されるまでの処理も実施形態1と同様である。また、テレビ電話動作中のテレビ電話の録画を行うときは、H.223制御部1000にて受信された対局端末からのH.223多重化データがそのまま録画データ1181としてH.223多重化テーブルとともに録画データ格納部1080に格納される。
図12は、録画データ格納部1080に録画されたテレビ電話の再生を行う際に、パラメータ判定部1050にてユーザ指定による補間フレーム間隔から補間処理に用いる補間フレーム間隔を決定するフロー図である。ユーザが補間フレーム間隔fr及び画像補間手段の状態s(ON/OFF)を指定すると、ユーザ指定の補間フレーム間隔情報fr1152及び補間手段状態情報s1154としてパラメータ判定部1050に通知される。補間フレーム間隔情報fr及び補間手段状態情報sが通知された後、パラメータ判定部1050において補間フレーム間隔fを決定するまでの処理は実施形態2と同様である。
さらにパラメータ判定部1050は、補間手段状態設定5008にて補間手段状態情報stに補間手段状態情報sを入力する。パラメータ判定部1050は、以上のようにして決定された補間フレーム間隔f及び設定された補間手段状態情報stを画像補間制御情報1121として画像補間部1020に通知する。録画されたテレビ電話の再生が開始されると、録画データ格納部1080からH.223制御部1000に録画データ1102と多重化テーブルが転送される。録画データ1102がH.223制御部1000にて逆多重化され、受信MPEG4/H.263動画像符号化データ1111がMPEG4/H.263復号部1010に入力されてから、画像補間部1020で新復号時刻3004及び新復号画像データ3014が格納されるまでの処理は実施形態1と同様である。また、画像補間制御情報1121が画像補間部1020に通知された後、画像補間部1020が補間時刻t+1及びt+2を算出し、さらに補間処理により補間画像データPt+1と補間画像データPt+2を算出し、それらが復号画像データ及び補間画像データ1131として表示部1030に転送され、画像が表示されるまでの処理も実施形態1と同様である。
本発明の携帯端末装置は、端末の処理能力に応じた最適な補間フレーム間隔で復号画像データから補間画像データを生成することで、滑らかな動画像表示を可能にしながら、端末間の伝送情報量を抑制し、対局側の処理量を低減することができ、情報処理量や消費電力を端末間で最適化する効果を有し、伝送情報量を端末間で最適に制御しながら補間フレームの生成により滑らかな動画像表示を可能にする携帯端末装置等として有用である。
1000 H.223制御部
1010 MPEG4/H.263復号部
1011 復号データ格納部
1020 画像補間部
1021 復号画像及び補間画像格納部
1030 表示部
1040 H.245制御部
1050 パラメータ判定部
1060 MPEG4/H.263符号化部
1070 撮像部
1080 録画データ格納部
1101 送信MPEG4/H.263符号化データ
1102 録画データ
1111 受信MPEG4/H.263動画像符号化データ
1112 復号関連パラメータ
1120 復号データ
1121 画像補間制御情報
1131 復号画像データ及び補間画像データ
1141 H.245メッセージ
1142 H.245制御情報
1151 復号時刻情報
1152 ユーザから指定される補間フレーム間隔情報
1153 対局端末に要求する送信フレーム間隔情報
1154 画像補間機能のON/OFF情報
1161 符号化関連パラメータ
1171 撮像データ
1181 録画データ
1010 MPEG4/H.263復号部
1011 復号データ格納部
1020 画像補間部
1021 復号画像及び補間画像格納部
1030 表示部
1040 H.245制御部
1050 パラメータ判定部
1060 MPEG4/H.263符号化部
1070 撮像部
1080 録画データ格納部
1101 送信MPEG4/H.263符号化データ
1102 録画データ
1111 受信MPEG4/H.263動画像符号化データ
1112 復号関連パラメータ
1120 復号データ
1121 画像補間制御情報
1131 復号画像データ及び補間画像データ
1141 H.245メッセージ
1142 H.245制御情報
1151 復号時刻情報
1152 ユーザから指定される補間フレーム間隔情報
1153 対局端末に要求する送信フレーム間隔情報
1154 画像補間機能のON/OFF情報
1161 符号化関連パラメータ
1171 撮像データ
1181 録画データ
Claims (7)
- 無線接続により構成されたテレビ電話システムを構成する携帯端末装置であって、自局の処理能力に応じた最適な補間フレーム間隔を決定する手段と、復号画像データから前記補間フレーム間隔に応じた補間画像データを生成する手段とを備える携帯端末装置。
- 前記補間フレーム間隔を決定する手段は、復号画像データの受信フレームレートに基づき自局の処理能力に応じた最適な補間フレーム間隔を決定する請求項1記載の携帯端末装置。
- 前記補間フレーム間隔を決定する手段は、ユーザが指定する補間フレーム間隔情報に基づき自局の処理能力に応じた最適な補間フレーム間隔を決定する請求項1記載の携帯端末装置。
- 自局に設定した受信フレームレート能力を対局へ通知する手段を備える請求項1記載の携帯端末装置。
- 前記補間画像データを生成する手段の有無を対局へ通知する手段を備える請求項1記載の携帯端末装置。
- 前記補間画像データを生成する手段の活動状態を対局へ通知する手段を備える請求項5記載の携帯端末装置。
- 対局に送信フレームレート要求を通知する手段を備える請求項1記載の携帯端末装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006048922A JP2007228412A (ja) | 2006-02-24 | 2006-02-24 | 携帯端末装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006048922A JP2007228412A (ja) | 2006-02-24 | 2006-02-24 | 携帯端末装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007228412A true JP2007228412A (ja) | 2007-09-06 |
Family
ID=38549749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006048922A Withdrawn JP2007228412A (ja) | 2006-02-24 | 2006-02-24 | 携帯端末装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007228412A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009138969A1 (en) * | 2008-05-16 | 2009-11-19 | Nxp B.V. | Video telephony |
JP5664241B2 (ja) * | 2008-08-28 | 2015-02-04 | 住友電気工業株式会社 | 動画像データの配信方法 |
-
2006
- 2006-02-24 JP JP2006048922A patent/JP2007228412A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009138969A1 (en) * | 2008-05-16 | 2009-11-19 | Nxp B.V. | Video telephony |
JP5664241B2 (ja) * | 2008-08-28 | 2015-02-04 | 住友電気工業株式会社 | 動画像データの配信方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101234146B1 (ko) | 디지털 비디오의 적응적 동기 복호화를 위한 방법, 장치 및 컴퓨터 프로그램 제품 | |
US7817557B2 (en) | Method and system for buffering audio/video data | |
US7940653B2 (en) | Audiovisual data transport protocol | |
US8259790B2 (en) | Method for the frame-rate conversion of a video sequence of digital images, related apparatus and computer program product | |
JP4994646B2 (ja) | 通信端末および通信システム、並びに通信端末の表示方法 | |
US20140104493A1 (en) | Proactive video frame dropping for hardware and network variance | |
JP5026167B2 (ja) | ストリーム伝送サーバおよびストリーム伝送システム | |
JP2007089188A (ja) | テレビ電話機能を備えた移動通信端末機及び移動通信端末機のテレビ電話制御方法 | |
KR20090124993A (ko) | 송신 장치, 송신 방법 및 수신 장치 | |
WO2007080788A1 (ja) | Tv会議制御装置およびtv会議制御方法 | |
EP1494481B1 (en) | Motion picture receiving device, motion picture transmitting device, and program | |
JP2002058002A (ja) | テレビ電話装置 | |
JP2012151555A (ja) | テレビ会議システム、テレビ会議中継装置、テレビ会議中継方法および中継プログラム | |
US20110063504A1 (en) | Audio and video communications apparatus and communications method thereof | |
JP2008079228A (ja) | 動画像・音声再生携帯端末、及び、動画像・音声配信端末、及び、システム | |
JP2007228412A (ja) | 携帯端末装置 | |
JP4496755B2 (ja) | 通信処理装置、および通信処理方法、並びにコンピュータ・プログラム | |
JP5471328B2 (ja) | 動画像再生装置及び動画像再生方法並びにプログラム | |
JP4884922B2 (ja) | 通信装置および通信方法 | |
JP2006229726A (ja) | Ip電話機能に基づく呼接続中に映像コンテンツデータを再生する方法、端末及びプログラム | |
JP2009135769A (ja) | 画像処理装置 | |
JP3913726B2 (ja) | 多地点テレビ会議制御装置及び多地点テレビ会議システム | |
JP2008113225A (ja) | 通信装置および通信方法 | |
JP2008042386A (ja) | 通信端末装置 | |
US20090303309A1 (en) | Mobile terminal and method for transmitting video data in video telephony system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071113 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071120 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090512 |