JP5025225B2 - 通信装置、通信装置の制御方法および制御プログラム - Google Patents
通信装置、通信装置の制御方法および制御プログラム Download PDFInfo
- Publication number
- JP5025225B2 JP5025225B2 JP2006296884A JP2006296884A JP5025225B2 JP 5025225 B2 JP5025225 B2 JP 5025225B2 JP 2006296884 A JP2006296884 A JP 2006296884A JP 2006296884 A JP2006296884 A JP 2006296884A JP 5025225 B2 JP5025225 B2 JP 5025225B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- communication
- decoding
- data
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 title claims description 168
- 238000000034 method Methods 0.000 title claims description 135
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 113
- 238000013139 quantization Methods 0.000 claims description 35
- 230000006835 compression Effects 0.000 claims description 32
- 238000007906 compression Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000011664 signaling Effects 0.000 description 24
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- DFUSDJMZWQVQSF-XLGIIRLISA-N (2r)-2-methyl-2-[(4r,8r)-4,8,12-trimethyltridecyl]-3,4-dihydrochromen-6-ol Chemical compound OC1=CC=C2O[C@@](CCC[C@H](C)CCC[C@H](C)CCCC(C)C)(C)CCC2=C1 DFUSDJMZWQVQSF-XLGIIRLISA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
- H04L65/1104—Session initiation protocol [SIP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
て表示可能な通信装置、その制御方法および制御プログラムに関する。
ークコンピューティング技術が研究開発されている(例えば、非特許文献1を参照)。
末(例えば、PCなど)に記憶しておき、必要に応じて、それらのアプリケーションプロ
グラムを起動して利用していた。これに対して、ネットワークコンピューティングでは、
例えば、ネットワーク上に存在するサーバ装置から、利用しようとするアプリケーション
プログラムを必要に応じてダウンロードし、利用することを実現している。このようなネ
ットワークコンピューティング・システムを利用すれば、ユーザ側の計算機端末に必要と
される機能を制限することによって機器を小型化することも可能である。
まざまなデジタルデバイスが無線通信を介してネットワークに接続可能になっている。こ
のような無線通信を介したネットワークサービスの利用の傾向は、今後も、さまざまな場
面で高まっていくと考えられる。
めには、非常に小型でありながら、従来のモバイルコンピュータのような高度な機能を利
用した、さまざまなサービスに対応することが可能な通信端末を実現することが非常に重
要な課題となる。
Tristan Richardson, Quentin Stafford−Fraser, Kenneth R. Wood, and Andy Hopper,"Virtual Network Computing", IEEE Internet Computing, Vol.2, No.1, January/February 1998.
、ユーザ側の端末側には、ダウンロードして利用するアプリケーションプログラムを動作
させるための計算能力が必要となり、これがユーザ側の端末の小型軽量化への障害のひと
つとなっている。
で動作するアプリケーションプログラムの高度なグラフィック機能などを十分に活用する
ことができない。
のようなコンピュータで動作するアプリケーションプログラムの利用、ビデオ画像を用い
た通信、動画像を含むコンテンツデータの視聴という多様なサービスが利用でき、極めて
小型軽量化することが可能な通信装置、通信装置の制御方法、および、通信装置の制御プ
ログラムを提供することを目的とする。
利用、ビデオ画像を用いた通信、動画像を含むコンテンツデータの視聴という多様なサー
ビスが利用でき、極めて小型軽量な通信装置を実現することが可能となる。
呼ぶ)を示すブロック図である。また、図2は、本発明の実施形態に係わるディスプレイ
端末100を含むネットワークシステムの構成図である。
Wireless Local Area Network:無線LAN)アクセスポイ
ント200を介して、ネットワーク800に接続されている。
無線LANのように、無線でIP(Internet Protocol)通信する際に
使用できる無線通信方式のアクセスポイント装置である。
2.11などの規格にしたがった接続手順を経て、互いに通信できる状態であるものとす
る。これにより、ディスプレイ端末100は、ネットワーク800に接続されたPCサー
バ300、コンテンツサーバ400、SIP(Session Initiation
Protocol)サーバ500、ビデオ通信端末600などと通信が可能になる。また
、同様に、ディスプレイ端末100は、WLANアクセスポイント200を介して、他の
ディスプレイ端末700などともIP通信が可能である。
PCサーバ300で動作するオペレーティングシステムやデスクトップ環境ソフトウェア
、アプリケーションプログラムが生成するグラフィックデスクトップ画面の画像データ(
アプリケーション画面データ)をディスプレイ端末100に送信する。
画面共有技術などにしたがって、PCサーバ300で生成されるグラフィックデスクトッ
プ画面が更新されるごとに、逐次、ディスプレイ端末100に画像データの送信を行う。
あらかじめ定められた画像圧縮形式(JPEG)を用いて画像データを圧縮、符号化して
送信する。
る画像データを表示し、表示された画像データに対してユーザからの制御入力があった場
合には、その制御入力データを、PCサーバ300に対して送信する。PCサーバ300
は、送信された制御入力データにしたがってアプリケーションプログラムなどを動作させ
、グラフィックデスクトップ画面を更新し、新たな画像データをディスプレイ端末100
に送信する。
ンプログラムなどを制御できるようにすることよって、ディスプレイ端末100にはアプ
リケーションプログラムなどを動作させる計算能力が不要となる。
って、ネットワーク上のほかの端末装置からの要求に応じて、蓄積しているコンテンツデ
ータを、その端末装置に送信して提供する。コンテンツデータの送信は、例えば、DLN
A(Digital Living Network Alliance)の規格におい
て規定されているビデオ画像のストリーム転送、表示手順にしたがって行われる。なお、
コンテンツデータは、例えば、映画やTV番組などのほか、一般のユーザが個人的に録画
をした映像などをコンテンツサーバ400にアップロードしたものであってもよい。
同様に、コンテンツサーバ400とディスプレイ端末100との間であらかじめ定められ
た画像圧縮形式(MPEG2)を用いて画像データを圧縮、符号化して送信する。
テンツデータの送信は、上述したDLNAの規格にしたがって行われるものとして説明を
行うが、コンテンツデータの送信手順は、上述したDLNAの規格にしたがう場合に限定
されるものではなく、他に、例えば、RTSP(Real Time Streamin
g Protocol)などのような規格にしたがってコンテンツデータの送信を行うよ
うにすることも可能である。
オ通信を行う端末である。ここでビデオ通信とは、ネットワークを介して接続された通信
端末間で映像データ(ビデオ画像データ)や音声データを送受信して、話者の映像などを
見ながらリアルタイムに会話などを行うことが可能な通信をいう。
C3261に規定された方法にしたがって行われる。
0にINVITEリクエストを送信する。INVITEリクエストを受信したビデオ通信
端末600が、リクエストに応じてレスポンスを返信することにより、ディスプレイ端末
100とビデオ通信装置600との間の通信が確立する。このとき、ディスプレイ端末1
00とビデオ通信端末600との間で、通信に用いるための通信方式や、データ送受信の
ための圧縮形式などについて取り決めが行われる。なお、ここではディスプレイ端末10
0とビデオ通信端末600との間で送受信される画像データは、あらかじめ定めた圧縮形
式(MPEG4)で圧縮、符号化されているものとする。
の確立は、SIPに規定された手順にしたがって、SIPサーバ500を介して行われる
ものとして説明するが、通信確立のための手順はSIPによるものに限定する必要はない
。例えば、ほかの通信機器、サービス発見手順であるUPnP(Universal P
lug and Play)にしたがうものであってもよい。あるいはまた、用途に応じ
てこれらの通信手順を使い分けることができるようにしてもよい。
00、コンテンツサーバ400、ビデオ通信端末600と接続が可能であり、それらのサ
ーバ、通信端末と通信を行うことにより、PCサーバ300上で動作するアプリケーショ
ンプログラムなどの利用、コンテンツサーバ400に蓄積されたコンテンツデータの視聴
、ビデオ通信端末600とのビデオ通信というサービスを利用することが可能となる。
との間で利用できるサービスを、それぞれ「PC操作」「ビデオ視聴」「ビデオ通信」と
呼ぶ。
バ400、ビデオ通信端末600との間で送受信される画像データは、それぞれ、JPE
G、MPEG4、MPEG2で圧縮されている。これらの圧縮形式は、いずれも2次元の
画像データを空間周波数領域へ変換する直交変換処理であるDCT(Discrete
Cosine Transform)を行ったのちに、量子化処理を実施する圧縮形式で
ある。そのため、これらの方式を用いて圧縮された画像データのデコードにおいて、計算
リソースを必要とし、回路規模が大きくなる逆量子化処理と逆DCT処理を、画像データ
の圧縮形式によらず、それぞれ同じ処理回路を用いて実現可能となる。したがって、この
ように各サービスで送受信されるデータの圧縮形式をDCTおよび量子化処理を行なう方
式に統一し、デコード時の逆量子化処理と逆DCT処理を、それぞれ単一の処理回路にて
実現することで、デコードに必要となる回路規模を小さくすることができ、ディスプレイ
端末100の小型化を実現することが可能となる。
て説明する。
りデータを送受信するための通信インタフェースである通信部102と、通信部102を
介して他の通信端末との間の通信を確立するためのシグナリング部103と、通信部10
2を介して他の通信端末から送信された画像データを復号化(デコード)して、表示部1
01に表示するための表示用画像データを生成するメディア処理部104と、通信部10
2で受信した画像データの圧縮形式に対応して、メディア処理部104におけるデコード
の形式を切替えるメディア制御部105とを備えている。
り、通信部102を介して他の通信端末から送信されてきた音声データなどを出力したり
するためのユーザインタフェース部106を備えている。
ディアデータや、通信部102で受信する音声データや画像データなどのメディアデータ
は、メディア制御部105に入力される。メディア制御部105は、これらのメディアデ
ータの解析を行い、適切な機能ブロック(メディア処理部104、デジタイザ106a、
スピーカ106b、マイク106c、カメラ106dなど)に送る。
パケット化し、通信部102を介してネットワーク800上のほかの通信端末、サーバ装
置に送信する。一方、通信部102を介してほかの通信端末、サーバ装置からメディアデ
ータを受信した場合には、そのメディアデータの解析を行い、音声データについてはスピ
ーカ106bに送り、圧縮画像データについては、メディア処理部104に送る。
画像データの圧縮形式にしたがってデコードして表示用の画像データを生成する。このと
き、メディア処理部104は、メディア制御部105からの制御により、画像データの圧
縮形式にしたがってデコードの方式が切り替えられる。このメディア制御部105による
デコードの方式の切り替え、および、メディア処理部104の動作の詳細については、後
述する。
れ表示される。
モニタ111に表示された表示画像を視聴することで、ネットワーク上の他のサーバ装置
から送信されるコンテンツデータなどを視聴することができる。
バイス112が備えられている。このペンデバイス112は、おもにディスプレイ端末1
00においてPCサーバ300との画面共有を行っているときに用いられる。ペンデバイ
ス112により入力されたデータは、デジタイザ106aによりデータ化され、メディア
制御部105でパケット化されたのち、通信部102を介して、ネットワーク800上の
PCサーバ300へ送信される。
び、ビデオ通信端末600のそれぞれと通信を行う場合のディスプレイ端末100の動作
の詳細について、メディア処理部104、メディア制御部105の動作を中心にして説明
する。
説明する。すなわち、ディスプレイ端末100のユーザが、コンテンツサーバ400に蓄
積されているコンテンツデータを受信して視聴(「ビデオ視聴」)する場合である。
ツサーバ400を発見し、コンテンツサーバ400に蓄積されているビデオコンテンツの
リストを取得する。取得されたビデオコンテンツのリストは、表示部101でユーザに提
示される。ユーザは、提示されたビデオコンテンツのリストの中から、視聴したいコンテ
ンツを(ペン入力などのデバイスを用いて)選択する。選択されたビデオコンテンツの情
報は、シグナリング部103から通信部102を介してコンテンツサーバ400へ送信さ
れる。またシグナリング部103は、コンテンツの視聴開始を示すメッセージをメディア
制御部105へ通知する。このような手順を経て、ユーザが選択したコンテンツデータを
視聴できる状態となる。
ンテンツの決定まで手順は、UPnP−AVシグナリングに規定された手順(例えば、h
ttp://www.upnp.org/standardizeddcps/medi
aserver.aspに記載の仕様を参照)にしたがって行うものとする。図4は、シ
グナリング部103がUPnP−AVシグナリング手順にしたがってコンテンツサーバ4
00と通信を行い、コンテンツの視聴を行う際の通信シーケンスについて示した図である
。
すメッセージには、図5に示すように、利用されるサービスの種類(「ビデオ視聴」)、
メディアストリームの種類(「MPEG2−PS(プログラムストリーム)」)、コンテ
ンツのURI(Uniform Resource Identifier:「http
://192.168.0.200:20080/RD_00010001_VRO.c
si」)が含まれる。ここで「192.168.0.200」は、コンテンツサーバ40
0のIPアドレスであるものとする。
、受信したメッセージに含まれるメディアストリームの種類にしたがって、メディア処理
部104のデコード処理の形式を、MPEG2で圧縮された画像データに対応するように
初期化する。メディア処理部104の初期化動作については、後述する。
TCPを用いて通信を確立し、コンテンツデータの視聴を要求するメッセージをコンテン
ツサーバ400に送信する。
ツデータの転送手順は、DLNAの規格において規定されているストリーム転送手順にし
たがうので、コンテンツデータの要求は、図6に示すような「HTTP−GET」メッセ
ージを用いて行う。
求するメッセージを受信すると、蓄積しているコンテンツデータのうち、視聴要求のあっ
たコンテンツデータをMPEG2で圧縮して、ディスプレイ端末100に送信する。この
ときコンテンツサーバ400から送信されるデータの構成を図7に示す。
MPEG2により圧縮された画像データと音声データを抽出する。なお、圧縮されたデー
タが画像データであるか音声データであるかは、HTTPで送信されるMPEG2−PS
をPES(Packed Elementary Stream)に分割し、各PESの
ストリームIDを調べることによって判定することができる。
音声データが圧縮されている場合には、圧縮形式に対応するデコード処理を施してスピー
カ106bに送る。
。
データをデコードするように初期化されているので、送られた画像データに対して逆量子
化処理や逆DCT処理などを施して、表示用画像データを生成することができる。そして
生成された表示用画像データは表示部101に送られて、ユーザに提示される。
プレイ端末100の動作である。
いて説明する。すなわち、ディスプレイ端末100のユーザが、SIPサーバ500を介
してビデオ通信端末600との間で通信を確立し、「ビデオ通信」を行う場合である。
間の通信シーケンスを表している。
スプレイ端末100の登録を行うとともに、SIPサーバ500を介して、ビデオ通信端
末600への接続要求を行う。SIPサーバ500への登録、ビデオ通信端末600への
接続要求は、SIPの規定にしたがって行う。
との間の通信が確立すると、ディスプレイ端末100のシグナリング部103は、メディ
ア制御部105にビデオ通信の開始を示すメッセージを通知する。
ッセージには、図9に示すように、利用されるサービスの種類(「ビデオ通信」)、メデ
ィアストリームの種類(「RTP/MPEG4」)、接続先であるビデオ通信端末600
のIPアドレス(「192.168.0.100」)が含まれる。
、受信したメッセージに含まれるメディアストリームの種類にしたがって、メディア処理
部104のデコード処理の形式を、MPEG4で圧縮された画像データに対応するように
初期化する。メディア処理部104の初期化動作については、後述する。
で、音声データと画像データ(映像データ)の送受信を行う。ここでは、音声データと画
像データは、それぞれ個別にRTP(Real−time Transport Pro
tocol)にしたがって送受信されるものとする。なお、RTPは、音声や映像をスト
リーミング再生するための伝送プロトコルである。RTPにしたがったデータの送受信に
ついては、RFC3016などに規定されている。
2を介して受信すると、受信したデータからMPEG4で圧縮された画像データを抽出す
る。
されたデータの構成を示す図である。
stamp」が同一なデータに含まれるRTPペイロードをシーケンス番号(「Sequ
ence Number」)順に並べて、1ビデオフレーム(「Video Frame
」)のデータ(圧縮画像データ)を構築する。そして、メディア制御部105は、構築し
たデータをメディア処理部104に送る。
データをデコードするように初期化されているので、送られた画像データに対して逆量子
化処理や逆DCT処理などを施して、表示用画像データを生成することができる。そして
生成された表示用画像データは表示部101に送られて、ユーザに提示される。
る音声データは、スピーカ106bに送る。このとき音声データが圧縮されている場合に
は、圧縮形式に対応するデコード処理を施してスピーカ106bに送る。
を受信してユーザに提示するとともに、ディスプレイ端末100側からも、マイク106
cやカメラ106dから入力される音声データや画像データ(映像データ)をビデオ通信
端末600側に送信する。メディア制御部105は、これらのデータをRTPパケットに
カプセル化して、通信部102を介してビデオ通信端末600に送信する。このとき、画
像データのMPEG4による圧縮はカメラ106dで行ってもよく、メディア制御部10
5で行ってもよい。
の動作である。
説明する。すなわち、ディスプレイ端末100のユーザが、PCサーバ300で動作する
オペレーティングシステムやアプリケーションプログラムが生成するデスクトップ画面を
共有し、「PC操作」を行う場合である。
通信シーケンスを表している。
Interface)にしたがったシグナリング手順により、PCサーバ300を発見
し、その機能を把握する。なお、UPnPリモートUIにしたがったシグナリング手順の
詳細については、例えば、http://www.upnp.org/standard
izeddcps/remoteui.aspに掲載された仕様書などに記載されている
。
メディア制御部105にPC操作の開始を示すメッセージを通知する。
セージには、図12に示すように、利用されるサービスの種類(「PC操作」)、メディ
アストリームの種類(「JPEG」)、接続先であるPCサーバ300のIPアドレス(
「192.168.0.1」)が含まれる。
、受信したメッセージに含まれるメディアストリームの種類にしたがって、メディア処理
部104のデコード処理の形式を、JPEGで圧縮された画像データに対応するように初
期化する。メディア処理部104の初期化動作については、後述する。
続し、PCサーバ300との間で画面共有を開始する。
デスクトップ画面を、アプリケーション画面データとして、JPEGで圧縮してディスプ
レイ端末100に送信し続ける。なお、PCサーバ300は、送信するデータのサイズを
小さくするために、すでに送信されているアプリケーション画面データに対して更新され
た部分のデータのみを送信する。このとき、送信されるデータには、更新された部分の座
標位置情報が含まれる。ここで座標位置情報は、画像の開始点の座標(x,y)と(X,
Y)軸方向の画像サイズの情報である。
、PCサーバ300から送信されるデータの構成を示す図である。
から、座標位置情報とJPEGで圧縮されたアプリケーション画面データを抽出する。そ
してメディア制御部105は、抽出したアプリケーション画面データと座標位置情報をメ
ディア処理部104に送る。
ータをデコードするように初期化されているので、送られたアプリケーション画面データ
に対して逆量子化処理や逆DCT処理などを施してデコード処理を行う。そしてメディア
処理部104は、座標位置情報を用いて、すでに生成されている表示用画像データの更新
部分を特定し、更新部分をデコードされたアプリケーション画面データで置き換えて、新
たな表示用画像データを生成する。そして生成された表示用画像データは表示部101に
送られて、ユーザに提示される。ユーザは、このようにして表示された画像データにより
、PCサーバ300上で動作するアプリケーションプログラムの処理結果などを得ること
ができる。
ータがデジタイザ106aによりデータ化され、メディア制御部105でパケット化され
たのち、通信部102を介して、PCサーバ300へ送信される。例えば、ユーザにより
ポインタの移動などが入力された場合、ポインタの位置や状態がデジタイザ106aによ
りデータ化され、PCサーバ300へ送信される。PCサーバ300は、送信されたデー
タに基づいて、ポインタの位置を更新し、新たなデスクトップ画面データを生成し、ディ
スプレイ端末100に送信する。
のディスプレイ端末100の動作である。
制御部105の動作を示すフローチャートである。
ステップS101)、そのメッセージを解析し、利用するサービス(「PC操作」「ビデ
オ視聴」「ビデオ通信」)と接続先を決定する(ステップS102)。
PEG2、MPEG4、JPEG)に基づいて、メディア処理部104を初期化する(ス
テップS103aからステップS103c)。
データの送受信を行う(ステップS105aからステップS105b、ステップS106
aからステップS106d)。データの送受信は、切断の判定(ステップS107)によ
り、サービスの利用が終了し、接続先との間で通信の切断処理(ステップS108)を行
うまで継続される。
る。
て、ハフマン復号、逆量子化、DC成分補正、逆DCT、YUV−RGB変換を行い、フ
レームバッファとして表示用の画像データを出力する。上述したように、PCサーバ30
0、コンテンツサーバ400、および、ビデオ通信端末600との間で送受信される画像
データの圧縮形式は、いずれも2次元の画像データを空間周波数領域へ変換する直交変換
処理であるDCTを行なったのちに、量子化処理を実施する圧縮形式であるので、いずれ
のサービスを利用する場合でも、画像データのデコードの際には、逆DCT処理、逆量子
化処理を単一の処理回路により実行することが可能である。
制御部105からDC成分補正値と、YUB−RGB変換の演算に用いるパラメータ係数
を受信する。具体的には、MPEG2、MPEG4、および、JPEGについて、それぞ
れ、図16に示すようなパラメータ係数を受信して用いる。ここでDC成分補正値は、逆
量子化処理後のデータ値に加算される補正値である。
4の実装の方法により、これらの値を整数化するために、例えば、左に数ビットシフトし
た値を用いるようにしてもよい。
もに入力される、その画像データの表示座標位置情報にしたがって、図17に示すように
、ブロック単位で配置され、表示画像データが生成される。
0、コンテンツサーバ400、および、ビデオ通信端末600との間で圧縮画像データの
送受信を行って、「PC操作」「ビデオ視聴」「ビデオ通信」といった多様なサービスを
利用することが可能となる。そして、これらのサーバ、通信端末との間で送受信される画
像データは、いずれも2次元の画像データを空間周波数領域へ変換する直交変換処理であ
るDCTを行ったのちに、量子化処理を実施する圧縮形式を用いて圧縮されている。した
がって、これらの方式を用いて圧縮された画像データのデコードにおける逆量子化処理、
逆DCT処理は、単一の処理回路により実現可能であり、その結果、ディスプレイ端末1
00自体を、極めて小型軽量化することが可能となる。
ウェアとして用いることでも実現することが可能である。すなわち、シグナリング部10
3、メディア処理部104、および、メディア制御部105は、上記のコンピュータ装置
に搭載されたプロセッサにプログラムを実行させることにより実現することができる。こ
のとき、ディスプレイ端末100は、上記のプログラムをコンピュータ装置にあらかじめ
インストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あ
るいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュー
タ装置に適宜インストールすることで実現してもよい。
101・・・表示部
102・・・通信部
103・・・シグナリング部
104・・・メディア処理部
105・・・メディア制御部
106・・・ユーザインタフェース部
106a・・・デジタイザ
106b・・・スピーカ
106c・・・マイク
106d・・・カメラ
111・・・液晶ディスプレイ
112・・・ペンデバイス
Claims (5)
- 無線通信によって受信した画像データに対して、ハフマン符号処理と、逆量子化処理と、DC成分補正処理と、逆直交変換処理と、YUV−RGB変換処理とを含む復号化処理を行い、前記復号化処理により復号化した表示用画像データを表示する通信装置であって、
前記表示用画像データを表示する表示手段と、
アプリケーションプログラムを実行して生成したアプリケーション画面データ(第1の画像データ)を送信するコンピュータと、ビデオ通信のためのビデオ画像データ(第2の画像データ)を送信する通信端末と、動画像を含むコンテンツデータ(第3の画像データ)を送信するコンテンツサーバのうちいずれか2種類以上の装置それぞれとの無線通信を確立するための通信確立手段と、
前記通信確立手段により通信が確立された前記コンピュータ、前記通信端末、および、前記コンテンツサーバのうちいずれか2種類以上の装置から、それぞれ前記第1、第2、および、第3の画像データのうちいずれか2種類以上の画像データを受信する受信手段と、
前記受信した第1、第2、および、第3の画像データのうちいずれか2種類以上の画像データを、それぞれの圧縮形式に対応した復号化の方式で復号化処理を行い、前記表示手段に表示するための前記表示用画像データを生成する生成手段と、
前記受信した第1、第2、および、第3の画像データのうちいずれか2種類以上の画像データそれぞれの圧縮形式に対応して前記生成手段が行う復号化処理の復号化の方式を切り替えるとともに、前記受信した第1、第2、および、第3の画像データのうちいずれか2種類以上の画像データそれぞれの圧縮形式に対応した復号化の方式による復号化を行うために用いるパラメータを前記生成手段に通知する制御手段と、を備え、
前記第1、第2および第3の画像データのうちいずれか2種類以上の画像データは、いずれも2次元の画像データを空間周波数領域の画像データに変換する直交変換処理と、直交変換処理された画像データの量子化処理とを含む圧縮形式を用いて符号化されたものであり、
前記生成手段は、前記第1、第2および第3の画像データのうちいずれか2種類以上の画像データを復号化するための前記ハフマン符号処理と、前記逆量子化処理と、前記DC成分補正処理と、前記逆直交変換処理と、前記YUV−RGB変換処理のうち、前記復号化の方式を切り替えても、前記復号化の方式によらず同一の処理となる逆直交変換処理のみを固定的に行う単一の処理回路と、前記復号化の方式を切り替えても、前記復号化の方式によらず同一の処理となる逆量子化処理のみを固定的に行う単一の処理回路を備える
ことを特徴とする通信装置。 - 前記受信した第1、第2、および、第3の画像データのうちいずれか2種類以上の画像データそれぞれの圧縮形式に対応した復号化の方式による復号化を行うために用いるパラメータは、前記復号化の方式に対応したDC成分補正処理のためのDC成分補正値及び前記復号化の方式に対応したYUV−RGB変換処理の演算に用いるパラメータ計数である
請求項1記載の通信装置。 - 前記第1、第2、および、第3の画像データの圧縮形式が、それぞれJPEG、MPEG4、および、MPEG2であることを特徴とする請求項2に記載の通信装置。
- 無線通信によって受信した画像データに対して、ハフマン符号処理と、逆量子化処理と、DC成分補正処理と、逆直交変換処理と、YUV−RGB変換処理とを含む復号化処理を行い、前記復号化処理により復号化した表示用画像データを表示する通信装置の制御方法であって、
アプリケーションプログラムを実行して生成したアプリケーション画面データ(第1の画像データ)を送信するコンピュータと、ビデオ通信のためのビデオ画像データ(第2の画像データ)を送信する通信端末と、動画像を含むコンテンツデータ(第3の画像データ)を送信するコンテンツサーバのうちいずれか2種類以上の装置、それぞれとの無線通信を確立し、
通信が確立された前記コンピュータ、前記通信端末、および、前記コンテンツサーバのうちいずれか2種類以上の装置から、それぞれ前記第1、第2、および、第3の画像データのうちいずれか2種類以上の画像データを受信し、
前記受信した第1、第2、および、第3の画像データのうちいずれか2種類以上の画像データを、それぞれの圧縮形式に対応して復号化し、
前記復号化した画像データから前記表示用画像データを生成し、
前記生成した表示用画像データを表示し、
前記第1、第2および第3の画像データは、いずれも2次元の画像データを空間周波数領域の画像データに変換する直交変換処理と、直交変換処理された画像データの量子化処理とを含む圧縮形式を用いて符号化されたものであり、
前記第1、第2および第3の画像データのうちいずれか2種類以上の画像データを復号化するための前記ハフマン符号処理と、前記逆量子化処理と、前記DC成分補正処理と、前記逆直交変換処理と、前記YUV−RGB変換処理のうち、前記復号化の方式を切り替えても、前記復号化の方式によらず同一の処理となる逆直交変換処理のみを固定的に単一の処理回路で行い、前記復号化の方式を切り替えても、前記復号化の方式によらず同一の処理となる逆量子化処理のみを固定的に行う単一の処理回路により実行する
ことを特徴とする通信装置の制御方法。 - 無線通信によって受信した画像データに対して、ハフマン符号処理と、逆量子化処理と、DC成分補正処理と、逆直交変換処理と、YUV−RGB変換処理とを含む復号化処理を行い、前記復号化処理により復号化した表示用画像データを表示する通信装置を制御するプログラムであって、
コンピュータに、
アプリケーションプログラムを実行して生成したアプリケーション画面データ(第1の画像データ)を送信するコンピュータと、ビデオ通信のためのビデオ画像データ(第2の画像データ)を送信する通信端末と、動画像を含むコンテンツデータ(第3の画像データ)を送信するコンテンツサーバのうちいずれか2種類以上の装置、それぞれとの無線通信を確立させる機能と、
通信が確立された前記コンピュータ、前記通信端末、および、前記コンテンツサーバのうちいずれか2種類以上の装置から、それぞれ前記第1、第2、および、第3の画像データのうちいずれか2種類以上の画像データを受信させる機能と、
前記受信された第1、第2、および、第3の画像データのうちいずれか2種類以上の画像データを、それぞれの圧縮形式に対応して復号化させる機能と、
前記復号化された画像データから前記表示用画像データを生成させる機能と、
前記生成された表示用画像データを表示させる機能とを実現させ、
前記第1、第2および第3の画像データは、いずれも2次元の画像データを空間周波数領域の画像データに変換する直交変換処理と、直交変換処理された画像データの量子化処理とを含む圧縮形式を用いて符号化されたものであり、
前記第1、第2および第3の画像データのうちいずれか2種類以上の画像データを復号化するための前記ハフマン符号処理と、前記逆量子化処理と、前記DC成分補正処理と、前記逆直交変換処理と、前記YUV−RGB変換処理のうち、前記復号化の方式を切り替えても、前記復号化の方式によらず同一の処理となる逆直交変換処理のみを固定的に単一の処理回路で行い、前記復号化の方式を切り替えても、前記復号化の方式によらず同一の処理となる逆量子化処理のみを固定的に行う単一の処理回路により実行させる
ことを特徴とする制御プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006296884A JP5025225B2 (ja) | 2006-10-31 | 2006-10-31 | 通信装置、通信装置の制御方法および制御プログラム |
US11/902,012 US8223834B2 (en) | 2006-10-31 | 2007-09-18 | Communication apparatus and control method for communication apparatus |
CN201210201964.3A CN102710942B (zh) | 2006-10-31 | 2007-10-24 | 通信装置和通信装置控制方法 |
CN2007101666081A CN101184288B (zh) | 2006-10-31 | 2007-10-24 | 通信装置和通信装置控制方法 |
US13/494,885 US8432966B2 (en) | 2006-10-31 | 2012-06-12 | Communication apparatus and control method for communication apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006296884A JP5025225B2 (ja) | 2006-10-31 | 2006-10-31 | 通信装置、通信装置の制御方法および制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008118181A JP2008118181A (ja) | 2008-05-22 |
JP5025225B2 true JP5025225B2 (ja) | 2012-09-12 |
Family
ID=39330112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006296884A Expired - Fee Related JP5025225B2 (ja) | 2006-10-31 | 2006-10-31 | 通信装置、通信装置の制御方法および制御プログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US8223834B2 (ja) |
JP (1) | JP5025225B2 (ja) |
CN (2) | CN102710942B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5025225B2 (ja) * | 2006-10-31 | 2012-09-12 | 株式会社東芝 | 通信装置、通信装置の制御方法および制御プログラム |
JP4675944B2 (ja) * | 2007-08-29 | 2011-04-27 | 株式会社東芝 | 画像処理装置、画像処理方法、画像処理プログラム |
JP2010056966A (ja) * | 2008-08-28 | 2010-03-11 | Toshiba Corp | 画像コンテンツ送信サーバ、画像表示装置、画像コンテンツ送信方法、及び、画像表示方法 |
KR101642933B1 (ko) * | 2009-12-04 | 2016-07-27 | 삼성전자주식회사 | 디지털 리빙네트워크 얼라이언스 네트워크에서 전력소모를 줄이기 위한 방법 및 장치 |
CN102333018B (zh) * | 2011-09-01 | 2017-11-10 | 中兴通讯股份有限公司 | 一种信息通知方法、***及无线通信终端 |
JP6398215B2 (ja) * | 2013-03-15 | 2018-10-03 | 株式会社リコー | 配信制御システム、配信システム、配信制御方法、及びプログラム |
CN109889888B (zh) * | 2013-06-05 | 2022-04-01 | 太阳专利托管公司 | 再现方法、装置及生成方法、装置 |
US11037330B2 (en) * | 2017-04-08 | 2021-06-15 | Intel Corporation | Low rank matrix compression |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6909744B2 (en) * | 1999-12-09 | 2005-06-21 | Redrock Semiconductor, Inc. | Processor architecture for compression and decompression of video and images |
US7110664B2 (en) * | 2001-04-20 | 2006-09-19 | Front Porch Digital, Inc. | Methods and apparatus for indexing and archiving encoded audio-video data |
US7773670B1 (en) * | 2001-06-05 | 2010-08-10 | At+T Intellectual Property Ii, L.P. | Method of content adaptive video encoding |
US7599434B2 (en) * | 2001-09-26 | 2009-10-06 | Reynolds Jodie L | System and method for compressing portions of a media signal using different codecs |
WO2003042915A1 (fr) * | 2001-11-16 | 2003-05-22 | Sharp Kabushiki Kaisha | Support d'enregistrement, systeme d'enregistrement/reproduction de contenus, appareil d'enregistrement de contenu et dispositif de recodage de contenu |
JP2004046499A (ja) * | 2002-07-11 | 2004-02-12 | Matsushita Electric Ind Co Ltd | データ処理システム |
JP2004312595A (ja) * | 2003-04-10 | 2004-11-04 | Sony Corp | テレビジョン受信装置 |
JP4155861B2 (ja) * | 2003-04-23 | 2008-09-24 | 三洋電機株式会社 | 画像形成装置 |
EP1631882A4 (en) * | 2003-06-02 | 2011-10-05 | Seiko Epson Corp | PICTURE DISPLAY DEVICE AND METHOD FOR NOTIFYING THE PRESENCE OF AN IMAGE DISPLAY DEVICE VIA A NETWORK |
JPWO2005013136A1 (ja) * | 2003-08-04 | 2006-09-28 | 三菱電機株式会社 | 映像情報装置及びモジュールユニット |
CN1489389A (zh) | 2003-08-29 | 2004-04-14 | 陈旭光 | 视频通信终端及视频通信方法 |
JP4030511B2 (ja) | 2004-03-01 | 2008-01-09 | 株式会社東芝 | 画像転送装置、画像転送方法、画像転送プログラム及び計算機 |
JP4275559B2 (ja) * | 2004-03-19 | 2009-06-10 | シャープ株式会社 | 画像表示装置の制御回路、表示装置、並びに、そのプログラムおよび記録媒体 |
JP2006155223A (ja) * | 2004-11-29 | 2006-06-15 | Matsushita Electric Ind Co Ltd | データ処理装置 |
US7983246B2 (en) * | 2004-12-20 | 2011-07-19 | Lg Electronics Inc. | Multimedia access system |
CN100403794C (zh) | 2004-12-29 | 2008-07-16 | 华为技术有限公司 | 一种实现流媒体业务的视讯终端和方法 |
JP5133508B2 (ja) * | 2005-07-21 | 2013-01-30 | ソニー株式会社 | コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法 |
JP2007158410A (ja) * | 2005-11-30 | 2007-06-21 | Sony Computer Entertainment Inc | 画像符号化装置、画像復号装置、および画像処理システム |
US20080201751A1 (en) * | 2006-04-18 | 2008-08-21 | Sherjil Ahmed | Wireless Media Transmission Systems and Methods |
JP5025225B2 (ja) * | 2006-10-31 | 2012-09-12 | 株式会社東芝 | 通信装置、通信装置の制御方法および制御プログラム |
-
2006
- 2006-10-31 JP JP2006296884A patent/JP5025225B2/ja not_active Expired - Fee Related
-
2007
- 2007-09-18 US US11/902,012 patent/US8223834B2/en not_active Expired - Fee Related
- 2007-10-24 CN CN201210201964.3A patent/CN102710942B/zh not_active Expired - Fee Related
- 2007-10-24 CN CN2007101666081A patent/CN101184288B/zh not_active Expired - Fee Related
-
2012
- 2012-06-12 US US13/494,885 patent/US8432966B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8223834B2 (en) | 2012-07-17 |
CN101184288B (zh) | 2012-08-15 |
JP2008118181A (ja) | 2008-05-22 |
US8432966B2 (en) | 2013-04-30 |
CN102710942A (zh) | 2012-10-03 |
US20080101477A1 (en) | 2008-05-01 |
CN102710942B (zh) | 2015-05-20 |
CN101184288A (zh) | 2008-05-21 |
US20120250756A1 (en) | 2012-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8432966B2 (en) | Communication apparatus and control method for communication apparatus | |
US8300079B2 (en) | Apparatus and method for transferring video | |
KR101531165B1 (ko) | 클라이언트의 특성을 고려한 사용자 인터페이스를 제공, 수신하는 방법 및 장치 | |
EP3273712B1 (en) | Information processing device, information processing method, and program | |
JP4654918B2 (ja) | 情報処理装置及び情報処理システム | |
US7577559B2 (en) | Apparatus for transcoding encoded content | |
JP2006295586A (ja) | コンテンツ変換装置及びトランスコードシステム | |
WO2012151957A1 (zh) | 服务器、客户端及利用其远程播放视频文件的方法和*** | |
US11068148B2 (en) | Information processing device | |
WO2010114092A1 (ja) | 配信システムと方法と変換装置及びプログラム | |
KR101701742B1 (ko) | 이동통신 단말기 간 실시간 스트리밍을 위한 장치 및 방법 | |
JP2004102339A (ja) | コンテンツ視聴システムおよびその方法 | |
US20100053472A1 (en) | Image content transmitting server, image display apparatus, image content transmitting method, and image displaying method | |
JP2008510392A (ja) | コンピュータ・アプリケーションをリモート・サイトから制御するシステム及び方法 | |
WO2016107174A1 (zh) | 多媒体文件数据的处理方法及***、播放器和客户端 | |
US20210112109A1 (en) | Av1 codec for real-time video communication | |
US20080088693A1 (en) | Content transmission method and apparatus using video call | |
JP2016143954A (ja) | 無線通信装置及び無線通信方法 | |
EP1890456B1 (en) | Apparatus for transcoding encoded content | |
Shen et al. | End-to-end wireless multimedia transmission system | |
CN105530537A (zh) | 一种多媒体数据的传输方法及相关设备 | |
WO2024088600A1 (en) | Split-rendering configuration for multimedia immersion and interaction data in a wireless communication system | |
CN111711835A (zh) | 多路音视频整合方法、***及计算机可读存储介质 | |
JP2016100651A (ja) | 送信装置およびその制御方法、画像通信システム | |
JP2016146560A (ja) | 無線通信装置及び無線通信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090831 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111125 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120525 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120619 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |