JP5858164B2 - 通信システム、サーバ装置、サーバ装置の制御方法及びプログラム - Google Patents
通信システム、サーバ装置、サーバ装置の制御方法及びプログラム Download PDFInfo
- Publication number
- JP5858164B2 JP5858164B2 JP2014529498A JP2014529498A JP5858164B2 JP 5858164 B2 JP5858164 B2 JP 5858164B2 JP 2014529498 A JP2014529498 A JP 2014529498A JP 2014529498 A JP2014529498 A JP 2014529498A JP 5858164 B2 JP5858164 B2 JP 5858164B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- estimation value
- terminal device
- transmitted
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/062—Generation of reports related to network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/38—Flow control; Congestion control by adapting coding or compression rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Mobile Radio Communication Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Communication Control (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
[関連出願についての記載]
本発明は、日本国特許出願:特願2012−173727号(2012年 8月 6日出願)に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、通信システム、サーバ装置、サーバ装置の制御方法及びプログラムに関する。特に、モバイルネットワークを介してサーバにアクセスし、サーバ上の仮想クライアントを遠隔操作する通信システム、サーバ装置、サーバ装置の制御方法及びプログラムに関する。
本発明は、日本国特許出願:特願2012−173727号(2012年 8月 6日出願)に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、通信システム、サーバ装置、サーバ装置の制御方法及びプログラムに関する。特に、モバイルネットワークを介してサーバにアクセスし、サーバ上の仮想クライアントを遠隔操作する通信システム、サーバ装置、サーバ装置の制御方法及びプログラムに関する。
近年、企業等において、シンクライアントシステムの普及が始まっている。シンクライアントシステムでは、ハードディスク等の記憶媒体を持たない端末から、あたかも実端末を操作するようにサーバ上の仮想クライアントを操作し、仮想端末上で画面情報を生成する。生成された画面情報は、端末に送信される。端末では、画面情報を受信し、その表示を行う。
このように、シンクライアントシステムでは、端末に情報を記憶することがないので、高度なセキュリティを確保できる。即ち、端末には何もデータは記憶されないため、端末を紛失しても秘密情報等の重要情報が外部に漏れることがない。
ここで、特許文献1において、データ伝送の遅延時間等に基づいて回線品質等を考慮し、ストリームデータを送信する際のパラメータを決定する通信システムが開示されている。
なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。
上述のように、強固なセキュリティを確保するため、シンクライアントシステムの普及が始まっている。また、固定網を利用したシンクライアントシステムだけではなく、移動網を利用したシンクライアントシステムの普及が進んでいる。
モバイルパケットネットワークやLTE/EPC(Long Term Evolution/Evolved Packet Core)ネットワーク等の移動網を介したシンクライアントシステムでは、端末と基地局との距離やトラヒック量等に依存してモバイルネットワークの帯域幅が時間的に変動する。このようなモバイルネットワークの帯域幅の時間的変動に起因して、モバイルネットワークでパケットの滞留やパケットロスが発生する。その結果、端末側で情報を受信するための時間が長くなり、端末に表示される画面の更新が遅くなる、画面が停止する又は画面が乱れる、等の利用者の体感上の品質を示す指標であるQoE(Quality of Experience)が悪化する。
そのため、モバイルネットワークを介してシンクライアントシステムを提供する通信システムであって、利用者の体感上の品質を向上させることに寄与する通信システム、サーバ装置、サーバ装置の制御方法及びプログラムが、望まれる。
なお、特許文献1が開示する通信システムは、回線品質を測定するにあたり、受信装置で算出した統計データを送信装置に送り、この統計データに基づいてエンコードレート等のパラメータを決定している。そのため、受信装置側に統計データを算出するための処理(例えば、片方向遅延時間、パケットロス率等の算出)が必要になる。しかし、シンクライアントシステムにおける受信装置では、このような処理を実行するのは困難であることが多い。シンクライアントシステムに使用する受信装置のハードウェア構成は、極力簡素化するのが望ましいためである。さらに、受信装置から送信装置に送る統計データが、上り回線の帯域を圧迫するという問題もある。
本発明の第1の視点によれば、表示部を備える端末装置と、ネットワークを介して前記端末装置における操作を受け付け、前記ネットワークを介して前記表示部に表示する画面情報を送信するサーバ装置と、を含み、前記サーバ装置は、前記端末装置における操作に応じた処理を実行し、前記画面情報を生成する仮想クライアント部と、前記画面情報を所定の方式より圧縮する画像エンコーダ部と、前記ネットワークの帯域の推定値である帯域推定値を算出する帯域推定値算出部と、前記帯域推定値算出部からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信すると共に、前記連続して送信された特定のパケットに対して前記端末装置が返信したパケットを前記帯域推定値算出部に出力するパケット送受信部と、を備え、前記帯域推定値算出部は、前記帯域推定値に基づき、前記画像エンコーダ部が前記画面情報を圧縮する際のビットレートを算出し、前記帯域推定値算出部は、前記画像エンコーダ部が予め定めた所定の期間内に前記画面情報を圧縮していない場合には、前記連続して送信された特定のパケットに対する前記端末装置からの返信パケットを送信時刻順に並び替え、予め定めた時刻ごとに、下記の式
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、通信システムが提供される。
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、通信システムが提供される。
本発明の第2の視点によれば、ネットワークを介して接続された端末装置における操作に応じた処理を実行し、前記端末装置に表示させる画面情報を生成する仮想クライアント部と、前記画面情報を所定の方式より圧縮する画像エンコーダ部と、前記ネットワークの帯域の推定値である帯域推定値を算出する帯域推定値算出部と、前記帯域推定値算出部からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信すると共に、前記連続して送信された特定のパケットに対して前記端末装置が返信したパケットを前記帯域推定値算出部に出力するパケット送受信部と、を備え、前記帯域推定値算出部は、前記帯域推定値に基づき、前記画像エンコーダ部が前記画面情報を圧縮する際のビットレートを算出し、前記帯域推定値算出部は、前記画像エンコーダ部が予め定めた所定の期間内に前記画面情報を圧縮していない場合には、前記連続して送信された特定のパケットに対する前記端末装置からの返信パケットを送信時刻順に並び替え、予め定めた時刻ごとに、下記の式
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、サーバ装置が提供される。
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、サーバ装置が提供される。
本発明の第3の視点によれば、ネットワークを介して接続された端末装置における操作に応じた処理を実行し、前記端末装置に表示させる画面情報を生成する仮想クライアント工程と、前記画面情報を所定の方式より圧縮する画像エンコード工程と、前記ネットワークの帯域の推定値である帯域推定値を算出する帯域推定値算出工程と、前記帯域推定値に基づき、前記画面情報を圧縮する際のビットレートを算出する工程と、前記端末装置に対し、特定のパケットを連続して送信すると共に、前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを受信するパケット送受信工程と、を含み、前記帯域推定値算出工程は、前記画像エンコード工程が予め定めた所定の期間内に、前記画面情報を圧縮していない場合には、前記連続して送信された特定のパケットに対する前記端末装置からの返信パケットを送信時刻順に並び替え、予め定めた時刻ごとに、下記の式
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、サーバ装置の制御方法が提供される。
なお、本方法は、ネットワークを介して端末装置と接続されるサーバ装置という、特定の機械に結びつけられている。
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、サーバ装置の制御方法が提供される。
なお、本方法は、ネットワークを介して端末装置と接続されるサーバ装置という、特定の機械に結びつけられている。
本発明の第4の視点によれば、ネットワークを介して接続された端末装置における操作に応じた処理を実行し、前記端末装置に表示させる画面情報を生成する仮想クライアント処理と、前記画面情報を所定の方式より圧縮する画像エンコード処理と、前記ネットワークの帯域の推定値である帯域推定値を算出する帯域推定値算出処理と、前記帯域推定値に基づき、前記画面情報を圧縮する際のビットレートを算出する処理と、前記端末装置に対し、特定のパケットを連続して送信すると共に、前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを受信するパケット送受信処理と、をサーバ装置を制御するコンピュータに実行させ、前記帯域推定値算出処理は、前記画像エンコード処理が予め定めた所定の期間内に、前記画面情報を圧縮していない場合には、前記連続して送信された特定のパケットに対する前記端末装置からの返信パケットを送信時刻順に並び替え、予め定めた時刻ごとに、下記の式
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、プログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non−transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、プログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non−transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
本発明の各視点によれば、モバイルネットワークを介してシンクライアントシステムを提供する通信システムであって、利用者の体感上の品質を向上させることに寄与する通信システム、サーバ装置、サーバ装置の制御方法及びプログラムが、提供される。
初めに、図1を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
上述のように、モバイルネットワークを介してシンクライアントシステムを提供する通信システムであって、利用者の体感上の品質を向上させる通信システムが、望まれる。
そこで、一例として図1に示す通信システム100を提供する。通信システム100は、表示部を備える端末装置101と、ネットワークを介して端末装置101における操作を受け付け、ネットワークを介して端末装置101の表示部に表示する画面情報を送信するサーバ装置102と、を含んでいる。サーバ装置102は、端末装置101における操作に応じた処理を実行し、画面情報を生成する仮想クライアント部103と、画面情報を所定の方式より圧縮する画像エンコーダ部104と、ネットワークの帯域の推定値である帯域推定値を算出する帯域推定値算出部105と、を備える。さらに、帯域推定値算出部105は、帯域推定値に基づき、画像エンコーダ部104が画面情報を圧縮する際のビットレートを算出する。
通信システム100では、端末装置101とサーバ装置102とでシンクライアントシステムを構築する。さらに、サーバ装置102から送出する画面情報を圧縮する際のビットレートをネットワークの帯域に基づいて変更する。そのため、ネットワークの帯域が時間的に変動した場合であっても、その変動に追従するようにビットレートを制御できる。その結果、ネットワーク上でのパケットの滞留やパケットロスがなくなり、端末装置101において画面の更新が遅くなる、画面が乱れる等のQoEの悪化を抑制することができる。即ち、利用者の体感上の品質を向上させる通信システム100が提供される。
さらに、下記の形態が可能である。
[形態1]
上記第1の視点に係る通信システムのとおりである。
[形態2]
前記帯域推定値算出部は、
前記画面情報の送信に対する前記端末装置から返信される情報に基づき、前記帯域推定値を算出することが好ましい。
[形態3]
前記帯域推定値算出部は、
前記端末装置に対し、所定の時間以上、前記画面情報が送信されていない場合に、前記端末装置に対して送信された情報に対する、前記端末装置からの返信に基づき、前記帯域推定値を算出することが好ましい。
[形態4]
前記サーバ装置は、
前記帯域推定値算出部からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信すると共に、前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを前記帯域推定値算出部に出力するパケット送受信部を備えることが好ましい。
[形態5]
前記帯域推定値算出部は、
前記端末装置に向けて送信したパケットのサイズと、前記端末装置に向けて送信されたパケットを前記端末装置が受け取った時刻と、に基づいて、前記帯域推定値を算出することが好ましい。
[形態6]
前記帯域推定値算出部は、
前記帯域推定値以下に前記ビットレートを設定することが好ましい。
[形態7]
前記仮想クライアント部は、音声情報が付随した前記画面情報を生成し、
前記サーバ装置は、
前記音声情報を前記画面情報から分離する画面キャプチャ部と、
前記音声情報を圧縮するオーディオエンコーダ部と、
を備えることが好ましい。
[形態8]
上記第2の視点に係るサーバ装置のとおりである。
[形態9]
前記帯域推定値算出部は、
前記画面情報の送信に対する前記端末装置から返信される情報に基づき、前記帯域推定値を算出することが好ましい。
[形態10]
前記帯域推定値算出部は、
前記端末装置に対し、所定の時間以上、前記画面情報が送信されていない場合に、前記端末装置に対して送信された情報に対する、前記端末装置からの返信に基づき、前記帯域推定値を算出することが好ましい。
[形態11]
前記帯域推定値算出部からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信すると共に、前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを前記帯域推定値算出部に出力するパケット送受信部を備えることが好ましい。
[形態12]
前記帯域推定値算出部は、
前記端末装置に向けて送信したパケットのサイズと、前記端末装置に向けて送信されたパケットを前記端末装置が受け取った時刻と、に基づいて、前記帯域推定値を算出することが好ましい。
[形態13]
前記帯域推定値算出部は、
前記帯域推定値以下に前記ビットレートを設定することが好ましい。
[形態14]
前記仮想クライアント部は、音声情報が付随した前記画面情報を生成し、
前記音声情報を前記画面情報から分離する画面キャプチャ部と、
前記音声情報を圧縮するオーディオエンコーダ部と、
を備えることが好ましい。
[形態15]
上記第3の視点に係るサーバ装置の制御方法のとおりである。
[形態16]
前記帯域推定値算出工程は、
前記画面情報の送信に対する前記端末装置から返信される情報に基づき、前記帯域推定値を算出することが好ましい。
[形態17]
前記帯域推定値算出工程は、
前記端末装置に対し、所定の時間以上、前記画面情報が送信されていない場合に、前記端末装置に対して送信された情報に対する、前記端末装置からの返信に基づき、前記帯域推定値を算出することが好ましい。
[形態18]
前記帯域推定値算出工程からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信する工程と、
前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを受信する工程と、
を含むことが好ましい。
[形態19]
前記帯域推定値算出工程は、
前記端末装置に向けて送信したパケットのサイズと、前記端末装置に向けて送信されたパケットを前記端末装置が受け取った時刻と、に基づいて、前記帯域推定値を算出することが好ましい。
[形態20]
前記ビットレートを算出する工程は、
前記帯域推定値以下に前記ビットレートを設定することが好ましい。
[形態21]
前記仮想クライアント工程は、音声情報が付随した前記画面情報を生成し、
前記音声情報を前記画面情報から分離する工程と、
前記音声情報を圧縮するオーディオエンコード工程と、
を含むことが好ましい。
[形態22]
上記第4の視点に係るプログラムのとおりである。
[形態23]
前記帯域推定値算出処理は、
前記画面情報の送信に対する前記端末装置から返信される情報に基づき、前記帯域推定値を算出することが好ましい。
[形態24]
前記帯域推定値算出処理は、
前記端末装置に対し、所定の時間以上、前記画面情報が送信されていない場合に、前記端末装置に対して送信された情報に対する、前記端末装置からの返信に基づき、前記帯域推定値を算出することが好ましい。
[形態25]
前記帯域推定値算出工程からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信する処理と、
前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを受信する処理と、
を実行することが好ましい。
[形態26]
前記帯域推定値算出処理は、
前記端末装置に向けて送信したパケットのサイズと、前記端末装置に向けて送信されたパケットを前記端末装置が受け取った時刻と、に基づいて、前記帯域推定値を算出することが好ましい。
[形態27]
前記ビットレートを算出する処理は、
前記帯域推定値以下に前記ビットレートを設定することが好ましい。
[形態28]
前記仮想クライアント処理は、音声情報が付随した前記画面情報を生成し、
前記音声情報を前記画面情報から分離する処理と、
前記音声情報を圧縮するオーディオエンコード処理と、
を実行することが好ましい。
上記第1の視点に係る通信システムのとおりである。
[形態2]
前記帯域推定値算出部は、
前記画面情報の送信に対する前記端末装置から返信される情報に基づき、前記帯域推定値を算出することが好ましい。
[形態3]
前記帯域推定値算出部は、
前記端末装置に対し、所定の時間以上、前記画面情報が送信されていない場合に、前記端末装置に対して送信された情報に対する、前記端末装置からの返信に基づき、前記帯域推定値を算出することが好ましい。
[形態4]
前記サーバ装置は、
前記帯域推定値算出部からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信すると共に、前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを前記帯域推定値算出部に出力するパケット送受信部を備えることが好ましい。
[形態5]
前記帯域推定値算出部は、
前記端末装置に向けて送信したパケットのサイズと、前記端末装置に向けて送信されたパケットを前記端末装置が受け取った時刻と、に基づいて、前記帯域推定値を算出することが好ましい。
[形態6]
前記帯域推定値算出部は、
前記帯域推定値以下に前記ビットレートを設定することが好ましい。
[形態7]
前記仮想クライアント部は、音声情報が付随した前記画面情報を生成し、
前記サーバ装置は、
前記音声情報を前記画面情報から分離する画面キャプチャ部と、
前記音声情報を圧縮するオーディオエンコーダ部と、
を備えることが好ましい。
[形態8]
上記第2の視点に係るサーバ装置のとおりである。
[形態9]
前記帯域推定値算出部は、
前記画面情報の送信に対する前記端末装置から返信される情報に基づき、前記帯域推定値を算出することが好ましい。
[形態10]
前記帯域推定値算出部は、
前記端末装置に対し、所定の時間以上、前記画面情報が送信されていない場合に、前記端末装置に対して送信された情報に対する、前記端末装置からの返信に基づき、前記帯域推定値を算出することが好ましい。
[形態11]
前記帯域推定値算出部からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信すると共に、前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを前記帯域推定値算出部に出力するパケット送受信部を備えることが好ましい。
[形態12]
前記帯域推定値算出部は、
前記端末装置に向けて送信したパケットのサイズと、前記端末装置に向けて送信されたパケットを前記端末装置が受け取った時刻と、に基づいて、前記帯域推定値を算出することが好ましい。
[形態13]
前記帯域推定値算出部は、
前記帯域推定値以下に前記ビットレートを設定することが好ましい。
[形態14]
前記仮想クライアント部は、音声情報が付随した前記画面情報を生成し、
前記音声情報を前記画面情報から分離する画面キャプチャ部と、
前記音声情報を圧縮するオーディオエンコーダ部と、
を備えることが好ましい。
[形態15]
上記第3の視点に係るサーバ装置の制御方法のとおりである。
[形態16]
前記帯域推定値算出工程は、
前記画面情報の送信に対する前記端末装置から返信される情報に基づき、前記帯域推定値を算出することが好ましい。
[形態17]
前記帯域推定値算出工程は、
前記端末装置に対し、所定の時間以上、前記画面情報が送信されていない場合に、前記端末装置に対して送信された情報に対する、前記端末装置からの返信に基づき、前記帯域推定値を算出することが好ましい。
[形態18]
前記帯域推定値算出工程からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信する工程と、
前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを受信する工程と、
を含むことが好ましい。
[形態19]
前記帯域推定値算出工程は、
前記端末装置に向けて送信したパケットのサイズと、前記端末装置に向けて送信されたパケットを前記端末装置が受け取った時刻と、に基づいて、前記帯域推定値を算出することが好ましい。
[形態20]
前記ビットレートを算出する工程は、
前記帯域推定値以下に前記ビットレートを設定することが好ましい。
[形態21]
前記仮想クライアント工程は、音声情報が付随した前記画面情報を生成し、
前記音声情報を前記画面情報から分離する工程と、
前記音声情報を圧縮するオーディオエンコード工程と、
を含むことが好ましい。
[形態22]
上記第4の視点に係るプログラムのとおりである。
[形態23]
前記帯域推定値算出処理は、
前記画面情報の送信に対する前記端末装置から返信される情報に基づき、前記帯域推定値を算出することが好ましい。
[形態24]
前記帯域推定値算出処理は、
前記端末装置に対し、所定の時間以上、前記画面情報が送信されていない場合に、前記端末装置に対して送信された情報に対する、前記端末装置からの返信に基づき、前記帯域推定値を算出することが好ましい。
[形態25]
前記帯域推定値算出工程からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信する処理と、
前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを受信する処理と、
を実行することが好ましい。
[形態26]
前記帯域推定値算出処理は、
前記端末装置に向けて送信したパケットのサイズと、前記端末装置に向けて送信されたパケットを前記端末装置が受け取った時刻と、に基づいて、前記帯域推定値を算出することが好ましい。
[形態27]
前記ビットレートを算出する処理は、
前記帯域推定値以下に前記ビットレートを設定することが好ましい。
[形態28]
前記仮想クライアント処理は、音声情報が付随した前記画面情報を生成し、
前記音声情報を前記画面情報から分離する処理と、
前記音声情報を圧縮するオーディオエンコード処理と、
を実行することが好ましい。
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
第1の実施形態について、図面を用いてより詳細に説明する。
図2は、本実施形態に係る通信システムの構成の一例を示す図である。
図2に示す通信システムでは、クラウド網300及びモバイルネットワーク400を使用してシンクライアントシステムを実現する。クラウド網300上にサーバ装置10が配置されている。また、クラウド網300に接続されたモバイルネットワーク400には、パケット転送装置20と、無線ネットワーク制御装置(RNC;Radio Network Controller)30と、基地局40と、が含まれている。
なお、図2に示す構成は、パケット転送装置20としてSGSN/GGSN装置を用いる場合の構成を示している。SGSN/GGSN装置とは、SGSN(Serving GPRS Support Node)装置とGGSN(Gateway GPRS Support Node)装置を一体化した装置である。
図2に示す通信システムにおいて、エンドユーザは携帯端末50を、クラウド網300に配置されたサーバ装置10の仮想クライアントに接続する。その上で、エンドユーザは、サーバ装置10上の仮想クライアントをあたかも実端末を操作するように操作する。このようなシンクライアントシステムの実現にあたり、携帯端末50はサーバ装置10に対し操作信号を送出する。操作信号は、モバイルネットワーク400上の基地局40、無線ネットワーク制御装置30、パケット転送装置20を経由して、サーバ装置10に到達する。
操作信号は、携帯端末50におけるキー操作、画面へのタッチ操作、文字入力又はスクロール等の操作に応じてサーバ装置10に送出される信号である。携帯端末50から送出された操作信号は、モバイルネットワーク400上の各種装置を介し、クラウド網300上のサーバ装置10に到達し、サーバ装置10が操作信号を受信する。
ここで、操作信号を送出する際のプロトコルには、TCP/IP(Transmission Control Protocol/Internet Protocol)及びその上位層に位置づけられるHTTP(Hyper Text Transfer Protocol)が使用できる。但し、操作信号を送出するプロトコルを限定する趣旨ではなく、SIP(Session Initiation Protocol)等を用いることもできる。
パケット転送装置20は、サーバ装置10が送出するパケットを、GTP−U(GPRS Tunneling Protocol for User Plane)プロトコルによりトネリングして無線ネットワーク制御装置30に転送する。
無線ネットワーク制御装置30は、基地局40を介し、パケット転送装置20から転送されたパケットを、無線により携帯端末50に送出する。
携帯端末50は、モバイルネットワーク400を介してサーバ装置10が送出するパケットを受信する。携帯端末50は、パケットに格納されたデータを取り出し、取り出したデータに基づき画面表示を行う。その際、パケットに格納されたデータは、携帯端末50に表示させる画像信号を圧縮した圧縮符号化ビットストリームである。
携帯端末50は、サーバ装置10に搭載されている画像エンコーダ(後述する画像エンコーダ部240)に対応したデコーダを搭載している。このデコーダにより、受信したパケットから抽出した圧縮符号化ビットストリームを復号し、復号した画面を携帯端末50の表示部(例えば、液晶パネル等)に表示する。なお、サーバ装置10が生成した画面情報に音声が関連付けられている場合には、画像信号と同様に対応するデコーダを用いて音声を再生する。
次に、サーバ装置10の詳細について説明する。
図3は、サーバ装置10の内部構成の一例を示す図である。
サーバ装置10は、操作信号パケット受信部200と、仮想クライアント部210と、画面キャプチャ部220と、帯域推定値算出部230と、画像エンコーダ部240と、オーディオエンコーダ部250と、第1のパケット送受信部260と、第2のパケット送受信部270と、第3のパケット送受信部280と、を含んで構成されている。なお、図3には、簡単のため、本実施形態に係るサーバ装置10に関係するモジュールのみを記載する。
操作信号パケット受信部200は、携帯端末50から操作信号であるTCP/IPパケットを、モバイルネットワーク400に含まれる各種装置を経由して受信する。操作信号パケット受信部200は、受信したTCP/IPパケットから操作信号を抽出し、仮想クライアント部210に出力する。
仮想クライアント部210は、サーバ装置10が提供する各種サービスを実現する。より具体的には、仮想クライアント部210は、CPU(Central Processing Unit)、ハードディスク、キャッシュメモリ、音声/静止画/動画デコーダ等を搭載しており、これらのハードウェアを使用するアプリケーションソフトを実行することで、各種サービスを提供する。なお、アプリケーションソフトの更新は、サーバ装置10の外部から容易に行える構成が好ましい。
仮想クライアント部210は、操作信号パケット受信部200から受け付けた操作信号を解析する。仮想クライアント部210は、解析した結果に応じて適切なアプリケーションソフトを起動し、起動したアプリケーションソフトが携帯端末50に画面表示させるために必要な画面情報を予め定めた画面解像度で生成する。生成された画面情報は、画面キャプチャ部220に出力される。
画面キャプチャ部220は、予め定められた画面解像度及びフレームレートにより仮想クライアント部210が出力するRGB信号をキャプチャする。さらに、画面キャプチャ部220は、RGB信号を輝度信号(Y)及び色差信号(Cb、Cr)に変換し、画像エンコーダ部240に出力する。なお、画面キャプチャ部220におけるRGB信号から輝度信号(Y)及び色差信号(Cb、Cr)への変換方法は、どのような方法であってもよい。さらに、輝度信号と色差信号への変換以外に、別の変換形式、例えば、YUV信号への変換等を用いることもできる。なお、仮想クライアント部210が、音声(オーディオ信号)が付随した画像情報を生成した場合には、画面キャプチャ部220は、付随するオーディオ信号の読み出しも行い、読み出したオーディオ信号をオーディオエンコーダ部250に出力する。
帯域推定値算出部230及び画像エンコーダ部240については後述する。
オーディオエンコーダ部250は、オーディオ信号を受け付け、受け付けたオーディオ信号を予め定められた方式で圧縮符号化することで、圧縮符号化ビットストリームを生成する。生成された圧縮符号化ビットストリームは、第2のパケット送受信部270に出力される。
ここで、オーディオ信号の圧縮符号化方式には、MPEG−4 AAC(MPEG-4 Advanced Audio Coding)やEnhanced AAC等の変換方式を使用することができる。なお、サーバ装置10は、MPEG−4 AACを使用するものとして以降の説明を行うが、オーディオ信号の圧縮符号化方式がMPEG−4 AACに限定されるものではないことは勿論である。
第1のパケット送受信部260は、画像エンコーダ部240から圧縮符号化ビットストリームを受け付ける。さらに、第1のパケット送受信部260は、圧縮符号化ビットストリームをパケットのペイロードに格納し、予め定められたプロトコルによりパケットを構築して、パケット転送装置20に送出する。なお、予め定められたプロトコルとして、RTP/UDP/IP(Real-time Transport Protocol/User Datagram Protocol/Internet Protocol)、UDP/IP、TCP/IP等を用いることができる。なお、第1のパケット送受信部260は、UDP/IPを用いるものとして以降の説明を行うが、使用するプロトコルをUDP/IPに限定する趣旨ではない。
さらに、別の構成として、圧縮符号化ビットストリームをMPEG−4や3GP等のファイルフォーマットを用いてファイルに一旦格納し、このファイルをパケットで送出することもできる。この場合のパケットプロトコルはTCP/IPを用いることができる。
第2のパケット送受信部270は、オーディオエンコーダ部250から圧縮符号化ビットストリームを受け付け、UDP/IPによるパケットを構築し、パケットのペイロードに圧縮符号化ビットストリームを格納した上で携帯端末50に向け送出する。
第3のパケット送受信部280は、帯域推定値算出部230から、後述するプローブパケットを送出する指示に応じて、携帯端末50に向けプローブパケットを送出する。
次に、帯域推定値算出部230について説明する。
図4は、帯域推定値算出部230の内部構成の一例を示す図である。
帯域推定値算出部230は、判別部231、スイッチ232及び帯域推定部233を含んで構成されている。
判別部231は、画像エンコーダ部240(後述する画像エンコーダ部240の差分判別部242)から判別結果を受け付ける。判別部231は、この判別結果に応じて、スイッチ232の入力元を切り替える。画像エンコーダ部240が出力する判別結果には、予め定められた時間間隔以上、画面情報をエンコードしていないか否かに関する情報が含まれる。
判別部231は、受け付けた判別結果が、予め定められた時間以内に画面情報をエンコードしたことを示す場合には、スイッチ232に対し、第1のパケット送受信部260からの出力信号を帯域推定部233に出力するように指示する。一方、判別部231は、受け付けた判別結果が、予め定められた時間以内に画面情報をエンコードしていないことを示す場合には、モバイルネットワーク400における帯域推定を目的としたパケットを連続して送出する指示を第3のパケット送受信部280に行う。その際、判別部231は、スイッチ232に対し、第3のパケット送受信部280からの出力信号を帯域推定部233に出力するように指示する。
帯域推定部233は、モバイルネットワーク400の帯域を推定するために、次に示す処理A又は処理Bのいずれかを選択し、実行する。帯域推定部233は、判別部231が出力する判別結果が、予め定められた時間内にエンコードしたことを示す場合は、後述する処理Aを実行する。一方、帯域推定部233は、判別部231が出力する判別結果が、予め定められた時間間隔以上エンコードしていなことを示す場合は、後述する処理Bを実行する。
続いて、処理A及び処理Bについて説明する。
初めに、処理Aについて説明する。
[処理A]
帯域推定部233は、第1のパケット送受信部260が出力する信号を受け付け、下記の式(1)に基づき、帯域推定値Wを算出する。
なお、式(1)において、D(i)は、第1のパケット送受信部260から携帯端末50に向けて送出したi番目(iは2以上の整数、以下同じ)のパケットのデータサイズを示す。R(i)は、携帯端末50において上述のi番目のパケットを受信したときの時刻である。R(i)は、携帯端末50から第1のパケット送受信部260に返信されたパケットから得られる情報である。
帯域推定部233は、第1のパケット送受信部260が出力する信号を受け付け、下記の式(1)に基づき、帯域推定値Wを算出する。
なお、式(1)において、D(i)は、第1のパケット送受信部260から携帯端末50に向けて送出したi番目(iは2以上の整数、以下同じ)のパケットのデータサイズを示す。R(i)は、携帯端末50において上述のi番目のパケットを受信したときの時刻である。R(i)は、携帯端末50から第1のパケット送受信部260に返信されたパケットから得られる情報である。
次に、式(1)で計算した帯域推定値Wを、下記の式(2)に基づき、時間的に平滑化する。
B(n)=(1−β)B(n−1)+βW ・・・(2)
なお、B(n)は第n時刻(nは1以上の整数、以下同じ)における平滑化後の帯域推定値を示す。βは0<β<1の範囲の定数である。
B(n)=(1−β)B(n−1)+βW ・・・(2)
なお、B(n)は第n時刻(nは1以上の整数、以下同じ)における平滑化後の帯域推定値を示す。βは0<β<1の範囲の定数である。
次に、式(2)に基づき平滑化した帯域推定値B(n)を用いて、予め定められた時刻ごとに、式(3)及び(4)に従い、画像信号をエンコードする際のビットレートC(n)を算出する。さらに、帯域推定部233は、ビットレートC(n)を予め定められた時間ごとに、画像エンコーダ部240に出力する。
C(n)=(1−γ)C(n−1)+γB(n) ・・・(3)
C(n)≦B(n) ・・・(4)
なお、C(n)は、第n時刻でのビットレートを示す。γは0<γ<1の範囲の定数である。
C(n)=(1−γ)C(n−1)+γB(n) ・・・(3)
C(n)≦B(n) ・・・(4)
なお、C(n)は、第n時刻でのビットレートを示す。γは0<γ<1の範囲の定数である。
次に、処理Bについて説明する。
判別部231は、予め定められたタイミングにおいて、第3のパケット送受信部280に対し、帯域推定を意図した特定のパケットを、プローブパケットとして連続的に送出させる。即ち、第3のパケット送受信部280は、判別部231の指示に従い、携帯端末50に向けM個以上のプローブパケットを連続して送出する(但し、Mは2以上の整数)。プローブパケットには、少なくとも、プローブパケットのデータサイズ、プローブパケットのサーバからの送信時刻に関する情報を含めておく。また、プローブパケットの送出に用いるプロトコルは、第1のパケット送受信部260が用いるプロトコルと同じプロトコルを使用する。即ち、本実施形態に係るサーバ装置10は、UDP/IPを使用する。
プローブパケットを受け取った携帯端末50は、それぞれのプローブパケットに対して返信パケットを送出する。携帯端末50が送出する返信パケットには、データサイズ、サーバ装置10からの送信時刻及び携帯端末50での受信時刻に関する情報を含めておく。第3のパケット送受信部280は、携帯端末50が連続して送出した返信パケットを受信する。第3のパケット送受信部280は、受信した返信パケットから、データサイズ、サーバ装置10からの送信時刻及び携帯端末50での受信時刻に関する情報を抽出し、これらの情報を帯域推定値算出部230に出力する。
帯域推定値算出部230は、返信パケットのデータサイズ、サーバ装置10からの送信時刻及び携帯端末50での受信時刻に関する情報を受け付ける。その後、帯域推定部233は、以下の処理Bを実行する。
[処理B]
帯域推定部233は、返信パケットを送信時刻の順番に並び替え、予め定められた時刻ごとに下記の式(5)に従い帯域推定値Wを算出する。
なお、式(5)において、D(i)は、第3のパケット送受信部280からi番目に送出したパケットのデータサイズを示す。R(M)は、M番目に送出されたパケットの携帯端末50における受信時刻を示す。R(1)はサーバ装置10から最初に送出されたパケットの携帯端末50における受信時刻を示す。
帯域推定部233は、返信パケットを送信時刻の順番に並び替え、予め定められた時刻ごとに下記の式(5)に従い帯域推定値Wを算出する。
なお、式(5)において、D(i)は、第3のパケット送受信部280からi番目に送出したパケットのデータサイズを示す。R(M)は、M番目に送出されたパケットの携帯端末50における受信時刻を示す。R(1)はサーバ装置10から最初に送出されたパケットの携帯端末50における受信時刻を示す。
次に、帯域推定値算出部230は、算出した帯域推定値Wに式(2)を適用し、時間的に平滑化する。続いて、帯域推定値算出部230は、式(2)を用いて平滑化した帯域推定値B(n)を用いて、予め定められた時刻ごとに、式(3)に従い、画像をエンコーダする際のビットレートC(n)を算出する。算出されたビットレートC(n)は、予め定められた時間ごとに画像エンコーダ部240に出力される。
次に、画像エンコーダ部240について説明する。
図5は、画像エンコーダ部240の内部構成の一例を示す図である。
画像エンコーダ部240は、バッファ部241と、差分判別部242と、スイッチ243と、画像符号化部244と、レート制御部245と、を含んで構成されている。
バッファ部241は、画面キャプチャ部220から、予め定められた画面解像度と予め定められたフレームレートで画像信号を受け付け、1フレーム分の画像信号を蓄積する。バッファ部241は、画面キャプチャ部220による変換後の信号(輝度信号、色差信号)を1フレーム分蓄積した上で、蓄積した画像信号をスイッチ243に出力する。
差分判別部242は、その内部に1フレーム分過去の画像信号を蓄積している。また、差分判別部242は、現在のフレームの画像信号をバッファ部241から受け付ける。差分判別部242は、内部に蓄積した1フレーム分過去の画像信号と、現在のフレームの画像信号と、を使用し、画像信号をエンコードするか否かを判別する。
より具体的には、差分判別部242は、下記の式(6)に基づき、受け付けた画像信号の現在のフレーム信号と1フレーム分過去の画像信号との差分絶対値和(SAD;Sum of Absolute Difference)を計算する。
なお、式(6)において、D_kは、k番目のフレームにおけるSAD値を示す(kは整数、以下同じ)。P_k(x、y)は、k番目のフレームにおける画素信号の座標を示す。
なお、式(6)において、D_kは、k番目のフレームにおけるSAD値を示す(kは整数、以下同じ)。P_k(x、y)は、k番目のフレームにおける画素信号の座標を示す。
式(6)においてSAD値を計算する範囲(Σを計算する範囲)は、1フレーム全体であってもよいし、一部分の領域に限ってもよい。また、前者の場合は、領域ごとに重要度を変える場合も考えられ、そのような場合には、SAD値を計算する際に領域ごとに異なる重み付けを差分絶対値に乗じ、SAD値を算出することもできる。
次に、差分判別部242は、D_kと予め定められた閾値T_thを比較し、画像信号をエンコードするか否か判別する。具体的には、D_kが閾値T_th以上の場合は、画像信号の変化が大きい(画像信号で表現される要素の動きが大きい)ので、画像信号をエンコードすべきと判別する。一方、D_kが閾値T_thより小さい場合は、画像信号の変化が小さい(動きが少ない)ので、エンコードは不要であると判別する。
差分判別部242は、上記の判別結果をスイッチ243及び帯域推定値算出部230に出力する。帯域推定値算出部230に含まれる判別部231は、差分判別部242が出力する判別結果に基づいて、予め定めた時間内に画像信号がエンコードされ、圧縮符号化ビットストリームが携帯端末50に送出されたか否かを判別する。
スイッチ243は、差分判別部242の判別結果に基づき、バッファ部241が出力する1フレーム分の画像信号を画像符号化部244に出力するか否かを切り替える。より具体的には、差分判別部242の判別結果がエンコードを指示している場合には、1フレーム分の画像信号を画像符号化部244に出力する。一方、差分判別部242の判別結果がエンコードを指示していない場合には、1フレーム分の画像信号を画像符号化部244に出力しない。
レート制御部245は、帯域推定値算出部230に含まれる帯域推定部233から、予め定められた時間ごとに、画像をエンコーダする際のビットレートC(n)を受け付ける。さらに、レート制御部245は、ビットレートC(n)から、画像をエンコーダする際の画面解像度VR及びフレームレートfpsを算出し、ビットレートC(n)、画面解像度VR及びフレームレートfpsを画像符号化部244に出力する。
画像符号化部244は、レート制御部245から予め定められたタイミングごとに、ビットレートC(n)、画面解像度VR及びフレームレートfpsを受け付ける。画像符号化部244は、スイッチ243から1フレーム分の画像信号を受け付けている場合に、予め定められた圧縮符号化方式を用いて、圧縮符号化時の最大ビットレートをC(n)に設定する。圧縮符号化時の最大ビットレートをC(n)に設定することにより、帯域推定値を超えない範囲内で、受け付けた画像信号を圧縮することができる。その後、画像符号化部244は、生成した圧縮符号化ビットストリームを第1のパケット送受信部260に出力する。なお、予め定められた圧縮符号化方式には、H.264、MPEG−4、JPEG2000、JPEG等の方式を使用できる。但し、圧縮符号化方式をこれらに限定する趣旨ではない。
スイッチ243から1フレーム分の画像信号を受け付けない場合は、画像符号化部244は圧縮符号化処理を行わない。その結果、第1のパケット送受信部260に圧縮符号化ビットストリームが出力されることはない。
次に、サーバ装置10の動作を、フローチャートを用いて説明する。
図6は、サーバ装置10の動作の一例を示すフローチャートである。
サーバ装置10は仮想クライアント部210を使用して、携帯端末50に送信する画面情報を生成する(ステップS01)。その後、帯域推定値算出部230の判別部231は、予め定められた時間内に画像がエンコードされたか否かを判別する(ステップS02)。予め定めた時間内に、画像がエンコードされていない場合(ステップS02、No分岐)には、その間にモバイルネットワーク400の帯域が変動している可能性があるため、プローブパケットを携帯端末50に送信し、ネットワークの帯域を推定するために必要な情報を入手する(ステップS03)。即ち、画像エンコーダ部240が予め定められた時間間隔以上、画像信号をエンコードしていない場合は、その間、サーバ装置10から携帯端末50に向けてパケットが送信されていないことを意味するためである。
ステップS04では、帯域推定部233が、ステップS03において入手した情報、又は、携帯端末50に向けて送出したパケットに対する返信パケットに基づいてモバイルネットワーク400の帯域を推定する。その後、帯域推定部233は、画像エンコーダ部240において、画像をエンコードする際に使用するビットレートを決定する(ステップS05)。画像エンコーダ部240で生成された圧縮符号化ビットストリームは第1のパケット送受信部260を介して携帯端末50に送出される(ステップS06)。
なお、図2に示すモバイルネットワーク400は、上述のようにモバイルLTE/EPCネットワークとすることもできるし、WiMax(Worldwide Interoperability for Microwave Access)網やWiFi(Wireless Fidelity)網とすることもできる。さらに、固定網やNGN(Next Generation Network)網とすることもできる。但し、その場合は、携帯端末からではなく、固定端末やPC(Personal Computer)からの接続となる。
図2では、サーバ装置10をクラウド網300に配置したが、インターネット網にサーバ装置10を配置することもできる。また、別の構成として、組織内にシンクライアントシステムのサーバを配置する場合はサーバ装置10をイントラネット網に配置することもできる。さらにまた、別の構成として、通信事業者自らがシンクライアントシステムのサーバを配置する場合は、モバイルネットワーク400上、固定網上、NGN網上のいずれかにサーバ装置10を配置することもできる。
画像エンコーダ部240やオーディオエンコーダ部250の圧縮符号化方式には種々の方式を使用できるのは上述のとおりである。また、第1のパケット送受信部260、第2のパケット送受信部270、第3のパケット送受信部280にて使用するプロトコルについても様々なプロトコルを使用することができる。
上述した帯域推定値算出部230におけるネットワークの帯域推定の方法は、例示であって、他の方法によりネットワークの帯域を推定してもよい。さらに、帯域推定値算出部230では、画像エンコーダ部240に対するビットレートの指示を行ったが、帯域推定値からビットレートを算出する際に、画像をエンコードする際のビットレートだけでなく、音声をエンコードする際のビットレートを含めたビットレートを算出してもよい。この場合には、帯域推定値算出部230は、画像エンコーダ部240及びオーディオエンコーダ部250の両者に対して、各々のビットレートを制御するように変更する。
上述したように、特許文献1が開示する通信システムでは、受信装置が片方向遅延時間、パケットロス率、受信レート等の統計データを算出する。その後、受信装置は片方向遅延を伝送するために拡張したRTCP(Real-time Transport Control Protocol)パケットを用いて統計データを送信装置に送信する。そのため、上り方向の送信データ量が多く、上りネットワーク帯域を圧迫する可能性がある。また、特許文献1には、送信装置において、どのように受信した統計情報からネットワークの帯域を推定するかについて具体的な開示はない。さらに、送信装置において、どのように遅延時間からエンコードレートを決定するかについて具体的な開示がない。
一方、本実施形態に係る通信システムでは、サーバ装置10から特定のパケット(プローブパケット)を連続して携帯端末50に送出し、携帯端末50が応答した情報に基づき、サーバ装置10の側でネットワークの帯域を推定する。そのため、携帯端末50における処理量が増大するという問題は生じない。また、携帯端末50から大きなサイズの統計データを送出する必要はないため、上り方向の帯域を圧迫することもない。
以上のように、モバイルパケットネットワークやLTE/EPCネットワークを介してシンクライアントシステムを構築する場合に、サーバ装置10から送出する圧縮符号化ビットストリームのビットレートを、ネットワークの帯域幅の時間的な変動に追従して制御する。その結果、ネットワーク上でのパケットの滞留やパケットロスがなくなり、携帯端末50側で画面の更新が遅くなる、画面が乱れる等のQoEの悪化を抑制することができる。
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
10、102 サーバ装置
20 パケット転送装置
30 無線ネットワーク制御装置
40 基地局
50 携帯端末
100 通信システム
101 端末装置
103、210 仮想クライアント部
104、240 画像エンコーダ部
105、230 帯域推定値算出部
200 操作信号パケット受信部
220 画面キャプチャ部
231 判別部
232、243 スイッチ
233 帯域推定部
241 バッファ部
242 差分判別部
244 画像符号化部
245 レート制御部
250 オーディオエンコーダ部
260 第1のパケット送受信部
270 第2のパケット送受信部
280 第3のパケット送受信部
300 クラウド網
400 モバイルネットワーク
20 パケット転送装置
30 無線ネットワーク制御装置
40 基地局
50 携帯端末
100 通信システム
101 端末装置
103、210 仮想クライアント部
104、240 画像エンコーダ部
105、230 帯域推定値算出部
200 操作信号パケット受信部
220 画面キャプチャ部
231 判別部
232、243 スイッチ
233 帯域推定部
241 バッファ部
242 差分判別部
244 画像符号化部
245 レート制御部
250 オーディオエンコーダ部
260 第1のパケット送受信部
270 第2のパケット送受信部
280 第3のパケット送受信部
300 クラウド網
400 モバイルネットワーク
Claims (9)
- 表示部を備える端末装置と、
ネットワークを介して前記端末装置における操作を受け付け、前記ネットワークを介して前記表示部に表示する画面情報を送信するサーバ装置と、
を含み、
前記サーバ装置は、
前記端末装置における操作に応じた処理を実行し、前記画面情報を生成する仮想クライアント部と、
前記画面情報を所定の方式より圧縮する画像エンコーダ部と、
前記ネットワークの帯域の推定値である帯域推定値を算出する帯域推定値算出部と、
前記帯域推定値算出部からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信すると共に、前記連続して送信された特定のパケットに対して前記端末装置が返信したパケットを前記帯域推定値算出部に出力するパケット送受信部と、
を備え、
前記帯域推定値算出部は、前記帯域推定値に基づき、前記画像エンコーダ部が前記画面情報を圧縮する際のビットレートを算出し、
前記帯域推定値算出部は、前記画像エンコーダ部が予め定めた所定の期間内に前記画面情報を圧縮していない場合には、前記連続して送信された特定のパケットに対する前記端末装置からの返信パケットを送信時刻順に並び替え、予め定めた時刻ごとに、下記の式
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、ことを特徴とする通信システム。 - 前記帯域推定値算出部は、
前記画面情報の送信に対する前記端末装置から返信される情報に基づき、前記帯域推定値を算出する請求項1の通信システム。 - 前記帯域推定値算出部は、
前記端末装置に対し、所定の時間以上、前記画面情報が送信されていない場合に、前記端末装置に対して送信された情報に対する、前記端末装置からの返信に基づき、前記帯域推定値を算出する請求項1又は2の通信システム。 - 前記帯域推定値算出部は、
前記端末装置に向けて送信したパケットのサイズと、前記端末装置に向けて送信されたパケットを前記端末装置が受け取った時刻と、に基づいて、前記帯域推定値を算出する請求項1乃至3のいずれか一項に記載の通信システム。 - 前記帯域推定値算出部は、
前記帯域推定値以下に前記ビットレートを設定する請求項1乃至4のいずれか一項に記載の通信システム。 - 前記仮想クライアント部は、音声情報が付随した前記画面情報を生成し、
前記サーバ装置は、
前記音声情報を前記画面情報から分離する画面キャプチャ部と、
前記音声情報を圧縮するオーディオエンコーダ部と、
を備える請求項1乃至5のいずれか一項に記載の通信システム。 - ネットワークを介して接続された端末装置における操作に応じた処理を実行し、前記端末装置に表示させる画面情報を生成する仮想クライアント部と、
前記画面情報を所定の方式より圧縮する画像エンコーダ部と、
前記ネットワークの帯域の推定値である帯域推定値を算出する帯域推定値算出部と、
前記帯域推定値算出部からの指示に基づき、前記端末装置に対し、特定のパケットを連続して送信すると共に、前記連続して送信された特定のパケットに対して前記端末装置が返信したパケットを前記帯域推定値算出部に出力するパケット送受信部と、
を備え、
前記帯域推定値算出部は、前記帯域推定値に基づき、前記画像エンコーダ部が前記画面情報を圧縮する際のビットレートを算出し、
前記帯域推定値算出部は、前記画像エンコーダ部が予め定めた所定の期間内に前記画面情報を圧縮していない場合には、前記連続して送信された特定のパケットに対する前記端末装置からの返信パケットを送信時刻順に並び替え、予め定めた時刻ごとに、下記の式
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、ことを特徴とするサーバ装置。 - ネットワークを介して接続された端末装置における操作に応じた処理を実行し、前記端末装置に表示させる画面情報を生成する仮想クライアント工程と、
前記画面情報を所定の方式より圧縮する画像エンコード工程と、
前記ネットワークの帯域の推定値である帯域推定値を算出する帯域推定値算出工程と、
前記帯域推定値に基づき、前記画面情報を圧縮する際のビットレートを算出する工程と、
前記端末装置に対し、特定のパケットを連続して送信すると共に、前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを受信するパケット送受信工程と、
を含み、
前記帯域推定値算出工程は、
前記画像エンコード工程が予め定めた所定の期間内に、前記画面情報を圧縮していない場合には、前記連続して送信された特定のパケットに対する前記端末装置からの返信パケットを送信時刻順に並び替え、予め定めた時刻ごとに、下記の式
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、ことを特徴とするサーバ装置の制御方法。 - ネットワークを介して接続された端末装置における操作に応じた処理を実行し、前記端末装置に表示させる画面情報を生成する仮想クライアント処理と、
前記画面情報を所定の方式より圧縮する画像エンコード処理と、
前記ネットワークの帯域の推定値である帯域推定値を算出する帯域推定値算出処理と、
前記帯域推定値に基づき、前記画面情報を圧縮する際のビットレートを算出する処理と、
前記端末装置に対し、特定のパケットを連続して送信すると共に、前記端末装置が前記連続して送信された特定のパケットに対して返信したパケットを受信するパケット送受信処理と、
をサーバ装置を制御するコンピュータに実行させ、
前記帯域推定値算出処理は、
前記画像エンコード処理が予め定めた所定の期間内に、前記画面情報を圧縮していない場合には、前記連続して送信された特定のパケットに対する前記端末装置からの返信パケットを送信時刻順に並び替え、予め定めた時刻ごとに、下記の式
に従い帯域推定値を算出し、D(i)はi番目に送信された前記特定のパケットのデータサイズを示し、R(M)はM番目(Mは正の整数)に送信された前記特定のパケットの前記携帯端末における受信時刻を示し、R(1)は最初に送信された前記特定のパケットの前記携帯端末における受信時刻を示す、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014529498A JP5858164B2 (ja) | 2012-08-06 | 2013-08-06 | 通信システム、サーバ装置、サーバ装置の制御方法及びプログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012173727 | 2012-08-06 | ||
JP2012173727 | 2012-08-06 | ||
JP2014529498A JP5858164B2 (ja) | 2012-08-06 | 2013-08-06 | 通信システム、サーバ装置、サーバ装置の制御方法及びプログラム |
PCT/JP2013/071206 WO2014024860A1 (ja) | 2012-08-06 | 2013-08-06 | 通信システム、サーバ装置、サーバ装置の制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5858164B2 true JP5858164B2 (ja) | 2016-02-10 |
JPWO2014024860A1 JPWO2014024860A1 (ja) | 2016-07-25 |
Family
ID=50068084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014529498A Expired - Fee Related JP5858164B2 (ja) | 2012-08-06 | 2013-08-06 | 通信システム、サーバ装置、サーバ装置の制御方法及びプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20150215180A1 (ja) |
EP (1) | EP2882164A4 (ja) |
JP (1) | JP5858164B2 (ja) |
KR (1) | KR101632012B1 (ja) |
CN (1) | CN104521222A (ja) |
TW (1) | TWI528771B (ja) |
WO (1) | WO2014024860A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6589261B2 (ja) * | 2014-08-28 | 2019-10-16 | 株式会社リコー | 配信制御システム、配信制御方法、及びプログラム |
US20160191589A1 (en) * | 2014-12-31 | 2016-06-30 | Sling Media Inc. | Systems and methods for guiding a disabled individual |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005069558A1 (ja) * | 2004-01-14 | 2005-07-28 | Nec Corporation | 速度算出システム |
WO2011040006A1 (ja) * | 2009-09-30 | 2011-04-07 | パナソニック株式会社 | 送信装置、受信装置、送受信システム、及び送受信方法 |
JP2012501566A (ja) * | 2008-08-26 | 2012-01-19 | エスケーテレコム株式会社 | メディアストリーミングのための伝送帯域幅測定システム及びその方法 |
JP2012118881A (ja) * | 2010-12-02 | 2012-06-21 | Fujitsu Ltd | 情報処理装置、情報処理方法および情報処理プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5847760A (en) * | 1997-05-22 | 1998-12-08 | Optibase Ltd. | Method for managing video broadcast |
US20020131496A1 (en) * | 2001-01-18 | 2002-09-19 | Vinod Vasudevan | System and method for adjusting bit rate and cost of delivery of digital data |
US20060034299A1 (en) * | 2003-11-03 | 2006-02-16 | Farhad Barzegar | Systems, methods, and devices for processing audio signals |
JP4838143B2 (ja) | 2004-11-17 | 2011-12-14 | シャープ株式会社 | 送信装置 |
US8170123B1 (en) * | 2008-04-15 | 2012-05-01 | Desktone, Inc. | Media acceleration for virtual computing services |
EP2237526A1 (en) * | 2009-03-30 | 2010-10-06 | NEC Corporation | Method for optimizing the remote display transfer in thin client computing environment |
WO2012029648A1 (ja) * | 2010-08-30 | 2012-03-08 | 日本電気株式会社 | サーバ装置、映像品質計測システム、映像品質計測方法およびプログラム |
JP5187389B2 (ja) * | 2010-12-28 | 2013-04-24 | ブラザー工業株式会社 | 通信装置、通信方法、および通信プログラム |
-
2013
- 2013-08-06 CN CN201380042035.5A patent/CN104521222A/zh active Pending
- 2013-08-06 EP EP13827589.6A patent/EP2882164A4/en not_active Withdrawn
- 2013-08-06 JP JP2014529498A patent/JP5858164B2/ja not_active Expired - Fee Related
- 2013-08-06 KR KR1020157001670A patent/KR101632012B1/ko active IP Right Grant
- 2013-08-06 TW TW102128051A patent/TWI528771B/zh not_active IP Right Cessation
- 2013-08-06 WO PCT/JP2013/071206 patent/WO2014024860A1/ja active Application Filing
- 2013-08-06 US US14/417,104 patent/US20150215180A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005069558A1 (ja) * | 2004-01-14 | 2005-07-28 | Nec Corporation | 速度算出システム |
JP2012501566A (ja) * | 2008-08-26 | 2012-01-19 | エスケーテレコム株式会社 | メディアストリーミングのための伝送帯域幅測定システム及びその方法 |
WO2011040006A1 (ja) * | 2009-09-30 | 2011-04-07 | パナソニック株式会社 | 送信装置、受信装置、送受信システム、及び送受信方法 |
JP2012118881A (ja) * | 2010-12-02 | 2012-06-21 | Fujitsu Ltd | 情報処理装置、情報処理方法および情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN104521222A (zh) | 2015-04-15 |
TWI528771B (zh) | 2016-04-01 |
KR20150031310A (ko) | 2015-03-23 |
EP2882164A1 (en) | 2015-06-10 |
EP2882164A4 (en) | 2016-04-06 |
TW201421953A (zh) | 2014-06-01 |
WO2014024860A1 (ja) | 2014-02-13 |
US20150215180A1 (en) | 2015-07-30 |
JPWO2014024860A1 (ja) | 2016-07-25 |
KR101632012B1 (ko) | 2016-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5983761B2 (ja) | サーバ装置、端末、シンクライアントシステム、画面送信方法およびプログラム | |
CN106851281B (zh) | 实时视频传输的初始带宽估计 | |
JP5888417B2 (ja) | 通信システムと方法とプログラム | |
WO2011142311A1 (ja) | リモート型携帯通信システム、サーバ装置及びリモート型携帯通信システム制御方法 | |
CN106973294B (zh) | 实时视频传输的初始带宽估计 | |
CN106162199B (zh) | 带反向信道消息管理的视频处理的方法和*** | |
JP5943082B2 (ja) | リモート通信システム、サーバ装置、リモート通信方法、および、プログラム | |
JP5812634B2 (ja) | 送信装置及び送信方法、並びにプログラム | |
CN105979284B (zh) | 移动终端视频共享方法 | |
JP5505507B2 (ja) | サーバ装置、映像品質計測システム、映像品質計測方法およびプログラム | |
JP5858164B2 (ja) | 通信システム、サーバ装置、サーバ装置の制御方法及びプログラム | |
JP5488694B2 (ja) | リモート型携帯通信システム、サーバ装置及びリモート型携帯通信システム制御方法 | |
WO2014042137A1 (ja) | 通信システムと方法とサーバ装置及び端末 | |
WO2014057809A1 (ja) | 動画伝送システム及び方法 | |
WO2014046239A1 (ja) | 通信システムと方法とサーバ装置及び端末 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5858164 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |