JP2013110707A - Information processing device, information processing terminal, information processing system, information processing method, program, and information storage medium - Google Patents

Abstract

PROBLEM TO BE SOLVED: To reduce wasteful use of a bandwidth of a network used for stream transmission.SOLUTION: A data transmission unit 32 transmits a stream to a client 12. A data reception unit 30 receives a notification about the status of the client 12 transmitted from the client 12. When the data reception unit 30 receives the notification about the status of the client 12, the data transmission unit 32 stops transmission of at least part of the stream to the client 12 depending on the status.

Description

本発明は、情報処理装置、情報処理端末、情報処理システム、情報処理方法、プログラム及び情報記憶媒体に関する。   The present invention relates to an information processing device, an information processing terminal, an information processing system, an information processing method, a program, and an information storage medium.

動画像や音声等のストリームを送信する技術が存在する。   There is a technique for transmitting a stream such as a moving image or sound.

従来技術では、ユーザの操作が行われること等によって、例えば、ミュート状態になる、スクリーンセーバの実行が開始される、ロック状態となる、などというように、ストリームの送信先の情報処理端末の状況が変化しても、そのことに応じてストリームの送信が変化することはなかった。   In the prior art, when a user operation is performed, for example, the state of the information processing terminal that is the transmission destination of the stream is, for example, the mute state, the execution of the screen saver is started, or the lock state is set. Even if it changed, the transmission of the stream did not change accordingly.

そのため、例えば、情報処理端末がミュート状態となっていても音声のストリームの送信が継続される、送信される動画像のストリームに基づいて生成される画像が情報処理端末で表示されない状況となっていても動画像のストリームの送信が継続される、などのようにして、ストリームの送信に用いられるネットワークの帯域幅が無駄に使用されてしまうことがあった。   Therefore, for example, even when the information processing terminal is in the mute state, transmission of the audio stream is continued, and an image generated based on the transmitted moving image stream is not displayed on the information processing terminal. However, the network bandwidth used for stream transmission may be wasted, such as transmission of a moving image stream being continued.

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、ストリーム送信に用いられるネットワークの帯域幅の無駄な使用を低減させることにある。   The present invention has been made in view of the above problems, and one of its purposes is to reduce the wasteful use of network bandwidth used for stream transmission.

上記課題を解決するために、本発明に係る情報処理装置は、ストリームを情報処理端末に送信するストリーム送信手段と、前記情報処理端末から送信される、前記情報処理端末の状況に関する通知を受け付ける通知受付手段と、を含み、前記ストリーム送信手段は、前記情報処理端末の状況に関する通知を前記通知受付手段が受け付けた際に、当該状況に応じて前記ストリームの少なくとも一部の前記情報処理端末への送信を停止することを特徴とする。   In order to solve the above-described problem, an information processing apparatus according to the present invention includes a stream transmission unit that transmits a stream to an information processing terminal, and a notification that receives a notification regarding the status of the information processing terminal transmitted from the information processing terminal. And when the notification receiving unit receives a notification regarding the status of the information processing terminal, the stream transmission unit sends at least a part of the stream to the information processing terminal according to the status. The transmission is stopped.

また、本発明に係る情報処理端末は、情報処理装置から送信されるストリームを受信するストリーム受信手段と、自端末の状況に関する通知を前記情報処理装置に送信する通知送信手段と、を含み、前記情報処理装置が前記状況に関する通知を受け付けた際に、当該状況に応じて、前記情報処理装置から送信されているストリームの少なくとも一部の送信が停止される、ことを特徴とする。   The information processing terminal according to the present invention includes: a stream receiving unit that receives a stream transmitted from the information processing device; and a notification transmission unit that transmits a notification regarding the status of the terminal to the information processing device, When the information processing apparatus receives a notification regarding the situation, transmission of at least a part of the stream transmitted from the information processing apparatus is stopped according to the situation.

また、本発明に係る情報処理システムは、情報処理装置と、情報処理端末と、を備え、前記情報処理端末は、前記情報処理装置から送信されるストリームを受信するストリーム受信手段と、当該情報処理端末の状況に関する通知を前記情報処理装置に送信する通知送信手段、を含み、前記情報処理装置は、ストリームを情報処理端末に送信するストリーム送信手段と、前記情報処理端末から送信される、前記情報処理端末の状況に関する通知を受け付ける通知受付手段と、を含み、前記ストリーム送信手段は、前記情報処理端末の状況に関する通知を前記通知受付手段が受け付けた際に、当該状況に応じて前記ストリームの少なくとも一部の前記情報処理端末への送信を停止することを特徴とする。   An information processing system according to the present invention includes an information processing device and an information processing terminal, wherein the information processing terminal receives a stream transmitted from the information processing device, and the information processing device. Notification transmitting means for transmitting a notification regarding the status of the terminal to the information processing apparatus, wherein the information processing apparatus transmits the stream to the information processing terminal, and the information transmitted from the information processing terminal. Notification receiving means for receiving a notification regarding the status of the processing terminal, and when the notification receiving means receives a notification regarding the status of the information processing terminal, the stream transmitting means receives at least one of the streams according to the status. Transmission to some of the information processing terminals is stopped.

また、本発明に係る情報処理方法は、ストリームを情報処理端末に送信するストリーム送信ステップと、前記情報処理端末から送信される、前記情報処理端末の状況に関する通知を受け付ける通知受付ステップと、を含み、前記ストリーム送信ステップでは、前記情報処理端末の状況に関する通知を前記通知受付手段が受け付けた際に、当該状況に応じて前記ストリームの少なくとも一部の前記情報処理端末への送信を停止することを特徴とする。   The information processing method according to the present invention includes a stream transmission step of transmitting a stream to an information processing terminal, and a notification reception step of receiving a notification regarding the status of the information processing terminal transmitted from the information processing terminal. In the stream transmission step, when the notification reception unit receives a notification regarding the status of the information processing terminal, the transmission of at least a part of the stream to the information processing terminal is stopped according to the status. Features.

また、本発明に係るプログラムは、ストリームを情報処理端末に送信するストリーム送信手段、前記情報処理端末から送信される、前記情報処理端末の状況に関する通知を受け付ける通知受付手段、としてコンピュータを機能させ、前記ストリーム送信手段は、前記情報処理端末の状況に関する通知を前記通知受付手段が受け付けた際に、当該状況に応じて前記ストリームの少なくとも一部の前記情報処理端末への送信を停止することを特徴とする。   Further, the program according to the present invention causes a computer to function as a stream transmission unit that transmits a stream to an information processing terminal, a notification reception unit that receives a notification regarding the status of the information processing terminal, transmitted from the information processing terminal, The stream transmission unit stops transmission of at least a part of the stream to the information processing terminal according to the status when the notification reception unit receives a notification regarding the status of the information processing terminal. And

また、本発明に係る情報記憶媒体は、ストリームを情報処理端末に送信するストリーム送信手段、前記情報処理端末から送信される、前記情報処理端末の状況に関する通知を受け付ける通知受付手段、としてコンピュータを機能させ、前記ストリーム送信手段は、前記情報処理端末の状況に関する通知を前記通知受付手段が受け付けた際に、当該状況に応じて前記ストリームの少なくとも一部の前記情報処理端末への送信を停止することを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。   The information storage medium according to the present invention functions as a stream transmission unit that transmits a stream to an information processing terminal, and a notification reception unit that receives a notification regarding the status of the information processing terminal transmitted from the information processing terminal. And when the notification receiving unit receives a notification regarding the status of the information processing terminal, the stream transmission unit stops transmission of at least a part of the stream to the information processing terminal according to the status. A computer-readable information storage medium storing a program characterized by the above.

本発明によれば、情報処理端末の状況に応じて、情報処理装置から情報処理端末へ送信されるストリームの少なくとも一部について、送信が停止されるため、ストリーム送信に用いられるネットワークの帯域幅の無駄な使用が低減される。   According to the present invention, transmission is stopped for at least a part of the stream transmitted from the information processing apparatus to the information processing terminal according to the situation of the information processing terminal, so that the bandwidth of the network used for stream transmission is reduced. Wasteful use is reduced.

本発明の一態様では、前記ストリーム送信手段は、前記情報処理端末がミュート状態となった際に前記情報処理端末から送信される通知を前記通知受付手段が受け付けた場合に、音声のストリームの前記情報処理端末への送信を停止することを特徴とする。   In one aspect of the present invention, the stream transmitting unit receives the notification transmitted from the information processing terminal when the information processing terminal is muted, and the stream receiving unit receives the notification of the audio stream. The transmission to the information processing terminal is stopped.

また、本発明の一態様では、前記ストリーム送信手段は、前記情報処理端末がミュート状態となった際に前記情報処理端末から送信される通知を前記通知受付手段が受け付けた場合に、音声のストリームの前記情報処理端末への送信を停止し、動画像のストリームの前記情報処理端末への送信は継続することを特徴とする。   Also, in one aspect of the present invention, the stream transmission unit receives an audio stream when the notification reception unit receives a notification transmitted from the information processing terminal when the information processing terminal is muted. Transmission to the information processing terminal is stopped, and transmission of a moving image stream to the information processing terminal is continued.

また、本発明の一態様では、前記ストリーム送信手段は、前記情報処理端末での出力音量が小さいほど小さくなるよう決定されるビットレートで、音声のストリームを前記情報処理端末へ送信することを特徴とする。   In one aspect of the present invention, the stream transmitting means transmits an audio stream to the information processing terminal at a bit rate determined so as to decrease as the output volume at the information processing terminal decreases. And

また、本発明の一態様では、前記ストリーム送信手段は、前記情報処理端末で音声がモノラル再生で出力される状態となった際に前記情報処理端末から送信される通知を前記通知受付手段が受け付けた場合に、音声のストリームをモノラルで前記情報処理端末に送信することを特徴とする。   In one aspect of the present invention, the stream transmitting unit receives the notification transmitted from the information processing terminal when the information processing terminal is in a state where sound is output in monaural reproduction. In this case, the audio stream is transmitted to the information processing terminal in monaural.

また、本発明の一態様では、前記ストリーム送信手段は、前記ストリーム送信手段により送信されるストリームに基づいて生成される画像が前記情報処理端末に表示されない状態となった際に前記情報処理端末から送信される通知を前記通知受付手段が受け付けた場合に、ストリームの前記情報処理端末への送信を停止することを特徴とする。   Moreover, in one aspect of the present invention, the stream transmission unit receives the information generated from the information processing terminal when an image generated based on the stream transmitted by the stream transmission unit is not displayed on the information processing terminal. When the notification reception unit receives a notification to be transmitted, transmission of the stream to the information processing terminal is stopped.

また、本発明の一態様では、前記ストリーム送信手段により送信されるストリームに基づいて生成される画像が前記情報処理端末に表示されない状態となった際に前記情報処理端末から送信される通知を前記通知受付手段が受け付けた場合に、前記ストリーム送信手段により送信されるストリームに含まれるコンテンツを生成するプロセスを停止するプロセス停止手段、をさらに含む、ことを特徴とする。   In one aspect of the present invention, a notification transmitted from the information processing terminal when an image generated based on the stream transmitted by the stream transmission unit is not displayed on the information processing terminal is transmitted. And a process stop unit that stops a process of generating content included in the stream transmitted by the stream transmission unit when the notification reception unit receives the process.

また、本発明の一態様では、前記ストリーム送信手段は、ストリームの送信中に、送信するストリームのコンテンツが変化した際に、当該変化に応じて、送信するストリームの品質を変化させることを特徴とする。   In one aspect of the present invention, the stream transmission means changes the quality of the stream to be transmitted according to the change when the content of the stream to be transmitted changes during the transmission of the stream. To do.

また、本発明の一態様では、前記ストリーム送信手段は、送信対象となるコンテンツから前記情報処理端末に記憶済であるコンテンツを除外したコンテンツのストリームを前記情報処理端末に送信することを特徴とする。   In one aspect of the present invention, the stream transmission unit transmits a content stream in which content stored in the information processing terminal is excluded from content to be transmitted to the information processing terminal. .

本発明の一実施形態に係るコンピュータネットワークの全体構成の一例を示す図である。It is a figure which shows an example of the whole structure of the computer network which concerns on one Embodiment of this invention. 本発明の一実施形態に係るクラウドサービスとクライアントとの関係の一例を示す概念図である。It is a conceptual diagram which shows an example of the relationship between the cloud service which concerns on one Embodiment of this invention, and a client. 本発明の一実施形態に係るクラウドサービス及びクライアントで実現される機能の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the function implement | achieved by the cloud service and client which concern on one Embodiment of this invention.

以下、本発明の一実施形態について図面に基づき詳細に説明する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

図１は、本発明の一実施形態に係るコンピュータネットワークの全体構成の一例を示す図である。図１に示すように、インターネットなどのコンピュータネットワーク１４には、いずれもコンピュータを中心に構成されたクラウドサービス１０、クライアント１２（１２−１〜１２−ｎ）、が接続されている。そして、クラウドサービス１０、クライアント１２は、互いに通信可能になっている。本実施形態では、クラウドサービス１０は、情報処理装置として機能し、クライアント１２は、情報処理端末として機能する。また、本実施形態では、クラウドサービス１０及びクライアント１２全体として情報処理システムとして機能する。   FIG. 1 is a diagram showing an example of the overall configuration of a computer network according to an embodiment of the present invention. As shown in FIG. 1, a cloud service 10 and clients 12 (12-1 to 12-n), each of which is configured mainly by a computer, are connected to a computer network 14 such as the Internet. The cloud service 10 and the client 12 can communicate with each other. In the present embodiment, the cloud service 10 functions as an information processing apparatus, and the client 12 functions as an information processing terminal. In the present embodiment, the cloud service 10 and the client 12 as a whole function as an information processing system.

クライアント１２は、クラウドサービス１０のユーザが利用するコンピュータであり、例えば、パーソナルコンピュータ、ゲームコンソール、テレビ受像機、携帯型ゲーム装置、携帯情報端末、などである。そして、クライアント１２は、例えば、ＣＰＵ等の制御部、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブ等の記憶部、ディスプレイ、スピーカ等の出力部、ゲームコントローラ、タッチパッド、マウス、キーボード、マイク等の入力部、ネットワークボード等の通信部、等を備えている。   The client 12 is a computer used by the user of the cloud service 10, and is, for example, a personal computer, a game console, a television receiver, a portable game device, a portable information terminal, or the like. The client 12 includes, for example, a control unit such as a CPU, a storage element such as a ROM and a RAM, a storage unit such as a hard disk drive, an output unit such as a display and a speaker, a game controller, a touch pad, a mouse, a keyboard, and a microphone. An input unit, a communication unit such as a network board, and the like are provided.

また、本実施形態に係るクライアント１２は、ウェブブラウザ及びクライアントプログラムが予めインストールされており、これらのアプリケーションプログラムが実行される。   The client 12 according to the present embodiment has a web browser and a client program installed in advance, and these application programs are executed.

クラウドサービス１０は、例えば、分散コンピューティング環境であり、互いに通信可能に接続されている複数台のＷｅｂアプリケーションサーバ、複数台のデータベースサーバ、複数台のストレージデバイス、などを含んで構成されている。クラウドサービス１０に含まれるサーバは、例えば、ＣＰＵ等の制御部、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである記憶部、ネットワークボードなどの通信インタフェースである通信部、を含んで構成されている。これらの要素は、バスを介して接続される。   The cloud service 10 is, for example, a distributed computing environment, and includes a plurality of Web application servers, a plurality of database servers, a plurality of storage devices, and the like that are connected to be communicable with each other. The server included in the cloud service 10 includes, for example, a control unit such as a CPU, a storage unit such as a ROM or RAM, a storage unit such as a hard disk drive, and a communication unit that is a communication interface such as a network board. Yes. These elements are connected via a bus.

クラウドサービス１０を利用するクライアント１２は、クラウドサービス１０内に存在するサーバやストレージデバイスなどのリソースの所在を特に意識することなく、クラウドサービス１０が提供する各種サービスを利用することができる。   The client 12 using the cloud service 10 can use various services provided by the cloud service 10 without being particularly aware of the location of resources such as servers and storage devices existing in the cloud service 10.

本実施形態では、クライアント１２が、ウェブブラウザを通じてクラウドサービス１０にアクセスし、ユーザＩＤ及びパスワードを入力してから、その後に所定のＵＲＬにアクセスすると、クライアント１２のディスプレイに所定のＵＲＬに対応する画面が表示される。なお、ユーザＩＤ及びパスワードを入力した後は、クラウドサービス１０は、例えば、セッションＩＤを参照することによりクライアント１２を利用するユーザのユーザＩＤを特定することができるようになっている。   In this embodiment, when the client 12 accesses the cloud service 10 through a web browser, inputs a user ID and password, and then accesses a predetermined URL, a screen corresponding to the predetermined URL appears on the display of the client 12. Is displayed. After inputting the user ID and password, the cloud service 10 can specify the user ID of the user who uses the client 12 by referring to the session ID, for example.

本実施形態では、例えば、クライアント１２から、ゲームのプレイの実行の開始要求がクラウドサービス１０に送信されると、クラウドサービス１０はそのゲームの実行を開始する。そして、このゲームが実行されている間、クラウドサービス１０は、このゲームのプレイ内容を表す、エンコードされた音声付動画像のデータをクライアント１２にストリーム送信する。そして、クライアント１２は、この音声付動画像のデータを受信し、デコードし、デコードされた動画像のフレーム画像が配置されたゲーム画面を生成して、クライアント１２のディスプレイ等に表示出力するともに、受信した音声のデータを音に変換してクライアント１２のスピーカ等から出力する。また、本実施形態では、例えば、ユーザが、クライアント１２が備えるゲームコントローラやボタンを操作することで、スピーカ等からの出力音量をクライアント１２側で調整（変更）できるようになっている。そして、本実施形態では、クラウドサービス１０からクライアント１２に送信される音声のデータは、原則として（例えば、後述のようにして、クラウドサービス１０が、クライアント１２から受信するイベント対応データに応じた、クラウドサービス１０からクライアント１２に送信されるストリームの制御を行わない限りにおいては）、クライアント１２側で調整される出力音量には関わらない。   In the present embodiment, for example, when a request to start playing a game is transmitted from the client 12 to the cloud service 10, the cloud service 10 starts executing the game. While this game is being executed, the cloud service 10 stream-encodes the encoded moving image data with sound representing the play content of the game to the client 12. Then, the client 12 receives and decodes the data of the moving image with sound, generates a game screen on which the frame image of the decoded moving image is arranged, and displays and outputs it on the display of the client 12. The received voice data is converted into sound and output from the speaker or the like of the client 12. In this embodiment, for example, the user can adjust (change) the output volume from the speaker or the like on the client 12 side by operating a game controller or a button provided in the client 12. In this embodiment, the voice data transmitted from the cloud service 10 to the client 12 is in principle (for example, in accordance with the event corresponding data received by the cloud service 10 from the client 12 as described below. As long as the stream transmitted from the cloud service 10 to the client 12 is not controlled), it does not relate to the output volume adjusted on the client 12 side.

本実施形態では、各ユーザは、クラウドサービス１０から送信された動画像を見ながら、ゲームコントローラのボタンを押下するなどしてゲームを楽しむことができる。本実施形態では、各ユーザは、ゲームコントローラのボタンを押下するなどの、キー入力を行うことにより、ゲームにおけるプレイヤオブジェクトの移動等の操作を行うことができる。   In this embodiment, each user can enjoy a game by pressing a button on the game controller while watching a moving image transmitted from the cloud service 10. In this embodiment, each user can perform operations such as movement of a player object in a game by performing key input such as pressing a button of a game controller.

図２は、本実施形態に係るクラウドサービス１０とクライアント１２との関係の一例を示す概念図である。本実施形態に係るクラウドサービス１０では、例えば、管理プロセス２０、サービス提供プロセス２２、エミュレータ２４が実行される。また、クラウドサービス１０に含まれるストレージデバイス等の記憶部には、予め、ＣＤ−ＲＯＭ等の情報記憶媒体のイメージファイル（ディスクイメージ）が記憶されている。このイメージファイルには、例えば、ゲームプログラム、画像、音声のデータ等、が含まれる。   FIG. 2 is a conceptual diagram showing an example of the relationship between the cloud service 10 and the client 12 according to the present embodiment. In the cloud service 10 according to the present embodiment, for example, a management process 20, a service providing process 22, and an emulator 24 are executed. An image file (disk image) of an information storage medium such as a CD-ROM is stored in advance in a storage unit such as a storage device included in the cloud service 10. This image file includes, for example, a game program, images, audio data, and the like.

サービス提供プロセス２２は、例えば、クラウドサービス１０に含まれるサーバが、ショッピングサイトやＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等、クラウドサービス１０が提供する種々のサービスを実現するプログラムを起動することで生成されるプロセスである。   The service providing process 22 is, for example, a process generated when a server included in the cloud service 10 starts a program that realizes various services provided by the cloud service 10 such as a shopping site or an SNS (Social Networking Service). It is.

管理プロセス２０は、例えば、クラウドサービス１０に含まれるサーバが、クラウドサービス１０に含まれるサーバやストレージデバイスにインストールされている管理プログラムを起動することで生成されるプロセスであり、エミュレータ２４の所在管理処理、エミュレータ２４の起動処理及び停止処理、クライアント１２からの要求に応じたクライアント１２とエミュレータ２４との接続処理及び切断処理、などを実行する。   The management process 20 is a process generated when, for example, a server included in the cloud service 10 starts a management program installed in a server or storage device included in the cloud service 10, and the location management of the emulator 24 is performed. Processing, processing for starting and stopping the emulator 24, processing for connecting and disconnecting the client 12 and the emulator 24 in response to a request from the client 12, and the like are executed.

エミュレータ２４は、例えば、クラウドサービス１０に含まれるサーバやストレージデバイスに記憶されているゲームプログラムを実行するための仮想マシンとして機能するプロセスである。エミュレータ２４は、管理プロセス２０が、クライアント１２からの要求に応じて、クラウドサービス１０に含まれるサーバやストレージデバイスにインストールされているエミュレータプログラムを起動することにより生成される。そして、管理プロセス２０は、クライアント１２からの要求に応じて、クライアント１２により指定されたゲームプログラムのイメージファイルを読み込み、エミュレータ２４にロードする。このことによって、エミュレータ２４上でゲームプログラムが実行されることとなる。なお、エミュレータ２４が、クライアント１２により指定されたゲームプログラムを自プロセスにロードするようにしてもよい。   For example, the emulator 24 is a process that functions as a virtual machine for executing a game program stored in a server or a storage device included in the cloud service 10. The emulator 24 is generated when the management process 20 starts an emulator program installed in a server or storage device included in the cloud service 10 in response to a request from the client 12. In response to a request from the client 12, the management process 20 reads an image file of a game program designated by the client 12 and loads it into the emulator 24. As a result, the game program is executed on the emulator 24. The emulator 24 may load the game program designated by the client 12 into its own process.

また、エミュレータ２４は、例えば、クライアント１２や管理プロセス２０からの要求に応じて、エミュレータ２４が管理しているエミュレートされたメモリイメージやレジスタ（例えば、プログラムカウンタ等）、エミュレータ２４上で動作するゲームプログラムによる入出力アクセスログ、エミュレータ２４上で実行されるＣＰＵ命令やＧＰＵ命令のログなどを出力する。   Further, the emulator 24 operates on the emulator 24, for example, an emulated memory image or register (for example, a program counter) managed by the emulator 24 in response to a request from the client 12 or the management process 20. An input / output access log by a game program, a log of a CPU instruction or a GPU instruction executed on the emulator 24, and the like are output.

本実施形態では、図２に示すように、１つのエミュレータ２４を１つのクライアント１２が専有することができる（ゲームプログラムＰ１参照）。また、１つのエミュレータ２４に対して複数のクライアント１２が接続可能となっている（ゲームプログラムＰ２参照）。また、１つのエミュレータ２４上で複数のゲームプログラムが実行可能となっている（ゲームプログラムＰ３、Ｐ４参照）。   In the present embodiment, as shown in FIG. 2, one client 12 can occupy one emulator 24 (see game program P1). Further, a plurality of clients 12 can be connected to one emulator 24 (see game program P2). A plurality of game programs can be executed on one emulator 24 (see game programs P3 and P4).

また、本実施形態では、各クライアント１２には、エミュレータプログラムがインストールされている。そして、管理プロセス２０は、クライアント１２からの要求に応じて、クライアント１２にエミュレータ２４の起動指示や停止指示を出力する。クライアント１２は、管理プロセス２０から受け付ける起動指示に応じて、クライアント１２にインストールされているエミュレータプログラムを起動する。また、クライアント１２は、管理プロセス２０から受け付ける停止指示に応じて、実行中のエミュレータ２４を停止する。そして、クライアント１２に記憶されているゲームプログラムをクライアント１２で実行されているエミュレータ２４で実行することもできるようになっている（ゲームプログラムＰ５参照）。また、クライアント１２で実行されているエミュレータ２４に対して他のクライアント１２から接続できるようになっている（ゲームプログラムＰ６参照）。   In this embodiment, an emulator program is installed in each client 12. Then, the management process 20 outputs an instruction to start or stop the emulator 24 to the client 12 in response to a request from the client 12. The client 12 activates the emulator program installed in the client 12 in response to the activation instruction received from the management process 20. Further, the client 12 stops the emulator 24 being executed in response to the stop instruction received from the management process 20. And the game program memorize | stored in the client 12 can also be run with the emulator 24 currently run by the client 12 (refer game program P5). Further, the emulator 24 running on the client 12 can be connected from another client 12 (see the game program P6).

また、本実施形態では、図２に示すように、１つのクライアント１２が複数のエミュレータ２４に接続することもできる（ゲームプログラムＰ７、Ｐ８参照）。   In the present embodiment, as shown in FIG. 2, one client 12 can be connected to a plurality of emulators 24 (see game programs P7 and P8).

図３は、本実施形態に係るクラウドサービス１０及びクライアント１２で実現される機能の一例を示す機能ブロック図である。なお、図３には、以下の説明と特に関係がある機能が示されているにすぎず、本実施形態に係るクラウドサービス１０やクライアント１２では、図３に示す機能以外の機能も実現されている。   FIG. 3 is a functional block diagram illustrating an example of functions realized by the cloud service 10 and the client 12 according to the present embodiment. Note that FIG. 3 only shows functions that are particularly related to the following description. In the cloud service 10 and the client 12 according to the present embodiment, functions other than the functions shown in FIG. 3 are also realized. Yes.

図３に示すように、本実施形態に係るクラウドサービス１０は、機能的には、例えば、データ受信部３０、データ送信部３２、エミュレータ管理部３４、ゲーム実行部３６、送信制御部３８、を含んでいる。データ受信部３０、データ送信部３２は、クラウドサービス１０が備えるネットワークボードなどの通信インタフェースを主として実現される。また、ゲーム実行部３６は、例えば、エミュレータ２４で実現される機能に対応する。その他の要素は、例えば、管理プロセス２０で実現される機能に対応する。   As shown in FIG. 3, the cloud service 10 according to the present embodiment functionally includes, for example, a data reception unit 30, a data transmission unit 32, an emulator management unit 34, a game execution unit 36, and a transmission control unit 38. Contains. The data receiving unit 30 and the data transmitting unit 32 are mainly realized by a communication interface such as a network board provided in the cloud service 10. Further, the game execution unit 36 corresponds to a function realized by the emulator 24, for example. The other elements correspond to functions realized by the management process 20, for example.

また、図３に示すように、本実施形態に係るクライアント１２は、機能的には、例えば、データ受信部４０、データ送信部４２、デコード部４４、データ出力部４６、状況監視部４８、を含んで構成される。データ受信部４０、データ送信部４２は、クライアント１２が備えるネットワークボードなどの通信インタフェースを主として実現される。状況監視部４８、デコード部４４は、クライアント１２が備えるＣＰＵ等の制御部を主として実現される。データ出力部４６は、クライアント１２が備えるディスプレイやスピーカなどの出力部を主として実現される。   As shown in FIG. 3, the client 12 according to the present embodiment functionally includes, for example, a data receiving unit 40, a data transmitting unit 42, a decoding unit 44, a data output unit 46, and a situation monitoring unit 48. Consists of including. The data receiving unit 40 and the data transmitting unit 42 are mainly realized by a communication interface such as a network board provided in the client 12. The situation monitoring unit 48 and the decoding unit 44 are mainly realized by a control unit such as a CPU provided in the client 12. The data output unit 46 is realized mainly by an output unit such as a display or a speaker provided in the client 12.

クラウドサービス１０は、上述のようにコンピュータを中心に構成されており、プログラムを実行することにより、図３においてクラウドサービス１０が担う各機能要素が実現されるようになっている。また、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどの通信ネットワークを介してクラウドサービス１０に供給される。また、クライアント１２も、上述のようにコンピュータを中心に構成されており、上述のクライアントプログラムを実行することにより、図３においてクライアント１２が担う各機能要素が実現されるようになっている。また、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどの通信ネットワークを介してクライアント１２に供給される。   The cloud service 10 is mainly configured by a computer as described above, and each functional element that the cloud service 10 bears in FIG. 3 is realized by executing a program. The program is supplied to the cloud service 10 via a computer-readable information storage medium such as a CD-ROM or DVD-ROM or via a communication network such as the Internet. In addition, the client 12 is also configured with a computer as described above. By executing the above-described client program, each functional element that the client 12 bears in FIG. 3 is realized. The program is supplied to the client 12 via a computer-readable information storage medium such as a CD-ROM or DVD-ROM, or via a communication network such as the Internet.

エミュレータ管理部３４は、本実施形態では、例えば、クライアント１２からの要求に応じてエミュレータ２４を起動したり停止したりする。また、エミュレータ管理部３４は、クライアント１２からの要求に応じた、クライアント１２とエミュレータ２４との接続処理及び切断処理を実行する。また、エミュレータ管理部３４は、起動したエミュレータ２４へのゲームプログラムのイメージファイルのロードも行う。また、エミュレータ管理部３４は、エミュレータ２４の所在管理処理も実行する。   In this embodiment, for example, the emulator management unit 34 starts and stops the emulator 24 in response to a request from the client 12. In addition, the emulator management unit 34 performs connection processing and disconnection processing between the client 12 and the emulator 24 in response to a request from the client 12. The emulator management unit 34 also loads an image file of the game program to the activated emulator 24. The emulator management unit 34 also executes location management processing of the emulator 24.

本実施形態では、例えば、クライアントのデータ送信部４２が、クラウドサービス１０に、ゲームの実行の開始要求を送信する。すると、クラウドサービス１０のデータ受信部３０が、実行要求を受信する。   In the present embodiment, for example, the data transmission unit 42 of the client transmits a game execution start request to the cloud service 10. Then, the data receiving unit 30 of the cloud service 10 receives the execution request.

そして、クラウドサービス１０のエミュレータ管理部３４は、エミュレータ２４を起動し、起動したエミュレータ２４にプレイされる対象となるゲームのイメージファイルをロードする。そして、エミュレータ管理部３４は、起動したエミュレータ２４と、ゲームの実行の開始要求の送信元のクライアント１２と、を接続する。そして、ゲーム実行部３６が、ロードされたゲームの実行を開始する。   Then, the emulator management unit 34 of the cloud service 10 activates the emulator 24 and loads an image file of a game to be played on the activated emulator 24. Then, the emulator management unit 34 connects the activated emulator 24 and the client 12 that is the transmission source of the game execution start request. Then, the game execution unit 36 starts executing the loaded game.

そして、本実施形態では、ゲームの実行中に、クライアント１２がユーザによるボタンの押下などのキー入力を受け付けた際に、クライアント１２のデータ送信部４２が、入力に応じたキー情報（例えば、押下されたボタンの種別を示す信号）を、クラウドサービス１０に送信する。そして、クラウドサービス１０のデータ受信部３０は、このキー情報を受信する。   In this embodiment, when the client 12 receives a key input such as a button press by the user during the execution of the game, the data transmission unit 42 of the client 12 receives key information (for example, a press key) corresponding to the input. The signal indicating the type of the button that has been sent) is transmitted to the cloud service 10. Then, the data receiving unit 30 of the cloud service 10 receives this key information.

そして、本実施形態では、ゲームの開始以降、所定のゲーム更新時間毎（例えば、１／６０秒毎）に、クラウドサービス１０のゲーム実行部３６が、クラウドサービス１０のデータ受信部３０により受信されたキー情報の取得を行う。そして、キー情報の取得が終わると、ゲーム実行部３６は、取得したキー情報などに応じた、ゲームの状況を示すゲーム状況データの更新を行う。そして、ゲーム状況の更新が行われると、ゲーム実行部３６は、更新後のゲーム状況データ（例えば、更新後のオブジェクト群の位置や向きを示すゲーム状況データ）に基づいて、ゲームのプレイ内容を表すフレーム画像を生成する。また、ゲーム実行部３６は、ゲーム状況が更新されたことによって、ゲームのＢＧＭや効果音等の音声を再生するイベントが発生したと判定された場合には、再生の対象となるＢＧＭや効果音等の音声（例えば、音声ファイルとして記憶部に記憶されている音声）を再生する。   In the present embodiment, the game execution unit 36 of the cloud service 10 is received by the data reception unit 30 of the cloud service 10 every predetermined game update time (for example, every 1/60 seconds) after the start of the game. Get the key information. When the acquisition of the key information ends, the game execution unit 36 updates the game situation data indicating the game situation according to the acquired key information and the like. Then, when the game situation is updated, the game execution unit 36 determines the game play content based on the updated game situation data (for example, game situation data indicating the position and orientation of the updated object group). Generate a frame image to represent. In addition, when it is determined that an event for reproducing a sound such as BGM or sound effect of the game has occurred due to the update of the game situation, the game executing unit 36 plays the BGM or sound effect that is to be reproduced. Or the like (for example, a voice stored in the storage unit as a voice file).

そして、本実施形態では、クラウドサービス１０の送信制御部３８が、所定のデータ送信間隔（例えば、１／６０秒間隔）で、未送信のフレーム画像と未送信の音声のデータとに基づいて、エンコードされたコンテンツのストリームのパケットを生成する。クラウドサービス１０の送信制御部３８は、本実施形態では、例えば、エンコードされた音声付動画像のストリームのパケットを生成する。なお、このパケットには、生成時刻順に順序づけられている識別子が関連づけられている。そして、クラウドサービス１０のデータ送信部３２が、当該パケットをクライアント１２に送信する。   In the present embodiment, the transmission control unit 38 of the cloud service 10 is based on the untransmitted frame image and the untransmitted audio data at a predetermined data transmission interval (for example, 1/60 second interval). Generate a packet of the encoded content stream. In the present embodiment, the transmission control unit 38 of the cloud service 10 generates, for example, a packet of a stream of encoded moving image with audio. The packets are associated with identifiers that are ordered in the order of generation time. Then, the data transmission unit 32 of the cloud service 10 transmits the packet to the client 12.

そして、本実施形態では、クライアント１２のデータ受信部４０は、クラウドサービス１０から順次送信されるストリームのパケットを受信する。   In this embodiment, the data receiving unit 40 of the client 12 receives the stream packets sequentially transmitted from the cloud service 10.

そして、クライアント１２のデコード部４４が、クラウドサービス１０から受信したストリームのパケットをデコードする。そして、データ出力部４６が、デコードされたストリームのパケットからフレーム画像を抽出してディスプレイ等に表示出力するとともに、デコードされたストリームのパケットから音声のデータを抽出して、当該データを音に変換してスピーカ等から出力する。   Then, the decoding unit 44 of the client 12 decodes the stream packet received from the cloud service 10. Then, the data output unit 46 extracts a frame image from the decoded stream packet and outputs it on a display or the like, and also extracts audio data from the decoded stream packet and converts the data into sound. And output from a speaker or the like.

本実施形態では、クライアント１２の状況監視部４８は、ゲームの実行中におけるクライアント１２の状況を監視して、予め定められたイベントの発生を検出する。状況監視部４８は、具体的には、例えば、スピーカ等から出力される音の音量、スピーカ等から音がモノラル再生で出力されるかステレオ再生で出力されるか、クラウドサービス１０から送信される動画像がディスプレイに表示されているか否か、スクリーンセーバが実行されているか否か、ロック状態となっているか否か、などを監視する。なお、本実施形態では、スピーカ等から出力される音の音量は、０〜１００までのいずれかの数値で管理されており、当該数値が大きいほど音量が大きいことを表しており、音量０がミュート状態を表していることとする。   In this embodiment, the situation monitoring unit 48 of the client 12 monitors the situation of the client 12 during the execution of the game and detects the occurrence of a predetermined event. Specifically, the status monitoring unit 48, for example, the volume of the sound output from the speaker or the like, whether the sound is output from the speaker or the like in monaural reproduction or stereo reproduction, or transmitted from the cloud service 10 It monitors whether or not a moving image is displayed on the display, whether or not a screen saver is being executed, whether or not it is locked, and the like. In the present embodiment, the volume of the sound output from the speaker or the like is managed by any numerical value from 0 to 100. The larger the numerical value, the higher the volume, and the volume 0 is It represents a mute state.

そして、本実施形態では、状況監視部４８によって、予め定められたイベントの発生が検出された際に、クライアント１２のデータ送信部４２が、イベントの発生が検出された際のクライアント１２の状況に関する通知を、クラウドサービス１０に送信する。そして、クラウドサービス１０のデータ受信部３０が、クライアント１２の状況に関する通知を受け付ける。本処理例では、クライアント１２のデータ送信部４２は、発生したイベントに応じたデータ（以下、イベント対応データと呼ぶ。）を、クラウドサービス１０に送信し、クラウドサービス１０のデータ受信部３０が、イベント対応データを受信する。   In this embodiment, when the occurrence of a predetermined event is detected by the situation monitoring unit 48, the data transmission unit 42 of the client 12 relates to the situation of the client 12 when the occurrence of the event is detected. A notification is transmitted to the cloud service 10. Then, the data receiving unit 30 of the cloud service 10 receives a notification regarding the status of the client 12. In this processing example, the data transmission unit 42 of the client 12 transmits data corresponding to the generated event (hereinafter referred to as event-corresponding data) to the cloud service 10, and the data reception unit 30 of the cloud service 10 Receive event response data.

そして、送信制御部３８が、クラウドサービス１０のデータ受信部３０によって受信されたイベント対応データに応じて、ストリームのパケットの生成内容を制御する。   Then, the transmission control unit 38 controls the generation contents of the stream packet according to the event corresponding data received by the data receiving unit 30 of the cloud service 10.

このようにして、本実施形態では、クライアント１２の状況の変化に応じて、クラウドサービス１０からクライアント１２に送信されるストリームが変化することとなる。   In this way, in this embodiment, the stream transmitted from the cloud service 10 to the client 12 changes according to the change in the status of the client 12.

以下、本実施形態における送信されるストリームの制御の具体例について説明する。   Hereinafter, a specific example of control of a stream to be transmitted in the present embodiment will be described.

例えば、クライアント１２でスピーカ等から出力される音の音量が変更されたことが検出された際には、クライアント１２は、変更後の音量を示す値に関連づけられた、音量が変更されたことを示すイベント対応データをクラウドサービス１０に送信する。そして、送信制御部３８は、イベント対応データに関連づけられている値が０である場合には、ストリームのパケットを生成するにあたって、ストリームのパケットに音声のデータが含まれないよう（すなわち、フレーム画像のみが含まれるパケットを生成するよう）制御する。そして、クラウドサービス１０のデータ送信部３２からは、音声が含まれないストリームのパケットが送信されることとなる。このようにして、本実施形態では、クライアント１２がミュート状態である場合には、クラウドサービス１０からクライアント１２に送信されるパケットに音声が含まれないこととなる。なお、本実施形態では、クライアント１２は、クラウドサービス１０から受信するパケットに音声が含まれていなくても、当該パケットを正常に処理することができるようになっている。   For example, when the client 12 detects that the volume of sound output from a speaker or the like has been changed, the client 12 confirms that the volume has been changed in association with a value indicating the changed volume. The event corresponding data shown is transmitted to the cloud service 10. When the value associated with the event-corresponding data is 0, the transmission control unit 38 does not include audio data in the stream packet when generating the stream packet (that is, the frame image). Control to generate packets that only contain). Then, the data transmission unit 32 of the cloud service 10 transmits a stream packet that does not include audio. In this way, in this embodiment, when the client 12 is in the mute state, the packet transmitted from the cloud service 10 to the client 12 does not include voice. In the present embodiment, the client 12 can normally process the packet even if the packet received from the cloud service 10 does not include voice.

また、本実施形態では、変更後の音量を示す値に関連づけられた、音量が変更されたことを示すイベント対応データがクライアント１２からクラウドサービス１０に送信された場合に、送信制御部３８は、イベント対応データに関連づけられている値が所定値未満（例えば、１０未満）である場合には、送信される音声のデータのビットレートが、帯域節約時のビットレートとして予め設定されているビットレートとなる（例えば、音量が１０以上である場合（以下、平常時と呼ぶ。）の１／５のビットレートとなる）よう制御する。そして、クラウドサービス１０のデータ送信部３２からは、帯域節約時のビットレートで音声のストリームがクライアント１２に送信されることとなる。   In the present embodiment, when event-corresponding data indicating that the volume has been changed and associated with the value indicating the volume after the change is transmitted from the client 12 to the cloud service 10, the transmission control unit 38 When the value associated with the event-corresponding data is less than a predetermined value (for example, less than 10), the bit rate of the audio data to be transmitted is set in advance as the bit rate for saving bandwidth. (For example, when the volume is 10 or more (hereinafter referred to as normal)). Then, an audio stream is transmitted from the data transmission unit 32 of the cloud service 10 to the client 12 at a bit rate at the time of bandwidth saving.

また、本実施形態では、変更後の音量を示す値に関連づけられた、音量が変更されたことを示すイベント対応データがクライアント１２からクラウドサービス１０に送信された場合に、送信制御部３８は、イベント対応データに関連づけられている値が所定値以上（例えば、１０以上）である場合には、送信される音声のデータのビットレートが、を平常時のビットレートとして予め定められているビットレートとなるよう制御する。そして、クラウドサービス１０のデータ送信部３２からは、平常時のビットレートで音声のストリームがクライアント１２に送信されることとなる。   In the present embodiment, when event-corresponding data indicating that the volume has been changed and associated with the value indicating the volume after the change is transmitted from the client 12 to the cloud service 10, the transmission control unit 38 When the value associated with the event-corresponding data is equal to or greater than a predetermined value (for example, 10 or more), the bit rate of the audio data to be transmitted is determined in advance as a bit rate for normal times. Control to be Then, an audio stream is transmitted from the data transmission unit 32 of the cloud service 10 to the client 12 at a normal bit rate.

また、本実施形態では、クライアント１２でスピーカ等から出力される音がステレオ再生からモノラル再生に変更されたことが検出された際には、クライアント１２は、モノラル再生に変更されたことを示すイベント対応データをクラウドサービス１０に送信する。そして、送信制御部３８は、送信されるストリームに含まれる音声のデータがモノラル音声のデータとなるよう制御する。そして、クラウドサービス１０のデータ送信部３２からは、モノラルの音声のストリームが送信されることとなる。   In this embodiment, when the client 12 detects that the sound output from the speaker or the like has been changed from stereo reproduction to monaural reproduction, the client 12 determines that the event has been changed to monaural reproduction. The corresponding data is transmitted to the cloud service 10. The transmission control unit 38 controls the audio data included in the transmitted stream to be monaural audio data. A monaural audio stream is transmitted from the data transmission unit 32 of the cloud service 10.

また、本実施形態では、クライアント１２で、例えば、スクリーンセーバの実行が開始されたこと、あるいは、ロック状態となったことが検出された際には、クライアント１２は、ストリームに基づいて生成される画像がクライアント１２に表示されない状態となったことを示すイベント対応データをクラウドサービス１０に送信する。そして、送信制御部３８は、ストリーム送信が停止されるよう制御する。そして、クラウドサービス１０のデータ送信部３２は、クライアント１２へのストリーム送信を停止する。   In the present embodiment, for example, when the client 12 detects that the execution of the screen saver is started or the lock state is detected, the client 12 generates an image generated based on the stream. Is sent to the cloud service 10 as event corresponding data indicating that the client 12 has not been displayed. Then, the transmission control unit 38 performs control so that the stream transmission is stopped. Then, the data transmission unit 32 of the cloud service 10 stops the stream transmission to the client 12.

また、本実施形態では、クライアント１２で、例えば、スクリーンセーバの実行が終了されたこと、あるいは、ロック状態が解除されたことが検出された際には、クライアント１２は、ストリームに基づいて生成される画像がクライアント１２に表示される状態となったことを示すイベント対応データをクラウドサービス１０に送信する。そして、送信制御部３８は、ストリーム送信が再開されるよう制御する。そして、クラウドサービス１０のデータ送信部３２は、クライアント１２へのストリーム送信を再開する。   In the present embodiment, for example, when the client 12 detects that the execution of the screen saver has been completed or the lock state has been released, the client 12 is generated based on the stream. Event correspondence data indicating that the image is displayed on the client 12 is transmitted to the cloud service 10. Then, the transmission control unit 38 performs control so that stream transmission is resumed. Then, the data transmission unit 32 of the cloud service 10 resumes stream transmission to the client 12.

以上のようにして、本実施形態では、クライアント１２の状況に応じて、クラウドサービス１０からクライアント１２に送信されるストリームのうちの少なくとも一部について、送信が停止されるため、ストリーム送信に用いられるネットワークの帯域幅の無駄な使用が低減されることとなる。   As described above, in the present embodiment, transmission is stopped for at least a part of the stream transmitted from the cloud service 10 to the client 12 according to the situation of the client 12, and thus is used for stream transmission. Wasteful use of network bandwidth will be reduced.

なお、本発明は上述の実施形態に限定されるものではない。   In addition, this invention is not limited to the above-mentioned embodiment.

例えば、クラウドサービス１０は、クライアント１２へのストリームの送信中に、送信するストリームのコンテンツが変化した際に、当該変化に応じて、送信するストリームの品質を変化させるようにしてもよい。   For example, when the content of the stream to be transmitted changes during transmission of the stream to the client 12, the cloud service 10 may change the quality of the stream to be transmitted according to the change.

具体的には、例えば、受け付けるキー情報等に基づいて更新されるゲーム状況データに基づく動画像ではなく、回想シーンなどのムービーの動画像がクライアント１２に送信される状況となった際に、ゲーム実行部３６が、上述のゲーム更新時間毎よりも高い頻度でフレーム画像の生成を行うようにしてもよい。そして、ゲーム実行部３６が、生成したフレーム画像をクラウドサービス１０のバッファメモリに蓄積するようにしてもよい。そして、クラウドサービス１０の送信制御部３８が、バッファメモリに蓄積された複数のフレーム画像を用いてエンコードやストリームのパケットの生成を行うようにしてもよい。そして、クラウドサービス１０のデータ送信部が、このようにして生成されたストリームのパケットをクライアント１２に送信するようにしてもよい。   Specifically, for example, when a moving image of a movie such as a recollection scene is transmitted to the client 12 instead of a moving image based on game status data updated based on received key information or the like, the game The execution unit 36 may generate frame images at a frequency higher than that of each game update time described above. Then, the game execution unit 36 may store the generated frame image in the buffer memory of the cloud service 10. Then, the transmission control unit 38 of the cloud service 10 may perform encoding and stream packet generation using a plurality of frame images stored in the buffer memory. The data transmission unit of the cloud service 10 may transmit the stream packet generated in this way to the client 12.

あるいは、例えば、回想シーンなどのムービーがクライアント１２に送信される状況となった際に、送信制御部３８が、予めエンコードされて記憶部に記憶されていた動画像ファイルを送信対象とするよう制御してもよい。そして、クラウドサービス１０のデータ送信部３２が、予めエンコードされて記憶部に記憶されていた動画像ファイルを、クライアント１２にストリーム送信するようにしてもよい。   Alternatively, for example, when a movie such as a recollection scene is transmitted to the client 12, the transmission control unit 38 controls to transmit a moving image file that has been encoded in advance and stored in the storage unit. May be. Then, the data transmission unit 32 of the cloud service 10 may stream the moving image file encoded in advance and stored in the storage unit to the client 12.

こうすれば、回想シーンなどのムービーがクライアント１２に送信される状況などといった、リアルタイムストリーミングの必要性が低い状況となった場合などに、通常のゲームプレイ時よりも高品質で低帯域のストリームがクラウドサービス１０からクライアント１２に送信されることとなる。   In this way, when a situation such as a situation where a movie such as a recollection scene is transmitted to the client 12 or the like becomes a situation where the need for real-time streaming is low, a stream with a higher quality and lower bandwidth than during normal game play is obtained. It is transmitted from the cloud service 10 to the client 12.

また、例えば、あるゲームについて繰り返しプレイされる場合などのように、あるゲームのストリームが複数回クラウドサービス１０からクライアント１２に送信されるような場合には、ストリームのパケットがクラウドサービス１０からクライアント１２に送信される前に、クラウドサービス１０が、当該パケットに含まれる音声のデータやフレーム画像を、クラウドサービス１０の記憶部に記憶するとともに、当該パケットがクラウドサービス１０からクライアント１２に送信された後に、クライアント１２が、当該パケットに含まれる音声のデータやフレーム画像を、クライアント１２の記憶部に記憶するようにしてもよい。そして、２回目以降のストリーム送信の際に、クラウドサービス１０は、上述のようにしてクラウドサービス１０の記憶部に記憶された音声のデータやフレーム画像が存在する場合に、送信対象となるコンテンツから、クラウドサービス１０の記憶部に記憶されている音声のデータやフレーム画像などのコンテンツを除外したコンテンツ（すなわち、送信対象となるコンテンツから、クライアント１２の記憶部に記憶されている音声のデータやフレーム画像などのコンテンツを除外したコンテンツ）のストリームのパケットを、クライアント１２に送信するようにしてもよい。   For example, when a stream of a certain game is transmitted from the cloud service 10 to the client 12 a plurality of times, such as when a certain game is repeatedly played, the stream packet is transmitted from the cloud service 10 to the client 12. Before the cloud service 10 stores the voice data and frame image included in the packet in the storage unit of the cloud service 10 and after the packet is transmitted from the cloud service 10 to the client 12. The client 12 may store audio data and frame images included in the packet in the storage unit of the client 12. In the second and subsequent stream transmissions, the cloud service 10 starts from the content to be transmitted when there is audio data or frame images stored in the storage unit of the cloud service 10 as described above. Content excluding content such as audio data and frame images stored in the storage unit of the cloud service 10 (that is, audio data and frames stored in the storage unit of the client 12 from content to be transmitted) Packets of a stream of content excluding content such as images) may be transmitted to the client 12.

また、例えば、変更後の音量を示す値に関連づけられた、音量が変更されたことを示すイベント対応データがクライアント１２からクラウドサービス１０に送信された場合に、送信制御部３８は、平常時のビットレートとイベント対応データに関連づけられている値の積を１００で割った値を算出するようにしてもよい。そして、送信制御部３８は、送信される音声のデータのビットレートが、算出された値のビットレートとなるよう制御してもよい。そして、クラウドサービス１０のデータ送信部３２からは、算出された値のビットレートで音声のストリームがクライアント１２に送信されるようにしてもよい。   Further, for example, when event-corresponding data indicating that the volume has been changed and associated with a value indicating the volume after the change is transmitted from the client 12 to the cloud service 10, the transmission control unit 38 A value obtained by dividing the product of the bit rate and the value associated with the event correspondence data by 100 may be calculated. The transmission control unit 38 may control the bit rate of the audio data to be transmitted to the calculated bit rate. The data transmission unit 32 of the cloud service 10 may transmit an audio stream to the client 12 at the calculated bit rate.

また、例えば、クラウドサービス１０が、ストリームに基づいて生成される画像がクライアント１２に表示されない状態となったことを示すイベント対応データを受け付けた際に、送信制御部３８が、ゲームが実行されているエミュレータ２４のプロセスを終了（停止）させるようにしてもよい。そして、その後、クラウドサービス１０が、ストリームに基づいて生成される画像がクライアント１２に表示される状態となったことを示すイベント対応データを受け付けた際に、送信制御部３８が、新たなエミュレータ２４のプロセスを起動させて、当該エミュレータ２４とクライアント１２とを接続するようにしてもよい。   For example, when the cloud service 10 receives event-corresponding data indicating that an image generated based on the stream is not displayed on the client 12, the transmission control unit 38 executes the game. The process of the emulator 24 may be terminated (stopped). After that, when the cloud service 10 receives event-corresponding data indicating that an image generated based on the stream is displayed on the client 12, the transmission control unit 38 sets the new emulator 24. The emulator 24 and the client 12 may be connected by starting the process.

また、例えば、送信制御部３８によってストリームの送信が停止されるよう制御された際に、ゲーム実行部３６が、ゲームを実行しているエミュレータ２４が管理しているメモリイメージの内容やレジスタの値を示すスナップショットデータを記憶部に出力するようにしてもよい。そして、ストリームの送信の再開時には、ゲーム実行部３６が、記憶部に記憶されていたスナップショットデータを読み出して、ストリームの送信が停止された際のゲームの状況を再現した上で、ストリームの送信を再開するようにしてもよい。また、上述のようにしてエミュレータ２４のプロセスが停止される際に、停止する前に、ゲーム実行部３６が、上述のスナップショットデータを記憶部に出力するようにしてもよい。そして、その後、クラウドサービス１０がストリームに基づいて生成される画像がクライアント１２に表示される状態となったことを示すイベント対応データを受け付けて、新たなエミュレータ２４のプロセスが起動される際に、当該エミュレータ２４のプロセスが、記憶部に記憶されていたスナップショットデータを読み出して、当該スナップショットデータが示す状況からゲームの実行を開始するようにしてもよい。   Further, for example, when the transmission control unit 38 controls the transmission of the stream to be stopped, the game execution unit 36 stores the contents of the memory image and the register values managed by the emulator 24 executing the game. May be output to the storage unit. When the stream transmission is resumed, the game execution unit 36 reads the snapshot data stored in the storage unit, reproduces the situation of the game when the stream transmission is stopped, and then transmits the stream. May be resumed. Further, when the process of the emulator 24 is stopped as described above, the game execution unit 36 may output the above-described snapshot data to the storage unit before the process is stopped. After that, when the cloud service 10 receives event-corresponding data indicating that an image generated based on the stream is displayed on the client 12, and the process of the new emulator 24 is started, The process of the emulator 24 may read the snapshot data stored in the storage unit and start the game execution from the situation indicated by the snapshot data.

また、音声付動画像のストリームがクラウドサービス１０からクライアント１２に送信される必要はなく、フレーム画像群のストリームである動画像ストリームと、音声のデータのストリームである音声ストリームと、が互いに異なるストリームとしてクラウドサービス１０からクライアント１２に送信されるようにしてもよい。この場合に、例えば、クラウドサービス１０のデータ受信部３０が受け付けたイベント対応データに関連づけられている値が０である場合には、送信制御部３８は、音声ストリームのクライアント１２への送信を停止して、動画像ストリームだけをクライアント１２に送信する制御してもよい。すると、クラウドサービス１０のデータ送信部３２から、動画像ストリームだけがクライアント１２に送信されることとなる。   Also, it is not necessary for the moving image stream with audio to be transmitted from the cloud service 10 to the client 12, and the moving image stream that is the stream of the frame image group and the audio stream that is the audio data stream are different from each other. May be transmitted from the cloud service 10 to the client 12. In this case, for example, when the value associated with the event corresponding data received by the data receiving unit 30 of the cloud service 10 is 0, the transmission control unit 38 stops transmitting the audio stream to the client 12. Then, it may be controlled to transmit only the moving image stream to the client 12. Then, only the moving image stream is transmitted from the data transmission unit 32 of the cloud service 10 to the client 12.

また、ストリームに基づいて生成される画像がクライアント１２に表示されない状態となったことを示すイベント対応データがクライアント１２からクラウドサービス１０に送信される場合は、スクリーンセーバの実行が開始された場合や、クライアント１２がロック状態となった場合に限定されない。   In addition, when event correspondence data indicating that an image generated based on the stream is not displayed on the client 12 is transmitted from the client 12 to the cloud service 10, when the execution of the screen saver is started, It is not limited to the case where the client 12 is locked.

また、例えば、ユーザが、クライアント１２が備えるゲームコントローラやボタン等を操作することによって、スピーカ等からの出力音量を変更する操作を行った際に、クライアント１２が、変更後の音量を示す値を示すデータをクラウドサービス１０に送信するようにしてもよい。そして、クラウドサービス１０が、当該データを受信した際に、変更後の音量に調整された音声のデータが含まれる音声付動画像のデータをクライアント１２に送信するようにしてもよい。このように、クラウドサービス１０で実行される処理によって、クライアント１２のスピーカ等の出力音量が調整されても構わない。このとき、ユーザが、スピーカ等からの音の出力音量をゼロに設定する操作を行った場合には、クラウドサービス１０からクライアント１２への音声のデータの送信が中止されることとなる。   Further, for example, when the user performs an operation of changing the output volume from the speaker or the like by operating a game controller or a button provided in the client 12, the client 12 sets a value indicating the changed volume. The indicated data may be transmitted to the cloud service 10. When the cloud service 10 receives the data, the cloud service 10 may transmit to the client 12 audio-attached moving image data including audio data adjusted to the changed volume. As described above, the output volume of the speaker or the like of the client 12 may be adjusted by the process executed by the cloud service 10. At this time, when the user performs an operation of setting the output volume of sound from a speaker or the like to zero, transmission of audio data from the cloud service 10 to the client 12 is stopped.

また、本実施形態は、ゲームプログラムの実行に伴い生成される動画像や音声のストリーム送信だけでなく、例えば、クラウドサービス１０で実行されるミュージックプレイヤのプログラムの実行に伴い再生される音楽ファイルに含まれる音声のストリーム送信や、クラウドサービス１０で実行される動画像プレイヤのプログラムの実行に伴い再生される映画等の音声付動画像のストリーム送信や、放送局から配信されるテレビ番組のストリーム送信などにも応用することができる。   In addition, the present embodiment is not limited to the transmission of a moving image or sound stream generated along with the execution of the game program, for example, a music file that is played back along with the execution of the music player program executed in the cloud service 10. Stream transmission of included audio, stream transmission of moving images with sound such as movies reproduced in accordance with the execution of the program of the moving image player executed in the cloud service 10, and stream transmission of television programs distributed from broadcasting stations It can also be applied.

また、例えば、クラウドサービス１０で実現されている機能が単一のサーバにより実現されていてもよい。また、ゲームプログラムはエミュレータ２４上で実行される必要はなく、例えば、クラウドサービス１０やクライアント１２のシステムソフトウェア（オペレーティングシステム等）上で実行されてもよい。また、クラウドサービス１０とクライアント１２の役割分担は上述の例には限定されない。   Further, for example, the function realized by the cloud service 10 may be realized by a single server. Further, the game program does not need to be executed on the emulator 24, and may be executed on the system software (operating system or the like) of the cloud service 10 or the client 12, for example. Further, the division of roles between the cloud service 10 and the client 12 is not limited to the above example.

また、上記の具体的な文字列や図面中の具体的な文字列は例示であり、これらの文字列には限定されない。   The specific character strings described above and the specific character strings in the drawings are examples, and are not limited to these character strings.

１０ クラウドサービス、１２ クライアント、１４ コンピュータネットワーク、２０ 管理プロセス、２２ サービス提供プロセス、２４ エミュレータ、３０ データ受信部、３２ データ送信部、３４ エミュレータ管理部、３６ ゲーム実行部、３８ 送信制御部、４０ データ受信部、４２ データ送信部、４４ デコード部、４６ データ出力部、４８ 状況監視部。   10 cloud services, 12 clients, 14 computer networks, 20 management processes, 22 service provision processes, 24 emulators, 30 data reception units, 32 data transmission units, 34 emulator management units, 36 game execution units, 38 transmission control units, 40 data Receiving unit, 42 data transmitting unit, 44 decoding unit, 46 data output unit, 48 status monitoring unit.

Claims (14)

ストリームを情報処理端末に送信するストリーム送信手段と、
前記情報処理端末から送信される、前記情報処理端末の状況に関する通知を受け付ける通知受付手段と、を含み、
前記ストリーム送信手段は、前記情報処理端末の状況に関する通知を前記通知受付手段が受け付けた際に、当該状況に応じて前記ストリームの少なくとも一部の前記情報処理端末への送信を停止する、
ことを特徴とする情報処理装置。 Stream transmitting means for transmitting the stream to the information processing terminal;
Notification receiving means for receiving a notification regarding the status of the information processing terminal, transmitted from the information processing terminal,
When the notification receiving unit receives a notification regarding the status of the information processing terminal, the stream transmission unit stops transmitting at least a part of the stream to the information processing terminal according to the status.
An information processing apparatus characterized by that. 前記ストリーム送信手段は、前記情報処理端末がミュート状態となった際に前記情報処理端末から送信される通知を前記通知受付手段が受け付けた場合に、音声のストリームの前記情報処理端末への送信を停止する、
ことを特徴とする請求項１に記載の情報処理装置。 The stream transmission means transmits an audio stream to the information processing terminal when the notification reception means receives a notification transmitted from the information processing terminal when the information processing terminal is muted. Stop,
The information processing apparatus according to claim 1. 前記ストリーム送信手段は、前記情報処理端末がミュート状態となった際に前記情報処理端末から送信される通知を前記通知受付手段が受け付けた場合に、音声のストリームの前記情報処理端末への送信を停止し、動画像のストリームの前記情報処理端末への送信は継続する、
ことを特徴とする請求項２に記載の情報処理装置。 The stream transmission means transmits an audio stream to the information processing terminal when the notification reception means receives a notification transmitted from the information processing terminal when the information processing terminal is muted. Stop and continue transmitting the moving image stream to the information processing terminal.
The information processing apparatus according to claim 2. 前記ストリーム送信手段は、前記情報処理端末での出力音量が小さいほど小さくなるよう決定されるビットレートで、音声のストリームを前記情報処理端末へ送信する、
ことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。 The stream transmission means transmits an audio stream to the information processing terminal at a bit rate determined so as to decrease as the output volume at the information processing terminal decreases.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus. 前記ストリーム送信手段は、前記情報処理端末で音声がモノラル再生で出力される状態となった際に前記情報処理端末から送信される通知を前記通知受付手段が受け付けた場合に、音声のストリームをモノラルで前記情報処理端末に送信する、
ことを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。 The stream transmission means converts the audio stream to monaural when the notification reception means receives a notification transmitted from the information processing terminal when the information processing terminal is in a state where the sound is output by monaural reproduction. To send to the information processing terminal,
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus. 前記ストリーム送信手段は、前記ストリーム送信手段により送信されるストリームに基づいて生成される画像が前記情報処理端末に表示されない状態となった際に前記情報処理端末から送信される通知を前記通知受付手段が受け付けた場合に、ストリームの前記情報処理端末への送信を停止する、
ことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。 The stream transmission unit is configured to receive a notification transmitted from the information processing terminal when an image generated based on the stream transmitted by the stream transmission unit is not displayed on the information processing terminal. Stop receiving transmission of the stream to the information processing terminal.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus. 前記ストリーム送信手段により送信されるストリームに基づいて生成される画像が前記情報処理端末に表示されない状態となった際に前記情報処理端末から送信される通知を前記通知受付手段が受け付けた場合に、前記ストリーム送信手段により送信されるストリームに含まれるコンテンツを生成するプロセスを停止するプロセス停止手段、をさらに含む、
ことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。 When the notification receiving unit receives a notification transmitted from the information processing terminal when an image generated based on the stream transmitted by the stream transmission unit is not displayed on the information processing terminal, Process stop means for stopping a process for generating content included in the stream transmitted by the stream transmission means;
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus. 前記ストリーム送信手段は、ストリームの送信中に、送信するストリームのコンテンツが変化した際に、当該変化に応じて、送信するストリームの品質を変化させる、
ことを特徴とする請求項１から７のいずれか一項に記載の情報処理装置。 The stream transmission means changes the quality of the stream to be transmitted according to the change when the content of the stream to be transmitted changes during the transmission of the stream.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus. 前記ストリーム送信手段は、送信対象となるコンテンツから前記情報処理端末に記憶済であるコンテンツを除外したコンテンツのストリームを前記情報処理端末に送信する、
ことを特徴とする請求項１から８のいずれか一項に記載の情報処理装置。 The stream transmission means transmits a stream of content excluding content stored in the information processing terminal from content to be transmitted to the information processing terminal.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus. 情報処理装置から送信されるストリームを受信するストリーム受信手段と、
自端末の状況に関する通知を前記情報処理装置に送信する通知送信手段と、を含み、
前記情報処理装置が前記状況に関する通知を受け付けた際に、当該状況に応じて、前記情報処理装置から送信されているストリームの少なくとも一部の送信が停止される、
ことを特徴とする情報処理端末。 Stream receiving means for receiving a stream transmitted from the information processing apparatus;
Notification transmission means for transmitting a notification regarding the status of the terminal to the information processing apparatus,
When the information processing apparatus receives a notification regarding the situation, transmission of at least a part of the stream transmitted from the information processing apparatus is stopped according to the situation.
An information processing terminal characterized by that. 情報処理装置と、情報処理端末と、を備え、
前記情報処理端末は、
前記情報処理装置から送信されるストリームを受信するストリーム受信手段と、
当該情報処理端末の状況に関する通知を前記情報処理装置に送信する通知送信手段、を含み、
前記情報処理装置は、
ストリームを情報処理端末に送信するストリーム送信手段と、
前記情報処理端末から送信される、前記情報処理端末の状況に関する通知を受け付ける通知受付手段と、を含み、
前記ストリーム送信手段は、前記情報処理端末の状況に関する通知を前記通知受付手段が受け付けた際に、当該状況に応じて前記ストリームの少なくとも一部の前記情報処理端末への送信を停止する、
ことを特徴とする情報処理システム。 An information processing device and an information processing terminal;
The information processing terminal
Stream receiving means for receiving a stream transmitted from the information processing apparatus;
Notification transmission means for transmitting a notification regarding the status of the information processing terminal to the information processing apparatus,
The information processing apparatus includes:
Stream transmitting means for transmitting the stream to the information processing terminal;
Notification receiving means for receiving a notification regarding the status of the information processing terminal, transmitted from the information processing terminal,
When the notification receiving unit receives a notification regarding the status of the information processing terminal, the stream transmission unit stops transmitting at least a part of the stream to the information processing terminal according to the status.
An information processing system characterized by this. ストリームを情報処理端末に送信するストリーム送信ステップと、
前記情報処理端末から送信される、前記情報処理端末の状況に関する通知を受け付ける通知受付ステップと、を含み、
前記ストリーム送信ステップでは、前記情報処理端末の状況に関する通知を前記通知受付手段が受け付けた際に、当該状況に応じて前記ストリームの少なくとも一部の前記情報処理端末への送信を停止する、
ことを特徴とする情報処理方法。 A stream transmission step of transmitting the stream to the information processing terminal;
A notification receiving step for receiving a notification regarding the status of the information processing terminal, transmitted from the information processing terminal,
In the stream transmission step, when the notification receiving unit receives a notification regarding the status of the information processing terminal, the transmission to at least a part of the stream to the information processing terminal is stopped according to the status.
An information processing method characterized by the above. ストリームを情報処理端末に送信するストリーム送信手段、
前記情報処理端末から送信される、前記情報処理端末の状況に関する通知を受け付ける通知受付手段、としてコンピュータを機能させ、
前記ストリーム送信手段は、前記情報処理端末の状況に関する通知を前記通知受付手段が受け付けた際に、当該状況に応じて前記ストリームの少なくとも一部の前記情報処理端末への送信を停止する、
ことを特徴とするプログラム。 Stream transmission means for transmitting a stream to an information processing terminal;
Causing the computer to function as a notification receiving means for receiving a notification regarding the status of the information processing terminal transmitted from the information processing terminal;
When the notification receiving unit receives a notification regarding the status of the information processing terminal, the stream transmission unit stops transmitting at least a part of the stream to the information processing terminal according to the status.
A program characterized by that. ストリームを情報処理端末に送信するストリーム送信手段、
前記情報処理端末から送信される、前記情報処理端末の状況に関する通知を受け付ける通知受付手段、としてコンピュータを機能させ、
前記ストリーム送信手段は、前記情報処理端末の状況に関する通知を前記通知受付手段が受け付けた際に、当該状況に応じて前記ストリームの少なくとも一部の前記情報処理端末への送信を停止する、
ことを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。 Stream transmission means for transmitting a stream to an information processing terminal;
Causing the computer to function as a notification receiving means for receiving a notification regarding the status of the information processing terminal transmitted from the information processing terminal;
When the notification receiving unit receives a notification regarding the status of the information processing terminal, the stream transmission unit stops transmitting at least a part of the stream to the information processing terminal according to the status.
A computer-readable information storage medium storing a program characterized by the above.

Images