JP2019068187A - Information processing apparatus, control method thereof, and program - Google Patents
Information processing apparatus, control method thereof, and program Download PDFInfo
- Publication number
- JP2019068187A JP2019068187A JP2017190181A JP2017190181A JP2019068187A JP 2019068187 A JP2019068187 A JP 2019068187A JP 2017190181 A JP2017190181 A JP 2017190181A JP 2017190181 A JP2017190181 A JP 2017190181A JP 2019068187 A JP2019068187 A JP 2019068187A
- Authority
- JP
- Japan
- Prior art keywords
- video
- display
- reproduction
- processing apparatus
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 49
- 230000010365 information processing Effects 0.000 title claims description 26
- 239000000872 buffer Substances 0.000 claims abstract description 97
- 238000012545 processing Methods 0.000 claims abstract description 55
- 230000008569 process Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 4
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 46
- 230000006870 function Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、ストリーミングデータを処理する情報処理装置、情報処理装置の制御方法、及びプログラムに関する。 The present invention relates to an information processing apparatus that processes streaming data, a control method of the information processing apparatus, and a program.
ストリーミングデータを一定時間ごとに分割したセグメントデータとその情報を記述したプレイリストなどを利用してストリーミングを実現する手法が知られている。また、受信したストリーミングデータを再生する受信装置としては、スマートフォンやタブレット端末などの携帯型の情報処理装置が広く普及している。それら情報処理装置の特徴として、当該装置の利用者が任意のアプリケーションソフトウェア（以下、アプリと記す）を選択して自由にインストールできる点がある。 There is known a method of realizing streaming by using segment data obtained by dividing streaming data at predetermined time intervals and a playlist in which the information is described. In addition, portable information processing apparatuses such as smartphones and tablet terminals are widely used as receiving apparatuses for reproducing received streaming data. One of the features of the information processing apparatuses is that the user of the apparatus can freely select and install arbitrary application software (hereinafter referred to as an application).
また、前述の携帯型の情報処理装置の他の特徴として、タッチパネルを備えている点がある。タッチパネルは、従来のボタンやスイッチ等と異なり、ソフトウェアに応じて、様々な操作入力方法をとることが可能である。このため、タッチパネルを応用した様々なアプリ、及び情報処理装置の使い方も提案されている。例えば、操作用のユーザインターフェイス（以下、操作ＵＩとする。）をタッチパネルの画面上に表示し、そのタッチパネル上の操作ＵＩを通じて他の外部装置を遠隔操作することも可能となされている。さらに、情報処理装置のアプリには、当該装置による遠隔操作を禁止して、画面上にストリーミングデータの映像のみを表示させるものも存在する。 Moreover, there exists a point provided with the touch panel as another characteristic of the above-mentioned portable information processing apparatus. Unlike a conventional button or switch, the touch panel can take various operation input methods according to software. For this reason, various applications using a touch panel and usage of an information processing apparatus have also been proposed. For example, it is also possible to display a user interface for operation (hereinafter referred to as an operation UI) on the screen of the touch panel and remotely operate another external device through the operation UI on the touch panel. Furthermore, some applications of the information processing apparatus prohibit remote control by the apparatus and display only the video of streaming data on the screen.
その他、ストリーミングに関連した技術として、例えば特許文献１には、ホストが、端末から受信したコマンドに基づいて画質と表示のどちらを優先するのかを判断し、その判断結果を基に、端末側の受信バッファサイズを制御する技術が開示されている。また、特許文献２には、受信装置がネットワークを介してカメラを遠隔操作し、その遠隔操作を基に受信バッファサイズを制御する技術が開示されている。特許文献２に記載の技術では、例えばカメラの遠隔操作中はバッファサイズを小さくすることで、操作が映像に反映するまでの遅延を低減することを可能としている。
In addition, as a technique related to streaming, for example, according to
ところで、例えば撮像装置による撮影映像をライブストリーミングにより送信して情報処理装置側で受信して表示する場合において、ユーザ(視聴者）は、ライブストリーミングの映像を確認しながら所望のタイミングで操作ＵＩの操作を行うことがある。ここで、特許文献１に記載の技術の場合、例えば通信の遅延が大きいと、ユーザがライブストリーミングの映像を観ながら操作ＵＩを通じて行った操作が、ユーザの意図通りの操作とならないケースが生ずることがある。また、特許文献１に記載の技術の場合、通信の遅延が大きいと、ユーザが画質と表示のどちらを意図した視聴を行っているのかをホスト側で判断するタイミングが遅れ、端末側の受信バッファサイズを変更するタイミングにも遅れが生ずることになる。また、特許文献２に記載の技術の場合、遠隔操作の実行中か否かでバッファサイズが変更されるため、例えば視聴目的で使用しているのかが明確ではないタイミングでバッファサイズの変化が生じてしまう虞がある。つまり、特許文献１と特許文献２の何れの技術の場合も、ユーザが映像を視聴する際の意図を必ずしも適切に反映できていないタイミングでバッファサイズが変更されることがある。このように、従来の技術の場合、ユーザの意図を必ずしも反映できていない、スムーズとは言い難い映像が表示されることがある。
By the way, for example, in the case where a video shot by the imaging device is transmitted by live streaming, received by the information processing device, and displayed, the user (viewer) can check the video of the live streaming at the desired timing while using the operation UI. May do the operation. Here, in the case of the technology described in
そこで、本発明では、ユーザの意図を適切に反映したスムーズな映像表示を可能にすることを目的とする。 Therefore, it is an object of the present invention to enable smooth video display that appropriately reflects the user's intention.
本発明は、情報処理装置であって、外部装置から受信したストリーミングのための映像データに基づき、映像を再生する再生手段と、前記再生手段により再生される映像を表示するための、前記情報処理装置に予め保持された再生用画面を表示部に表示する表示制御手段と、前記外部装置から受信した映像データを、前記再生手段による再生のために所定の記憶領域にバッファするバッファ手段とを有し、前記表示制御手段は、再生中の映像に関するユーザの操作を受け付けるための操作部を、前記再生中の映像とともに前記再生用画面に表示可能であり、前記再生用画面への前記操作部の表示の有無に応じて、前記バッファ手段は前記映像データのバッファサイズを変更することを特徴とする。 The present invention is an information processing apparatus, and the information processing apparatus for reproducing video according to video data for streaming received from an external apparatus, and displaying the video reproduced by the reproduction module. There is display control means for displaying on the display unit a reproduction screen held in advance in the device, and buffer means for buffering the video data received from the external device in a predetermined storage area for reproduction by the reproduction means. The display control means can display an operation unit for receiving a user's operation regarding a video being reproduced on the reproduction screen together with the video being reproduced, and The buffer means changes the buffer size of the video data according to the presence or absence of display.
本発明によれば、ユーザの意図を適切に反映したスムーズな映像表示が可能となる。 According to the present invention, it is possible to perform smooth video display that appropriately reflects the user's intention.
以下、添付図面を参照しながら本発明に係る実施形態を詳細に説明する。
本実施形態は、本発明の情報処理装置の一例である情報端末と、撮影映像をライブストリーミングデータとして送信可能な撮像装置（カメラ）と、を含む通信システムを例に挙げて説明する。図１は本実施形態のカメラ１００の一構成例を示した図であり、図２は本実施形態の情報端末２００の一構成例を示した図である。なお、カメラ１００は、撮影機能をメイン機能として有するいわゆるデジタルスチルカメラやデジタルビデオカメラの他、カメラ機能付きの情報端末やタブレット端末であってもよい。また、カメラ機能を有するものに限定されず、例えば映像配信サーバなどを用いることも可能である。また、情報端末２００は、一般的なパーソナルコンピュータの他、いわゆるスマートフォンやタブレット端末などの携帯型の情報端末、テレビジョン受像機などであってもよい。
Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
In the present embodiment, a communication system including an information terminal, which is an example of the information processing apparatus of the present invention, and an imaging apparatus (camera) capable of transmitting captured video as live streaming data will be described as an example. FIG. 1 is a view showing a configuration example of a
＜カメラと情報端末の構成説明＞
図１のカメラ１００は、光学系１１３、撮像素子１１４、操作部１０５、表示部１０７、コネクタ／アンテナ１０９、記録媒体１１２を有する。また、カメラ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、入力処理部１０４、出力処理部１０６、通信制御部１０８、記録媒体制御部１１１、カメラ信号処理部１１５、符号・復号処理部１１６を有する。これらは内部バス１１０により接続されており、内部バス１１０を介して互いにデータのやりとりを行うことができるようにされている。
<Description of configuration of camera and information terminal>
The
ＲＯＭ１０２は、リードオンリメモリであり、ＣＰＵ１０１が動作するための各種プログラムや設定データを格納する。ＲＯＭ１０２は必ずしもリードオンリである必要はなく、例えば読み書き可能なフラッシュメモリなどを用いてもよい。ＲＡＭ１０３は、ランダムアクセスメモリであり、ＣＰＵ１０１が動作時に必要とするプログラムや変数、作業用の一時データなどを適宜記憶する。ＣＰＵ１０１は、中央処理ユニットであり、ＲＯＭ１０２または記録媒体１１２に格納されているプログラムを実行し、ＲＡＭ１０３をワークメモリとして用いて、このカメラ１００の各部を制御する。
The ROM 102 is a read only memory, and stores various programs and setting data for the
光学系１１３は、フォーカスレンズ、ズームレンズ、絞り機構などを含む撮影レンズであり、被写体の光学像を撮像素子１１４上に形成する。撮像素子１１４は、ＣＣＤやＣＭＯＳ素子等で構成され光学像を撮像してアナログ電気信号に変換する。なお、撮像素子１１４にはＡ／Ｄ変換器も含まれ、光学像を撮像したアナログ電気信号をデジタルデータに変換して出力する。
The
カメラ信号処理部１１５は、ＣＰＵ１０１による制御に基づき、撮像素子１１４で変換されたデジタルデータの画像に対し、所定の画素補間・縮小といったリサイズ処理や色変換、各種補正処理等を行う。
符号・復号処理部１１６は、ＣＰＵ１０１による制御に基づき、カメラ信号処理部１１５で処理されたデジタルデータを所定のビットレート、フォーマット形式で圧縮符号化する。また、符号・復号処理部１１６は、映像圧縮符号化データの復号化も行う。
The camera
The encoding /
なお、音声のための構成は図示を省略しているが、カメラ１００は、マイクロホン、音声のアナログ信号をデジタル化するＡ／Ｄ変換器、音声のデジタルデータを符号化・復号化する構成をも備えており、音声付き映像の配信も可能となされている。このため、映像記録時には映像と共に音声も同時に収録され、符号・復号処理部１１６では、映像と音声を多重化することで音声付映像データを生成することになる。
Although the configuration for sound is not shown, the
入力処理部１０４は、操作部１０５を介したユーザ操作を受け付け、ユーザ操作に応じた制御信号を生成して、ＣＰＵ１０１に供給する。例えば、操作部１０５は、ユーザ操作を受け付ける入力デバイスとして、キーボードのような文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。また、操作部１０５には赤外線リモコンなどの遠隔操作可能な入力デバイスも含まれる。なお、タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。これにより、カメラ１００は、ユーザ操作に応じた動作を行う。
The
出力処理部１０６は、ＣＰＵ１０１がプログラムを実行して生成したＧＵＩ（グラフィカルユーザインターフェイス）などの表示データに基づき、表示部１０７に対してＧＵＩの表示を行うための表示信号を出力する。
なお、操作部１０５としてタッチパネルが用いられる場合、操作部１０５と表示部１０７とは一体的な構成として使用されることになる。タッチパネルは光の透過率が表示部１０７の表示を妨げないように構成され、表示部１０７の表示面の上層側に配設される。そして、タッチパネルにおける入力座標と、表示部１０７上の表示座標とが対応付けられることで、恰もユーザが表示部１０７上に表示された画面を直接的に操作可能であるかのようなＧＵＩが実現される。
The
When a touch panel is used as the
記録媒体制御部１１１は、ＨＤＤや不揮発性の半導体メモリなどの記録媒体１１２が接続され、ＣＰＵ１０１による制御に基づき、接続された記録媒体１１２からのデータの読み出しや、当該記録媒体１１２に対するデータの書き込みを行う。なお、記録媒体制御部１１１が接続可能な記録媒体１１２は、不図示のソケットなどを介して、例えばメモリカードなどの着脱可能な不揮発性の半導体メモリを接続するものとしてもよい。記録媒体１１２は、撮影した映像データのほか、ＣＰＵ１０１の制御に必要な情報も記録することが可能である。
The recording
通信制御部１０８は、ＣＰＵ１０１による制御に基づき、コネクタ／アンテナ１０９を介して、外部装置（本実施形態では情報端末２００）との通信を行う。なお、コネクタの場合は有線、アンテナの場合は無線による通信が行われる。通信方法としては、無線のＩＥＥＥ８０２．１１やＢｌｕｅｔｏｏｔｈ（登録商標）、有線のＩＥＥＥ８０２．３などを用いることが可能である。
The
図２の情報端末２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、入力処理部２０４、出力処理部２０６、通信制御部２０８、記録媒体制御部２１１、符号・復号処理部２１３、姿勢検出部２１４を有する。これらは内部バス２１０により接続されており、内部バス２１０を介して互いにデータのやりとりを行うことができるようにされている。また、情報端末２００は、操作部２０５、表示部２０７、コネクタ／アンテナ２０９も有している。
The
ＲＯＭ２０２は、ＣＰＵ２０１が動作するための各種プログラムや設定データを格納する。ＲＯＭ２０２にはフラッシュメモリなども含まれる。ＲＡＭ２０３は、ＣＰＵ２０１が動作時に必要とするプログラムや変数、作業用の一時データなどを適宜記憶する。ＣＰＵ２０１は、ＲＯＭ２０２または記録媒体２１２に格納されているプログラムを実行し、ＲＡＭ２０３をワークメモリとして用いて、情報端末２００の各部を制御する。
The
符号・復号処理部２１３は、コネクタ／アンテナ２０９を介して受信した映像圧縮符号化データや音声付映像データの復号化を行う。符号・復号処理部２１３は、圧縮されていない映像データや音声データの符号化や、復号化したデータの再符号化も可能である。
The encoding /
入力処理部２０４は、操作部２０５を介したユーザ操作を受け付けて、そのユーザ操作に応じた制御信号を生成して、ＣＰＵ２０１に供給する。操作部２０５は、前述同様の入力デバイスやポインティングデバイスを有する。情報端末２００がスマートフォンやタブレット端末である場合、操作部２０５は、主にタッチパネルにより構成される。
The
出力処理部２０６は、ＣＰＵ２０１がプログラムを実行して生成したＧＵＩなどの表示データに基づき、表示部２０７に対して再生用画面としての機能を有するＧＵＩを表示するための表示信号を出力する。操作部２０５がタッチパネルである場合、操作部２０５と表示部２０７とは前述同様に一体的な構成として使用される。そして、タッチパネルにおける入力座標と、表示部２０７上の表示座標とが対応付けられることで、恰もユーザが表示部２０７上に表示された画面を直接的に操作可能であるかのようなＧＵＩが実現される。以下、情報端末２００における操作用のＧＵＩを操作ユーザインターフェイス（操作ＵＩ）と表記する。
The
記録媒体制御部２１１は、ＨＤＤや不揮発性の半導体メモリなどの記録媒体２１２が接続され、ＣＰＵ２０１による制御に基づき、接続された記録媒体２１２からのデータの読み出しや、当該記録媒体２１２に対するデータの書き込みを行う。記録媒体制御部２１１が接続可能な記録媒体２１２は、不図示のソケットなどを介してメモリカードなどの着脱可能な不揮発性の半導体メモリを接続するものとしてもよい。記録媒体２１２は、映像や音声のデータのほか、ＣＰＵ２０１の制御に必要な情報も記録することが可能である。
The recording
通信制御部２０８は、ＣＰＵ２０１による制御に基づき、コネクタ／アンテナ２０９を介して、外部装置（本実施形態ではカメラ１００）との通信を行う。通信方法は、前述同様の各種通信方法を用いることができる。
The
姿勢検出部２１４は、情報端末２００の姿勢検出を行う。姿勢検出部２１４は、加速度センサおよび周辺回路で構成される。加速度センサは、地球の重力方向の加速度（重力加速度）を測定する。そして、姿勢検出部２１４は、情報端末２００がいわゆる縦向き姿勢か横向き姿勢かを検出する。例えば情報端末２００の外形が長方形状（画面が長方形）である場合、その長方形の長辺が地球の重力方向と略々同一方向である時、情報端末２００の姿勢は縦向き姿勢であるとして検出される。一方、長辺が重力方向に対して略々直角方向である時、情報端末２００の姿勢は横向き姿勢であるとして検出される。
ここまで、カメラ１００及び情報端末２００の構成について説明したが、各装置の構成は本実施形態で説明したものに限定されない。例えば、１つのプロセッサなどのハードウェアが入力信号やプログラムに応じて複数の手段として機能してもよい。また、複数のハードウェアが協働して動作することで１つの手段として機能してもよい。
The
So far, the configurations of the
＜ストリーミング動作の説明＞
前述の図１に示したカメラ１００と図２に示した情報端末２００とからなる通信システムにおいて、ライブストリーミングが行われる場合、カメラ１００は撮影映像データを情報端末２００に送信し、情報端末２００は受信した映像データを画面に表示する。以下、本実施形態の通信システムにおけるライブストリーミングの動作について、図１〜図８の各図を参照しながら説明する。
<Description of streaming operation>
In the communication system including the
図３は本実施形態の通信システムにおけるストリーミング時の基本的な通信シーケンスの説明図である。なお、本実施形態の通信システムの場合、カメラ１００と情報端末２００との間の通信は、それぞれＣＰＵによる制御の下で通信制御部がコネクタ／アンテナを介することで行われるが、以下の説明ではそれらの記載は適宜省略する。
FIG. 3 is an explanatory diagram of a basic communication sequence at the time of streaming in the communication system of the present embodiment. In the case of the communication system of the present embodiment, communication between the
本実施形態の通信システムは、カメラ１００が撮影している映像を、プレイリストを用いたライブストリーミングデータとして情報端末２００に送信する。ここで、プレイリストを用いたストリーミングが行われる場合、下記の（１）〜（５）に示すように、接続処理、プレイリストの作成処理及びプレイリストの送信処理、セグメントの生成処理及びセグメントの送信処理等が行われる。
The communication system of the present embodiment transmits the video shot by the
（１）ストリーミングの開始に先立ち、カメラ１００と情報端末２００の間では接続処理が行われる。接続処理では、ＩＰアドレスの設定及び取得、機器間の相互認識処理、機器情報と機器固有情報のプレイリスト取得先情報の相互取得処理などが行われる。この接続処理後、ストリーミングが開始される。
（２）カメラ１００は、ストリーミングデータを一定時間のセグメントに分割し、そのセグメント取得先を列挙したプレイリストを作成する。ライブストリーミングの場合には、定期的にセグメントが生成されるため、新しいセグメントが生成されると、動的に新しい内容のプレイリストに更新（削除、追記）するスライドウインドウ型プレイリストを用いる。
（３）情報端末２００は、プレイリストを取得・解析し、列挙順にセグメントデータ取得先からデータ取得を行い、所定の記憶領域としての受信バッファにデータを一時的に蓄積（バッファリング）する。
（４）情報端末２００は、受信バッファに蓄積したデータの再生表示、または保存を行う。
（５）カメラ１００と情報端末２００は、プレイリスト終了（ストリーミング終了）まで、（２）〜（４）の動作を繰り返す。
(1) Prior to the start of streaming, connection processing is performed between the
(2) The
(3) The
(4) The
(5) The
図７と図８は、情報端末２００において、ライブストリーミングが行われている際のアプリケーション画面例である。情報端末２００は、前述したように表示部２０７にタッチパネルの操作部２０５が一体化された構成となされているとする。なお、図７は、姿勢検出部２１４により情報端末２００が縦向き姿勢であると検出された場合の画面例である。図８は、姿勢検出部２１４により情報端末２００が横向き姿勢であると検出された場合の画面例である。
FIG. 7 and FIG. 8 show examples of application screens when live streaming is performed in the
図７に示したような縦向き姿勢の場合、情報端末２００は、表示部２０７の画面上に、表示エリア７０１と、ステータス情報と、操作ＵＩとを表示可能である。表示エリア７０１は、ライブストリーミングデータに基づく映像が表示される領域である。ステータス情報はカメラ１００の状態を表す情報である。図７の例の場合、情報端末２００は、カメラ１００のステータス情報として、光学系１１３のズームレンズのズーム位置情報７０２、記録状態を表す記録状態情報７０３、バッテリー残量を示すバッテリー情報７０４等を表示させている。操作ＵＩには、再生中の映像に関するユーザの操作を受け付けるためのＵＩを含む情報端末２００の操作用のＵＩと、カメラ１００の遠隔操作用のＵＩとが含まれる。図７の例の場合、情報端末操作用のＵＩとしては、端末ＲＥＣボタン７０７が用意されている。この端末ＲＥＣボタン７０７がタッチ等されると、情報端末２００は、ライブストリーミングにより受信した映像データを当該端末内の記録媒体２１２に記録する。カメラ遠隔操作用のＵＩとしては、光学系１１３のズームレンズをワイド（ＷＩＤＥ）方向やテレ（ＴＥＬＥ）方向に操作するためのズーム指示ボタン７０５、撮影映像を記録させるカメラＲＥＣボタン７０６等が用意されている。情報端末２００は、ズーム指示ボタン７０５がタッチ等された場合にはカメラ１００に対しズーム位置を移動させるためのコマンドを送り、カメラＲＥＣボタン７０６がタッチ等された場合にはカメラ１００に対し映像記録を行わせるためのコマンドを送る。このように、図７の縦向き姿勢の場合、画面上にライブストリーミングの映像が映し出される表示エリア７０１とともに、操作ＵＩも表示されるため、ユーザは、この操作ＵＩを介してカメラ１００の遠隔操作を行うことができる。これら情報端末操作用及びカメラ遠隔操作用の操作ＵＩは、情報端末２００に予め用意（ＲＯＭ２０２又は記録媒体２１２にプログラムとして保持）されており、情報端末２００のＣＰＵ２０１がそのプログラムを実行することにより生成される。
In the case of the vertical posture as shown in FIG. 7, the
図８に示した横向き姿勢の場合、情報端末２００は、表示部２０７の画面上に、例えば表示エリア８０１のみを表示する。表示エリア８０１は、ライブストリーミングデータに基づく映像が表示される領域である。つまり、横向き姿勢の場合、情報端末２００は、操作ＵＩを画面上に表示しない。したがって、縦向き姿勢の場合、図７の場合のような操作ＵＩによるカメラ１００の遠隔操作は行えなくなる。なお、操作ＵＩは、図８の例のように非表示とされる場合の他に、ユーザによる入力を受け付けないグレーアウト表示となされてもよい。また、図８では図示していないが、ステータス情報等については表示していてもよいし、表示しないようになされてもよい。このように、横向き姿勢の場合の情報端末２００は、ライブストリーミングの映像を画面全面の広い表示エリア８０１に表示する一方で、画面上には操作ＵＩを表示せず、ユーザによるカメラ１００の遠隔操作等の入力を受け付けない状態となる。
In the case of the horizontal attitude shown in FIG. 8, the
前述したように、本実施形態の情報端末２００は、ユーザにより、当該端末が縦向き姿勢で保持されている場合には図７にように表示エリア７０１とともに操作ＵＩも表示する設定となされている。一方、当該端末が横向き姿勢で保持されている場合、本実施形態の情報端末２００は、図８のように操作ＵＩを非表示として表示エリア８０１のみを表示する設定となされている。したがって、ユーザは、表示エリア７０１とともに操作ＵＩを表示したい場合には、情報端末２００を縦向き姿勢に保持し、表示エリア８０１のみを表示（操作ＵＩを非表示）にしたい場合には、情報端末２００を横向き姿勢に保持することになる。
As described above, the
そして、図７のように表示エリア７０１と共に操作ＵＩをも表示する縦向き姿勢となされた場合、表示エリア７０１の映像を観ながら操作ＵＩを介してカメラ１００を遠隔操作することが、ユーザの意図の中の一つであると考えられる。つまり、情報端末２００を図７のように縦向き姿勢で保持している場合、ユーザは、ライブストリーミングの映像を観つつ、カメラ１００に対する遠隔操作をいつでも行える状態になっていることを望んでいる可能性が高いと考えられる。一方、図８のように表示エリア８０１のみ表示して操作ＵＩを非表示にする横向き姿勢の場合、表示エリア８０１の映像を主に観ることが、ユーザの主要な意図であると考えてよい。つまり、情報端末２００を図８のように横向き姿勢で保持している場合、ユーザは、カメラ１００を遠隔操作することよりも、ライブストリーミングの映像の視聴を楽しむことを望んでいる可能性が高いと考えられる。
Then, as shown in FIG. 7, when the
ここで、例えば前述した特許文献１に記載の技術のように、ホスト側から端末へ操作ＵＩを送信している場合、例えば輻輳により通信の遅延が発生すると、操作ＵＩのレスポンスも遅延し、ユーザ操作がユーザの意図した操作とならないことがある。
このため、本実施形態では、操作ＵＩを情報端末２００に予め用意しておき、通信遅延が生じていても操作ＵＩに影響が及ばないようにしている。さらに、本実施形態において図７の縦向き姿勢のように操作ＵＩを表示している場合、情報端末２００は、受信バッファのバッファサイズを小さくして、映像の遅延の影響を極力小さくしつつ操作ＵＩとの親和性を高めている。つまり、受信バッファサイズを小さくすることで、カメラ１００から送信された映像と情報端末２００に表示されている映像との間のタイムラグを少なくし、映像を観つつユーザにより行われた操作の意図が、カメラ１００側に即座に反映されるようにしている。一方、本実施形態の場合、図８の横向き姿勢のように、操作ＵＩを非表示にした場合、受信バッファのバッファサイズを大きくして、通信遅延の影響を受け難くして、高画質の映像の視聴の継続を可能としている。つまり、受信バッファサイズを大きくすることで、情報端末２００に表示される映像を途切れ難くしている。このように、本実施形態の情報端末２００は、予め用意されている操作ＵＩの表示の有無に基づき、遠隔操作と映像表示の親和性優先か又は途切れ難い映像表示を行う画質優先の、何れがユーザの意図であるのかを判定してバッファサイズを変更している。これにより、本実施形態の情報端末２００では、カメラ１００からのライブストリーミングの映像を表示する際に、ユーザの意図を適切に反映したスムーズな映像表示が可能となる。
Here, for example, when the operation UI is transmitted from the host side to the terminal as in the technology described in
For this reason, in the present embodiment, the operation UI is prepared in advance in the
以下、前述の図３に示した基本的な動作を踏まえ、本実施形態の通信システムにおけるライブストリーミングの動作、情報端末２００における操作ＵＩの有無に応じた受信バッファサイズの変更制御について、詳細に説明する。
先ず、カメラ１００は、操作部１０５を介してユーザからライブストリーミングモードの実行指示が入力されると、ＣＰＵ１０１の制御により、通信制御部１０８を通信可能状態とする。
Hereinafter, based on the basic operation shown in FIG. 3 described above, the operation of live streaming in the communication system of this embodiment and the change control of the reception buffer size according to the presence or absence of the operation UI in the
First, when an instruction to execute a live streaming mode is input from the user via the
また、情報端末２００は、操作部２０５を介してユーザから通信接続処理およびライブストリーミングに必要なアプリケーションソフトウェア（以下、アプリと記す）の起動指示が入力されると、ＣＰＵ２０１によりそのアプリを起動させる。これにより、情報端末２００のＣＰＵ２０１は、ＲＯＭ２０２または記録媒体２１２に格納された当該アプリのプログラムに従い、通信制御部２０８を制御し、カメラ１００との通信を開始して、接続処理を行う。
In addition, when an instruction to start application software (hereinafter referred to as an application) necessary for communication connection processing and live streaming is input from the user via the
ここで、カメラ１００と情報端末２００は、通信プロトコルとしてＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を使用するものとする。また、カメラ１００と情報端末２００は、通信接続においてＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）に対応しているものとする。ＵＰｎＰ対応の情報端末２００は、機器をネットワークに接続すると、ＤＨＣＰ（Ｄｙｎａｍｉｃ Ｈｏｓｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）または、ＡｕｔｏＩＰによるＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスの設定を行う。ＩＰアドレスを取得した機器は、ネットワーク上の他の機器を相互に認識するために、「デバイスディスカバリーとコントロール」によって、デバイス検索と応答デバイスの種別、サービス機能などの情報取得を行う。このため、ステップＳ３０３において、情報端末２００はカメラ１００へデバイス検索要求を送り、ステップＳ３０４において、カメラ１００は情報端末２００からのデバイス検索要求に対して機器情報と機器固有情報のプレイリスト取得先情報などを応答する。そして、カメラ１００と情報端末２００の接続処理が完了すると、カメラ１００はライブストリーミングを開始する。
Here, the
ライブストリーミングを開始した場合、カメラ１００のＣＰＵ１０１は、撮像素子１１４からの信号出力を開始し、その出力をカメラ信号処理部１１５により適切な映像データに処理し、符号・復号処理部１１６へデータを送る。このとき、ズーム倍率（もしくは焦点距離）等のカメラステータスに関する情報も合わせて、符号・復号処理部１１６に送る。
When live streaming is started, the
符号・復号処理部１１６は、それら受け取った映像データ等を所定のビットレート、フォーマット形式で圧縮符号化し、図３に示すように、さらに所定の時間長Ｔｓで分割し、セグメントデータ３０２としてＲＡＭ１０３または記録媒体１１２に保存する。なお、本実施形態では、例えば所定の時間長Ｔｓ＝０．５秒として、以下の説明を行う。
The encoding /
また、ＣＰＵ１０１は、セグメントデータ保存先と関連させたパス情報を生成する。パス情報は、情報端末２００がセグメントを取得する際の取得先情報として使用するものである。そして、ＣＰＵ１０１は、プレイリスト３０１を作成し、パス情報と併せてセグメント情報を一時記録する。
The
ここで、プレイリスト３０１について詳細に説明する。図４は、本実施形態に係るプレイリスト４１０の一例を表す図である。プレイリスト４１０は、例えばＥｘｔｅｎｄｅｄ Ｍ３Ｕ形式のプレイリストとなされる。
カメラ１００のＣＰＵ１０１は、プレイリスト４１０の最初の行４１１には識別子タグを記述し、次（２行目）の行４１２にはプレイリストバージョンを示すタグとバージョンを記述する。図４には、バージョンが"３"の例を挙げている。またＣＰＵ１０１は、３行目の行４１３にはセグメントデータ３０２の時間を示すタグとその時間（秒）を、整数または小数の値で記述する。本実施形態では、セグメントデータ時間長をＴｓ＝０．５（秒）としていることから、図４の例でも時間は"０．５"秒なされている。さらに、ＣＰＵ１０１は、４行目の行４１４にはセグメントデータ３０２の取得先パス（クエリパラメータを含む）を記述する。なお、３行目の行４１３と４行目の行４１４はセグメントデータ３０２に関する情報として、必ず続けて記述する必要がある。このプレイリスト４１０は、セグメント情報（行４１３，４１４の情報）を記録した図３のプレイリスト３０１の内容例となる。
Here, the
The
また、情報端末２００は、セグメントデータ３０２の時間長Ｔｓを事前に記憶しているか、カメラ１００の機器情報に含めることで機器情報取得時に得ることが出来ているものとする。
情報端末２００は、ライブストリーミング開始後、ステップＳ３０５において、約Ｔｓ（秒）後に、ステップＳ３０４で取得したプレイリスト取得先へ、プレイリスト取得要求（ＨＴＴＰ ＧＥＴメソッド）を行う。
Further, it is assumed that the
The
一方、カメラ１００は、ステップＳ３０６において、応答プレイリストとして、セグメント情報（４１３，４１４）が一つ記述されたプレイリスト３０１（＝４１０）を、情報端末２００へ送信する。
また、情報端末２００は、ステップＳ３０７において、受信したプレイリスト４１０を解析し、セグメント情報の取得先に対してセグメント取得要求（ＨＴＴＰ ＧＥＴメソッド）を行う。
そして、カメラ１００は、ステップＳ３０８において、応答セグメントとして、要求されたセグメントデータ３０２を送信する。
On the other hand, in step S306, the
Further, in step S307, the
Then, in step S308, the
情報端末２００のＣＰＵ２０１は、受信したセグメントデータ３０２をＲＡＭ２０３または記録媒体２１２に一時保存させる。すなわち、情報端末２００では、輻輳時などに映像を途切れ難くするため、一定時間分のデータを蓄積（バッファリング）させる。このように、情報端末２００では、ＲＡＭ２０３または記録媒体２１２が受信バッファとして用いられ、受信バッファには前述のように再生表示されるまで一時的にセグメントデータ３０２が蓄積される。本実施形態の場合、この受信バッファにおいて一時的に蓄積可能なデータ量が、前述した受信バッファサイズに相当する。なお、受信バッファの最大バッファサイズは固定値でも変動値でもよく、ユーザが設定できるようになされていてもよい。
The
そして、情報端末２００のＣＰＵ２０１は、受信バッファに一定時間分のデータが蓄積されたならば、そのデータを符号・復号処理部２１３に渡して復号化させる。この復号化された映像データは、出力処理部２０６を介して表示部２０７に送られて再生表示される。
また例えば、ユーザにより端末ＲＥＣボタン７０７の操作を介した記録指示の入力があった場合、ＣＰＵ２０１は、前述の復号化されたデータ、またはセグメントデータ３０２からヘッダなどを除いたデータ部を、記録媒体２１２に記録保存させる。この記録の際には、順次受信したセグメントデータを結合したデータが記録される。
Then, when data for a fixed time is accumulated in the reception buffer, the
Also, for example, when the user inputs a recording instruction through the operation of the
また、ライブストリーミング中、カメラ１００のＣＰＵ１０１は、約Ｔｓ（秒）毎にセグメントの生成とプレイリスト３０１の更新を行う。そして、ＣＰＵ１０１は、情報端末２００へ送信して当該情報端末２００で正常に取得されたセグメントデータ３０２についてはプレイリスト３０１から削除する。
In addition, during live streaming, the
情報端末２００は、カメラ１００にてプレイリスト３０１の更新が行われる度、その約Ｔｓ（秒）毎にステップＳ３０５でプレイリスト３０１を取得し、プレイリスト３０１に記載されたセグメント情報に基づき、当該セグメントデータ３０２の取得要求を行う。
なお、情報端末２００のステップＳ３０５，Ｓ３０７における要求処理では、情報端末またはアプリケーションの固有のＩＤが付加される。そして本実施形態のカメラ１００は、最初に要求のあったＩＤの情報端末からの要求のみに対してストリーミングを行う。つまり、本実施形態のカメラ１００と情報端末２００は１対１接続でのみストリーミングを行うものとする。
The
In the request processing in steps S305 and S307 of the
ここで、通信状況が良好である場合、ステップＳ３０５でのプレイリスト取得からステップＳ３０８の応答セグメントまでの一連の処理が定期的に行われることになる。
しかしながら、実際には、輻輳などにより通信が定期的に行えなくなることがある。
図５は、ライブストリーミングにおいて、情報端末２００の受信バッファ５００のデータ蓄積状態の一例を説明する図である。図５の例では、セグメント（ｓｅｑ＝１）からセグメント（ｓｅｑ＝３）までの通信の後に輻輳が生じた場合を挙げている。また、図５の例の場合、受信バッファ５００のバッファサイズは、例えばセグメントデータ時間長Ｔｓ×３分のデータ量（セグメントデータ三つ分）に相当するサイズであるとする。
Here, if the communication status is good, a series of processes from the playlist acquisition in step S305 to the response segment in step S308 will be performed periodically.
However, in practice, communication may not be able to be performed regularly due to congestion or the like.
FIG. 5 is a diagram for explaining an example of the data accumulation state of the
図５において、セグメント（ｓｅｑ＝１）のデータを取得した時点で、情報端末２００の受信バッファ５００は、１Ｔｓ分に相当する記憶エリアが使用された状態５１０となる。なお、この時点では再生は開始されておらず、受信バッファ５００からのデータ読み出しは行われていないとする。次に、セグメント（ｓｅｑ＝２）のデータを取得すると、受信バッファ５００は、２Ｔｓ分の記憶エリアが使用された状態５１１となる。なお、この時点でも再生は開始されていないとする。さらに、次のセグメント（ｓｅｑ＝３）のデータを取得すると、受信バッファ５００は、３Ｔｓ分の記憶エリアが使用された状態５１２となる。そして、情報端末２００は、受信バッファ５００に３Ｔｓ分に相当するセグメントデータが蓄積されると、受信バッファ５００からのデータの読み出しを開始して、再生を開始する。
In FIG. 5, when the data of the segment (seq = 1) is acquired, the
通信状況が良好である場合には、再生開始後は、受信バッファ５００において１Ｔｓ分のデータの書き込みと読み出しが繰り返されることで、再生がスムーズに継続される。すなわち、受信バッファ５００では、セグメントデータが書き込まれた順に順次読み出され、１Ｔｓ分の記憶エリアの空きができると、次の新たなセグメントのデータを書き込むような、書き込みと読み出しが繰り返される。
If the communication state is good, after start of reproduction, reproduction and reception are continuously continued by repeating writing and reading of data of 1 Ts in the
一方、輻輳等により通信速度の低下等が生ずると、カメラ１００から情報端末２００へのセグメントデータの送信が遅延し、受信バッファ５００に新たなセグメントデータの書き込みが行われるまでの期間が長くなる。一方で、受信バッファ５００からの読み出しは継続される。このため、受信バッファ５００では、３Ｔｓ分の記憶エリアが使用された状態５１２から、２Ｔｓ分の記憶エリアが使用された状態５１３へ、さらに１Ｔｓ分の記憶エリアが使用された状態５１４のように、蓄積されているデータが徐々に減少していく。そして、情報端末２００において、受信バッファ５００の記憶エリアが空いた状態５１５になると再生が停止してしまうことになる。このため、受信バッファ５００のサイズが大きいと、再生が開始されるまでにかかる時間は長くなるが、輻輳時に受信バッファ５００内のデータが無くなってしまうまでの時間も長くなり、再生が停止してしまうまでの時間にある程度の余裕があることになる。すなわち、受信バッファ５００のサイズが大きい場合には、輻輳等で通信速度が低下しても再生される映像が途切れ難くなる。これに対し、受信バッファ５００のサイズが小さいと、再生が開始されるまでにかかる時間は短いが、例えば輻輳時には受信バッファ５００内のデータが無くなってしまうまでの時間も短くなり、再生が停止してしまうまでの余裕が少なくなる。すなわち、受信バッファ５００のサイズが小さい場合には、輻輳時などで通信速度が低下すると映像が途切れ易くなる。
On the other hand, when a decrease in communication speed or the like occurs due to congestion or the like, transmission of segment data from
以下、図６を用い、ライブストリーミング時における情報端末２００の処理の流れについて説明する。図６は、カメラ１００との接続が確立した後、情報端末２００のＣＰＵ２０１が表示制御などを実行する処理のフローチャートである。図６のフローチャートの処理は、ＲＯＭ２０２に格納された本実施形態に係るプログラムをＲＡＭ２０３に展開してＣＰＵ２０１が実行することにより実現される。なお、図６のフローチャートの処理の全てがＣＰＵ２０１にて実行される必要はなく、処理の一部または全てがＣＰＵ２０１以外の一つ又は複数の回路等によって行われてもよい。
Hereinafter, the flow of processing of the
ステップＳ６０１において、ＣＰＵ２０１は、カメラ１００との接続時に図３のステップＳ３０４で受け取った機器・プレイリスト取得先情報から、プレイリスト取得先情報を取得してＲＡＭ２０３に保持する。
次に、ステップＳ６０２において、ＣＰＵ２０１は、所定時間が経過したか否かの判定を行う。ＣＰＵ２０１は、所定時間が経過したと判定した場合にはＳ６０３へ処理を進め、一方、所定時間が経過していないと判定した場合にはＳ６０６へ処理を進める。ここで、所定時間としては、カメラ１００が生成する所定の時間長Ｔｓと同等の時間にすることが望ましい。
In step S601, the
Next, in step S602, the
ステップＳ６０３に進むと、ＣＰＵ２０１は、ステップＳ６０１で取得したプレイリスト取得先情報を用いて、図３のステップＳ３０５のプレイリストの取得要求を行い、その後、カメラ１００から受け取ったプレイリスト（Ｐ１）の解析を行う。ＣＰＵ２０１は、プレイリストの解析にて識別タグによるプレイリスト形式とバージョンの確認を行った後、カメラ１００からのセグメント情報の取得を開始する。
In step S603, the
次のステップＳ６０４において、ＣＰＵ２０１は、ステップＳ６０３で取得したプレイリストにセグメント情報が存在したか否かの判定を行う。ＣＰＵ２０１は、セグメント情報が存在したと判定した場合にはステップＳ６０５へ処理を進め、一方、セグメント情報が存在していないと判定した場合にはステップＳ６０６へ処理を進める。
In the next step S604, the
ステップＳ６０５の処理に進むと、ＣＰＵ２０１は、取得したセグメント情報が一つならば、そのセグメントを取得セグメントとする。また、ＣＰＵ２０１は、取得したセグメント情報が複数ならば、その中で受信順が最も古いセグメント情報を取得セグメントとする。さらに、ＣＰＵ２０１は、取得セグメント情報の取得先パスに対して、図３のステップＳ３０７のセグメント取得要求を行い、その後、カメラ１００からセグメントを受け取る。なお、取得セグメントは、受信順で最古のセグメントに限定しなくてもよい。
In the process of step S605, if there is one acquired segment information, the
そして、ＣＰＵ２０１は、取得したセグメントデータをＲＡＭ２０３、または記録媒体２１２に一時保存し、前述したように受信バッファサイズまでデータを蓄積させる。受信バッファサイズまでセグメントデータが蓄積された場合、ＣＰＵ２０１は、受信バッファから順次データを読み出して符号・復号処理部２１３に送る。符号・復号処理部２１３による復号化後のデータは、出力処理部２０６を介して表示部２０７に送られ、これにより再生表示（映像表示）が行われる。また、ＣＰＵ２０１は、前述の端末ＲＥＣボタン７０７への指示に基づく記録が実行されている場合、本処理フローとは別の処理により、復号化したデータ、またはセグメントからヘッダなどを除いたデータ部を、記録媒体２１２に保存させる。
Then, the
次に、ステップＳ６０６において、ＣＰＵ２０１は、姿勢検出部２１４の出力を基に情報端末２００の姿勢検出を行い、姿勢が変更されたか否かの判定を行う。ＣＰＵ２０１は、姿勢が変更されたと判定した場合にはステップＳ６０７へ処理を進め、姿勢が変更されていないと判定した場合にはステップＳ６１１へ処理を進める。
Next, in step S606, the
ステップＳ６０７に進むと、ＣＰＵ２０１は、操作部２０５による操作が無効か否かの判定を行う。例えば図８のように、情報端末２００が横向き姿勢となされている場合、ライブストリーミングの映像が表示エリア８０１に表示されて操作ＵＩ等が表示されない状態である場合には、操作無効となる。ＣＰＵ２０１は、操作無効であると判定した場合にはステップＳ６０８へ処理を進め、操作無効でないと判定した場合にはステップＳ６１０へ処理を進める。
In step S 607, the
ステップＳ６０８に進むと、ＣＰＵ２０１は、過去の一定期間に受信バッファが空になった回数が閾値以上になったか否かの判定を行う。なお、受信バッファが空になるとは、つまり輻輳などにより受信バッファ内にデータが無くなって、再生が停止することを意味する。ＣＰＵ２０１は、ステップＳ６０８の処理に移行する直前までの過去Ｔｂ（秒、ＴｂはＴｓよりも長い時間とする。）間において受信バッファが空になった回数を計測し、その計測した回数が閾値以上になったか否か判定する。そして、ＣＰＵ２０１は、受信バッファが空になった回数が閾値以上になったと判定した場合には、通信環境が良くないと判断し、ステップＳ６０９へ処理を進める。一方、ＣＰＵ２０１は、受信バッファが空になった回数が閾値未満であると判定した場合には、通信環境が良いと判断し、ステップＳ６１０へ処理を進める。なお、閾値は例えばｎ回とし、ｎは予め設定された値でもよいし、ユーザにより任意に設定可能な値でもよい。また、ステップＳ６０８の判定手法では回数と閾値とを比較する手法を例に挙げたが、この例に限定する必要はなく、通信環境が良いか否かを評価できるのであれば、他の方法が用いられてもよい。
In step S608, the
ステップＳ６０９に進むと、ＣＰＵ２０１は、受信バッファサイズを、設定可能な最大値（設定可能な最大サイズ）に設定する。ここで、前述した横向き姿勢状態のように操作ＵＩが表示されない操作無効状態である場合、通信遅延による操作不便性を考慮する必要性は少なく、遅延よりもスムーズな再生を優先することが望ましい。このため、操作無効状態の場合には、受信バッファサイズを大きくするように決定し、これにより途切れ難いスムーズな映像再生を実現する。なお、本実施形態では、受信バッファサイズを設定可能な最大値としたが、勿論最大のサイズではない設定値でもよく、例えば所定サイズずつバッファサイズを増加させていってもよい。また、受信バッファサイズの変更を自動と手動の何れかに選択して設定できる場合には、自動設定になっている場合のみ受信バッファサイズの変更を行い、手動の場合には変更しないようにしてもよい。
In step S609, the
ステップＳ６１０に進んだ場合、ＣＰＵ２０１は、受信バッファサイズを設定済みのサイズとするように決定する。つまり、前述したステップＳ６０７で操作ＵＩが表示される操作有効な状態であると判定してステップＳ６１０へ進んだ場合には、操作への影響も考慮し、遅延時間を軽減することが望ましい。そのため、ステップＳ６０７からステップＳ６１０へ遷移した場合，ＣＰＵ２０１は、バッファサイズを元々設定されていた値、若しくはユーザが設定した値に戻す。これは、ユーザがカメラ１００を遠隔操作する場合には、再生されている映像を観ながら操作するタイミングを計ると考えられるため、遠隔操作される可能性がある状態では常にバッファサイズは小さめにしておく方が望ましいためである。ステップＳ６０９の後、ＣＰＵ２０１は、ステップＳ６１１へ処理を進める。
When the process proceeds to step S610, the
一方、ステップＳ６０８で通信環境が良いと判断してステップＳ６１０へ進んだ場合には、輻輳が発生している可能性が少なく、バッファサイズを大きくする必要がないと考えられる。このため、ＣＰＵ２０１は、ステップＳ６０８からステップＳ６１０へ遷移した場合には、バッファサイズを元々設定されていた値、若しくはユーザが設定した値に戻す。ステップＳ６１０の後、ＣＰＵ２０１は、ステップＳ６１１へ処理を進める。
On the other hand, if it is determined in step S608 that the communication environment is good and the process proceeds to step S610, there is little possibility that congestion has occurred, and it is considered unnecessary to increase the buffer size. Therefore, when the
ステップＳ６１１に進むと、ＣＰＵ２０１は、ライブストリーミングの処理を終了するか否かの判定を行う。そして、ＣＰＵ２０１は、例えばライブストリーミングの映像が終わった場合やユーザによる終了指示等がなされた場合には図６のフローチャートの処理を終了し、それ以外の場合にはステップＳ６０２に戻って処理を続ける。
In step S611, the
以上説明したように、本実施形態の情報端末２００は、姿勢に応じて映像表示の向きを変更すると共に操作ＵＩの表示の有無（表示又は非表示）を決定しており、操作ＵＩの表示の有無に応じて受信バッファサイズを変更している。例えば、情報端末２００は、横向き姿勢時のようにライブストリーミングでアプリが操作ＵＩを表示せず映像再生のみの状態になった場合には、受信バッファサイズを大きくすることで、よりスムーズな映像再生を可能としている。これにより、本実施形態の情報端末２００では、ライブストリーミングの映像再生停止の瞬間や受信バッファ内の蓄積データが無くなった時の映像飛びが目立たなくなるという効果を期待できる。また、本実施形態の情報端末２００は、縦向き姿勢時のようにライブストリーミングでアプリが操作ＵＩを表示する状態になった場合には、受信バッファサイズを元々のサイズに戻すようになされている。これにより、本実施形態の情報端末２００では、ユーザが映像を観ながら操作する場合の映像と操作の親和性が良くなるという効果を得ることができる。また、本実施形態の場合、操作ＵＩは情報端末２００に予め用意されているものであるため、輻輳等による通信遅延が操作ＵＩに影響を与えることはない。以上のことから、本実施形態によれば、カメラ１００により撮影されているライブストリーミングの映像を情報端末２００に表示する場合において、ユーザの意図を適切に反映したスムーズな映像表示が可能となる。
As described above, the
以上、本発明に係る好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば図６に示す処理では、操作ＵＩの表示中はバッファサイズを設定済みのサイズとし、操作ＵＩを表示しない状態ではバッファサイズを最大とした。しかし、操作ＵＩの表示中はバッファサイズを設定しうる最小値（これはバッファサイズ０、つまりバッファしない設定を含む）とし、操作ＵＩを表示しない状態ではバッファサイズを設定済みのサイズとしてもよい。これは以下の理由による。すなわち、そもそもユーザがバッファを設定する意図は、ユーザが視聴において許容できる遅延を設定しているともいえる。つまり、ユーザが設定したバッファサイズは、視聴をメインとした状態（本実施形態では図８の状態）において適用する方がユーザの意図に適った表示方法とも言えるからである。いずれの方法を採用するにせよ、操作ＵＩが表示されている状態の方が、表示されていない状態よりも遅延が少ない状態になっていることが重要である。
本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
As mentioned above, although it explained in full detail based on the suitable embodiment concerning the present invention, the present invention is not limited to these specific embodiments, and various forms of the range which does not deviate from the gist of this invention are the present invention. included.
For example, in the process shown in FIG. 6, the buffer size is set as the set size while the operation UI is displayed, and the buffer size is maximized when the operation UI is not displayed. However, while the operation UI is being displayed, the buffer size may be set to the minimum value that can be set (this is buffer size 0, that is, including settings not to be buffered), and when the operation UI is not displayed, the buffer size may be set as the set size. This is due to the following reasons. That is, it can be said that the user's intention to set the buffer originally sets the delay that the user can tolerate in viewing. That is, it can be said that applying the buffer size set by the user in a state where viewing is the main (in the present embodiment, the state of FIG. 8) is a display method suitable for the user's intention. Whichever method is adopted, it is important that the state in which the operation UI is displayed has a smaller delay than the state in which the operation UI is not displayed.
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read the program. It can also be realized by the process to be executed. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
The above-described embodiments are merely examples of implementation for practicing the present invention, and the technical scope of the present invention should not be interpreted limitedly by these. That is, the present invention can be implemented in various forms without departing from the technical concept or the main features thereof.
１００：カメラ、２００：情報端末、２０１：ＣＰＵ、２１４：姿勢検出部、２０８：通信制御部 100: camera, 200: information terminal, 201: CPU, 214: attitude detection unit, 208: communication control unit
Claims (8)
外部装置から受信したストリーミングのための映像データに基づき、映像を再生する再生手段と、
前記再生手段により再生される映像を表示するための、前記情報処理装置に予め保持された再生用画面を表示部に表示する表示制御手段と、
前記外部装置から受信した映像データを、前記再生手段による再生のために所定の記憶領域にバッファするバッファ手段とを有し、
前記表示制御手段は、再生中の映像に関するユーザの操作を受け付けるための操作部を、前記再生中の映像とともに前記再生用画面に表示可能であり、
前記再生用画面への前記操作部の表示の有無に応じて、前記バッファ手段は前記映像データのバッファサイズを変更することを特徴とする情報処理装置。 An information processing apparatus,
Reproduction means for reproducing video based on video data for streaming received from an external device;
A display control unit for displaying on a display unit a reproduction screen stored in advance in the information processing apparatus, for displaying a video reproduced by the reproduction unit;
Buffer means for buffering video data received from the external device in a predetermined storage area for reproduction by the reproduction means;
The display control means can display an operation unit for receiving a user's operation regarding a video being reproduced on the reproduction screen along with the video being reproduced.
An information processing apparatus, wherein the buffer means changes a buffer size of the video data in accordance with presence or absence of display of the operation unit on the reproduction screen.
前記遠隔操作のための操作部への操作に応じて前記外部装置を遠隔操作する遠隔操作手段をさらに有することを特徴とする請求項１に記載の情報処理装置。 The operation unit includes an operation unit for remotely operating the external device,
The information processing apparatus according to claim 1, further comprising a remote control unit that remotely operates the external device according to an operation on the operation unit for the remote control.
前記表示制御手段は、前記検出された姿勢に応じて、前記映像データに基づく前記映像の表示の向きを決定するとともに、前記操作部を含む前記再生用画面を表示させるか否かを決定し、
前記バッファ手段は、前記操作部を含まない前記再生用画面が表示される場合、前記バッファサイズを、前記操作部を含む前記再生用画面が表示される場合よりも大きくすることを特徴とする請求項１または２に記載の情報処理装置。 The image processing apparatus further comprises detection means for detecting the attitude of the information processing apparatus,
The display control means determines the direction of display of the video based on the video data according to the detected attitude, and determines whether or not to display the reproduction screen including the operation unit,
When the screen for reproduction which does not include the operation unit is displayed, the buffer means makes the buffer size larger than the case where the screen for reproduction including the operation unit is displayed. The information processing apparatus according to item 1 or 2.
前記バッファ手段は、前記計測された回数が所定の閾値未満である場合には前記バッファサイズを変更しないことを特徴とする請求項１から４の何れか１項に記載の情報処理装置。 It further comprises measuring means for measuring the number of times the video data is not stored in the predetermined storage area.
The information processing apparatus according to any one of claims 1 to 4, wherein the buffer unit does not change the buffer size when the number of times of measurement is less than a predetermined threshold.
前記バッファ手段は、前記設定手段により前記バッファサイズを手動で変更するよう設定されている場合には、前記バッファサイズを変更しないことを特徴とする請求項１から５の何れか１項に記載の情報処理装置。 It has setting means for setting whether to change the buffer size automatically or manually.
6. The buffer unit according to any one of claims 1 to 5, wherein the buffer size is not changed when the setting means is set to change the buffer size manually. Information processing device.
外部装置から受信したストリーミングのための映像データに基づき、映像を再生する再生工程と、
前記再生工程により再生される映像を表示するための、前記情報処理装置に予め保持された再生用画面を表示部に表示する表示制御工程と、
前記外部装置から受信した映像データを、前記再生工程による再生のために所定の記憶領域にバッファするバッファ工程とを有し、
前記表示制御工程では、再生中の映像に関するユーザの操作を受け付けるための操作部を、前記再生中の映像とともに前記再生用画面に表示可能であり、
前記再生用画面への前記操作部の表示の有無に応じて、前記バッファ工程では前記映像データのバッファサイズを変更することを特徴とする情報処理装置の制御方法。 A control method of the information processing apparatus,
A reproduction process of reproducing video based on video data for streaming received from an external device;
A display control step of displaying on a display unit a reproduction screen stored in advance in the information processing apparatus, for displaying a video reproduced by the reproduction step;
Buffering video data received from the external device in a predetermined storage area for reproduction by the reproduction process;
In the display control step, an operation unit for receiving a user's operation regarding a video being reproduced can be displayed on the reproduction screen together with the video being reproduced,
A control method of an information processing apparatus, wherein a buffer size of the video data is changed in the buffer process in accordance with presence or absence of display of the operation unit on the reproduction screen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017190181A JP2019068187A (en) | 2017-09-29 | 2017-09-29 | Information processing apparatus, control method thereof, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017190181A JP2019068187A (en) | 2017-09-29 | 2017-09-29 | Information processing apparatus, control method thereof, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019068187A true JP2019068187A (en) | 2019-04-25 |
Family
ID=66340076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017190181A Pending JP2019068187A (en) | 2017-09-29 | 2017-09-29 | Information processing apparatus, control method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019068187A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111918134A (en) * | 2019-05-08 | 2020-11-10 | 南宁富桂精密工业有限公司 | Method for correcting video stream flow, set top box and computer readable storage medium |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005197818A (en) * | 2003-12-26 | 2005-07-21 | Canon Sales Co Inc | Mobile information terminal, image distribution server apparatus and image distribution system, and display method and program of mobile information terminal in the system, and storage medium |
| JP2006074441A (en) * | 2004-09-02 | 2006-03-16 | Matsushita Electric Ind Co Ltd | Device and method for receiving image, and image transmitting system |
| JP2006211394A (en) * | 2005-01-28 | 2006-08-10 | Toshiba Corp | Foldable portable terminal device |
| JP2008288667A (en) * | 2007-05-15 | 2008-11-27 | Nec Personal Products Co Ltd | Information processing apparatus, information processing method, and information processing system |
| JP2011146998A (en) * | 2010-01-15 | 2011-07-28 | Hitachi Consumer Electronics Co Ltd | Content receiver, and method of processing reception packet data in the same |
| US20140267899A1 (en) * | 2013-03-13 | 2014-09-18 | Comcast Cable Communications, Llc | Methods And Systems For Intelligent Playback |
| JP2015023417A (en) * | 2013-07-18 | 2015-02-02 | キヤノン株式会社 | Communication device and imaging device, control method thereof, and program |
| KR20170089363A (en) * | 2016-01-26 | 2017-08-03 | 정승환 | A smart phones image offer system and method based on the IP camera |
-
2017
- 2017-09-29 JP JP2017190181A patent/JP2019068187A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005197818A (en) * | 2003-12-26 | 2005-07-21 | Canon Sales Co Inc | Mobile information terminal, image distribution server apparatus and image distribution system, and display method and program of mobile information terminal in the system, and storage medium |
| JP2006074441A (en) * | 2004-09-02 | 2006-03-16 | Matsushita Electric Ind Co Ltd | Device and method for receiving image, and image transmitting system |
| JP2006211394A (en) * | 2005-01-28 | 2006-08-10 | Toshiba Corp | Foldable portable terminal device |
| JP2008288667A (en) * | 2007-05-15 | 2008-11-27 | Nec Personal Products Co Ltd | Information processing apparatus, information processing method, and information processing system |
| JP2011146998A (en) * | 2010-01-15 | 2011-07-28 | Hitachi Consumer Electronics Co Ltd | Content receiver, and method of processing reception packet data in the same |
| US20140267899A1 (en) * | 2013-03-13 | 2014-09-18 | Comcast Cable Communications, Llc | Methods And Systems For Intelligent Playback |
| JP2015023417A (en) * | 2013-07-18 | 2015-02-02 | キヤノン株式会社 | Communication device and imaging device, control method thereof, and program |
| KR20170089363A (en) * | 2016-01-26 | 2017-08-03 | 정승환 | A smart phones image offer system and method based on the IP camera |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111918134A (en) * | 2019-05-08 | 2020-11-10 | 南宁富桂精密工业有限公司 | Method for correcting video stream flow, set top box and computer readable storage medium |
| CN111918134B (en) * | 2019-05-08 | 2022-06-21 | 南宁富联富桂精密工业有限公司 | Method for correcting video stream flow, set top box and computer readable storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2023129649A (en) | Communication management system, communication system, communication management method and program | |
| WO2013132828A1 (en) | Communication system and relay apparatus | |
| JP2016123137A (en) | Image communication apparatus and imaging apparatus | |
| KR20170023885A (en) | Compositing and transmitting contextual information during an audio or video call | |
| US9055204B2 (en) | Image capture device with network capability and computer program | |
| JP2012217166A (en) | Image sending apparatus, image recording apparatus and image recording method | |
| US20120120261A1 (en) | Camera-enabled remote control apparatus for consumer electronic appliances | |
| US9445142B2 (en) | Information processing apparatus and control method thereof | |
| US20170070699A1 (en) | Information processing apparatus, image capturing apparatus, and control methods for the same | |
| JP2008154073A (en) | Imaging apparatus and imaging system | |
| JP6360300B2 (en) | COMMUNICATION DEVICE, IMAGING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
| JP6257197B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| JP2019068187A (en) | Information processing apparatus, control method thereof, and program | |
| US20060114510A1 (en) | Apparatus and method for image conversion | |
| US20150373073A1 (en) | Image pickup apparatus, control method and recording medium | |
| JP6289076B2 (en) | Information processing apparatus, information processing method, and program | |
| US11470234B2 (en) | Wireless camera and method of video streaming | |
| JP2017112455A (en) | Information processing unit | |
| JP2017208672A (en) | Video supply device, video acquisition device, control method and program therefor, and video supply system | |
| JP2018152646A (en) | Imaging apparatus, image display system, operation method, and program | |
| JP6254862B2 (en) | Imaging apparatus and control method, system and program thereof | |
| JP2017046183A (en) | Transmitter, receiver, and communication system | |
| JP6993793B2 (en) | Electronics, control methods and programs | |
| JP2015142360A (en) | Imaging apparatus and universal head device | |
| JP2017022553A (en) | Imaging and recording device and control method for imaging recording device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200826 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210525 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211102 |