JP2016009942A - 撮像装置、端末装置および通信システム - Google Patents

Abstract

【課題】ライブストリーミングを行う場合に撮影モードに応じた映像を表示させる撮像装置、端末装置および通信システムを提供する。
【解決手段】端末装置との間でライブストリーミングを行うカメラ１００であって、映像を取得する撮像手段と、撮影モードを設定する設定手段と、設定手段により設定された撮影モードに応じてライブストリーミングに関するパラメータを決定する決定手段と、決定手段により決定されたパラメータに応じて、撮像手段により取得された映像を前記端末装置に送信する送信手段と、を有する。
【選択図】図１

Description

本発明は、撮像装置、端末装置および通信システムなどに関する。特に、撮像装置で撮影されている映像を送信して、端末装置に表示させるライブストリーミングを行う場合に用いられて好適である。

ライブストリーミングにおいて、ファイル転送などに用いられていたＨＴＴＰ（Hypertext Transfer Protocol）／ＴＣＰ（Transmission Control Protocol）を使用して映像データを転送する方法がある。この方法でライブストリーミングを行うと、ネットワークの通信状況や機器のバッファリングにより輻輳遅延が発生する。
また、撮像装置の撮影モードによって映像の滑らかさや画質など、重視する内容が異なる。これに対して、特許文献１の配信システムでは、高品質モードでストリーミングを行うか、低遅延モードでストリーミングを行うかをユーザにより選択できることが開示されている。

特開２００９−８９１５７号公報

しかしながら、特許文献１に開示された配信システムでは、ライブストリーミングにおいて撮像装置の撮影モードに応じてライブストリーミングに関するパラメータを変更することができなかい。したがって、特許文献１に開示された配信システムでは、撮影モードが考慮された映像を表示させることができないという問題がある。

本発明は、端末装置との間でライブストリーミングを行う撮像装置であって、映像を取得する撮像手段と、撮影モードを設定する設定手段と、前記設定手段により設定された撮影モードに応じてライブストリーミングに関するパラメータを決定する決定手段と、前記決定手段により決定されたパラメータに応じて、前記撮像手段により取得された映像を前記端末装置に送信する送信手段と、を有することを特徴とする。

本発明によれば、ライブストリーミングを行う場合に撮像装置に設定された撮影モードに応じた映像を表示させることができる。

本実施形態のカメラの構成を示す図である。 本実施形態の端末装置の構成を示す図である。 本実施形態の通信システムにおける概略動作の一例を示す図である。 第１の実施形態のテーブルの一例を示す図である。 本実施形態のカメラの処理を示すフローチャートである。 本実施形態の端末装置の処理を示すフローチャートである。 端末装置における画面の一例を示す図である。 第２の実施形態のテーブルの一例を示す図である。

以下、本発明に係る実施形態について図面を参照して説明する。
＜第１の実施形態＞
本実施形態の通信システムは、撮像装置としてのカメラ１００と、カメラ１００と通信可能な外部装置としての端末装置２００とを有する。
図１は、カメラ１００の構成を示す図である。
カメラ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、入力処理部１０４、操作部１０５、出力処理部１０６、表示部１０７、通信制御部１０８、コネクタ（有線）／アンテナ（無線）１０９、内部バス１１０を有する。また、カメラ１００は、記録媒体制御部１１１、記録媒体１１２、光学系１１３、撮像素子１１４、カメラ信号処理部１１５、符号・復号処理部１１６などを有する。
ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、入力処理部１０４、出力処理部１０６、通信制御部１０８、記録媒体制御部１１１、カメラ信号処理部１１５および符号・復号処理部１１６は、内部バス１１０を介して互いにデータが送受信される。

ＲＯＭ１０２は、ＣＰＵ１０１が実行する各種プログラムを格納する。ＲＯＭ１０２には、フラッシュメモリなども含まれる。ＲＡＭ１０３は、ＣＰＵ１０１が動作するときに必要なプログラムや変数、作業用の一時データなどを適宜記憶する。
ＣＰＵ１０１は、ＲＯＭ１０２または記録媒体１１２に格納されたプログラムを実行し、ＲＡＭ１０３をワークメモリとして用いて、カメラ１００の各部を制御する。

光学系１１３は、フォーカス、絞り機構などを含む撮影レンズであり、被写体の光学像を形成する。撮像素子１１４は、ＣＣＤやＣＭＯＳ素子などで構成される。ここでは、撮像素子１１４はＡ／Ｄ変換器を含み、光学像をアナログ電気信号に変換した後、デジタル信号に変換する。
カメラ信号処理部１１５は、ＣＰＵ１０１の制御に基づき、撮像素子１１４で変換されたデジタル信号に対し、所定の画素補間・縮小といったリサイズ処理や色変換、各種補正処理などを行う。
符号・復号処理部１１６は、ＣＰＵ１０１の制御に基づき、カメラ信号処理部１１５で処理されたデジタル信号を所定のビットレート、フォーマット形式で圧縮符号化、または映像圧縮符号化データの復号化を行う。

なお、音声については図示していないが、光学系１１３、撮像素子１１４をマイクにし、表示部１０７をスピーカにすることで、ほぼ同様の処理により音声信号も扱うことが可能である。したがって、音声は映像記録時には映像と同時に収録され、符号・復号処理部１１６で映像と音声を多重化することで、音声付映像データを生成することが可能である。

入力処理部１０４は、操作部１０５でのユーザ操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ１０１に送信する。例えば、操作部１０５は、ユーザ操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。また、操作部１０５には、赤外線リモコンなどの遠隔操作可能なものも含まれる。なお、タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。したがって、カメラ１００に対し、ユーザ操作に応じた動作を行わせることができる。

出力処理部１０６は、ＣＰＵ１０１がプログラムを実行することで生成したＧＵＩ(Graphical User Interface)などの表示データに基づき、表示部１０７に対して表示させるための表示信号を出力する。
なお、操作部１０５としてタッチパネルを用いる場合、操作部１０５と表示部１０７とを一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部１０７の表示を妨げないように構成し、表示部１０７の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１０７上の表示座標とを対応付ける。これにより、恰もユーザが表示部１０７上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。

記録媒体制御部１１１は、ＨＤＤや不揮発性の半導体メモリなどの記録媒体１１２が接続される。記録媒体制御部１１１は、ＣＰＵ１０１の制御に基づき、接続された記録媒体１１２からのデータの読み出しや、記録媒体１１２に対するデータの書き込みを行う。なお、記録媒体制御部１１１が接続可能な記録媒体１１２は、不図示のソケットなどを介して、例えばメモリカードなどの着脱可能な不揮発性の半導体メモリを接続してもよい。
記録媒体１１２は、撮影した映像データのほか、ＣＰＵ１０１の制御に必要な情報も記録することが可能である。
通信制御部１０８は、ＣＰＵ１０１の制御に基づき、コネクタ／アンテナ１０９を介して、端末装置２００との通信を行う。通信方法としては、無線のＩＥＥＥ８０２．１１やＢｌｕｅｔｏｏｔｈ(登録商標)、有線のＩＥＥＥ８０２．３などが用いることが可能である。

また、カメラ１００は、複数の撮影モードを設定することができる。本実施形態では、撮影モードとして、風景モード、スポーツモード、ポートレートモードを設定できる場合について説明する。なお、撮影モードは、これらのモードに限られず、その他のモードも適宜、設定できるようにしてもよい。ＣＰＵ１０１は、撮影モードを操作部１０５を介したユーザ操作に基づいて設定したり、撮影条件から自ら判断して設定したりすることができる。

図２は、端末装置２００の構成を示す図である。端末装置２００はスマートフォンやタブレットＰＣを含む情報処理装置である。
端末装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、入力処理部２０４、操作部２０５、出力処理部２０６、表示部２０７、通信制御部２０８、コネクタ／アンテナ２０９、内部バス２１０を有する。端末装置２００は、記録媒体制御部２１１、記録媒体２１２、符号・復号処理部２１３などを有する。端末装置２００のうちＣＰＵ２０１から記録媒体２１２までの構成は、カメラ１００の構成と同様であり、その説明を省略する。
符号・復号処理部２１３は、ＣＰＵ２０１の制御に基づき、映像圧縮符号化データの復号化、および必要に応じて復号化したデータの再符号化を行う。

次に、通信システムにおいて、ＪＰＥＧ（Joint Photographic Experts Group）画像フレームを利用したライブストリーミングの概略動作について説明する。ここで、ライブストリーミングとは、カメラ１００で撮影している映像を送信し、端末装置２００が映像を受信しながら表示する処理をいう。
図３は、通信システムにおけるライブストリーミングの概略動作を示す図である。
まず、カメラ１００のユーザが操作部１０５を介してライブストリーミングモードを選択することで、カメラ１００のＣＰＵ１０１は通信制御部１０８を通信可能な状態にする。また、端末装置２００のユーザが操作部２０５を介して通信接続処理およびライブストリーミングに必要なアプリケーションの起動を行うことで、端末装置２００のＣＰＵ２０１はＲＯＭ２０２または記録媒体２１２に格納されたプログラムを実行する。したがって、端末装置２００のＣＰＵ２０１は通信制御部２０８を制御し、カメラ１００との通信を開始し、接続処理を行う。

ここで、カメラ１００と端末装置２００とは、通信プロトコルとしてＨＴＴＰ（Hypertext Transfer Protocol）を使用するものとし、通信接続においてＵＰｎＰ（Universal Plug and Play）に対応しているものとする。ＵＰｎＰ対応の端末装置２００は、機器をネットワークに接続すると、ＤＨＣＰ(Dynamic Host Configuration Protocol)またはＡｕｔｏＩＰによるＩＰ(Internet Protocol)アドレスの設定を行う。ＩＰアドレスを取得した機器は、ネットワーク上の他の機器を相互に認識するために、「デバイスディスカバリーとコントロール」によって、デバイス検索と応答デバイスの種別、サービス機能などの情報取得を行う（図３に示す３０１）。
カメラ１００は、端末装置２００のデバイス検索要求に対して、機器情報と機器固有情報のフレーム取得先情報などを応答する（図３に示す３０２）。

カメラ１００と端末装置２００との接続処理が完了し、ライブストリーミングを開始する。すなわち、カメラ１００のＣＰＵ１０１は、撮像素子１１４からの信号出力を開始し、その出力をカメラ信号処理部１１５により適切なフレーム３００に処理し、符号・復号処理部１１６へフレーム３００を受け渡す。
符号・復号処理部１１６は、受け取ったフレーム３００を所定のビットレート、フォーマット形式で圧縮符号化し、ＲＡＭ１０３または記録媒体１１２に保存する。ＣＰＵ１０１は、所定の周期Ｔごとにフレーム３００を更新する。

ＣＰＵ１０１は、フレーム３００の保存先と関連付けたパス情報を生成する。パス情報は、端末装置２００がフレームを取得する際の取得先情報として使用される。
端末装置２００は、所定の周期Ｔを予め記憶したり、所定の周期Ｔの情報を含むカメラ１００の機器情報を受信したりすることで、所定の周期Ｔを取得することができる。
端末装置２００のＣＰＵ２０１は、ライブストリーミング開始後、約Ｔ（秒）後に既に取得した（図３に示す３０２）フレーム取得先にフレーム取得要求（ＨＴＴＰ ＧＥＴメソッド）を行う（図３に示す３０３）。
カメラ１００のＣＰＵ１０１は、応答フレームとして要求されたフレーム３００を送信する（図３に示す３０４）。
なお、ライブストリーミングでは、フレーム応答の際（図３に示す３０４）、輻輳遅延が発生することがある。画質を維持するには遅延が増加し、遅延を減少させるには画質を低くする必要がある。

端末装置２００のＣＰＵ２０１は、受信したフレーム３００を符号・復号処理部２１３に受け渡して復号化した後、出力処理部２０６を介して表示部２０７で再生表示を行う。
端末装置２００のユーザによりアプリケーションを介して記録の指示がされている場合、端末装置２００のＣＰＵ２０１は、復号化したデータまたはフレーム３００からヘッダなどを除いたデータ部を記録媒体制御部２１１を介して記録媒体２１２に記録する。ここでは、端末装置２００のＣＰＵ２０１は、順次受信したフレームを結合して記録する。

カメラ１００のＣＰＵ１０１は、ライブストリーミング中、約Ｔ（秒）毎にフレームの更新を行い、既に取得したフレームを削除する。端末装置２００のＣＰＵ２０１は、約Ｔ（秒）毎にフレーム取得要求を行う（図３に示す３０３）。
なお、端末装置２００のフレーム取得要求には端末装置２００またはアプリケーションの固有のＩＤを付加する。カメラ１００は最初に要求のあったＩＤの要求のみに対してライブストリーミングを行う。すなわち、カメラ１００と端末装置２００とは、１対１の接続でのみライブストリーミングを行う。

次に、本実施形態では、ライブストリーミングを行っている場合、カメラ１００は撮影モードに応じて、ライブストリーミングに関するパラメータ（以下、単にパラメータという）を決定した上でフレーム、すなわち映像を端末装置２００に送信する。図４は、撮影モードに応じたパラメータの優先度の割合を示す図である。
ここでは、撮影モードが上述した、風景モード、ポートレートモード、スポーツモードである場合について説明する。また、パラメータは、解像度（第１のパラメータ）、フレームレート（第２のパラメータ）である場合について説明する。なお、パラメータの優先度の割合は０から１であり、１が最高優先度であって、０が最低優先度である。

ここで、風景モード（第１の撮影モード）とは、雲台にカメラ１００を固定したり、固定された場所にカメラ１００を載置したりすることで、一般的に動きの小さい被写体の映像を撮影するときの撮影モードである。したがって、風景モードの場合、滑らかな映像であるよりも、詳細で綺麗な映像が撮影できるように、画質を高める必要がある。したがって、図４に示すように、解像度とフレームレートとの優先度の割合は１：０としている。

また、スポーツモード（第２の撮影モード）とは、動きのある被写体を撮影したり、リモート制御を滑らかな映像で行ったりするときの撮影モードである。したがって、スポーツモードの場合、画質を高めることよりも、滑らかな映像であることが望ましい。したがって、図４に示すように、解像度とフレームレートとの優先度の割合は０：１としている。

すなわち、風景モードではスポーツモードに比べて解像度が高く、フレームレートが低くなるように設定され、スポーツモードでは風景モードに比べて解像度が低く、フレームレートが高くなるように設定されている。すなわち、風景モードとスポーツモードとの間では、解像度とフレームレートとがいわゆるトレードオフの関係である。

また、ポートレートモードとは、風景モードとスポーツモードとの平均をとったような撮影モードである。すなわち、画質と映像の滑らかさがほぼ同等に優先される。したがって、図４に示すように、解像度とフレームレートとの優先度は０．５：０．５としている。
図４のような撮影モードと、パラメータの優先度の割合との関連付けを示すテーブル４００は、例えば、カメラ１００のＲＯＭ１０２に記録される。

次に、カメラ１００と端末装置２００との接続確立後に、カメラ１００のＣＰＵ１０１が行う処理について図５のフローチャートを参照して説明する。
ステップＳ５０１では、ＣＰＵ１０１はライブストリーミングにおいて設定した撮影モードを判定する。ここでは、風景モード、スポーツモード、ポートレートモードの３種類とする。

ステップＳ５０２では、ＣＰＵ１０１は判定した撮影モードに基づいてパラメータを決定する。具体的には、ＣＰＵ１０１はＲＯＭ１０２に記録された図４に示すテーブル４００を参照することで、撮影モードに応じた解像度およびフレームレートの優先度を取得する。次に、ＣＰＵ１０１は取得した優先度から解像度およびフレームレートの値を決定する。本実施形態では、解像度は高い方から「１９２０×１０８０（ドット）」、「１４４０×１０８０」、「１２８０×７２０」、「６４０×３６０」の４種類とする。また、フレームレートは高い方から６０ｆｐｓ、３０ｆｐｓ、１５ｆｐｓの３種類とする。

例えば、風景モードが設定されている場合、優先度が１：０のため、ＣＰＵ１０１は解像度を最高値の「１９２０×１０８０」、フレームレートを最低値の１５ｆｐｓに決定する。また、例えば、スポーツモードが設定されている場合、優先度が０：１のため、ＣＰＵ１０１は解像度を最低値の「６４０×３６０」、フレームレートを最高値の６０ｆｐｓに決定する。また、例えば、ポートレートモードが設定されている場合、優先度が０．５：０．５のため、ＣＰＵ１０１は解像度を中間の「１４４０×１０８０」、フレームレートを中間の３０ｆｐｓに決定する。ここでは、ＣＰＵ１０１は、中間の解像度「１４４０×１０８０」および「１２８０×７２０」のうち、解像度が高い方の「１４４０×１０８０」に決定する。ＣＰＵ１０１は決定した解像度およびフレームレートの値を初期値として端末装置２００に送信する。

ステップＳ５０３では、ＣＰＵ１０１は端末装置２００の表示部２０７に解像度およびフレームレートの値を変更するための変更画面が表示されているか否かを判定する。例えば、ＣＰＵ１０１は変更画面を表示した旨を端末装置２００から受信したか否かにより判定することができる。変更画面が表示されている場合にはステップＳ５０４に進み、表示されていない場合にはステップＳ５０５に進む。
すなわち、本実施形態では、ステップＳ５０２によってパラメータの初期値が決定されるが、端末装置２００のユーザは変更画面から任意のパラメータに変更することができる。

図７は、端末装置２００におけるパラメータを変更するための変更画面の一例を示す図である。
図７に示す端末装置２００は、操作部２０５と表示部２０７とが一体化された構成である。図７では、ＣＰＵ２０１がカメラ１００から受信した映像データを表示部２０７の領域７０１に表示すると共に、解像度およびフレームレートを変更できるスクロールバー７０２ａ，７０２ｂ、完了ボタン７０３、初期値に戻すボタン７０４などを表示する。端末装置２００のユーザが任意の位置にスクロールバー７０２ａ，７０２ｂを移動させ、完了ボタン７０３を押下することで、ＣＰＵ２０１は変更された値に解像度およびフレームレートの値を決定する。
ＣＰＵ２０１は現時点での解像度およびフレームレートの値を表示部２０７の領域７０５に表示する。なお、戻すボタン７０４が押下されることで、ＣＰＵ２０１はスクロールバー７０２ａ、７０２ｂの位置をカメラ１００から受信したときの解像度およびフレームレートの初期値になるように戻す。
なお、ＣＰＵ２０１は完了ボタン７０３が押下されたときの解像度およびフレームレートの値をカメラ１００に送信する。

ステップＳ５０４では、ＣＰＵ１０１は解像度およびフレームレートの値を端末装置２００から受信した値に変更して設定する。
ステップＳ５０５では、ＣＰＵ１０１はライブストリーミングを開始するためにフレームを生成する。ＣＰＵ１０１は、撮像素子１１４からの信号出力を開始し、その出力をカメラ信号処理部１１５により適切な映像データに処理し、符号・復号処理部１１６へデータを受け渡す。符号・復号処理部１１６では、受け取った映像データを所定のビットレート、フォーマット形式で圧縮符号化する処理を開始する。このとき、ＣＰＵ１０１は映像データがステップＳ５０４で設定した解像度およびフレームレートになるように撮像素子１１４およびカメラ信号処理部１１５を制御する。

ステップＳ５０６では、ＣＰＵ１０１は端末装置２００からのフレーム取得要求を受信したか否かを判定する。フレーム取得要求があった場合にはステップＳ５０７に進み、フレーム取得要求がない場合にはステップＳ５０８に進む。このとき、端末装置２００はフレームを受信したときにステップＳ５０４で設定されているフレームレートになるような周期でフレーム取得要求を送信する。
ステップＳ５０７では、ＣＰＵ１０１はフレーム取得要求に対する応答として、端末装置２００にフレームを送信する。
ステップＳ５０８では、ＣＰＵ１０１は処理を終了するか否かを判定する。終了する場合にはライブストリーミングに関する処理を終了し、終了しない場合にはステップＳ５０９に進む。

ステップＳ５０９では、ＣＰＵ１０１は撮影モードの変更があったか否かを判定する。撮影モードの変更は、ＣＰＵ１０１が操作部１０５を介したユーザ操作に基づいて変更したり、撮影条件から自ら判断して変更したりすることができる。
ただし、ステップＳ５０４で端末装置２００から受信した値に解像度とフレームレートの値を設定している場合には端末装置２００のユーザの意思を尊重し、ＣＰＵ１０１は撮影モードを変更しても、解像度とフレームレートの値を継続してもよい。また、ステップＳ５０４で端末装置２００から受信した値に解像度とフレームレートの値を設定している場合でも、ＣＰＵ１０１が撮影モードをユーザ操作に基づいて変更した場合には、改めて撮影モードに基づいてパラメータを決定してもよい。
撮影モードの変更があった場合にはステップＳ５０１に戻り、変更がない場合にはステップＳ５０３に戻る。

なお、図５のフローチャートでは、イベントを判定するステップＳ５０３、Ｓ５０６、Ｓ５０９を順番で処理する場合について説明したが、この場合に限られず、各イベントを同時に判定する場合にはイベント発生順に各処理を実行してもよい。

次に、カメラ１００と端末装置２００との接続確立後に、端末装置２００のＣＰＵ２０１が行う処理について図６のフローチャートを参照して説明する。
ステップＳ６０１では、ＣＰＵ２０１は初期値として解像度およびフレームレートの値をカメラ１００から受信したか否かを判定する。受信した場合にはステップＳ６０２に進み、受信しない場合には待機する。
ステップＳ６０２では、ＣＰＵ２０１は表示部２０７に受信した解像度およびフレームレートの値をスクロールバーで表した変更画面を表示する。続いて、ＣＰＵ２０１は変更画面を表示した旨をカメラ１００に送信する。なお、表示部２０７の変更画面は、図７において上述したので、その説明は省略する。

ステップＳ６０３では、ＣＰＵ２０１はユーザ操作により完了ボタン７０３が押下されたか否かを判定する。完了ボタン７０３が押下された場合にはステップＳ６０４に進み、押下されない場合にはステップＳ６０２に戻る。
ステップＳ６０４では、ＣＰＵ２０１は解像度およびフレームレートの値を変更された値に決定し、カメラ１００に送信する。このとき、値が変更されずに完了ボタン７０３が押下された場合には、カメラ１００から受信したときの初期値が送信される。また、ＣＰＵ２０１は決定した解像度およびフレームレートの値をＲＡＭ２０３に記憶する。

ステップＳ６０５では、ＣＰＵ２０１はフレーム取得要求をカメラ１００に送信する。このとき、ＣＰＵ２０１はフレームを受信したときに決定したフレームレートになるような周期でフレーム取得要求を送信する。
ステップＳ６０６では、ＣＰＵ２０１はカメラ１００からフレームを受信したか否かを判定する。フレームを受信した場合にはステップＳ６０７に進み、フレームを受信しない場合にはステップＳ６０８に進む。
ステップＳ６０７では、ＣＰＵ２０１は取得したフレームを表示部２０７の領域７０１に表示する。なお、フレームはフレーム取得要求に応じてカメラ１００からフレームレートに対応する周期で送信されるために、ＣＰＵ２０１はステップＳ６０４で決定されたフレームレートでフレームを表示部２０７に表示することができる。
ステップＳ６０８では、ＣＰＵ２０１は処理を終了するか否かを判定する。終了する場合にはライブストリーミングに関する処理を終了し、終了しない場合にはステップＳ６０１に戻る。

このように、本実施形態によればカメラ１００により撮影されている映像をライブストリーミングにより端末装置２００で表示する場合に、カメラ１００の撮影モードに応じたパラメータを決定して端末装置２００に送信する。したがって、端末装置２００では撮影モードに応じた映像を表示することができる。

＜第２の実施形態＞
第１の実施形態では、撮影モードのみに応じてパラメータを決定する場合について説明した。本実施形態では、通信状況も考慮してパラメータを決定する場合について説明する。なお、カメラ１００および端末装置２００の各構成および各フローチャートは、第１の実施形態と同様であるため、その説明は省略する。

図８は、通信状況と、解像度およびフレームレートの値との対応関係の一例を示すテーブルの図である。図８において、横軸（Ｘ軸）が通信状況を示し、縦軸（Ｙ軸）が解像度およびフレームレートの値を示している。
通信状況は、カメラ１００のＣＰＵ１０１または端末装置２００のＣＰＵ２０１が転送レートで判断する。なお、通信状況は、通信システムにおける最低転送レートの場合を０とし、最高転送可能レートの場合を１とする。したがって、例えば、最低転送レートと最高転送可能レートとの中間の転送レートの場合、通信状況は０．５である。

図８において、風景モードの場合、Ａの実線が解像度であり、Ｂの一点鎖線がフレームレートである。一方、スポーツモードの場合、Ａの実線がフレームレートであり、Ｂの一点鎖線が解像度である。
ここで、通信状況が０から０．５までは、Ａが通信状況に比例して高くなり、Ｂは最低値を維持する。一方、通信状況が０．５から１までは、Ａが最高値を維持し、Ｂが通信状況に比例して高くなる。
例えば、風景モードにおいて通信状況がＣの位置であった場合、解像度は「１２８０×７２０」、フレームレートは１５ｆｐｓとなる。また、風景モードにおいて通信状況がＤの位置であった場合、解像度は「１９２０×１０８０」、フレームレートは３０ｆｐｓとなる。なお、通信状況に対する、解像度およびフレームレートの値は図８のＡの実線およびＢの一点鎖線のように直線でなく、曲線であってもよい。
図８のような通信状況と、パラメータとの関連付けを示すテーブル８００は、例えば、カメラ１００のＲＯＭ１０２に記録されている。

通信状況の判断は、カメラ１００と端末装置２００との接続確立後に１回のみ行う。具体的には、図５に示すステップＳ５０１においてカメラ１００のＣＰＵ１０１が撮影モードを判定するときに、通信状況を判定することが好ましい。なお、端末装置２００のＣＰＵ２０１が通信状況を判定した場合には、通信状況の情報をカメラ１００に送信する。カメラ１００のＣＰＵ１０１は、図８に示すテーブル８００を参照することで、通信状況に応じた解像度およびフレームレートの値に決定することができる。
なお、通信状況の判断を１回のみ行うのは、一時的に通信状況が悪化した場合でも値が変更されてしまい、処理が煩雑になるのを防止するためである。ただし、一定時間、所定の通信状況が継続する場合、カメラ１００のＣＰＵ１０１は改めて解像度およびフレームレートを決定してもよい。

このように、本実施形態によればカメラ１００により撮影されている映像をライブストリーミングにより端末装置２００で表示する場合に、撮影モードに加えて通信状況に応じてパラメータを決定して、端末装置２００に送信する。したがって、端末装置２００では撮影モードおよび通信状況に応じた映像を表示することができる。

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更が可能であり、上述した実施形態を適時組み合わせてもよい。
また、上述した実施形態では、端末装置２００からのフレーム取得要求に応じてカメラ１００がフレームを送信する場合について説明したが、この場合に限られない。例えば、端末装置２００はフレーム取得要求を送信せず、カメラ１００は端末装置２００から終了の指示があるまでフレームを送信してもよい。

また、上述した実施形態では、カメラ１００がステップＳ５０４で設定したフレームレートになるように撮像素子１１４およびカメラ信号処理部１１５を制御する場合について説明したが、この場合に限られない。すなわち、端末装置２００がステップＳ５０４で設定されているフレームレートになるような周期でフレーム取得要求を送信するのであれば、カメラ１００はステップＳ５０４で設定したフレームレートよりも高いフレームレートであってもよい。

また、上述した実施形態では、端末装置２００のユーザがパラメータの値を変更できる場合について説明したが、この場合に限られない。すなわち、カメラ１００は撮影モード（および通信状況）に応じてパラメータを決定し、変更することなく決定したパラメータに基づいてフレームを端末装置２００に送信してもよい。

また、上述した実施形態においては、本発明をカメラ１００に適用した場合を例にして説明したが、この場合に限定されない。すなわち、本発明は、撮像手段を有し、端末装置２００と通信できるような、ＰＤＡ、携帯電話端末、携帯型の画像ビューワ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。

また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムを、ネットワークまたは各種記憶媒体を介して通信システム、撮像装置および端末装置に供給し、撮像装置または端末装置のコンピュータ（ＣＰＵなど）がプログラムを読み出して実行する処理である。

１００：カメラ（撮像装置） １０１：ＣＰＵ １０９：コネクタ／アンテナ １１３：撮像素子 ２００：端末装置 ２０１：ＣＰＵ ２０７：表示部 ２０９：コネクタ／アンテナ

Claims (13)

1. 端末装置との間でライブストリーミングを行う撮像装置であって、
   映像を取得する撮像手段と、
   撮影モードを設定する設定手段と、
   前記設定手段により設定された撮影モードに応じてライブストリーミングに関するパラメータを決定する決定手段と、
   前記決定手段により決定されたパラメータに応じて、前記撮像手段により取得された映像を前記端末装置に送信する送信手段と、を有することを特徴とする撮像装置。
2. 前記端末装置との間の通信状況を取得する取得手段を有し、
   前記決定手段は、前記設定手段により設定された撮影モード、および、前記取得手段により取得された通信状況に応じてライブストリーミングに関するパラメータを決定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮影モードは、第１の撮影モードおよび第２の撮影モードを含み、
   前記決定手段は、ライブストリーミングに関するパラメータとして少なくとも第１のパラメータおよび第２のパラメータを決定し、
   前記第１のパラメータと前記第２のパラメータとは、前記第１の撮影モードと前記第２の撮影モードとの間でトレードオフの関係であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１のパラメータは、解像度であり、
   前記第２のパラメータは、フレームレートであり、
   前記決定手段は、
   前記第１の撮影モードが設定された場合、前記第２の撮影モードが設定された場合に比べて、前記解像度が高く、前記フレームレートが低くなるように決定し、
   前記第２の撮影モードが設定された場合、前記第１の撮影モードが設定された場合に比べて、前記解像度が低く、前記フレームレートが高くなるように決定することを特徴とする請求項３に記載の撮像装置。
5. 前記第１の撮影モードは、前記第２の撮影モードに比べて動きのない被写体を撮影するためのモードであり、
   前記第２の撮影モードは、前記第１の撮影モードに比べて動きのある被写体を撮影するためのモードであることを特徴とする請求項３または４に記載の撮像装置。
6. 前記決定手段により決定されたライブストリーミングに関するパラメータを、前記端末装置から受信したパラメータに変更する変更手段を有することを特徴とする請求項１ないし５の何れか１項に記載の撮像装置。
7. 撮像装置との間でライブストリーミングを行う端末装置であって、
   前記撮像装置において設定された撮影モードに応じてライブストリーミングに関するパラメータが決定され、前記決定されたパラメータに応じて映像が送信され、前記送信された映像を受信する受信手段と、
   前記受信手段により受信された映像を表示する表示手段と、を有することを特徴とする端末装置。
8. 撮像装置と端末装置との間でライブストリーミングを行う通信システムであって、
   前記撮像装置は、
   映像を取得する撮像手段と、
   撮影モードを設定する設定手段と、
   前記設定手段により設定された撮影モードに応じてライブストリーミングに関するパラメータを決定する決定手段と、
   前記決定手段により決定されたパラメータに応じて、前記撮像手段により取得された映像を前記端末装置に送信する送信手段と、を有し、
   前記端末装置は、
   前記送信手段により送信された映像を受信する受信手段と、
   前記受信手段により受信された映像を表示する表示手段と、を有することを特徴とする通信システム。
9. 端末装置との間でライブストリーミングを行う撮像装置の制御方法であって、
   映像を取得する撮像ステップと、
   撮影モードを設定する設定ステップと、
   前記設定ステップにより設定された撮影モードに応じてライブストリーミングに関するパラメータを決定する決定ステップと、
   前記決定ステップにより決定されたパラメータに応じて、前記撮像ステップにより取得された映像を前記端末装置に送信する送信ステップと、を有することを特徴とする撮像装置の制御方法。
10. 撮像装置との間でライブストリーミングを行う端末装置の制御方法であって、
    前記撮像装置において設定された撮影モードに応じてライブストリーミングに関するパラメータが決定され、前記決定されたパラメータに応じて映像が送信され、前記送信された映像を受信する受信ステップと、
    前記受信ステップにより受信された映像を表示する表示ステップと、を有することを特徴とする端末装置の制御方法。
11. 撮像装置と端末装置との間でライブストリーミングを行う通信システムの通信方法であって、
    前記撮像装置は、
    映像を取得する撮像ステップと、
    撮影モードを設定する設定ステップと、
    前記設定ステップにより設定された撮影モードに応じてライブストリーミングに関するパラメータを決定する決定ステップと、
    前記決定ステップにより決定されたパラメータに応じて、前記撮像ステップにより取得された映像を前記端末装置に送信する送信ステップと、を有し、
    前記端末装置は、
    前記送信ステップにより送信された映像を受信する受信ステップと、
    前記受信ステップにより受信された映像を表示する表示ステップと、を有することを特徴とする通信システムの通信方法。
12. 端末装置との間でライブストリーミングを行う撮像装置を制御するためのプログラムであって、
    映像を取得する撮像ステップと、
    撮影モードを設定する設定ステップと、
    前記設定ステップにより設定された撮影モードに応じてライブストリーミングに関するパラメータを決定する決定ステップと、
    前記決定ステップにより決定されたパラメータに応じて、前記撮像ステップにより取得された映像を前記端末装置に送信する送信ステップと、をコンピュータに実行させるためのプログラム。
13. 撮像装置との間でライブストリーミングを行う端末装置を制御するためのプログラムであって、
    前記撮像装置において設定された撮影モードに応じてライブストリーミングに関するパラメータが決定され、前記決定されたパラメータに応じて映像が送信され、前記送信された映像を受信する受信ステップと、
    前記受信ステップにより受信された映像を表示する表示ステップと、をコンピュータに実行させるためのプログラム。

Images