JP2015146532A - Imaging apparatus, control method of the same, system, and program - Google Patents
Imaging apparatus, control method of the same, system, and program Download PDFInfo
- Publication number
- JP2015146532A JP2015146532A JP2014018829A JP2014018829A JP2015146532A JP 2015146532 A JP2015146532 A JP 2015146532A JP 2014018829 A JP2014018829 A JP 2014018829A JP 2014018829 A JP2014018829 A JP 2014018829A JP 2015146532 A JP2015146532 A JP 2015146532A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- communication device
- imaging
- time
- delay time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明はネットワークを介した二つの機器間におけるデータ伝送に関するものである。 The present invention relates to data transmission between two devices via a network.
従来より、ストリーミングの技術として、従来ファイル転送などに用いられていたＨＴＴＰ（Hypertext Transfer Protocol）／ＴＣＰ（Transmission Control Protocol）プロトコルを利用して、ストリーミングデータの転送を行う方法がある。この方法でストリーミングを行うと、ネットワーク状況により輻輳遅延が発生する。これに対して、データを送信した時刻と、通信相手からデータ受け取り通知を受信した時刻の差分から遅延時間を算出する技術がある（特許文献１）。 Conventionally, as a streaming technique, there is a method of transferring streaming data by using an HTTP (Hypertext Transfer Protocol) / TCP (Transmission Control Protocol) protocol which has been conventionally used for file transfer and the like. When streaming is performed by this method, a congestion delay occurs depending on the network condition. On the other hand, there is a technique for calculating the delay time from the difference between the time when the data is transmitted and the time when the data reception notification is received from the communication partner (Patent Document 1).
しかしながら、上記特許文献１では、自装置から通信相手にデータを送信する際にかかる時間と、通信相手がデータの受け取り通知を自装置に送信する際にかかる時間の通信往復時間が合算され、自装置がデータを圧縮し送信してから通信相手が再生するまでの正確な時間を算出できない。 However, in Patent Document 1, the time required for transmitting data from the own device to the communication partner and the communication round-trip time of the time required for the communication partner to transmit data reception notification to the own device are added together. It is impossible to calculate an accurate time from when the device compresses and transmits data until the communication partner reproduces the data.
本発明は、上記課題に鑑みてなされ、その目的は、ストリーミングを行う際に発生する通信の遅延時間を正確に算出する技術を実現することである。 The present invention has been made in view of the above problems, and an object thereof is to realize a technique for accurately calculating a communication delay time that occurs when streaming is performed.
上記課題を解決し、目的を達成するため、本発明の撮像装置は、通信装置と通信可能な撮像装置であって、前記通信装置と通信するときの遅延時間を算出するための動画を生成し前記通信装置に送信する送信手段と、前記通信装置に表示された前記動画に含まれているパターンを検出する検出手段と、前記動画の生成を開始した時刻と、前記パターンが検出されるまでの時刻との差分から遅延時間を算出する算出手段と、を有する。 In order to solve the above problems and achieve the object, an imaging apparatus of the present invention is an imaging apparatus capable of communicating with a communication apparatus, and generates a moving image for calculating a delay time when communicating with the communication apparatus. Transmission means for transmitting to the communication device, detection means for detecting a pattern included in the moving image displayed on the communication device, a time when generation of the moving image is started, and until the pattern is detected Calculating means for calculating a delay time from a difference from time.
本発明によれば、ストリーミングを行う際に発生する通信の遅延時間を正確に算出することが可能となる。 According to the present invention, it is possible to accurately calculate a communication delay time that occurs when streaming is performed.
以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。 EMBODIMENT OF THE INVENTION Below, the form for implementing this invention with reference to an accompanying drawing is demonstrated in detail. The embodiment described below is an example for realizing the present invention, and should be appropriately modified or changed according to the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment.
以下、本発明を、サーバとしての撮像装置１０００と、クライアントとしての通信装置２０００とを通信可能に接続したシステムを例に説明する。この例では、撮像装置１０００で撮影された映像をリアルタイムに順次送信することで、通信装置２０００でライブストリーミングにより映像が視聴可能となる。なお、ライブストリーミングの詳細については後述する。本実施形態では、撮像装置１０００をデジタルビデオカメラ、通信装置２０００をスマートフォンなどの通信端末に適用した例を説明するが、本発明は、これに限られない。例えば、本発明は、撮像装置として、カメラ付き携帯電話や携帯型のメディアプレーヤ、いわゆるタブレット端末など、通信装置として、パーソナルコンピュータなどの情報処理装置や携帯電話、タブレットデバイス端末、テレビなどにも適用できる。
Hereinafter, the present invention will be described by taking as an example a system in which an
＜撮像装置の構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。 <Arrangement of Imaging Apparatus> With reference to FIG. 1, the outline of the arrangement and functions of an imaging apparatus according to an embodiment of the present invention will be described.
図１に示す撮像装置（以下、カメラ）１０００において、内部バス１０１０に対してＣＰＵ(Central Processing Unit)１００１、ＲＯＭ(Read Only Memory)１００２、ＲＡＭ(Random Access Memory)１００３、入力処理部１００４、出力処理部１００６、通信制御部１００８、記録媒体制御部１０１１、カメラ信号処理部１０１５、符号・復号処理部１０１６が接続される。内部バス１０１０に接続される各部は、内部バス１０１０を介して互いにデータのやりとりを行える。
In the imaging apparatus (hereinafter referred to as camera) 1000 shown in FIG. 1, a CPU (Central Processing Unit) 1001, a ROM (Read Only Memory) 1002, a RAM (Random Access Memory) 1003, an
ＲＯＭ１００２は、ＣＰＵ１００１が動作するための各種プログラムや設定データが格納される。また、フラッシュメモリなども含まれる。ＲＡＭ１００３は、ＣＰＵ１００１が動作時に必要とするプログラムや変数、作業用の一時データなどが適宜記憶される。
The
ＣＰＵ１００１は、ＲＯＭ１００２または記録媒体１０１２に格納されているプログラムに従い、ＲＡＭ１００３をワークメモリとして用いて、このカメラ１０００の各部を制御する。
The
光学系１０１３は、フォーカス、絞り機構などを含む撮影レンズであり、被写体の光学像を形成する。撮像素子１０１４は、ＣＣＤやＣＭＯＳ素子等で構成され、ここではA/D変換器を含み、光学像をアナログ電気信号に変換した後、デジタル信号に変換する。
The
カメラ信号処理部１０１５は、ＣＰＵ１００１の制御に基づき、撮像素子１０１４で変換されたデジタル信号に対し、所定の画素補間・縮小といったリサイズ処理や色変換、各種補正処理等を行う。
Based on the control of the
符号・復号処理部１０１６は、ＣＰＵ１００１の制御に基づき、カメラ信号処理部１０１５で処理されたデジタル信号を所定のビットレート、フォーマット形式で圧縮符号化、または映像圧縮符号化データの復号を行う。
Based on the control of the
なお、音声については特に図示していないが、音声付き映像を配信する場合には、マイクロホン、音声のアナログ信号をデジタル化するＡ／Ｄ変換器、デジタルデータを符号化する構成を持つことになる。当然、映像記録時には映像と共に音声も同時に収録され、符号・復号処理部１０１６で映像と音声を多重化することで、音声付映像データを生成することになる。
The audio is not particularly shown, but when distributing video with audio, it has a microphone, an A / D converter that digitizes an analog audio signal, and a configuration that encodes digital data. . Naturally, at the time of video recording, audio and video are simultaneously recorded, and the video / audio is multiplexed by the encoding /
入力処理部１００４は、操作部１００５でのユーザ操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ１００１に供給する。例えば、操作部１００５は、ユーザ操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。また、赤外線リモコンなどの遠隔操作可能なものも含む。なお、タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。これにより、カメラ１０００に対し、ユーザ操作に応じた動作を行わせることができる。
The
出力処理部１００６は、ＣＰＵ１００１がプログラムに従い生成したＧＵＩ(Graphical User Interface)などの表示データに基づき、表示部１００７に対して表示させるための表示信号を出力する。
The
なお、操作部１００５としてタッチパネルを用いる場合、操作部１００５と表示部１００７とを一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部１００７の表示を妨げないように構成し、表示部１００７の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１００７上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１００７上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。
Note that when a touch panel is used as the
記録媒体制御部１０１１は、ＨＤＤや不揮発性の半導体メモリなどの記録媒体１０１２が接続され、ＣＰＵ１００１の制御に基づき、接続された記録媒体１０１２からのデータの読み出しや、当該記録媒体１０１２に対するデータの書き込みを行う。なお、記録媒体制御部１０１１が接続可能な記録媒体１０１２は、不図示のソケットなどを介して、例えばメモリカードなどの着脱可能な不揮発性の半導体メモリを接続するものとしても良い。
The recording
記録媒体１０１２は、撮影した映像データのほか、ＣＰＵ１００１の制御に必要な情報も記録することが可能である。
The
通信制御部１００８は、ＣＰＵ１００１の制御に基づき、コネクタ(有線)/アンテナ(無線)１００９を介して、通信装置２０００その他の外部装置との通信を行う。通信方法としては、無線のＩＥＥＥ８０２．１１やＢｌｕｅｔｏｏｔｈ（登録商標）、有線のＩＥＥＥ８０２．３などを用いることが可能である。
The
上述したカメラ１０００では中央１点ＡＦや顔ＡＦなどのオートフォーカス技術を用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。
The above-described
ここで、顔検出機能について説明する。 Here, the face detection function will be described.
ＣＰＵ１００１は顔検出対象の画像データを符号・復号処理部１０１６に送る。符号・復号処理部１０１６は、ＣＰＵ１００１の制御に従い、当該画像データに水平方向バンドパスフィルタを作用させる。また、符号・復号処理部１０１６は、ＣＰＵ１００１の制御に従い、処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。その後、ＣＰＵ１００１は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、ＣＰＵ１００１は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、ＣＰＵ１００１は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。ＣＰＵ１００１は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量を記録媒体１０１２に記録する。
The
以上のようにライブビュー表示あるいは再生表示される画像データを解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施形態では被写体の特徴情報として顔情報を例に挙げたが、これ以外に赤目判定や目の検出、目つむり検出、笑顔検出などの様々な情報がある。 As described above, it is possible to analyze the image data displayed or reproduced and display the live view, extract the feature amount of the image data, and detect the subject information. In this embodiment, face information is taken as an example of subject characteristic information, but there are various other information such as red-eye determination, eye detection, eye-brow detection, and smile detection.
なお、顔ＡＦと同時に顔ＡＥ、顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のホワイトバランスを最適化することである。 Note that the face AE, the face FE, and the face WB can be performed simultaneously with the face AF. The face AE is to optimize the exposure of the entire screen according to the brightness of the detected face. The face FE is to perform flash dimming around the detected face. The face WB is to optimize the white balance of the entire screen according to the detected face color.
なお、ハードウェアの構成は図１に示すものに限定されず、例えば１つのハードウェアが表示制御、通信制御、記録制御、画像処理制御などを行い、カメラ１０００の各手段として機能してもよい。また、複数のハードウェアが協働して１つの手段として機能してもよい。
The hardware configuration is not limited to that shown in FIG. 1. For example, one piece of hardware may perform display control, communication control, recording control, image processing control, and the like and function as each unit of the
＜通信装置の構成＞次に、図２を参照して、本発明に係る実施形態の通信装置の構成及び機能の概略について説明する。 <Configuration of Communication Device> Next, the configuration and functions of the communication device according to the embodiment of the present invention will be outlined with reference to FIG.
図２に示す通信装置（以下、端末）２０００において、多くの部分はカメラ１０００と同様となるため、カメラ１０００と説明が重複するＣＰＵ２００１〜記録媒体２０１２までの説明は省略する。符号・復号処理部２０１３は、ＣＰＵ２００１の制御に基づき、映像圧縮符号化データの復号、および必要に応じて復号したデータの再符号化を行う。
In the communication apparatus (hereinafter referred to as a terminal) 2000 shown in FIG. The encoding /
＜システム構成＞次に、図５を参照して、本実施形態のシステム構成について説明する。 <System Configuration> Next, the system configuration of this embodiment will be described with reference to FIG.
カメラ１０００は端末２０００との通信を開始すると、予めカメラ１０００の記録媒体１０１２に記録されている遅延時間算出用動画３００５を圧縮符号化し、端末２０００に送信する。端末２０００はカメラ１０００から受信した遅延時間算出用動画３００５を再生する。カメラ１０００は端末２０００の表示部２００７に表示された映像を撮像し、顔検出を行う。
When the
遅延時間算出用動画３００５は、カメラ１０００と端末２０００が通信を行う際に発生する輻輳遅延の時間を算出するための動画である。また、遅延時間算出用動画３００５には、フレームごとに四隅にカメラ１０００により検出が容易なパターン３００５ａが含まれている。また、遅延時間算出用動画３００５には、一定時間ごとに顔が表示されるようにカメラ１０００により検出が容易な顔３００５ｂが含まれており、好ましくは顔の位置または個数がフレームごとに異なっている。このように、顔が連続して同じ位置に出現しないようにすることで、前回検出された顔との誤検出を防ぐことができる。
The delay time
カメラ１０００は、遅延時間算出用動画３００５の圧縮符号化を開始した時刻と、端末２０００が受信し、表示部２００７に表示された映像をカメラ１０００で撮像し、パターンが検出されるまでの時刻との差分から遅延時間を算出する。また、遅延時間算出用動画３００５の各フレームの四隅に別の顔もしくは別のパターンを配置することで、カメラ１０００はフレームの四隅の位置を把握することができ、フレームの四隅に対するパターンの相対的な位置を把握することができる。
The
＜ライブストリーミング動作の説明＞次に、図１ないし図３を参照して、本実施形態のシステムによるライブストリーミング動作について説明する。 <Description of Live Streaming Operation> Next, the live streaming operation by the system of this embodiment will be described with reference to FIGS.
図３において、ユーザがカメラ１０００において、操作部１００５からライブストリーミングモードを実行すると、カメラ１０００は、ＣＰＵ１００１の制御により、通信制御部１００８を通信可能状態とする。
In FIG. 3, when the user executes the live streaming mode from the
さらにユーザは端末２０００において、操作部２００５を操作して通信接続処理およびライブストリーミングに必要なアプリケーションの起動を行う。これに応じて、端末２０００のＣＰＵ２００１は、ＲＯＭ２００２または記録媒体２０１２に格納された当該プログラムに従い、通信制御部２００８を制御し、カメラ１０００との通信を開始し、接続処理を行う。
Further, the user operates the
ここで、カメラ１０００と端末２０００は、通信プロトコルとしてＨＴＴＰ（Hypertext Transfer Protocol）／ＴＣＰ（Transmission Control Protocol）を使用するものとする。また、通信接続においてＵＰｎＰ（Universal Plug and Play）に対応しているものとする。ＵＰｎＰ対応の端末２０００は、機器をネットワークに接続すると、ＤＨＣＰ(Dynamic Host Configuration Protocol)または、ＡｕｔｏＩＰによるＩＰ(Internet Protocol)アドレスの設定を行う。ＩＰアドレスを取得した機器は、ネットワーク上の他の機器を相互に認識するために、「デバイスディスカバリとコントロール」によって、デバイス検索と応答デバイスの種別、サービス機能などの情報取得を行う（ステップ３００１）。カメラ１０００は、端末２０００のデバイス検索要求に対して、機器情報と機器固有情報のプレイリスト取得先情報などを応答する（ステップ３００２）。
Here, the
カメラ１０００と端末２０００の接続処理が完了すると、カメラ１０００はライブストリーミングを開始する。ライブストリーミングを開始すると、カメラ１０００のＣＰＵ１００１は、記録媒体１０１２に記録されている遅延時間算出用動画３００５を符号・復号処理部１０１６で圧縮符号化し、所定の周期Ｔごとにフレームを更新する。
When the connection process between the
なお、本実施形態ではＴ＝１／３０秒として、以下説明する。 In the present embodiment, T = 1/30 seconds will be described below.
ＣＰＵ１００１は、上記フレームの保存先と関連させたパス情報を生成する。パス情報は、端末２０００がフレームを取得する際の取得先情報として使用する。端末２０００は、所定の周期Ｔを事前に記憶しているか、カメラ１０００の機器情報に含めることで機器情報取得時に得ることができているものとする。
The
端末２０００は、ライブストリーミング開始後、約Ｔ（秒）後にステップ３００２で取得したフレーム取得先へ、フレーム取得要求（ＨＴＴＰ ＧＥＴメソッド）を行う（ステップ３００３）。 The terminal 2000 makes a frame acquisition request (HTTP GET method) to the frame acquisition destination acquired in step 3002 after about T (seconds) after the start of live streaming (step 3003).
カメラ１０００は、応答フレームとして、要求されれたフレームを送信する（ステップＳ３００４）。
The
端末２０００は、受信したフレームを符号・復号処理部２０１３に渡し、復号した後、出力処理部２００６を介して、表示部２００７で再生表示を行う。また、ライブストリーミングアプリケーションにより、ユーザから端末記録が実行されている場合、復号したデータ、またはフレームからヘッダなどを除いたデータ部を、記録媒体２０１２に記録する。そして、さらに順次受信するフレームを復号し、受信済みのフレームと結合し記録していく。
The terminal 2000 passes the received frame to the encoding /
ストリーミング中、カメラ１０００は、約Ｔ（秒）毎にフレーム更新を行う。
During streaming, the
端末２０００は、約Ｔ（秒）毎にフレーム取得要求（ステップ３００３）を行う。 The terminal 2000 makes a frame acquisition request (step 3003) about every T (seconds).
なお、端末２０００の要求処理（ステップ３００３）には端末、またはアプリケーションの固有のＩＤを付加する。そして、本実施形態のカメラ１０００は、最初に要求のあったＩＤの要求のみに対してストリーミングを行う。つまり、本実施形態のカメラ１０００と端末２０００は１対１接続でのみストリーミングを行うものとする。
Note that a unique ID of the terminal or application is added to the request processing of the terminal 2000 (step 3003). Then, the
なお、遅延時間算出後、カメラ１０００が撮像したストリーミング映像を端末２０００に送信する場合は、カメラ１０００のＣＰＵ１００１は、撮像素子１０１４からの信号出力を開始し、その出力をカメラ信号処理部１０１５により適切なフレームデータに処理し、符号・復号処理部１０１６へデータを送出する。
When the streaming video captured by the
符号・復号処理部１０１６では、受け取ったフレームデータを所定のビットレート、フォーマット形式で圧縮符号化し、ＲＡＭ１００３または記録媒体１０１２に保存する。
The encoding /
保存したデータは遅延時間算出用動画３００５と同様に処理され、端末２０００からのフレーム取得要求（ステップ３００３）に応じて、応答フレーム（ステップ３００４）として端末２０００に送信する。
The stored data is processed in the same manner as the delay time
＜カメラの動作説明＞次に、図４を参照して、カメラ１０００が端末２０００と接続確立後、カメラ１０００が実行する処理について説明する。なお、以下の処理はカメラ１０００のＣＰＵ１００１が各種プログラムや入力信号に基づきカメラ１０００の各部を制御することで実現する。
<Explanation of Camera Operation> Next, the processing executed by the
ステップＳ４００１では、ＣＰＵ１００１は、ライブストリーミング開始に伴う、フレームデータ生成の開始処理を行う。ＣＰＵ１００１は、記録媒体１０１２から遅延時間算出用動画３００５のデータを読み出し、符号・復号処理部１０１６へデータを渡す。符号・復号処理部１０１６では、受け取った映像データを所定のビットレート、フォーマット形式で圧縮符号化し、さらに所定の時間長Ｔ（本実施形態では１／３０秒とする）で分割する処理を開始する。
In step S4001, the
ステップＳ４００２では、ＣＰＵ１００１は、符号・復号処理部１０１６によりフレームデータの圧縮符号化を開始する時刻を記録媒体１０１２に記録する。
In step S <b> 4002, the
ステップＳ４００３では、ＣＰＵ１００１は、フレーム情報の生成を行う。ここでは、生成されたフレームデータの時間長と、当該フレームデータを特定できる保存先アドレス、またはファイル名などに関連付けたパス情報を生成する。ここで、本実施形態の説明では、フレームの時間長Ｔは１／３０秒固定となる。
In step S4003, the
ステップＳ４００４では、ＣＰＵ１００１は、端末２０００からのフレーム取得要求（ステップ３００３）を待ち、フレーム取得要求があった場合にはステップＳ４００５へ進む。
In step S4004, the
ステップＳ４００５では、フレーム取得要求（ステップ３００３）に対する応答として、ステップＳ４００１で圧縮符号化したフレームデータの送信を行う（ステップ３００４）。 In step S4005, as a response to the frame acquisition request (step 3003), the frame data compressed and encoded in step S4001 is transmitted (step 3004).
ステップＳ４００６では、ＣＰＵ１００１は、光学系１０１３により端末２０００の表示部２００７に表示されている映像を撮像する。このとき、端末２０００の表示部２００７には、カメラ１０００から受信したフレームが表示されている。
In step S4006, the
ステップＳ４００７では、ＣＰＵ１００１は、フレームの四隅に配置されているパターンが検出されたか否かを判定し、検出された場合はステップＳ４００８へ進み、検出されなかった場合はステップＳ４０１０へ進む。
In step S4007, the
ステップＳ４００８では、ＣＰＵ１００１は、ステップＳ４００６で撮像された映像中から顔が検出されたか否かを判定し、検出された場合はステップＳ４００９へ進み、検出されなかった場合はステップＳ４０１０へ進む。なお、遅延時間算出用動画３００５は、フレームごとに顔の位置または個数が異なっており、これにより顔の誤検出を防ぐことができる。
In step S4008, the
ステップＳ４００９では、ＣＰＵ１００１は、ステップＳ４００１で遅延時間算出用動画３００５の圧縮符号化を開始してからステップＳ４００８で顔が検出されるまでにかかった時間を算出する。ステップＳ４００２で記録されたフレームの圧縮符号化開始時刻をＴ１とし、遅延時間算出用動画３００５で顔が含まれているフレームをｎ枚目とし、ステップＳ４００８で顔が検出された時刻をＴ２とすると、カメラ１０００でフレームデータの圧縮符号化を開始してから、端末２０００がフレームデータを受信し、表示部２００７に表示された映像から顔が検出されるまでの時間は下記式１から算出することができる。
In step S4009, the
遅延時間（秒）＝Ｔ２−（Ｔ１＋Ｔ×ｎ）・・・（１）
なお、ステップＳ４００８で検出される顔の数を判定に使用する場合は、顔の個数ごとに上記式１により遅延時間を算出でき、それらの平均を算出することでより正確な遅延時間を算出することができる。
Delay time (seconds) = T2− (T1 + T × n) (1)
When the number of faces detected in step S4008 is used for determination, the delay time can be calculated by the above equation 1 for each number of faces, and a more accurate delay time can be calculated by calculating an average thereof. be able to.
ステップＳ４０１０では、処理を終了するか否かの判定を行い、終了する場合以外はステップＳ４００４へ戻る。 In step S4010, it is determined whether or not to end the process. Otherwise, the process returns to step S4004.
本実施形態では、遅延時間算出用動画３００５が圧縮前のデータであることを前提として説明した。この場合、実際に撮像されたデータを使用するのとほぼ同じ時間を費やして処理を行うことができる。なお、遅延時間算出用動画３００５が圧縮後のデータであった場合は、ステップＳ４００１での圧縮処理とステップＳ４００２のフレーム圧縮符号化開始時刻の記録を省くことができる。また、ステップＳ４００５においてフレーム送信開始時刻を記録することで、端末２０００に表示された映像から顔が検出されるまでの通信にのみかかる時間を算出することができる。
The present embodiment has been described on the assumption that the delay time
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。 [Other Embodiments] The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the program code. It is processing to do. In this case, the program and the storage medium storing the program constitute the present invention.
Claims (9)
前記通信装置と通信するときの遅延時間を算出するための動画を生成し前記通信装置に送信する送信手段と、
前記通信装置に表示された前記動画に含まれているパターンを検出する検出手段と、
前記動画の生成を開始した時刻と、前記パターンが検出されるまでの時刻との差分から遅延時間を算出する算出手段と、を有することを特徴とする撮像装置。 An imaging device capable of communicating with a communication device,
Transmitting means for generating a moving image for calculating a delay time when communicating with the communication device and transmitting the moving image to the communication device;
Detecting means for detecting a pattern included in the moving image displayed on the communication device;
An imaging apparatus comprising: a calculating unit that calculates a delay time from a difference between a time when generation of the moving image is started and a time until the pattern is detected.
前記動画の生成を開始した時刻を記録している第２の記録手段と、を更に有することを特徴とする請求項１に記載の撮像装置。 First recording means in which the moving image is recorded;
The imaging apparatus according to claim 1, further comprising: a second recording unit that records a time when the generation of the moving image is started.
前記検出手段は、前記撮像手段により撮像された動画から顔を検出する顔検出手段を有することを特徴とする請求項３に記載の撮像装置。 The video includes a face image to be displayed every predetermined time,
The imaging apparatus according to claim 3, wherein the detection unit includes a face detection unit that detects a face from the moving image captured by the imaging unit.
前記通信装置は、
前記撮像装置と通信するときの遅延時間を算出するための動画を前記撮像装置に対して要求する要求手段と、
前記撮像装置から受信した前記動画を表示する表示手段と、を有し、
前記撮像装置は、
前記通信装置からの要求に応答して前記動画を生成し前記通信装置に送信する送信手段と、
前記通信装置の前記表示手段に表示された前記動画に含まれているパターンを検出する検出手段と、
前記動画の生成を開始した時刻と、前記パターンが検出されるまでの時刻との差分から遅延時間を算出する算出手段と、を有することを特徴とするシステム。 A system in which an imaging device and a communication device can communicate,
The communication device
Requesting means for requesting the imaging device for a moving image for calculating a delay time when communicating with the imaging device;
Display means for displaying the moving image received from the imaging device,
The imaging device
Transmitting means for generating the moving image in response to a request from the communication device and transmitting the generated video to the communication device;
Detecting means for detecting a pattern included in the moving image displayed on the display means of the communication device;
A system comprising: a calculation unit that calculates a delay time from a difference between a time when generation of the moving image is started and a time until the pattern is detected.
前記通信装置と通信するときの遅延時間を算出するための動画を前記通信装置に送信する送信ステップと、
前記通信装置に表示された前記動画に含まれているパターンを検出する検出ステップと、
前記動画の生成を開始した時刻と、前記パターンが検出されるまでの時刻との差分から遅延時間を算出する算出ステップと、を有することを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus capable of communicating with a communication apparatus,
A transmission step of transmitting a moving image for calculating a delay time when communicating with the communication device to the communication device;
A detection step of detecting a pattern included in the moving image displayed on the communication device;
A control method for an imaging apparatus, comprising: a calculation step of calculating a delay time from a difference between a time when generation of the moving image is started and a time until the pattern is detected.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014018829A JP6254862B2 (en) | 2014-02-03 | 2014-02-03 | Imaging apparatus and control method, system and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014018829A JP6254862B2 (en) | 2014-02-03 | 2014-02-03 | Imaging apparatus and control method, system and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015146532A true JP2015146532A (en) | 2015-08-13 |
| JP6254862B2 JP6254862B2 (en) | 2017-12-27 |
Family
ID=53890584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014018829A Expired - Fee Related JP6254862B2 (en) | 2014-02-03 | 2014-02-03 | Imaging apparatus and control method, system and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6254862B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11133939A (en) * | 1997-10-29 | 1999-05-21 | Hitachi Ltd | Display device |
| JP2002041010A (en) * | 2000-07-27 | 2002-02-08 | Sony Corp | Display controlling method, display device and its method, and information processing system |
| JP2009130820A (en) * | 2007-11-27 | 2009-06-11 | Canon Inc | Information processing apparatus |
-
2014
- 2014-02-03 JP JP2014018829A patent/JP6254862B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11133939A (en) * | 1997-10-29 | 1999-05-21 | Hitachi Ltd | Display device |
| JP2002041010A (en) * | 2000-07-27 | 2002-02-08 | Sony Corp | Display controlling method, display device and its method, and information processing system |
| JP2009130820A (en) * | 2007-11-27 | 2009-06-11 | Canon Inc | Information processing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6254862B2 (en) | 2017-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10594988B2 (en) | Image capture apparatus, method for setting mask image, and recording medium | |
| US20150172531A1 (en) | Image capturing apparatus, communication apparatus, and control method therefor | |
| JPWO2013132828A1 (en) | Communication system and relay device | |
| JP2015115839A5 (en) | ||
| US9445142B2 (en) | Information processing apparatus and control method thereof | |
| US9706102B1 (en) | Enhanced images associated with display devices | |
| US10185387B2 (en) | Communication apparatus, communication method, and computer readable recording medium | |
| US9369623B2 (en) | Remote-control apparatus and control method thereof, image capturing apparatus and control method thereof, and system | |
| US20170070699A1 (en) | Information processing apparatus, image capturing apparatus, and control methods for the same | |
| EP3499880A1 (en) | Systems and methods for transmitting a high quality video image from a low power sensor | |
| JP6360300B2 (en) | COMMUNICATION DEVICE, IMAGING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
| JP2018005091A (en) | Display control program, display control method and display controller | |
| JP6254862B2 (en) | Imaging apparatus and control method, system and program thereof | |
| US20150373073A1 (en) | Image pickup apparatus, control method and recording medium | |
| JP6719932B2 (en) | Information setting device, information management device, information generating device, control method thereof, and program | |
| US11470234B2 (en) | Wireless camera and method of video streaming | |
| US10028017B2 (en) | Information processing device and method of controlling information processing device | |
| US20200366837A1 (en) | Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium | |
| JP2015023417A (en) | Communication device and imaging device, control method thereof, and program | |
| JP2019068187A (en) | Information processing apparatus, control method thereof, and program | |
| US9967408B2 (en) | Information setting apparatus, information management apparatus, information generation apparatus, and method and program for controlling the same | |
| US20170372140A1 (en) | Head mounted display and transmission control method | |
| JP2015142360A (en) | Imaging apparatus and universal head device | |
| JP6686697B2 (en) | Transmission control program, transmission control method, and transmission control system | |
| JP2018078475A (en) | Control program, control method, and control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170828 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171018 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171201 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6254862 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |