JP2018137771A - Imaging apparatus and control method - Google Patents
Imaging apparatus and control method Download PDFInfo
- Publication number
- JP2018137771A JP2018137771A JP2018054097A JP2018054097A JP2018137771A JP 2018137771 A JP2018137771 A JP 2018137771A JP 2018054097 A JP2018054097 A JP 2018054097A JP 2018054097 A JP2018054097 A JP 2018054097A JP 2018137771 A JP2018137771 A JP 2018137771A
- Authority
- JP
- Japan
- Prior art keywords
- data
- imaging
- encoder
- communication terminal
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は撮像装置及び制御方法に関する。 The present invention relates to an imaging apparatus 及 beauty control method.
スポーツのコーチングにおいて、ビデオカメラで取得した画像を用いた手法が広く利用されている。例えば、特許文献1では、タッチパネル付のディスプレイ装置と、圧縮機能付きビデオキャプチャと、ハードディスクと、ビデオ映像再生装置とを備えたスポーツコーチングシステムが開示されている。そして、録画した動画の最初の静止画をサムネイル画像として表示している。さらに、ビデオ作成画面に表示されたペン軌跡を描く静止画アイコンに合成して、保存している。また、選手位置を示すマグネットをグランドに表示させることが可能になっている。 In sports coaching, a technique using an image acquired by a video camera is widely used. For example, Patent Document 1 discloses a sports coaching system including a display device with a touch panel, a video capture with a compression function, a hard disk, and a video image playback device. Then, the first still image of the recorded moving image is displayed as a thumbnail image. Furthermore, it is combined with a still image icon that draws a pen locus displayed on the video creation screen and stored. Further, it is possible to display a magnet indicating the player position on the ground.
このようなスポーツコーチングに利用される撮像システムにおいて、試合中又は練習中にカメラで取得した動画を即座に表示させて、コーチングを行いたいという要求がある。このような場合、ユーザが、一度動画の取得を停止し、その動画ファイルを指定する必要がある。そして、ユーザが、再生中の動画のうち再生したいタイミングを指定する必要がある。さらに、再生終了後に、再び動画を取得しようとした場合、カメラを設置して、動画撮影をスタートさせる必要がある。このように、取得した動画を即座に再生して確認する場合、ユーザの操作が煩雑になってしまう。よって、利便性が低下してしまうという問題がある。 In such an imaging system used for sports coaching, there is a demand for coaching by immediately displaying a moving image acquired by a camera during a game or practice. In such a case, it is necessary for the user to stop obtaining the moving image and specify the moving image file. Then, it is necessary for the user to specify the timing at which the user wants to reproduce the moving image being reproduced. Furthermore, when it is attempted to acquire a moving image again after the end of reproduction, it is necessary to install a camera and start moving image shooting. As described above, when the acquired moving image is immediately reproduced and confirmed, the user's operation becomes complicated. Therefore, there is a problem that convenience is lowered.
本願発明は、上記課題を鑑み、利便性の高い撮像装置及び制御方法を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a high image pickup device 及 beauty control method convenient.
本願発明の一態様にかかる撮像装置は、撮像データを取得する撮像部と、前記撮像部によって取得された撮像データを第1の符号化方式でエンコードして、第1の符号化データを生成する第1のエンコーダと、前記第1のエンコーダで生成された前記第1の符号化データを動画ファイルとして記録するメモリと、前記撮像データを第1の符号化方式よりも低いビットレートの第2の符号化方式でエンコードされた第2の符号化データに変換する第2のエンコーダと、前記撮像データを前記第2の符号化方式よりも低いビットレートの第3の符号化方式でエンコードして、第3の符号化データを生成する第3のエンコーダと、通信端末に、前記第2の符号化データ、及び第3の符号化データを送信する第1の通信手段と、を備え、前記通信端末から受け取ったデータ取得要求に応じて、前記第2のエンコーダがエンコードを開始し、前記第1の通信手段が前記第2の符号化データを前記通信端末に送信するものである。 An imaging apparatus according to an aspect of the present invention generates first encoded data by encoding an imaging unit that acquires imaging data, and imaging data acquired by the imaging unit using a first encoding method. A first encoder, a memory that records the first encoded data generated by the first encoder as a moving image file, and a second bit rate that is lower than that of the first encoding method. A second encoder that converts the encoded data into second encoded data, and the imaging data is encoded by a third encoding method having a lower bit rate than the second encoding method; A third encoder for generating third encoded data; and first communication means for transmitting the second encoded data and the third encoded data to a communication terminal, the communication terminal In response to a data acquisition request received al, the second encoder starts encoding, the first communication means is to transmit the second encoded data to the communication terminal.
本願発明の一態様にかかる撮像システムの制御方法は、撮像データを取得する撮像部と、前記撮像部によって取得された撮像データを第1の符号化方式でエンコードして、第1の符号化データを生成する第1のエンコーダと、前記第1のエンコーダで生成された前記第1の符号化データを動画ファイルとして記録するメモリと、前記メモリに格納された前記第1の符号化データを第1の符号化方式よりも低いビットレートの第2の符号化方式でエンコードされた第2の符号化データに変換する第2のエンコーダと、前記撮像部によって取得された前記撮像データを前記第2の符号化方式よりも低いビットレートの第3の符号化方式でエンコードして、第3の符号化データを生成する第3のエンコーダと、前記通信端末に、前記第2の符号化データ、及び第3の符号化データを送信する第1の通信手段と、を備え、前記通信端末から受け取った前記表示部が前記第3の符号化データに基づく動画を表示し、前記操作部から入力されたデータ取得要求を前記第2の通信手段が前記撮像装置に送信し、前記データ取得要求に応じて、前記第2のエンコーダがエンコードを開始し、前記第1の通信手段が前記第2の符号化データを前記通信端末に送信するものである。 An imaging system control method according to an aspect of the present invention includes: an imaging unit that acquires imaging data; and the first encoded data obtained by encoding the imaging data acquired by the imaging unit using a first encoding method. A first encoder for generating the first encoded data, a memory for recording the first encoded data generated by the first encoder as a moving image file, and the first encoded data stored in the memory for the first A second encoder that converts the second encoded data encoded by the second encoding method having a lower bit rate than the encoding method, and the imaging data acquired by the imaging unit A third encoder that generates third encoded data by encoding with a third encoding method having a bit rate lower than that of the encoding method; and the communication terminal receives the second encoded data. And first communication means for transmitting third encoded data, and the display unit received from the communication terminal displays a moving image based on the third encoded data, and from the operation unit The second communication means transmits the input data acquisition request to the imaging device, the second encoder starts encoding in response to the data acquisition request, and the first communication means The encoded data is transmitted to the communication terminal.
本願発明は、利便性の高い撮像装置及び制御方法を提供することができる。 The present invention can provide a highly convenient imaging apparatus 及 beauty control method.
本実施の形態では、スポーツのコーチングシステムに利用される撮像システム、撮像装置、通信端末、及びそれらの制御方法について説明するが、撮像システム、撮像装置、通信端末、及びそれらの制御方法の用途は、スポーツのコーチングシステムに限定されるものではない。 In this embodiment, an imaging system, an imaging device, a communication terminal, and a control method thereof used for a sports coaching system will be described. It is not limited to sports coaching systems.
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態に係る撮像システムについて、図1を用いて説明する。図1は、撮像システム10の全体構成を示す図である。撮像システム10は、撮像装置1と通信端末5を備えている。撮像装置1は動画像及び静止画像を撮像することができるデジタルカメラを有している。さらに、撮像装置1は外部メモリカード等を取り付けるためのスロットを有しており、外部メモリカード等に撮像した動画等を記録する。撮像装置1は、通信端末5と無線通信可能であり、撮像した動画を構成する撮像データを通信端末5に対して送信する。 Embodiments of the present invention will be described below with reference to the drawings. An imaging system according to the present embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an overall configuration of the imaging system 10. The imaging system 10 includes an imaging device 1 and a communication terminal 5. The imaging device 1 has a digital camera that can capture moving images and still images. Furthermore, the imaging device 1 has a slot for attaching an external memory card or the like, and records a captured moving image or the like on the external memory card or the like. The imaging device 1 can wirelessly communicate with the communication terminal 5 and transmits imaging data constituting the captured moving image to the communication terminal 5.
通信端末5は、撮像装置1と通信可能な通信端末である。より具体的には、通信端末5は、例えば、タブレットPC、スマートフォン、スマートTV等であり、撮像装置1のモニタよりも大きいモニタを有している。通信端末5は、操作部、及び表示部となるタッチパネル付き液晶ディスプレイを有している。通信端末5と撮像装置1とは、例えば、WiFi Directなどの通信方式によって、データの送受信を行う。通信端末5には、操作部と表示部と通信部が設けられていればよい。例えば、通信端末5は、通話やインターネット接続等の他の機能を備えるスマートフォン等の携帯電話であってもよく、通話機能を有していない通信端末であってもよい。ここでは、3つの通信端末5が設けられているが、通信端末5の数は特に限定されるものではない。 The communication terminal 5 is a communication terminal that can communicate with the imaging device 1. More specifically, the communication terminal 5 is, for example, a tablet PC, a smartphone, a smart TV, or the like, and has a monitor larger than the monitor of the imaging device 1. The communication terminal 5 includes a liquid crystal display with a touch panel that serves as an operation unit and a display unit. The communication terminal 5 and the imaging device 1 transmit and receive data using a communication method such as WiFi Direct, for example. The communication terminal 5 may be provided with an operation unit, a display unit, and a communication unit. For example, the communication terminal 5 may be a mobile phone such as a smartphone having other functions such as a call and Internet connection, or may be a communication terminal that does not have a call function. Here, three communication terminals 5 are provided, but the number of communication terminals 5 is not particularly limited.
本実施の形態では、撮像装置1が撮像データを取得中に、ユーザが通信端末5からデータ取得要求を行う。撮像装置1がデータ取得要求を受信すると、撮像装置1が通信端末5に対して撮像データを送信する。したがって、ユーザが通信端末5によって動画を表示することができる。そして、ユーザが通信端末5に表示されている動画に基づいて、フォームやフォーメーションを確認することができる。これにより、コーチと選手とが同じ通信端末5の表示画面を確認しながら、コーチングを行うことができるようになる。 In the present embodiment, the user makes a data acquisition request from the communication terminal 5 while the imaging device 1 is acquiring imaging data. When the imaging device 1 receives the data acquisition request, the imaging device 1 transmits imaging data to the communication terminal 5. Therefore, the user can display a moving image by the communication terminal 5. Then, the user can check the form and formation based on the moving image displayed on the communication terminal 5. As a result, the coach and the player can perform coaching while checking the display screen of the same communication terminal 5.
<撮像装置1の構成>
次に、撮像装置1の構成について説明する。図2は、本実施の形態に係る撮像装置1の構成例を示すブロック図である。撮像装置1は動画及び静止画を撮像することができる。
<Configuration of Imaging Device 1>
Next, the configuration of the imaging device 1 will be described. FIG. 2 is a block diagram illustrating a configuration example of the imaging apparatus 1 according to the present embodiment. The imaging device 1 can capture moving images and still images.
撮像装置1は、ズームレンズ101、フォーカスレンズ102、絞り103、及び撮像素子104で構成される撮像部100を有する。ズームレンズ101は図示しないズームアクチュエータによって光軸LAに沿って移動する。同様に、フォーカスレンズ102は、図示しないフォーカスアクチュエータによって光軸LAに沿って移動する。絞り103は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子104は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成される。 The imaging apparatus 1 includes an imaging unit 100 including a zoom lens 101, a focus lens 102, a diaphragm 103, and an imaging element 104. The zoom lens 101 is moved along the optical axis LA by a zoom actuator (not shown). Similarly, the focus lens 102 moves along the optical axis LA by a focus actuator (not shown). The diaphragm 103 operates by being driven by a diaphragm actuator (not shown). The imaging element 104 is configured by a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like.
撮像装置1を用いた撮像は以下の手順で行われる。撮像素子104は、ズームレンズ101、フォーカスレンズ102、及び絞り103を通過した光を光電変換して、被写体のアナログ画像信号を生成する。アナログ画像信号処理部105が、このアナログ画像信号を増幅した後、画像A/D変換部106が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ107は、画像A/D変換部106から出力されたデジタル画像データを撮像データとして取り込んで、バス200を介してメインメモリ206に格納する。 Imaging using the imaging apparatus 1 is performed according to the following procedure. The image sensor 104 photoelectrically converts light that has passed through the zoom lens 101, the focus lens 102, and the diaphragm 103 to generate an analog image signal of the subject. After the analog image signal processing unit 105 amplifies the analog image signal, the image A / D conversion unit 106 converts the amplified signal into digital image data. The image input controller 107 takes in digital image data output from the image A / D conversion unit 106 as imaging data and stores it in the main memory 206 via the bus 200.
デジタル信号処理部108は、バス200を介して中央制御部400からの指令に基づき、メインメモリ206に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部108はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。 The digital signal processing unit 108 captures image data stored in the main memory 206 based on a command from the central control unit 400 via the bus 200, performs predetermined signal processing, and data including a luminance signal and a color difference signal. Is generated. The digital signal processing unit 108 also performs various digital corrections such as offset processing, white balance adjustment processing, gamma correction processing, RGB interpolation processing, noise reduction processing, contour correction processing, color tone correction processing, and light source type determination processing.
マイク109は撮像時の周囲の音声を収音し、アナログ音声信号を生成する。アナログ音声信号処理部110がそのアナログ音声信号を増幅した後、音声A/D変換部111が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ112は、音声A/D変換部111から出力されたデジタル音声データを撮像データと併せてメインメモリ206に格納する。 The microphone 109 picks up surrounding sounds at the time of imaging and generates an analog sound signal. After the analog audio signal processing unit 110 amplifies the analog audio signal, the audio A / D conversion unit 111 converts the amplified signal into digital audio data. The voice input controller 112 stores the digital voice data output from the voice A / D converter 111 in the main memory 206 together with the imaging data.
多重化部113は、メインメモリ206に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。 The multiplexing unit 113 multiplexes the imaging data and digital audio data stored in the main memory 206 to generate stream data.
圧縮・伸長処理部201は、バス200を介して中央制御部400からの指示に従い、メインメモリ206に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部400からの指令に従い、カード型記録媒体302等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。なお、本実施の形態の撮像装置1では、静止画像に対してはJPEG規格に準拠した圧縮方式が、動画像に対してはMPEG2規格やAVC/H.264規格に準拠した圧縮方式が採用される。 The compression / decompression processing unit 201 performs predetermined compression processing on the stream data stored in the main memory 206 in accordance with an instruction from the central control unit 400 via the bus 200 to generate compressed data. Further, in accordance with a command from the central control unit 400, the compressed data stored in the card-type recording medium 302 or the like is subjected to decompression processing in a predetermined format to generate uncompressed data. Note that in the imaging apparatus 1 according to the present embodiment, a compression method conforming to the JPEG standard is used for still images, and MPEG2 standard or AVC / H. A compression method conforming to the H.264 standard is adopted.
例えば、圧縮・伸長処理部201は、第1のエンコーダ/デコーダ201aと、第2のエンコーダ/デコーダ201bと、第3のエンコーダ/デコーダ201cと、を備えている。第1のエンコーダ/デコーダ201aは、H.264/MPEG−4 AVC方式で撮像データを符号化(エンコード)、復号化(デコード)している。第1のエンコーダ/デコーダ201aは、撮像データをエンコードして、ハイビジョン映像のAVCHDファイルを生成する。AVCHDファイルは、例えば、1920×1200の画素数の撮像データであり、17Mbpsのビットレートを有している。以下、第1のエンコーダ/デコーダ201aが符号化して生成する撮像データを第1の符号化データとする。 For example, the compression / decompression processing unit 201 includes a first encoder / decoder 201a, a second encoder / decoder 201b, and a third encoder / decoder 201c. The first encoder / decoder 201 a The imaging data is encoded (encoded) and decoded (decoded) by the H.264 / MPEG-4 AVC method. The first encoder / decoder 201a encodes the imaging data and generates an AVCHD file of high-definition video. The AVCHD file is, for example, image data having a pixel number of 1920 × 1200, and has a bit rate of 17 Mbps. Hereinafter, imaging data generated by encoding by the first encoder / decoder 201a is referred to as first encoded data.
第2のエンコーダ/デコーダ201bは、例えば、MPEG−4方式で撮像データを符号化、復号化している。したがって、第2のエンコーダ/デコーダ201bは、撮像データをエンコードして、mp4ファイルを生成する。mp4ファイルは、例えば、640×360の画素数の撮像データであり、1Mbpsのビットレートを有している。以下、第2のエンコーダ/デコーダ201bが符号化して生成する撮像データを第2の符号化データとする。さらに、第2のエンコーダ/デコーダ201bは、第1のエンコーダ/デコーダ201aが生成した第1の符号化データを第2の符号化データにトランスコードすることもできる。 For example, the second encoder / decoder 201b encodes and decodes captured image data in the MPEG-4 system. Therefore, the second encoder / decoder 201b encodes the imaging data to generate an mp4 file. The mp4 file is, for example, image data having a number of pixels of 640 × 360, and has a bit rate of 1 Mbps. Hereinafter, imaging data generated by encoding by the second encoder / decoder 201b is referred to as second encoded data. Further, the second encoder / decoder 201b can transcode the first encoded data generated by the first encoder / decoder 201a into the second encoded data.
第3のエンコーダ/デコーダ201cは、例えば、JPEG方式で、撮像データを符号化、復号化している。例えば、第3のエンコーダ/デコーダ201cは、撮像データを構成するフレーム画像を符号化して、JPEGファイルを生成する。第3のエンコーダ/デコーダ201cは、JPEGファイルを連続して生成することで、Motion JPEGデータを生成する。以下、第3のエンコーダ/デコーダ201cで符号化して生成するデータを第3の符号化データとする。第3の符号化データは、第1の符号化データ、及び第2の符号化データよりもビットレートの遅いデータである。 The third encoder / decoder 201c encodes and decodes imaging data by, for example, the JPEG method. For example, the third encoder / decoder 201c encodes a frame image constituting the imaging data to generate a JPEG file. The third encoder / decoder 201c generates Motion JPEG data by continuously generating JPEG files. Hereinafter, data generated by encoding by the third encoder / decoder 201c is referred to as third encoded data. The third encoded data is data having a slower bit rate than the first encoded data and the second encoded data.
このように第1のエンコーダ/デコーダ201aは、高レート用のエンコーダ/デコーダとなっている。第3のエンコーダ/デコーダ201cは、低レート用のエンコーダ/デコーダとなっている。第2のエンコーダ/デコーダ201bは、中レート用のエンコーダ/デコーダとなっている。なお、符号化形式は、上記した第1〜第3の符号化形式に限定されるものではない。すなわち、圧縮・伸長処理部201は、ビットレートの異なる3つの形式で符号化、復号化できるものであればよい。もちろん、各エンコーダ/デコーダは、物理的に単一のプロセッサなどで構成されていてもよい。 Thus, the first encoder / decoder 201a is a high-rate encoder / decoder. The third encoder / decoder 201c is a low-rate encoder / decoder. The second encoder / decoder 201b is a medium rate encoder / decoder. Note that the encoding format is not limited to the first to third encoding formats described above. That is, the compression / decompression processing unit 201 only needs to be capable of encoding and decoding in three formats having different bit rates. Of course, each encoder / decoder may be physically constituted by a single processor or the like.
音声・画像処理部202は、バス200を介して中央制御部400の指示に従い、メインメモリ206から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やOSD画像等、各種処理のための画像データを生成し、その画像データをメインメモリ206から読み出されたオリジナルの撮像データに重畳させて液晶モニタ304に出力する。この出力によって、液晶モニタ304に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ304の代わりに有機EL(Electro-Luminescence)モニタ等の他のモニタを用いることも可能である。 The sound / image processing unit 202 performs predetermined image processing on the digital data read from the main memory 206 in accordance with instructions from the central control unit 400 via the bus 200. For example, image data for various processes such as a menu image and an OSD image is generated, and the image data is superimposed on the original image data read from the main memory 206 and output to the liquid crystal monitor 304. With this output, the image displayed on the liquid crystal monitor 304 is a combination of various image data. Instead of the liquid crystal monitor 304, other monitors such as an organic EL (Electro-Luminescence) monitor can be used.
ROM203はバス200を介して中央制御部400に接続されており、中央制御部400が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュROM204は、ユーザの設定情報等、撮像装置1の動作に関する各種設定情報を格納している。撮像装置1は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュROM204に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。VRAM205は、表示用の撮像データの一時記憶領域として使用される。 The ROM 203 is connected to the central control unit 400 via the bus 200 and stores a control program executed by the central control unit 400 and various data necessary for control. The flash ROM 204 stores various setting information related to the operation of the imaging apparatus 1, such as user setting information. The imaging apparatus 1 stores in advance in the flash ROM 204 several imaging modes and imaging condition settings according to each mode in accordance with various imaging situations. And before starting imaging, the user can perform imaging under optimal imaging conditions by selecting an optimal mode from each mode. For example, a “portrait mode” suitable for capturing a specific person, a “sport mode” suitable for capturing an athletic meet, or a “night view mode” suitable for capturing a dark place such as a night view. The VRAM 205 is used as a temporary storage area for image data for display.
メインメモリ206は、撮像データ(動画像及び静止画)の一時記憶領域として使用されるとともに、中央制御部400の演算作業領域としても使用される。 The main memory 206 is used as a temporary storage area for imaging data (moving images and still images), and is also used as a calculation work area for the central control unit 400.
メディア制御部207は、中央制御部400の指令に従い、カードI/F301を通じてカード型記録媒体302へのデータの書き込みやデータの読み出しを制御する。カード型記録媒体302はSDカードやコンパクトフラッシュ(登録商標)等の外部メモリであり、撮像装置1に対して脱着可能に設けられている。メディア制御部207は、圧縮・伸長処理部201で符号化された撮像データを動画ファイルとして、カード型記録媒体302に記憶する。 The media control unit 207 controls data writing to and data reading from the card-type recording medium 302 through the card I / F 301 in accordance with instructions from the central control unit 400. The card-type recording medium 302 is an external memory such as an SD card or a compact flash (registered trademark), and is provided so as to be removable from the imaging apparatus 1. The media control unit 207 stores the captured image data encoded by the compression / decompression processing unit 201 as a moving image file in the card type recording medium 302.
ジャイロセンサ208は、3軸の加速度及び角速度の変化を検出する。そして、ジャイロセンサ208の検出結果に応じて、液晶モニタ304の表示向きを変える。時計208は、撮像画像データの取得日時の情報等を示す入力時刻情報を生成する。 The gyro sensor 208 detects changes in triaxial acceleration and angular velocity. Then, the display orientation of the liquid crystal monitor 304 is changed according to the detection result of the gyro sensor 208. The clock 208 generates input time information indicating information such as acquisition date / time of captured image data.
液晶モニタ304、スピーカ305、操作部306及び入出力端子307は入出力I/F303に接続されている。液晶モニタ304は、例えばVRAM205やメインメモリ206に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ305は、例えばメインメモリ206に一時記録された音声を出力する。操作部306は、上記のように、リレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ304上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置1への操作入力を受け付ける。入出 力端子307は、図示しないテレビモニタやPC(Personal Computer)等に接続される。 The liquid crystal monitor 304, the speaker 305, the operation unit 306, and the input / output terminal 307 are connected to the input / output I / F 303. The liquid crystal monitor 304 displays images generated from various image data such as image data and various menu image data temporarily recorded in the VRAM 205 or the main memory 206, for example. The speaker 305 outputs sound temporarily recorded in the main memory 206, for example. As described above, the operation unit 306 includes an operation key including a relays switch and a power switch, a cross key, a joystick, a touch panel superimposed on the liquid crystal monitor 304, and the like. Accept operation input. The input / output terminal 307 is connected to a television monitor (not shown), a PC (Personal Computer) or the like.
無線モジュール309(第1の通信手段)は、バス200及び無線I/F308を介して、通信端末5との間で信号の送受信を行う。具体的には、無線モジュール309は、Wi−Fi等の無線LAN規格に準拠した通信処理を行う。これにより、通信端末5との通信が可能になる。無線モジュール309は、通信端末5と通信を行うための第1の通信手段となる。 The wireless module 309 (first communication unit) transmits and receives signals to and from the communication terminal 5 via the bus 200 and the wireless I / F 308. Specifically, the wireless module 309 performs communication processing conforming to a wireless LAN standard such as Wi-Fi. Thereby, communication with the communication terminal 5 becomes possible. The wireless module 309 serves as a first communication unit for communicating with the communication terminal 5.
中央制御部400はCPU、各種プログラムが格納されたROM、及びワークエリアとしてのRAM等を含む半導体集積回路により構成され、撮像、各種画像の表示、及び連携撮影に関する情報の送受信等の撮像装置1全体の処理を統括的に制御する。 The central control unit 400 includes a semiconductor integrated circuit including a CPU, a ROM storing various programs, a RAM as a work area, and the like. Overall control of the entire process.
中央制御部400は、デコーダ制御部401、及び通信制御部402を有している。デコーダ制御部401は、第1のエンコーダ/デコーダ201a、第2のエンコーダ/デコーダ201b、及び第3のエンコーダ/デコーダ201cを制御する。例えば、ユーザが高精細の撮像データを取得したい場合は、撮像データの保存形式としてAVCHDファイルを指定する。この場合、デコーダ制御部401は、第1のエンコーダ/デコーダ201aを動作させる。すなわち、第2のエンコーダ/デコーダ201b、及び第3のエンコーダ/デコーダ201cの動作を停止させる。これにより、撮像装置1が取得した撮像データが、第1の符号化方式で符号化され、第1の符号化データが生成される。そして、撮像データがAVCHDファイルとしてカード型記録媒体302、又は内蔵型記録媒体(不図示)に格納される。 The central control unit 400 includes a decoder control unit 401 and a communication control unit 402. The decoder control unit 401 controls the first encoder / decoder 201a, the second encoder / decoder 201b, and the third encoder / decoder 201c. For example, when the user wants to acquire high-definition image data, an AVCHD file is designated as the image data storage format. In this case, the decoder control unit 401 operates the first encoder / decoder 201a. That is, the operations of the second encoder / decoder 201b and the third encoder / decoder 201c are stopped. Thereby, the imaging data acquired by the imaging apparatus 1 is encoded by the first encoding method, and the first encoded data is generated. Then, the imaging data is stored as an AVCHD file in the card type recording medium 302 or a built-in type recording medium (not shown).
一方、ユーザがデータ量の小さい撮像データを取得したい場合は、mp4ファイルを撮像データの保存形式としてmp4ファイルを指定する。この場合、デコーダ制御部401は、第2のエンコーダ/デコーダ201bを動作させる。すなわち、第2のエンコーダ/デコーダ201b、及び第3のエンコーダ/デコーダ201cの動作を停止させる。これにより、撮像装置1が取得した撮像データが、第2の符号化方式で符号化され、第2の符号化データが生成される。そして、撮像データがmp4ファイルとしてカード型記録媒体302に格納される。 On the other hand, when the user wants to acquire imaging data with a small amount of data, the mp4 file is designated as the saving format of the imaging data. In this case, the decoder control unit 401 operates the second encoder / decoder 201b. That is, the operations of the second encoder / decoder 201b and the third encoder / decoder 201c are stopped. Thereby, the imaging data acquired by the imaging apparatus 1 is encoded by the second encoding method, and second encoded data is generated. Then, the imaging data is stored in the card type recording medium 302 as an mp4 file.
また、撮像データのサムネイル画像などを生成する場合、デコーダ制御部401が第3のエンコーダ/デコーダ201cを動作させる。第3のエンコーダ/デコーダ201cが撮像データの先頭フレームを抽出して、エンコードする。これにより、撮像データのサムネイル画像がJPEGファイルとして生成される。そして、サムネイル画像を、カード型記録媒体302等に格納された撮像データに対応付けて記憶する。 Also, when generating a thumbnail image or the like of the imaged data, the decoder control unit 401 operates the third encoder / decoder 201c. The third encoder / decoder 201c extracts and encodes the first frame of the imaging data. Thereby, a thumbnail image of the imaging data is generated as a JPEG file. Then, the thumbnail image is stored in association with the imaging data stored in the card type recording medium 302 or the like.
通信制御部402は、通信端末5との通信を制御する。例えば、通信制御部402は、ユーザなどからの入力に基づいて、通信端末5に送信する通信データを生成する。あるいは、通信制御部402は、通信端末5から受信した通信データに基づいて、デコーダ制御部402や等を制御する。 The communication control unit 402 controls communication with the communication terminal 5. For example, the communication control unit 402 generates communication data to be transmitted to the communication terminal 5 based on an input from a user or the like. Alternatively, the communication control unit 402 controls the decoder control unit 402 and the like based on the communication data received from the communication terminal 5.
<通信端末5の構成> <Configuration of communication terminal 5>
次に、通信端末5の制御系について説明する。通信端末5は、ズームレンズ501、フォーカスレンズ502、絞り503、及び撮像素子504で構成される撮像部500を有する。ズームレンズ501は図示しないズームアクチュエータによって光軸LAに沿って移動する。同様に、フォーカスレンズ502は、図示しないフォーカスアクチュエータによって光軸LAに沿って移動する。絞り503は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子504は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成される。 Next, the control system of the communication terminal 5 will be described. The communication terminal 5 includes an image capturing unit 500 including a zoom lens 501, a focus lens 502, a diaphragm 503, and an image sensor 504. The zoom lens 501 is moved along the optical axis LA by a zoom actuator (not shown). Similarly, the focus lens 502 is moved along the optical axis LA by a focus actuator (not shown). The diaphragm 503 operates by being driven by a diaphragm actuator (not shown). The image sensor 504 is configured by a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), or the like.
撮像部500を用いた撮像は以下の手順で行われる。撮像素子504はズームレンズ501、フォーカスレンズ502、及び絞り503を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部505が、このアナログ画像信号を増幅した後、画像A/D変換部506が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ507は、画像A/D変換部506から出力されたデジタル画像データを撮像データとして取り込んで、バス600を介してメインメモリ606に格納する。
Imaging using the imaging unit 500 is performed according to the following procedure. The image sensor 504 photoelectrically converts light that has passed through the zoom lens 501, the focus lens 502, and the stop 503 to generate an analog image signal of the subject.
After the analog image signal processing unit 505 amplifies the analog image signal, the image A / D conversion unit 506 converts the amplified signal into digital image data. The image input controller 507 takes in digital image data output from the image A / D conversion unit 506 as imaging data and stores it in the main memory 606 via the bus 600.
デジタル信号処理部508は、バス600を介して中央制御部900からの指令に基づき、メインメモリ606に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部508はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。 The digital signal processing unit 508 takes in image data stored in the main memory 606 based on a command from the central control unit 900 via the bus 600, performs predetermined signal processing, and data including a luminance signal and a color difference signal. Is generated. The digital signal processing unit 508 also performs various digital corrections such as offset processing, white balance adjustment processing, gamma correction processing, RGB interpolation processing, noise reduction processing, contour correction processing, color tone correction processing, and light source type determination processing.
マイク509は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部510がそのアナログ音声信号を増幅した後、音声A/D変換部511が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ512は、音声A/D変換部511から出力されたデジタル音声データを撮像データと併せてメインメモリ606に格納する。 The microphone 509 circulates the surrounding sound at the time of imaging and generates an analog sound signal. After the analog audio signal processing unit 510 amplifies the analog audio signal, the audio A / D conversion unit 511 converts the amplified signal into digital audio data. The audio input controller 512 stores the digital audio data output from the audio A / D conversion unit 511 in the main memory 606 together with the imaging data.
多重化部513は、メインメモリ606に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。 The multiplexing unit 513 multiplexes the imaging data and digital audio data stored in the main memory 606 to generate stream data.
圧縮・伸長処理部601は、バス600を介して中央制御部900からの指示に従い、メインメモリ606に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部900からの指令に従い、メインメモリ606等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。
なお、本実施の形態の通信端末5では、静止画像に対してはJPEG規格に準拠した圧縮方式が、動画像に対してはMPEG2規格やAVC/H.264規格に準拠した圧縮方式が採用される。
The compression / decompression processing unit 601 performs predetermined compression processing on the stream data stored in the main memory 606 in accordance with an instruction from the central control unit 900 via the bus 600 to generate compressed data. Further, in accordance with a command from the central control unit 900, the compressed data stored in the main memory 606 or the like is subjected to decompression processing in a predetermined format to generate uncompressed data.
In the communication terminal 5 according to the present embodiment, the compression method based on the JPEG standard is used for still images, and the MPEG2 standard or AVC / H. A compression method conforming to the H.264 standard is adopted.
例えば、圧縮・伸長処理部601は第4のエンコーダ/デコーダ601bと、第5のエンコーダ/デコーダ601cを備えている。第4のエンコーダ/デコーダ601bは、第2のエンコーダ/デコーダ201bと同様に、符号化、復号化を行う。すなわち、第4のエンコーダ/デコーダ601bは、第2のエンコーダ/デコーダ201bでエンコードした撮像データを復号化する。第5のエンコーダ/デコーダ601cは、第3のエンコーダ/デコーダ201cと同様に、符号化、復号化を行う。すなわち、第5のエンコーダ/デコーダ601cは、第3のエンコーダ/デコーダ201cでエンコードした撮像データを復号化する。 For example, the compression / decompression processing unit 601 includes a fourth encoder / decoder 601b and a fifth encoder / decoder 601c. The fourth encoder / decoder 601b performs encoding and decoding in the same manner as the second encoder / decoder 201b. That is, the fourth encoder / decoder 601b decodes the imaging data encoded by the second encoder / decoder 201b. The fifth encoder / decoder 601c performs encoding and decoding in the same manner as the third encoder / decoder 201c. That is, the fifth encoder / decoder 601c decodes the imaging data encoded by the third encoder / decoder 201c.
このように、第5のエンコーダ/デコーダ601cは、低レート用のエンコーダ/デコーダとなっている。第4のエンコーダ/デコーダ601bは、中レート用のエンコーダ/デコーダとなっている。 Thus, the fifth encoder / decoder 601c is a low-rate encoder / decoder. The fourth encoder / decoder 601b is a medium rate encoder / decoder.
音声・画像処理部602は、バス600を介して中央制御部900の指示に従い、メインメモリ606から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やOSD画像等、各種処理のための画像データを生成し、その画像データをメインメモリ606から読み出されたオリジナルの撮像データに重畳させて液晶モニタ704に出力する。この出力によって、液晶モニタ704に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ704の代わりに有機EL(Electro - Luminescence)モニタ等の他のモニタを用いることも可能である。 The sound / image processing unit 602 performs predetermined image processing on the digital data read from the main memory 606 in accordance with instructions from the central control unit 900 via the bus 600. For example, image data for various processes such as a menu image and an OSD image is generated, and the image data is superimposed on the original image data read from the main memory 606 and output to the liquid crystal monitor 704. With this output, the image displayed on the liquid crystal monitor 704 is a composite of various image data. Instead of the liquid crystal monitor 704, another monitor such as an organic EL (Electro-Luminescence) monitor can be used.
ROM603はバス600を介して中央制御部900に接続されており、中央制御部400が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュROM604は、ユーザの設定情報等、通信端末5の動作に関する各種設定情報を格納している。 The ROM 603 is connected to the central control unit 900 via the bus 600 and stores a control program executed by the central control unit 400 and various data necessary for control. The flash ROM 604 stores various setting information related to the operation of the communication terminal 5 such as user setting information.
VRAM605は、表示用の画像データの一時記憶領域として使用される。メインメモリ606は、各種画像データの一時記憶領域として使用されるとともに、中央制御部900の演算作業領域としても使用される。 The VRAM 605 is used as a temporary storage area for display image data. The main memory 606 is used as a temporary storage area for various image data and also as a calculation work area for the central control unit 900.
ジャイロセンサ608は、3軸の加速度及び角速度の変化を検出する。そして、ジャイロセンサ608の検出結果に応じて、液晶モニタ704の表示向きを変える。時計609は、後述するデータ取得要求時刻を生成する。時計609は、時計209と時間合わせされていてもよい。 The gyro sensor 608 detects changes in triaxial acceleration and angular velocity. Then, the display orientation of the liquid crystal monitor 704 is changed according to the detection result of the gyro sensor 608. The clock 609 generates a data acquisition request time described later. The clock 609 may be timed with the clock 209.
液晶モニタ704、スピーカ705、操作部706及び入出力端子707は入出力I/F703に接続されている。液晶モニタ704は、例えばVRAM605やメインメモリ606に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ705は、例えばメインメモリ606に一時記録された音声を出力する。操作部706は、操作ボタン、又は液晶モニタ304上に重畳されたタッチパネル等から構成されており、ユーザの通信端末5への操作入力を受け付ける。入出力端子707は、図示しないテレビモニタやPC(Personal Computer)等に接続される。 The liquid crystal monitor 704, the speaker 705, the operation unit 706, and the input / output terminal 707 are connected to the input / output I / F 703. The liquid crystal monitor 704 displays images generated from various image data such as imaging data temporarily recorded in the VRAM 605 and the main memory 606 and various menu image data, for example. The speaker 705 outputs the sound temporarily recorded in the main memory 606, for example. The operation unit 706 is configured by an operation button, a touch panel superimposed on the liquid crystal monitor 304, or the like, and receives an operation input from the user to the communication terminal 5. The input / output terminal 707 is connected to a television monitor (not shown), a PC (Personal Computer), or the like.
無線モジュール709は、バス600及び無線I/F708を介して、後述する撮像データを撮像装置1との間で送受信する。また、無線モジュール709は、通信端末5を撮像装置1と通信する際の、各種情報の送受信を行う。この通信処理については後述する。各種情報及び撮像データ等の無線通信はIEEE802.11規格に準拠した方式で行われる。より具体的には、無線モジュール709は、Wi−Fi等の無線LAN規格に準拠した通信処理を行う。これにより、撮像装置1との通信が可能になる。無線モジュール709は、第2の通信手段となる。 The wireless module 709 transmits and receives imaging data described later to and from the imaging device 1 via the bus 600 and the wireless I / F 708. The wireless module 709 transmits and receives various types of information when the communication terminal 5 communicates with the imaging device 1. This communication process will be described later. Wireless communication such as various types of information and imaging data is performed by a method compliant with the IEEE 802.11 standard. More specifically, the wireless module 709 performs communication processing conforming to a wireless LAN standard such as Wi-Fi. Thereby, communication with the imaging device 1 becomes possible. The wireless module 709 serves as a second communication unit.
中央制御部900は、デコーダ制御部901と通信制御部902とを備えている。デコーダ制御部901は、圧縮・伸長処理部601を制御する。デコーダ制御部901は、第4のエンコーダ/デコーダ601b、及び第5のエンコーダ/デコーダ601cを制御する。撮像装置1から送信された撮像データを適切にデコードする。エンコーダ/デコーダ601b、及び第5のエンコーダ/デコーダ601cでデコードされた撮像データは、液晶モニタ704に表示される。 The central control unit 900 includes a decoder control unit 901 and a communication control unit 902. The decoder control unit 901 controls the compression / decompression processing unit 601. The decoder control unit 901 controls the fourth encoder / decoder 601b and the fifth encoder / decoder 601c. The imaging data transmitted from the imaging device 1 is appropriately decoded. The imaging data decoded by the encoder / decoder 601b and the fifth encoder / decoder 601c is displayed on the liquid crystal monitor 704.
通信制御部902は、撮像装置1との通信を制御する。例えば、通信制御部902は、撮像装置1に送信する通信データを生成する。また、通信制御部902は、撮像装置1から送信された通信データに基づいて、デコーダ制御部901等を制御する。通信制御部902はユーザからの入力に応じて、データ取得要求信号を生成する。また、通信制御部902は、撮像装置1から送信された撮像データをメインメモリ606等に記憶するための制御を行う。 The communication control unit 902 controls communication with the imaging device 1. For example, the communication control unit 902 generates communication data to be transmitted to the imaging device 1. Further, the communication control unit 902 controls the decoder control unit 901 and the like based on the communication data transmitted from the imaging device 1. The communication control unit 902 generates a data acquisition request signal in response to an input from the user. In addition, the communication control unit 902 performs control for storing the imaging data transmitted from the imaging device 1 in the main memory 606 and the like.
通信モジュール711は、バス600及び通信I/F710を介して、他の通信端末5の通話、メールの送受信、インターネット接続などを行う。これらの無線通信は、例えば、W−CDMAやCDMA2000等の通信規格に準拠した方式で行われる。これにより、基地局との通信が可能になる。もちろん、通信モジュール711での通信による通信規格は特に限定されるものではない。通信モジュール711は、無線モジュール709と異なる通信方式で無線通信を行う。通信モジュール711が音声データを送受信することで、他の通信端末5との通話が可能となる。なお、通信端末5がスマートTVやタブレットPC等の携帯電話機能を有していない端末である場合、通信モジュール711、及び通信I/Fを備えていなくてもよい。 The communication module 711 performs communication with other communication terminals 5, transmission / reception of mail, Internet connection, and the like via the bus 600 and the communication I / F 710. Such wireless communication is performed by a method based on a communication standard such as W-CDMA or CDMA2000. This enables communication with the base station. Of course, the communication standard for communication in the communication module 711 is not particularly limited. The communication module 711 performs wireless communication using a communication method different from that of the wireless module 709. The communication module 711 transmits and receives audio data, so that a call with another communication terminal 5 is possible. When the communication terminal 5 is a terminal that does not have a mobile phone function such as a smart TV or a tablet PC, the communication module 711 and the communication I / F may not be provided.
メインメモリ606、又はROM603には、アプリケーションプログラム等が格納されている。アプリケーションプログラムには、データ取得やコーチングに用いられるアプリケーションプログラム(以下、アプリとする)が含まれている。 The main memory 606 or the ROM 603 stores application programs and the like. The application program includes an application program (hereinafter referred to as an application) used for data acquisition and coaching.
<撮像データの転送処理>
以下、撮像装置1から通信端末5に撮像データを転送する処理について、図4〜図6を用いて説明する。図4は、撮像システム10の動作を示すフローチャートである。図5は、撮像装置1の液晶モニタ304の表示画面を示す図である。図6は、通信端末5の液晶モニタ704の表示画面を示す図である。なお、以下の説明において、撮像装置1の操作部306、及び通信端末5の操作部706が、液晶モニタ304、及び液晶モニタ704に設けられたタッチパネルであるとして説明を行う。
<Imaging data transfer process>
Hereinafter, processing for transferring imaging data from the imaging device 1 to the communication terminal 5 will be described with reference to FIGS. FIG. 4 is a flowchart showing the operation of the imaging system 10. FIG. 5 is a diagram illustrating a display screen of the liquid crystal monitor 304 of the imaging apparatus 1. FIG. 6 is a diagram showing a display screen of the liquid crystal monitor 704 of the communication terminal 5. In the following description, it is assumed that the operation unit 306 of the imaging device 1 and the operation unit 706 of the communication terminal 5 are touch panels provided on the liquid crystal monitor 304 and the liquid crystal monitor 704.
まず、撮像装置1と通信端末5との無線接続を確立する(ステップS101)。そのため、ユーザが撮像装置1を操作して、接続開始要求を入力する。例えば、図5のC1に示すように、ユーザが、動画を表示中の撮像装置1のメニューボタンをタッチする。すると、図5のC2に示すメニュー画面が現れる。ユーザが接続スタートのボタンをタッチすると、接続する機器を指定する画面となる(図5のC3)。ここで、ユーザが接続相手となる通信端末5のIDとパスワードを入力する。すると、通信端末5の通信制御部402が、送信されたID及びパスワードを認証する。これにより、図5のC4に示すように、撮像装置1と通信端末5との無線接続が確立する。なお、撮像装置1と接続可能な通信端末5を予め登録しておき、液晶モニタ304にリストとして表示するようにしてもよい。この場合、リスト中から、ユーザが通信する通信端末5を選択する。このようにして、ユーザが接続開始要求を入力すると、無線接続が確立する。なお、接続開始要求は、通信端末5で入力してもよい。 First, a wireless connection between the imaging device 1 and the communication terminal 5 is established (step S101). Therefore, the user operates the imaging apparatus 1 and inputs a connection start request. For example, as shown in C1 of FIG. 5, the user touches the menu button of the imaging device 1 that is displaying a moving image. Then, a menu screen indicated by C2 in FIG. 5 appears. When the user touches the connection start button, a screen for designating a device to be connected is displayed (C3 in FIG. 5). Here, the user inputs the ID and password of the communication terminal 5 to be connected. Then, the communication control unit 402 of the communication terminal 5 authenticates the transmitted ID and password. Thereby, as shown to C4 of FIG. 5, the wireless connection of the imaging device 1 and the communication terminal 5 is established. The communication terminal 5 that can be connected to the imaging device 1 may be registered in advance and displayed on the liquid crystal monitor 304 as a list. In this case, the communication terminal 5 with which the user communicates is selected from the list. In this way, when the user inputs a connection start request, a wireless connection is established. The connection start request may be input at the communication terminal 5.
撮像装置1と通信端末5との無線接続が開始すると、撮像装置1が通信端末5に動画をリアルタイム伝送する(ステップS102)。ここでは、第3のエンコーダ/デコーダ601cが撮像データを符号化して、第3の符号化データを生成する。撮像装置1が第3の符号化データを通信端末5に送信する。撮像装置1が最新の撮像データを順番に通信端末5に送信する。 When wireless connection between the imaging device 1 and the communication terminal 5 starts, the imaging device 1 transmits a moving image to the communication terminal 5 in real time (step S102). Here, the third encoder / decoder 601c encodes the imaging data to generate third encoded data. The imaging device 1 transmits the third encoded data to the communication terminal 5. The imaging device 1 transmits the latest imaging data to the communication terminal 5 in order.
そして、通信端末5が、遅延した動画を表示する(ステップS103)。通信端末5のデコーダ制御部901が第5のエンコーダ/デコーダ601cを動作させて、第3の符号化データをデコードする。通信端末5は、デコードされた撮像データに基づいて、液晶モニタ704に動画を表示させる。このように、通信端末5は、第3の符号化データに基づいて、動画を表示する。 Then, the communication terminal 5 displays the delayed video (Step S103). The decoder control unit 901 of the communication terminal 5 operates the fifth encoder / decoder 601c to decode the third encoded data. The communication terminal 5 displays a moving image on the liquid crystal monitor 704 based on the decoded imaging data. Thus, the communication terminal 5 displays a moving image based on the third encoded data.
通信端末5の通信制御部902には、ある一定の遅延時間が設定されている。そして、撮像装置1が撮像した時間よりも遅延時間だけ遅延するように、動画を表示する。例えば、10秒の遅延時間が設定されている場合、撮像データを取得した時間から10秒だけ遅延して動画が表示される。これにより、図6のT1に示すように、撮像装置1において一定時間前に取得された撮像データが、通信端末5の液晶モニタ704に表示される。すなわち、撮像装置1に表示されている動画よりも遅れて、液晶モニタ704が動画を表示する。遅延時間は、撮像装置1と通信端末5との通信遅延を考慮して、通信遅延よりも長い時間とすることが好ましい。これにより、通信端末5の表示において通信遅延の影響を抑制することができ、動画がスムーズに表示される。 A certain delay time is set in the communication control unit 902 of the communication terminal 5. Then, the moving image is displayed so as to be delayed by a delay time from the time taken by the imaging device 1. For example, when a delay time of 10 seconds is set, a moving image is displayed with a delay of 10 seconds from the time when the imaging data is acquired. As a result, as shown at T <b> 1 in FIG. 6, the imaging data acquired in the imaging apparatus 1 before a certain time is displayed on the liquid crystal monitor 704 of the communication terminal 5. That is, the liquid crystal monitor 704 displays a moving image later than the moving image displayed on the imaging device 1. The delay time is preferably longer than the communication delay in consideration of the communication delay between the imaging device 1 and the communication terminal 5. Thereby, in the display of the communication terminal 5, the influence of a communication delay can be suppressed and a moving image is displayed smoothly.
次に、他の通信端末5からの接続要求がないかを撮像装置1が確認する(ステップS104)。撮像装置1は、他の通信端末5からの接続要求がある場合(ステップS104のYES)、接続を切り替え(ステップS111)、ステップS102に戻る。例えば、ユーザが他の通信端末5を操作して、接続要求を行ったとする。この場合、接続要求が適切なものであるか否かを撮像装置1の通信制御部402が判定する。そして、接続要求が適切な通信端末5から送信されているのであれば、通信制御部402は、接続要求を送信した他の通信端末5に動画の撮像データをリアルタイム伝送する(ステップS102)。すなわち、通信制御部902は、第3の符号化データを他の通信端末5に送信する。 Next, the imaging apparatus 1 confirms whether there is a connection request from another communication terminal 5 (step S104). When there is a connection request from another communication terminal 5 (YES in step S104), the imaging apparatus 1 switches the connection (step S111), and returns to step S102. For example, it is assumed that the user operates another communication terminal 5 to make a connection request. In this case, the communication control unit 402 of the imaging apparatus 1 determines whether or not the connection request is appropriate. If the connection request is transmitted from an appropriate communication terminal 5, the communication control unit 402 transmits the moving image imaging data in real time to the other communication terminal 5 that has transmitted the connection request (step S102). That is, the communication control unit 902 transmits the third encoded data to the other communication terminal 5.
他の端末からの接続要求がない場合(ステップS104のNO)、ユーザが撮像装置1を操作して、動画記録を開始する(ステップS105)。すなわち、ユーザ1が操作部306の録画ボタン等をタッチすることで、録画が開始する。撮像装置1がカード型記録媒体302に撮像データを記録する(ステップS106)。すなわち、カード型記録媒体302へのデータの書き込みが開始する。なお、上記の説明では、撮像装置1と通信端末5との接続が確立した後に、撮像装置1が動画の記録を開始しているが、無線接続が確立する前に、動画の記録を開始してもよい。すなわち、動画の記録中に、撮像装置1と通信端末5とが無線接続を確立してもよい。 When there is no connection request from another terminal (NO in step S104), the user operates the imaging device 1 to start moving image recording (step S105). That is, recording starts when the user 1 touches the recording button or the like of the operation unit 306. The imaging apparatus 1 records imaging data on the card type recording medium 302 (step S106). That is, data writing to the card type recording medium 302 starts. In the above description, after the connection between the imaging device 1 and the communication terminal 5 is established, the imaging device 1 starts recording a moving image. However, before the wireless connection is established, the recording of the moving image is started. May be. In other words, the imaging device 1 and the communication terminal 5 may establish a wireless connection during recording of a moving image.
ここで、カード型記録媒体302に書き込まれる撮像データは、第1の符号化方式でエンコードされている。すなわち、カード型記録媒体302には、第1のエンコーダ/デコーダ201aによってデコードされた第1の符号化データが記録される。撮像装置1は、第3のエンコーダ/デコーダ201cでデコードした撮像データを通信端末5に送信している。すなわち、デコーダ制御部401が、第3のエンコーダ/デコーダ201cと、第1のエンコーダ/デコーダ201aとを制御して、並列のエンコードを実行させる。さらに、撮像装置1は、第3の符号化データの送信と、第1のエンコーダ/デコーダ201aのエンコードを並列して行っている。 Here, the imaging data written to the card-type recording medium 302 is encoded by the first encoding method. That is, the first encoded data decoded by the first encoder / decoder 201a is recorded on the card type recording medium 302. The imaging device 1 transmits the imaging data decoded by the third encoder / decoder 201c to the communication terminal 5. That is, the decoder control unit 401 controls the third encoder / decoder 201c and the first encoder / decoder 201a to execute parallel encoding. Further, the imaging apparatus 1 performs transmission of the third encoded data and encoding of the first encoder / decoder 201a in parallel.
次に、撮像装置1が、通信端末5からのデータ取得要求があったか否かを判定する(ステップS107)。例えば、ユーザが端末装置5の操作部706を操作して、データの取得要求を行う。より具体的には、図6のT2に示すように、液晶モニタ704に表示されたカメラ使用ボタンをタッチする。これにより、通信制御部902でデータ取得要求時間を記憶する。このとき、第5のエンコーダ/デコーダ601cによるデコードを停止するため、通信端末5が第3の符号化データに基づく動画表示を中止する。 Next, the imaging apparatus 1 determines whether or not there is a data acquisition request from the communication terminal 5 (step S107). For example, the user operates the operation unit 706 of the terminal device 5 to make a data acquisition request. More specifically, as shown at T2 in FIG. 6, the camera use button displayed on the liquid crystal monitor 704 is touched. Thereby, the communication control unit 902 stores the data acquisition request time. At this time, in order to stop decoding by the fifth encoder / decoder 601c, the communication terminal 5 stops moving image display based on the third encoded data.
さらに、図6のT3に示すように、ユーザが撮像データの再生時間を指定して、再生開始ボタンをタッチする。これにより、通信制御部902が、データ取得要求信号を生成して、無線モジュール709を介して、撮像装置1に送信する。データ取得要求信号には、データ取得要求時刻と再生時間が含まれている。例えば、ユーザがカメラ使用ボタンをタッチした時間がデータ取得要求時間となる。このように、ユーザが通信端末5に表示されている動画を見ながらデータ取得要求を行うことができる。適切なタイミングでの撮像データを所得することができる。通信端末5からのデータ取得要求がない場合(ステップS107のNO)、ステップS106に戻って、撮像データの記録を継続する。 Further, as indicated by T3 in FIG. 6, the user designates the reproduction time of the imaging data and touches the reproduction start button. As a result, the communication control unit 902 generates a data acquisition request signal and transmits the data acquisition request signal to the imaging device 1 via the wireless module 709. The data acquisition request signal includes a data acquisition request time and a reproduction time. For example, the time when the user touches the camera use button is the data acquisition request time. In this way, the user can make a data acquisition request while watching the moving image displayed on the communication terminal 5. Capture image data at appropriate timing. When there is no data acquisition request from the communication terminal 5 (NO in step S107), the process returns to step S106 and recording of the imaging data is continued.
通信端末5からのデータ取得要求があった場合(ステップS107のYES)、次のステップS109に移行する。例えば、無線モジュール309がデータ取得要求信号を受信したら、撮像装置1が、動画記録が継続中であるか否かを判定する(ステップS108)。動画の記録が継続していない場合(ステップS108のNO)、ステップS105に戻る。例えば、ユーザが通信端末5からデータ取得を要求する前に、他のユーザが撮像装置1のREC停止ボタンをタッチして、動画の記録を停止していたとする。この場合、カード型記録媒体302に撮像データが格納されていないことなり、要求された撮像データを送信できない。したがって、ステップS105からの処理を繰り返す。すなわち、ユーザが、ユーザが動画を記録するまで待機する。そして、ユーザが操作部306を操作して、再び動画記録が開始したら、ステップS106に進む。 When there is a data acquisition request from the communication terminal 5 (YES in step S107), the process proceeds to the next step S109. For example, when the wireless module 309 receives a data acquisition request signal, the imaging apparatus 1 determines whether or not moving image recording is continuing (step S108). When recording of a moving image is not continued (NO in step S108), the process returns to step S105. For example, it is assumed that before a user requests data acquisition from the communication terminal 5, another user touches the REC stop button of the imaging device 1 and stops recording a moving image. In this case, the imaging data is not stored in the card type recording medium 302, and the requested imaging data cannot be transmitted. Therefore, the process from step S105 is repeated. That is, the user waits until the user records a moving image. When the user operates the operation unit 306 to start moving image recording again, the process proceeds to step S106.
動画記録が継続中である場合(ステップS107のYES)、データ転送処理を行う(ステップS109)。すると、撮像装置1が、第3のエンコーダ/デコーダ201cによるエンコードを停止して、第2のエンコーダ/デコーダ201cによるエンコードを開始する。そして、第2のエンコーダ/デコーダ201cによってエンコードされた撮像データを転送用の撮像データとして生成する。 If moving image recording is continuing (YES in step S107), data transfer processing is performed (step S109). Then, the imaging apparatus 1 stops encoding by the third encoder / decoder 201c and starts encoding by the second encoder / decoder 201c. Then, the imaging data encoded by the second encoder / decoder 201c is generated as imaging data for transfer.
データ取得要求時刻から前の撮像データを通信端末5に送信する。なお、撮像装置1が、再生時間分の撮像データを通信端末5に送信する。すなわち、再生時間が10秒の場合、データ取得要求時刻の10秒前からデータ取得要求時刻までに撮像された撮像データを、撮像装置1が送信する。これにより、図6のT4に示すように、撮像装置1が撮像した動画を表示することができるようになる。なお、データ転送処理の詳細については後述する。データ転送処理が完了した後、ユーザが記録を停止させると(ステップS110)、処理を終了する。 The previous imaging data from the data acquisition request time is transmitted to the communication terminal 5. Note that the imaging device 1 transmits imaging data for the reproduction time to the communication terminal 5. That is, when the reproduction time is 10 seconds, the imaging device 1 transmits imaging data captured from 10 seconds before the data acquisition request time to the data acquisition request time. Thereby, as shown in T4 of FIG. 6, the moving image imaged by the imaging device 1 can be displayed. Details of the data transfer process will be described later. After the data transfer process is completed, when the user stops recording (step S110), the process ends.
そして、撮像装置1から送信された撮像データを、通信端末5が受信する。通信端末5のデコーダ制御部901は、第4のエンコーダ/デコーダ601bを動作させて、撮像データをデコードする。液晶モニタ704がデコードされた撮像データに基づいて、動画を表示する。すなわち、液晶モニタ704は、第2の符号化データに基づいて、動画を表示する。 Then, the communication terminal 5 receives the imaging data transmitted from the imaging device 1. The decoder control unit 901 of the communication terminal 5 operates the fourth encoder / decoder 601b to decode the imaging data. The liquid crystal monitor 704 displays a moving image based on the decoded imaging data. That is, the liquid crystal monitor 704 displays a moving image based on the second encoded data.
このようにすることで、ユーザが通信端末5から撮像装置1に対してデータ取得要求を行うことができる。これにより、試合中又は練習中に撮像装置1で取得した動画を、即座に確認することが可能になる。特に通信端末5が撮像装置1よりも大きい表示画面を有する場合、より動画が確認しやすくなり、利便性を向上することができる。さらに、タブレットPCやTVのモニタを用いることで、多人数で同時に動画を確認することができるため、より利便性が向上する。さらに、コートやグランド上の特定の位置で撮像装置1が固定されている場合でも、通信端末5からのデータ取得要求に応じて、撮像装置1が撮像データを通信端末5にする。よって、撮像装置1を移動させなくても、ユーザが任意の場所で撮像データを確認することができる。よって、撮像装置1が引き続き同じ位置での撮像を速やかに行うことができる。例えば、三脚などによって、撮像装置1が固定されている場合に、より利便性を向上することができる。 In this way, the user can make a data acquisition request from the communication terminal 5 to the imaging device 1. This makes it possible to immediately confirm the moving image acquired by the imaging device 1 during a game or practice. In particular, when the communication terminal 5 has a display screen larger than that of the imaging device 1, it is easier to confirm a moving image, and convenience can be improved. Furthermore, by using a tablet PC or a TV monitor, a large number of people can check a moving image at the same time, so that convenience is further improved. Furthermore, even when the imaging device 1 is fixed at a specific position on the court or the ground, the imaging device 1 sets the imaging data to the communication terminal 5 in response to a data acquisition request from the communication terminal 5. Therefore, the user can check the imaging data at an arbitrary place without moving the imaging device 1. Therefore, the imaging apparatus 1 can continue to capture images at the same position quickly. For example, when the imaging device 1 is fixed by a tripod or the like, the convenience can be further improved.
ユーザが通信端末5で動画を確認しながら、データ転送を要求することができる。よそして、データ取得要求時刻から前の撮像データが通信端末5に転送される。よって、ユーザが所望のタイミングの撮像データを通信端末5に表示することができる。また、ユーザが転送タイミングを適切に指定することができるため、より利便性を向上することができる。 The user can request data transfer while checking the moving image on the communication terminal 5. The previous imaging data from the data acquisition request time is transferred to the communication terminal 5. Therefore, it is possible to display imaging data at a desired timing on the communication terminal 5 by the user. In addition, since the user can appropriately specify the transfer timing, the convenience can be further improved.
次に、ステップS109のデータ転送処理について、図7を用いて説明する。図7は、ステップS109のデータ転送処理の詳細を示すフローチャートである。本実施の形態では、撮像装置1側の処理能力などの問題から、第1のエンコーダ/デコーダ201aと第2のエンコーダ/デコーダ201bとが並列にデコード処理をできない場合などを想定している。したがって、第2のエンコーダ/デコーダ201bが転送用の撮像データをデコードする時に、第1のエンコーダ/デコーダ201aがデコードを停止している。 Next, the data transfer process in step S109 will be described with reference to FIG. FIG. 7 is a flowchart showing details of the data transfer process in step S109. In the present embodiment, it is assumed that the first encoder / decoder 201a and the second encoder / decoder 201b cannot perform decoding processing in parallel due to problems such as processing capability on the imaging apparatus 1 side. Therefore, when the second encoder / decoder 201b decodes the imaging data for transfer, the first encoder / decoder 201a stops decoding.
まず、通信端末5から送信されたデータ取得要求を、撮像装置1が受信すると、撮像装置1が録画を停止する(ステップS201)。すなわち、デコーダ制御部401が第1のエンコーダ/デコーダ201aのデコードを停止させて、カード型記録媒体302への記録を停止する。これにより、撮像装置1の動画記録が停止する。そして、撮像装置1が録画モードから再生モードにモード変更する(ステップS202)。 First, when the imaging apparatus 1 receives a data acquisition request transmitted from the communication terminal 5, the imaging apparatus 1 stops recording (step S201). That is, the decoder control unit 401 stops the decoding of the first encoder / decoder 201a and stops the recording on the card type recording medium 302. Thereby, the moving image recording of the imaging device 1 is stopped. Then, the imaging device 1 changes the mode from the recording mode to the reproduction mode (step S202).
次に、撮像装置1のカメラステータスが再生モードになっていることを通信端末5が確認する(ステップS203)。例えば、撮像装置1が接続中の通信端末5に再生モードになったことを示すモード信号を出力する。そして、通信端末5が、撮像装置1にインデックス総数の取得を要求する(ステップS204)。撮像装置1に記録された動画ファイルに含まれるフレーム総数がインデックス総数となる。したがって、撮像装置1は、カード型記録媒体302に格納した動画ファイルのインデックス総数を通信端末5に送信する。通信端末5が最新のインデックス番号を取得する(ステップS205)。すなわち、通信端末5が動画ファイルの最後のフレーム番号を取得する。 Next, the communication terminal 5 confirms that the camera status of the imaging device 1 is in the playback mode (step S203). For example, the mode signal indicating that the playback mode is set is output to the communication terminal 5 to which the imaging device 1 is connected. And the communication terminal 5 requests | requires acquisition of the index total number to the imaging device 1 (step S204). The total number of frames included in the moving image file recorded in the imaging apparatus 1 is the total number of indexes. Therefore, the imaging apparatus 1 transmits the total number of moving image file indexes stored in the card type recording medium 302 to the communication terminal 5. The communication terminal 5 acquires the latest index number (step S205). That is, the communication terminal 5 acquires the last frame number of the moving image file.
この後、通信端末5が、撮像装置1に動画の転送を要求する(ステップS206)。すなわち、通信端末5が転送信号を撮像装置1に送信する。転送信号には、インデックス番号、動画の開始時間、終了時間などが含まれている。例えば、図5のT2におけるデータ取得要求時刻、及び図5のT3で指定した再生時間から、通信制御部902が動画の開始時間、終了時間、インデックス番号を抽出する。具体的には、ユーザが通信端末5によってデータ取得要求を行った時刻に、通信端末5における表示の遅延時間を考慮した時間が、開始時間となる。さらに、開始時間から再生時間経過した時間が、終了時間となる。 Thereafter, the communication terminal 5 requests the imaging device 1 to transfer a moving image (step S206). That is, the communication terminal 5 transmits a transfer signal to the imaging device 1. The transfer signal includes an index number, a moving image start time, an end time, and the like. For example, the communication control unit 902 extracts the start time, end time, and index number of the moving image from the data acquisition request time at T2 in FIG. 5 and the playback time specified at T3 in FIG. Specifically, at the time when the user makes a data acquisition request through the communication terminal 5, the time taking into account the display delay time in the communication terminal 5 is the start time. Furthermore, the time when the playback time has elapsed from the start time is the end time.
そして、撮像装置1は、撮像データの転送の転送要求にしたがって、動画転送の準備を行う(ステップS207)。ここでは、カード型記録媒体302に記録された動画ファイルから、一部の時間を切り出して、転送用の撮像データを作成する。例えば、第1のエンコーダ/デコーダ201aが撮像データをデコードする。そして、第2のエンコーダ/デコーダ201bが開始時間から終了時間までの撮像データを符号化する。これにより、第2の符号化形式で符号化された撮像データが生成される。 Then, the imaging apparatus 1 prepares for moving image transfer in accordance with the transfer request for transfer of imaging data (step S207). Here, a part of the time is cut out from the moving image file recorded on the card-type recording medium 302 to create imaging data for transfer. For example, the first encoder / decoder 201a decodes the imaging data. Then, the second encoder / decoder 201b encodes the imaging data from the start time to the end time. As a result, imaging data encoded in the second encoding format is generated.
例えば、データ取得要求時刻を10時45分20秒とし、通信端末5の表示での遅延時間を10秒とし、再生時間を10秒とする。この場合、10時45分10秒を開始時間とし、10時45分30秒を終了時間とする撮像データが生成される。このように、データ取得要求では、転送される撮像データの再生時間が指定される。そして、第2のエンコーダ/デコーダ201bが、データ取得要求時刻よりも前の再生時間分の撮像データをエンコードする。これにより、指定された再生時間分の動画となる第2の符号化データが生成される。 For example, the data acquisition request time is 10:45:20, the delay time on the display of the communication terminal 5 is 10 seconds, and the reproduction time is 10 seconds. In this case, imaging data having a start time of 10:45:10 and an end time of 10:45:30 is generated. Thus, in the data acquisition request, the reproduction time of the transferred imaging data is specified. Then, the second encoder / decoder 201b encodes the imaging data for the reproduction time before the data acquisition request time. As a result, second encoded data that is a moving image for the designated reproduction time is generated.
なお、第2のエンコーダ/デコーダ201bが動画ファイルの撮像データをトランスコードして、第2の符号化データを生成してもよい。このように、カード型記録媒体302に格納された動画ファイルの一部の撮像データを抽出して、第2のエンコーダ/デコーダ201bが、トランスコードするようにしてもよい。このようにすることで、処理を高速化することができる。 Note that the second encoder / decoder 201b may transcode image data of a moving image file to generate second encoded data. In this manner, a part of the moving image file stored in the card-type recording medium 302 may be extracted, and the second encoder / decoder 201b may transcode. By doing so, the processing can be speeded up.
そして、通信端末5の通信制御部402が、第2の符号化形式で符号化された撮像データを撮像装置1に転送する(ステップS208)。データ転送が完了したら、撮像装置1を撮影モードに変更する。そして、カメラステータスが撮影モードに変更したことを確認して(ステップS210)、録画を開始する(ステップS211)。すなわち、データ転送が完了した段階で、撮像装置1による録画が再開される。このようにすることで、撮像装置1による録画が停止される期間を、テータ転送の期間のみとすることができる。転送終了後に自動的に録画を再開することができるため、録画が停止する期間をより短くすることができる。よって、重要なシーンの録画を逃すことがなくなり、利便性を向上することができる。また、ユーザが要求するタイミングで、撮像データが通信端末5に転送されるため、利便性を向上することができる。 And the communication control part 402 of the communication terminal 5 transfers the imaging data encoded with the 2nd encoding format to the imaging device 1 (step S208). When the data transfer is completed, the imaging device 1 is changed to the shooting mode. Then, it is confirmed that the camera status has been changed to the shooting mode (step S210), and recording is started (step S211). That is, when the data transfer is completed, recording by the imaging device 1 is resumed. By doing in this way, the period during which the recording by the imaging device 1 is stopped can be limited to the data transfer period. Since the recording can be automatically resumed after the transfer is completed, the period during which the recording is stopped can be further shortened. Therefore, it is not possible to miss the recording of important scenes, and convenience can be improved. Further, since the imaging data is transferred to the communication terminal 5 at the timing requested by the user, the convenience can be improved.
さらに、第2の符号化形式では、第1の符号化形式よりもビットレートが低く、かつ第3の符号化方式よりもビットレートが高くなっている。よって、適切なデータサイズの撮像データを転送することができ、十分に速やかな動画を表示することができるとともに、速やかな処理を行うことができる。よって、利便性を向上することができる。また、データ取得要求に応じて、第3のエンコーダ/デコーダ201cがエンコードを停止し、第5のエンコーダ/デコーダがデコード処理を停止している。これにより、速やかに転送処理を行うことができる。 Furthermore, the second encoding format has a lower bit rate than the first encoding format and a higher bit rate than the third encoding scheme. Therefore, imaging data having an appropriate data size can be transferred, a sufficiently quick moving image can be displayed, and prompt processing can be performed. Therefore, convenience can be improved. In response to the data acquisition request, the third encoder / decoder 201c stops encoding, and the fifth encoder / decoder stops decoding. Thereby, the transfer process can be performed promptly.
実施の形態2.
本実施の形態2では、第1のエンコーダ/デコーダ201aと第1のエンコーダ/デコーダ201aとが並列にデコード処理を行っている。すなわち、実施の形態1では、転送用の撮像データをエンコード中では、撮像装置1による録画を停止していたが、本実施の形態では、データ転送用の動画用データのエンコード中でも撮像装置1において録画している。
Embodiment 2. FIG.
In the second embodiment, the first encoder / decoder 201a and the first encoder / decoder 201a perform decoding processing in parallel. That is, in the first embodiment, the recording by the imaging device 1 is stopped while the imaging data for transfer is being encoded. In the present embodiment, the imaging device 1 is in the middle of encoding the moving image data for data transfer. Recording.
図8を用いて、本実施の形態に係る撮像システム10の制御方法について説明する。図8は、本実施の形態にかかる撮像システム10の制御方法の一部を示すフローチャートである。具体的には、図8は、図4で示したステップS109のデータ転送処理を示すフローチャートである。ステップS109の前後の処理は、実施の形態1と同様である。また、撮像システム10の基本的構成及びデータ処理は、実施の形態1と同様であるため、説明を省略する。 A control method of the imaging system 10 according to the present embodiment will be described with reference to FIG. FIG. 8 is a flowchart showing a part of the control method of the imaging system 10 according to the present embodiment. Specifically, FIG. 8 is a flowchart showing the data transfer process of step S109 shown in FIG. The processes before and after step S109 are the same as those in the first embodiment. Further, the basic configuration and data processing of the imaging system 10 are the same as those in the first embodiment, and thus the description thereof is omitted.
まず、通信端末5が撮像装置1に対いて撮像データの転送要求を行う(ステップS301)。ここでは、データ取得要求時刻、及び再生時間を含むデータ取得要求信号を通信端末5が送信する。このとき、第3のエンコーダ/デコーダ201cのエンコードが停止する。 First, the communication terminal 5 requests the imaging device 1 to transfer imaging data (step S301). Here, the communication terminal 5 transmits a data acquisition request signal including the data acquisition request time and the reproduction time. At this time, the encoding of the third encoder / decoder 201c is stopped.
すると、撮像装置1が、転送する撮像データのエンコードを開始する(ステップS302)。ここでは、第1のエンコーダ/デコーダ201aと第2のエンコーダ/デコーダ201bとが並列して、エンコード処理を行う。すなわち、第1のエンコーダ/デコーダ201aが撮像データの記録のために第1の符号化方式でエンコードをしている間に、転送データを生成するために第2のエンコーダ/デコーダ201bが第2の符号化方式でエンコードを行う。デコーダ制御部401が第1のエンコーダ/デコーダ201aと第2のエンコーダ/デコーダ201bとを同時に動作させる。第2のエンコーダ/デコーダ201bは、カード型記録媒体302に格納された動画ファイルをトランスコードして、第2の符号化データを生成してもよい。データ取得要求時刻に、通信端末5における表示の遅延時間を考慮した時間が、開始時間となる。 Then, the imaging apparatus 1 starts encoding of imaging data to be transferred (step S302). Here, the first encoder / decoder 201a and the second encoder / decoder 201b perform the encoding process in parallel. That is, while the first encoder / decoder 201a is encoding with the first encoding method for recording the imaging data, the second encoder / decoder 201b is the second encoder for generating the transfer data. Encoding is performed using an encoding method. The decoder control unit 401 operates the first encoder / decoder 201a and the second encoder / decoder 201b simultaneously. The second encoder / decoder 201b may transcode a moving image file stored in the card type recording medium 302 to generate second encoded data. At the data acquisition request time, the time considering the display delay time in the communication terminal 5 is the start time.
そして、第2の符号化方式における撮像データのエンコードが終了したら、撮像装置1の通信制御部402が撮像データを転送する(ステップS303)。これにより、通信端末5が撮像データを取得する。そして、第4のエンコーダ/デコーダ601bが撮像データをエンコードして、液晶モニタ704が動画を表示する。すなわち、第2の符号化データに基づいて、液晶モニタ704が動画を表示する。なお、第2のエンコーダ/デコーダ201bのエンコードとデータ転送を同時に行ってもよい。 When the encoding of the imaging data in the second encoding method is completed, the communication control unit 402 of the imaging device 1 transfers the imaging data (Step S303). Thereby, the communication terminal 5 acquires imaging data. Then, the fourth encoder / decoder 601b encodes the image data, and the liquid crystal monitor 704 displays a moving image. That is, the liquid crystal monitor 704 displays a moving image based on the second encoded data. Note that the encoding and data transfer of the second encoder / decoder 201b may be performed simultaneously.
このようにすることで、実施の形態1と同様の効果を得ることができる。さらに、第2のエンコーダ/デコーダ201bがエンコードしている期間、及び撮像装置1が撮像データを転送している期間においても、撮像装置1による撮像が中断されない。すなわち、第2のエンコーダ/デコーダ201bに動作に関わらず、第1のエンコーダ/デコーダ201aが、エンコードしている。これにより、データ転送中に記録された撮像データを含む動画ファイルがカード型記録媒体302に記録される。よって、データの転送中であっても、ビットレートの高い撮像データを記録することができ、より利便性を向上することができる。また、第2のエンコーダ/デコーダ201bが第1の符号化データを第2の符号化データにトランスコードしてもよい。こうすることで、より処理を高速化できる。 By doing in this way, the effect similar to Embodiment 1 can be acquired. Further, the imaging by the imaging device 1 is not interrupted even during the period in which the second encoder / decoder 201b is encoding and the period in which the imaging device 1 is transferring the imaging data. That is, the first encoder / decoder 201a encodes regardless of the operation of the second encoder / decoder 201b. Thereby, the moving image file including the imaging data recorded during the data transfer is recorded on the card type recording medium 302. Therefore, even during data transfer, imaging data with a high bit rate can be recorded, and convenience can be further improved. Further, the second encoder / decoder 201b may transcode the first encoded data into the second encoded data. By doing so, the processing can be further speeded up.
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上記の制御方法の処理は、メインプロセッサのROM等に格納されたコンピュータプログラムによって実行可能である。上述の例において、各処理をコンピュータ(プロセッサ)に行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信
号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention. The processing of the above control method can be executed by a computer program stored in the ROM or the like of the main processor. In the above-described example, a program including a group of instructions for causing a computer (processor) to perform each process is stored using various types of non-transitory computer readable media. Can be supplied to. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)) are included. The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
1 撮像装置
100 撮像部
201a 第1のエンコーダ/デコーダ
201b 第2のエンコーダ/デコーダ
201c 第3のエンコーダ/デコーダ
5 通信端末
601b 第4のエンコーダ/デコーダ
601c 第5のエンコーダ/デコーダ
900 中央制御部
10 撮像システム
DESCRIPTION OF SYMBOLS 1 Imaging device 100 Imaging part 201a 1st encoder / decoder 201b 2nd encoder / decoder 201c 3rd encoder / decoder 5 Communication terminal 601b 4th encoder / decoder 601c 5th encoder / decoder 900 Central control part 10 Imaging system
Claims (4)
前記撮像部によって取得された撮像データを第1の符号化方式でエンコードして、第1の符号化データを生成する第1のエンコーダと、
前記第1のエンコーダで生成された前記第1の符号化データを動画ファイルとして記録するメモリと、
前記メモリに格納された前記第1の符号化データを第1の符号化方式よりも低いビットレートの第2の符号化方式でエンコードされた第2の符号化データに変換する第2のエンコーダと、
前記撮像部によって取得された前記撮像データを前記第2の符号化方式よりも低いビットレートの第3の符号化方式でエンコードして、第3の符号化データを生成する第3のエンコーダと、
通信端末に、前記第2の符号化データ、及び第3の符号化データを送信する第1の通信手段と、を備え、
前記通信端末から受け取ったデータ取得要求に応じて、前記第2のエンコーダがエンコードを開始し、
前記第1の通信手段が前記第2の符号化データを前記通信端末に送信する撮像装置。 An imaging unit for acquiring imaging data;
A first encoder that encodes imaging data acquired by the imaging unit using a first encoding method to generate first encoded data;
A memory for recording the first encoded data generated by the first encoder as a moving image file;
A second encoder for converting the first encoded data stored in the memory into second encoded data encoded by a second encoding method having a lower bit rate than the first encoding method; ,
A third encoder that encodes the imaging data acquired by the imaging unit with a third encoding method having a lower bit rate than the second encoding method to generate third encoded data;
A first communication means for transmitting the second encoded data and the third encoded data to a communication terminal;
In response to the data acquisition request received from the communication terminal, the second encoder starts encoding,
An imaging apparatus in which the first communication means transmits the second encoded data to the communication terminal.
前記第2のエンコーダが、前記データ取得要求の時刻よりも前の前記再生時間分のデータをエンコードする請求項1に記載の撮像装置。 In the data acquisition request, the reproduction time of the transferred imaging data is specified,
The imaging apparatus according to claim 1, wherein the second encoder encodes data for the reproduction time before the time of the data acquisition request.
前記撮像部によって取得された撮像データを第1の符号化方式でエンコードして、第1の符号化データを生成する第1のエンコーダと、
前記第1のエンコーダで生成された前記第1の符号化データを動画ファイルとして記録するメモリと、
前記メモリに格納された前記第1の符号化データを第1の符号化方式よりも低いビットレートの第2の符号化方式でエンコードされた第2の符号化データに変換する第2のエンコーダと、
前記撮像部によって取得された前記撮像データを前記第2の符号化方式よりも低いビットレートの第3の符号化方式でエンコードして、第3の符号化データを生成する第3のエンコーダと、
通信端末に、前記第2の符号化データ、及び第3の符号化データを送信する第1の通信手段と、を備え、
前記通信端末から受け取ったデータ取得要求に応じて、前記第2のエンコーダがエンコードを開始し、
前記第1の通信手段が前記第2の符号化データを前記通信端末に送信する撮像装置の制御方法。 An imaging unit for acquiring imaging data;
A first encoder that encodes imaging data acquired by the imaging unit using a first encoding method to generate first encoded data;
A memory for recording the first encoded data generated by the first encoder as a moving image file;
A second encoder for converting the first encoded data stored in the memory into second encoded data encoded by a second encoding method having a lower bit rate than the first encoding method; ,
A third encoder that encodes the imaging data acquired by the imaging unit with a third encoding method having a lower bit rate than the second encoding method to generate third encoded data;
A first communication means for transmitting the second encoded data and the third encoded data to a communication terminal;
In response to the data acquisition request received from the communication terminal, the second encoder starts encoding,
A method for controlling an imaging apparatus, wherein the first communication unit transmits the second encoded data to the communication terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018054097A JP6583457B2 (en) | 2018-03-22 | 2018-03-22 | Imaging apparatus and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018054097A JP6583457B2 (en) | 2018-03-22 | 2018-03-22 | Imaging apparatus and control method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017058789A Division JP6319491B2 (en) | 2017-03-24 | 2017-03-24 | Imaging apparatus and control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018137771A true JP2018137771A (en) | 2018-08-30 |
JP6583457B2 JP6583457B2 (en) | 2019-10-02 |
Family
ID=63367179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018054097A Active JP6583457B2 (en) | 2018-03-22 | 2018-03-22 | Imaging apparatus and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6583457B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114039969A (en) * | 2021-11-05 | 2022-02-11 | 光大科技有限公司 | Data transmission method and device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003158731A (en) * | 2001-11-20 | 2003-05-30 | Hitachi Ltd | Image delivery system, camera terminal, and receiving terminal |
JP2004364258A (en) * | 2003-06-03 | 2004-12-24 | Samsung Electronics Co Ltd | Photographing apparatus with automatically set resolution and method thereof |
JP2005045297A (en) * | 2003-07-22 | 2005-02-17 | Hitachi Ltd | Camera system and camera apparatus |
JP2006005609A (en) * | 2004-06-17 | 2006-01-05 | Hitachi Ltd | Information processing apparatus |
JP2008199677A (en) * | 2008-05-19 | 2008-08-28 | Hitachi Ltd | Video distribution system |
JP2010021774A (en) * | 2008-07-10 | 2010-01-28 | Panasonic Corp | Sound and image recording device |
JP2013093823A (en) * | 2011-10-05 | 2013-05-16 | Sanyo Electric Co Ltd | Electronic camera |
JP2017143554A (en) * | 2017-03-24 | 2017-08-17 | 株式会社Jvcケンウッド | Imaging device and control method |
-
2018
- 2018-03-22 JP JP2018054097A patent/JP6583457B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003158731A (en) * | 2001-11-20 | 2003-05-30 | Hitachi Ltd | Image delivery system, camera terminal, and receiving terminal |
JP2004364258A (en) * | 2003-06-03 | 2004-12-24 | Samsung Electronics Co Ltd | Photographing apparatus with automatically set resolution and method thereof |
JP2005045297A (en) * | 2003-07-22 | 2005-02-17 | Hitachi Ltd | Camera system and camera apparatus |
JP2006005609A (en) * | 2004-06-17 | 2006-01-05 | Hitachi Ltd | Information processing apparatus |
JP2008199677A (en) * | 2008-05-19 | 2008-08-28 | Hitachi Ltd | Video distribution system |
JP2010021774A (en) * | 2008-07-10 | 2010-01-28 | Panasonic Corp | Sound and image recording device |
JP2013093823A (en) * | 2011-10-05 | 2013-05-16 | Sanyo Electric Co Ltd | Electronic camera |
JP2017143554A (en) * | 2017-03-24 | 2017-08-17 | 株式会社Jvcケンウッド | Imaging device and control method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114039969A (en) * | 2021-11-05 | 2022-02-11 | 光大科技有限公司 | Data transmission method and device |
Also Published As
Publication number | Publication date |
---|---|
JP6583457B2 (en) | 2019-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101905648B1 (en) | Apparatus and method for shooting a moving picture of camera device | |
US8045850B2 (en) | Image pickup apparatus, image recording apparatus and image recording method | |
KR101905621B1 (en) | Apparatus and method for transmitting a frame image of camera using a hybrid interleaved data | |
TW201334539A (en) | Portable terminal apparatus and image-taking method thereof and camera apparatus | |
JP2007241756A (en) | Remote control device and system, and method of displaying equipment specific information | |
JP5838852B2 (en) | Imaging system, imaging apparatus, imaging method, and program | |
JP2011015279A (en) | Digital camera and moving image playback method | |
JP2013258510A (en) | Imaging device, and method and program of controlling the same | |
JP6319491B2 (en) | Imaging apparatus and control method | |
JP6583458B2 (en) | Imaging apparatus and control method | |
JP6119447B2 (en) | Imaging system and control method | |
JP6583457B2 (en) | Imaging apparatus and control method | |
JP2006352515A (en) | Video doorphone system | |
KR100810265B1 (en) | Device and method for photographing image in wireless terminal | |
JP2013118518A (en) | Imaging apparatus | |
KR20130094632A (en) | Apparatus and method for processing a continuous shooting mode in camera device | |
US20100129049A1 (en) | Editing apparatus, control method of the editing apparatus, and image pickup apparatus | |
JP5024331B2 (en) | Video camera and information transmission method | |
JP2014183426A (en) | Data processing apparatus, control method, and program | |
JP2013145983A (en) | Imaging system, imaging apparatus, imaging method, and imaging program | |
JP2008199662A (en) | Imaging apparatus, image recorder and image recording method | |
JP5963921B2 (en) | Digital camera and composite image display method of camera | |
JP5654148B2 (en) | Digital camera and composite image display method of digital camera | |
JP5774731B2 (en) | Digital camera and composite image display method of digital camera | |
JP4465655B2 (en) | Video camera and information transmission method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6583457 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |