JP2011171870A - Moving picture imaging apparatus, and program - Google Patents

Moving picture imaging apparatus, and program Download PDF

Info

Publication number
JP2011171870A
JP2011171870A JP2010031992A JP2010031992A JP2011171870A JP 2011171870 A JP2011171870 A JP 2011171870A JP 2010031992 A JP2010031992 A JP 2010031992A JP 2010031992 A JP2010031992 A JP 2010031992A JP 2011171870 A JP2011171870 A JP 2011171870A
Authority
JP
Japan
Prior art keywords
frame
size
moving image
compression
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010031992A
Other languages
Japanese (ja)
Other versions
JP2011171870A5 (en
JP5671808B2 (en
Inventor
Yuji Kuriyama
祐司 栗山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010031992A priority Critical patent/JP5671808B2/en
Publication of JP2011171870A publication Critical patent/JP2011171870A/en
Publication of JP2011171870A5 publication Critical patent/JP2011171870A5/en
Application granted granted Critical
Publication of JP5671808B2 publication Critical patent/JP5671808B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To eliminate the need for index data themselves of a moving picture file and a work area for temporarily recording to make the index data. <P>SOLUTION: Imaging units 2a, 2b image in a 1 frame unit in synchronization following control of a TG3. Encoding units 5a, 5b encode the image data from the imaging units 2a, 2b in 1 frame unit. Dummy addition units 6a, 6b add dummy data to the image data respectively compressed and encoded so as to be a common frame size, and make the all frame composing respective moving picture files to be the same size. File making units 7a, 7b carry out additional recording of the present frame data in an end of the respective moving files, and finally, create the respective moving picture files. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、動画撮像装置、及びプログラムに関する。   The present invention relates to a moving image capturing apparatus and a program.

従来、動画データを撮影記録する場合に、撮影して得られた各フレーム毎、あるいは複数フレーム単位で、画像圧縮処理を施してから動画ファイルとして記録している。この場合、各圧縮単位のデータサイズは、各圧縮単位に含まれる画像の内容に応じて異なるため、例えば、200フレーム目の画像データを動画ファイルから読み込みたいような場合に、この動画ファイル内の200フレーム目の画像データの記憶位置は不定であるため、各フレームの画像データがどの位置に記憶されているのかを示すインデックスデータが必要となる。   Conventionally, when moving image data is shot and recorded, it is recorded as a moving image file after being subjected to image compression processing for each frame obtained by shooting or in units of a plurality of frames. In this case, since the data size of each compression unit differs depending on the content of the image included in each compression unit, for example, when it is desired to read the image data of the 200th frame from the moving image file, Since the storage position of the image data of the frame is indefinite, index data indicating where the image data of each frame is stored is necessary.

動画ファイル自体は、フラッシュメモリカードなどの低速大容量メモリに記憶したままでもよいが、このインデックスデータは、装置内蔵の高速メモリ上に作成(コピー)することで、動画の再生処理や編集処理におけるフレーム位置の特定を素早く行うようにする必要があり、そのような技術も知られている(例えば、特許文献1、2、3参照)。   The video file itself may be stored in a low-speed, large-capacity memory such as a flash memory card, but this index data is created (copied) on the high-speed memory built in the device, so that the video playback process and editing process can be performed. It is necessary to quickly identify the frame position, and such a technique is also known (see, for example, Patent Documents 1, 2, and 3).

また、指定された再生速度に応じて決められたサイズとなるように、各フレームにダミーデータを付加する技術が知られている(例えば、特許文献4参照)。   In addition, a technique is known in which dummy data is added to each frame so as to have a size determined according to a designated playback speed (see, for example, Patent Document 4).

特開2003−189228号公報JP 2003-189228 A 特開2005−086344号公報Japanese Patent Laying-Open No. 2005-086344 特開2005−142725号公報JP 2005-142725 A 特開2001−268513号公報JP 2001-268513 A

しかしながら、上述した従来技術においては、各フレームに素早くアクセスすることは可能であっても、最終的な動画ファイル毎にインデックスデータを作成しなければならず、録画中にワークメモリ上にそれぞれの動画ファイル毎にインデックスデータを作成するための一時記憶領域を必要し、メモリ容量を圧迫するという問題があった。また、複数の撮像系で同期撮影された複数の動画ファイルのそれぞれにインデックスデータを付加しなければならず、動画ファイル自体の容量も大きくなるという問題があった。   However, in the above-described prior art, although it is possible to quickly access each frame, index data must be created for each final moving image file, and each moving image is recorded on the work memory during recording. There is a problem in that a temporary storage area for creating index data for each file is required, which reduces the memory capacity. In addition, index data must be added to each of a plurality of moving image files that are synchronously photographed by a plurality of imaging systems, resulting in a problem that the capacity of the moving image file itself increases.

そこで本発明は、動画ファイルを構成するフレーム画像の位置を特定するためのインデックスデータを作成するための一時記録するワーク領域を不要とすることができ、かつインデックスデータ自体を不要とすることができる動画撮像装置、及びプログラムを提供することを目的とする。   Accordingly, the present invention can eliminate the need for a temporary recording work area for creating index data for specifying the position of the frame image constituting the moving image file, and can eliminate the index data itself. It is an object to provide a moving image capturing apparatus and a program.

上記目的達成のため、請求項1記載の発明は、逐次撮像されるフレーム画像を圧縮しながら動画ファイルに追加して記録する動画撮像装置であって、各フレームに対応してフレーム画像を撮像する撮像手段と、前記撮像手段により動画撮影を開始する前の段階で全てのフレーム画像に共通する共通フレームサイズを設定するフレームサイズ設定手段と、前記撮像手段により撮像されたフレーム画像を圧縮符号化する圧縮符号化手段と、前記圧縮符号化手段により圧縮符号化されたフレーム画像の圧縮サイズが、前記フレームサイズ設定手段により予め設定した共通フレームサイズよりも小さい場合には、該圧縮符号化されたフレーム画像に対してダミーデータを付加し、フレーム画像のサイズを共通化するダミーデータ付加手段と、前記圧縮符号化手段により圧縮符号化されたフレーム画像、または前記ダミーデータ付加手段によりダミーデータが付加されたフレーム画像を逐次記録して動画ファイルを生成するファイル生成手段とを備えることを特徴とする動画撮像装置である。   In order to achieve the above object, a first aspect of the present invention is a moving image pickup apparatus that records a frame image that is sequentially picked up by adding it to a moving image file while compressing the frame image, and picks up a frame image corresponding to each frame. An image pickup means, a frame size setting means for setting a common frame size common to all frame images before starting moving image shooting by the image pickup means, and a frame image picked up by the image pickup means are compressed and encoded. The compression-encoding means and the compression-encoded frame when the compression size of the frame image compression-encoded by the compression-encoding means is smaller than the common frame size preset by the frame size setting means Dummy data adding means for adding dummy data to an image and sharing the size of a frame image; and the compression Moving image imaging, comprising: a file generation unit that sequentially records a frame image compressed and encoded by an encoding unit or a frame image added with dummy data by the dummy data adding unit to generate a moving image file Device.

また、好ましい態様として、例えば請求項2記載のように、請求項1記載の動画撮像装置において、前記撮像手段は、同期して動画撮影を行う複数の撮像手段からなり、前記フレームサイズ設定手段は、前記複数の撮像手段で同期して動画撮影を開始する前の段階で全ての撮像手段に共通する前記共通フレームサイズを設定し、前記ダミーデータ付加手段は、前記複数の撮像手段の各々で撮影されたフレーム画像の圧縮サイズが、前記フレームサイズ設定手段により予め設定した共通フレームサイズよりも小さい場合には、該圧縮符号化されたフレーム画像に対してダミーデータを付加し、前記複数の撮像手段の各々で撮影されたフレーム画像のサイズを共通化することを特徴とする。   Further, as a preferred aspect, for example, as in claim 2, in the moving image capturing apparatus according to claim 1, the image capturing unit includes a plurality of image capturing units that perform moving image capturing synchronously, and the frame size setting unit includes The common frame size common to all the imaging means is set before the start of moving image shooting in synchronization with the plurality of imaging means, and the dummy data adding means is shot with each of the plurality of imaging means. If the compressed size of the frame image is smaller than the common frame size preset by the frame size setting means, dummy data is added to the compression-encoded frame image, and the plurality of imaging means The size of the frame image photographed by each of these is made common.

また、好ましい態様として、例えば請求項3記載のように、請求項1または2に記載の動画撮像装置において、前記撮像手段は、本撮影前に予備撮影を行い、前記フレームサイズ設定手段は、前記撮像手段による予備撮影時に、前記圧縮符号化手段により得られた、各フレーム画像の圧縮サイズに基づいて、本撮影時の共通フレームサイズを設定することを特徴とする。   Further, as a preferable aspect, for example, as in claim 3, in the moving image imaging apparatus according to claim 1 or 2, the imaging unit performs preliminary shooting before main shooting, and the frame size setting unit includes the frame size setting unit, A common frame size at the time of actual photographing is set based on a compression size of each frame image obtained by the compression encoding unit at the time of preliminary photographing by the imaging unit.

また、好ましい態様として、例えば請求項4記載のように、請求項1または2に記載の動画撮像装置において、前記フレームサイズ設定手段は、前記共通フレームサイズとして、どのような撮影シーンにおいても、そのフレームサイズを超えることの無い余裕を持ったサイズに設定することを特徴とする。   Further, as a preferable aspect, for example, as described in claim 4, in the moving image imaging apparatus according to claim 1 or 2, the frame size setting unit is configured to use the common frame size as any common scene. It is characterized in that the size is set with a margin that does not exceed the frame size.

また、好ましい態様として、例えば請求項5記載のように、請求項1ないし4のいずれかに記載の動画撮像装置において、前記フレームサイズ設定手段は、撮影中の各フレーム画像の圧縮サイズが、予め設定した共通フレームサイズを超えた場合には、前記ファイル生成手段による動画ファイルの記録完了後に、共通フレームサイズを超えたフレーム画像の圧縮サイズに基づいて、共通フレームサイズを変更し、前記ダミーデータ付加手段は、前記フレームサイズ設定手段により変更された共通フレームサイズに基づいて、前記圧縮符号化されたフレーム画像に対して付加されたダミーデータのサイズを調整することを特徴とする。   Further, as a preferred aspect, for example, as in claim 5, in the moving image pickup apparatus according to any one of claims 1 to 4, the frame size setting means is configured such that the compression size of each frame image being shot is set in advance. When the set common frame size is exceeded, after the recording of the moving image file by the file generating means is completed, the common frame size is changed based on the compressed size of the frame image exceeding the common frame size, and the dummy data is added. The means adjusts the size of the dummy data added to the compression-encoded frame image based on the common frame size changed by the frame size setting means.

また、好ましい態様として、例えば請求項6記載のように、請求項1ないし4のいずれかに記載の動画撮像装置において、前記圧縮符号化手段は、撮影中の各フレーム画像の圧縮サイズが、予め設定した共通フレームサイズを超えた場合には、前記ファイル生成手段による動画ファイルの記録完了後に、圧縮率を上げてフレーム画像の圧縮処理を再度実行することを特徴とする。   Further, as a preferred aspect, for example, as in claim 6, in the moving image pickup apparatus according to any one of claims 1 to 4, the compression encoding means is configured such that the compression size of each frame image being shot is set in advance. If the set common frame size is exceeded, after the recording of the moving image file by the file generation means is completed, the compression processing of the frame image is executed again by increasing the compression rate.

また、好ましい態様として、例えば請求項7記載のように、請求項2ないし6のいずれかに記載の動画撮像装置において、前記複数の撮像手段は、当該動画撮像装置内に設けられ、同期して動画撮影を行うことを特徴とする。   Further, as a preferable aspect, for example, as in claim 7, in the moving image pickup apparatus according to any one of claims 2 to 6, the plurality of image pickup units are provided in the moving image pickup apparatus and are synchronized with each other. It is characterized by performing video shooting.

また、好ましい態様として、例えば請求項8記載のように、請求項1ないし6のいずれかに記載の動画撮像装置において、動作を同期させるためのタイミング情報を他の動画撮像装置と送受信する通信手段と、前記通信手段により他の動画撮像装置と送受信されるタイミング情報に基づいて、前記撮像手段、前記圧縮符号化手段、前記ダミーデータ付加手段、及び前記ファイル生成手段を、前記他の動画撮像装置と同期させて動作させる同期制御手段とを更に備えることを特徴とする。   Further, as a preferred aspect, for example, as in claim 8, in the moving image pickup apparatus according to any one of claims 1 to 6, communication means for transmitting and receiving timing information for synchronizing operations with other moving image pickup apparatuses And the imaging means, the compression encoding means, the dummy data adding means, and the file generating means based on the timing information transmitted / received to / from the other moving picture imaging apparatus by the communication means, And synchronization control means for operating in synchronization with the control unit.

また、好ましい態様として、例えば請求項9記載のように、請求項8に記載の動画撮像装置において、前記フレームサイズ設定手段は、各動画撮像装置が動画撮影の開始前にフレームサイズ情報を送受信することで共通フレームサイズを設定することを特徴とする。   As a preferred mode, for example, as described in claim 9, in the moving image capturing apparatus according to claim 8, the frame size setting unit transmits and receives frame size information before each moving image capturing apparatus starts moving image capturing. Thus, the common frame size is set.

また、好ましい態様として、例えば請求項10記載のように、請求項1ないし9のいずれかに記載の動画撮像装置において、前記ダミーデータ付加手段は、前記圧縮符号化手段により圧縮符号化された複数のフレーム画像を、グループ化して圧縮を行う場合に、各圧縮グループ毎にグループサイズを共通化するようにダミーデータを付加することを特徴とする。   Further, as a preferred aspect, for example, as in claim 10, in the moving image pickup apparatus according to any one of claims 1 to 9, the dummy data adding means includes a plurality of data encoded by the compression encoding means. When the frame images are grouped and compressed, dummy data is added so as to share the group size for each compression group.

また、上記目的達成のため、請求項11記載の発明は、逐次撮像されるフレーム画像を圧縮しながら動画ファイルに追加して記録する動画撮像装置を制御するコンピュータに、撮像手段により撮像されるフレーム画像を取り込む撮像機能、動画撮影を開始する前の段階で全てのフレーム画像に共通する共通フレームサイズを設定するフレームサイズ設定機能、前記撮像機能により取り込まれたフレーム画像を圧縮符号化する圧縮符号化機能、前記圧縮符号化されたフレーム画像の圧縮サイズが、前記共通フレームサイズよりも小さい場合には、該圧縮符号化されたフレーム画像に対してダミーデータを付加し、フレーム画像のサイズを共通化するダミーデータ付加機能、前記圧縮符号化されたフレーム画像、または前記ダミーデータが付加されたフレーム画像を逐次記録して動画ファイルを生成するファイル生成機能を実現することを特徴とするプログラムである。   In order to achieve the above object, the invention described in claim 11 is a method in which a frame that is captured by an imaging unit is recorded in a computer that controls a moving image capturing apparatus that records a frame image that is sequentially captured while compressing the frame image. An image capturing function for capturing images, a frame size setting function for setting a common frame size common to all frame images before starting moving image capturing, and a compression encoding for compressing and encoding the frame images captured by the image capturing function Function, if the compression size of the compression-encoded frame image is smaller than the common frame size, dummy data is added to the compression-encoded frame image, and the size of the frame image is made common Dummy data addition function, the compressed and encoded frame image, or the dummy data is added. Frame images sequentially recorded and a is a program characterized by implementing the file generation function of generating a moving image file.

この発明によれば、動画ファイルを構成するフレーム画像の位置を特定するためのインデックスデータを作成するための一時記録するワーク領域を不要とすることができ、かつインデックスデータ自体を不要とすることができるという利点が得られる。   According to the present invention, a work area for temporarily recording for creating index data for specifying the position of a frame image constituting a moving image file can be made unnecessary, and the index data itself can be made unnecessary. The advantage that it can be obtained.

本発明の第1実施形態による動画撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the moving image imaging device by 1st Embodiment of this invention. 本第1実施形態による動画撮像装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the moving image imaging device by this 1st Embodiment. 本第1実施形態による動画撮像装置で生成される動画ファイルのフレーム構成を示す概念図である。It is a conceptual diagram which shows the frame structure of the moving image file produced | generated with the moving image imaging device by this 1st Embodiment. 本第2実施形態による動作撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the operation | movement imaging device by this 2nd Embodiment. 本第2実施形態による動画撮像装置(第1の動画撮像装置1a、または第2の動画撮像装置1b)の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the moving image imaging device (1st moving image imaging device 1a or 2nd moving image imaging device 1b) by this 2nd Embodiment. 本第2実施形態による動画撮像装置の再生処理の動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement of the reproduction | regeneration processing of the moving image imaging device by this 2nd Embodiment. 本発明の変形例として、GOP(Group Of Pictures)単位で圧縮処理を施す場合の動画ファイルのフレームデータ構成を示す概念図である。As a modification of the present invention, it is a conceptual diagram showing a frame data structure of a moving image file when compression processing is performed in units of GOP (Group Of Pictures).

以下、本発明の実施の形態を、図面を参照して説明する。
本発明は、多視点カメラ(監視カメラなど)、3D撮像カメラなどに適用可能な動画撮像装置に関し、複数の撮像系で同期撮影した映像から、それぞれの動画ファイルを作成し、再生時には、それぞれの動画ファイルをフレーム同期させて再生するものである。なお、以下では、動画撮像装置1には、2系統の撮像系について説明しているが、これに限らず、1系統でも、それ以上の複数の撮像系であってよい。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
The present invention relates to a moving image imaging apparatus applicable to a multi-viewpoint camera (such as a surveillance camera) or a 3D imaging camera. The video file is played back in frame synchronization. In the following, the moving image pickup apparatus 1 has been described with respect to two image pickup systems. However, the present invention is not limited to this, and there may be one or more image pickup systems.

A.第1実施形態
A−1.第1実施形態の構成
図1は、本発明の第1実施形態による動画撮像装置の構成を示すブロック図である。なお、図示する構成は、本発明に係る主要構成のみを示しており、その他のメモリや、キー入力部、表示部等については省略している。図において、動画撮像装置1は、撮像部2a、2b、TG(タイミングジェネレータ)3、CPU4、及び記録媒体8を備えている。撮像部2a、2bは、TG3の制御に従って、同期して1フレーム単位で撮像する。TG3は、CPU4の制御に従って、撮像部2a、2bを同期駆動する。
A. First embodiment A-1. Configuration of First Embodiment FIG. 1 is a block diagram showing a configuration of a moving image capturing apparatus according to a first embodiment of the present invention. The illustrated configuration shows only the main configuration according to the present invention, and other memories, a key input unit, a display unit, and the like are omitted. In the figure, a moving image imaging apparatus 1 includes imaging units 2a and 2b, a TG (timing generator) 3, a CPU 4, and a recording medium 8. The imaging units 2a and 2b capture images in units of one frame in synchronization according to the control of TG3. The TG 3 drives the imaging units 2a and 2b synchronously according to the control of the CPU 4.

CPU4は、所定のプログラムに従って動作する。特に、本第1実施形態では、CPU4は、エンコード部5a、5b、ダミー付加部6a、6b、ファイル化部7a、7bの処理を実現する。エンコード部5aは、一方の撮像系である撮像部2aからの画像データを1フレーム単位でエンコード(符号化)し、ダミー付加部6aに供給する。ダミー付加部6aは、予め設定(または指定)されている共通フレームサイズになるよう、符号化された画像データにダミーデータを付加し、動画ファイルを構成する全てのフレームを同一サイズとする。ファイル化部7aは、動画ファイルの末尾に、現在のフレームデータを追加記録し、最終的に、生成された動画ファイルにグループとそれぞれの撮像系を識別するファイル名とフレームサイズデータとを付けて保存し、動画ファイルを生成する。   The CPU 4 operates according to a predetermined program. In particular, in the first embodiment, the CPU 4 realizes the processes of the encoding units 5a and 5b, the dummy adding units 6a and 6b, and the filing units 7a and 7b. The encoding unit 5a encodes (encodes) the image data from the imaging unit 2a, which is one imaging system, in units of one frame, and supplies the encoded data to the dummy adding unit 6a. The dummy adding unit 6a adds dummy data to the encoded image data so as to have a common frame size set (or specified) in advance, and sets all frames constituting the moving image file to the same size. The file forming unit 7a additionally records the current frame data at the end of the moving image file, and finally adds a file name and frame size data for identifying the group and each imaging system to the generated moving image file. Save and generate a video file.

エンコード部5bは、他方の撮像系である撮像部2bからの画像データを1フレーム単位でエンコード(符号化)し、ダミー付加部6bに供給する。ダミー付加部6bは、予め設定(または予め指定)されている共通フレームサイズになるよう、符号化された画像データにダミーデータを付加し、動画ファイルを構成する全てのフレームを同一サイズとする。ファイル化部7bは、動画ファイルの末尾に、現在のフレームデータを追加記録し、最終的に、生成された動画ファイルにグループとそれぞれの撮像系を識別するファイル名とフレームサイズデータとを付けて保存し、動画ファイルを生成する。   The encoding unit 5b encodes (encodes) the image data from the imaging unit 2b, which is the other imaging system, in units of one frame, and supplies the encoded data to the dummy adding unit 6b. The dummy adding unit 6b adds dummy data to the encoded image data so as to have a common frame size set (or specified in advance), and sets all frames constituting the moving image file to the same size. The file forming unit 7b additionally records the current frame data at the end of the moving image file, and finally adds a file name and frame size data for identifying the group and each imaging system to the generated moving image file. Save and generate a video file.

一方の撮像系(例えば、符号の添え字に「a」を付けた側)と他方の撮像系(例えば、符号の添え字に「b」を付けた側)とでは、それぞれの撮像系で全てのフレームサイズが同一サイズであるとともに、双方のフレームサイズも同一サイズである。なお、同一サイズとは、予め設定(または指定)された共通フレームサイズのことである。   One imaging system (for example, the side with “a” added to the subscript) and the other imaging system (for example, the side added “b” to the subscript) Are the same size, and both frame sizes are also the same size. The same size is a common frame size set (or designated) in advance.

したがって、各フレームの間隔は、ファイル先頭から末尾まで全て同一であるので、フレーム番号とフレームサイズとが分かれば、どのフレームであっても一意にその位置を特定することができる。このため、フレーム位置を特定するためのインデックスデータが不要となる。なお、ダミーデータは、フレームデータのデコードなど、再生処理に影響しないデータとする。   Therefore, since the intervals between the frames are all the same from the beginning to the end of the file, if the frame number and the frame size are known, the position of each frame can be uniquely specified. This eliminates the need for index data for specifying the frame position. The dummy data is data that does not affect the reproduction process such as decoding of frame data.

A−2.第1実施形態の動作
次に、上述した第1実施形態の動作について説明する。
図2は、本第1実施形態による動画撮像装置の動作を説明するためのフローチャートである。また、図3は、本第1実施形態による動画撮像装置で生成される動画ファイルのフレーム構成を示す概念図である。
A-2. Operation of First Embodiment Next, the operation of the first embodiment described above will be described.
FIG. 2 is a flowchart for explaining the operation of the moving image capturing apparatus according to the first embodiment. FIG. 3 is a conceptual diagram showing a frame configuration of a moving image file generated by the moving image capturing apparatus according to the first embodiment.

まず、CPU4は、撮像タイミングか否かを判断し(ステップS10)、撮像タイミングになると、撮像部2a、2bの双方で撮像を行って、それぞれから1フレーム分の画像データを取得する(ステップS12)。次に、取得した双方の画像データを、エンコード部5a、5bで圧縮符号化し(ステップS14)、双方のフレームサイズが共通フレームサイズであるか否かを判断する(ステップS16)。   First, the CPU 4 determines whether or not it is an imaging timing (step S10). When the imaging timing is reached, both the imaging units 2a and 2b perform imaging and acquire image data for one frame from each (step S12). ). Next, both the acquired image data are compression-encoded by the encoding units 5a and 5b (step S14), and it is determined whether or not both frame sizes are a common frame size (step S16).

この共通フレームサイズは、どのようなフレーム画像を圧縮符号化した場合でも、そのサイズを超えることのないような余裕をもったサイズであり、圧縮符号化の方式や圧縮率などに応じて予め決められたサイズである。   This common frame size has a margin that does not exceed the size of any frame image that is compression-encoded, and is determined in advance according to the compression encoding method, compression rate, etc. Size.

そして、双方のフレームサイズが共通フレームサイズである場合には、ダミーデータを付加することなく、次のステップS24に進む。   If both frame sizes are common, the process proceeds to the next step S24 without adding dummy data.

一方、双方のフレームサイズが共通フレームサイズでない場合には、双方の撮像系のフレームサイズが共通サイズより小さいか否かを判断する(ステップS18)。そして、双方の撮像系のフレームサイズが共通サイズより小さい場合には、双方の撮像系のフレームにダミーデータを付加し、共通フレームサイズにする(ステップS20)。   On the other hand, if both frame sizes are not the common frame size, it is determined whether or not the frame sizes of both imaging systems are smaller than the common size (step S18). If the frame sizes of both imaging systems are smaller than the common size, dummy data is added to the frames of both imaging systems to make a common frame size (step S20).

また、双方のフレームサイズが共通フレームサイズより小さくない場合(ステップS18のNO)には、どちらか一方の撮像系のフレームサイズが共通フレームサイズより小さということであるので、小さい方の撮像系のフレームにダミーデータを付加し、共通フレームサイズにする(ステップS22)。   If both frame sizes are not smaller than the common frame size (NO in step S18), it means that the frame size of one of the imaging systems is smaller than the common frame size. Dummy data is added to the frame to make a common frame size (step S22).

何れの場合も、あるいは、双方のフレームサイズが共通フレームサイズである場合にも(ステップS16のYES)、記録媒体8に記憶されている、双方の撮像系に対応する動画ファイルの末尾に、現在のフレームデータを追加記録する(ステップS24)。   In either case or when both frame sizes are the same frame size (YES in step S16), the current video file stored in the recording medium 8 and corresponding to both imaging systems is displayed at the end. Are additionally recorded (step S24).

次に、動画撮像を継続するか否か、すなわち、動画撮像が停止されたか否かを判断し、継続する場合には、ステップS10に戻り、上述した処理を繰り返す。一方、継続しない場合には、生成された双方の動画ファイルに対して、同期した撮影を行ったグループであることを示し(例えば、「温泉旅行」)、かつ、それぞれの撮像系を識別する(例えば、「カメラ1」、「カメラ2」)ことができるようなファイル名を付加し(例えば、「温泉旅行カメラ1」、「温泉旅行カメラ2」)、更に、共通フレームサイズの情報を各ファイルの属性情報として関連付けて保存する(ステップS28)。なお、フレームサイズデータは、各フレームの位置を特定するためのインデックスデータに比べ、非常に小さなサイズのデータである。   Next, it is determined whether or not the moving image capturing is continued, that is, whether or not the moving image capturing is stopped. If the moving image capturing is continued, the process returns to step S10 and the above-described processing is repeated. On the other hand, in the case where it does not continue, it indicates that it is a group that has performed synchronized shooting for both of the generated moving image files (for example, “hot spring trip”) and identifies each imaging system ( For example, “camera 1”, “camera 2”) can be added (for example, “hot spring travel camera 1”, “hot spring travel camera 2”), and information on the common frame size can be added to each file. The attribute information is stored in association with each other (step S28). Note that the frame size data is data of a very small size compared to the index data for specifying the position of each frame.

この結果、例えば、図3に示すように、左側に示す、撮像部2a、エンコード部5a、ダミー付加部6a、ファイル化部7a側の撮像系で生成された動画ファイルA、右側に示す、撮像部2b、エンコード部5b、ダミー付加部6b、ファイル化部7b側の撮像系で生成された動画ファイルBが生成される。   As a result, for example, as shown in FIG. 3, the moving image file A generated by the imaging system on the imaging unit 2a, the encoding unit 5a, the dummy adding unit 6a, and the filing unit 7a shown on the left side, and the imaging shown on the right side The moving image file B generated by the imaging system on the side of the unit 2b, the encoding unit 5b, the dummy adding unit 6b, and the filing unit 7b is generated.

どちらの動画ファイルA、Bにおいても、それぞれの撮像系で、フレーム[1]〜[n]には、ダミーデータ[1]〜[n]が付加されており、全てのフレーム[1]〜[n]のサイズが同一サイズになっている。各フレームの間隔は、ファイル先頭から末尾まで全て同一であるので、フレーム位置を特定するためのインデックスデータがなくても、フレーム番号とフレームサイズとが分かれば、どのフレームであっても一意にその位置を特定することができる。   In both moving image files A and B, in each imaging system, dummy data [1] to [n] are added to the frames [1] to [n], and all the frames [1] to [n] are added. n] are the same size. Since the interval between each frame is the same from the beginning to the end of the file, even if there is no index data for specifying the frame position, any frame can be uniquely identified as long as the frame number and frame size are known. The position can be specified.

本第1実施形態によれば、あるフレーム番号のフレームのファイル先頭からの位置がフレームサイズで一意に決定することができるため、録画処理において、インデックスデータを作成する必要がなくなり、該インデックスデータを作成するための一時記録するワーク領域を不要とすることができる。この結果、録画処理において、メモリを効率的に使用することが可能となる。   According to the first embodiment, since the position from the top of the file of a frame with a certain frame number can be uniquely determined by the frame size, there is no need to create index data in the recording process, and the index data A work area for temporary recording for creation can be eliminated. As a result, the memory can be used efficiently in the recording process.

B.第2実施形態
次に、本発明の第2実施形態について説明する。
上述した第1実施形態では、1つの動画撮像装置に2つの撮像系を備えていた。これに対して、本第2実施形態は、複数の動画撮像装置を用い、これらを同期させて動作させることで動画ファイルを生成する。なお、以下の説明では、2つの動画撮像装置を用いた場合について説明する。
B. Second Embodiment Next, a second embodiment of the present invention will be described.
In the first embodiment described above, one moving image imaging apparatus includes two imaging systems. In contrast, the second embodiment uses a plurality of moving image capturing apparatuses and generates a moving image file by operating them in synchronization. In the following description, a case where two moving image capturing apparatuses are used will be described.

B−1.第2実施形態の構成
図4は、本第2実施形態による動作撮像装置の構成を示すブロック図である。なお、図示する構成は、本発明に係る主要構成のみを示しており、その他のメモリや、キー入力部、表示部等については省略している。本第2実施形態では、上述したように、第1の動画撮像装置1aと第2の動画撮像装置1bとを用いる。第1の動画撮像装置1aは、撮像部2a、TG(タイミングジェネレータ)3a、CPU4a、記録媒体8a、及び通信部9aを備えている。撮像部2aは、TG3aの制御に従って1フレーム単位で撮像する。TG3aは、CPU4aの制御に従って、撮像部2aを駆動する。
B-1. Configuration of Second Embodiment FIG. 4 is a block diagram showing the configuration of the motion imaging apparatus according to the second embodiment. The illustrated configuration shows only the main configuration according to the present invention, and other memories, a key input unit, a display unit, and the like are omitted. In the second embodiment, as described above, the first moving image imaging device 1a and the second moving image imaging device 1b are used. The first moving image imaging apparatus 1a includes an imaging unit 2a, a TG (timing generator) 3a, a CPU 4a, a recording medium 8a, and a communication unit 9a. The imaging unit 2a captures images in units of frames according to the control of the TG 3a. The TG 3a drives the imaging unit 2a according to the control of the CPU 4a.

CPU4aは、所定のプログラムに従って動作する。特に、本第2実施形態では、CPU4aは、エンコード部5a、ダミー付加部6a、ファイル化部7aの処理を実現する。エンコード部5aは、本撮像系である撮像部2aからの画像データを1フレーム単位でエンコード(符号化)し、ダミー付加部6aに供給する。   The CPU 4a operates according to a predetermined program. In particular, in the second embodiment, the CPU 4a realizes the processing of the encoding unit 5a, the dummy adding unit 6a, and the filing unit 7a. The encoding unit 5a encodes (encodes) the image data from the imaging unit 2a, which is the main imaging system, in units of one frame, and supplies the encoded data to the dummy adding unit 6a.

ダミー付加部6aは、予め設定(または予め指定)されている共通フレームサイズになるよう、符号化された画像データにダミーデータを付加し、動画ファイルを構成する全てのフレームを同一サイズとする。ファイル化部7aは、動画ファイルの末尾に、現在のフレームデータを追加記録し、最終的に、生成された動画ファイルにグループとそれぞれの撮像系を識別するファイル名とフレームサイズデータとを付けて保存し、動画ファイルを生成する。   The dummy adding unit 6a adds dummy data to the encoded image data so as to have a common frame size that is set (or specified in advance) so that all the frames constituting the moving image file have the same size. The file forming unit 7a additionally records the current frame data at the end of the moving image file, and finally adds a file name and frame size data for identifying the group and each imaging system to the generated moving image file. Save and generate a video file.

記録媒体8aは、上記ファイル化部7aで生成される動画ファイルを逐次記憶する。通信部9aは、他方の動画撮像装置1bと同期して動作するように、互いに同期信号を送受信する。つまり、CPU4aは、通信部9aにより受信される同期信号に従って、TG3aを制御して撮像部2aによる撮像動作と、動画撮像装置1b側の撮像動作とを同期させるようになっている。なお、通信部9aによる通信は、有線、無線(電波、光通信など)のいずれでもよい。   The recording medium 8a sequentially stores the moving image file generated by the filing unit 7a. The communication unit 9a transmits / receives a synchronization signal to / from each other so as to operate in synchronization with the other moving image capturing apparatus 1b. That is, the CPU 4a controls the TG 3a according to the synchronization signal received by the communication unit 9a to synchronize the imaging operation by the imaging unit 2a and the imaging operation on the moving image imaging device 1b side. The communication by the communication unit 9a may be either wired or wireless (radio wave, optical communication, etc.).

第2の動画撮像装置1bは、撮像部2b、TG(タイミングジェネレータ)3b、CPU4b、記録媒体8b、及び通信部9bを備えている。撮像部2bは、TG3bの制御に従って1フレーム単位で撮像する。TG3bは、CPU4bの制御に従って、撮像部2bを駆動する。   The second moving image imaging apparatus 1b includes an imaging unit 2b, a TG (timing generator) 3b, a CPU 4b, a recording medium 8b, and a communication unit 9b. The imaging unit 2b captures images in units of frames according to the control of the TG 3b. The TG 3b drives the imaging unit 2b according to the control of the CPU 4b.

CPU4bは、所定のプログラムに従って動作する。特に、本第2実施形態では、CPU4bは、上述した第1の動画撮像装置1aと同様に、エンコード部5b、ダミー付加部6b、ファイル化部7bの処理を実現する。エンコード部5bは、本撮像系である撮像部2bからの画像データを1フレーム単位でエンコード(符号化)し、ダミー付加部6bに供給する。   The CPU 4b operates according to a predetermined program. In particular, in the second embodiment, the CPU 4b realizes the processing of the encoding unit 5b, the dummy adding unit 6b, and the file forming unit 7b, as in the first moving image imaging apparatus 1a described above. The encoding unit 5b encodes (encodes) the image data from the imaging unit 2b, which is the main imaging system, in units of one frame, and supplies the encoded data to the dummy adding unit 6b.

ダミー付加部6bは、予め設定(または予め指定)されている共通フレームサイズになるよう、符号化された画像データにダミーデータを付加し、動画ファイルを構成する全てのフレームを同一サイズとする。ファイル化部7bは、動画ファイルの末尾に、現在のフレームデータを追加記録し、最終的に、生成された動画ファイルにグループとそれぞれの撮像系を識別するファイル名とフレームサイズデータとを付けて保存し、動画ファイルを生成する。   The dummy adding unit 6b adds dummy data to the encoded image data so as to have a common frame size set (or specified in advance), and sets all frames constituting the moving image file to the same size. The file forming unit 7b additionally records the current frame data at the end of the moving image file, and finally adds a file name and frame size data for identifying the group and each imaging system to the generated moving image file. Save and generate a video file.

記録媒体8bは、上記ファイル化部7bで生成される動画ファイルを逐次記憶する。通信部9bは、動画撮像装置1aと同期して動作するように、互いに同期信号を送受信する。つまり、CPU4bは、通信部9bにより受信される同期信号に従って、TG3bを制御して撮像部2bによる撮像動作と、動画撮像装置1a側の撮像動作とを同期させるようになっている。なお、通信部9bによる通信は、有線、無線(電波、光通信など)のいずれでもよい。   The recording medium 8b sequentially stores the moving image file generated by the filing unit 7b. The communication unit 9b transmits and receives a synchronization signal to and from each other so as to operate in synchronization with the moving image capturing apparatus 1a. That is, the CPU 4b controls the TG 3b according to the synchronization signal received by the communication unit 9b to synchronize the imaging operation by the imaging unit 2b and the imaging operation on the moving image imaging apparatus 1a side. Note that the communication by the communication unit 9b may be either wired or wireless (radio wave, optical communication, etc.).

本第2実施形態においても、上述した第1実施形態と同様に、第1の動画撮像装置1aと第2の動画撮像装置1bとでは、それぞれの撮像系で全てのフレームサイズが同一サイズであるとともに、双方のフレームサイズも同一サイズである。なお、同一サイズとは、共通フレームサイズのことである。   Also in the second embodiment, as in the first embodiment described above, in the first moving image imaging apparatus 1a and the second moving image imaging apparatus 1b, all the frame sizes are the same in each imaging system. In addition, both frame sizes are the same size. The same size is a common frame size.

したがって、各フレームの間隔は、ファイル先頭から末尾まで全て同一であるので、フレーム番号とフレームサイズとが分かれば、どのフレームであっても一意にその位置を特定することができる。このため、フレーム位置を特定するためのインデックスデータが不要となる。なお、ダミーデータは、フレームデータのデコードなど、再生処理に影響しないデータとする。   Therefore, since the intervals between the frames are all the same from the beginning to the end of the file, if the frame number and the frame size are known, the position of each frame can be uniquely specified. This eliminates the need for index data for specifying the frame position. The dummy data is data that does not affect the reproduction process such as decoding of frame data.

B−2.第2実施形態の動作
次に、上述した第2実施形態の動作について説明する。
図5は、本第2実施形態による動画撮像装置(第1の動画撮像装置1a、または第2の動画撮像装置1b)の動作を説明するためのフローチャートである。図5に示すフローチャートは、第1の動画撮像装置1a、または第2の動画撮像装置1bのいずれか一方での動作を説明している。すなわち、第1の動画撮像装置1a、及び第2の動画撮像装置1bの双方で、図5に示すフローチャートが実行される。以下の説明では、第1の動画撮像装置1aでの動作として説明する。
B-2. Operation of the Second Embodiment Next, the operation of the second embodiment described above will be described.
FIG. 5 is a flowchart for explaining the operation of the moving image capturing apparatus (first moving image capturing apparatus 1a or second moving image capturing apparatus 1b) according to the second embodiment. The flowchart shown in FIG. 5 describes the operation of either the first moving image capturing apparatus 1a or the second moving image capturing apparatus 1b. That is, the flowchart shown in FIG. 5 is executed by both the first moving image capturing apparatus 1a and the second moving image capturing apparatus 1b. In the following description, the operation in the first moving image imaging apparatus 1a will be described.

まず、フレームサイズを決める共通フレームサイズを設定する(ステップS40)。共通フレームサイズは、ユーザにより指定してもよいし、第1実施形態同様の予め設定されている値を用いてもよい。また、第1の動画撮像装置1aと第2の動画撮像装置1bとで同じ値にしておく必要がある。これは、ユーザにより目視確認としてもよいが、互いにフレームサイズ情報を送受信して共通フレームサイズが同じ値であるか判断し、どちらか一方(ユーザ指定側)に合わせるようにしてもよい。   First, a common frame size that determines the frame size is set (step S40). The common frame size may be specified by the user, or a preset value similar to the first embodiment may be used. Moreover, it is necessary to make it the same value with the 1st moving image imaging device 1a and the 2nd moving image imaging device 1b. This may be confirmed visually by the user, but it may be possible to determine whether the common frame size is the same value by transmitting and receiving frame size information to each other and to match either one (user specified side).

次に、CPU4aでは、第2の動画撮影装置1bと同期した撮像タイミングが到来したか否かを判断し(ステップS42)、撮像タイミングになると、撮像部2aで撮像を行って、1フレーム分の画像データを取得する(ステップS44)。次に、取得した画像データを、エンコード部5aで圧縮符号化し(ステップS46)、フレームサイズが共通フレームサイズより小さいか否かを判断する(ステップS48)。   Next, the CPU 4a determines whether or not the image capturing timing synchronized with the second moving image capturing apparatus 1b has arrived (step S42). When the image capturing timing is reached, the image capturing unit 2a captures an image and captures one frame. Image data is acquired (step S44). Next, the acquired image data is compressed and encoded by the encoding unit 5a (step S46), and it is determined whether or not the frame size is smaller than the common frame size (step S48).

そして、フレームサイズが共通フレームサイズより小さい場合には、本撮像系のフレームにダミーデータを付加して共通フレームサイズにする(ステップS50)。そして、この共通フレームサイズにした現在のフレームデータを、記録媒体8aに記憶されている本撮像系に対応する動画ファイルの末尾に追加記録する(ステップS52)。   If the frame size is smaller than the common frame size, dummy data is added to the frame of the imaging system to make the common frame size (step S50). Then, the current frame data having the common frame size is additionally recorded at the end of the moving image file corresponding to the main imaging system stored in the recording medium 8a (step S52).

一方、フレームサイズが共通フレームサイズより小さくない場合、すなわち共通フレームサイズである場合には、ダミーデータを付加することなく、ステップS52で、記録媒体8aに記憶されている、本撮像系に対応する動画ファイルの末尾に、現在のフレームデータを追加記録する。   On the other hand, if the frame size is not smaller than the common frame size, that is, if it is the common frame size, it corresponds to the main imaging system stored in the recording medium 8a in step S52 without adding dummy data. The current frame data is additionally recorded at the end of the movie file.

次に、動画撮像を継続するか否か、すなわち、動画撮像が停止されたか否かを判断し、継続する場合には、ステップS42に戻り、上述した処理を繰り返す。一方、継続しない場合には、生成された動画ファイルに対して、同期した撮影を行ったグループであることを示し(例えば、「温泉旅行」)、かつ、それぞれの撮像系を識別する(例えば、「カメラ1」、「カメラ2」)ことができるようなファイル名を付加し(例えば、「温泉旅行カメラ1」、「温泉旅行カメラ2」)、更に、共通フレームサイズの情報を各ファイルの属性情報として関連付けて保存する(ステップS56)。なお、フレームサイズデータは、各フレームの位置を特定するためのインデックスデータに比べ、非常に小さなサイズのデータである。また、第1、第2の動画撮像装置1a、1bで作成した動画ファイルA、Bは、後述する再生処理(または編集処理)を行う動画撮影装置に転送して保存しておくこととする。   Next, it is determined whether or not the moving image capturing is continued, that is, whether or not the moving image capturing is stopped. If the moving image capturing is continued, the process returns to step S42 and the above-described processing is repeated. On the other hand, if it does not continue, it indicates that the generated video file is a group that has performed synchronized shooting (for example, “hot spring trip”) and identifies each imaging system (for example, “Camera 1”, “Camera 2”) can be added (for example, “Hot Spring Travel Camera 1”, “Hot Spring Travel Camera 2”), and information on the common frame size can be assigned to each file attribute. The information is stored in association with each other (step S56). Note that the frame size data is data of a very small size compared to the index data for specifying the position of each frame. In addition, the moving image files A and B created by the first and second moving image capturing apparatuses 1a and 1b are transferred to and stored in a moving image capturing apparatus that performs a reproduction process (or editing process) described later.

図6は、本第2実施形態による動画撮像装置の再生処理の動作を説明するためのフローチャートである。まず、再生対象となるグループを選択し(ステップS60)、選択されたグループに含まれる複数の動画ファイル(第1、第2実施形態では2つの動画ファイル)を取得する(ステップS62)。次に、いずれか1つの動画ファイルからフレームサイズデータを取得し(ステップS64)、再生開始フレーム番号、またはジャンプ先のフレーム番号を入力し(ステップS66)、入力されたフレーム番号に対応するフレームデータの記録位置を、フレームサイズデータを用いて算出して特定する(ステップS68)。なお、フレームデータの記録位置の算出は、ファイル先頭位置+フレームサイズ×フレーム番号となる。   FIG. 6 is a flowchart for explaining the operation of the reproduction process of the moving image capturing apparatus according to the second embodiment. First, a reproduction target group is selected (step S60), and a plurality of moving image files (two moving image files in the first and second embodiments) included in the selected group are acquired (step S62). Next, frame size data is acquired from any one of the moving image files (step S64), a playback start frame number or a jump destination frame number is input (step S66), and frame data corresponding to the input frame number is input. The recording position is calculated and specified using the frame size data (step S68). Note that the calculation of the recording position of the frame data is file start position + frame size × frame number.

次に、特定された記録位置のフレームデータを、各動画ファイル内から読み出し(ステップS70)、読み出された各フレームデータを同時再生し(ステップS72)、再生終了であるか否かを判断し(ステップS74)、再生終了でなければ、次のフレーム番号に対応するフレームデータの記録位置を、フレームサイズデータを用いて算出して特定し(ステップS76)、ステップS70に戻り、各動画ファイルの同時再生を繰り返す。一方、再生終了の場合には当該処理を終了する。   Next, the frame data at the specified recording position is read from each moving image file (step S70), the read frame data are simultaneously reproduced (step S72), and it is determined whether or not the reproduction is finished. (Step S74) If the playback is not finished, the recording position of the frame data corresponding to the next frame number is calculated and specified using the frame size data (Step S76), and the process returns to Step S70 to return each moving image file. Repeat simultaneous playback. On the other hand, in the case of the end of reproduction, the process ends.

なお、上述した再生処理は、第1実施形態、第2実施形態のいずれの撮像処理で生成された動画ファイルでも共通に実行可能である。また、上述した再生処理は、動画ファイルを編集する場合にも同様に適用可能である。   Note that the above-described reproduction process can be executed in common for any moving image file generated by the imaging process of either the first embodiment or the second embodiment. Further, the above-described reproduction process can be similarly applied when editing a moving image file.

上述した第2実施形態によれば、あるフレーム番号のフレームのファイル先頭からの位置がフレームサイズで一意に決定することができるため、録画処理において、インデックスデータを作成する必要がなくなり、該インデックスデータを作成するための一時記録するワーク領域を不要とすることができる。この結果、録画処理において、メモリを効率的に使用することが可能となる。   According to the second embodiment described above, the position from the beginning of the file of a frame with a certain frame number can be uniquely determined by the frame size, so that it is not necessary to create index data in the recording process. It is possible to eliminate the work area to be temporarily recorded for creating the file. As a result, the memory can be used efficiently in the recording process.

また、再生処理(または編集処理)では、再生処理中(または編集処理中)に、従来技術のようにインデックスデータをメモリ上に展開することなく、動画の再生処理、または編集処理を行うことができる。この結果、再生処理(または編集処理)において、メモリを効率的に使用することが可能となる。   Further, in the playback process (or editing process), during the playback process (or editing process), the playback process or editing process of the moving image can be performed without developing the index data on the memory as in the prior art. it can. As a result, the memory can be used efficiently in the reproduction process (or editing process).

C.変形例
次に、本発明の変形例について説明する。
前述した第1実施形態では、Motion JPEG(モーションジェイペグ)などの、1フレーム毎に同じ圧縮処理を施す動画記録処理の場合で説明したが、MPEG1、2などのように、GOP(Group Of Pictures)単位で圧縮処理を施す動画記録処理に適用してもよい。また、MPEG4などのGOV(Group of Video Object Plane)単位で圧縮処理を施す場合でも同様であり、それらの場合のダミーデータの挿入例を変形例として示す。
C. Modified Example Next, a modified example of the present invention will be described.
In the first embodiment described above, the case of moving image recording processing in which the same compression processing is performed for each frame, such as Motion JPEG (Motion JPEG), has been described. You may apply to the moving image recording process which performs a compression process in a unit. The same applies to the case where compression processing is performed in units of GOV (Group of Video Object Plane) such as MPEG4, and dummy data insertion examples in these cases are shown as modified examples.

図7(a)、(b)は、本発明の変形例として、GOP単位で圧縮処理を施す場合の動画ファイルのフレームデータ構成を示す概念図である。GOP単位で圧縮処理を施す場合、図7(a)、(b)に示すように、圧縮グループ毎に、独立(基本)フレームデータと複数の従属(差分)フレームデータとから構成されている。   FIGS. 7A and 7B are conceptual diagrams showing the frame data structure of a moving image file when compression processing is performed in GOP units as a modification of the present invention. When compression processing is performed in GOP units, as shown in FIGS. 7A and 7B, each compression group is composed of independent (basic) frame data and a plurality of subordinate (difference) frame data.

図7(a)に示す例では、独立フレームデータ、及び複数の従属フレームデータのフレームサイズを、全て同じフレームサイズとしている。この結果、圧縮グループ同士も同じサイズとなる。この場合、第nフレームにアクセスする場合、(n/グループ内のフレーム数の商)×グループサイズ+(n/グループ内のフレーム数の余り)×フレームサイズで計算できる。   In the example shown in FIG. 7A, the independent frame data and the plurality of subordinate frame data have the same frame size. As a result, the compression groups have the same size. In this case, when accessing the nth frame, it can be calculated by (n / quotient of the number of frames in the group) × group size + (n / remainder of the number of frames in the group) × frame size.

一方、図7(b)に示す例では、各圧縮グループの独立フレームデータのフレームサイズを同一とし、各圧縮グループの従属フレームデータのフレームサイズを同一としている。これは一般に独立フレームデータの方が従属フレームデータに比べ、データサイズが大きくなる傾向にあることを考慮したためである。この結果、圧縮グループ同士も同じサイズとなる。この場合、第nフレームにアクセスする場合、(n/グループ内のフレーム数の商)×グループサイズ+独立フレームサイズ+(n/グループ内のフレーム数の余り−1)×従属フレームサイズで計算できる。   On the other hand, in the example shown in FIG. 7B, the frame size of the independent frame data in each compression group is the same, and the frame size of the dependent frame data in each compression group is the same. This is because, in general, independent frame data tends to have a larger data size than dependent frame data. As a result, the compression groups have the same size. In this case, when accessing the nth frame, (n / the quotient of the number of frames in the group) × group size + independent frame size + (n / the remainder of the number of frames in the group−1) × dependent frame size can be calculated. .

なお、上述した第1、第2実施形態において、共通フレームサイズを予め決められた余裕をもったサイズに設定、またはユーザーが指定するとしたが、初めから余裕をもったサイズに設定すると、実際には必要ない大きなサイズのダミーデータが付加されてしまうことがあり効率が悪い。しかしながら、効率の良い共通フレームサイズが予め分からない場合も有り得る。この場合、これらから撮影しようとする撮影シーンで予備撮影を行うことで概ねの最大フレームサイズを測定しておき、該最大フレームサイズを共通フレームサイズとして設定してもよい。   In the first and second embodiments described above, the common frame size is set to a size having a predetermined margin or designated by the user. However, if the common frame size is set to a size having a margin from the beginning, the common frame size is actually set. May add unnecessary large dummy data, which is inefficient. However, there is a case where an efficient common frame size is not known in advance. In this case, an approximate maximum frame size may be measured by performing preliminary shooting in a shooting scene to be shot from these, and the maximum frame size may be set as a common frame size.

また、撮影開始時の共通フレームサイズは余裕をもつことなく、ぎりぎりのサイズに設定しておき、撮像中に圧縮符号化したフレームが共通フレームサイズを越えてしまった場合には、圧縮率を大きくして、再度、圧縮符号化(エンコード)し直してもよい。この場合、全ての撮影が終了した後に動画ファイル全体を再圧縮してもよいし、圧縮符号化したフレームが共通フレームサイズを越えた時点で、撮影記録中に圧縮率を変え、全ての撮影が終了した後に、圧縮率の変更が行われる前のフレームだけを再圧縮するようにしてもよい。   Also, set the common frame size at the start of shooting to a marginal size with no margin, and increase the compression rate if the compression-encoded frame exceeds the common frame size during imaging. Then, compression encoding (encoding) may be performed again. In this case, the entire video file may be recompressed after all shooting is completed, or when the compression-coded frame exceeds the common frame size, the compression rate is changed during shooting and recording, and all shooting is performed. After the completion, only the frame before the change of the compression rate may be recompressed.

また、撮影中に圧縮符号化したフレームが共通フレームサイズを越えてしまった場合には、動画ファイルの撮影記録を完了した後に、再度、共通フレームサイズを変更してダミーデータのサイズを調整し直し、再度、圧縮符号化(エンコード)して動画ファイルを作成するようにしてもよい。この場合、全ての撮影が終了した後に動画ファイル全体のフレームサイズを再調整してもよいし、圧縮符号化したフレームが共通フレームサイズを越えた時点で、撮影記録中に共通フレームサイズを変え、全ての撮影が終了した後に、圧縮率の変更が行われる前のフレームについてだけ、再度ダミーフレームのサイズを調整するようにしてもよい。   Also, if the compression-encoded frame exceeds the common frame size during shooting, after completing the shooting and recording of the movie file, change the common frame size again and readjust the dummy data size. The moving image file may be created by compression encoding again. In this case, the frame size of the entire video file may be readjusted after all shooting is completed, or the common frame size is changed during shooting and recording when the compression-coded frame exceeds the common frame size. The size of the dummy frame may be adjusted again only for the frame before the change of the compression ratio is performed after all the photographing is completed.

また、動画撮像装置としては、デジタルカメラや、デジタルビデオカメラ、携帯電話などの動画撮像機能を有するものであれば、どのような装置であっても構わない。   Further, the moving image capturing apparatus may be any apparatus as long as it has a moving image capturing function such as a digital camera, a digital video camera, or a mobile phone.

1、1a、1b 動画撮像装置
2a、2b 撮像部
3、3a、3b TG
4、4a、4b CPU
5a、5b エンコード部
6a、6b ダミー付加部
7a、7b ファイル化部
8、8a、8b 記録媒体
1, 1a, 1b Moving picture imaging device 2a, 2b Imaging unit 3, 3a, 3b TG
4, 4a, 4b CPU
5a, 5b Encoding unit 6a, 6b Dummy addition unit 7a, 7b File conversion unit 8, 8a, 8b Recording medium

Claims (11)

逐次撮像されるフレーム画像を圧縮しながら動画ファイルに追加して記録する動画撮像装置であって、
各フレームに対応してフレーム画像を撮像する撮像手段と、
前記撮像手段により動画撮影を開始する前の段階で全てのフレーム画像に共通する共通フレームサイズを設定するフレームサイズ設定手段と、
前記撮像手段により撮像されたフレーム画像を圧縮符号化する圧縮符号化手段と、
前記圧縮符号化手段により圧縮符号化されたフレーム画像の圧縮サイズが、前記フレームサイズ設定手段により予め設定した共通フレームサイズよりも小さい場合には、該圧縮符号化されたフレーム画像に対してダミーデータを付加し、フレーム画像のサイズを共通化するダミーデータ付加手段と、
前記圧縮符号化手段により圧縮符号化されたフレーム画像、または前記ダミーデータ付加手段によりダミーデータが付加されたフレーム画像を逐次記録して動画ファイルを生成するファイル生成手段と
を備えることを特徴とする動画撮像装置。
A moving image capturing apparatus that records a frame image that is sequentially captured while compressing and adding to a moving image file,
Imaging means for imaging a frame image corresponding to each frame;
Frame size setting means for setting a common frame size common to all frame images at the stage before starting moving image shooting by the imaging means;
Compression encoding means for compressing and encoding a frame image captured by the imaging means;
When the compression size of the frame image compression-encoded by the compression encoding unit is smaller than the common frame size preset by the frame size setting unit, dummy data is added to the compression-encoded frame image. And dummy data adding means for sharing the size of the frame image,
File generating means for sequentially recording the frame image compressed and encoded by the compression encoding means or the frame image to which dummy data is added by the dummy data adding means to generate a moving image file. Movie imaging device.
前記撮像手段は、
同期して動画撮影を行う複数の撮像手段からなり、
前記フレームサイズ設定手段は、
前記複数の撮像手段で同期して動画撮影を開始する前の段階で全ての撮像手段に共通する前記共通フレームサイズを設定し、
前記ダミーデータ付加手段は、
前記複数の撮像手段の各々で撮影されたフレーム画像の圧縮サイズが、前記フレームサイズ設定手段により予め設定した共通フレームサイズよりも小さい場合には、該圧縮符号化されたフレーム画像に対してダミーデータを付加し、前記複数の撮像手段の各々で撮影されたフレーム画像のサイズを共通化する
ことを特徴とする請求項1記載の動画撮像装置。
The imaging means includes
Consists of a plurality of image capturing means for capturing moving images synchronously,
The frame size setting means includes
Setting the common frame size common to all the imaging means at the stage before starting to shoot the video in synchronization with the plurality of imaging means,
The dummy data adding means is
When the compressed size of the frame image captured by each of the plurality of imaging means is smaller than the common frame size preset by the frame size setting means, dummy data is added to the compression-coded frame image. The moving image capturing apparatus according to claim 1, wherein a size of a frame image captured by each of the plurality of imaging units is made common.
前記撮像手段は、
本撮影前に予備撮影を行い、
前記フレームサイズ設定手段は、
前記撮像手段による予備撮影時に、前記圧縮符号化手段により得られた、各フレーム画像の圧縮サイズに基づいて、本撮影時の共通フレームサイズを設定する
ことを特徴とする請求項1または2に記載の動画撮像装置。
The imaging means includes
Pre-shoot before the actual shooting,
The frame size setting means includes
The common frame size at the time of actual photographing is set based on the compression size of each frame image obtained by the compression encoding unit at the time of preliminary photographing by the imaging unit. Video imaging device.
前記フレームサイズ設定手段は、
前記共通フレームサイズとして、どのような撮影シーンにおいても、そのフレームサイズを超えることの無い余裕を持ったサイズに設定する
ことを特徴とする請求項1または2に記載の動画撮像装置。
The frame size setting means includes
The moving image capturing apparatus according to claim 1, wherein the common frame size is set to a size having a margin that does not exceed the frame size in any shooting scene.
前記フレームサイズ設定手段は、
撮影中の各フレーム画像の圧縮サイズが、予め設定した共通フレームサイズを超えた場合には、前記ファイル生成手段による動画ファイルの記録完了後に、共通フレームサイズを超えたフレーム画像の圧縮サイズに基づいて、共通フレームサイズを変更し、
前記ダミーデータ付加手段は、
前記フレームサイズ設定手段により変更された共通フレームサイズに基づいて、前記圧縮符号化されたフレーム画像に対して付加されたダミーデータのサイズを調整する
ことを特徴とする請求項1ないし4のいずれかに記載の動画撮像装置。
The frame size setting means includes
When the compressed size of each frame image being shot exceeds a preset common frame size, after the recording of the moving image file by the file generation means, based on the compressed size of the frame image exceeding the common frame size Change the common frame size,
The dummy data adding means is
The size of the dummy data added to the compression-encoded frame image is adjusted based on the common frame size changed by the frame size setting means. The moving image imaging device described in 1.
前記圧縮符号化手段は、
撮影中の各フレーム画像の圧縮サイズが、予め設定した共通フレームサイズを超えた場合には、前記ファイル生成手段による動画ファイルの記録完了後に、圧縮率を上げてフレーム画像の圧縮処理を再度実行する
ことを特徴とする請求項1ないし4のいずれかに記載の動画撮像装置。
The compression encoding means includes
When the compression size of each frame image being shot exceeds a preset common frame size, after the recording of the moving image file by the file generating means is completed, the compression rate is increased and the frame image compression process is executed again. The moving image imaging apparatus according to claim 1, wherein
前記複数の撮像手段は、
当該動画撮像装置内に設けられ、同期して動画撮影を行う
ことを特徴とする請求項2ないし6のいずれかに記載の動画撮像装置。
The plurality of imaging means includes
The moving image capturing apparatus according to claim 2, wherein the moving image capturing apparatus is provided in the moving image capturing apparatus and performs moving image shooting in synchronization.
動作を同期させるためのタイミング情報を他の動画撮像装置と送受信する通信手段と、
前記通信手段により他の動画撮像装置と送受信されるタイミング情報に基づいて、前記撮像手段、前記圧縮符号化手段、前記ダミーデータ付加手段、及び前記ファイル生成手段を、前記他の動画撮像装置と同期させて動作させる同期制御手段と
を更に備えることを特徴とする請求項1ないし6のいずれかに記載の動画撮像装置。
Communication means for transmitting / receiving timing information for synchronizing operations to / from other video imaging devices;
Based on the timing information transmitted / received to / from another moving image capturing device by the communication unit, the image capturing unit, the compression encoding unit, the dummy data adding unit, and the file generating unit are synchronized with the other moving image capturing device. The moving image capturing apparatus according to claim 1, further comprising: a synchronization control unit that is operated by being operated.
前記フレームサイズ設定手段は、
各動画撮像装置が動画撮影の開始前にフレームサイズ情報を送受信することで共通フレームサイズを設定する
ことを特徴とする請求項8に記載の動画撮像装置。
The frame size setting means includes
The moving image capturing apparatus according to claim 8, wherein each moving image capturing apparatus sets a common frame size by transmitting and receiving frame size information before starting moving image capturing.
前記ダミーデータ付加手段は、
前記圧縮符号化手段により圧縮符号化された複数のフレーム画像を、グループ化して圧縮を行う場合に、各圧縮グループ毎にグループサイズを共通化するようにダミーデータを付加する
ことを特徴とする請求項1ないし9のいずれかに記載の動画撮像装置。
The dummy data adding means is
When a plurality of frame images compression-encoded by the compression-encoding means are grouped and compressed, dummy data is added so as to share a group size for each compression group. Item 10. The moving image imaging device according to any one of Items 1 to 9.
逐次撮像されるフレーム画像を圧縮しながら動画ファイルに追加して記録する動画撮像装置を制御するコンピュータに、
撮像手段により撮像されるフレーム画像を取り込む撮像機能、
動画撮影を開始する前の段階で全てのフレーム画像に共通する共通フレームサイズを設定するフレームサイズ設定機能、
前記撮像機能により取り込まれたフレーム画像を圧縮符号化する圧縮符号化機能、
前記圧縮符号化されたフレーム画像の圧縮サイズが、前記共通フレームサイズよりも小さい場合には、該圧縮符号化されたフレーム画像に対してダミーデータを付加し、フレーム画像のサイズを共通化するダミーデータ付加機能、
前記圧縮符号化されたフレーム画像、または前記ダミーデータが付加されたフレーム画像を逐次記録して動画ファイルを生成するファイル生成機能
を実現することを特徴とするプログラム。
To a computer that controls a moving image capturing apparatus that records and adds to a moving image file while compressing sequentially captured frame images,
An imaging function for capturing a frame image captured by the imaging means;
Frame size setting function to set a common frame size common to all frame images before starting movie shooting,
A compression encoding function for compressing and encoding a frame image captured by the imaging function;
When the compression size of the compression-encoded frame image is smaller than the common frame size, dummy data is added to the compression-encoded frame image to share the frame image size. Data addition function,
A program for realizing a file generation function for generating a moving image file by sequentially recording the compression-encoded frame image or the frame image to which the dummy data is added.
JP2010031992A 2010-02-17 2010-02-17 Movie imaging apparatus, imaging method, and program Expired - Fee Related JP5671808B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010031992A JP5671808B2 (en) 2010-02-17 2010-02-17 Movie imaging apparatus, imaging method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010031992A JP5671808B2 (en) 2010-02-17 2010-02-17 Movie imaging apparatus, imaging method, and program

Publications (3)

Publication Number Publication Date
JP2011171870A true JP2011171870A (en) 2011-09-01
JP2011171870A5 JP2011171870A5 (en) 2013-03-07
JP5671808B2 JP5671808B2 (en) 2015-02-18

Family

ID=44685549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010031992A Expired - Fee Related JP5671808B2 (en) 2010-02-17 2010-02-17 Movie imaging apparatus, imaging method, and program

Country Status (1)

Country Link
JP (1) JP5671808B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288810A (en) * 1994-04-14 1995-10-31 Matsushita Electric Ind Co Ltd Moving image coding method
JPH0974535A (en) * 1995-09-04 1997-03-18 Sony Corp Video data recording and reproducing device
JP2008124932A (en) * 2006-11-14 2008-05-29 Sakura Eiki Kk Nonlinear editing device and program thereof, and data replacing method of nonlinear editing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288810A (en) * 1994-04-14 1995-10-31 Matsushita Electric Ind Co Ltd Moving image coding method
JPH0974535A (en) * 1995-09-04 1997-03-18 Sony Corp Video data recording and reproducing device
JP2008124932A (en) * 2006-11-14 2008-05-29 Sakura Eiki Kk Nonlinear editing device and program thereof, and data replacing method of nonlinear editing device

Also Published As

Publication number Publication date
JP5671808B2 (en) 2015-02-18

Similar Documents

Publication Publication Date Title
EP2619761B1 (en) Enriching digital photographs
JP4281309B2 (en) Image processing apparatus, image processing method, image frame data storage medium, and computer program
JP5193291B2 (en) System and method for generating and playing 3D video files based on 2D video media standards
JP2005529559A5 (en)
US8428121B2 (en) Image pick-up apparatus for shooting and reproducing a moving image
JP6576122B2 (en) Data recording apparatus, control method therefor, and imaging apparatus
JP2005094168A (en) File structure, image recording apparatus and image reproducing apparatus employing the same
JP4881210B2 (en) Imaging apparatus, image processing apparatus, and control method thereof
WO2014141638A1 (en) Image processing apparatus and image processing method
JP2015220510A (en) Imaging device, method of controlling the same, and image processing method
WO2014141637A1 (en) Imaging apparatus and imaging apparatus control method
JP5883052B2 (en) Image processing apparatus and control method thereof
JP5622167B2 (en) Movie imaging apparatus, imaging method, and program
JP5671808B2 (en) Movie imaging apparatus, imaging method, and program
JP2018074523A (en) Imaging device, control method thereof, program, and recording medium
JP2011146847A (en) Image reproduction controller, image reproduction control method, and imaging device
JP2011176661A5 (en) Movie imaging apparatus, imaging method, and program
JP2015119403A (en) Image recording apparatus, image recording method, program, and imaging apparatus
JP6294725B2 (en) Image processing apparatus, imaging apparatus, image processing apparatus control method, and program
JP2018117339A (en) Video transmission system and video transmission method
JP6192319B2 (en) Image processing apparatus and image processing method
WO2016092647A1 (en) Moving image editing device, moving image editing method and program
JP2021180396A (en) Imaging apparatus and method for controlling imaging apparatus
JP6280402B2 (en) Image recording apparatus, image recording method, program, and storage medium
JP2011139289A (en) Image recording controller, image recording control method and imaging device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130704

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141208

R150 Certificate of patent or registration of utility model

Ref document number: 5671808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees