JP2009055618A - Electronic camera and control program of electronic camera - Google Patents
Electronic camera and control program of electronic camera Download PDFInfo
- Publication number
- JP2009055618A JP2009055618A JP2008245094A JP2008245094A JP2009055618A JP 2009055618 A JP2009055618 A JP 2009055618A JP 2008245094 A JP2008245094 A JP 2008245094A JP 2008245094 A JP2008245094 A JP 2008245094A JP 2009055618 A JP2009055618 A JP 2009055618A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- editing
- unit
- image
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、動画像を記録再生可能な機能が搭載された電子スチルカメラ、ビデオカメラ、カメラ付携帯電話、カメラ付情報通信端末等の電子カメラ、及び電子カメラの制御プログラムに関する。 The present invention relates to an electronic still camera, a video camera, a camera-equipped mobile phone, an information communication terminal with camera, and the like, and a control program for the electronic camera.
近年では、ビデオカメラ等が普及し、一般家庭でも手軽に動画撮影や記録ができるようになった。また、小型デジタルカメラでも、動画撮影や録音機能もできるようになっている。デジタルビデオカメラでは、撮影時にタイトルを作成したり、各種の特殊効果を含む撮影ができる機種も多いが、一旦撮影記録した映像を編集や加工するには、専用の映像編集装置やパーソナルコンピュータ上で実行させる映像編集用のプログラムが必要となっている。 In recent years, video cameras and the like have become widespread, and it has become possible to easily shoot and record moving images even in ordinary households. Small digital cameras are also capable of video recording and recording functions. Many digital camcorders allow you to create titles at the time of shooting or to shoot including various special effects, but you can use a dedicated video editing device or personal computer to edit and process the video once recorded. A video editing program to be executed is required.
パーソナルコンピュータは、メモリ容量が大きく処理能力（ＣＰＵ性能）も高いなど十分なハードウェアを備えており、また表示画面サイズが大きく、マウス等のポインティングデバイスを使用することができ操作環境も優れているため、動画像編集プログラムを用いて動画像の編集も自由に行えるようになった。 The personal computer has sufficient hardware such as a large memory capacity and high processing capability (CPU performance), a large display screen size, and a pointing device such as a mouse can be used, and the operating environment is excellent. Therefore, it is now possible to freely edit moving images using a moving image editing program.
例えば、最近の映像編集プログラムでは、パーソナルコンピュータの画面にタイムライン（時間軸目盛）を表示し、このタイムライン上にインデックス画像や映像や音声ファイルの時間を示す帯をオブジェクトとして、マウス等でドラッグ＆ドロップ操作して並べることで、動画像データに対して、挿入や削除、結合等のドッキングやカット編集を行うことができる。これにより、視覚的に分かりやすく、詳細な編集が自由にできる。 For example, in a recent video editing program, a timeline (time axis scale) is displayed on the screen of a personal computer, and a zone indicating the time of an index image, video or audio file is dragged with the mouse or the like as an object on this timeline. By arranging by & drop operation, docking and cut editing such as insertion, deletion, and combination can be performed on moving image data. Thereby, it is easy to understand visually, and detailed editing can be freely performed.
しかしながら、携帯型の電子カメラなどの小型機器では、処理能力やメモリ量などに制約があり、また表示画面のサイズが小さく、限られたボタンやキーによる操作しかできないため、撮影後の圧縮記録済みの画像を、機器内で自由に編集することが困難となっていた。 However, small devices such as portable electronic cameras have limited processing capability and memory capacity, and the display screen is small and can only be operated with limited buttons and keys. It has been difficult to freely edit the images in the device.
従来、動画像や音声の編集方法や編集操作に関しては、次のような方法が考えられている。 Conventionally, the following methods have been considered for editing and editing operations of moving images and sounds.
例えば、カット単位で記憶された動画像の代表フレーム画像をカット順序表のカット番号に従って取り出し静止画像として一覧表示し、カット番号を任意に修正して、カット番号に従って再生した動画像を記録することにより動画像を編集する（例えば、特許文献１）
また、分割映像各々の冒頭画像をシーンインデックスで一覧表示し、複数のシーンインデックスをクリップ化したクリップインデックスを表示し、映像分割情報とクリップ情報に基づき編集情報を生成し、編集情報を参照してデジタル映像を生成し、蓄積記録する（例えば、特許文献２）。
In addition, the beginning image of each divided video is displayed as a list by scene index, a clip index obtained by clipping a plurality of scene indexes is displayed, editing information is generated based on the video division information and clip information, and the editing information is referred to Digital video is generated and stored (for example, Patent Document 2).
このように従来では、特許文献１，２に記載されているように、動画像や音声の編集方法や編集操作に関して各種の方法が考えられているが、何れもパーソナルコンピュータなど十分なハードウェア環境や操作環境を備えた装置で実行することを前提としているため、表示画面サイズが小さく操作性も劣る携帯型の電子カメラ等には適用することができなかった。すなわち、従来の携帯型の電子カメラでは、ハードウェアの制限や操作環境の制限により、動画像について視覚的に分かりやすく、詳細な編集をすることが困難となっていた。
Thus, conventionally, as described in
本発明の課題は、ハードウェアの性能に制限されることなく、操作性良く、各種編集を容易に実行することが可能な電子カメラ、及び電子カメラの制御プログラムを提供することにある。 An object of the present invention is to provide an electronic camera and an electronic camera control program capable of easily executing various types of editing with good operability without being limited by hardware performance.
請求項１記載の発明は、動画像を撮影する動画像撮影手段と、前記動画像撮影手段によって撮影された動画像を記録する動画像記録手段と、前記動画像記録手段によって記録された動画像に対する編集操作を入力する編集操作入力手段と、前記編集操作入力手段により入力された編集操作に応じて、前記動画像に対して施す編集内容を表す再生制御情報を生成する再生制御情報生成手段と、前記再生制御情報生成手段により生成された再生制御情報を前記動画像記録手段によって記録された動画像に関連付けて記録する再生制御情報記録手段とを具備したことを特徴とする。
The invention described in
請求項２記載の発明は、請求項１記載の発明において、前記動画像記録手段によって記録された動画像を、該動画像に対して前記再生制御情報記録手段によって記録された再生制御情報が表す編集内容に応じた編集を施しながら再生出力する再生出力手段をさらに具備したことを特徴とする。 According to a second aspect of the present invention, in the first aspect of the present invention, the moving image recorded by the moving image recording unit represents the moving image recorded by the reproduction control information recording unit with respect to the moving image. It further comprises reproduction output means for reproducing and outputting while performing editing in accordance with the editing content.
請求項３記載の発明は、動画像を撮影する動画像撮影手段と、前記動画像撮影手段によって撮影された動画像を記録する動画像記録手段と、前記動画像記録手段によって記録された動画像に対する、画像を遷移させる特殊効果を付加するための編集操作を入力する編集操作入力手段と、前記編集操作入力手段により入力された編集操作に応じて、遷移元の画像と遷移先の画像とをもとに画像の遷移を表現する連続画像を生成し、前記動画像記録手段に記録された動画像を編集する編集手段とを具備したことを特徴とする。 According to a third aspect of the present invention, there is provided a moving image photographing means for photographing a moving image, a moving image recording means for recording a moving image photographed by the moving image photographing means, and a moving image recorded by the moving image recording means. An editing operation input means for inputting an editing operation for adding a special effect for transitioning the image, and a transition source image and a transition destination image according to the editing operation input by the editing operation input means. The image processing apparatus includes an editing unit that generates a continuous image representing the transition of the image and edits the moving image recorded in the moving image recording unit.
請求項４記載の発明は、動画像を撮影する動画像撮影手段と、前記動画像撮影手段によって撮影された動画像のデータを記録する動画像記録手段と、前記画像記録手段に記録された動画像のデータをもとに、複数の画像を生成して一覧表示する表示手段と、前記表示手段によって表示された複数の画像に対する再生順序を指定する編集操作、または前記複数の画像の中の任意の画像に対する特殊効果を表す編集アイコンの付加を指定する編集操作の少なくとも何れか一方を入力する編集操作入力手段と、前記編集操作入力手段により入力された編集操作に基づいて前記動画像記録手段に記録された動画像のデータを編集する編集手段とを具備したことを特徴とする。 According to a fourth aspect of the present invention, there is provided a moving image photographing unit for photographing a moving image, a moving image recording unit for recording data of a moving image photographed by the moving image photographing unit, and a moving image recorded in the image recording unit. Display means for generating and displaying a list of a plurality of images based on image data; an editing operation for specifying a reproduction order for the plurality of images displayed by the display means; or an arbitrary one of the plurality of images An editing operation input means for inputting at least one of editing operations for designating addition of an editing icon representing a special effect to the image of the image, and the moving image recording means based on the editing operation input by the editing operation input means. An editing means for editing the recorded moving image data is provided.
請求項５記載の発明は、請求項４記載の発明において、前記動画像に含まれる画像が持つ情報の相関度を算出し、前記相関度が所定値より低い画像間をシーンの切り替え位置として識別するシーン識別手段をさらに具備し、前記表示手段は、前記シーン識別手段によって識別されたシーン毎の代表画像を表示することを特徴とする。 According to a fifth aspect of the present invention, in the fourth aspect of the present invention, the degree of correlation of information included in the image included in the moving image is calculated, and images between which the degree of correlation is lower than a predetermined value are identified as scene switching positions. A scene identifying unit for displaying the representative image for each scene identified by the scene identifying unit.
請求項６記載の発明は、請求項４記載の発明において、前記動画像撮影手段による動画像の撮影時に、区切り位置を指定する操作を入力する区切り位置入力手段と、前記区切り位置入力手段によって入力された区切り位置を示すデータを、前記動画像のデータと関連付けて記録する位置記録手段と、前記位置記録手段によって記録された区切り位置を示すデータをもとに、シーンの切り替え位置を識別するシーン識別手段とをさらに具備し、前記表示手段は、前記シーン識別手段によって識別されたシーン毎の代表画像を表示することを特徴とする。 According to a sixth aspect of the present invention, in the fourth aspect of the invention, when the moving image photographing unit captures a moving image, the separation position input unit inputs an operation for designating a separation position, and the separation position input unit inputs the operation. A position recording means for recording the data indicating the delimited position in association with the moving image data, and a scene for identifying a scene switching position based on the data indicating the delimiter position recorded by the position recording means And an identification unit, wherein the display unit displays a representative image for each scene identified by the scene identification unit.
請求項７記載の発明は、動画像を撮影する動画像撮影手段と、前記動画像撮影手段によって撮影された動画像のデータを記録する動画像記録手段と、前記動画像記録手段に記録された動画像のデータを所定単位毎に分割する分割手段と、前記分割手段により分割された所定単位毎の動画像に対する再生順序を指定する編集操作、または前記所定単位毎の動画像の中の任意の動画像に対する特殊効果を表す編集アイコンの付加を指定する編集操作の少なくとも何れか一方を入力する編集操作入力手段と、前記編集操作入力手段により入力された編集操作に基づいて前記動画像記録手段に記録された動画像のデータを編集する編集手段とを具備したことを特徴とする。 The invention according to claim 7 is recorded in the moving image photographing means for photographing the moving image, the moving image recording means for recording the moving image data photographed by the moving image photographing means, and the moving image recording means. A dividing unit that divides moving image data into predetermined units; an editing operation that specifies a reproduction order for moving images for each predetermined unit divided by the dividing unit; or an arbitrary one of the moving images for each predetermined unit An editing operation input means for inputting at least one of editing operations for designating addition of an editing icon representing a special effect to the moving image, and the moving image recording means based on the editing operation input by the editing operation input means. An editing means for editing the recorded moving image data is provided.
請求項８記載の発明は、請求項３乃至７の何れかに記載の発明において、前記編集操作入力手段により入力された編集操作に応じて、前記動画像に対して施す編集内容を表す再生制御情報を生成する再生制御情報生成手段と、前記再生制御情報生成手段により生成された再生制御情報を前記動画像記録手段によって記録された動画像に関連付けて記録する再生制御情報記録手段とをさらに具備し、前記編集手段は、前記動画像記録手段によって記録された動画像のデータを、該動画像に対して前記再生制御情報記録手段によって記録された再生制御情報が表す編集内容に基づいて編集することを特徴とする。 According to an eighth aspect of the present invention, in the invention according to any one of the third to seventh aspects, the reproduction control representing the editing content to be applied to the moving image in accordance with the editing operation input by the editing operation input means. Reproduction control information generation means for generating information, and reproduction control information recording means for recording the reproduction control information generated by the reproduction control information generation means in association with the moving image recorded by the moving image recording means. The editing unit edits the moving image data recorded by the moving image recording unit based on the editing content represented by the reproduction control information recorded by the reproduction control information recording unit with respect to the moving image. It is characterized by that.
請求項９記載の発明は、請求項３乃至７の何れかに記載の発明において、前記編集手段による編集後の動画像データを記録する編集後動画像記録手段をさらに具備したことを特徴とする。
The invention according to claim 9 is the invention according to any one of
請求項１０記載の発明は、請求項９記載の発明において、前記編集後動画像記録手段に記録された動画像のデータを所定単位で順序を変更して再構成する第１再構成手段と、前記編集後動画像記録手段に記録された動画像のデータをもとに特殊効果を表す画像を生成し、この生成した画像を所定単位の動画像のデータと結合して再構成する第２再構成手段とを有することを特徴とする。 A tenth aspect of the present invention is the first aspect of the invention according to the ninth aspect, wherein the moving image data recorded in the edited moving image recording means is reconfigured by changing the order in predetermined units, Based on the moving image data recorded in the edited moving image recording means, an image representing a special effect is generated, and the generated image is combined with moving image data in a predetermined unit to be reconstructed. And a configuration means.
請求項１１記載の発明は、請求項３乃至１０の何れかに記載の発明において、前記編集手段によって編集された動画像を再生出力する再生出力手段をさらに具備したことを特徴とする。 According to an eleventh aspect of the present invention, in the invention according to any one of the third to tenth aspects, the image processing apparatus further comprises reproduction output means for reproducing and outputting the moving image edited by the editing means.
請求項１２記載の発明は、電子カメラに内蔵されたコンピュータが実行する制御プログラムであって、コンピュータを、動画像を撮影する動画像撮影手段と、前記動画像撮影手段によって撮影された動画像を記録する動画像記録手段と、前記動画像記録手段によって記録された動画像に対する編集操作を入力する編集操作入力手段と、前記編集操作入力手段により入力された編集操作に応じて、前記動画像に対して施す編集内容を表す再生制御情報を生成する再生制御情報生成手段と、前記再生制御情報生成手段により生成された再生制御情報を前記動画像記録手段によって記録された動画像に関連付けて記録する再生制御情報記録手段として機能させる。
The invention described in
請求項１３記載の発明は、電子カメラに内蔵されたコンピュータが実行する制御プログラムであって、コンピュータを、動画像を撮影する動画像撮影手段と、前記動画像撮影手段によって撮影された動画像のデータを記録する動画像記録手段と、前記画像記録手段に記録された動画像のデータをもとに、複数の画像を生成して一覧表示する表示手段と、前記表示手段によって表示された複数の画像に対する再生順序を指定する編集操作、または前記複数の画像の中の任意の画像に対する特殊効果を表す編集アイコンの付加を指定する編集操作の少なくとも何れか一方を入力する編集操作入力手段と、前記編集操作入力手段により入力された編集操作に基づいて前記動画像記録手段に記録された動画像のデータを編集する編集手段として機能させる。 According to a thirteenth aspect of the present invention, there is provided a control program executed by a computer incorporated in an electronic camera, wherein the computer captures a moving image capturing unit that captures a moving image, and a moving image captured by the moving image capturing unit. A moving image recording means for recording data, a display means for generating and displaying a plurality of images based on moving image data recorded in the image recording means, and a plurality of images displayed by the display means An editing operation input means for inputting at least one of an editing operation for designating a reproduction order for images, or an editing operation for designating addition of an editing icon representing a special effect on an arbitrary image among the plurality of images, It functions as an editing means for editing the moving image data recorded in the moving image recording means based on the editing operation input by the editing operation input means. That.
請求項１記載の発明によれば、動画像を撮影して記録する電子カメラにおいて、撮影された動画像に対する編集操作を入力し、この入力された編集操作に応じて動画像に対して施す編集内容を表す再生制御情報（プレイリスト）を生成することにより、動画像のデータに対する実際の編集処理を実行しないため、電子カメラに搭載されたハードウェアの性能が十分でない場合、例えばＣＰＵ性能が低い、メモリ容量が少ないといった場合であっても、ユーザから指示される動画像に対する各種編集の内容を記録しておくことができる。こうして、動画像と共に再生制御情報を記録しておくことで、別途、自電子カメラにおいて、あるいは他の装置において、再生制御情報をもとにした動画像の再生出力が可能となる。 According to the first aspect of the present invention, in an electronic camera that captures and records a moving image, an editing operation on the captured moving image is input, and editing is performed on the moving image in accordance with the input editing operation. By generating the reproduction control information (playlist) representing the contents, the actual editing process for the moving image data is not executed. Therefore, when the performance of the hardware mounted on the electronic camera is not sufficient, for example, the CPU performance is low. Even when the memory capacity is small, the contents of various edits to the moving image instructed by the user can be recorded. Thus, by recording the playback control information together with the moving image, it is possible to separately output the moving image based on the playback control information in the own electronic camera or in another device.
請求項２記載の発明によれば、請求項１の発明の効果に加えて、記録された動画像を、再生制御情報が表す編集内容に応じた編集を施しながら再生出力するので、再生制御情報を変更するだけで各種編集を繰り返し何度でも施こして、動画像を再生出力することができる。動画像のデータに対して実際に変更や加工などの編集処理を施していないので、各種編集を繰り返し実行したとしても、画質を劣化させることがない。 According to the second aspect of the invention, in addition to the effect of the first aspect of the invention, the recorded moving image is reproduced and output while being edited in accordance with the editing content represented by the reproduction control information. It is possible to reproduce and output a moving image by repeatedly performing various edits simply by changing. Since editing processing such as alteration or modification is not actually performed on the moving image data, the image quality is not deteriorated even if various editing operations are repeatedly executed.
請求項３記載の発明によれば、再生制御情報が画像を遷移させる特殊効果を表す場合に、遷移元の画像と遷移先の画像とをもとに、画像の遷移を表現する連続画像を生成して動画像に合成して出力させるので、元の動画像のデータに変更を加えることなく、各種特殊効果を用いた編集を施した動画像を再生出力させることができる。 According to the third aspect of the present invention, when the reproduction control information represents a special effect for transitioning an image, a continuous image representing the transition of the image is generated based on the transition source image and the transition destination image. Thus, since it is synthesized and output to the moving image, it is possible to reproduce and output the moving image that has been edited using various special effects without changing the original moving image data.
請求項４記載の発明によれば、動画像を撮影し、動画像データを符号化して記録する電子カメラにおいて、記録された動画像のデータをもとに複数の画像を生成して一覧表示し、この表示された複数の画像に対する再生順序を指定する編集操作、及び特殊効果を表す編集アイコンの付加を指定する編集操作を入力するので、電子カメラに搭載されたハードウェアの性能が十分でない場合、例えば表示画面のサイズが小さい、入力操作に用いるデバイス（ボタンやスイッチ）などに限りがあるといった場合でも、例えば一覧表示中から再生順に画像を選択し、画像に対して施す特殊効果の編集アイコンを選択して付加するといった、簡単な選択操作による編集操作で良いため、編集操作を容易にすることができる。 According to the fourth aspect of the present invention, in an electronic camera that captures a moving image and encodes and records the moving image data, a plurality of images are generated based on the recorded moving image data and displayed in a list. When the editing operation to specify the playback order for the displayed images and the editing operation to specify the addition of editing icons representing special effects are input, the hardware installed in the electronic camera is not sufficient Even if, for example, the display screen size is small or the devices (buttons and switches) used for input operations are limited, for example, images are selected in the order of playback from the list display, and special effect editing icons are applied to the images. Since the editing operation by a simple selection operation such as selecting and adding can be performed, the editing operation can be facilitated.
請求項５記載の発明によれば、請求項４の発明の効果に加えて、画像を一覧表示する際に動画像のシーン毎の代表画像を表示するものとし、動画像に含まれる画像が持つ情報の相関度をもとにシーンの切り替え位置を識別することができるので、シーンに毎に再生順序の変更や特殊効果の付加などの編集操作を容易にすることができる。 According to the fifth aspect of the invention, in addition to the effect of the fourth aspect of the invention, when displaying a list of images, the representative image for each scene of the moving image is displayed, and the image included in the moving image has Since the scene switching position can be identified based on the degree of correlation of information, editing operations such as changing the playback order and adding special effects can be facilitated for each scene.
請求項６記載の発明によれば、請求項４の発明の効果に加えて、画像を一覧表示する際に動画像のシーン毎の代表画像を表示するものとし、動画像の撮影時に区切り位置を指定する操作を入力し、この入力された区切り位置を示すデータを動画像のデータと関連付けて記録しておくことで、この区切り位置を示すデータをもとにシーンの切り替え位置を識別することができるので、シーンに毎に再生順序の変更や特殊効果の付加などの編集操作を容易にすることができる。 According to the sixth aspect of the invention, in addition to the effect of the fourth aspect of the invention, when displaying a list of images, a representative image for each scene of the moving image is displayed. By inputting the operation to specify and recording the input delimiter position data in association with moving image data, the scene switching position can be identified based on the delimiter position data. Therefore, editing operations such as changing the playback order and adding special effects can be facilitated for each scene.
請求項７記載の発明によれば、所定単位毎の動画像のデータ、例えば符号化がＭＰＥＧ方式により行われる場合にはＧＯＰ（Group Of Pictures）毎の画像に対する編集操作を入力するので、符号化された動画像データのまま所定単位（ＧＯＰ）での編集を容易に行うことができる。 According to the seventh aspect of the present invention, since an editing operation for moving picture data for each predetermined unit, for example, an image for each GOP (Group Of Pictures) is input when encoding is performed by the MPEG system, encoding is performed. Editing in a predetermined unit (GOP) can be easily performed with the moving image data as it is.
請求項８記載の発明によれば、請求項３乃至７の何れかの発明の効果に加えて、編集操作入力手段により入力された編集操作に応じて、動画像に対して施す編集内容を表す再生制御情報（プレイリスト）を生成することにより、動画像のデータに対する実際の編集処理を実行しないため、電子カメラに搭載されたハードウェアの性能が十分でない場合、例えばＣＰＵ性能が低い、メモリ容量が少ないといった場合であっても、ユーザから指示される動画像に対する各種編集の内容を記録しておくことができる。こうして、動画像と共に再生制御情報を記録しておくことで、別途、自電子カメラにおいて、あるいは他の装置において、再生制御情報をもとにした動画像の再生出力が可能となる。 According to the eighth aspect of the present invention, in addition to the effect of any of the third to seventh aspects, the editing content to be applied to the moving image is represented in accordance with the editing operation input by the editing operation input means. If the performance of hardware mounted on the electronic camera is not sufficient because the generation of playback control information (playlist) does not execute actual editing processing on moving image data, for example, the CPU performance is low, the memory capacity Even if there are few cases, it is possible to record the contents of various edits to the moving image instructed by the user. Thus, by recording the playback control information together with the moving image, it is possible to separately output the moving image based on the playback control information in the own electronic camera or in another device.
請求項９記載の発明によれば、請求項３乃至７の何れかに記載の発明の効果に加えて、動画像のデータに対して編集加工を施して記録するので、この記録された動画像データをそのまま再生することで、各種編集操作に応じた編集が施された動画像を出力することができる。 According to the ninth aspect of the invention, in addition to the effect of the invention according to any one of the third to seventh aspects, the moving image data is recorded after being edited. By reproducing the data as it is, it is possible to output a moving image that has been edited according to various editing operations.
請求項１０記載の発明によれば、請求項９の発明の効果に加えて、動画像のデータを所定単位で順序を変更して再構成する編集と、動画像のデータをもとに特殊効果を表す画像を生成し、この生成した画像を所定単位の動画像のデータと結合して再構成する編集とを実行するので、例えば動画像のデータの符号化がＭＰＥＧ方式により行われる場合には所定単位としてＧＯＰ（Group Of Pictures）毎に編集を施すことができ、符号化された動画像データのまま容易に編集を施すことができる。 According to the tenth aspect of the invention, in addition to the effect of the ninth aspect of the invention, editing for reconfiguring moving image data by changing the order in predetermined units, and special effects based on moving image data Is generated, and editing is performed by combining and reconstructing the generated image with a predetermined unit of moving image data. For example, when encoding of moving image data is performed by the MPEG method, Editing can be performed for each GOP (Group Of Pictures) as a predetermined unit, and editing can be easily performed with the encoded moving image data.
請求項１１記載の発明によれば、請求項３乃至１０の何れかに記載の発明の効果に加えて、編集された動画像を再生出力させることができる。 According to the eleventh aspect of the present invention, in addition to the effect of the third aspect, the edited moving image can be reproduced and output.
請求項１２記載の発明によれば、コンピュータを、撮影された動画像に対する編集操作を入力し、この入力された編集操作に応じて動画像に対して施す編集内容を表す再生制御情報（プレイリスト）を生成するように動作させることにより、動画像のデータに対する実際の編集処理を実行しないため、コンピュータの性能が十分でない場合、例えばＣＰＵ性能が低い、メモリ容量が少ないといった場合であっても、ユーザから指示される動画像に対する各種編集の内容を記録しておくことができる。こうして、動画像と共に再生制御情報を記録しておくことで、別途、電子カメラにおいて、あるいは他の装置において、再生制御情報をもとにした動画像の再生出力が可能となる。 According to the twelfth aspect of the present invention, the computer inputs an editing operation on the captured moving image, and reproduction control information (playlist) representing editing contents to be applied to the moving image in accordance with the input editing operation. ), The actual editing process for the moving image data is not executed, so that the computer performance is insufficient, for example, even when the CPU performance is low or the memory capacity is small. The contents of various edits to the moving image instructed by the user can be recorded. Thus, by recording the playback control information together with the moving image, it is possible to separately output the moving image based on the playback control information in the electronic camera or in another device.
請求項１３記載の発明によれば、コンピュータを、動画像を撮影し、動画像データを符号化して記録する電子カメラにおいて、記録された動画像のデータをもとに複数の画像を生成して一覧表示し、この表示された複数の画像に対する再生順序を指定する編集操作、及び特殊効果を表す編集アイコンの付加を指定する編集操作を入力するように動作させることにより、電子カメラに搭載されたハードウェアの性能が十分でない場合、例えば表示画面のサイズが小さい、入力操作に用いるデバイス（ボタンやスイッチ）などに限りがあるといった場合でも、例えば一覧表示中から再生順に画像を選択し、画像に対して施す特殊効果の編集アイコンを選択して付加するといった、簡単な選択操作による編集操作で良いため、編集操作を容易にすることができる。 According to a thirteenth aspect of the present invention, in an electronic camera that captures a moving image and encodes and records the moving image data, the computer generates a plurality of images based on the recorded moving image data. It was installed in the electronic camera by displaying it in a list and operating it to input an editing operation that specifies the playback order for the displayed images and an editing operation that specifies the addition of editing icons representing special effects. Even if the performance of the hardware is not sufficient, for example, when the display screen size is small or the devices (buttons and switches) used for input operations are limited, images are selected in the order of playback from the list display, for example, The editing operation is easy because it can be done by a simple selection operation, such as selecting and adding an edit icon for the special effect to be applied. Door can be.
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の第１実施形態における電子カメラの回路システム構成を示すブロック図である。本発明は、動画像を記録再生可能な機能が搭載された電子スチルカメラ、ビデオカメラ、カメラ付携帯電話、カメラ付情報通信端末等の携帯型の電子カメラに適用することが可能である。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a circuit system configuration of an electronic camera according to the first embodiment of the present invention. The present invention can be applied to portable electronic cameras such as an electronic still camera, a video camera, a camera-equipped mobile phone, and a camera-equipped information communication terminal equipped with a function capable of recording and reproducing moving images.
第１実施形態における電子カメラは、静止画像の他に動画像を撮影することができ、撮影記録後の動画像データに対するトリミングやカット編集、特殊効果の付加など各種の編集を施した動画像の再生を、内蔵の低速ＣＰＵや小容量メモリを用いて実行できるようにする動画像の編集再生機能が設けられている。 The electronic camera according to the first embodiment can capture a moving image in addition to a still image, and a moving image that has been subjected to various edits such as trimming, cut editing, and addition of special effects to the moving image data after shooting and recording. A moving image editing / playback function is provided that enables playback to be performed using a built-in low-speed CPU or small-capacity memory.
電子カメラは、携帯カメラ本体部２及びズーム撮像部４により構成される。ズーム撮像部４は、携帯カメラ本体部２に対して例えば回動可能となるようにコネクタ部６により結合されている。ズーム撮像部４を回動可能とすることで、携帯カメラ本体部２の状態を維持したまま、ズーム撮像部４による撮影方向を任意に設定することができる。
The electronic camera includes a
携帯カメラ本体部２は、充電／ＰＣ転送用クレードル部７に装着可能となっている。携帯カメラ本体部２は、充電／ＰＣ転送用クレードル部７を介して、電力の供給を受けて充電することができる。また、携帯カメラ本体部２は、充電／ＰＣ転送用クレードル部７を介して、パーソナルコンピュータ等の他の情報機器と接続することができ、他の情報機器との間で静止画像や動画像などの各種データの送受信、あるいはプログラムなどの受信が可能である。
The
充電／ＰＣ転送用クレードル部７は、携帯カメラ本体部２に対して電力を供給すると共に、携帯カメラ本体部２と他の情報機器との間の各種データなどの送受信を仲介する。充電／ＰＣ転送用クレードル部７は、ＡＣアダプタ部８と接続されてＤＣ（直流）入力する。
The charging / PC transfer cradle unit 7 supplies power to the
ＡＣアダプタ部８は、ＡＣ電源に接続され、ＡＣ電源をＤＣ出力に変換して充電／ＰＣ転送用クレードル部７に供給する。
The
まず、携帯カメラ本体部２の構成の詳細について説明する。
携帯カメラ本体部２には、カメラ全体を制御する制御回路１０が設けられている。制御回路１０は、ＣＰＵと、後述する各種処理を実現するためのプログラムや各動作モード時に画面に表示する画像データ等を固定的に記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭ等により構成される。第１実施形態の電子カメラは、ズーム撮像部４により撮像された動画像のデータを符号化して記録すると共に、動画像に対する編集操作を受付て再生制御情報（後述するプレイリスト）を作成し、動画再生時に再生制御情報を参照しながら符号化されたデータをもとに再生出力することができる。
First, details of the configuration of the
The
制御回路１０は、入力回路１２を通じて各種入力デバイスから入力される指示に応じて、各種機能の制御や設定等を実行する。入力回路１２は、例えば静止画撮影半押し／シャッタボタン１３、動画撮影開始／停止ボタン１４、その他の操作入力部１５等からの入力を制御回路１０に通知する。操作入力部１５には、例えば、電源のオンオフを切り替えるための電源ＯＮ／ＯＦＦスイッチ、動作モード（例えば撮影モード（動画像、静止画像）、再生モード、編集モード等）を切り替えるためのモードスイッチ、ズーム操作をするためのズーム操作レバー、メニューを表示させるためのメニューキー、上下左右方向の指示を入力するためのカーソルキー、選択実行を指示するためのセットキー、表示画面の切り替えや選択対象の変更を指示するためのディスプレイボタン等が含まれる。
The
制御回路１０は、コネクタ部６を介してズーム撮像部４に設けられた制御部７０（後述する）を制御することにより画像（静止画像、動画像）の撮影を実行する。
The
制御回路１０には、表示メモリ１７、表示駆動部１８、画像バッファメモリ２０、画像信号処理部２２、圧縮符号化／復号部２４、編集／再生制御部２６、静止画像／動画像／音声データメモリ２８、プレイリストメモリ３０、音声復号化部３１、外部メモリインタフェース３６、音声符号化部４０、電源制御部４４、電源制御部４４、外部Ｉ／Ｏインタフェース４８などが接続される。
The
表示メモリ１７は、ズーム撮像部４により撮影された画像の画像データ、あるいは各種メニューの画像データなど、表示部１９において表示させる画像のデータが記録される。
The
表示駆動部１８は、表示メモリ１７に記録された画像データをもとに表示部１９に画像を表示させる。例えば撮影モードでは、ズーム撮像部４により撮影された画像が表示メモリ１７においてスルー表示され、電子カメラのファインダとして機能する。表示部１９は、例えば液晶ディスプレイなどにより構成されている。電子カメラが携帯型に構成されている場合、筐体サイズの制限などから比較的、表示画面のサイズが小さくなっている。
The
画像バッファメモリ２０は、ズーム撮像部４（Ａ／Ｄ回路７６）から入力される画像データを一時記憶する。
The
画像信号処理部２２は、画像バッファメモリ２０に記録されたズーム撮像部４からの画像データに対して画像処理を施すもので、圧縮符号化／復号部２４によってデータ圧縮等の処理を施して静止画像／動画像／音声データメモリ２８（あるいは外部メモリインタフェース３６を介して外部メモリ３７）に撮影画像として記録する。
The image
圧縮符号化／復号部２４は、ズーム撮像部４から入力される画像データ（動画像、静止画像）に対する符号化処理、及び符号化されたデータの復号処理を実行する。第１実施形態では、ＭＰＥＧ（Moving Picture Experts Group）方式により画像の符号化／復号を実行するものとして説明する。
The compression encoding /
編集／再生制御部２６は、第１実施形態における電子カメラの特徴的な機能を実現するもので、ズーム撮像部４を通じて撮影された動画像に対する編集操作に応じて、動画像データを編集後の動画像データに変換して記録しないで（符号化された動画像の元データを残したまま）、所定単位毎（例えば時間毎、シーン毎、ＧＯＰ毎、チャプタ毎）に再生順序変更や遷移画面効果などを表す再生制御情報をプレイリストとして生成編集してプレイリストメモリ３０に記録する。編集／再生制御部２６は、動画像データを再生する際には、プレイリストメモリ３０に記録したプレイリストの再生制御情報を参照しながら、符号化された動画像データに対して編集や特殊処理を施した動画像データを生成して出力させる。
The edit /
静止画像／動画像／音声データメモリ２８は、静止画像データ、動画像データ、音声データが各データファイルとして記録される。動画像データについては、符号化されてＭＰＥＧファイルとして記録される。また圧縮符号化／復号部２４により符号化された画像データ（静止画像データ、動画像データ）と音声符号化部４０により符号化された音声データとが多重化された多重符号化データのファイルとして記録される。
The still image / moving image /
プレイリストメモリ３０は、編集／再生制御部２６によって作成される再生制御情報を含むプレイリストが記録される。プレイリストの詳細については後述する（図２０、図２１、図２２、図２３）。
The
音声復号化部３１は、符号化された音声データを復号化する。音声復号化部３１により復号化された音声データは、Ａ／Ｄ変換部３２により音声信号に変換され、増幅部３３により増幅されてスピーカ３４から音声出力される。
The
外部メモリインタフェース３６は、図示せぬスロットに装着される外部メモリ３７とのインタフェースであり、制御回路１０の制御のもとで、外部メモリ３７に対する各種データの記録あるいは読み出しを実行する。
The
音声符号化部４０は、Ａ／Ｄ変換部部４１から出力される音声データを符号化する。Ａ／Ｄ変換部部４１は、マイク４３から入力され、増幅部４２により増幅された音声信号を入力して、Ａ／Ｄ変換して音声データを出力する。
The
電源制御部４４は、携帯カメラ本体部２の電源制御を行うもので、電池４６から各部に対して電力を供給し、またコネクタ５０を介して接続される充電／ＰＣ転送用クレードル部７から電力供給を受けて電池４６を充電する。
The power
外部Ｉ／Ｏインタフェース４８は、コネクタ５０を介して接続される外部機器、例えば充電／ＰＣ転送用クレードル部７とのインタフェースであり、制御回路１０の制御のもとで、外部機器との間のデータ入出力等を制御する。
The external I /
コネクタ５０は、充電／ＰＣ転送用クレードル部７に設けられたコネクタ９２と接続されるインタフェースであり、携帯カメラ本体部２が充電／ＰＣ転送用クレードル部７に設けられるホルダに載置されることで、電源ライン、データライン、制御ラインなどを接続する。
The connector 50 is an interface connected to the
次に、ズーム撮像部４の詳細な構成について説明する。
ズーム撮像部４では、複数のレンズからなるレンズ光学系５２、絞り５３、ハーフミラー５４、シャッタ５５を通じて受光される被写体の光がＣＣＤ（Charge Coupled Device）等の撮像素子６０に導入され光電変換される。レンズ光学系５２は、レンズ駆動部５８により焦点制御のためにレンズ位置が変更され、レンズ駆動部５９によりズーム制御のために位置が変更される。測光／測距センサ６２は、レンズ光学系５２ａを介して入力される光をもとにして測光／測距を行う。
Next, a detailed configuration of the
In the
ズーム撮像部４は、携帯カメラ本体部２の制御回路１０のもとで動作する制御部７０によって撮影動作を制御する。制御部７０には、焦点制御部７１、ズーム制御部７２、絞り制御部７３、シャッタ制御部７４、ＣＤＳ／ＡＧＣ７５、Ａ／Ｄ回路７６、タイミング制御駆動部７７、露出制御部７８、測距制御部７９、フラッシュ制御部８０を有している。
The
焦点制御部７１は、レンズ駆動部５８を通じてレンズ位置を駆動制御することで焦点調整をする。
ズーム制御部７２は、レンズ駆動部５９を通じてレンズ位置を駆動制御することでズーム調整をする。
The focus control unit 71 adjusts the focus by driving and controlling the lens position through the
The zoom control unit 72 performs zoom adjustment by driving and controlling the lens position through the
絞り制御部７３は、レンズ光学系５２に設けられた絞り５３を制御する。
A
シャッタ制御部７４は、シャッタ５５を開閉駆動を制御するもので、携帯カメラ本体部２の静止画撮影半押し／シャッタボタン１３あるいは動画撮影開始／停止ボタン１４の操作に応じて制御回路１０からの指示に応じてシャッタ５５を開放して、レンズ光学系５２を通じて入力される光を撮像素子６０に導入する。
The
タイミング制御駆動部７７は、撮像素子６０に対する走査駆動制御を実行し、撮像素子６０によって光電変換された信号を、ＣＤＳ／ＡＧＣ７５、Ａ／Ｄ回路７６を通じてデジタルデータ化して制御回路１０に出力させる。
The timing
露出制御部７８及び測距制御部７９は、レンズ光学系５２（レンズ光学系５２ａ）、ハーフミラー５４を介して入力される光をもとにした測光／測距センサ６２による測光、測距に応じた測距制御、露出制御をそれぞれ実行する。
The
フラッシュ制御部８０は、制御回路１０の制御により、静止画撮影半押し／シャッタボタン１３に対するシャッタ操作に応じて、フラッシュ駆動部８２によりフラッシュ８３を閃光駆動させる。フラッシュ駆動部８２は、ストロボ駆動が設定されている場合に、電源制御部４４を介して電池４６からの電力を図示せぬフラッシュ用大容量コンデンサに充電させた上でフラッシュ８３を閃光駆動する。
Under the control of the
また、測光／測距センサ６２により測光して露出条件や絞りの開閉量や、シャッタ速度、ホワイトバランスや撮像感度などを自動調整したり、ＰＳＤ（Position Sensitive Detector）センサなど測距センサにより被写体との距離に合わせてレンズ位置を自動的に駆動制御するオートフォーカス機構や、多焦点のズームレンズ駆動機構を実現することができる。
In addition, the photometry / ranging
次に、充電／ＰＣ転送用クレードル部７の詳細な構成について説明する。
充電／ＰＣ転送用クレードル部７には、全体を制御する制御回路９０が設けられており、携帯カメラ本体部２（コネクタ５０）とコネクタ９２を介して接続される。
Next, a detailed configuration of the charging / PC transfer cradle unit 7 will be described.
The charging / PC transfer cradle unit 7 is provided with a
制御回路９０には、充電制御部９４、電源／充電／転送インジケータ９６、無線ＬＡＮインタフェース（Ｉ／Ｆ）９８、ＬＡＮ通信インタフェース（Ｉ／Ｆ）１０４、ＵＳＢ通信インタフェース（Ｉ／Ｆ）１０６が接続されている。
Connected to the
充電制御部９４は、ＡＣアダプタ部８からの電力を、コネクタ９２を介して携帯カメラ本体部２に供給して、携帯カメラ本体部２の電池４６を充電するための制御を行う。
The charging
電源／充電／転送インジケータ９６は、充電／ＰＣ転送用クレードル部７の動作状態をユーザに通知するためのインジケータであり、電源との接続の有無、携帯カメラ本体部２への電力供給（充電）の有無、外部の情報機器との間のデータ転送の有無などを点灯あるいは点滅によって通知する。
The power / charge /
無線ＬＡＮＩ／Ｆ９８は、符号／復号部９９、変調／復調部１００、及び送信／受信部１０１を介して、外部の情報機器との間における無線通信を制御するためのインタフェースである。
The wireless LAN I /
ＬＡＮ通信Ｉ／Ｆ１０４は、ＬＡＮコネクタ１１０を介して、ケーブルにより接続される他の情報機器との間の通信を制御するインタフェースである。
ＵＳＢ通信Ｉ／Ｆ１０６は、ＵＳＢコネクタ１０８を介して、ケーブルにより接続される他の情報機器との間の通信を制御するインタフェースである。
The LAN communication I /
The USB communication I /
制御回路９０は、携帯カメラ本体部２の制御回路１０からの要求に応じて、無線ＬＡＮＩ／Ｆ９８、ＬＡＮ通信Ｉ／Ｆ１０４、あるいはＵＳＢ通信Ｉ／Ｆ１０６を介して接続される他の情報機器、例えばパーソナルコンピュータ（ＰＣ）、プリンタ機器、他の電子カメラとの間で、画像データの転送などの通信を実行することができる。
In response to a request from the
ＡＣアダプタ部８は、安定化回路１２０、平滑回路１２２、整流回路１２４、ヒューズ１２６が設けられている。ＡＣアダプタ部８は、ＡＣ電源を、安定化回路１２０、平滑回路１２２、及び整流回路１２４によってＤＣ出力に変換し、ＤＣ入力コネクタ１１２を介して充電／ＰＣ転送用クレードル部７（充電制御部９４）に供給する。
The
次に、第１実施形態における動画像（静止画像、音声等を含む）に対する編集操作に応じて再生制御情報（プレイリスト）を作成する再生編集制御部１３０、及び再生制御情報を参照して動画像を再生出力する復号再生制御部１４０の各機能について説明する。
Next, a reproduction
第１実施形態の電子カメラは、撮影した動画像に対する編集については、動画像データを編集して編集後の動画像に置き換えて記録する代りに、ＭＰＥＧ等で符号化して圧縮記録した動画像の元データを残したまま、所定単位毎（例えばＧＯＰ単位毎、時間毎、シーン毎）の再生順序の変更（ジャンプ）やスキップ、シーン切替わり時の遷移画面効果（トランジションエフェクト）など、編集内容を表す再生制御情報を再生制御用プログラム（プレイリスト）として設定して記録する。 In the electronic camera of the first embodiment, when editing a captured moving image, instead of editing the moving image data and recording the edited moving image, the moving image is encoded and compressed and recorded by MPEG or the like. Edit contents such as changing the playback order (jump) or skipping every predetermined unit (for example, every GOP unit, every time, every scene), transition screen effect (transition effect) when switching scenes, with the original data remaining Reproduction control information to be represented is set and recorded as a reproduction control program (playlist).
また、動画像データを再生出力する際には、プレイリストを呼び出して、その再生制御情報を参照しながら、再生順序を自動的に切替えたり、特殊処理を付加した動画像を生成して再生出力する。 Also, when playing back and outputting moving image data, the playlist is called and the playback order is automatically switched while referring to the playback control information, or a moving image with special processing is generated and played back. To do.
図２は、再生編集制御部１３０の機能構成を示すブロック図、図３は、復号再生制御部１４０の機能構成を示すブロック図である。再生編集制御部１３０と復号再生制御部１４０は、制御回路１０、圧縮符号化／復号部２４、及び編集／再生制御部２６によって実現される。メモリ媒体／通信路１３６，１４２は、静止画像／動画像／音声データメモリ２８とプレイリストメモリ３０、さらには例えば外部Ｉ／Ｏインタフェース４８を介して接続される通信路（外部機器）に相当する。
FIG. 2 is a block diagram showing the functional configuration of the playback /
図２に示すように、再生編集制御部１３０は、再生方法編集部１３０ａ、多重分離復号部１３０ｂ、各種復号部１３０ｃ、フレーム内画像復号部１３０ｄ、縮小インデックス画像作成部１３０ｅ、音声インデックス作成部１３０ｆ、プレイリスト作成部１３０ｇ、及びシーン切替識別部１３０ｈが設けられている。
As shown in FIG. 2, the playback
再生方法編集部１３０ａは、符号化された動画像データ（ＭＰＥＧファイル１３２）に対するユーザからの編集操作を入力し、この編集操作に応じて、動画像への編集内容を表す再生制御情報を含むプレイリストを編集する。例えば、再生編集制御部１３０は、編集モードの画面中に、インデックス画像作成部１３０ｅにより編集対象とする単位（例えばＧＯＰ）毎のインデックス画像（例えばＩピクチャ）の列と共に、例えばスキップ、ジャンプ、ワイプ、ディゾルブ、フェードイン、フェードアウト、タイトルの付加、ＢＧＭ、アフレコ音、効果音付加などの編集アイコンを表示させる。再生方法編集部１３０ａは、編集モードの画面中において、ユーザにより編集対象とするインデックス画像と編集アイコンとを選択させることで編集操作を入力する。ユーザは、動画像に対する編集操作として、インデックス画像と編集アイコンとを選択するだけで良いため、例えば楽譜に音符や伴奏をつけるような感覚で、プレイリストを自動生成させることができる。
The reproduction
多重分離復号部１３０ｂは、ＭＰＥＧファイル１３２の多重符号化されたデータ（多重符号化データ）から、符号化された動画像データと音声データとを分離する。
The demultiplexing /
各種復号部１３０ｃは、動画像の編集用に用意された画像・音声ファイル１３４の符号化された画像データあるいは音声データを復号する。編集用の音声ファイルには、例えばＢＧＭ、アフレコ音、効果音などの動画像に付加して再生するための音声データが含まれる。
The
フレーム内画像復号部１３０ｄは、多重分離復号部１３０ｂあるいは各種復号部１３０ｃにより分離された画像データに対し、フレーム内復号して画像データを生成する。
The intra-frame
縮小インデックス画像作成部１３０ｅは、フレーム内画像復号部１３０ｄにより生成された画像データをもとに、編集処理の単位毎、例えばＧＯＰ単位毎、シーン単位毎、所定の時間単位毎、ユーザが設定したチャプタ毎などのインデックス画像を生成し、編集モードの表示部１９において一覧表示させる。インデックス画像作成部１３０ｅは、シーン単位毎のインデックス画像を表示する場合、インデックス画像作成部１３０ｅにより識別される動画像中のシーンの切替位置に応じて、インデックス画像を作成する。なお、再生編集制御部１３０は、編集モードの画面中に、編集対象とする単位毎にインデックス画像作成部１３０ｅにより生成されるインデックス画像を表示させるだけでなく、動画像データを復号しながら生成した縮小動画像のクリップを表示させるようにしても良い。
The reduced index
音声インデックス作成部１３０ｆは、各種復号部１３０ｃにより復号された音声データをもとに、編集処理の単位毎の音声インデックスを作成して、表示部１９において一覧表示させる。
The voice
プレイリスト作成部１３０ｇは、再生方法編集部１３０ａにより編集された動画像に対する編集内容を表す再生制御情報を含むプレイリストを作成して、プレイリストファイル１３６ｂとしてプレイリストメモリ３０に記録する。なお、プレイリストは、例えば表形式のデータファイル、あるいは編集コードと該当ＧＯＰ等の対応付けが識別できるものなら、ＸＭＬ（Extensible Markup Language）形式など簡易なプログラム、ＣＳＶ（Comma Separated Value：コンマ区切り）ファイルやテキストファイルなどでも構わない。プレイリストの詳細な構成例については後述する。
The
シーン切替識別部１３０ｈは、例えばフレーム内画像復号部１３０ｄによって復号される画像（例えばＩピクチャ）をもとにした画像間の相関度、あるいは動画像撮影時にユーザから入力された指示に応じて動画像と関連付けて記録されたデータに応じてシーンの区切り位置を識別する。
The scene switching
なお、再生編集制御部１３０による再生方法の編集処理では、動画像に対する編集操作に応じてプレイリストファイル１３６ｂを作成するが、動画像データ自体には編集を施さないため、ＭＰＥＧファイル１３６ａと追加画像・音声ファイル１３６ｃは元データのままである。
In the editing process of the playback method by the playback
次に、復号再生制御部１４０は、図３に示すように、再生順序制御部１４０ａ、フレーム間復号部１４０ｂ、フレーム内復号部１４０ｃ、特殊効果合成部１４０ｄ、フレーム内復号部１４０ｅ、フレーム間復号部１４０ｆ、効果音合成部１４０ｇ、及び音声復号部１４０ｈが設けられている。
Next, as shown in FIG. 3, the decoding /
再生順序制御部１４０ａは、再生編集制御部１３０によって作成されたプレイリストファイル１４２ａ（１３６ｂ）を参照して、ＭＰＥＧファイル１４２ｂの動画像データ、追加画像ファイル１４２ｃの画像データ、及び追加音声ファイル１４２ｄの音声データの再生順序を制御する。再生順序制御部１４０ａは、フレーム間復号部１４０ｂ，１４０ｆ及びフレーム内復号部１４０ｃ，１４０ｅによる復号、フレーム内復号部１４０ｅによる特殊効果の合成（画像生成）、効果音合成部１４０ｇと音声復号部１４０ｈによる音声の生成の順番を制御する。
The reproduction
フレーム間復号部１４０ｂ，１４０ｆは、符号化された動画像データに対して、フレーム間復号により画像データを生成する。
The
フレーム内復号部１４０ｃ，１４０ｅは、符号化された動画像データに対して、フレーム内復号により画像データを生成する。 The intra-frame decoding units 140c and 140e generate image data by intra-frame decoding for the encoded moving image data.
特殊効果合成部１４０ｄは、プレイリストにおいて設定された、動画像に対して付加する特殊効果の画像を、例えばフレーム内復号部１４０ｃ，１４０ｅのそれぞれにより復号された２枚の画像（例えば遷移元画像、遷移先画像）を用いて合成する。ここでは、例えば特殊効果に応じて、複数枚の画像からなる遷移画面の連続画像を合成する。 The special effect synthesizing unit 140d has two images (for example, transition source images) decoded by the intra-frame decoding units 140c and 140e, respectively, for example, special effect images set in the playlist and added to the moving images. , Transition destination image). Here, for example, a continuous image of a transition screen composed of a plurality of images is synthesized according to a special effect.
効果音合成部１４０ｇは、プレイリストに設定された動画像に付加する効果音を、追加音声ファイル１４２ｄの音声データをもとに合成する。
The sound
音声復号部１４０ｈは、プレイリストに設定された動画像に付加する音声（ＢＧＭ、アフレコ音など）を、追加音声ファイル１４２ｄの音声データをもとに合成する。
The
再生出力制御部１４０ｋは、プレイリストファイル１４２ａのプレイリスト（再生制御情報）に応じて、フレーム間復号部１４０ｂ，１４０ｆにより復号された画像、フレーム内復号部１４０ｃ，１４０ｅにより復号された画像、特殊効果合成部１４０ｄにより合成された画像、効果音合成部１４０ｇにより合成される音声、及び音声復号部１４０ｈにより復号された音声を出力することで、プレイリストが表す編集が施された動画像（画像、音声）を出力させる。
The reproduction
次に、再生編集制御部１３０による再生編集と復号再生制御部１４０による再生出力の制御、及び圧縮符号化／復号部２４の詳細な構成について、図４を参照しながら説明する。
Next, the reproduction / editing by the reproduction /
図１に示す圧縮符号化／復号部２４は、図４に示すように、ＭＰＥＧ符号器（エンコーダ）２４ａとＭＰＥＧ復号器（デコーダ）２４ｂを含んで構成される。なお、ＭＰＥＧ符号器２４ａとＭＰＥＧ復号器２４ｂは、既存のＭＰＥＧ方式を用いた符号器／復号器であり、詳細な構成についての説明を省略する。
As shown in FIG. 4, the compression encoding /
ＭＰＥＧ符号器２４ａは、ズーム撮像部４により撮影された動画像のデータについて符号化して画像符号化データを生成する。ＭＰＥＧ符号器２４ａは、音声符号化部４０により出力される、動画像の撮影時にマイク４３から入力された音声についての音声符号化データを画像符号化データと多重化して、多重符号化データ（符号化された動画像データ）として出力する。
The
再生編集制御部１３０は、図２に示す構成により、符号化された動画像データ（ＭＰＥＧファイル）に対して逆多重化復号し（多重分離復号部１３０ｂ）、例えばＧＯＰ単位のフレーム画像内復号により得られる画像（Ｉピクチャ）をもとにインデックス画像を作成して、編集モードの画面に表示出力させる。再生編集制御部１３０は、ユーザから編集モードの画面中で指定される入力操作、すなわちインデックス画像に対する再生順番の指定と編集アイコンの選択に応じてプレイリストを編集し、プレイリストファイル１３６ｂ（１４２ａ）として記録する。
The playback /
復号再生制御部１４０の再生順序制御部１４０ａは、再生編集制御部１３０により生成されるプレイリスト（プレイリストファイル１３６ｂ，１４２ａ）を参照して、ＭＰＥＧ復号器２４ｂにより、所定単位毎の符号化された動画像データ（音声データを含む）を復号する順序を制御する。また、ＭＰＥＧ復号器２４ｂによるフレーム内復号により生成されるＩピクチャ画像１７１をもとに、特殊効果の編集に応じた遷移画像（連続画像）を特殊効果合成部１４０ｄにより合成させる。再生出力制御部１４０ｋは、ＭＰＥＧ復号器２４ｂにより復号された画像、合成された特殊効果を表す連続画像、及び音声を、プレイリストに設定され再生制御情報に応じて出力させる（ビデオ再生出力、音声再生出力）。
The playback
次に、圧縮符号化／復号部２４による符号化により生成されるＭＰＥＧ動画像データの階層構造と符号／復号フレーム順序の概略について説明する。
Next, an outline of the hierarchical structure and the encoded / decoded frame order of MPEG moving image data generated by encoding by the compression encoding /
図５には、ＭＰＥＧ動画像データの階層構造を示している。
図５に示すように、ＭＰＥＧ動画像データは、シーケンス層、ＧＯＰ（Group Of Pictures）層、ピクチャ層、スライス層、マクロブロック層、ブロック層の６層の階層構造からなっている。
FIG. 5 shows a hierarchical structure of MPEG moving image data.
As shown in FIG. 5, MPEG moving image data has a six-layered structure including a sequence layer, a GOP (Group Of Pictures) layer, a picture layer, a slice layer, a macroblock layer, and a block layer.
図５（Ａ）に示すシーケンス層は、一連の同じ属性をもつ画面グループからなり、ＧＯＰ層を含んでいる。ＧＯＰ層は、ランダムアクセスの単位となる画面グループの最小単位である。ピクチャ層は１枚の画面に共通な属性（例えば画面符号化モード（Ｉ，Ｐ，Ｂのピクチャタイプ））、スライス層は、１枚の画面を任意の長さに分割した小画面に共通の情報、マクロブロック層は、スライス層をさらに分割した画素ブロックに共通の情報、ブロック層は、変数係数そのものを表している。 The sequence layer shown in FIG. 5A includes a series of screen groups having the same attribute, and includes a GOP layer. The GOP layer is a minimum unit of a screen group that is a unit of random access. The picture layer has attributes common to one screen (for example, screen coding mode (I, P, B picture types)), and the slice layer is common to small screens obtained by dividing one screen into arbitrary lengths. The information and macroblock layer are information common to the pixel blocks obtained by further dividing the slice layer, and the block layer represents the variable coefficient itself.
図６には、符号化／復号化時のフレーム画像の順序を示している。
ＭＰＥＧでは、画像の３つのタイプ、Ｉピクチャ（Intra符号化画像）、Ｐピクチャ（Predictive符号化画像）、Ｂピクチャ（Bidirectionally predictive符号化画像）が規定されている。
FIG. 6 shows the order of frame images at the time of encoding / decoding.
In MPEG, three types of images, I picture (Intra encoded image), P picture (Predictive encoded image), and B picture (Bidirectionally predictive encoded image) are defined.
Ｉピクチャは、ＧＯＰの独立性を保つために設けられ、その情報だけからフレーム内符号化された画面であり、フレーム間予測を使わずに生成される。Ｐピクチャは、ＩピクチャまたはＰピクチャからの予測を行うことによって生成される画面であり、フレーム内予測画面と順方向フレーム間予測画面とを含んでいる。Ｂピクチャは、双方向予測によって生成される画面であり、フレーム内予測符号化、順方向と逆方向のフレーム間予測符号化により生成される。 The I picture is a screen that is provided in order to maintain the independence of the GOP, and is intra-frame encoded only from the information, and is generated without using inter-frame prediction. A P picture is a screen generated by performing prediction from an I picture or a P picture, and includes an intra-frame prediction screen and a forward inter-frame prediction screen. A B picture is a screen generated by bi-directional prediction, and is generated by intra-frame prediction encoding and inter-frame prediction encoding in the forward and reverse directions.
図６（ａ）に示すように、元画像（入力画像）が入力される場合、Ｂピクチャをスキップして次のＩ，Ｐピクチャを先に符号化し、その後に、間にあるＢピクチャを符号化するため、符号化画像（記録媒体内）では、図６（ｂ）に示すようＢピクチャがＩピクチャとＰピクチャとの間に挿入される。 As shown in FIG. 6A, when the original image (input image) is input, the B picture is skipped, the next I and P pictures are encoded first, and then the B picture in between is encoded. Therefore, in the encoded image (in the recording medium), a B picture is inserted between the I picture and the P picture as shown in FIG.
図６（ｂ）に示す符号化画像を復号化（出力）する場合、Ｂピクチャについては直ちに復号して表示し、Ｉ，Ｐピクチャについては復号した後に、間に入るＢピクチャを復号化して表示した後に表示する。 When the encoded image shown in FIG. 6B is decoded (output), the B picture is immediately decoded and displayed, and the I and P pictures are decoded and then the intermediate B picture is decoded and displayed. Display after.
第１実施形態の電子カメラでは、動画像に対する編集操作を入力する際、例えばＧＯＰ単位でフレーム内復号してＩピクチャをインデックス画像として、編集モードの画面中に表示させる。編集操作の入力は、インデックス画像に対する指定により行われるため、動画像データを符号化したままでＧＯＰ単位での編集（プレイリストの作成）を容易かつ迅速にすることができる。 In the electronic camera according to the first embodiment, when an editing operation for a moving image is input, for example, intra-frame decoding is performed in units of GOP, and an I picture is displayed as an index image on the editing mode screen. Since the input of the editing operation is performed by designating the index image, editing (playlist creation) in GOP units can be easily and quickly performed while the moving image data is encoded.
次に、第１実施形態における電子カメラの動作について説明する。
図７は、電子カメラの全体の制御の流れを説明するためのフローチャートである。
Next, the operation of the electronic camera in the first embodiment will be described.
FIG. 7 is a flowchart for explaining the overall control flow of the electronic camera.
まず、操作入力部１５のモードスイッチが撮影モードに切り替えられると、制御回路１０は、入力回路１２を通じて動作モードの切り替えが指示され、これにより撮影モードに移行する（ステップＡ１、Ｙｅｓ）。撮影モードに入ると、制御回路１０は、撮影条件の設定を行ない（ステップＡ２）、測距制御部７９を制御して測光／測距センサ６２により測光処理を実行し（ステップＡ３）、またズーム制御部７２を制御してズーム処理を実行し（ステップＡ４）、さらに焦点制御部７１を制御してオートフォーカス処理を実行する（ステップＡ５）。
First, when the mode switch of the
制御回路１０は、ズーム撮像部４により撮影される画像を表示部１９においてスルー表示して、ファインダとして機能させる（ステップＡ６）。
The
ここで、静止画撮影半押し／シャッタボタン１３に対する操作によって静止画像の撮影実行が指示されると（ステップＡ７）、制御回路１０は、測光処理を実行させ（ステップＡ８）、ズーム撮像部４により撮影条件と測光値に従って静止画像を撮影させる（ステップＡ９）。制御回路１０は、ズーム撮像部４により撮像された静止画像のデータを、画像バッファメモリ２０に一時記録し、圧縮符号化／復号部２４により符号化して静止画像／動画像／音声データメモリ２８あるいは、外部メモリインタフェース３６を通じて外部メモリ３７に記録する（ステップＡ１０）。また、制御回路１０は、撮像された静止画像データを表示メモリ１７に記憶させ、表示駆動部１８により表示部１９において表示させる（ステップＡ１１）。
Here, when execution of still image shooting is instructed by an operation on the still image shooting half-press / shutter button 13 (step A7), the
一方、動画撮影開始／停止ボタン１４に対する操作によって動画像の撮影の実行が指示されると（ステップＡ１４、Ｙｅｓ）、制御回路１０は、測光処理を実行させ（ステップＡ１５）、ズーム撮像部４により撮影条件と測光値に従い動画像を撮影させる（ステップＡ１６）。制御回路１０は、ズーム撮像部４により撮影される動画像データを画像バッファメモリ２０に順次記録していき、圧縮符号化／復号部２４により符号化して静止画像／動画像／音声データメモリ２８あるいは、外部メモリインタフェース３６を通じて外部メモリ３７に記録する（ステップＡ１７）。
On the other hand, when execution of moving image shooting is instructed by an operation on the moving image shooting start / stop button 14 (step A14, Yes), the
図８（ａ）には、動画像を撮影する動画撮影モードにおける表示部１９に表示される画面の一例を示している。
FIG. 8A shows an example of a screen displayed on the
ここで、その他のキー操作があった場合には、制御回路１０は、入力されたキー操作に応じた表示処理等を実行する（ステップＡ１２，Ａ１３）。
Here, when there is another key operation, the
ところで、操作入力部１５のモードスイッチの操作により再生モードに切り替えられると、制御回路１０は、編集／再生制御部２６を起動して再生モードに移行する（ステップＡ２２、Ｙｅｓ）。
By the way, when the mode is switched to the playback mode by operating the mode switch of the
再生モードに移行すると、制御回路１０は、例えば図８（ｂ）に示すように、１ファイル毎に動画像を再生する再生モードの表示画面を表示する。ここで、例えばズーム操作レバーを（Ｗ）側にする操作により、インデックス表示の実行が指示されると（ステップＡ２３。Ｙｅｓ）、制御回路１０は、静止画像／動画像／音声データメモリ２８に記録されている画像データをもとにインデックス画像を生成し、インデックス画像の一覧を表示部１９において表示させる（ステップＡ２４）。
When the playback mode is entered, the
図８（ｃ）には、インデックス表示した再生モードの表示画面の一例を示している。インデックス画像の一覧では、例えばカーソルキーの操作によって、再生対象とする動画像を任意に指定することができる。また、インデックス画像の一覧表示では、例えばズーム操作レバーを（Ｔ）側にする操作により、図８（ｂ）に示す１ファイル毎に動画像を再生する再生モードの表示画面を表示させることができる。 FIG. 8C shows an example of the display screen of the reproduction mode displayed as an index. In the list of index images, for example, a moving image to be reproduced can be arbitrarily designated by operating a cursor key. In the index image list display, for example, by operating the zoom operation lever to the (T) side, a display screen of a playback mode for reproducing a moving image for each file shown in FIG. 8B can be displayed. .
なお、図８（ｂ）に示す再生モードの画面では、チャプタ登録用のボタンが設けられており、例えばカーソルキーの下方向キーの操作により、動画像に対してチャプタを設定することができる。制御回路１０は、ユーザからのチャプタ指定に応じて、動画像データと関連付けてチャプタに関するデータを記録しておく。
In the playback mode screen shown in FIG. 8B, chapter registration buttons are provided. For example, a chapter can be set for a moving image by operating the down key of the cursor key. The
制御回路１０は、操作入力部１５のメニューキーに対する操作によってメニュー表示が要求されると、例えば図９（ａ）（ｂ）に示すようなメニューを表示部１９に表示させる。
When the menu display is requested by an operation on the menu key of the
例えば、図９（ａ）に示すような再生に関係する複数の項目が設けられた再生メニュー、図９（ｂ）に示す動画編集に関係する複数の項目が設けられた編集メニュー、各種設定に関係する設定メニュー（図示せず）が用意されている。制御回路１０は、例えばカーソルキーの左右キーの操作に応じてメニュー表示を切り替える。また、制御回路１０は、各メニューにおいて、上下キーの操作に応じて、選択対象とするメニュー項目を切り替える。
For example, a playback menu provided with a plurality of items related to playback as shown in FIG. 9A, an edit menu provided with a plurality of items related to video editing shown in FIG. 9B, and various settings. Related setting menus (not shown) are prepared. For example, the
再生メニューでは、動画像あるいは静止画像の再生などの実行を指示することができる。例えば、図９（ａ）に示すように、「プレイリスト再生」の項目を選択することで、後述する動画像のプレイリストに応じた編集を施しながらの動画再生の実行を指示することができる。また、編集メニューでは、図９（ｂ）に示すように、「プレイリスト編集・エフェクト」の項目を選択することで、後述する動画像に対する編集（プレイリストの作成）の実行を指示することができる。 In the playback menu, execution of playback of moving images or still images can be instructed. For example, as shown in FIG. 9A, by selecting an item “play list reproduction”, it is possible to instruct execution of moving image reproduction while performing editing according to a moving image playlist to be described later. . In the edit menu, as shown in FIG. 9B, by selecting the item “playlist editing / effect”, it is possible to instruct execution of editing (playlist creation) on a moving image to be described later. it can.
再生モード（図８（ｂ）に示す１ファイル毎）において通常の動画再生が指示されると（ステップＡ２３，Ａ２５、Ａ２６（Ｎｏ））、制御回路１０は、静止画像／動画像／音声データメモリ２８に記録された複数の動画像データから、インデックス画像の一覧表示から再生対象として選択された動画像データを読み出して、圧縮符号化／復号部２４により復号し（ステップＡ２８）、この復号された動画像データを表示メモリ１７に記憶させて表示部１９により再生表示させる（ステップＡ２９）。制御回路１０は、再生対象とする動画像データの全てについて処理が完了するまで再生出力を継続する（ステップＡ３０）。
When normal moving image reproduction is instructed in the reproduction mode (for each file shown in FIG. 8B) (steps A23, A25, A26 (No)), the
また、再生メニューからプレイリストによる再生が指示されると（ステップＡ２６、Ｙｅｓ）、制御回路１０は、編集／再生制御部２６及び圧縮符号化／復号部２４により、プレイリストメモリ３０に記憶されたプレイリストを用いた再生処理を実行させる（ステップＡ２７）。プレイリストによる再生処理の詳細については後述する（図２８参照）。
Further, when playback by a playlist is instructed from the playback menu (step A26, Yes), the
なお、再生メニューなどから静止画の再生が指示されると（ステップＡ３１、Ｙｅｓ）、制御回路１０は、静止画像／動画像／音声データメモリ２８に記録された複数の静止画像から再生対象として選択された静止画像データを読み出して圧縮符号化／復号部２４により復号し（ステップＡ３２）、この復号した画像データを表示メモリ１７に記録することで表示部１９において表示させる（ステップＡ３３）。
Note that when playback of a still image is instructed from a playback menu or the like (step A31, Yes), the
一方、操作入力部１５のモードスイッチの操作、あるいは編集メニューから編集モードの実行が指示されると（ステップＡ１８、Ｙｅｓ）、制御回路１０は、通常の動画像あるいは静止画像に対する編集を実行する編集処理、あるいは編集操作入力に応じてプレイリストを作成する再生方法の編集処理を実行するための編集モードに移行する（ステップＡ１９）。なお、再生方法の編集処理の詳細については後述する（図１０参照）。
On the other hand, when the operation of the mode switch of the
なお、その他のキー操作があった場合には、制御回路１０は、入力されたキー操作に応じた表示処理等を実行する（ステップＡ２０，Ａ２１）。
When there is another key operation, the
次に、図７のステップＡ１９に示す再生方法の編集処理（プレイリストの作成）について、図１０に示すフローチャートを参照しながら説明する（図２に示す再生編集制御部１３０参照）。
第１実施形態における再生方法の編集処理では、動画像に対する編集や特殊効果などの再生方法の設定（プレでリストの編集）を、例えばＧＯＰ単位でフレーム内復号したＩピクチャからインデックス画像を作成して一覧表示し（あるいは動画像データを復号しながら生成した縮小動画像のクリップでも良い）、この一覧画面上でインデックス画像に対してカーソルキー等で再生順序を指定することができる。また、例えば、インデックス画像の列の下に、スキップや、ジャンプ、ワイプ、ディゾルブ、フェードイン、フェードアウト、タイトル、ＢＧＭ、アフレコ音、効果音付加などの複数の編集アイコンを設け、カーソルキーで編集アイコンを選択することで、インデックス画像に対応する所定単位の動画像に対する編集内容を入力することができる。ユーザにより編集対象とするインデックス画像と編集アイコンとを選択させることで編集操作を入力し、この操作内容をプレイリストとして編集して記録する。
Next, editing processing (playlist creation) of the playback method shown in step A19 in FIG. 7 will be described with reference to the flowchart shown in FIG. 10 (see the playback
In the editing process of the playback method in the first embodiment, an index image is created from an I picture obtained by intra-frame decoding, for example, setting of a playback method such as editing for moving images and special effects (list editing in advance) in GOP units. Then, a list (or a clip of a reduced moving image generated while decoding moving image data may be used) can be displayed, and the playback order can be designated with the cursor key or the like for the index image on this list screen. Also, for example, a plurality of editing icons such as skip, jump, wipe, dissolve, fade-in, fade-out, title, BGM, post-recording sound, and sound effect addition are provided below the index image column, and the edit icon is selected with the cursor key. By selecting, it is possible to input edit contents for a predetermined unit of moving image corresponding to the index image. The user inputs an editing operation by selecting an index image to be edited and an editing icon, and edits and records the operation content as a playlist.
まず、ユーザからの指定に応じて、静止画像／動画像／音声データメモリ２８に記録された複数の動画像データ（ＭＰＥＧファイル１３２）から編集対象とする動画像データを選択する（ステップＢ１）。 First, in accordance with designation from the user, moving image data to be edited is selected from a plurality of moving image data (MPEG file 132) recorded in the still image / moving image / audio data memory 28 (step B1).
再生編集制御部１３０は、多重分離復号部１３０ｂにより分離された動画像データについて圧縮符号化／復号部２４により復号し、所定単位毎のインデックス画像を生成して、編集モード用の画面として表示部１９において一覧表示させる（ステップＢ２）。ここでは、所定単位のインデックス画像として、例えば時間毎、シーン毎、ＧＯＰ毎のインデックス画像をそれぞれ生成して一覧表示できるものとする。
The reproduction
図１１（ａ）（ｂ）には、編集モードの表示画面においてインデックス画像の一覧が表示されている例を示している。インデックス画像の一覧画面では、「時間毎」、「シーン毎」、「ＧＯＰ毎」のそれぞれに対応するタグが設けられており、例えばディスプレイボタンによりタグの選択状態に切り替え、カーソルキーの上下キーにより任意にタグを選択することができる。なお、ユーザが再生モードや編集モードで設定したチャプタ毎の先頭画像をインデックス画像として一覧表示するようにしても良い（図示せず）。 FIGS. 11A and 11B show an example in which a list of index images is displayed on the edit mode display screen. On the index image list screen, tags corresponding to “every hour”, “every scene”, and “every GOP” are provided. For example, the display is switched to the tag selection state by the display button, and the up and down keys of the cursor key are used. A tag can be arbitrarily selected. Note that the top image for each chapter set by the user in the playback mode or edit mode may be displayed as a list as an index image (not shown).
図１１（ａ）は、「時間毎」のタグが指定された場合のインデックス画像の一覧表示例を示している。「時間毎」のインデックス画像の一覧表示では、例えば５分毎の先頭画像からインデックス画像（あるいはクリップ動画像）を生成して一覧表示する。また、タイムライン（時間軸目盛）を表示して動画像全体の長さと表すと共に、現在、インデックス画像の一覧表示の対象となっている動画像の範囲を表している。一覧表示画面では、上下左右のカーソルキーにより、インデックス画像を一覧表示させる範囲を切り替え、またセットキーにより選択対象とするインデックス画像（例えば、左上の位置にあるインデックス画像）に対応する範囲の動画像を再生させることができる。また、インデックス画像単位での再生順序の変更と特殊効果の付加による編集の実行する指定するための「編集」の項目が設けられている。例えば、ディスプレイボタンに対する操作によって、編集操作の実行を指示することができる。 FIG. 11A shows an example of a list display of index images when the “every hour” tag is designated. In the list display of “every hour” index images, for example, index images (or clip moving images) are generated from the top image every five minutes and displayed as a list. In addition, the timeline (time axis scale) is displayed to represent the length of the entire moving image, and also represents the range of moving images that are currently subject to index image list display. On the list display screen, the range of index images to be displayed is switched using the up / down / left / right cursor keys, and the moving image in the range corresponding to the index image to be selected (for example, the index image at the upper left position) is set using the set key. Can be played. In addition, an “edit” item is provided for specifying execution of editing by changing the playback order in units of index images and adding special effects. For example, it is possible to instruct execution of an editing operation by an operation on a display button.
図１１（ｂ）は、「ＧＯＰ毎」のタグが指定された場合のインデックス画像の一覧表示例を示している。「ＧＯＰ毎」のインデックス画像の一覧表示では、例えば符号化された動画像データのＧＯＰ単位毎の先頭画像からインデックス画像（あるいはクリップ動画像）を生成して一覧表示する。なお、その他は、図１１（ａ）と同じであるので説明を省略する。 FIG. 11B shows a list display example of index images when the tag “for each GOP” is designated. In the index display of “for each GOP”, for example, an index image (or clip moving image) is generated from the top image for each GOP unit of encoded moving image data and displayed in a list. The rest of the configuration is the same as that shown in FIG.
なお、図示していないが、「シーン毎」のタグが指定された場合には、編集対象とする動画像データからシーンの切り替え位置を自動で識別し（図２、シーン切替識別部１３０ｈ）、この識別したシーン毎の先頭画像をもとにインデックス画像を生成して一覧表示する。動画像データからシーンの切り替え位置を識別するシーン識別処理の詳細については後述する（図１７、図１８）。
Although not shown, when the “for each scene” tag is designated, the scene switching position is automatically identified from the moving image data to be edited (FIG. 2, scene switching identifying
また、インデックス画像が一覧表示されている状態で、例えばディスプレイボタンの操作により編集操作の実行が指示された場合には、インデックス画像単位で再生順序を設定するための編集モード画面が表示される。 When an index image is displayed in a list and an execution of an editing operation is instructed by operating a display button, for example, an editing mode screen for setting a playback order in units of index images is displayed.
図１１（ｃ）には、再生順序の設定中の画面の一例を示している。図１１（ｃ）に示すように、画面上部には再生順が指定されたインデックス画像を表示するための再生順序エリアが設けられ、画面下部にはインデックス画像を表示する撮影画像エリアが設けられている。 FIG. 11C shows an example of a screen in which the playback order is being set. As shown in FIG. 11C, a playback order area for displaying an index image in which the playback order is specified is provided at the top of the screen, and a captured image area for displaying the index image is provided at the bottom of the screen. Yes.
この画面では、例えば左右方向のカーソルキーの操作により、一覧表示されるインデックス画像を変更させることができ、さらにセットキーによって再生対象とするインデックス画像（例えば左端にあるインデックス画像）を指定することができる。セットキーの操作により再生対象として選択されたインデックス画像は、画面上部の再生順序エリアに表示される。従って、複数のインデックス画像から再生順序に従って、順次、インデックス画像を選択していくことにより、所定単位での再生順序を指定することがてきる。また、再生対象として選択しないことで、カット（削除）することもできる。 On this screen, for example, the index image displayed in a list can be changed by operating the left and right cursor keys, and the index image to be reproduced (for example, the index image at the left end) can be designated by the set key. it can. The index image selected as a reproduction target by the operation of the set key is displayed in the reproduction order area at the top of the screen. Therefore, by sequentially selecting index images from a plurality of index images according to the reproduction order, it is possible to designate the reproduction order in a predetermined unit. In addition, it is possible to cut (delete) by not selecting as a reproduction target.
また、図１１（ｃ）に示す再生順序の設定中の画面において、例えば上下方向のカーソルキーの操作により、特殊効果を付加するための編集モード画面が表示される。 In addition, on the screen in which the playback order is being set shown in FIG. 11C, an edit mode screen for adding special effects is displayed, for example, by operating the up and down cursor keys.
図１２（ａ）には、特殊効果の付加の設定中の画面の一例を示している。図１２（ａ）に示すように、画面上部には再生順が指定されたインデックス画像を表示するための再生順序エリアが設けられ、画面下部には編集（特殊効果）内容を表す編集アイコンを表示する編集アイコンエリアが設けられている。 FIG. 12A shows an example of a screen in which special effect addition is being set. As shown in FIG. 12A, a playback order area for displaying an index image in which the playback order is specified is provided at the top of the screen, and an edit icon representing editing (special effect) content is displayed at the bottom of the screen. An edit icon area is provided.
編集アイコンエリアには、「トランジション」「デジタルエフェクト」「効果音」のタグが設けられており、例えば左右方向のカーソルキーの操作によって任意のタグを選択することができる。 In the edit icon area, tags of “transition”, “digital effect”, and “sound effect” are provided, and for example, an arbitrary tag can be selected by operating the left and right cursor keys.
例えば、「トランジション」のタグが選択された場合には、図１２（ａ）に示すように、遷移画面効果を施す編集を付加するための複数の編集アイコンを表示させる。また、「デジタルエフェクト」のタグが選択された場合には、図１２（ｂ）に示すように、デジタルエフェクトを施す編集を付加するための複数の編集アイコンを表示させる。 For example, when the “transition” tag is selected, as shown in FIG. 12A, a plurality of editing icons for adding editing for applying the transition screen effect are displayed. When the “digital effect” tag is selected, as shown in FIG. 12B, a plurality of editing icons for adding editing for applying the digital effect are displayed.
なお、図１２（ａ）（ｂ）に示す編集アイコンが表示された編集モード画面では、キー操作などによって、再生順序エリアにおいて設定されたインデックス画像から、編集アイコンを付加する対象とするものを任意に指定することができるものとする。 In addition, in the edit mode screen on which the edit icons shown in FIGS. 12A and 12B are displayed, any of the index images set in the playback order area to which the edit icon is added can be arbitrarily selected by a key operation or the like. Can be specified.
遷移画面効果（トランジションエフェクト）による編集は、例えば図１３（ａ）に示すように、２つのインデックス画像のそれぞれに対応する動画像、クリップ＃１，＃２がある場合に、遷移元のクリップ＃１に対応するインデックス画像に対してトランジションの編集アイコンを付加することで、クリップ＃１の最後のＧＯＰのＩピクチャを復号した画像Ａと、遷移後のクリップ＃２の最初のＧＯＰのＩピクチャを復号した画像Ｂとから、画像の遷移を表現する各種の画面効果による連続画像を合成して、図１３（ｂ）に示すようにクリップ＃１，＃２の間に合成する。
For example, as shown in FIG. 13A, editing by the transition screen effect (transition effect) is performed when there are moving images and
図１４には、トランジションエフェクトに関係する編集アイコン（図１４（ａ）〜（ｈ））と、それぞれに対応する画面遷移の例を示している。例えば、画面Ａを拭き取るように画面Ｂに切り変わるワイプ（図１４（ａ））、画面Ａと画面Ｂとがオーバーラップして溶け込むように変わるディゾルブ（図１４（ｂ））など単純なものから、画面Ａのドアを開けると画面Ｂに遷移するドア・オープン（図１４（ｄ））、画面Ａのページをめくって画面Ｂに変わるページ・ピール（図１４（ｅ））、立方体が回転しながら画面が切り替わるキューブ・スピン（図１４（ｆ））など画像の縮小や変形モディファイ処理を要する複雑な遷移画面効果を施すものまで用意されている。 FIG. 14 shows an example of edit icons related to the transition effect (FIGS. 14A to 14H) and screen transitions corresponding to each. For example, from a simple one such as a wipe that changes to screen B to wipe screen A (FIG. 14A), a dissolve that changes so that screen A and screen B overlap and melt (FIG. 14B) When the door of the screen A is opened, the door opens to the screen B (FIG. 14 (d)), the page peels to turn to the screen B by turning the page of the screen A (FIG. 14 (e)), and the cube rotates. However, cube spins that change screens (FIG. 14 (f)) and the like that provide complex transition screen effects that require image reduction and deformation modification processing are prepared.
また、デジタルエフェクトによる編集は、例えば図１５（ａ）に示すように、インデックス画像に対応する動画像、例えばクリップ＃１がある場合に、クリップ＃１に対応するインデックス画像に対してデジタルエフェクトの編集アイコンを付加することで、図１５（ｂ）に示すよう、該当するクリップ＃１に対して編集アイコンが示すデジタルエフェクトを施す。
Further, for example, as shown in FIG. 15A, when digital image editing is performed, if there is a moving image corresponding to the index image, for example,
図１６には、デジタルエフェクトに関係する編集アイコン（図１６（ａ）〜（ｌ））と、それぞれに対応するデジタル効果の例を示している。例えば、セピア、モノクローム、モザイク、ズーム・イン／アウト、ネガ、回転、ミラー（鏡像）、スリム／ストレッチ、フレーム／マーク、はめ込み合成、ストロボムービー、スチル（静止画再生）などの各種のデジタルエフェクトを施すものが用意されている。 FIG. 16 shows an example of editing icons (FIGS. 16A to 16) related to digital effects, and digital effects corresponding to the respective icons. For example, various digital effects such as sepia, monochrome, mosaic, zoom in / out, negative, rotation, mirror (mirror image), slim / stretch, frame / mark, inset composition, strobe movie, still (still image playback) What to apply is prepared.
なお、図示していないが、「効果音」のタグが選択された場合には、効果音、あるいはＢＧＭを表す複数の編集アイコン（例えば図１２（ｂ）に示す音符記号を用いている）を表示させる。 Although not shown, when the “sound effect” tag is selected, a sound effect or a plurality of editing icons representing BGM (for example, using the note symbols shown in FIG. 12B) are used. Display.
図１２（ａ）（ｂ）に示すように、編集アイコンエリアにおいて編集アイコンが選択されると、再生順序エリアに設定されたインデックス画像の下部に、選択された編集アイコンが付加される。これにより、編集操作の内容を視認できるようになっている。 As shown in FIGS. 12A and 12B, when an edit icon is selected in the edit icon area, the selected edit icon is added to the lower part of the index image set in the playback order area. Thereby, the contents of the editing operation can be visually recognized.
以上のようにして、編集モード画面を通じて、インデックス画像に対する再生順序の編集と、再生対象として選択されたインデックス画像に対する編集アイコンの付加による編集操作入力が行われる（ステップＢ３、Ｂ４、Ｂ５）。ここでの編集操作入力は、インデックス画像の指定と編集アイコンの選択だけで良いため、広い表示画面を必要とせず、またキーやボタンなどを用いた簡単な操作のみで実行可能である。 As described above, editing of the playback order for the index image and editing operation input by adding an editing icon to the index image selected as the playback target are performed through the editing mode screen (steps B3, B4, and B5). Since the editing operation input here only needs to specify the index image and select the editing icon, it does not require a wide display screen and can be executed only by a simple operation using keys and buttons.
こうして、編集操作入力が行われると、再生編集制御部１３０（再生方法編集部１３０ａ）は、インデックス画像に付加された編集アイコンに応じて、編集再生用プレイリストを仮作成する（ステップＢ６）。
When the editing operation input is thus performed, the reproduction / edit control unit 130 (reproduction
ここで、編集結果のプレビュー表示の実行が指示された場合（ステップＢ７、Ｙｅｓ）、仮プレイリストを動画像の再生に参照するプレイリストとして指定し（ステップＢ８）、このプレイリストを用いた動画像の再生処理を実行する（ステップＢ９）。なお、プレイリストによる再生処理の詳細については後述する。 Here, when execution of preview display of the editing result is instructed (step B7, Yes), the temporary playlist is designated as a playlist to be referred to for reproduction of the moving image (step B8), and a moving image using this playlist is designated. Image reproduction processing is executed (step B9). Note that the details of the reproduction processing by the playlist will be described later.
以下、同様にして、インデックス画像の一覧表示から任意にインデックス画像を選択し、また編集アイコンを付加する編集操作をすることで、それぞれの編集操作に応じた仮プレイリストが作成される。 Similarly, a temporary play list corresponding to each editing operation is created by selecting an index image arbitrarily from the index image list display and performing an editing operation to which an editing icon is added.
こうして、編集操作入力が行われた後、編集終了の指示が入力されると（ステップＢ１０、Ｙｅｓ）、再生編集制御部１３０は、編集結果をプレイリストとして記録するか否かを、例えば表示部１９にメッセージを表示するなどしてユーザに問い合わせる（ステップＢ１１）。ここで、プレイリストとしての記録が指示された場合、仮プレイリストが示す編集結果をもとに、編集再生用プレイリストを本作成してプレイリストメモリ３０に記録する（ステップＢ１２）。
When an editing end instruction is input after the editing operation input is thus performed (step B10, Yes), the reproduction
以上の編集操作によってプレイリストが生成され、プレイリストメモリ３０に記録される。
A playlist is generated by the above editing operation and recorded in the
ここで、前述したインデックス画像の一覧表示の際に、シーン毎のインデックス画像を生成するために実行されるシーンの識別処理について説明する（図２、フレーム内画像復号部１３０ｄ、シーン切替識別部１３０ｈ）。図１７と図１８は、それぞれシーンの識別処理（第１、第２）を説明するためのフローチャートである。第１実施形態の電子カメラでは、図１７または図１８のフローチャートに示すシーンの識別処理の何れかが用いられるものとする。
Here, a scene identification process executed to generate an index image for each scene when the index image list is displayed will be described (FIG. 2, intra-frame
まず、図１７に示す第１のシーン識別処理について説明する。
まず、編集対象とする動画像データの最初のＧＯＰを読み込み（ステップＣ１）、ＧＯＰ内のＩピクチャをフレーム内復号し、前回メモリに一時記憶する（ステップＣ２）。
First, the first scene identification process shown in FIG. 17 will be described.
First, the first GOP of the moving image data to be edited is read (step C1), the I picture in the GOP is decoded in the frame, and temporarily stored in the previous memory (step C2).
次のＧＯＰを読み込み、ＧＯＰ内のＩピクチャをフレーム内復号し、今回メモリに一時記憶する（ステップＣ３）。 The next GOP is read, the I picture in the GOP is decoded in the frame, and temporarily stored in the current memory (step C3).
そして、今回メモリに記憶したＩピクチャと前回メモリに記憶したＩピクチャについて、空間パターン情報を用いた相関度Ｒを算出する（ステップＣ４）。例えば、相関度は、統計処理等で一般に用いる相関係数や、共分散と標準偏差等を用いて算出することができる。 Then, the correlation degree R using the spatial pattern information is calculated for the I picture stored in the current memory and the I picture stored in the previous memory (step C4). For example, the degree of correlation can be calculated using a correlation coefficient generally used in statistical processing or the like, or covariance and standard deviation.
例えば、ピアソンの積率相関係数（Ｒ）は、ｍ×ｎの画像やパターンでは、次式、Ｒ＝（画像ｆと画像ｔの共分散）／｛（画像ｆの標準偏差）・（画像ｔの標準偏差）｝によって計算できる。 For example, the Pearson product moment correlation coefficient (R) is expressed by the following equation for an m × n image or pattern: R = (covariance of image f and image t) / {(standard deviation of image f) · (image (standard deviation of t)}.
すなわち、積率相関係数（Ｒ）は、以下の式（１）によって算出する。
ただし、ｆ［ｘ，ｙ］は、入力画像ｆ（前回メモリ）のｘ，ｙ座標の濃度値、ｔ［ｘ，ｙ］は、参照画像ｔ（今回メモリ）のｘ，ｙ座標の濃度値、ｆAVは入力画像ｆの濃度値の平均値、ｔAVは参照画像ｔの濃度値の平均値である。 However, f [x, y] is the density value of the x and y coordinates of the input image f (previous memory), t [x, y] is the density value of the x and y coordinates of the reference image t (current memory), fAV is an average value of density values of the input image f, and tAV is an average value of density values of the reference image t.
相関度Ｒが所定値以上の場合は（ステップＣ５、Ｙｅｓ）、前のＧＯＰと連続するシーンと見なし、相関度が所定値より低い場合は（ステップＣ５、Ｎｏ）、ＧＯＰを新しいシーンヘの切り替り位置として識別する。そして、新しいシーンと識別されたＧＯＰで始まる画像に、新しいシーンＮｏ．を割り当てて記憶する（ステップＣ６）。 If the correlation degree R is greater than or equal to a predetermined value (step C5, Yes), it is regarded as a scene continuous with the previous GOP, and if the correlation degree is lower than the predetermined value (step C5, No), the GOP is switched to a new scene. Identify as a location. Then, a new scene number is added to the image starting with the GOP identified as the new scene. Is assigned and stored (step C6).
次のＧＯＰの処理のために、今回メモリ内容を前回メモリに移し（書き換え）（ステップＣ７）、最後のＧＯＰまでの処理が終了する、あるいはシーケンスコード（ＳＥＣ）を検出するまで、前述したように、各ＧＯＰを対象としてシーンに識別を行う（ステップＣ８）。 In order to process the next GOP, the contents of the current memory are transferred (rewritten) to the previous memory (step C7), and the process up to the last GOP is completed or until the sequence code (SEC) is detected as described above. The scene is identified for each GOP (step C8).
次に、図１８に示す第２のシーン識別処理について説明する。
第１のシーン識別処理では、フレーム内復号したＩピクチャの画像データの空間パターン情報をもとにシーンの切り替え位置を識別しているが、第２のシーン識別処理では、Ｉピクチャの輝度または色差のＤＣＴ係数のＤＣ（直流）成分をもとにシーンの切り替え位置を識別する。
Next, the second scene identification process shown in FIG. 18 will be described.
In the first scene identification process, the scene switching position is identified based on the spatial pattern information of the image data of the I picture decoded in the frame. In the second scene identification process, the luminance or color difference of the I picture is determined. The scene switching position is identified based on the DC (direct current) component of the DCT coefficient.
まず、編集対象とする動画像データの最初のＧＯＰを読み込み（ステップＣ１１）、ＧＯＰ内のＩピクチャの（輝度または色差データの）ＤＣＴ係数のＤＣ成分を前回メモリに一時記憶する（ステップＣ１２）。 First, the first GOP of moving image data to be edited is read (step C11), and the DC component of the DCT coefficient (luminance or chrominance data) of the I picture in the GOP is temporarily stored in the previous memory (step C12).
次のＧＯＰを読み込み、ＧＯＰ内のＩピクチャの（輝度または色差データの）ＤＣＴ係数のＤＣ成分を今回メモリに一時記憶する（ステップＣ１３）。 The next GOP is read, and the DC component of the DCT coefficient (luminance or color difference data) of the I picture in the GOP is temporarily stored in the current memory (step C13).
そして、今回メモリに記憶したＤＣ成分と前回メモリに記憶したＤＣ成分の相関度Ｒ、すなわち輝度情報（Ｙ）または色差情報（Ｃｒ、Ｃｂ）のＤＣＴ係数のＤＣ（直流）成分を用いた相関度Ｒを算出する（ステップＣ１４）。例えば、相関度は、統計処理等で一般に用いる相関係数や、共分散と標準偏差等を用いて算出することができる。 The correlation degree R between the DC component stored in the current memory and the DC component stored in the previous memory, that is, the correlation degree using the DC (direct current) component of the DCT coefficient of the luminance information (Y) or the color difference information (Cr, Cb). R is calculated (step C14). For example, the degree of correlation can be calculated using a correlation coefficient generally used in statistical processing or the like, or covariance and standard deviation.
例えば、ピアソンの積率相関係数（Ｒ）は、ｍ×ｎの画像やパターンでは、次式、Ｒ＝（ＤＣ成分ａとＤＣ成分ｂの共分散）／｛（ＤＣ成分ａの標準偏差）・（ＤＣ成分ｂの標準偏差）｝によって計算できる。 For example, the Pearson product moment correlation coefficient (R) is expressed by the following equation for an m × n image or pattern: R = (covariance of DC component a and DC component b) / {(standard deviation of DC component a) (Standard deviation of DC component b)}
すなわち、積率相関係数（Ｒ）は、前述した式（１）によって算出する。 That is, the product moment correlation coefficient (R) is calculated by the above-described equation (1).
ただし、ｆ［ｘ，ｙ］は、入力画像ｆ（前回メモリ）のｘ，ｙ座標のＤＣ成分、ｔ［ｘ，ｙ］は、参照画像ｔ（今回メモリ）のｘ，ｙ座標のＤＣ成分、ｆAVは入力画像ｆのＤＣ成分の平均値、ｔAVは参照画像ｔのＤＣ成分の平均値である。 Where f [x, y] is the DC component of the x and y coordinates of the input image f (previous memory), t [x, y] is the DC component of the x and y coordinates of the reference image t (current memory), fAV is an average value of DC components of the input image f, and tAV is an average value of DC components of the reference image t.
相関度Ｒが所定値以上の場合は（ステップＣ１５、Ｙｅｓ）、前のＧＯＰと連続するシーンと見なし、相関度が所定値より低い場合は（ステップＣ１５、Ｎｏ）、ＧＯＰを新しいシーンヘの切り替り位置として識別する。そして、新しいシーンと識別されたＧＯＰで始まる画像に、新しいシーンＮｏ．を割り当てて記憶する（ステップＣ１６）。 If the correlation degree R is greater than or equal to a predetermined value (step C15, Yes), the scene is considered to be continuous with the previous GOP. If the correlation degree is lower than the predetermined value (step C15, No), the GOP is switched to a new scene. Identify as a location. Then, a new scene No. is added to the image starting with the GOP identified as the new scene. Is assigned and stored (step C16).
次のＧＯＰの処理のために、今回メモリ内容を前回メモリに移し（書き換え）（ステップＣ１７）、最後のＧＯＰまでの処理が終了する、あるいはシーケンスコード（ＳＥＣ）を検出するまで、前述したように、各ＧＯＰを対象としてシーンに識別を行う（ステップＣ１８）。 In order to process the next GOP, the current memory contents are transferred (rewritten) to the previous memory (step C17), and the processing up to the last GOP is completed or the sequence code (SEC) is detected as described above. Then, scenes are identified for each GOP (step C18).
なお、図１７及び図１８のフローチャートに示すシーンの識別処理では、ＧＯＰ間のＩピクチャの相関度をもとにして、シーンの切り替え位置を識別しているが、その他の方法によってシーン切り替え位置を識別するようにしても良い。 In the scene identification process shown in the flowcharts of FIGS. 17 and 18, the scene switching position is identified based on the correlation degree of the I picture between GOPs, but the scene switching position is determined by other methods. You may make it identify.
例えば、動画像の撮影時に入力される操作に応じて、シーンの区切り位置を示すデータを動画像データと関連付けて記録しておく。例えば、撮影開始／停止スイッチの操作イベント（少なくとも何れか一方）を、タイムコードやＧＯＰに対応付けて動画像データと共に記録しておく。 For example, in accordance with an operation input at the time of shooting a moving image, data indicating a scene break position is recorded in association with the moving image data. For example, a shooting start / stop switch operation event (at least one of them) is recorded together with moving image data in association with a time code or GOP.
そして、撮影開始操作が記録された時刻やＧＯＰから、撮影停止操作が記録された時刻やＧＯＰまでを、一つのシーンとして識別してインデックス画像を生成する。 Then, an index image is generated by identifying from the time or GOP when the shooting start operation is recorded to the time or GOP when the shooting stop operation is recorded as one scene.
なお、撮影開始／停止スイッチの操作だけでなく、撮影動作中にその他の入力操作、例えばユーザから意図的な切り替え位置を指示する入力操作を受け付け、この入力操作に応じて動画像データと関連付けて切り替え位置を示すデータを記録するようにしても良い。この場合、切り替え位置を示すデータをもとに動画像を区分し、それぞれの区分に対応するインデックス画像（例えば先頭画像）を生成すれば良い。 In addition to the operation of the shooting start / stop switch, other input operations during the shooting operation, for example, an input operation for instructing an intentional switching position from the user are accepted, and associated with the moving image data according to the input operation. Data indicating the switching position may be recorded. In this case, the moving image may be divided based on the data indicating the switching position, and an index image (for example, the head image) corresponding to each division may be generated.
次に、前述した編集モードにおける編集操作入力に応じた再生方法の編集処理（プレイリストの作成）について説明する。 Next, the reproduction method editing process (playlist creation) according to the editing operation input in the editing mode described above will be described.
図１９には、動画像に対する編集の一例を示している。図１９（ａ）は必要なパートだけをつなぐトリミング編集、図１９（ｂ）は複数クリップの再生順序を変更するカット編集、図１９（ｃ）はオープニングやエンディングの画像にタイトルの文字や画像を合成するタイトル編集（効果音やＢＧＭの付加を含む）の例をそれぞれ示している。 FIG. 19 shows an example of editing a moving image. 19A is a trim edit that connects only necessary parts, FIG. 19B is a cut edit that changes the playback order of a plurality of clips, and FIG. 19C is a title character or image added to an opening or ending image. Examples of title editing to be synthesized (including addition of sound effects and BGM) are shown.
図２０には、トリミング編集（図１９（ａ））におけるプレイリスト作成／再生制御の例を示している。なお、以下の説明では、編集モードのインデックス画像の一覧位置画面において、ＧＯＰ単位のインデックス画像に対して入力操作が行われるものとする。 FIG. 20 shows an example of playlist creation / playback control in trimming editing (FIG. 19A). In the following description, it is assumed that an input operation is performed on an index image in GOP units on the index image list position screen in the edit mode.
トリミング編集では、編集モードの入力操作画面（図１１，１２）において、再生対象とするパートに対応するインデックス画像のみが、先頭方向から再生順に順次選択される。図２０（ａ）では、パート１に該当するＧＯＰ５〜１０が、それぞれに対応するインデックス画像の選択により指定される。同様にして、パート２に該当するＧＯＰ１３〜２１、パート３に対応するＧＯＰ２７〜３２が指定される。
In trimming editing, only the index image corresponding to the part to be reproduced is sequentially selected in the order of reproduction from the head direction on the input operation screen in the editing mode (FIGS. 11 and 12). In FIG. 20A,
再生編集制御部１３０（再生方法編集部１３０ａ）は、インデックス画像（ＧＯＰ）を選択する編集操作に応じて、再生制御情報を編集してプレイリストに記録する。
The reproduction editing control unit 130 (reproduction
図２０（ｂ）には、図２０（ａ）に示す入力操作に応じて作成されるプレイリストの具体例を示している。図２０（ｂ）に示すように、プレイリストは、再生制御情報として、「編集コード」「該当元ＧＯＰ（アウト）」「タイムコード」「該当先ＧＯＰ（イン）」「タイムコード」についてのデータがそれぞれ対応付けて記録される。 FIG. 20B shows a specific example of a playlist created in response to the input operation shown in FIG. As shown in FIG. 20B, the play list includes data on “edit code”, “corresponding source GOP (out)”, “time code”, “corresponding destination GOP (in)”, and “time code” as reproduction control information. Are recorded in association with each other.
例えば「編集コード」にはスタートコード（「start」）が設定され、先頭のＧＯＰ５が「該当先ＧＯＰ」として記録される。また、ＧＯＰ５の動画像先頭からの時間を示す「タイムコード」が記録される。また、「編集コード」として、再生しないＧＯＰを読み飛ばすことを示すジャンプコード（「Jump1」「Jump2」）が設定され、それぞれジャンプ元のＧＯＰ（ＧＯＰ１０，ＧＯＰ２１）が「該当元ＧＯＰ」として設定され、ジャンプ先のＧＯＰ（ＧＯＰ１３，ＧＯＰ２７）が「該当先ＧＯＰ」として設定される（それぞれのＧＯＰのタイムコードも設定される）。
For example, a start code (“start”) is set in “edit code”, and the
図２０（ｂ）に示すプレイリストが生成された場合、後述するプレイリストによる再生処理では、図２０（ｃ）に示すように、「編集コード」にスタートコード「start」が設定されているＧＯＰ５から再生が開始される。そして、ＧＯＰ５〜１０まで再生された後、ジャンプコード「Jump1」に従ってＧＯＰ９からＧＯＰ１３にジャンプして、その間のＧＯＰをカットし、同様にして、パート２に該当するＧＯＰ１３〜２０を再生出力した後、ジャンプコード「Jump2」に従ってＧＯＰ２０からＧＯＰ２７にジャンプして、その間のＧＯＰをカットするように再生出力される。すなわち、プレイリストを参照した再生出力によって、再生対象として選択されたパートに該当するＧＯＰのみが再生出力され、不要な部分がカットされた、トリミング編集された動画像を再生することができる。
When the playlist shown in FIG. 20B is generated, in the reproduction process using the playlist described later, as shown in FIG. 20C, GOP5 in which the start code “start” is set in the “edit code” Playback starts from. Then, after
図２１には、カット編集（図１９（ｂ））におけるプレイリスト作成／再生制御の例を示している（ＧＯＰ単位のインデックス画像に対して入力操作が行われるものとする）。 FIG. 21 shows an example of playlist creation / playback control in cut editing (FIG. 19B) (assuming that an input operation is performed on an index image in GOP units).
カット編集では、編集モードの入力操作画面（図１１，１２）において、再生対象とするパートに対応するインデックス画像が再生順に任意に選択される。図２１（ａ）では、クリップ＃３に該当するＧＯＰ２７〜３２が、それぞれに対応するインデックス画像の選択により指定される。次に、クリップ＃２に該当するＧＯＰ１３〜２１、クリップ＃１に対応するＧＯＰ５〜１０の順番で、それぞれ同様にして指定される。
In cut editing, an index image corresponding to a part to be reproduced is arbitrarily selected in the reproduction order on the input operation screen in the editing mode (FIGS. 11 and 12). In FIG. 21A,
再生編集制御部１３０（再生方法編集部１３０ａ）は、インデックス画像（ＧＯＰ）を選択する編集操作に応じて、再生制御情報を編集してプレイリストに記録する。
The reproduction editing control unit 130 (reproduction
図２１（ｂ１）には、図２１（ａ）に示す入力操作に応じて作成されるプレイリストの具体例を示している。図２１（ｂ１）に示すように、プレイリストは、再生制御情報として、「再生順序」「該当先ＧＯＰ」「タイムコード」「先頭先からの換算タイム」「該当元ＧＯＰ」「タイムコード」などについてのデータがそれぞれ対応付けて記録される。 FIG. 21 (b1) shows a specific example of a playlist created in response to the input operation shown in FIG. 21 (a). As shown in FIG. 21 (b1), the playlist includes, as playback control information, “playback order”, “corresponding destination GOP”, “time code”, “converted time from the head”, “corresponding source GOP”, “time code”, and the like. Are recorded in association with each other.
例えば「再生順序」にはカットインコード「Cut In 0」が設定され、クリップ＃３の先頭のＧＯＰ２７が「該当先ＧＯＰ」として記録される。また、ＧＯＰ２７の動画像先頭からの時間を示すタイムコードと、当該ＧＯＰを再生出力するまでの「先頭からの換算タイム」（当初は０）が記録される。また、「該当元ＧＯＰ」には、次のクリップへのジャンプ元となるＧＯＰ３２（クリップ＃３の最終ＧＯＰ）が設定される。クリップ＃２については、「該当先ＧＯＰ」としてＧＯＰ１３が設定され、「該当元ＧＯＰ」としてクリップ＃２の最終ＧＯＰ２１が設定される（図示せず）。また、クリップ＃３の再生時間（各ＧＯＰのタイムコードの合計）をＧＯＰ２７に対応する「先頭からの換算タイム」に加算し、この求めた時間をカットインコード「Cut In 1」に対応する「先頭からの換算タイム」として設定する。同様にして、＃１についても、「再生順序」「該当先ＧＯＰ」「タイムコード」「先頭先からの換算タイム」「該当元ＧＯＰ」「タイムコード」を設定する。
For example, the cut-in code “Cut In 0” is set in the “reproduction order”, and the
なお、図２１（ｂ１）に示す形式のプレイリストではなく、図２１（ｂ２）に示すような形式、すなわちトリミング編集で説明した図２０（ｂ）に準じた形式としても良い。図２１（ｂ２）では、図２０（ｂ）の形式に、それぞれの「編集コード」に対応する「先頭からの換算タイム」のデータが付加されている。 Instead of the playlist in the format shown in FIG. 21 (b1), the format shown in FIG. 21 (b2), that is, the format according to FIG. 20 (b) described in the trimming editing may be used. In FIG. 21 (b2), data of “converted time from the beginning” corresponding to each “edit code” is added to the format of FIG. 20 (b).
図２０（ｂ１）に示すように、プレイリストが生成された場合、後述するプレイリストによる再生処理では、「再生順序」にカットインコード「Cut In 0」が設定されているＧＯＰ２７から再生を開始して、「該当元ＧＯＰ」のＧＯＰ３２まで再生する。次に、カットインコード「Cut In 1」が設定されているＧＯＰ１３から再生を開始して「該当元ＧＯＰ」のＧＯＰ２１まで再生し、同様にして、カットインコード「Cut In 2」が設定されているＧＯＰ５から再生を開始して「該当元ＧＯＰ」に設定されているＧＯＰ１０まで再生する。こうして、カット編集された編集操作に応じた再生出力を、プレイリストを参照しながら実行できるようにする。
As shown in FIG. 20 (b1), when a playlist is generated, playback is started from the
図２２には、タイトル編集におけるプレイリスト作成／再生制御の例を示している。 FIG. 22 shows an example of playlist creation / playback control in title editing.
タイトル編集では、任意のインデックス画像に対してタイトルを表す画像（及び音声）が付加される。図２２（ａ）では、パート２、パート１、パート３の順番で再生出力されるようにカット編集がされている。カット編集の詳細な説明については省略する（図２１参照）。さらに、最初のパート２のＧＯＰ６１〜７５に対して、タイトル１とＢＧＭ１を合成する編集が付加され、パート２の最終ＧＯＰ７７にワイプアウトが付加されている。また、パート１の先頭ＧＯＰ５にはワイプイン、最終ＧＯＰ５６にはフェードアウト５６が付加されている。また、パート３の先頭ＧＯＰ８１にはフェードイン、ＧＯＰ８２〜１００に対してタイトル２を合成する編集が付加されている。
In title editing, an image (and sound) representing a title is added to an arbitrary index image. In FIG. 22A, cut editing is performed so that
再生編集制御部１３０（再生方法編集部１３０ａ）は、インデックス画像（ＧＯＰ）を選択する編集操作（編集の付加）に応じて、再生制御情報を編集してプレイリストに記録する。
The reproduction editing control unit 130 (reproduction
図２２（ｂ）には、図２２（ａ）に示す編集の付加に応じて作成されるプレイリストの具体例を示している。図２２（ｂ）に示すように、プレイリストは、再生制御情報として、「編集コード」「該当元ＧＯＰ（アウト）」「タイムコード」「先頭からの換算タイム」「該当先ＧＯＰ（イン）」「タイムコード」「ファイル」についてのデータがそれぞれ対応付けて記録される。 FIG. 22B shows a specific example of a playlist created in accordance with the addition of editing shown in FIG. As shown in FIG. 22B, the play list includes “edit code”, “corresponding source GOP (out)”, “time code”, “converted time from the beginning”, “corresponding destination GOP (in)” as reproduction control information. Data on “time code” and “file” are recorded in association with each other.
なお、図２０（ｂ）、図２１（ｂ２）と共通する部分については説明を省略する。「編集コード」にはＧＯＰに対して付加された編集の内容を表すコード、例えばタイトルコード「Title 1」「Title 2」、ＢＧＭコード「ＢＧＭ 1」、ワイプコード「Wipe 1」、フェードコード「Fade 1」などが設定されている。また、タイトルコード、ＢＧＭコードに対応して、画像あるいは音声などのファイル名（「プリセットＡ」「音声ファイルＢ」「ファイルＣ」など）が「ファイル」として設定される。
Note that description of portions common to FIGS. 20B and 21B2 is omitted. In the “edit code”, codes representing the contents of editing added to the GOP, for example, title codes “
図２２（ｂ）に示すプレイリストが生成された場合、後述するプレイリストによる再生処理では、図２２（ｃ）に示すように、「編集コード」にスタートコード「start」が設定されているＧＯＰ６０から再生が開始される。そして、タイトルコードとＢＧＭコードが設定されているＧＯＰ６１〜７５に対して、「プリセットＡ」（画像）のファイルのデータを用いてタイトル１を合成し、また「音声ファイルＢ」（音声）のファイルのデータを用いてＢＧＭ１を再生して、ＧＯＰ７７まで再生出力する。パート２の最終ＧＯＰ７７からパート１の先頭ＧＯＰ５は、ワイプ１により画面を遷移させ、ＧＯＰ５〜５６まで再生出力する。パート１の最終ＧＯＰ５６と、パート３の先頭ＧＯＰ８１は、フェード１により画面を遷移させ、ＧＯＰ８２〜１００に対して、「ファイルＣ」のファイルのデータを用いてタイトル２を合成し、ＧＯＰ１０１まで再生出力する。すなわち、編集モードにおいて、インデックス画像に対して付加された編集アイコンに応じた編集を付加して動画像を再生することができる。
When the playlist shown in FIG. 22B is generated, in the reproduction processing by the playlist described later, as shown in FIG. 22C, the
また、図２３には、トランジションエフェクトなど遷移画面効果を挿入する場合のプレイリスト作成／再生制御の例を示している。 FIG. 23 shows an example of playlist creation / playback control when a transition screen effect such as a transition effect is inserted.
遷移画面効果を挿入する場合、図２２においても説明したように、任意のインデックス画像に対して、編集内容を表す編集アイコンが付加される。図２３（ａ）では、クリップ＃１の最終ＧＯＰ２１にワイプが付加された場合を示している。この場合、ＧＯＰ２１にはワイプアウト、クリップ＃２の先頭ＧＯＰ２５にワイプインが付加される。
When the transition screen effect is inserted, as described with reference to FIG. 22, an editing icon representing editing content is added to an arbitrary index image. FIG. 23A shows a case where a wipe is added to the
図２３（ｂ）に示すように、プレイリストには、ワイプを示す編集コード「Wipe 1」に対応して、「該当元ＧＯＰ」としてＧＯＰ２２、「該当先ＧＯＰ」としてＧＯＰ１５が記録される。その他の詳細については、図２０〜２２の説明に代えて省略する。
As shown in FIG. 23 (b),
図２３（ｂ）に示すプレイリストが生成された場合、後述するプレイリストによる再生処理では、図２３（ｃ）に示すように、「該当元ＧＯＰ」のＧＯＰ２２のＩピクチャを抽出して復号し（遷移元画像Ａ）、また「該当先ＧＯＰ」のＧＯＰ１５のＩピクチャを抽出して復号する（遷移先画像）。そして、遷移元画像Ａと遷移先画像Ｂを用いて、特殊効果（ここではワイプ）を表す連続画像を合成する。
When the playlist shown in FIG. 23 (b) is generated, in the reproduction processing by the playlist described later, as shown in FIG. 23 (c), the I picture of the
そして、図２３（ｄ）に示すように、クリップ＃１からクリップ＃２の間に画面効果の遷移画像が挿入されて出力される。なお、遷移画像の合成の詳細については後述する（図２５〜図２７）。
Then, as shown in FIG. 23D, a screen effect transition image is inserted between
次に、図７のステップＡ２７、図１０のステップＢ９に示すプレイリストによる再生処理について、図２４に示すフローチャートを参照しながら説明する（図３に示す復号再生制御部１４０参照）。
まず、再生順序制御部１４０ａ（圧縮符号化／復号部２４）は、再生対象とする動画像に対応するプレイリストファイル１４２ａをプレイリストメモリ３０（メモリ媒体／通信路１４２）から読み出す（ステップＤ１）。
Next, the reproduction processing by the playlist shown in step A27 in FIG. 7 and step B9 in FIG. 10 will be described with reference to the flowchart shown in FIG. 24 (see the decoding
First, the playback
再生順序制御部１４０ａは、スタートが設定されたＧＯＰから順に圧縮符号化／復号部２４（フレーム間復号部１４０ｂ，１４０ｆ、フレーム内復号部１４０ｃ，１４０ｅ）により復号して再生させる（ステップＤ２）。
The reproduction
ここで、プレイリストにトランジションエフェクト／タイトル等の編集が設定されている場合（ステップＤ３、Ｙｅｓ）、フレーム内復号部１４０ｃ，１４０ｅにより遷移前後のＧＯＰのＩピクチャ画像（遷移元画像、遷移先画像）を圧縮符号化／復号部２４により復号して生成し（ステップＤ５）、この遷移前後のＩピクチャより画面効果の連続画像を合成する（ステップＤ５）。なお、具体的な画面効果の連続画像の合成については後述する（図２５、図２６、図２７）。 Here, when edits such as transition effects / titles are set in the playlist (step D3, Yes), I picture images (transition source image and transition destination image) of the GOP before and after transition by the intra-frame decoding units 140c and 140e. ) Is decoded and generated by the compression encoding / decoding unit 24 (step D5), and a continuous image of the screen effect is synthesized from the I pictures before and after the transition (step D5). Note that the synthesis of a continuous image having a specific screen effect will be described later (FIGS. 25, 26, and 27).
そして、再生出力制御部１４０ｋは、合成されたトランジションエフェクト等の連続画像を再生表示させる（ステップＤ６）。
Then, the reproduction
再生順序制御部１４０ａは、プレイリストに記録された遷移先の先頭ＧＯＰ（該当先ＧＯＰ）に移り、同様にして順に復号再生させる（ステップＤ７）。
The reproduction
また、プレイリストにデジタルエフェクトの編集が設定されている場合（ステップＤ１３、Ｙｅｓ）、該当ＧＯＰのＩピクチャまたは続く画像を復号し（ステップＣ１４）、該当Ｉピクチャまたは続く画像にズームイン、モノクロ化、セピアカラー、モザイク等、該当特殊効果を加える（ステップＤ１５）。 Also, when digital effect editing is set in the playlist (step D13, Yes), the I picture of the GOP or the subsequent image is decoded (step C14), and the I picture or the subsequent image is zoomed in, converted to monochrome, Applicable special effects such as sepia color and mosaic are added (step D15).
そして、再生出力制御部１４０ｋは、デジタルエフェクト処理された連続画像を再生表示させる（ステップＤ１６）。
Then, the reproduction
また、プレイリストにジャンプまたはカットの編集が設定されている場合（ステップＤ１７、Ｙｅｓ）、ジャンプ元の最後ＧＯＰからジャンプ先の先頭ＧＯＰに移り、順に復号再生する（ステップＤ１８）。 If jump or cut editing is set in the play list (step D17, Yes), the jump GOP moves from the last GOP of the jump source to the first GOP of the jump destination, and is sequentially decoded and reproduced (step D18).
また、何れの編集も付加がされていない場合（ステップＤ１７、Ｎｏ）、プレイリストに設定された再生順序に従い、順に復号再生する（ステップＤ１９）。 If no editing is added (step D17, No), the reproduction is sequentially performed according to the reproduction order set in the playlist (step D19).
なお、プレイリストに効果音／ＢＧＭを付加する設定がされている場合（ステップＤ８）、該当効果音または音楽等の音声ファイル（追加音声ファイル１４２ｄ）を静止画像／動画像／音声データメモリ２８から読み込み（ステップＤ９）、該当画像を復号再生させると共に、該当音声ファイルを効果音合成部１４０ｇまたは音声復号部１４０ｈにより復号再生させる（ステップＤ１０）。
If the setting is made to add the sound effect / BGM to the playlist (step D8), the sound file (
ここで、プレイリストの最後まで再生処理が完了していなければ（ステップＤ１１、Ｎｏ）、前述と同様にして、プレイリストに記録された再生制御情報に従って復号生成を実行する。 Here, if the reproduction process has not been completed up to the end of the playlist (No at Step D11), the decoding generation is executed according to the reproduction control information recorded in the playlist in the same manner as described above.
プレイリストの最後まで再生処理が完了すると（ステップＤ１２、Ｙｅｓ）、再生編集処理を終了して、元の処理に戻る。 When the reproduction process is completed up to the end of the playlist (step D12, Yes), the reproduction editing process is ended and the process returns to the original process.
次に、図２４のステップＣ５に示すトランジションエフェクト画面の合成処理の具体例について、ドアオープン／クローズの編集が設定されている場合を例にして説明する。 Next, a specific example of the composition process of the transition effect screen shown in step C5 of FIG. 24 will be described by taking as an example a case where door open / close editing is set.
ドアオープン／クローズのトランジションエフェクト画面では、図２５に示すように、ドアオープンの状態からドアクローズの状態、あるいはその逆に画像を順次遷移させていく。図２６には、トランジションエフェクト画面が合成される様子を説明するための図、図２７には、遷移画面の合成処理を説明するためのフローチャートを示している。 On the door open / close transition effect screen, as shown in FIG. 25, images are sequentially shifted from the door open state to the door closed state or vice versa. FIG. 26 is a diagram for explaining how the transition effect screen is synthesized, and FIG. 27 is a flowchart for explaining the transition screen synthesis processing.
まず、遷移前のクリップ＃１の最後のＧＯＰのＩピクチャをフレーム内復号して、Ａ画像（遷移元画像）として記録する（ステップＤ５１）（図２６（ａ））。
First, the I picture of the last GOP of
また、遷移後のクリップ＃２の最初のＧＯＰのＩピクチャをフレーム内復号して、Ｂ画像（遷移先画像）として記録する（ステップＤ５２）（図２６（ｂ））。
Further, the I picture of the first GOP of the
次に、ドアオープン効果など、遷移効果の切出しマスクの所定枚数ｋの連続画像Ｍ１〜Ｍｋを作成する（ステップＤ５３）（図２６（ｃ））。 Next, a predetermined number k of continuous images M1 to Mk of a transition effect cut-out mask such as a door open effect are created (step D53) (FIG. 26C).
次に、画像Ａを変形処理（画像変換等）し、マスク画像Ｍ１〜Ｍｋのマスク部分の形状に合わせて貼り付ける。あるいは、マスク部分と重なった部分のみを残し、重なっていない部分を切り抜く（ステップＤ５４）（図２６（ｄ））。 Next, the image A is deformed (image conversion or the like) and pasted in accordance with the shapes of the mask portions of the mask images M1 to Mk. Alternatively, only the portion that overlaps the mask portion is left, and the portion that does not overlap is cut out (step D54) (FIG. 26 (d)).
画像Ｂを所定枚数ｋだけコピーし、各画像Ｂをマスク画像Ｍ１〜Ｍｎと重ね、重なった部分を切り抜き、残りの部分を残す処理をする（ステップＤ５５）（図２６（ｅ））。すなわち、マスク画像Ｍ１〜Ｍｋの各マスク部分データを全て０、残りを全て１とし、Ｂ画像と各マスク画像とをＡＮＤ処理する。 A predetermined number k of images B are copied, each image B is overlapped with the mask images M1 to Mn, the overlapping portions are cut out, and the remaining portions are left (step D55) (FIG. 26 (e)). That is, all the mask partial data of the mask images M1 to Mk are set to 0, the rest are all set to 1, and the B image and each mask image are ANDed.
次に、マスク処理して切り抜いた各Ａ画像と対応するＢ画像とを結合（ＯＲ）し、所定枚数の連続画像を作成する（ステップＤ５６）（図２６（ｆ））。 Next, each A image cut out by masking and the corresponding B image are combined (ORed) to create a predetermined number of continuous images (step D56) (FIG. 26 (f)).
以上の処理によって、トランジションエフェクト画面の合成をすることができる。 Through the above processing, the transition effect screen can be synthesized.
このようにして、第１実施形態の電子カメラでは、ズーム撮像部４を通じて撮影された動画像に対して編集を施す場合に、動画像データを編集後の動画像データに変換して記録する代りに、ＭＰＥＧ圧縮動画像の元データを残したまま、クリップやシーン毎に再生順序変更や遷移画面効果などを表す再生制御情報をプレイリストとして編集して記録することができる。そして、動画像を再生出力する際には、プレイリストの再生制御情報を参照しながら編集や特殊処理を施した動画像を生成して再生出力するようにしたので、例えば次のような効果を得ることができる。
As described above, in the electronic camera according to the first embodiment, when editing a moving image shot through the
（１）プレイリストの編集情報を変更するだけで、色々な編集を何度でも施すことができる。従って、記録した動画像データ自体に変更や加工をしないので、何度編集しても画質が劣化しない。 (1) Various edits can be made any number of times simply by changing the edit information of the playlist. Accordingly, since the recorded moving image data itself is not changed or processed, the image quality is not deteriorated even if it is edited many times.
（２）複雑な復号や再符号化、ストリームの連続性やバッファ量の制御等が不要なので、構成が簡単で処理量が少なく、小型携帯型に構成された電子カメラ等の低速ＣＰＵや処理回路でも、再生しながら特殊効果等を簡単に生成して再生出力できる。 (2) Complex decoding, re-encoding, control of stream continuity, buffer amount, etc. are not required, so a low-speed CPU or processing circuit such as an electronic camera configured in a small portable type with a simple configuration and a small processing amount However, special effects can be easily generated and played back during playback.
（３）プレイリストを新たに別ファイルとして記録するだけなので、メモリの所要量も少なく、メモリ容量が少ない携帯型の電子カメラ等でも実現できる。 (3) Since only the playlist is newly recorded as a separate file, it can be realized even with a portable electronic camera having a small memory capacity and a small memory capacity.
（４）編集操作は、従来のようにタイムライン上にクリップ画像をドラッグ＆ドロップしたり、画像トラックと画像トラックの間のトラックに画面効果のオブジェクト等を並べたりする代りに、インデックス画像を再生順に選択し、また画面効果やタイトルや効果音付加等を表す編集アイコンを選択してインデックス画像に付加する操作だけで良い。このため、表示サイズが小さい（多数のトラックなどを設けた編集画面を同時表示できない）表示部１９や、限られたボタンやキーによる簡易な操作入力部１５でも容易に編集操作入力が可能でありハードウェアの制限により操作性を損なうことがない。
(4) Edit operations can be performed by playing back index images instead of dragging and dropping clip images on the timeline or arranging screen effect objects on the tracks between image tracks. It is only necessary to select in order and select an edit icon representing a screen effect, a title, a sound effect addition, etc. and add it to the index image. For this reason, it is possible to easily input an editing operation even with the
なお、前述した第１実施形態では、再生制御情報をプレイリストとして編集して記録し、動画像を再生する場合には、プレイリストの再生制御情報を参照しながら、編集や特殊処理を施した動画像を生成して再生するようにしたが、プレイリストの再生制御情報を参照して、編集を施した後の動画像データを新規の動画像データとして追加記録できるようにしても良い。あるいは、再生編集（プレイリストの作成）だけでなく、前述した編集操作入力によって、例えばＧＯＰ単位で簡易に動画像データに対して編集処理（編集記録）を行う編集機能や編集モードを設けても良い。また、再生編集とするか、さらに編集記録とするかをユーザからの指定入力によって選択できるようにしでもよい。 In the first embodiment described above, reproduction control information is edited and recorded as a playlist, and when a moving image is reproduced, editing and special processing are performed while referring to the reproduction control information of the playlist. Although the moving image is generated and played back, the moving image data after editing may be additionally recorded as new moving image data with reference to the playback control information of the playlist. Alternatively, not only playback editing (playlist creation), but also an editing function or an editing mode for easily performing editing processing (editing recording) on moving image data in units of GOPs by the above-described editing operation input may be provided. good. Further, it may be possible to select whether playback editing or further editing recording is performed by designating input from the user.
なお、遷移画面効果やタイトルや効果音、ＢＧＭなどの付加の編集例を示したが、その他の遷移画面効果や音声効果、あるいは遷移画面以外の画像の変形やモデファイ、デフォルメ加工や、画像の色相や彩度、明度などを変化させたり、白黒画像やモザイク画像、解像度や階調度を変えた画像など、その他のデジタルエフェクトを付加したり、その他の楽器音や擬音、声音等を合成して付加できるようにしてもよい。 Although additional editing examples of transition screen effects, titles, sound effects, BGM, etc. have been shown, other transition screen effects and sound effects, or image transformations, modifications, deformation processing, and image hues other than transition screens Add other digital effects such as black and white images, mosaic images, images with different resolutions and gradations, and other instrument sounds, imitation sounds, voice sounds, etc. You may be able to do it.
また、タイムライン上での編集操作は小型機器では難しいが、一覧性や時系列順序は分かりやすいので、編集前後の一覧表示として、タイムラインや時間軸上のインデックス画像表示等を合せて表示できるようにしてもよい。 In addition, editing operations on the timeline are difficult with small devices, but the listability and time-series order are easy to understand, so the timeline and index images on the time axis can be displayed together as a list display before and after editing. You may do it.
次に、本発明の第２実施形態について説明する。
第１実施形態では、動画像に対するユーザよって入力される編集操作に対して、動画像データについて実際の編集処理を施さずプレイリストを作成編集するとしているが、第２実施形態では、編集操作に対して、動画像データ自体に対して実際に編集処理を施して記録する。
Next, a second embodiment of the present invention will be described.
In the first embodiment, the playlist is created and edited without actually editing the moving image data for the editing operation input by the user for the moving image, but in the second embodiment, the editing operation is performed. On the other hand, the moving image data itself is actually subjected to an editing process and recorded.
なお、第２実施形態における電子カメラの構成及び基本的な動作について第１実施形態と同じであるものとして詳細な説明を省略する。 Note that the configuration and basic operation of the electronic camera in the second embodiment are the same as those in the first embodiment, and a detailed description thereof will be omitted.
以下、第２実施形態における動画像データの編集処理について、図２８に示すフローチャートを参照しながら説明する。 Hereinafter, editing processing of moving image data in the second embodiment will be described with reference to the flowchart shown in FIG.
まず、ユーザからの指定に応じて、静止画像／動画像／音声データメモリ２８に記録された複数の動画像データ（ＭＰＥＧファイル１３２）から編集対象とする動画像データを選択する（ステップＥ１）。 First, in accordance with designation from the user, moving image data to be edited is selected from a plurality of moving image data (MPEG file 132) recorded in the still image / moving image / audio data memory 28 (step E1).
再生編集制御部１３０は、多重分離復号部１３０ｂにより分離された動画像データについて圧縮符号化／復号部２４により復号し、所定単位毎のインデックス画像を生成して、編集モード用の画面として表示部１９において一覧表示させる（ステップＥ２）。ここでは、所定単位のインデックス画像として、例えば時間毎、シーン毎、ＧＯＰ毎のインデックス画像をそれぞれ生成して一覧表示できるものとする。
The reproduction
ここでは、第１実施形態と同様にして、インデックス画像が一覧表示された編集モード画面を通じて、インデックス画像に対する再生順序の編集と、再生対象として選択されたインデックス画像に対する編集アイコンの付加による編集操作入力が行われる（ステップＥ３、Ｅ４、Ｅ５）。ここでの編集操作入力は、インデックス画像の指定と編集アイコンの選択だけで良いため、広い表示画面を必要とせず、またキーやボタンなどを用いた簡単な操作のみで実行可能である。 Here, in the same manner as in the first embodiment, through the editing mode screen displaying a list of index images, editing of the playback order for the index images and editing operation input by adding editing icons to the index images selected as playback targets are performed. Is performed (steps E3, E4, E5). Since the editing operation input here only needs to specify the index image and select the editing icon, it does not require a wide display screen and can be executed only by a simple operation using keys and buttons.
こうして、編集操作入力が行われると、再生編集制御部１３０（再生方法編集部１３０ａ）は、インデックス画像に付加された編集アイコンに応じて、編集再生用プレイリストを仮作成する（ステップＥ６）。
When the editing operation input is thus performed, the playback / editing control unit 130 (playback
ここで、編集結果のプレビュー表示の実行が指示された場合（ステップＥ７、Ｙｅｓ）、仮プレイリストを動画像の再生に参照するプレイリストとして指定し（ステップＥ８）、このプレイリストを用いた動画像の再生処理を実行する（ステップＥ９）。なお、プレイリストによる再生処理の詳細については後述する。 Here, when execution of preview display of the editing result is instructed (step E7, Yes), the temporary playlist is designated as a playlist to be referred to for reproduction of the moving image (step E8), and a moving image using this playlist is designated. Image reproduction processing is executed (step E9). Note that the details of the reproduction processing by the playlist will be described later.
以下、同様にして、インデックス画像の一覧表示から任意にインデックス画像を選択し、また編集アイコンを付加する編集操作をすることで、それぞれの編集操作に応じた仮プレイリストが作成される。 Similarly, a temporary play list corresponding to each editing operation is created by selecting an index image arbitrarily from the index image list display and performing an editing operation to which an editing icon is added.
こうして、編集操作入力が行われた後、編集終了の指示が入力されると（ステップＥ１０、Ｙｅｓ）、再生編集制御部１３０は、編集結果をプレイリストとして記録するか否かを、例えば表示部１９にメッセージを表示するなどしてユーザに問い合わせる（ステップＥ１１）。ここで、プレイリストとしての記録が指示された場合、仮プレイリストが示す編集結果をもとに、編集再生用プレイリストを本作成してプレイリストメモリ３０に記録する（ステップＥ１２）。
When an editing end instruction is input after the editing operation input is thus performed (step E10, Yes), the reproduction
プレイリストの編集終了後には、編集後の動画像データを記録する設定がされているかを判別する（ステップＥ１３、Ｙｅｓ）。例えば、プレイリストの作成編集の後に、「編集後のデータを記録するか？」といった、ユーザに対して確認するためのメッセージを表示する。このメッセージに対して実行を指示する応答があった場合に編集後の動画像データを記録する設定がされていると判別する。あるいは、作成編集モードとは別に、編集記録モードを設け、この編集記録モードが設定されている場合に、プレイリスト記録だけでなく、編集後の動画像データ自体も記録するものと判別する。 After completion of editing the playlist, it is determined whether or not the setting for recording the edited moving image data is made (step E13, Yes). For example, after creating and editing a playlist, a message for confirming to the user such as “Do you want to record the edited data?” Is displayed. If there is a response instructing execution of this message, it is determined that the setting for recording the edited moving image data is made. Alternatively, an edit recording mode is provided separately from the creation / edit mode, and when the edit / record mode is set, it is determined that not only the playlist recording but also the edited moving image data itself is recorded.
編集後の動画像データの記録をする場合、該当プレイリストを読出し（ステップＥ１４）、スタートが設定されたシーンのＧＯＰから順に動画像データを読出し、圧縮符号化されたデータのまま複製コピーを作成して、ＧＯＰ単位で結合して新たな動画像データを作成する（ステップＥ１５）。 When recording the edited moving image data, the corresponding playlist is read (step E14), the moving image data is read in order from the GOP of the scene where the start is set, and a duplicate copy is created with the compression encoded data as it is. Then, new moving image data is created by combining in units of GOP (step E15).
ここで、対象とするＧＯＰにジャンプやスキップ（カット）の編集が付加されている場合（ステップＥ２４、Ｙｅｓ）、ジャンプ先の先頭ＧＯＰに移って、そこからまた順にＧＯＰ単位で圧縮符号化されたデータを結合していく（ステップＥ２５）。 Here, when a jump or skip (cut) edit is added to the target GOP (Yes in step E24), the jump is made to the first GOP of the jump destination, and the compression encoding is performed in units of GOP in order from there. Data are combined (step E25).
また、遷移画面効果のトランジションエフェクトやタイトル画面などを付加する編集が付加されている場合には（ステップＥ１６、Ｙｅｓ）、遷移前と遷移後の各ＧＯＰのＩピクチャをフレーム内復号して（ステップＥ１７）、遷移前後のＩピクチャの静止画像Ａ，Ｂ（遷移もと画像、遷移先画像）から該当する画面遷移など特殊効果用の連続画像を合成して作成し（ステップＥ１８）、合成した遷移効果の連続画像を新たな単数または複数のＧＯＰの動画像データとして、前後の隣接ＧＯＰとともに符号化して結合する（ステップＥ１９）。そして、遷移先の先頭切らせに移り、ＧＯＰ単位で結合する（ステップＥ２０）
この場合、隣接ＧＯＰ間でバッファ量（ＶＢＶ_delay値など）や符号量のバランスなどを調整するために、特殊効果用に合成した連続画像を新たなＧＯＰとして作成し、また、符号化する場合には、バッファ量（ＶＢＶ_delay値）を所定値に再設定するとともに、前後のＧＯＰの動画像データを一旦復号して、遷移前のＧＯＰと、合成した画面効果部分のＧＯＰと、遷移後のＧＯＰとの複数ＧＯＰをまとめて再符号化して、符号量が過不足やアンバランスをふせぐ（ステップＥ２１）。
In addition, when an edit for adding a transition effect or a title screen of the transition screen effect is added (step E16, Yes), the I picture of each GOP before and after the transition is decoded in the frame (step E17), a continuous image for special effects such as the corresponding screen transition is synthesized from the still images A and B (transition source image and transition destination image) of the I picture before and after the transition (step E18), and the combined transition The continuous image of the effect is encoded and combined with the adjacent GOPs before and after as new single or plural GOP moving image data (step E19). Then, the process shifts to the top of the transition destination and joins in units of GOP (step E20).
In this case, in order to adjust the buffer amount (such as VBV_delay value) and the balance of the code amount between adjacent GOPs, a continuous image synthesized for special effects is created as a new GOP and encoded. The buffer amount (VBV_delay value) is reset to a predetermined value, and the moving image data of the previous and subsequent GOPs are once decoded, and the GOP before the transition, the GOP of the combined screen effect portion, and the GOP after the transition A plurality of GOPs are collectively re-encoded to prevent excessive or insufficient code amount or imbalance (step E21).
ここで、プレイリストの最後、またはエンドが設定されたプレイリストに到達したならば、そこまで結合した動画像データを元の動画像データとは別の新たな動画像データとして記録し、編集を終了する（ステップＥ２３）。 Here, when the end of the playlist or the playlist with the end set is reached, the combined video data is recorded as new video data different from the original video data, and editing is performed. The process ends (step E23).
第２実施形態では、ジャンプやスキップ（カット）など再生順序の変更をＧＯＰ単位で行うので、殆どの編集の部分では、図２９（ａ）に示すように、圧縮符号化されたデータのままＧＯＰ単位で切り貼りすればよい。 In the second embodiment, the playback order is changed in units of GOPs such as jumping and skipping (cutting). Therefore, in most editing portions, as shown in FIG. Cut and paste in units.
また、図２９（ｂ）に示すように、圧縮符号化データのままフレーム単位で編集することもできるが、編集点前後でのＧＯＰの修正作業、例えばカット点がＰピクチャフレームの場合、前のＩピクチャのＤＣＴ成分に動き補償を施したものに、カット点のＰピクチャのＤＣＴ成分を加え、新たなＩピクチャとするなどの修正が必要となる。ＧＯＰ単位では、このような修正作業を行う必要がなく、簡単な構成と処理で圧縮データのまま編集処理が実現できる。 As shown in FIG. 29 (b), the compression-encoded data can be edited in units of frames, but GOP correction work before and after the editing point, for example, when the cut point is a P picture frame, It is necessary to modify the DCT component of the I picture by applying motion compensation to the DCT component of the P picture at the cut point to obtain a new I picture. In GOP units, it is not necessary to perform such correction work, and editing processing can be realized with compressed data with a simple configuration and processing.
また、トランジションエフェクトやタイトル合成等特殊効果などの部分では、図３０に示すように、第１実施形態と同様にして、遷移前後のＧＯＰ単位でフレーム内復号したＩピクチャを元に合成した遷移画面を生成し、編集記録のためには、前後のＧＯＰとともに再符号化して新たなＧＯＰを作成する必要があるが、復号や再符号化の処理は少ないので、編集記録を行っても、符号量や復号したベースバンド動画像を記録するためのメモリ所要量が少なくても済む。その部分で時間が多少かかっても、編集中なので使用上の不都合は少ない。 In addition, as shown in FIG. 30, in the transition effect and special effects such as title composition, as shown in FIG. 30, a transition screen synthesized based on I-pictures decoded in frames in GOP units before and after the transition as in the first embodiment. In order to edit and record, it is necessary to re-encode together with the previous and subsequent GOPs to create a new GOP. However, since there are few decoding and re-encoding processes, even if editing and recording are performed, In addition, the memory requirement for recording the decoded baseband moving image can be small. Even if it takes some time in that part, there is little inconvenience in use because it is being edited.
また、撮影して記録した元の動画像データはそのまま変更せず、新たな動画像データを新規に作成するので、何度編集しても、元の動画像の画質が劣化することはない。また、第１実施形態のように、再生制御方法を設定したプレイリストだけの作成に比べ、編集の処理やメモリ所要量は若干増えるが、第１実施形態と違い、再生時には編集後の動画像データをそのまま再生するだけでよくなるので再生時の制御が不要で簡単になる。 Further, since the original moving image data recorded and recorded is not changed as it is and new moving image data is newly created, the quality of the original moving image does not deteriorate no matter how many times it is edited. In addition, editing processing and memory requirements are slightly increased as compared to the creation of only a playlist for which a playback control method is set as in the first embodiment. However, unlike the first embodiment, the edited moving image during playback is different from the first embodiment. Since it is only necessary to reproduce the data as it is, control during reproduction is unnecessary and simple.
このようにして、第２実施形態では、編集単位をＧＯＰ単位として、殆どの編集では圧縮符号化データでの編集で行えるようにし、また、遷移画面効果などの特殊効果の編集もＧＯＰ単位の簡易方式ながら行えるようにしたので、従来例に比べて編集処理を単純化でき、かつ、圧縮記録後の動画像データでも編集できる機能を、例えば小型の電子カメラに搭載された低速ＣＰＵや画像データ処理回路でも十分実現できるようなる。 In this way, in the second embodiment, the editing unit is a GOP unit, and most editing can be performed by editing with compression-encoded data, and special effects such as transition screen effects can be easily edited in GOP units. Since the editing process can be simplified compared to the conventional example, and the function that can edit even moving image data after compression recording is used, for example, a low-speed CPU mounted on a small electronic camera or image data processing Even a circuit can be realized sufficiently.
なお、前述した図２８のフローチャートの処理では、ユーザからの入力操作に対してプレイリストを作成編集するとしているが、プレイリストを作成しないで動画像データに対して編集を施して、編集済みの動画像データを記録しておくようにしても良い。 In the process of the flowchart of FIG. 28 described above, a playlist is created and edited in response to an input operation from the user. However, editing is performed on the moving image data without creating the playlist, and the edited playlist is created. You may make it record moving image data.
なお、第２実施形態では、ユーザからの入力操作に対して動画像データに対して編集処理を施して記録するものとしてるが、第１実施形態と同様にしてプレイリストを作成し、このプレイリストに設定された編集内容（再生制御情報）に応じて編集処理を実行するようにしても良い。 In the second embodiment, the moving image data is edited and recorded in response to an input operation from the user. However, a playlist is created in the same manner as in the first embodiment, and this play list is created. Editing processing may be executed in accordance with the editing content (reproduction control information) set in the list.
また、前述した各実施形態では、携帯カメラ本体部２及びズーム撮像部４によって撮影された動画像を対象にして説明しているが、例えば充電／ＰＣ転送用クレードル部７を介して、ＵＳＢ、ＬＡＮ、あるいは無線通信などにより他のパーソナルコンピュータなどの情報機器から受信された動画像データに対して同様の処理を実行して、動画像データに対して符号化して記録するとともにプレイリストを作成し、携帯カメラ本体部２において再生できるようにしても良い。また、他の情報機器から符号化された動画像データと共に、この動画像データに対するプレイリストのデータを受信し、携帯カメラ本体部２において、プレイリストをもとに動画像を再生出力することもできる。
Further, in each of the above-described embodiments, the description has been given with respect to a moving image photographed by the
また、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, at least one of the problems described in the column of problems to be solved by the invention can be solved, and described in the column of the effect of the invention. In a case where at least one of the obtained effects can be obtained, a configuration in which this configuration requirement is deleted can be extracted as an invention.
また、前述した各実施形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。電子カメラに搭載されるコンピュータの機能は、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。 The processing described in each of the above-described embodiments is a program that can be executed by a computer, for example, a recording medium such as a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), and a semiconductor memory. And can be provided to various devices. It is also possible to transmit to a variety of devices by transmitting via a communication medium. The function of the computer mounted on the electronic camera reads the program recorded on the recording medium or receives the program via the communication medium, and the operation is controlled by this program, thereby executing the above-described processing.
２…携帯カメラ本体部、４…ズーム撮像部、６…コネクタ部、７…充電／ＰＣ転送用クレードル部、１０…制御回路、１２…入力回路、１３…静止画撮影半押し／シャッタボタン、１４…動画撮影開始／停止ボタン、１５…操作入力部、１７…表示メモリ、１８…表示駆動部、１９…表示部、２０…画像バッファメモリ、２２…画像信号処理部、２４…圧縮符号化／復号部、２６…編集／再生制御部、２８…静止画像／動画像／音声データメモリ、３０…プレイリストメモリ、３１…音声復号化部、３２…Ａ／Ｄ変換部、３３…増幅部、３４…スピーカ、３６…外部メモリインタフェース、３７…外部メモリ、４０…音声符号化部、４１…Ａ／Ｄ変換部部、４２…増幅部、４３…マイク、４４…電源制御部、４６…電池、４８…外部Ｉ／Ｏインタフェース、５０，９２…コネクタ、５２…レンズ光学系、５３…絞り、５４…ハーフミラー、５５…シャッタ、５８，５９…レンズ駆動部、６０…撮像素子、６２…測光／測距センサ、７０…制御部、７１…焦点制御部、７２…ズーム制御部、７３…絞り制御部、７４…シャッタ制御部、７５…ＣＤＳ／ＡＧＣ、７６…Ａ／Ｄ回路、７７…タイミング制御駆動部、７８…露出制御部、７９…測距制御部、８０…フラッシュ制御部、８２…フラッシュ駆動部、８３…フラッシュ、９０…制御回路、９４…充電制御部、９６…電源／充電／転送インジケータ、９７…操作部、９８…無線ＬＡＮＩ／Ｆ、９９…符号／復号部、１００…変調／復調部、１０１…送信／受信部、１０４…ＬＡＮ通信Ｉ／Ｆ、１０６…ＵＳＢ通信Ｉ／Ｆ、１０８…ＵＳＢコネクタ、１１０…ＬＡＮコネクタ、１２０…安定化回路、１２２…平滑回路、１２４…整流回路、１２６…ヒューズ、１３０…再生編集制御部、１３０ａ…再生方法編集部、１３０ｂ…多重分離復号部、１３０ｃ…各種復号部、１３０ｄ…フレーム内画像復号部、１３０ｅ…インデックス画像作成部、１３０ｆ…音声インデックス再生部、１３０ｇ…プレイリスト作成部、１３０ｈ…シーン切替識別部、１３２，１３６ａ，１４２ｂ…ＭＰＥＧファイル、１３４…画像・音声ファイル、１３６，１４２…メモリ媒体／通信路、１３６ｂ，１４２ａ…プレイリストファイル、１３６ｃ…追加画像・音声ファイル、１４０ａ…再生順序制御部、１４０ｂ…フレーム間復号部、１４０ｃ…フレーム内復号部、１４０ｄ…特殊効果合成部、１４０ｅ…フレーム内復号部、１４０ｆ…フレーム間復号部、１４０ｇ…効果音合成部、１４０ｈ…音声復号部、１４０ｋ…再生出力制御部、１４２ｃ…追加画像ファイル、１４２ｄ…追加音声ファイル。
DESCRIPTION OF
Claims (13)
前記動画像撮影手段によって撮影された動画像を記録する動画像記録手段と、
前記動画像記録手段によって記録された動画像に対する編集操作を入力する編集操作入力手段と、
前記編集操作入力手段により入力された編集操作に応じて、前記動画像に対して施す編集内容を表す再生制御情報を生成する再生制御情報生成手段と、
前記再生制御情報生成手段により生成された再生制御情報を前記動画像記録手段によって記録された動画像に関連付けて記録する再生制御情報記録手段と
を具備したことを特徴とする電子カメラ。 A moving image shooting means for shooting a moving image;
Moving image recording means for recording a moving image photographed by the moving image photographing means;
An editing operation input means for inputting an editing operation on the moving image recorded by the moving image recording means;
Reproduction control information generating means for generating reproduction control information representing the editing content to be applied to the moving image in response to the editing operation input by the editing operation input means;
An electronic camera comprising: reproduction control information recording means for recording the reproduction control information generated by the reproduction control information generation means in association with the moving image recorded by the moving image recording means.
前記動画像撮影手段によって撮影された動画像を記録する動画像記録手段と、
前記動画像記録手段によって記録された動画像に対する、画像を遷移させる特殊効果を付加するための編集操作を入力する編集操作入力手段と、
前記編集操作入力手段により入力された編集操作に応じて、遷移元の画像と遷移先の画像とをもとに画像の遷移を表現する連続画像を生成し、前記動画像記録手段に記録された動画像を編集する編集手段と
を具備したことを特徴とする電子カメラ。 A moving image shooting means for shooting a moving image;
Moving image recording means for recording a moving image photographed by the moving image photographing means;
An editing operation input means for inputting an editing operation for adding a special effect for transitioning an image to the moving image recorded by the moving image recording means;
In response to the editing operation input by the editing operation input unit, a continuous image expressing the transition of the image is generated based on the transition source image and the transition destination image, and recorded in the moving image recording unit An electronic camera comprising editing means for editing a moving image.
前記動画像撮影手段によって撮影された動画像のデータを記録する動画像記録手段と、
前記動画像記録手段に記録された動画像のデータをもとに、複数の画像を生成して一覧表示する表示手段と、
前記表示手段によって表示された複数の画像に対する再生順序を指定する編集操作、または前記複数の画像の中の任意の画像に対する特殊効果を表す編集アイコンの付加を指定する編集操作の少なくとも何れか一方を入力する編集操作入力手段と、
前記編集操作入力手段により入力された編集操作に基づいて前記動画像記録手段に記録された動画像のデータを編集する編集手段と
を具備したことを特徴とする電子カメラ。 A moving image shooting means for shooting a moving image;
Moving image recording means for recording data of moving images taken by the moving image photographing means;
Display means for generating and displaying a list of a plurality of images based on moving image data recorded in the moving image recording means;
At least one of an editing operation for designating a reproduction order for a plurality of images displayed by the display means and an editing operation for designating addition of an editing icon representing a special effect for an arbitrary image among the plurality of images. Editing operation input means to input;
An electronic camera comprising: editing means for editing moving image data recorded in the moving image recording means based on an editing operation input by the editing operation input means.
前記表示手段は、前記シーン識別手段によって識別されたシーン毎の代表画像を表示することを特徴とする請求項４記載の電子カメラ。 A scene identification unit that calculates a correlation degree of information included in the image included in the moving image, and identifies an image having a correlation degree lower than a predetermined value as a scene switching position;
The electronic camera according to claim 4, wherein the display unit displays a representative image for each scene identified by the scene identification unit.
前記区切り位置入力手段によって入力された区切り位置を示すデータを、前記動画像のデータと関連付けて記録する位置記録手段と、
前記位置記録手段によって記録された区切り位置を示すデータをもとに、シーンの切り替え位置を識別するシーン識別手段とをさらに具備し、
前記表示手段は、前記シーン識別手段によって識別されたシーン毎の代表画像を表示することを特徴とする請求項４記載の電子カメラ。 Separation position input means for inputting an operation for designating a separation position when shooting a moving image by the moving image shooting means;
Position recording means for recording data indicating the break position input by the break position input means in association with the moving image data;
Based on the data indicating the break position recorded by the position recording means, further comprising a scene identification means for identifying a scene switching position,
The electronic camera according to claim 4, wherein the display unit displays a representative image for each scene identified by the scene identification unit.
前記動画像撮影手段によって撮影された動画像のデータを記録する動画像記録手段と、
前記動画像記録手段に記録された動画像のデータを所定単位毎に分割する分割手段と、
前記分割手段により分割された所定単位毎の動画像に対する再生順序を指定する編集操作、または前記所定単位毎の動画像の中の任意の動画像に対する特殊効果を表す編集アイコンの付加を指定する編集操作の少なくとも何れか一方を入力する編集操作入力手段と、
前記編集操作入力手段により入力された編集操作に基づいて前記動画像記録手段に記録された動画像のデータを編集する編集手段と
を具備したことを特徴とする電子カメラ。 A moving image shooting means for shooting a moving image;
Moving image recording means for recording data of moving images taken by the moving image photographing means;
A dividing unit for dividing moving image data recorded in the moving image recording unit into predetermined units;
An editing operation for designating the reproduction order for the moving images for each predetermined unit divided by the dividing means, or an editing for designating addition of an editing icon representing a special effect for an arbitrary moving image in the moving images for each predetermined unit Editing operation input means for inputting at least one of operations;
An electronic camera comprising: editing means for editing moving image data recorded in the moving image recording means based on an editing operation input by the editing operation input means.
前記再生制御情報生成手段により生成された再生制御情報を前記動画像記録手段によって記録された動画像に関連付けて記録する再生制御情報記録手段と
をさらに具備し、
前記編集手段は、前記動画像記録手段によって記録された動画像のデータを、該動画像に対して前記再生制御情報記録手段によって記録された再生制御情報が表す編集内容に基づいて編集することを特徴とする請求項３乃至７の何れかに記載の電子カメラ。 Reproduction control information generating means for generating reproduction control information representing the editing content to be applied to the moving image in response to the editing operation input by the editing operation input means;
Reproduction control information recording means for recording the reproduction control information generated by the reproduction control information generating means in association with the moving image recorded by the moving image recording means,
The editing means edits the moving image data recorded by the moving image recording means based on the editing content represented by the reproduction control information recorded by the reproduction control information recording means for the moving image. The electronic camera according to claim 3, wherein the electronic camera is a digital camera.
前記編集後動画像記録手段に記録された動画像のデータをもとに特殊効果を表す画像を生成し、この生成した画像を所定単位の動画像のデータと結合して再構成する第２再構成手段とを有することを特徴とする請求項９記載の電子カメラ。 First reconstructing means for reconstructing moving image data recorded in the edited moving image recording means by changing the order in predetermined units;
Based on the moving image data recorded in the edited moving image recording means, an image representing a special effect is generated, and the generated image is combined with moving image data in a predetermined unit to be reconstructed. The electronic camera according to claim 9, further comprising: a configuration unit.
コンピュータを、
動画像を撮影する動画像撮影手段と、
前記動画像撮影手段によって撮影された動画像を記録する動画像記録手段と、
前記動画像記録手段によって記録された動画像に対する編集操作を入力する編集操作入力手段と、
前記編集操作入力手段により入力された編集操作に応じて、前記動画像に対して施す編集内容を表す再生制御情報を生成する再生制御情報生成手段と、
前記再生制御情報生成手段により生成された再生制御情報を前記動画像記録手段によって記録された動画像に関連付けて記録する再生制御情報記録手段として機能させるための電子カメラの制御プログラム。 A control program executed by a computer built in the electronic camera,
Computer
A moving image shooting means for shooting a moving image;
Moving image recording means for recording a moving image photographed by the moving image photographing means;
An editing operation input means for inputting an editing operation on the moving image recorded by the moving image recording means;
Reproduction control information generating means for generating reproduction control information representing the editing content to be applied to the moving image in response to the editing operation input by the editing operation input means;
An electronic camera control program for functioning as playback control information recording means for recording the playback control information generated by the playback control information generating means in association with the moving image recorded by the moving image recording means.
コンピュータを、
動画像を撮影する動画像撮影手段と、
前記動画像撮影手段によって撮影された動画像のデータを記録する動画像記録手段と、
前記画像記録手段に記録された動画像のデータをもとに、複数の画像を生成して一覧表示する表示手段と、
前記表示手段によって表示された複数の画像に対する再生順序を指定する編集操作、または前記複数の画像の中の任意の画像に対する特殊効果を表す編集アイコンの付加を指定する編集操作の少なくとも何れか一方を入力する編集操作入力手段と、
前記編集操作入力手段により入力された編集操作に基づいて前記動画像記録手段に記録された動画像のデータを編集する編集手段として機能させるための電子カメラの制御プログラム。 A control program executed by a computer built in the electronic camera,
Computer
A moving image shooting means for shooting a moving image;
Moving image recording means for recording data of moving images taken by the moving image photographing means;
Display means for generating and displaying a list of a plurality of images based on moving image data recorded in the image recording means;
At least one of an editing operation for designating a reproduction order for a plurality of images displayed by the display means and an editing operation for designating addition of an editing icon representing a special effect for an arbitrary image among the plurality of images. Editing operation input means to input;
An electronic camera control program for functioning as editing means for editing moving image data recorded in the moving image recording means based on an editing operation input by the editing operation input means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008245094A JP2009055618A (en) | 2008-09-25 | 2008-09-25 | Electronic camera and control program of electronic camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008245094A JP2009055618A (en) | 2008-09-25 | 2008-09-25 | Electronic camera and control program of electronic camera |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004071575A Division JP4698961B2 (en) | 2004-03-12 | 2004-03-12 | Electronic camera and electronic camera control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009055618A true JP2009055618A (en) | 2009-03-12 |
Family
ID=40506213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008245094A Pending JP2009055618A (en) | 2008-09-25 | 2008-09-25 | Electronic camera and control program of electronic camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009055618A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012010441A (en) * | 2010-06-22 | 2012-01-12 | Nec Aerospace Syst Ltd | Portable terminal |
| CN101751901B (en) * | 2009-12-18 | 2014-09-24 | 康佳集团股份有限公司 | Method and device for playing dynamic electronic album |
| JP2015057877A (en) * | 2013-08-09 | 2015-03-26 | キヤノン株式会社 | Image processing device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08223524A (en) * | 1995-02-08 | 1996-08-30 | Hitachi Ltd | Portable video camera |
| JPH11103441A (en) * | 1997-09-26 | 1999-04-13 | Matsushita Electric Ind Co Ltd | Method for displaying clip and its device |
| JP2000050204A (en) * | 1998-05-29 | 2000-02-18 | Hitachi Ltd | Video image display edit processing method and device, and recording medium thereof |
| JP2003032619A (en) * | 2001-07-18 | 2003-01-31 | Canon Inc | Image processing device and method therefor |
-
2008
- 2008-09-25 JP JP2008245094A patent/JP2009055618A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08223524A (en) * | 1995-02-08 | 1996-08-30 | Hitachi Ltd | Portable video camera |
| JPH11103441A (en) * | 1997-09-26 | 1999-04-13 | Matsushita Electric Ind Co Ltd | Method for displaying clip and its device |
| JP2000050204A (en) * | 1998-05-29 | 2000-02-18 | Hitachi Ltd | Video image display edit processing method and device, and recording medium thereof |
| JP2003032619A (en) * | 2001-07-18 | 2003-01-31 | Canon Inc | Image processing device and method therefor |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101751901B (en) * | 2009-12-18 | 2014-09-24 | 康佳集团股份有限公司 | Method and device for playing dynamic electronic album |
| JP2012010441A (en) * | 2010-06-22 | 2012-01-12 | Nec Aerospace Syst Ltd | Portable terminal |
| JP2015057877A (en) * | 2013-08-09 | 2015-03-26 | キヤノン株式会社 | Image processing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101189980B1 (en) | Recording device and method, reproduction device and method, and recording medium | |
| JP6324063B2 (en) | Image reproducing apparatus and control method thereof | |
| TWI495333B (en) | Information processing apparatus, imaging apparatus, image display control method and computer program | |
| US7920775B2 (en) | Recording apparatus | |
| US20130162672A1 (en) | Image processing device, image processing method, and program | |
| US20090021592A1 (en) | Display control apparatus, display control method, and program therefor | |
| JP2004312495A (en) | Image processing program and image processor | |
| JP2005269563A (en) | Image processor and image reproducing apparatus | |
| JP5783737B2 (en) | Image pickup apparatus and moving image recording apparatus control method | |
| JP5759212B2 (en) | Scenario editing apparatus, scenario editing method, and imaging system | |
| KR20070085006A (en) | Method and apparatus for recording and reproducing multimedia data | |
| JP2009225361A (en) | Recording device and recording method, and editing device and editing method | |
| JP2005260749A (en) | Electronic camera and control program thereof | |
| JP4698961B2 (en) | Electronic camera and electronic camera control program | |
| JP2006211324A (en) | Digital camera apparatus, method and program for reproducing image, and data structure | |
| US8379109B2 (en) | Image processing apparatus | |
| JP2009055618A (en) | Electronic camera and control program of electronic camera | |
| JP2014096766A (en) | Recording apparatus and recording method | |
| JP2003304492A (en) | Image processing device | |
| JP2009268153A (en) | Reproduction control device, and reproduction control method, and program | |
| JP5283433B2 (en) | Digital still camera, image processing method and program | |
| JP2013118519A (en) | Image processing apparatus | |
| JP5828251B2 (en) | Image processing apparatus and digital camera | |
| JP5645096B2 (en) | Movie processing apparatus, movie playback method, movie recording method, and program | |
| JP6463967B2 (en) | Imaging apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100702 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100727 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100921 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101130 |