JP2011139291A - Image playback controller, image playback control method and imaging device - Google Patents
Image playback controller, image playback control method and imaging device Download PDFInfo
- Publication number
- JP2011139291A JP2011139291A JP2009297874A JP2009297874A JP2011139291A JP 2011139291 A JP2011139291 A JP 2011139291A JP 2009297874 A JP2009297874 A JP 2009297874A JP 2009297874 A JP2009297874 A JP 2009297874A JP 2011139291 A JP2011139291 A JP 2011139291A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- frame rate
- normal
- stream
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、符号化された複数の動画像を復号して再生する画像生成制御装置、およびそれを搭載した撮像装置に関する。 The present invention relates to an image generation control device that decodes and reproduces a plurality of encoded moving images, and an imaging device equipped with the image generation control device.
近年、一般ユーザが静止画のみならず、手軽に動画像を撮影することができるデジタルムービーカメラが普及してきており、それらの中には撮影に際してフレームレートを変更したり、異なるフレームレートの動画を同時に撮像したりすることができるものもある（特許文献１参照）。これらの動画は記録メディア等に記録された後、例えば、ムービーカメラに搭載されている表示モニタやＰＣ（Personal Computer）、テレビ等で鑑賞される。 In recent years, digital movie cameras that allow general users to easily shoot moving images as well as still images have become widespread. Among them, the frame rate can be changed during shooting, and movies with different frame rates can be recorded. There are some that can be imaged simultaneously (see Patent Document 1). These moving images are recorded on a recording medium or the like and then viewed on, for example, a display monitor, a PC (Personal Computer), a television, or the like mounted on a movie camera.
同一シーンについて異なるフレームレートで撮影ができると、例えば重要なシーンについては時間分解能の高い高フレームレートで撮影することができて便利である。一方で、時間分解能の高い高フレームレートで撮影された動画は、通常のフレームレームレートで撮影された動画と比較してフレームの枚数が多く、目的のシーンが写っているフレームを探し出すために時間がかかる場合がある。 If the same scene can be shot at different frame rates, for example, important scenes can be shot at a high frame rate with high time resolution. On the other hand, a movie shot at a high frame rate with high temporal resolution has more frames than a movie shot at a normal frame frame rate, and it takes time to find a frame that captures the target scene. May take.
本発明はこうした状況に鑑みなされたものであり、その目的は、異なるフレームレートで撮像された複数の動画像データの中から、所望の映像を効率よく見つけ出すことができる技術を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique capable of efficiently finding a desired image from a plurality of moving image data captured at different frame rates. .
本発明のある態様は画像再生制御装置である。この装置は、通常のフレームレートのストリームを復号して通常のフレームレートの動画のフレームを出力する通常フレームレートストリーム復号部と、前記通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリームを復号して、通常よりも高いフレームレートの動画のフレームを出力する高フレームレートストリーム復号部と、前記シーンを特定するための関連情報と早送り再生すべき期間を特定する制御情報とに基づいて、前記通常のフレームレートの動画のフレームまたは前記通常よりも高いフレームレートの動画のフレームのいずれかを再生すべき動画のフレームとして選択するフレーム選択部とを含む。ここで前記フレーム選択部は、早送り再生すべき期間の場合には、前記通常よりも高いフレームレートの動画のフレームが存在する場合であっても、前記通常のフレームレートの動画のフレームを選択して出力する。 One embodiment of the present invention is an image reproduction control device. The apparatus relates to a normal frame rate stream decoding unit that decodes a normal frame rate stream and outputs a normal frame rate moving image frame, and at least a part of scenes included in the normal frame rate stream. A high frame rate stream decoding unit that decodes a stream having a frame rate higher than normal and outputs a frame of a moving image having a frame rate higher than normal, related information for specifying the scene, and a period for fast-forward playback And a frame selection unit that selects either a frame of a moving image having the normal frame rate or a frame of a moving image having a frame rate higher than the normal as a frame of a moving image to be reproduced based on the control information to be specified. Here, the frame selection unit selects the frame of the moving image having the normal frame rate in the period in which fast-forward playback is to be performed, even if there is a moving image frame having a frame rate higher than the normal frame rate. Output.
本発明の別の態様は撮像装置である。この装置は、動画像を取得する撮像部と、前記撮像部により撮像される動画像を符号化して、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの、２種類のストリームを生成可能な画像符号化部と、前記通常のフレームレートのストリームと当該ストリームの生成と並行して生成された前記通常よりも高いフレームレートのストリームとを関連づける関連情報を生成する制御部と、上述した画像再生制御装置と、前記画像再生制御装置により表示制御される表示装置とを含む。 Another embodiment of the present invention is an imaging apparatus. This apparatus encodes a moving image captured by an imaging unit that acquires a moving image and a moving image captured by the imaging unit, and generates two types of streams, a normal frame rate stream and a higher frame rate stream. An image encoding unit that can be generated, a control unit that generates related information associating the stream of the normal frame rate with the stream of the frame rate higher than the normal generated in parallel with the generation of the stream; And an image reproduction control device and a display device controlled by the image reproduction control device.
本発明のさらに別の態様は画像記録制御方法である。この方法は、同一のシーンに関する通常のフレームレートのストリームと、通常よりも高いフレームレートのストリームとが同時に存在するときに、前記同一のシーンに関するストリームを早送り再生すべき場合には、前記通常よりも高いフレームレートのストリームが存在する場合であっても、前記通常のフレームレートのストリームを復号することにより得られたフレームを用いて早送り再生をする。 Yet another embodiment of the present invention is an image recording control method. In this method, when a stream with a normal frame rate related to the same scene and a stream with a frame rate higher than normal exist at the same time, the stream related to the same scene should be played back at a higher speed than the normal. Even when a stream with a higher frame rate exists, fast-forward playback is performed using a frame obtained by decoding the stream with the normal frame rate.
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, and the like are also effective as an aspect of the present invention.
本発明によれば、異なるフレームレートで撮像された複数の動画像データの中から、所望の映像を効率よく見つけ出すことができる。 According to the present invention, a desired video can be efficiently found from a plurality of moving image data captured at different frame rates.
（実施の形態１）
本発明の実施の形態１の概要を述べる。実施の形態１は、２４０ｆｐｓ（frames per second）のフレームレートで動画フレームを生成してフレームバッファに格納しておき、通常の撮影モードでは、６０ｆｐｓのフレームレートになるまでフレームを間引いてからストリームを生成する。ユーザから高速撮影を行う旨の指示がある間は、６０ｆｐｓのフレームレートのストリームの生成に加えて、フレームを間引きする前の２４０ｆｐｓのフレームレートのストリームも生成する。撮影終了後、生成されたフレームレートの異なる複数のストリームを連結して単一のファイルとして保存する。
(Embodiment 1)
An outline of the first embodiment of the present invention will be described. In the first embodiment, a moving image frame is generated at a frame rate of 240 fps (frames per second) and stored in a frame buffer. In a normal shooting mode, the frame is thinned out until the frame rate reaches 60 fps, and then the stream is extracted. Generate. While there is an instruction to perform high-speed shooting from the user, in addition to generating a stream at a frame rate of 60 fps, a stream at a frame rate of 240 fps before thinning out the frames is also generated. After shooting, a plurality of generated streams having different frame rates are concatenated and saved as a single file.
図１は、実施の形態１に係る撮像装置２００の内部構成を模式的に示した図である。撮像装置２００は、センサ１０、操作部１２、フレーム生成部１４、および画像記録制御装置１００を含む。画像記録制御装置１００はさらに、フレームバッファ１６、フレーム間引き部１８、画像符号化部２０、制御部２２、ファイル連結部３２、および記録部３４を含む。
FIG. 1 is a diagram schematically illustrating an internal configuration of the
フレーム生成部１４は、センサ１０が取得した映像のフレームを生成する。センサ１０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの図示しない固体撮像素子であり、フレーム生成部１４はセンサ１０から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを処理して、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂのフレームに変換する。フレームバッファ１６は、フレーム生成部１４が生成したフレームを一時的に保存する。
The frame generation unit 14 generates a video frame acquired by the
フレーム間引き部１８は、フレームバッファ１６に格納されているフレームを間引きする。フレームバッファ１６にはフレーム生成部１４が生成した、フレームレートが２４０ｆｐｓのフレームが格納されており、フレーム間引き部１８は、当該フレームを四分の一に間引くことにより、フレームレートが６０ｆｐｓのフレームを生成する。ここでフレーム生成部１４が生成するフレームのフレームレートと、フレーム間引き部１８が生成するフレームのフレームレートとは様々な組み合わせがあってもよい。例えば、フレーム生成部１４が６００ｆｐｓのフレームを生成してもよく、フレーム間引き部１８は間引きの枚数を自由に変更できるようにしてもよい。
The
画像符号化部２０はさらに、通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とのふたつの画像符号化部を含む。
The
通常フレームレートフレーム符号化部３６は、フレーム間引き部１８が生成したフレームを符号化して通常フレームレートストリーム２４を生成する。通常フレームレートフレーム符号化部３６は、当該フレームを所定の規格にしたがい符号化する。動画像の符号化には、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧ（Moving Picture Experts Group）シリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠する技術、その拡張標準であるＨ．２６４／ＡＶＣ Ａｎｎｅｘ Ｇ、すなわちＨ．２６４／ＳＶＣ（Scalable Video Coding）が用いられる。
The normal frame rate
高フレームレートフレーム符号化部３８は、操作部１２に入力されたユーザの指示がある間、フレームバッファ１６に格納されているフレームを符号化し、ストリームを生成する。したがって、高フレームレートフレーム符号化部３８が生成するストリームは、通常フレームレートフレーム符号化部３６が生成するストリームよりも高いフレームレート（２４０ｆｐｓ）のストリームとなる。以後、ユーザの指示により高フレームレートフレーム符号化部３８がフレームバッファ１６に格納されているフレームを直接符号化してストリームを生成する動作を「高速撮影モード」と呼ぶ。高フレームレートフレーム符号化部３８も通常フレームレートフレーム符号化部３６と同様に、ＭＰＥＧ−２、またはＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ、Ｈ．２６４／ＳＶＣなどの規格にしたがい圧縮符号化する。
The high frame rate
通常フレームレートフレーム符号化部３６がフレーム間引き部１８の生成した一連のフレームをすべて符号化して一つのストリーム（通常フレームレートストリーム２４）を生成するのに対し、高フレームレートフレーム符号化部３８は、ユーザから高速撮影モードの指示がある度に、その指示がある期間に符号化する。例えばユーザが１度目の高速撮影モードの指示を行うと、高フレームレートフレーム符号化部３８は第１高フレームレートストリーム２６を生成する。以後、高フレームレートフレーム符号化部３８はユーザから高速撮影モードの指示がある度にストリームを生成し、ｎ回目の指示で第ｎ高フレームレートストリーム２８を生成する。
The normal frame rate
高フレームレートフレーム符号化部３８が生成するストリームはフレームレートが高く、映像を高い時間分解能で撮影することができる一方で、多くの記録容量を要する。反対に、通常フレームレートフレーム符号化部３６が生成する通常フレームレートストリーム２４はフレームが間引きされているため時間分解能は落ちるが、その分記憶容量は少なくなる。これらの性質を利用して、映像全体を通常フレームレートストリーム２４で記録し、例えば重要なシーンについては高速撮影モードで撮影することにより、記憶容量を抑えつつ、重要なシーンを高い時間分解能で記録することが可能となる。
The stream generated by the high frame rate
制御部２２は、操作部１２に入力されたユーザの指示に基づいて関連情報３０を生成する。ここで「関連情報」とは、センサ１０に入力された映像を通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とが共に符号化したときに、両者が生成したストリームを関連づける情報である。例えば、通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とが重複して符号化した部分を特定する情報、すなわち、高フレームレートで撮像すべき期間を特定する情報である。関連情報の具体例については後述する。
The
ファイル連結部３２は、通常フレームレートフレーム符号化部３６が生成した通常フレームレートストリーム２４、高フレームレートフレーム符号化部３８が生成したひとつ以上の高フレームレートストリーム、および制御部２２が生成した関連情報３０を多重化して連結し、単一のファイルを生成する。ここで「単一のファイル」とはファイル操作の単位となるファイルを意味し、ひとつのファイル名の下で一括してファイルの複製や削除、ファイル転送等の操作の対象となる。ファイルとしては、例えばＭＰ４ファイルフォーマットにしたがったコンテナファイルを利用することができる。当該コンテナファイルには、各符号化データのヘッダ情報、メタデータ、時刻情報などを記述したコンテナを含めることができる。
The
記録部３４は、ファイル連結部３２が生成したファイルを格納する。記録部３４としては例えば、内蔵メモリとして、半導体メモリまたはハードディスクを採用することができる。また、リムーバブルメモリとして、メモリーカード、リムーバブルハードディスク、または光ディスクを採用することができる。
The
画像記録制御装置１００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
The configuration of the image
図２は、実施の形態１にかかる撮像装置２００の処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えばユーザが撮像装置２００の電源ボタン（図示しない）を押すと開始する。
FIG. 2 is a flowchart for explaining the flow of processing of the
ユーザが動画撮影を選択した場合（Ｓ１０Ｙ）、フレーム生成部１４はセンサ１０が取得した映像のフレームを生成してフレームバッファ１６に格納する（Ｓ１２）。ユーザが操作部１２を介して高速撮影モードを選択する場合（Ｓ１４Ｙ）、高フレームレートフレーム符号化部３８は、フレームバッファ１６に格納されている高フレームレートのフレームを符号化する（Ｓ１６）。ユーザが高速撮影モードを選択しない場合には（Ｓ１４Ｎ）、高フレームレートフレーム符号化部３８は符号化を実行しない。
When the user selects moving image shooting (S10Y), the frame generation unit 14 generates a frame of the video acquired by the
フレーム間引き部１８は、フレームバッファ１６に格納されているフレームを所定の枚数間引きする（Ｓ１８）。通常フレームレートフレーム符号化部３６は、フレーム間引き部１８が出力した通常のフレームレートのフレームを符号化する（Ｓ２０）。ここで動画像の撮影を終了しない場合には（Ｓ２２Ｎ）、ステップＳ１２に戻り、フレームの符号化を続行する。動画像の撮影を終了する場合には（Ｓ２２Ｙ）、制御部２２は関連情報３０を生成する（Ｓ２４）。その後ファイル連結部３２は、通常フレームレートフレーム符号化部３６が生成した通常フレームレートストリーム２４、高フレームレートフレーム符号化部３８が生成した一つ以上の高フレームレートのストリーム、および制御部２２が生成した関連情報３０を連結してひとつのファイルを生成する（Ｓ２６）。ファイル連結部３２がファイルを生成するか、あるいは動画撮影でない場合に（Ｓ１０Ｎ）、本処理は終了する。
The
なお、図２において通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とが符号化処理を直列に実行する場合について説明したが、両者は並列に符号化処理を実行してもよい。
In addition, although the case where the normal frame rate
以下、制御部２２が生成する関連情報３０の具体例について図を参照しながら説明する。
Hereinafter, a specific example of the
図３は、通常フレームレートフレーム符号化部３６が符号化の対象とする通常フレームレートフレーム群４０と、高フレームレートフレーム符号化部３８が符号化の対象とする第１高フレームレートフレーム群４２および第２高フレームレートフレーム群４４との関係の一例を模式的に表した図である。本例では通常フレームレートフレーム群４０のフレームレートは６０ｆｐｓであり、第１高フレームレートフレーム群４２および第２高フレームレートフレーム群４４のフレームレートは２４０ｆｐｓであるとする。
FIG. 3 shows a normal frame rate frame group 40 to be encoded by the normal frame rate
通常フレームレートフレーム群４０の撮影開始時刻を原点とする時間軸４６と、通常フレームレートフレーム群４０の第１番目のフレームのフレーム番号を１とし、以後順番に通し番号をふったときのフレーム番号を表すフレーム軸４８とを考える。通常フレームレートフレーム群４０は時刻０から始まって時刻Ｔ５で終了する。このとき通常フレームレートフレーム群４０は、１番目のフレームからＦ５番目のフレームまで存在し、その間のフレームの総数はＮ０枚である。
The time axis 46 with the shooting start time of the normal frame rate frame group 40 as the origin, and the frame number of the first frame of the normal frame rate frame group 40 as 1, and the frame number when the serial number is sequentially assigned thereafter Consider a
時刻Ｔ１においてユーザが操作部１２を介して高速撮影モードを選択すると、高フレームレートフレーム符号化部３８は第１高フレームレートフレーム群４２の符号化を開始する。時刻Ｔ２においてユーザが高速撮影モードを終了すると、高フレームレートフレーム符号化部３８は符号化を終了する。第１高フレームレートフレーム群は時刻Ｔ１からＴ２までのＤ１の期間に撮影されたフレーム群ということになる。
When the user selects the high-speed shooting mode via the
時刻Ｔ３においてユーザが再度高速撮影モードを選択すると、高フレームレートフレーム符号化部３８は第２高フレームレートフレーム群４４の符号化を開始する。Ｄ２の時間が経過し、時刻Ｔ４においてユーザが高速撮影モードを終了すると、高フレームレートフレーム符号化部３８は符号化を終了する。
When the user selects the high-speed shooting mode again at time T3, the high frame rate
この例では、通常フレームレートフレーム群４０と第１高フレームレートフレーム群４２とは時刻Ｔ１からＴ２までのＤ１の期間において重複する。そこで両者の重複部分を特定する関連情報３０として、時刻Ｔ１とＴ２とのセットが考えられる。また、両者の重複が始まる時刻Ｔ１と重複する期間であるＤ１とのセットも重複部分を特定する関連情報３０とすることができる。同様に、通常フレームレートフレーム群４０と第２高フレームレートフレーム群４４とは時刻Ｔ３からＴ４までのＤ２の期間において重複するので、Ｔ３とＴ４のセットあるいはＴ３とＤ２のセットを通常フレームレートフレーム群４０と第２高フレームレートフレーム群４４との重複部分を特定する関連情報３０とすることができる。
In this example, the normal frame rate frame group 40 and the first high frame rate frame group 42 overlap in the period D1 from time T1 to T2. Therefore, a set of times T1 and T2 can be considered as the
ユーザが高速撮影モードを選択した時刻Ｔ１において、通常フレームレートフレーム群４０はＦ１番目のフレームであったとする。その後時刻Ｔ２においてユーザが高速撮影モードを終了したとき、通常フレームレートフレーム群４０はＦ２番目のフレームであったとする。このとき、通常フレームレートフレーム群４０と第１高フレームレートフレーム群４２との重複部分は、通常フレームレートフレーム群４０のフレーム番号Ｆ１とＦ２とのセットで特定することができる。また、Ｆ１番目のフレームとＦ２番目とのフレームの間にＮ１枚の通常フレームレートフレーム群４０のフレームがあるとすれば、通常フレームレートフレーム群４０と第１高フレームレートフレーム群４２との重複部分は、通常フレームレートフレーム群４０のフレーム番号Ｆ１と重複部分の枚数Ｎ１とのセットでも特定することができる。したがって、Ｆ１とＦ２とのセットあるいはＦ１とＮ１とのセットを通常フレームレートフレーム群４０と第１高フレームレートフレーム群４２との重複部分を特定する関連情報３０とすることができる。
It is assumed that the normal frame rate frame group 40 is the F1th frame at time T1 when the user selects the high-speed shooting mode. After that, when the user ends the high-speed shooting mode at time T2, it is assumed that the normal frame rate frame group 40 is the F2th frame. At this time, an overlapping portion between the normal frame rate frame group 40 and the first high frame rate frame group 42 can be specified by a set of the frame numbers F1 and F2 of the normal frame rate frame group 40. Also, if there are N1 frames of the normal frame rate frame group 40 between the F1 frame and the F2 frame, the normal frame rate frame group 40 and the first high frame rate frame group 42 overlap. The portion can also be specified by a set of the frame number F1 of the normal frame rate frame group 40 and the number N1 of overlapping portions. Therefore, the set of F1 and F2 or the set of F1 and N1 can be used as the
通常フレームレートフレーム群４０と第２高フレームレートフレーム群４４との場合も同様で、時刻Ｔ３の時の通常フレームレートフレーム群４０のフレーム番号をＦ３、時刻Ｔ４の時の通常フレームレートフレーム群４０のフレーム番号をＦ４とし、その間のフレーム数をＮ２とすれば、Ｆ３とＦ４とのセットあるいはＦ３とＮ２とのセットを通常フレームレートフレーム群４０と第２高フレームレートフレーム群４４との重複部分を特定する関連情報３０とすることができる。
The same applies to the normal frame rate frame group 40 and the second high frame rate frame group 44. The frame number of the normal frame rate frame group 40 at time T3 is F3, and the normal frame rate frame group 40 at time T4. If the frame number of F4 is F4 and the number of frames between them is N2, the set of F3 and F4 or the set of F3 and N2 is the overlapping portion of the normal frame rate frame group 40 and the second high frame rate frame group 44
ここで、通常フレームレートフレーム群４０のフレーム数Ｎ１またはＮ２のかわりに、対応する第１高フレームレートフレーム群４２または第２高フレームレートフレーム群４４のフレーム数を用いることも可能である。この場合、第１高フレームレートフレーム群４２および第２高フレームレートフレーム群４４のフレームレートは通常フレームレートフレーム群４０の４倍（２４０ｆｐｓ／６０ｆｐｓ＝４）であるので、対応するフレームの枚数もそれぞれ４倍となる。 Here, instead of the number of frames N1 or N2 of the normal frame rate frame group 40, the number of frames of the corresponding first high frame rate frame group 42 or second high frame rate frame group 44 may be used. In this case, the frame rate of the first high frame rate frame group 42 and the second high frame rate frame group 44 is four times that of the normal frame rate frame group 40 (240 fps / 60 fps = 4). Each is quadrupled.
図４は、関連情報３０の別の例を模式的に表した図である。本例は、ストリームの中に映像の区切りデータとしてチャプタ（chapter）が埋め込まれる場合の例である。
FIG. 4 is a diagram schematically illustrating another example of the
本例においては、図４はチャプタが埋め込まれたストリームを伸張したときの、チャプタとフレームとの位置関係の一例を示す図である。第１のチャプタ５２ａは、チャプタ付きストリーム５０内に存在し、第１高フレームレートフレーム群４２が開始する直前に埋め込まれている。また、第２のチャプタ５２ｂは、第１高フレームレートフレーム群４２が終了した直後に埋め込まれている。したがって第１のチャプタ５２ａと第２のチャプタ５２ｂとのセットを、チャプタ付きストリーム５０と第１高フレームレートフレーム群４２との重複部分を特定する関連情報３０とすることができる。なお、チャプタ５２は、関連情報３０としてファイル連結部３２が埋め込む。
In this example, FIG. 4 is a diagram showing an example of the positional relationship between chapters and frames when a stream in which chapters are embedded is expanded. The
図５は、ファイル連結部３２が生成するファイル５４の構造の一例を模式的に表した図である。ファイル５４は、ファイルの先頭からヘッダ５６、関連情報３０、通常フレームレートストリーム２４、第１高フレームレートストリーム２６の順に格納され、終端に第ｎ高フレームレートストリーム２８を含む。ここでヘッダ５６は各ストリームの先頭位置の情報等を格納する。このように、各ストリームを順番に格納する場合は、ファイル連結部３２がファイル５４を生成するときの制御が簡単になる点で有利である。
FIG. 5 is a diagram schematically showing an example of the structure of the
なお、ヘッダ５６や関連情報３０はファイルの先頭でなくてもよく、例えばファイルの終端にあってもよい。この場合、通常フレームレートストリーム２４が先頭となるため、ファイルを探索することなく即座に映像全体を再生できる点で有利である。また、関連情報３０はヘッダ５６の一部として格納されていてもよい。
Note that the
図６は、ファイル連結部３２が生成するファイル５４の構造の別例を模式的に表した図である。本例では、先頭にヘッダ５６および関連情報３０が格納される点では図５に示す例と同じであるが、各ストリームファイルは所定の基準で分割され、分散して格納される点で異なる。また、ヘッダ５６は各ストリームの先頭位置の情報のみならず、分割された各ストリームの先頭位置の情報も格納される。
FIG. 6 is a diagram schematically illustrating another example of the structure of the
図６において、通常フレームレートストリーム２４はｍ個の単位に分割され、第１のストリームその１（符号２４ａ）、第１のストリームその２（符号２４ｂ）と続いて第１のストリームそのｎ（符号２４ｃ）に至り、最後に第１のストリームそのｍ（符号２４ｄ）として格納される。分割された通常フレームレートストリーム２４の間に、分割された第２のストリームその１（符号２６ａ）や第２のストリームその２（符号２６ｂ）が格納される。同様に、第ｎのストリームも分割されて格納される（符号２８ａ）。このように、各ストリームを分割して記録する方式は、記録時の制御が複雑になるものの、記録部３４の記録領域に対して効率的に記録できる点で有利である。記録領域内に物理的に連続して大きな空き領域がなく、小さな空き領域しか存在しないような場合でも、ファイルを小さな単位に分割して記録できれば、そのような小さな空き領域に記録することができるからである。
In FIG. 6, the normal
したがって、上述したファイルを分割するための「所定の基準」とは、記録部３４の記録領域を効率よく利用するために用意するデータ記録の最小単位であり、例えばストリームに記録されている映像の時間や、データのサイズあるいはチャプタ５２によって区切られる単位が用いられる。これらの基準およびその最小単位は、記録部３４の容量やファイルシステムの制限などを考慮して実験的に定めればよい。
Therefore, the “predetermined standard” for dividing the above-described file is a minimum unit of data recording prepared in order to efficiently use the recording area of the
図７は、ファイル５４に格納される関連情報３０の記録形式の一例を模式的に表した図である。本例では、関連情報３０として、上述した時刻Ｔ０から時刻Ｔ５までの各時刻を用いる場合について説明する。
FIG. 7 is a diagram schematically illustrating an example of a recording format of the
まず、関連情報３０を記録する領域の先頭に、記録すべき関連情報３０の個数を格納する。本例では、記録すべき関連情報は時刻Ｔ０から時刻Ｔ５までの６個であるから、関連情報３０の個数として６を格納する。次に、通常フレームレートフレーム群４０の開始時刻であるＴ０と終了時刻であるＴ５を格納し、次に第１高フレームレートフレーム群４２の開始時刻であるＴ１と終了時刻であるＴ２を格納する。最後に第２高フレームレートフレーム群４４の開始時刻であるＴ３と終了時刻であるＴ４を格納する。フレーム群の数が増えた場合も同様の形式で格納すればよい。また、開始時刻と終了時刻は必ずセットで保存されるので、記録すべき関連情報３０の個数としてはセットの個数を記録してもよい。本例の場合では、開始時刻と終了時刻のセットは３セットあるため、関連情報３０の個数として３を格納する。
First, the number of the
なお、関連情報３０としては、通常フレームレートフレーム群４０の開始時刻であるＴ０と終了時刻であるＴ５は省略することが可能である。
Note that as the
図８は、ファイル５４に格納される関連情報３０の記録形式の別例を模式的に表した図である。本例では、関連情報３０として、上述した各フレーム群の先頭のフレーム番号とフレームの枚数とを用いる場合について説明する。
FIG. 8 is a diagram schematically showing another example of the recording format of the
本例の場合は、図７に示す例と異なり、記録すべき関連情報３０の個数は格納されず、先頭から順に関連情報３０が格納される。具体的には、まず通常フレームレートフレーム群４０のフレームの総数であるＮ０が格納される。次に第１高フレームレートフレーム群４２の先頭フレームに対応する通常フレームレートフレーム群４０のフレーム番号であるＦ１と、第１高フレームレートフレーム群４２と重複する区間の通常フレームレートフレーム群４０のフレーム枚数であるＮ１が格納される。続いて、第２高フレームレートフレーム群４４の先頭フレームに対応する通常フレームレートフレーム群４０のフレーム番号であるＦ３と、第１高フレームレートフレーム群４２と重複する区間の通常フレームレートフレーム群４０のフレーム枚数であるＮ２が格納される。最後に関連情報３０の終端を示す識別子であるターミネータが格納される。関連情報３０の先頭からターミネータまでの間の情報を読み込むことにより、関連情報３０の個数が格納されていなくても、関連情報を正しく読み取ることが可能となる。
In the case of this example, unlike the example shown in FIG. 7, the number of
なお、関連情報３０として、通常フレームレートフレーム群４０のフレームの総数であるＮ０は省略することもできる。
Note that N0, which is the total number of frames of the normal frame rate frame group 40, can be omitted as the
以上の構成による動作は以下のとおりである。ユーザは、実施の形態１にかかる撮像装置を用いて記録に残したい映像を撮像するに際し、その中でも特に重要なシーンについては高速撮影をする。撮影を終了すると、映像全体が６０ｆｐｓのフレームレートで記録されており、高速撮影をしたシーンについては２４０ｆｐｓのフレームレートで撮影された映像もあわせて記録されている。この結果、異なるフレームレートで撮影された映像が複数存在することになるが、これらは単一のファイルにまとめられて記録される。 The operation according to the above configuration is as follows. When a user captures an image desired to be recorded using the imaging apparatus according to the first embodiment, the user performs high-speed shooting for particularly important scenes. When shooting is completed, the entire video is recorded at a frame rate of 60 fps, and for a scene shot at high speed, a video shot at a frame rate of 240 fps is also recorded. As a result, there are a plurality of videos shot at different frame rates, but these are recorded together in a single file.
以上説明したように実施の形態１によれば、映像全体を通常のフレームレートで撮影し、重要なシーンについては合わせて高フレームレートで撮影することにより、重要でないシーンの符号量を抑えることが可能となり、結果として記憶容量を節約することができる。また、重要なシーンは別のストリームとして生成されるため、重要なシーンの取出しが容易となる。さらに、すべてのストリームと関連情報３０とをまとめてひとつのファイルとして生成されるため、ストリームごとに別ファイルを生成する場合と比較して、ファイルのコピーや転送、削除等の管理が容易となる。また、ストリームファイルの一部を消失した結果、一連のストリームファイルがすべて再生できなくなるということも防止できる。
As described above, according to the first embodiment, the entire video is shot at a normal frame rate, and important scenes are also shot at a high frame rate, so that the code amount of an unimportant scene can be suppressed. As a result, the storage capacity can be saved. Also, since important scenes are generated as separate streams, it is easy to extract important scenes. Furthermore, since all the streams and the
すべての機器が、例えば２４０ｆｐｓのような高フレームレートで撮影されたストリームを再生できるとは限らないが、実施の形態１によれば、映像全体を通常のフレームレートで撮影してあるため、高フレームレートで撮影されたストリームを再生できない機器においても映像を再生することが可能となる。
Although not all devices can play back a stream shot at a high frame rate such as 240 fps, according to
（実施の形態２）
実施の形態２の概要を述べる。実施の形態２は、フレームレートの異なる複数のストリームを含む動画ファイルを再生するに際し、高速撮影されたストリームの再生中であっても、早送り再生時には通常の撮影モードで撮影されたストリームのフレームを用いて早送り再生する。通常の撮影モードで撮影されたストリームのフレームは高速撮影モードで撮影されたストリームのフレームと比べてフレームレートが低いので、高速撮影モードで撮影されたストリームのフレームを用いて早送りする場合よりも目的のフレームに早く到達することができるからである。
(Embodiment 2)
An outline of the second embodiment will be described. In the second embodiment, when playing back a moving image file including a plurality of streams having different frame rates, even when a stream shot at a high speed is being played back, the frame of the stream shot in the normal shooting mode is displayed during fast forward playback. Use to fast forward playback. Stream frames shot in normal shooting mode have a lower frame rate than stream frames shot in high-speed shooting mode, so the purpose is faster than fast-forwarding using stream frames shot in high-speed shooting mode. This is because the frame can be reached quickly.
図９は、実施の形態２にかかる画像再生制御装置３００の内部構成を模式的に示した図である。画像再生制御装置３００は、ファイル分割部５８、画像復号部６０、操作受付部６２、およびフレーム選択部６４を含む。画像復号部６０はさらに、通常フレームレートストリーム復号部６８と高フレームレートストリーム復号部７０とを含む。
FIG. 9 is a diagram schematically illustrating an internal configuration of the image
ファイル分割部５８は、記録部３４から構成要素として関連情報３０および異なるフレームレートで撮像された複数のストリームを含む単一ファイルを受け取り、それを構成要素に分割する。通常フレームレートストリーム復号部６８は、ファイル分割部５８が分割した構成要素のうち、通常フレームレートストリーム２４を復号する。高フレームレートストリーム復号部７０は、ファイル分割部５８が分割した構成要素のうち、高フレームレートストリームを復号する。
The
操作受付部６２は、ファイル分割部５８が分割した構成要素のうち、関連情報３０を受け取る。加えて、図示しないユーザインタフェースを介して、動画を早送り再生すべき旨の指示等、ユーザから再生の制御情報を受け付ける。フレーム選択部６４は、画像復号部６０から復号された６０ｆｐｓのフレームおよび２４０ｆｐｓのフレームを受け取り、操作受付部６２からの制御情報に基づいて表示すべきフレームを選択する。表示部６６は、フレーム選択部６４で選択されたフレームを図示しないテレビやモニタ等の出力デバイスに表示する。
The
画像再生制御装置３００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
The configuration of the image
ここで、通常フレームレートストリーム復号部６８および高フレームレートストリーム復号部７０は、復号したフレームが表示部６６にて出力されるか否かに関わらず、常にフレームを復号することを前提とする。また、高フレームレートストリーム復号部７０が復号した２４０ｆｐｓのフレームを再生するに際しては、通常のフレームレートのフレームと同じフレームレートである６０ｆｐｓで再生する。したがって、通常のフレームレートのフレームの再生と比べて４倍（２４０ｆｐｓ／６０ｆｐｓ＝４倍）ゆっくりと再生されるように見える。
Here, it is assumed that the normal frame rate
図１０は、実施の形態２にかかる映像選択の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば操作受付部６２がユーザから動画の再生を指示されたときに開始する。
FIG. 10 is a flowchart for explaining a flow of video selection according to the second embodiment. The processing in this flowchart starts when, for example, the
フレーム選択部６４は、高フレームレートストリーム復号部７０から高フレームレートフレームが出力されるフレームが存在するか否かを調べる。高フレームレートフレームが存在しない場合には（Ｓ２８Ｎ）、フレーム選択部６４は通常のフレームレートのフレームを選択する（Ｓ３６）。高フレームレートフレームが存在する場合には（Ｓ２８Ｙ）、フレーム選択部６４は、操作受付部６２から高速撮影モードで撮影された高フレームレートのフレームを再生すべき指示が存在するか否かを調べる。高フレームレートで再生すべき指示が存在しない場合には（Ｓ３０Ｎ）、フレーム選択部６４は通常のフレームレートのフレームを選択する（Ｓ３６）。
The
高フレームレートで再生すべき指示が存在する場合には（Ｓ３０Ｙ）、フレーム選択部６４は、操作受付部６２から早送りで再生すべき指示が存在するか否かを調べる。早送り再生すべき指示が存在する場合には（Ｓ３２Ｙ）、フレーム選択部６４は通常のフレームレートのフレームを選択する（Ｓ３６）。早送り再生すべき指示が存在しない場合には（Ｓ３２Ｎ）、フレーム選択部６４は高フレームレートのフレームを選択する（Ｓ３４）。フレーム選択部６４は、選択したフレームを表示部６６に出力し（Ｓ３８）、本フローチャートにおける処理は終了する。フレーム選択部６４は、ストリームの再生中は毎フレーム本フローチャートにおける処理を実行する。
When there is an instruction to be played back at a high frame rate (S30Y), the
図１１は、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群とが存在する場合に高フレームレートにて再生するに際し、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群との切り替えのタイミング例を示す図である。２４０ｆｐｓのフレーム群を再生中に、時刻Ｔ７において早送り再生すべき旨の指示があり、時刻Ｔ８において早送り再生を終了し通常再生となった例が示されている。早送り再生すべき旨の指示があった時刻Ｔ７から早送り再生を終了した時刻Ｔ８の期間は、２４０ｆｐｓのフレーム群が存在するにも関わらず、６０ｆｐｓのフレーム群で早送り再生を行う。 FIG. 11 is a diagram showing an example of switching timing between a 60 fps frame group and a 240 fps frame group when reproducing at a high frame rate when a 60 fps frame group and a 240 fps frame group exist. An example in which fast-forward playback is instructed at time T7 during playback of a 240 fps frame group, and fast-forward playback is terminated at time T8 and normal playback is shown. During the period from the time T7 when the instruction for fast-forward playback is given to the time T8 when the fast-forward playback is finished, fast-forward playback is performed with a frame group of 60 fps even though a frame group of 240 fps exists.
図１２は、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群とが存在する場合にそれらのフレームを再生するに際し、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群との切り替えタイミングの別例を示す図である。本例では、時刻Ｔ９から時刻Ｔ１１の間、および時刻Ｔ１２から時刻Ｔ１４の間のふたつの期間にわたり、ふたつの２４０ｆｐｓのフレーム群が存在する。 FIG. 12 is a diagram showing another example of the switching timing between the 60 fps frame group and the 240 fps frame group when the 60 fps frame group and the 240 fps frame group exist. In this example, there are two 240 fps frame groups over two periods from time T9 to time T11 and from time T12 to time T14.
時刻Ｔ９より前は２４０ｆｐｓのフレーム群は存在しないため、６０ｆｐｓのフレーム群が通常再生される。時刻Ｔ９以降は６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群とが存在するため、フレーム選択部６４は、操作受付部６２を介したユーザからの高速撮影モードで撮影された２４０ｆｐｓのフレーム群を再生すべき指示が存在するか否かを調べる。２４０ｆｐｓのフレーム群を再生すべき指示が存在する場合、時刻Ｔ９以降は２４０ｆｐｓのフレーム群が選択され再生される。以下、通常再生の際に６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群とが共存する場合には、２４０ｆｐｓのフレーム群が再生されるものとする。
Since no frame group of 240 fps exists before time T9, a frame group of 60 fps is normally reproduced. Since there are a 60 fps frame group and a 240 fps frame group after time T9, the
時刻Ｔ１０において、ユーザから早送り再生すべき旨の指示があったため、フレーム選択部６４は、６０ｆｐｓのフレーム群を選択する。時刻Ｔ１１において２４０ｆｐｓのフレーム群は終了するが、早送り再生中のため、引き続き６０ｆｐｓのフレーム群が選択される。時刻Ｔ１２以降はふたつ目の２４０ｆｐｓのフレーム群が存在することになるが、早送り再生中のため、引き続き６０ｆｐｓのフレーム群が選択される。
At time T10, since there is an instruction from the user that fast-forward playback is to be performed, the
時刻Ｔ１３において早送り再生が終了したため、ふたつ目の２４０ｆｐｓのフレーム群が選択され再生される。時刻Ｔ１４においてふたつ目の２４０ｆｐｓのフレーム群が終了するため、時刻Ｔ１４以降は６０ｆｐｓのフレーム群が選択され再生される。 Since fast-forward playback is completed at time T13, the second 240 fps frame group is selected and played back. Since the second 240 fps frame group ends at time T14, the 60 fps frame group is selected and reproduced after time T14.
図１３は、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群とが存在する場合にそれらのフレームを再生するに際し、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群との切り替えタイミングのさらに別の例を示す図である。本例では、２４０ｆｐｓのフレーム群の再生中にユーザから早送り再生すべき旨の指示があり、早送り再生中は６０ｆｐｓのフレーム群が選択され、早送り再生が終了した時点では２４０ｆｐｓのフレーム群が存在するため、再度２４０ｆｐｓのフレーム群が選択され再生される。 FIG. 13 is a diagram showing still another example of the switching timing between the 60 fps frame group and the 240 fps frame group when the 60 fps frame group and the 240 fps frame group exist. . In this example, during playback of the 240 fps frame group, there is an instruction from the user that fast forward playback should be performed. During fast forward playback, the 60 fps frame group is selected, and when fast forward playback ends, there is a 240 fps frame group. Therefore, the 240 fps frame group is selected again and reproduced.
図１４は、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群とが存在する場合にそれらのフレームを再生するに際し、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群との切り替えタイミングのさらに別の例を示す図である。本例では、２４０ｆｐｓのフレーム群が存在しない範囲で６０ｆｐｓのフレームにて再生中にユーザから早送り再生すべき旨の指示があり、早送り再生中も６０ｆｐｓのフレーム群が選択され、早送り再生が終了した時点では２４０ｆｐｓのフレーム群が存在するため、その後は２４０ｆｐｓのフレーム群が選択され再生される。 FIG. 14 is a diagram showing still another example of the switching timing between the 60 fps frame group and the 240 fps frame group when the 60 fps frame group and the 240 fps frame group are present when the frames are reproduced. . In this example, there is an instruction from the user that fast-forward playback should be performed during playback at a frame of 60 fps within a range where there is no 240 fps frame group, and the frame group of 60 fps is selected even during fast-forward playback, and fast-forward playback ends. Since there is a 240 fps frame group at the time, the 240 fps frame group is selected and reproduced thereafter.
図１５は、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群とが存在する場合にそれらのフレームを再生するに際し、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群との切り替えタイミングのさらに別の例を示す図である。本例では、２４０ｆｐｓのフレームにて再生中にユーザから早送り再生すべき旨の指示があり、早送り再生中は６０ｆｐｓのフレーム群が選択され、早送り再生が終了した時点では２４０ｆｐｓのフレーム群が存在しないため、引き続き６０ｆｐｓのフレーム群が選択され再生される。 FIG. 15 is a diagram showing still another example of the switching timing between the 60 fps frame group and the 240 fps frame group when the 60 fps frame group and the 240 fps frame group exist. . In this example, there is an instruction from the user that fast-forward playback is to be performed during playback at a frame of 240 fps, a frame group of 60 fps is selected during fast-forward playback, and there is no 240 fps frame group when fast-forward playback ends. Therefore, a frame group of 60 fps is selected and reproduced continuously.
図１６は、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群とが存在する場合に高フレームレートにて再生するに際し、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群との切り替えタイミングのさらに別の例を示す図である。本例では、２４０ｆｐｓのフレーム群が存在しない範囲で６０ｆｐｓのフレームにて再生中にユーザから早送り再生すべき旨の指示があり、早送り再生中は６０ｆｐｓのフレーム群が選択され、早送り再生が終了した時点でも２４０ｆｐｓのフレーム群が存在しないため、引き続き６０ｆｐｓのフレーム群が選択され再生される。 FIG. 16 is a diagram showing still another example of the switching timing between the 60 fps frame group and the 240 fps frame group when reproducing at a high frame rate when a 60 fps frame group and a 240 fps frame group exist. is there. In this example, there is an instruction from the user that fast-forward playback should be performed during playback at a frame of 60 fps within a range where there is no 240 fps frame group. Since there is no 240 fps frame group even at the time, the 60 fps frame group is selected and reproduced continuously.
以上のように、実施の形態２にかかる画像再生制御装置３００は、高速撮影モードで撮影された２４０ｆｐｓのフレーム群が存在し、かつそれらのフレームを再生している場合でも、ユーザから早送り再生すべき旨の指示があったときには、６０ｆｐｓのフレーム群に切り替えて早送り再生を行う。これにより、２４０ｆｐｓのフレームを早送り再生する場合と比べて、ユーザは見ようとするシーンが写っているフレームに早くたどり着くことが可能となる。
As described above, the image
以上、実施の形態１および実施の形態２を説明した。これらの実施の形態の任意の組合せもまた本発明の実施の形態として有用である。実施の形態１と実施の形態２とを組合せ、ファイル連結部３２の出力した単一ファイルをファイル分割部５８が受け取るようにすれば、これらの実施の形態の効果の和に加え、さらに、撮像から再生までを一貫してユーザに提供できるようになる点で有利である。
The first embodiment and the second embodiment have been described above. Any combination of these embodiments is also useful as an embodiment of the present invention. If the first embodiment and the second embodiment are combined and the
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there.
例えば、上記実施の形態１では、画像符号化部２０が通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とのふたつ画像符号化部を含む場合について説明したが、いずれかの演算速度が十分速い場合には、ひとつの画像符号化部としてもよい。この場合、高速撮影モード時には通常のフレームレートの映像と高フレームレートの映像とを時分割で符号化することになる。回路の規模を小さくできることから、製造コストや消費電力を抑えられる点で有利である。
For example, in the first embodiment, the case where the
また、上記実施の形態１では、通常フレームレートフレーム符号化部３６と高フレームレートフレーム符号化部３８とはそれぞれ独立して演算する場合を想定したが、演算結果を共有できるようにしてもよい。例えば、高フレームレートフレーム符号化部３８が計算した４枚分のフレームの動きベクトルを合成すれば、通常フレームレートフレーム符号化部３６で計算すべき１枚分の動きベクトルとなる。この結果を共有することにより、全体として演算時間と消費電力とを抑えられる点で有利である。
In
また、上記実施の形態1では、チャプタ５２を関連情報３０として記録する場合について説明したが、ストリームに埋め込むチャプタ５２自体に、対応する高フレームレートの映像の情報を持たせてもよい。この場合、上述の例ではチャプタ５２ａに第１高フレームレートフレーム群４２の開始を、チャプタ５２ｂに第１高フレームレートフレーム群４２の終了を情報として記録することになる。また上述の例では、チャプタ５２ａとチャプタ５２ｂとをもって第１高フレームレートフレーム群４２の関連情報３０として説明したが、チャプタ５２ａと第１高フレームレートフレーム群４２のフレーム数や時間等を関連情報３０とすることもできる。
In the first embodiment, the case where the chapter 52 is recorded as the
また、上記実施の形態１では、フレーム生成部１４が常時２４０ｆｐｓのフレームを生成する場合について説明したが、通常は６０ｆｐｓの動画を生成し、高速撮影モードの場合のみ２４０ｆｐｓのフレームを生成するようにしてもよい。この場合、高速撮影モードではない場合のフレーム生成部１４の演算量が減り、フレーム間引き部１８の演算も不要となるため、消費電力を抑えられる点で有利である。また、フレームレートが低い場合にはセンサ１０における受光量を多くすることができるため、ノイズを抑制する効果も得られる。
In the first embodiment, the case where the frame generation unit 14 always generates a frame of 240 fps has been described. Normally, a moving image of 60 fps is generated, and a frame of 240 fps is generated only in the high-speed shooting mode. May be. In this case, the calculation amount of the frame generation unit 14 when not in the high-speed shooting mode is reduced, and the calculation of the
上記実施の形態２では、通常フレームレートストリーム復号部６８および高フレームレートストリーム復号部７０は、復号したフレームが表示部６６にて出力されるか否かに関わらず、常にフレームを復号するものとして説明したが、それぞれ表示部６６にて出力されるフレームを復号する場合のみ復号するようにしてもよい。その場合、フレーム選択部６４が通常フレームレートストリーム復号部６８または高フレームレートストリーム復号部７０にフレームを復号すべき指示を出力することになる。通常フレームレートストリーム復号部６８または高フレームレートストリーム復号部７０のいずれかのみが動作すればよいので、消費電力を抑制できる点で有利である。
In the second embodiment, the normal frame rate
また、上記実施の形態２では、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群とが同時に存在するときに早送り再生する場合には、常に６０ｆｐｓのフレーム群を用いることを前提に説明したが、早送り再生の速度の倍率に応じて選択するフレーム群を使い分けてもよい。例えば、高フレームレート再生における４倍速再生、すなわち見かけは６０ｆｐｓのフレームを等速再生する場合と同じ再生速度になるまでは、２４０ｆｐｓのフレームを選択し、４倍速よりも速い再生速度の場合には６０ｆｐｓのフレームを選択するようにしてもよい。この場合、フレーム選択部６４が操作受付部６２から再生速度に関する情報を上記制御情報の一部として受け取り、その倍率に応じて選択するフレームを変更すればよい。高い時間分解能で映像を再生しつつ、再生速度を細かく制御できる点で有利である。
In the second embodiment, the description has been given on the assumption that the 60 fps frame group is always used when the 60 fps frame group and the 240 fps frame group exist at the same time. You may use properly the frame group selected according to the magnification of speed. For example, if a frame rate of 240 fps is selected and the playback speed is higher than the quadruple speed until the playback speed is the same as that in the case of quadruple speed playback at high frame rate playback, that is, the apparent playback speed of 60 fps frames, A frame of 60 fps may be selected. In this case, the
また、上記実施の形態２では、画像復号部６０が通常フレームレートストリーム復号部６８と高フレームレートストリーム復号部７０とのふたつ画像復号部を含む場合について説明したが、いずれかの演算速度が十分速い場合には、ひとつの画像復号部としてもよい。この場合、６０ｆｐｓのフレーム群と２４０ｆｐｓのフレーム群とを時分割で復号することになる。回路の規模を小さくできることから、製造コストや消費電力を抑えられる点で有利である。
In the second embodiment, the case where the
また、上記実施の形態２では、ファイル分割部５８が単一ファイルを構成要素に分割する場合について説明したが、構成要素は単一ファイルとしてまとまっておらず、複数のファイルとして点在していてもよい。この場合、ファイル分割部５８に替えて図示しないファイル管理部が、点在する複数のファイルを関連づけることになる。これは例えば関連情報および異なるフレームレートで撮像された複数のストリームを同一フォルダに格納しておいたり、複数のファイルの命名規則を共通化したりすることで実現できる。
In the second embodiment, the case where the
５８ ファイル分割部、 ６２ 操作受付部、 ６４ フレーム選択部、 ６６ 表示部、 ６８ 通常フレームレートストリーム復号部、 ７０ 高フレームレートストリーム復号部、 ２００ 撮像装置、 ３００ 画像再生制御装置。 58 file division unit, 62 operation reception unit, 64 frame selection unit, 66 display unit, 68 normal frame rate stream decoding unit, 70 high frame rate stream decoding unit, 200 imaging device, 300 image reproduction control device.
Claims (5)
前記通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリームを復号して、通常よりも高いフレームレートの動画のフレームを出力する高フレームレートストリーム復号部と、
前記シーンを特定するための関連情報と早送り再生すべき期間を特定する制御情報とに基づいて、前記通常のフレームレートの動画のフレームまたは前記通常よりも高いフレームレートの動画のフレームのいずれかを再生すべき動画のフレームとして選択するフレーム選択部とを含み、
前記フレーム選択部は、早送り再生すべき期間の場合には、前記通常よりも高いフレームレートの動画のフレームが存在する場合であっても、前記通常のフレームレートの動画のフレームを選択して出力することを特徴とする画像再生制御装置。 A normal frame rate stream decoding unit that decodes a normal frame rate stream and outputs a frame of a normal frame rate video;
A high frame rate stream decoding unit that decodes a stream having a frame rate higher than normal for at least some scenes included in the stream having the normal frame rate and outputs a frame of a moving image having a frame rate higher than normal; ,
Based on the relevant information for specifying the scene and the control information for specifying the period for fast-forward playback, either the normal frame rate video frame or the higher frame rate video frame than the normal frame rate A frame selection unit that selects the frame of the video to be played,
The frame selection unit selects and outputs a moving image frame having a normal frame rate even when a moving image frame having a higher frame rate than the normal frame exists in a period for fast-forward playback. An image reproduction control device.
前記撮像部により撮像される動画像を符号化して、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの、２種類のストリームを生成可能な画像符号化部と、
前記通常のフレームレートのストリームと当該ストリームの生成と並行して生成された前記通常よりも高いフレームレートのストリームとを関連づける関連情報を生成する制御部と、
請求項１から３のいずれかに記載の画像再生制御装置と、
前記画像再生制御装置により表示制御される表示装置とを含むことを特徴とする撮像装置。 An imaging unit for acquiring a moving image;
An image encoding unit that encodes a moving image captured by the imaging unit to generate two types of streams, a normal frame rate stream and a higher frame rate stream;
A control unit that generates related information that associates the stream with the normal frame rate and the stream with a frame rate higher than the normal generated in parallel with the generation of the stream;
An image reproduction control device according to any one of claims 1 to 3,
An imaging device comprising: a display device whose display is controlled by the image reproduction control device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009297874A JP2011139291A (en) | 2009-12-28 | 2009-12-28 | Image playback controller, image playback control method and imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009297874A JP2011139291A (en) | 2009-12-28 | 2009-12-28 | Image playback controller, image playback control method and imaging device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011139291A true JP2011139291A (en) | 2011-07-14 |
Family
ID=44350265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009297874A Pending JP2011139291A (en) | 2009-12-28 | 2009-12-28 | Image playback controller, image playback control method and imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011139291A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014207653A (en) * | 2013-03-21 | 2014-10-30 | パナソニック株式会社 | Video recording device and camera decoder |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007195050A (en) * | 2006-01-20 | 2007-08-02 | Canon Inc | Imaging device and method, and control program |
| JP2008035280A (en) * | 2006-07-28 | 2008-02-14 | Sanyo Electric Co Ltd | Image decoding method, and image display method |
-
2009
- 2009-12-28 JP JP2009297874A patent/JP2011139291A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007195050A (en) * | 2006-01-20 | 2007-08-02 | Canon Inc | Imaging device and method, and control program |
| JP2008035280A (en) * | 2006-07-28 | 2008-02-14 | Sanyo Electric Co Ltd | Image decoding method, and image display method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014207653A (en) * | 2013-03-21 | 2014-10-30 | パナソニック株式会社 | Video recording device and camera decoder |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101778235B (en) | Moving picture generation apparatus, coding apparatus, decoding apparatus and multiplexing apparatus | |
| KR100447200B1 (en) | System for decoding video with PVR function | |
| JP4769717B2 (en) | Image decoding method | |
| US20090103630A1 (en) | Image processing device | |
| US10362262B2 (en) | Data recording apparatus and method of controlling the same | |
| US9167199B2 (en) | Image input apparatus with high-speed, high-quality still image successive capturing capability and still image successive capturing method using the same | |
| US8184700B2 (en) | Image decoder | |
| JPWO2010001609A1 (en) | Encoded stream reproduction apparatus and encoded stream reproduction method | |
| JP4440863B2 (en) | Encoding / decoding device, encoding / decoding method, encoding / decoding integrated circuit, and encoding / decoding program | |
| CN102006445A (en) | Image editing device and imaging device provided with the image editing device, image reproduction device and imaging device provided with the image reproduction device | |
| JP2009225361A (en) | Recording device and recording method, and editing device and editing method | |
| JP3814565B2 (en) | Recording device | |
| TW201008275A (en) | Video recording device and method | |
| JP2011146847A (en) | Image reproduction controller, image reproduction control method, and imaging device | |
| JP4902854B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, and moving picture encoding / decoding apparatus | |
| US20100061700A1 (en) | Data processing apparatus and data processing method, and computer program | |
| JP2011139291A (en) | Image playback controller, image playback control method and imaging device | |
| KR102557384B1 (en) | Electronic apparatus and control method thereof | |
| JP2011139289A (en) | Image recording controller, image recording control method and imaging device | |
| JP2011139293A (en) | Image playback controller, image playback control method and imaging device | |
| JP2011146846A (en) | Image reproduction controller, image reproduction control method, and imaging device | |
| JP3897783B2 (en) | Image processing apparatus, control method therefor, computer program, and computer-readable storage medium | |
| JP2004274488A (en) | Method for recording and reproducing animation data, recording apparatus and its reproducing apparatus thereof | |
| JP2015029211A (en) | Imaging device | |
| JP2021064903A (en) | Imaging apparatus, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121107 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130404 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130515 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140520 |