JP2008109245A

JP2008109245A - Recording and reproducing device

Info

Publication number: JP2008109245A
Application number: JP2006288389A
Authority: JP
Inventors: Haruhito Tokuyama; 陽人徳山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-10-24
Filing date: 2006-10-24
Publication date: 2008-05-08

Abstract

<P>PROBLEM TO BE SOLVED: To provide a recording and reproducing device in which an output frame rate and a display frame rate can be adjusted according to whether an output destination is compatible with a high speed frame rate. <P>SOLUTION: The device uses, as a frame rate in recording, a high speed frame rate which is higher than a frame rate used by a normal television device and can adjust a frame rate of an image to be output according to the compatibleness of an output destination with the high speed frame rate of the display in reproduction output. To this end, the device has a thinning reproduction mode in which when the recoding and reproduction device is connected to a display which is not compatible with the high speed frame rate, the thinning of a frame from 240 fps to 60 fps is performed on image processing ASIC4 in reproduction so that an image can be reproduced and output as a moving image of normal 60fps. Also, the device has a highly precise mode in which the image picked up and recorded at the high speed frame rate of 240 fps is output in four seconds by 60 fps of 1/4 of a photographic time. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、高速フレームレート機能を活かした映像効果が得られる記録再生装置に関する。 The present invention relates to a recording / reproducing apparatus capable of obtaining a video effect utilizing a high-speed frame rate function.

従来の記録再生装置においては、再生を行う際の出力先のディスプレイが高速フレームレート非対応の場合、スロー画像となり音声が追従せず、さらに操作方法が煩雑となるなどの問題点があり、主に産業、放送業界など使用される分野が限定される。
しかしながら、近年のＣＣＤからＣＭＯＳへの撮像素子のトレンドの変化や、放送のハイビジョン対応による撮像素子、撮像システムの高速化といった技術により民生用の撮像装置においても解像度を限定することで高速なフレームレートでの撮像環境が実現されている。
このような撮像環境において得られた映像を再生する記録再生装置として、高画質なスローモーション記録と通常記録とを切り替え可能にしたものがある（特許文献１参照）。
特開２００１−２９２４０９号公報 In conventional recording and playback devices, when the output destination display during playback does not support the high-speed frame rate, there are problems such as a slow image that does not follow the sound, and the operation method becomes complicated. The fields used in the industry and broadcasting industry are limited.
However, high-speed frame rate is achieved by limiting the resolution even in consumer imaging devices due to the recent changes in the trend of image sensors from CCD to CMOS, image sensors for high-definition broadcasting, and imaging system speedup. The imaging environment is realized.
As a recording / reproducing apparatus that reproduces a video obtained in such an imaging environment, there is one that can switch between high-quality slow motion recording and normal recording (see Patent Document 1).
JP 2001-292409 A

このような従来の記録再生装置においては、出力先のディスプレイが高速フレームレートに対応しているか、あるいは通常速度フレームレートに対応しているかなどの、出力先のディスプレイの高速フレームレート対応環境に応じた出力画像の出力フレームレートの調整、および出力画像を出力先のディスプレイで表示する際の表示フレームレートの調整ができないという課題があった。 In such a conventional recording / playback apparatus, depending on the environment in which the output display supports the high frame rate, such as whether the output display supports a high frame rate or a normal frame rate. There is a problem that the adjustment of the output frame rate of the output image and the adjustment of the display frame rate when the output image is displayed on the display of the output destination cannot be performed.

本発明は、このような事情に鑑みてなされたものであり、その目的は、出力先が高速フレームレートに対応しているか通常速度フレームレートに対応しているかに応じて、画像を出力する際の出力フレームレートの調整および画像を表示する際の表示フレームレートの調整が可能な記録再生装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and its purpose is to output an image depending on whether the output destination corresponds to a high-speed frame rate or a normal-speed frame rate. An object of the present invention is to provide a recording / reproducing apparatus capable of adjusting the output frame rate and adjusting the display frame rate when displaying an image.

上述の目的を達成するため、本発明にかかる記録再生装置は、高速フレームレートで録画された画像の再生出力時におけるフレームレートを調整可能にした記録再生装置であって、前記画像の再生出力先の高速フレームレート対応状況を判定する高速フレームレート対応状況判定手段と、前記高速フレームレート対応状況判定手段により判定した前記再生出力先の高速フレームレート対応状況と、前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える再生モード切り替え手段とを備えたことを特徴とする。 In order to achieve the above-mentioned object, a recording / reproducing apparatus according to the present invention is a recording / reproducing apparatus in which a frame rate at the time of reproduction output of an image recorded at a high frame rate can be adjusted. High-speed frame rate support status determination means for determining a high-speed frame rate support status, a high-speed frame rate support status of the reproduction output destination determined by the high-speed frame rate support status determination means, and an image recorded at the high-speed frame rate And a reproduction mode switching means for switching between a high-definition mode for performing slow motion reproduction and a thinning reproduction mode for performing thinning normal reproduction based on the management information of the image recorded corresponding to To do.

本発明によれば、高速撮像の映像ソースを録画し、高速フレームレートに対応していない出力先において再生する際に、自動的にハイライトシーンをスローモーション化して表示できるなど、高速撮像の映像ソースを有効活用した映像が得られる記録再生装置を実現できる効果がある。 According to the present invention, when a video source for high-speed imaging is recorded and played back at an output destination that does not support the high-speed frame rate, the highlight scene can be automatically displayed in slow motion, and the high-speed imaging video is displayed. There is an effect that it is possible to realize a recording / reproducing apparatus capable of obtaining an image using the source effectively.

（第１の実施の形態）
次の本発明の実施の形態について図面を参照して説明する。
図１は、本発明の第１の実施の形態の撮像装置の構成を示すブロック図である。
第１の実施の形態では、使用されるディスプレイが高速フレームレートに対応しているディスプレイへ移行するまでの過渡期に混在することになる高速フレームレート表示に対応したディスプレイと非対応なディスプレイ、ならびに撮影時の電力および記録媒体の容量への影響を考慮したものである。 (First embodiment)
Embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of the imaging apparatus according to the first embodiment of the present invention.
In the first embodiment, a display that is compatible with a high-speed frame rate display that is mixed in a transition period until the display used shifts to a display that supports a high-speed frame rate, a display that is not compatible, and This is because the influence on the power during recording and the capacity of the recording medium is taken into consideration.

第１の実施の形態の撮像装置は、録画レートの通常ＴＶレート（６０ｆｐｓ）と高速なフレームレート(ここでは例として４倍の２４０ｆｐｓ)の切り替えを記録時に行う。
第１の実施の形態の撮像装置は、イメージャー駆動ドライバ１、電子撮像素子２、ＡＦＥ（Ａ／Ｄコンバータ）３、画像・音声処理ＡＳＩＣ４、マイク５、アナログアンプ６、スピーカ７、メモリ８、パネル駆動ドライバ９、ＬＣＤパネル１０、操作部１１、バッテリ１２、電源管理ＩＣ１３、外部記録メディア１４、ＴＶ出力端子１５、記録媒体２１、プログラマブルＲＡＭ２２、角速度センサ２３、レンズ駆動ドライバ２４、レンズ２５およびシステムＭＰＵ２６を備えている。
イメージャー駆動ドライバ１は、例えばＣＭＯＳにより構成された電子撮像素子２を駆動するための回路である。
電子撮像素子２は、ＣＭＯＳにより構成された高速撮影の可能な撮像素子である。
ＡＦＥ３は、電子撮像素子２のアナログフロントエンド回路でありＡ／Ｄコンバータなどを備えている。
画像・音声処理ＡＳＩＣ４は、画像信号および音声信号を処理する特定用途向け集積回路である。
マイク５は音声を検出し電気信号へ変換し出力する。
アナログアンプ６は、マイク５から出力された電気信号を増幅する回路である。
スピーカ７はアナログアンプ６において増幅した電気信号を機械的信号へ変換し音声として出力する。
メモリ８は各種データを記憶する回路である。
パネル駆動ドライバ９は、画像・音声処理ＡＳＩＣ４により処理した画像信号をもとにＬＣＤパネル１０の各画素を駆動する回路である。
操作部１１は各種操作スイッチを備えている。
バッテリ１２は、この撮像装置の各部へ供給される電力を発生させる。
電源管理ＩＣ１３は、バッテリ１２の状態と負荷状態を検出し、この撮像装置の電源を管理する回路である。
外部記録メディア１４は、この撮像装置で撮像された映像を外部保存する記録装置である。
ＴＶ出力端子１５は、この撮像装置で撮像された映像や外部記録メディア１４に記録された映像を外部のディスプレイによりモニタするための出力端子である。
記録媒体２１は、この撮像装置に内蔵された記憶装置であり、撮像された映像や音声を保存する。
プログラマブルＲＡＭ２２は、この撮像装置で必要な各種ロジックを構成している。
角速度センサ２３は、この撮像装置における手ブレ防止機能を実現するためのセンサであり、撮像装置が動いたときの角速度を検出する。
レンズ駆動ドライバ２４は、レンズ駆動信号をもとにレンズ２５を駆動する回路である。
システムＭＰＵ２６は、この撮像装置の各部を制御するマイクロプロセッシングユニットである。 The image pickup apparatus according to the first embodiment switches between the normal TV rate (60 fps) of the recording rate and a high-speed frame rate (here, four times 240 fps as an example) at the time of recording.
The image pickup apparatus according to the first embodiment includes an imager drive driver 1, an electronic image pickup device 2, an AFE (A / D converter) 3, an image / audio processing ASIC 4, a microphone 5, an analog amplifier 6, a speaker 7, a memory 8, Panel drive driver 9, LCD panel 10, operation unit 11, battery 12, power management IC 13, external recording medium 14, TV output terminal 15, recording medium 21, programmable RAM 22, angular velocity sensor 23, lens drive driver 24, lens 25, and system An MPU 26 is provided.
The imager drive driver 1 is a circuit for driving an electronic image pickup device 2 configured by, for example, CMOS.
The electronic image pickup device 2 is an image pickup device configured by CMOS and capable of high-speed shooting.
The AFE 3 is an analog front end circuit of the electronic image sensor 2 and includes an A / D converter.
The image / audio processing ASIC 4 is an application specific integrated circuit that processes image signals and audio signals.
The microphone 5 detects sound, converts it into an electric signal, and outputs it.
The analog amplifier 6 is a circuit that amplifies the electrical signal output from the microphone 5.
The speaker 7 converts the electric signal amplified by the analog amplifier 6 into a mechanical signal and outputs it as sound.
The memory 8 is a circuit for storing various data.
The panel drive driver 9 is a circuit that drives each pixel of the LCD panel 10 based on the image signal processed by the image / sound processing ASIC 4.
The operation unit 11 includes various operation switches.
The battery 12 generates power to be supplied to each part of the imaging device.
The power management IC 13 is a circuit that detects the state and load state of the battery 12 and manages the power supply of the imaging apparatus.
The external recording medium 14 is a recording device that externally stores the video imaged by the imaging device.
The TV output terminal 15 is an output terminal for monitoring an image captured by the imaging apparatus and an image recorded on the external recording medium 14 with an external display.
The recording medium 21 is a storage device built in the imaging apparatus, and stores captured video and audio.
The programmable RAM 22 constitutes various logics necessary for this imaging apparatus.
The angular velocity sensor 23 is a sensor for realizing a camera shake preventing function in the imaging apparatus, and detects an angular velocity when the imaging apparatus moves.
The lens driving driver 24 is a circuit that drives the lens 25 based on the lens driving signal.
The system MPU 26 is a microprocessing unit that controls each part of the imaging apparatus.

次に動作について説明する。
システムＭＰＵ２６は、動画撮影時、パネル駆動ドライバ９に対して高速なフレームレートに対応した駆動パルスを送り、電子撮像素子２を高速モードで駆動する。
ＡＦＥ３、画像・音声処理ＡＳＩＣ４も高速対応の駆動で信号をディジタル変換し、電子撮像素子２からの信号に対し色処理、各ノイズ、レンズ補正処理といった処理を行い、高速レートのまま圧縮処理をかけ、システムＭＰＵ２６を介して外部メディア１４に記録する。その際マイク５から入力される音声はディジタルサンプリングが施された後、圧縮され、高速フレームレートの動画に同期して記録される。
通常レートの撮影時は電子撮像素子２の消費電力等も考慮し、駆動パルスの周波数そのものを下げ通常モードで駆動する。
画像は時間方向の詳細さは失われるが、撮影される動画もすべてフレームレートが下がるため消費電力、記録媒体の容量への負担が少ないなどのメリットが生じる。
なお、２つの駆動モードの切り替え時に露光時間が異なるが画像・音声処理ＡＳＩＣ４にてゲインを調整することで同じ露光で録画される。 Next, the operation will be described.
The system MPU 26 sends a drive pulse corresponding to a high-speed frame rate to the panel drive driver 9 during moving image shooting, and drives the electronic image pickup device 2 in a high-speed mode.
The AFE 3 and the image / sound processing ASIC 4 also perform digital conversion of the signal by high-speed drive, and perform processing such as color processing, noise, and lens correction processing on the signal from the electronic image sensor 2, and apply compression processing at a high rate , Recording on the external medium 14 via the system MPU 26. At this time, the sound input from the microphone 5 is subjected to digital sampling, then compressed, and recorded in synchronization with a moving image having a high frame rate.
When photographing at a normal rate, the power consumption of the electronic image sensor 2 is taken into consideration, and the drive pulse frequency itself is lowered to drive in the normal mode.
Although the details of the image in the time direction are lost, all of the moving images to be shot have a merit such that the frame rate is lowered and the power consumption and the burden on the capacity of the recording medium are reduced.
Although the exposure time differs when switching between the two drive modes, recording is performed with the same exposure by adjusting the gain in the image / sound processing ASIC 4.

従来のＴＶや機器に備わったＬＣＤパネル等では６０ｆｐｓまでの再生しか対応していない。このようなディスプレイでは図１に示す撮像装置から２４０ｆｐｓの動画を出力しても表示することはできない。
これに対しディスプレイ側が高速フレームレートに対応可能な場合は、撮像装置から２４０ｆｐｓの映像を出力し、リアルタイムですべての画像を表示することが可能である。
したがって、従来の高速フレームレート非対応のＴＶに対しては、撮像装置側で備えている高速フレームレートの撮像機能の用途として、例えば１秒の画像（２４０枚）を撮影時間の１／４の６０ｆｐｓで４秒間かけて出力する詳細再生モードを持つことによりなめらかで高精細なスロー再生をすることが可能となるが、前述の通り撮像装置における電力、媒体容量の都合上、通常撮影すべてを高速フレームレートで撮影することは現実的ではない。 Conventional LCD panels and other devices equipped with LCDs only support playback up to 60 fps. With such a display, even if a 240 fps moving image is output from the imaging apparatus shown in FIG. 1, it cannot be displayed.
On the other hand, when the display side can support the high-speed frame rate, it is possible to output a video of 240 fps from the imaging device and display all images in real time.
Therefore, for a conventional TV that does not support high-speed frame rate, as an application of the high-speed frame rate imaging function provided on the imaging device side, for example, 1 second image (240 images) is ¼ of the imaging time. The detailed playback mode that outputs over 4 seconds at 60 fps enables smooth, high-definition slow playback. However, as described above, due to the power and medium capacity of the imaging device, all normal shooting is performed at high speed. Shooting at a frame rate is not practical.

そこで第１の実施の形態の撮像装置は、撮影時に撮像装置側で得られる情報をもとにハイライトシーンを判別するためのイベントの発生を検出するイベント検出手段と、前記検出したイベントをもとに自動でハイライトシーンを判別し、撮影フレームレートを動的に切り替えることで撮影フレームレートの切り替え操作に要する手間を省き、消費電力と媒体容量を節約しつつ、ハイライトシーンのスローモーション映像効果を自動的に作成できるようにする撮影フレームレート切り替え手段を備える。
なお、これらイベント検出手段および撮影フレームレート切り替え手段はシステムＭＰＵ２６により実現されている。
図２は、この撮像装置において撮影した映像を録画する録画モードでの高速フレームレートによる撮影と通常速度フレームレートによる撮影の切り替え動作を示すフローチャートである。
図２のフローチャートに示すように、高速フレームレートで駆動するモードであるか否かを判定し（ステップＳ１）、高速フレームレートモードが選択されていれば２４０ｆｐｓでの高速フレームレートによる撮影を行う（ステップＳ３）。また、非高速フレームレートモード、つまり通常速度フレームレートが選択されていれば６０ｆｐｓでの通常速度フレームレートによる撮影を行う（ステップＳ２）。
この録画モードでは録画時の撮像機器の情況に応じ撮像する際のフレームレートの切り替えが自動的に行われる。この場合、録画時に入力された画像、手ブレ補正用のセンサ（ここでは角速度センサ２３）出力、機器の操作情況、マイク等からの入力される信号を含む、撮影時の撮像装置側で得られる情報をもとにハイライトシーンを判別するためのイベントの発生を検出し、撮影する際のフレームレートの切り替えを自動的に行う。
録画時に入力された画像とは、例えば画像処理ＡＳＩＣにて前後のフレームのＲＧＢ情報から差分演算を行うことにより、前後の変化が大きいか否かの判定をあらかじめ定められた閾値との比較をすることにより行う。その結果、機器側にて閾値よりも差分画像が大きい場合ハイライトシーンとして高速フレームレートにて撮影する。
その際入力画像以外に手ブレ補正用のセンサ（ここでは角速度センサ２３）やズームレンズ等の駆動情況を用いてパン・チルト、ズーム操作等の撮影者の操作による画像変化をシーンチェンジのトリガとして、上記ハイライトシーンから切り分けることによりハイライトシーンの認識率向上を図る。これによりユーザは意識することなく再生時に動きの激しい部分をハイライトとしてスローモーション観賞することが可能である。 Therefore, the imaging apparatus according to the first embodiment includes an event detection unit that detects the occurrence of an event for determining a highlight scene based on information obtained on the imaging apparatus side at the time of shooting, and the detected event. In addition, it automatically identifies the highlight scene and dynamically switches the shooting frame rate to save the power and medium capacity while saving the time and effort required to switch the shooting frame rate. An imaging frame rate switching means is provided for enabling an effect to be automatically created.
Note that these event detection means and photographing frame rate switching means are realized by the system MPU 26.
FIG. 2 is a flowchart showing a switching operation between shooting at a high frame rate and shooting at a normal frame rate in a recording mode for recording a video shot by the imaging apparatus.
As shown in the flowchart of FIG. 2, it is determined whether or not the mode is a mode driven at a high frame rate (step S1). If the high frame rate mode is selected, shooting at a high frame rate of 240 fps is performed ( Step S3). If the non-high speed frame rate mode, that is, the normal speed frame rate is selected, shooting is performed at the normal speed frame rate at 60 fps (step S2).
In this recording mode, the frame rate is automatically switched when imaging according to the situation of the imaging device at the time of recording. In this case, it is obtained on the imaging device side at the time of photographing, including an image input at the time of recording, an output of a camera shake correction sensor (here, angular velocity sensor 23), an operation state of the device, and a signal input from a microphone or the like. The occurrence of an event for discriminating a highlight scene is detected based on the information, and the frame rate at the time of shooting is automatically switched.
The image input at the time of recording is compared with a predetermined threshold to determine whether the change before and after is large, for example, by performing a difference calculation from the RGB information of the previous and subsequent frames in the image processing ASIC. By doing. As a result, when the difference image is larger than the threshold value on the device side, the highlight scene is taken at a high frame rate.
At that time, in addition to the input image, image change caused by a photographer's operation such as pan / tilt and zoom operations using a camera shake correction sensor (here, angular velocity sensor 23) and a driving situation of a zoom lens or the like as a trigger for a scene change The recognition rate of the highlight scene is improved by separating from the highlight scene. Accordingly, the user can watch slow motion with highlighting a portion that moves rapidly during reproduction without being conscious of it.

図３は、このような動きの激しい部分をハイライトシーンとしてスローモーション観賞できる撮像装置の録画動作を示すフローチャートである。
図３に示すフローチャートは、図２のフローチャートに示すステップＳ１の高速フレームレートモードであるか否かの判定処理の詳細を示している。
図３に示すフローチャートによれば、先ずズームレンズ等の駆動情況を判定しズーム（ＺＯＯＭ）作動中であるか否かを判定する（ステップＳ１２）。そして、ズーム作動中であれば、通常速度フレームレートによる撮影を選択する（ステップＳ１６）。
ステップＳ１２においてズーム作動中でなければ、次に角速度センサ２３の出力をもとにこの撮像装置に加えられている角速度の大きさが大きいか否かを、例えば予め設定されている閾値をもとに判定する（ステップＳ１３）。この結果、角速度センサ２３により検出された角速度の大きさが大きい場合には、通常速度フレームレートによる撮影を選択する（ステップＳ１６）。
ステップＳ１３において角速度の大きさが小さいと判定した場合には、次に画像処理ＡＳＩＣにて前後のフレームのＲＧＢ情報から差分演算を行うことにより、前後の変化が小さいか否かの判定をあらかじめ定められた閾値との比較をすることにより行う（ステップＳ１４）。その結果、撮像装置側において閾値よりも差分画像が小さい場合には通常速度フレームレートによる撮影を選択する（ステップＳ１６）。
ステップＳ１４において閾値よりも差分画像が大きい場合にはハイライトシーンとして高速フレームレートにて撮影する（ステップＳ１５）。 FIG. 3 is a flowchart showing a recording operation of the imaging apparatus that can watch slow motion as a highlight scene in such a portion with intense motion.
The flowchart shown in FIG. 3 shows the details of the process for determining whether or not the mode is the high-speed frame rate mode in step S1 shown in the flowchart of FIG.
According to the flowchart shown in FIG. 3, first, the driving situation of the zoom lens or the like is determined to determine whether or not the zoom (ZOOM) is being operated (step S12). If the zoom is being operated, the photographing at the normal speed frame rate is selected (step S16).
If the zoom operation is not being performed in step S12, whether or not the magnitude of the angular velocity applied to the imaging apparatus is large based on the output of the angular velocity sensor 23 is determined based on, for example, a preset threshold value. (Step S13). As a result, when the magnitude of the angular velocity detected by the angular velocity sensor 23 is large, shooting at the normal speed frame rate is selected (step S16).
If it is determined in step S13 that the angular velocity is small, the image processing ASIC then performs a difference calculation from the RGB information of the previous and subsequent frames to determine in advance whether or not the change before and after is small. This is performed by comparing with the obtained threshold value (step S14). As a result, when the difference image is smaller than the threshold value on the imaging device side, shooting at the normal speed frame rate is selected (step S16).
If the difference image is larger than the threshold value in step S14, the highlight scene is photographed at a high frame rate (step S15).

また、上記条件と合わせて例えば音声用のマイクレベルの入力をトリガとして（例えば音声認識をトリガとする）一定時間高速フレームにて撮像することにより、例えば運動会等のレースシーンにおいてスタートシーンをハイライト化することが可能である。
また通常の操作釦に合わせて高速フレームレートフラグの設定を行うことにより、例えば録画開始のレリーズ釦の長押しをトリガとしてフラグをオンすることにより通常撮影動作の延長で高速フレームレート撮影することが可能である。 In addition to the above conditions, the start scene is highlighted in, for example, a race scene such as an athletic meet, by taking an image of a high-speed frame for a certain time (for example, using voice recognition as a trigger), for example, by inputting a voice microphone level. It is possible to
In addition, by setting the high-speed frame rate flag according to the normal operation button, for example, the high-speed frame rate shooting can be performed by extending the normal shooting operation by turning on the flag with a long press of the release button at the start of recording as a trigger. Is possible.

図４は、第１の実施の形態の撮像装置における録画フレームと再生フレームとの関係を示す説明図である。
図４（ａ）は、モニタするディスプレイが高速フレームレートに対応していないとき通常シーンについて記録する際のフレームと再生するフレームとの関係を示している。つまり、モニタするディスプレイが高速フレームレートに対応しておらず、また録画するシーンが通常シーンであることから、録画するフレームは、１／６０秒間隔で撮像装置が通常速度フレームレートで撮影したフレーム番号〔０，４，８，１２……〕の映像である。そして、再生する映像については、前記録画したフレーム番号〔０，４，８，１２……〕のフレームを１／６０秒間隔で再生した映像である。
図４（ｂ）は、モニタするディスプレイが高速フレームレートに対応していないときのハイライトシーンについて記録する際のフレームと再生するフレームとの関係を示している。
つまり、録画するシーンがハイライトシーンであることから、録画するフレームは、１／２４０秒間隔で撮像装置が高速フレームレートで撮影したフレーム番号〔０，１，２，３，４，５，６，７，８……〕の映像である。そして、再生する映像については、モニタするディスプレイが高速フレームレートに対応していないため、前記録画したフレーム番号〔０，１，２，３，４，５，６，７，８……〕のフレームを１／６０秒間隔で再生した映像である。 FIG. 4 is an explanatory diagram illustrating a relationship between a recording frame and a reproduction frame in the imaging apparatus according to the first embodiment.
FIG. 4A shows the relationship between a frame for recording a normal scene and a frame to be played back when the monitor to be monitored does not support the high-speed frame rate. In other words, since the monitor to be monitored does not support the high-speed frame rate, and the scene to be recorded is a normal scene, the frame to be recorded is a frame captured by the imaging device at a normal speed frame rate at 1/60 second intervals. It is an image of number [0, 4, 8, 12. The video to be reproduced is a video obtained by reproducing the frame of the recorded frame number [0, 4, 8, 12,...] At 1/60 second intervals.
FIG. 4B shows the relationship between a frame for recording a highlight scene and a frame to be played back when the display to be monitored does not support the high-speed frame rate.
That is, since the scene to be recorded is a highlight scene, the frames to be recorded are frame numbers [0, 1, 2, 3, 4, 5, 6 taken by the imaging apparatus at a high frame rate at 1/240 second intervals. , 7, 8...]. For the video to be played back, since the monitor to be monitored does not support the high-speed frame rate, the recorded frame number [0, 1, 2, 3, 4, 5, 6, 7, 8,. Is reproduced at 1/60 second intervals.

また第１の実施の形態で撮影したフレームレートの混在する映像の高速フレームレートに対応したディスプレイ向けの用途として別に２４０ｆｐｓの高精細モードを設ける。
この高精細モードにおいては撮像装置は通常撮影のデータ（ここでは６０ｆｐｓ）出力時には４枚連続して同じフレームを出力し、高速フレームレートの動画についてはそのまま出力することでハイライトシーンは時間軸方向で詳細に出力可能となり動きボケなどを防止できる高精細な画像が得られる。
図５は、この高精細な画像が得られる高精細モードとハイライトシーン強調スローモードの切り替え動作を示すフローチャートである。
ハイライトシーン強調スローモードは、出力先のディスプレイが高速フレームレートに対応していないとき、ハイライトシーンが１／６０秒間隔のフレームによりスローモーションで強調された映像が再生出力される。
図５に示すフローチャートによれば、先ず映像の出力先のディスプレイが高速フレームレートに対応しているか否かを判定する（ステップＳ２２）。この判定は、例えばユーザが出力先のディスプレイが高速フレームレートに対応しているか否かを判断し、操作部１１を介して入力する。この結果、ステップＳ２２において出力先のディスプレイが高速フレームレートに対応していると判定したときには前記高精細モードへ移行する（ステップＳ２４）。一方、ステップＳ２２において高速フレームレートに対応していないと判定したときには前記ハイライトシーン強調スローモードへ移行し、ハイライトシーンが１／６０秒間隔のフレームによるスローモーションで強調された映像が再生出力される（ステップＳ２４）。 In addition, a high-definition mode of 240 fps is provided as an application for a display corresponding to a high-speed frame rate of a video with mixed frame rates photographed in the first embodiment.
In this high-definition mode, the imaging device outputs the same frame in succession when outputting normal shooting data (60 fps in this case), and outputs a high-speed frame rate moving image as it is, so that the highlight scene is in the time axis direction. In this way, it is possible to output in detail, and a high-definition image that can prevent motion blur is obtained.
FIG. 5 is a flowchart showing the switching operation between the high-definition mode and the highlight scene emphasis slow mode in which this high-definition image is obtained.
In the highlight scene emphasis slow mode, when the output destination display does not support the high-speed frame rate, a video in which the highlight scene is emphasized in slow motion by frames at 1/60 second intervals is reproduced and output.
According to the flowchart shown in FIG. 5, it is first determined whether or not the video output destination display supports the high-speed frame rate (step S22). In this determination, for example, the user determines whether or not the output destination display supports the high-speed frame rate, and inputs it via the operation unit 11. As a result, when it is determined in step S22 that the output display is compatible with the high-speed frame rate, the mode is shifted to the high-definition mode (step S24). On the other hand, if it is determined in step S22 that the high-speed frame rate is not supported, the highlight scene emphasis slow mode is entered, and a video in which the highlight scene is emphasized in slow motion with 1/60 second intervals is reproduced and output. (Step S24).

図６は、高精細モードにおける録画フレームと再生フレームとの関係を示す説明図である。
図６（ａ）に示すように、６０ｆｐｓで通常撮影した通常シーンの再生時には４枚連続して同じフレームを１／２４０秒間隔で出力する。このとき２枚目から４枚目のフレームは最初の１枚目のフレームと同一のダミーフレームである。
また、図６（ｂ）に示すように２４０ｆｐｓで高速撮影したハイライトシーンの再生時には、２４０ｆｐｓで録画されているハイライトシーンのフレームをそのまま出力する。
この結果、消費電力および記憶媒体へ記憶されるデータ量の抑制を実現しつつ、通常シーンおよびハイライトシーン共に、動きボケなどを防止できる高精細な画像が得られ、時間軸方向で詳細な映像を出力することが可能となる。
なおディスプレイが高速対応可能かどうかは前述したようにユーザ設定もしくはケーブル接続時に電気的もしくは制御信号で判断可能である。 FIG. 6 is an explanatory diagram showing the relationship between a recording frame and a playback frame in the high definition mode.
As shown in FIG. 6A, when reproducing a normal scene normally shot at 60 fps, four consecutive frames are output at 1/240 second intervals. At this time, the second to fourth frames are the same dummy frames as the first first frame.
As shown in FIG. 6B, when a highlight scene shot at a high speed of 240 fps is reproduced, the frame of the highlight scene recorded at 240 fps is output as it is.
As a result, high-definition images that can prevent motion blur in both normal scenes and highlight scenes can be obtained while reducing power consumption and the amount of data stored in the storage medium. Can be output.
Whether or not the display is compatible with high speed can be determined by an electrical or control signal at the time of user setting or cable connection as described above.

図７は、６０ｆｐｓで通常撮影した映像と、２４０ｆｐｓで高速撮影した映像が混在して録画されるパーシャルフレームレート動画ファイル構造を示す説明図である。
図７に示すように、このパーシャルフレームレート動画ファイル構造では６０ｆｐｓで通常撮影した映像と、２４０ｆｐｓで高速撮影した映像が混在して録画される。
図８は、再生される映像をモニタするディスプレイが高速フレームレートに対応していないときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。
図９は、再生される映像をモニタするディスプレイが高速フレームレートに対応しているときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。
図８に示すように、６０ｆｐｓで通常撮影した映像と、２４０ｆｐｓで高速撮影した映像が混在して録画される。このとき、図３に示すような各種条件をトリガとして高速撮影されるタイミングが自動的に決定される。また、再生時には通常撮影した映像と高速撮影した映像とが混在している画像が１／６０秒間隔のフレームにより再生される。したがって、再生される映像をモニタするディスプレイが高速フレームレートに対応していないとき、再生される高速撮影した映像は時間的に４倍に引き延ばされたスローモーション映像となる。図３に示すような各種条件をトリガとして自動的に高速撮影されたハイライトシーンが再生時においては時間的に４倍に引き延ばされたスローモーション映像としてディスプレイに出力される。
また、再生される映像をモニタするディスプレイが高速フレームレートに対応しているときには、図９に示すように、６０ｆｐｓで通常撮影した映像は、再生時にはダミーフレームにより４枚連続して同じフレームを１／２４０秒間隔で出力する。また、２４０ｆｐｓで高速撮影した映像については、録画されているフレームを１／２４０秒間隔でそのまま出力する。 FIG. 7 is an explanatory diagram showing a partial frame rate moving image file structure in which a video normally shot at 60 fps and a video shot at high speed at 240 fps are recorded together.
As shown in FIG. 7, in this partial frame rate moving image file structure, a video that is normally shot at 60 fps and a video that is shot at high speed at 240 fps are recorded together.
FIG. 8 shows the relationship between a recording frame and a playback frame of a video shot normally or at a high speed by the partial frame rate moving image file structure when the display for monitoring the video to be played does not support the high frame rate. It is explanatory drawing.
FIG. 9 shows the relationship between a recording frame and a playback frame of a video that has been shot normally or at a high speed by a partial frame rate moving image file structure when a display for monitoring the video to be played back supports a high frame rate. It is explanatory drawing.
As shown in FIG. 8, a video normally shot at 60 fps and a video shot at high speed at 240 fps are mixed and recorded. At this time, the timing for high-speed shooting is automatically determined by using various conditions as shown in FIG. 3 as a trigger. Further, at the time of reproduction, an image in which a normal photographed image and a high-speed photographed image are mixed is reproduced by a frame at 1/60 second intervals. Therefore, when the display that monitors the reproduced video does not support the high-speed frame rate, the high-speed captured video that is reproduced is a slow motion video that is extended four times in time. A highlight scene that has been automatically shot at a high speed using various conditions as shown in FIG. 3 as a trigger is output to the display as a slow-motion video that is extended four times in time.
Also, when the display for monitoring the video to be played back supports a high frame rate, as shown in FIG. 9, the video normally shot at 60 fps is displayed as four consecutive frames by dummy frames during playback. / Output at 240-second intervals. In addition, for a video captured at a high speed of 240 fps, the recorded frames are output as they are at intervals of 1/240 seconds.

以上説明したように、第１の実施の形態によれば、例えばズーム作動中でなければ、次に角速度センサ２３の出力をもとにこの撮像装置に加えられている角速度の大きさが大きいか否かを、予め設定されている閾値をもとに判定する。この結果、角速度センサ２３により検出された角速度が前記閾値より大きい場合には、通常速度フレームレートによる撮影を選択する。また、角速度の大きさが前記閾値より小さいと判定した場合には、次に画像処理ＡＳＩＣにて前後のフレームのＲＧＢ情報から差分演算を行うことにより、前記フレームの前後の変化が小さいか否かの判定をあらかじめ定められた閾値との比較をすることにより行う。その結果、撮像装置側において差分画像が前記閾値よりも小さい場合には通常速度フレームレートによる撮影を選択する。また、前記差分画像が前記閾値よりも大きい場合にはハイライトシーンとして高速フレームレートにて撮影する。
この結果、ハイライトシーンについてのみ高速フレームレートによる撮影が行われるため、消費電力と記憶媒体の容量が節約され、さらに撮影フレームレートの切り替え操作に要する手間が不要となる。
言い換えると、第１の実施の形態によれば、高速撮像と通常撮像の両方の記録が可能な撮像機器において詳細な画像が必要なハイライトシーンで自動的に撮影フレームレートを切り替えることが可能になる。この結果、消費電力と媒体の容量に負担をかけることなく少ない負荷で適所に高精細な動画撮影を実現できる撮像装置が得られる効果がある。
また、再生時に出力側のディスプレイに合わせて出力フレームレートの変換を行うことで、従来の高速フレームレートに対応していない低速なディスプレイに対しては再生時に高速フレームレートシーンをスロー化することが可能となり、映像効果として高速撮像データを有効活用できる。また、高速フレームレートに対応している高速表示可能なディスプレイに対しては通常速度フレームレートと高速フレームレートの混在する画像を時間方向に精細さを保ちつつリアルタイムに出力することが可能になる撮像装置が得られる効果がある。 As described above, according to the first embodiment, for example, if the zoom operation is not being performed, is the magnitude of the angular velocity applied to the imaging device next large based on the output of the angular velocity sensor 23? Whether or not is determined based on a preset threshold value. As a result, when the angular velocity detected by the angular velocity sensor 23 is larger than the threshold value, photographing at the normal velocity frame rate is selected. Also, if it is determined that the magnitude of the angular velocity is smaller than the threshold value, whether or not the change before and after the frame is small by performing a difference calculation from the RGB information of the previous and next frames in the image processing ASIC. This determination is performed by comparing with a predetermined threshold value. As a result, when the difference image is smaller than the threshold value on the imaging device side, shooting at the normal speed frame rate is selected. When the difference image is larger than the threshold, the highlight scene is taken at a high frame rate.
As a result, since shooting at a high frame rate is performed only for the highlight scene, power consumption and the capacity of the storage medium are saved, and further, the trouble of switching operation of the shooting frame rate becomes unnecessary.
In other words, according to the first embodiment, the imaging frame rate can be automatically switched in a highlight scene that requires a detailed image in an imaging device capable of recording both high-speed imaging and normal imaging. Become. As a result, there is an effect that an imaging apparatus capable of realizing high-definition moving image shooting in a suitable place with a small load without imposing a burden on power consumption and medium capacity is obtained.
Also, by converting the output frame rate to match the output display during playback, the high-speed frame rate scene can be slowed during playback for low-speed displays that do not support the conventional high-speed frame rate. As a result, high-speed imaging data can be effectively used as a video effect. In addition, for a display capable of high-speed display that supports a high-speed frame rate, it is possible to output an image in which the normal-speed frame rate and the high-speed frame rate are mixed in real time while maintaining fineness in the time direction. There is an effect that a device can be obtained.

（第２の実施の形態）
次に、本発明の第２の実施の形態の記録再生装置について説明する。
第２の実施の形態の記録再生装置は実施例１の撮像装置が備えている。したがって、図１のブロック図は第２の実施の形態の記録再生装置においても適用される。
第２の実施の形態では、今後過渡的に混在する高速フレームレート表示可能なディスプレイと高速フレームレートに対応していないディスプレイを考慮し、録画時のフレームレートは通常のテレビジョン装置で用いられているフレームレートよりも早い高速フレームレート（ここでは一例として４倍の２４０ｆｐｓ)で記録し、再生出力時に出力先のディスプレイの高速フレームレートの対応状況に応じて出力する画像のフレームレートを調整可能にする。
このため、画像の出力先の高速フレームレート対応状況を判定する高速フレームレート対応状況判定手段を備えている。また、前記高速フレームレート対応状況判定手段により判定した前記出力先の高速フレームレート対応状況と、前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える再生モード切り替え手段を備えている。さらに、撮影中のハイライトシーンを判別する撮像装置側におけるイベントの発生を検出するイベント検出手段を備えている。これら高速フレームレート対応状況判定手段、再生モード切り替え手段、イベント検出手段はシステムＭＰＵ２６により実現されている。 (Second Embodiment)
Next, a recording / reproducing apparatus according to the second embodiment of the present invention will be described.
The recording / reproducing apparatus of the second embodiment is provided in the imaging apparatus of the first embodiment. Therefore, the block diagram of FIG. 1 is also applied to the recording / reproducing apparatus of the second embodiment.
In the second embodiment, in consideration of a display capable of high-speed frame rate display that will be mixed in the future and a display that does not support the high-speed frame rate, the frame rate at the time of recording is used in a normal television device. It is possible to adjust the frame rate of the image to be recorded according to the correspondence status of the high-speed frame rate of the output display at the time of playback and output at a high-speed frame rate (in this example, 4 times 240 fps as an example) To do.
For this reason, a high-speed frame rate corresponding state determining unit for determining a high-speed frame rate corresponding state of an image output destination is provided. Further, based on the output destination high-speed frame rate support status determined by the high-speed frame rate support status determination means, and the management information of the image recorded corresponding to the image recorded at the high-speed frame rate Also provided is a reproduction mode switching means for switching between a high-definition mode for performing slow motion reproduction and a thinning reproduction mode for performing thinning normal reproduction. Furthermore, event detection means for detecting the occurrence of an event on the imaging apparatus side for determining the highlight scene being shot is provided. These high-speed frame rate correspondence status determination means, playback mode switching means, and event detection means are realized by the system MPU 26.

第２の実施の形態の記録再生装置を備えた撮像装置は、図１に示すようにイメージャー駆動ドライバ１、電子撮像素子２、ＡＦＥ（Ａ／Ｄコンバータ）３、画像・音声処理ＡＳＩＣ４、マイク５、アナログアンプ６、スピーカ７、メモリ８、パネル駆動ドライバ９、ＬＣＤパネル１０、操作部１１、バッテリ１２、電源管理ＩＣ１３、外部記録メディア１４、ＴＶ出力端子１５、記録媒体２１、プログラマブルＲＡＭ２２、角速度センサ２３、レンズ駆動ドライバ２４、レンズ２５およびシステムＭＰＵ２６を備えている。
イメージャー駆動ドライバ１は、例えばＣＭＯＳにより構成された電子撮像素子２を駆動するためのドライバである。
電子撮像素子２は、ＣＭＯＳにより構成された高速撮影の可能な撮像素子である。
ＡＦＥ３は、電子撮像素子２のアナログフロントエンド回路でありＡ／Ｄコンバータなどを備えている。
画像・音声処理ＡＳＩＣ４は、画像信号および音声信号を処理する特定用途向け集積回路である。マイク５は音声を検出し電気信号へ変換し出力する。
アナログアンプ６は、マイク５から出力された電気信号を増幅する回路である。
スピーカ７はアナログアンプ６において増幅した電気信号を機械的振動へ変換し音として出力する。
メモリ８は各種データを記憶する回路である。
パネル駆動ドライバ９は、画像・音声処理ＡＳＩＣ４により処理した画像信号をもとにＬＣＤパネル１０の各画素を駆動する回路である。
操作部１１は各種操作スイッチを備えている。バッテリ１２は、この撮像装置の各部へ供給される電力を発生させる。
電源管理ＩＣ１３は、バッテリ１２の状態と負荷状態を検出し、この撮像装置の電源を管理する回路である。
外部記録メディア１４は、この撮像装置で撮像された映像を外部保存する記録装置である。
ＴＶ出力端子１５は、この撮像装置で撮像された映像や外部記録メディア１４に記録された映像をモニタするためのディスプレイへ出力する端子である。
記録媒体２１は、この撮像装置に内蔵された記憶装置であり、撮像された映像や音声を保存する。
プログラマブルＲＡＭ２２は、この撮像装置で必要な各種ロジックを構成している。
角速度センサ２３は、この撮像装置における手ブレ防止機能を実現するためのセンサであり、撮像装置が動いたときの角速度を検出する。
レンズ駆動ドライバ２４は、レンズ駆動信号をもとにレンズ２５を駆動する回路である。
システムＭＰＵ２６は、この撮像装置の各部を制御するマイクロプロセッシングユニットである。 As shown in FIG. 1, an image pickup apparatus including a recording / reproducing apparatus according to the second embodiment includes an imager drive driver 1, an electronic image pickup device 2, an AFE (A / D converter) 3, an image / audio processing ASIC 4, and a microphone. 5, analog amplifier 6, speaker 7, memory 8, panel drive driver 9, LCD panel 10, operation unit 11, battery 12, power management IC 13, external recording medium 14, TV output terminal 15, recording medium 21, programmable RAM 22, angular velocity A sensor 23, a lens driving driver 24, a lens 25, and a system MPU 26 are provided.
The imager driving driver 1 is a driver for driving the electronic image pickup device 2 configured by, for example, CMOS.
The electronic image pickup device 2 is an image pickup device configured by CMOS and capable of high-speed shooting.
The AFE 3 is an analog front end circuit of the electronic image sensor 2 and includes an A / D converter.
The image / audio processing ASIC 4 is an application specific integrated circuit that processes image signals and audio signals. The microphone 5 detects sound, converts it into an electric signal, and outputs it.
The analog amplifier 6 is a circuit that amplifies the electrical signal output from the microphone 5.
The speaker 7 converts the electric signal amplified by the analog amplifier 6 into mechanical vibration and outputs it as sound.
The memory 8 is a circuit for storing various data.
The panel drive driver 9 is a circuit that drives each pixel of the LCD panel 10 based on the image signal processed by the image / sound processing ASIC 4.
The operation unit 11 includes various operation switches. The battery 12 generates power to be supplied to each part of the imaging device.
The power management IC 13 is a circuit that detects the state and load state of the battery 12 and manages the power supply of the imaging apparatus.
The external recording medium 14 is a recording device that externally stores the video imaged by the imaging device.
The TV output terminal 15 is a terminal that outputs to a display for monitoring video captured by the imaging apparatus and video recorded on the external recording medium 14.
The recording medium 21 is a storage device built in the imaging apparatus, and stores captured video and audio.
The programmable RAM 22 constitutes various logics necessary for this imaging apparatus.
The angular velocity sensor 23 is a sensor for realizing a camera shake preventing function in the imaging apparatus, and detects an angular velocity when the imaging apparatus moves.
The lens driving driver 24 is a circuit that drives the lens 25 based on the lens driving signal.
The system MPU 26 is a microprocessing unit that controls each part of the imaging apparatus.

次に動作について説明する。
動画撮影時、システムＭＰＵ２６はパネル駆動ドライバ９に対して高速なフレームレートに対応した駆動パルスを送り、電子撮像素子２を高速モードで駆動する。
ＡＦＥ３、画像・音声処理ＡＳＩＣ４も高速対応の駆動で信号をディジタル変換し、電子撮像素子２からの信号を色処理、各ノイズ、レンズ補正処理といった処理を行い、高速レートのまま圧縮処理をかけ、システムＭＰＵ２６を介して外部メディア１４に記録する。
その際マイク５から入力される音声はディジタルサンプリングが施された後、圧縮され、高速フレームレートの動画に同期して記録される。 Next, the operation will be described.
At the time of moving image shooting, the system MPU 26 sends a drive pulse corresponding to a high frame rate to the panel drive driver 9 to drive the electronic image pickup device 2 in the high speed mode.
The AFE 3 and the image / sound processing ASIC 4 also perform digital conversion of the signal with high-speed driving, perform processing such as color processing, noise, and lens correction processing on the signal from the electronic image sensor 2, and apply compression processing at a high rate, Recording is performed on the external medium 14 via the system MPU 26.
At this time, the sound input from the microphone 5 is subjected to digital sampling, then compressed, and recorded in synchronization with a moving image having a high frame rate.

図１０は、第２の実施の形態の記録再生装置において媒体記録されるファイルフォーマットの一例を示す説明図である。
図１０に示すように、ここでは映像情報３１や音声情報３２とは別に管理情報３３をメディアに記録する。なお図１０に示す例ではファイル単位で管理情報を持つように構成したが、これに限定されるものではない。
記録される管理情報には、日付やそれ以外の撮像装置側の情報などが記録される。第２の実施の形態の特徴として、再生時のフレームレート切り替え情報が管理情報３３として映像の時間軸に関連して付記される。なお、ユーザは撮影時もしくは再生時に任意に前記管理情報３３のフレームレート切り替え情報（フラグ）を変更することが可能である。
従来のテレビジョン装置や機器に備わったＬＣＤパネル等のディスプレイでは６０ｆｐｓまでの再生しか対応していないため、図１に示す撮像装置の記録再生装置から２４０ｆｐｓのフレームレートで動画を出力しても表示することはできない。ディスプレイ側が高速フレームレートに対応可能な場合は図１に示す撮像装置の記録再生装置から２４０ｆｐｓの映像を出力しリアルタイムですべての画像を表示することが可能である。
そこで第２の実施の形態では高速フレームレートに対応したディスプレイ向けの機能として２４０ｆｐｓの高速出力を可能とする機能を有している。
しかし、従来の６０ｆｐｓまでのディスプレイとの接続時は、相手のディスプレイにおいて２４０ｆｐｓの対応ができないためすべてのフレーム表示用として再生時に画像処理ＡＳＩＣ４上で２４０ｆｐｓから６０ｆｐｓへのフレームの間引きを行うことにより通常の６０ｆｐｓの動画として再生、出力する間引き再生モードを有している。これに加え、例えば２４０ｆｐｓの高速フレームレートで撮像され録画された画像（２４０枚）を撮影時間の１／４の６０ｆｐｓで４秒間かけて出力することによりなめらかで高精細なスローモーション再生を可能にする高精細モードを有している。 FIG. 10 is an explanatory diagram showing an example of a file format recorded on a medium in the recording / reproducing apparatus of the second embodiment.
As shown in FIG. 10, management information 33 is recorded on the medium separately from the video information 31 and the audio information 32 here. In the example shown in FIG. 10, the management information is stored in units of files, but the present invention is not limited to this.
In the management information to be recorded, the date and other information on the imaging device are recorded. As a feature of the second embodiment, frame rate switching information at the time of reproduction is added as management information 33 in relation to a video time axis. The user can arbitrarily change the frame rate switching information (flag) of the management information 33 at the time of shooting or playback.
Since displays such as LCD panels provided in conventional television devices and equipment can only play up to 60 fps, even if a moving image is output at a frame rate of 240 fps from the recording / playback device of the image pickup apparatus shown in FIG. I can't do it. When the display side can support the high-speed frame rate, it is possible to output 240 fps video from the recording / reproducing apparatus of the imaging apparatus shown in FIG. 1 and display all images in real time.
Therefore, the second embodiment has a function that enables a high-speed output of 240 fps as a function for a display that supports a high-speed frame rate.
However, when connecting to a conventional display up to 60 fps, the other display cannot support 240 fps, so that it is normal to thin out the frame from 240 fps to 60 fps on the image processing ASIC 4 during playback for displaying all frames. A thinning reproduction mode for reproducing and outputting as a 60 fps moving image. In addition, smooth and high-definition slow motion playback is possible by, for example, outputting images recorded at a high frame rate of 240 fps (240 images) at 60 fps, which is 1/4 of the shooting time, over 4 seconds. It has a high definition mode.

図１１は、このような高速表示に対応していないディスプレイへの出力モードの詳細を示す説明図である。
図１２は、出力先が高速フレームレートに対応したディスプレイであるか否かに応じた、再生時のマニュアル操作によるフレームレートの選択動作を示すフローチャートである。
第２の実施の形態では、図１２のフローチャートに示すように、再生モードが選択されると（ステップＳ５１）、出力先が２４０ｆｐｓ対応ディスプレイであるか、あるいは２４０ｆｐｓ非対応ディスプレイであるかに応じたマニュアル操作により出力モードが選択可能である（ステップＳ５２）。すなわち、このマニュアル操作の結果、出力先が２４０ｆｐｓ対応ディスプレイであるときには、高速フレームレートに対応した２４０ｆｐｓの高速フレームレートでの出力を行うことが可能である（ステップＳ５４）。
また、２４０ｆｐｓ非対応ディスプレイである場合には、さらにマニュアル操作により設定された高速フレームレート出力フラグのオン、オフに応じて（ステップＳ５３）、高速フレームレート出力フラグがオフのとき、画像処理ＡＳＩＣ４上で２４０ｆｐｓから６０ｆｐｓへの間引きを行うことにより通常の６０ｆｐｓの動画として再生、出力する間引き再生モードが選択される（ステップＳ５６）。また、前記高速フレームレート出力フラグがオンのとき、例えば１秒間の画像（２４０枚）を撮影時間の１／４の６０ｆｐｓにて４秒間かけてスローモーション映像として出力する高精細モードが選択され、なめらかで高精細なスロー再生を行う（ステップＳ５５）。 FIG. 11 is an explanatory diagram showing details of an output mode to a display that does not support such high-speed display.
FIG. 12 is a flowchart showing a frame rate selection operation by manual operation at the time of reproduction depending on whether or not the output destination is a display corresponding to a high-speed frame rate.
In the second embodiment, as shown in the flowchart of FIG. 12, when the playback mode is selected (step S51), it depends on whether the output destination is a display compatible with 240 fps or a display not compatible with 240 fps. The output mode can be selected by manual operation (step S52). That is, as a result of this manual operation, when the output destination is a 240 fps display, it is possible to output at a high frame rate of 240 fps corresponding to the high frame rate (step S54).
If the display is not compatible with 240 fps, the high speed frame rate output flag set by manual operation is turned on or off (step S53). When the high speed frame rate output flag is off, In step S56, a thinning reproduction mode for reproducing and outputting as a normal 60 fps moving picture is selected by performing thinning from 240 fps to 60 fps. Further, when the high-speed frame rate output flag is on, for example, a high-definition mode is selected that outputs a 1-second image (240 images) as a slow-motion video over 4 seconds at 60 fps, which is 1/4 of the shooting time, Smooth and high-definition slow playback is performed (step S55).

さらに、第２の実施の形態ではマニュアルによるフレームレートの切り替え機能の他に、従来ディスプレイ向けの臨場感を高めるモードとしてユーザの付記した動画上の高速フレームレート切り替えフラグ情報などの管理情報３３をもとに自動でスローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える。これにより、簡単に時間軸方向に精細感のあるスローモーション映像効果として楽しむことができる。
図１３は、出力先の高速フレームレート対応状況に応じたフラグにより６０ｆｐｓ出力の再生モードが自動判別されたときの、管理情報３３の高速フレームレート切り替え情報をもとに自動的に行われる前記高精細モードと前記間引き再生モードとの切り替え動作を示すフローチャートである。
この高精細モードと間引き再生モードとの自動切り替えにおいては、６０ｆｐｓ出力の再生モードがフラグにより自動判別されて選択されると（ステップＳ６１）、再生フレーム毎に前述の管理情報３３から高速フレームレート切り替え情報のフラグを参照し（ステップＳ６２）、このフラグに応じて出力画像の間引きのオン／オフの切り替え、または前記スローモーション再生処理を再生時にリアルタイムで行う（ステップＳ６３、ステップＳ６４）。 Further, in the second embodiment, in addition to the manual frame rate switching function, management information 33 such as high-speed frame rate switching flag information on a moving image added by the user is provided as a mode for enhancing the realistic sensation for conventional displays. In addition, a high-definition mode in which slow motion playback is automatically performed and a thin-out playback mode in which thinning-out normal playback is performed are switched. As a result, it can be easily enjoyed as a slow motion video effect with a fine sense in the time axis direction.
FIG. 13 shows the high frame rate information automatically performed based on the high speed frame rate switching information of the management information 33 when the reproduction mode of 60 fps output is automatically determined by the flag corresponding to the high speed frame rate support status of the output destination. 6 is a flowchart showing a switching operation between a fine mode and the thinning reproduction mode.
In the automatic switching between the high-definition mode and the thinning-out reproduction mode, when the reproduction mode of 60 fps output is automatically determined and selected by the flag (step S61), the high-speed frame rate is switched from the management information 33 for each reproduction frame. The information flag is referred to (step S62), and output image thinning on / off switching or the slow motion reproduction process is performed in real time during reproduction according to the flag (step S63, step S64).

また、第２の実施の形態では録画時の撮像装置の状況に応じて自動で高速フレームレートのフラグの切り替えを行う高速フレームレート切り替えフラグ自動生成モードも選択可能である。
図１４は、この高速フレームレート切り替えフラグ自動生成モードの動作を示すフローチャートである。
図１４のフローチャートに示すように、録画時にこの高速フレームレート切り替えフラグ自動生成モードが選択された場合（ステップＳ７１）、入力された画像および手ブレ補正用のセンサ（ここでは角速度センサ２３）（ステップＳ７３）や、機器の操作情況（ステップＳ７２、ステップＳ７４）、マイク５等からの入力される信号をもとに高速フレームレート切り替えフラグの自動生成を行う（ステップＳ７５、Ｓ７６）。
この高速フレームレート切り替えフラグは管理情報３３として図１０に示す映像記録データ３１、音声記録データ３２と対応して記録される。
例えば、図１４のステップ７５に示すように、画像・音声処理ＡＳＩＣ４にて前後のフレームの差分演算を行うことにより、前後の変化の大きさをあらかじめ定められた閾値と比較をすることによって撮像装置側にてスロー出力がより効果的となるハイライトシーンとして高速フレームレート切り替えフラグをオンにする。
その際入力画像以外に手ブレ補正用のセンサ（ここでは角速度センサ２３）やズームレンズの駆動情況を用いてパン・チルト、ズーム操作等の撮影者の操作による画像変化をシーンチェンジとして、上記ハイライトシーンから切り分けることにより認識率向上を図ることが可能である。これによりユーザは意識することなく再生時に動きの激しい部分をハイライトシーンとしてスローモーションで観賞することが可能である。 In the second embodiment, it is also possible to select a high-speed frame rate switching flag automatic generation mode in which a high-speed frame rate flag is automatically switched according to the state of the imaging device at the time of recording.
FIG. 14 is a flowchart showing the operation of the high-speed frame rate switching flag automatic generation mode.
As shown in the flowchart of FIG. 14, when the high-speed frame rate switching flag automatic generation mode is selected during recording (step S71), the input image and the camera shake correction sensor (here, the angular velocity sensor 23) (step S73), the operation status of the device (steps S72 and S74), and a high-speed frame rate switching flag is automatically generated based on the signal input from the microphone 5 or the like (steps S75 and S76).
This high-speed frame rate switching flag is recorded as management information 33 corresponding to the video recording data 31 and the audio recording data 32 shown in FIG.
For example, as shown in step 75 of FIG. 14, the image / sound processing ASIC 4 performs the difference calculation of the preceding and succeeding frames, and compares the magnitude of the change before and after with a predetermined threshold value to thereby obtain the imaging apparatus. On the side, the high-speed frame rate switching flag is turned on as a highlight scene where the slow output becomes more effective.
At this time, in addition to the input image, image change caused by a photographer's operation such as pan / tilt or zoom operation using a camera shake correction sensor (in this case, the angular velocity sensor 23) or a driving condition of the zoom lens is used as a scene change. It is possible to improve the recognition rate by separating from the light scene. As a result, the user can watch a portion with a strong motion during reproduction as a highlight scene without being aware of it in slow motion.

また、上記した認識率向上を図るための各種条件と合わせて例えば音声用のマイクレベルの入力をトリガとして（例えば音声認識をトリガとすることも可能である）一定時間高速フレームレートをオンにする設定を行うことにより、例えば運動会等のレースシーンにおいてスタートシーンをハイライト化することが可能である。
また、通常の操作釦に合わせて高速フレームレートフラグの設定を行うことも可能であり、例えば録画開始のレリーズ釦の長押しをトリガとして高速フレームレート切り替えフラグをオンすることにより通常撮影動作の延長でハイライトシーンを設定することが可能である。 In addition to the above-described various conditions for improving the recognition rate, the high-speed frame rate is turned on for a certain time using, for example, an input of a microphone level for voice as a trigger (for example, voice recognition can be used as a trigger). By performing the setting, it is possible to highlight the start scene in a race scene such as an athletic meet.
It is also possible to set the high-speed frame rate flag in accordance with the normal operation button. For example, the normal shooting operation can be extended by turning on the high-speed frame rate switching flag triggered by a long press of the release button at the start of recording. The highlight scene can be set with.

以上説明したように、第２の実施の形態によれば、例えば６０ｆｐｓまでの高速フレームレート非対応のディスプレイとの接続時は、相手のディスプレイにおいて２４０ｆｐｓの高速フレームレートに対応できないためすべてのフレーム表示用として再生時に画像処理ＡＳＩＣ４上で２４０ｆｐｓから６０ｆｐｓへのフレームの間引きを行うことにより通常の６０ｆｐｓの動画として再生、出力する間引き再生モードを有している。また、例えば２４０ｆｐｓの高速フレームレートで撮像され録画された画像（２４０枚）を撮影時間の１／４の６０ｆｐｓで４秒間かけて出力することによりなめらかで高精細なスローモーション再生を可能にする高精細モードを有している。この結果、高速フレームレートに対応していない出力先において再生する際に、自動的にハイライトシーンをスローモーション化して表示できるなど、高速撮像の映像ソースを有効活用できる。
言い換えると、第２の実施の形態によれば、高速撮像の映像ソースを録画し、高速表示が不可能なディスプレイにおいて再生する際にハイライトシーンをスローモーション化して表示することのできる記録再生装置が得られる効果がある。
また、マニュアルで高速なフレームレート出力を設定するとスローモーション再生を選ぶ手間が発生するが、録画時にユーザが従来の操作性の延長でハイライト部を指定することが可能である。
また、カメラの入力、操作情報から自動でハイライトシーンの検出を行い、管理情報に出力時のフレームレートの情報を記録することによって、再生時に特に設定しなくともハイライトシーンをなめらかにスローモーション再生することが可能になり、高速撮像の映像ソースを有効活用した映像が得られる記録再生装置を実現できる効果がある。 As described above, according to the second embodiment, for example, when connected to a display that does not support a high-speed frame rate up to 60 fps, all frames are displayed because the other party's display cannot support a high-speed frame rate of 240 fps. For reproduction, the image processing ASIC 4 has a thinning reproduction mode for reproducing and outputting as a normal 60 fps moving picture by thinning out frames from 240 fps to 60 fps. Also, for example, a high-speed slow-motion playback that enables smooth and high-definition slow motion playback by outputting images (240 images) captured and recorded at a high frame rate of 240 fps over 4 seconds at 60 fps, which is 1/4 of the shooting time. Has a fine mode. As a result, it is possible to effectively use a video source for high-speed imaging, such as automatically displaying a highlight scene in slow motion when playing back at an output destination that does not support the high-speed frame rate.
In other words, according to the second embodiment, a recording / reproducing apparatus capable of recording a high-speed imaging video source and displaying the highlight scene in slow motion when reproducing on a display incapable of high-speed display. Is effective.
In addition, manually setting a high-speed frame rate output requires time and effort to select slow motion playback, but the user can specify a highlight portion by extending the conventional operability during recording.
In addition, by automatically detecting highlight scenes from camera input and operation information, and recording the frame rate information at the time of output in the management information, the highlight scene can be smoothly slow-moved without special settings during playback. Thus, it is possible to realize a recording / reproducing apparatus capable of reproducing and obtaining a video that effectively uses a video source for high-speed imaging.

本発明の実施例１の撮像装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment of the present invention. 本発明の実施例１の撮像装置における録画モードでの高速フレームレートによる撮影と通常速度フレームレートによる撮影の切り替え動作を示すフローチャートである。5 is a flowchart showing a switching operation between shooting at a high frame rate and shooting at a normal frame rate in the recording mode in the image pickup apparatus of Embodiment 1 of the present invention. 本発明の実施例１のハイライトシーンとしてスロー観賞できる撮像装置の録画動作を示すフローチャートである。It is a flowchart which shows the video recording operation | movement of the imaging device which can watch slow as a highlight scene of Example 1 of this invention. ディスプレイが高速フレームレート非対応であるときの本発明の実施例１の撮像装置における録画フレームと再生フレームとの関係を示す説明図である。It is explanatory drawing which shows the relationship between the recording frame and the reproduction | regeneration frame in the imaging device of Example 1 of this invention when a display does not respond | correspond to a high-speed frame rate. 本発明の実施例１の撮像装置における高精細モードとハイライトシーン強調スローモードの切り替え動作を示すフローチャートである。6 is a flowchart illustrating a switching operation between a high-definition mode and a highlight scene emphasis slow mode in the imaging apparatus according to the first embodiment of the present invention. ディスプレイが高速フレームレート対応であるときの本発明の実施例１の撮像装置における録画フレームと再生フレームとの関係を示す説明図である。It is explanatory drawing which shows the relationship between the recording frame in the imaging device of Example 1 of this invention when a display respond | corresponds to a high-speed frame rate, and a reproduction | regeneration frame. 本発明の実施例１の撮像装置におけるパーシャルフレームレート動画ファイル構造を示す説明図である。It is explanatory drawing which shows the partial frame rate moving image file structure in the imaging device of Example 1 of this invention. ディスプレイが高速フレームレートに対応していないときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。It is explanatory drawing which shows the relationship between the recording frame of the image | video normally image | photographed or high-speed image | photographed with the partial frame rate moving image file structure when a display does not respond | correspond to a high-speed frame rate, and a reproduction | regeneration frame. ディスプレイが高速フレームレートに対応しているときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。It is explanatory drawing which shows the relationship between the recording frame of the image | video normally image | photographed or high-speed image | photographed with the partial frame rate moving image file structure when a display respond | corresponds to a high-speed frame rate, and a reproduction | regeneration frame. 本発明の第２の実施の形態の記録再生装置において媒体記録されるファイルフォーマットを示す説明図である。It is explanatory drawing which shows the file format recorded on a medium in the recording / reproducing apparatus of the 2nd Embodiment of this invention. 高速表示に対応していないディスプレイへの出力モードの詳細を示す説明図である。It is explanatory drawing which shows the detail of the output mode to the display which does not support high-speed display. 本発明の第２の実施の形態の記録再生装置における出力先が高速フレームレートに対応したディスプレイであるか否かに応じた出力モードの選択動作を示すフローチャートである。It is a flowchart which shows the selection operation | movement of the output mode according to whether the output destination in the recording / reproducing apparatus of the 2nd Embodiment of this invention is a display corresponding to a high-speed frame rate. 本発明の第２の実施の形態の記録再生装置において管理情報をもとに自動的に行われる高精細モードと間引き再生モードとの切り替え動作を示すフローチャートである。It is a flowchart which shows the switching operation | movement between the high-definition mode and thinning | removing reproduction | regeneration mode performed automatically based on management information in the recording / reproducing apparatus of the 2nd Embodiment of this invention. 本発明の第２の実施の形態の記録再生装置における高速フレームレートフラグ自動生成モードの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the high-speed frame rate flag automatic generation mode in the recording / reproducing apparatus of the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

２６……システムＭＰＵ（高速フレームレート対応状況判定手段、再生モード切り替え手段、イベント検出手段）。 26... System MPU (high-speed frame rate correspondence status judging means, playback mode switching means, event detecting means).

Claims

高速フレームレートで録画された画像の再生出力時におけるフレームレートを調整可能にした記録再生装置であって、
前記画像の再生出力先の高速フレームレート対応状況を判定する高速フレームレート対応状況判定手段と、
前記高速フレームレート対応状況判定手段により判定した前記再生出力先の高速フレームレート対応状況と、前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える再生モード切り替え手段と、
を備えたことを特徴とする記録再生装置。 A recording / reproducing apparatus that enables adjustment of a frame rate at the time of reproduction output of an image recorded at a high frame rate,
A high-speed frame rate corresponding state determining unit for determining a high-speed frame rate corresponding state of the reproduction output destination of the image;
Based on the high-speed frame rate support status of the reproduction output destination determined by the high-speed frame rate support status determination means, and management information of the image recorded corresponding to the image recorded at the high-speed frame rate, Playback mode switching means for switching between a high-definition mode for performing slow motion playback and a thinning playback mode for performing thinning normal playback;
A recording / reproducing apparatus comprising:

撮影中のハイライトシーンを判別する撮像装置側におけるイベントの発生を検出するイベント検出手段を有し、前記再生モード切り替え手段は、前記高速フレームレート対応状況判定手段により判定した前記再生出力先の高速フレームレート対応状況と、前記イベント検出手段が検出した前記イベントをもとに判別されたハイライトシーンに応じて前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替えることを特徴とする請求項１記載の記録再生装置。 Event detection means for detecting the occurrence of an event on the imaging apparatus side for determining a highlight scene being shot, and the playback mode switching means is a high-speed reproduction output destination determined by the high-speed frame rate correspondence status determination means Frame rate correspondence status, and management information of the image recorded corresponding to the image recorded at the high-speed frame rate according to the highlight scene determined based on the event detected by the event detection means, 2. The recording / reproducing apparatus according to claim 1, wherein the recording / reproducing apparatus switches between a high-definition mode for performing slow motion reproduction and a thinning reproduction mode for performing thinning normal reproduction.

前記イベント検出手段は、撮影中のフレーム間画像差分情報が所定の大きさを超えることで前記イベントの発生を検出することを特徴とする請求項２記載の記録再生装置。 3. The recording / reproducing apparatus according to claim 2, wherein the event detection unit detects the occurrence of the event when the inter-frame image difference information being shot exceeds a predetermined size.

前記イベント検出手段は、撮像装置本体に加えられている動きが所定の大きさを超えていないことを条件に撮影中のフレーム間画像差分情報が所定の大きさを超えることで前記イベントの発生を検出することを特徴とする請求項３記載の記録再生装置。 The event detection means detects the occurrence of the event when the inter-frame image difference information being photographed exceeds a predetermined size on condition that the movement applied to the imaging apparatus main body does not exceed the predetermined size. 4. The recording / reproducing apparatus according to claim 3, wherein the recording / reproducing apparatus detects the recording / reproducing apparatus.

前記イベント検出手段は、ズーム動作中ではなく、かつ撮像装置本体に加えられている動きが所定の大きさを超えていないことを条件に撮影中のフレーム間画像差分情報が所定の大きさを超えることで前記イベントの発生を検出することを特徴とする請求項４記載の記録再生装置。 The event detection means is not in a zoom operation, and the inter-frame image difference information being photographed exceeds a predetermined size on condition that the movement applied to the imaging apparatus main body does not exceed a predetermined size. 5. The recording / reproducing apparatus according to claim 4, wherein the occurrence of the event is detected.