JP2014171110A

JP2014171110A - Image reproduction device, control method thereof, and control program

Info

Publication number: JP2014171110A
Application number: JP2013042007A
Authority: JP
Inventors: Satoru Okamura; 哲岡村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-03-04
Filing date: 2013-03-04
Publication date: 2014-09-18

Abstract

PROBLEM TO BE SOLVED: To compensate for image blur at the time of image reproduction through removal of a panning component without incurring increases in memory size and cost.SOLUTION: A microcomputer 210 detects, with reference to shake data recorded in a recording medium 121, whether a panning operation has been performed at the time of capture of image data. If a panning operation is detected, the microcomputer 210 removes a panning component from the shake data, thereby generating panning component removed data. At the time of reproduction of the image data, if a panning operation has been detected, an image processing part 223 compensates for a shake of an imaging device in the image data in accordance with the panning component removed data. In accordance with whether a panning operation has been detected, the microcomputer changes an acquisition cycle for acquisition of the shake data from the recording medium.

Description

本発明は、映像を再生する映像再生装置、その制御方法、および制御プログラムに関する。 The present invention relates to a video playback device that plays back video, a control method thereof, and a control program.

一般に、ビデオカメラなどの撮像装置において映像を記録する際、手ぶれなどに起因する撮像装置のぶれが原因となって記録した映像（記録映像）がぶれることがある。そして、映像再生の際に、記録映像におけるぶれを補正するため、記録映像においてそのぶれを表す動きベクトルを検出して、動きベクトルに基づいて映像における部分領域を選択的に拡大表示するようにした撮像装置が知られている（特許文献１参照）。 In general, when an image is recorded in an imaging device such as a video camera, the recorded image (recorded image) may be blurred due to the shaking of the imaging device due to camera shake or the like. In order to correct blur in the recorded video during video playback, a motion vector representing the blur in the recorded video is detected, and a partial area in the video is selectively enlarged based on the motion vector. An imaging device is known (see Patent Document 1).

一方、撮像の際に、撮像装置のぶれをセンサで検出して、ぶれデータを得て、当該ぶれデータを映像データとともにメモリに記録するようにした撮像装置が知られている。そして、この撮像装置では、映像再生の際にぶれデータを用いて映像のぶれを補正する（特許文献２参照）。 On the other hand, there is known an imaging apparatus that detects blurring of an imaging apparatus with a sensor at the time of imaging, obtains blur data, and records the blur data in a memory together with video data. In this imaging apparatus, blurring of video is corrected using blur data during video playback (see Patent Document 2).

特開平７−１４３３８０号公報JP-A-7-143380 特開平１０−４２２３３号公報Japanese Patent Laid-Open No. 10-42233

ところで、特許文献１および２に記載の撮像装置においては、撮像の際のパンニング操作又はチルティング操作（以下パンニング操作と総称する）によって発生するぶれも、手ぶれが原因で発生するぶれと同様に映像再生の際に補正することになる。 By the way, in the imaging devices described in Patent Documents 1 and 2, blurs caused by panning operation or tilting operation (hereinafter collectively referred to as panning operation) during imaging are also similar to those caused by camera shake. It will be corrected during playback.

従って、手ぶれに起因するぶれ（以下手ぶれ成分と呼ぶ）を補正する際には、パンニング操作によるぶれ成分（以下パンニング成分と呼ぶ）を除去する必要がある。 Therefore, when correcting a shake caused by camera shake (hereinafter referred to as a shake component), it is necessary to remove a shake component (hereinafter referred to as a panning component) due to a panning operation.

一方、パンニング操作の開始又は終了の際には、系列的にパンニング成分が増減することが知られている。そこで、所定の時間間隔でぶれデータを取得して、パンニング成分の大きさおよび方向に応じてパンニング操作が行われたか否かを検知すれば、パンニング成分の除去を行うことができる。 On the other hand, it is known that the panning component increases or decreases in series at the start or end of the panning operation. Therefore, the panning component can be removed by acquiring blur data at predetermined time intervals and detecting whether or not the panning operation has been performed according to the size and direction of the panning component.

ところが、ぶれデータからパンニング成分を検出する時間間隔が映像の再生周期より長いと、パンニング成分が除去されない状態で、映像のぶれ補正が行われることになる。 However, if the time interval for detecting the panning component from the blur data is longer than the playback period of the video, the video blur correction is performed without removing the panning component.

例えば、パンニング操作の開始付近および終了付近では適切にパンニング成分が除去されず、適切に像ぶれ補正を行うことができなくなって、ユーザに違和感を与えてしまう。 For example, in the vicinity of the start and end of the panning operation, the panning component is not properly removed, and image blur correction cannot be performed appropriately, giving the user a sense of incongruity.

一方、パンニング成分を検出する時間間隔を映像の再生周期程度に短くすると、パンニング操作の開始および終了付近のパンニング成分の変化をより精度よく取得することができる。その結果、パンニング成分の除去精度が向上して、適切な像ぶれ補正を行うことができる。 On the other hand, if the time interval for detecting the panning component is shortened to about the reproduction period of the video, the change in the panning component near the start and end of the panning operation can be acquired with higher accuracy. As a result, the accuracy of removing the panning component is improved, and appropriate image blur correction can be performed.

しかしながら、ここでは、パンニング成分の有無を常に判別するので、ぶれデータを読み出す回数および読み出し量が増加してしまう。このため、ぶれデータを格納するメモリサイズの増大、そして、ぶれデータを高速に処理するための処理能力が要求され、映像再生装置自体がコストアップするばかりでなく、消費電力が増大する。 However, since the presence / absence of the panning component is always determined here, the number of times and the amount of readout of blur data are increased. For this reason, an increase in memory size for storing blur data and a processing capability for processing blur data at high speed are required, which not only increases the cost of the video reproduction apparatus itself but also increases power consumption.

従って、本発明の目的は、メモリサイズが増大することなく、パンニング成分の除去を行って、映像再生の際の映像のぶれを補正することのできる映像再生装置、その制御方法、および制御プログラムを提供することにある。 Accordingly, an object of the present invention is to provide a video playback apparatus, a control method thereof, and a control program capable of correcting a blur of video during video playback by removing panning components without increasing the memory size. It is to provide.

上記の目的を達成するため、本発明による映像再生装置は、撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置であって、前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出手段と、前記検出手段によって前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去手段と、前記映像データを再生する際、前記検出手段によって前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出手段によって前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正手段と、前記検出手段による前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更手段と、を有することを特徴とする。 In order to achieve the above object, a video reproduction apparatus according to the present invention reproduces the video data as a video from a recording medium in which video data captured by the imaging apparatus is recorded together with shake data indicating the shake amount of the imaging apparatus. A video reproduction device, wherein a detection unit that detects whether or not a panning operation has been performed when the video data is imaged according to the shake data; and when the panning operation is detected by the detection unit, Removing means for removing panning components resulting from the panning operation from shake data to generate panning component removal data; and when reproducing the video data, if the panning operation is not detected by the detection means, Accordingly, a shake of the imaging device in the video data is corrected, and the detection means When the panning operation is detected, a shake correction unit that corrects a shake of the imaging device in the video data according to the panning component removal data, and the recording according to whether the panning operation is detected by the detection unit Changing means for changing an acquisition cycle for acquiring the shake data from a medium.

本発明による制御方法は、撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置の制御方法であって、前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出ステップと、前記検出ステップで前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去ステップと、前記映像データを再生する際、前記検出ステップで前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出ステップで前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正ステップと、前記検出ステップによる前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更ステップと、を有することを特徴とする。 A control method according to the present invention is a control method for a video reproduction device for reproducing the video data as video from a recording medium in which video data captured by the imaging device is recorded together with shake data indicating a shake amount of the imaging device. A detection step for detecting whether or not a panning operation has been performed when the video data is imaged according to the shake data; and when the panning operation is detected in the detection step, the panning operation is detected from the shake data. Removing the panning component due to the generation of the panning component removal data, and when reproducing the video data, when the panning operation is not detected in the detection step, the video data according to the shake data The shake of the imaging device is corrected, and the panning operation is performed in the detection step. Is detected from the recording medium according to whether or not the panning operation is detected by the detection step, and a shake correction step of correcting a shake of the imaging device in the video data according to the panning component removal data And a changing step for changing an acquisition cycle for acquiring shake data.

本発明による制御プログラムは、撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置で用いられる制御プログラムであって、前記映像再生装置が備えるコンピュータに、前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出ステップと、前記検出ステップで前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去ステップと、前記映像データを再生する際、前記検出ステップで前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出ステップで前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正ステップと、前記検出ステップによる前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更ステップと、を実行させることを特徴とする。 The control program according to the present invention is a control program used in a video reproduction device that reproduces the video data as a video from a recording medium in which video data captured by the imaging device is recorded together with shake data indicating the shake amount of the imaging device. A detecting step for detecting whether or not a panning operation is performed when the video data is imaged according to the shake data, and the panning operation is detected in the detecting step. When removing the panning component resulting from the panning operation from the shake data and generating panning component removal data, and when playing back the video data, when the panning operation is not detected in the detection step In the video data according to the shake data A shake correction step for correcting shake of the image pickup device in the video data according to the panning component removal data when the shake of the image pickup device is corrected and the panning operation is detected in the detection step, and the detection step And a change step of changing an acquisition cycle for acquiring the shake data from the recording medium in accordance with whether or not the panning operation has been detected.

本発明によれば、メモリサイズが増大することなくしかもコストアップすることなく、パンニング成分の除去を行って、映像再生の際の映像の振れを補正することができる。 According to the present invention, it is possible to remove a panning component without correcting an increase in memory size and cost, thereby correcting a shake of a video during video playback.

本発明の実施の形態による映像再生装置を備える撮像装置の一例についてその構成を示すブロック図である。It is a block diagram which shows the structure about an example of an imaging device provided with the video reproduction apparatus by embodiment of this invention. 図１に示す映像再生装置の構成を説明するためのブロック図である。It is a block diagram for demonstrating the structure of the video reproduction apparatus shown in FIG. 図２に示す映像再生装置における再生処理を説明するためのフローチャートである。3 is a flowchart for explaining a reproduction process in the video reproduction apparatus shown in FIG. 2. パンニング動作（パンニング操作）の際の振れデータおよびパンニング成分の時系列的変化を説明するための図であり、（ａ）は振れデータの時系列的変化の一例を示す図、（ｂ）は（ａ）に示す振れデータに対して手ぶれ成分の除去とパンニング成分を通過させるカットオフ周波数でローパスフィルタを用いてフィルタ処理を行った結果であるデータを示す図、（ｃ）は（ｂ）に示すフィルタ処理後のデータに対して長周期で振れデータを取得する際の取得タイミングの一例を示す図である。It is a figure for demonstrating the time-sequential change of the shake data and panning component in the case of panning operation | movement (panning operation), (a) is a figure which shows an example of the time-sequential change of shake data, (b) is ( The figure which shows the data which are the result of having performed the filter process using the low-pass filter with the cutoff frequency which removes a camera shake component and passes a panning component with respect to the shake data shown to a), (c) shows to (b) It is a figure which shows an example of the acquisition timing at the time of acquiring shake data with a long period with respect to the data after a filter process. 図４（ａ）に示す経過時間における振れデータの状態を示す図である。It is a figure which shows the state of the shake data in the elapsed time shown to Fig.4 (a). 図３に示すパンニングの有無判定を説明するためのフローチャートである。It is a flowchart for demonstrating the presence or absence of panning shown in FIG. 図２に示す映像再生装置におけるパンニング除去の一例を説明するための図であり、（ａ）はフィルタ処理後のパンニングデータを示す図、（ｂ）は長周期でパンニングデータの取得を行った状態を示す図、（ｃ）は（ｂ）に示す取得タイミングにおいて生成されたパンニング除去のためのデータを示す図、（ｄ）は（ｃ）に示すデータを用いてパンニング成分の除去を行った結果を示す図、（ｅ）は短周期でパンニングデータの取得を行った状態を示す図、（ｆ）は（ｅ）に示す取得タイミングにおいて生成されたパンニング除去のためのデータを示す図、（ｇ）は（ｆ）に示すデータを用いてパンニング成分の除去を行った結果を示す図である。FIGS. 3A and 3B are diagrams for explaining an example of panning removal in the video reproduction apparatus shown in FIG. 2, in which FIG. 3A is a diagram illustrating panning data after filter processing, and FIG. (C) is a figure which shows the data for the panning removal produced | generated in the acquisition timing shown in (b), (d) is the result of having removed the panning component using the data shown in (c) (E) is a diagram showing a state in which panning data is acquired in a short cycle, (f) is a diagram showing data for panning removal generated at the acquisition timing shown in (e), (g) ) Is a diagram showing the result of removing the panning component using the data shown in (f).

以下、本発明の実施の形態による映像再生装置の一例について図面を参照して説明する。 Hereinafter, an example of a video reproduction apparatus according to an embodiment of the present invention will be described with reference to the drawings.

図１は、本発明の実施の形態による映像再生装置を備える撮像装置の一例についてその構成を示すブロック図である。 FIG. 1 is a block diagram illustrating a configuration of an example of an imaging apparatus including a video reproduction apparatus according to an embodiment of the present invention.

図示の撮像装置は、例えば、ビデオカメラであり、映像を記録する映像記録装置と映像を再生する映像再生装置２００とを備えている。 The illustrated imaging device is, for example, a video camera, and includes a video recording device that records video and a video playback device 200 that plays back video.

図１において、ビデオカメラ（以下単にカメラと呼ぶ）はレンズユニット（レンズ）１０１を備えており、レンズ１０１によって撮像素子１０２に被写体像（光学像）が結像される。撮像素子１０２は、例えば、ＣＣＤ又はＣＭＯＳセンサなどを有しており、被写体像を光電変換して、被写体像に応じた電気信号（アナログ信号）を出力する。 In FIG. 1, a video camera (hereinafter simply referred to as a camera) includes a lens unit (lens) 101, and a subject image (optical image) is formed on an image sensor 102 by the lens 101. The image sensor 102 includes, for example, a CCD or CMOS sensor, photoelectrically converts a subject image, and outputs an electrical signal (analog signal) corresponding to the subject image.

アナログ信号処理部１０３は撮像素子１０２の出力である電気信号に対して所定の処理を施してアナログ撮像信号を生成する。アナログ信号処理部１０３は、例えば、ＣＤＳ（Ｃｏ−ｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ：相関二重サンプリング）回路およびＡＧＣ（ＡｕｔｏｍａｔｉｃＧａｉｎＣｏｎｔｒｏｌ）回路を備えている。 The analog signal processing unit 103 performs a predetermined process on the electrical signal that is the output of the imaging element 102 to generate an analog imaging signal. The analog signal processing unit 103 includes, for example, a CDS (Co-related Double Sampling) circuit and an AGC (Automatic Gain Control) circuit.

カメラ信号処理部１０４はＡ／Ｄ変換器を備えており、アナログ信号処理部１０３の出力であるアナログ撮像信号に応じたデジタルビデオ信号を生成する。符号化部１０５はデジタルビデオ信号を、例えば、ＭＰＥＧ２形式で符号化して、ＭＰＥＧ２の映像ストリームを出力する。 The camera signal processing unit 104 includes an A / D converter, and generates a digital video signal corresponding to an analog imaging signal that is an output of the analog signal processing unit 103. The encoding unit 105 encodes the digital video signal in, for example, the MPEG2 format and outputs an MPEG2 video stream.

角速度センサ１１１はカメラに加わる振れ（ブレ）の角速度を検出する。振れ（ブレ）データ設定部１１２は角速度センサ１１１の検出出力に基づいて、カメラの振れ量（振れデータ）を算出する。タイムコード設定部１１４は時計１１３から取得した時刻情報に応じて映像記録の際のタイムコードを設定する。メタデータ設定部１１５は、振れデータ、タイムコード、およびカメラに関するカメラ関連データなどをメタデータとして出力する。なお、カメラ関連データに係る構成は、図１には示されていない。 The angular velocity sensor 111 detects the angular velocity of shake (blur) applied to the camera. The shake (blur) data setting unit 112 calculates the shake amount (shake data) of the camera based on the detection output of the angular velocity sensor 111. The time code setting unit 114 sets a time code for video recording according to the time information acquired from the clock 113. The metadata setting unit 115 outputs shake data, a time code, camera-related data regarding the camera, and the like as metadata. The configuration related to the camera-related data is not shown in FIG.

記録再生制御部（ドライブユニットとも呼ぶ）１２１は、符号化部１０５からＭＰＥＧ２の映像ストリーム（映像データ）およびメタデータ設定部１１５からメタデータを受けて、これら映像データおよびメタデータを記録メディア１２２に記録する。 A recording / playback control unit (also called a drive unit) 121 receives an MPEG2 video stream (video data) from the encoding unit 105 and metadata from the metadata setting unit 115, and records these video data and metadata on the recording medium 122. To do.

なお、この記録再生制御部１２１は、映像再生の際には、記録メディア１２２から映像データおよびメタデータを読み込んで映像再生を行う。 Note that the recording / playback control unit 121 reads video data and metadata from the recording medium 122 and plays back video when playing back video.

上述の記録処理によって、記録メディア１２２には、振れデータを含むメタデータが付加された映像データが記録されることになる。 Through the recording process described above, video data to which metadata including shake data is added is recorded on the recording medium 122.

図２は、図１に示す映像再生装置２００の構成を説明するためのブロック図である。 FIG. 2 is a block diagram for explaining the configuration of the video reproduction apparatus 200 shown in FIG.

図１に関連して説明したように、記録メディア１２２には、振れデータを含むメタデータが付加された映像データが記録されている。但し、メタデータおよび映像データを記録する際には、カメラ１００が振れデータおよび映像データを取得可能である限り、どのように記録してもく、例えば、メタデータは映像データと別に記録するようにしてもよい。 As described with reference to FIG. 1, video data to which metadata including shake data is added is recorded on the recording medium 122. However, when recording the metadata and the video data, as long as the camera 100 can acquire the shake data and the video data, they may be recorded in any way. For example, the metadata is recorded separately from the video data. It may be.

記録メディア１２２に記録された映像データを再生する際には、記録再生制御部１２１は記録メディア１２２から映像データおよびメタデータを取得する。そして、記録再生制御部１２１は復号化部（復号化ユニット）２２１に映像データおよびメタデータを送る。 When playing back video data recorded on the recording medium 122, the recording / playback control unit 121 acquires the video data and metadata from the recording medium 122. Then, the recording / playback control unit 121 sends video data and metadata to the decoding unit (decoding unit) 221.

復号化部２２１は映像データを復号化して復号化データ（デジタルビデオ信号）を得て、当該デジタルビデオ信号をメタデータととともにメモリ２２２に書き込む。メモリ２２２は、所定の時間（例えば、数秒）の復号化デジタルビデオ信号およびメタデータを記憶する容量を備えている。 The decoding unit 221 obtains decoded data (digital video signal) by decoding the video data, and writes the digital video signal in the memory 222 together with the metadata. The memory 222 has a capacity for storing a decoded digital video signal and metadata for a predetermined time (for example, several seconds).

メモリ２２２に数秒分のデジタルビデオ信号（およびメタデータ）を記憶しておけば、マイクロコンピュータ（マイコン）２００は後述の表示装置２２４に表示された再生画像に対して時間的に先のデジタルビデオ信号を取得することができる。 If the digital video signal (and metadata) for several seconds is stored in the memory 222, the microcomputer 200 can temporally advance the digital video signal with respect to the reproduced image displayed on the display device 224 described later. Can be obtained.

画像処理部２２３は、マイコン２１０によって決定された切り出し位置および切り出しサイズに応じてデジタルビデオ信号を再生画像として再生する。例えば、画像処理部２２３は、デジタルビデオ信号が示す映像を構成する複数の単位画像（フィールド画像又はフレーム画像）の各々について所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す。そして、画像処理部２２３は、切り出した画像に対して電子ズーム処理を施して、表示画像として表示装置２２４へ出力する。表示装置２２４は、再生画像を順次表示することによって映像の表示を行う。 The image processing unit 223 reproduces a digital video signal as a reproduction image according to the cutout position and cutout size determined by the microcomputer 210. For example, the image processing unit 223 sequentially cuts out images of a predetermined cut-out size from a predetermined cut-out position for each of a plurality of unit images (field image or frame image) constituting the video indicated by the digital video signal. Then, the image processing unit 223 performs electronic zoom processing on the cut-out image and outputs it to the display device 224 as a display image. The display device 224 displays video by sequentially displaying the reproduced images.

図示のように、マイコン２１０は、動きベクトル検出部２０１、切り出し位置設定部２０２、メタデータ読み出し部２０３、振れデータ取得部２０４、切り出しサイズ設定部２０５、タイムコード設定部２０６、および読み出しアドレス設定部２０７の機能を有しており、さらに、パンニング成分取得部２０８およびパンニング判定部２０９の機能を有している。 As illustrated, the microcomputer 210 includes a motion vector detection unit 201, a cutout position setting unit 202, a metadata reading unit 203, a shake data acquisition unit 204, a cutout size setting unit 205, a time code setting unit 206, and a read address setting unit. And the functions of the panning component acquisition unit 208 and the panning determination unit 209.

動きベクトル検出部２０１は、メモリ２２２に記憶されたデジタルビデオ信号が示す画像から被写体の動きベクトルを検出する。当該動きベクトルは、後述するように、映像のぶれの指標として用いられる。 The motion vector detection unit 201 detects the motion vector of the subject from the image indicated by the digital video signal stored in the memory 222. As will be described later, the motion vector is used as an index of image blur.

切り出し位置設定部２０２は、動きベクトル検出部２０１で検出された動きベクトルに基づいて、映像のぶれを補正するように単位画像の切り出し位置を決定して、当該切り出し位置を画像処理部２２３に設定する。メタデータ読み出し部２０３は、メモリ２２２からメタデータを読み出す（ここでは、メタデータはデジタルビデオ信号に付加されている）。 The cutout position setting unit 202 determines the cutout position of the unit image so as to correct the image blur based on the motion vector detected by the motion vector detection unit 201, and sets the cutout position in the image processing unit 223. To do. The metadata reading unit 203 reads metadata from the memory 222 (here, metadata is added to the digital video signal).

メタデータ読み出し部２０３は、後述する読み出しアドレス設定部２０７によって設定された読み出しアドレスからメタデータを読み出す。また、メタデータ読み出し部２０３は、１フィールド周期（以下短周期と呼ぶ）および４フィールド周期（以下長周期と呼ぶ）のうち指定された周期でメタデータを読み出す。なお、短周期（第２の周期）は映像データの再生周期と同一の周期であり、長周期は短周期の整数倍であればよい。 The metadata reading unit 203 reads metadata from a read address set by a read address setting unit 207 described later. Further, the metadata reading unit 203 reads the metadata at a designated cycle of one field cycle (hereinafter referred to as a short cycle) and four field cycles (hereinafter referred to as a long cycle). The short period (second period) is the same period as the video data reproduction period, and the long period may be an integer multiple of the short period.

振れデータ取得部２０４は、メタデータ読み出し部２０３によって読み出されたメタデータから振れデータを取得する。切り出しサイズ設定部（拡大率設定部）２０５は振れデータに基づいて単位画像の切り出しサイズを決定して画像処理部２２３に設定する。 The shake data acquisition unit 204 acquires shake data from the metadata read by the metadata reading unit 203. The cutout size setting unit (enlargement rate setting unit) 205 determines the cutout size of the unit image based on the shake data and sets it in the image processing unit 223.

タイムコード設定部２０６は、現在の再生画像（再生中の単位画像）のタイムコードをメタデータ読み出し部２０３から取得して、当該タイムコードよりも所定の時間後のタイムコード（所定時間後タイムコード）を読み出しアドレス設定部２０７に通知する。 The time code setting unit 206 acquires the time code of the current reproduction image (unit image being reproduced) from the metadata reading unit 203, and a time code after a predetermined time (time code after a predetermined time). ) To the read address setting unit 207.

読み出しアドレス設定部２０７は、所定時間後タイムコードに対応する読み出しアドレスをメモリ２２２に設定する。これによって、メタデータ読み出し部２０３は現在の再生画像から所定の時間後に再生される画像（単位画像）のメタデータを取得することができる。 The read address setting unit 207 sets a read address corresponding to the time code after a predetermined time in the memory 222. As a result, the metadata reading unit 203 can acquire metadata of an image (unit image) reproduced after a predetermined time from the current reproduced image.

図３は、図２に示す映像再生装置２００における再生処理を説明するためのフローチャートである。なお、図３に示すフローチャートの処理はマイコン２１０によって行われる。 FIG. 3 is a flowchart for explaining playback processing in the video playback apparatus 200 shown in FIG. Note that the processing of the flowchart shown in FIG.

再生処理が開始されると、まず、振れデータ取得部２０４はメタデータ読み出し部２０３を介してメモリ２２２から、デジタルビデオ信号（以下映像データとも呼ぶ）の再生開始点から長周期で、所定期間の振れデータを取得する（ステップＳ３０１：長周期取得）。そして、振れデータ取得部２０４は当該振れデータをパンニング成分取得部２０８に送る。 When the reproduction process is started, first, the shake data acquisition unit 204 receives a predetermined period of time from the reproduction start point of the digital video signal (hereinafter also referred to as video data) from the memory 222 via the metadata reading unit 203. The shake data is acquired (step S301: long cycle acquisition). Then, the shake data acquisition unit 204 sends the shake data to the panning component acquisition unit 208.

なお、以下の説明では、パンニング操作又はチルティング操作（以下パンニング操作と総称する）によって発生するぶれをパンニング成分と呼び、手ぶれに起因するぶれを手ぶれ成分と呼ぶ。 In the following description, a shake generated by a panning operation or a tilting operation (hereinafter collectively referred to as a panning operation) is referred to as a panning component, and a shake caused by the shake is referred to as a shake component.

パンニング成分取得部２０８は、振れデータから手ぶれ成分を含まない低周波成分を抽出するフィルタリング処理を行って低周波成分をパンニング成分として抽出する（ステップＳ３０２）。続いて、パンニング判定部２０９はパンニング成分、つまり、低周波成分に応じてパンニング発生（つまり、パンニング操作）の有無を判定する（ステップＳ３０３）。なお、パンニング判定部２０９はパンニングが発生していないフレームに係るタイムコードをメタデータ読み出し部２０３に通知する。 The panning component acquisition unit 208 performs a filtering process for extracting a low frequency component that does not include a camera shake component from shake data, and extracts the low frequency component as a panning component (step S302). Subsequently, the panning determination unit 209 determines whether or not panning has occurred (that is, panning operation) according to the panning component, that is, the low frequency component (step S303). The panning determination unit 209 notifies the metadata reading unit 203 of a time code related to a frame in which panning has not occurred.

パンニングが発生したと判定されると（ステップＳ３０３において、ＹＥＳ）、メタデータ読み出し部２０３はメタデータの取得周期を短周期に変更する。そして、メタデータ読み出し部２０３はパンニング判定部２０９から通知されたタイムコードを振れデータを取得するタイムコードとして、タイムコード設定部２０６に設定する。 If it is determined that panning has occurred (YES in step S303), the metadata reading unit 203 changes the metadata acquisition cycle to a short cycle. Then, the metadata reading unit 203 sets the time code notified from the panning determination unit 209 in the time code setting unit 206 as a time code for acquiring shake data.

振れデータ取得部２０４は、メタデータ読み出し部２０３を介して映像データの再生開始点から短周期で、所定期間分の振れデータを取得する（ステップＳ３０４）。そして、振れデータ取得部２０４は当該振れデータをパンニング成分取得部２０８に送る。 The shake data acquisition unit 204 acquires shake data for a predetermined period in a short cycle from the reproduction start point of the video data via the metadata reading unit 203 (step S304). Then, the shake data acquisition unit 204 sends the shake data to the panning component acquisition unit 208.

パンニング成分取得部２０８は振れデータから手ぶれ成分を含まない低周波成分を抽出するフィルタリング処理を行って低周波成分をパンニング成分として抽出する（ステップＳ３０５）。そして、パンニング判定部２０９はパンニング成分、つまり、低周波成分に応じてパンニング発生の有無を判定する（ステップＳ３０６）。 The panning component acquisition unit 208 performs a filtering process for extracting a low frequency component that does not include a camera shake component from shake data, and extracts the low frequency component as a panning component (step S305). The panning determination unit 209 determines whether or not panning has occurred according to the panning component, that is, the low frequency component (step S306).

パンニングの発生があると判定されると（ステップＳ３０６において、ＹＥＳ）、メタデータ読み出し部２０３は次回のメタデータの取得周期を短周期に変更する（ステップＳ３０７）。そして、メタデータ読み出し部２０３はステップＳ３０４においてパンニング判定部２０９から通知されたタイムコードとメタデータの取得周期とを加算して得たタイムコードを振れデータを取得するタイムコードとしてタイムコード設定部２０６に設定する。 If it is determined that panning has occurred (YES in step S306), the metadata reading unit 203 changes the next metadata acquisition cycle to a short cycle (step S307). Then, the metadata reading unit 203 uses the time code obtained by adding the time code notified from the panning determination unit 209 and the metadata acquisition cycle in step S304 as the time code for acquiring shake data as the time code setting unit 206. Set to.

一方、ステップＳ３０３でパンニングの発生がないと判定されると（ステップＳ３０３において、ＮＯ）、メタデータ読み出し部２０３は次回のメタデータの取得周期を長周期に変更する（ステップＳ３０８）。そして、メタデータ読み出し部２０３はステップＳ３０４でパンニング判定部２０９から通知されたタイムコードとメタデータの取得周期とを加算したタイムコードを振れデータを取得するタイムコードとしてタイムコード設定部２０６に設定する。続いて、処理は後述するステップＳ３０９に進む。 On the other hand, if it is determined in step S303 that panning does not occur (NO in step S303), the metadata reading unit 203 changes the next metadata acquisition cycle to a long cycle (step S308). Then, the metadata reading unit 203 sets the time code obtained by adding the time code notified from the panning determination unit 209 and the metadata acquisition cycle in step S304 to the time code setting unit 206 as a time code for acquiring shake data. . Subsequently, the processing proceeds to step S309 described later.

なお、ステップＳ３０６において、パンニングの発生がないと判定されると（ステップＳ３０６において、ＮＯ）、メタデータ読み出し部２０３はステップＳ３０８において次回のメタデータの取得周期を長周期に変更する。 If it is determined in step S306 that panning has not occurred (NO in step S306), the metadata reading unit 203 changes the next metadata acquisition cycle to a long cycle in step S308.

ステップＳ３０７又はＳ３０８の処理の後、パンニング成分取得部２０８はメタデータから得られた振れデータから、上述のステップＳ３０２又はＳ３０５で得たパンニング成分を除去したデータである手ぶれ成分（手ぶれ量ともいう）を求める（ステップＳ３０９）。そして、パンニング成分取得部２０８は、当該手ぶれ成分を手ぶれデータとして動きベクトル検出部２０１および切り出しサイズ設定部２０５に設定する。 After the process of step S307 or S308, the panning component acquisition unit 208 is a shake component (also referred to as a shake amount) that is data obtained by removing the panning component obtained in step S302 or S305 described above from shake data obtained from the metadata. Is obtained (step S309). Then, the panning component acquisition unit 208 sets the camera shake component as the camera shake data in the motion vector detection unit 201 and the cutout size setting unit 205.

続いて、切り出しサイズ設定部２０５は手ぶれデータが示す振れの振幅をチェックして、１フレーム当たりの切り出しサイズの変化が所定の範囲に入るように切り出しサイズを決定する。さらに、切り出し位置設定部２０２は、動きベクトル検出部２０１によって検出された動きベクトルの量と振れデータ取得部２０４で求められた手ぶれデータとに基づいて、映像のぶれを補正するように切り出し位置を決定して（つまり、移動して）画像処理部２２３に設定する（ステップＳ３１０）。なお、切り出し位置の決定は、周知の手法を用いて行われる。 Subsequently, the cutout size setting unit 205 checks the amplitude of shake indicated by the camera shake data, and determines the cutout size so that the change of the cutout size per frame falls within a predetermined range. Further, the cutout position setting unit 202 sets the cutout position so as to correct the image blur based on the amount of the motion vector detected by the motion vector detection unit 201 and the camera shake data obtained by the shake data acquisition unit 204. It is determined (that is, moved) and set in the image processing unit 223 (step S310). Note that the cutout position is determined using a known method.

次に、画像処理部２２３は単位画像について設定された切り出し位置から、設定された切り出しサイズの画像を切り出す（ステップＳ３１１：像ぶれ補正）。そして、画像処理部２２３は、切り出した画像を表示装置２２４に出力する。なお、ステップＳ３０３又はＳ３０６においてパンニングが発生していると判定された際には、切り出し位置設定部２０２は切り出し位置の移動を停止するようにしてもよい。これによって、パンニング操作中においては像ぶれ補正が停止する。 Next, the image processing unit 223 cuts out an image having the set cut-out size from the cut-out position set for the unit image (step S311: image blur correction). Then, the image processing unit 223 outputs the clipped image to the display device 224. When it is determined in step S303 or S306 that panning has occurred, the cutout position setting unit 202 may stop the movement of the cutout position. As a result, the image blur correction is stopped during the panning operation.

次に、図２に示すマイコン２１０におけるパンニングの有無判定について説明する。なお、パンニング成分取得部２０８は長周期および短周期で取得した所定回分（例えば、５回分）のパンニング成分をそれぞれを一時メモリ（図示せず）に保存しており、パンニングの有無判定にはこれらパンニング成分が用いられる。 Next, panning presence / absence determination in the microcomputer 210 shown in FIG. 2 will be described. The panning component acquisition unit 208 stores a predetermined number of panning components (for example, five times) acquired in the long cycle and the short cycle in a temporary memory (not shown). A panning ingredient is used.

図４は、パンニング動作（パンニング操作）の際の振れデータおよびパンニング成分の時系列的変化を説明するための図である。そして、図４（ａ）は図２に示す振れデータ取得部２０４が取得した振れデータの時系列的変化の一例を示す図であり、図４（ｂ）は図２に示すパンニング成分取得部２０８が図４（ａ）に示す振れデータに対して手ぶれ成分の除去とパンニング成分を通過させるカットオフ周波数でローパスフィルタを用いてフィルタ処理を行ったデータを示す図である。また、図４（ｃ）は図４（ｂ）に示すフィルタ処理後のデータに対して長周期で振れデータを取得する際の取得タイミングの一例を示す図である。 FIG. 4 is a diagram for explaining time-series changes in shake data and panning components during a panning operation (panning operation). FIG. 4A is a diagram showing an example of time-series changes in shake data acquired by the shake data acquisition unit 204 shown in FIG. 2, and FIG. 4B is a panning component acquisition unit 208 shown in FIG. FIG. 5 is a diagram showing data obtained by performing filter processing using a low-pass filter at a cutoff frequency that removes camera shake components and allows panning components to pass through the shake data shown in FIG. FIG. 4C is a diagram illustrating an example of the acquisition timing when the shake data is acquired with a long period with respect to the data after the filter processing illustrated in FIG.

また、図５は、図４（ａ）に示す経過時間ｔ１からｔ４における振れデータの状態を示す図である。 FIG. 5 is a diagram showing the state of the shake data from the elapsed time t1 to t4 shown in FIG.

前述のように、振れデータはユーザの手ぶれによる手ぶれ成分とユーザがカメラ１００をパンを操作することによって生じるパンニング成分が合成されている。一般的に、手ぶれ成分は５〜１０Ｈｚ程度であり、パンニング成分は２Ｈｚ以下であり、互いに異なる周波数特性を有している。 As described above, the shake data is composed of the shake component caused by the shake of the user and the panning component generated when the user operates the camera 100 to pan. In general, the camera shake component is about 5 to 10 Hz, the panning component is 2 Hz or less, and have different frequency characteristics.

図４（ａ）に示す経過時間ｔ１からｔ４においては、図５に示すように、経過時間ｔ１では手ぶれのみが生じている。そして、経過時間ｔ２でパンニング操作が開始され、経過時間ｔ３ではパンニング操作が加速動作途中である。経過時間ｔ４となるとパンニング操作はほぼ一定速度で行われている。つまり、図４（ａ）においては、経過時間ｔ２からｔ４がパンニング発生の過渡状態の期間である。 From the elapsed time t1 to t4 shown in FIG. 4A, as shown in FIG. 5, only camera shake occurs at the elapsed time t1. Then, the panning operation is started at the elapsed time t2, and the panning operation is in the middle of the acceleration operation at the elapsed time t3. When the elapsed time t4 is reached, the panning operation is performed at a substantially constant speed. That is, in FIG. 4A, the elapsed time t2 to t4 is a period of a transient state where panning occurs.

パンニング成分取得部２０８は図４（ａ）に示す振れデータに対して手ぶれ成分の除去およびパンニング成分を通過させるカットオフ周波数のローパスフィルタ（ＬＰＦ）でフィルタ処理を行う。これによって、図４（ｂ）に示すデータが得られる。 The panning component acquisition unit 208 performs a filtering process on the shake data shown in FIG. 4A with a low-pass filter (LPF) having a cutoff frequency that removes the camera shake component and passes the panning component. Thereby, the data shown in FIG. 4B is obtained.

パンニング判定部２０９は、図４（ｂ）に示すフィルタ処理後のデータに応じてパンニングの有無を判定する。ここで、図４（ｃ）に示すように、長周期で振れデータを取得すると、その取得タイミングにおいて４フィールド毎のタイミングでフィルタ処理後のデータが得られることになって、５つのフィルタ処理後のデータがメモリに保持されて、パンニング判定部２０９はこれらフィルタ処理後のデータ（つまり、パンニング成分）に基づいてパンニングの有無判定を行う。 The panning determination unit 209 determines the presence / absence of panning according to the data after the filter processing illustrated in FIG. Here, as shown in FIG. 4 (c), when shake data is acquired in a long cycle, data after filter processing is obtained at the timing of every four fields at the acquisition timing. Is stored in the memory, and the panning determination unit 209 determines the presence / absence of panning based on the data after the filter processing (that is, the panning component).

図６は、図３に示すパンニングの有無判定を説明するためのフローチャートである。なお、図４に示すパンニングの有無判定はパンニング判定部２０９で行われる。 FIG. 6 is a flowchart for explaining the presence / absence determination of panning shown in FIG. Note that the panning presence / absence determination shown in FIG.

パンニング判定処理を開始すると、パンニング判定部２０９は今回パンニング成分取得部２０８から得たパンニング成分の絶対値（以下Ｘｃｕｒという）を求める（ステップＳ４０１）。そして、パンニング判定部２０９は振れデータの取得周期が長周期および短周期のいずれかであるかを判定する（ステップＳ４０２）。 When the panning determination process is started, the panning determination unit 209 obtains an absolute value (hereinafter referred to as Xcur) of the panning component obtained from the current panning component acquisition unit 208 (step S401). Then, the panning determination unit 209 determines whether the shake data acquisition cycle is a long cycle or a short cycle (step S402).

振れデータの取得周期が長周期であると（ステップＳ４０２において、ＹＥＳ）、パンニング判定部２０９はパンニング成分絶対値Ｘｃｕｒと予め設定された第１の閾値Ｘｔｈ１とを比較して、第１の比較結果を得る（ステップＳ４０３）。なお、第１の閾値はパンニングが発生したと判断可能な角変位を示す値である。 When the shake data acquisition cycle is a long cycle (YES in step S402), the panning determination unit 209 compares the panning component absolute value Xcur with a preset first threshold value Xth1, and the first comparison result Is obtained (step S403). The first threshold value is a value indicating an angular displacement that can be determined that panning has occurred.

続いて、パンニング判定部２０９は次の式（１）に従って、今回の絶対値Ｘｃｕｒと１回前に取得したパンニング成分の絶対値（以下Ｘｐｒｅｖ１という）との差分の絶対値を求めて、これを差分絶対値Ａ１とする。
Ａ１＝｜Ｘｃｕｒ−Ｘｐｒｅｖ１｜（１） Subsequently, the panning determination unit 209 obtains the absolute value of the difference between the current absolute value Xcur and the absolute value of the panning component acquired once before (hereinafter referred to as Xprev1) according to the following equation (1). The absolute difference value A1.
A1 = | Xcur-Xprev1 | (1)

差分絶対値Ａ１はＸｃｕｒとＸｐｒｅｖ１とを１次関数で補間した際の関数の傾きに比例する値であり、パンニング成分の単位時間当たりの変化を示している。 The difference absolute value A1 is a value proportional to the slope of the function when Xcur and Xprev1 are interpolated with a linear function, and indicates the change per unit time of the panning component.

次に、パンニング判定部２０９は差分絶対値Ａ１と変化閾値Ａｔｈとを比較して、その比較結果（大小結果）を得る（ステップＳ４０４）。変化閾値Ａｔｈはパンニングが発生していると判定可能な長周期当たりの角変位の変化量を示す。 Next, the panning determination unit 209 compares the absolute difference value A1 with the change threshold value Ath and obtains the comparison result (large / small result) (step S404). The change threshold value Ath indicates the amount of change in angular displacement per long cycle that can be determined to be panning.

続いて、パンニング判定部２０９は１回前のパンニング成分絶対値Ｘｐｒｅｖ１、２回前のパンニング成分絶対値Ｘｐｒｅｖ２、および３回前のパンニング成分絶対値Ｘｐｒｅｖ３の各々と第１の閾値Ｘｔｈ１との比較を行って、第２〜第４の比較結果を得る。そして、パンニング判定部２０９は上記の第１の比較結果と第２〜第４の比較結果の全てが第１の閾値Ｘｔｈ１以上であることを示しているか否かを判定する（ステップＳ４０５）。 Subsequently, the panning determination unit 209 compares the first panning component absolute value Xprev1, the previous panning component absolute value Xprev2, and the third previous panning component absolute value Xprev3 with the first threshold value Xth1. To obtain second to fourth comparison results. Then, the panning determination unit 209 determines whether or not all of the first comparison result and the second to fourth comparison results are equal to or greater than the first threshold value Xth1 (step S405).

第１〜第４の比較結果のいずれかが第１の閾値Ｘｔｈ１未満であることを示していると（ステップＳ４０５において、ＮＯ）、パンニング判定部２０９は過去５回分のパンニング成分絶対値Ｘｐｒｅｖ１〜Ｘｐｒｅｖ５を用いて次の式（２）〜式（５）に従って差分絶対値Ａ２〜Ａ５を求める。 If any of the first to fourth comparison results indicates that it is less than the first threshold value Xth1 (NO in step S405), the panning determination unit 209 determines the panning component absolute values Xprev1 to Xprev5 for the past five times. Are used to find the absolute difference values A2 to A5 according to the following formulas (2) to (5).

Ａ２＝｜Ｘｐｒｅｖ１−Ｘｐｒｅｖ２｜（２）
Ａ３＝｜Ｘｐｒｅｖ２−Ｘｐｒｅｖ３｜（３）
Ａ４＝｜Ｘｐｒｅｖ３−Ｘｐｒｅｖ４｜（４）
Ａ５＝｜Ｘｐｒｅｖ４−Ｘｐｒｅｖ５｜（５） A2 = | Xprev1-Xprev2 | (2)
A3 = | Xprev2-Xprev3 | (3)
A4 = | Xprev3-Xprev4 | (4)
A5 = | Xprev4-Xprev5 | (5)

上記の差分絶対値Ａ２〜Ａ５はパンニング成分絶対値Ｘｐｒｅｖ１〜Ｘｐｒｅｖ５についてそれぞれ１次関数で補間した際の関数の傾きに比例する値となる。そして、パンニング判定部２０９は差分絶対値Ａ２〜Ａ５の全てが変化閾値Ａｔｈより小さいか否かを判定する（ステップＳ４０７）。 The difference absolute values A2 to A5 are values proportional to the slope of the function when the panning component absolute values Xprev1 to Xprev5 are interpolated with a linear function. Then, the panning determination unit 209 determines whether or not all the difference absolute values A2 to A5 are smaller than the change threshold Ath (step S407).

差分絶対値（つまり、傾き）Ａ２〜Ａ５の全てが変化閾値Ａｔｈより小さいと（ステップＳ４０７において、ＹＥＳ）、パンニング判定部２０９はパンニング成分の時間変化がほとんどなくその変化量も小さいとしてパンニングが発生していない状態である「パンニング無し」とする（ステップＳ４０９）。 When all of absolute difference values (that is, slopes) A2 to A5 are smaller than change threshold value Ath (YES in step S407), panning determination unit 209 generates panning because there is almost no change in panning component over time and the amount of change is small. It is assumed that “no panning” is in effect (step S409).

一方、差分絶対値Ａ２〜Ａ５の少なくとも１つが変化閾値Ａｔｈ以上であると（ステップＳ４０７において、ＮＯ）、パンニング判定部２０９は、パンニング成分が存在するが、パンニング成分絶対値が第２の閾値Ｘｔｈ２以上で第１の閾値Ｘｔｈ１未満であり、かつ角変位の時間変化も一定量あるので、パンニングの発生途中であるとする（ステップＳ４１０）。そして、パンニング判定部２０９は、ステップＳ４０９又はＳ４１０の処理に続いて、パンニング判定結果として「パンニング未発生」と判定する（ステップＳ４１１）。 On the other hand, when at least one of the difference absolute values A2 to A5 is equal to or greater than the change threshold value Ath (NO in step S407), the panning determination unit 209 has a panning component but the panning component absolute value is the second threshold value Xth2. As described above, since it is less than the first threshold value Xth1 and the time change of the angular displacement is a constant amount, it is assumed that panning is in progress (step S410). Then, the panning determination unit 209 determines “no panning has occurred” as the panning determination result subsequent to the process of step S409 or S410 (step S411).

ステップＳ４０５において、第１〜第４の比較結果の全てが第１の閾値Ｘｔｈ１以上であることを示していると（ステップＳ４０５において、ＹＥＳ）、パンニング判定部２０９はパンニングの大きさが継続して一定レベルを超えたとして、上述の差分絶対値Ａ１〜Ａ３を求める。そして、パンニング判定部２０９は差分絶対値Ａ１〜Ａ３の全てが変化閾値Ａｔｈよりも小さいか否かを判定する（ステップＳ４１２）。 In step S405, if all of the first to fourth comparison results indicate that the value is equal to or greater than the first threshold value Xth1 (YES in step S405), the panning determination unit 209 continues the size of panning. The absolute difference values A1 to A3 described above are obtained by assuming that a certain level has been exceeded. Then, the panning determination unit 209 determines whether or not all the difference absolute values A1 to A3 are smaller than the change threshold Ath (step S412).

差分絶対値Ａ１〜Ａ３のいずれかが変化閾値Ａｔｈ以上であると（ステップＳ４１２において、ＮＯ）、パンニング判定部２０９は未だパンニングの動作開始途中と判定してステップＳ４１０の処理に進む。 If any of the absolute difference values A1 to A3 is equal to or greater than the change threshold Ath (NO in step S412), the panning determination unit 209 determines that the panning operation is still in the process of starting and proceeds to the process of step S410.

一方、差分絶対値Ａ１〜Ａ３の全てが変化閾値Ａｔｈよりも小さいと（ステップＳ４１２において、ＹＥＳ）、パンニング判定部２０９は過去から今回（現在）に亘ってパンニング成分のレベルが大きくその時間変化が少ないとし、パンニングが発生したと判定する。そして、パンニング判定部２０９はパンニング状態を「安定パンニング」とする（ステップＳ４１３）。続いて、パンニング判定部２０９はパンニング判定結果を「パンニング発生中」とする（ステップＳ４１４）。 On the other hand, when all of the difference absolute values A1 to A3 are smaller than the change threshold value Ath (YES in step S412), the panning determination unit 209 has a large level of panning component from the past to the present (present) and the time change thereof. It is determined that there is little panning. Then, the panning determination unit 209 sets the panning state to “stable panning” (step S413). Subsequently, the panning determination unit 209 sets the panning determination result as “panning is occurring” (step S414).

ステップＳ４０２において、振れデータの取得周期が長周期でないと（ステップＳ４０２において、ＮＯ）、パンニング判定部２０９は短周期において取得した今回のパンニング成分の絶対値と過去５回のパンニング成分の絶対値との移動平均値Ｘａｖｅを求める（ステップＳ４１６）。そして、パンニング判定部２０９は移動平均値Ｘａｖｅが第２の閾値Ｘｔｈ２よりも小さいか否かを判定する（ステップＳ４１７）。 In step S402, if the shake data acquisition cycle is not a long cycle (NO in step S402), the panning determination unit 209 determines the absolute value of the current panning component acquired in the short cycle and the absolute value of the past five panning components. Is obtained (step S416). Then, the panning determination unit 209 determines whether or not the moving average value Xave is smaller than the second threshold value Xth2 (step S417).

移動平均値Ｘａｖｅが第２の閾値Ｘｔｈ２よりも小さいと（ステップＳ４１７において、ＹＥＳ）、パンニング判定部２０９はパンニング判定結果を「パンニング未発生」とする（ステップＳ４１８）。一方、移動平均値Ｘａｖｅが第２の閾値Ｘｔｈ２以上であると（ステップＳ４１７において、ＮＯ）、パンニング判定部２０９はパンニング判定結果を「パンニング発生中」とする（ステップＳ４１９）。 When moving average value Xave is smaller than second threshold value Xth2 (YES in step S417), panning determination unit 209 sets the panning determination result to “no panning has occurred” (step S418). On the other hand, when moving average value Xave is equal to or greater than second threshold value Xth2 (NO in step S417), panning determination unit 209 sets the panning determination result to “panning is occurring” (step S419).

上述のステップＳ４１１、Ｓ４１４、Ｓ４１８、又はＳ４１９の処理に続いて、パンニング判定部２０９は今回のパンニング成分絶対値Ｘｃｕｒを次回のパンニング判定の際に過去情報として参照するため、当該パン絶対値Ｘｃｕｒを一時メモリ（図示せず）に保存する（ステップＳ４１５）。そして、パンニング判定部２０９は上述の処理で得たパンニング判定結果を前述のステップＳ３０３又はＳ３０６における判定結果として（ステップＳ４２０）、パンニング判定処理を終了する。 Subsequent to the processing in step S411, S414, S418, or S419 described above, the panning determination unit 209 refers to the current panning component absolute value Xcur as past information in the next panning determination. The data is stored in a temporary memory (not shown) (step S415). Then, the panning determination unit 209 sets the panning determination result obtained in the above process as the determination result in the above-described step S303 or S306 (step S420), and ends the panning determination process.

このように、上述の映像再生装置では、映像再生の際、映像を構成する複数の単位画像の各々について、単位画像における所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す。そして、映像再生装置は映像のぶれを補正するように単位画像の切り出し位置を移動する。 As described above, in the above-described video reproduction device, at the time of video reproduction, images of a predetermined cut-out size are sequentially cut out from a predetermined cut-out position in the unit image for each of a plurality of unit images constituting the video. Then, the video reproduction apparatus moves the cutout position of the unit image so as to correct the blur of the video.

また、カメラ１００の振れに応じてパンニング中であると判定すると、メタデータから振れデータを取得する周期を短くして、パンニングの開始および終了の過渡状態で検出されるパンニング成分の除去を行う。一方、パンニング中でないと判定すると、振れデータを取得する周期を長くして、時間的により先の振れデータを取得するようにして、カメラ１００のパンニングの発生をより早く検出する。 If it is determined that panning is being performed in accordance with the shake of the camera 100, the period for acquiring shake data from the metadata is shortened, and the panning component detected in the transient state of the start and end of panning is removed. On the other hand, if it is determined that panning is not in progress, the shake data acquisition period is lengthened and the previous shake data is acquired in time, so that the occurrence of panning of the camera 100 is detected earlier.

なお、上記の映像再生装置２００では、前述のように、映像データの再生が開始されると、振れデータの取得周期を長周期（第１の周期）に設定し、パンニング操作の始まりが検出されると、取得周期を長周期から短周期（第２の周期）に変更する。また、振れデータの取得周期が短周期である際、パンニング操作が終了したことが検出されると、取得周期を短周期から長周期に変更する。 In the video playback device 200, as described above, when video data playback is started, the shake data acquisition cycle is set to a long cycle (first cycle), and the start of the panning operation is detected. Then, the acquisition cycle is changed from the long cycle to the short cycle (second cycle). Further, when it is detected that the panning operation is completed when the shake data acquisition cycle is a short cycle, the acquisition cycle is changed from a short cycle to a long cycle.

図７は、図２に示す映像再生装置２００におけるパンニング除去の一例を説明するための図である。そして、図７（ａ）はフィルタ処理後のパンニングデータを示す図であり、図７（ｂ）は長周期でパンニングデータの取得を行った状態を示す図である。また、図７（ｃ）は図７（ｂ）に示す取得タイミングにおいて生成されたパンニング除去のためのデータを示す図であり、図７（ｄ）は図７（ｃ）に示すデータを用いてパンニング成分の除去を行った結果を示す図である。さらに、図７（ｅ）は短周期でパンニングデータの取得を行った状態を示す図であり、図７（ｆ）は図７（ｅ）に示す取得タイミングにおいて生成されたパンニング除去のためのデータを示す図である。また、図７（ｇ）は図７（ｆ）に示すデータを用いてパンニング成分の除去を行った結果を示す図である。 FIG. 7 is a diagram for explaining an example of panning removal in the video reproduction apparatus 200 shown in FIG. FIG. 7A is a diagram showing the panning data after the filter processing, and FIG. 7B is a diagram showing a state in which the panning data is acquired in a long cycle. FIG. 7C shows the data for panning removal generated at the acquisition timing shown in FIG. 7B, and FIG. 7D uses the data shown in FIG. 7C. It is a figure which shows the result of having removed the panning component. Further, FIG. 7 (e) is a diagram showing a state in which panning data is acquired in a short cycle, and FIG. 7 (f) is data for panning removal generated at the acquisition timing shown in FIG. 7 (e). FIG. FIG. 7 (g) is a diagram showing the result of removing the panning component using the data shown in FIG. 7 (f).

いま、パンニング成分取得部２０８においてフィルタ処理されたパンニングデータが図７（ａ）に示すデータであるとする。ここでは、パンニングデータの取得周期が長周期又は短周期である場合にパンニング成分を除去した後の像ぶれ補正において像ぶれ補正対象となるデータ（手振れデータ）が示されている。なお、図７において、時間ｔ２および時間ｔ４の時間間隔は図５に示すパンニング発生における経過時間である。 Now, it is assumed that the panning data filtered by the panning component acquisition unit 208 is data shown in FIG. Here, data (camera shake data) that is subject to image blur correction in image blur correction after the panning component is removed when the panning data acquisition cycle is a long cycle or a short cycle is shown. In FIG. 7, the time interval between time t2 and time t4 is the elapsed time in the occurrence of panning shown in FIG.

図７（ｂ）に示す長周期でパンニングデータの取得を行って、これらパンニングデータに基づいてパンニング成分を除去するためのデータ（除去データ）を生成すると、図７（ｃ）に示すデータが得られる。長周期では、パンニングの時間変化に対して、粗い取得間隔（サンプリング間隔）で除去データが生成されるので、この除去データを用いて図７（ａ）に示すデータからパンニング成分の除去を行うと、図７（ｄ）に示す結果が得られる。 When panning data is acquired in the long cycle shown in FIG. 7B and data (removal data) for removing panning components is generated based on the panning data, the data shown in FIG. 7C is obtained. It is done. In the long period, removal data is generated at a rough acquisition interval (sampling interval) with respect to the panning time change. Therefore, when the removal data is used to remove the panning component from the data shown in FIG. The result shown in FIG. 7D is obtained.

パンニング開始の時間ｔ２からパンニングが安定するまでの時間ｔ４の間のパンニング発生の過渡状態においては、適切にパンニング成分が除去できないことが分かる。図７（ｄ）に示す結果から像ぶれ補正を行うと、除去されずに残ったパンニング成分が手ぶれと誤判定されて、手ぶれが発生してない状態であっても、誤って像ぶれ補正が行われてしまう。 It can be seen that the panning component cannot be removed properly in the panning generation transient state from the panning start time t2 to the time t4 until the panning is stabilized. When image blur correction is performed based on the result shown in FIG. 7D, the panning component that remains without being removed is erroneously determined to be camera shake, and even if there is no camera shake, the image blur correction is erroneously performed. Will be done.

一方、図７（ｅ）に示すように、パンニング成分の除去を目的として短周期であらためて振れデータを取得した場合には、除去データは図７（ｆ）に示すデータとなる。この除去データを用いてパンニング成分の除去を行うと、図７（ｇ）示す結果が得られる。 On the other hand, as shown in FIG. 7E, when the shake data is acquired again in a short cycle for the purpose of removing the panning component, the removal data becomes the data shown in FIG. When the panning component is removed using the removal data, the result shown in FIG. 7G is obtained.

図７（ｇ）に示す結果は、図７（ｄ）に示す結果と比べて、除去されずに残ったパンニング成分の強度が大きくないので、映像再生の際に像ぶれ補正の誤判定を防止して、抑制したい手ぶれ成分を確実に補正することができる。 Compared with the result shown in FIG. 7 (d), the result shown in FIG. 7 (g) prevents the image blur correction from being erroneously determined during video reproduction because the intensity of the panning component that remains without being removed is not large. Thus, it is possible to surely correct the camera shake component to be suppressed.

なお、上述の実施の形態では、パンニング成分の絶対値、時系列的な差分、および移動平均値に応じてパンニングの発生の有無を判定して、パンニングの際のパンニング成分を振れデータから除去するようにしたが、他の手法を用いてパンニングの検出およびパンニング成分の除去を行うようにしてもよい。さらには、映像再生の際の像ぶれ補正については周知の手法を用いることができる。 In the above-described embodiment, the presence or absence of panning is determined according to the absolute value of panning component, the time-series difference, and the moving average value, and the panning component at the time of panning is removed from the shake data. However, other methods may be used to detect panning and remove panning components. Furthermore, a known method can be used for image blur correction during video reproduction.

このようにして、本発明の実施の形態では、長周期で取得した振れデータに応じてパンニング操作の検出を行い、パンニング操作が検出されると、短周期で振れデータを取得して振れデータからパンニング成分を除去してパンニング成分除去データに応じて映像データを補正するようにしたので、メモリサイズが増大することなくしかもコストアップすることなく、パンニング成分の除去を行って、映像再生の際の映像の振れを補正することができる。 As described above, in the embodiment of the present invention, the panning operation is detected according to the shake data acquired in the long cycle, and when the panning operation is detected, the shake data is acquired in the short cycle and the shake data is obtained. Since the panning component is removed and the video data is corrected according to the panning component removal data, the panning component is removed without increasing the memory size and increasing the cost. Image blur can be corrected.

なお、上述の説明から明らかなように、図２に示す例においては、マイコン２１０が検出手段、除去手段、および変更手段として機能し、マイコン２１０および画像処理部２２２が振れ補正手段として機能する。 As is clear from the above description, in the example shown in FIG. 2, the microcomputer 210 functions as a detection unit, a removal unit, and a change unit, and the microcomputer 210 and the image processing unit 222 function as a shake correction unit.

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 As mentioned above, although this invention was demonstrated based on embodiment, this invention is not limited to these embodiment, Various forms of the range which does not deviate from the summary of this invention are also contained in this invention. .

例えば、上記の実施の形態の機能を制御方法として、この制御方法を映像再生装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを映像再生装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。 For example, the function of the above embodiment may be used as a control method, and this control method may be executed by the video reproduction device. Further, a program having the functions of the above-described embodiments may be used as a control program, and the control program may be executed by a computer included in the video reproduction device. The control program is recorded on a computer-readable recording medium, for example.

上記の制御方法および制御プログラムの各々は、少なくとも検出ステップ、除去ステップ、振れ補正ステップ、および変更ステップを有している。 Each of the above control method and control program has at least a detection step, a removal step, a shake correction step, and a change step.

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed.

２０１動きベクトル検出部
２０２切り出し位置設定部
２０３メタデータ読み出し部
２０４振れデータ取得部
２０５切り出しサイズ設定部（拡大率設定部）
２０６タイムコード設定部
２０７読み出しアドレス設定部
２０８パンニング成分取得部
２０９パンニング判定部
２１０マイコン DESCRIPTION OF SYMBOLS 201 Motion vector detection part 202 Cutout position setting part 203 Metadata read-out part 204 Shake data acquisition part 205 Cutout size setting part (enlargement ratio setting part)
206 Time Code Setting Unit 207 Read Address Setting Unit 208 Panning Component Acquisition Unit 209 Panning Determination Unit 210 Microcomputer

Claims

撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置であって、
前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出手段と、
前記検出手段によって前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去手段と、
前記映像データを再生する際、前記検出手段によって前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出手段によって前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正手段と、
前記検出手段による前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更手段と、
を有することを特徴とする映像再生装置。 A video playback device that plays back the video data as video from a recording medium in which video data captured by the imaging device is recorded together with shake data indicating a shake amount of the imaging device,
Detecting means for detecting whether a panning operation has been performed when the video data is imaged according to the shake data;
When the panning operation is detected by the detecting means, a removing means for removing panning components resulting from the panning operation from the shake data and generating panning component removal data;
When reproducing the video data, if the panning operation is not detected by the detection means, the shake of the imaging device in the video data is corrected according to the shake data, and the panning operation is detected by the detection means. A shake correction unit that corrects a shake of the imaging device in the video data according to the panning component removal data;
Changing means for changing an acquisition cycle for acquiring the shake data from the recording medium according to whether the panning operation is detected by the detecting means;
A video playback apparatus comprising:

前記変更手段は、前記検出手段によって前記パンニング操作が検出されると、前記取得周期を所定の第１の周期よりも短い第２の周期に変更することを特徴とする請求項１に記載の映像再生装置。 2. The video according to claim 1, wherein the changing unit changes the acquisition cycle to a second cycle shorter than a predetermined first cycle when the panning operation is detected by the detection unit. Playback device.

前記第２の周期は前記映像データを再生する周期である再生周期と同一の周期であり、
前記第１の周期は前記第２の周期の整数倍であることを特徴とする請求項２に記載の映像再生装置。 The second period is the same period as a reproduction period that is a period for reproducing the video data,
The video reproduction apparatus according to claim 2, wherein the first period is an integral multiple of the second period.

前記変更手段は、前記映像データの再生が開始されると、前記取得周期を前記第１の周期に設定し、前記検出手段によってパンニング操作の始まりが検出されると、前記取得周期を前記第１の周期から前記第２の周期に変更することを特徴とする請求項２又は３に記載の映像再生装置。 The changing unit sets the acquisition cycle to the first cycle when the reproduction of the video data is started, and sets the acquisition cycle to the first cycle when the detection unit detects the start of a panning operation. 4. The video reproduction apparatus according to claim 2, wherein the period is changed from the period to the second period.

前記取得周期が前記第２の周期である際、前記検出手段によってパンニング操作が終了したことが検出されると、前記変更手段は前記取得周期を前記第２の周期から前記第１の周期に変更することを特徴とする請求項２〜４のいずれか１項に記載の映像再生装置。 When the acquisition period is the second period and the detection unit detects that the panning operation is completed, the change unit changes the acquisition period from the second period to the first period. The video reproduction apparatus according to claim 2, wherein the video reproduction apparatus is a video reproduction apparatus.

撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置の制御方法であって、
前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出ステップと、
前記検出ステップで前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去ステップと、
前記映像データを再生する際、前記検出ステップで前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出ステップで前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正ステップと、
前記検出ステップによる前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更ステップと、
を有することを特徴とする制御方法。 A control method of a video playback device for playing back the video data as video from a recording medium in which video data captured by the imaging device is recorded together with shake data indicating a shake amount of the imaging device,
A detection step of detecting whether or not a panning operation has been performed when the video data is imaged according to the shake data;
When the panning operation is detected in the detection step, a removal step of removing panning components resulting from the panning operation from the shake data to generate panning component removal data;
When reproducing the video data, if the panning operation is not detected in the detection step, the shake of the imaging device in the video data is corrected according to the shake data, and the panning operation is detected in the detection step. When the shake correction step of correcting the shake of the imaging device in the video data according to the panning component removal data,
A change step of changing an acquisition cycle for acquiring the shake data from the recording medium according to whether or not the panning operation is detected by the detection step;
A control method characterized by comprising:

撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置で用いられる制御プログラムであって、
前記映像再生装置が備えるコンピュータに、
前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出ステップと、
前記検出ステップで前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去ステップと、
前記映像データを再生する際、前記検出ステップで前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出ステップで前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正ステップと、
前記検出ステップによる前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更ステップと、
を実行させることを特徴とする制御プログラム。 A control program used in a video playback device that plays back the video data as video from a recording medium in which video data captured by the imaging device is recorded together with shake data indicating a shake amount of the imaging device,
In the computer provided in the video reproduction device,
A detection step of detecting whether or not a panning operation has been performed when the video data is imaged according to the shake data;
When the panning operation is detected in the detection step, a removal step of removing panning components resulting from the panning operation from the shake data to generate panning component removal data;
When reproducing the video data, if the panning operation is not detected in the detection step, the shake of the imaging device in the video data is corrected according to the shake data, and the panning operation is detected in the detection step. When the shake correction step of correcting the shake of the imaging device in the video data according to the panning component removal data,
A change step of changing an acquisition cycle for acquiring the shake data from the recording medium according to whether or not the panning operation is detected by the detection step;
A control program characterized by causing