JP2010098355A - Moving image editing device - Google Patents
Moving image editing device Download PDFInfo
- Publication number
- JP2010098355A JP2010098355A JP2008265047A JP2008265047A JP2010098355A JP 2010098355 A JP2010098355 A JP 2010098355A JP 2008265047 A JP2008265047 A JP 2008265047A JP 2008265047 A JP2008265047 A JP 2008265047A JP 2010098355 A JP2010098355 A JP 2010098355A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- camera information
- section
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、撮影された動画に対し、ユーザーが希望するカメラ動きに変更した動画を生成することを目的とした動画編集装置に関するものである。 The present invention relates to a moving image editing apparatus for generating a moving image in which a moving image is changed to a camera motion desired by a user with respect to a captured moving image.
近年、ビデオカメラは記録媒体がテープ（ＤＶ）からＨＤＤやＤＶＤ・ＢＤなどのメディアやＳＤカードに記録するようになり、デジタルデーターを修正・変更することが一般的になっている。そのため、ユーザーがビデオカメラで撮影した動画をＰＣに取り込み、編集をする機会やニーズが高まっている。編集をする場合は、ユーザーが大切と判断する動画区間の抽出と撮影した区間の削除や補正、タイトルやエフェクト効果を付加して見栄えをよくするようなことが、動画編集として通常行なわれている。 In recent years, video cameras have been recorded on tapes (DV) on media such as HDDs, DVDs and BDs, and SD cards, and digital data is generally modified and changed. For this reason, there are increasing opportunities and needs for users to import and edit movies taken by a video camera on a PC. When editing, moving image sections that are deemed important by the user, deletion and correction of captured sections, and adding titles and effects to improve the appearance are usually performed as moving image editing. .
この失敗区間の修正の一つでカメラの動きをユーザーが変えたい場合がある。例えば、ズーム制御が急激に加速されている動画を適切な速さにしたい場合や、パン・チルトしながら撮影した動画のパン・チルトの速度を変えたいような場合が、カメラの取り扱いに慣れていない一般ユーザーが撮影した場合は、頻繁に遭遇する。 There is a case where the user wants to change the movement of the camera as one of corrections of the failure section. For example, you may not be familiar with camera handling when you want to make a movie with accelerated zoom control at an appropriate speed, or when you want to change the pan / tilt speed of a movie that was shot while panning or tilting. When a general user takes a picture, they often encounter it.
ここで、撮影の失敗区間としては、ユーザーの操作ミスによるズームやパン、チルト（カメラの視野角や向き）などとそれらの組み合わせでのカメラの動きの急激な操作、逆にカメラの操作の急激な変化を恐れた緩慢な操作をして撮影した動画の区間がある。
そして、これらの動画に対する補正・修正の対処としては急激な操作に対しては、記録映像の異なるフレーム間に新たな中間フレームを補間して挿入する方法があり、逆に緩慢な動き変化に関してはフレームの間引きするなどが行われている。
また、文献１では、撮影した動画の１フレームごとにフレーム画像の中から、期待するカメラの動きに合う画像領域を生成し、この領域を切り出し、出力するフレーム画像に合わせて画像サイズを変え保存する方法が提案されている。
And as a countermeasure for correction and correction for these moving images, there is a method of interpolating and inserting a new intermediate frame between different frames of the recorded video for abrupt operation, and conversely, regarding slow motion change Thinning out of the frame is performed.
Also, in Document 1, an image area that matches the expected camera movement is generated from a frame image for each frame of a captured moving image, this area is cut out, and the image size is changed and saved in accordance with the output frame image. A method has been proposed.
しかしながら、従来の方法では、カメラの視野角や向きの動きはユーザーがイメージする速度になるものの、映像の中に映されている物体の動きの速さまで変更されてしまう上、音声と映像が同期できなくなるという問題があった。 However, with the conventional method, the movement of the viewing angle and direction of the camera is the speed at which the user images, but the speed of movement of the object reflected in the video is changed and the audio and video are synchronized. There was a problem that it was impossible.
また、文献１の手法では、十分に広い範囲で撮影する必要があるとともに、画像を切り出すことにより出力サイズにあったリサイズが発生し、リサイズ時の画質劣化が問題であった。 Further, in the method of Document 1, it is necessary to shoot in a sufficiently wide range, and resizing corresponding to the output size is generated by cutting out the image, and image quality degradation at the time of resizing is a problem.
本発明は、前記従来の課題を解決するもので、撮影された動画に対し、ユーザーが希望するカメラ動きに変更した動画を撮影物体の動きの変更や音との同期のずれなく、また、画質劣化なく生成することができる動画編集装置である。 The present invention solves the above-mentioned conventional problems. A moving image obtained by changing the camera motion desired by the user to a captured moving image is not changed in synchronization with the movement of the photographed object or the sound. This is a moving image editing apparatus that can be generated without deterioration.
本発明は、映像データと映像データに係わるカメラ情報を保存するデータ記憶部と、
データ記憶部に保存されたカメラ情報から編集対象の時間区間を特定し、特定した時間区間の前後を含めた補正編集区間と、補正編集区間のカメラのズームや回転の補正した動きである補正カメラ情報を算出するカメラ情報算出部と、補正編集区間内の補正対象となる各補正前フレーム画像に対して、カメラ情報と補正カメラ情報から補正前フレーム画像に合成可能な近傍の複数の参照画像をデータ記憶部から選択する参照画像選択部と、補正前フレーム画像と参照画像選択部で選択された参照画像を合成補間して補正フレーム画像を補正編集区間内の補正前フレーム画像に対して生成する映像生成部を備えたことを特徴とする動画編集装置である。
The present invention includes a data storage unit that stores video data and camera information related to the video data;
A correction edit section including a correction edit section including a time period before and after the specified time section, and a correction camera that is a movement corrected by zooming and rotation of the camera in the correction edit section, specifying the time section to be edited from the camera information stored in the data storage unit. A camera information calculation unit that calculates information, and a plurality of neighboring reference images that can be combined with the pre-correction frame image from the camera information and the correction camera information for each pre-correction frame image to be corrected in the correction edit section. A reference image selection unit selected from the data storage unit, a pre-correction frame image, and a reference image selected by the reference image selection unit are synthesized and interpolated to generate a correction frame image for the pre-correction frame image in the correction editing section. A video editing apparatus including a video generation unit.
また、本発明の動画編集装置のカメラ情報算出部は、カメラの動きの時間関数であるか、もしくは補正編集区間の任意時間のカメラの動きの対応付けルールであるカメラ情報関数を算出するカメラ情報関数算出部と、外部入力によって編集対象区間を指定、もしくはカメラ情報関数から急激な変化もしくは緩慢な変化となっている編集対象区間を算出する編集対象区間算出部と、外部入力によって補正編集区間を指定して補正カメラ情報関数と補正カメラ情報を算出する、もしくはカメラ情報関数と編集対象区間から補正編集区間と補正編集区間の補正カメラ情報関数を算出し、補正カメラ情報を生成する補正カメラ情報算出部を備えたことを特徴とするものである。 The camera information calculation unit of the video editing apparatus of the present invention is a camera information that calculates a camera information function that is a camera motion time function or a camera motion association rule for an arbitrary time in the correction editing section. A function calculation unit, an edit target section that specifies an edit target section by external input, or an edit target section calculation section that calculates an edit target section that changes suddenly or slowly from the camera information function, and a correction edit section by external input Specify and calculate the corrected camera information function and the corrected camera information, or calculate the corrected camera information function of the corrected editing section and the corrected editing section from the camera information function and the editing target section, and generate the corrected camera information It is characterized by having a section.
また、本発明の動画装置の参照画像選択部は、カメラ情報と補正カメラ情報から補正前フレーム画像の近傍の複数の参照候補画像を抽出する参照画像候補抽出部と、参照画像候補抽出部で抽出された参照候補画像と補正前フレーム画像を合成し、合成時に補正カメラ情報から得られる選択範囲において画素抜けがある場合に、参照候補画像を追加して合成画像に画素抜けがない参照画像を選択する参照画像決定部を備えたことを特徴とするものである。 In addition, the reference image selection unit of the video apparatus of the present invention is extracted by a reference image candidate extraction unit that extracts a plurality of reference candidate images near the pre-correction frame image from the camera information and the correction camera information, and a reference image candidate extraction unit. The reference candidate image and the pre-correction frame image are synthesized, and when there is a missing pixel in the selection range obtained from the corrected camera information at the time of synthesis, a reference candidate image is added to select a reference image with no missing pixel in the synthesized image The reference image determination unit is provided.
本発明の動画編集装置は中間フレームを生成することによる画像劣化を発生させることなく、被写体に動物体がある場合に、その動物体の動きの速さを変化させることがなく、音声も切れ目がない、スローにならないという著しい効果がある。そのため、撮影後の録画映像をユーザーが希望するカメラ制御（ズーム・パン・チルト・回転の制御）の速さに合わせた動画に編集できる。 The moving image editing apparatus of the present invention does not cause image degradation due to generation of an intermediate frame, and when the subject has an animal body, the moving speed of the animal body is not changed, and the sound is also cut off. There is no remarkable effect of not slowing down. Therefore, the recorded video after shooting can be edited into a moving image that matches the speed of camera control (zoom / pan / tilt / rotation control) desired by the user.
以下、本発明の実施の形態を添付図面に基づき詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
（実施の形態）
図１は、本発明の実施の形態による動画編集装置の構成を示すブロック図である。図１において、各ブロックの機能は以下のとおりである。１１はデータ記憶部であり、映像とこの映像を撮影したときにカメラ本体が持つセンサー機能や画像処理によって生成されたズーム、パン、チルト、カメラの光軸周りの回転、撮影時刻、撮影位置などからなるカメラ情報が保存されている。１２はカメラ情報算出部であり、データ記憶部１１に保存されたカメラ情報からパン、チルト、回転、ズームのカメラ動作開始時刻と終了時刻とその変化を算出し、そのカメラ情報の変化度合いから編集対象区間と、最適なカメラ動作開始時刻と終了時刻である補正編集区間と、その区間の各画像である補正前フレーム画像の更新後のカメラ情報である補正カメラ情報を算出する。１３は参照画像選択部であり、更新後の補正カメラ情報を持つフレーム番号の近傍から補正前フレーム画像のフレーム番号までの間で、補正前フレーム画像中心に合成可能な参照画像を選択する。１４は映像生成部であり、参照画像選択部１３で選択された参照画像と補正前フレーム画像でカメラ情報算出部１２が算出した補正カメラ情報に基づいて画像変形と各画素の処理を行い、合成画像を生成する。
(Embodiment)
FIG. 1 is a block diagram showing a configuration of a moving image editing apparatus according to an embodiment of the present invention. In FIG. 1, the function of each block is as follows. Reference numeral 11 denotes a data storage unit. The image and the sensor function of the camera body when the image is captured, zoom, pan, tilt, rotation around the optical axis of the camera, shooting time, shooting position, etc. Camera information consisting of is stored. A camera information calculation unit 12 calculates camera operation start and end times of pan, tilt, rotation, and zoom from the camera information stored in the data storage unit 11 and changes thereof, and edits based on the change degree of the camera information. A correction edit section that is the target section, an optimal camera operation start time and an end time, and corrected camera information that is updated camera information of a pre-correction frame image that is an image in each section is calculated. A reference image selection unit 13 selects a reference image that can be combined with the center of the pre-correction frame image between the vicinity of the frame number having the updated corrected camera information and the frame number of the pre-correction frame image. Reference numeral 14 denotes a video generation unit that performs image deformation and processing of each pixel based on the reference image selected by the reference image selection unit 13 and the corrected camera information calculated by the camera information calculation unit 12 using the pre-correction frame image. Generate an image.
図１において、データ記憶部１１は撮影で得られた映像データとカメラ情報を記憶している。カメラ情報としては、カメラ本体が備えている加速度センサーや電子コンパスを構成するセンサーから得られたカメラのパラメータとしてのズーム、パン、チルト、カメラの光軸の周りの回転、カメラの方位と、時刻やＧＰＳなどで得られた位置情報である。また、このズームなどのカメラ情報は画像間の特徴点対応による画像処理などと組み合わせて修正されたものであってもよい。そしてカメラ情報は映像中の各フレーム画像と対応づけられているとする。 In FIG. 1, a data storage unit 11 stores video data obtained by shooting and camera information. The camera information includes zoom, pan, tilt, rotation around the camera's optical axis, camera orientation, and time as camera parameters obtained from the sensors included in the camera body and the sensor composing the electronic compass. Or position information obtained by GPS. The camera information such as zoom may be corrected in combination with image processing based on feature point correspondence between images. Assume that the camera information is associated with each frame image in the video.
カメラ情報算出部１２のカメラ情報関数算出部１２１はデータ記憶部１１のカメラ情報を取り出して映像データの時間軸での各カメラ情報の値からカメラ情報関数を算出する。
この算出方法を、図２を用いて説明する。図２には撮影時にズームイン操作をした場合のズーム値の変化を示している。ビデオカメラは例えば１／６０秒のサンプリング周期Ｔで撮影されており、各フレーム画像に対応したズーム値がカメラ情報として存在している。このズーム値はノイズや手ブレなどの影響により時間軸上で揺らいだ値になっているので、近似を用いて関数化する。図２ではフレーム番号ｓ〜フレーム番号ｅ間は傾斜角αの直線、それ以外の期間は時間軸上で変化がなく、フレーム番号ｓ以前は固定のズーム値ｒｓ、フレーム番号ｅ以後は固定のズーム値ｒｅの直線と近似する。
つまり、以下の数式１で表されるズーム関数Ｚ（ｔ）と近似する。
The camera information function calculation unit 121 of the camera information calculation unit 12 takes out the camera information from the data storage unit 11 and calculates a camera information function from the value of each camera information on the time axis of the video data.
This calculation method will be described with reference to FIG. FIG. 2 shows changes in the zoom value when a zoom-in operation is performed during shooting. The video camera is photographed at a sampling period T of 1/60 seconds, for example, and a zoom value corresponding to each frame image exists as camera information. Since this zoom value is a value that fluctuates on the time axis due to the influence of noise and camera shake, it is converted into a function using approximation. In FIG. 2, the straight line between the frame number s and the frame number e has an inclination angle α, and there is no change on the time axis during other periods. The frame number s is fixed before the frame number s, and the frame number e is fixed. to approximate a straight line of zoom value r e.
That is, it approximates to the zoom function Z (t) expressed by the following formula 1.
本実施例では直線近似になっているが、曲線の関数や細かく時間軸上で分割された折れ線関数になる。 In this embodiment, linear approximation is used, but it is a function of a curve or a broken line function finely divided on the time axis.
次に、編集対象区間算出部１２２は、得られたカメラ情報関数から時間軸上で急激な変化をしている場合に映像の視聴者は不快感を抱く原因になり、また編集者の意図に適しなくなるためカメラ情報を変更すべき編集対象区間を算出する。以下、図３も用いて説明する。 Next, the editing target section calculation unit 122 causes the viewer of the video to feel uncomfortable when there is a sudden change on the time axis from the obtained camera information function, and the editor's intention is An edit target section whose camera information is to be changed because it is not suitable is calculated. Hereinafter, description will be given with reference to FIG.
図３の中のオリジナルズームインの図は図２で説明した同じズームイン関数を示している。なお、本実施例では他のカメラ情報であるパンなどは殆ど変化していないと仮定している。また、カメラ情報の撮影時刻は連続であること、撮影位置も変化していないと仮定している。ここで簡単な例として、ズームインでの変化は編集閾値を持ち上限θ１、下限θ２とした場合に、図３のフレーム番号ｓとフレーム番号ｅの区間はα＞θ１であるため編集対象区間として算出される。 The original zoom-in diagram in FIG. 3 shows the same zoom-in function described in FIG. In the present embodiment, it is assumed that the panning, which is other camera information, hardly changes. Further, it is assumed that the shooting time of the camera information is continuous and the shooting position has not changed. As a simple example here, the upper limit theta 1 change in zoom has edited threshold, when the lower limit theta 2, edited because the section of the frame number s and the frame number e of FIG. 3 is a alpha> theta 1 Calculated as a section.
なお、上記の例では編集閾値として傾斜角の上限と下限を設定したが、他の条件を設定することもできる。例えば、ズームインの条件として時間の概念を導入し、ズームインを行っている時間ｚｐが、ｔｍｉｎ＜ｚｐ＜ｔｍａｘかつ、傾きｔａｎαが上限θ１、下限θ２の条件に適合しない場合に編集対象区間を設定するなどである。また、直線近似でない場合の関数表現の場合も、異なる編集対象区間の設定ができる。 In the above example, the upper limit and the lower limit of the tilt angle are set as the editing threshold, but other conditions can be set. For example, when the concept of time is introduced as a zoom-in condition, and the zoom-in time zp is tmin <zp <tmax and the slope tanα does not meet the upper limit θ 1 and lower limit θ 2 conditions, And so on. Also, in the case of function expression when it is not linear approximation, different edit target sections can be set.
また更に、本実施例では内部演算で編集対象区間を設定したが、ユーザーがオリジナルの映像を視聴して、ユーザーの操作で編集対象区間の開始点であるフレーム画像と終了点であるフレーム画像を設定してもよい。さらに、上記の内部演算で編集対象区間をユーザーに示し、その区間をユーザーが変更する手法もできる。 Furthermore, in the present embodiment, the editing target section is set by internal calculation. However, the user views the original video, and the user operates the frame image that is the starting point and the end point of the editing target section. It may be set. Furthermore, it is also possible to show a section to be edited by the above internal calculation to the user, and the user can change the section.
次に、補正カメラ情報算出部１２３は編集対象区間のカメラ情報関数と編集対象区間周辺のカメラ情報関数から、カメラ情報を変更する区間である補正編集区間と、その補正編集区間の補正後の補正カメラ情報関数を算出し、補正編集区間内の各フレーム画像のカメラ情報を変更して補正カメラ情報を生成する。前述のズームインの場合を例にとり、図３の修正ズームインの図を用いて説明する。オリジナルズームインの直線近似を維持し、かつ編集対象区間のスタート点であるフレーム番号ｓの位置を維持する場合に、ズームインの編集閾値として上限θ１、下限θ２であることからα＞θ１≧β≧θ２となるβを選択する。例として以下の数式２で表される補正ズーム関数Ｚ’（ｔ）を算出する。 Next, the corrected camera information calculation unit 123 calculates a correction editing section that is a section for changing camera information from the camera information function of the editing target section and the camera information function around the editing target section, and the correction after the correction of the correction editing section. A camera information function is calculated, and camera information of each frame image in the correction editing section is changed to generate correction camera information. The case of the above zoom-in will be described as an example with reference to the modified zoom-in diagram of FIG. When maintaining the linear approximation of the original zoom-in and maintaining the position of the frame number s that is the start point of the editing target section, the upper limit θ 1 and the lower limit θ 2 are the zoom-in editing threshold values, so α> θ 1 ≧ Select β such that β ≧ θ 2 . As an example, a corrected zoom function Z ′ (t) represented by the following formula 2 is calculated.
ここで、ｅ＋ｎは新たなズームインの終了フレーム番号で、またフレーム番号ｓからフレーム番号ｅ＋ｎまでが補正編集区間である。 Here, e + n is the new zoom-in end frame number, and the frame number s to frame number e + n is the correction edit section.
次に、補正編集区間の各フレームの画像を編集するために、補正カメラ情報である各フレームの補正ズーム値を算出する。図３を用いて、補正編集区間のフレーム番号ｅｄについて説明する。フレーム番号ｅｄでの補正ズーム関数のズーム値はｒｒｆであるため、これをズームに関する補正カメラ情報である補正ズーム値として得る。全ての補正編集区間のフレーム画像について、その演算を繰り返せばよい。 Next, in order to edit the image of each frame in the correction editing section, a correction zoom value of each frame, which is correction camera information, is calculated. The frame number ed of the correction edit section will be described using FIG. Since the zoom value of the correction zoom function at the frame number ed is r rf , this is obtained as a correction zoom value that is correction camera information related to zoom. The calculation may be repeated for the frame images in all correction editing sections.
なお、補正編集区間もユーザー操作で補正編集区間の開始点であるフレーム画像と終了点であるフレーム画像を設定してもよい。また、補正編集区間の補正カメラ情報関数（本実施例では補正ズーム関数）も直線でなくてもよい。例えば、本実施例においての補正ズーム関数はフレーム番号ｓとフレーム番号ｅ＋ｎで微分可能な関数にすることもできる、つまり、フレーム番号ｓの前後、フレーム番号ｅ＋ｎの前後で滑らかとなる図３の第２の補正ズーム関数を設定できる。 Note that the frame image that is the start point and the frame image that is the end point of the correction edit section may be set by the user operation as the correction edit section. Further, the corrected camera information function (corrected zoom function in this embodiment) in the corrected editing section may not be a straight line. For example, the correction zoom function in the present embodiment can be a function that can be differentiated by the frame number s and the frame number e + n, that is, smooth before and after the frame number s and before and after the frame number e + n. Two correction zoom functions can be set.
次に、補正編集区間の各フレーム画像に対し、その補正ズーム値で画像修正することになるが、本ズームインの例では補正ズーム値：ｒｒｆ＜オリジナルのズーム値：ｒｅｄであるため、補正ズーム値では縮小したフレーム画像に修正することになりオリジナルのフレーム画像の解像度が変化することになるので補正が必要である。そこで本発明では、参照画像選択部１３の参照画像候補抽出部１３１において、補正編集区間内のオリジナルの各補正前フレーム画像に対し、その補正カメラ情報に近い周辺フレーム番号の補正前フレーム画像を参照画像候補として抽出する。 Next, the correction for each frame image of the editing section, but will be an image corrected by the correction zoom value, in the example of the present zoom correction zoom value: r rf <original zoom value: for a r ed, corrected The zoom value is corrected to a reduced frame image, and the resolution of the original frame image changes, so correction is necessary. Therefore, in the present invention, the reference image candidate extraction unit 131 of the reference image selection unit 13 refers to the pre-correction frame image of the peripheral frame number close to the correction camera information for each original pre-correction frame image in the correction edit section. Extract as image candidates.
具体的に図３の修正ズームインの図を用いて説明する。前述のフレーム番号ｅｄでの補正ズーム値はｒｒｆであるので、カメラ情報関数であるズーム関数の値ｒｒｆに最も近いズーム値であり、しかもフレーム番号ｅｄに近いフレーム番号ｒｆを算出する。なお、ズーム関数は時間ｔの近似関数であるために、オリジナルのズーム値がｒｒｆに一致するフレーム画像が存在しない場合が通常である。結果として参照画像候補はフレーム番号ｒｆ〜フレーム番号ｅｄ−１となる。この操作を補正編集区間内の全ての補正前フレーム画像に対して算出する。 This will be specifically described with reference to the modified zoom-in diagram of FIG. Since the corrected zoom value at the frame number ed is r rf , the zoom number closest to the zoom function value r rf that is the camera information function and the frame number rf close to the frame number ed is calculated. Since the zoom function is an approximate function of time t, there is usually no frame image in which the original zoom value matches r rf . As a result, the reference image candidates are frame number rf to frame number ed-1. This operation is calculated for all the pre-correction frame images in the correction edit section.
なお、本実施例ではズームインであるために、フレーム番号ｅｄ以前のフレーム番号を抽出する。例えばズームアウトの場合には、フレーム番号ｅｄ以降のフレーム番号を抽出することになる。 In this embodiment, since the zoom-in is performed, the frame number before the frame number ed is extracted. For example, in the case of zoom out, frame numbers after frame number ed are extracted.
次に参照画像選択部１３の構成要素である参照画像決定部１３２においては、補正編集区間内の各補正前フレーム画像とその複数の参照画像候補を合成して画素抜けがない参照画像を選択する。ここで、合成手法としては、参照候補画像及び補正前フレーム画像の対応する特徴量を抽出し、複数の参照画像の座標変換を施して行う。この特徴量抽出は文献１に記されているＳＩＦＴやＨａｒｒｉｓのコーナー検出などを利用する。
［文献１］”Ｄｉｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，６０（２），ｐｐ．９１−１１０ （２００４）
参照画像決定部１３２では、各画素まで含めた合成を行うのではなく、対応する特徴点を基にして画像領域を座標変換するものである。座標変換で合成領域を算出した場合にオリジナルの解像度と一致させるために必要な領域に画素抜けが発生する場合がある。また、合成時に不要である参照画像を取り除く演算を行う。参照画像決定部１３２の詳細を図３と図４の参照画像生成部の図を用いて説明する。
Next, in the reference image determination unit 132 which is a component of the reference image selection unit 13, each reference frame image in the correction editing section and its plurality of reference image candidates are combined to select a reference image with no missing pixels. . Here, as a synthesizing method, a feature amount corresponding to the reference candidate image and the pre-correction frame image is extracted, and coordinate conversion of a plurality of reference images is performed. This feature amount extraction utilizes SIFT or Harris corner detection described in Document 1.
[Literature 1] “Dinactive image features from scale-invariant keypoints”, International Journal of Computer Vision, 60 (2), pp. 11-27. 91-110 (2004)
The reference image determination unit 132 performs coordinate conversion of the image area based on the corresponding feature points, instead of performing synthesis including each pixel. When a composite area is calculated by coordinate conversion, pixel omission may occur in an area necessary to match the original resolution. In addition, an operation for removing a reference image which is unnecessary at the time of synthesis is performed. Details of the reference image determination unit 132 will be described with reference to the reference image generation unit diagrams of FIGS. 3 and 4.
まず、図４において、文字“Ａ”は被写体の中の動物体をシンボル化したものである。図４において、図３のフレーム番号ｅｄでの参照画像候補がフレーム番号ｒｆとフレーム番号ｒｆ＋１（＝ｅｄ−１）である例である。対応特徴点が一致するように座標変換して変形した画像は、変形画像Ｆ’ｒｆと変形画像Ｆ’ｒｆ＋１である。ズームインであるため変形画像は長方形になるはずだが、実際には微妙なパンやチルトなどがあることを考慮して長方形にしていない。この変形画像と補正前フレーム画像を合成した場合にオリジナルの補正前フレーム画像の解像度と合わせるためにリサイズが必要であり、そのリサイズ前の切取り枠内に画素抜けがないことが必要である。このリサイズ前の切取り枠の算出方法を説明する。 First, in FIG. 4, the letter “A” is a symbol of the moving object in the subject. FIG. 4 shows an example in which the reference image candidates at frame number ed in FIG. 3 are frame number rf and frame number rf + 1 (= ed−1). The images transformed by transforming the coordinates so that the corresponding feature points match are the transformed image F ′ rf and the transformed image F ′ rf + 1 . The zoomed-in image should make the deformed image rectangular, but it is not actually rectangular because of the subtle pan and tilt. When the deformed image and the pre-correction frame image are combined, resizing is necessary to match the resolution of the original pre-correction frame image, and it is necessary that there is no missing pixel in the cut frame before the resizing. A method of calculating the cut frame before resizing will be described.
図３において、フレーム番号ｅｄのカメラ情報のズーム値はｒｅｄとする。なお、このｒｅｄはズーム関数のフレーム番号ｅｄでの値ｒ’ｅｄとは一致しない。そして、リサイズ率はＲｅｄｉｔ＝ｒｒｆ／ｒｅｄとなるので、リサイズ前の切取り枠は、オリジナルの解像度の枠をｒｅｄ／ｒｒｆ倍したものになる。 3, the zoom value of the camera information of the frame numbers ed is a r ed. Incidentally, the r ed does not match the value r 'ed in the frame number ed zoom function. Since the resizing rate is Redit = r rf / r ed , the cut frame before resizing is the original resolution frame multiplied by r ed / r rf .
図４において、得られたリサイズ前の切取り枠内には画素抜けが発生している。そのためにフレーム番号ｒｆ−１の変形画像Ｆ’ｒｆ−１を用いて画素抜けをなくしている。このような画素抜けがなくなるまで参照画像の追加を行い収束させる。その結果、参照画像としては、フレーム番号ｒｆ−１〜フレーム番号ｒｆ＋１が参照画像となる。また、変形画像間で包含関係がある場合には、画質向上のためにフレーム番号ｅｄに近いものを選択する。逆にズームアウトの場合には、フレーム番号ｅｄから離れた画像を選択して合成するのが適切である場合が多い。理由はズームした画像の方が合成時の解像度がアップするためである。 In FIG. 4, pixel omission occurs in the cut frame before resizing obtained. Therefore, pixel omission is eliminated by using the modified image F ′ rf−1 of the frame number rf−1. The reference image is added and converged until such pixel omission disappears. As a result, frame numbers rf-1 to rf + 1 are reference images as reference images. If there is an inclusion relationship between the deformed images, an image close to the frame number ed is selected to improve the image quality. Conversely, in the case of zooming out, it is often appropriate to select and combine images that are separated from the frame number ed. The reason is that the zoomed image has higher resolution at the time of synthesis.
なお、本実施例ではオリジナル画像の変形画像の枠だけでの画素抜けが発生しているが、その他の場合として、画像内に動物体がある場合には、オクルージョンがあるために合成画像の内部に画素抜けが発生する場合がある。そのような場合には、前述の特徴点マッチングを行う際に、参照画像候補をヒストグラムなどの手法で領域分割や画像を格子状に細分割して特徴点マッチングにより画素抜けを防止する。
また、リサイズ前の切り取り枠で画素抜けがなくなるように収束できない場合には、前述の補正カメラ情報算出部１２３において、補正カメラ情報関数の修正を行い、再度参照画像を選択するとよい。
In this embodiment, pixel omission occurs only in the frame of the deformed image of the original image. However, in other cases, when there is a moving object in the image, there is occlusion, so there is occlusion. In some cases, missing pixels may occur. In such a case, when performing the above-described feature point matching, the reference image candidate is divided into regions by a technique such as a histogram or the image is subdivided into a lattice shape to prevent pixel omission by feature point matching.
In addition, when it is not possible to converge so that missing pixels are eliminated in the cropping frame before resizing, the corrected camera information calculation unit 123 may correct the corrected camera information function and select the reference image again.
次に、映像生成部１４においては、得られた参照画像と補正前フレーム画像と画素レベルまでの合成補間を行いオリジナルの補正前フレーム画像と同じ解像度に変換する。
図４の映像生成部の図において、参照画像間および補正前フレーム画像間のつなぎ目が滑らかに、また参照画像間と補正前フレーム画像間の撮影時の輝度変化を補間した画像を生成する。次に前述のリサイズ率Ｒｅｄｉｔで画像を縮小し、切取り枠で内部画像を補正前フレーム画像の解像度で切り取る。この演算を補正編集区間内の全ての補正前フレーム画像に対して全ての画素に対して画像処理を施すことによって補正された映像データを生成することができる。
Next, the video generation unit 14 performs synthesis interpolation up to the pixel level with the obtained reference image, the pre-correction frame image, and converts it to the same resolution as the original pre-correction frame image.
In the diagram of the video generation unit in FIG. 4, an image is generated in which the joint between the reference images and the pre-correction frame images is smooth, and the luminance change at the time of shooting between the reference images and the pre-correction frame images is interpolated. Next, the image is reduced at the resize ratio Redit described above, and the internal image is cut out at the resolution of the pre-correction frame image using the cut frame. By performing this calculation on all the pre-correction frame images in the correction editing section and performing image processing on all the pixels, it is possible to generate corrected video data.
なお、図３のズームインの例では補正ズーム関数は直線とし、かつ編集対象区間と補正編集区間の開始フレーム番号を同じにしたが、補正編集区間の開始点をフレーム番号ｓ以前のフレームに設定することもできる。しかし、その場合にはリサイズ率Ｒｅｄｉｔ＞１であるため、補正前フレーム画像を拡大することになり画質劣化を伴うため最良とは言いがたい。 In the zoom-in example in FIG. 3, the correction zoom function is a straight line and the start frame number of the edit target section and the correction edit section are the same, but the start point of the correction edit section is set to a frame before the frame number s. You can also. However, in that case, since the resizing ratio Redit> 1, it is difficult to say that the pre-correction frame image is enlarged and the image quality is deteriorated.
本実施例ではカメラ情報の急激な変化に対しての補正を説明したが、緩慢なカメラ情報の補正の場合にも適用することが出来る。図５を用いて緩慢なズームインの補正を説明する。図５は緩慢なズームインの場合に、ズームインの変化度を上げる例である。図２および図３と同様にズーム関数等を設定している。ズーム関数はα≦上限θ１を満足するが、α≧下限θ２を満足しない。そのため、編集対象区間はフレーム番号ｓからフレーム番号ｅまでと設定している。次にθ１≧β≧θ２となる補正ズーム関数と補正編集区間を設定している。本例では編集対象区間の終了点と補正編集区間の終了点を同一にしている。補正ズーム関数は直線近似を採用すると仮定すると、フレーム番号ｓ〜フレーム番号ｓ＋ｍまでは補正ズーム関数はズーム値ｒｓで固定、フレーム番号ｓ＋ｍ〜フレーム番号ｅは傾斜角βの直線である。そして編集対象区間と補正編集区間は同一となる。補正編集区間のフレーム番号ｓ＋ｍからフレーム番号ｅまでの各補正前フレーム画像（フレーム番号ｅｄ）はフレームｒｆを算出して、図３と同様にフレーム番号ｒｆ近傍〜フレーム番号ｅｄ−１の参照画像と合成して補正フレーム画像を生成する。 In the present embodiment, correction for a sudden change in camera information has been described. However, the present invention can also be applied to correction of slow camera information. The slow zoom-in correction will be described with reference to FIG. FIG. 5 shows an example in which the degree of change in zoom-in is increased in the case of slow zoom-in. A zoom function or the like is set as in FIGS. The zoom function satisfies α ≦ upper limit θ 1 , but does not satisfy α ≧ lower limit θ 2 . For this reason, the edit target section is set from frame number s to frame number e. Next, a correction zoom function and a correction editing section satisfying θ 1 ≧ β ≧ θ 2 are set. In this example, the end point of the edit target section and the end point of the correction edit section are the same. When correcting the zoom function is assumed to adopt a linear approximation, until the frame number s~ frame number s + m correction zoom function fixed zoom value r s, the frame number s + m to the frame number e is a straight line of the inclination angle beta. The editing target section and the corrected editing section are the same. For each pre-correction frame image (frame number ed) from the frame number s + m to the frame number e in the correction edit section, the frame rf is calculated, and the reference image from the vicinity of the frame number rf to the frame number ed-1 is calculated as in FIG. A corrected frame image is generated by combining.
一方、フレーム番号ｓ〜フレーム番号ｓ＋ｍまでの各補正前フレーム画像に対する補正フレーム画像の生成はｒｆ＝ｓと固定して参照画像を選択し合成する。なお、リサイズ率は図３での説明と同様に、Ｒｅｄｉｔ＝ｒｒｆ／ｒｅｄで、Ｒｅｄｉｔ≦１あるため画質劣化は生じない。 On the other hand, generation of a corrected frame image for each pre-correction frame image from frame number s to frame number s + m is fixed at rf = s, and a reference image is selected and synthesized. Note that the resizing rate is Redit = r rf / r ed and Redit ≦ 1, as in the description with reference to FIG.
次にパンの場合について、図５、図６を用いて説明する。なお、チルトはパンの水平方向の回転を垂直方向に置き換えたものであるのでパンの以下の説明と同じである。
なお、ズームインの例と同様に、本例ではパンのみの変化があり、ズームやチルトなどの変化は殆どないと仮定している。
Next, the case of bread will be described with reference to FIGS. The tilt is the same as the following description of the pan because the horizontal rotation of the pan is replaced with the vertical direction.
As in the zoom-in example, it is assumed that there is only a change in pan in this example, and there is almost no change in zoom or tilt.
図６は図３のズームをパンに置き換えたもので、ｐｓ、ｐｓなどは、映像データの開始時点の方向を基準（パン角：０度）に右方向の編集対象区間の開始点のパン角、終了点のパンを示している。以下、図３と同様にズームをパンに変更したものである。パン関数とはカメラ情報関数のパンについての近似関数であり、本実施例でも直線近似で、パン角の設定された閾値をもとに補正編集区間や、直線近似の補正パン関数も設定している。そして、補正編集区間内の補正前フレーム画像であるフレーム番号ｅｄに関して、補正後カメラ情報である補正後パン値のｐｒｆを算出し、ｐｒｆに一番近いパン値（図ではｐ’ｒｆ）を持つフレーム番号ｒｆを算出し、フレーム番号ｒｆ近傍〜フレーム番号ｅｄ−１の複数の画像を参照画像候補として選択する。以下、図７も用いて説明する。図７ではフレーム番号ｒｆとフレーム番号ｒｆ＋１が参照画像候補であり、ｒｆ＋１＝ｅｄ−１としている。
ズームインの例と同様に、参照画像候補とフレーム番号ｅｄの補正前フレーム画像特徴点抽出と特徴点マッチングを行い、参照候補画像と補正前フレーム画像の画像変形を行い、画素抜けがないまで演算を繰り返す。
FIG. 6 is obtained by replacing the zoom in FIG. 3 with pan, and p s , p s, etc. are the start points of the edit target section in the right direction with respect to the direction of the start time of the video data (pan angle: 0 degree). The pan angle and the pan at the end point are shown. Hereinafter, the zoom is changed to pan as in FIG. The pan function is an approximate function for pan of the camera information function. In this embodiment, the pan function is also a straight line approximation, and the correction edit section and the straight pan approximation correction pan function are also set based on the threshold for which the pan angle is set. Yes. Then, for the frame number ed that is the pre-correction frame image in the correction edit section, the post-correction pan value p rf that is the post-correction camera information is calculated, and the pan value closest to p rf (p ′ rf in the figure) Frame number rf is calculated, and a plurality of images in the vicinity of frame number rf to frame number ed−1 are selected as reference image candidates. Hereinafter, a description will be given with reference to FIG. In FIG. 7, frame number rf and frame number rf + 1 are reference image candidates, and rf + 1 = ed−1.
Similar to the zoom-in example, the feature point extraction and feature point matching of the reference image candidate and the frame number ed are performed, and the reference candidate image and the pre-correction frame image are deformed. repeat.
ここで、図７における変形の図のように、補正後パン値での光軸が画像の中心になるように変形する。そのため画像Ｆ’ｒｆが一番近いために変形が少なく、補正前フレーム画像の変形が一番大きくなる。理由はカメラの中心付近と周辺では大きく変化するため、パンの場合にはズームと異なり、補正前フレーム画像のセンター部分は、補正後パン値では周辺に移動するためである。 Here, as shown in the deformation diagram in FIG. 7, the deformation is performed so that the optical axis at the corrected pan value becomes the center of the image. Therefore, since the image F′rf is the closest, the deformation is small and the deformation of the pre-correction frame image is the largest. The reason is that the center portion of the pre-correction frame image moves to the periphery in the post-correction pan value, unlike the zoom in the case of pan, because it changes greatly near the center and the periphery of the camera.
ここで、切取り枠は補正後パン値ｐｒｆでの光軸の中心となる補正前フレーム解像度と同じ高さＨ、横幅Ｗの枠である。画素抜けが発生しないと確認されると、ズームインの例と同様に、画素値まで含めて描画を行い、切取り枠内の画像を切り取り出力する。 Here, the cut frame is a frame having the same height H and width W as the pre-correction frame resolution that is the center of the optical axis at the corrected pan value prf . If it is confirmed that no pixel omission occurs, drawing is performed including the pixel value as in the zoom-in example, and the image within the cut frame is cut out and output.
本実施例では、カメラ情報のズームなどの各パラメータのみであったが、ズームとパンとが同時に行われる場合もある。このような場合には前述の組み合わせで行えばよい。 In this embodiment, only the parameters such as the zoom of the camera information are used. However, zooming and panning may be performed at the same time. In such a case, the above combination may be performed.
本発明にかかる動画編集装置は、特定した編集区間において保存しているカメラ情報から編集後のカメラ情報を生成し、補正前フレーム画像と編集後のカメラ情報に近い参照画像との合成で編集後の画像フレームを作るものであり、撮影対象の動物体の動きの速さを変えることなく、中間フレーム生成による画像劣化なく、撮影コンテンツのカメラ制御失敗区間の補正に有用である。 The moving image editing apparatus according to the present invention generates edited camera information from camera information stored in a specified editing section, and after editing by combining a pre-correction frame image and a reference image close to the edited camera information This is useful for correcting the camera control failure section of the photographic content without changing the speed of movement of the object to be photographed and without image degradation due to generation of the intermediate frame.
１１ データ記憶部
１２ カメラ情報算出部
１３ 参照画像選択分
１４ 映像生成部
１２１ カメラ情報関数算出部
１２２ 編集対象区間算出部
１２３ 補正カメラ情報算出部
１３１ 参照画像候補抽出部
１３２ 参照画像決定部
DESCRIPTION OF SYMBOLS 11 Data memory | storage part 12 Camera information calculation part 13 Reference image selection part 14 Image | video production | generation part 121 Camera information function calculation part 122 Editing object area calculation part 123 Correction | amendment camera information calculation part 131 Reference image candidate extraction part 132 Reference image determination part
Claims (3)
前記データ記憶部に保存されたカメラ情報から編集対象の時間区間を特定し、特定した時間区間の前後を含めた補正編集区間と、補正編集区間のカメラのズームや回転の補正した動きである補正カメラ情報を算出するカメラ情報算出部と、
補正編集区間内の補正対象となる各補正前フレーム画像に対して、カメラ情報と補正カメラ情報から補正前フレーム画像に合成可能な近傍の複数の参照画像を前記データ記憶部から選択する参照画像選択部と、
補正前フレーム画像と前記参照画像選択部で選択された参照画像を合成補間して補正フレーム画像を補正編集区間内の補正前フレーム画像に対して生成する映像生成部を備えたことを特徴とする動画編集装置。 A data storage unit for storing video data and camera information related to the video data;
A time section to be edited is specified from the camera information stored in the data storage unit, a correction edit section including before and after the specified time section, and a correction that is a movement corrected by zoom and rotation of the camera in the correction edit section A camera information calculation unit for calculating camera information;
Reference image selection for selecting, from the data storage unit, a plurality of neighboring reference images that can be combined with the pre-correction frame image from the camera information and the corrected camera information for each pre-correction frame image to be corrected in the correction edit section And
A video generation unit is provided that synthesizes and interpolates a pre-correction frame image and the reference image selected by the reference image selection unit to generate a correction frame image for the pre-correction frame image in the correction edit section. Movie editing device.
外部入力によって編集対象区間を指定、もしくはカメラ情報関数から急激な変化もしくは緩慢な変化となっている編集対象区間を算出する編集対象区間算出部と、
外部入力によって補正編集区間を指定して補正カメラ情報関数と補正カメラ情報を算出する、もしくはカメラ情報関数と編集対象区間から補正編集区間と補正編集区間の補正カメラ情報関数を算出し、補正カメラ情報を生成する補正カメラ情報算出部を備えたことを特徴とする、請求項１に記載の動画編集装置。 The camera information calculation unit is a time function of camera movement, or a camera information function calculation unit that calculates a camera information function that is an association rule of camera movement at an arbitrary time in the correction editing section;
An edit target section calculation unit that specifies an edit target section by external input or calculates an edit target section that is abrupt or slow change from a camera information function;
The corrected camera information function and the corrected camera information are calculated by specifying the corrected editing section by external input, or the corrected camera information function of the corrected editing section and the corrected editing section is calculated from the camera information function and the editing target section, and the corrected camera information The moving image editing apparatus according to claim 1, further comprising: a corrected camera information calculation unit that generates image data.
前記参照画像候補抽出部で抽出された参照候補画像と補正前フレーム画像を合成し、合成時に補正カメラ情報から得られる選択範囲において画素抜けがある場合に、参照候補画像を追加して合成画像に画素抜けがない参照画像を選択する参照画像決定部を備えたことを特徴とする、請求項１または請求項２に記載の動画編集装置。 The reference image selection unit is a reference image candidate extraction unit that extracts a plurality of reference candidate images near the pre-correction frame image from the camera information and the correction camera information;
The reference candidate image extracted by the reference image candidate extraction unit and the pre-correction frame image are combined, and when there is a missing pixel in the selection range obtained from the correction camera information at the time of combining, the reference candidate image is added to the combined image. The moving image editing apparatus according to claim 1, further comprising a reference image determination unit that selects a reference image having no missing pixels.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008265047A JP5176857B2 (en) | 2008-10-14 | 2008-10-14 | Movie editing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008265047A JP5176857B2 (en) | 2008-10-14 | 2008-10-14 | Movie editing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010098355A true JP2010098355A (en) | 2010-04-30 |
| JP5176857B2 JP5176857B2 (en) | 2013-04-03 |
Family
ID=42259763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008265047A Expired - Fee Related JP5176857B2 (en) | 2008-10-14 | 2008-10-14 | Movie editing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5176857B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013214956A (en) * | 2012-03-09 | 2013-10-17 | Panasonic Corp | Image processing apparatus and image processing method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003061038A (en) * | 2001-08-20 | 2003-02-28 | Univ Waseda | Video contents edit aid device and video contents video aid method |
| JP2006005533A (en) * | 2004-06-16 | 2006-01-05 | Seiko Epson Corp | Adjustment of motion speed of image at reproduction of a moving picture |
| JP2006115323A (en) * | 2004-10-15 | 2006-04-27 | Nikon Corp | Camera capable of panning photography and program for motion picture editing |
| JP2006262135A (en) * | 2005-03-17 | 2006-09-28 | Casio Comput Co Ltd | Photographing device, moving picture reproducing device, and moving picture recording/reproduction program |
-
2008
- 2008-10-14 JP JP2008265047A patent/JP5176857B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003061038A (en) * | 2001-08-20 | 2003-02-28 | Univ Waseda | Video contents edit aid device and video contents video aid method |
| JP2006005533A (en) * | 2004-06-16 | 2006-01-05 | Seiko Epson Corp | Adjustment of motion speed of image at reproduction of a moving picture |
| JP2006115323A (en) * | 2004-10-15 | 2006-04-27 | Nikon Corp | Camera capable of panning photography and program for motion picture editing |
| JP2006262135A (en) * | 2005-03-17 | 2006-09-28 | Casio Comput Co Ltd | Photographing device, moving picture reproducing device, and moving picture recording/reproduction program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013214956A (en) * | 2012-03-09 | 2013-10-17 | Panasonic Corp | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5176857B2 (en) | 2013-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6750903B1 (en) | Super high resolution camera | |
| JP4212109B2 (en) | Imaging apparatus and imaging method | |
| US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| JP4818031B2 (en) | Image processing apparatus and image processing method | |
| JP2010268441A (en) | Image processor, imaging device, and image reproducing device | |
| JP2010081181A (en) | Image processing apparatus and electronic apparatus | |
| JP4697221B2 (en) | Image processing apparatus, moving image reproduction apparatus, processing method and program therefor | |
| JP4630807B2 (en) | Image processing apparatus and image processing method | |
| US8711239B2 (en) | Program recording medium, image processing apparatus, imaging apparatus, and image processing method | |
| US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
| JP2009044329A (en) | Program, image processing method, and image processor | |
| JP5176857B2 (en) | Movie editing device | |
| JP5402242B2 (en) | Image reproduction apparatus, imaging apparatus, image reproduction method, and image reproduction program | |
| JP4189575B2 (en) | Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program | |
| JP2006319541A (en) | Imaging device, moving picture processing method, and program | |
| US20120219264A1 (en) | Image processing device | |
| JP2000261657A (en) | Method for photographing video image for editing with object trimming function, its system and storage medium with program describing the same function stored therein | |
| JP4656199B2 (en) | Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program | |
| JP4967938B2 (en) | Program, image processing apparatus, and image processing method | |
| JP3861641B2 (en) | Image composition apparatus, image composition method, and program | |
| JP5332668B2 (en) | Imaging apparatus and subject detection program | |
| JP2007329548A (en) | Image processing system, image processing method, and program | |
| JP5206421B2 (en) | Digital camera, photographing recording method, and photographing control program | |
| JP2005217902A (en) | Image processing apparatus and image processing method | |
| JP6708490B2 (en) | Image processing method and image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111014 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20111114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121211 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121224 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5176857 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160118 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |