JP2015170973A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2015170973A JP2015170973A JP2014044260A JP2014044260A JP2015170973A JP 2015170973 A JP2015170973 A JP 2015170973A JP 2014044260 A JP2014044260 A JP 2014044260A JP 2014044260 A JP2014044260 A JP 2014044260A JP 2015170973 A JP2015170973 A JP 2015170973A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- moving image
- display
- section
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
Description
本発明は、動画を表示する画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for displaying a moving image.
近年、デジタルカメラやデジタルビデオカメラ、スマートフォンなどの携帯端末の普及により、動画を撮影する機会が増えている。これに伴い、撮影した動画を表示したり、例えば動画の一部を切り出して加工した編集済の動画を表示する機会も増えている。表示装置で動画を表示する際に、入力する動画の縦横比と、表示画面の縦横比とが異なる場合、該動画を表示画面の縦横比に合わせて表示する必要がある。 In recent years, with the widespread use of mobile terminals such as digital cameras, digital video cameras, and smartphones, opportunities to shoot movies have increased. In connection with this, the opportunity to display the image | video which image | photographed or the edited moving image which cut out and processed some moving images, for example is increasing. When a moving image is displayed on the display device, if the aspect ratio of the input moving image is different from the aspect ratio of the display screen, the moving image needs to be displayed in accordance with the aspect ratio of the display screen.
動画の縦横比を変更して表示する方法として、例えば特許文献1には、入力動画の上下または左右に黒帯を入れて表示する方法が記載されている。また特許文献2には、入力動画の特徴量から注目領域を設定し、その注目領域を含むように、表示画面の縦横比に合わせた領域を切り出して表示する方法が記載されている。
As a method for displaying the moving image by changing the aspect ratio, for example,
しかしながら、上記特許文献1に記載された方法では、スマートフォンなどの携帯端末のように表示画面が小さい場合、動画表示の際に黒帯を挿入すると正味の動画部分がより小さくなってしまい、見づらくなる。
However, in the method described in
また、上記特許文献2に記載された方法では、表示画面の縦横比に合わせて領域を切り出すため、例えば入力動画に複数の被写体が写っている場合、削られて表示されなくなる被写体が発生してしまうことがある。特に、複数の被写体が重要な動作や状態にある場合に、そのうちの一つの被写体が削られて表示されなくなると、入力動画の内容が理解し難くなってしまう。
In addition, in the method described in
本発明は上述した問題を解決するためになされたものであり、入力動画から重要な被写体部分を適切に切出して表示可能とする画像処理装置および画像処理方法を提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an image processing apparatus and an image processing method capable of appropriately cutting out and displaying an important subject portion from an input moving image.
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。 As a means for achieving the above object, an image processing apparatus of the present invention comprises the following arrangement.
すなわち、入力動画の各フレームから被写体の領域を切出して被写体動画を生成する部分動画生成手段と、前記被写体動画において被写体の動きの変化を示す特徴フレームを検出する検出手段と、前記被写体動画において前記特徴フレームを含む複数のフレームからなる重要区間を検出し、該重要区間を含む切出区間を設定する設定手段と、前記被写体動画から切出した前記切出区間を、対応する前記入力動画のフレーム番号に応じてつないで編集動画を生成する編集動画生成手段と、を有し、前記設定手段は、前記入力動画から生成された複数の前記被写体動画において前記重要区間が重複している場合、該重複している区間のそれぞれにおいて前記切出区間を設定することを特徴とする。 That is, a partial moving image generating unit that generates a subject moving image by cutting out a subject area from each frame of the input moving image, a detecting unit that detects a feature frame indicating a change in the movement of the subject in the subject moving image, and the subject moving image Setting means for detecting an important section composed of a plurality of frames including a feature frame, and setting a cut-out section including the important section; and a frame number of the input video corresponding to the cut-out section cut out from the subject video And an edited moving image generating means for generating an edited moving image in accordance with the input moving image, and the setting means, when the important sections overlap in the plurality of subject moving images generated from the input moving image, the overlapping The cut-out section is set in each of the sections.
本発明によれば、入力動画から重要な被写体部分を適切に切出して表示することが可能となる。 According to the present invention, it is possible to appropriately extract and display an important subject portion from an input moving image.
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail based on preferred embodiments with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
＜第1実施形態＞
●装置構成
図1は、本実施形態の画像処理装置のハードウェア構成を示すブロック図である。図1に示すように本実施形態の画像処理装置は、CPU101、バス102、ROM103、RAM104、記録媒体105、入力装置106、表示装置107から構成される。
<First Embodiment>
Apparatus Configuration FIG. 1 is a block diagram showing the hardware configuration of the image processing apparatus according to this embodiment. As shown in FIG. 1, the image processing apparatus of this embodiment includes a
CPU101は、画像処理装置の起動プログラム、OS、制御プログラムを実行する演算器である。バス102は、CPU101が他のハードウェアブロックとの間でデータを読み書きするための制御モジュールである。ROM103は、画像処理装置を起動するためのプログラムが記録されている。画像処理装置に電源が投入されると、CPU101はROM103の制御プログラムを読出して実行し、各ハードウェアブロックの初期設定やOS(Operation System)の起動等を行う。RAM104は、CPU101が各種プログラムを実行する際に、データの一時保存を行う記録媒体である。記録媒体105は、動画データ、OS、本画像処理装置の制御プログラムを記録するものであり、具体的にはハードディスクドライブ、SSD(Solid State Disk)等である。尚、記録媒体105は、ネットワークを介して接続されたものであっても良い。入力装置106はタッチパネルであり、ユーザーがタッチして選択した入力はCPU101に伝えられる。表示装置107は動画の表示を行うものであり、具体的には液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等である。
The
本実施形態では、入力される動画(以下、入力動画)と表示画面の縦横比が異なる場合の表示に用いる動画として、入力動画を再構成した編集動画を予め保存しておく。そして表示の際に、入力動画と表示画面の縦横比に応じて入力動画と編集動画を切り替えて表示する。 In the present embodiment, an edited moving image in which the input moving image is reconfigured is stored in advance as a moving image used for display when the input moving image (hereinafter, input moving image) and the display screen have different aspect ratios. When displaying, the input moving image and the edited moving image are switched and displayed according to the aspect ratio of the input moving image and the display screen.
●動画表示処理
図2は、本実施形態における画像処理装置の機能構成を示すブロック図である。以下、図2に示す構成によって実行される動画表示処理について、図4の表示画面例および図6のフローチャート等を用いて詳細に説明する。
FIG. 2 is a block diagram showing a functional configuration of the image processing apparatus in the present embodiment. Hereinafter, the moving image display process executed by the configuration shown in FIG. 2 will be described in detail with reference to the display screen example of FIG. 4, the flowchart of FIG.
図1に示す記録媒体105に、入力動画310が複数保存されている。入力動画310は、図4(a)に示す横長の表示画面1と同じ縦横比の動画である。表示画面1に入力動画310が表示されている際に、画像処理装置の姿勢が変わることによって画面の向きが変わり、図4(b)に示す縦長の表示画面2に入力動画310を表示する場合を考える。この場合、入力動画310と表示画面2の縦横比が異なるため、入力動画310を表示画面2への表示用に再構成した編集動画を作成する必要がある。したがって、記録媒体105に保存されている複数の入力動画310について、編集動画生成部40にて編集動画50を作成し、記録媒体105に保存しておく。
A plurality of
この編集動画生成部40における編集動画の生成・保存処理を、図6のS101〜S161にて行う。まずS101で、未だ編集動画の作成処理がなされていない動画を、入力動画310として選択する。そしてS102で被写***置検出部202が、S101で選択された入力動画310について、その全フレームから被写***置検出を行う。被写体の位置検出方法としては、顔検出などの周知の方法を適用すれば良い。ここで検出した被写体には被写体IDを付与し、フレーム内での被写体座標を、入力動画のフレーム番号ごとに例えばRAM104に保存する。図8(a)に、S102で検出・保存された被写***置検出情報の例を示す。
The edited moving image generating / saving process in the edited moving
●切出領域選択処理(S103)
次にS103で切出領域選択部203が、入力動画310の各フレームにおいて、切出領域の選択処理を行う。ここで切出領域とは、入力動画と表示動画の縦横比が異なる場合に表示される編集動画50のフレームとなる領域である。
Cutout area selection processing (S103)
Next, in step S103, the cut-out
S103の切出領域選択処理の詳細について、図10のフローチャートを用いて説明する。まずS1031で、図8(a)に示すような被写***置検出情報から、フレーム内の被写体座標を読み出す。次にS1032で、被写体座標と、図4(b)に示す縦長の表示画面2の縦横比に基づき、被写体毎に、入力動画310の各フレームにおいて切出領域を選択する。すなわち、各フレームにおける切出領域の縦横比が、表示画面2の縦横比に等しくなるようにする。ここでは、ある1被写体についての切出し領域は、各フレームにおいて同一サイズが選択されるとする。なお、この縦横比は表示装置107の情報として予めRAM104や記録媒体105等に設定されているとする。
Details of the cut-out area selection processing in S103 will be described with reference to the flowchart of FIG. First, in S1031, subject coordinates in the frame are read from subject position detection information as shown in FIG. Next, in S1032, based on the subject coordinates and the aspect ratio of the vertically
ここで図7を用いて切出領域について説明する。図7(a)は、入力動画310を時間に沿って示したものである。図7(b)のフレーム画像内の縦長の矩形321-A1は、時刻T1における被写体Aの切出領域を示し、縦長の矩形321-B1は、時刻T1における被写体Bの切出領域を示している。入力動画310から、時刻T1における被写体Aのフレーム内の被写体座標を用いて、縦長の表示画面2と縦横比が等しくなるように、被写体Aを含む切出領域321-A1を選択する。被写体Bについても同様に、切出領域321-B1を選択する。そしてS1033で、入力動画310の各フレームで選択された切出領域を、入力動画のフレーム番号、被写体ID、フレーム内の領域位置、の形式で、図8(b)に示す切出領域情報として例えばRAM104に保存する。ここでは、各フレームにおける切出領域が同サイズである例を示している。そしてS1034で、入力動画310の全てのフレームについて切出領域の選択処理が終了したか否かを判定する。具体的には、図8(a)の被写***置検出情報における最終行まで、処理が終了したかを判定すれば良い。
Here, the cutout region will be described with reference to FIG. FIG. 7 (a) shows the
S103ではこのように、入力動画310の各フレームで、各被写体について、切出領域選択を行う。
In S103, the extraction area is selected for each subject in each frame of the
●領域切出処理(S104)
次にS104で領域切出部204が、被写体ごとの領域切出処理を行う。すなわち、切出領域選択部203で保存された図8(b)の切出領域情報に従い、入力動画310の各フレームから領域を切り出すことで、被写体毎の部分動画を生成する。以下、この被写体毎の部分動画を、被写体動画と称する。
Area extraction processing (S104)
In step S104, the
ここで図7(b)を用いて、切出領域と被写体動画について説明する。図8(b)の切出領域情報において被写体IDがAである情報を用いて、入力動画310からフレーム毎に領域の切り出しを行うことで、被写体Aの部分動画320-Aを生成する。被写体B、被写体Cについても同様に、部分動画320-B、320-Cを生成する。
Here, the cut-out area and the subject moving image will be described with reference to FIG. The partial moving image 320-A of the subject A is generated by cutting out the region for each frame from the
なお、図8(b)では被写体Aについて、フレーム内での切出領域の位置は変化するものの、領域サイズは一定である例を示した。上述したように、各切出領域は被写体を含み、表示画面2と縦横比が等しくなるように選択されるため、フレーム毎に必ずしも領域サイズが等しくなるとは限らない。このようにある被写体について、フレーム毎に切出領域のサイズが異なる場合には、補間や間引き等の補正処理によって、全ての切出領域について切出後のサイズが等しくなるように調整することが望ましい。このように調整された切出領域のサイズがすなわち、編集動画50のフレームサイズとなる。
Note that FIG. 8B shows an example in which the size of the region of the subject A is constant although the position of the cutout region in the frame changes. As described above, each cut-out area includes a subject and is selected so that the aspect ratio is the same as that of the
以上説明した被写***置の検出、切り出し領域の選択、および領域切出の各処理を行う被写***置検出部202、切出領域選択部203、領域切出部204によって、被写体動画生成部20が構成される。すなわち被写体動画生成部20は入力動画310からの部分動画生成を行い、例えば被写体A,B,Cのそれぞれの被写体動画320-A,320-B,320-Cが生成される。
The subject moving
●特徴点検出処理(S105)
図6に戻り、次にS105で特徴点検出部205が、被写体動画320-A、320-B、320-Cについて、被写体の動きの変化を示す特徴フレームを検出する特徴点検出処理を行う。ここで検出された特徴フレームの情報は、特徴点情報として保持される。以下、この特徴点検出処理について、図11のフローチャートを用いて説明する。
Feature point detection process (S105)
Returning to FIG. 6, in step S105, the feature
まずS10501で、生成した被写体動画320-A、320-B、320-Cを順次取得する。そしてS10502で、被写体動画からフレームを順次読み出し、S10503でフレーム毎の動きベクトルを算出する。そしてS10504で、算出した動きベクトルが小から大に変化したかを判定し、Noの場合はそのままS10505に進むが、Yesの場合はS10524に進み、当該フレームを動き開始点として特徴点情報に追加した後、S10505に進む。S10505では、算出した動きベクトルが大から小に変化したかを判定し、Noの場合はそのままS10506に進むが、Yesの場合はS10525に進み、当該フレームを動き終了点として特徴点情報に追加した後、S10506に進む。なお、動きベクトルの大または小の判定は、所定の閾値に対する大小関係に基づいて行えば良い。 First, in S10501, the generated subject videos 320-A, 320-B, and 320-C are sequentially acquired. In step S10502, frames are sequentially read from the subject moving image, and in step S10503, a motion vector for each frame is calculated. In S10504, it is determined whether the calculated motion vector has changed from small to large. If No, the process proceeds directly to S10505. If Yes, the process proceeds to S10524, and the frame is added to the feature point information as a motion start point. After that, go to S10505. In S10505, it is determined whether the calculated motion vector has changed from large to small. If No, the process proceeds directly to S10506, but if Yes, the process proceeds to S10525, and the frame is added to the feature point information as a motion end point. Then, the process proceeds to S10506. It should be noted that the determination of whether the motion vector is large or small may be made based on the magnitude relationship with respect to a predetermined threshold.
S10506では、フレーム毎の被写体の視線を算出する。なお、視線の算出方法としては周知の方法を用いれば良い。次にS10507で、S10506で算出した視線に変化があるか否かを判定し、Noの場合はそのままS10508に進むが、Yesの場合はS10527に進み、当該フレームを視線変化点として特徴点情報に追加した後、S10508に進む。 In S10506, the line of sight of the subject for each frame is calculated. A known method may be used as a method for calculating the line of sight. Next, in S10507, it is determined whether or not there is a change in the line of sight calculated in S10506. If No, the process proceeds to S10508 as it is, but if Yes, the process proceeds to S10527, and the frame is used as characteristic point information as the line-of-sight change point. After the addition, go to S10508.
S10508では、フレーム毎の被写体の言葉すなわち音声情報を算出する。被写体の言葉の算出は、周知の音声認識、話者認識、人物認識等の各種技術を組み合せることによって対応可能である。具体的には、音声認識により被写体から発せられた言葉を認識し、更に、被写体の人物認識結果と発せられた言葉の話者認識結果が一致する場合に、被写体がその言葉を発したと認識する。次にS10509で、被写体の発した言葉の中に特徴語があるか否かを判定し、Noの場合はそのままS10510に進むが、Yesの場合はS10529に進み、当該フレームを特徴語点として特徴点情報に追加した後、S10510に進む。尚、特徴語は予め記録媒体105に記憶されているとする。
In S10508, the words of the subject, that is, audio information for each frame are calculated. The calculation of the words of the subject can be handled by combining various techniques such as well-known voice recognition, speaker recognition, and person recognition. Specifically, it recognizes a word uttered from the subject by voice recognition, and recognizes that the subject uttered the word when the person recognition result of the subject and the speaker recognition result of the spoken word match. To do. Next, in S10509, it is determined whether or not there is a feature word in the words uttered by the subject. If No, the process proceeds to S10510 as it is, but if Yes, the process proceeds to S10529 and the frame is characterized as a feature word point. After adding to point information, it progresses to S10510. Note that the feature words are stored in the
そしてS10510で、被写体動画の最終フレームまで、特徴点検出処理が終了したかを判定し、Yesの場合はS10511に進むが、Noの場合はS10502に戻って次のフレームの処理を行う。さらにS10511では、全ての被写体動画について、特徴点検出処理が終了したかを判定し、Yesの場合には処理を終了するが、Noの場合はS10501に戻って次の被写体動画の処理を行う。 In S10510, it is determined whether or not the feature point detection process has been completed up to the final frame of the subject moving image. If Yes, the process proceeds to S10511. If No, the process returns to S10502 to process the next frame. Further, in S10511, it is determined whether or not the feature point detection process has been completed for all the subject videos. If Yes, the process ends. If No, the process returns to S10501 to process the next subject video.
以上のようにS105では、被写体動画から検出された各種特徴フレームの情報を、特徴点ID、特徴点の種別、被写体ID、入力動画のフレーム番号、の形式で、図8(c)に示す特徴点情報として例えばRAM104に保存する。図8(c)は、被写体動画320-A,320-B,320-Cについて、検出された特徴点α,β,γ、および入力動画310のフレーム番号、を示したものである。以下、特徴フレームを単に特徴点とも称する。
As described above, in S105, information on various feature frames detected from the subject video is displayed in the form of feature point ID, feature point type, subject ID, and input video frame number in the form shown in FIG. For example, it is stored in the
尚、本実施形態では特徴点として被写体の動きの開始点および終了点、視線の変化点、特徴語の発声点(特徴語点)を検出する例を示したが、被写体の出現点、消失点、複数の被写体の合流点等、被写体の動きを示す他の特徴点を検出するようにしても良い。 In this embodiment, the example of detecting the movement start point and end point of the subject, the line-of-sight change point, and the utterance point of the feature word (feature word point) is shown as the feature point. Other feature points indicating the movement of the subject, such as confluence points of a plurality of subjects, may be detected.
●切出区間設定処理(S106)
図6に戻り、次にS106で切出区間設定部206が、切出区間の設定処理を行う。ここで切出区間とは、入力動画と表示動画の縦横比が異なる場合に表示される編集動画50を構成する区間である。
Cutting section setting process (S106)
Returning to FIG. 6, in step S106, the cut-out
S106の切出区間設定処理の詳細について、図12のフローチャートを用いて説明する。まずS10601で、S105で検出された、図8(c)に示す特徴点情報を順次取得し、S10602で、特徴点を含む所定幅の区間(所定期間)を重要区間として設定する。 Details of the cut-out section setting process of S106 will be described using the flowchart of FIG. First, in step S10601, the feature point information shown in FIG. 8C detected in step S105 is sequentially acquired. In step S10602, a section having a predetermined width (predetermined period) including the feature point is set as an important section.
ここで、重要区間の設定方法について説明する。図7(c)は、被写体動画320-A,320-B,320-Cと、検出された特徴点α,β,γ、および入力動画310のフレーム番号を示している。重要区間の設定に際し、特徴点のフレーム番号に対して、該特徴点を含む所定区間をどのように設定するかは、特徴点の種別に応じて予め決められている。例えば、特徴点の種別が、動き開始点、視線変化点、表情変化点のいずれかである場合は、特徴点のフレーム番号の29フレーム前から開始し、120フレーム後で終了する区間を、重要区間として設定する。図7(d)は、図7(c)に示す特徴点α,β,γのそれぞれに対して設定された重要区間330-1,330-2,330-3を示した図である。このように設定された重要区間には重要区間IDを付与し、図8(d)に示す形式で重要区間情報として例えばRAM104に保存する。なお、重要区間の設定方法として、ここでは1つの特徴点を含む所定区間を設定する例を示したが、2つの特徴点を開始点と終了点とする特徴区間を検出し、その特徴区間から重要区間を設定しても良い。
Here, the setting method of an important area is demonstrated. FIG. 7C shows subject moving images 320-A, 320-B, 320-C, detected feature points α, β, γ, and frame numbers of the
図7(d)によれば、被写体動画間において、重要区間の重複が発生していることが分かる。例えば、被写体Bの動画320-Bの重要区間330-2と、被写体Aの動画320-Aの重要区間330-3が、入力動画310のフレーム番号421〜480の区間で重複している。
According to FIG. 7 (d), it can be seen that the important section overlaps between the subject moving images. For example, the important section 330-2 of the moving image 320-B of the subject B and the important section 330-3 of the moving image 320-A of the subject A overlap in the sections of the
次にS10604では、S10602で設定された重要区間をそのまま、すなわち重要区間の全部を切出区間として設定し、図8(e)に示す形式で、切出区間情報として例えばRAM104に保存する。このとき、切出区間IDには対応する重要区間IDの番号をそのまま用いることができる。図7(e)に、設定された切出区間の例を示す。図7(e)では重複区間があり、被写体Aの切出区間330-3と、被写体Bの切出区間330-2に、入力動画310のフレーム番号421〜480が重複区間として含まれている。
Next, in S10604, the important sections set in S10602 are set as they are, that is, all of the important sections are set as cut sections, and stored in the
図8(e)に示すように切出区間情報には、後の表示処理のために、切出区間を接続して再構成した際に対応する編集動画のフレーム番号、入力動画のフレーム番号での重複区間、編集動画のフレーム番号での重複区間、の各情報を保存しておく。 As shown in FIG. 8 (e), the cut section information includes the frame number of the edited video and the frame number of the input video when the cut section is connected and reconfigured for later display processing. Each information of the overlapping section and the overlapping section with the frame number of the edited moving image is stored.
次にS10605で、図8(c)に示す全ての特徴点情報に対する切出区間の設定処理が終了したか否かを判定し、Yesの場合はS10606に進むが、Noの場合はS10601に戻って次の特徴点情報の処理を行う。 Next, in S10605, it is determined whether or not the extraction section setting processing for all feature point information shown in FIG. 8 (c) has been completed. If Yes, the process proceeds to S10606. If No, the process returns to S10601. The next feature point information is processed.
S10606では、入力動画310の中に、切出区間として設定されていない未設定区間があるか否かを判定し、Noの場合はそのまま処理を終了するが、Yesの場合はS10621に進んで未設定区間の一つを処理対象区間として設定する。例えば図7(e)に示す切出区間例においては、入力動画310のフレーム番号151〜330は、これまでの処理で切出区間として設定されていない未設定区間であるので、処理対象区間に設定される。
In S10606, it is determined whether or not there is an unset section that is not set as a cut section in the
次にS10622では、処理対象区間を分割する。この分割は、分割後の一区間のフレーム数が、所定のフレーム数の範囲内に収まるようにする。具体的には、下式を満たすNを決定すれば良い。 Next, in S10622, the processing target section is divided. This division is performed so that the number of frames in one section after the division falls within a predetermined number of frames. Specifically, N that satisfies the following equation may be determined.
分割後の一区間のフレーム数＝処理対象区間のフレーム数/(被写体数*N)
例えば図7(e)において、処理対象区間であるフレーム番号151〜330のフレーム数は180であり、この処理対象区間の被写体は被写体Aと被写体Bで、被写体数は2である。このとき、分割後の一区間に対する所定のフレーム数の範囲を60以上150以下とすると、上式よりN=2が適切であると決定され、分割する一区間のフレーム数は90となる。なお、分割後の一区間のフレーム数が、所定のフレーム数の範囲より少なくなる場合(上記例であれば60未満になる場合)には、処理対象区間の被写体のうち、いずれか1つを切出区間として設定すれば良い。
Number of frames in one section after division = number of frames in the section to be processed / (number of subjects * N)
For example, in FIG. 7 (e), the number of frames of
次にS10623で、処理対象区間内の区間切出を行うが、このとき、被写体IDが交互に並ぶように設定する。上記例の処理対象区間ではN=2であり、直前のフレームでは被写体Aが切出区間として設定されているため、処理対象区間内での切出区間は、被写体B、被写体Aの順に並ぶように設定する。例えば図7(f)に示すように、フレーム番号151〜330の処理対象区間においたは、フレーム番号151〜240の切出区間が被写体B、フレーム番号241〜330の切出区間が被写体Aとして設定される。このように設定された処理対象区間内の切出区間についても、図8(e)に示す切出区間情報として保存する。
Next, in S10623, section extraction within the processing target section is performed, and at this time, the subject IDs are set to be alternately arranged. Since N = 2 in the processing target section in the above example and subject A is set as the cutting section in the immediately preceding frame, the cutting section in the processing target section is arranged in the order of subject B and subject A. Set to. For example, as shown in FIG. 7 (f), in the processing target section of
そして処理はS10606に戻り、入力動画310における未設定区間がなくなるまで、上記未設定区間の区間切出処理を繰り返す。S106における切出区間設定処理が終了した時点での切出しの状況を図7(f)に示す。図7(f)によれば、入力動画310の全区間が、いずれかの被写体用に切出されている。ただし、フレーム番号421〜480にまだ重複部分が残っている。
Then, the process returns to S10606, and the section extraction process for the unset section is repeated until there is no unset section in the
●区間切出処理(S107)
図6に戻り、次にS107で区間切出部207が、切出区間設定部206で保存された、図8(e)に示す切出区間情報に従って区間切出処理を行う。すなわち図7(f)に示すように、被写体動画320-A,320-B,320-Cから区間切り出しを行い、切出区間毎に、区間動画330-1,340-1,340-2,330-2,330-3,…を生成する。
Section cut processing (S107)
Returning to FIG. 6, next in S107, the
以上、S105以降での特徴点検出、切出区間の設定、および区間切出の各処理を行う特徴点検出部205、切出区間設定部206、区間切出部207によって、区間動画生成部30が構成される。すなわち区間動画生成部30によって、被写体動画生成部20で生成された被写体A,B,Cのそれぞれの被写体動画320-A,320-B,320-Cから、切出区間毎の区間動画が生成される。
As described above, the segment moving
●編集動画作成(S108,S109)
S108で区間動画接続部208が、区間切出部207で切出された区間動画を、図8(e)に示す切出区間情報の順、すなわち入力動画310における区間の開始フレーム番号の順に接続して編集動画50を作成する。このように作成された編集動画50は、入力動画310に対し重複区間の分、フレーム数が増加している。
● Edit video creation (S108, S109)
In S108, the section
そしてS109で、編集動画50を記録媒体105に保存する。このとき、切出区間情報についても、編集動画50に添付する、または関連付けて記録媒体105等に保存しておく。
In step S109, the edited moving
そしてS161で、編集動画を生成していない未処理の動画があるかを判定し、未処理の動画がなくなるまで、編集動画の生成処理を続ける。これにより、複数の動画についての編集動画が作成される。 In S161, it is determined whether there is an unprocessed moving image for which an edited moving image has not been generated, and the editing moving image generation process is continued until there is no unprocessed moving image. As a result, an edited moving image for a plurality of moving images is created.
以上説明したS101〜S161の処理によって、複数の入力動画についての編集動画が生成される。この生成処理はすなわち、図2の編集動画生成部40において行われる。
Edited moving images for a plurality of input moving images are generated by the processes of S101 to S161 described above. That is, this generation processing is performed in the edited moving
●表示処理(S180)
上記のように生成された編集動画は、表示処理部70に入力される。表示処理部70では、表示画面の縦横比に応じて、入力動画と編集動画を切り替えて表示することを特徴とする。
Display processing (S180)
The edited moving image generated as described above is input to the
図6のS171で動画選択部271が、図5に示すように、表示装置107の表示画面1に、記録媒体105に保存されている複数の動画から、表示する動画をするための動画選択画面を表示する。表示画面1の表面には入力装置106であるタッチパネルが作り込まれており、ユーザーは所望の動画サムネイル3にタッチして、動画を選択する。ユーザーが動画を選択すると、該選択された動画を入力動画310として、S180の処理に進む。
In S171 of FIG. 6, the
S180では、入力動画310を表示画面の縦横比の変化に応じて表示する。この表示処理の詳細について、図13のフローチャートを用いて説明する。まずS1801で動画選択部271が、ユーザーが選択した入力動画310の縦横比を、記録媒体105に保存してある入力動画310から取得する。次にS1803で画面縦横比取得部272が、現在の表示画面1の縦横比を取得する。一般のスマートフォンなどの携帯端末と同様に、本実施形態の画像処理装置にも縦横センサーが内蔵されており(不図示)、該センサー出力と、表示画素数等の端末情報60に基づき、次のフレーム表示を行う前に表示画面の縦横比を取得する。
In S180, the
次にS1804で、S1801とS1803で取得した、入力動画310と表示画面とで縦横比が異なるか否かを判定する。例えば画像処理装置が図4(a)に示すように横長の表示画面1を提供している場合、入力動画310は表示画面と縦横比が同じであるため、この場合は表示用のフレームを入力動画310から読み出す処理に移行する。一方、画像処理装置が図4(b)に示すように縦長の表示画面2を提供している場合、入力動画310は表示画面2と縦横比が異なるため、この場合は表示用のフレームを編集動画50から読み出す処理に移行する。
Next, in S1804, it is determined whether the aspect ratio is different between the
●入力動画からのフレーム読み出し
以下、S1804で入力動画310と表示画面とで縦横比が同じであると判定された場合における、入力動画310からフレームを読み出す処理について説明する。
Reading Frame from Input Movie Hereinafter, a process of reading a frame from the
S1805で、直前に表示を行ったフレーム(表示フレーム)が、編集動画50から読み出したフレームであったか否かを判定する。編集動画50は、入力動画310と表示画面とで縦横比が異なる場合の表示用として作成されたものである。したがってS1805の判定はすなわち、画像処理装置の表示画面が、編集動画50を利用する向き(縦長向き)から入力動画310を利用する向き(横長向き)に変わったか否かを判定することになる。
In S1805, it is determined whether or not the frame (display frame) displayed immediately before is a frame read from the edited moving
S1805がNoの場合は、直前の表示フレームも入力動画310から読み出されているため、S1806で入力動画310から次のフレーム番号のフレームを読み出し、S1811でそのフレーム表示を行う。
When S1805 is No, since the immediately preceding display frame is also read from the
一方、S1805がYesの場合は、直前の表示フレームは編集動画50から読み出されたものであり、表示画面が縦長→横長に切り替えられたことを示す。図8(e)に示すように、編集動画50のフレーム番号は、重複区間がある場合は入力動画310のフレーム番号と異なる。そのためS1807で、図8(e)の切出区間情報を読み出し、編集動画50において直前の表示フレームとして読み出されたフレームの次のフレームに対応する、入力動画310のフレーム番号を算出する。例えば図8(e)に示す切出区間情報において、直前の表示フレームとして、編集動画50のフレーム番号630が読み出されていた場合、次の編集動画50のフレーム番号631に対応する、入力動画310のフレーム番号は571となる。
On the other hand, if S1805 is Yes, the immediately preceding display frame is read from the edited moving
次にS1808で、S1807で算出された次の表示フレームが重複区間に該当するか否かを判定する。例えば図8(e)の切出区間情報によれば、入力動画310のフレーム番号571は重複区間でないため、ここでの判定はNoとなる。Noの場合はS1806に進んで、記録媒体105に保存されている入力動画310から、S1807で算出されたフレーム番号のフレームを読み出し、S1811でそのフレーム表示を行う。
Next, in S1808, it is determined whether or not the next display frame calculated in S1807 corresponds to the overlapping section. For example, according to the cut-out section information in FIG. 8 (e), the
一方、S1808でYes、すなわち次の表示フレームが重複区間であると判定された場合には、S1809で入力動画310から、対応する重複区間の開始フレームを読み出す。以下、重複区間における開始フレームの読み出し処理について、図9を用いて説明する。
On the other hand, if YES in S1808, that is, if it is determined that the next display frame is an overlapping section, the corresponding overlapping section start frame is read from the
図9は、重複区間のある編集動画における表示フレームを説明するための図であり、図9(a)に示す編集動画について、重複区間で表示の縦横比を切り替えて表示する場合の表示フレームの対応例を図9(b),(c)に示す。なお図9(a)は、図8(e)に準じる編集動画50を示す。
FIG. 9 is a diagram for explaining a display frame in an edited video having an overlapping section. For the edited video shown in FIG. 9 (a), a display frame in a case where the aspect ratio of the display is switched and displayed in the overlapping section is displayed. Examples of correspondence are shown in FIGS. 9 (b) and (c). FIG. 9 (a) shows an edited moving
図9(c)は、重複区間で表示画面が縦長→横長に切り換わった場合の表示フレーム例を示す図である。図9(c)において、直前のフレーム表示で、編集動画50のフレーム番号450を表示したとする。ここで図7(f)を参照すると、編集動画50のフレーム番号450は、被写体Bの切出区間330-2と、被写体Aの切出区間330-3との重複区間にある。このとき、編集動画50はフレーム番号450までしか表示していない。表示方向の切り替えに伴い、このまま編集動画50のフレーム番号451に対応する、入力動画310のフレーム番号451を表示すると、入力動画310のフレーム番号421〜450に写っている被写体Aの動画は表示されないことになってしまう。このような表示の欠落を防ぐため、S1809では図9(c)に示すように、入力動画310から重複区間の開始フレーム番号421のフレームを読み出し、S1811でそのフレーム表示を行う。これにより、入力動画310のフレーム番号421からの表示が確実に行われ、被写体Bについてはフレーム番号421〜450については2度表示されることになるが、被写体Aについての欠落はない。
FIG. 9 (c) is a diagram showing an example of a display frame when the display screen is switched from vertically long to horizontally long in the overlapping section. In FIG. 9C, it is assumed that the
●編集動画からのフレーム読み出し
以下、S1804で入力動画310と表示画面とで縦横比が異なると判定された場合における、編集動画50からフレームを読み出す処理について説明する。
Reading Frame from Edit Movie Hereinafter, the process of reading a frame from the
S1825で、直前の表示フレームが、入力動画310から読み出したフレームであったか否かを判定する。この判定はすなわち、画像処理装置の表示画面が、入力動画310を利用する向き(横長向き)から、編集動画50を利用する向き(縦長向き)に変わったか否かを判定することになる。
In S1825, it is determined whether or not the immediately preceding display frame is a frame read from the
S1825がNoの場合は、直前の表示フレームも編集動画50から読み出されているため、S1826で編集動画50から次のフレーム番号のフレームを読み出し、S1811でそのフレーム表示を行う。
When S1825 is No, since the immediately preceding display frame is also read from the edited moving
一方、S1825がYesの場合は、直前の表示フレームは入力動画310から読み出されたものである。図8(e)に示すように、入力動画310のフレーム番号は、重複区間がある場合は編集動画50のフレーム番号と異なる。そのためS1827で、図8(e)の切出区間情報を読み出し、入力動画310において直前の表示フレームとして読み出されたフレームの次のフレームに対応する、編集動画50のフレーム番号を算出する。例えば図8(e)に示す切出区間情報において、直前の表示フレームとして、入力動画310のフレーム番号570が読み出されていた場合、次の入力動画310のフレーム番号571に対応する、編集動画50のフレーム番号は631となる。
On the other hand, when S1825 is Yes, the immediately preceding display frame is read from the
ここで、上述した入力動画310からフレームを読み出す処理では、S1807で算出した次の表示フレームが、重複区間に該当するかを判定(S1808)するとして説明した。しかしながら、編集動画50からフレームを読み出す処理では、重複区間の判定は、以下の理由から必要ない。この理由を図9を用いて説明する。
Here, it has been described that in the process of reading a frame from the
図9(b)は、重複区間で表示画面が横長→縦長に切り換わった場合の表示フレーム例を示す図である。図9(b)において、直前のフレーム表示で、入力動画310のフレーム番号450を表示したとする。ここで図7(f)を参照すると、入力動画310のフレーム番号450は、被写体Bの切出区間330-2と、被写体Aの切出区間330-3との重複区間にある。入力動画310におけるフレーム番号421〜450の重複区間では、被写体Bだけでなく被写体Aも写っている。したがって、表示方向の切り替えに伴い、このまま入力動画310のフレーム番号451に対応する、編集動画50のフレーム番号451(被写体B)が表示されても、編集動画50のフレーム番号481からは被写体Aが表示される。編集動画50のフレーム番号481〜540の区間は、既に表示された入力動画310のフレーム番号421〜450に対応するため、当該区間において被写体Aは再度表示されることになり、すなわち被写体Aが表示されない区間が発生することはない。したがって、重複区間の判定は不要であり、S1827で算出した、対応する編集動画50のフレーム番号をそのまま用いて良い。すなわちS1826で、編集動画50から、S1827で算出された次のフレーム番号のフレームを読み出し、S1811でそのフレーム表示を行う。
FIG. 9 (b) is a diagram showing an example of a display frame when the display screen is switched from horizontally long to vertically long in the overlapping section. In FIG. 9B, it is assumed that the
そしてS1812で、入力動画310または編集動画50の最終フレームを表示したか否かを判定し、Yesの場合は表示処理を終了するが、Noの場合はS1803に戻って上述の表示処理をフレーム毎に繰り返す。
In S1812, it is determined whether or not the last frame of the
なお、上記S1804の入力画面と表示画面の縦横比の判定から、S1806またはS1826までの次のフレームの読み出し処理までが、図2の表示切替制御部274において行われ、S1811のフレーム表示処理は画像表示部281において行われる。
Note that, from the determination of the aspect ratio of the input screen and the display screen in S1804 to the reading processing of the next frame up to S1806 or S1826, the display switching
図6に戻り、S171でユーザーが選択した入力動画310を、S180で表示画面の縦横比に合わせて表示した後、S191の画像処理装置のシステム停止判定がYesになるまで、S171の動画選択待ち状態となる。
Returning to FIG. 6, after the
以上説明したように本実施形態によれば、複数の被写体が写っている入力動画310を再構成した編集動画50を装置内に保存しておき、表示画面の縦横比の変化に応じて表示対象を切り替える。これにより、重要な被写体の一部動作が削られることなく、確実に表示することが可能となる。
As described above, according to the present embodiment, the edited
なお、本実施形態では入力動画310から作成する編集動画50として、フレームごとに、図4(b)に示す表示画面2と縦横比が等しい領域を切出す例を示したが、本発明はこの例に限定されない。例えば、入力動画がそのままでは視認困難となるような小さいサイズの表示画面への表示を行う場合等、編集動画50が入力動画の一部から構成される形態であれば、本発明は適用可能である。
In the present embodiment, as the edited moving
また、本実施形態では表示の際に、表示画面の縦横比に応じて入力動画と編集動画を切り替えて表示する例を示したが、複数の表示サイズによる表示を可能とする装置であれば本発明は適用可能である。すなわち、大きい表示サイズであれば入力動画を表示し、小さい表示サイズであれば編集動画を表示するように制御すればよい。以上により、動画を縦横比の異なる表示画面やサイズの異なる表示画面で再生しても重要な部分が削られることなく動画を表示できる。 Further, in the present embodiment, an example in which an input moving image and an edited moving image are switched and displayed according to the aspect ratio of the display screen at the time of display is shown. The invention is applicable. That is, the input moving image may be displayed if the display size is large, and the edited moving image may be displayed if the display size is small. As described above, even when a moving image is reproduced on a display screen having a different aspect ratio or a display screen having a different size, the moving image can be displayed without removing important portions.
＜第2実施形態＞
以下、本発明にかかる第2実施形態について説明する。第2実施形態でも上述した第1実施形態と同様に、表示画面の縦横比の変化に応じて入力動画と編集動画とを切り替えて表示する。第2実施形態では、表示前に編集動画を予め作成して保存しておくことをせず、編集動画を作成するための情報(編集情報)のみを保存しておく。そして表示の際に、保存しておいた編集情報に基づいて、入力動画のフレームから領域を切出して表示することを特徴とする。
<Second Embodiment>
The second embodiment according to the present invention will be described below. In the second embodiment as well, as in the first embodiment described above, the input moving image and the edited moving image are switched and displayed according to the change in the aspect ratio of the display screen. In the second embodiment, an edited moving image is not created and saved in advance before display, but only information (edit information) for creating an edited moving image is saved. Then, at the time of display, an area is cut out from the frame of the input moving image and displayed based on the saved editing information.
●動画表示処理
図3は、第2実施形態における画像処理装置の機能構成を示すブロック図である。以下、図3に示す構成によって実行される第2実施形態の動画表示処理について、図14のフローチャート等を用いて詳細に説明する。なお、第1実施形態と同様の処理を行う構成については、第1実施形態と同一の符号またはステップ番号を付してある。したがって、図14におけるS101〜S106、すなわち、入力動画310の選択から切出区間設定部206における切出区間設定までは、第1実施形態と同様であるため説明を省略する。
Moving Image Display Process FIG. 3 is a block diagram illustrating a functional configuration of the image processing apparatus according to the second embodiment. Hereinafter, the moving image display process of the second embodiment executed by the configuration shown in FIG. 3 will be described in detail with reference to the flowchart of FIG. Note that the same reference numerals or step numbers as those in the first embodiment are assigned to configurations that perform the same processing as in the first embodiment. Accordingly, the steps from S101 to S106 in FIG. 14, that is, the selection of the
図14のS151で切出情報保存部209が、編集動画を作成するための切出情報51を、入力動画310に対応付けて記録媒体105に保存する。ここで切出情報51とは、S103の切出領域選択処理によって保存された図8(b)に示す切出領域情報と、S106の切出区間設定処理によって保存された図8(e)に示す切出区間情報からなる情報である。
In S151 of FIG. 14, the cutout
第2実施形態ではS106の切出区間設定処理の後は、第1実施形態におけるS107〜S109のような編集動画の作成処理を行わないため、区間切出部207および区間動画接続部208の構成を有さない。図3に示す区間情報生成部31は、特徴点検出部205、切出区間設定部206からなり、切出情報51を生成する。
In the second embodiment, after the cut section setting process in S106, the editing moving image creation process as in S107 to S109 in the first embodiment is not performed. Does not have. The section
そしてS161で、切出情報51を生成していない未処理の入力動画310があるかを判定し、未処理の入力動画310がなくなるまで、切出情報51の生成処理を続ける。このように、S101〜S161の処理によって、入力動画310についての切出情報51が生成される。この生成処理はすなわち、図3の切出情報生成部41において行われる。
In S161, it is determined whether or not there is an
●表示処理
第2実施形態では表示処理部71において、表示画面の縦横比に合わせて、表示フレームを入力動画からそのまま読み出すか、切出情報51に基づく領域切出を行うかを切り替える。
Display Processing In the second embodiment, the
図14のS171において、第1実施形態と同様にユーザーが入力動画310を選択すると、S181の表示処理に進む。S181では、選択された入力動画310を表示画面の縦横比に合わせて表示する。以下、第2実施形態における表示処理の詳細について、図15のフローチャートを用いて説明する。なお、図15において第1実施形態の図13と同様の処理については同一ステップ番号を付し、詳細な説明を省略する。
In S171 of FIG. 14, when the user selects the
まずS1801で入力動画310の縦横比を取得した後、S1802で表示切替制御部274が、S151で記録媒体105に保存した切出情報51を読み出す。そしてS1803で表示画面の縦横比を取得した後、S1804で、入力動画310と表示画面とで縦横比が異なるか否かを判定する。この判定がNoの場合、入力動画310と表示画面とで縦横比が同じであるため、表示用のフレームを入力動画310から読み出す処理に移行する。一方、この判定がYesの場合、入力動画310は表示画面と縦横比が異なるため、切出情報51に基づいて入力動画310から領域切出を行って、表示用のフレームを作成する処理に移行する。なお、切出情報51に基づく表示用フレームの作成は、第1実施形態における編集動画50と同様の方法によって行われる。したがって第2実施形態においても、領域切出によって作成された表示用フレームを編集動画と称する。
First, after obtaining the aspect ratio of the
●入力動画からのフレーム読み出し
以下、S1804で入力動画310と表示画面とで縦横比が同じであると判定された場合における、入力動画310からフレームを読み出す処理について説明する。
Reading Frame from Input Movie Hereinafter, a process of reading a frame from the
S1805で、直前の表示フレームとして、編集動画を用いたか否かを判定する。Noの場合は、直前の表示フレームも入力動画310から読み出されているため、S1806で入力動画310から次のフレーム番号のフレームを読み出し、S1811でそのフレーム表示を行う。
In S1805, it is determined whether an edited moving image is used as the immediately preceding display frame. In the case of No, since the immediately preceding display frame is also read from the
一方、S1805がYesの場合は、直前の表示フレームは領域切出によって作成された編集動画を用いている。第1実施形態と同様に、編集動画のフレーム番号は図8(e)に示すように、重複区間がある場合は入力動画310のフレーム番号と異なる。そのため第1実施形態と同様に、S1807で、切出情報51から図8(e)の切出区間情報を読み出し、編集動画において直前の表示フレームとして読み出されたフレームの次のフレームに対応する、入力動画310のフレーム番号を算出する。そしてS1808以降は第1実施形態と同様に、次の表示フレームが重複区間に該当するか否かに応じて、入力動画310から表示フレームを読み出し、表示する。
On the other hand, if S1805 is Yes, the immediately preceding display frame uses an edited moving image created by area extraction. As in the first embodiment, the frame number of the edited moving image is different from the frame number of the
●領域切出によるフレーム作成
以下、S1804で入力動画310と表示画面とで縦横比が異なると判定された場合における、入力動画310からの領域切出によって作成された編集動画の表示処理について説明する。
● Frame creation by area cutout The following describes the display processing of the edited video created by area cutout from the
S1825で、直前の表示フレームが、入力動画310から読み出したフレームであったか否かを判定する。Noの場合は、直前の表示フレームにも領域切出によって作成した編集動画を用いているため、S1828で上記S1807と同様に切出情報51の切出区間情報を参照して、次の表示フレームとなる入力動画310のフレーム番号を算出する。
そしてS1830で、入力動画310から、S1828で算出されたフレーム番号のフレームを読み出す。次にS1831で、S1830で読み出したフレームから、切出情報51に基づいて編集動画のフレームを作成する。S1831ではまず、切出情報51の切出区間情報(図8(e))から、当該フレームが対応する被写体を特定する。そしてさらに、切出領域情報(図8(b))に基づいて該特定された被写体の領域切出処理を行い、該切出した領域により編集動画としての表示フレームを作成する。なお、当該フレームが重複区間に該当する場合には、対応する被写体が複数特定されるが、切出区間情報を参照すれば、直前の表示フレームであった編集動画のフレーム番号から、当該フレームにおいて表示すべき被写体を特定することができる。
In S1825, it is determined whether or not the immediately preceding display frame is a frame read from the
In step S1830, the frame having the frame number calculated in step S1828 is read from the
一方、S1825がYesの場合は、直前の表示フレームは入力動画310から読み出されたものであるから、S1829で、入力動画310において直前の表示フレームとして読み出されたフレームの次のフレーム番号を算出する。そしてS1830で、入力動画310から、S1829で算出されたフレーム番号のフレームを読み出し、S1831で上記と同様に、切出情報51に基づく領域切出処理を行って編集動画としての表示フレームを作成する。そしてS1811で、該作成したフレームを表示する。第1実施形態と同様に、編集動画のフレームを表示する場合には重複区間の判定は不要である。
On the other hand, if S1825 is Yes, the previous display frame is read from the
そしてS1812で、入力動画310または編集動画の最終フレームを表示したと判定されるまで、フレーム毎の表示処理を繰り返す。
In step S1812, display processing for each frame is repeated until it is determined that the last frame of the
なお、上記S1804の入力画面と表示画面の縦横比の判定から、S1806またはS1830までのフレームの読み出し処理までが、図3の表示切替制御部274において行われる。また、S1831の切出情報51に基づく領域切出処理が、表示処理部71内の領域切出部275において行われる。なお、領域切出部275における領域切り出し処理は、被写体動画生成部20内の領域切出部204と同様である。また、S1811のフレーム表示処理は画像表示部281において行われる。
Note that the display switching
図6に戻り、S171でユーザーが選択した入力動画310を、S181で表示画面の縦横比に合わせて表示した後、S191の画像処理装置のシステム停止判定がYesになるまで、S171の動画選択待ち状態となる。
Returning to FIG. 6, after the
以上説明したように第2実施形態によれば、入力動画310の表示を代替する編集動画のそのものを保存するのでなく、その構成を示す切出情報51のみを装置内に保存しておく。そして編集動画のフレームを表示する際に、入力動画から切出情報51に応じた領域切出を行って表示フレームを作成する。これにより、画像処理装置における処理の負荷を低減しつつ、第1実施形態と同様に重要な被写体を確実に表示することが可能となる。
As described above, according to the second embodiment, the edited moving image itself that replaces the display of the
＜第3実施形態＞
以下、本発明にかかる第3実施形態について説明する。第3実施形態でも上述した第1実施形態と同様に、表示画面の縦横比の変化に応じて入力動画と編集動画とを切り替えて表示する。第3実施形態では、切出区間設定の際に、重複区間の発生を許可するか否かを制御することを特徴とする。
<Third embodiment>
The third embodiment according to the present invention will be described below. In the third embodiment, similarly to the first embodiment described above, the input moving image and the edited moving image are switched and displayed according to the change in the aspect ratio of the display screen. The third embodiment is characterized by controlling whether or not to allow generation of overlapping sections when setting cut sections.
例えば、ミュージカルの動画で、登場人物が二人いるシーンにおいて、その二人の動作が重要区間に設定され、その重要区間に重複区間があるとする。このようなシーンに対し、上述した第1実施形態では、重複区間で削られて表示されない登場人物が無いよう、重複区間を発生させ、再構成した編集動画を作成する例を示した。しかしながら、ミュージカルのような動画の場合、音楽に合わせて時間が推移する。したがって、第1実施形態における重複区間の利用方法では、被写体動作の連続性が重視されるが、音楽については同じ箇所が2度繰り返されてしまうため、演奏の連続性が損なわれる。すなわち、ミュージカルのような動画の場合には、表示時に被写体の削れが発生することよりも、時間的な連続性を保つことの方が優先される。したがって第3実施形態では、時間的な連続性を優先させるべき動画であれば、編集動画における重複箇所を発生させないようにする。 For example, in a scene where there are two characters in a musical movie, the actions of the two people are set as important sections, and there are overlapping sections in the important sections. For such a scene, in the first embodiment described above, an example in which an overlapping section is generated and a reconstructed edited moving image is created so that there is no character that is deleted and not displayed in the overlapping section is shown. However, in the case of a moving image like a musical, the time changes according to the music. Therefore, in the method of using overlapping sections in the first embodiment, continuity of subject motion is emphasized, but the same portion of music is repeated twice, so that continuity of performance is impaired. That is, in the case of a moving image such as a musical, preserving temporal continuity is prioritized over the occurrence of subject shaving during display. Therefore, in the third embodiment, an overlapping portion in the edited moving image is not generated if it is a moving image in which temporal continuity is to be prioritized.
●切出区間設定処理動画表示処理
第3実施形態における画像処理装置の機能構成は第1実施形態の図2と同様であり、また、第3実施形態の動画表示処理についても図6のフローチャートと同様であるが、S106の切出区間設定処理のみが第1の実施形態と異なる。したがって第3実施形態では、S106における切出区間設定処理のみについて詳細に説明し、それ以外の部分については説明を省略する。
Cutout section setting processing moving image display processing The functional configuration of the image processing apparatus in the third embodiment is the same as that of FIG. 2 of the first embodiment, and the moving image display processing of the third embodiment is also the flowchart of FIG. Although the same, only the cut section setting process of S106 is different from the first embodiment. Therefore, in the third embodiment, only the extraction section setting process in S106 will be described in detail, and the description of the other parts will be omitted.
図16は、第3実施形態における切出区間設定処理を示すフローチャートである。同図において、第1実施形態の図12と同様の処理を行うステップには同一ステップ番号を付してある。まず第1実施形態と同様に、S10601で図8(c)に示す特徴点情報を順次取得し、S10602で特徴点を含む所定区間である重要区間を設定する。 FIG. 16 is a flowchart showing a cut-out section setting process in the third embodiment. In the figure, the same step numbers are assigned to steps for performing the same processing as in FIG. 12 of the first embodiment. First, similarly to the first embodiment, the feature point information shown in FIG. 8C is sequentially acquired in S10601, and an important section that is a predetermined section including the feature point is set in S10602.
そしてS10603で、設定した重要区間に、重複区間があるか否かを判定する。該判定がNoの場合はS10604に進んで、以降は第1実施形態と同様に、図8(e)に示すような重複区間を含む切出区間情報を作成する。S10603の判定がYesの場合はS10611に進み、第3実施形態の特徴である重複区間の許可/不許可を設定する。 In step S10603, it is determined whether there is an overlapping section in the set important section. If the determination is No, the process proceeds to S10604, and thereafter, similarly to the first embodiment, cut-out section information including overlapping sections as shown in FIG. 8 (e) is created. If the determination in S10603 is Yes, the process proceeds to S10611, and permission / denial of overlapping sections, which is a feature of the third embodiment, is set.
ここで図7(d)は、被写体動画における重要区間の例を示す図である。同図において、被写体Bの動画320-Bの重要区間330-2と、被写体Aの動画320-Aの重要区間330-3が、入力動画310のフレーム番号421〜480の区間で重複している。S10611では、このような被写体動画間における重複区間の発生を許可するか否かを、入力動画310の特性に基づいて判定する。例えば、入力動画310が重複区間を許可しても良い動画であるか否かを、入力動画310を記録媒体105へ保存するに先立ち、ユーザーが例えば所定のフラグ等を設定しておけば良い。そしてS10611では該フラグに基づき、許可または不許可の判定を行えば良い。
Here, FIG. 7 (d) is a diagram illustrating an example of an important section in the subject moving image. In the same figure, the important section 330-2 of the video 320-B of the subject B and the important section 330-3 of the video 320-A of the subject A overlap in the sections of the
重複区間を許可する場合はS10604に進む。重複区間が許可された場合、例えば図7(e)に示すように、図7(d)の重要区間の全部が切出区間となり、被写体Aの切出区間330-3と、被写体Bの切出区間330-2に、入力動画310のフレーム番号421〜480が重複区間として含まれている。そして以降は第1実施形態と同様に、図8(e)に示すような重複区間を含む切出区間情報が作成される。
If the overlapping section is permitted, the process proceeds to S10604. When overlapping sections are permitted, for example, as shown in FIG.7 (e), all of the important sections in FIG.7 (d) become cutout sections, and the cutout section 330-3 of subject A and the cutout of subject B In the outgoing section 330-2,
一方、重複区間を許可しない場合はS10614に進み、編集動画において時間的な重複区間が発生しないように、切出区間を設定する。詳細には、重複区間を含む複数の重要区間から選択的に1つを選択して切出区間とする。そして、重複区間内の他の重要区間については、該重複区間を除いた区間を切出区間とする。このように重複区間が許可されない場合の切出区間例を図7(g)に示す。図7(g)において、入力動画310のフレーム番号421〜480が重複区間であり、被写体Aの重要区間330-3と、被写体Bの重要区間330-2が、該重複区間を含んでいる。この2つの重要区間の内、開始フレーム番号が小さい方である被写体Bの重要区間330-2を選択し、そのまま切出区間330-2とする。そして、被写体Aの重要区間330-3については、重複区間のフレーム番号421〜480を除いた区間であるフレーム番号481〜570を、切出区間350-3とする。このように設定された切出区間情報の例を図8(f)に示す。図8(f)は図8(e)と同形式であるが、重複領域が含まれないため、入力動画310と編集動画50とで同じフレーム番号が対応しており、すなわち、時間的な重複区間がなく、表示の際に時間的な連続性が保たれる。
On the other hand, when the overlapping section is not permitted, the process proceeds to S10614, and the cut-out section is set so that the temporal overlapping section does not occur in the edited moving image. Specifically, one of a plurality of important sections including overlapping sections is selectively selected as a cut section. For other important sections in the overlapping section, a section excluding the overlapping section is set as a cut-out section. FIG. 7 (g) shows an example of a cut-out section when an overlapping section is not permitted in this way. In FIG. 7G,
ここでは、重複区間を含む重要区間として、開始フレーム番号が小さい方の被写体の重要区間を選択する例を示したが、逆に開始フレーム番号が大きい方の被写体の重要区間を選択してもよい。また、この選択をランダムに行っても良いし、被写体毎に予め定められた優先順位にしたがっても良い。 Here, an example is shown in which the important section of the subject with the smaller start frame number is selected as the important section including the overlapping section. Conversely, the important section of the subject with the larger start frame number may be selected. . Further, this selection may be performed at random, or may be performed according to a priority order predetermined for each subject.
以上のようにS10604またはS10614で切出区間の設定がなされると、以降は第1実施形態と同様に、未設定区間の切出処理を行う。全ての区間切出処理が終了した時点での切出し状況は、重複区間を許可した場合であれば図7(f)、重複区間を不許可の場合であれば図7(h)に示すようになる。また、重複区間が許可された場合であれば図8(e)のように切出区間情報が生成され、重複区間が不許可の場合であれば図8(f)のように切出区間情報が生成される。 As described above, when the cut section is set in S10604 or S10614, the unset section is cut out in the same manner as in the first embodiment. The cut-out status at the time when all the sections are cut out is as shown in FIG. 7 (f) when overlapping sections are permitted, and as shown in FIG. 7 (h) when overlapping sections are not permitted. Become. If the overlapping section is permitted, cut section information is generated as shown in FIG. 8 (e), and if the overlapping section is not permitted, cut section information is generated as shown in FIG. 8 (f). Is generated.
以上説明したように第3実施形態によれば、切出区間設定処理において重複区間を許可するか否かを制御可能とすることで、入力動画310における被写体動作の欠落よりも、時間的な連続性を優先した表示を行うことが可能となる。 As described above, according to the third embodiment, it is possible to control whether or not to allow overlapped sections in the cutout section setting process. It is possible to perform display giving priority to sex.
＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
<Other embodiments>
Although the embodiment has been described in detail above, the present invention can take an embodiment as a system, apparatus, method, program, recording medium (storage medium), or the like. Specifically, the present invention may be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, an imaging device, a web application, etc.), or may be applied to a device composed of a single device. good.
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ可読な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。 Needless to say, the object of the present invention can be achieved as follows. That is, a recording medium (or storage medium) in which a program code (computer program) of software that realizes the functions of the above-described embodiments is recorded is supplied to the system or apparatus. Needless to say, such a storage medium is a computer-readable storage medium. Then, the computer (or CPU or MPU) of the system or apparatus reads and executes the program code stored in the recording medium. In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention.
Claims (20)
前記被写体動画において被写体の動きの変化を示す特徴フレームを検出する検出手段と、
前記被写体動画において前記特徴フレームを含む複数のフレームからなる重要区間を検出し、該重要区間を含む切出区間を設定する設定手段と、
前記被写体動画から切出した前記切出区間を、対応する前記入力動画のフレーム番号に応じてつないで編集動画を生成する編集動画生成手段と、を有し、
前記設定手段は、前記入力動画から生成された複数の前記被写体動画において前記重要区間が重複している場合、該重複している区間のそれぞれにおいて前記切出区間を設定することを特徴とする画像処理装置。 Partial video generation means for generating a subject video by cutting out a subject area from each frame of the input video;
Detecting means for detecting a feature frame indicating a change in movement of the subject in the subject video;
Setting means for detecting an important section composed of a plurality of frames including the feature frame in the subject moving image, and setting a cut-out section including the important section;
Edited video generation means for generating an edited video by connecting the cut-out section cut out from the subject video according to the frame number of the corresponding input video,
The setting unit sets the cut-out section in each of the overlapping sections when the important section overlaps in the plurality of subject videos generated from the input moving image. Processing equipment.
前記表示手段における表示サイズを取得する取得手段と、
前記表示サイズに応じて、前記表示手段への表示対象を前記入力動画と前記編集動画とで切り替える表示切替手段と、
を有することを特徴とする請求項1に記載の画像処理装置。 Furthermore, a display means that enables video display with a plurality of display sizes;
Obtaining means for obtaining a display size in the display means;
Display switching means for switching a display target on the display means between the input moving image and the edited moving image according to the display size;
2. The image processing apparatus according to claim 1, further comprising:
前記取得手段は、前記表示サイズとして前記表示画面の縦横比を取得することを特徴とする請求項2に記載の画像処理装置。 The display means changes the aspect ratio of the display screen according to its posture,
3. The image processing apparatus according to claim 2, wherein the acquisition unit acquires an aspect ratio of the display screen as the display size.
前記編集動画生成手段は、前記切出区間情報に基づいて前記切出区間をつなぐことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。 The setting means creates, for the cut out section of the subject video, a frame number in the input video and a frame number in the edited video, and cut out section information indicating information on the overlapping section,
11. The image processing apparatus according to claim 1, wherein the edited moving image generating unit connects the cut sections based on the cut section information.
前記表示切替手段は、前記表示手段への表示対象を切り替える際に、前記切出区間情報に基づいて前記入力動画または前記編集動画の表示フレームを設定することを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。 The setting means creates, for the cut out section of the subject video, a frame number in the input video and a frame number in the edited video, and cut out section information indicating information on the overlapping section,
5. The display switching unit according to claim 2, wherein the display switching unit sets a display frame of the input moving image or the edited moving image based on the cut-out section information when switching a display target on the display unit. The image processing device according to any one of the above.
前記被写体動画において被写体の動きの変化を示す特徴フレームを検出する検出手段と、
前記被写体動画において前記特徴フレームを含む複数のフレームからなる重要区間を検出し、該重要区間を含む切出区間を設定する設定手段と、
前記被写体動画における前記切出区間の情報を保存する切出情報保存手段と、を有し、
前記設定手段は、前記入力動画から生成された複数の前記被写体動画において前記重要区間が重複している場合、該重複している区間のそれぞれから前記切出区間を設定することを特徴とする画像処理装置。 Partial video generation means for generating a subject video by cutting out a subject area from each frame of the input video;
Detecting means for detecting a feature frame indicating a change in movement of the subject in the subject video;
Setting means for detecting an important section composed of a plurality of frames including the feature frame in the subject moving image, and setting a cut-out section including the important section;
Cutting information storage means for storing information of the cutting section in the subject video,
The setting unit sets the cut-out section from each of the overlapped sections when the important sections overlap in the plurality of subject videos generated from the input video. Processing equipment.
前記表示画面の縦横比を取得する取得手段と、
前記表示手段に対し、前記表示画面の縦横比が前記入力動画の縦横比と同じであれば前記入力動画におけるフレームを表示し、同じでなければ前記切出情報保存手段に保存された前記切出区間の情報に基づいて前記入力動画のフレームから被写体毎の領域を切出して表示するように制御する表示切替制御手段と、
を有することを特徴とする請求項13に記載の画像処理装置。 Furthermore, display means that enables video display and the aspect ratio of the display screen changes according to the posture;
Obtaining means for obtaining an aspect ratio of the display screen;
If the aspect ratio of the display screen is the same as the aspect ratio of the input moving image, the display means displays a frame in the input moving image, and if not, the cutout stored in the cutout information storage means Display switching control means for controlling to cut out and display a region for each subject from the frame of the input moving image based on the information of the section;
14. The image processing apparatus according to claim 13, further comprising:
前記部分動画生成手段が、入力動画の各フレームから被写体の領域を切出して被写体動画を生成し、
前記検出手段が、前記被写体動画において被写体の動きの変化を示す特徴フレームを検出し、
前記設定手段が、前記被写体動画において前記特徴フレームを含む複数のフレームからなる重要区間を検出し、該重要区間を含む切出区間を設定し、
前記編集動画生成手段が、前記被写体動画から切出した前記切出区間を、対応する前記入力動画のフレーム番号に応じてつないで編集動画を生成し、
前記設定手段は、前記入力動画から生成された複数の前記被写体動画において前記重要区間が重複している場合、該重複している区間のそれぞれにおいて前記切出区間を設定することを特徴とする画像処理方法。 An image processing method in an image processing apparatus having a partial moving image generating means, a detecting means, a setting means, and an edited moving image generating means,
The partial video generation means generates a subject video by cutting out a region of the subject from each frame of the input video;
The detecting means detects a feature frame indicating a change in movement of the subject in the subject moving image;
The setting means detects an important section composed of a plurality of frames including the feature frame in the subject moving image, and sets a cut-out section including the important section;
The edited moving image generating means generates the edited moving image by connecting the extracted section cut out from the subject moving image according to the frame number of the corresponding input moving image,
The setting unit sets the cut-out section in each of the overlapping sections when the important section overlaps in the plurality of subject videos generated from the input moving image. Processing method.
前記取得手段が、前記表示手段における表示サイズを取得し、
前記表示切替手段が、前記表示サイズに応じて、前記表示手段への表示対象を前記入力動画と前記編集動画とで切り替えることを特徴とする請求項15に記載の画像処理方法。 The image processing apparatus further includes a display unit that enables video display with a plurality of display sizes, an acquisition unit, and a display switching unit.
The acquisition unit acquires a display size in the display unit;
16. The image processing method according to claim 15, wherein the display switching unit switches a display target on the display unit between the input moving image and the edited moving image according to the display size.
前記部分動画生成手段が、入力動画の各フレームから被写体の領域を切出して被写体動画を生成し、
前記検出手段が、前記被写体動画において被写体の動きの変化を示す特徴フレームを検出し、
前記設定手段が、前記被写体動画において前記特徴フレームを含む複数のフレームからなる重要区間を検出して該重要区間を含む切出区間を設定し、
前記切出情報生成手段が、前記被写体動画における前記切出区間の情報を生成し、
前記設定手段は、前記入力動画から生成された複数の前記被写体動画において前記重要区間が重複している場合、該重複している区間のそれぞれから前記切出区間を設定することを特徴とする画像処理方法。 An image processing method in an image processing apparatus having a partial moving image generating means, a detecting means, a setting means, and a cutout information generating means,
The partial video generation means generates a subject video by cutting out a region of the subject from each frame of the input video;
The detecting means detects a feature frame indicating a change in movement of the subject in the subject moving image;
The setting means detects an important section composed of a plurality of frames including the feature frame in the subject moving image and sets a cut section including the important section;
The cutout information generating means generates information on the cutout section in the subject moving image,
The setting unit sets the cut-out section from each of the overlapped sections when the important sections overlap in the plurality of subject videos generated from the input video. Processing method.
前記取得手段が、前記表示画面の縦横比を取得し、
前記表示切替制御手段が、前記表示手段に対し、前記表示画面の縦横比が前記入力動画の縦横比と同じであれば前記入力動画におけるフレームを表示し、同じでなければ前記切出情報生成手段で生成された前記切出区間の情報に基づいて前記入力動画のフレームから被写体毎の領域を切出して表示するように制御することを特徴とする請求項17に記載の画像処理方法。 The image processing apparatus further includes a display unit that enables a moving image display, the aspect ratio of the display screen changes according to the posture thereof, an acquisition unit, and a display switching control unit.
The acquisition means acquires an aspect ratio of the display screen;
The display switching control means displays the frame in the input video if the aspect ratio of the display screen is the same as the aspect ratio of the input video, and if not the same, the cut-out information generation means 18. The image processing method according to claim 17, wherein control is performed so that a region for each subject is extracted from the frame of the input moving image and displayed based on the information on the extracted section generated in step (1).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014044260A JP2015170973A (en) | 2014-03-06 | 2014-03-06 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014044260A JP2015170973A (en) | 2014-03-06 | 2014-03-06 | Image processing apparatus and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015170973A true JP2015170973A (en) | 2015-09-28 |
Family
ID=54203351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014044260A Pending JP2015170973A (en) | 2014-03-06 | 2014-03-06 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015170973A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210144082A (en) * | 2020-05-21 | 2021-11-30 | 주식회사 윌비소프트 | Method of detecting valuable sections of video lectures, computer program and computer-readable recording medium |
| JP2023500028A (en) * | 2019-12-13 | 2023-01-04 | グーグル エルエルシー | Personalized automatic video cropping |
-
2014
- 2014-03-06 JP JP2014044260A patent/JP2015170973A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023500028A (en) * | 2019-12-13 | 2023-01-04 | グーグル エルエルシー | Personalized automatic video cropping |
| JP7257591B2 (en) | 2019-12-13 | 2023-04-13 | グーグル エルエルシー | Personalized automatic video cropping |
| US11641445B2 (en) | 2019-12-13 | 2023-05-02 | Google Llc | Personalized automatic video cropping |
| JP7483089B2 (en) | 2019-12-13 | 2024-05-14 | グーグル エルエルシー | Personalized automatic video cropping |
| KR20210144082A (en) * | 2020-05-21 | 2021-11-30 | 주식회사 윌비소프트 | Method of detecting valuable sections of video lectures, computer program and computer-readable recording medium |
| KR102412863B1 (en) * | 2020-05-21 | 2022-06-24 | 주식회사 윌비소프트 | Method of detecting valuable sections of video lectures, computer program and computer-readable recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190289271A1 (en) | Touch optimized design for video editing | |
| US9578248B2 (en) | Method for generating thumbnail image and electronic device thereof | |
| EP3226537B1 (en) | Mobile terminal and method for controlling the same | |
| US9357117B2 (en) | Photographing device for producing composite image and method using the same | |
| KR102018887B1 (en) | Image preview using detection of body parts | |
| KR102090624B1 (en) | Apparatus and method for processing a image in device | |
| KR102023179B1 (en) | Dual recording method and apparatus for electronic device having dual camera | |
| WO2018053400A1 (en) | Improved video stabilization for mobile devices | |
| KR102127351B1 (en) | User terminal device and the control method thereof | |
| US20160321833A1 (en) | Method and apparatus for generating moving photograph based on moving effect | |
| US20140359448A1 (en) | Adding captions and emphasis to video | |
| JP6400293B2 (en) | Apparatus and method for controlling content by electronic device | |
| US10115431B2 (en) | Image processing device and image processing method | |
| KR20150119621A (en) | display apparatus and image composition method thereof | |
| CN113709545A (en) | Video processing method and device, computer equipment and storage medium | |
| CN108200477B (en) | Method, device and equipment for generating and playing video file | |
| JP2014209707A (en) | Device and method for video reproduction | |
| US9600160B2 (en) | Image processing device, image processing method, and program | |
| JP2015170973A (en) | Image processing apparatus and image processing method | |
| JP2011254447A (en) | Video playback apparatus and method, program, and recording medium | |
| US20140327806A1 (en) | Method and electronic device for generating thumbnail image | |
| KR102372711B1 (en) | Image photographing apparatus and control method thereof | |
| US9661217B2 (en) | Image capturing apparatus and control method therefor | |
| KR20140127131A (en) | Method for displaying image and an electronic device thereof | |
| US10313625B2 (en) | Method, apparatus, and storage medium for video file processing |