JP3321402B2 - Video data editing method and device - Google Patents
Video data editing method and deviceInfo
- Publication number
- JP3321402B2 JP3321402B2 JP33672297A JP33672297A JP3321402B2 JP 3321402 B2 JP3321402 B2 JP 3321402B2 JP 33672297 A JP33672297 A JP 33672297A JP 33672297 A JP33672297 A JP 33672297A JP 3321402 B2 JP3321402 B2 JP 3321402B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- moving image
- still
- synthesis
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、動画データ編集技
術に関し、特に、複数の動画データ間での特定画像の合
成等に適用して有効な技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture data editing technique, and more particularly to a technique which is effective when applied to the synthesis of a specific image among a plurality of moving picture data.
【０００２】[0002]
【従来の技術】画像データの編集過程では、二つの画像
データの一方の特定画像を切り出して他方の画像の特定
画像と置き換える、等の合成操作が必要になる場合が考
えられる。2. Description of the Related Art In the process of editing image data, it may be necessary to perform a combining operation such as cutting out one specific image of two pieces of image data and replacing it with a specific image of the other image.
【０００３】[0003]
【発明が解決しようとする課題】静止画データでは、デ
ータ量が少ないこともあってユーザがデータの切り出し
を行いやすく、複数の素材画像データより画面内の特定
画像を手動で合成することもできるが、動画データの場
合には、画像そのものに動きがあるため、データ量が多
く（たとえば、３０コマ／秒）、手動での逐次的な合成
は、現実的にはほぼ不可能である。With still image data, the amount of data is small, so that the user can easily extract the data, and a specific image on the screen can be manually synthesized from a plurality of material image data. However, in the case of moving image data, since the image itself has a motion, the data amount is large (for example, 30 frames / second), and it is practically impossible to perform the sequential composition manually.
【０００４】また、静止画レベルにおいての画像合成は
いくつかのシステムにおいて行われているが、動画レベ
ルでの合成は、アナログデータでの処理に留まり、ディ
ジタル化した動画データでの合成方法は少ない。[0004] Although image synthesis at the still image level is performed in some systems, synthesis at the moving image level involves only analog data processing, and there are few synthesis methods using digitized moving image data. .
【０００５】そのため、動画データそのものに細工を行
いたいという要求は高いにも関わらず、現時点では、撮
影した動画そのものを使用することがほとんどで、一度
動画データに変換した後の再編集等は事実上行われてい
ない。[0005] For this reason, despite the high demand for working on the moving image data itself, most of the currently used moving images themselves are used at present, and re-editing once converted to moving image data is a fact. Not done on.
【０００６】たとえば、特開平９−３５０８２号公報の
技術では、複数の物体が存在する画像に、全体として不
自然にならないように、任意の変形を施すべく、画像の
境界部分の画素に所定の処理を施す技術が開示されてい
るが、動画データからの特定画像の切り出し等に関する
言及は見られない。For example, according to the technique disclosed in Japanese Patent Application Laid-Open No. 9-35082, a predetermined number of pixels are demarcated at the boundary portion of an image in which a plurality of objects are present so that the image is not deformed as a whole. Although a technique for performing the processing is disclosed, there is no reference to cutout of a specific image from moving image data.
【０００７】また、特開平５−１１０９８３号公報の技
術では、音付き動画データの編集において、音声情報を
フーリエ変換して各コマ毎にスペクトル表示することで
動画データの各コマ毎の手動編集における音声データ変
更処理を可能にする技術が開示されているのみであり、
複数の動画データ間における特定の画像データの抽出や
合成に関する言及は見られない。In the technique disclosed in Japanese Patent Application Laid-Open No. 5-110983, in the editing of moving picture data with sound, the audio information is Fourier-transformed and the spectrum is displayed for each frame, so that the moving picture data can be manually edited for each frame. Only technology that enables audio data change processing is disclosed,
There is no reference to the extraction or synthesis of specific image data between a plurality of moving image data.
【０００８】本発明の目的は、任意の長さの複数の動画
データの合成を、効率良く行うことが可能な、動画デー
タ編集技術を提供することにある。An object of the present invention is to provide a moving image data editing technique capable of efficiently synthesizing a plurality of moving image data having an arbitrary length.
【０００９】本発明の他の目的は、空間的および時間的
な仕様が異なる複数の動画データを効率良く的確に合成
することが可能な、動画データ編集技術を提供すること
にある。Another object of the present invention is to provide a moving image data editing technique capable of efficiently and accurately synthesizing a plurality of moving image data having different spatial and temporal specifications.
【００１０】本発明の他の目的は、任意の長さの複数の
動画データから任意の用途に使用できる多様な動画デー
タを生成することが可能な、動画データ編集技術を提供
することにある。Another object of the present invention is to provide a moving image data editing technique capable of generating various moving image data usable for any purpose from a plurality of moving image data having an arbitrary length.
【００１１】[0011]
【課題を解決するための手段】本発明では、複数の動画
データの各々の指定された任意の長さの合成範囲から静
止画を生成し、この静止画の最初の１枚において合成対
象の特定画像の指定を、色境界データ等に基づいて行
う。そして以降の全静止画内の特定画像の弁別を自動的
に実行した後、必要に応じて、合成元の静止画枚数の時
間軸方向の間引きや複写にて合成先の静止画枚数に整合
させる時間軸方向の調整を行う。さらに時間軸方向で対
応する合成元／合成先の静止画どうしにおいて合成元の
特定画像にて合成先の特定画像を置き換えた新たな静止
画を生成する合成処理を実行し、得られた複数の静止画
を、所望のフォーマットや圧縮方法の動画データに変換
する。According to the present invention, a still image is generated from a synthesis range of a designated arbitrary length of each of a plurality of moving image data, and the first one of the still images specifies a synthesis target. Designation of an image is performed based on color boundary data and the like. After automatically discriminating a specific image in all the still images thereafter, if necessary, the number of still images of the synthesis source is thinned out in the time axis direction or copied to match the number of still images of the synthesis destination. Adjust in the time axis direction. Further, a compositing process for generating a new still image in which the specific image of the compositing source is replaced by the specific image of the compositing source between the composing source / compositing still images corresponding in the time axis direction is performed. The still image is converted into moving image data of a desired format and compression method.
【００１２】特定画像の置き換えに際しては、合成元／
合成先の特定画像の大きさが異なる場合、合成元の特定
画像の拡大／縮小によって、合成先の特定画像の大きさ
に合わせる操作を行う。When replacing a specific image,
When the size of the specific image at the combining destination is different, an operation of adjusting the size of the specific image at the combining destination is performed by enlarging / reducing the specific image at the combining source.
【００１３】また、本発明は、動画データが入出力され
る媒体と、動画データを処理する処理部と、ユーザが処
理部の制御を行うためのユーザインターフェイスとを含
む動画データ編集装置において、前記処理部に上述の一
連の動画データの合成操作を行う制御論理やプログラム
を備えるようにしたものである。The present invention also provides a moving picture data editing apparatus including a medium to which moving picture data is input / output, a processing unit for processing the moving picture data, and a user interface for allowing a user to control the processing unit. The processing unit is provided with control logic and a program for performing the above-described series of operations for synthesizing moving image data.
【００１４】[0014]
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００１５】図１は、本発明の一実施の形態である動画
データ編集方法および装置の作用の一例を示すフローチ
ャートであり、図２は、本実施の形態の動画データ編集
装置の構成の一例を示すブロック図である。また、図
３、図４、図５、図６、図７、図８および図９は、本実
施の形態の動画データ編集方法および装置の作用の一例
を示す概念図である。FIG. 1 is a flowchart showing an example of the operation of a moving image data editing method and apparatus according to an embodiment of the present invention. FIG. 2 shows an example of the configuration of the moving image data editing apparatus according to the embodiment. FIG. FIGS. 3, 4, 5, 6, 7, 8, and 9 are conceptual diagrams illustrating an example of the operation of the moving image data editing method and apparatus according to the present embodiment.
【００１６】まず、図２を参照して、本実施の形態の動
画データ編集装置の構成の一例を説明する。First, an example of the configuration of the moving image data editing apparatus according to the present embodiment will be described with reference to FIG.
【００１７】本実施の形態の動画データ編集装置１０
は、システムバス１１を介して、全体を制御する中央処
理装置１２、中央処理装置１２を制御するプログラムが
格納される主記憶１３、記憶装置１４、操作Ｉ／Ｆ部１
５、データ出力インターフェイス１６等を接続したコン
ピュータシステムからなる。A moving image data editing apparatus 10 according to the present embodiment
A central processing unit 12 for controlling the entire system, a main memory 13 for storing a program for controlling the central processing unit 12, a storage device 14, and an operation I / F unit 1 via a system bus 11.
5. A computer system to which the data output interface 16 and the like are connected.
【００１８】記憶装置１４は、たとえば、磁気ディスク
装置（ＨＤＤ）、光磁気ディスク装置（ＭＯ）、光ディ
スク装置（ＯＤ）、デジタルビデオディスク（ＤＶＤ）
等の回転型記憶媒体、あるいはＤＲＡＭ、ＳＲＡＭ、Ｆ
ＲＡＭ（強誘電体メモリ）、一括消去型ＥＥＰＲＯＭ等
の任意の半導体メモリからなるメモリカード等を記憶媒
体として備えた記憶装置である。なお、記憶装置１４と
しては、これらの蓄積媒体に限らず、動画データの入出
力が行われる通信媒体でもよい。The storage device 14 is, for example, a magnetic disk device (HDD), a magneto-optical disk device (MO), an optical disk device (OD), a digital video disk (DVD).
Etc., or a DRAM, SRAM, F
This is a storage device provided as a storage medium with a memory card or the like made of an arbitrary semiconductor memory such as a RAM (ferroelectric memory) and a batch erase EEPROM. Note that the storage device 14 is not limited to these storage media, but may be a communication medium through which moving image data is input and output.
【００１９】本実施の形態の記憶装置１４には、たとえ
ば、ＭＰＥＧ、モーションＪＰＥＧ、ＡＶＩ等の所望の
標準規格、業界規格、さらには特定の動画データ処理ソ
フトウェアにて使用される特定動画データフォーマット
等の任意の動画データフォーマットにて構成される合成
元動画データファイル２１、合成先動画データファイル
２２、合成後動画データファイル２３等の編集前後の動
画データが格納される。The storage device 14 of the present embodiment includes, for example, a desired standard such as MPEG, motion JPEG, and AVI, an industry standard, a specific moving image data format used by specific moving image data processing software, and the like. The moving image data before and after the editing, such as the combining source moving image data file 21, the combining destination moving image data file 22, and the combined moving image data file 23, which are configured in an arbitrary moving image data format, are stored.
【００２０】操作Ｉ／Ｆ部１５はキーボード、マウス等
の任意の情報入力装置からなる。データ出力インターフ
ェイス１６は、必要に応じて編集前後の動画データ等の
情報を可視化および可聴化してユーザに提示するための
ディスプレイ１６ａ、スピーカ１６ｂ等を備えている。The operation I / F unit 15 comprises an arbitrary information input device such as a keyboard and a mouse. The data output interface 16 includes a display 16a, a speaker 16b, and the like for visualizing and audible information such as moving image data before and after editing as necessary and presenting the information to the user.
【００２１】主記憶１３には、常駐するオペレーティン
グシステム１３ａ（ＯＳ）と、その配下で稼働し、後述
のような動画データの編集処理を実行するための動画編
集プログラム１３ｂ、および動画編集プログラム１３ｂ
にて使用される複数のバッファ１３ｃ、バッファ１３ｄ
が設けられ、中央処理装置１２を制御することによって
後述のような動画データの編集作業を行う構成となって
いる。The main memory 13 includes a resident operating system 13a (OS), a moving image editing program 13b which operates under the operating system 13a, and executes a moving image data editing process described later, and a moving image editing program 13b.
Buffer 13c and buffer 13d used in
Is provided to control the central processing unit 12 to perform editing work of moving image data as described later.
【００２２】以下、本実施の形態の動画データ編集方法
および装置の作用の一例について図１のフローチャート
等を参照しながら説明する。Hereinafter, an example of the operation of the moving picture data editing method and apparatus of the present embodiment will be described with reference to the flowchart of FIG.
【００２３】まず、動画編集プログラム１３ｂを起動し
て、記憶装置１４から、合成元動画データファイル２
１、合成先動画データファイル２２を読出し、ディスプ
レイ１６ａに出力してユーザに提示しながら、各々にお
ける合成範囲を指定させる。この操作は、たとえば、通
常速度や早送り等による再生中に目的の合成範囲の開始
タイミングおよび終了タイミングをユーザが操作Ｉ／Ｆ
部１５から指定することによって行われる。First, the moving picture editing program 13b is started, and the moving picture data file 2
1. Read out the synthesis destination moving image data file 22, output it to the display 16a, and present it to the user, and specify the synthesis range for each. In this operation, for example, during reproduction at normal speed, fast forward, or the like, the user sets the start timing and end timing of the target synthesis range by operating the I / F.
This is performed by designating from the unit 15.
【００２４】次に、合成元動画データファイル２１、合
成先動画データファイル２２の各々における指定された
合成範囲（再生時間範囲）の動画データを、複数の静止
画２１ａおよび複数の静止画２２ａに変換して、バッフ
ァ１３ｃ、およびバッファ１３ｄに展開する。これによ
り、バッファ１３ｃおよび１３ｄの各々の内部には、図
３に例示されるように複数の静止画２１ａ、および複数
の静止画２２ａの各々が指定合成範囲の開始時刻ｔから
ｔｎまで、再生時間の長さに応じた枚数だけ時系列に展
開される。Next, the moving image data in the specified synthesis range (playback time range) in each of the source video data file 21 and the destination video data file 22 is converted into a plurality of still images 21a and a plurality of still images 22a. Then, the data is developed in the buffers 13c and 13d. As a result, in each of the buffers 13c and 13d, as shown in FIG. 3, a plurality of still images 21a and a plurality of still images 22a are displayed during the playback time from the start time t to tn of the designated synthesis range. Are developed in chronological order by the number corresponding to the length of.
【００２５】次に、合成元（合成先）の開始時刻ｔにお
ける静止画２１ａ（静止画２２ａ）（フレームＸ）を、
ディスプレイ１６ａに出力し、ユーザに、後述の色境界
指定等の方法にて、当該静止画２１ａ（静止画２２ａ）
内の特定画像３１（特定画像３２）を特定させる（ステ
ップ１０１、ステップ１０２）。Next, the still image 21a (still image 22a) (frame X) at the start time t of the synthesis source (synthesis destination) is
The still image 21a (still image 22a) is output to the display 16a, and is provided to the user by a method such as color boundary designation which will be described later.
The specific image 31 (specific image 32) is specified (step 101, step 102).
【００２６】その後、動画編集プログラム１３ｂは、開
始時刻ｔに続くｔ＋ｉのフレームＸ＋ｉを次々に取り出
し、合成終了時点ｔｎのフレームＸｎまで、各静止画２
１ａ（静止画２２ａ）おいて、指定された色境界データ
を使用して特定画像３１（特定画像３２）を自動的に特
定して行く（ステップ１０３、ステップ１０４）。After that, the moving picture editing program 13b takes out the frames X + i of t + i following the start time t one after another, and until the frame Xn at the synthesizing end time tn.
In 1a (still image 22a), the specific image 31 (specific image 32) is automatically specified using the specified color boundary data (step 103, step 104).
【００２７】この時、図４に例示されるように、合成元
の静止画２１ａでは、特定した特定画像３１以外の背景
部分３１ａには当該動画データにて使用されていない色
（使用されていない色がない場合には、出現頻度の最も
低い色Ｃを使う。ただし、その場合には元データ中のＣ
は近似色に変換しておく）を背景色として使用し塗りつ
ぶす。At this time, as illustrated in FIG. 4, in the still image 21a of the synthesis source, the background portion 31a other than the specified specific image 31 has colors (unused colors) that are not used in the moving image data. If there is no color, use the color C with the lowest appearance frequency.
Is converted to an approximate color) and used as the background color.
【００２８】また、合成先の静止画２２ａでは、特定し
た特定画像３２の内部領域（背景部分３２ａ以外の部
分）を、当該動画データにて使用されていない色（使用
されていない色がない場合には、出現頻度の最も低い色
Ｃを使う。ただし、その場合には元データ中のＣは近似
色に変換しておく）を使用して塗りつぶす。In addition, in the still image 22a to be synthesized, the internal region (the portion other than the background portion 32a) of the specified specific image 32 is set to a color that is not used in the moving image data (if there is no unused color). , Use the color C that has the lowest appearance frequency. In this case, however, C in the original data is converted to an approximate color).
【００２９】ここで、ユーザによる上述のような色境界
指定の一例を説明する。自然動画においては、画像と背
景の境界は色が極端に違うことが多い。これを利用して
色により物体の境界を特定する方法を使用する。Here, an example of the above-described color boundary designation by the user will be described. In natural moving images, the border between the image and the background often has an extremely different color. A method of using this to specify the boundary of an object by color is used.
【００３０】通常、動画データより抜き出した静止画デ
ータはフルカラー（１６００万色）が使用されているこ
とが多い。そこで、図５に例示されるように、取り出し
た静止画データ４０をある一定以下の色数に減色するこ
とによって色の平坦化を図り、背景から特定の物体を際
立たせる。たとえば図５の例では、静止画データ４０の
背景４０ｃ内に濃い色の物体画像４０ａ、淡い色の物体
画像４０ｂ、が存在する場合、減色操作によって、同図
の右側のように、背景４０ｃの中に濃い色の物体画像４
０ａのみが見える状態の静止画データ４１を得ることが
できる。Normally, still image data extracted from moving image data often uses full color (16 million colors). Therefore, as illustrated in FIG. 5, the color of the extracted still image data 40 is reduced to a certain number of colors or less to flatten the color, and a specific object stands out from the background. For example, in the example of FIG. 5, when a dark color object image 40a and a light color object image 40b exist in the background 40c of the still image data 40, the color reduction operation performs Object image 4 with dark color inside
Still image data 41 in which only 0a is visible can be obtained.
【００３１】そして、この平坦化した静止画データ４１
をユーザに提示して、濃い色の物体画像４０ａの周辺の
色境界（内部の色Ａ、外部の色Ｂ）を指定させることに
よって目的の物体画像４０ａの画像を特定する。The flattened still image data 41
Is presented to the user, and the color boundary (inner color A, outer color B) around the dark color object image 40a is specified to specify the image of the target object image 40a.
【００３２】ただし、一つの画像の周囲の色が１色であ
ることはほとんどないため、色境界が複数存在すること
になる。この場合、色境界の組み合わせが複数になるの
が普通である。たとえば、図６の例では、静止画データ
５０の物体画像５１と異なる色の背景５２および背景５
３の色境界が、（内部Ａ、外部Ｂ）と（内部Ａ、外部
Ｃ）の組み合わせになる。However, since the color around one image is rarely one color, a plurality of color boundaries exist. In this case, the combination of the color boundaries is usually plural. For example, in the example of FIG. 6, the background 52 and the background 5 having different colors from the object image 51 of the still image data 50 are displayed.
The color boundary of No. 3 is a combination of (internal A, external B) and (internal A, external C).
【００３３】一方、合成元および合成先の動画データに
おいて合成範囲のデータの長さ（再生時間）が異なる場
合には、時間軸で整合を取る必要がある。そこで、本実
施の形態の場合には、合成元と合成先のデータの長さが
異なる場合、合成元動画データファイル２１から生成さ
れる静止画２１ａ（フレーム）の時間軸方向における複
写や間引き等の方法にて、両者の時間軸方向の整合を実
現する。On the other hand, when the length (reproduction time) of the data in the synthesis range is different between the moving image data of the synthesis source and the synthesis destination, it is necessary to match on the time axis. Therefore, in the case of the present embodiment, when the lengths of the data of the combination source and the combination destination are different, copying or thinning of the still image 21a (frame) generated from the combination source moving image data file 21 in the time axis direction is performed. By the method described above, the matching in the time axis direction is realized.
【００３４】この場合、フレームの倍数Ｍｔは、（合成
先のフレーム数／合成元のフレーム数）で求められる
が、画像の種類やユーザからの要求等に応じて、たとえ
ば、時間軸方向における複写や間引きを、すべてのフレ
ームに対して当該倍数Ｍｔに応じて均等に行う場合と、
動きの少ない時間範囲では複写や間引きの倍率を大き
く、動きの多い時間範囲では複写や間引きの倍率を小さ
くする場合、の２種類が考えられる。通常、フレームの
複写や間引きによる影響は、動きの多い時間範囲ほど表
示状態の変化が目立つので、後者の場合には、複写や間
引きによる表示状態の変化を小さくできる効果がある。In this case, the multiple Mt of the frame is obtained by (the number of frames to be combined / the number of frames to be combined). For example, according to the type of image and the request from the user, for example, copying in the time axis direction is performed. And thinning out all frames equally according to the multiple Mt,
There are two types of cases where the magnification of copying or thinning is increased in a time range where movement is small, and the magnification of copying or thinning is reduced in a time range where movement is large. Normally, the influence of frame copying or thinning is more noticeable in the time range in which the movement is greater, and in the latter case, there is an effect that the change in the display state due to copying or thinning can be reduced.
【００３５】たとえば、図７の例では、合成元データが
合成先データよりも短い場合であり、この場合には、合
成元データのフレーム数を、時間軸方向での複写（補
間）によって、合成先データのフレーム枚数（再生時
間）に整合させている（ステップ１０５〜ステップ１０
８）。For example, in the example of FIG. 7, the synthesis source data is shorter than the synthesis destination data. In this case, the number of frames of the synthesis source data is synthesized by copying (interpolating) in the time axis direction. The number of frames (reproduction time) of the preceding data is matched (step 105 to step 10).
8).
【００３６】一方、時間軸方向と同様に、空間軸方向の
サイズの調整も一般に必要になる。すなわち、画像その
ものの大きさが同じであっても、合成元の特定画像３１
と合成先の特定画像３２が同じ大きさであることは珍し
い。この場合は、合成元の特定画像３１を拡大／縮小す
ることによって合成先の特定画像３２のサイズに合わせ
ることが必要になる。On the other hand, similarly to the time axis direction, it is generally necessary to adjust the size in the space axis direction. That is, even if the size of the image itself is the same, the specific image 31
It is rare that the image 32 and the specific image 32 to be combined have the same size. In this case, it is necessary to adjust the size of the specific image 32 of the synthesis destination by enlarging / reducing the specific image 31 of the synthesis source.
【００３７】この拡大／縮小処理は、バッファ１３ｃに
展開されている合成元動画データファイル２１の合成範
囲の静止画２１ａのすべてについて行われる（ステップ
１０９、ステップ１１０）。This enlargement / reduction processing is performed for all the still images 21a in the synthesis range of the synthesis source moving image data file 21 developed in the buffer 13c (steps 109 and 110).
【００３８】その場合、上述のように合成元、合成先の
動画データをすべて静止画に変換した後、同一時間軸の
静止画を比較し、背景色以外の部分をＸ軸（またはＹ
軸）のライン（画素列）毎に拡大／縮小を行う。In this case, after all of the moving image data of the combining source and the combining destination are converted into still images as described above, still images on the same time axis are compared, and portions other than the background color are replaced with the X-axis (or Y-axis).
Enlargement / reduction is performed for each line (pixel column) of (axis).
【００３９】この場合、（合成先データの画像の任意の
Ｘ軸でのＹサイズ）／（合成元データの画像の任意のＸ
軸でのＹサイズ）にて、拡大／縮小の倍率Ｍｓを求める
ことができる。この場合も、画像の種類やユーザの要求
によって、任意のＸ軸（Ｙ軸）内の全ての点（画素）に
対して、前記倍率Ｍｓを掛ける方法と、物体内の色境界
に近い所では倍率Ｍｓを小さくし、色境界から離れた所
では高くする方法が考えられる。In this case, (Y size of the image of the synthesis destination data on an arbitrary X axis) / (arbitrary X of the image of the synthesis source data)
(Y size on the axis), the enlargement / reduction magnification Ms can be obtained. Also in this case, depending on the type of image and the request of the user, a method of multiplying all points (pixels) in an arbitrary X axis (Y axis) by the magnification Ms and a method in a place close to the color boundary in the object A method is conceivable in which the magnification Ms is reduced and is increased at a position distant from the color boundary.
【００４０】たとえば、図８の例では、合成元データで
ある静止画２１ａ内の特定画像３１が、合成先データで
ある静止画２２ａ内の特定画像３２より小さい場合であ
り、両者の寸法比率に応じて、特定画像３１のＸ軸方向
の点ＸにおけるＹ軸方向の寸法Ｙｆを、特定画像３２の
Ｘ軸方向の点ＸにおけるＹ軸方向の寸法Ｙｔに整合する
ように拡大している。For example, in the example of FIG. 8, the specific image 31 in the still image 21a as the synthesis source data is smaller than the specific image 32 in the still image 22a as the synthesis destination data. Accordingly, the dimension Yf in the Y-axis direction at the point X in the X-axis direction of the specific image 31 is enlarged so as to match the dimension Yt in the Y-axis direction at the point X in the X-axis direction of the specific image 32.
【００４１】以上のような時間的／空間的なサイズの整
合を施した後、動画データの合成を行う。After the temporal / spatial size matching as described above is performed, the moving image data is synthesized.
【００４２】この時点では、バッファ１３ｃおよびバッ
ファ１３ｄの各々に展開されている合成元および合成先
の各々の複数の静止画２１ａおよび静止画２２ａでは、
前者では特定画像３１以外の背景が、また後者では特定
画像３２の内部が、前述のように、他で使用されていな
い特定の色Ｃに塗りつぶされているため、時間軸方向に
同一位置にある静止画２１ａと静止画２２ａとを比較
し、背景色（特定の色Ｃ）以外の部分から、新しい静止
画２３ａを作成することができる。At this point, the plurality of still images 21a and still images 22a of the combining source and the combining destination developed in each of the buffers 13c and 13d are:
In the former, the background other than the specific image 31 and in the latter, the inside of the specific image 32 is filled with the specific color C that is not used elsewhere, as described above, so that they are at the same position in the time axis direction. By comparing the still image 21a and the still image 22a, a new still image 23a can be created from a portion other than the background color (specific color C).
【００４３】この時、合成元と合成先のデータにおいて
特定画像３１と特定画像３２の位置が画面内で互いにず
れている場合が殆どと考えられるが、合成される特定画
像３１と特定画像３２のサイズが上述のような拡大／縮
小処理によってすでに同じになっているため、合成時に
は、両者の位置合わせのみで処理できる。At this time, in most cases, the positions of the specific image 31 and the specific image 32 in the data of the synthesis source and the synthesis destination are shifted from each other in the screen. Since the size has already been made the same by the above-described enlargement / reduction processing, processing can be performed only by aligning the two at the time of synthesis.
【００４４】この操作を時間軸方向の全ての静止画２１
ａと静止画２２ａのペアについて実行する（ステップ１
１１、ステップ１１２）。This operation is performed for all the still images 21 in the time axis direction.
a and a still image 22a (step 1
11, step 112).
【００４５】そして、こうして得られた時系列の複数の
新しい静止画２３ａを、所望のフォーマットや圧縮方法
の動画データに再度変換（圧縮）した後、合成後動画デ
ータファイル２３に出力する（ステップ１１３）。Then, the plurality of new time-series still images 23a thus obtained are converted (compressed) again into moving image data of a desired format and compression method, and then output to the synthesized moving image data file 23 (step 113). ).
【００４６】また、必要に応じて、合成後動画データフ
ァイル２３をディスプレイ１６ａに直接的に出力して編
集結果を確認したり、通信回線等の所望の通信媒体を経
由して他のシステムに送信することも可能である。If necessary, the synthesized moving image data file 23 is directly output to the display 16a to check the editing result, or transmitted to another system via a desired communication medium such as a communication line. It is also possible.
【００４７】このように、本実施の形態の動画データ編
集方法および装置によれば、任意の長さの複数の動画デ
ータ内の特定の画像を合成して新たな動画データを得る
ような動画データの編集処理を短時間に、かつ、ユーザ
の最小限の介入にて的確に行うことができ、任意の長さ
の複数の動画データの合成を、効率良く行うことが可能
になる。As described above, according to the moving image data editing method and apparatus of the present embodiment, moving image data is obtained by combining specific images in a plurality of moving image data having an arbitrary length to obtain new moving image data. Can be accurately performed in a short time with a minimum of user intervention, and a plurality of moving image data having an arbitrary length can be efficiently synthesized.
【００４８】また、二つの動画データの時間的および空
間的なサイズが異なっていても両者の整合が自動的に行
われるので、空間的および時間的な仕様が異なる複数の
動画データを効率良く的確に合成することが可能にな
る。Further, even if the two moving image data have different temporal and spatial sizes, the matching is automatically performed. Therefore, a plurality of moving image data having different spatial and temporal specifications can be efficiently and accurately recorded. Can be synthesized.
【００４９】この結果、任意の長さの二つの動画データ
内の動きのある特定画像を置換したような動画データを
容易に生成でき、複数の動画データから任意の用途に使
用できる多様な動画データを生成することが可能にな
る。As a result, it is possible to easily generate moving image data in which a moving specific image in two moving image data having an arbitrary length is replaced, and to use various moving image data that can be used for any purpose from a plurality of moving image data. Can be generated.
【００５０】以上本発明者によってなされた発明を実施
の形態に基づき具体的に説明したが、本発明は前記実施
の形態に限定されるものではなく、その要旨を逸脱しな
い範囲で種々変更可能であることはいうまでもない。Although the invention made by the present inventor has been specifically described based on the embodiments, the present invention is not limited to the above-described embodiments, and can be variously modified without departing from the gist thereof. Needless to say, there is.
【００５１】たとえば、上述の実施の形態に例示された
装置構成は一例であり、本発明の動画データ編集方法を
実現できるものであれば、任意の構成を採ることができ
る。For example, the device configuration illustrated in the above embodiment is an example, and any configuration can be adopted as long as the moving image data editing method of the present invention can be realized.
【００５２】[0052]
【発明の効果】本発明の動画データ編集方法および装置
によれば、任意の長さの複数の動画データの合成を、効
率良く行うことができる、という効果が得られる。According to the moving picture data editing method and apparatus of the present invention, it is possible to efficiently combine a plurality of moving picture data having an arbitrary length.
【００５３】また、本発明の動画データ編集方法および
装置によれば、空間的および時間的な仕様が異なる複数
の動画データを効率良く的確に合成することができる、
という効果が得られる。According to the moving picture data editing method and apparatus of the present invention, a plurality of moving picture data having different spatial and temporal specifications can be efficiently and accurately synthesized.
The effect is obtained.
【００５４】また、本発明の動画データ編集方法および
装置によれば、任意の長さの複数の動画データから任意
の用途に使用できる多様な動画データを生成することが
できる、という効果が得られる。Further, according to the moving image data editing method and apparatus of the present invention, it is possible to generate various moving image data usable for any purpose from a plurality of moving image data having an arbitrary length. .
【図１】本発明の一実施の形態である動画データ編集方
法および装置の作用の一例を示すフローチャートであ
る。FIG. 1 is a flowchart illustrating an example of the operation of a moving image data editing method and apparatus according to an embodiment of the present invention.
【図２】本発明の一実施の形態である動画データ編集装
置の構成の一例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of a configuration of a moving image data editing device according to an embodiment of the present invention.
【図３】本発明の一実施の形態である動画データ編集方
法および装置の作用の一例を示す概念図である。FIG. 3 is a conceptual diagram showing an example of the operation of a moving image data editing method and apparatus according to an embodiment of the present invention.
【図４】本発明の一実施の形態である動画データ編集方
法および装置の作用の一例を示す概念図である。FIG. 4 is a conceptual diagram showing an example of the operation of a moving image data editing method and apparatus according to an embodiment of the present invention.
【図５】本発明の一実施の形態である動画データ編集方
法および装置の作用の一例を示す概念図である。FIG. 5 is a conceptual diagram showing an example of the operation of a moving image data editing method and apparatus according to an embodiment of the present invention.
【図６】本発明の一実施の形態である動画データ編集方
法および装置の作用の一例を示す概念図である。FIG. 6 is a conceptual diagram showing an example of the operation of a moving image data editing method and apparatus according to an embodiment of the present invention.
【図７】本発明の一実施の形態である動画データ編集方
法および装置の作用の一例を示す概念図である。FIG. 7 is a conceptual diagram showing an example of the operation of a moving image data editing method and apparatus according to an embodiment of the present invention.
【図８】本発明の一実施の形態である動画データ編集方
法および装置の作用の一例を示す概念図である。FIG. 8 is a conceptual diagram showing an example of the operation of a moving image data editing method and apparatus according to an embodiment of the present invention.
【図９】本発明の一実施の形態である動画データ編集方
法および装置の作用の一例を示す概念図である。FIG. 9 is a conceptual diagram showing an example of the operation of a moving image data editing method and apparatus according to an embodiment of the present invention.
１０…動画データ編集装置、１１…システムバス、１２
…中央処理装置、１３…主記憶、１３ａ…オペレーティ
ングシステム、１３ｂ…動画編集プログラム、１３ｃ…
バッファ、１３ｄ…バッファ、１４…記憶装置、１５…
操作Ｉ／Ｆ部、１６…データ出力インターフェイス、１
６ａ…ディスプレイ、１６ｂ…スピーカ、２１…合成元
動画データファイル（第１の動画データ）、２１ａ…静
止画（第１の静止画）、２２…合成先動画データファイ
ル（第２の動画データ）、２２ａ…静止画（第２の静止
画）、２３…合成後動画データファイル、２３ａ…静止
画（第３の静止画）、３１…特定画像（第１の特定画
像）、３１ａ…背景部分、３２…特定画像（第２の特定
画像）、３２ａ…背景部分、４０…静止画データ、４０
ａ…物体画像、４０ｂ…物体画像、４０ｃ…背景、４１
…静止画データ、５０…静止画データ、５１…物体画
像、５２…背景、５３…背景。10 moving image data editing device, 11 system bus, 12
... Central processing unit, 13 ... Main memory, 13a ... Operating system, 13b ... Video editing program, 13c ...
Buffer, 13d buffer, 14 storage device, 15 ...
Operation I / F section, 16 data output interface, 1
6a: display, 16b: speaker, 21: source moving image data file (first moving image data), 21a: still image (first still image), 22: destination moving image data file (second moving image data), 22a: Still image (second still image), 23: Combined moving image data file, 23a: Still image (third still image), 31: Specific image (first specific image), 31a: Background portion, 32 ... Specific image (second specific image), 32a ... Background part, 40 ... Still image data, 40
a: object image, 40b: object image, 40c: background, 41
... still image data, 50 ... still image data, 51 ... object image, 52 ... background, 53 ... background.
Claims (7)
動画データにおいて時間的な合成範囲を特定するステッ
プと、 前記第１および第２の動画データの各々の合成開始時点
の第１および第２の静止画にて、合成対象の第１および
第２の特定画像を所望の識別方法にて指定するステップ
と、 前記第１および第２の動画データの各々において、前記
合成開始時点以降の前記第１および第２の静止画の生成
および前記第１および第２の特定画像の特定を前記識別
方法にて自動的に実行するステップと、 前記合成範囲において、前記第１動画データの個々の前
記第１の静止画中の前記第１の特定画像にて、前記第２
の動画データの個々の前記第２の静止画中の前記第２の
特定画像を置き換えることで複数の新たな第３の静止画
を生成するステップと、 複数の前記第３の静止画から任意のフォーマットや圧縮
方法の動画データを生成するステップと、を含み、 前記第１および第２の動画データにおける前記合成範囲
の時間的な長さが異なる時、合成元の前記第１の動画デ
ータの前記合成範囲から生成される複数の前記第１の静
止画の時間軸方向における間引きまたは複写によって、
合成先の前記第２の動画データの前記合成範囲から生成
される前記第２の静止画の枚数に整合させる ことを特徴
とする動画データ編集方法。1. A step of specifying a temporal synthesis range in first and second moving image data of a synthesis source and a synthesis destination; and a first and a second at the start of synthesis of each of the first and second moving image data A step of designating the first and second specific images to be combined in the second still image by a desired identification method; and in each of the first and second moving image data, Automatically generating the first and second still images and specifying the first and second specific images by the identification method; and In the first specific image in the first still image, the second
Generating a plurality of new third still images by replacing the second specific image in each of the second still images of the moving image data; and Generating moving image data in a format or a compression method , wherein the synthesis range in the first and second moving image data is included.
When the time lengths of the first and second moving images differ,
A plurality of the first static images generated from the synthesis range of data.
By thinning or copying in the time axis direction of the still image,
Generated from the synthesis range of the second moving image data of the synthesis destination
Moving image data editing method, wherein the moving image data is matched with the number of second still images to be processed.
いて、 前記第１の静止画の時間軸方向における間引きまたは複
写において、前記合成範囲における（前記第２の静止画
の枚数／前記第１の静止画の枚数）で得られる倍率を計
算し、 前記第１の静止画の間引きまたは複写を一定の前記倍率
で行う方法、 または、前記第１の動画データにおいて動きの少ない部
分は倍率を大きくし、動きの多い部分は倍率を小さくす
る方法、 のいずれかを用いることを特徴とする動画データ編集方
法。2. The moving image data editing method according to claim 1 , wherein in the thinning-out or copying of the first still image in the time axis direction, (the number of the second still images / the first first still images) A method of calculating the magnification obtained by the number of still images) and performing thinning or copying of the first still image at a constant magnification, or increasing the magnification for a portion of the first moving image data with little motion. A method of editing moving image data, characterized by using any one of the following: a method of reducing a magnification for a portion having a lot of movement.
いて、 合成元の前記第１の静止画内の前記第１の特定画像の大
きさを、合成先の前記第２の静止画内の前記第２の特定
画像の大きさに合わせて拡大または縮小した後、前記第
２の特定画像と置き換え、 合成元の前記第１の静止画内の前記第１の特定画像の拡
大または縮小率を、前記第１の特定画像の輪郭領域と内
部領域とで変化させる ことを特徴とする動画データ編集
方法。3. The moving image data editing method according to claim 1, wherein the size of the first specific image in the first still image as the synthesis source is changed to the size in the second still image as the synthesis destination. after enlarged or reduced to fit the size of the second specific image, expansion of the second conversion example placed a specific image, the synthesis source of the first of said first specific image in the still image
A large or reduction ratio is defined between the outline area of the first specific image and the outline area.
A moving image data editing method characterized in that the moving image data is changed depending on a partial area .
いて、 前記識別方法では、前記第１および第２の静止画中の色
境界の弁別にて前記第１および第２の特定画像の識別が
行われることを特徴とする動画データ編集方法。4. The moving image data editing method according to claim 1 , wherein in the identification method, the first and second specific images are identified by discriminating a color boundary in the first and second still images. A moving image data editing method characterized by being performed.
いて、 合成元の前記第１の静止画では、前記第１の特定画像の
背景領域を、前記第１の静止画内で使用されていない
色、または使用頻度の最も低い色で塗りつぶし、合成先
の前記第２の静止画では、前記第２の特定画像の内部領
域を、前記第２の静止画内で使用されていない色、また
は使用頻度の最も低い色で塗りつぶすことを特徴とする
動画データ編集方法。5. The moving image data editing method according to claim 4 , wherein, in the first still image to be synthesized, a background area of the first specific image is not used in the first still image. In the second still image to be filled with the color or the least frequently used color and synthesized, the internal area of the second specific image is set to a color not used in the second still image, or A moving image data editing method characterized by filling with a color with the lowest frequency.
いて、 前記第１および第２の特定画像の指定に際して、前記第
１および第２の静止画の色データを任意の色数以下に減
色することによって、色の平坦化を行うことを特徴とす
る動画データ編集方法。6. The moving image data editing method according to claim 4 , wherein, when the first and second specific images are designated, the color data of the first and second still images is reduced to an arbitrary number of colors or less. A moving image data editing method characterized by performing color flattening.
動画データを処理する処理部と、ユーザが前記処理部の
制御を行うためのユーザインターフェイスとを含む動画
データ編集装置であって、 前記処理部は、 前記入出力媒体から得られる合成元および合成先の第１
および第２の動画データにおいて時間的な合成範囲を特
定するステップと、 前記第１および第２の動画データの各々の合成開始時点
の第１および第２の静止画にて、前記ユーザインターフ
ェイスを介して、合成対象の第１および第２の特定画像
を所望の識別方法にて指定するステップと、 前記第１および第２の動画データの各々において、前記
合成開始時点以降の前記第１および第２の静止画の生成
および前記第１および第２の特定画像の特定を前記識別
方法にて自動的に実行するステップと、 前記合成範囲において、前記第１の動画データの個々の
前記第１の静止画中の前記第１の特定画像にて、前記第
２の動画データの個々の前記第２の静止画中の前記第２
の特定画像を置き換えることで複数の新たな第３の静止
画を生成するステップと、 複数の前記第３の静止画から任意のフォーマットや圧縮
方法の動画データを生成して前記入出力媒体に出力する
ステップと、を実行し、 前記第１および第２の動画データにおける前記合成範囲
の時間的な長さが異なる時、合成元の前記第１の動画デ
ータの前記合成範囲から生成される複数の前記第１の静
止画の時間軸方向における間引きまたは複写によって、
合成先の前記第２の動画データの前記合成範囲から生成
される前記第２の静止画の枚数に整合させる動作 を実行
する制御論理を備えたことを特徴とする動画データ編集
装置。7. A moving image data editing apparatus including a medium to which moving image data is input / output, a processing unit for processing the moving image data, and a user interface for a user to control the processing unit, The processing unit includes a first synthesis source and a first synthesis destination obtained from the input / output medium.
Specifying a temporal synthesis range in the first and second moving image data; and a first and second still image at the start of synthesis of each of the first and second moving image data via the user interface. Specifying the first and second specific images to be combined by a desired identification method; and in each of the first and second moving image data, the first and second moving images after the synthesis start time Automatically generating the still image and specifying the first and second specific images by the identification method; and the first still image of the first moving image data in the synthesis range. In the first specific image in the image, the second in the second still image of the second moving image data
Generating a plurality of new third still images by replacing the specific image of the above, generating moving image data of an arbitrary format or compression method from the plurality of third still images and outputting the moving image data to the input / output medium Performing the synthesizing range in the first and second moving image data.
When the time lengths of the first and second moving images differ,
A plurality of the first static images generated from the synthesis range of data.
By thinning or copying in the time axis direction of the still image,
Generated from the synthesis range of the second moving image data of the synthesis destination
And a control logic for executing an operation of matching the number of second still images to be performed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33672297A JP3321402B2 (en) | 1997-12-08 | 1997-12-08 | Video data editing method and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33672297A JP3321402B2 (en) | 1997-12-08 | 1997-12-08 | Video data editing method and device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11177922A JPH11177922A (en) | 1999-07-02 |
| JP3321402B2 true JP3321402B2 (en) | 2002-09-03 |
Family
ID=18302121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33672297A Expired - Fee Related JP3321402B2 (en) | 1997-12-08 | 1997-12-08 | Video data editing method and device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3321402B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004165800A (en) * | 2002-11-11 | 2004-06-10 | Canon Inc | Image processing apparatus |
| JP2011139300A (en) * | 2009-12-28 | 2011-07-14 | Casio Computer Co Ltd | Image processing apparatus and program |
| JP5594117B2 (en) * | 2010-12-16 | 2014-09-24 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
-
1997
- 1997-12-08 JP JP33672297A patent/JP3321402B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11177922A (en) | 1999-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6763175B1 (en) | Flexible video editing architecture with software video effect filter components | |
| US8306399B1 (en) | Real-time video editing architecture | |
| US7974492B2 (en) | Image data reproducing apparatus with changing proportions of combined enlarged images, method of controlling same and control program therefor | |
| US8203626B2 (en) | Apparatus and method for image processing with special effect application to image and display of animation image | |
| US6763176B1 (en) | Method and apparatus for real-time video editing using a graphics processor | |
| JP4701598B2 (en) | Still image generating apparatus, still image generating method, still image generating program, and recording medium on which still image generating program is recorded | |
| JP2007058614A (en) | Slide-show generation device, data-generation device for slide show, their control methods, and their control programs | |
| JP3321402B2 (en) | Video data editing method and device | |
| KR920006879A (en) | Video special effects generator | |
| KR100374914B1 (en) | Method for production of animation using publishing comic picture | |
| JP2005110318A (en) | Media pipeline with multi-channel video processing and reproduction | |
| JP2008228242A (en) | Video reproducing device | |
| JP7457506B2 (en) | Image file generation device, image file generation method, image file playback device, image file playback method, and program | |
| US6917441B2 (en) | Image recording/reproducing apparatus having an improved recording signal generating unit | |
| JP4489661B2 (en) | Slide show generating apparatus, control method therefor, and control program therefor | |
| JP3562839B2 (en) | Image recording / reproducing apparatus and image recording / reproducing method | |
| JPWO2002071748A1 (en) | Electronic camera and data file generator | |
| JPH03136480A (en) | Video directing device for still picture | |
| JPH06309375A (en) | Picture recording and reproducing device | |
| JPH0594511A (en) | Image processor | |
| JPH07334514A (en) | Image processor | |
| JP3062507B2 (en) | Image encoding device and image decoding device | |
| JP3379667B2 (en) | Browsing display method | |
| JPH07107415A (en) | Television signal processor | |
| JP2009069684A (en) | Image display apparatus, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080621 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080621 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090621 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100621 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100621 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110621 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110621 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120621 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120621 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130621 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |