JP4029699B2

JP4029699B2 - Data editing apparatus, data editing method, and program

Info

Publication number: JP4029699B2
Application number: JP2002262077A
Authority: JP
Inventors: 圭三井上; 光佑木村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-09-06
Filing date: 2002-09-06
Publication date: 2008-01-09
Anticipated expiration: 2022-09-06
Also published as: JP2004104361A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数種類の符号化方式を含むファイルの形式の素材データを編集し、その編集データを目的のファイルの形式のデータとして出力するデータ編集装置、データ編集方法、及びプログラムに関する。
【０００２】
【従来の技術】
従来、原素材上のデータの一部を抜き出してなる編集素材を任意に繋ぎ合わせて編集済データを作成する際の編集内容を規定した編集データを作成する編集データ作成装置が下記特許文献１に開示されている。この特許文献１記載の技術においては、編集データ上での編集素材の位置を保持した状態で編集素材の内容を原素材上で移動させ、保持された位置において編集素材の内容を変化させることにより、編集データ上での編集素材の位置を移動させることなく、その内容を変化させることができるものである。
【０００３】
ところでこのような編集データは、様々な圧縮フォーマットで収録された映像又は音楽等の素材データを編集するため、処理が煩雑であった。そこで、多種類の圧縮フォーマットの素材映像データが混在する場合であっても、煩わしいフォーマットの統一という工程を省くことができ、かつ、再圧縮に伴う映像データの劣化が生じない高品質な編集作業ができることを目的としたノンリニア編集装置、及びノンリニア編集方法が下記特許文献２に開示されている。この特許文献２に記載のノンリニア編集装置は、複数種類の圧縮フォーマットで圧縮符号化された映像データを圧縮フォーマットのままで複数記録できるストレージと、そのストレージに記録された複数種類の圧縮フォーマットの内の少なくとも２種類以上の圧縮フォーマットの映像データを伸長できる第１のマルチフォーマットデコーダーとを備えるものである。
【０００４】
ところで、上述の特許文献１及び特許文献２等において、所定のフォーマット、例えばＭＰＥＧ（Moving Picture Experts Group）ファイルを出力する場合には、ＭＰＥＧ及び他フォーマットのファイル等が混在した状態から、全てのデータを伸張（デコード）し、ＭＰＥＧファイルに再圧縮（エンコード）することによってＭＰＥＧファイルの出力を実現していた。しかしながら、このような方法では、全てのファイルを一旦デコードし、再度エンコードする必要があるため、ＭＰＥＧファイルの作成に時間がかかるとともに、画質が劣化してしまうという問題点がある。
【０００５】
この問題を解決するために、元の素材データのファイルフォーマットが編集後の出力ファイルフォーマットと異なる場合にのみ、素材データを再圧縮し、ファイルフォーマットが一致する場合には、素材データを再圧縮せずに編集を可能とする所謂スマートレンダリングの技術が開発されている。
【０００６】
【特許文献１】
特開２０００−１４９５０２号公報
【特許文献２】
国際公開第００／５１３４７号パンフレット
【０００７】
【発明が解決しようとする課題】
ところで、最近では、このようなスマートレンダリングをパーソナルコンピュータ上で実現するためのビデオ編集ツール（ソフトウェア）や、それをプリインストールしたパーソナルコンピュータも市販されている。しかしながら、このようなビデオ編集ツールは、必ずしも、使用者の所望するファイルフォーマットをサポートしているとは限らず、素材データファイルに対してスマートレンダリングを行い、任意のファイルフォーマット、例えばＭＰＥＧファイルとして出力するといったことが出来ないという問題点がある。
【０００８】
本発明は、このような従来の実情に鑑みて提案されたものであり、複数種類のファイルの形式の素材データを用いて編集作業を行い目的とする１つのファイルが、たとえ編集ツールのサポートしていない形式であっても、その形式に統一して迅速に出力することができるデータ編集装置、データ編集方法、及びプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の目的を達成するために、本発明に係るデータ編集装置は、複数種類の符号化方式を含むファイルの形式の素材データを編集し、目的のファイルの形式のデータとして出力するデータ編集装置において、上記素材データを該素材データの符号化方式に対応する復号方式により復号する復号手段と、上記復号手段により復号された複数のデータの一部又は全部を部分データとして任意に繋ぎ合わせて編集し、複数の部分データから構成される編集データを生成するデータ編集手段と、上記復号手段及び上記データ編集手段から取得したファイルの形式に基づいて、上記編集データに対応する上記素材データを上記目的のファイルの形式に符号化した出力ファイルを生成する出力ファイル生成手段とを備え、上記出力ファイル生成手段は、上記編集データを構成する部分データに対応する素材データのファイルの形式が、上記目的のファイルの形式と同一である場合、上記部分データに対応する素材データを復号せずに使用して上記出力ファイルを生成し、上記データ編集手段において上記素材データの一部又は全部を繋ぎ合わせる際にエフェクト処理が施される場合、上記出力ファイル生成手段は、当該エフェクト処理が施される部分を含む部分データに対応する素材データのファイルの形式が上記目的のファイルの形式と同一かどうかに拘らず、当該エフェクト処理が施される部分を切り出し、当該切り出された部分を復号してエフェクト処理を施し、かつ、当該エフェクト処理が施された部分を上記目的のファイル形式に符号化して出力する。
【００１０】
本発明に係るデータ編集方法は、複数種類の符号化方式を含むファイルの形式の素材データを編集し、目的のファイルの形式のデータとして出力するデータ編集方法において、上記素材データを該素材データの符号化方式に対応する復号方式により復号する復号工程と、上記復号工程にて復号された複数のデータの一部又は全部を部分データとして任意に繋ぎ合わせて編集し、複数の部分データから構成される上記編集データを生成するデータ編集工程と、上記編集データに対応する素材データを上記目的のファイルの形式に符号化した出力ファイルを生成する出力ファイル生成工程とを備え、上記出力ファイル生成工程では、上記編集データを構成する部分データに対応する素材データのファイルの形式を取得する工程を含み、上記ファイルの形式が、上記目的のファイルの形式と同一である場合、上記部分データに対応する素材データが復号されずに使用されて上記出力ファイルが生成され、上記データ編集工程において上記素材データの一部又は全部を繋ぎ合わせる際にエフェクト処理が施される場合、上記出力ファイル生成工程では、当該エフェクト処理が施される部分を含む部分データに対応する素材データのファイルの形式が上記目的のファイルの形式と同一かどうかに拘らず、当該エフェクト処理が施される部分が切り出され、当該切り出された部分が復号されてエフェクト処理が施され、かつ、当該エフェクト処理が施された部分が上記目的のファイル形式に符号化されて出力される。
【００１１】
本発明においては、編集データを構成する部分データのうち、対応する素材データのファイルの形式が、目的とするファイルの形式と同一である場合は、部分データに対応する素材データを出力ファイルに直接書き込むことにより、編集制御手段がサポートしていないファイルの形式を含む複数種のファイルの形式で圧縮及び／又は符号化された複数の素材データを編集して、目的のファイルの形式のデータとして出力する場合にもスマートレンダリングが可能となり、一旦全てのデータを復号・伸張してから圧縮・符号化する場合に比して、速やかに出力ファイルを生成することができると共に、伸張・圧縮、符号化・復号を繰り返さないためデータの劣化が低減される。
【００１２】
ここで、本明細書において、ファイルの形式は、ＭＰＥＧ方式等の符号化方式と、符号化ファイルの形式とを示すものであり、符号化ファイルの形式とは、例えばビットレート、及び画サイズ等の各種パラメータを示すものとする。
【００１３】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ビデオ編集時のタイムラインに配置された複数種類の映像ファイルから、ＭＰＥＧファイルを書き出すデータ編集装置に適用したものである。
【００１４】
先ず、本実施の形態に係るデータ編集装置を実現するためのハードウェア構成について説明する。図１は、本実施の形態に係るデータ編集装置をソフトウェア的に実現するためのコンピュータ装置のハードウェア構成の概略を示すブロック図である。図１に示すように、コンピュータ装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、表示装置１０５、及びインターフェース回路（Ｉ／Ｆ）１０９乃至１１１等がバス１１２を介して接続されている。また、コンピュータ装置１００は、各インターフェース回路１０９乃至１１１を介して夫々キーボード１０６、マウス１０７及びスピーカ１０８と接続されている。
【００１５】
ＣＰＵ１０１は、例えばマウス１０７又はキーボード１０６が操作されることにより所定処理の実行命令がインターフェース回路１０９、１１０を介して与えられると、ＲＯＭ１０２に格納されたプログラムに基づいて、所定動作を実行させるようになされ、これによりコンピュータ装置全体として上述したような各種処理を実行させるようになされている。
【００１６】
また、このときＣＰＵ１０１は、ＨＤＤ１０４又はＲＯＭ１０２に格納されたプログラムに基づいて、必要に応じてＨＤＤ１０４内に格納された画像データを読み出し、これを表示装置１０５に与えることにより、所定画面を表示させる一方、マウス１０７の操作に応動して画面内を移動するカーソルや、キーボード１０６を介して入力された数字や文字など表示装置１０５に表示させる。
【００１７】
図２は、図１のように構成されたコンピュータ装置１００に備えられる本実施の形態におけるデータ編集装置を示す機能ブロック図である。データ編集装置１は、上記図１のＨＤＤ１０４又はＲＯＭ１０２に格納されたプログラムにより、ＨＤＤ１０４に記録された映像、音楽等の素材データを編集する処理を実行することができる。なお、図２に示す各機能ブロックの一部又は全部をハードウェアで構成してもよいことは勿論である。
【００１８】
図２に示すように、データ編集装置１は、素材となる複数種類の符号化方式を含むファイルの形式で圧縮符号化された素材データを復号伸張して編集し、その編集データに対応する素材データを目的とするファイルの形式にて出力するものである。
【００１９】
ここで、本実施の形態においては、素材となる複数種類のファイルの形式に圧縮符号化された素材データとして、ＡＶＩ（Audio Visual Interleave）ファイル及びＭＰＥＧファイルを使用し、これらの映像データを編集し、目的とするファイルの形式としてＭＰＥＧ形式のファイル（以下、書き出しＭＰＥＧファイルという。）を出力する場合について説明する。また、符号化方式とは、ＭＰＥＧ方式又はＡＶＩ等、ファイル名の拡張子等により判別可能である情報を示す。また、符号化ファイルの形式とは、各符号化方式における符号化のためのパラメータを示し、例えば符号化方式がＭＰＥＧ方式である場合、ＭＰＥＧ方式の符号化ファイルの形式（以下、ＭＰＥＧ形式という。）は、ビットレート及び画サイズ等を示すものとする。また、ファイルの形式とは、符号化方式及び符号化ファイルの形式の両者を示すものとする。
【００２０】
図２に示すように、データ編集装置１は、素材となるＭＰＥＧ形式で圧縮符号化された素材データ（以下、ＭＰＥＧ素材データという。）及びＡＶＩ形式で圧縮符号化された素材データ（以下、ＡＶＩ素材データという。）を復号伸張するための復号伸張手段である夫々ＭＰＥＧインポータ（デコーダ）１０及びＡＶＩインポータ１１と、これらのインポータ１０，１１により復号伸張された複数の素材データを使用し、この素材データの一部又は全部を任意に繋ぎ合わせて編集した編集データを生成するデータ編集手段であるビデオ編集制御プログラム２０と、ビデオ編集制御プログラム２０により編集された編集データに対応する素材データを目的のファイルの形式としてＭＰＥＧ形式に圧縮符号化した出力ファイルを生成して出力するＭＰＥＧコンパイラ（エンコーダ）３０とから構成されている。
【００２１】
ＭＰＥＧコンパイラ３０は、ビデオ編集制御プログラム２０により編集された編集データに対応する素材データを、目的とするファイルの形式としてＭＰＥＧ形式の出力ファイルを生成して出力するものであって、編集データは、複数の素材データの一部又は全部である部分データから構成され、この部分データに対応する素材データが目的とするファイルの符号化形式及び符号化ファイルの形式と同一である場合、当該部分データに対応する素材データを復号せずに使用して出力ファイルを生成するものである。
【００２２】
データ編集装置１においては、上述の図１の表示装置１０５に、映像（ビデオ）編集用の画面が表示され、使用者はこの画面をキーボード１０６及びマウス１０７等により操作してデータを編集することができる。編集用画面には、例えば、編集する素材となる、複数のＭＰＥＧファイル及びＡＶＩファイルの例えばファイル名等、どのようなファイルが素材として存在するか否かを示す素材名表示部、素材データのファイル名を選択すると、その映像が表示される素材表示部、及びこれらのファイルの一部又は全部を切り出し繋ぎ合わせるための編集映像作成部等を有している。
【００２３】
ビデオ等の映像を編集する場合、使用者が表示装置の素材名表示部に表示される複数の素材データのファイルの１つを選択し、素材表示部にて映像を表示させる。使用者は、例えばその映像の一部を切り出し、編集映像作成部に設けられた編集データの時間を示すタイムラインと呼ばれるトラック上に、切り出した映像を配置することを繰り返すことにより、タイムライン上に複数の素材データの一部又は全部が組み合わされた編集データが作成される。
【００２４】
データ編集装置１のＡＶＩインポータ１１は、ビデオ編集制御プログラム２０に接続されており、ビデオ編集制御プログラム２０の要求に従い、圧縮符号化されたＡＶＩ素材ファイルをデコードしたベースバンドデータをビデオ編集制御プログラム２０に供給する。
【００２５】
また、ＭＰＥＧインポータ１０は、ビデオ編集制御プログラム２０及びＭＰＥＧコンパイラ３０に接続されており、ビデオ編集制御プログラム２０の要求に従い、圧縮符号化されたＭＰＥＧ素材ファイルをデコードしてベースバンドデータをビデオ編集制御プログラム２０に供給すると共に、後述するＭＰＥＧコンパイラ３０の要求に従い、ビットレート、及び画サイズ等を示すＭＰＥＧファイルの形式（ＭＰＥＧ形式）をＭＰＥＧコンパイラ３０に供給する。
【００２６】
ビデオ編集制御プログラム２０は、ＡＶＩインポータ１１、ＭＰＥＧインポータ１０、ＭＰＥＧコンパイラ３０と接続されており、上述したように、素材データを読み込み、その一部又は全部をタイムライン上にレイアウトする機能を有し、レイアウトされた部分データを示す素材データのファイル名及び切り出し位置、並びに部分データのレイアウト順序等、タイムライン上の部分データの配置情報を管理する。全ての素材データは、それぞれＭＰＥＧ、ＡＶＩ等の所定のファイルの形式に圧縮符号化されたものであるため、例えば、素材として、ＡＶＩファイルが選択された場合、ＡＶＩ素材ファイルをデコードしたベースバンドデータが必要になる。また、素材として、ＭＰＥＧファイルが選択されたときは、ＭＰＥＧ素材ファイルのベースバンドデータが必要になる。従って、素材として、ＡＶＩ素材ファイル及びＭＰＥＧ素材ファイルが選択された場合、夫々ＡＶＩインポータ１１及びＭＰＥＧインポータ１０を呼び出し、ベースバンドデータを取得する。
【００２７】
そして、複数の素材データの一部又は全部がタイムライン上に配置されることにより作成された編集データに対応する素材データは、その編集が終了後、書き出しＭＰＥＧファイルとして出力される。このとき、ビデオ編集制御プログラム２０は、ＭＰＥＧコンパイラ３０を呼び出す。
【００２８】
ＭＰＥＧコンパイラ３０は、ビデオ編集制御プログラム２０及びＭＰＥＧインポータ１０に接続されており、編集データに対応する素材データを書き出しＭＰＥＧファイルとして出力する場合に、ビデオ編集制御プログラム２０から呼び出される。そして、ＭＰＥＧコンパイラ３０には、ビデオ編集制御プログラム２０からタイムライン上の各部分データの配置情報が供給され、ビデオ編集制御プログラム２０を介して、又はＭＰＲＧインポータ１０から、部分データのベースバンドデータが供給される。また、ＭＰＥＧコンパイラ３０は、直接、素材データから、必要な部分の切り出しも行う。ＭＰＥＧコンパイラ３０は、ベースバンドデータをエンコードした後、そのエンコードされたデータと直接切り出した素材データを用いて各部分データに対応するデータを合成し、書き出しＭＰＥＧファイルに書き込み、出力ファイルとして出力する。
【００２９】
このＭＰＥＧコンパイラ３０は、目的とするファイルの形式、即ち、本実施の形態においては、その符号化方式がＭＰＥＧ方式であって、その符号化ファイルの形式である例えばビットレートが４Ｍｂｐｓ等のように指定するファイル指定機能部と、編集データを構成する各部分データの符号化方式を取得する符号化方式得機能部と、編集データを構成する部分データの符号化方式がＭＰＥＧ方式である場合、そのビットレート及び画サイズ等のＭＰＥＧファイルの形式（ＭＰＥＧ形式）を取得する符号化ファイル形式取得機能部と、編集データを構成する部分データの符号化方式がＭＰＥＧ方式ではない場合と、ＭＰＥＧ方式であっても、例えばビットレートが目的のビットレートの４Ｍｂｐｓではなく、ＭＰＥＧ形式が一致しない場合に、その部分データを復号したベースバンドデータをビデオ編集制御プログラム２０から取得し、該ベースバンドデータをビットレートが４ＭｂｐｓのＭＰＥＧ形式に圧縮符号化する圧縮符号化機能部と、目的とするＭＰＥＧ形式のＭＰＥＧファイルを作成して出力ファイルとして出力する出力機能部とを有している。出力機能部は、部分データに対応する素材データが書き出しＭＰＥＧファイルと同一のＭＰＥＧ形式である場合は、その部分データに対応する素材データを直接、素材データのファイルから取得する。
【００３０】
ここで、本実施の形態においては、上記符号化ファイル形式取得機能部は、ＭＰＥＧインポータ１０と接続され、このＭＰＥＧインポータ１０から、部分データのビットレート及び画サイズ等のＭＰＥＧ形式を取得する。このように、インポータとコンパイラとが接続されることにより、たとえビデオ編集制御プログラム２０がサポートしていないファイルの形式であっても、コンパイラはビットレート及び画サイズ等のＭＰＥＧ形式情報の入手が可能となる。
【００３１】
また、本実施の形態においては各機能部をＭＰＥＧコンパイラ３０に備えるものとして説明するが、これらの機能部の一部又は全部をビデオ編集制御プログラム２０に備えるようにしてもよい。
【００３２】
次に、本実施の形態における動作について説明する。図３は、編集データから書き出しＭＰＥＧファイルを生成して出力する工程（ＭＰＥＧファイル書き出し方法）を示すフローチャートである。上述した如く、ビデオ編集制御プログラム２０により、複数の素材データの一部又は全部を任意に繋ぎ合わされて編集された編集データに対応する素材データを書き出しＭＰＥＧファイルとして出力する場合、先ず、ビデオ編集制御プログラム２０がＭＰＥＧコンパイラ３０を呼び出す。ＭＰＥＧコンパイラ３０では、以下の処理が行われる。
【００３３】
先ず、ファイル指定機能部により、書き出しファイルを新規にオープンする（ステップＳ１）。このとき、使用者の指定に基づき、書き出しファイルがＭＰＥＧ方式であることと共に、そのビットレート及び画サイズ等のＭＰＥＧ形式が所定値に設定される。そして、ビデオ編集制御プログラム２０から、ＭＰＥＧコンパイラ３０の符号化方式取得機能部により、タイムライン上の先頭に配置されている部分データに該当する素材ファイルの例えばファイル名、配置情報等のファイル情報を取得する（ステップＳ２）。そして、例えばファイル名を取得することにより、その拡張子等から、部分データの符号化方式がＭＰＥＧ方式であるか否かが判定される（ステップＳ３）。
【００３４】
部分データの符号化方式がＭＰＥＧ方式であると判定された場合、ＭＰＥＧコンパイラ３０の符号化ファイル形式取得機能部は、ＭＰＥＧインポータ１０から、この部分データのビットレート及び画サイズ等のＭＰＥＧ形式を取得する。そして、取得したＭＰＥＧ形式が、書き出しＭＰＥＧファイルのＭＰＥＧ形式と一致するか否かが判定され（ステップＳ５）、一致する場合は、ＭＰＥＧコンパイラ３０は、直接、素材ファイルにアクセスし、その部分データに該当する部分の素材データを切り出し、ステップＳ９の処理に進む。
【００３５】
一方、ステップＳ３において、編集データを構成する先頭の部分データの符号化方式がＭＰＥＧ方式でないと判定された場合、及び、ステップＳ５において、部分データのビットレート及び画サイズ等のＭＰＥＧ形式が書き出しＭＰＥＧファイルのＭＰＥＧ形式と同一でないと判定された場合は、ＭＰＥＧコンパイラ３０のベースバンドデータ取得手段により、ビデオ編集制御プログラム２０から、部分データのベースバンドデータを取得する。この際、ビデオ編集制御プログラム２０は、ＭＰＥＧ又はＡＶＩ等の各符号化方式に対応するインポータ１０，１１を呼び出して、部分データをデコードしたベースバンドデータを取得し、ＭＰＥＧコンパイラ３０に供給する。そして、このベースバンドデータは、ＭＰＥＧコンパイラ３０の圧縮符号化手段により、書き出しＭＰＥＧファイルと同様のＭＰＥＧ形式にエンコードされ、ステップＳ９に進む。
【００３６】
ステップＳ９においては、ステップＳ６において素材ファイルから切り取られた部分データ、又はステップＳ８において、ベースバンドデータが圧縮符号化されたＭＰＥＧデータを、配置情報に基づいてステップＳ１にてオープンしたＭＰＥＧファイルに書き込む。そして、ステップＳ９にて書き込んだ部分データがタイムラインの最後の部分データか否かが判定され（ステップＳ１０）、最後の部分データではない場合は、ステップＳ３に戻って処理を繰り返す。一方、ステップＳ１０にて、最後の部分データであると判定された場合は、書き出しＭＰＥＧファイルをクローズし（ステップＳ１１）、処理を終了する。
【００３７】
このように構成されたデータ編集装置１においては、編集データ、即ち、タイムラインに配置された編集データを構成する複数の部分データに対応する素材データが、書き出しＭＰＥＧファイルと同一の符号化方式、及び符号化ファイルの形式であった場合、ＭＰＥＧ素材ファイル（素材データ）から部分データに該当するＭＰＥＧデータを切り出して、書き出しＭＰＥＧファイルに直接書き出す、即ち、編集前後において、符号化方式、及び符号化ファイルの形式が同一であった場合は、復号伸張せずに素材データをそのまま使用することにより、通常は、素材データを全て一旦復号伸張してから圧縮符号化するために書き出しに時間がかかっていたのに対し、書き出しＭＰＥＧファイルを書き出す際の時間を低減することができる。
【００３８】
こうして、ＭＰＥＧや他フォーマットのファイル等が混在した状態でも、出力するＭＰＥＧフォーマット（ファイルの形式）に適合するＭＰＥＧファイルならば、一旦デコードし、再度エンコードする必要がなく、必要な部分データをコピーするのみの処理で書き出しＭＰＥＧファイルが作成できるため、書き出しファイルの作成時間が短縮できると共に、画質も劣化することがない。
【００３９】
以下、本実施の形態におけるタイムラインについて、更に具体的に説明する。図４は、第１の具体例のタイムライン及びその処理方法を説明する図である。
【００４０】
図４に示すように、タイムラインＴＲ１には、ＭＰＥＧ−Ａ８、ＡＶＩ−Ｂ、ＭＰＥＧ−Ｃ４で示される部分データが順に配置されている。ここで、部分データＭＰＥＧ−Ａ８は、その素材ファイルが、ビットレート８ＭｂｐｓのＭＰＥＧファイルとし、部分データＡＶＩ−Ｂは、その素材ファイルが、ＡＶＩファイルとし、また、部分データＭＰＥＧ−Ｃ４は、その素材ファイルがビットレート４ＭｂｐｓのＭＰＥＧファイルとする。ビデオ編集制御プログラム２０は、上述した如く、このようなタイムラインＴＲ１上にレイアウトされる部分データの素材ファイル名、該素材ファイルにおける該当する部分の切り出し位置、及びレイアウト順序等の部分データの情報を管理するものである。
【００４１】
また、部分データＭＰＥＧ−Ｄ４は、書き出しＭＰＥＧファイルであり、ビットレートが４ＭｂｐｓのＭＰＥＧ方式で書き出すものとする。また、この書き出しＭＰＥＧ−Ｄ４は、ビットレート以外の例えば画サイズ等のその他のＭＰＥＧ形式についても部分データＭＰＥＧ−Ｃ４と一致しているとする。
【００４２】
タイムラインＴＲ１の場合、先頭部分データであるＭＰＥＧ−Ａ８は、書き出しＭＰＥＧファイルのＭＰＥＧ−Ｄ４とは符号化方式はＭＰＥＧ方式で同一であるものの、ビットレート、即ちＭＰＥＧ形式が異なるため、図３に示すステップＳ５において、書き出しファイルとＭＰＥＧ形式が異なると判定され、ステップＳ７の処理に進む。即ち、一旦、ベースバンドデータに変換され（ステップＳ７）、目的のファイルの形式、即ち、ビットレートが４ＭｂｐｓのＭＰＥＧ方式のデータにエンコードされ（ステップＳ８）、書き出しＭＰＥＧ−Ｄ４ファイルにコピーされる。
【００４３】
また、タイムラインＴＲ１の２番目の部分データであるＡＶＩ−Ｂは、ＡＶＩファイルであり、書き出しＭＰＥＧファイルであるＭＰＥＧ−Ｄ４とファイル種別が異なるため、図３のステップＳ３にて、符号化方式が異なると判定され、ステップＳ７に進み、一旦、ベースバンドデータに変換された後、目的のファイルの形式、即ち、ビットレートが４ＭｂｐｓのＭＰＥＧ方式のデータにエンコードされ（ステップＳ８）、書き出しＭＰＥＧ−Ｄ４ファイルにコピーされる。
【００４４】
更に、タイムラインＴＲ１の最後の部分データであるＭＰＥＧ−Ｃ４は、ＭＰＥＧ−Ｄ４とＭＰＥＧ形式が一致するため、ステップＳ６に進み、素材ファイルから、部分データに該当する部分のデータが切り出されて取得され、書き出しＭＰＥＧ−Ｄ４ファイルに直接コピーされる。
【００４５】
また、図５は、第２の具体例のタイムライン及びその処理方法を説明する図である。図５に示すように、タイムラインＴＲ２は、ビデオエフェクトが適用されている点で図４に示す第１の具体例とは異なる。タイムラインＴＲ２は、２番目の部分データＡＶＩ−Ｂの終わり部分４１と、最後の部分データＭＰＥＧ−Ｃ４の始まり部分４２とが例えば合成される等するビデオエフェクトが適用されるものとする。この場合、ビデオエフェクトが適用されている部分４１，４２は、エフェクト処理が必要になるため、書き出しＭＰＥＧファイルの符号化方式及び符号化ファイルの形式が同一か否かの判定は行う必要はなく、エフェクト処理された部分４１，４２を切り出し、ステップＳ７と同様に、各インポータにより、ベースバンドデータに変換し、ベースバンドデータをエフェクト処理し（ステップＳ２１）、その後、ステップＳ８と同様に書き出しＭＰＥＧ形式にエンコードして（ステップＳ８）、書き出しＭＰＥＧ−Ｄ４ファイルに書き込む。このように、エフェクト処理が含まれる場合は、符号化方式及び符号化ファイルの形式に拘わらず一旦ベースバンドデータに変換してエフェクト処理するため、例えば、ステップＳ３の処理前に、エフェクト処理が適用される部分か否かの判定を行う処理等を設ければよい。
【００４６】
また、エフェクト処理を行わない部分は、上述した第１の具体例と同様に、書き出しＭＰＥＧファイルと符号化方式及びＭＰＥＧ形式が同一ではないものは、一旦ベースバンドデータに変換してからエンコードし、書き出しＭＰＥＧファイルのＭＰＥＧ形式と一致するものは、ＭＰＥＧ素材ファイルから、当該部分データに該当する部分を切り出し、書き出しＭＰＥＧ−Ｄ４ファイルにそのままコピーするようにすることで、第１の具体例と同様に書き出しＭＰＥＧファイルを作成する時間を短縮することができる。
【００４７】
なお、ＭＰＥＧファイルは、Ｉピクチャ（フレーム内符号化画像）、Ｐピクチャ（フレーム間順方向予測符号化画像）、Ｂピクチャ（双方向予測符号化画像）からなるＧＯＰ（Group of Picture）構造を用いている。上述の実施の形態においては、編集データを構成する部分データの編集前の圧縮符号化されている素材データと、出力ファイルとのファイルの形式（符合化方式及び符号化ファイルの形式）が一致した場合、素材データをそのまま切り出して使用するものとしたが、その切り出し位置がＧＯＰの途中となる場合は、そのまま切り出さずにＧＯＰ単位で切り出す等適切な処理を行うようにしてもよく、また、他の方法により、ＧＯＰの途中でも符号化が完結されるような処理を行ってもよい。
【００４８】
また、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態では、インポータ及びコンパイラは、夫々圧縮符号化手段及び復号伸張手段としたが、素材データとして、符号化のみされた符号化データを使用してもよく、コンパイラは復号のみ行うものとしてもよい。また、上述の実施の形態においては、取り扱うファイルとしてＭＰＥＧファイル、ＡＶＩファイルをあげて説明したが、その他の形式の動画ファイル、或いはＧＩＦファイル、ＢＭＰファイル等の静止画ファイルを混在して取り扱う場合にも、適用できる。また、上述の実施の形態においては、ビデオデータを編集するものとして説明したが、異なるファイルの形式（符号化方式及び符号化ファイル形式）のオーディオデータを編集する場合も、同様に取り扱うことができることは言うまでもない。
【００４９】
また、上述の実施の形態では、ＣＰＵにコンピュータプログラムを実行させるものとして説明したが、これに限定されるものではなく、各機能をハードウェアで構成することも可能である。また、上記コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００５０】
【発明の効果】
以上詳細に説明したように、本発明に係るデータ編集装置は、複数種類の符号化方式を含むファイルの形式の素材データを編集し、目的のファイルの形式のデータとして出力するデータ編集装置において、上記素材データを該素材データの符号化方式に対応する復号方式により復号する復号手段と、上記復号手段により復号された複数の素材データの一部又は全部を任意に繋ぎ合わせて編集し、複数の部分データから構成される編集データを生成するデータ編集手段と、上記復号手段及び上記データ編集手段から取得したファイルの形式に基づいて、上記編集データに対応する上記素材データを上記目的のファイルの形式に符号化した出力ファイルを生成する符号化手段とを備え、上記符号化手段は、上記編集データを構成する部分データが、上記目的のファイルの形式と同一である場合、上記部分データに対応する素材データを復号せずに使用して上記出力ファイルを生成するので、編集制御プログラムがサポートしていないＭＰＥＧや他フォーマットのファイル等が混在した状態でもスマートレンダリングが可能となり、出力するＭＰＥＧ形式等のファイルの形式に適合する素材データならば、一旦デコードし、再度エンコードする必要がなく、必要な部分データをコピーするのみの処理で、指定したファイルの形式の出力ファイルが作成でき、出力ファイルの作成時間が短縮できると共に、画質の劣化を低減する。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るデータ編集装置をソフトウェア的に実現するためのコンピュータ装置のハードウェア構成の概略を示すブロック図である。
【図２】本発明の実施の形態に係るデータ編集装置を示す機能ブロック図である。
【図３】本発明の実施の形態に係るデータ編集方法を示す図であって、編集データからＭＰＥＧファイルを生成して出力する工程を示すフローチャートである。
【図４】本発明の実施の形態における第１の具体例のタイムライン及びその処理方法を説明する図である。
【図５】本発明の実施の形態における第２の具体例のタイムライン及びその処理方法を説明する図である。
【符号の説明】
１データ編集装置、１０ＭＰＥＧインポータ、１１ＡＶＩインポータ、２０ビデオ編集制御プログラム、３０ＭＰＥＧコンパイラ、１００コンピュータ装置、１０１ＣＰＵ、１０２ＲＯＭ、１０３ＲＡＭ、１０４ＨＤＤ、１０５表示装置、１０９〜１１１インターフェース回路、１０６キーボード、１０７マウス、１０８スピーカ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data editing apparatus, a data editing method, and a program for editing material data in a file format including a plurality of types of encoding methods and outputting the edited data as data in a target file format.
[0002]
[Prior art]
Conventionally, an edit data creating apparatus that creates edit data that defines edit contents when creating edited data by arbitrarily connecting edit materials obtained by extracting a part of data on a raw material is disclosed in Patent Document 1 below. It is disclosed. In the technique described in Patent Document 1, the content of the editing material is moved on the original material while the position of the editing material on the editing data is held, and the content of the editing material is changed at the held position. The contents can be changed without moving the position of the editing material on the editing data.
[0003]
By the way, since such editing data edits material data such as video or music recorded in various compression formats, the processing is complicated. Therefore, even when material video data of various types of compression formats is mixed, it is possible to eliminate the troublesome process of unifying the format, and high-quality editing work that does not cause degradation of video data due to recompression A non-linear editing apparatus and a non-linear editing method for the purpose of being able to do this are disclosed in Patent Document 2 below. The non-linear editing apparatus described in Patent Document 2 includes a storage capable of recording a plurality of video data compression-encoded in a plurality of types of compression formats, and a plurality of types of compression formats recorded in the storage. And a first multi-format decoder capable of decompressing video data of at least two types of compression formats.
[0004]
By the way, in the above-mentioned Patent Document 1 and Patent Document 2 and the like, when outputting a predetermined format, for example, an MPEG (Moving Picture Experts Group) file, all data from a mixed state of MPEG and other format files, etc. The MPEG file is output by decompressing (decoding) and recompressing (encoding) it into the MPEG file. However, in such a method, since it is necessary to once decode and re-encode all the files, there are problems that it takes time to create an MPEG file and the image quality deteriorates.
[0005]
To solve this problem, recompress material data only if the file format of the original material data is different from the output file format after editing.If the file format matches, recompress the material data. So-called smart rendering technology has been developed that enables editing.
[0006]
[Patent Document 1]
JP 2000-149502 A
[Patent Document 2]
International Publication No. 00/51347 Pamphlet
[0007]
[Problems to be solved by the invention]
Recently, a video editing tool (software) for realizing such smart rendering on a personal computer and a personal computer preinstalled with the video editing tool are also commercially available. However, such a video editing tool does not necessarily support the file format desired by the user, and performs smart rendering on the material data file and outputs it as an arbitrary file format, for example, an MPEG file. There is a problem that it cannot be done.
[0008]
  The present invention has been proposed in view of such a conventional situation, and one file intended for editing work using material data in a plurality of types of files is supported by an editing tool. Data editing device, data editing method, which can be output quickly in a unified formatas well asprogramTheThe purpose is to provide.
[0009]
[Means for Solving the Problems]
  In order to achieve the above object, a data editing apparatus according to the present invention is a data editing apparatus that edits material data in a file format including a plurality of types of encoding methods and outputs the data as data in a target file format. A decoding means for decoding the material data by a decoding method corresponding to the encoding method of the material data, and a plurality of data decoded by the decoding meansofPart or all of the dataAs partial dataCorresponding to the editing data based on the data editing means for generating editing data composed of a plurality of partial data, which is arbitrarily combined and edited, and the file format obtained from the decoding means and the data editing means Generate an output file that encodes the material data into the target file format.Output file generationMeans andOutput file generationThe means is partial data constituting the editing data.File format of material data corresponding toIf the format of the target file is the same, the material data corresponding to the partial data is used without being decrypted to generate the output file.When effect processing is performed when part or all of the material data is connected in the data editing means, the output file generation means corresponds to partial data including a portion on which the effect processing is performed. Regardless of whether the file format of the material data is the same as the format of the target file, the portion to which the effect processing is performed is cut out, the cut out portion is decrypted, the effect processing is performed, and the effect Encode the processed part into the target file format and output it.
[0010]
  The data according to the present inventionChapterThe data collection method is a data editing method for editing material data in a file format including a plurality of types of encoding methods and outputting the data as data in a target file format. The material data corresponds to the encoding method of the material data. A decoding step for decoding by the decoding method, and a plurality of decoding steps decoded in the decoding stepofPart or all of the dataAs partial dataA data editing process for generating the editing data composed of a plurality of partial data, which is arbitrarily combined and edited, and an output file in which material data corresponding to the editing data is encoded in the target file format. DoOutput file generationComprising the stepsOutput file generationIn the process, the partial data constituting the editing dataMaterial data corresponding toA step of acquiring the format of the file, and when the format of the file is the same as the format of the target file, the material data corresponding to the partial data is decryptedIsTo generate the above output file.When effect processing is performed when connecting part or all of the material data in the data editing step, the material corresponding to partial data including the portion on which the effect processing is performed in the output file generation step Regardless of whether the format of the data file is the same as the format of the target file, the portion to be subjected to the effect processing is cut out, the cut out portion is decoded and subjected to the effect processing, and the The effect-processed part is encoded into the target file format and output.
[0011]
In the present invention, if the format of the corresponding material data file among the partial data constituting the editing data is the same as the target file format, the material data corresponding to the partial data is directly stored in the output file. By writing, you can edit multiple material data that has been compressed and / or encoded in multiple file formats, including file formats that are not supported by the editing control means, and output the data as the target file format Smart Rendering is also possible, and output files can be generated more quickly than when all data is once decoded / expanded and then compressed / encoded, and expanded / compressed / encoded. -Deterioration of data is reduced because decoding is not repeated.
[0012]
Here, in this specification, the file format indicates an encoding method such as the MPEG method and the encoded file format, and the encoded file format includes, for example, a bit rate and an image size. The various parameters are shown.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In this embodiment, the present invention is applied to a data editing apparatus that writes out an MPEG file from a plurality of types of video files arranged on a timeline during video editing.
[0014]
First, a hardware configuration for realizing the data editing apparatus according to the present embodiment will be described. FIG. 1 is a block diagram showing an outline of a hardware configuration of a computer apparatus for realizing the data editing apparatus according to the present embodiment as software. As shown in FIG. 1, a computer apparatus 100 includes a central processing unit (CPU) 101, a read only memory (ROM) 102, a random access memory (RAM) 103, a hard disk drive (HDD) 104, a display device 105, and an interface. Circuits (I / F) 109 to 111 are connected via a bus 112. Further, the computer apparatus 100 is connected to a keyboard 106, a mouse 107, and a speaker 108 through interface circuits 109 to 111, respectively.
[0015]
For example, when an execution command for predetermined processing is given through the interface circuits 109 and 110 by operating the mouse 107 or the keyboard 106, the CPU 101 executes a predetermined operation based on a program stored in the ROM 102. As a result, the computer apparatus as a whole is caused to execute various processes as described above.
[0016]
At this time, the CPU 101 reads out image data stored in the HDD 104 as necessary based on a program stored in the HDD 104 or the ROM 102 and supplies the read image data to the display device 105 to display a predetermined screen. The display device 105 displays a cursor that moves in the screen in response to the operation of the mouse 107, numbers and characters input via the keyboard 106, and the like.
[0017]
FIG. 2 is a functional block diagram showing a data editing apparatus according to the present embodiment provided in the computer apparatus 100 configured as shown in FIG. The data editing apparatus 1 can execute processing for editing material data such as video and music recorded in the HDD 104 by a program stored in the HDD 104 or the ROM 102 of FIG. Of course, some or all of the functional blocks shown in FIG. 2 may be configured by hardware.
[0018]
As shown in FIG. 2, the data editing apparatus 1 decodes and decompresses and edits material data compression-encoded in a file format including a plurality of types of encoding methods as materials, and material corresponding to the edited data Data is output in the target file format.
[0019]
In this embodiment, an AVI (Audio Visual Interleave) file and an MPEG file are used as material data compressed and encoded into a plurality of types of file formats as materials, and these video data are edited. A case of outputting a file in MPEG format (hereinafter referred to as a write-out MPEG file) as a target file format will be described. Also, the encoding method indicates information that can be discriminated by the extension of the file name, such as MPEG method or AVI. The encoded file format indicates parameters for encoding in each encoding method. For example, when the encoding method is the MPEG method, the encoded file format of the MPEG method (hereinafter referred to as MPEG format). ) Indicates a bit rate, an image size, and the like. The file format indicates both the encoding method and the encoded file format.
[0020]
As shown in FIG. 2, the data editing apparatus 1 includes material data (hereinafter referred to as MPEG material data) compressed and encoded in the MPEG format as material and material data (hereinafter referred to as AVI) compressed and encoded in the AVI format. MPEG importer (decoder) 10 and AVI importer 11 which are decoding / decompression means for decoding / decompressing material data), and a plurality of material data decoded / decompressed by these importers 10 and 11, A video editing control program 20 that is data editing means for generating editing data that is edited by arbitrarily connecting some or all of the data, and material data corresponding to the editing data edited by the video editing control program 20 Generate and output an output file compressed and encoded in MPEG format as the file format And a PEG compiler (encoder) 30.
[0021]
The MPEG compiler 30 generates and outputs an output file in the MPEG format as the target file format for the material data corresponding to the edited data edited by the video editing control program 20. It consists of partial data that is part or all of a plurality of material data, and when the material data corresponding to this partial data is the same as the encoding format of the target file and the encoding file format, The corresponding material data is used without being decrypted to generate an output file.
[0022]
In the data editing device 1, a screen for video (video) editing is displayed on the display device 105 in FIG. 1 described above, and the user edits the data by operating this screen with the keyboard 106 and the mouse 107 or the like. Can do. In the editing screen, for example, a material name display section that indicates whether or not a plurality of MPEG files and AVI files that are materials to be edited, such as file names, are present as materials, a file of material data When a name is selected, it has a material display section for displaying the video, an edited video creation section for cutting out and connecting some or all of these files, and the like.
[0023]
When editing an image such as a video, the user selects one of a plurality of material data files displayed on the material name display portion of the display device, and displays the image on the material display portion. The user, for example, cuts out a part of the video and repeats placing the cut-out video on a track called a timeline indicating the time of editing data provided in the edited video creation unit. Editing data is created by combining some or all of the plurality of material data.
[0024]
The AVI importer 11 of the data editing apparatus 1 is connected to the video editing control program 20, and in accordance with the request of the video editing control program 20, the baseband data obtained by decoding the compression-coded AVI material file is converted into the video editing control program 20. To supply.
[0025]
The MPEG importer 10 is connected to the video editing control program 20 and the MPEG compiler 30, and in accordance with the request of the video editing control program 20, decodes the compression-encoded MPEG material file to control the baseband data for video editing. In addition to being supplied to the program 20, an MPEG file format (MPEG format) indicating a bit rate, an image size, and the like is supplied to the MPEG compiler 30 in accordance with a request from the MPEG compiler 30 described later.
[0026]
The video editing control program 20 is connected to the AVI importer 11, the MPEG importer 10, and the MPEG compiler 30, and has the function of reading material data and laying out part or all of it on the timeline as described above. The arrangement information of the partial data on the timeline, such as the file name and cutout position of the material data indicating the layout partial data, and the layout order of the partial data, is managed. Since all the material data is compressed and encoded in a predetermined file format such as MPEG and AVI, for example, when an AVI file is selected as the material, baseband data obtained by decoding the AVI material file Is required. Also, when an MPEG file is selected as a material, baseband data of the MPEG material file is required. Accordingly, when an AVI material file and an MPEG material file are selected as materials, the AVI importer 11 and the MPEG importer 10 are called to acquire baseband data.
[0027]
Then, the material data corresponding to the editing data created by arranging some or all of the plurality of material data on the timeline is output as an export MPEG file after the editing is completed. At this time, the video editing control program 20 calls the MPEG compiler 30.
[0028]
The MPEG compiler 30 is connected to the video editing control program 20 and the MPEG importer 10, and is called from the video editing control program 20 when material data corresponding to editing data is written out and output as an MPEG file. Then, the arrangement information of each partial data on the timeline is supplied from the video editing control program 20 to the MPEG compiler 30, and the baseband data of the partial data is supplied via the video editing control program 20 or from the MPRG importer 10. Supplied. The MPEG compiler 30 also cuts out necessary portions directly from the material data. The MPEG compiler 30 encodes the baseband data, then synthesizes the data corresponding to each partial data using the encoded data and the directly cut out material data, writes the data into a writing MPEG file, and outputs it as an output file.
[0029]
The MPEG compiler 30 has a target file format, that is, in this embodiment, the encoding method is the MPEG method, and the encoded file format is, for example, a bit rate of 4 Mbps. If the file specification function unit to be specified, the encoding method obtaining function unit for obtaining the encoding method of each partial data constituting the editing data, and the encoding method of the partial data constituting the editing data are MPEG methods, The encoded file format acquisition function unit for acquiring the MPEG file format (MPEG format) such as the bit rate and the image size, and the case where the encoding method of the partial data constituting the editing data is not the MPEG method and the MPEG method. However, for example, when the bit rate is not 4 Mbps of the target bit rate and the MPEG format does not match A baseband data obtained by decoding the partial data is acquired from the video editing control program 20, and the baseband data is compressed and encoded into an MPEG format having a bit rate of 4 Mbps, and an MPEG in the target MPEG format is obtained. An output function unit that creates a file and outputs the file as an output file. When the material data corresponding to the partial data is in the same MPEG format as the exported MPEG file, the output function unit acquires the material data corresponding to the partial data directly from the material data file.
[0030]
Here, in the present embodiment, the encoded file format acquisition function unit is connected to the MPEG importer 10 and acquires the MPEG format such as the bit rate and the image size of the partial data from the MPEG importer 10. Thus, by connecting the importer and the compiler, the compiler can obtain MPEG format information such as bit rate and image size even if the file format is not supported by the video editing control program 20. It becomes.
[0031]
In the present embodiment, each functional unit is described as being provided in the MPEG compiler 30, but a part or all of these functional units may be provided in the video editing control program 20.
[0032]
Next, the operation in this embodiment will be described. FIG. 3 is a flowchart showing a process (MPEG file writing method) of generating and outputting an MPEG file written from edited data. As described above, when the video editing control program 20 writes out the material data corresponding to the editing data edited by arbitrarily connecting a part or all of a plurality of material data and outputs it as an MPEG file, first, the video editing control is performed. The program 20 calls the MPEG compiler 30. The MPEG compiler 30 performs the following processing.
[0033]
First, a new file is opened by the file designation function unit (step S1). At this time, based on the designation by the user, the export file is in the MPEG format, and the MPEG format such as the bit rate and image size is set to a predetermined value. Then, from the video editing control program 20, the file information such as the file name and the arrangement information of the material file corresponding to the partial data arranged at the head on the timeline is obtained by the encoding method acquisition function unit of the MPEG compiler 30. Obtain (step S2). Then, for example, by acquiring the file name, it is determined from the extension or the like whether or not the encoding method of the partial data is the MPEG method (step S3).
[0034]
When it is determined that the encoding method of the partial data is the MPEG method, the encoded file format acquisition function unit of the MPEG compiler 30 acquires the MPEG format such as the bit rate and the image size of the partial data from the MPEG importer 10. To do. Then, it is determined whether or not the acquired MPEG format matches the MPEG format of the export MPEG file (step S5). If they match, the MPEG compiler 30 directly accesses the material file and adds the partial data to the partial data. The material data of the corresponding part is cut out, and the process proceeds to step S9.
[0035]
On the other hand, if it is determined in step S3 that the encoding method of the first partial data constituting the editing data is not the MPEG method, and in step S5, the MPEG format such as the bit rate and image size of the partial data is written out. When it is determined that the file is not the same as the MPEG format, the baseband data of the partial data is acquired from the video editing control program 20 by the baseband data acquisition means of the MPEG compiler 30. At this time, the video editing control program 20 calls the importers 10 and 11 corresponding to each encoding method such as MPEG or AVI, acquires baseband data obtained by decoding the partial data, and supplies it to the MPEG compiler 30. The baseband data is encoded by the compression encoding means of the MPEG compiler 30 into the same MPEG format as the exported MPEG file, and the process proceeds to step S9.
[0036]
In step S9, the partial data cut from the material file in step S6 or the MPEG data in which the baseband data is compression-encoded in step S8 is written into the MPEG file opened in step S1 based on the arrangement information. . Then, it is determined whether or not the partial data written in step S9 is the last partial data in the timeline (step S10). If it is not the last partial data, the process returns to step S3 and the process is repeated. On the other hand, if it is determined in step S10 that the data is the last partial data, the writing MPEG file is closed (step S11), and the process is terminated.
[0037]
In the data editing apparatus 1 configured in this way, editing data, that is, material data corresponding to a plurality of partial data constituting editing data arranged on the timeline is encoded in the same encoding method as that of the export MPEG file. In the case of the encoded file format, the MPEG data corresponding to the partial data is cut out from the MPEG material file (material data) and directly written out to the MPEG file. That is, the encoding method and the encoding before and after editing. If the file format is the same, the material data is used as it is without being decoded and decompressed. Normally, it takes time to write the data because it is once decompressed and then compressed and encoded. On the other hand, it is possible to reduce the time for writing out the exported MPEG file.
[0038]
In this way, even if MPEG and other format files are mixed, if the MPEG file conforms to the output MPEG format (file format), it is not necessary to decode and re-encode and copy the necessary partial data. Since the export MPEG file can be created by only the processing, the creation time of the export file can be shortened and the image quality is not deteriorated.
[0039]
Hereinafter, the timeline in the present embodiment will be described more specifically. FIG. 4 is a diagram for explaining the timeline of the first specific example and the processing method thereof.
[0040]
As shown in FIG. 4, partial data indicated by MPEG-A8, AVI-B, and MPEG-C4 are sequentially arranged on the timeline TR1. Here, the partial data MPEG-A8 is an MPEG file whose material file is a bit rate of 8 Mbps, the partial data AVI-B is an AVI file, and the partial data MPEG-C4 is a material of the material. The file is an MPEG file with a bit rate of 4 Mbps. As described above, the video editing control program 20 stores information on partial data such as the material file name of the partial data laid out on the timeline TR1, the cutout position of the corresponding part in the material file, and the layout order. It is something to manage.
[0041]
Further, the partial data MPEG-D4 is a write-out MPEG file, and is written out in the MPEG system with a bit rate of 4 Mbps. Further, it is assumed that this writing MPEG-D4 is identical to the partial data MPEG-C4 for other MPEG formats such as image size other than the bit rate.
[0042]
In the case of timeline TR1, MPEG-A8, which is the first partial data, is the same in MPEG method as MPEG-D4 of the exported MPEG file, but the bit rate, that is, the MPEG format is different. In step S5, it is determined that the export file is different from the MPEG format, and the process proceeds to step S7. That is, the data is once converted into baseband data (step S7), encoded into MPEG format data having a target file format, that is, a bit rate of 4 Mbps (step S8), and copied to an exported MPEG-D4 file.
[0043]
Further, since AVI-B, which is the second partial data of timeline TR1, is an AVI file and has a different file type from MPEG-D4, which is an export MPEG file, the encoding method is changed in step S3 in FIG. It is determined that they are different from each other, and the process proceeds to step S7. Once converted into baseband data, it is encoded into MPEG format data having a target file format, that is, a bit rate of 4 Mbps (step S8). Copied to a file.
[0044]
Furthermore, since MPEG-C4, which is the last partial data of timeline TR1, matches the MPEG-D4 and MPEG format, the process proceeds to step S6, and the data corresponding to the partial data is extracted from the material file and acquired. And copied directly to the exported MPEG-D4 file.
[0045]
FIG. 5 is a diagram for explaining the timeline of the second specific example and the processing method thereof. As shown in FIG. 5, the timeline TR2 is different from the first specific example shown in FIG. 4 in that a video effect is applied. It is assumed that a video effect in which, for example, the end portion 41 of the second partial data AVI-B and the start portion 42 of the last partial data MPEG-C4 are combined is applied to the timeline TR2. In this case, since the portions 41 and 42 to which the video effect is applied require effect processing, it is not necessary to determine whether or not the encoding method of the exported MPEG file and the format of the encoded file are the same. The effect-processed portions 41 and 42 are cut out, converted into baseband data by each importer in the same manner as in step S7, the baseband data is processed in effect (step S21), and then written out in the same manner as in step S8. Is encoded (step S8) and written to the MPEG-D4 file. As described above, when effect processing is included, the effect processing is applied before the processing in step S3, for example, because the effect processing is performed by converting the baseband data once regardless of the encoding method and the format of the encoded file. What is necessary is just to provide the process etc. which determine whether it is a part to be performed.
[0046]
In addition, as in the first specific example described above, the portion where the effect processing is not performed is encoded after the conversion MPEG file and the encoding method and the MPEG format that are not the same are converted into baseband data, In the same way as in the first specific example, the portion corresponding to the MPEG format of the exported MPEG file is cut out from the MPEG material file and the portion corresponding to the partial data is copied and directly copied to the exported MPEG-D4 file. The time for creating the export MPEG file can be shortened.
[0047]
The MPEG file uses a GOP (Group of Picture) structure composed of an I picture (intra-frame encoded image), a P picture (inter-frame forward predictive encoded image), and a B picture (bidirectional predictive encoded image). ing. In the above-described embodiment, the file format (encoding method and encoded file format) of the compression-encoded material data before editing the partial data constituting the edit data and the output file match. In this case, the material data is cut out and used as it is. However, when the cut-out position is in the middle of the GOP, appropriate processing such as cutting out in GOP units without cutting out as it is may be performed. By this method, processing that completes encoding may be performed even during GOP.
[0048]
Further, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention. For example, in the above-described embodiment, the importer and the compiler are compression encoding means and decoding / decompression means, respectively. However, encoded data that has only been encoded may be used as material data, and the compiler only performs decoding. It may be done. In the above-described embodiment, the MPEG file and the AVI file have been described as the files to be handled. However, when other types of moving image files or still image files such as GIF files and BMP files are handled together. Is also applicable. In the above-described embodiment, the video data is described as being edited. However, audio data of different file formats (encoding method and encoded file format) can be handled in the same manner. Needless to say.
[0049]
In the above-described embodiment, the CPU has been described as executing a computer program. However, the present invention is not limited to this, and each function can be configured by hardware. Further, the computer program can be provided by being recorded on a recording medium, or can be provided by being transmitted through the Internet or other transmission media.
[0050]
【The invention's effect】
As described in detail above, the data editing apparatus according to the present invention edits material data in a file format including a plurality of types of encoding methods, and outputs the data as data in a target file format. A decoding unit that decodes the material data by a decoding method corresponding to the encoding method of the material data, a part or all of the plurality of material data decoded by the decoding unit is arbitrarily connected and edited, Data editing means for generating edit data composed of partial data, and the material data corresponding to the edit data based on the format of the file acquired from the decoding means and the data editing means, the format of the target file And an encoding means for generating an output file encoded in the encoding data, wherein the encoding means includes partial data constituting the editing data. If the format of the target file is the same, the material data corresponding to the partial data is used without decoding, and the output file is generated. Therefore, an MPEG or other format file that is not supported by the editing control program Can be rendered even in a mixed state, and if it is material data that conforms to the output MPEG format or other file format, it is not necessary to decode and encode again, but only to copy the necessary partial data Thus, an output file in the designated file format can be created, the creation time of the output file can be shortened, and deterioration in image quality can be reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an outline of a hardware configuration of a computer apparatus for realizing a data editing apparatus according to an embodiment of the present invention in software.
FIG. 2 is a functional block diagram showing a data editing apparatus according to an embodiment of the present invention.
FIG. 3 is a diagram showing a data editing method according to an embodiment of the present invention, and is a flowchart showing a process of generating and outputting an MPEG file from edited data.
FIG. 4 is a diagram illustrating a timeline and a processing method thereof according to a first specific example in the embodiment of the present invention.
FIG. 5 is a diagram illustrating a timeline and a processing method thereof according to a second specific example of the embodiment of the present invention.
[Explanation of symbols]
1 Data Editing Device, 10 MPEG Importer, 11 AVI Importer, 20 Video Editing Control Program, 30 MPEG Compiler, 100 Computer Device, 101 CPU, 102 ROM, 103 RAM, 104 HDD, 105 Display Device, 109-111 Interface Circuit, 106 Keyboard, 107 mouse, 108 speaker

Claims

複数種類の符号化方式を含むファイルの形式の素材データを編集し、目的のファイルの形式のデータとして出力するデータ編集装置において、
上記素材データを該素材データの符号化方式に対応する復号方式により復号する復号手段と、
上記復号手段により復号された複数のデータの一部又は全部を部分データとして任意に繋ぎ合わせて編集し、複数の部分データから構成される編集データを生成するデータ編集手段と、
上記復号手段及び上記データ編集手段から取得したファイルの形式に基づいて、上記編集データに対応する上記素材データを上記目的のファイルの形式に符号化した出力ファイルを生成する出力ファイル生成手段とを備え、
上記出力ファイル生成手段は、上記編集データを構成する部分データに対応する素材データのファイルの形式が、上記目的のファイルの形式と同一である場合、上記部分データに対応する素材データを復号せずに使用して上記出力ファイルを生成し、
上記データ編集手段において上記素材データの一部又は全部を繋ぎ合わせる際にエフェクト処理が施される場合、上記出力ファイル生成手段は、当該エフェクト処理が施される部分を含む部分データに対応する素材データのファイルの形式が上記目的のファイルの形式と同一かどうかに拘らず、当該エフェクト処理が施される部分を切り出し、当該切り出された部分を復号してエフェクト処理を施し、かつ、当該エフェクト処理が施された部分を上記目的のファイル形式に符号化して出力する
ことを特徴とするデータ編集装置。In a data editing device that edits material data in a file format including multiple types of encoding methods and outputs it as data in the target file format,
Decoding means for decoding the material data by a decoding method corresponding to the encoding method of the material data;
Data editing means for editing a part or all of a plurality of data decoded by the decoding means arbitrarily connected as partial data and generating edit data composed of a plurality of partial data;
Output file generating means for generating an output file obtained by encoding the material data corresponding to the edited data into the target file format based on the format of the file acquired from the decoding means and the data editing means. ,
The output file generation means does not decode the material data corresponding to the partial data when the file format of the material data corresponding to the partial data constituting the editing data is the same as the format of the target file. To generate the above output file ,
When effect processing is performed when part or all of the material data is connected in the data editing means, the output file generating means is material data corresponding to partial data including a portion on which the effect processing is performed. Regardless of whether the format of the file is the same as the format of the target file, the portion subjected to the effect processing is cut out, the cut out portion is decrypted and the effect processing is performed, and the effect processing is performed. A data editing apparatus, wherein the applied portion is encoded into the target file format and output .

上記出力ファイル生成手段は、
目的のファイルの形式を指定するファイル指定機能部と、
上記編集データを構成する各部分データの符号化方式を取得する符号化方式取得機能部と、
上記部分データの符号化方式が上記目的のファイルの符号化方式と同一である場合、当該部分データの符号化ファイルの形式を取得する符号化ファイル形式取得機能部と、
上記部分データと上記目的のファイルとで符号化方式が異なる場合、及び上記部分データと上記目的のファイルとで符号化方式が同一であっても符号化ファイルの形式が異なる場合に、当該部分データを復号したベースバンドデータを取得し、該ベースバンドデータを上記目的のファイルの形式に符号化する符号化機能部と、
上記符号化機能部により符号化された符号化データと、上記目的のファイルと符号化方式及び符号化ファイルの形式が同一である部分データとを合成し、上記目的のファイルの形式のデータとして出力する出力機能部と
を有することを特徴とする請求項１記載のデータ編集装置。The output file generation means
A file specification function unit for specifying the format of the target file;
An encoding method acquisition function unit for acquiring an encoding method of each partial data constituting the edit data;
If the encoding method of the partial data is the same as the encoding method of the target file, an encoded file format acquisition function unit that acquires the format of the encoded file of the partial data;
When the partial data and the target file have different encoding methods, and when the partial data and the target file have the same encoding method, the partial data has a different format. A baseband data obtained by decoding the baseband data and encoding the baseband data into the target file format;
The encoded data encoded by the encoding function unit is combined with the target file and partial data having the same encoding method and encoded file format, and output as the target file format data. The data editing apparatus according to claim 1, further comprising an output function unit.

上記符号化機能部は、上記復号手段から上記部分データの符号化ファイルの形式を取得することを特徴とする請求項２記載のデータ編集装置。 3. The data editing apparatus according to claim 2 , wherein the encoding function unit acquires a format of an encoded file of the partial data from the decoding unit.

上記符号化機能部は、上記データ編集手段から上記部分データの符号化方式を取得することをと特徴とする請求項２記載のデータ編集装置。 3. The data editing apparatus according to claim 2 , wherein the encoding function unit acquires an encoding method of the partial data from the data editing unit.

上記目的の符号化方式は、ＭＰＥＧ方式であることを特徴とする請求項１記載のデータ編集装置。 2. The data editing apparatus according to claim 1, wherein the encoding system for the purpose is an MPEG system.

上記復号手段は、復号した上記素材データを伸張し、
上記出力ファイル生成手段は、上記編集データを圧縮して符号化し、上記目的のファイルの形式の出力ファイルを生成する
ことを特徴とする請求項１記載のデータ編集装置。The decryption means decompresses the decrypted material data,
The data editing apparatus according to claim 1, wherein the output file generating means compresses and encodes the edited data to generate an output file in the target file format.

複数種類の符号化方式を含むファイルの形式の素材データを編集し、目的のファイルの形式のデータとして出力するデータ編集方法において、
上記素材データを該素材データの符号化方式に対応する復号方式により復号する復号工程と、
上記復号工程にて復号された複数のデータの一部又は全部を部分データとして任意に繋ぎ合わせて編集し、複数の部分データから構成される上記編集データを生成するデータ編集工程と、
上記編集データに対応する素材データを上記目的のファイルの形式に符号化した出力ファイルを生成する出力ファイル生成工程とを備え、
上記出力ファイル生成工程では、上記編集データを構成する部分データに対応する素材データのファイルの形式を取得する工程を含み、上記ファイルの形式が、上記目的のファイルの形式と同一である場合、上記部分データに対応する素材データが復号されずに使用されて上記出力ファイルが生成され、
上記データ編集工程において上記素材データの一部又は全部を繋ぎ合わせる際にエフェクト処理が施される場合、上記出力ファイル生成工程では、当該エフェクト処理が施される部分を含む部分データに対応する素材データのファイルの形式が上記目的のファイルの形式と同一かどうかに拘らず、当該エフェクト処理が施される部分が切り出され、当該切り出された部分が復号されてエフェクト処理が施され、かつ、当該エフェクト処理が施された部分が上記目的のファイル形式に符号化されて出力される
ことを特徴とするデータ編集方法。In a data editing method for editing material data in a file format that includes multiple types of encoding methods and outputting it as data in the target file format,
A decoding step of decoding the material data by a decoding method corresponding to the encoding method of the material data;
Edit combined arbitrarily connect some or all of the plurality of data decoded by the decoding step as the partial data, the data editing step of generating the edited data comprised of a plurality of partial data,
An output file generation step for generating an output file in which material data corresponding to the edited data is encoded in the target file format,
The output file generation step includes a step of obtaining a file format of material data corresponding to partial data constituting the edit data, and when the format of the file is the same as the format of the target file, is used without being decoded corresponding material data into partial data the output file is generated,
When effect processing is performed when connecting part or all of the material data in the data editing step, material data corresponding to partial data including a portion on which the effect processing is performed in the output file generation step. Regardless of whether the format of the file is the same as the format of the target file, the portion to which the effect processing is applied is cut out, the cut out portion is decrypted and subjected to the effect processing, and the effect A data editing method, wherein the processed part is encoded and output in the target file format .

上記出力ファイル生成工程は、
目的のファイルの形式を指定するファイル指定工程と、
上記編集データを構成する各部分データの符号化方式を取得する符号化方式取得工程と、
上記部分データの符号化方式が上記目的のファイルの符号化方式と同一である場合、当該部分データの符号化ファイルの形式を取得する符号化ファイル形式取得工程と、
上記部分データと上記目的のファイルとで符号化方式が異なる場合、及び上記部分データと上記目的のファイルとで符号化方式が同一であっても符号化ファイルの形式が異なる場合に、当該部分データを復号したベースバンドデータを取得し、該ベースバンドデータを上記目的のファイルの形式に符号化する符号化工程と、
上記符号化工程にて符号化された符号化データと、上記目的のファイルと符号化方式及び符号化ファイルの形式が同一である部分データとを合成し、上記目的のファイルの形式のデータとして出力する出力工程と
を有することを特徴とする請求項７記載のデータ編集方法。The output file generation process
A file specification process for specifying the format of the target file;
An encoding method acquisition step of acquiring an encoding method of each partial data constituting the edit data;
If the encoding method of the partial data is the same as the encoding method of the target file, an encoded file format acquisition step of acquiring the encoded file format of the partial data;
When the partial data and the target file have different encoding methods, and when the partial data and the target file have the same encoding method, the partial data has a different format. Encoding baseband data obtained by decoding the baseband data, and encoding the baseband data into the target file format,
The encoded data encoded in the encoding process and the partial data having the same encoding method and encoded file format as the target file are synthesized and output as the data of the target file format. The data editing method according to claim 7, further comprising: an output step.

上記符号化工程では、上記復号工程にて得られる上記部分データの符号化ファイルの形式が取得されることを特徴とする請求項８記載のデータ編集方法。9. The data editing method according to claim 8 , wherein in the encoding step, a format of an encoded file of the partial data obtained in the decoding step is acquired.

上記符号化工程は、上記データ編集工程にて得られる上記部分データの符号化方式が取得されることを特徴とする請求項８記載のデータ編集方法。The encoding step, a data editing method according to claim 8, wherein the coding scheme of the partial data obtained by said data editing step is obtained.

上記目的の符号化方式は、ＭＰＥＧ方式であることを特徴とする請求項７記載のデータ編集方法。 8. The data editing method according to claim 7, wherein the encoding method for the purpose is an MPEG method.

上記復号工程では、復号した上記素材データが伸張され、
上記出力ファイル生成工程では、上記編集データを構成する部分データが、上記目的のファイルの形式と同一でない場合、当該部分データが復号されたベースバンドデータが符号化され、圧縮された上記目的のファイルの形式の出力ファイルが生成される
ことを特徴とする請求項７記載のデータ編集方法。In the decryption step, the decrypted material data is expanded,
In the output file generation step, when the partial data constituting the edit data is not the same as the format of the target file, the target file obtained by encoding and compressing the baseband data obtained by decoding the partial data is encoded. 8. The data editing method according to claim 7, wherein an output file of the format is generated.

複数種類の符号化方式を含むファイルの形式の素材データを編集し、目的のファイルの形式のデータとして出力する処理をコンピュータに実行させるためのプログラムにおいて、
上記素材データを該素材データの符号化方式に対応する復号方式により復号する復号工程と、
上記復号工程にて復号された複数のデータの一部又は全部を部分データとして任意に繋ぎ合わせて編集し、複数の部分データから構成される上記編集データを生成するデータ編集工程と、
上記編集データに対応する素材データを上記目的のファイルの形式に符号化した出力ファイルを生成する出力ファイル生成工程とを備え、
上記出力ファイル生成工程では、上記編集データを構成する部分データに対応する素材データのファイルの形式を取得する工程を含み、上記ファイルの形式が、上記目的のファイルの形式と同一である場合、上記部分データに対応する素材データが復号されずに使用されて上記出力ファイルが生成され、
上記データ編集工程において上記素材データの一部又は全部を繋ぎ合わせる際にエフェクト処理が施される場合、上記出力ファイル生成工程では、当該エフェクト処理が施される部分を含む部分データに対応する素材データのファイルの形式が上記目的のファイルの形式と同一かどうかに拘らず、当該エフェクト処理が施される部分が切り出され、当該切り出された部分が復号されてエフェクト処理が施され、かつ、当該エフェクト処理が施された部分が上記目的のファイル形式に符号化されて出力される
ことを特徴とするプログラム。In a program for causing a computer to execute processing of editing material data in a file format including multiple types of encoding methods and outputting the data as data in a target file format,
A decoding step of decoding the material data by a decoding method corresponding to the encoding method of the material data;
Edit combined arbitrarily connect some or all of the plurality of data decoded by the decoding step as the partial data, the data editing step of generating the edited data comprised of a plurality of partial data,
An output file generation step for generating an output file in which material data corresponding to the edited data is encoded in the target file format,
The output file generation step includes a step of obtaining a file format of material data corresponding to partial data constituting the edit data, and when the format of the file is the same as the format of the target file, is used without being decoded corresponding material data into partial data the output file is generated,
When effect processing is performed when connecting part or all of the material data in the data editing step, material data corresponding to partial data including a portion on which the effect processing is performed in the output file generation step. Regardless of whether the format of the file is the same as the format of the target file, the portion to which the effect processing is applied is cut out, the cut out portion is decrypted and subjected to the effect processing, and the effect A program characterized in that a processed portion is encoded and output in the above-mentioned target file format .