JP4769168B2 - ノンリニア編集装置及びノンリニア編集方法 - Google Patents

Description

本発明は、ＳＤ映像からアップコンバートされたＨＤ映像を編集するノンリニア編集装置及びノンリニア編集方法に関する。

従来のテレビ放送に用いられるＳＤ（Standard Definition）映像をＨＤ（High Definition）映像に変換（アップコンバート）して、ハイビジョン放送に使用する手法は広く用いられている。

しかしながら、ＳＤ映像は４：３のアスペクト比を有し、ＨＤ映像はＳＤ映像とは異なる１６：９のアスペクト比を有することから、ＳＤ映像からＨＤ映像にアップコンバートする際のフォーマット変換時に、アスペクト比の違いを補完するため、ＳＤ映像からアップコンバートされたＨＤ映像は、左サイド及び右サイドの少なくとも一方に無信号の領域（以下、マスク領域と称する）が付加される。

そして、アップコンバートされたＨＤ映像をノンリニア編集する場合、マスク領域も編集対象となりうるため、例えばマスク領域の色を変更する、あるいはマスク領域に文字列を挿入するなど、マスク領域を編集したいという要望もある。

ＨＤ映像のマスク領域を編集する技術として、従来、マスク領域を埋めるための編集用素材をマスク領域に合成して出力することでマスク領域を編集する技術が開示されている（例えば、特許文献１参照）。
特開２００１−２６８４３４号公報（段落００１１）

しかしながら、特許文献１で開示される発明においては、編集用素材の合成によってマスク領域が編集されたＨＤ映像をノンリニア編集する場合、ノンリニア編集装置とは別の装置を使用して、編集用素材をマスク領域に合成してマスク領域が編集されたＨＤ映像を出力した後に、出力されたＨＤ映像を使用してノンリニア編集する。これは、ノンリニア編集に工数がかかるため、さらなる改善が望まれていた。さらに、例えばノンリニア編集中にマスク領域を編集したい要望が発生すると、一度ノンリニア編集を終了し、マスク領域を編集してから再度、ノンリニア編集する必要があり、さらなる改善が望まれていた。

そこで、本発明は、ＨＤ映像のマスク領域の編集とノンリニア編集とを１台で実施でき、かつマスク領域の編集が随時可能なノンリニア編集装置とノンリニア編集方法を提供することを目的とする。

前記課題を解決するため、請求項１にかかる発明は、予めマスク領域が編集されているＨＤ映像サイズの画像（以下、編集用画像と称する）を用いて、ＳＤ映像からアップコンバートされたＨＤ映像に付加されるマスク領域を編集するノンリニア編集装置であって、映像入力手段と、タイムライン変換手段と、ＳＤ画像抽出手段と、画像合成手段を有し、ＨＤ映像がノンリニア編集される際に当該ＨＤ映像から変換されたフレーム画像が選択されると、ＳＤ画像抽出手段が、選択されたフレーム画像からＳＤ画像を抽出し、画像合成手段が、編集用画像に、抽出されたＳＤ画像を重ね合わせて合成することを特徴とする。

請求項１にかかるノンリニア編集装置は、映像入力手段によってＨＤ映像を取り込み、タイムライン変換手段によって、取り込まれたＨＤ映像をタイムラインに沿ってＨＤ映像サイズのフレーム画像に変換する。
さらにノンリニア編集装置は、ＳＤ画像抽出手段によって、ＨＤ映像から変換されたフレーム画像で、選択されたフレーム画像から、ＳＤ映像サイズのＳＤ画像を抽出し、画像合成手段によって、ＳＤ画像を編集用画像に合成して合成画像を生成する。

また、請求項２にかかる発明は、ＳＤ映像からアップコンバートされたＨＤ映像に付加されるマスク領域を、予めマスク領域が編集されている画像を用いて編集するノンリニア編集方法であって、ＨＤ映像をフレーム画像に変換するステップと、フレーム画像が選択されたときに、選択されたフレーム画像からＳＤ画像を抽出するステップと、抽出されたＳＤ画像を編集用画像に合成して合成画像を生成するステップと、を有することを特徴とする。

請求項２にかかるノンリニア編集方法は、ＨＤ映像を取り込むステップによって、ＨＤ映像を取り込み、フレーム画像に変換するステップによって、取り込まれたＨＤ映像をタイムラインに沿ってＨＤ映像サイズのフレーム画像に変換する。
さらにノンリニア編集方法は、フレーム画像が選択されたときにＳＤ画像を抽出するステップによって、選択されたフレーム画像からＳＤ映像サイズのＳＤ画像を抽出し、抽出されたＳＤ画像を編集用画像に合成するステップによって、ＳＤ画像を編集用画像に合成して合成画像を生成する。

本発明にかかるノンリニア編集装置は、予めマスク領域が編集されている編集用画像を用いてＨＤ映像のマスク領域を編集することができるため、ＨＤ映像のマスク領域の編集とノンリニア編集とを１台のノンリニア編集装置で実施することができる。さらに、ノンリニア編集装置でマスク領域を編集することができるため、随時マスク領域を編集することができる。
また、本発明にかかるノンリニア編集方法は、予めマスク領域が編集されている編集用画像を用いてＨＤ映像のマスク領域を編集することができるため、ＨＤ映像のマスク領域の編集とノンリニア編集とを迅速に行うことができる。

以下、本発明を実施するための最良の形態について、適宜、図を用いて詳細に説明する。図１は、本実施形態にかかるノンリニア編集装置の構成を示すブロック図である。

図１に示すように、ノンリニア編集装置１は、再生機２から送出されるＨＤ映像をノンリニア編集装置１に取り込んで編集する。ここで、再生機２は、ＳＤ映像からアップコンバートされたＨＤ映像が記録されている、例えばテープ部材を再生してＨＤ映像を送出する装置とする。

ノンリニア編集装置１は、映像入力部（映像入力手段）１０、ＴＬ変換部（タイムライン変換手段）１１、マスク部編集部１２、記録部１５、編集部１６、制御部１９を含んで構成される。さらに、ノンリニア編集装置１には、ＨＤＤ（Hard Disk Drive）１７、ＲＡＭ(Random Access Memory)２０が備わっている。

映像入力部１０は、再生機２が送出するＨＤ映像を取り込む機能を有するインターフェースである。

ＴＬ変換部１１は、映像入力部１０を介して連続して取り込まれるＨＤ映像をタイムラインＴＬ（図２参照）に沿って、ＨＤ映像サイズのフレーム画像Ｆ（図２参照）に変換する機能を有する。図２は、ＨＤ映像をタイムラインに沿ってフレーム画像Ｆに変換する概要を示す図である。図２に示すように、ＴＬ変換部１１は連続して取り込まれるＨＤ映像を適宜な間隔でＨＤ映像サイズのフレーム画像に変換し、変換されたフレーム画像を時系列にタイムラインＴＬに沿って配置する。

マスク部編集部１２は、ＨＤ映像のマスク領域を編集する機能を有していて、ＳＤ画像抽出部（ＳＤ画像抽出手段）１３と、画像合成部（画像合成手段）１４とを備えている。さらに、マスク部編集部１２には、編集用画像を生成する編集用画像生成部１２ａが備わる。

編集用画像生成部１２ａは、図３の（ａ）に示されるＳＤ画像Ｐ１と合成する編集用画像Ｐ２（図３の（ｃ）参照）を生成する機能を有する。編集用画像Ｐ２は、例えば単色で塗りつぶされた画像や、複数の色で構成されるグラデーションからなる画像であってもよいし、任意の静止画像をＨＤ映像のサイズになるように伸縮させた画像であってもよく、限定されるものではない。そして、生成された編集用画像Ｐ２は、例えば記録部１５を介してＨＤＤ１７に記録する構成とする。このように構成することで、画像合成部１４が、ＳＤ画像Ｐ１と合成する編集用画像Ｐ２をＨＤＤ１７から読み出すことができる。

なお、図示はしないが、ノンリニア編集装置１と、例えばパーソナルコンピュータ等の外部機器とを、接続する構成として、パーソナルコンピュータ等の外部機器が有する画像を、ノンリニア編集装置１に編集用画像Ｐ２として取り込むことが可能な構成としてもよい。さらに、取り込んだ編集用画像Ｐ２を、ＨＤＤ１７に記録する構成であってもよい。

ＳＤ画像抽出部１３は、ＨＤ映像がタイムラインＴＬ（図２参照）に沿って変換されたフレーム画像から、図３の（ａ）に示すようにＳＤ映像サイズの画像であるＳＤ画像を抽出する機能を有していて、１枚のフレーム画像が入力されると、入力されたフレーム画像のＳＤ画像の領域を抽出する。抽出する方法は、限定されるものではないが、例えばフレーム画像Ｆの縦方向の長さの４／３倍の長さを横方向とした４：３のアスペクト比を有する画像を、フレーム画像Ｆの中央部から切り出す方法とする。そして、ＳＤ画像抽出部１３は、図３の（ｂ）に示すようにフレーム画像Ｆの中央部に存在するＳＤ画像Ｐ１を抽出することができる。

図３の（ａ）は、ＳＤ映像からアップコンバートされたＨＤ映像を構成するフレーム画像の概略図である。フレーム画像Ｆは、ＨＤ映像のサイズであるため、１６：９のアスペクト比を有し、その中央部に４：３のアスペクト比を有するＳＤ画像Ｐ１が配置される。フレーム画像ＦとＳＤ画像Ｐ１とは前記のとおりアスペクト比が異なるため、フレーム画像Ｆには、ＳＤ画像Ｐ１が配置されない左サイド及び右サイドの少なくとも一方の領域に無信号の領域であるマスク領域Ｍ１、Ｍ１が付加されている。そして、通常マスク領域Ｍ１，Ｍ１は黒色となっている。なお、以下は、図３の（ａ）に示すように、フレーム画像Ｆの両サイドにマスク領域Ｍ１、Ｍ１が付加されている例に基づいて説明する。

画像合成部１４は、予めマスク領域が編集されて生成され、例えばＨＤＤ１７に記録されている編集用画像を読み出す機能と、ＳＤ画像抽出部１３で抽出されたＳＤ領域の画像を合成する機能を有する。すなわち、画像合成部１４は、ＨＤＤ１７から、例えば編集担当者等が選択した編集用画像を読み出す。そして、画像合成部１４は、ＳＤ画像抽出部１３から送信されたＳＤ画像Ｐ１を読み出した編集用画像の横方向の中央部に合成して１枚の合成フレーム画像Ｆ２を生成する。そして画像合成部１４は、生成された合成フレーム画像Ｆ２を、合成フレーム画像Ｆ２として送出する。図３の（ｃ）は、編集用画像にＳＤ画像を合成する態様を示す図である。

画像合成部１４は、図３の（ｃ）に示すように、ＳＤ画像Ｐ１と、ＨＤ映像のサイズを有する編集用画像Ｐ２と、を合成して図３の（ｄ）に示すように１枚の合成フレーム画像Ｆ２を生成する。

ここで、編集用画像Ｐ２はＨＤ映像のサイズであり、１６：９のアスペクト比を有するため、編集用画像Ｐ２の中央部にＳＤ画像Ｐ１を合成すると、図３の（ｄ）に示すように、ＨＤ映像のサイズで、横方向の中央部にＳＤ画像Ｐ１が合成された合成フレーム画像Ｆ２が生成される。そして、ＳＤ画像Ｐ１の両側には、編集用画像Ｐ２の両サイドが表示され、マスク領域Ｍ２、Ｍ２を形成する。ここで、マスク領域Ｍ２、Ｍ２は、編集用画像Ｐ２の一部であるため、編集用画像Ｐ２を生成するときに、マスク領域Ｍ２、Ｍ２に該当する部分に任意の画像を生成すると、ＳＤ画像Ｐ１の両サイドにマスク領域Ｍ２，Ｍ２が表示されることになり、マスク領域を編集したのと同等の効果を得られる。

記録部１５は、マスク領域の編集に使用する編集用画像等を、ＨＤＤ１７などの記録媒体に記録する機能を有する。また、編集部１６は、ノンリニア編集装置１に取り込まれたＨＤ映像をノンリニア編集する機能を有する。

制御部１９は、ノンリニア編集装置１を制御する機能を有し、図示しないＣＰＵ（Central Processing Unit）や、ＣＰＵによって駆動されるプログラムが格納される、図示しないＲＯＭ（Read Only Memory）などの周辺回路を含んで構成される。

さらに、ノンリニア編集装置１は、インターフェース部１８を有していて、インターフェース部１８を介して画像表示装置２１が接続される構成であってもよい。

以上のように構成されるノンリニア編集装置１でＨＤ映像をノンリニア編集するためには、例えば再生機２が送出するＨＤ映像を、ノンリニア編集装置１に取り込む。図４は、ＨＤ映像をノンリニア編集装置に取り込んで、フレーム画像に変換するフローチャートである（以下、適宜図１〜図３参照）。

編集担当者等の操作によってノンリニア編集装置１の取り込み開始ボタンが操作されるなど、ＨＤ映像取り込みの要求が発生すると（Ｓ１）、制御部１９は、映像入力部１０に指令を与えて、ＨＤ映像の取り込みを開始する（Ｓ２）。そして、ノンリニア編集装置１は、ＨＤ映像を取り込む（Ｓ３）。なお、再生機２は、予めＨＤ映像を送出していてもよいし、ノンリニア編集装置１におけるＨＤ映像の取り込み要求に同期して、ＨＤ映像の送出を開始するように構成してもよい。

制御部１９は、映像入力部１０とＴＬ変換部１１に指令を与えながら、取り込まれるＨＤ映像をＴＬ変換部１１に送信して、タイムラインＴＬに沿ってフレーム画像に変換する（Ｓ４）。そして、制御部１９は、ＴＬ変換部１１で変換されたフレーム画像を、記録部１５を介してＨＤＤ１７に記録する（Ｓ５）。そして、制御部１９は、取り込み終了の要求が発生しない間は（Ｓ６→Ｎｏ）、ステップＳ３からステップＳ５までのステップを繰り返し実行してＨＤ映像を取り込み、タイムラインＴＬに沿ってフレーム画像に変換する。

編集担当者等の操作によってノンリニア編集装置１の取り込み終了ボタンが操作されるなど、ＨＤ映像取り込み終了の要求が発生すると（Ｓ６→Ｙｅｓ）、制御部１９は、映像入力部１０に指令を与えて、ＨＤ映像の取り込みを終了する（Ｓ７）。

制御部１９は、以上の取り込み操作を全ての映像クリップの取り込みが終了するまで（Ｓ８→Ｙｅｓ）繰り返す。すなわち、制御部１９は、編集すべき映像クリップの全てが終了しなければ（Ｓ８→Ｎｏ）、ステップＳ１に戻って、編集担当者等の操作によって取り込み要求を発生する。このとき、再生機２は、例えば継続して取り込む、次の映像クリップの映像を再生機２で送出するように設定する。ここで、映像クリップとは、例えば映像シーンごとの単位を示す。

前記のようなステップによって、再生機２が送出するＨＤ映像は、ノンリニア編集装置１に取り込まれ、タイムラインＴＬに沿ってフレーム画像に変換されてＨＤＤ１７に記録される。このとき、フレーム画像Ｆが、タイムラインＴＬに沿って、画像表示装置２１（図１参照）に表示されるように構成してもよい。
ノンリニア編集装置１の制御部１９が、以上のような取り込みステップを実行することによって、編集する全てのＨＤ映像がノンリニア編集装置１に取り込まれ、タイムラインＴＬに沿ってフレーム画像に変換される。

次に、ノンリニア編集装置１は、タイムラインＴＬ（図２参照）に沿ってＨＤ映像から変換されたフレーム画像Ｆについて、マスク領域Ｍ１（図３参照）を編集する。マスク領域Ｍ１の編集は、映像クリップを単位として、フレーム画像Ｆ（図３参照）ごとに実行する。図５は、マスク領域を編集するマスク部編集部の流れを示すブロック図である。

図５に示すように、ＳＤ画像抽出部１３は、１枚のフレーム画像Ｆを取り込んで、ＳＤ画像Ｐ１を抽出する。抽出されたＳＤ画像Ｐ１は、画像合成部１４に入力されて、ＨＤＤ１７に記憶されていて画像合成部１４が読み出す編集用画像Ｐ２と合成される。そして、画像合成部１４は、ＳＤ画像Ｐ１と編集用画像Ｐ２とが合成された画像を合成フレーム画像Ｆ２として出力する。

このように、マスク部編集部１２で生成された合成フレーム画像Ｆ２は、図３の（ｄ）に示すように、ＨＤ映像サイズの画像の横方向の中央部にＳＤ画像Ｐ１が配置され、両サイドにマスク領域Ｍ２、Ｍ２が存在する構成となる。そして、マスク領域Ｍ２、Ｍ２には、編集担当者等が生成した編集用画像Ｐ２の両サイドが表示されることになる。

図６は、マスク領域を編集するフローチャートである。図５に示されるブロック図で構成されるマスク部編集部１２は、図６に示すフローチャートのステップの実行によって、ＨＤ画像を構成するフレーム画像Ｆのマスク領域Ｍ１を下記のように編集する（以下、適宜図１、図３参照）。

ノンリニア編集装置１の制御部１９は、編集担当者等による、マスク領域Ｍ１を編集する映像クリップを選択する操作によって、マスク領域Ｍ１を編集する映像クリップを選択する（Ｓ１１）。さらに、制御部１９は、編集担当者等による、編集用画像Ｐ２を選択する操作によって、編集用画像Ｐ２を選択する（Ｓ１２）。

そして、制御部１９は、選択された映像クリップに、編集用画像Ｐ２を対応させる（Ｓ１３）。ここで、選択された映像クリップに、編集用画像Ｐ２を対応させる方法は、例えば、映像クリップごとにクリップ番号を付与し、選択された映像クリップのクリップ番号に編集用画像Ｐ２のファイル名を対応させ、クリップ番号とファイル名とを保存すればよい。

以上のようなステップの実行によって、マスク領域Ｍ１を編集する編集用画像Ｐ２が、映像クリップに対応される。

編集担当者等が、ノンリニア編集装置１の操作部１６ａを操作してＨＤ映像をノンリニア編集する際に、編集担当者等がフレーム画像Ｆを選択すると、制御部１９は、ＳＤ画像抽出部１３に指令を与えて、選択されたフレーム画像Ｆを取り込む（Ｓ１４）。制御部１９は、ＳＤ画像抽出部１３に指令を与えて、取り込んだフレーム画像ＦからＳＤ画像Ｐ１を抽出して（Ｓ１５）、抽出したＳＤ画像Ｐ１を画像合成部１４に送る。制御部１９は、画像合成部１４に指令を与えて、選択されたフレーム画像Ｆが属する映像クリップに対応している編集用画像Ｐ２を、ＨＤＤ１７から読み出す（Ｓ１６）。そして、制御部１９は、画像合成部１４に指令を与え、ＳＤ画像抽出部１３から送信されたＳＤ画像Ｐ１を、読み出した編集用画像Ｐ２の横方向の中央部に重ね合わせて合成して（Ｓ１７）、合成フレーム画像Ｆ２を生成する。合成フレーム画像Ｆ２は、編集用画像Ｐ２が合成された画像であるため、例えば映像クリップの切り替わり部にフェードイン／アウトなどの特殊効果を挿入する場合に、編集用画像Ｐ２で構成されるマスク領域Ｍ２についても特殊効果を反映させることができる。すなわち、マスク領域Ｍ２についてもＳＤ画像Ｐ１の部と同様にフェードイン／アウトさせて画面を切り替えることができる。

そして、編集担当者等の操作によって、制御部１９が、ノンリニア編集が終了したことを検出すると（Ｓ１８→Ｙｅｓ）終了する。なお、ステップＳ１８において、制御部１９が、ノンリニア編集が終了したことを検出しない間は（Ｓ１８→Ｎｏ）、ステップＳ１４からステップＳ１７を繰り返す。

以上のように、本発明にかかるＨＤ映像のノンリニア編集装置及びノンリニア編集方法においては、マスク領域を編集する編集用画像を、ＨＤ映像を構成するフレーム画像に合成してからノンリニア編集が行えるため、編集用画像をフレーム画像の一部の画像データとして扱うことによって特殊効果を編集用画像にも反映させることができる。そして、ノンリニア編集装置がマスク領域を編集する機能を有するため、マスク領域の編集とノンリニア編集とを１台のノンリニア編集装置で実施することができるという優れた効果を奏する。また、ノンリニア編集装置で、マスク領域を編集することができるため、例えば、ノンリニア編集中にマスク領域が編集したくなったときなど、必要なときに随時マスク領域の編集ができるという優れた効果を奏する。

ノンリニア編集装置の構成を示すブロック図である。 ＨＤ映像をタイムライン沿ってフレーム画像に変換する概要を示す図である。 （ａ）は、ＳＤ映像からアップコンバートされたＨＤ映像を構成するフレーム画像の概略図、（ｂ）はフレーム画像からＳＤ画像を抽出することを示す図、（ｃ）は、編集用画像にＳＤ画像を合成する態様を示す図、（ｄ）は、合成フレーム画像の構成を示す図である。 ＨＤ映像をノンリニア編集装置に取り込んで、タイムラインに沿ってフレーム画像に変換するフローチャートである。 マスク領域を編集するマスク部編集部の流れを示すブロック図である。 マスク領域を編集するフローチャートである。

符号の説明

１ ノンリニア編集装置
１０ 映像入力部
１１ ＴＬ変換部
１２ マスク部編集部
１３ ＳＤ画像抽出部
１４ 画像合成部
１９ 制御部
Ｆ フレーム画像
Ｆ２ 合成フレーム画像
Ｐ１ ＳＤ画像
Ｐ２ 編集用画像
Ｍ１、Ｍ２ マスク領域

Claims (2)

1. ＳＤ映像に無信号の領域からなるマスク領域を付加してアップコンバートされたＨＤ映像から、前記マスク領域の内容を編集した映像を生成するノンリニア編集装置であって、
   前記ＨＤ映像を取り込む映像入力手段と、
   前記映像入力手段で取り込まれた前記ＨＤ映像を、タイムラインに沿ってＨＤ映像サイズのフレーム画像に変換するタイムライン変換手段と、
   前記タイムライン変換手段で変換された前記フレーム画像から、ＳＤ映像サイズの画像であるＳＤ画像を抽出するＳＤ画像抽出手段と、
   前記ＳＤ画像抽出手段で抽出された前記ＳＤ画像を、予め前記マスク領域が編集されている編集用画像と合成して合成画像を得る画像合成手段と、
   を備え、
   前記ＨＤ映像がノンリニア編集される際に当該ＨＤ映像から変換された前記フレーム画像が選択されると、
   前記ＳＤ画像抽出手段が、選択された前記フレーム画像から前記ＳＤ画像を抽出し、
   前記画像合成手段が、前記編集用画像に、抽出された前記ＳＤ画像を重ね合わせて合成することを特徴とするノンリニア編集装置。
2. ＳＤ映像に無信号の領域からなるマスク領域を付加してアップコンバートされたＨＤ映像から、前記マスク領域の内容を編集した映像を生成するノンリニア編集方法であって、
   前記ＨＤ映像を取り込むステップと、
   取り込まれた前記ＨＤ映像を、タイムラインに沿ってＨＤ映像サイズのフレーム画像に変換するステップと、
   前記フレーム画像が選択されたときに、選択された前記フレーム画像から、ＳＤ映像サイズの画像であるＳＤ画像を抽出するステップと、
   抽出された前記ＳＤ画像を、予め前記マスク領域が編集されている編集用画像に合成して合成画像を得るステップと、
   を有することを特徴とするノンリニア編集方法。

Images