JP4769168B2 - Non-linear editing apparatus and non-linear editing method - Google Patents

Description

本発明は、ＳＤ映像からアップコンバートされたＨＤ映像を編集するノンリニア編集装置及びノンリニア編集方法に関する。   The present invention relates to a non-linear editing apparatus and a non-linear editing method for editing HD video up-converted from SD video.

従来のテレビ放送に用いられるＳＤ（Standard Definition）映像をＨＤ（High Definition）映像に変換（アップコンバート）して、ハイビジョン放送に使用する手法は広く用いられている。   A method of converting (up-converting) SD (Standard Definition) video used for conventional television broadcasting into HD (High Definition) video and using it for high-definition broadcasting is widely used.

しかしながら、ＳＤ映像は４：３のアスペクト比を有し、ＨＤ映像はＳＤ映像とは異なる１６：９のアスペクト比を有することから、ＳＤ映像からＨＤ映像にアップコンバートする際のフォーマット変換時に、アスペクト比の違いを補完するため、ＳＤ映像からアップコンバートされたＨＤ映像は、左サイド及び右サイドの少なくとも一方に無信号の領域（以下、マスク領域と称する）が付加される。   However, SD video has an aspect ratio of 4: 3, and HD video has an aspect ratio of 16: 9 different from that of SD video. Therefore, when converting the format from SD video to HD video, the aspect ratio is changed. In order to compensate for the difference in the ratio, the HD video up-converted from the SD video has a non-signal area (hereinafter referred to as a mask area) added to at least one of the left side and the right side.

そして、アップコンバートされたＨＤ映像をノンリニア編集する場合、マスク領域も編集対象となりうるため、例えばマスク領域の色を変更する、あるいはマスク領域に文字列を挿入するなど、マスク領域を編集したいという要望もある。   When non-linear editing of up-converted HD video, the mask area can also be an object to be edited. For example, a request to edit the mask area, such as changing the color of the mask area or inserting a character string in the mask area. There is also.

ＨＤ映像のマスク領域を編集する技術として、従来、マスク領域を埋めるための編集用素材をマスク領域に合成して出力することでマスク領域を編集する技術が開示されている（例えば、特許文献１参照）。
特開２００１−２６８４３４号公報（段落００１１） As a technique for editing a mask area of an HD video, a technique for editing a mask area by synthesizing and outputting an editing material for filling the mask area in the mask area has been disclosed (for example, Patent Document 1). reference).
JP 2001-268434 A (paragraph 0011)

しかしながら、特許文献１で開示される発明においては、編集用素材の合成によってマスク領域が編集されたＨＤ映像をノンリニア編集する場合、ノンリニア編集装置とは別の装置を使用して、編集用素材をマスク領域に合成してマスク領域が編集されたＨＤ映像を出力した後に、出力されたＨＤ映像を使用してノンリニア編集する。これは、ノンリニア編集に工数がかかるため、さらなる改善が望まれていた。さらに、例えばノンリニア編集中にマスク領域を編集したい要望が発生すると、一度ノンリニア編集を終了し、マスク領域を編集してから再度、ノンリニア編集する必要があり、さらなる改善が望まれていた。   However, in the invention disclosed in Patent Document 1, when editing an HD video in which a mask area is edited by combining editing materials, the editing material is selected using a device different from the nonlinear editing device. After outputting the HD video in which the mask area is edited by combining with the mask area, nonlinear editing is performed using the output HD video. Since this requires time for nonlinear editing, further improvement has been desired. Further, for example, when a request for editing a mask area occurs during non-linear editing, it is necessary to finish non-linear editing once, edit the mask area, and then perform non-linear editing again, and further improvement has been desired.

そこで、本発明は、ＨＤ映像のマスク領域の編集とノンリニア編集とを１台で実施でき、かつマスク領域の編集が随時可能なノンリニア編集装置とノンリニア編集方法を提供することを目的とする。   Accordingly, an object of the present invention is to provide a non-linear editing apparatus and a non-linear editing method capable of performing editing of a mask area and non-linear editing of an HD video by a single unit and enabling editing of a mask area as needed.

前記課題を解決するため、請求項１にかかる発明は、予めマスク領域が編集されているＨＤ映像サイズの画像（以下、編集用画像と称する）を用いて、ＳＤ映像からアップコンバートされたＨＤ映像に付加されるマスク領域を編集するノンリニア編集装置であって、映像入力手段と、タイムライン変換手段と、ＳＤ画像抽出手段と、画像合成手段を有し、ＨＤ映像がノンリニア編集される際に当該ＨＤ映像から変換されたフレーム画像が選択されると、ＳＤ画像抽出手段が、選択されたフレーム画像からＳＤ画像を抽出し、画像合成手段が、編集用画像に、抽出されたＳＤ画像を重ね合わせて合成することを特徴とする。 In order to solve the above problem, the invention according to claim 1 is an HD video that is up-converted from an SD video using an HD video size image (hereinafter referred to as an editing image) in which a mask area is edited in advance. a non-linear editing apparatus for editing mask region to be added to, possess a video input means, and timeline converting means, and SD image extracting unit, an image synthesizing means, the when the HD image is non-linear editing When the frame image converted from the HD video is selected, the SD image extraction unit extracts the SD image from the selected frame image, and the image composition unit superimposes the extracted SD image on the editing image. It is characterized by combining .

請求項１にかかるノンリニア編集装置は、映像入力手段によってＨＤ映像を取り込み、タイムライン変換手段によって、取り込まれたＨＤ映像をタイムラインに沿ってＨＤ映像サイズのフレーム画像に変換する。
さらにノンリニア編集装置は、ＳＤ画像抽出手段によって、ＨＤ映像から変換されたフレーム画像で、選択されたフレーム画像から、ＳＤ映像サイズのＳＤ画像を抽出し、画像合成手段によって、ＳＤ画像を編集用画像に合成して合成画像を生成する。 According to a first aspect of the present invention, the nonlinear editing apparatus captures HD video by the video input unit, and converts the captured HD video into a frame image of HD video size along the timeline by the timeline conversion unit.
Further, the nonlinear editing apparatus extracts the SD image of the SD video size from the selected frame image with the frame image converted from the HD video by the SD image extraction unit, and the SD image is edited by the image synthesis unit. To generate a composite image.

また、請求項２にかかる発明は、ＳＤ映像からアップコンバートされたＨＤ映像に付加されるマスク領域を、予めマスク領域が編集されている画像を用いて編集するノンリニア編集方法であって、ＨＤ映像をフレーム画像に変換するステップと、フレーム画像が選択されたときに、選択されたフレーム画像からＳＤ画像を抽出するステップと、抽出されたＳＤ画像を編集用画像に合成して合成画像を生成するステップと、を有することを特徴とする。 The invention according to claim 2 is a nonlinear editing method for editing a mask area added to an HD video up-converted from an SD video using an image in which the mask area has been edited in advance. Converting a frame image into a frame image, extracting a SD image from the selected frame image when the frame image is selected, and combining the extracted SD image with an editing image to generate a combined image and having a Luz step, the.

請求項２にかかるノンリニア編集方法は、ＨＤ映像を取り込むステップによって、ＨＤ映像を取り込み、フレーム画像に変換するステップによって、取り込まれたＨＤ映像をタイムラインに沿ってＨＤ映像サイズのフレーム画像に変換する。
さらにノンリニア編集方法は、フレーム画像が選択されたときにＳＤ画像を抽出するステップによって、選択されたフレーム画像からＳＤ映像サイズのＳＤ画像を抽出し、抽出されたＳＤ画像を編集用画像に合成するステップによって、ＳＤ画像を編集用画像に合成して合成画像を生成する。 The nonlinear editing method according to claim 2 converts the captured HD video into a frame image of the HD video size along the timeline by capturing the HD video by the step of capturing the HD video and converting it into a frame image. .
Further non-linear editing methods, by extracting the SD image when the frame image is selected, extracting SD image SD video size from the selected frame image, to synthesize the extracted SD image into the image for editing In step, the SD image is combined with the editing image to generate a combined image.

本発明にかかるノンリニア編集装置は、予めマスク領域が編集されている編集用画像を用いてＨＤ映像のマスク領域を編集することができるため、ＨＤ映像のマスク領域の編集とノンリニア編集とを１台のノンリニア編集装置で実施することができる。さらに、ノンリニア編集装置でマスク領域を編集することができるため、随時マスク領域を編集することができる。
また、本発明にかかるノンリニア編集方法は、予めマスク領域が編集されている編集用画像を用いてＨＤ映像のマスク領域を編集することができるため、ＨＤ映像のマスク領域の編集とノンリニア編集とを迅速に行うことができる。 The nonlinear editing apparatus according to the present invention can edit an HD video mask area using an editing image in which the mask area has been edited in advance. It can be implemented with a non-linear editing apparatus. Further, since the mask area can be edited by the non-linear editing device, the mask area can be edited at any time.
In addition, the nonlinear editing method according to the present invention can edit an HD video mask area using an editing image in which the mask area has been edited in advance. Can be done quickly.

以下、本発明を実施するための最良の形態について、適宜、図を用いて詳細に説明する。図１は、本実施形態にかかるノンリニア編集装置の構成を示すブロック図である。   Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings as appropriate. FIG. 1 is a block diagram showing the configuration of the nonlinear editing apparatus according to this embodiment.

図１に示すように、ノンリニア編集装置１は、再生機２から送出されるＨＤ映像をノンリニア編集装置１に取り込んで編集する。ここで、再生機２は、ＳＤ映像からアップコンバートされたＨＤ映像が記録されている、例えばテープ部材を再生してＨＤ映像を送出する装置とする。   As shown in FIG. 1, the non-linear editing device 1 takes in and edits the HD video sent from the playback device 2 into the non-linear editing device 1. Here, the playback device 2 is a device in which HD video up-converted from SD video is recorded, for example, a device that plays back a tape member and sends HD video.

ノンリニア編集装置１は、映像入力部（映像入力手段）１０、ＴＬ変換部（タイムライン変換手段）１１、マスク部編集部１２、記録部１５、編集部１６、制御部１９を含んで構成される。さらに、ノンリニア編集装置１には、ＨＤＤ（Hard Disk Drive）１７、ＲＡＭ(Random Access Memory)２０が備わっている。   The nonlinear editing apparatus 1 includes a video input unit (video input unit) 10, a TL conversion unit (timeline conversion unit) 11, a mask unit editing unit 12, a recording unit 15, an editing unit 16, and a control unit 19. . Further, the non-linear editing apparatus 1 includes an HDD (Hard Disk Drive) 17 and a RAM (Random Access Memory) 20.

映像入力部１０は、再生機２が送出するＨＤ映像を取り込む機能を有するインターフェースである。   The video input unit 10 is an interface having a function of capturing HD video sent from the playback device 2.

ＴＬ変換部１１は、映像入力部１０を介して連続して取り込まれるＨＤ映像をタイムラインＴＬ（図２参照）に沿って、ＨＤ映像サイズのフレーム画像Ｆ（図２参照）に変換する機能を有する。図２は、ＨＤ映像をタイムラインに沿ってフレーム画像Ｆに変換する概要を示す図である。図２に示すように、ＴＬ変換部１１は連続して取り込まれるＨＤ映像を適宜な間隔でＨＤ映像サイズのフレーム画像に変換し、変換されたフレーム画像を時系列にタイムラインＴＬに沿って配置する。   The TL conversion unit 11 has a function of converting HD video continuously captured via the video input unit 10 into an HD video size frame image F (see FIG. 2) along the timeline TL (see FIG. 2). Have. FIG. 2 is a diagram showing an overview of converting HD video into a frame image F along a timeline. As shown in FIG. 2, the TL conversion unit 11 converts continuously captured HD video into HD video size frame images at appropriate intervals, and arranges the converted frame images in time series along the timeline TL. To do.

マスク部編集部１２は、ＨＤ映像のマスク領域を編集する機能を有していて、ＳＤ画像抽出部（ＳＤ画像抽出手段）１３と、画像合成部（画像合成手段）１４とを備えている。さらに、マスク部編集部１２には、編集用画像を生成する編集用画像生成部１２ａが備わる。   The mask unit editing unit 12 has a function of editing a mask region of HD video, and includes an SD image extraction unit (SD image extraction unit) 13 and an image synthesis unit (image synthesis unit) 14. Furthermore, the mask part editing unit 12 includes an editing image generation unit 12a that generates an editing image.

編集用画像生成部１２ａは、図３の（ａ）に示されるＳＤ画像Ｐ１と合成する編集用画像Ｐ２（図３の（ｃ）参照）を生成する機能を有する。編集用画像Ｐ２は、例えば単色で塗りつぶされた画像や、複数の色で構成されるグラデーションからなる画像であってもよいし、任意の静止画像をＨＤ映像のサイズになるように伸縮させた画像であってもよく、限定されるものではない。そして、生成された編集用画像Ｐ２は、例えば記録部１５を介してＨＤＤ１７に記録する構成とする。このように構成することで、画像合成部１４が、ＳＤ画像Ｐ１と合成する編集用画像Ｐ２をＨＤＤ１７から読み出すことができる。   The editing image generator 12a has a function of generating an editing image P2 (see FIG. 3C) to be combined with the SD image P1 shown in FIG. The editing image P2 may be, for example, an image filled with a single color or an image composed of a gradation composed of a plurality of colors, or an image obtained by expanding or contracting an arbitrary still image so as to be the size of an HD video. However, it is not limited. The generated editing image P2 is recorded on the HDD 17 via the recording unit 15, for example. With this configuration, the image composition unit 14 can read from the HDD 17 the editing image P2 to be synthesized with the SD image P1.

なお、図示はしないが、ノンリニア編集装置１と、例えばパーソナルコンピュータ等の外部機器とを、接続する構成として、パーソナルコンピュータ等の外部機器が有する画像を、ノンリニア編集装置１に編集用画像Ｐ２として取り込むことが可能な構成としてもよい。さらに、取り込んだ編集用画像Ｐ２を、ＨＤＤ１７に記録する構成であってもよい。   Although not shown, the nonlinear editing device 1 and an external device such as a personal computer are connected to each other, and an image of the external device such as a personal computer is taken into the nonlinear editing device 1 as an editing image P2. It is good also as a structure which can do. Further, the captured editing image P <b> 2 may be recorded on the HDD 17.

ＳＤ画像抽出部１３は、ＨＤ映像がタイムラインＴＬ（図２参照）に沿って変換されたフレーム画像から、図３の（ａ）に示すようにＳＤ映像サイズの画像であるＳＤ画像を抽出する機能を有していて、１枚のフレーム画像が入力されると、入力されたフレーム画像のＳＤ画像の領域を抽出する。抽出する方法は、限定されるものではないが、例えばフレーム画像Ｆの縦方向の長さの４／３倍の長さを横方向とした４：３のアスペクト比を有する画像を、フレーム画像Ｆの中央部から切り出す方法とする。そして、ＳＤ画像抽出部１３は、図３の（ｂ）に示すようにフレーム画像Ｆの中央部に存在するＳＤ画像Ｐ１を抽出することができる。   The SD image extraction unit 13 extracts an SD image that is an SD video size image as shown in FIG. 3A from a frame image obtained by converting HD video along the timeline TL (see FIG. 2). When a single frame image is input, an SD image area of the input frame image is extracted. The extraction method is not limited. For example, an image having an aspect ratio of 4: 3 having a length that is 4/3 times the length of the frame image F in the horizontal direction is set to the frame image F. The method is to cut out from the center part. Then, the SD image extraction unit 13 can extract the SD image P1 present at the center of the frame image F as shown in FIG.

図３の（ａ）は、ＳＤ映像からアップコンバートされたＨＤ映像を構成するフレーム画像の概略図である。フレーム画像Ｆは、ＨＤ映像のサイズであるため、１６：９のアスペクト比を有し、その中央部に４：３のアスペクト比を有するＳＤ画像Ｐ１が配置される。フレーム画像ＦとＳＤ画像Ｐ１とは前記のとおりアスペクト比が異なるため、フレーム画像Ｆには、ＳＤ画像Ｐ１が配置されない左サイド及び右サイドの少なくとも一方の領域に無信号の領域であるマスク領域Ｍ１、Ｍ１が付加されている。そして、通常マスク領域Ｍ１，Ｍ１は黒色となっている。なお、以下は、図３の（ａ）に示すように、フレーム画像Ｆの両サイドにマスク領域Ｍ１、Ｍ１が付加されている例に基づいて説明する。   FIG. 3A is a schematic diagram of a frame image constituting an HD video up-converted from an SD video. Since the frame image F is the size of an HD video, the SD image P1 having an aspect ratio of 16: 9 and an aspect ratio of 4: 3 is arranged at the center thereof. Since the frame image F and the SD image P1 have different aspect ratios as described above, the frame image F includes a mask area M1 that is a non-signal area in at least one of the left side and the right side where the SD image P1 is not disposed. , M1 are added. The normal mask areas M1 and M1 are black. The following description is based on an example in which mask regions M1 and M1 are added to both sides of the frame image F as shown in FIG.

画像合成部１４は、予めマスク領域が編集されて生成され、例えばＨＤＤ１７に記録されている編集用画像を読み出す機能と、ＳＤ画像抽出部１３で抽出されたＳＤ領域の画像を合成する機能を有する。すなわち、画像合成部１４は、ＨＤＤ１７から、例えば編集担当者等が選択した編集用画像を読み出す。そして、画像合成部１４は、ＳＤ画像抽出部１３から送信されたＳＤ画像Ｐ１を読み出した編集用画像の横方向の中央部に合成して１枚の合成フレーム画像Ｆ２を生成する。そして画像合成部１４は、生成された合成フレーム画像Ｆ２を、合成フレーム画像Ｆ２として送出する。図３の（ｃ）は、編集用画像にＳＤ画像を合成する態様を示す図である。   The image synthesizing unit 14 has a function of reading out an editing image that is generated by editing a mask area in advance and recorded in, for example, the HDD 17 and a function of synthesizing an image of the SD area extracted by the SD image extracting unit 13. . That is, the image composition unit 14 reads from the HDD 17 an editing image selected by, for example, an editing person. Then, the image synthesis unit 14 synthesizes the SD image P1 transmitted from the SD image extraction unit 13 with the central portion in the horizontal direction of the read editing image to generate one synthesized frame image F2. Then, the image composition unit 14 sends the generated composite frame image F2 as a composite frame image F2. (C) of FIG. 3 is a figure which shows the aspect which synthesize | combines an SD image with the image for edit.

画像合成部１４は、図３の（ｃ）に示すように、ＳＤ画像Ｐ１と、ＨＤ映像のサイズを有する編集用画像Ｐ２と、を合成して図３の（ｄ）に示すように１枚の合成フレーム画像Ｆ２を生成する。   As shown in FIG. 3C, the image composition unit 14 synthesizes the SD image P1 and the editing image P2 having the size of the HD video to generate one image as shown in FIG. The synthesized frame image F2 is generated.

ここで、編集用画像Ｐ２はＨＤ映像のサイズであり、１６：９のアスペクト比を有するため、編集用画像Ｐ２の中央部にＳＤ画像Ｐ１を合成すると、図３の（ｄ）に示すように、ＨＤ映像のサイズで、横方向の中央部にＳＤ画像Ｐ１が合成された合成フレーム画像Ｆ２が生成される。そして、ＳＤ画像Ｐ１の両側には、編集用画像Ｐ２の両サイドが表示され、マスク領域Ｍ２、Ｍ２を形成する。ここで、マスク領域Ｍ２、Ｍ２は、編集用画像Ｐ２の一部であるため、編集用画像Ｐ２を生成するときに、マスク領域Ｍ２、Ｍ２に該当する部分に任意の画像を生成すると、ＳＤ画像Ｐ１の両サイドにマスク領域Ｍ２，Ｍ２が表示されることになり、マスク領域を編集したのと同等の効果を得られる。   Here, since the editing image P2 is an HD video size and has an aspect ratio of 16: 9, when the SD image P1 is combined with the central portion of the editing image P2, as shown in FIG. Then, a combined frame image F2 is generated in which the SD image P1 is combined at the horizontal center with the size of the HD video. Then, both sides of the editing image P2 are displayed on both sides of the SD image P1, and mask areas M2 and M2 are formed. Here, since the mask areas M2 and M2 are part of the editing image P2, when an arbitrary image is generated in a portion corresponding to the mask areas M2 and M2 when the editing image P2 is generated, the SD image The mask areas M2 and M2 are displayed on both sides of P1, and the same effect as that obtained by editing the mask area can be obtained.

記録部１５は、マスク領域の編集に使用する編集用画像等を、ＨＤＤ１７などの記録媒体に記録する機能を有する。また、編集部１６は、ノンリニア編集装置１に取り込まれたＨＤ映像をノンリニア編集する機能を有する。   The recording unit 15 has a function of recording an editing image or the like used for editing the mask area on a recording medium such as the HDD 17. In addition, the editing unit 16 has a function of nonlinear editing the HD video captured by the nonlinear editing device 1.

制御部１９は、ノンリニア編集装置１を制御する機能を有し、図示しないＣＰＵ（Central Processing Unit）や、ＣＰＵによって駆動されるプログラムが格納される、図示しないＲＯＭ（Read Only Memory）などの周辺回路を含んで構成される。   The control unit 19 has a function of controlling the non-linear editing apparatus 1 and includes peripheral circuits such as a CPU (Central Processing Unit) (not shown) and a ROM (Read Only Memory) (not shown) in which a program driven by the CPU is stored. It is comprised including.

さらに、ノンリニア編集装置１は、インターフェース部１８を有していて、インターフェース部１８を介して画像表示装置２１が接続される構成であってもよい。   Further, the non-linear editing apparatus 1 may have a configuration in which the interface unit 18 is provided and the image display device 21 is connected via the interface unit 18.

以上のように構成されるノンリニア編集装置１でＨＤ映像をノンリニア編集するためには、例えば再生機２が送出するＨＤ映像を、ノンリニア編集装置１に取り込む。図４は、ＨＤ映像をノンリニア編集装置に取り込んで、フレーム画像に変換するフローチャートである（以下、適宜図１〜図３参照）。   In order to perform non-linear editing of HD video by the non-linear editing device 1 configured as described above, for example, HD video transmitted from the player 2 is taken into the non-linear editing device 1. FIG. 4 is a flowchart of taking HD video into a non-linear editing apparatus and converting it into a frame image (hereinafter, refer to FIGS. 1 to 3 as appropriate).

編集担当者等の操作によってノンリニア編集装置１の取り込み開始ボタンが操作されるなど、ＨＤ映像取り込みの要求が発生すると（Ｓ１）、制御部１９は、映像入力部１０に指令を与えて、ＨＤ映像の取り込みを開始する（Ｓ２）。そして、ノンリニア編集装置１は、ＨＤ映像を取り込む（Ｓ３）。なお、再生機２は、予めＨＤ映像を送出していてもよいし、ノンリニア編集装置１におけるＨＤ映像の取り込み要求に同期して、ＨＤ映像の送出を開始するように構成してもよい。   When a request for capturing an HD video occurs, for example, when a capture start button of the nonlinear editing apparatus 1 is operated by an operation of an editing person or the like (S1), the control unit 19 gives an instruction to the video input unit 10 to output the HD video. Is started (S2). Then, the non-linear editing device 1 takes in the HD video (S3). Note that the playback device 2 may send HD video in advance, or may be configured to start sending HD video in synchronization with a request for capturing HD video in the nonlinear editing apparatus 1.

制御部１９は、映像入力部１０とＴＬ変換部１１に指令を与えながら、取り込まれるＨＤ映像をＴＬ変換部１１に送信して、タイムラインＴＬに沿ってフレーム画像に変換する（Ｓ４）。そして、制御部１９は、ＴＬ変換部１１で変換されたフレーム画像を、記録部１５を介してＨＤＤ１７に記録する（Ｓ５）。そして、制御部１９は、取り込み終了の要求が発生しない間は（Ｓ６→Ｎｏ）、ステップＳ３からステップＳ５までのステップを繰り返し実行してＨＤ映像を取り込み、タイムラインＴＬに沿ってフレーム画像に変換する。   The control unit 19 transmits the captured HD video to the TL conversion unit 11 while giving a command to the video input unit 10 and the TL conversion unit 11, and converts it into a frame image along the timeline TL (S4). Then, the control unit 19 records the frame image converted by the TL conversion unit 11 on the HDD 17 via the recording unit 15 (S5). Then, while the capture end request does not occur (S6 → No), the control unit 19 repeatedly executes the steps from Step S3 to Step S5 to capture the HD video and convert it into a frame image along the timeline TL. To do.

編集担当者等の操作によってノンリニア編集装置１の取り込み終了ボタンが操作されるなど、ＨＤ映像取り込み終了の要求が発生すると（Ｓ６→Ｙｅｓ）、制御部１９は、映像入力部１０に指令を与えて、ＨＤ映像の取り込みを終了する（Ｓ７）。   When an HD video capture end request is generated, for example, when the capture end button of the nonlinear editing apparatus 1 is operated by an operation of an editor or the like (S6 → Yes), the control unit 19 gives a command to the video input unit 10 Then, the capturing of the HD video is terminated (S7).

制御部１９は、以上の取り込み操作を全ての映像クリップの取り込みが終了するまで（Ｓ８→Ｙｅｓ）繰り返す。すなわち、制御部１９は、編集すべき映像クリップの全てが終了しなければ（Ｓ８→Ｎｏ）、ステップＳ１に戻って、編集担当者等の操作によって取り込み要求を発生する。このとき、再生機２は、例えば継続して取り込む、次の映像クリップの映像を再生機２で送出するように設定する。ここで、映像クリップとは、例えば映像シーンごとの単位を示す。   The control unit 19 repeats the above-described capturing operation until capturing of all video clips is completed (S8 → Yes). That is, if all of the video clips to be edited are not completed (S8 → No), the control unit 19 returns to step S1 and generates a capture request by the operation of the editor or the like. At this time, the playback device 2 is set so that, for example, the video of the next video clip that is continuously captured is transmitted by the playback device 2. Here, the video clip indicates a unit for each video scene, for example.

前記のようなステップによって、再生機２が送出するＨＤ映像は、ノンリニア編集装置１に取り込まれ、タイムラインＴＬに沿ってフレーム画像に変換されてＨＤＤ１７に記録される。このとき、フレーム画像Ｆが、タイムラインＴＬに沿って、画像表示装置２１（図１参照）に表示されるように構成してもよい。
ノンリニア編集装置１の制御部１９が、以上のような取り込みステップを実行することによって、編集する全てのＨＤ映像がノンリニア編集装置１に取り込まれ、タイムラインＴＬに沿ってフレーム画像に変換される。 Through the steps as described above, the HD video sent out by the player 2 is taken into the nonlinear editing apparatus 1, converted into a frame image along the timeline TL, and recorded on the HDD 17. At this time, the frame image F may be displayed on the image display device 21 (see FIG. 1) along the timeline TL.
When the control unit 19 of the non-linear editing device 1 executes the capturing step as described above, all HD videos to be edited are captured by the non-linear editing device 1 and converted into frame images along the timeline TL.

次に、ノンリニア編集装置１は、タイムラインＴＬ（図２参照）に沿ってＨＤ映像から変換されたフレーム画像Ｆについて、マスク領域Ｍ１（図３参照）を編集する。マスク領域Ｍ１の編集は、映像クリップを単位として、フレーム画像Ｆ（図３参照）ごとに実行する。図５は、マスク領域を編集するマスク部編集部の流れを示すブロック図である。   Next, the nonlinear editing apparatus 1 edits the mask area M1 (see FIG. 3) for the frame image F converted from the HD video along the timeline TL (see FIG. 2). The editing of the mask area M1 is executed for each frame image F (see FIG. 3) in units of video clips. FIG. 5 is a block diagram showing a flow of the mask part editing unit for editing the mask area.

図５に示すように、ＳＤ画像抽出部１３は、１枚のフレーム画像Ｆを取り込んで、ＳＤ画像Ｐ１を抽出する。抽出されたＳＤ画像Ｐ１は、画像合成部１４に入力されて、ＨＤＤ１７に記憶されていて画像合成部１４が読み出す編集用画像Ｐ２と合成される。そして、画像合成部１４は、ＳＤ画像Ｐ１と編集用画像Ｐ２とが合成された画像を合成フレーム画像Ｆ２として出力する。   As shown in FIG. 5, the SD image extraction unit 13 takes in one frame image F and extracts an SD image P1. The extracted SD image P1 is input to the image composition unit 14 and synthesized with the editing image P2 stored in the HDD 17 and read out by the image composition unit 14. Then, the image composition unit 14 outputs an image obtained by compositing the SD image P1 and the editing image P2 as a composite frame image F2.

このように、マスク部編集部１２で生成された合成フレーム画像Ｆ２は、図３の（ｄ）に示すように、ＨＤ映像サイズの画像の横方向の中央部にＳＤ画像Ｐ１が配置され、両サイドにマスク領域Ｍ２、Ｍ２が存在する構成となる。そして、マスク領域Ｍ２、Ｍ２には、編集担当者等が生成した編集用画像Ｐ２の両サイドが表示されることになる。   As described above, in the combined frame image F2 generated by the mask unit editing unit 12, the SD image P1 is arranged at the center in the horizontal direction of the HD video size image, as shown in FIG. The mask regions M2 and M2 are present on the side. In the mask areas M2 and M2, both sides of the editing image P2 generated by the editor or the like are displayed.

図６は、マスク領域を編集するフローチャートである。図５に示されるブロック図で構成されるマスク部編集部１２は、図６に示すフローチャートのステップの実行によって、ＨＤ画像を構成するフレーム画像Ｆのマスク領域Ｍ１を下記のように編集する（以下、適宜図１、図３参照）。   FIG. 6 is a flowchart for editing a mask area. The mask part editing unit 12 configured by the block diagram shown in FIG. 5 edits the mask area M1 of the frame image F constituting the HD image as follows by executing the steps of the flowchart shown in FIG. (See FIGS. 1 and 3 as appropriate).

ノンリニア編集装置１の制御部１９は、編集担当者等による、マスク領域Ｍ１を編集する映像クリップを選択する操作によって、マスク領域Ｍ１を編集する映像クリップを選択する（Ｓ１１）。さらに、制御部１９は、編集担当者等による、編集用画像Ｐ２を選択する操作によって、編集用画像Ｐ２を選択する（Ｓ１２）。   The control unit 19 of the non-linear editing apparatus 1 selects a video clip for editing the mask area M1 by an operation of selecting a video clip for editing the mask area M1 by an editor or the like (S11). Further, the control unit 19 selects the editing image P2 by an operation of selecting the editing image P2 by an editor or the like (S12).

そして、制御部１９は、選択された映像クリップに、編集用画像Ｐ２を対応させる（Ｓ１３）。ここで、選択された映像クリップに、編集用画像Ｐ２を対応させる方法は、例えば、映像クリップごとにクリップ番号を付与し、選択された映像クリップのクリップ番号に編集用画像Ｐ２のファイル名を対応させ、クリップ番号とファイル名とを保存すればよい。   Then, the control unit 19 associates the editing image P2 with the selected video clip (S13). Here, the method of associating the editing image P2 with the selected video clip is, for example, assigning a clip number to each video clip, and corresponding the file name of the editing image P2 to the clip number of the selected video clip. And save the clip number and file name.

以上のようなステップの実行によって、マスク領域Ｍ１を編集する編集用画像Ｐ２が、映像クリップに対応される。   By executing the steps as described above, the editing image P2 for editing the mask area M1 corresponds to the video clip.

編集担当者等が、ノンリニア編集装置１の操作部１６ａを操作してＨＤ映像をノンリニア編集する際に、編集担当者等がフレーム画像Ｆを選択すると、制御部１９は、ＳＤ画像抽出部１３に指令を与えて、選択されたフレーム画像Ｆを取り込む（Ｓ１４）。制御部１９は、ＳＤ画像抽出部１３に指令を与えて、取り込んだフレーム画像ＦからＳＤ画像Ｐ１を抽出して（Ｓ１５）、抽出したＳＤ画像Ｐ１を画像合成部１４に送る。制御部１９は、画像合成部１４に指令を与えて、選択されたフレーム画像Ｆが属する映像クリップに対応している編集用画像Ｐ２を、ＨＤＤ１７から読み出す（Ｓ１６）。そして、制御部１９は、画像合成部１４に指令を与え、ＳＤ画像抽出部１３から送信されたＳＤ画像Ｐ１を、読み出した編集用画像Ｐ２の横方向の中央部に重ね合わせて合成して（Ｓ１７）、合成フレーム画像Ｆ２を生成する。合成フレーム画像Ｆ２は、編集用画像Ｐ２が合成された画像であるため、例えば映像クリップの切り替わり部にフェードイン／アウトなどの特殊効果を挿入する場合に、編集用画像Ｐ２で構成されるマスク領域Ｍ２についても特殊効果を反映させることができる。すなわち、マスク領域Ｍ２についてもＳＤ画像Ｐ１の部と同様にフェードイン／アウトさせて画面を切り替えることができる。   When an editing person or the like operates the operation unit 16a of the nonlinear editing apparatus 1 to nonlinearly edit the HD video, when the editing person or the like selects the frame image F, the control unit 19 causes the SD image extraction unit 13 to A command is given to capture the selected frame image F (S14). The control unit 19 gives an instruction to the SD image extraction unit 13, extracts the SD image P1 from the captured frame image F (S15), and sends the extracted SD image P1 to the image composition unit 14. The control unit 19 gives an instruction to the image composition unit 14 and reads the editing image P2 corresponding to the video clip to which the selected frame image F belongs from the HDD 17 (S16). Then, the control unit 19 gives a command to the image composition unit 14 and synthesizes the SD image P1 transmitted from the SD image extraction unit 13 by superimposing it on the central portion in the horizontal direction of the read image P2 for editing ( S17) A composite frame image F2 is generated. Since the composite frame image F2 is an image obtained by combining the editing image P2, for example, when a special effect such as fade-in / out is inserted in the switching portion of the video clip, the mask area configured by the editing image P2 Special effects can be reflected in M2. That is, the screen can be switched by fading in / out the mask area M2 as in the case of the SD image P1.

そして、編集担当者等の操作によって、制御部１９が、ノンリニア編集が終了したことを検出すると（Ｓ１８→Ｙｅｓ）終了する。なお、ステップＳ１８において、制御部１９が、ノンリニア編集が終了したことを検出しない間は（Ｓ１８→Ｎｏ）、ステップＳ１４からステップＳ１７を繰り返す。   When the control unit 19 detects that the nonlinear editing has been completed by the operation of the person in charge of editing or the like (S18 → Yes), the process ends. In step S18, as long as the control unit 19 does not detect that nonlinear editing has been completed (S18 → No), steps S14 to S17 are repeated.

以上のように、本発明にかかるＨＤ映像のノンリニア編集装置及びノンリニア編集方法においては、マスク領域を編集する編集用画像を、ＨＤ映像を構成するフレーム画像に合成してからノンリニア編集が行えるため、編集用画像をフレーム画像の一部の画像データとして扱うことによって特殊効果を編集用画像にも反映させることができる。そして、ノンリニア編集装置がマスク領域を編集する機能を有するため、マスク領域の編集とノンリニア編集とを１台のノンリニア編集装置で実施することができるという優れた効果を奏する。また、ノンリニア編集装置で、マスク領域を編集することができるため、例えば、ノンリニア編集中にマスク領域が編集したくなったときなど、必要なときに随時マスク領域の編集ができるという優れた効果を奏する。   As described above, in the non-linear editing apparatus and non-linear editing method for HD video according to the present invention, since the editing image for editing the mask region can be nonlinear edited after being combined with the frame image constituting the HD video, By treating the editing image as part of the image data of the frame image, the special effect can be reflected in the editing image. Since the nonlinear editing apparatus has a function of editing the mask area, the mask area editing and the nonlinear editing can be performed with a single nonlinear editing apparatus. In addition, since the mask area can be edited with a non-linear editing device, for example, when it becomes necessary to edit the mask area during non-linear editing, the mask area can be edited whenever necessary. Play.

ノンリニア編集装置の構成を示すブロック図である。It is a block diagram which shows the structure of a non-linear editing apparatus. ＨＤ映像をタイムライン沿ってフレーム画像に変換する概要を示す図である。It is a figure which shows the outline | summary which converts HD image | video into a frame image along a timeline. （ａ）は、ＳＤ映像からアップコンバートされたＨＤ映像を構成するフレーム画像の概略図、（ｂ）はフレーム画像からＳＤ画像を抽出することを示す図、（ｃ）は、編集用画像にＳＤ画像を合成する態様を示す図、（ｄ）は、合成フレーム画像の構成を示す図である。(A) is a schematic diagram of a frame image constituting an HD video upconverted from an SD video, (b) is a diagram showing extraction of an SD image from the frame image, and (c) is an SD image for editing. The figure which shows the aspect which synthesize | combines an image, (d) is a figure which shows the structure of a synthetic | combination frame image. ＨＤ映像をノンリニア編集装置に取り込んで、タイムラインに沿ってフレーム画像に変換するフローチャートである。It is a flowchart which takes in HD image | video into a nonlinear editing apparatus and converts it into a frame image along a timeline. マスク領域を編集するマスク部編集部の流れを示すブロック図である。It is a block diagram which shows the flow of the mask part edit part which edits a mask area | region. マスク領域を編集するフローチャートである。It is a flowchart which edits a mask area | region.

符号の説明Explanation of symbols

１ ノンリニア編集装置
１０ 映像入力部
１１ ＴＬ変換部
１２ マスク部編集部
１３ ＳＤ画像抽出部
１４ 画像合成部
１９ 制御部
Ｆ フレーム画像
Ｆ２ 合成フレーム画像
Ｐ１ ＳＤ画像
Ｐ２ 編集用画像
Ｍ１、Ｍ２ マスク領域 DESCRIPTION OF SYMBOLS 1 Nonlinear editing apparatus 10 Image | video input part 11 TL conversion part 12 Mask part edit part 13 SD image extraction part 14 Image composition part 19 Control part F Frame image F2 Composite frame image P1 SD image P2 Editing image M1, M2 Mask area | region

Claims (2)

ＳＤ映像に無信号の領域からなるマスク領域を付加してアップコンバートされたＨＤ映像から、前記マスク領域の内容を編集した映像を生成するノンリニア編集装置であって、
前記ＨＤ映像を取り込む映像入力手段と、
前記映像入力手段で取り込まれた前記ＨＤ映像を、タイムラインに沿ってＨＤ映像サイズのフレーム画像に変換するタイムライン変換手段と、
前記タイムライン変換手段で変換された前記フレーム画像から、ＳＤ映像サイズの画像であるＳＤ画像を抽出するＳＤ画像抽出手段と、
前記ＳＤ画像抽出手段で抽出された前記ＳＤ画像を、予め前記マスク領域が編集されている編集用画像と合成して合成画像を得る画像合成手段と、
を備え、
前記ＨＤ映像がノンリニア編集される際に当該ＨＤ映像から変換された前記フレーム画像が選択されると、
前記ＳＤ画像抽出手段が、選択された前記フレーム画像から前記ＳＤ画像を抽出し、
前記画像合成手段が、前記編集用画像に、抽出された前記ＳＤ画像を重ね合わせて合成することを特徴とするノンリニア編集装置。 A non-linear editing device that generates a video in which the contents of the mask area are edited from an HD video that is up-converted by adding a mask area consisting of a non-signal area to an SD video,
Video input means for capturing the HD video;
Timeline conversion means for converting the HD video captured by the video input means into a frame image of HD video size along the timeline;
SD image extraction means for extracting an SD image that is an SD video size image from the frame image converted by the timeline conversion means;
Image synthesizing means for synthesizing the SD image extracted by the SD image extracting means with an image for editing in which the mask area is edited in advance, and obtaining a synthesized image;
Equipped with a,
When the frame image converted from the HD video is selected when the HD video is nonlinearly edited,
The SD image extracting means extracts the SD image from the selected frame image;
The image synthesizing means, wherein the edit image, extracted the nonlinear editing apparatus characterized that you synthesized by superimposing the SD image. ＳＤ映像に無信号の領域からなるマスク領域を付加してアップコンバートされたＨＤ映像から、前記マスク領域の内容を編集した映像を生成するノンリニア編集方法であって、
前記ＨＤ映像を取り込むステップと、
取り込まれた前記ＨＤ映像を、タイムラインに沿ってＨＤ映像サイズのフレーム画像に変換するステップと、
前記フレーム画像が選択されたときに、選択された前記フレーム画像から、ＳＤ映像サイズの画像であるＳＤ画像を抽出するステップと、
抽出された前記ＳＤ画像を、予め前記マスク領域が編集されている編集用画像に合成して合成画像を得るステップと、
を有することを特徴とするノンリニア編集方法。 A non-linear editing method for generating a video in which the contents of the mask area are edited from an HD video obtained by adding a mask area consisting of a non-signal area to an SD video,
Capturing the HD video;
Converting the captured HD video into a frame image of HD video size along a timeline;
Extracting an SD image that is an image of an SD video size from the selected frame image when the frame image is selected ;
Synthesizing the extracted SD image with an image for editing in which the mask area has been edited in advance to obtain a synthesized image;
A non-linear editing method characterized by comprising:

Images