JP4309819B2 - Video editing device - Google Patents

Description

本発明は、テレビジョン放送番組制作、ビデオ番組制作などの動画像の番組制作に使用する動画像編集装置に関わり、特に、モニタ画面上における操作によって編集を行う場合に使用する登場人物検出方法に関するものである。   The present invention relates to a moving image editing apparatus used for moving image program production such as television broadcast program production and video program production, and more particularly to a character detection method used when editing is performed by an operation on a monitor screen. Is.

近年、コンピュータの高速化、高機能化に相俟って、ソフトウエアの多様化、高機能化が急速に進展している。これらコンピュータ、ソフトウエアを使用することで、テレビジョン放送番組やビデオ番組を制作する制作設備の高機能化が進められている。   In recent years, along with the increase in speed and functionality of computers, the diversification of software and the enhancement of functionality are rapidly progressing. By using these computers and software, the production facilities for producing television broadcast programs and video programs are being enhanced.

特に、近年の番組制作は、ビデオテープレコーダによって、テープカウンタを頼りに、早送り、巻き戻しを繰り返すような映像編集方法ではなく、ランダムアクセスが可能な情報記憶装置を有する動画像編集装置を使用して、映像情報の編集を行っている。このような動画像編集装置に、さらに、高機能化、多様化しているコンピュータ、ソフトウエアを採用することで、ますます動画像編集装置の高機能化が進められている。ここで、映像情報とは音声を含む映像に関するすべての情報のことである。   In particular, in recent program production, a video editing device having an information storage device capable of random access is used instead of a video editing method that repeats fast-forwarding and rewinding with a video tape recorder using a tape counter. Editing video information. By adopting more sophisticated and diversified computers and software in such a moving image editing apparatus, the function of the moving image editing apparatus is being further enhanced. Here, the video information is all information related to video including audio.

図３は動画像編集装置の一構成例を示すブロック図である。3010はCPU（Central Processing Unit：中央演算処理装置）、3020はメモリ、3030はカット変化点検出部、3040は画像再生装置、3050はビデオインターフェース、3060は情報記憶装置、3070はフレームバッファ、3080はモニタ、3090は入力装置、3100はバス、3110は画像信号出力端子である。この動画像編集装置は、ソフトウエア（プログラム）の制御により動画像編集装置を構成する各装置の制御および編集を行うCPU3010と、CPU3010の制御情報や、動画像、シーン画像、カット画像および編集状況を表す階層構造（ツリー構造）の情報など、編集に関する情報を表示するモニタ3080と、モニタ3080の画面上に表示されている情報を選択してCPU3010へのコマンドの入力を行うマウスやキーボード等からなる入力装置3090と、モニタ3080に表示するための画像情報を記憶するフレームバッファメモリ3070と、編集に使用する動画像の画像信号を記録媒体から再生しビデオインターフェース3050へ出力する（編集装置に動画像を入力するための）画像再生装置（例えば、VTR：ビデオテープレコーダ）3040と、画像再生装置3040から入力される動画像の画像信号を動画像編集装置で扱うフォーマットの画像情報に変換し情報記憶装置（例えば、ハードディスク等の磁気記憶装置）3060とカット変化点検出部3030とメモリ3020とへ出力し、かつ動画像編集装置で扱うフォーマットで編集され情報記憶装置3060から出力される動画像の画像情報を画像信号に変換し画像信号出力端子3110から出力するビデオインターフェース3050と、動画像を構成するフレーム画像の隣接するフレーム画像を比較してフレーム画像間の差の画像情報が所定量を越えて変化している場合には隣接するフレーム画像は異なるカット画像に属すると判定し分割するカット変化点検出部3030と、CPU3010の制御ソフトウエアを記憶するとともに、動画像編集装置で使用されるさまざまな制御情報（一連の動画像のフレーム番号、検出したカット変化点のフレーム番号、モニタ3080の画面に表示される画像サイズを縮小した表示用画像（M-アイコン：Moving Icon）、M-アイコンファイル名、カット画像に順次シリアルに付与されているカット画像番号、複数のカット画像の順序を表すシーケンス番号等）などを一時記憶するメモリ3020と、画像再生装置3040から再生されビデオインターフェース3050で所要フォーマットに変換された編集に使用する動画像の画像情報を記憶するとともに、メモリ3020で一時記憶した動画像編集装置で使用される編集情報や制御情報、例えばM-アイコンなどを記憶するランダムアクセス可能な、例えばハードディスクを使用した情報記憶装置3060と、動画像編集装置内の各装置間のディジタル情報伝送に使用されるバス3100と、動画像の画像情報を出力する画像信号出力端子3110を備えている。   FIG. 3 is a block diagram showing a configuration example of the moving image editing apparatus. 3010 is a CPU (Central Processing Unit), 3020 is a memory, 3030 is a cut change point detection unit, 3040 is an image playback device, 3050 is a video interface, 3060 is an information storage device, 3070 is a frame buffer, 3080 is A monitor, 3090 is an input device, 3100 is a bus, and 3110 is an image signal output terminal. This moving image editing device includes a CPU 3010 that controls and edits each device constituting the moving image editing device under the control of software (program), control information of the CPU 3010, moving images, scene images, cut images, and editing status From the monitor 3080 that displays information related to editing, such as information on the hierarchical structure (tree structure) that represents, and the mouse or keyboard that selects information displayed on the monitor 3080 screen and inputs commands to the CPU 3010 An input device 3090, a frame buffer memory 3070 for storing image information to be displayed on the monitor 3080, and an image signal of a moving image used for editing is reproduced from the recording medium and output to the video interface 3050 (moving image to the editing device). An image playback device (for example, VTR: video tape recorder) 3040 for inputting an image and an image of a moving image input from the image playback device 3040 The signal is converted into image information in a format handled by the moving image editing device, and output to an information storage device (for example, a magnetic storage device such as a hard disk) 3060, a cut change point detection unit 3030, and a memory 3020, and the moving image editing device A video interface 3050 that converts image information of a moving image that is edited in a format to be handled and output from the information storage device 3060 into an image signal and outputs the image signal from an image signal output terminal 3110, and a frame image adjacent to the frame image that constitutes the moving image When the image information of the difference between the frame images is changed over a predetermined amount by comparison, the adjacent frame image is determined to belong to a different cut image, and the cut change point detection unit 3030 for dividing and controlling the CPU 3010 The software stores the various control information used by the video editing device (a series of video frame numbers, Frame number of change point, display image (M-icon: Moving Icon) with reduced image size displayed on the screen of monitor 3080, M-icon file name, cut image number assigned serially to cut image sequentially , A sequence number representing the order of a plurality of cut images, etc.) and image information of a moving image used for editing that is reproduced from the image reproduction device 3040 and converted into a required format by the video interface 3050 At the same time, editing information and control information used in the moving image editing apparatus temporarily stored in the memory 3020, such as an information storage apparatus 3060 using a hard disk, which stores random access information, for example, an M-icon, and moving image editing A bus 3100 used for digital information transmission between each device in the device, and an image signal output for outputting moving image information. And it includes a terminal 3110.

なお、バス3100には、動画像編集装置を構成する前記各装置のCPU3010、メモリ3020、カット変化点検出部3030、ビデオインターフェース3050、情報記憶装置3060、フレームバッファメモリ3070、モニタ3080、入力装置3090が接続されており、CPU3010はこれら装置と各種信号を送受し合い、これら装置はCPU3010からのアクセス信号により制御される。また、CPU3010への指示は、マウスあるいはキーボードなどの入力装置3090から入力される。   The bus 3100 includes a CPU 3010, a memory 3020, a cut change point detection unit 3030, a video interface 3050, an information storage device 3060, a frame buffer memory 3070, a monitor 3080, and an input device 3090 of each of the devices constituting the moving image editing device. The CPU 3010 sends and receives various signals to and from these devices, and these devices are controlled by access signals from the CPU 3010. An instruction to the CPU 3010 is input from an input device 3090 such as a mouse or a keyboard.

上述のように構成され、所要のソフトウエアをメモリ3020に備えている動画像編集装置を使用することにより、編集する動画像の画像情報をメモリ3020さらに情報記憶装置3060に記憶し管理することができる。またさらに動画像編集装置は、モニタ3080の画面上に、メモリ3020および情報記憶装置3060に記憶している動画像のカット画像やシーン画像を縮小したM-アイコンとして表示し、カット画像やシーン画像を単位としたツリー構造を形成することにより動画像の編集作業を行うことができる。また、前記情報記憶装置3060を伝送ネットワークを介したリモートファイルとしてもよい。   By using the moving image editing apparatus configured as described above and having the required software in the memory 3020, the image information of the moving image to be edited can be stored and managed in the memory 3020 and further in the information storage device 3060. it can. Furthermore, the moving image editing apparatus displays the cut images and scene images of the moving images stored in the memory 3020 and the information storage device 3060 as reduced M-icons on the screen of the monitor 3080. Editing a moving image can be performed by forming a tree structure in units of. Further, the information storage device 3060 may be a remote file via a transmission network.

ここでカット画像、シーン画像、M-アイコン等の説明をする。情報記憶装置3060やメモリ3020に記憶される動画像を構成する画像データは、複数の画像の集合として定義することができる。「カット画像」は、テレビジョンカメラによる１回の撮像開始から終了までの間に撮像されたフレーム画像の集合である。したがって、この動画像編集装置では、M-アイコンが一回の撮像開始から終了までの間のフレーム画像と１対１に対応するGUI（Graphical User Interface：グラフィックスを主体としたユーザインタフェース）となっている。   Here, cut images, scene images, M-icons, etc. will be described. Image data constituting a moving image stored in the information storage device 3060 or the memory 3020 can be defined as a set of a plurality of images. A “cut image” is a set of frame images captured from the start to the end of a single imaging by a television camera. Therefore, in this moving image editing apparatus, the M-icon is a GUI (Graphical User Interface) that has a one-to-one correspondence with the frame image from the start to the end of one imaging. ing.

ここで、「M-アイコン」は、画像のサイズを所要の比率で縮小した表示用画像で、複数のフレーム画像からなる動画像全体、あるいはシーン画像を高速で表示して見る場合に、高速表示用として、あるいはカット画像の代表画像として表示されるものである。   Here, the “M-icon” is a display image with the image size reduced at the required ratio. When displaying an entire moving image consisting of multiple frame images or a scene image at a high speed, it is displayed at high speed. It is displayed for use or as a representative image of a cut image.

また、「シーン画像」は、所定の撮像対象を撮像した複数のカット画像を集合したものであり、情報記憶装置3060などに記憶される動画像を構成する画像データは、複数のシーン画像の集合である。「複数のシーン画像」は、さらに特定の撮像テーマのもとにまとめることにより、編集された特定の撮像テーマの動画像（番組）とすることができる。   The “scene image” is a collection of a plurality of cut images obtained by capturing a predetermined imaging target, and the image data constituting the moving image stored in the information storage device 3060 or the like is a collection of a plurality of scene images. It is. The “several scene images” can be compiled into a moving image (program) of a specific imaging theme by collecting them under a specific imaging theme.

このように特定の撮像テーマのもとに編集される動画像は、画像素材である複数のカット画像の中から、特定の撮像テーマに合せて選択したいくつかのカット画像と、この選択したいくつかのカット画像をまとめたシーン画像と、このシーン画像を特定の撮像テーマのもとにまとめた撮像テーマ（あるいは題名）を有する動画像というように、階層構造（ツリー構造）の画像データとして整理することができる。また、このツリー構造には、一連の動画像のフレーム番号、検出したカット変化点の画像のフレーム番号、カット画像に順次シリアルに付与されているカット画像番号、シーン画像を構成する複数のカット画像の順序を表すシーケンス番号のデータが整理配置されており、上述の制御情報はこれらの階層構造情報を含んでいる。モニタ3080の表示画面は、動画像編集に使用するカット画像、シーン画像および編集状態を表すツリー構造などの編集情報を表示するGUI画面である。編集者は、入力装置（例えば、マウス）3090を使用して、この編集情報を表示するモニタ3080の画面の編集情報を選択することで動画像編集装置に指示を与えることができる。   As described above, a moving image edited based on a specific imaging theme includes a plurality of cut images selected according to a specific imaging theme from a plurality of cut images as image materials, and the selected number of images. A hierarchical image (tree structure), such as a scene image in which the cut images are combined, and a moving image having an image capturing theme (or title) that is grouped under a specific image capturing theme. can do. This tree structure also includes a frame number of a series of moving images, a frame number of an image of a detected cut change point, a cut image number serially assigned to the cut image, and a plurality of cut images constituting a scene image. Data of sequence numbers representing the order of the above are arranged and the above-mentioned control information includes such hierarchical structure information. The display screen of the monitor 3080 is a GUI screen for displaying editing information such as a cut image used for moving image editing, a scene image, and a tree structure representing an editing state. The editor can give an instruction to the moving image editing apparatus by using the input device (for example, mouse) 3090 and selecting the editing information on the screen of the monitor 3080 that displays the editing information.

このように前述の動画像編集装置は、編集する動画像をツリー構造として記憶し管理することで番組を作成することができ、カット画像やシーン画像を単位とした編集作業ができるようになっている。以後、図３で説明したブロック構成図の一例によって、本文の従来技術および本発明の実施例を説明していく。   As described above, the above-described moving image editing apparatus can create a program by storing and managing moving images to be edited as a tree structure, and can perform editing work in units of cut images and scene images. Yes. Hereinafter, the prior art and the embodiments of the present invention will be described with reference to the example of the block diagram shown in FIG.

図４は、上述した動画像編集装置のモニタ3080の画面に表示される編集用ウインドウの一例を示す図である。1000は編集用ウインドウ、1010は編集エリア、1020は素材エリア、1030，1031，1032，1033，1034，・・・，103A，・・・， 103M，103N，・・・は素材エリア1020に表示されている画像素材のM-アイコン（ただし、A，M，Nは自然数で、M=N-1，A＜M）、1040は編集された動画像の編集内容を表すM-アイコンで構成するツリー構造、1050は編集作業に使用する各種制御機能を選択する編集機能ボタン群、1051は登場人物検出ボタン、1052はツリー構造作成ボタン、1070は編集エリア1010の表示画面を横方向にスライドさせるスライダ、1080は編集エリア1010の表示画面を縦方向にスライドさせるスライダ、1090は素材エリア1020の表示画面を縦方向にスライドさせるスライダ、1210は編集エリア1010に登録されたカット画像を表すM-アイコン、1220は１つまたは複数のカット画像で構成したシーン画像を表すM-アイコン、1230は１つ以上のシーン画像で構成したM-アイコン、1240はテーマに合せ編集された動画像（番組）を表すM-アイコン、810はマウス等のポインティングデバイスによってGUI操作を行う時にGUI画面上に表示されるマウスポインタであるなお、M-アイコンの表面には、対応する縮小表示用画像が表示されているが、煩雑なので、本明細書では特に必要にない限り省略する。   FIG. 4 is a diagram showing an example of an editing window displayed on the screen of the monitor 3080 of the moving image editing apparatus described above. 1000 is an edit window, 1010 is an edit area, 1020 is a material area, 1030, 1031, 1032, 1033, 1034, ..., 103A, ..., 103M, 103N, ... are displayed in the material area 1020 A tree consisting of M-icons (where A, M, N are natural numbers, M = N-1, A <M), and 1040 represents the edited content of the edited video. Structure, 1050 is an editing function button group for selecting various control functions used for editing work, 1051 is a character detection button, 1052 is a tree structure creation button, 1070 is a slider that slides the display screen of the editing area 1010 horizontally, 1080 is a slider that slides the display screen of the editing area 1010 in the vertical direction, 1090 is a slider that slides the display screen of the material area 1020 in the vertical direction, 1210 is an M-icon that represents a cut image registered in the editing area 1010, 1220 Consists of one or more cut images M-icon representing a scene image, 1230 an M-icon composed of one or more scene images, 1240 an M-icon representing a moving image (program) edited according to a theme, and 810 a pointing device such as a mouse It is a mouse pointer that is displayed on the GUI screen when performing a GUI operation. Although the corresponding reduced display image is displayed on the surface of the M-icon, it is complicated and is particularly necessary in this specification. Omitted unless otherwise.

図４において、編集エリア1010の中のM-アイコンで構成されるツリー構造1040は、編集のために選択したカット画像を表すM-アイコン1210が１個または複数個集合して、その階層の上部にシーン画像を表すM-アイコン1220を構成し、さらに、このシーン画像を表すM-アイコン1220が１個または複数個集合して、その階層の上部に特定のシーン画像の集合を表すM-アイコン1230を構成し、最後に特定のシーン画像の集合を表すM-アイコン1230が複数個集合してテーマに合せ編集された番組を表すM-アイコン1240を構成している。   In FIG. 4, a tree structure 1040 composed of M-icons in the editing area 1010 includes one or more M-icons 1210 representing cut images selected for editing, and the upper part of the hierarchy. The M-icon 1220 representing the scene image is configured, and one or more M-icons 1220 representing the scene image are collected, and an M-icon representing a set of specific scene images at the top of the hierarchy. 1230, and finally, an M-icon 1240 representing a program edited in accordance with the theme is collected by a plurality of M-icons 1230 representing a set of specific scene images.

ツリー構造1040の階層数は任意であり、さらに上部に階層が構成することができることはもちろんである。編集エリア1010の画面の大きさに限りがあるため、図４ではツリー構造1040の全体が表示されていない。この表示されていない部分を表示させるためには、入力装置3090によって、スライダ1070、あるいはスライダ1080を操作して、所要の横方向、あるいは縦方向に表示を移動させることによってツリー構造1040の全体を見る。   The number of hierarchies of the tree structure 1040 is arbitrary, and it is needless to say that hierarchies can be formed in the upper part. Since the screen size of the editing area 1010 is limited, the entire tree structure 1040 is not displayed in FIG. In order to display this non-displayed portion, the entire tree structure 1040 is moved by operating the slider 1070 or the slider 1080 with the input device 3090 to move the display in the required horizontal or vertical direction. to see.

また素材エリア1020には、カット変化点検出部3030によって検出された異なるカット画像から作成されたM-アイコンが、編集に使用する画像素材M-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・として一時的に置かれ、一覧できるように表示されている。編集作業を進め、画像の呼出しを行ないM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・が作成され表示された段階では、M-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・は、素材エリア1020に時系列順に左から右、上から下に向かって表示される。   Further, in the material area 1020, M-icons created from different cut images detected by the cut change point detection unit 3030 include image material M-icons 1030, 1031, 1032, 1033, 1034,. .. 103A,..., 103M, 103N,... Are temporarily placed and displayed so that they can be listed. In the stage where editing work is proceeded and images are called and M-icons 1030, 1031, 1032, 1033, 1034, ..., 103A, ..., 103M, 103N, ... are created and displayed, M -Icons 1030, 1031, 1032, 1033, 1034, ..., 103A, ..., 103M, 103N, ... are displayed in the material area 1020 in chronological order from left to right and from top to bottom. The

この素材エリア1020の中のM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・・，103M，103N，・・・についても、編集エリア1010と同様に、M-アイコンの数が多くて画面に一度に表示されていない場合は、入力装置3090によってスライダ1090を操作し、縦方向に表示を移動させることによってすべてのM-アイコンを見る。   In the material area 1020, M-icons 1030, 1031, 1032, 1033, 1034,..., 103A,..., 103M, 103N,. When the number of icons is too large to be displayed on the screen at a time, all the M-icons are viewed by operating the slider 1090 with the input device 3090 and moving the display in the vertical direction.

編集を行うためには、この素材エリア1020の中から編集に必要なM-アイコンを選択し、次に機能ボタン群1050中のツリー構造作成ボタン1052を押す。これによって、選択されたM-アイコン1030は編集エリア1010へ移動（あるいはコピー）される。編集作業は、このように、ツリー構造1040を構成しながら行う。なお、図４では編集がある程度進んでおり、すでに編集エリア1010にツリー構造1040ができており、さらに、素材エリア1020のM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・の中から所望のM-アイコンを選択して、図４から編集を継続する状態である。また、素材エリア1020と編集エリア1010の中に表示されるM-アイコンは、図面上では１枚のカードとして描かれているが、これは省略図であって、実際のモニタ3080の表示画面上では、M-アイコンのそれぞれは、M-アイコンがそれぞれ持つフレーム画像の枚数の重なった形状で表示される。   In order to perform editing, an M-icon necessary for editing is selected from the material area 1020, and then a tree structure creation button 1052 in the function button group 1050 is pressed. As a result, the selected M-icon 1030 is moved (or copied) to the editing area 1010. Editing operations are performed while configuring the tree structure 1040 in this way. In FIG. 4, editing has progressed to some extent, and a tree structure 1040 has already been created in the editing area 1010. Further, M-icons 1030, 1031, 1032, 1033, 1034,. .., 103M, 103N,..., A desired M-icon is selected and editing is continued from FIG. In addition, the M-icon displayed in the material area 1020 and the editing area 1010 is drawn as a single card in the drawing, but this is an abbreviated figure and is displayed on the actual monitor 3080 display screen. Then, each M-icon is displayed in a shape in which the number of frame images each M-icon has.

以上のようにして動画像の編集を進めるが、実際に番組作成に必要な画像素材は、情報記憶装置3060に記憶された画像情報（カット画像、あるいは１つの動画像のファイルとして読出された一連の動画像）のすべてであることは少ない。即ち、素材エリア1020に表示されている複数のM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・のすべてが必要となることはなく、編集目的、あるいは撮像テーマにより選択した一部のM-アイコンに関連付けられた画像素材だけが番組に使用される。また、画像素材には通常複数のシーンが含まれているので、情報記憶装置3060から読出した画像素材あるいは画像情報に含まれる多くのM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・の中から編集に必要なM-アイコンを探すことになる。   The editing of the moving image proceeds as described above. However, the image material actually required for creating the program is the image information stored in the information storage device 3060 (a cut image or a series of images read as one moving image file). Is not all). That is, all of the plurality of M-icons 1030, 1031, 1032, 1033, 1034, ..., 103A, ..., 103M, 103N, ... displayed in the material area 1020 are required. Rather, only image materials associated with some M-icons selected for editing purposes or imaging themes are used in the program. In addition, since the image material usually includes a plurality of scenes, many M-icons 1030, 1031, 1032, 1033, 1034,... Included in the image material or image information read from the information storage device 3060. , 103A,..., 103M, 103N,... Are searched for an M-icon necessary for editing.

上述の従来の動画像編集方法による動画像編集装置の動作や、M-アイコンを使用して、ツリー構造を作成しながら動画像の編集を行う方法は、例えば特開平１０−５１７３３号公報に開示されている。また、カット画像の変化点を検出する手段としては、例えば、動画像の照度、音量、色調などを解析して、これらの変化の著しい部分をカット画像の変化点として検出する技術が、特開平２−１８４１８１号公報に開示されている。
ところで、上述のように動画像編集を行うためには、素材エリア1020に表示されている複数のM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・の中から、編集に必要なM-アイコンを探すことが必要である。この必要なM-アイコンを探すサポートをする機能が登場人物検出機能である。この登場人物検出機能は、画像素材または複数のカットやシーンの中から特定の人物を検出する機能を持っている。この特定の人物を仮に"X"とする。 The operation of the moving image editing apparatus according to the above-described conventional moving image editing method and a method of editing a moving image while creating a tree structure using an M-icon are disclosed in, for example, Japanese Patent Application Laid-Open No. 10-51733. Has been. As a means for detecting the change point of the cut image, for example, a technique of analyzing the illuminance, volume, color tone, etc. of the moving image and detecting a portion where these changes are significant as the change point of the cut image is disclosed in Japanese Patent Laid-Open No. Hei. No. 2-184181.
Incidentally, in order to perform moving image editing as described above, a plurality of M-icons 1030, 1031, 1032, 1033, 1034,..., 103A,. It is necessary to search for an M-icon necessary for editing from 103N,. The function that supports the search for the necessary M-icon is the character detection function. This character detection function has a function of detecting a specific person from an image material or a plurality of cuts or scenes. This particular person is assumed to be “X”.

この登場人物検出機能は、素材または複数のカットまたはシーン、つまり被検出区間の中にいる人物"X"が持つ特徴を組み合わせてオペレータが選択し、その色の組合せに合致したフレームとその画素領域を、画像認識技術を用いて見つけ出すものである。   This character detection function combines the features of the material or multiple cuts or scenes, that is, the characteristics of the person "X" in the detected section, and the frame that matches the color combination and its pixel area. Is detected using image recognition technology.

オペレータは、選択した一連のM-アイコン（即ち、登場人物が存在すると思われる被検出区間）の中で、検出しようとする人物（例えば人物"X"）について、その特徴（例えば、髪の色，肌の色，服の色）の組合せを指定する。これによって、動画像編集装置は指定した色の組合せに合致した映像領域を画像処理により検出し、合致した映像領域とそのフレームの情報をGUI画面に表示する。   In the selected series of M-icons (i.e., the detected section in which the character is supposed to exist), the operator selects the characteristics (for example, hair color) of the person to be detected (for example, the person "X"). , Skin color, clothes color). Thus, the moving image editing apparatus detects a video area that matches the specified combination of colors by image processing, and displays the matched video area and information on the frame on the GUI screen.

この登場人物検出機能の操作手順を図５と図４とを用いて説明する。
図４は、従来のノンリニア編集装置におけるモニタ3080に表示された編集用ウインドウの一例を示す図で、既に説明した。 The operation procedure of this character detection function will be described with reference to FIGS.
FIG. 4 is a diagram showing an example of an editing window displayed on the monitor 3080 in the conventional nonlinear editing apparatus, and has already been described.

図４において、オペレータは人物（例えば、人物"X"）を検出するため、被検出対象となるカットまたはシーンに対応するM-アイコンを編集エリア1010または素材エリア1020の中からマウスポインタ810で選択し、マウスをクリックする。このように、M-アイコンの上にマウスポインタ810を移動させマウスでクリックすることをアタッチという。   In FIG. 4, the operator selects the M-icon corresponding to the cut or scene to be detected with the mouse pointer 810 from the editing area 1010 or the material area 1020 in order to detect a person (for example, the person “X”). And click the mouse. In this way, moving the mouse pointer 810 over the M-icon and clicking with the mouse is called attachment.

例えば、素材エリア1020内にあるM-アイコン1030，1034，103Aをアタッチし、続いて編集機能ボタン群1050の中の登場人物検出ボタン1051をアタッチする。その結果、モニタ3080には図５に示したウインドウが表示される。このウインドウ上で人物"X"の検出処理を行う。図５は人物検出用ウインドウで、人物検出を行う時に検出したい人物の特徴を定めて人物検出を行うためのIDパネルの従来例を示す図である。500はIDパネル、501はフィルムイメージ、521〜530はフィルムイメージ501に表示された画面左から右に時間順に並べられたフレーム画像、520はフィルムイメージの一番左端のフレーム画像521を拡大表示した拡大表示画像、502は拡大表示画像520を表示する拡大表示エリア、503，504，505は色指定枠、508は静止画ビュースライダ、509は静止画ビュースライダ508のスライダつまみ、532はスライドカーソル、510は表示フレ−ム単位変更スライダ、511はオートサーチボタン、512は検出区間追加ボタン、514は検出区間削除ボタン、541はOKボタン、542はキャンセルボタン、545はオブジェクトボタン、547はオブジェクト名記入欄、810はマウスポインタである。   For example, M-icons 1030, 1034, and 103A in the material area 1020 are attached, and then a character detection button 1051 in the editing function button group 1050 is attached. As a result, the window shown in FIG. The person “X” is detected on this window. FIG. 5 is a diagram showing a conventional example of an ID panel for performing person detection by determining the characteristics of a person to be detected when performing person detection in a person detection window. 500 is an ID panel, 501 is a film image, 521 to 530 are frame images arranged in order from left to right on the screen displayed on the film image 501, and 520 is an enlarged display of the leftmost frame image 521 of the film image. An enlarged display image, 502 an enlarged display area for displaying an enlarged display image 520, 503, 504, and 505 color designation frames, 508 a still image view slider, 509 a slider knob of the still image view slider 508, 532 a slide cursor, 510 is a display frame unit change slider, 511 is an auto search button, 512 is a detection zone addition button, 514 is a detection zone deletion button, 541 is an OK button, 542 is a cancel button, 545 is an object button, and 547 is an object name entry. A column 810 is a mouse pointer.

図５において、フィルムイメージ501には、アタッチしたM-アイコン1030，1034，103A内に含まれるフレーム画像の一部のフレーム画像521〜530が表示される。フレーム画像521〜530は時間軸に沿って順番に並べられており、画面の左右の表示されていない部分は静止画ビュースライダ508のスライダつまみ509を左右にスクロール処理することによって、フレーム画像をスライドさせて見ることができる。このスクロール処理は、例えばマウスポインタ810をスライダつまみ509に移動させ、マウスでドラッグするか、または、スライドカーソル532の矢印部をアタッチすることによって左右にスクロール操作が可能である。表示フレーム単位変更スライダ510は、フィルムイメージ501中に表示されたフレーム画像521〜530のそれぞれが何フレーム毎に表示するかを設定するスライダである。例えば、今図５では、表示フレーム単位変更スライダ510は設定値が"1"であるので、1フレームづつ表示されている。設定値は、例えば、"90"まで変更でき、"90"に設定すると、フレーム画像の表示は90フレーム毎に表示され、フィルムイメージ501が表示している10個のフレーム画像は、900個のフレーム画像の一部を表していることになる。   In FIG. 5, the film image 501 displays frame images 521 to 530 that are part of the frame images included in the attached M-icons 1030, 1034, and 103A. The frame images 521 to 530 are arranged in order along the time axis, and the left and right portions of the screen that are not displayed slide the frame image by scrolling the slider knob 509 of the still image view slider 508 left and right. You can see it. In this scrolling process, for example, the mouse pointer 810 is moved to the slider knob 509 and dragged with the mouse, or the arrow part of the slide cursor 532 is attached, so that the scrolling operation can be performed left and right. The display frame unit change slider 510 is a slider for setting how many frames of each of the frame images 521 to 530 displayed in the film image 501 are displayed. For example, in FIG. 5, the display frame unit change slider 510 is displayed frame by frame because the setting value is “1”. For example, the setting value can be changed up to “90”, and when set to “90”, the display of the frame image is displayed every 90 frames, and the 10 frame images displayed on the film image 501 are 900 images. It represents a part of the frame image.

またIDパネル500の左下部の拡大表示エリア502内には拡大フレーム画像520が表示される。この拡大フレーム画像520はフィルムイメージ501にあるフレーム画像521〜530のうち、一番左端にあるフレーム画像521を拡大表示したものである。人物"X"を検出処理するために、この拡大表示画像520を用いて人物"X"として検出する特徴を定める。この一番左端に表示されているフレーム画像521と拡大表示画像520とは連動しているため、オペレータはフィルムイメージ501中のフレーム画像をスクロールすることによって、人物"X"の検出処理に用いるための拡大表示画像520として拡大表示エリア502に表示させることができる。オペレータはフィルムイメージ501中のフレーム画像をスクロールして拡大表示画像520を見ながら、人物"X"の検出処理に関して最適と考えるフレーム画像を選択する。次にこの拡大表示画像520から人物"X"が持っている特徴的な色の組合せを指定する。なお、図５では、フレーム画像521〜530のうち、フレーム画像521は簡単な画像の表示をしているが、他のフレーム画像522〜530については画像の表示を省略している。   An enlarged frame image 520 is displayed in the enlarged display area 502 at the lower left of the ID panel 500. This enlarged frame image 520 is an enlarged display of the leftmost frame image 521 among the frame images 521 to 530 in the film image 501. In order to detect the person “X”, a feature to be detected as the person “X” using the enlarged display image 520 is determined. Since the frame image 521 and the enlarged display image 520 displayed at the leftmost end are linked, the operator scrolls the frame image in the film image 501 and uses it for the detection process of the person “X”. The enlarged display image 520 can be displayed in the enlarged display area 502. The operator scrolls through the frame images in the film image 501 and looks at the enlarged display image 520, and selects the frame image that is considered to be optimum for the detection process of the person “X”. Next, a characteristic color combination of the person “X” is designated from the enlarged display image 520. In FIG. 5, among the frame images 521 to 530, the frame image 521 displays a simple image, but the other frame images 522 to 530 are not displayed.

特徴的な色の組合せを指定する方法は、オブジェクトボタン545をアタッチしてから、特徴的な色を指定するための範囲を定める色指定枠503〜505を拡大表示画像520の中で指定して行う。この色指定枠の数は１つ以上任意の数、大きさ、形状を指定できる。色指定枠503〜505の指定は、パーソナルコンピュータ等の描画において四角の枠を作成する方法と同様であり、もちろん、指定した後、色指定枠503〜505の移動及び大きさの変更も、また、削除や追加も可能である。色指定枠503〜505に囲まれた部分の色が人物"X"（フレーム画像中で人物"X"が占めている画素領域）が持つ特徴的な色となる。図５の例では、色指定枠503は人物"X"の髪の毛の色、色指定枠504は人物"X"の肌の色、色指定枠505は人物"X"の着ている服の色を指定しているが、その他、その人物を特徴づけている部分を指定する。この色の組合せのデータが検出処理に用いられる。上述のような登場人物検出機能は、例えば、特開平６−２２３１７９号公報に開示されている。   The method of specifying the characteristic color combination is to attach the object button 545 and specify the color specification frames 503 to 505 for defining the range for specifying the characteristic color in the enlarged display image 520. Do. The number of color designation frames can be one or more and any number, size, and shape can be designated. The designation of the color designation frames 503 to 505 is the same as the method of creating a square frame in drawing on a personal computer or the like. Of course, after the designation, the color designation frames 503 to 505 can be moved and the size can be changed. It can also be deleted or added. The color of the portion surrounded by the color designation frames 503 to 505 is a characteristic color of the person “X” (the pixel area occupied by the person “X” in the frame image). In the example of FIG. 5, the color designation frame 503 is the hair color of the person “X”, the color designation frame 504 is the skin color of the person “X”, and the color designation frame 505 is the color of the clothes worn by the person “X”. Is specified, but other parts that characterize the person are specified. Data of this color combination is used for detection processing. The character detection function as described above is disclosed in, for example, Japanese Patent Laid-Open No. 6-223179.

色の指定が終了した後、オートサーチボタン511をアタッチするとM-アイコン1030，1034，103Aに対して検出処理を行う。検出処理を行った後、IDパネル500上には人物"X"に対する検出結果が表示される。表示例については、後述する図２０によって説明する。   When the auto search button 511 is attached after the color designation is completed, detection processing is performed on the M-icons 1030, 1034, and 103A. After performing the detection process, a detection result for the person “X” is displayed on the ID panel 500. A display example will be described with reference to FIG.

検出結果を保持する時はOKボタン541をアタッチしIDパネル500を閉じ、検出結果を保持しない時はキャンセルボタン542をアタッチしIDパネル500を閉じる。
この登場人物検出機能によって２つの結果が得られる。一つは人物"X"が画像素材またはカットの中のどこからどこまでに存在するのかを示す検出区間の情報であり、もう一つは検出区間内のフレーム画像のどの位置（例えば、左側、中央部右側、上部、左下側等）に人物"X"が存在しているのかを示すポジション情報である。しかし、現状の登場人物検出の機能は、認識の精度の問題から、誤検出や見逃しが発生し易い。したがって、IDパネルを見てオペレータがマウスを使って手動で確認や修正を行う必要がある。 When holding the detection result, the OK button 541 is attached and the ID panel 500 is closed, and when the detection result is not held, the cancel button 542 is attached and the ID panel 500 is closed.
This character detection function provides two results. One is the information of the detection section indicating where the person “X” exists in the image material or the cut, and the other is the position of the frame image in the detection section (for example, the left side, the center part). Position information indicating whether or not the person “X” exists on the right side, upper part, lower left side, etc. However, the current character detection function is prone to false detection and oversight due to recognition accuracy problems. Therefore, it is necessary for the operator to check and correct manually using the mouse while looking at the ID panel.

図１５は図４において、M-アイコン1030，1034，103Aを選択し、前述のとおり登場人物検出を行った結果の編集用ウインドウの一例を示す図である。ここで、図４と同じものには同じ符号が付せられており、その他に、1000′は編集用ウインドウ、12，13，14はIDXアイコン、1053はIDX情報ボタン、1054はID情報ボタンである。   FIG. 15 is a diagram showing an example of the editing window as a result of selecting the M-icons 1030, 1034, and 103A in FIG. 4 and performing the character detection as described above. Here, the same reference numerals are attached to the same components as those in FIG. 4. In addition, 1000 ′ is an editing window, 12, 13, and 14 are IDX icons, 1053 is an IDX information button, and 1054 is an ID information button. is there.

登場人物検出を行った後、図５に示したIDパネル500のOKボタン541をアタッチすると、検出結果を保持したままIDパネル500が閉じ、編集用ウインドウ1000′の素材エリア1020の下部にIDXアイコン12が表示される。このIDXアイコン12のデータ構造の中に人物"X"に対する検出処理の結果に関する情報が格納されている。また、このようなIDXアイコンは、人物検出するために編集用ウインドウ1000′内で同時にアタッチしたM-アイコンのすべてに対して一つ作成される。即ち、毎回違うM-アイコンをアタッチして人物検出処理をすると、その都度新しいIDXアイコン13，14，・・・が次々と作成される。   If the OK button 541 of the ID panel 500 shown in FIG. 5 is attached after performing the character detection, the ID panel 500 is closed while holding the detection result, and the IDX icon is displayed at the bottom of the material area 1020 of the editing window 1000 ′. 12 is displayed. In the data structure of the IDX icon 12, information related to the result of the detection process for the person “X” is stored. Further, one IDX icon is created for all of the M-icons attached simultaneously in the editing window 1000 ′ for detecting a person. That is, each time a different M-icon is attached and a person detection process is performed, new IDX icons 13, 14,... Are created one after another.

人物検出結果の確認や修正を行う場合、図１５のIDXアイコン12をアタッチし、次いでID情報ボタン1054をアタッチすると、図１２に示すようなIDパネルがモニタ3080にポップアップ表示される。   When confirming or correcting the person detection result, when the IDX icon 12 in FIG. 15 is attached and then the ID information button 1054 is attached, an ID panel as shown in FIG. 12 is popped up on the monitor 3080.

人物検出結果の確認や修正に関する従来のGUI操作の例を図１２によって説明する。図１２は、登場人物検出結果の確認や修正を行う場合のIDパネルの一例を示す図である。80はIDパネル、800，801，802，802′，803は検出矢印、804，805，806，807，808はオブジェクト枠、809はフィルムイメージ、811，811′，812は検出区間、850〜859はフィルムイメージ809の中に画面左から時間軸に沿って順番に並んでいるフレーム画像、815はビギンボタン、816はエンドボタン、817，818，820，821，822は人物"X"がそれぞれのフレーム画像において占有している画素領域、541はOKボタン、542はキャンセルボタン、305は拡大表示画像、306は拡大表示エリアである。図１２のIDパネル80において、フィルムイメージ809の上側に表示されている検出矢印800〜803は検出区間の始りと終りを示す矢印である。検出矢印800と検出矢印802は検出された先頭であり、ビギン点と呼ぶ。また、検出矢印801と検出矢印803は検出された終点であり、エンド点と呼ぶ。ビギン点の検出矢印800とエンド点の検出検出矢印801に挟まれた区間が検出区間812であり、ビギン点の検出矢印802とエンド点の検出検出矢印803に挟まれた区間が検出区間811である。検出区間811と検出区間812のそれぞれに属するフレーム画像に表示されているオブジェクト枠804〜808は人物"X"がフレーム画像のどの位置に存在しているかを示すポジションを示し、登場人物検出が行われた結果として表示される。検出区間およびオブジェクト枠の修正は以下のように行う。最初に検出区間の修正について述べる。図１２において、検出矢印802のビギン点を1フレーム左のフレーム855に移動して、検出区間811の延長を行う場合について説明する。マウスポインタ810はマウス（図示しない）によって表示画面上を移動することができるGUI部品で、マウスの他、一般的なポインティングデバイスによっても操作できる。まず、マウスポインタ810をビギンボタン815に移動してマウスをクリックする。そして次に、フレーム855にマウスポインタ810を移動してマウスをクリックする。すると新規のビギン点を表す検出矢印802′が表示される。その後元のビギン点である検出矢印802をクリックすることにより、元のビギン点を表す検出矢印802が消える。この結果、検出区間811が左へ１フレーム延長され、検出区間811′となる。同様に、エンド点の修正もエンドボタン816をクリックし、エンド点にしたいフレームをクリックした後もとエンド点の検出矢印をクリックしてエンド点の変更を行う。しかしこの方法では、操作が煩雑であり、直接的に検出区間を変更するわけではない。また、本来の検出区間が、ビギン点とエンド点によって定められるものが、検出区間とは独立してビギン点とエンド点を変更できるため、例えば、エンド点である検出矢印801をフレーム807に移動した場合のように、別の検出区間の範囲内にビギン点やエンド点が入込んで、誤った検出区間になる可能性があり、さらには、ビギン点である検出矢印800が検出矢印801より右側にきたり、エンド点である検出矢印803が検出矢印802より左側にくるような、ビギン点とエンド点の逆転も考えられる。即ち、このように検出区間とビギン点やエンド点が関連していないため、誤った検出区間が作られても、正誤の判断が難しかった。   An example of a conventional GUI operation related to confirmation and correction of a person detection result will be described with reference to FIG. FIG. 12 is a diagram illustrating an example of an ID panel when confirming or correcting a character detection result. 80 is an ID panel, 800, 801, 802, 802 'and 803 are detection arrows, 804, 805, 806, 807 and 808 are object frames, 809 is a film image, 811, 811' and 812 are detection sections, and 850 to 859 Is a frame image arranged in order along the time axis from the left of the screen in the film image 809, 815 is the begin button, 816 is the end button, 817, 818, 820, 821, and 822 are the person "X" A pixel area occupied in the frame image, 541 is an OK button, 542 is a cancel button, 305 is an enlarged display image, and 306 is an enlarged display area. In the ID panel 80 of FIG. 12, detection arrows 800 to 803 displayed on the upper side of the film image 809 are arrows indicating the start and end of the detection section. The detection arrow 800 and the detection arrow 802 are detected heads and are called begin points. Detection arrows 801 and detection arrows 803 are detected end points and are called end points. The interval between the begin point detection arrow 800 and the end point detection detection arrow 801 is the detection interval 812, and the interval between the begin point detection arrow 802 and the end point detection detection arrow 803 is the detection interval 811. is there. The object frames 804 to 808 displayed in the frame images belonging to the detection section 811 and the detection section 812 indicate positions indicating the position of the person “X” in the frame image, and character detection is performed. Is displayed as a result. The detection section and the object frame are corrected as follows. First, correction of the detection interval will be described. In FIG. 12, a case where the beginning point of the detection arrow 802 is moved to the frame 855 on the left by one frame to extend the detection section 811 will be described. The mouse pointer 810 is a GUI component that can be moved on the display screen by a mouse (not shown), and can be operated by a general pointing device in addition to the mouse. First, the mouse pointer 810 is moved to the begin button 815 and the mouse is clicked. Next, the mouse pointer 810 is moved to the frame 855 and the mouse is clicked. Then, a detection arrow 802 ′ representing a new begin point is displayed. After that, by clicking the detection arrow 802 that is the original begin point, the detection arrow 802 that represents the original begin point disappears. As a result, the detection section 811 is extended by one frame to the left to become a detection section 811 ′. Similarly, the end point is corrected by clicking the end button 816, clicking the frame to be the end point, and clicking the end point detection arrow to change the end point. However, in this method, the operation is complicated, and the detection section is not directly changed. In addition, although the original detection interval is determined by the begin point and end point, the begin point and end point can be changed independently of the detection interval. For example, the detection arrow 801 that is the end point is moved to the frame 807. As in the case of, the beginning point or the end point may enter within the range of another detection interval, resulting in an erroneous detection interval. Furthermore, the detection arrow 800 that is the begin point is detected from the detection arrow 801. It is also conceivable that the beginning point and the end point are reversed such that the detection point 803 that is on the right side or the end point is located on the left side of the detection arrow 802. That is, since the detection interval and the begin point or end point are not related in this way, it is difficult to judge whether the detection interval is incorrect or not.

次にオブジェクト枠の修正について述べる。この修正もマウスポインタ810を使用して行う。図１２において、フレーム画像856のオブジェクト枠806を修正する場合を例にとる。図１２において、フレーム画像852のオブジェクト枠805が人物"X"を示す画素領域818の大きさと位置がほぼ一致しているのに比べ、フレーム画像856のオブジェクト枠806は人物"X"の画素領域820よりもやや大きめで中央よりの位置に表示されている。この場合、オペレータがこのフレーム画像856を見た時、オブジェクト枠806の位置にまどわされ、人物"X"の画素領域がフレームの中央部にいると誤認してしまうので、オブジェクト枠806を人物"X"の画素領域820に合せるためオブジェクト枠806の大きさや位置を修正する必要がある。   Next, correction of the object frame will be described. This correction is also performed using the mouse pointer 810. In FIG. 12, the case where the object frame 806 of the frame image 856 is corrected is taken as an example. In FIG. 12, the object frame 805 of the frame image 852 is substantially the same in size and position as the pixel area 818 indicating the person “X”, whereas the object frame 806 of the frame image 856 is the pixel area of the person “X”. It is slightly larger than 820 and is displayed at the center position. In this case, when the operator looks at the frame image 856, the operator is obscured by the position of the object frame 806 and misidentifies that the pixel region of the person “X” is in the center of the frame. It is necessary to correct the size and position of the object frame 806 in order to match the pixel area 820 of X ".

なお、オブジェクト枠806を人物"X"の画素領域820に合せて修正する操作を行った場合には、オブジェクト枠806以降にあるすべてのオブジェクト枠についての人物"X"の画素領域（例えば、オブジェクト枠807，808における人物"X"の画素領域821及び822）もまたオブジェクト枠806と同じ大きさと位置とに修正される。   When an operation for correcting the object frame 806 according to the pixel area 820 of the person “X” is performed, the pixel area of the person “X” (for example, the object) for all the object frames after the object frame 806 is performed. The pixel areas 821 and 822 of the person “X” in the frames 807 and 808 are also corrected to the same size and position as the object frame 806.

図１５において、IDXアイコン12にマウスポインタ810を移動させ、マウスでダブルクリックするか、またはIDX情報ボタン1053をアタッチすると、図６に示すような、検出結果情報ウインドウがポップアップ表示される。図６は登場人物検出結果情報（IDX情報）を示すIDXパネルの一表示例を示す図で，人物"X"、"B"、"C"それぞれについての検出結果が表示されている。これは上述した同一のM-アイコン群1030，1034，103Aについて、別々の人物について検出処理をした結果である。600はIDXパネル、603は検出範囲表示エリア、604，605，606は検出区間、611はターゲット表示欄、614は検出エリア表示、616は非検出エリア表示、631，632，633はターゲットイメージ、634，635，636は人名、637，638，639は検出区間グラフ、650は検出結果表示欄、640は検出結果表示欄650の表示を横方向にスライドさせるスライダ、641は検出結果表示欄650の表示を縦方向にスライドさせるスライダ、241はクローズボタン、810はマウスポインタである。   In FIG. 15, when the mouse pointer 810 is moved to the IDX icon 12 and double-clicked with the mouse or the IDX information button 1053 is attached, a detection result information window as shown in FIG. 6 is popped up. FIG. 6 is a diagram showing a display example of the IDX panel indicating the character detection result information (IDX information), in which detection results for the persons “X”, “B”, and “C” are displayed. This is a result of the detection processing for different persons for the same M-icon group 1030, 1034, and 103A described above. 600 is an IDX panel, 603 is a detection range display area, 604, 605 and 606 are detection sections, 611 is a target display column, 614 is a detection area display, 616 is a non-detection area display, 631, 632 and 633 are target images, 634 , 635, 636 are personal names, 637, 638, 639 are detection interval graphs, 650 is a detection result display field, 640 is a slider that slides the display of the detection result display field 650 horizontally, and 641 is a display of the detection result display field 650. Is a slider that slides vertically, 241 is a close button, and 810 is a mouse pointer.

図６において、IDXパネル600上の検出範囲表示エリア603は横方向に沿って時系列順に表示されている。またさらに、検出範囲表示エリア603は検出区間604〜606に分かれている。この検出区間604〜606はオペレータがアタッチしたM-アイコン1030，1034，103Aのカットの長さ（＝フレーム数）に応じて区切られている。即ち、M-アイコン1030のフレーム数と検出区間604のフレーム数は対応しており、M-アイコン1034と検出区間605のフレーム数、M-アイコン103Aと検出区間606のフレーム数もまた対応している。また、ターゲット表示欄611には、検出した人物のターゲットイメージ631，632，633とその人名634，635，636とが縦方向に表示される。例えば、人物"X"を検出した場合にはターゲットイメージ631と人名634とがターゲット表示欄611に表示され、かつその右横の検出結果表示欄650に検出区間グラフ637が表示される。さらに人物"B"を検出した場合には、人物"X"の下側のターゲット表示欄611にターゲットイメージ632と人名635が表示され、かつその右横の検出結果表示欄650に検出区間グラフ638が表示される。同様に、人物"C"を検出したときにはターゲットイメージ633と人名636がターゲット表示欄611の下側に表示され、かつその右横の検出結果表示欄650に検出区間グラフ639が表示される。これらのターゲットイメージ631，632，633は、人物"X"，"B"，"C"をそれぞれ検出するために特徴的な色を取得するために使用した拡大表示画像のフレーム画像（例えば、図５のフレーム画像521）である。ターゲットイメージ631〜633の下の人名634〜636にはそれぞれの検出対象名が表示される。この検出対象名は、例えば、前述の図５において検出を行う際に、オブジェクト名記入欄547に入力される。検出区間グラフ637，638，639の表示欄は有限であるので、検出領域が広く一度に全ての検出領域が表示できない場合がある。その場合は、スライダ640を操作して、表示を横方向にスクロールさせる。また、検出した人物の数が多い場合にも一度に検出した人物の全てを表示できない（図６の例では一度に表示できる数は３人）。この場合には、スライダ641を操作して表示を縦方向にスクロールさせる。以上述べたように、検出区間グラフ637〜639の領域には、カット即ちM-アイコン1030，1034，103Aに対して実行された人物"X"，"B"，"C"の検出結果が示されている。   In FIG. 6, the detection range display area 603 on the IDX panel 600 is displayed in chronological order along the horizontal direction. Furthermore, the detection range display area 603 is divided into detection sections 604 to 606. The detection sections 604 to 606 are divided according to the cut lengths (= number of frames) of the M-icons 1030, 1034, and 103A attached by the operator. That is, the number of frames of the M-icon 1030 corresponds to the number of frames of the detection section 604, the number of frames of the M-icon 1034 and the detection section 605, and the number of frames of the M-icon 103A and the detection section 606 also correspond. Yes. In the target display field 611, target images 631, 632, and 633 of the detected person and their names 634, 635, and 636 are displayed in the vertical direction. For example, when the person “X” is detected, the target image 631 and the person name 634 are displayed in the target display column 611, and the detection section graph 637 is displayed in the detection result display column 650 on the right side thereof. When the person “B” is further detected, the target image 632 and the person name 635 are displayed in the target display field 611 below the person “X”, and the detection section graph 638 is displayed in the detection result display field 650 on the right side thereof. Is displayed. Similarly, when the person “C” is detected, the target image 633 and the person name 636 are displayed below the target display column 611, and the detection section graph 639 is displayed in the detection result display column 650 on the right side thereof. These target images 631, 632, and 633 are frame images (for example, a figure) of an enlarged display image used for acquiring characteristic colors for detecting persons “X”, “B”, and “C”, respectively. 5 frame image 521). The names of detection objects are displayed in the names 634 to 636 below the target images 631 to 633, respectively. This detection target name is input to the object name entry field 547 when, for example, detection is performed in FIG. Since the display fields of the detection section graphs 637, 638, and 639 are limited, there are cases where the detection area is wide and not all detection areas can be displayed at once. In that case, the slider 640 is operated to scroll the display horizontally. Further, even when the number of detected persons is large, it is not possible to display all the persons detected at one time (in the example of FIG. 6, the number that can be displayed at one time is three). In this case, the display is scrolled in the vertical direction by operating the slider 641. As described above, the detection interval graphs 637 to 639 indicate the detection results of the persons “X”, “B”, and “C” executed on the cuts, that is, the M-icons 1030, 1034, and 103A. Has been.

次に、検出結果を、検出区間グラフ637を例にして説明する。検出結果表示614は、M-アイコン1030，1034，103Aについて、検出区間604，605，606の間で人物"X"が検出された区間を示しており、非検出結果表示616は検出されなかった区間を示している。例えば、検出区間604はM-アイコン1030に関連付けられたフレーム画像の集合について時間的に並べたものであり、検出区間605はM-アイコン1034に関連付けられたフレーム画像の集合について時間的に並べたものであり、検出区間606はM-アイコン103Aに関連付けられたフレーム画像の集合について時間的に並べたものである。また、１つのフレーム画像についてそれぞれ所定の幅を持たせて表示しており、図６では検出エリア表示614を斜線パターンで表示し、非検出エリア表示616は灰色に塗りつぶして表示して区別している。また、検出・非検出の表示は区別がつけばどんな表示でもよく、例えば、検出エリア表示614と非検出エリア表示616とを互いに異なる斜線パターンで区別して表示してもよい。また例えば、検出エリア表示614はオレンジ色で表示し、検出されなかった非検出エリア表示616は灰色で表示することでもよいし、別の表示例として、片方を点滅させてもよい。検出結果の確認を終ったときは、クローズボタン241をアタッチするとIDXパネルが閉じる。   Next, detection results will be described using the detection interval graph 637 as an example. The detection result display 614 indicates a section where the person “X” is detected between the detection sections 604, 605, and 606 for the M-icons 1030, 1034, and 103A, and the non-detection result display 616 is not detected. The section is shown. For example, the detection interval 604 is temporally arranged for a set of frame images associated with the M-icon 1030, and the detection interval 605 is temporally aligned for a set of frame images associated with the M-icon 1034. The detection section 606 is a temporal arrangement of a set of frame images associated with the M-icon 103A. Each frame image is displayed with a predetermined width. In FIG. 6, the detection area display 614 is displayed in a hatched pattern, and the non-detection area display 616 is displayed in gray to distinguish the frame image. . The detection / non-detection display may be any display as long as it can be distinguished. For example, the detection area display 614 and the non-detection area display 616 may be displayed with different oblique line patterns. Further, for example, the detection area display 614 may be displayed in orange, the non-detection non-detection area display 616 may be displayed in gray, or one of them may blink as another display example. After confirming the detection result, attaching the close button 241 closes the IDX panel.

この検出エリア表示614及び非検出エリア表示616は、図５のM-アイコン1030，1034，103Aの側面にも表示される（図示しない）。図１７(a)，(b)，(c)は、図１５のM-アイコン1030，1034，103Aの側面に、人物検出"X"の結果が表示されていることを拡大して示した図である。図６と同様に、検出区間604はM-アイコン1030の領域、検出区間605はM-アイコン1034の領域、検出区間606はM-アイコン103Aの領域をそれぞれ示す。M-アイコンの側面の幅はそのM-アイコン自身のフレーム数（１つのフレーム画像についてそれぞれ一定の厚みを持たせて表示）を示しているので、検出エリア表示614としてそのフレームの数に相当する分だけM-アイコン1030，1034，103Aの側面を斜線で表示する。また、非検出エリア表示616としてそのフレームの数に相当する分だけM-アイコン1030，1034，103Aの側面に灰色で表示する。この表示は、検出結果として常に表示する設定でもよいが、通常はターゲットイメージ630をオペレータがアタッチした場合に行うとしてもよく。また、どちらか一方を表示してもよい。なお、図１７(a)，(b)，(c)に示したM-アイコン1030，1034，103Aは、それぞれに関連付けられた画像を縮小した表示用画像が実際には表示されているが、図１７(a)，(b)，(c)では省略している。   The detection area display 614 and the non-detection area display 616 are also displayed on the side surfaces of the M-icons 1030, 1034, and 103A in FIG. 5 (not shown). 17 (a), (b), and (c) are enlarged views showing that the result of person detection “X” is displayed on the side surface of the M-icons 1030, 1034, and 103A in FIG. It is. As in FIG. 6, the detection section 604 indicates the area of the M-icon 1030, the detection section 605 indicates the area of the M-icon 1034, and the detection section 606 indicates the area of the M-icon 103A. Since the width of the side surface of the M-icon indicates the number of frames of the M-icon itself (one frame image is displayed with a certain thickness), the detection area display 614 corresponds to the number of frames. The sides of the M-icons 1030, 1034, and 103A are displayed with diagonal lines. Further, the non-detection area display 616 is displayed in gray on the side surfaces of the M-icons 1030, 1034, and 103A corresponding to the number of frames. This display may be set so that it is always displayed as a detection result, but usually it may be performed when the operator attaches the target image 630. Either one may be displayed. Note that the M-icons 1030, 1034, and 103A shown in FIGS. 17A, 17B, and 17C actually display display images that are reduced in size associated with the respective icons. It is omitted in FIGS. 17 (a), (b), and (c).

以上述べたように、登場人物検出のためには、指定作業や検出された結果の修正作業などを行うためのIDパネルと、過去の検出結果の一覧やその時の指定したフレーム情報、さらには、未検出領域の確認などを行うためのIDXパネルがあり、これら２つのパネルと編集用ウインドウを使って作業を行う。
特開平１０−０５１７３３号公報 As described above, for character detection, an ID panel for performing a specified operation or a correction operation of the detected result, a list of past detection results and frame information specified at that time, There is an IDX panel for checking undetected areas, etc., and these two panels and the editing window are used for the work.
Japanese Patent Laid-Open No. 10-051733

前述の従来技術には、登場人物検出のために３つのウインドウ（IDパネル、IDXパネル、編集用ウインドウ）を操作する必要がある。しかしこれらのウインドウは、各々のウインドウに設定された（作り込まれた）機能を設定・実行させる場合にのみモニタ上に表示され、各々のパネル間相互の関連や、動画像編集自体を実行する編集用ウインドウ内の素材エリアと編集エリアとの関係をその都度確認することができないという欠点があった。   In the above-described prior art, it is necessary to operate three windows (ID panel, IDX panel, and editing window) for character detection. However, these windows are displayed on the monitor only when the functions (built-in) set in each window are set and executed, and the mutual relationship between the panels and the moving image editing itself are executed. There is a drawback that the relationship between the material area and the editing area in the editing window cannot be confirmed each time.

本発明の目的は、上記のような欠点を除去し、IDXパネルにおいてIDパネルと編集用ウインドウでのデ−タ作成・修正結果が一目で分るような編集方法を提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide an editing method that eliminates the above-mentioned drawbacks and enables the IDX panel to show the data creation / correction results in the ID panel and editing window at a glance.

上記の目的を達成するため、本発明の動画像編集方法は、上述の２つのパネルと、編集用ウインドウとを常に表示させる。さらに、一方のパネルでの処理を、他方のパネルに同時に反映させるようにし、併せて、編集用ウインドウのM-アイコンにも表示を行うようにすることによって、表示画面上に表示される画像素材のアイコンを選択して画面表示操作による編集を行う動画像編集装置に使用し、編集する画像素材のM-アイコンを選択したときに、編集における結合順番をM-アイコンとともに表示し、編集作業を容易にした動画像編集方法を実現できる。   In order to achieve the above object, the moving image editing method of the present invention always displays the above-described two panels and an editing window. Furthermore, the image material displayed on the display screen can be displayed by reflecting the processing in one panel on the other panel at the same time and also displaying it on the M-icon in the editing window. This is used in a video editing device that performs editing by screen display operation by selecting the icon, and when the M-icon of the image material to be edited is selected, the combination order in editing is displayed together with the M-icon, and editing work is performed. An easy moving image editing method can be realized.

本発明によれば、動画像編集装置を使用して動画像の編集を行うとき、編集作業において変更した内容をIDパネルとIDXパネル相互で同時に表示するため、それぞれのパネルの特性（つまり、IDパネルではフレーム単位で実際の画像データを見ての、IDXパネルではM-アイコン単位やそれに準ずるフレーム単位での）確認作業が行うことが可能となり、編集の効率を向上させることができる。   According to the present invention, when editing a moving image using a moving image editing apparatus, the contents changed in the editing operation are simultaneously displayed on the ID panel and the IDX panel. It is possible to check the actual image data in the frame unit in the panel, and in the IDX panel, the confirmation work can be performed (in the M-icon unit or the frame unit corresponding thereto), and the editing efficiency can be improved.

以下、本発明の登場人物検出機能におけるIDパネルとIDXパネルおよび、編集エリア1010と素材エリア1020それぞれ相互間の動作について、実際の検出処理の手順に従って説明する。既に説明した図４の編集用ウインドウにおいて、オペレータが編集用ウインドウ1000からM-アイコン1030，1034，103Aを選択したとすると、図７に示すように、選択したM-アイコン1030，1034，103Aの周囲が太い色枠（例えば、赤い実線）で囲まれて選択されたことが判別できる。図７は、M-アイコンを選択したときの編集用ウインドウの一実施例を説明する図である。図７は図４と同様のものは同じ番号を付しており、その他、1001は編集用ウインドウである。このように、オペレータは、まず始めに登場人物の被検出区間となるM-アイコンを選択する。このとき、選択するM-アイコンは複数であったり、編集エリア1010と素材エリア1020のどちらでもよく、両方に渡ってもよい。またツリー構造の上位のM-アイコンであってもよい。   Hereinafter, the operations of the ID panel and IDX panel and the editing area 1010 and the material area 1020 in the character detection function of the present invention will be described in accordance with the actual detection processing procedure. If the operator selects the M-icons 1030, 1034, and 103A from the editing window 1000 in the editing window shown in FIG. 4, the selected M-icons 1030, 1034, and 103A are selected as shown in FIG. It can be determined that the periphery is selected by being surrounded by a thick color frame (for example, a red solid line). FIG. 7 is a diagram for explaining an embodiment of the editing window when the M-icon is selected. In FIG. 7, the same components as those in FIG. 4 are given the same numbers, and 1001 is an editing window. In this way, the operator first selects the M-icon that becomes the detected section of the character. At this time, there may be a plurality of M-icons to be selected, either the editing area 1010 or the material area 1020, or both. It may also be an upper M-icon in the tree structure.

次に編集機能ボタンスイッチ群1050の中から、登場人物検出ボタン1051をクリックするとモニタ3080上には、編集用ウインドウ1000の一部または全体に重なるようにIDパネル50が表示される。
図１８は編集用ウインドウ100の上を完全に覆って、IDパネル50が表示された一例を示す図である。既に説明した図５のIDパネルと同一のものには同一の番号を付した。図１８において、IDパネル500′はIDパネルの初期状態の表示画面で、先頭の１０フレームのフレーム画像がフィルムイメージ501として表示される。また、拡大表示エリア502には、オペレータが指定したフレーム画像が表示される。なお、図１８ではフィルムイメージ501の各フレーム画像を省略している。 From the editing function button switches 1050 and then, clicking on the character detecting button 1051 monitor on 3080, the ID panel 50 so as to overlap a part or all of the editing window 100 0 is displayed.
FIG. 18 is a view showing an example in which the ID panel 50 is displayed so as to completely cover the editing window 100 . The identical to the ID panel of FIG. 5 described previously denoted by the same numbers. In FIG. 18, an ID panel 500 ′ is a display screen in the initial state of the ID panel, and the first 10 frame images are displayed as a film image 501. In the enlarged display area 502, a frame image designated by the operator is displayed. In FIG. 18, each frame image of the film image 501 is omitted.

検出を行う第一ステップとして、オペレータは図１８において、IDパネル500′に表示されたフィルムイメージ501の中から所望の（検出しようとする人物が存在する）フレーム画像を選択し、拡大表示エリア502にドラッグ・アンド・ドロップする。この時、拡大表示エリア502には、図５に示すように、選択したフレームに相当するフレーム画像（あるいは適当な大きさに間引いた画像：以下、拡大表示画像と称す）が、情報記憶装置3060から読出され、表示される。次に、オペレータは、表示された拡大表示画像の中から検出対象しようとする人物"X"について特徴的な色の領域について色指定枠503，504，505を選択し、オートサーチボタン511を押して、検出処理を開始する。以下、検出処理の動作は従来技術の通りなので、説明を省略する。   As a first step of performing the detection, the operator selects a desired frame image (with a person to be detected) from the film image 501 displayed on the ID panel 500 ′ in FIG. Drag and drop to. At this time, in the enlarged display area 502, as shown in FIG. 5, a frame image corresponding to the selected frame (or an image thinned out to an appropriate size: hereinafter referred to as an enlarged display image) is stored in the information storage device 3060. Is read from and displayed. Next, the operator selects the color designation frames 503, 504, and 505 for the characteristic color region of the person “X” to be detected from the displayed enlarged display image, and presses the auto search button 511. The detection process is started. Hereinafter, the operation of the detection process is the same as that of the prior art, and the description thereof is omitted.

図２０は本発明のIDパネルの一実施例を説明する図である。図２０は図５のIDパネルにオブジェクト枠が追加表示された図である。図５と同一のものには同一の番号を付した。その他、500″はIDパネル、531は検出区間、506は検出区間531のビギン点を表す検出矢印、507は検出区間531のエンド点を表す検出矢印、561〜563はオブジェクト枠である。即ち、図５のIDパネル500において検出処理が実行されると、被検出対象の各フレームに対して検出処理がなされ、人物"X"の存在する領域とそのフレーム番号を記憶する。そして、検出処理が終了すると、図２０に示すように、人物"X"が検出されたフレームをIDパネル500″のフィルムイメージ501上で検出矢印506（ビギン点）と検出矢印507（エンド点）で挟み、人物"X"の存在する画像領域をオブジェクト枠561〜563で囲んで表示する。なお、図２０では、検出されなかったフレーム画像は記載を省略した。図２０において、人物"X"の検出の結果がよければ、オペレータはOKボタン541を押し、IDパネル500″の表示サイズを縮小し、モニタ3080の所定の場所、例えば左上の部分に表示する。そして、同時に図６のようなIDXパネル600が編集用ウインドウ100とIDパネルの上を覆って表示される。IDXパネル600には、上記で行った登場人物の検出処理の結果が表示されている。この状態で、検出結果の確認を終えた後、クローズボタン241を押すとIDパネル50が表示されたモニタ3080の所定の場所、例えば右上隅の部分に縮小されて表示される。   FIG. 20 is a view for explaining an embodiment of the ID panel of the present invention. FIG. 20 is a diagram in which an object frame is additionally displayed on the ID panel of FIG. The same components as those in FIG. In addition, 500 ″ is an ID panel, 531 is a detection section, 506 is a detection arrow indicating a begin point of the detection section 531, 507 is a detection arrow indicating an end point of the detection section 531, and 561 to 563 are object frames. 5, detection processing is performed for each frame to be detected, and an area where the person “X” exists and its frame number are stored. Upon completion, as shown in FIG. 20, the frame in which the person “X” is detected is sandwiched between the detection arrow 506 (begin point) and the detection arrow 507 (end point) on the film image 501 of the ID panel 500 ″. An image area in which X "exists is surrounded by object frames 561 to 563 and displayed. In FIG. 20, the description of frame images that were not detected is omitted. In FIG. 20, if the result of the detection of the person “X” is good, the operator presses the OK button 541 to reduce the display size of the ID panel 500 ″ and display it at a predetermined location on the monitor 3080, for example, the upper left part. At the same time, an IDX panel 600 as shown in Fig. 6 is displayed covering the editing window 100 and the ID panel, and the IDX panel 600 displays the result of the character detection process performed above. In this state, after the confirmation of the detection result is finished, when the close button 241 is pressed, the ID panel 50 is reduced and displayed at a predetermined position of the monitor 3080 on which the ID panel 50 is displayed, for example, the upper right corner.

前述のIDパネル及びIDXパネルはモニタ3080内に縮小された状態で表示されるが、表示の大きさは任意に変更（拡大または縮小）ができ、例えば、操作の都合で、一部だけ見えるように拡大表示して、操作終了後、前述の大きさでモニタ3080の所定の場所に縮小されて表示される。   The above-mentioned ID panel and IDX panel are displayed in a reduced state in the monitor 3080, but the display size can be arbitrarily changed (enlarged or reduced), for example, only a part can be seen for convenience of operation. After the operation is completed, the image is reduced and displayed at a predetermined location on the monitor 3080 with the above-mentioned size.

この状態の一実施例を示したのが図１である。図１は、本発明の一実施例を説明する図で、モニタ3080にIDパネルとIDXパネル、および編集用ウインドウ（即ち、編集エリアと素材エリア）とが同時に表示されている。100は編集用ウインドウ、1010は編集エリア、1020は素材エリア、50はIDパネル、60はIDXパネルである。   FIG. 1 shows an example of this state. FIG. 1 is a diagram for explaining an embodiment of the present invention. An ID panel, an IDX panel, and an editing window (that is, an editing area and a material area) are displayed on the monitor 3080 at the same time. 100 is an editing window, 1010 is an editing area, 1020 is a material area, 50 is an ID panel, and 60 is an IDX panel.

本発明の別の実施例を図１を用いて説明する。ここで、図１で表示されている編集用ウインドウおよびIDパネルおよびIDXパネルのそれぞれの表示内容については、オペレータが編集操作を行う段階において、編集操作の内容に応じて変化していくので、詳細は省略する。まず、図１において、編集用ウインドウ100は図４の編集用ウインドウ1000、IDパネル50は図１８のIDパネル500′を、IDXパネル60は図１９のIDXパネル600′を用いて説明を行う。図１において図１８はIDパネルの初期状態の表示画面の一実施例で、既に説明した。また、図１９はIDXパネルの初期状態の表示画面で、既に説明した従来技術で既に説明した図６のIDXパネルと同一のものは同一の番号を付した。その他600′はIDXパネル、237，238，239は検出結果表示エリア、240は新規ボタン、242は検出ボタン、243は結合ボタン、244は結合解除ボタン、245はプレビューボタン、246はインフォメーションボタン、247は可視範囲調整ボタン、248は修正ボタン、291，292，293はターゲットイメージ表示エリアである。図１において、モニタ3080には、編集用ウインドウ100として、まず図４の編集用ウインドウ1000が表示され、その上側に重ねてIDパネル50として図１８のIDパネル500′とIDXパネル60として図１９のIDXパネル600′が表示されている。   Another embodiment of the present invention will be described with reference to FIG. Here, the display contents of the editing window and the ID panel and IDX panel displayed in FIG. 1 change according to the contents of the editing operation when the operator performs the editing operation. Is omitted. First, in FIG. 1, the editing window 100 will be described with reference to the editing window 1000 in FIG. 4, the ID panel 50 will be described with reference to the ID panel 500 'in FIG. 18, and the IDX panel 60 will be described with reference to the IDX panel 600' in FIG. In FIG. 1, FIG. 18 shows an example of the display screen in the initial state of the ID panel, which has already been described. FIG. 19 shows a display screen in the initial state of the IDX panel. The same parts as those of the IDX panel of FIG. In addition, 600 ′ is an IDX panel, 237, 238 and 239 are detection result display areas, 240 is a new button, 242 is a detection button, 243 is a combination button, 244 is a combination release button, 245 is a preview button, 246 is an information button, 247 Is a visible range adjustment button, 248 is a correction button, and 291, 292 and 293 are target image display areas. In FIG. 1, on the monitor 3080, the editing window 1000 of FIG. 4 is first displayed as the editing window 100, and the ID panel 50 is superimposed on the upper side thereof as the ID panel 50 'and the IDX panel 60 of FIG. The IDX panel 600 ′ is displayed.

図４において、オペレータが、編集ウインドウ1001からM-アイコン1030， 1034，103Aを選択したとすると、選択したM-アイコン1030， 1034，103Aの周囲が太い色枠で囲まれている（例えば、赤い実線が点滅）ので、それらのM-アイコンが選択されたことが一目で判別できる。そして同時に、IDパネル50の表示は図５のIDパネル500に変化する。また先頭の１０フレームのフレーム画像がフィルムイメージ501として表示される。   In FIG. 4, if the operator selects M-icons 1030, 1034, and 103A from the edit window 1001, the selected M-icons 1030, 1034, and 103A are surrounded by a thick color frame (for example, red Since the solid line blinks), it can be determined at a glance that those M-icons have been selected. At the same time, the display on the ID panel 50 changes to the ID panel 500 in FIG. The first 10 frame images are displayed as a film image 501.

次に、IDXパネル60は、オペレータの選択したM-アイコン1030， 1034，103Aのすべてが、過去に１回も検出対象になっていない場合には、図１９のIDXパネル600′に示すようにターゲットイメージ表示エリア291，292，293および検出結果表示エリア237，238，239はともに空欄となっている。   Next, when all of the M-icons 1030, 1034, and 103A selected by the operator have not been detected in the past, the IDX panel 60 is as shown in the IDX panel 600 ′ of FIG. The target image display areas 291 292 293 and the detection result display areas 237 238 239 are all blank.

検出を行う場合は、既に図５と図１８で説明したように、IDパネル500に表示されたフィルムイメージ501の中から検出しようとする人物または対象物が存在する所望のフレーム522を選択し、拡大表示エリア502にドラッグ・アンド・ドロップする。そして、拡大表示エリア502に表示された、情報記憶装置3060から読出したフレーム画像（あるいは適当な大きさに間引いた画像：以下、拡大表示画像と称する）が表示される。次に、オペレータは、この拡大表示画像520の中から検出対象の画像（例えばこの場合は、人物"X"）について特徴的な色指定枠503，504，505を選択して，オートサーチボタン511を押して検出処理を開始する。この場合、IDパネル500の表示画面が小さく見難い場合はIDパネル500を適当な大きさに拡大して表示する。   When performing detection, as already described with reference to FIGS. 5 and 18, a desired frame 522 in which a person or an object to be detected is present is selected from the film image 501 displayed on the ID panel 500. Drag and drop to the enlarged display area 502. Then, a frame image read from the information storage device 3060 (or an image thinned to an appropriate size: hereinafter referred to as an enlarged display image) displayed in the enlarged display area 502 is displayed. Next, the operator selects characteristic color designation frames 503, 504, and 505 for the image to be detected (for example, the person “X” in this case) from the enlarged display image 520, and the auto search button 511. Press to start the detection process. In this case, if the display screen of the ID panel 500 is small and difficult to see, the ID panel 500 is enlarged to an appropriate size and displayed.

ここで、拡大表示エリア502にドラッグ・アンド・ドロップしたフレーム画像522がターゲットイメージ631であり、既に図６において説明した、IDXパネル600におけるターゲットイメージ631の一覧表示611に表示されるのが、このフレーム画像522である。   Here, the frame image 522 dragged and dropped into the enlarged display area 502 is the target image 631, which is already displayed in the list display 611 of the target image 631 in the IDX panel 600 described in FIG. This is a frame image 522.

被検出対象の各フレームに対して検出処理が実行されると、それらの各フレームについて人物"X"の存在する領域とそのフレーム番号が保存される。そして、検出処理結果として、既に図２０において説明したように、人物"X"が検出されたフレームをIDパネル500′のフィルムイメージ501上で検出矢印（ビギン点）506と検出矢印（エンド点）507で挟み、人物"X"の存在する画像領域をオブジェクト枠561〜563で囲んで表示する。   When the detection process is executed for each frame to be detected, the area where the person “X” exists and the frame number are stored for each frame. As a result of the detection processing, as already described with reference to FIG. 20, the detection arrow (begin point) 506 and the detection arrow (end point) are detected on the film image 501 of the ID panel 500 ′. The image area where the person “X” exists is sandwiched between the object frames 561 to 563 and displayed.

その時本発明では同時に、図１に表示されているIDXパネル60と編集用ウインドウ100とにこの検出状態を反映させる。即ち、編集用ウインドウ100には、図１５で示した編集用ウインドウ1000′が表示され、IDXアイコン12が作成されている表示となる。また、M-アイコン1030，1034，103Aの側面には図１７(a)，(b)，(c)で示したように、検出結果が表示されている。   At the same time, in the present invention, this detection state is reflected on the IDX panel 60 and the editing window 100 displayed in FIG. That is, in the editing window 100, the editing window 1000 'shown in FIG. 15 is displayed, and the IDX icon 12 is created. Further, detection results are displayed on the side surfaces of the M-icons 1030, 1034, and 103A as shown in FIGS. 17 (a), (b), and (c).

さらにまたIDXパネル60には図１１で示すようなIDXパネルが表示される。図１１に示したIDXパネルは、図１のIDXパネル60に表示されたIDXパネルの表示の一実施例である。図１１で、図１９と図６と同一のものには同一の番号を付した。その他、6000はIDXパネルである。また、614′は新規に追加された検出区間エリア表示で、616′は削除された検出区間エリア表示であり、後で説明する。図１１において、ターゲットイメージ表示領域611に、ターゲットイメージ631を表示し、検出区間グラフ637に検出されたフレームの状態をフレーム単位で表示される。即ち、この検出区間グラフ637には、選択したM-アイコン1030，1034，103A単位で区切った領域604，605，606の中で、人物"X"が検出された領域614をフレーム単位で塗りつぶし、登場人物"X"の存在するフレーム位置を表示している。   Furthermore, an IDX panel as shown in FIG. 11 is displayed on the IDX panel 60. The IDX panel shown in FIG. 11 is an example of the display of the IDX panel displayed on the IDX panel 60 of FIG. 11, the same components as those in FIGS. 19 and 6 are denoted by the same reference numerals. In addition, 6000 is an IDX panel. 614 'is a newly added detection section area display, and 616' is a deleted detection section area display, which will be described later. In FIG. 11, the target image 631 is displayed in the target image display area 611, and the detected frame state is displayed in the detection interval graph 637 in units of frames. That is, the detection section graph 637 is filled with the area 614 in which the person “X” is detected among the areas 604, 605, and 606 divided in units of the selected M-icons 1030, 1034, and 103A in units of frames. The frame position where the character "X" exists is displayed.

図１のように、編集用ウインドウ100と同時にIDパネル50とIDXパネル60の両方を表示し、検出された状態を他の情報表示欄に同時に反映させることで、M-アイコン単位（IDXパネル）やフレーム単位（IDパネル、IDXパネル）で確認することができる。   As shown in Fig. 1, both the ID panel 50 and the IDX panel 60 are displayed simultaneously with the editing window 100, and the detected state is reflected in other information display fields at the same time, so that M-icon units (IDX panel) And can be confirmed in frame units (ID panel, IDX panel).

次に、この検出された結果を修正する場合の表示方法について説明する。ここで、修正作業には検出区間531（即ち、検出矢印506と507で挟まれた区間）の修正と、オブジェクト枠561，562，563の修正があるが、連携表示の場合には検出区間の修正について行う。この作業は図１のIDパネル50に表示されている図２０のIDパネル500′において、修正しようとするフレームをフィルムイメージ501に表示させ、ビギン点の検出矢印506あるいはエンド点の検出矢印507の矢印をマウスポインタ810でドラッグすることで行う。この修正作業を行う時、図１のIDXパネル60には図１１のIDXパネル6000が同時に表示されており、人物"X"の検出区間614が検出区間グラフ637に表示されているので、検出区間グラフ内の検出処理を行ったM-アイコンの領域に対して、その任意のフレーム位置をマウスでダブルクリックすれば、当該フレームの画像データがフィルムイメージ501の先頭（IDパネルの左端）になるように表示できる。この結果、検出結果の修正あるいは確認のために、所望のフレームをフィルムイメージ上に表示させる作業が容易になった。また、これは検出区間を新たに追加する場合にも同様である。またこの時、編集用ウインドウ1000上の当該M-アイコンに対してビーム表示10を行う。   Next, a display method for correcting the detected result will be described. Here, the correction work includes correction of the detection section 531 (that is, the section sandwiched between the detection arrows 506 and 507) and correction of the object frames 561, 562, and 563. Make corrections. In this operation, the frame to be corrected is displayed on the film image 501 on the ID panel 500 ′ of FIG. 20 displayed on the ID panel 50 of FIG. 1, and the begin point detection arrow 506 or the end point detection arrow 507 is displayed. This is done by dragging the arrow with the mouse pointer 810. When this correction work is performed, the IDX panel 6000 of FIG. 11 is simultaneously displayed on the IDX panel 60 of FIG. 1, and the detection section 614 of the person “X” is displayed on the detection section graph 637. If you double-click an arbitrary frame position with the mouse on the M-icon area for which detection processing has been performed in the graph, the image data for that frame will be at the beginning of the film image 501 (the left edge of the ID panel). Can be displayed. As a result, it is easy to display a desired frame on the film image in order to correct or confirm the detection result. This is the same when a detection section is newly added. At this time, the beam display 10 is performed on the M-icon on the editing window 1000.

次に、IDパネル50側での操作をさらに詳しく説明する。まず始めに、検出区間531の変更を行う場合である。これは、前述のようにマウスポインタ810を動かしてビギン点の検出矢印506あるいはエンド点の検出矢印507を移動させることで実現する。この時、オペレータが検出矢印506または507を移動させるのにあわせて、IDXパネル6000の検出区間グラフ637の検出フレームを示す塗りつぶし領域614が変化する。   Next, the operation on the ID panel 50 side will be described in more detail. First, the detection interval 531 is changed. This is achieved by moving the mouse pointer 810 and moving the begin point detection arrow 506 or the end point detection arrow 507 as described above. At this time, as the operator moves the detection arrow 506 or 507, the filled area 614 indicating the detection frame of the detection section graph 637 of the IDX panel 6000 changes.

次に、"検出もれ"などのため新たに検出区間をオペレータが追加する場合を述べる。この作業は、オペレータが追加する区間として，フィルムイメージ501上の所望のフレーム画像をクリック（あるいはドラッグ）して選択し、検出区間追加ボタン512を押して行う。そして、この選択領域（フレーム画像）の状態は、マウスポインタ810のクリック（あるいはドラッグ）の動きに合せて同時に、IDXパネル6000上の検出区間グラフ637に反映して表示される。この検出区間グラフ637でのエリア表示614′と616′は、検出フレームを示す塗りつぶしの場合とは区別できるように、別の色や別の模様またはその組合せ等で表示する。これにより、オペレータは、現在どのM-アイコンのどの辺りのフレームについて選択・変更を行っているかを、ウインドウ表示を切換えることなく、一目で、より簡単に知ることができる。この情報は、従来のフィルムイメージ501だけからでは分かり難かったものである。これは、検出結果を削除する場合にも同様である。その場合は、検出区間追加ボタン512の代りに検出区間削除ボタン514を押す。この時、この検出区間グラフ637での表示は、検出フレームを示す塗りつぶしの場合及び、検出区間を追加したときとは区別できるように、別の色や別の模様またはその組合せ等で表示する。   Next, a case will be described in which the operator adds a new detection section due to “detection leak” or the like. This operation is performed by clicking (or dragging) a desired frame image on the film image 501 as a section to be added by the operator and pressing a detection section addition button 512. The state of the selected area (frame image) is displayed on the detection section graph 637 on the IDX panel 6000 at the same time as the mouse pointer 810 is clicked (or dragged). The area displays 614 ′ and 616 ′ in the detection section graph 637 are displayed in different colors, different patterns, combinations thereof, or the like so that they can be distinguished from the case where the detection frame is filled. Thus, the operator can more easily know at a glance which frame of which M-icon is currently selected and changed without switching the window display. This information is difficult to understand from the conventional film image 501 alone. The same applies to the case where the detection result is deleted. In that case, the detection section deletion button 514 is pressed instead of the detection section addition button 512. At this time, the display in the detection section graph 637 is displayed in a different color, a different pattern, a combination thereof, or the like so that it can be distinguished from the case where the detection frame is filled and the case where the detection section is added.

次に別の実施の形態として、過去に１回以上検出処理を行っている場合について説明する。ここでは、既に編集作業を行っている図１６のツリー構造1040を情報記憶装置3060から呼出した場合説明する。図１６は本発明の一実施例の編集用ウインドウを説明するための図である。図１６で図１５と同じものには同じ番号を付した。その他、1000′は編集用ウインドウ、11はIDXアイコン、121A，121B，121C，・・・，121H，121I，・・・は編集エリア1010内の最下位のカット画像を表すM-アイコンである。また、このツリー構造1040は、過去に最上位のM-アイコン1240を選択して（つまり、最下層のすべてのM-アイコン1210を被検出領域として）一回検出処理を行っている。まず、ツリー構造1040に対して、最上位のM-アイコン1240を選択し登場人物検出機能ボタン1051を押した場合について説明する。図１２に示すのように、モニタ3080上には編集用ウインドウ50の上に、IDパネル50とIDXパネル60とが表示される。この時、IDパネル50には図１６に示した最下位で先頭（左端）のM-アイコン121Aの、始めの１０フレーム分がフィルムイメージ501に表示されており、IDXパネル60には図１１に示すように検出時に指定したターゲットイメージ631がターゲットイメージの一覧表示エリア611に表示され、検出結果グラフ637には検出されたフレームの状態が表示されている。ただし、この状態では以前の検出処理の結果はIDパネル50には表示されていない。この検出結果を表示させるためにはIDXパネル60の所望のターゲットイメージ631（図１１）をクリックする。これによりIDパネル50の拡大表示エリア502（図５）には、ターゲットイメージ631のフレームの画像データが表示され、同時に色指定を行った色指定枠503，504，505が表示される。さらにフィルムイメージ501にはビギン点を示す検出区間506とエンド点を示す検出区間507が表示され、検出区間507内のそれぞれのフレーム画像521，522，523には、それぞれオブジェクト枠561，562，563が表示される。また、ターゲットイメージ631（図１１）をクリックすると、人物"X"が検出されたM-アイコン 121A，121B，121C，121E，121Gが赤枠の破線で囲まれて表示される（図１６）ため、その人物が存在するM-アイコン121A，121B，121C，121E，121Gのみを集めて、ダイジェスト版を作る作業などに便利である。また図１６では、素材エリア1020にあるM-アイコン1030，1034，103Aも赤枠表示されているが、これらのM-アイコン1030，1034，103Aそれぞれを編集エリア1010のM-アイコン121A，121B，121Cにそれぞれコピーした場合であり、その他のM-アイコン121D，・・・，121H，121I，・・・は移動したものである。   Next, as another embodiment, a case where detection processing has been performed once or more in the past will be described. Here, a case will be described in which the tree structure 1040 of FIG. 16 that has already been edited is called from the information storage device 3060. FIG. 16 is a diagram for explaining an editing window according to an embodiment of the present invention. In FIG. 16, the same components as those in FIG. In addition, 1000 'is an editing window, 11 is an IDX icon, 121A, 121B, 121C, ..., 121H, 121I, ... are M-icons representing the lowermost cut image in the editing area 1010. In addition, this tree structure 1040 performs detection processing once by selecting the highest M-icon 1240 in the past (that is, using all the M-icons 1210 in the lowest layer as the detection area). First, a case where the topmost M-icon 1240 is selected for the tree structure 1040 and the character detection function button 1051 is pressed will be described. As shown in FIG. 12, an ID panel 50 and an IDX panel 60 are displayed on the monitor 3080 on the editing window 50. At this time, the first 10 frames of the lowest-most first (leftmost) M-icon 121A shown in FIG. 16 are displayed on the film image 501 on the ID panel 50, and the IDX panel 60 is shown in FIG. As shown, the target image 631 designated at the time of detection is displayed in the target image list display area 611, and the detected frame state is displayed in the detection result graph 637. However, in this state, the result of the previous detection process is not displayed on the ID panel 50. In order to display the detection result, a desired target image 631 (FIG. 11) on the IDX panel 60 is clicked. As a result, the image data of the frame of the target image 631 is displayed in the enlarged display area 502 (FIG. 5) of the ID panel 50, and color designation frames 503, 504, and 505 for which color designation has been performed are displayed at the same time. In addition, the film image 501 displays a detection section 506 indicating a begin point and a detection section 507 indicating an end point. The frame images 521, 522, and 523 in the detection section 507 have object frames 561, 562, and 563, respectively. Is displayed. Further, when the target image 631 (FIG. 11) is clicked, the M-icons 121A, 121B, 121C, 121E, and 121G in which the person “X” is detected are displayed surrounded by a red broken line (FIG. 16). This is useful for collecting only the M-icons 121A, 121B, 121C, 121E, and 121G in which the person exists and making a digest version. In FIG. 16, the M-icons 1030, 1034, and 103A in the material area 1020 are also displayed in a red frame, but these M-icons 1030, 1034, and 103A are respectively displayed in the editing area 1010 as M-icons 121A, 121B, and The other M-icons 121D,..., 121H, 121I,.

次に、ツリー構造1040を呼出した状態で、新たに素材エリアからM-アイコンを追加した場合を考える。図１３と図１４は本発明の一実施例の編集用ウインドウを説明するための図である。図１３で図１６と同じものは同じ番号を付した。その他、1001は編集用ウインドウ、1040′は編集エリア1020中のツリー構造、121Zは新たにM-アイコン121Aと121Bの間に挿入されたM-アイコン、11′はIDX情報ボタンである。図１４は図１について、ビーム表示10を追加表示させた一実施例である。また図１１の検出区間604で示されるM-アイコン103Aの後ろに追加した場合の例を示したのが図８である。図８は本発明の一実施例のIDXパネルを説明するための図で、図１のIDXパネル60に表示されたIDXパネルの表示の一実施例である。図１１と同じものには同じ番号を付した。その他に、6001はIDXパネル、607は新たに追加された領域、608は新規に検出されたフレーム画像の場所を示している検出区間表示の検出未処理区間表示である。また、図９は本発明の一実施例のIDパネルを説明するための図である。図９で図１８と同じものは同じ番号を付した。その他、5000はIDパネル、901は検出未処理区間、902はフィルムイメージ、903は検出矢印、904は枠部分である。図１３において、動画像編集の過程で、検出処理を行っていないM-アイコン121ZがM-アイコン121Aと121Bの間に挿入されたために、ツリー構造1040′にはある人物"X"について検出処理を行ったM-アイコン（つまり、人物"X"の検出が済んだ領域604，605，606）と、検出処理を行っていないM-アイコン（つまり、人物"X"の検出が済んでいない領域607）とが混在している。この状態で登場人物検出ボタン1051を押すと、IDパネル50とIDXパネル60では、検出処理を行っていないM-アイコン121Zの領域が表示され、検出フレームを示す色や選択領域を示す色とは別の色で塗りつぶして、その存在を明示する。   Next, consider a case where an M-icon is newly added from the material area while the tree structure 1040 is called. 13 and 14 are diagrams for explaining an editing window according to an embodiment of the present invention. In FIG. 13, the same components as those in FIG. In addition, 1001 is an editing window, 1040 'is a tree structure in the editing area 1020, 121Z is an M-icon newly inserted between M-icons 121A and 121B, and 11' is an IDX information button. FIG. 14 shows an embodiment in which a beam display 10 is additionally displayed with respect to FIG. Further, FIG. 8 shows an example in which the M-icon 103A indicated by the detection section 604 in FIG. 11 is added behind. FIG. 8 is a diagram for explaining an IDX panel according to an embodiment of the present invention, and is an embodiment of display of the IDX panel displayed on the IDX panel 60 of FIG. The same elements as those in FIG. In addition, 6001 is an IDX panel, 607 is a newly added area, and 608 is a detection unprocessed section display of a detection section display indicating the location of a newly detected frame image. FIG. 9 is a diagram for explaining an ID panel according to an embodiment of the present invention. In FIG. 9, the same components as those in FIG. In addition, 5000 is an ID panel, 901 is an unprocessed section, 902 is a film image, 903 is a detection arrow, and 904 is a frame portion. In FIG. 13, since the M-icon 121Z that has not been subjected to the detection process is inserted between the M-icons 121A and 121B in the moving image editing process, the detection process for the person “X” in the tree structure 1040 ′ is performed. M-icons that have been detected (that is, areas 604, 605, and 606 in which the person “X” has been detected) and M-icons that have not been detected (that is, areas in which the person “X” has not been detected) 607) are mixed. When the character detection button 1051 is pressed in this state, the ID panel 50 and IDX panel 60 display the area of the M-icon 121Z that has not been subjected to detection processing, and the color indicating the detection frame and the color indicating the selection area Fill it with a different color to indicate its existence.

例えば、IDパネル50においては図９に示すように、フィルムイメージ902の検出未処理区間901の枠部分904を識別できる色または模様またはそれらの組合せによって塗りつぶし、IDXパネル60では、図８に示すように未検出処理区間608を前述のように異なる色または模様またはそれらの組合せによって塗りつぶす。この例では、検出区間607の全ての領域で人物"X"が検出されている。オペレータがこの区間901の映像について人物検出したい場合には、IDXパネル6001において検出未処理区間表示608をダブルクリックする。このとき、IDパネル5001のフィルムイメージ901にその検出未処理区間608の先頭のフレーム画像１０フレーム分を表示する。また、あわせてその検出未処理区間608のM-アイコン103Zに対してビーム表示10がなされる。これにより編集中のM-アイコンの特定と、編集作業の関係が明確になる。なお、ビーム表示10とは、図１４に示すように、別ウインドウ間で関連のあるデータの表示同士をビーム状の表示で結ぶもので、形状、色、模様等は任意であり、例えばその情報量や情報内容によって識別できるように変えて表示することも可能である。   For example, in the ID panel 50, as shown in FIG. 9, the frame portion 904 of the detection unprocessed section 901 of the film image 902 is filled with a color or pattern that can be identified, or a combination thereof, and in the IDX panel 60, as shown in FIG. As described above, the undetected processing section 608 is filled with a different color or pattern or a combination thereof. In this example, the person “X” is detected in all areas of the detection section 607. When the operator wants to detect a person in the video in the section 901, the operator double-clicks the undetected section display 608 on the IDX panel 6001. At this time, the first 10 frame images of the undetected section 608 are displayed on the film image 901 of the ID panel 5001. At the same time, the beam display 10 is made on the M-icon 103Z in the undetected section 608. As a result, the relationship between the identification of the M-icon being edited and the editing operation becomes clear. As shown in FIG. 14, the beam display 10 connects the display of data related to different windows in a beam-like display, and the shape, color, pattern, etc. are arbitrary. It is also possible to change the display so that it can be identified according to the amount and information content.

上述の、IDXエリアでの新規検出領域が追加される順番は、編集エリアでの編集されたツリー構造の順番にしたがっているが、この追加される順番は、その他に、アタッチした順番や、素材エリアでの表示の順番であってもよい。   The order in which the new detection area is added in the IDX area described above follows the order of the edited tree structure in the editing area. The order in which the new detection area is added is in addition to the order of attachment or the material area. The order of display may be used.

ここで、実際に検出処理を実行した場合について述べる。この時メモリ3020には既に検出したM-アイコンの番号情報が読込まれているため、検出未処理のM-アイコンのフレームについてのみの検出を行うことができる。検出結果は、IDパネル50では、ビギン点を表す検出矢印506とエンド点を表す検出矢印507の矢印を既検出の矢印とは色を変えて表示することで区別して表示する。また、IDXパネル60においても既検出のフレームとは別の色で塗りつぶすことで、今回の検出処理で検出されたフレームであることを明確にする。なお、この色を違えた表示はオペレータが検出矢印506，507を移動させたり、OKボタン541を押すことで編集作業を終了し、再び呼出した場合には、既検出の検出矢印と同じ色での描画になる。   Here, a case where detection processing is actually executed will be described. At this time, since the number information of the already detected M-icon is read in the memory 3020, it is possible to detect only the frame of the M-icon that has not been detected. The detection result is displayed on the ID panel 50 by distinguishing the detection arrow 506 representing the begin point and the detection arrow 507 representing the end point by changing the color of the detected arrow from the already detected arrow. Further, the IDX panel 60 is also painted with a color different from the already detected frame to clarify that the frame is detected by the current detection process. In addition, when the operator moves the detection arrows 506 and 507 or presses the OK button 541 to end the editing operation and call it again, the display with the wrong color is the same color as the detection arrow that has already been detected. It becomes drawing of.

最後に、これらのパネルはIDパネル50またはIDXパネル60のOKボタン541あるいはキャンセルボタン542を押して、編集作業を終了することで閉じられる。
なお、編集用ウインドウとIDパネルとIDXパネルとはそれぞれマウス等の入力装置3090を用いることで移動させることができる。図１０と図２は本発明の編集用ウインドウの一実施例を説明する図である。図１とほとんど同じであるが、201，202，203はモニタ表示画面、は50′と50″はIDパネル、60′と60″はIDXパネル、100′と100″は編集用ウインドウである。例えば、図１０に示すように、編集用ウインドウ100′とIDパネル50′とIDXパネル60′の表示位置は、１つまたはすべてのパネルが重ならないようにしてもよい。さらに、図２に示すように、モニタ3080は、複数の表示画面201，202，203を有し、それぞれに別々に、IDパネル50″、編集用ウインドウ100″、IDXパネル60″が表示される構成であっても良い。さらにまたは複数個のモニタで構成されていても良い。なお、この場合には、例えば、モニタ201，202，203の設置位置をあらかじめCPU3010に教示しておくことで、ビーム表示を可能にする。 Finally, these panels are closed by pressing the OK button 541 or the cancel button 542 on the ID panel 50 or the IDX panel 60 to finish the editing operation.
Note that the editing window, ID panel, and IDX panel can be moved using an input device 3090 such as a mouse. 10 and 2 are diagrams for explaining an embodiment of the editing window of the present invention. Although almost the same as FIG. 1, 201, 202 and 203 are monitor display screens, 50 'and 50 "are ID panels, 60' and 60" are IDX panels, and 100 'and 100 "are editing windows. For example, as shown in Fig. 10, the display positions of the editing window 100 ', ID panel 50', and IDX panel 60 'may be such that one or all of the panels do not overlap. As described above, the monitor 3080 may include a plurality of display screens 201, 202, and 203, in which an ID panel 50 ″, an editing window 100 ″, and an IDX panel 60 ″ are displayed separately. . Further, it may be constituted by a plurality of monitors. In this case, for example, the CPU 3010 is informed in advance of the installation positions of the monitors 201, 202, and 203, thereby enabling beam display.

本発明の編集用ウインドウ、IDパネル、IDXパネルを同時に表示させたモニタ画面の一実施例を示す図。The figure which shows one Example of the monitor screen which displayed the edit window of this invention, ID panel, and IDX panel simultaneously. 本発明の編集用ウインドウ、IDパネル、IDXパネルを同時に表示する一実施例を示す図。The figure which shows one Example which displays simultaneously the window for edit of this invention, an ID panel, and an IDX panel. 従来の動画像編集装置の一構成例を示すブロック図。The block diagram which shows the example of 1 structure of the conventional moving image editing apparatus. 従来の編集用ウインドウの一例を示す図。The figure which shows an example of the window for conventional editing. 従来のIDパネルの一例を示す図。The figure which shows an example of the conventional ID panel. 従来のIDXパネルの一表示例を示す図。The figure which shows the example of 1 display of the conventional IDX panel. 本発明の編集用ウインドウの一実施例を説明する図。The figure explaining one Example of the window for edit of this invention. 本発明のIDXパネルの一実施例を説明する図。The figure explaining one Example of the IDX panel of this invention. 本発明の一実施例のIDパネルを説明するための図。The figure for demonstrating the ID panel of one Example of this invention. 本発明の編集用ウインドウ、IDパネル、IDXパネルを同時に表示させたモニタ画面の一実施例を示す図。The figure which shows one Example of the monitor screen which displayed the edit window of this invention, ID panel, and IDX panel simultaneously. 本発明のIDXパネルの一実施例を説明する図。The figure explaining one Example of the IDX panel of this invention. 従来の登場人物検出結果の確認や修正を行う場合のIDパネルの一例を示す図。The figure which shows an example of the ID panel in the case of confirming and correcting the conventional character detection result. 本発明の一実施例の編集用ウインドウを説明するための図。The figure for demonstrating the window for edit of one Example of this invention. 本発明の一実施例の編集用ウインドウを説明するための図。The figure for demonstrating the window for edit of one Example of this invention. 従来の登場人物検出を行った結果の編集用ウインドウの一例を示す図。The figure which shows an example of the window for edit as a result of performing the conventional character detection. 本発明の一実施例の編集用ウインドウを説明するための図。The figure for demonstrating the window for edit of one Example of this invention. M-アイコンの側面に、人物検出"A"の結果が表示されていることを拡大して示した図。The figure which expanded and showed that the result of person detection "A" is displayed on the side of M-icon. 本発明のIDパネルの一実施例を説明する図。The figure explaining one Example of the ID panel of this invention. 本発明のIDXパネルの一実施例を説明する図。The figure explaining one Example of the IDX panel of this invention. 本発明のIDパネルの一実施例を説明する図。The figure explaining one Example of the ID panel of this invention.

符号の説明Explanation of symbols

10：ビーム表示、 11，11′，12，13，14：IDXアイコン、 50，50′，50″：IDパネル、 60，60′，60″：IDXパネル、 80：IDパネル、 100，100′，100″：編集用ウインドウ、 201，202，203：モニタ表示画面、 237，238，239：検出結果表示エリア、 240：新規ボタン、 241：クローズボタン、 242：検出ボタン、 243：結合ボタン、 244：結合解除ボタン、 245：プレビューボタン、 246：インフォメーションボタン、 247：可視範囲調整ボタン、 248：修正ボタン、 291，292，293：ターゲットイメージ表示エリア、305：拡大表示画像、 306：拡大表示エリア、 500，500′，500″：IDパネル、 501：フィルムイメージ、 502：拡大表示エリア、 503，504，505：色指定枠、506，507：検出矢印、 508：静止画ビュースライダ、 509：スライダつまみ、 510：表示フレ−ム単位変更スライダ、 511：オートサーチボタン、 512：検出区間追加ボタン、 514：検出区間削除ボタン、 520：拡大表示画像、 521〜530：フレーム画像、 531：検出区間、 532：スライドカーソル、 541：OKボタン、 542：キャンセルボタン、 543：飛越し検出量設定部、 544：ジャンプボタン、 545：オブジェクトボタン、 546：マニュアルサーチボタン、 547：オブジェクト名記入欄、 600，600′：IDXパネル、 603：検出範囲表示エリア、 604，605，606：検出区間、 607：領域、 608：検出未処理区間表示、 611：ターゲット表示欄、 614：検出エリア表示、 614′：追加された検出エリア表示、 616：非検出エリア表示、 616′：削除された検出エリア表示、 631，632，633：ターゲットイメージ、 634，635，636：人名、 637，638，639：検出区間グラフ、 650：検出結果表示欄、 640，641：スライダ、 800，801，802，802′，803：検出矢印、 804，805，806，807，808：オブジェクト枠、 809：フィルムイメージ、 810：マウスポインタ、 811，811′，812：検出区間、 815：ビギンボタン、 816：エンドボタン、 817，818，820，821，822：画素領域、 850〜859：フレーム画像、 901：検出未処理区間、 902：フィルムイメージ、 903：検出矢印、 904：枠部分、 1000，1000′，1001：編集用ウインドウ、 1010：編集エリア、 1020：素材エリア、 1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・： M-アイコン、 103Z： M-アイコン、 1040，1040′：ツリー構造、 1050：編集機能ボタン群、 1051：登場人物検出ボタン、 1052：ツリー構造作成ボタン、 1053：IDX情報ボタン、 1054：ID情報ボタン、 1070，1080，1090：スライダ、 1210：カット画像を表すM-アイコン、 121Z，121A，121B，121C，・・・，121H，121I，・・・：カット画像を表すM-アイコン、 1220：シーン画像を表すM-アイコン、 1230：１つ以上のシーン画像で構成したM-アイコン、 1240：テーマに合せ編集された動画像（番組）を表すM-アイコン、 3010：CPU、 3020：メモリ、 3030：カット変化点検出部、 3040：画像再生装置、 3050：ビデオインターフェース、 3060：情報記憶装置、 3070：フレームバッファ、 3080：モニタ、 3090：入力装置、 3100：バス、 3110：画像信号出力端子、 5000，5001：IDパネル、 6000，6000′，6001：IDXパネル。


10: Beam display, 11, 11 ', 12, 13, 14: IDX icon, 50, 50', 50 ": ID panel, 60, 60 ', 60": IDX panel, 80: ID panel, 100, 100' , 100 ″: Edit window, 201, 202, 203: Monitor display screen, 237, 238, 239: Detection result display area, 240: New button, 241: Close button, 242: Detection button, 243: Join button, 244 : Release button, 245: Preview button, 246: Information button, 247: Visible range adjustment button, 248: Correction button, 291, 292, 293: Target image display area, 305: Enlarged display image, 306: Enlarged display area, 500, 500 ', 500 ": ID panel, 501: Film image, 502: Enlarged display area, 503, 504, 505: Color designation frame, 506, 507: Detection arrow, 508: Still image view slider, 509: Slider knob , 510: Display frame unit change slider, 511 : Auto search button 512: Detection section addition button 514: Detection section deletion button 520: Enlarged display image 521-530: Frame image 531: Detection section 532: Slide cursor 541: OK button 542: Cancel Button, 543: Jump detection amount setting section, 544: Jump button, 545: Object button, 546: Manual search button, 547: Object name entry field, 600, 600 ′: IDX panel, 603: Detection range display area, 604 , 605, 606: Detection section, 607: Area, 608: Detection unprocessed section display, 611: Target display column, 614: Detection area display, 614 ′: Added detection area display, 616: Non-detection area display, 616 ': Deleted detection area display, 631, 632, 633: Target image, 634, 635, 636: Person name, 637, 638, 639: Detection section graph, 650: Detection result display field, 640, 641: Slider, 800, 801, 802, 802 ', 803: Detection arrow, 804, 805, 806, 807, 808: Object frame, 809: Film image, 810: Mouse pointer, 811, 811', 812: Detection section, 815: Begin Button, 816: End button, 817, 818, 820, 821, 822: Pixel area, 850 to 859: Frame image, 901: Undetected section, 902: Film image, 903: Detection arrow, 904: Frame portion, 1000 , 1000 ', 1001: Editing window, 1010: Editing area, 1020: Material area, 1030, 1031, 1032, 1033, 1034, ..., 103A, ..., 103M, 103N, ...: M- Icon, 103Z: M-icon, 1040, 1040 ′: Tree structure, 1050: Editing function button group, 1051: Character detection button, 1052: Tree structure creation button, 1053: IDX information button, 1054: ID information button, 1070 , 1080, 1090: Slider, 1210: M-icon representing cut image, 121Z, 121A, 121B 121C,..., 121H, 121I,...: M-icon representing a cut image, 1220: M-icon representing a scene image, 1230: M-icon composed of one or more scene images, 1240: M-icons representing moving images (programs) edited according to the theme, 3010: CPU, 3020: Memory, 3030: Cut change point detection unit, 3040: Image playback device, 3050: Video interface, 3060: Information storage device, 3070: Frame buffer, 3080: Monitor, 3090: Input device, 3100: Bus, 3110: Image signal output terminal, 5000, 5001: ID panel, 6000, 6000 ', 6001: IDX panel.

Claims (3)

モニタ画面を備え、複数のフレーム画像からなる動画像を編集画面において編集する動画像編集装置であって、
複数の前記動画像の代表画像を縮小したアイコンを画面操作することによって、前記複数の動画像の編集を行う編集用ウインドウと、
検出すべき画像の特徴を、特定の画像を用いて指定する操作を行うパネルであって、前記編集用ウインドウで指定操作された前記動画像に対して、前記特徴に基づく検出をし、該検出結果を所定の表示フレーム単位のフィルムイメージを用いて表示する検出用パネルと、
前記検出された画像が前記動画像に存在する区間を、前記指定に用いた特定の画像毎に時間的にグラフ表示する検出結果表示パネルと、を特定の操作に応じて前記モニタ画面に自動的に同時表示し、
前記編集用ウインドウ又は前記検出用パネル若しくは前記検出結果表示パネルの一つにおける操作または処理結果が、他にも即時に反映することを特徴とする動画像編集装置。 A moving image editing apparatus comprising a monitor screen and editing a moving image composed of a plurality of frame images on an editing screen,
An editing window for editing the plurality of moving images by operating a screen of an icon obtained by reducing a representative image of the plurality of moving images;
A panel for performing an operation of specifying a feature of an image to be detected using a specific image, and detecting the motion image specified and operated in the editing window based on the feature A detection panel for displaying a result using a film image in a predetermined display frame unit ;
A section image issued before danger is present in the moving image, the detection result display panel for displaying a graph specific to each image in time used for the specified, on the monitor screen in accordance with a specific operation Automatically display simultaneously,
The moving image editing apparatus, wherein an operation or a processing result in one of the editing window, the detection panel, or the detection result display panel is immediately reflected in another . 入力された動画像を構成するフレーム画像の隣接するフレーム画像を比較して、フレーム画像間の差の画像情報が所定量を越えて変化している場合には、隣接するフレーム画像は異なるカットに属すると判定し分割するカット変化点検出手段と、編集操作をするためのマウスと、を更に備え、
前記編集用ウインドウは、前記分割されたカットを複数の前記アイコンとして時系列に一覧表示する素材エリアと、複数の前記アイコンで構成されるツリー構造で以って動画像の編集状態を表示する編集エリアと、を有し、
検出結果表示パネルで、前記グラフ内の任意のフレーム位置に対して前記マウスをクリックしたときには、当該フレームが前記フィルムイメージの所定の位置に表示されるように前記検出用パネルの表示を制御し、前記特定の画像の１つに対して前記マウスをクリックしたときには、クリックされた特定の画像に対応する前記特徴が検出された前記カットのアイコンを、素材エリアにおいて様態を異ならせて表示することを特徴とする請求項１記載の動画像編集装置。 When the adjacent frame images of the frame images constituting the input moving image are compared, and the image information of the difference between the frame images changes beyond a predetermined amount, the adjacent frame images are cut into different cuts. It further comprises a cut change point detection means for determining that it belongs and dividing, and a mouse for editing operation,
The editing window displays a material area for displaying the divided cuts as a plurality of the icons in time series, and an editing state for displaying a moving image editing state by a tree structure including the plurality of icons. An area, and
When the mouse is clicked on an arbitrary frame position in the graph on the detection result display panel, the display on the detection panel is controlled so that the frame is displayed at a predetermined position of the film image, When the mouse is clicked on one of the specific images, the cut icon in which the feature corresponding to the clicked specific image is detected is displayed in a different manner in the material area. The moving image editing apparatus according to claim 1, wherein: 所定の操作があったときに、前記検出結果表示パネルにグラフ表示されている所定の領域と、前記編集用ウインドウに表示された前記アイコンの１つであって前記所定の領域と関連するアイコンとを、ビーム状の表示で結ぶことを特徴とする請求項１記載の動画像編集装置。
When a predetermined operation is performed, a predetermined area displayed in a graph on the detection result display panel, and an icon associated with the predetermined area that is one of the icons displayed in the editing window ; The moving image editing apparatus according to claim 1, wherein the images are connected by a beam- like display.