JP2004180341A

JP2004180341A - Moving picture search-edit unit

Info

Publication number: JP2004180341A
Application number: JP2004027682A
Authority: JP
Inventors: Yasuyuki Nakajima; 康之中島; Kiyono Ujihara; 清乃氏原; Akio Yoneyama; 暁夫米山
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2004-02-04
Filing date: 2004-02-04
Publication date: 2004-06-24
Anticipated expiration: 2016-08-23
Also published as: JP4104071B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a moving picture search-edit unit which can search a picture without a fast forward replay or the like, can specify an edit start point or end point easily, and can reduce editing cost of a compressed data. <P>SOLUTION: First, an edit control screen is displayed 11, then a search-edit file process 12 selects a file to be search-edited. A moving picture search process 13 uses a picture search in macro unit and in a micro unit for the selected file to display the image to be search-edited. An edit zone designation process 14 specifies a start point and an end point of a zone to be edited in the picture displayed with the moving picture search process. More than one zones or other files are edited with the process similar to the above if necessary. When all edit zones are specified, an edit zone replay process 17 replays the edit zone to confirm the edit segment. Then, an edit process 18 edits a picture in the corresponding segment and records it as a new file. <P>COPYRIGHT: (C)2004,JPO

Description

この発明は動画像検索編集装置に関し、特に早送り再生等を用いなくても画像を検索して編集を行うことができ、また編集開始点や終了点を簡易に指定することのできる動画像検索編集装置に関する。また、本発明は、ネットワーク上で、画像の検索、編集を行い、編集部分のみを伝送することのできる動画像検索編集装置に関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture search and editing apparatus, and more particularly to a moving picture search and edit apparatus capable of searching for and editing an image without using fast-forward playback or the like and capable of easily specifying an edit start point and an end point. Related to the device. In addition, the present invention relates to a moving image search and edit device capable of searching and editing images on a network and transmitting only the edited portion.

従来の動画像の編集においては、ＶＴＲテープを用いた編集装置や、ハードディスクなどに記録されたデジタルデータを、そのままの状態で編集する装置等が利用されている。ＶＴＲテープを用いた編集装置の場合、早送り再生などの機能を用いて編集する区間を決定し、編集作業を行っている。ただし、編集区間の指定毎にテープを操作して巻戻したり、早送りする必要があり、編集に多くの作業時間を要している。 In conventional moving image editing, an editing device using a VTR tape, a device for editing digital data recorded on a hard disk or the like as it is, and the like are used. In the case of an editing apparatus using a VTR tape, a section to be edited is determined using a function such as fast-forward playback, and editing is performed. However, it is necessary to operate the tape to rewind or fast-forward each time the editing section is specified, and editing requires a lot of work time.

一方、デジタル動画像データがハードディスクに蓄積されている場合はハードディスクのランダムアクセス性を利用することにより指定された時刻の画像を高速に表示することができ編集時間を短縮することが可能となっている。 On the other hand, when digital moving image data is stored on the hard disk, it is possible to display an image at a specified time at high speed by utilizing the random accessibility of the hard disk, thereby shortening the editing time. I have.

しかしながら、いずれの装置においても動画像の内容を検索するためには主に早送り再生を用いる必要があり、長時間の素材を編集するためには多大な時間を要している。また、遠隔地で取材した素材を編集する場合には、記録したＶＴＲテープを郵送したり、映像用の回線を用いて再生しながら映像を伝送している。また、デジタル動画像データの場合はファイル転送手段（FTP: File Transfer Protocol ）を用いてデータを転送している。したがって、いずれの場合も、素材を一旦すべて伝送して編集を行っているため伝送コストの増大を招いている。 However, in any of the apparatuses, it is necessary to mainly use fast-forward playback in order to search for the content of a moving image, and it takes a lot of time to edit a long-time material. In addition, when editing a material collected in a remote place, a recorded VTR tape is mailed, or a video is transmitted while being reproduced using a video line. In the case of digital moving image data, data is transferred using file transfer means (FTP: File Transfer Protocol). Therefore, in any case, the transmission cost is increased because all the materials are once transmitted and edited.

また、画像がＭＰＥＧ方式などで符号化されている場合、一旦復号して画像に戻してＶＴＲに記録したり、ハードディスクに記録した後に編集処理を行い、その後再度画像を符号化しているため、編集の前後の作業工程が長時間に渡ったり、編集毎に画質が劣化する可能性がある。 Also, when an image is encoded by the MPEG method or the like, the image is decoded once, returned to the image and recorded on the VTR, or edited on the hard disk, then edited, and then the image is encoded again. There is a possibility that the work process before and after the process may take a long time, or the image quality may be degraded for each editing.

以上のように、従来方式では、編集区間を検索するために早送り再生等を行っているので、編集作業が長時間化するという問題があった。また、遠隔地の映像を編集するためには、一旦すべての映像を伝送するようにしているため、伝送コストが増大化するという問題があった。さらに、映像がＭＰＥＧ等で圧縮されている場合、編集のたびに復号、圧縮の処理を行う必要があるため、編集作業時間および編集コストが増大するという問題、および、画質劣化が発生するという問題があった。 As described above, in the conventional method, fast-forward playback or the like is performed in order to search for an editing section, so that there is a problem that the editing work becomes longer. Further, in order to edit a video at a remote place, all the videos are once transmitted, so that there is a problem that transmission costs increase. Further, when a video is compressed by MPEG or the like, it is necessary to perform decoding and compression processing each time editing is performed, so that editing work time and editing cost are increased, and image quality is deteriorated. was there.

本発明の目的は、前記した従来技術の問題点を除去し、動画像の内容を簡単に閲覧、検索することによって、編集時間の短縮化を図ることのできる動画像検索編集装置を提供することにある。また、本発明の他の目的は、伝送回線で接続された遠隔地の映像データを対話的に検索編集して、伝送コストおよび編集作業の低減を図ることのできる動画像検索編集装置を提供することにある。本発明のさらに他の目的は、符号化データ上で画像編集を行うことにより、編集コストの低減および画質劣化の阻止を図ることのできる動画像検索編集装置を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a moving image search and editing apparatus which eliminates the above-mentioned problems of the prior art and can shorten the editing time by easily browsing and searching for the contents of the moving image. It is in. Another object of the present invention is to provide a moving picture search and editing apparatus capable of interactively searching and editing video data at a remote place connected by a transmission line, thereby reducing transmission costs and editing work. It is in. Still another object of the present invention is to provide a moving image search and editing apparatus that can reduce editing costs and prevent image quality deterioration by performing image editing on encoded data.

前記した目的を達成するために、この発明は、ランダムアクセスで動画像ファイルにアクセスできる記憶手段を備えた動画像検索編集装置において、動画像データを指定した開始点から時間単位で検索し、検索した結果として各時間の画像を表示するマクロ検索手段と、該マクロ検索で表示された画像の中から選択された画像を開始点として、該マクロ検索よりも細かい単位で画面を表示するミクロ検索手段と、検索結果から編集の開始点および終了点の画像を選択し、編集区間の再生確認を行う編集区間再生確認手段とを具備し、前記ミクロ検索手段は、複数のフレームをグループ単位で画像検索を行う点、およびシーン単位の画像検索を行う点に、それぞれ第１、第２の特徴がある。 In order to achieve the above object, the present invention relates to a moving image search and editing apparatus provided with a storage unit capable of accessing a moving image file by random access. Macro search means for displaying an image at each time as a result of the search, and micro search means for displaying a screen in smaller units than the macro search, starting from an image selected from the images displayed in the macro search And an edit section playback confirmation unit for selecting an image at the start and end points of the edit from the search result and confirming the playback of the edit section. The micro search unit performs image search for a plurality of frames in group units. The first feature and the second feature are that the image search is performed and that the image search is performed in scene units.

さらに、本発明は動画像データがWWW サーバに蓄積されており、WWW ブラウザーからネットワークを介してWWW サーバに接続して、すべての動画像検索、編集処理をWWW サーバで行い、WWW ブラウザーでは検索結果の表示、検索、編集条件の指定を行うようにした点に第３の特徴がある。 Further, according to the present invention, moving image data is stored in a WWW server, and the WWW browser is connected to the WWW server via a network to perform all moving image search and editing processing on the WWW server. The third feature is that display, search, and specification of editing conditions are performed.

この発明によれば、前記マクロ検索手段により時間単位で高速検索ができ、次にミクロ検索で、フレーム単位、グループ単位、あるいはシーン単位の詳細な検索を行うことができる。したがって、動画像の内容を簡単に閲覧、検索することができるようになり、編集時間の短縮化を図ることができるようになる。また、動画像データが圧縮されている場合には、フレーム内符号化された画像区間を符号化データのまま切り取るようにしたので、編集のために復号、再符号化処理を行わなう必要がなくなり、編集コストの低減および画質劣化の阻止を図ることができるようになる。 According to the present invention, a high-speed search can be performed in units of time by the macro search unit, and then a detailed search can be performed in units of frames, groups, or scenes by micro search. Therefore, the contents of the moving image can be easily browsed and searched, and the editing time can be shortened. Further, when the moving image data is compressed, the intra-frame coded image section is cut out as coded data, so that it is necessary to perform decoding and re-encoding processing for editing. As a result, the editing cost can be reduced and the image quality can be prevented from deteriorating.

さらに、この発明によれば、動画像データがWWW サーバに蓄積されている場合には、すべての動画像検索、編集処理をWWW サーバで行い、WWW ブラウザーでは検索結果の表示、検索、編集条件の指定を行うようにしているので、伝送回線で接続された遠隔地の映像データを対話的に検索編集して、伝送コストおよび編集作業の低減を図ることができるようになる。 Further, according to the present invention, when moving image data is stored in the WWW server, all moving image search and editing processes are performed on the WWW server, and the display of search results, search, and editing of editing conditions are performed on the WWW browser. Since the designation is performed, it is possible to interactively search and edit video data at a remote place connected by a transmission line, thereby reducing transmission costs and editing work.

本発明は、画像データをマクロおよびミクロの単位で検索して検索画像を表示することにより、検索画像を容易に見つけることが可能になった。また、マクロ検索では検索する時間単位を変更することにより、動画像データの長さなどに応じて検索間隔を調整することが可能になる。さらに、ミクロ検索ではシーン単位、GOP 単位、フレーム単位の検索モードによってさまざまな検索要求に応じて画像の検索を行うことが可能となった。従来は動画像を再生したり早送りしたりして画像の検索を行っていたため、検索作業量あるいは検索作業時間が多大であったが、本発明によれば、これを大幅に削減することが可能となる。 According to the present invention, a search image can be easily found by searching for image data in macro and micro units and displaying the search image. Also, in the macro search, by changing the time unit to be searched, it becomes possible to adjust the search interval according to the length of the moving image data and the like. Furthermore, in the micro search, images can be searched according to various search requests by a search mode of a scene unit, a GOP unit, and a frame unit. Conventionally, images were searched by playing back or fast-forwarding moving images, so that the amount of search work or search time was enormous. However, according to the present invention, this can be greatly reduced. It becomes.

また、本発明では検索された画像から編集点を簡単に設定することができ、圧縮画像データでも一旦画像に戻すことなく編集処理を行う事が可能なため、編集処理時間およびコストを大幅に削減することが可能になる。 Further, according to the present invention, the editing point can be easily set from the searched image, and the editing process can be performed without returning to the image even with the compressed image data, thereby greatly reducing the editing processing time and cost. It becomes possible to do.

また、本発明によれば、ネットワークで接続されたサーバに存在する画像データの検索や編集作業が可能なため、従来では画像をすべて転送して初めて編集作業が可能となったことと比較して、大幅に作業量と作業コストを削減することが可能になる。 Further, according to the present invention, since search and editing work of image data existing in a server connected via a network can be performed, it is possible to perform an editing work for the first time after all images have been transferred in comparison with a conventional technique. , It becomes possible to greatly reduce the work amount and the work cost.

さらに、本発明によれば、編集区間の確認には符号化レートを削減する処理を導入したので、確認に必要な作業時間とコストを大幅に削減することが可能になる。 Further, according to the present invention, a process for reducing the coding rate is introduced for the confirmation of the edit section, so that the work time and cost required for the confirmation can be significantly reduced.

以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の一実施形態の編集装置の概略のハード構成を、図１３を参照して説明する。図において、ＲＯＭ１は本発明の編集処理プログラムを具備し、ＲＡＭ２は該編集処理の作業領域となったり、編集処理中に入力されたパラメータ等を一時的に記憶したりする等の働きをする。表示部３は編集処理に必要な画面を表示し、操作パネル上の各種のキーやポインティングデバイスと協働してマン・マシンインタフェースを構成している。記憶部５はハードディスク等から構成されており、複数個のファイルの映像素材をランダムアクセスできる形で格納している。ＣＰＵ６は前記ＲＯＭ１に記憶されている編集処理プログラムを、操作部４からの入力に従って実行し、操作部４から指示された素材のファイルを前記記憶部５から読出しあるいは該記憶部５に記憶し、さらに前記ＲＡＭ２にて必要な編集処理を実行し、各編集処理に応じた画面情報を前記表示部３に供給する働きをする。ネットワークインタフェース７は、インターネット等の回線に接続される。 Hereinafter, the present invention will be described in detail with reference to the drawings. First, a schematic hardware configuration of an editing apparatus according to an embodiment of the present invention will be described with reference to FIG. In the figure, a ROM 1 has an editing processing program of the present invention, and a RAM 2 serves as a work area for the editing processing, and temporarily stores parameters and the like input during the editing processing. The display unit 3 displays a screen required for editing processing, and forms a man-machine interface in cooperation with various keys and a pointing device on an operation panel. The storage unit 5 is composed of a hard disk or the like, and stores video materials of a plurality of files in a form that can be randomly accessed. The CPU 6 executes the editing processing program stored in the ROM 1 in accordance with an input from the operation unit 4, reads out the file of the material specified by the operation unit 4 from the storage unit 5, or stores the file in the storage unit 5, Further, the RAM 2 performs a necessary editing process and supplies screen information corresponding to each editing process to the display unit 3. The network interface 7 is connected to a line such as the Internet.

次に、前記した構成を有する本発明の一実施形態の編集装置の動作の概要を、図１のフローチャートを参照して説明する。 Next, an outline of the operation of the editing apparatus having the above-described configuration according to the embodiment of the present invention will be described with reference to the flowchart of FIG.

まず、操作部４から編集処理が選択され、該処理が開始されると、表示部３上に編集制御画面の表示１１が行なわれる。次に、検索・編集ファイル処理１２が実行される。この検索・編集ファイル処理１２では検索編集するファイルの選択が行われる。次の動画像検索処理１３では、選択されたファイルについて、マクロ、ミクロ単位の画像検索を行って検索編集する画像の表示を行う。続いて、編集区間の指定処理１４が実行される。この編集区間指定処理１４では、動画像検索処理で表示された画像の中から編集する区間の開始点と終了点を指定する。複数の区間を編集する場合は、編集区間編集１５の判断が肯定となり、再度編集区間を編集区間指定処理１４で指定する。また、他のファイルを編集する場合は、複数ファイル編集１６の判断が肯定となり、検索・編集ファイル処理１２で他のファイルを選択し、画像の検索および編集区間の指定を行う。全ての編集区間が確定した後で、編集区間再生処理１７にて編集区間を再生して編集部分の確認を行う。編集部分が確定した場合、編集処理１８にて該当部分の画像を編集して新たなファイルとして記録する。 First, an editing process is selected from the operation unit 4, and when the process is started, a display 11 of an editing control screen is displayed on the display unit 3. Next, search / edit file processing 12 is executed. In the search / edit file processing 12, a file to be searched and edited is selected. In the next moving image search process 13, the image to be searched and edited is displayed by searching the selected file for images in macro and micro units. Subsequently, an editing section designation process 14 is executed. In the editing section designation processing 14, the start point and the end point of the section to be edited are designated from the images displayed in the moving image search processing. When editing a plurality of sections, the determination of the edit section edit 15 is affirmative, and the edit section is specified again by the edit section specifying process 14. If another file is to be edited, the determination of the multiple file edit 16 is affirmative, and another file is selected in the search / edit file processing 12 to search for an image and specify an edit section. After all the edit sections are determined, the edit section is reproduced in the edit section reproduction processing 17 to check the edit portion. When the editing portion is determined, the image of the corresponding portion is edited in the editing process 18 and recorded as a new file.

次に、図１のフローチャートの各部分の処理を、詳細に説明する。編集制御画面表示１１では、前記表示部３上に、図２のような編集制御画面１１ａが表示される。図２でFILE２１１を選択すると，Open２１２とQuit２１３の２つのファイル制御モードが表示される。ここで、Open２１２を選択すると、検索・編集ファイル処理１２に移行する。Quit２１３を選択すると編集制御画面表示を終了する。 Next, the processing of each part of the flowchart of FIG. 1 will be described in detail. In the edit control screen display 11, an edit control screen 11a as shown in FIG. When FILE 211 is selected in FIG. 2, two file control modes, Open 212 and Quit 213, are displayed. If the user selects Open 212, the process proceeds to the search / edit file process 12. When Quit 213 is selected, the display of the edit control screen ends.

検索・編集ファイル処理１２では、図３のようなファイル選択画面１２ａを、前記編集制御画面１１ａを開いたまま、その画面の上に表示する。図３のファイル選択画面１２ａは、動画像ファイルが格納されているディレクトリーにある画像ファイルを一覧表示するものである。図では、第１番目のファイル３８について具体的に記されているが、前記記憶部５に複数個のファイルが格納されていれば、これらのファイル名が、第２番目〜第１０番目のファイル３８に表示される。これらのファイルの表示は同一であるので、以下では第１番目のファイルを代表にして、説明する。 In the search / edit file processing 12, a file selection screen 12a as shown in FIG. 3 is displayed on the screen with the edit control screen 11a opened. The file selection screen 12a in FIG. 3 displays a list of image files in a directory where moving image files are stored. In the figure, the first file 38 is specifically described. However, if a plurality of files are stored in the storage unit 5, these file names are referred to as the second to tenth file. 38 is displayed. Since the display of these files is the same, the first file will be described below as a representative.

Name３６に各ファイル名が表示される。またファイル代表画面３１には動画像ファイルの代表画面が表示される。代表画面の一例として動画像ファイルの先頭画像を用いることが可能である。また、動画像ファイルがISO で標準化されたMPEG方式などにより圧縮されている場合は、該当する代表画面のみを動画像ファイルから復号して表示することが可能である。また、他の方法として代表画面をあらかじめ用意しておき、代表画面を該当の動画像ファイルにリンクして表示することも可能である。この場合、図７のように動画像ファイルと代表画面はファイル記述子で判別する方法を用いることができる。また、代表画面はJPEGやGIF などの静止画像の圧縮方法を用いて記録することも可能である。 Each file name is displayed in Name 36. The file representative screen 31 displays a representative screen of the moving image file. As an example of the representative screen, the leading image of the moving image file can be used. When the moving image file is compressed by the MPEG standardized by ISO or the like, only the corresponding representative screen can be decoded from the moving image file and displayed. As another method, a representative screen may be prepared in advance, and the representative screen may be linked to the corresponding moving image file and displayed. In this case, as shown in FIG. 7, a method of discriminating a moving image file from a representative screen by using a file descriptor can be used. Also, the representative screen can be recorded using a still image compression method such as JPEG or GIF.

Total Time３２には、各動画像ファイルの総再生時間が表示される。圧縮された動画像ファイルの場合、ファイルサイズ／符号化ビットレートで再生時間を得ることができる。なお、MPEG方式で圧縮された場合、符号化ビットレートは符号化データから復号することが可能である。また、前もって再生時間情報を別のファイルに記録しておくことも可能である。この場合、図７のようにファイル記述子をXXX.lnk として、元の動画像ファイルにリンクするファイルとして記録することが可能である。Information ３３には、動画像ファイルに関する情報が表示される。この情報には撮影した場所や時間などを記録することができ、テキストファイルで記録されている。なお、この情報についてはXXX.lnk として元の動画像ファイルにリンクするファイルとして記録することが可能である。なお、このリンクファイルは１行目をTotal Time３２の再生時間情報に使用し、２行目以降をInformation ３３に使用して共用することも可能である。Byte３０２は動画像ファイルの容量を示すものである。 Total Time 32 displays the total playback time of each moving image file. In the case of a compressed moving image file, a reproduction time can be obtained at a file size / encoding bit rate. Note that when compressed by the MPEG method, the encoding bit rate can be decoded from the encoded data. It is also possible to record the reproduction time information in another file in advance. In this case, as shown in FIG. 7, the file descriptor can be recorded as XXX.lnk as a file linked to the original moving image file. Information 33 displays information about the moving image file. This information can record the place and time of photographing, and is recorded in a text file. This information can be recorded as a file linked to the original moving image file as XXX.lnk. In this link file, the first line can be used for the reproduction time information of the Total Time 32, and the second and subsequent lines can be shared for the Information 33. Byte 302 indicates the capacity of the moving image file.

ファイル一覧ページ戻り３４、ページ送り３５はそれぞれ検索編集ファイルの一覧表示をページ単位で戻ったり、送る機能を有している。例えば、モニターに表示できる編集部分画像が１０個で、n 番目の編集部分画像からn+9 番目まで表示されている場合、ページ戻り２６によりn-10番目からn-1 番目までの編集部分画像が表示される。 The file list page return 34 and the page feed 35 have a function of returning and sending the list display of the search / edit file in page units, respectively. For example, if there are ten edited partial images that can be displayed on the monitor and the nth to 9th edited partial images are displayed, the n-10th to n-1th edited partial images are displayed by page return 26. Is displayed.

OK３６が指示されると、選択された画像について動画像検索処理１３に移行する。なお、画像の選択はファイル代表画面３１をマウス等のポインティングデバイスを用いて画像を指定することによって行うことが可能である。また、画像が選択された際、選択枠３９のように代表画像３１の周辺を枠で囲むことにより、画像が選択されたことを表示することが可能である。また、Cancel３７は検索編集ファイル処理を中止して前記編集制御画面１１ａに戻る時に使用される。ファイル番号３８は各動画像ファイルの番号を示すものである。 When OK 36 is instructed, the processing shifts to moving image search processing 13 for the selected image. Note that the image can be selected by specifying the image on the file representative screen 31 using a pointing device such as a mouse. When an image is selected, the selection of the image can be displayed by surrounding the periphery of the representative image 31 with a frame as in a selection frame 39. Cancel 37 is used when the search / edit file processing is stopped and the display returns to the edit control screen 11a. The file number 38 indicates the number of each moving image file.

図４は別の方法により検索編集ファイル処理を行う方法を示すもので、動画像の代表画面を表示せずに、リスト形式で各動画像ファイルの表示を行う。画像選択マーク４００は選択する画像を表示するもので、マウス等のポインティングデバイスで選択された場合に、該画像選択マーク４００を白丸○から黒丸●に変更して選択されたことを示すことが可能である。ファイル番号４０１は各動画像ファイルの番号を示すものである。Name４０、Total Time４２、Byte４０２、Information ４３は図３と同様である。また、ページ戻り４４、ページ送り４５も図３のページ戻り３４、ページ送り３５と同様である。さらにOK４６、Cancel４７も図３と同様である。 FIG. 4 shows a method of performing a search / edit file process by another method, in which each moving image file is displayed in a list format without displaying a representative screen of moving images. The image selection mark 400 displays an image to be selected, and when selected by a pointing device such as a mouse, the image selection mark 400 can be changed from a white circle to a black circle to indicate that the image is selected. It is. The file number 401 indicates the number of each moving image file. Name 40, Total Time 42, Byte 402, and Information 43 are the same as in FIG. The page return 44 and the page feed 45 are the same as the page return 34 and the page feed 35 in FIG. Further, OK 46 and Cancel 47 are the same as in FIG.

ここで、前記動画像検索処理１３の詳細を、図５のフローチャートを参照して説明する。動画像検索処理１３では、まず図６に示すような動画像検索画面５１ａが表示される。次に、検索位置指定５２において検索を開始する位置が指定される。次に、マクロ検索間隔指定５３においてマクロ検索を行なう時間間隔が指定される。次に、マクロ検索開始５４によりマクロ検索が開始され、マクロ検索結果表示５５で検索結果が表示される。ミクロ検索開始位置指定５６ではマクロ検索結果画面の中からミクロ検索を開始する位置が指定される。さらに、ミクロ検索モード指定５７において、ミクロ検索モードの指定が行なわれる。次に、ミクロ検索開始５８によりミクロ検索が開始され、ミクロ検索結果表示５９においてミクロ検索結果画面が表示される。以下に、この処理手順を、具体的に説明する。 Here, the details of the moving image search processing 13 will be described with reference to the flowchart of FIG. In the moving image search process 13, first, a moving image search screen 51a as shown in FIG. 6 is displayed. Next, a search start position is specified in the search position specification 52. Next, in the macro search interval specification 53, a time interval for performing the macro search is specified. Next, the macro search is started by the macro search start 54, and the search result is displayed on the macro search result display 55. In the micro search start position designation 56, a position to start a micro search from the macro search result screen is designated. Further, in a micro search mode designation 57, a micro search mode is designated. Next, a micro search is started by a micro search start 58, and a micro search result screen is displayed on a micro search result display 59. Hereinafter, this processing procedure will be specifically described.

前記図３または図４において、OK３６または４６が指示されると、ファイル選択画面（図３または図４）を消去して、図６のような、File Browser画面６２０、Macro Browser 画面６２１およびMicro Browser 画面６２２からなる動画像検索画面５１ａが表示される。ここで、File Browser画像６１には、図３または図４で選択されたファイルの代表画面がまず表示され、一番上のファイル名６０には検索編集するファイル名が表示される。 In FIG. 3 or FIG. 4, when OK 36 or 46 is instructed, the file selection screen (FIG. 3 or FIG. 4) is erased and the File Browser screen 620, Macro Browser screen 621, and Micro Browser A moving image search screen 51a including a screen 622 is displayed. Here, a representative screen of the file selected in FIG. 3 or 4 is first displayed on the File Browser image 61, and a file name to be searched and edited is displayed on the top file name 60.

File Browser画面６２０では図５の検索開始位置指定５２が行なわれる。動画像ファイルカーソル６３は動画像の検索開始位置を指定するカーソルである。このカーソル６３を動かすことによって検索開始位置が変化する。また、カーソルの位置に応じて、その位置での画像がFile Browser画像６１に表示される。また、カーソル６３と連動して、カーソルの上部にTime６１４が表示される。ただし、初期状態では、File Browser画像６１には先頭の画像が表示され、Time６２にその画像の時刻が表示される。また、カーソルは左端に設定される。 In the File Browser screen 620, the search start position designation 52 of FIG. 5 is performed. The moving image file cursor 63 is a cursor for designating a search start position of a moving image. By moving the cursor 63, the search start position changes. Further, according to the position of the cursor, the image at that position is displayed on the File Browser image 61. Also, in conjunction with the cursor 63, Time 614 is displayed above the cursor. However, in the initial state, the first image is displayed in the File Browser image 61, and the time of the image is displayed in Time 62. The cursor is set at the left end.

Total Time６１１は動画像ファイルの総再生時間を示す。この再生時間の求め方は、図３のTotal Time３２の場合と同様である。また、Time６２は指定された画像の時刻を表示する。ただし、この時刻はTime６１４と同一である。この時刻の表示方法としては以下の方法を用いることが可能である。まず、カーソルの全体の長さに対する指定カーソルの位置をK%とする。総再生時間Total Timeを秒単位に変更してTT秒とする。TP = TT x K / 100 の式からTP秒を求め、該TP秒を時分秒に変更したものを指定画像時刻として表示する。 Total Time 611 indicates the total playback time of the moving image file. The method of obtaining the reproduction time is the same as that in the case of Total Time 32 in FIG. Time 62 displays the time of the designated image. However, this time is the same as Time 614. The following method can be used to display the time. First, the position of the designated cursor with respect to the entire length of the cursor is set to K%. Change the total playback time Total Time to seconds and set it to TT seconds. The TP seconds are obtained from the equation of TP = TT × K / 100, and those obtained by changing the TP seconds to hours, minutes, and seconds are displayed as designated image times.

また、表示する画像は、以下のような方法を用いて決定することができる。ファイル容量をTCとして、FP = TC x K / 100 で得られるファイル位置FPに存在する画像を表示する。MPEGなどで圧縮された画像データの場合は、ファイル位置FP近傍にあるグループ（GOP ）ヘッダーから時刻情報を取得する。この時刻情報を元に、前後にあるGOP ヘッダーから指定された時刻の画像が存在するGOP を探索する。探索後、該当のGOP を最初から復号し、該当の時刻の画像を表示する。 The image to be displayed can be determined using the following method. The image existing at the file position FP obtained by FP = TC × K / 100, where TC is the file capacity, is displayed. In the case of image data compressed by MPEG or the like, time information is obtained from a group (GOP) header near the file position FP. Based on this time information, a GOP in which the image at the specified time exists is searched from the preceding and following GOP headers. After the search, the corresponding GOP is decoded from the beginning, and the image at the corresponding time is displayed.

Macro Browser 画面６２１はFile Browser画面６２０で指定された画像について、マクロな単位で画像の検索を行なうためのものである。Macro Browser 画面６２１は、File Browser画面６２０で指定された画像６１から、指定された時間ステップTSで画像の表示を行なう。TS６４は時間ステップであり、ユーザは例えば５秒、３０秒のように任意のステップを指定することが可能である。これにより図５のマクロ検索間隔指定５３が行なわれる。 The Macro Browser screen 621 is for searching for an image specified in the File Browser screen 620 in macro units. The Macro Browser screen 621 displays an image at the specified time step TS from the image 61 specified on the File Browser screen 620. TS64 is a time step, and the user can specify an arbitrary step, for example, 5 seconds or 30 seconds. Thereby, the macro search interval designation 53 of FIG. 5 is performed.

Start ６５は指定されたステップで画像表示を開始するためのもので、これにより図５のマクロ検索開始５４が行なわれ、Start ６５を選択するとマクロ検索画像６６と検索時刻６７が表示され、図５のマクロ検索結果表示５５となる。表示する画像は検索開始位置TPの画像を左端のマクロ検索画像６６に表示し、以下TP+TS, TP+2TS,... の順でマクロ検索画像６６を順次右に表示する。表示する画像は、指定された時刻TQと総ファイル量TCから決定することが可能である。指定する画像のファイル位置をFPS とすると、FPS = TC x TQ / TTとして求めることが可能である。マクロ検索画像６６はFile Brwoser画像６１の時と同様な方法で、指定時刻の画像を表示することができる。 Start 65 is for starting the image display at the designated step, whereby the macro search start 54 in FIG. 5 is performed. When Start 65 is selected, the macro search image 66 and the search time 67 are displayed. Becomes the macro search result display 55. As for the displayed image, the image at the search start position TP is displayed on the leftmost macro search image 66, and the macro search images 66 are sequentially displayed on the right in the order of TP + TS, TP + 2TS,. The image to be displayed can be determined from the designated time TQ and the total file amount TC. If the file position of the specified image is FPS, it can be obtained as FPS = TC × TQ / TT. The macro search image 66 can display the image at the designated time in the same manner as in the case of the file browser image 61.

検索画面ページ戻し６９および検索画面ページ送り６０２はそれぞれ検索画面をページ単位で戻したり、送る機能である。また、検索画面戻し６８および検索画面送り６０１はそれぞれ、１画面単位で検索画面を戻したり、送る機能を示す。表示されているマクロ検索画像６６の内１つをマウスなどのポインティングデバイスを用いて選択すると、選択を示す選択枠６１２が画面内に表示され、図５のミクロ検索開始位置指定５６としてミクロ検索画像の開始点となる他、編集点として用いられる。また、画像が選択された状態でTS６４を変更してStart ６５を選択した場合、選択された画像を開始点として、指定されたステップ幅で画像の表示を行うことも可能である。 The search screen page return 69 and the search screen page forward 602 are functions for returning and sending the search screen in page units, respectively. Also, the search screen return 68 and the search screen advance 601 indicate a function of returning and sending the search screen in units of one screen, respectively. When one of the displayed macro search images 66 is selected using a pointing device such as a mouse, a selection frame 612 indicating the selection is displayed on the screen, and the micro search image is designated as the micro search start position designation 56 in FIG. And also used as an editing point. Further, when the TS 64 is changed and Start 65 is selected in the state where the image is selected, it is also possible to display the image with the specified step width starting from the selected image.

Micro Browser 画面６２２はマクロ画像検索６２１で指定された画像についてさらに細かな単位で画像検索を行なうものである。Mode６０３はミクロ画像検索を行なうモードを指定するもので、これによりミクロ検索モード指定５７が行なわれる。モードの種類としては、１フレーム、グループ（GOP ）、シーンなどを指定することが可能である。ここで、１フレームとは画像の物理的な最小単位を示す。また、GOP は画像をグループ化することを示す。例えば、MPEG方式で圧縮された画像ではGOP は１５フレーム程度の画像グループで構成されている。また、任意の画像数をGOP とすることも可能である。シーンは画像をシーンが変化する所までを一区切りとしてまとめたものである。 The Micro Browser screen 622 is for performing an image search on the image specified by the macro image search 621 in smaller units. Mode 603 specifies a mode in which a micro image search is performed, whereby a micro search mode specification 57 is performed. As the mode type, one frame, group (GOP), scene, and the like can be designated. Here, one frame indicates a physical minimum unit of an image. GOP indicates that images are grouped. For example, in an image compressed by the MPEG method, a GOP is composed of an image group of about 15 frames. Also, any number of images can be used as a GOP. A scene is a collection of images that are divided into sections where the scene changes.

複数フレーム単位で検索画像を表示する場合、フレーム数をカウントしながら所定のフレーム数になった時点で表示を行なう方法を用いることができる。また、MPEG方式で圧縮された場合、GOP の開始点を示すGOP_Start_Codeを検出してGOP の開始点を見つけ、さらにその先頭画像（I-ピクチャ）を復号して表示する方法を用いることが可能である。シーン単位の画像については、シーンの変化点を検出して変化後の画像を表示する。シーンの変化点の検出方法については、例えば氏原等による「動画像のカット点画像検出装置」（特願平7-263681号、平成７年９月１９日出願）を用いてMPEG画像データからシーンの変化点を検出することが可能である。また、シーンの変化点を前もって検出しておき、変化点の時刻のみを記述子CUT を持つファイル（XXX.CUT ）に保存して、変化点の時刻により変化点の画像を元の画像ファイルから呼び出して表示することが可能である。なお、指定された時刻の画像の表示は、File Brwoser画像６１の時と同様な方法を用いることが可能である。 When displaying the search image in units of a plurality of frames, a method of displaying the search image when the number of frames reaches a predetermined number while counting the number of frames can be used. Further, when compressed by the MPEG method, a method of detecting the GOP_Start_Code indicating the start point of the GOP to find the start point of the GOP, and further decoding and displaying the first image (I-picture) can be used. is there. For an image in scene units, a change point of the scene is detected and the image after the change is displayed. For example, a method of detecting a change point of a scene is described in US Pat. Can be detected. Also, the change point of the scene is detected in advance, and only the time of the change point is stored in a file (XXX.CUT) having the descriptor CUT, and the image of the change point is obtained from the original image file according to the time of the change point. It is possible to call and display. The display of the image at the designated time can be performed in the same manner as in the case of the file browser image 61.

また他の方法として、GOP やシーンの画像自体を画像ファイルとして保存し、その画像ファイルを用いてGOP やシーンの画像に用いることも可能である。この場合、それぞれ、記述子GOP やSCN を持つファイル（XXX.GOP, XXX.SCN）として元の動画像ファイルとのリンクおよびそれぞれのファイルの属性を示すことが可能である。これらのファイルについては静止画像の圧縮方式であるJPEGやGIF などを用いることが可能である。 As another method, the image of the GOP or the scene itself can be stored as an image file, and the image file can be used for the image of the GOP or the scene. In this case, it is possible to indicate the link to the original moving image file and the attribute of each file as a file (XXX.GOP, XXX.SCN) having the descriptor GOP or SCN. For these files, it is possible to use a still image compression method such as JPEG or GIF.

Start ６０４は指定された検索モード（Mode６０３）に従い、MacroBrowser画面６２１で指定された画像からのミクロ検索画像の表示を開始するもので、これにより図５のミクロ検索開始５８となる。ミクロ検索画像６０５は左から順に指定された開始点画像から指定された検索モードに従って右側に表示し、これにより図５のミクロ検索結果表示５９となる。なお、Time６０６は表示された画像の時刻を示すものである。 Start 604 starts display of a micro search image from the image specified on the MacroBrowser screen 621 in accordance with the specified search mode (Mode 603), and this is the micro search start 58 in FIG. The micro search image 605 is displayed on the right side in accordance with the specified search mode from the start point image specified in order from the left, whereby the micro search result display 59 of FIG. 5 is obtained. Time 606 indicates the time of the displayed image.

検索画面ページ戻し６０８および検索画面ページ送り６１０はそれぞれ検索画面をページ単位で戻したり、送る機能である。また、検索画面戻し６０７および検索画面送り６０９はそれぞれ、１画面単位で検索画面を戻したり、送る機能を示す。表示されているミクロ検索画像６０５の内１つをマウスなどのポインティングデバイスを用いて選択すると、選択を示す選択枠６１３が画面内に表示され、編集開始点あるいは編集終了点や、他のモードによるミクロ検索画像の開始点として用いられる。なお、Micro Browser 画面６２２上に選択枠６１３が表示されると、MacroBrowser画面６２１上の前記選択枠６１２は消滅する。 The search screen page return 608 and the search screen page forward 610 are functions for returning and sending the search screen in page units, respectively. Also, a search screen return 607 and a search screen advance 609 indicate a function of returning or sending the search screen in units of one screen, respectively. When one of the displayed micro search images 605 is selected using a pointing device such as a mouse, a selection frame 613 indicating the selection is displayed on the screen, and the edit start point or the edit end point or the other mode is selected. Used as a starting point for micro search images. When the selection frame 613 is displayed on the Micro Browser screen 622, the selection frame 612 on the MacroBrowser screen 621 disappears.

また、検索画像として表示された画像の１つを選択してさらにMode６０３を変更してStart ６０４を選択した場合、選択された画像を開始点として新しい検索条件でミクロ検索を行ない、検索結果を表示する。これにより、複数の検索条件で目的の画像を効率的に検索することが可能である。 When one of the images displayed as a search image is selected, Mode 603 is further changed, and Start 604 is selected, a micro search is performed with a new search condition using the selected image as a start point, and the search result is displayed. I do. Thereby, it is possible to efficiently search for a target image under a plurality of search conditions.

以上の処理により、図１の動画像検索処理１３が終わると、次の編集区間指定処理１４に移る。該編集区間指定処理１４では、図６の動画像検索画面５１ａにおいて編集区間の指定を行なう。前述の通り、図６において選択された画像には、選択枠６１２または６１３が表示されている。この選択枠が表示されたまま編集制御画面１１ａ（図２参照）のIN２０６を選択すると、該選択枠内の画像が編集開始点となる。次に、図６のMacroBrowser画面６２１またはMicro Browser 画面６２２上で、前記のようにして画像を選択して選択枠を表示させ、ここでOUT ２０７を選択すると、該選択枠内の画像が編集終了点となる。 With the above processing, when the moving image search processing 13 in FIG. 1 ends, the process proceeds to the next editing section designation processing 14. In the editing section specifying process 14, an editing section is specified on the moving image search screen 51a of FIG. As described above, the selection frame 612 or 613 is displayed on the image selected in FIG. If IN 206 on the editing control screen 11a (see FIG. 2) is selected while the selection frame is displayed, the image in the selection frame becomes the editing start point. Next, on the MacroBrowser screen 621 or the Micro Browser screen 622 in FIG. 6, an image is selected as described above to display a selection frame. When OUT 207 is selected here, the image in the selection frame is finished editing. Points.

その場合、開始点IN２０６が選択されるとIn Time ２０４に選択画像の時刻が表示され、編集開始画像２２に編集を開始する画像として先に選択された画像がコピーされる。また終了点OUT ２０７が選択された場合もそれぞれOut Time２０５と編集終了画像２３に時刻と画像が表示される。また、他の方法として、選択された画像をマウスなどのポインティングデバイスで選択したまま編集開始点画像あるいは編集終了画像まで移動させ、そこでマウスによる選択をリリースした瞬間にその位置に選択された画像をコピーする方法を用いることも可能である。同一素材の中に複数の編集部分がある場合は、図６のMacroBrowser画面６２１またはMicro Browser 画面６２２上で、前記のようにして画像を選択して再度選択枠を表示させ、編集位置を示す編集番号２４を次の番号に移し、再度IN、OUT の選択を行うことにより、他の編集区間の編集部分を指定することができる。そして、これらの複数区間の編集部分をまとめることが可能である。例えば、１０分間の動画像素材があった場合、時刻０１分：００秒から０２分：５９秒までの２分間の編集区間１を第１番目の編集番号２４に登録し、時刻０５分：００秒から０８分：５９秒までの４分間の編集区間２を第２番目の編集番号２４に登録し、これらをまとめて、６分間の動画像を作成することが可能である。 In this case, when the start point IN 206 is selected, the time of the selected image is displayed in the In Time 204, and the image selected earlier as the image to start editing is copied to the editing start image 22. Also, when the end point OUT 207 is selected, the time and the image are displayed in the Out Time 205 and the edit end image 23, respectively. As another method, the selected image is moved to the editing start point image or the editing end image while the selected image is selected with a pointing device such as a mouse, and the image selected at that position is released at the moment when the mouse selection is released. It is also possible to use a copying method. When there are a plurality of editing parts in the same material, the image is selected as described above on the MacroBrowser screen 621 or the Micro Browser screen 622 of FIG. 6 and the selection frame is displayed again, and the editing indicating the editing position is performed. By moving the number 24 to the next number and selecting IN and OUT again, the editing portion of another editing section can be designated. Then, it is possible to put together the edited parts of these plural sections. For example, if there is a moving image material of 10 minutes, the editing section 1 of 2 minutes from time 01 minutes: 00 seconds to time 02 minutes: 59 seconds is registered as the first editing number 24, and time 05 minutes: 00 It is possible to register a 4-minute edit section 2 from the second to 08:59 seconds in the second edit number 24, and collectively create a 6-minute moving image.

さらに、複数の動画像素材（ファイル）から編集部分を選択する場合は、編集制御画面１１ａのFILE２１１を指定して図３または図４のファイル選択画面１２ａを開き、該ファイル選択画面１２ａ上で編集に用いる動画像ファイルを指定し、対応する動画像検索画面５１ａを表示して、前記と同様の操作により、検索編集部分を指定することが可能である。 Further, when selecting an editing part from a plurality of moving image materials (files), the user selects the FILE 211 on the editing control screen 11a to open the file selection screen 12a in FIG. 3 or FIG. 4, and edits on the file selection screen 12a. It is possible to specify a moving image file to be used for the search, display the corresponding moving image search screen 51a, and specify a search / edit portion by the same operation as described above.

この場合、例えば、２つの動画像ファイルについて編集部分を指定する場合、図８のように、動画像ファイル１、動画像ファイル２それぞれについて動画像検索画面を開いて、編集部分を編集制御画面で指定することができる。 In this case, for example, when an editing part is specified for two moving image files, a moving image search screen is opened for each of the moving image file 1 and the moving image file 2 as shown in FIG. Can be specified.

図２の編集制御画面１１ａ上のControl 部２５は各編集部分の挿入削除を制御するもので、Control 部２５を選択するとDelete２１４、Insert２１５、Modyfy２１６、Clear ２１７の４つの制御モードが表示される。Delete２１４は該当の編集部分を削除する機能で、この場合、右に存在する編集部分を１つ左にずらして表示する。また、Insert２１５が選択された場合、右にある編集部分を１つ右にずらして右の編集部分を空白にする。これにより、新たに動画像検索画面で指定した編集部分を挿入することが可能となる。Modify２１６は同一ファイルの編集区間を変更するもので、現在指定している動画像ファイルの動画像検索画面が一番上に表示され、編集区間の指定を変更することができる。例えば、編集区間１が動画像ファイル１、編集区間２が動画像ファイル２から指定されている場合、編集区間２についてModify２１６を指定すると、動画像２に関する動画像検索画面（図６の画面５１ａ）が一番上に表示される。Clear ２１７は該当の編集部分を空白にする処理で、空白になった編集部分に新たに動画像検索画面で指定した編集部分を新しい編集部分とすることが可能となる。 The control section 25 on the edit control screen 11a in FIG. 2 controls the insertion and deletion of each edit portion. When the control section 25 is selected, four control modes of Delete 214, Insert 215, Modyfy 216, and Clear 217 are displayed. Delete 214 is a function for deleting the corresponding edit portion. In this case, the edit portion existing on the right is displayed shifted to the left by one. When the Insert 215 is selected, the editing part on the right is shifted one position to the right, and the editing part on the right is blank. As a result, it becomes possible to insert an edit portion newly specified on the moving image search screen. Modify 216 changes the editing section of the same file. A moving image search screen of the currently specified moving image file is displayed at the top, and the specification of the editing section can be changed. For example, when the editing section 1 is specified from the moving image file 1 and the editing section 2 is specified from the moving image file 2, when the Modify 216 is specified for the editing section 2, the moving image search screen for the moving image 2 (screen 51a in FIG. 6) Is displayed at the top. Clear 217 is a process of blanking the relevant edit portion, and it becomes possible to make the edit portion newly specified on the moving image search screen into a blank edit portion a new edit portion.

編集画面ページ戻し２６および編集画面ページ送り２７はそれぞれ編集部分をページ単位で戻したり、送る機能である。また、編集画面戻し２８および編集画面送り２９はそれぞれ、１画面単位で編集部分を戻したり、送る機能を示す。 The edit screen page return 26 and the edit screen page feed 27 are functions for returning and sending the edited portion in page units, respectively. An edit screen return 28 and an edit screen advance 29 indicate a function of returning or sending an edit portion in units of one screen, respectively.

Window View ２０３は現在編集のために開いているファイルの一覧を示す。Window View ２０３を選択すると図９に示すようなWindow View 画面が表示される。Name７１は編集のために開いているファイル名が表示される。Total Time７２は総再生時間が表示される。ファイル代表画面７３にはファイルの代表画面が表示される。これらは図３のファイル選択画面１２ａと同様の方法を用いて表示することが可能である。また、ファイル代表画面７３をマウス等のポインティングディバイスで指定すると、７６のような選択枠が表示され、選択された動画像ファイルに関する動画像検索画面（図６の画面５１ａ）が一番上に表示される。 Window View 203 shows a list of files currently open for editing. When Window View 203 is selected, a Window View screen as shown in FIG. 9 is displayed. Name 71 displays the name of the file opened for editing. Total Time 72 displays the total playback time. The file representative screen 73 displays a file representative screen. These can be displayed using the same method as the file selection screen 12a in FIG. When the file representative screen 73 is designated by a pointing device such as a mouse, a selection frame such as 76 is displayed, and a moving image search screen (screen 51a in FIG. 6) relating to the selected moving image file is displayed at the top. Is done.

図１の編集区間再生処理１７では編集区間指定処理１４指定された編集区間を再生して編集部分の確認に用いることが可能である。編集制御画面１１ａ（図２参照）においてPreview ２０１を選択すると編集開始画像２２から編集終了画像２３までを再生する。ただし、複数の編集区間が存在する場合は、編集番号２４に従って複数の編集部分を連続して再生する。なお、必要に応じて再生停止などの機能を付加することも可能である。 In the edit section reproducing process 17 of FIG. 1, the edit section specified by the edit section specifying process 14 can be reproduced and used for confirming the edited portion. When Preview 201 is selected on the edit control screen 11a (see FIG. 2), the edit start image 22 to the edit end image 23 are reproduced. However, when there are a plurality of edit sections, a plurality of edit portions are continuously reproduced according to the edit number 24. In addition, it is also possible to add a function such as stop of reproduction as needed.

例えば、MPEGファイルからの再生の場合は、ファイルのシーケンスヘッダーから初期化情報を読み出し、ファイルシークにより指定するファイルポインタまでスキップしてGOP ヘッダーを検出する。検出されたGOP ヘッダーに存在するタイムコードおよび前後にあるGOP ヘッダーに存在するタイムコードを検索して目的のタイムコードが存在するGOP をサーチする。目的となるタイムコードが存在するGOP について順に復号を開始して編集終了となるタイムコードまで再生を続ける。複数の編集区間が存在する場合もファイルのシーケンスヘッダーとファイルシークにより区間再生を行う。 For example, in the case of reproduction from an MPEG file, the initialization information is read from the sequence header of the file, and the GOP header is detected by skipping to the file pointer designated by the file seek. The time code existing in the detected GOP header and the time codes existing in the preceding and succeeding GOP headers are searched to search for the GOP in which the target time code exists. Decoding is sequentially started for the GOP in which the target time code exists, and the reproduction is continued until the time code at which the editing ends. Even when there are a plurality of editing sections, section playback is performed using the file sequence header and file seek.

図１の編集処理１８では確定した編集区間について編集処理を行う。編集制御画面１１ａにおいてRecord２０２を選択すると、図１０に示されているような、編集後に記録するファイル名入力画面を表示する。Save File Name９１は保存するファイル名を入力する場所である。File list ９２は既に保存してあるファイルのリストを表示する。リスト移動用カーソル９３は表示しているファイルリストの前後のリストを検索するためのカーソルである。OK９４は指定された編集区間について編集処理を行い、編集後のファイルを指定された保存ファイル名で保存する。また、Cancel９５は編集処理を中断して編集制御画面に戻る。 In the editing process 18 of FIG. 1, the editing process is performed on the determined editing section. When Record 202 is selected on the editing control screen 11a, a file name input screen to be recorded after editing is displayed as shown in FIG. Save File Name 91 is a place to input a file name to be saved. File list 92 displays a list of already saved files. The list moving cursor 93 is a cursor for searching a list before and after the displayed file list. The OK 94 performs an editing process on the specified edit section, and saves the edited file with the specified save file name. The Cancel 95 interrupts the editing process and returns to the editing control screen.

編集区間の編集処理については以下のような方法を用いることが可能である。まず、編集区間が１つの場合は元の動画像ファイルから該当の区間のみの動画像データを抽出して新しい動画像ファイルを作成する。MPEGで圧縮された画像データの場合、該当区間をＩピクチャ等フレーム内符号化画面を持つGOP 単位で切り出し、シーケンスヘッダー情報を先頭に、またシーケンスエンドコードを最後に付加して１つの編集ファイルを作成することが可能である。ただし、バッファ量の制御のためにVBV(Video Buffering Verifier) を再度調査して、必要に応じて符号化データ中のVBV の値を新しい値に変更する必要がある。この処理により圧縮データのまま編集処理を行うことが可能になり、圧縮した画像データを一旦画像データに復元して、編集処理後再度圧縮する処理が必要なくなる。また、符号化データをそのまま用いるため、画像が編集前に比較して劣化することはない。編集区間が複数存在する場合、元の動画像ファイルから該当する複数の区間を抽出し、これらの区間を接続して新しい動画像ファイルを作成する。ＭＰＥＧで圧縮された画像データの場合、基本的にはそれぞれの該当区間をGOP 単位で切り出して、各区間を接続する。その後、シーケンスヘッダー情報を先頭に、またシーケンスエンドコードを最後に付加して１つの編集ファイルを作成することが可能である。ただし、符号化レートが区間で異なる場合は１つの符号化レートに統一するようにレート変換を行って各区間を接続する必要がある。なお、レート変換については中島らによる「画像符号化データのレート変換方法および装置」（特願平7-77100 、平成７年３月９日）を用いることが可能である。また、バッファ量の制御についても単一の区間と同様な処理が必要である。 For the editing process of the editing section, the following method can be used. First, when there is one editing section, a new moving image file is created by extracting moving image data of only the relevant section from the original moving image file. In the case of image data compressed by MPEG, the corresponding section is cut out in GOP units having an intra-frame coded screen such as an I picture, and one edit file is added by adding sequence header information at the beginning and a sequence end code at the end. It is possible to create. However, it is necessary to check VBV (Video Buffering Verifier) again to control the buffer amount, and change the value of VBV in the encoded data to a new value as necessary. This processing makes it possible to perform the editing processing with the compressed data as it is, and it is not necessary to restore the compressed image data to the image data once, and to perform the compression processing again after the editing processing. Further, since the encoded data is used as it is, the image does not deteriorate as compared with before the editing. When there are a plurality of editing sections, a plurality of corresponding sections are extracted from the original moving image file, and these sections are connected to create a new moving image file. In the case of image data compressed by MPEG, basically, each corresponding section is cut out in GOP units, and each section is connected. Thereafter, it is possible to create one edited file by adding the sequence header information to the head and the sequence end code to the end. However, when the coding rates are different between sections, it is necessary to connect the sections by performing rate conversion so as to unify the coding rates into one. For rate conversion, it is possible to use "Method and Apparatus for Rate Conversion of Image Coded Data" by Nakajima et al. (Japanese Patent Application No. 7-77100, March 9, 1995). In addition, the same processing as in a single section is required for controlling the buffer amount.

変形例として、検索編集フローチャート図１において複数区間の判定１５、複数ファイルの判定１６、編集区間再生処理１７については必要に応じて複数回行ったり、順序を入れ替えて処理することが可能である。 As a modified example, in the search and edit flowchart FIG. 1, the determination 15 of a plurality of sections, the determination 16 of a plurality of files, and the editing section reproduction processing 17 can be performed a plurality of times as necessary, or the order can be changed.

次に、本発明の第２の実施形態について、図１１を参照して説明する。この実施形態は、インターネットなどのネットワークでデータベースと検索端末が離れた場合の検索編集処理に関するものである。図１１にネットワーク接続例を示す。WWW サーバ１０１には画像データ、検索画面、検索条件などのファイルが保存されている。ただし、WWW サーバソフトウェアについては市販のソフトウェアを用いることが可能である。WWW ブラウザ１０３はインターネット１０２でWWW サーバ１０１に接続されておりWWW の閲覧が可能なソフトウェアを搭載している。なお、このソフトウェアは市販のWWW ブラウザソフトウェアを用いることが可能である。 Next, a second embodiment of the present invention will be described with reference to FIG. This embodiment relates to a search and edit process when a search terminal is separated from a database in a network such as the Internet. FIG. 11 shows a network connection example. The WWW server 101 stores files such as image data, a search screen, and search conditions. However, commercially available WWW server software can be used. The WWW browser 103 is connected to the WWW server 101 via the Internet 102, and has software capable of browsing the WWW. This software can use commercially available WWW browser software.

WWW サーバ１０１にはHTML(Hyper Text Markup Language)で記述された画像検索編集処理手順が搭載されている。この手順は前記第１の実施形態で示した検索編集手順であり、WWW ブラウザ１０３からWWW サーバ１０１があるURL(UniformResource Locator)を指定すると、図２の編集制御画面１１ａがWWW ブラウザ１０３に表示される。WWW ブラウザ１０３ではFILE２１１を指定すると、指定した情報がWWW サーバ１０１側に転送され、CGI(Common Gateway Interface) を通じてOPEN２１２とQuit２１３がWWW ブラウザ１０３側に表示される。このようにして表示された画面に対して応答を返すことによって、結果がWWW ブラウザ１０３側に送られ、図１の検索編集処理フローチャート上での全ての検索、編集作業をネットワーク上で行うことが可能である。 The WWW server 101 is equipped with an image search / edit processing procedure described in HTML (Hyper Text Markup Language). This procedure is the search and editing procedure described in the first embodiment. When the WWW server 101 specifies a URL (Uniform Resource Locator) where the WWW server 101 is located, the editing control screen 11a of FIG. You. When the FILE 211 is specified in the WWW browser 103, the specified information is transferred to the WWW server 101, and the OPEN 212 and Quit 213 are displayed on the WWW browser 103 through a CGI (Common Gateway Interface). By returning a response to the screen displayed in this way, the result is sent to the WWW browser 103 side, and all the search and edit operations in the search and edit processing flowchart of FIG. 1 can be performed on the network. It is possible.

ただし、WWW ブラウザ１０３側では検索結果等に対して各処理の選択やパラメータの指定を行うのみで、実際の編集処理や検索処理はWWW サーバ１０１側で行う。また、編集したファイルはサーバ１０１側に蓄積されるため、ファイルをWWW ブラウザ１０３側に転送するためにはHTTP(Hyper Text Transfer Prtotocol) やFTP(File Tranfer Protocol)などを用いてファイルを転送する必要がある。 However, the WWW browser 103 only selects each process and specifies parameters for the search result and the like, and the actual editing process and search process are performed on the WWW server 101 side. Also, since the edited file is stored in the server 101, the file must be transferred using HTTP (Hyper Text Transfer Protocol) or FTP (File Transfer Protocol) in order to transfer the file to the WWW browser 103. There is.

また、編集区間再生処理１７においてPreview ２０１を用いて再生確認を行う場合、再生はWWW ブラウザ１０３側で行い、再生するファイルはWWW サーバ１０１に存在しているため、再生のためにファイルを一旦WWW ブラウザ１０３側にHTTP等により転送してWWW ブラウザ１０３側で動画像ファイルを再生する。また、動画像ファイルの全区間を送って、WWW ブラウザ１０３側で編集区間のみを再生するのではなく、編集処理を行って編集区間のみを転送することにより転送時間を短縮することが可能である。 When the playback is confirmed using the Preview 201 in the edit section playback process 17, the playback is performed on the WWW browser 103 side, and the file to be played back exists on the WWW server 101. The video file is transferred to the browser 103 by HTTP or the like, and the moving image file is reproduced on the WWW browser 103. Also, instead of sending the entire section of the moving image file and playing back only the edit section on the WWW browser 103 side, it is possible to reduce the transfer time by performing the edit processing and transferring only the edit section. .

次に、本発明の第３の実施形態について、図１２を参照して説明する。この実施形態では、前記第２の実施形態の再生確認において、圧縮された動画像ファイルを用いている場合に、元のファイルよりもさらに圧縮率を上げて小さなファイルサイズに変換して転送する。図１２はレート変換を持つネットワーク接続例で、WWW ブラウザ１０３とインターネット１０２は図１１と同様である。WWW サーバ１１０には動画像データ１１１とレート変換装置１１２が存在し、動画像データ１１１はレート変換装置１１２を通してWWW ブラウザ１０３に転送される。なお、レート変換方法については中島らによる「画像符号化データのレート変換方法および装置」（特願平7-77100 号、平成７年３月９日出願）を用いることが可能である。これによりデータサイズを大幅に縮小して、転送時間を短くすることが可能である。 Next, a third embodiment of the present invention will be described with reference to FIG. In this embodiment, when a compressed moving image file is used in the reproduction check of the second embodiment, the file is converted to a smaller file size with a higher compression ratio than the original file and transferred. FIG. 12 shows an example of a network connection having a rate conversion. The WWW browser 103 and the Internet 102 are the same as those in FIG. The WWW server 110 has moving image data 111 and a rate converter 112, and the moving image data 111 is transferred to the WWW browser 103 through the rate converter 112. As the rate conversion method, it is possible to use "Method and Apparatus for Rate Conversion of Image Coded Data" by Nakajima et al. (Japanese Patent Application No. 7-77100, filed on Mar. 9, 1995). This makes it possible to greatly reduce the data size and shorten the transfer time.

また、圧縮されていない動画像ファイルについては、圧縮して転送するほか、空間解像度や時間解像度を減少させてデータサイズを縮小しレート変換の代用とすることも可能である。空間解像度の削減については，例えば画像を縦方向にｎ：１、横方向にｍ：１（ｍ、ｎは正の整数）でサンプリングしてデータ量を１／ｍｎに削減することが可能である。また時間解像度についてはフレーム数をｋ：１（ｋは正の整数）でサンプリングすることにより、データ量を１／ｋに削減することが可能である。 For an uncompressed moving image file, in addition to being compressed and transferred, it is also possible to reduce the data size by reducing the spatial resolution and the temporal resolution to substitute for rate conversion. Regarding the reduction of the spatial resolution, for example, it is possible to reduce the data amount to 1 / mn by sampling the image at n: 1 in the vertical direction and m: 1 in the horizontal direction (m and n are positive integers). . As for the time resolution, the data amount can be reduced to 1 / k by sampling the number of frames at k: 1 (k is a positive integer).

本発明の編集装置の全体の処理の概要を示すフローチャートである。5 is a flowchart showing an outline of the entire processing of the editing apparatus of the present invention. 編集制御画面の一例を示す図である。It is a figure showing an example of an edit control screen. ファイル選択画面の一例を示す図である。It is a figure showing an example of a file selection screen. 他のファイル選択画面の一例を示す図である。It is a figure showing an example of another file selection screen. 図１の動画像検索処理の詳細を示すフローチャートである。3 is a flowchart illustrating details of a moving image search process in FIG. 1. 動画像検索画面の一例を示す図である。It is a figure showing an example of a moving picture search screen. 各ファイルの識別子の説明図である。FIG. 9 is an explanatory diagram of an identifier of each file. 複数のファイルの編集画面例を示す図である。It is a figure showing the example of an edit screen of a plurality of files. ウィンドウビュウ画面の一例を示す図である。It is a figure showing an example of a window view screen. ファイル名入力画面の一例を示す図である。It is a figure showing an example of a file name input screen. ネットワーク接続例を示す図である。It is a figure showing the example of network connection. レート変換を持つネットワーク接続例を示す図である。It is a figure showing the example of network connection with rate conversion. 本発明の編集装置のハード構成の概略を示すブロック図である。It is a block diagram showing an outline of a hardware configuration of an editing device of the present invention.

符号の説明Explanation of reference numerals

１…ＲＯＭ、２…ＲＡＭ、３…表示部、４…操作部、５…記憶部、６…ＣＰＵ、１１ａ…編集制御画面、１２ａ…ファイル選択画面（フイコン表示）、５１ａ…動画像検索画面。

DESCRIPTION OF SYMBOLS 1 ... ROM, 2 ... RAM, 3 ... display part, 4 ... operation part, 5 ... storage part, 6 ... CPU, 11a ... edit control screen, 12a ... file selection screen (icon display), 51a ... moving image search screen.

Claims

ランダムアクセスで動画像ファイルにアクセスできる記憶手段を備えた動画像検索編集装置において、
動画像データを指定した開始点から時間単位で検索し、検索した結果として各時間の画像を表示するマクロ検索手段と、
該マクロ検索で表示された画像の中から選択された画像を開始点として、該マクロ検索よりも細かい単位で画面を表示するミクロ検索手段とを備え、
前記ミクロ検索手段は、複数のフレームをグループ単位で画像検索を行い、その検索結果を表示する機能を有し、
検索結果から編集の開始点および終了点の画像を選択し、編集区間の再生確認を行う編集区間再生確認手段をさらに具備し、
前記選択された画像区間の編集処理を行うようにしたことを特徴とする動画像検索編集装置。 In a moving image search and editing apparatus provided with a storage unit capable of accessing a moving image file by random access,
Macro search means for searching for moving image data in units of time from a specified start point and displaying an image at each time as a search result;
Micro search means for displaying a screen in a finer unit than the macro search, using an image selected from the images displayed in the macro search as a starting point,
The micro search means has a function of performing an image search for a plurality of frames in group units and displaying the search result,
Further comprising an edit section playback confirmation means for selecting an image at the start and end points of the edit from the search result and confirming the playback of the edit section;
A moving image search and editing device, wherein editing processing of the selected image section is performed.

ランダムアクセスで動画像ファイルにアクセスできる記憶手段を備えた動画像検索編集装置において、
動画像データを指定した開始点から時間単位で検索し、検索した結果として各時間の画像を表示するマクロ検索手段と、
該マクロ検索で表示された画像の中から選択された画像を開始点として、該マクロ検索よりも細かい単位で画面を表示するミクロ検索手段とを備え、
前記ミクロ検索手段は、画像をシーン単位に分割するシーン単位の画像検索を行い、その検索結果を表示する機能を有し、
検索結果から編集の開始点および終了点の画像を選択し、編集区間の再生確認を行う編集区間再生確認手段をさらに具備し、
前記選択された画像区間の編集処理を行うようにしたことを特徴とすることを特徴とする動画像検索編集装置。 In a moving image search and editing apparatus provided with a storage unit capable of accessing a moving image file by random access,
Macro search means for searching for moving image data in units of time from a specified start point and displaying an image at each time as a search result;
Micro search means for displaying a screen in a smaller unit than the macro search, with an image selected from the images displayed in the macro search as a starting point,
The micro search means has a function of performing an image search in scene units to divide an image into scene units and displaying the search result,
Further comprising an edit section playback confirmation means for selecting an image at the start and end points of the edit from the search result and confirming the playback of the edit section;
A moving image search and editing apparatus characterized in that the selected image section is edited.

請求項１または２に記載の動画像検索編集装置において、
前記編集処理は、選択された画像区間が同一ファイルで複数の区間、または複数のファイルで複数の区間の場合これらの区間を１つのファイルに作成する編集を行うようにしたことを特徴とする動画像検索編集装置。 The moving image search and editing device according to claim 1 or 2,
In the editing process, when the selected image section is a plurality of sections in the same file, or a plurality of sections in a plurality of files, editing is performed to create these sections in one file. Image search and editing device.

請求項３記載の動画像検索編集装置において、
前記編集処理は、動画像データが圧縮されている場合に、フレーム内符号化された画像をもつ区間を符号化データのまま切り取ることにより、編集のために復号、再符号化処理を行わないようにしたことを特徴とする動画像検索編集装置。 The moving image search and editing apparatus according to claim 3,
In the editing processing, when moving image data is compressed, a section having an intra-coded image is cut out as encoded data so that decoding and re-encoding processing are not performed for editing. A moving image search and editing device, characterized in that:

請求項１〜４のいずれかの動画像検索編集装置において、
前記動画像データがWWW サーバに蓄積されており、WWW ブラウザーからネットワークを介してWWW サーバに接続して、動画像検索、編集処理をWWW サーバで行い、WWW ブラウザーでは検索結果の表示、検索、編集条件の指定を行うようにしたことを特徴とする動画像検索編集装置。 The moving image search and editing apparatus according to any one of claims 1 to 4,
The moving image data is stored in a WWW server, and the WWW browser connects to the WWW server via a network to perform moving image search and editing processing on the WWW server. The WWW browser displays, searches, and edits the search results. A moving image search and editing device, wherein conditions are specified.

請求項５記載の動画像検索編集装置において、
編集区間の再生確認を行う際に、符号化データの場合は符号化レート変換を行い、非圧縮データの場合は空間や時間の解像度を削減または符号化することによりデータ量を削減してWWW ブラウザー側に転送して再生確認を行うようにしたことを特徴とする動画像検索編集装置。
The moving image search and editing device according to claim 5,
When confirming the playback of the edit section, the encoding rate is converted for coded data, and the data amount is reduced by reducing or encoding the spatial or temporal resolution for uncompressed data to reduce the amount of data. A moving image search / edit device, wherein the moving image search / edit device is configured to transfer the data to a reproduction side for confirmation of reproduction.