JP4225512B2 - Video search and editing device - Google Patents
Video search and editing device Download PDFInfo
- Publication number
- JP4225512B2 JP4225512B2 JP2006111962A JP2006111962A JP4225512B2 JP 4225512 B2 JP4225512 B2 JP 4225512B2 JP 2006111962 A JP2006111962 A JP 2006111962A JP 2006111962 A JP2006111962 A JP 2006111962A JP 4225512 B2 JP4225512 B2 JP 4225512B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- file
- search
- editing
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
この発明は動画像検索編集装置に関し、特に早送り再生等を用いなくても画像を検索して編集を行うことができ、また編集開始点や終了点を簡易に指定することのできる動画像検索編集装置に関する。また、本発明は、ネットワーク上で、画像の検索、編集を行い、編集部分のみを伝送することのできる動画像検索編集装置に関する。 The present invention relates to a moving image search / editing apparatus, and in particular, it is possible to search and edit an image without using fast-forward playback and the like, and a moving image search / editing that can easily specify an editing start point and end point. Relates to the device. The present invention also relates to a moving image search / editing apparatus capable of searching and editing images on a network and transmitting only the edited portion.
従来の動画像の編集においては、VTRテープを用いた編集装置や、ハードディスクなどに記録されたデジタルデータを、そのままの状態で編集する装置等が利用されている。VTRテープを用いた編集装置の場合、早送り再生などの機能を用いて編集する区間を決定し、編集作業を行っている。ただし、編集区間の指定毎にテープを操作して巻戻したり、早送りする必要があり、編集に多くの作業時間を要している。 In the conventional editing of moving images, an editing device using a VTR tape, a device for editing digital data recorded on a hard disk or the like as it is, and the like are used. In the case of an editing apparatus using a VTR tape, a section to be edited is determined using a function such as fast-forward playback, and editing work is performed. However, it is necessary to operate the tape to rewind or fast-forward each time an edit section is designated, and editing requires a lot of work time.
一方、デジタル動画像データがハードディスクに蓄積されている場合はハードディスクのランダムアクセス性を利用することにより指定された時刻の画像を高速に表示することができ編集時間を短縮することが可能となっている。 On the other hand, when digital moving image data is stored on the hard disk, it is possible to display an image at a specified time at high speed by using the random accessibility of the hard disk, and to shorten the editing time. Yes.
しかしながら、いずれの装置においても動画像の内容を検索するためには主に早送り再生を用いる必要があり、長時間の素材を編集するためには多大な時間を要している。また、遠隔地で取材した素材を編集する場合には、記録したVTRテープを郵送したり、映像用の回線を用いて再生しながら映像を伝送している。また、デジタル動画像データの場合はファイル転送手段(FTP: File Transfer Protocol )を用いてデータを転送している。したがって、いずれの場合も、素材を一旦すべて伝送して編集を行っているため伝送コストの増大を招いている。 However, in any apparatus, it is necessary to mainly use fast-forward playback to search for the contents of a moving image, and much time is required to edit a long-time material. In addition, when editing a material collected at a remote place, the recorded VTR tape is mailed or transmitted while being reproduced using a video line. In the case of digital moving image data, data is transferred using a file transfer means (FTP). Therefore, in any case, since all the materials are once transmitted and edited, the transmission cost is increased.
また、画像がMPEG方式などで符号化されている場合、一旦復号して画像に戻してVTRに記録したり、ハードディスクに記録した後に編集処理を行い、その後再度画像を符号化しているため、編集の前後の作業工程が長時間に渡ったり、編集毎に画質が劣化する可能性がある。 In addition, when the image is encoded by the MPEG system, etc., the image is once decoded and returned to the image and recorded on the VTR, or after being recorded on the hard disk, the editing process is performed, and then the image is encoded again. There is a possibility that the work process before and after the process may take a long time or the image quality deteriorates every time editing is performed.
以上のように、従来方式では、編集区間を検索するために早送り再生等を行っているので、編集作業が長時間化するという問題があった。また、遠隔地の映像を編集するためには、一旦すべての映像を伝送するようにしているため、伝送コストが増大化するという問題があった。さらに、映像がMPEG等で圧縮されている場合、編集のたびに復号、圧縮の処理を行う必要があるため、編集作業時間および編集コストが増大するという問題、および、画質劣化が発生するという問題があった。 As described above, in the conventional method, since fast-forward playback or the like is performed in order to search for an editing section, there is a problem that editing work takes a long time. In addition, in order to edit a video in a remote place, all the video is once transmitted, so that there is a problem that the transmission cost increases. Furthermore, when the video is compressed by MPEG or the like, it is necessary to perform decoding and compression processing every editing, so that the editing work time and editing cost increase, and the image quality deterioration occurs. was there.
本発明の目的は、前記した従来技術の問題点を除去し、動画像の内容を簡単に閲覧、検索することによって、編集時間の短縮化を図ることのできる動画像検索編集装置を提供することにある。また、本発明の他の目的は、符号化データ上で画像編集を行うことにより、編集コストの低減および画質劣化の阻止を図ることのできる動画像検索編集装置を提供することにある。 An object of the present invention is to provide a moving image search / editing apparatus capable of shortening the editing time by removing the above-mentioned problems of the prior art and easily browsing and searching the contents of moving images. It is in. Another object of the present invention is to provide a moving image search / editing apparatus capable of reducing editing cost and preventing image quality deterioration by performing image editing on encoded data.
前記した目的を達成するために、この発明は、ランダムアクセスで動画像ファイルにアクセスできる記憶手段を備えた動画像検索編集装置において、時間間隔を指定する時間ステップ指定手段と、前記記憶手段に記憶されている指定された画像を起点として、前記時間間隔指定手段で指定された時間ステップで画像を読み出し表示する表示手段と、該表示手段に表示された画像の1つを選択する選択手段と、画像検索モードを指定する画像検索モード指定手段と、前記選択手段で選択された画像を起点として、前記画像検索モード指定手段で指定されたシーン毎の画像検索をする画像検索手段とを具備し、前記画像検索手段は、前記動画像ファイルからシーンの変化点を検出する手段と、該変化点の時刻のみをファイルに保存する手段とを有し、該ファイルの時刻情報を用いて前記動画像ファイルから変化点の画像を読み出して表示するようにした点に第1の特徴がある。 In order to achieve the above-mentioned object, the present invention provides a moving image search / editing apparatus having a storage means capable of accessing a moving image file by random access, a time step specifying means for specifying a time interval, and storing in the storage means. Starting from the designated image, a display means for reading and displaying the image at the time step designated by the time interval designation means, a selection means for selecting one of the images displayed on the display means, Image search mode specifying means for specifying an image search mode; and image search means for searching for an image for each scene specified by the image search mode specifying means, starting from the image selected by the selection means , The image search means includes means for detecting a scene change point from the moving image file, and means for storing only the time of the change point in the file. , There is first characterized in that as reading and displaying image change point from the moving image file by using the time information of the file.
また、本発明は、前記画像検索手段は、前記動画像ファイルからGOP点の画像を検出する手段と、該検出点の画像をファイルに保存する手段とを有し、該ファイルから前記GOP点の画像を読み出して表示するようにした点に第2の特徴がある。 Further, the present invention is the image retrieval means includes means for detecting an image of the GOP point from the moving image file, and have a means for storing the image of the detection points in the file, from the file of the GOP point there is a second feature in that so as to display the read image.
前記した第1,第2の特徴によれば、動画像ファイルのシーンの変化点またはGOP点の少なくとも一つの画像を読み出して表示することができ、検索および編集の操作性を向上することができる。 The first mentioned above, according to the second aspect, can be displayed by reading at least one image of the scene change point or GOP point of the moving image file, it is possible to improve the operability of the search and editing it can.
本発明は、画像データをマクロおよびミクロの単位で検索して検索画像を表示することにより、検索画像を容易に見つけることが可能になった。また、マクロ検索では検索する時間単位を変更することにより、動画像データの長さなどに応じて検索間隔を調整することが可能になる。さらに、ミクロ検索ではシーン単位、GOP 単位、フレーム単位の検索モードによってさまざまな検索要求に応じて画像の検索を行うことが可能となった。従来は動画像を再生したり早送りしたりして画像の検索を行っていたため、検索作業量あるいは検索作業時間が多大であったが、本発明によれば、これを大幅に削減することが可能となる。 According to the present invention, a search image can be easily found by searching image data in units of macro and micro and displaying the search image. In the macro search, the search interval can be adjusted according to the length of the moving image data by changing the time unit for the search. Furthermore, in micro search, it is now possible to search for images in response to various search requests using scene, GOP, and frame search modes. Conventionally, searching for images by replaying or fast-forwarding moving images has required a large amount of search work or search work time. According to the present invention, this can be greatly reduced. It becomes.
また、本発明では検索された画像から編集点を簡単に設定することができ、圧縮画像データでも一旦画像に戻すことなく編集処理を行う事が可能なため、編集処理時間およびコストを大幅に削減することが可能になる。 Further, in the present invention, editing points can be easily set from the searched image, and it is possible to perform the editing process without returning to the image even for the compressed image data, thereby greatly reducing the editing processing time and cost. It becomes possible to do.
さらに、本発明によれば、編集区間の確認には符号化レートを削減する処理を導入したので、確認に必要な作業時間とコストを大幅に削減することが可能になる。 Furthermore, according to the present invention, since the process of reducing the coding rate is introduced for checking the editing section, it is possible to greatly reduce the work time and cost required for checking.
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の一実施形態の編集装置の概略のハード構成を、図13を参照して説明する。図において、ROM1は本発明の編集処理プログラムを具備し、RAM2は該編集処理の作業領域となったり、編集処理中に入力されたパラメータ等を一時的に記憶したりする等の働きをする。表示部3は編集処理に必要な画面を表示し、操作パネル上の各種のキーやポインティングデバイスと協働してマン・マシンインタフェースを構成している。記憶部5はハードディスク等から構成されており、複数個のファイルの映像素材をランダムアクセスできる形で格納している。CPU6は前記ROM1に記憶されている編集処理プログラムを、操作部4からの入力に従って実行し、操作部4から指示された素材のファイルを前記記憶部5から読出しあるいは該記憶部5に記憶し、さらに前記RAM2にて必要な編集処理を実行し、各編集処理に応じた画面情報を前記表示部3に供給する働きをする。ネットワークインタフェース7は、インターネット等の回線に接続される。
Hereinafter, the present invention will be described in detail with reference to the drawings. First, a schematic hardware configuration of an editing apparatus according to an embodiment of the present invention will be described with reference to FIG. In the figure, a
次に、前記した構成を有する本発明の一実施形態の編集装置の動作の概要を、図1のフローチャートを参照して説明する。 Next, an outline of the operation of the editing apparatus according to an embodiment of the present invention having the above-described configuration will be described with reference to the flowchart of FIG.
まず、操作部4から編集処理が選択され、該処理が開始されると、表示部3上に編集制御画面の表示11が行なわれる。次に、検索・編集ファイル処理12が実行される。この検索・編集ファイル処理12では検索編集するファイルの選択が行われる。次の動画像検索処理13では、選択されたファイルについて、マクロ、ミクロ単位の画像検索を行って検索編集する画像の表示を行う。続いて、編集区間の指定処理14が実行される。この編集区間指定処理14では、動画像検索処理で表示された画像の中から編集する区間の開始点と終了点を指定する。複数の区間を編集する場合は、編集区間編集15の判断が肯定となり、再度編集区間を編集区間指定処理14で指定する。また、他のファイルを編集する場合は、複数ファイル編集16の判断が肯定となり、検索・編集ファイル処理12で他のファイルを選択し、画像の検索および編集区間の指定を行う。全ての編集区間が確定した後で、編集区間再生処理17にて編集区間を再生して編集部分の確認を行う。編集部分が確定した場合、編集処理18にて該当部分の画像を編集して新たなファイルとして記録する。
First, when an editing process is selected from the
次に、図1のフローチャートの各部分の処理を、詳細に説明する。編集制御画面表示11では、前記表示部3上に、図2のような編集制御画面11aが表示される。図2でFILE211を選択すると,Open212とQuit213の2つのファイル制御モードが表示される。ここで、Open212を選択すると、検索・編集ファイル処理12に移行する。Quit213を選択すると編集制御画面表示を終了する。
Next, processing of each part of the flowchart of FIG. 1 will be described in detail. In the edit
検索・編集ファイル処理12では、図3のようなファイル選択画面12aを、前記編集制御画面11aを開いたまま、その画面の上に表示する。図3のファイル選択画面12aは、動画像ファイルが格納されているディレクトリーにある画像ファイルを一覧表示するものである。図では、第1番目のファイル38について具体的に記されているが、前記記憶部5に複数個のファイルが格納されていれば、これらのファイル名が、第2番目〜第10番目のファイル38に表示される。これらのファイルの表示は同一であるので、以下では第1番目のファイルを代表にして、説明する。
In the search /
Name36に各ファイル名が表示される。またファイル代表画面31には動画像ファイルの代表画面が表示される。代表画面の一例として動画像ファイルの先頭画像を用いることが可能である。また、動画像ファイルがISO で標準化されたMPEG方式などにより圧縮されている場合は、該当する代表画面のみを動画像ファイルから復号して表示することが可能である。また、他の方法として代表画面をあらかじめ用意しておき、代表画面を該当の動画像ファイルにリンクして表示することも可能である。この場合、図7のように動画像ファイルと代表画面はファイル記述子で判別する方法を用いることができる。また、代表画面はJPEGやGIF などの静止画像の圧縮方法を用いて記録することも可能である。
Each file name is displayed in
Total Time32には、各動画像ファイルの総再生時間が表示される。圧縮された動画像ファイルの場合、ファイルサイズ/符号化ビットレートで再生時間を得ることができる。なお、MPEG方式で圧縮された場合、符号化ビットレートは符号化データから復号することが可能である。また、前もって再生時間情報を別のファイルに記録しておくことも可能である。この場合、図7のようにファイル記述子をXXX.lnk として、元の動画像ファイルにリンクするファイルとして記録することが可能である。Information 33には、動画像ファイルに関する情報が表示される。この情報には撮影した場所や時間などを記録することができ、テキストファイルで記録されている。なお、この情報についてはXXX.lnk として元の動画像ファイルにリンクするファイルとして記録することが可能である。なお、このリンクファイルは1行目をTotal Time32の再生時間情報に使用し、2行目以降をInformation 33に使用して共用することも可能である。Byte302は動画像ファイルの容量を示すものである。
In
ファイル一覧ページ戻り34、ページ送り35はそれぞれ検索編集ファイルの一覧表示をページ単位で戻ったり、送る機能を有している。例えば、モニターに表示できる編集部分画像が10個で、n 番目の編集部分画像からn+9 番目まで表示されている場合、ページ戻り26によりn-10番目からn-1 番目までの編集部分画像が表示される。
Each of the file
OK36が指示されると、選択された画像について動画像検索処理13に移行する。なお、画像の選択はファイル代表画面31をマウス等のポインティングデバイスを用いて画像を指定することによって行うことが可能である。また、画像が選択された際、選択枠39のように代表画像31の周辺を枠で囲むことにより、画像が選択されたことを表示することが可能である。また、Cancel37は検索編集ファイル処理を中止して前記編集制御画面11aに戻る時に使用される。ファイル番号38は各動画像ファイルの番号を示すものである。
When OK 36 is instructed, the process proceeds to moving image search processing 13 for the selected image. Note that an image can be selected by designating an image on the
図4は別の方法により検索編集ファイル処理を行う方法を示すもので、動画像の代表画面を表示せずに、リスト形式で各動画像ファイルの表示を行う。画像選択マーク400は選択する画像を表示するもので、マウス等のポインティングデバイスで選択された場合に、該画像選択マーク400を白丸○から黒丸●に変更して選択されたことを示すことが可能である。ファイル番号401は各動画像ファイルの番号を示すものである。Name40、Total Time42、Byte402、Information 43は図3と同様である。また、ページ戻り44、ページ送り45も図3のページ戻り34、ページ送り35と同様である。さらにOK46、Cancel47も図3と同様である。
FIG. 4 shows a method of performing the search / edit file processing by another method. Each moving image file is displayed in a list format without displaying a moving image representative screen. The
ここで、前記動画像検索処理13の詳細を、図5のフローチャートを参照して説明する。動画像検索処理13では、まず図6に示すような動画像検索画面51aが表示される。次に、検索位置指定52において検索を開始する位置が指定される。次に、マクロ検索間隔指定53においてマクロ検索を行なう時間間隔が指定される。次に、マクロ検索開始54によりマクロ検索が開始され、マクロ検索結果表示55で検索結果が表示される。ミクロ検索開始位置指定56ではマクロ検索結果画面の中からミクロ検索を開始する位置が指定される。さらに、ミクロ検索モード指定57において、ミクロ検索モードの指定が行なわれる。次に、ミクロ検索開始58によりミクロ検索が開始され、ミクロ検索結果表示59においてミクロ検索結果画面が表示される。以下に、この処理手順を、具体的に説明する。
Here, the details of the moving image search processing 13 will be described with reference to the flowchart of FIG. In the moving image search process 13, a moving image search screen 51a as shown in FIG. 6 is first displayed. Next, a search start position is specified in the
前記図3または図4において、OK36または46が指示されると、ファイル選択画面(図3または図4)を消去して、図6のような、File Browser画面620、Macro Browser 画面621およびMicro Browser 画面622からなる動画像検索画面51aが表示される。ここで、File Browser画像61には、図3または図4で選択されたファイルの代表画面がまず表示され、一番上のファイル名60には検索編集するファイル名が表示される。
3 or 4, when OK 36 or 46 is instructed, the file selection screen (FIG. 3 or 4) is deleted, and the File Browser screen 620, the
File Browser画面620では図5の検索開始位置指定52が行なわれる。動画像ファイルカーソル63は動画像の検索開始位置を指定するカーソルである。このカーソル63を動かすことによって検索開始位置が変化する。また、カーソルの位置に応じて、その位置での画像がFile Browser画像61に表示される。また、カーソル63と連動して、カーソルの上部にTime614が表示される。ただし、初期状態では、File Browser画像61には先頭の画像が表示され、Time62にその画像の時刻が表示される。また、カーソルは左端に設定される。
On the File Browser screen 620, the search
Total Time611は動画像ファイルの総再生時間を示す。この再生時間の求め方は、図3のTotal Time32の場合と同様である。また、Time62は指定された画像の時刻を表示する。ただし、この時刻はTime614と同一である。この時刻の表示方法としては以下の方法を用いることが可能である。まず、カーソルの全体の長さに対する指定カーソルの位置をK%とする。総再生時間Total Timeを秒単位に変更してTT秒とする。TP = TT x K / 100 の式からTP秒を求め、該TP秒を時分秒に変更したものを指定画像時刻として表示する。
Total Time 611 indicates the total playback time of the moving image file. The method for obtaining the reproduction time is the same as in the case of
また、表示する画像は、以下のような方法を用いて決定することができる。ファイル容量をTCとして、FP = TC x K / 100 で得られるファイル位置FPに存在する画像を表示する。MPEGなどで圧縮された画像データの場合は、ファイル位置FP近傍にあるグループ(GOP )ヘッダーから時刻情報を取得する。この時刻情報を元に、前後にあるGOP ヘッダーから指定された時刻の画像が存在するGOP を探索する。探索後、該当のGOP を最初から復号し、該当の時刻の画像を表示する。 The image to be displayed can be determined using the following method. The image existing at the file position FP obtained by FP = TC × K / 100 is displayed with the file capacity as TC. In the case of image data compressed by MPEG or the like, time information is acquired from a group (GOP) header near the file position FP. Based on this time information, a GOP in which an image at a specified time is found from the preceding and succeeding GOP headers is searched. After searching, the corresponding GOP is decoded from the beginning, and the image at the corresponding time is displayed.
Macro Browser 画面621はFile Browser画面620で指定された画像について、マクロな単位で画像の検索を行なうためのものである。Macro Browser 画面621は、File Browser画面620で指定された画像61から、指定された時間ステップTSで画像の表示を行なう。TS64は時間ステップであり、ユーザは例えば5秒、30秒のように任意のステップを指定することが可能である。これにより図5のマクロ検索間隔指定53が行なわれる。
The
Start 65は指定されたステップで画像表示を開始するためのもので、これにより図5のマクロ検索開始54が行なわれ、Start 65を選択するとマクロ検索画像66と検索時刻67が表示され、図5のマクロ検索結果表示55となる。表示する画像は検索開始位置TPの画像を左端のマクロ検索画像66に表示し、以下TP+TS, TP+2TS,... の順でマクロ検索画像66を順次右に表示する。表示する画像は、指定された時刻TQと総ファイル量TCから決定することが可能である。指定する画像のファイル位置をFPS とすると、FPS = TC x TQ / TTとして求めることが可能である。マクロ検索画像66はFile Brwoser画像61の時と同様な方法で、指定時刻の画像を表示することができる。
Start 65 is for starting image display at a designated step, whereby the
検索画面ページ戻し69および検索画面ページ送り602はそれぞれ検索画面をページ単位で戻したり、送る機能である。また、検索画面戻し68および検索画面送り601はそれぞれ、1画面単位で検索画面を戻したり、送る機能を示す。表示されているマクロ検索画像66の内1つをマウスなどのポインティングデバイスを用いて選択すると、選択を示す選択枠612が画面内に表示され、図5のミクロ検索開始位置指定56としてミクロ検索画像の開始点となる他、編集点として用いられる。また、画像が選択された状態でTS64を変更してStart 65を選択した場合、選択された画像を開始点として、指定されたステップ幅で画像の表示を行うことも可能である。
Search
Micro Browser 画面622はマクロ画像検索621で指定された画像についてさらに細かな単位で画像検索を行なうものである。Mode603はミクロ画像検索を行なうモードを指定するもので、これによりミクロ検索モード指定57が行なわれる。モードの種類としては、1フレーム、グループ(GOP )、シーンなどを指定することが可能である。ここで、1フレームとは画像の物理的な最小単位を示す。また、GOP は画像をグループ化することを示す。例えば、MPEG方式で圧縮された画像ではGOP は15フレーム程度の画像グループで構成されている。また、任意の画像数をGOP とすることも可能である。シーンは画像をシーンが変化する所までを一区切りとしてまとめたものである。
The Micro Browser screen 622 is used to search for an image specified in the
複数フレーム単位で検索画像を表示する場合、フレーム数をカウントしながら所定のフレーム数になった時点で表示を行なう方法を用いることができる。また、MPEG方式で圧縮された場合、GOP の開始点を示すGOP_Start_Codeを検出してGOP の開始点を見つけ、さらにその先頭画像(I-ピクチャ)を復号して表示する方法を用いることが可能である。シーン単位の画像については、シーンの変化点を検出して変化後の画像を表示する。シーンの変化点の検出方法については、例えば氏原等による「動画像のカット点画像検出装置」(特願平7-263681号、平成7年9月19日出願)を用いてMPEG画像データからシーンの変化点を検出することが可能である。また、シーンの変化点を前もって検出しておき、変化点の時刻のみを記述子CUT を持つファイル(XXX.CUT )に保存して、変化点の時刻により変化点の画像を元の画像ファイルから呼び出して表示することが可能である。なお、指定された時刻の画像の表示は、File Brwoser画像61の時と同様な方法を用いることが可能である。
When displaying a search image in units of a plurality of frames, a method of displaying when a predetermined number of frames are reached while counting the number of frames can be used. In addition, when compressed in the MPEG format, it is possible to use a method of detecting GOP_Start_Code indicating the start point of the GOP, finding the start point of the GOP, and decoding and displaying the leading image (I-picture). is there. As for the scene unit image, the scene change point is detected and the image after the change is displayed. As for the method of detecting the scene change point, for example, a “moving image cut point image detection device” (Japanese Patent Application No. 7-263681, filed on Sep. 19, 1995) by Ushihara et al. Can be detected. In addition, the scene change point is detected in advance, and only the time of the change point is stored in a file (XXX.CUT) with the descriptor CUT, and the image of the change point is extracted from the original image file according to the time of the change point. It is possible to call and display. Note that the display of the image at the designated time can use the same method as that for the
また他の方法として、GOP やシーンの画像自体を画像ファイルとして保存し、その画像ファイルを用いてGOP やシーンの画像に用いることも可能である。この場合、それぞれ、記述子GOP やSCN を持つファイル(XXX.GOP, XXX.SCN)として元の動画像ファイルとのリンクおよびそれぞれのファイルの属性を示すことが可能である。これらのファイルについては静止画像の圧縮方式であるJPEGやGIF などを用いることが可能である。 As another method, it is also possible to store the GOP or scene image itself as an image file and use the image file for the GOP or scene image. In this case, it is possible to indicate the link with the original moving image file and the attributes of each file as files (XXX.GOP, XXX.SCN) having descriptors GOP and SCN, respectively. For these files, JPEG or GIF, which are still image compression methods, can be used.
Start 604は指定された検索モード(Mode603)に従い、MacroBrowser画面621で指定された画像からのミクロ検索画像の表示を開始するもので、これにより図5のミクロ検索開始58となる。ミクロ検索画像605は左から順に指定された開始点画像から指定された検索モードに従って右側に表示し、これにより図5のミクロ検索結果表示59となる。なお、Time606は表示された画像の時刻を示すものである。
Start 604 starts display of the micro search image from the image specified on the
検索画面ページ戻し608および検索画面ページ送り610はそれぞれ検索画面をページ単位で戻したり、送る機能である。また、検索画面戻し607および検索画面送り609はそれぞれ、1画面単位で検索画面を戻したり、送る機能を示す。表示されているミクロ検索画像605の内1つをマウスなどのポインティングデバイスを用いて選択すると、選択を示す選択枠613が画面内に表示され、編集開始点あるいは編集終了点や、他のモードによるミクロ検索画像の開始点として用いられる。なお、Micro Browser 画面622上に選択枠613が表示されると、MacroBrowser画面621上の前記選択枠612は消滅する。
Search
また、検索画像として表示された画像の1つを選択してさらにMode603を変更してStart 604を選択した場合、選択された画像を開始点として新しい検索条件でミクロ検索を行ない、検索結果を表示する。これにより、複数の検索条件で目的の画像を効率的に検索することが可能である。
If one of the images displayed as a search image is selected and
以上の処理により、図1の動画像検索処理13が終わると、次の編集区間指定処理14に移る。該編集区間指定処理14では、図6の動画像検索画面51aにおいて編集区間の指定を行なう。前述の通り、図6において選択された画像には、選択枠612または613が表示されている。この選択枠が表示されたまま編集制御画面11a(図2参照)のIN206を選択すると、該選択枠内の画像が編集開始点となる。次に、図6のMacroBrowser画面621またはMicro Browser 画面622上で、前記のようにして画像を選択して選択枠を表示させ、ここでOUT 207を選択すると、該選択枠内の画像が編集終了点となる。
When the moving image search process 13 in FIG. 1 is completed by the above process, the process proceeds to the next edit
その場合、開始点IN206が選択されるとIn Time 204に選択画像の時刻が表示され、編集開始画像22に編集を開始する画像として先に選択された画像がコピーされる。また終了点OUT 207が選択された場合もそれぞれOut Time205と編集終了画像23に時刻と画像が表示される。また、他の方法として、選択された画像をマウスなどのポインティングデバイスで選択したまま編集開始点画像あるいは編集終了画像まで移動させ、そこでマウスによる選択をリリースした瞬間にその位置に選択された画像をコピーする方法を用いることも可能である。 同一素材の中に複数の編集部分がある場合は、図6のMacroBrowser画面621またはMicro Browser 画面622上で、前記のようにして画像を選択して再度選択枠を表示させ、編集位置を示す編集番号24を次の番号に移し、再度IN、OUT の選択を行うことにより、他の編集区間の編集部分を指定することができる。そして、これらの複数区間の編集部分をまとめることが可能である。例えば、10分間の動画像素材があった場合、時刻01分:00秒から02分:59秒までの2分間の編集区間1を第1番目の編集番号24に登録し、時刻05分:00秒から08分:59秒までの4分間の編集区間2を第2番目の編集番号24に登録し、これらをまとめて、6分間の動画像を作成することが可能である。
In this case, when the start point IN206 is selected, the time of the selected image is displayed in
さらに、複数の動画像素材(ファイル)から編集部分を選択する場合は、編集制御画面11aのFILE211を指定して図3または図4のファイル選択画面12aを開き、該ファイル選択画面12a上で編集に用いる動画像ファイルを指定し、対応する動画像検索画面51aを表示して、前記と同様の操作により、検索編集部分を指定することが可能である。 Furthermore, when selecting an edit portion from a plurality of moving image materials (files), the FILE 211 on the edit control screen 11a is designated to open the file selection screen 12a of FIG. 3 or FIG. It is possible to designate a moving image file to be used for the search, display a corresponding moving image search screen 51a, and designate a search edit portion by the same operation as described above.
この場合、例えば、2つの動画像ファイルについて編集部分を指定する場合、図8のように、動画像ファイル1、動画像ファイル2それぞれについて動画像検索画面を開いて、編集部分を編集制御画面で指定することができる。
In this case, for example, when editing portions are specified for two moving image files, a moving image search screen is opened for each of moving
図2の編集制御画面11a上のControl 部25は各編集部分の挿入削除を制御するもので、Control 部25を選択するとDelete214、Insert215、Modyfy216、Clear 217の4つの制御モードが表示される。Delete214は該当の編集部分を削除する機能で、この場合、右に存在する編集部分を1つ左にずらして表示する。また、Insert215が選択された場合、右にある編集部分を1つ右にずらして右の編集部分を空白にする。これにより、新たに動画像検索画面で指定した編集部分を挿入することが可能となる。Modify216は同一ファイルの編集区間を変更するもので、現在指定している動画像ファイルの動画像検索画面が一番上に表示され、編集区間の指定を変更することができる。例えば、編集区間1が動画像ファイル1、編集区間2が動画像ファイル2から指定されている場合、編集区間2についてModify216を指定すると、動画像2に関する動画像検索画面(図6の画面51a)が一番上に表示される。Clear 217は該当の編集部分を空白にする処理で、空白になった編集部分に新たに動画像検索画面で指定した編集部分を新しい編集部分とすることが可能となる。
The
編集画面ページ戻し26および編集画面ページ送り27はそれぞれ編集部分をページ単位で戻したり、送る機能である。また、編集画面戻し28および編集画面送り29はそれぞれ、1画面単位で編集部分を戻したり、送る機能を示す。
The edit
Window View 203は現在編集のために開いているファイルの一覧を示す。Window View 203を選択すると図9に示すようなWindow View 画面が表示される。Name71は編集のために開いているファイル名が表示される。Total Time72は総再生時間が表示される。ファイル代表画面73にはファイルの代表画面が表示される。これらは図3のファイル選択画面12aと同様の方法を用いて表示することが可能である。また、ファイル代表画面73をマウス等のポインティングディバイスで指定すると、76のような選択枠が表示され、選択された動画像ファイルに関する動画像検索画面(図6の画面51a)が一番上に表示される。
図1の編集区間再生処理17では編集区間指定処理14指定された編集区間を再生して編集部分の確認に用いることが可能である。編集制御画面11a(図2参照)においてPreview 201を選択すると編集開始画像22から編集終了画像23までを再生する。ただし、複数の編集区間が存在する場合は、編集番号24に従って複数の編集部分を連続して再生する。なお、必要に応じて再生停止などの機能を付加することも可能である。
In the edit
例えば、MPEGファイルからの再生の場合は、ファイルのシーケンスヘッダーから初期化情報を読み出し、ファイルシークにより指定するファイルポインタまでスキップしてGOP ヘッダーを検出する。検出されたGOP ヘッダーに存在するタイムコードおよび前後にあるGOP ヘッダーに存在するタイムコードを検索して目的のタイムコードが存在するGOP をサーチする。目的となるタイムコードが存在するGOP について順に復号を開始して編集終了となるタイムコードまで再生を続ける。複数の編集区間が存在する場合もファイルのシーケンスヘッダーとファイルシークにより区間再生を行う。 For example, in the case of playback from an MPEG file, initialization information is read from the sequence header of the file, and the GOP header is detected by skipping to the file pointer specified by the file seek. The time code existing in the detected GOP header and the time code existing in the preceding and following GOP headers are searched to search for the GOP in which the target time code exists. Decoding is started in order for the GOP in which the target time code exists, and playback continues until the time code at which editing ends. Even when there are multiple editing sections, section playback is performed using the sequence header and file seek of the file.
図1の編集処理18では確定した編集区間について編集処理を行う。編集制御画面11aにおいてRecord202を選択すると、図10に示されているような、編集後に記録するファイル名入力画面を表示する。Save File Name91は保存するファイル名を入力する場所である。File list 92は既に保存してあるファイルのリストを表示する。リスト移動用カーソル93は表示しているファイルリストの前後のリストを検索するためのカーソルである。OK94は指定された編集区間について編集処理を行い、編集後のファイルを指定された保存ファイル名で保存する。また、Cancel95は編集処理を中断して編集制御画面に戻る。
In the
編集区間の編集処理については以下のような方法を用いることが可能である。まず、編集区間が1つの場合は元の動画像ファイルから該当の区間のみの動画像データを抽出して新しい動画像ファイルを作成する。MPEGで圧縮された画像データの場合、該当区間をIピクチャ等フレーム内符号化画面を持つGOP 単位で切り出し、シーケンスヘッダー情報を先頭に、またシーケンスエンドコードを最後に付加して1つの編集ファイルを作成することが可能である。ただし、バッファ量の制御のためにVBV(Video Buffering Verifier) を再度調査して、必要に応じて符号化データ中のVBV の値を新しい値に変更する必要がある。この処理により圧縮データのまま編集処理を行うことが可能になり、圧縮した画像データを一旦画像データに復元して、編集処理後再度圧縮する処理が必要なくなる。また、符号化データをそのまま用いるため、画像が編集前に比較して劣化することはない。 編集区間が複数存在する場合、元の動画像ファイルから該当する複数の区間を抽出し、これらの区間を接続して新しい動画像ファイルを作成する。MPEGで圧縮された画像データの場合、基本的にはそれぞれの該当区間をGOP 単位で切り出して、各区間を接続する。その後、シーケンスヘッダー情報を先頭に、またシーケンスエンドコードを最後に付加して1つの編集ファイルを作成することが可能である。ただし、符号化レートが区間で異なる場合は1つの符号化レートに統一するようにレート変換を行って各区間を接続する必要がある。なお、レート変換については中島らによる「画像符号化データのレート変換方法および装置」(特願平7-77100 、平成7年3月9日)を用いることが可能である。また、バッファ量の制御についても単一の区間と同様な処理が必要である。 The following method can be used for the editing process of the editing section. First, when there is one editing section, moving image data for only the corresponding section is extracted from the original moving image file to create a new moving image file. In the case of image data compressed with MPEG, the corresponding section is cut out in GOP units with an intra-frame coding screen such as I picture, and the sequence header information is added at the beginning and the sequence end code is added at the end to create one edited file. It is possible to create. However, VBV (Video Buffering Verifier) must be checked again to control the buffer amount, and the VBV value in the encoded data must be changed to a new value as necessary. This processing makes it possible to perform editing processing with the compressed data as it is, and it is not necessary to restore the compressed image data to image data and then compress it again after the editing processing. Further, since the encoded data is used as it is, the image is not deteriorated as compared with that before editing. When there are a plurality of editing sections, a plurality of corresponding sections are extracted from the original moving image file, and a new moving image file is created by connecting these sections. In the case of image data compressed by MPEG, each corresponding section is basically cut out in units of GOPs, and each section is connected. Thereafter, one edit file can be created by adding sequence header information to the top and sequence end code to the end. However, if the coding rates are different in sections, it is necessary to connect the sections by performing rate conversion so as to unify them into one coding rate. For rate conversion, it is possible to use “a rate conversion method and apparatus for encoded image data” (Japanese Patent Application No. 7-77100, March 9, 1995) by Nakajima et al. The buffer amount control also needs to be processed in the same way as a single section.
変形例として、検索編集フローチャート図1において複数区間の判定15、複数ファイルの判定16、編集区間再生処理17については必要に応じて複数回行ったり、順序を入れ替えて処理することが可能である。
As a modified example, the determination 15 for a plurality of sections, the
次に、本発明の第2の実施形態について、図11を参照して説明する。この実施形態は、インターネットなどのネットワークでデータベースと検索端末が離れた場合の検索編集処理に関するものである。図11にネットワーク接続例を示す。WWW サーバ101には画像データ、検索画面、検索条件などのファイルが保存されている。ただし、WWW サーバソフトウェアについては市販のソフトウェアを用いることが可能である。WWW ブラウザ103はインターネット102でWWW サーバ101に接続されておりWWW の閲覧が可能なソフトウェアを搭載している。なお、このソフトウェアは市販のWWW ブラウザソフトウェアを用いることが可能である。
Next, a second embodiment of the present invention will be described with reference to FIG. This embodiment relates to search editing processing when a database and a search terminal are separated in a network such as the Internet. FIG. 11 shows an example of network connection. The WWW server 101 stores files such as image data, a search screen, and search conditions. However, commercially available software can be used for the WWW server software. The
WWW サーバ101にはHTML(Hyper Text Markup Language)で記述された画像検索編集処理手順が搭載されている。この手順は前記第1の実施形態で示した検索編集手順であり、WWW ブラウザ103からWWW サーバ101があるURL(UniformResource Locator)を指定すると、図2の編集制御画面11aがWWW ブラウザ103に表示される。WWW ブラウザ103ではFILE211を指定すると、指定した情報がWWW サーバ101側に転送され、CGI(Common Gateway Interface) を通じてOPEN212とQuit213がWWW ブラウザ103側に表示される。このようにして表示された画面に対して応答を返すことによって、結果がWWW ブラウザ103側に送られ、図1の検索編集処理フローチャート上での全ての検索、編集作業をネットワーク上で行うことが可能である。
The WWW server 101 is loaded with an image search / edit processing procedure described in HTML (Hyper Text Markup Language). This procedure is the search editing procedure shown in the first embodiment. When the URL (Uniform Resource Locator) where the WWW server 101 is located is designated from the
ただし、WWW ブラウザ103側では検索結果等に対して各処理の選択やパラメータの指定を行うのみで、実際の編集処理や検索処理はWWW サーバ101側で行う。また、編集したファイルはサーバ101側に蓄積されるため、ファイルをWWW ブラウザ103側に転送するためにはHTTP(Hyper Text Transfer Prtotocol) やFTP(File Tranfer Protocol)などを用いてファイルを転送する必要がある。
However, the
また、編集区間再生処理17においてPreview 201を用いて再生確認を行う場合、再生はWWW ブラウザ103側で行い、再生するファイルはWWW サーバ101に存在しているため、再生のためにファイルを一旦WWW ブラウザ103側にHTTP等により転送してWWW ブラウザ103側で動画像ファイルを再生する。また、動画像ファイルの全区間を送って、WWW ブラウザ103側で編集区間のみを再生するのではなく、編集処理を行って編集区間のみを転送することにより転送時間を短縮することが可能である。
In addition, when playback confirmation is performed using the
次に、本発明の第3の実施形態について、図12を参照して説明する。この実施形態では、前記第2の実施形態の再生確認において、圧縮された動画像ファイルを用いている場合に、元のファイルよりもさらに圧縮率を上げて小さなファイルサイズに変換して転送する。図12はレート変換を持つネットワーク接続例で、WWW ブラウザ103とインターネット102は図11と同様である。WWW サーバ110には動画像データ111とレート変換装置112が存在し、動画像データ111はレート変換装置112を通してWWW ブラウザ103に転送される。なお、レート変換方法については中島らによる「画像符号化データのレート変換方法および装置」(特願平7-77100 号、平成7年3月9日出願)を用いることが可能である。これによりデータサイズを大幅に縮小して、転送時間を短くすることが可能である。
Next, a third embodiment of the present invention will be described with reference to FIG. In this embodiment, when a compressed moving image file is used in the reproduction confirmation of the second embodiment, the compression rate is further increased than that of the original file, and the file is converted into a smaller file size and transferred. FIG. 12 shows an example of network connection with rate conversion. The
また、圧縮されていない動画像ファイルについては、圧縮して転送するほか、空間解像度や時間解像度を減少させてデータサイズを縮小しレート変換の代用とすることも可能である。空間解像度の削減については,例えば画像を縦方向にn:1、横方向にm:1(m、nは正の整数)でサンプリングしてデータ量を1/mnに削減することが可能である。また時間解像度についてはフレーム数をk:1(kは正の整数)でサンプリングすることにより、データ量を1/kに削減することが可能である。 An uncompressed moving image file can be used as a substitute for rate conversion by reducing the spatial resolution and temporal resolution and reducing the data size in addition to compressing and transferring. Regarding the reduction of the spatial resolution, for example, it is possible to reduce the amount of data to 1 / mn by sampling an image with n: 1 in the vertical direction and m: 1 in the horizontal direction (m and n are positive integers). . As for the time resolution, the amount of data can be reduced to 1 / k by sampling the number of frames at k: 1 (k is a positive integer).
1…ROM、2…RAM、3…表示部、4…操作部、5…記憶部、6…CPU、11a…編集制御画面、12a…ファイル選択画面(フイコン表示)、51a…動画像検索画面。
DESCRIPTION OF
Claims (2)
時間間隔を指定する時間ステップ指定手段と、
前記記憶手段に記憶されている指定された画像を起点として、前記時間間隔指定手段で指定された時間ステップで画像を読み出し表示する表示手段と、
該表示手段に表示された画像の1つを選択する選択手段と、
画像検索モードを指定する画像検索モード指定手段と、
前記選択手段で選択された画像を起点として、前記画像検索モード指定手段で指定されたシーン毎の画像検索をする画像検索手段とを具備し、
前記画像検索手段は、
前記動画像ファイルからシーンの変化点を検出する手段と、
該変化点の時刻のみをファイルに保存する手段とを有し、
該ファイルの時刻情報を用いて前記動画像ファイルから変化点の画像を読み出して表示することを特徴とする動画像検索編集装置。 In a moving image search / editing apparatus provided with storage means capable of accessing a moving image file by random access,
A time step specifying means for specifying a time interval;
Display means for reading and displaying an image at a time step designated by the time interval designation means, starting from the designated image stored in the storage means;
Selecting means for selecting one of the images displayed on the display means;
An image search mode specifying means for specifying an image search mode;
Image search means for searching for an image for each scene specified by the image search mode specifying means, starting from the image selected by the selection means ;
The image search means includes
Means for detecting a scene change point from the video file;
Means for storing only the time of the change point in a file,
An apparatus for searching and editing a moving image, wherein an image of a change point is read out from the moving image file using the time information of the file and displayed.
時間間隔を指定する時間ステップ指定手段と、
前記記憶手段に記憶されている指定された画像を起点として、前記時間間隔指定手段で指定された時間ステップで画像を読み出し表示する表示手段と、
該表示手段に表示された画像の1つを選択する選択手段と、
画像検索モードを指定する画像検索モード指定手段と、
前記選択手段で選択された画像を起点として、前記画像検索モード指定手段で指定されたGOP毎の画像検索をする画像検索手段とを具備し、
前記画像検索手段は、
前記動画像ファイルからGOP点の画像を検出する手段と、
該検出点の画像をファイルに保存する手段とを有し、
該ファイルから前記GOP点毎の画像を読み出して表示することを特徴とする動画像検索編集装置。 In a moving image search / editing apparatus provided with storage means capable of accessing a moving image file by random access,
A time step specifying means for specifying a time interval;
Display means for reading and displaying an image at a time step designated by the time interval designation means, starting from the designated image stored in the storage means;
Selecting means for selecting one of the images displayed on the display means;
An image search mode specifying means for specifying an image search mode;
Image search means for searching for an image for each GOP designated by the image search mode designation means, starting from the image selected by the selection means ;
The image search means includes
Means for detecting an image of a GOP point from the moving image file;
Means for storing an image of the detection point in a file;
An apparatus for retrieving and editing moving images, wherein an image for each GOP point is read from the file and displayed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006111962A JP4225512B2 (en) | 2006-04-14 | 2006-04-14 | Video search and editing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006111962A JP4225512B2 (en) | 2006-04-14 | 2006-04-14 | Video search and editing device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003156530A Division JP4279600B2 (en) | 2003-06-02 | 2003-06-02 | Video search and editing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006254484A JP2006254484A (en) | 2006-09-21 |
JP4225512B2 true JP4225512B2 (en) | 2009-02-18 |
Family
ID=37094384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006111962A Expired - Lifetime JP4225512B2 (en) | 2006-04-14 | 2006-04-14 | Video search and editing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4225512B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4962166B2 (en) * | 2007-06-22 | 2012-06-27 | 日本電気株式会社 | Server, terminal, server program, terminal program, system, and server control method |
-
2006
- 2006-04-14 JP JP2006111962A patent/JP4225512B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2006254484A (en) | 2006-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6026389A (en) | Video query and editing system | |
US7174055B2 (en) | Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus | |
JP5493531B2 (en) | Video / audio recording / reproducing apparatus and video / audio recording / reproducing method | |
EP1111612B1 (en) | Method and device for managing multimedia file | |
JP3780623B2 (en) | Video description method | |
US20020133486A1 (en) | Video retrieval and browsing apparatus, video retrieval, browsing and editing apparatus, and recording medium | |
JP4285512B2 (en) | Recording apparatus, recording method, reproducing apparatus, reproducing method, recording / reproducing apparatus, recording / reproducing method, imaging recording apparatus, and imaging recording method | |
US20070201832A1 (en) | Recording apparatus, recording method, program for recording method, recording medium recording program for recording method, reproducing apparatus, reproduction method, program for reproduction method, and recording medium recording program for reproduction method | |
JP2004509580A (en) | System and method for processing an MPEG stream for file index insertion | |
US20050286863A1 (en) | Reliable capture of digital video images for automated indexing, archiving and editing | |
JP3060919B2 (en) | Compressed video decoding / display device and simplified compressed video editing device | |
US20060210246A1 (en) | Data processing apparatus | |
JP3884785B2 (en) | Recording / reproducing apparatus, reproducing apparatus and reproducing method | |
CN1321526C (en) | Moving image editing apparatus and its control method | |
JP4104071B2 (en) | Video search and editing device | |
JP5818599B2 (en) | Movie recording device | |
JP4225512B2 (en) | Video search and editing device | |
JP2002281433A (en) | Device for retrieving and reading editing moving image and recording medium | |
JP2012044451A (en) | Image reproduction device, control method therefor, image reproduction program, and recording medium | |
US20070263982A1 (en) | Resume Reproduction System | |
JP4279600B2 (en) | Video search and editing device | |
JP2003224791A (en) | Method and device for retrieving video | |
JP4537905B2 (en) | Video device and video editing system | |
JP2006139682A (en) | Video search system, video search method, and program | |
JP2003289487A (en) | Moving picture search apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080305 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080827 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081120 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141205 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |