JP2001109884A - Image database device and image database generating and retrieving method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To easily put unedited video in a database and to speedily retrieve a past image relating to image information of current photography. SOLUTION: The image database device comprises an image sectioning process means 101, a variation feature extracting means 103, and a registration and retrieval process means 105. The processing means 101 calculates the difference between frames of video, judges that there is variation when the difference deviates greatly from a specific comparison value, and sections the video. The extracting means 103 extracts color patterns of parts where color information of the video varies, frame by frame, extracts pixel peripheries where there is variation as partial grids, and totalizes the partial grids from images included in time section units sectioned by the image sectioning process means. The processing means 105 registers the totalized partial grids in a database and retrieves and presents a relative picture with high similarity according to the partial grids and partial grids of image information which are already registered in the database.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は画像データベース装
置及び画像データベース作成検索方法に関する。さらに
詳述すると、本発明は、動画像が取り込まれつつある現
状において即座に画像データベースに登録し、かつ、現
に取り込まれつつある当該動画像に関連する過去に登録
された画像情報を照合し、関連する画像情報を提示する
ようにした画像データベース装置及び画像データベース
作成検索方法に関する。The present invention relates to an image database device and an image database creation / retrieval method. More specifically, the present invention immediately registers in the image database in the current situation where a moving image is being captured, and compares previously registered image information related to the currently captured moving image, The present invention relates to an image database device and an image database creation / retrieval method for presenting related image information.

【０００２】[0002]

【従来の技術】最近の電子技術や関連技術の発展により
ビデオカメラが普及し、多量の画像情報を保有できる環
境になっている。このような環境において画像情報の有
効利用が各種の技術分野で図られている。例えば電気事
業においては、電気設備の巡視、点検時にビデオカメラ
が活用されており、当該巡視、点検において得られた多
量の画像情報を後日再生等し、保守の資料にしたり、事
故の発見に使用したり、新人教育に使用したりすること
が行われている。2. Description of the Related Art With the recent development of electronic technology and related technologies, video cameras have become widespread and an environment capable of holding a large amount of image information has been created. In such an environment, effective use of image information has been attempted in various technical fields. For example, in the electric power business, video cameras are used for patrols and inspections of electrical equipment, and a large amount of image information obtained during the patrols and inspections is reproduced at a later date and used as maintenance materials and used to detect accidents. Or used for newcomer education.

【０００３】しかしながら、このような画像情報の利用
は組織的な利用とはいえないため、これらの画像情報を
データベース化して、巡視、点検時に必要な関連情報が
自由に検索・閲覧できるようになれば、異常の早期発見
や、発見された異常に対する迅速な対応が可能となる。
そこで、ビデオ映像等の多量の画像情報をデータベース
化する技術を利用することが考えられる。この従来のビ
デオ映像等の画像情報をデータベース化する技術は、主
に編集済のテレビ番組などを対象とし、カット点を用い
たシーン分割を行ってデータベース化するものである。
このため、電気事業の技術分野で活用したいと考えてい
るリアルタイム性が満足されない。However, since the use of such image information cannot be said to be an organizational use, the image information can be stored in a database so that related information required for patrol and inspection can be freely searched and browsed. If this is the case, early detection of abnormalities and prompt response to the detected abnormalities are possible.
Therefore, it is conceivable to use a technique for converting a large amount of image information such as video images into a database. This conventional technique for converting image information such as video images into a database is mainly directed to an edited television program or the like, and performs scene division using cut points to generate a database.
For this reason, the real-time property that the company wants to utilize in the technical field of the electricity business is not satisfied.

【０００４】[0004]

【発明が解決しようとする課題】このような従来のビデ
オ映像等の多量の画像情報をデータベース化する技術
は、主に編集済のテレビ番組などを対象とし、カット点
を用いたシーン分割を行ってデータベース化するもので
あるため、未編集のビデオ画像等の場合には、一つのシ
ーン分割単位の中に重要な画像情報が埋もれてしまい、
また、登録したり検索したりするのに時間がかかる欠点
があった。A conventional technique for creating a database of a large amount of image information such as video images is to perform scene division using cut points mainly on an edited television program or the like. In the case of an unedited video image or the like, important image information is buried in one scene division unit.
Further, there is a disadvantage that it takes time to register and search.

【０００５】本発明は、上記従来技術の問題点を解消
し、未編集のビデオ映像等の画像情報を容易にデータベ
ース化し、現に撮影している画像情報に関連する過去の
画像情報を迅速に検索できる画像データベース装置及び
そのデータベース作成方法を提供することを目的として
いる。SUMMARY OF THE INVENTION The present invention solves the above-mentioned problems of the prior art, easily creates a database of image information such as unedited video images, and quickly searches for past image information related to the image information currently being photographed. It is an object of the present invention to provide an image database device and a database creation method thereof.

【０００６】[0006]

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の発明に係る画像データベース装置
は、入力されるビデオ映像のフレーム間の色情報の差分
をとり当該差分が所定の比較値から大きく逸脱したとき
に変化があったと判断してビデオ映像を時区間に区切る
画像区切処理手段と、前記フレーム毎にビデオ映像の色
情報が変化した部分の色パターンを抽出して変化のあっ
た画素周辺を部分グリッドとなる色情報を表す配列とし
て取り出すとともに、これら部分グリッドを前記画像区
切処理手段で区切った時区間単位に含まれる画像の中か
ら集計する変化特徴抽出手段と、前記変化特徴抽出手段
によって集計された部分グリッドをデータベースに登録
すると同時に、当該部分グリッドと前記データベースに
既に登録されている画像情報の部分グリッドとを用いて
類似度の高い関連画面を検索して提示する登録・検索処
理手段とを備えたことを特徴とするものである。In order to achieve the above object, an image database apparatus according to the first aspect of the present invention obtains a difference in color information between frames of an input video image and determines the difference as a predetermined comparison value. An image segmentation processing means for judging that a change has occurred when the value greatly deviates from the value, and an image segmentation processing means for segmenting the video image into time intervals; Changing feature extracting means for extracting the periphery of the extracted pixels as an array representing color information serving as a partial grid, and summing up these partial grids from images included in time interval units separated by the image partition processing means; At the same time as registering the partial grid totalized by the extracting means in the database, the partial grid and the image already registered in the database are registered. It is characterized in that a registration and search processing means for presenting search for a high degree of similarity associated screen by using the information part grid.

【０００７】したがって、請求項１記載の発明に係る画
像データベース装置によれば、画像区切処理手段で入力
されているビデオ映像を区切り、また、変化特徴抽出手
段により、前記フレーム毎に変化のあった画素周辺を部
分グリッドとして取り出し、かつ、これら部分グリッド
を用いて前記画像区切処理手段で区切った時区間単位に
含まれる画像を表現し、これらでデータベースに登録し
つつ過去にデータベースに登録されている関連画面を類
似の高い順に取り出している。Therefore, according to the image database apparatus according to the first aspect of the present invention, the video image inputted by the image segmentation processing means is divided, and the change feature extraction means changes the frame by frame. Pixel surroundings are extracted as partial grids, and the images included in the unit of time section partitioned by the image partitioning unit are expressed using these partial grids, and registered in the database while being registered in the database with these. Related screens are taken out in order of similarity.

【０００８】請求項２記載の発明では、請求項１におい
て、前記画像区切処理手段は、入力されるビデオ映像の
縮小画面をえる縮小処理手段と、当該縮小処理手段から
の縮小画面のフレーム間差分をとるフレーム間差分計算
処理手段と、前記フレーム間差分計算処理手段からの現
在のフレーム間差分と所定の数の過去のフレーム間差分
の平均値である比較値とを比較して値の差が大きく逸脱
したときに当該フレームの状態を決定するフレーム状態
決定手段と、当該フレーム状態決定手段からの決定状態
が連続して所定の数だけ連続したときに状態遷移が確定
したと判断する状態遷移判定手段とからなることを特徴
とするものである。According to a second aspect of the present invention, in the first aspect, the image segmentation processing means includes a reduction processing means for obtaining a reduced screen of the input video image, and a difference between frames of the reduced screen from the reduction processing means. Inter-frame difference calculation processing means, and comparing the current inter-frame difference from the inter-frame difference calculation processing means with a comparison value which is an average value of a predetermined number of past inter-frame differences, to obtain a difference between the values. Frame state determining means for determining the state of the frame when there is a large deviation, and state transition determination for determining that the state transition has been determined when the determined states from the frame state determining means continue for a predetermined number of times Means.

【０００９】請求項３記載の発明では、請求項１におい
て、前記変化特徴抽出手段は、ビデオ映像のフレーム毎
に変化のあった領域を抽出する領域抽出手段と、前記領
域抽出手段からの変化のあった領域の周辺の画素を決定
する抽出領域決定手段と、前記抽出領域決定手段で決定
した画素から部分グリッドを抽出するグリッド抽出手段
と、前記グリッド抽出手段で抽出した部分グリッドを区
切られた時区分の画像毎に集計し時区分された画像を部
分グリッドで表示できる集計処理手段とを備えたことを
特徴とするものである。According to a third aspect of the present invention, in the first aspect, the change characteristic extracting means extracts an area that has changed for each frame of the video image, and a change feature from the area extracting means. Extraction area determining means for determining pixels around the existing area, grid extracting means for extracting a partial grid from the pixels determined by the extraction area determining means, and when the partial grid extracted by the grid extracting means is partitioned. The image processing apparatus further includes a totaling processing unit that totalizes each of the divided images and displays the divided images on a partial grid.

【００１０】請求項４記載の発明では、請求項１におい
て、前記登録・検索処理手段は、部分グリッドから検索
用キーをえる検索キー処理手段と、前記検索キー処理手
段からの検索用キーを複数のデータベースに登録する登
録手段と、登録されている部分グリッドから類似度の高
い関連画像を提示する検索手段とを備えたことを特徴と
するものである。According to a fourth aspect of the present invention, in the first aspect, the registration / search processing means includes a plurality of search key processing means for obtaining a search key from a partial grid, and a plurality of search keys from the search key processing means. And a search unit for presenting a related image having a high degree of similarity from the registered partial grids.

【００１１】上記目的を達成するために、請求項５記載
の発明に係る画像データベース作成方法は、入力される
ビデオ映像のフレーム間の差分をとり当該差分が所定の
比較値から大きく逸脱したときに変化があったと判断し
てビデオ映像を時区間に区切る画像区切工程と、前記フ
レーム毎にビデオ映像の色情報が変化した部分の色パタ
ーンを抽出して変化のあった画素周辺を部分グリッドと
して取り出すとともに、これら部分グリッドを前記画像
区切処理手段で区切った時区間単位に含まれる画像の中
から集計する変化特徴抽出工程と、前記変化特徴抽出工
程によって集計された部分グリッドをデータベースに登
録すると同時に、当該部分グリッドと前記データベース
に既に登録されている画像情報の部分グリッドとを用い
て類似度の高い関連画面を検索して提示する登録・検索
処理工程とを備えたことを特徴とする。According to a fifth aspect of the present invention, there is provided an image database creating method for determining a difference between frames of an input video image when the difference greatly deviates from a predetermined comparison value. An image segmentation step of judging that there has been a change in the video image into time intervals, and extracting a color pattern of a portion where the color information of the video image has changed for each of the frames and extracting the periphery of the changed pixel as a partial grid At the same time, a change feature extraction step of summing up these partial grids from the images included in the time section unit divided by the image segmentation processing means, and simultaneously registering the partial grids summed up by the change feature extraction step in a database, Using the partial grid and the partial grid of the image information already registered in the database, Characterized by comprising a registration and retrieval process of presenting search screen.

【００１２】したがって、請求項５記載の発明に係る画
像データベース作成検索方法によって、画像区切処理工
程で入力されているビデオ映像を区切り、また、変化特
徴抽出工程により、前記フレーム毎に変化のあった画素
周辺を部分グリッドとして取り出し、かつ、これら部分
グリッドを用いて前記画像区切処理工程で区切った時区
間単位に含まれる画像を表現し、これらでデータベース
に登録することによりデータベースを構築でき、しか
も、データベースの作成中に過去にデータベースに登録
されている関連画面を類似の高い順に取り出すことが可
能となる。Therefore, the video image input in the image segmentation process is separated by the image database creation and retrieval method according to the present invention, and the change is detected for each frame by the change feature extraction process. The image around the pixel is taken out as a partial grid, and the images included in the time interval unit divided in the image segmentation processing step are expressed using these partial grids, and a database can be constructed by registering them in the database, and During the creation of the database, related screens registered in the database in the past can be taken out in descending order of similarity.

【００１３】[0013]

【発明の実施の形態】以下、本発明の構成を図１から図
１３に示す実施形態に基づいて詳細に説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS The structure of the present invention will be described below in detail with reference to the embodiments shown in FIGS.

【００１４】図１に、本発明の実施の形態に係る画像デ
ータベース装置の構成例を示す。この図１において符号
１は画像データベース装置であり、この画像データベー
ス装置１は、大別して、電気設備等の撮像及び画像処理
した結果の表示が可能な携帯型端末３と、この携帯型端
末３からの画像情報を基にデータベースを作成しかつデ
ータベースの検索やその他の画像処理した結果を携帯型
端末３に送出できる画像処理装置５とからなる。FIG. 1 shows a configuration example of an image database device according to an embodiment of the present invention. In FIG. 1, reference numeral 1 denotes an image database device. The image database device 1 is roughly divided into a portable terminal 3 capable of displaying the result of imaging and image processing of electrical equipment and the like, and a portable terminal 3 And an image processing apparatus 5 that can create a database based on the image information and send the result of the database search and other image processing to the portable terminal 3.

【００１５】前記携帯型端末３は、一人で現場に携帯が
可能な大きさに形成されており、電気設備等を撮像して
ビデオ映像を作成する電荷結合素子（ＣＣＤ）カメラ３
１と、このＣＣＤカメラ３１からのビデオ映像を画像処
理装置５側に送出する無線画像送信機３２と、前記画像
処理装置５から送られてくる画像処理した結果を無線で
受信し画面表示する小型テレビジョン受像機（以下、
「小型テレビ」という）３３とからなる。ＣＣＤカメラ
３１は、非常に小型化されており、手に持って撮像が可
能である。また、無線画像送信機３２は、比較的小型で
あって腰ベルトに取り付けて可搬できる。小型テレビ３
３は、掌に入る程の外形をしており、手にもって表示画
面を見ることが可能である。The portable terminal 3 is formed in such a size that it can be carried by a person alone on site, and is a charge-coupled device (CCD) camera 3 for taking pictures of electrical equipment and the like to create a video image.
1, a wireless image transmitter 32 for sending the video image from the CCD camera 31 to the image processing device 5 side, and a small-sized for wirelessly receiving the image processed result sent from the image processing device 5 and displaying it on the screen. Television receiver (hereinafter,
33). The CCD camera 31 is extremely miniaturized and can be picked up and imaged. In addition, the wireless image transmitter 32 is relatively small and can be carried on a waist belt. Small TV 3
Reference numeral 3 has an outer shape enough to fit in the palm, and the display screen can be viewed by hand.

【００１６】上記画像処理装置５は、無線画像送信機３
２からの電波を受信する無線画像受信機５１と、画像処
理した結果を無線で送信する表示情報送信機５２と、こ
の携帯型端末３からの画像情報を無線画像受信機５１を
介して受信してデータベースを作成し、かつ、データベ
ースの検索やその他の画像処理した結果を表示情報送信
機５２に送出する計算機５３とからなる。The image processing device 5 includes a wireless image transmitter 3
A wireless image receiver 51 for receiving the radio wave from the mobile terminal 2, a display information transmitter 52 for wirelessly transmitting the result of the image processing, and receiving the image information from the portable terminal 3 via the wireless image receiver 51. And a computer 53 that sends a result of database search and other image processing to the display information transmitter 52.

【００１７】上述した計算機５３は、各種の演算処理を
実行する処理装置５５と、ディスプレイ５６と、キーボ
ード５７と、マウス５８と、大容量外部記憶装置５９と
からなる。処理装置５５には、無線画像受信機５１、表
示情報送信機５２、ディスプレイ５６、キーボード５
７、マウス５８、及び大容量外部記憶装置５９がそれぞ
れ接続されている。The above-mentioned computer 53 comprises a processing device 55 for executing various arithmetic processing, a display 56, a keyboard 57, a mouse 58, and a large-capacity external storage device 59. The processing device 55 includes a wireless image receiver 51, a display information transmitter 52, a display 56, and a keyboard 5.
7, a mouse 58, and a large-capacity external storage device 59 are connected to each other.

【００１８】処理装置５５は、図示しないが、演算処理
部、主メモリ、ＲＯＭ、入出力インターフェース等を備
えており、主メモリ上に記憶された本発明を実現する処
理プログラムに基づいて上記演算処理部が各画像情報の
処理や各種の演算処理を実行し、本発明に係る各種の処
理手段を実現している。すなわち、処理装置５５は、上
記処理プログラムを実行してゆく過程で、後記図２に示
すような画像区切処理手段１０１と、変化特徴抽出手段
１０３と、登録・検索処理手段１０５とを実現する。Although not shown, the processing unit 55 includes an arithmetic processing unit, a main memory, a ROM, an input / output interface, and the like. Based on a processing program for realizing the present invention stored in the main memory, the processing unit 55 The section executes processing of each image information and various arithmetic processing, and realizes various processing means according to the present invention. That is, in the course of executing the processing program, the processing device 55 implements an image segmentation processing unit 101, a change feature extraction unit 103, and a registration / search processing unit 105 as shown in FIG.

【００１９】上述したディスプレイ５６は、処理装置５
５が処理した結果を表示できる。キーボード５７及びマ
ウス５８は、処理装置５５に処理に必要なデータや指令
を与えることができる。大容量外部記憶装置５９は、処
理装置５５で処理した画像処理結果やその他の多量の情
報を記憶しておくことができ、特に消去指令がない限り
記憶した情報を記憶し続け、必要に応じて情報を取り出
しまた書換え等ができる装置である。The display 56 described above is connected to the processing device 5.
5 can display the processing result. The keyboard 57 and the mouse 58 can provide the processing device 55 with data and commands necessary for processing. The large-capacity external storage device 59 can store the image processing result processed by the processing device 55 and other large amounts of information. It is a device that can retrieve and rewrite information.

【００２０】図２ないし図１３は同画像データベース装
置の作用を説明するための図である。これらの図を使用
し、まず、全体の処理の流れについて図２の機能ブロッ
ク図及び図３の表示画面例を参照しながら説明し、つい
で各処理の詳細を図４以降の図面を用いて説明すること
にする。FIGS. 2 to 13 are views for explaining the operation of the image database apparatus. Using these drawings, first, the overall processing flow will be described with reference to the functional block diagram of FIG. 2 and the display screen example of FIG. 3, and then details of each processing will be described with reference to the drawings after FIG. I will do it.

【００２１】図２に、同画像データベース装置の機能ブ
ロックを示す。図３に、同画像データベース装置の携帯
型端末の小型テレビに表示される表示画像の例を示す。
これら図２及び図３を参照して全体の処理の流れについ
て説明すると、上述したＣＣＤカメラ３１で撮像したビ
デオ映像は、無線画像送信機３２により無線で送出され
る。この無線で送出されたビデオ映像は、画像処理装置
５の無線画像受信機５１で受信されて処理装置５５に入
力される（図２の符号１００）。FIG. 2 shows functional blocks of the image database apparatus. FIG. 3 shows an example of a display image displayed on the small television of the portable terminal of the image database device.
The overall processing flow will be described with reference to FIGS. 2 and 3. The video image captured by the above-described CCD camera 31 is transmitted wirelessly by the wireless image transmitter 32. The video image transmitted wirelessly is received by the wireless image receiver 51 of the image processing device 5 and input to the processing device 55 (reference numeral 100 in FIG. 2).

【００２２】処理装置５５は、主メモリにある処理プロ
グラムに従って、図２に示すような、画像区切処理手段
１０１と、変化特徴抽出手段１０３と、登録・検索処理
手段１０５とを実現する。The processing unit 55 implements an image segmentation processing unit 101, a change feature extraction unit 103, and a registration / search processing unit 105 as shown in FIG. 2 according to a processing program stored in the main memory.

【００２３】この実現された画像区切処理手段１０１、
変化特徴抽出手段１０３及び登録・検索処理手段１０５
によって具体的な画像データベース装置１が構成される
ことになる。The realized image dividing processing means 101,
Change feature extraction means 103 and registration / search processing means 105
Thus, a specific image database device 1 is configured.

【００２４】ここで、画像区切処理手段１０１は、入力
されるビデオ映像（図２の符号１００）のフレーム間の
差分をとり当該差分が所定の比較値（後述する）から大
きく逸脱したときに変化があったと判断してビデオ映像
を時区間に区切る。これによって、変化点の位置と色情
報が得られる（図２の符号１０２）。Here, the image segmentation processing means 101 calculates a difference between frames of the input video image (reference numeral 100 in FIG. 2) and changes when the difference greatly deviates from a predetermined comparison value (described later). Is determined, and the video image is divided into time intervals. Thus, the position of the change point and the color information are obtained (reference numeral 102 in FIG. 2).

【００２５】また、前記変化特徴抽出手段１０３は、前
記フレーム毎にビデオ映像の色情報が変化した部分の色
パターンを抽出して変化のあった画素周辺を部分グリッ
ドとして取り出すとともに、これら部分グリッドを前記
画像区切処理手段で区切った時区間単位に含まれる画像
の中から集計する。これにより、フレーム毎に色が変化
した部分の色パターンを抽出し、色パターンの集合を得
ている（図２の符号１０４）。The changing feature extracting means 103 extracts a color pattern of a portion where the color information of the video image has changed for each frame, extracts a portion around the changed pixel as a partial grid, and extracts these partial grids. The images are totaled from among the images included in the section when the image is divided by the image division processing means. As a result, the color pattern of the portion where the color has changed for each frame is extracted, and a set of color patterns is obtained (reference numeral 104 in FIG. 2).

【００２６】さらに、上記登録・検索処理手段１０５
は、前記変化特徴抽出手段１０３によって集計された部
分グリッドをデータベース１０６に登録すると同時に、
当該部分グリッドと前記データベース１０６に既に登録
されている画像情報の部分グリッドとを用いて類似度の
高い関連ビデオ映像を検索してその代表画面を検索結果
として出力する。Further, the registration / search processing means 105
Registers the partial grids totaled by the change feature extraction means 103 in the database 106,
A related video image having a high similarity is searched using the partial grid and the partial grid of the image information already registered in the database 106, and a representative screen is output as a search result.

【００２７】また、登録・検索処理手段１０５は、その
検索結果を処理装置５５の制御下に表示情報送信機５２
から電波で送出する。この画像処理結果は、携帯型端末
３の小型テレビ３３で受信される。小型テレビ３３で得
られる画面２００は、図３に示すように、現在ＣＣＤカ
メラ３１に入力されつつある画面２０１と、現在カメラ
に入力されつつあるビデオ映像の代表画面２０２と、現
在入力中のビデオ映像に最も似た過去のビデオ映像２０
３の代表画面と、現在入力中のビデオ映像に２番目に似
た過去のビデオ映像２０４の代表画面と、現在入力中の
ビデオ映像に３番目に似た過去のビデオ映像２０５の代
表画面とが表示されている。The registration / search processing means 105 transmits the search result to the display information transmitter 52 under the control of the processing device 55.
From the radio wave. This image processing result is received by the small television 33 of the portable terminal 3. As shown in FIG. 3, a screen 200 obtained by the small television 33 includes a screen 201 currently being input to the CCD camera 31, a representative screen 202 of a video image currently being input to the camera, and a video currently being input to the camera. The past video image 20 most similar to the image
3 representative screen, a representative screen of the past video video 204 second similar to the currently input video video, and a representative screen of the past video video 205 third similar to the currently input video video. Is displayed.

【００２８】この画像区切処理手段１０１、変化特徴抽
出手段１０３及び登録・検索処理手段１０５の一連の処
理は、ＣＣＤカメラ３１からビデオ映像の入力がある限
り継続して実行される。A series of processes of the image segmentation processing means 101, the change feature extraction means 103, and the registration / retrieval processing means 105 are continuously executed as long as a video image is input from the CCD camera 31.

【００２９】〔画像区切処理手段１０１の詳細処理の説
明〕図４に、同画像データベース装置において画像縮小
処理を説明するための図を示す。図５に、その画像区切
処理手段の処理フローチャートを示す。[Explanation of Detailed Processing of Image Separation Processing Unit 101] FIG. 4 is a diagram for explaining image reduction processing in the image database apparatus. FIG. 5 shows a processing flowchart of the image segmentation processing means.

【００３０】これらの図において、画像区切処理手段１
０１は、この実施の形態では、フレーム間の色の変化を
基本として時区間を区切るようにしている。この画像区
切処理手段１０１は、例えば、色変化フレーム間差分を
取り、その過去数フレーム分の平均値（これを、「比較
値」という）を基準とし、この基準から大きく逸脱した
場合に変化があったと判定している。具体的には、次の
ようにしている。In these figures, the image dividing processing means 1
In this embodiment, a time interval of 01 is divided on the basis of a color change between frames. The image segmentation processing means 101 takes, for example, a difference between color-changed frames and uses the average value of the past several frames (this is referred to as a “comparison value”) as a reference. It is determined that there was. Specifically, it is as follows.

【００３１】まず、各フレーム画像の計算量を削減する
ため、例えばニアレストネイバー法を使用して粗く縮小
する（図５のＳ３０１）。この縮小を処理する縮小処理
手段は、図４に示すように、例えば１６０×１２０画素
の取込みビデオ映像（取込み画像）２１０を、上記ニア
レストネイバー法を使用して１６×１２画素の縮小画像
２１１にしている。First, in order to reduce the calculation amount of each frame image, the frame image is roughly reduced using, for example, the nearest neighbor method (S301 in FIG. 5). As shown in FIG. 4, the reduction processing means for processing this reduction converts a captured video image (captured image) 210 of, for example, 160 × 120 pixels into a reduced image 211 of 16 × 12 pixels using the nearest neighbor method. I have to.

【００３２】さらに、画像区切処理手段１０１は、前記
縮小処理手段によって縮小された画像２１１の各画素値
をc(x,y)として、フレーム間差分計算処理手段によりフ
レーム間差分dfを計算する（図５のＳ３０２）。Further, the image segmentation processing means 101 calculates the inter-frame difference df by the inter-frame difference calculation processing means, with each pixel value of the image 211 reduced by the reduction processing means as c (x, y). S302 in FIG. 5).

【００３３】この図５のＳ３０２における計算（すなわ
ち、フレーム間差分計算処理手段による計算）は、次の
ようにして行う。現在の各画素値をc(x,y)とし、一つ前
のフレーム画素値をc'(x,y) とし、その差を取ったもの
をd とすると、The calculation in S302 of FIG. 5 (that is, the calculation by the inter-frame difference calculation processing means) is performed as follows. If each current pixel value is c (x, y), the previous frame pixel value is c '(x, y), and the difference between them is d,

【数１】d＝c(x,y)−c'(x,y) が得られる。そして、この dをｓ(d) に代入することに
より、## EQU1 ## d = c (x, y) -c '(x, y) is obtained. Then, by substituting this d into s (d),

【数２】 となってフレーム間差分dfが得られることになる。(Equation 2) As a result, an inter-frame difference df is obtained.

【００３４】ここでは、画素値の差分は、赤（Ｒ）、青
（Ｂ）、グリーン（Ｇ）の距離空間での距離とした。な
お、色はＲＧＢのそれぞれを１０段階とする１０００色
に規格化している。Here, the difference between the pixel values is the distance in the metric space of red (R), blue (B), and green (G). The colors are standardized to 1000 colors, each of which has 10 levels of RGB.

【００３５】さらに、s(d)として次のステップ関数を利
用している。すなわち、Further, the following step function is used as s (d). That is,

【数３】 s(d)＝０ : ０≦ｄ＜s1 ＝w1 : s1 ≦ｄ＜s2 ＝w2 : s2 ≦ｄ＜s3 ＝w3 : s3 ≦ｄ＜Max(最大値） ここに、s1，s2，s3は変化範囲を区分するパラメータで
ある。このパラメータは、詳細なノイズの影響を除去す
るためと、各画素値の実際の差分よりも、差のある画素
数を重視するためである。このようにする理由は、直接
距離を利用すると、明るさが大きく変化するスポットば
かりが強調されて、全体のうっすらとした変化が見過ご
されてしまうことを防止するためである。S (d) = 0: 0 ≦ d <s1 = w1: s1 ≦ d <s2 = w2: s2 ≦ d <s3 = w3: s3 ≦ d <Max (maximum value) where s1, s2 , S3 are parameters for dividing the change range. This parameter is used to remove the influence of detailed noise and to emphasize the number of pixels having a difference rather than the actual difference between pixel values. The reason for this is to use the direct distance to emphasize only the spots where the brightness changes greatly, and to prevent a slight change in the whole from being overlooked.

【００３６】次に、画像区切処理手段１０１は、フレー
ム間差分の過去ｎフレーム分の平均値（比較値）をdfn
とし、これの比較値dfn を基に、あるフレームk の状態
を次の３つの状態に分類する（図５のＳ３０３， Ｓ３
０６）。これらＳ３０３， Ｓ３０６の処理は、具体的
には、フレーム状態決定手段により実行される。Next, the image segmentation processing means 101 calculates the average value (comparison value) of the inter-frame differences for the past n frames by dfn
Based on the comparison value dfn, the state of a certain frame k is classified into the following three states (S303 and S3 in FIG. 5).
06). Specifically, the processing of S303 and S306 is executed by the frame state determining means.

【００３７】まず、 数式４の計算をする（図５のＳ３
０３）。First, Equation 4 is calculated (S3 in FIG. 5).
03).

【数４】dfn＋ dfn×b ＋o もし、df＞ dfn＋ dfn×b ＋o ならば（図５のＳ３０
４；ＹＥＳ）、フレームk は活性であるとする（図５の
Ｓ３０５）。Dfn + dfn × b + o If df> dfn + dfn × b + o (S30 in FIG. 5)
4; YES), assume that frame k is active (S305 in FIG. 5).

【００３８】図５のステップ（Ｓ）３０４でＮＯと判定
されたときには、When the determination in step (S) 304 of FIG. 5 is NO,

【数５】dfn−dfn ÷c −o の計算をし（図５のＳ３０６）、もし、df＜ dfn−dfn
÷c −o ならば（図５のＳ３０７；ＹＥＳ）、フレーム
k は沈静であるとする（図５のＳ３０８）。Dfn−dfn ÷ c−o is calculated (S306 in FIG. 5), and if df <dfn−dfn
If ÷ c−o (S307 in FIG. 5; YES), the frame
It is assumed that k is settled (S308 in FIG. 5).

【００３９】ステップ３０４及びステップ３０７でＮＯ
と判定されたときには（図５のＳ３０７；ＮＯ）、フレ
ームk は、定常であるとする（図５のＳ３０９）。NO at steps 304 and 307
Is determined (S307 in FIG. 5; NO), the frame k is assumed to be stationary (S309 in FIG. 5).

【００４０】ここで、定数b ，c は逸脱範囲を決めるパ
ラメータである。定数ｏはノイズの影響を免れるための
オフセット値である。Here, the constants b and c are parameters for determining the deviation range. The constant o is an offset value for avoiding the influence of noise.

【００４１】このように過去の平均値と現に入力されて
いるフレームとを比較することにより、人間の視野にお
ける残像のような画像の処理が行われることになる。By comparing the past average value with the currently input frame, an image such as an afterimage in a human visual field is processed.

【００４２】そして、画像区切処理手段１０１において
状態遷移判定手段は、フレームの状態をフレーム毎に計
算し、同じ状態がｍフレーム連続した場合に（図５のＳ
３１０；ＹＥＳ）、状態遷移が確定したとしている（図
５のＳ３１１）。もちろん、同じ状態がｍフレーム続か
ない場合には（図５のＳ３１０；ＮＯ）、状態遷移は確
定しないものとする。そして、どちらの場合も、通常は
（Ｓ３１２；ＮＯ）、再び、最初のステップ３０１に戻
って処理を継続させる。また、画像区切処理手段１０１
は、処理停止指令があったときに（Ｓ３１２；ＹＥ
Ｓ）、上記画像処理を停止する。Then, in the image segmentation processing means 101, the state transition determination means calculates the state of the frame for each frame, and when the same state continues for m frames (S in FIG. 5).
310; YES), it is determined that the state transition has been determined (S311 in FIG. 5). Of course, if the same state does not continue for m frames (S310 in FIG. 5; NO), the state transition is not determined. In either case, normally (S312; NO), the process returns to the first step 301 again to continue the process. Also, the image dividing processing means 101
Is set when there is a processing stop command (S312; YE
S), the image processing is stopped.

【００４３】ここで、パラメータｍを小さくすると時間
的な変化に敏感になり、パラメータｍを大きくすると時
間的な変化に鈍感になる。この実施の形態では、ｍ＝３
とし、３フレーム以上同じ状態が連続した場合、「定
常」、「活性」、「沈静」の３状態を確定している。ま
た、状態で確定した時点を変化点としている。Here, when the parameter m is reduced, the change with time becomes more sensitive, and when the parameter m is increased, the change with time becomes less sensitive. In this embodiment, m = 3
If the same state continues for three or more frames, three states of “steady”, “active”, and “quiet” are determined. In addition, the time point determined in the state is defined as a change point.

【００４４】このような画像区切処理手段１０１のおけ
る処理によれば、ＣＣＤカメラ３１におけるビデオ映像
の変化が小さいときは小さな変化に敏感になり、大きく
変化しているビデオ映像では少々の映像の変化は無視さ
れるように動作することになる。According to the processing in the image segmentation processing means 101, when the change of the video image in the CCD camera 31 is small, the change is sensitive to a small change, and the change of the video image greatly changes. Will behave as if it were ignored.

【００４５】画像区切処理手段１０１は、上述したよう
に動作をする。そこで、このような画像区切処理手段１
０１に対して、具体的に数値を与えて、ＣＣＤカメラ３
１によって実際に撮像したビデオ映像が、フレーム間差
分dfにどのように変化を与えるかを図６を参照して説明
する。まず、画像区切処理手段１０１に次のようなパラ
メータを与える。すなわち、ステップ関数s1＝最大値の
３０〔％〕，s2＝同６０〔％〕，s3＝同９０〔％〕に
し、重み係数w1＝６，w2＝８，w3＝１０に設定した。ま
た、平均するフレーム数は過去１０フレームとし、状態
確定までのフレーム数は３フレームとした。逸脱範囲を
決定するパラメータは、ｂ＝２，ｃ＝３に設定した。こ
のような状態にして画像区切処理手段１０１によるフレ
ーム間差分dfを処理する動作をさせる。なお、時区間区
切り処理は、７〔フレーム・パー・セコンド（fps)〕で
動作させた。The image division processing means 101 operates as described above. Therefore, such an image division processing means 1
01 to the CCD camera 3
With reference to FIG. 6, how the video image actually captured changes the inter-frame difference df will be described with reference to FIG. First, the following parameters are given to the image division processing means 101. That is, the step function s1 was set to 30% of the maximum value, s2 was set to 60%, s3 was set to 90%, and the weighting factors were set as w1 = 6, w2 = 8, and w3 = 10. The number of frames to be averaged was set to the past 10 frames, and the number of frames until the state was determined was set to 3 frames. The parameters for determining the deviation range were set to b = 2 and c = 3. In this state, the operation of processing the inter-frame difference df by the image segmentation processing means 101 is performed. Note that the time interval delimiter processing was operated at 7 [frame per second (fps)].

【００４６】このような状態でＣＣＤカメラ３１をパン
（カメラをほぼ水平円運動となるように静かに水平方向
に移動）させたときのフレーム間差分dfの変化と、検出
された変化点とが図６に示されている。図６（ａ）に
は、ＣＣＤカメラ３１からのビデオ映像が画像区切処理
手段１０１によって縮小処理された結果の縮小画像２１
１，２１１，…のうち、変化点として検出された時点の
画像２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１
ｅが時間の経過に沿って表示されている。In this state, when the CCD camera 31 is panned (the camera is gently moved in the horizontal direction so as to make a substantially horizontal circular motion), the change in the inter-frame difference df and the detected change point are: This is shown in FIG. FIG. 6A shows a reduced image 21 as a result of reducing the video image from the CCD camera 31 by the image segmenting means 101.
The images 211a, 211b, 211c, 211d, 211 at the time when they are detected as change points among 1, 211,.
e is displayed over time.

【００４７】また、図６（ｂ）では、横軸が時間軸方向
であってフレーム数を表しており、縦軸がフレーム間差
分dfの値がとられている。画像２１１ａ，２１１ｂ，２
１１ｃ，２１１ｄ，２１１ｅからそれぞれ延びた矢印で
示される丸で囲まれた点が状態が確定したフレームであ
る。画像２１１ａは定常と、画像２１１ｂは活性と、画
像２１１ｃは定常と、画像２１１ｄは沈静と、画像２１
１ｅは定常と判定されている。In FIG. 6B, the horizontal axis indicates the number of frames in the time axis direction, and the vertical axis indicates the value of the inter-frame difference df. Images 211a, 211b, 2
Points surrounded by circles indicated by arrows extending from 11c, 211d, and 211e are frames whose states are determined. Image 211a is steady, image 211b is active, image 211c is steady, image 211d is calm, image 21d is steady.
1e is determined to be stationary.

【００４８】これは、ＣＣＤカメラ３１をパンし始める
と、最初は、ＣＣＤカメラ３１の手ぶれによる揺れがあ
るが、フレーム間差分dfの値が一定の範囲内であるので
変化とみなさないことを示している（図６（ａ）の画像
２１１ａから延びた矢印参照、図５のＳ３０１，Ｓ３０
３，Ｓ３０４，Ｓ３０６，Ｓ３０７，Ｓ３０９ ）。This means that when the CCD camera 31 starts to pan, the CCD camera 31 initially shakes due to camera shake, but is not regarded as a change because the value of the inter-frame difference df is within a certain range. (See arrows extending from the image 211a in FIG. 6A, S301 and S30 in FIG. 5).
3, S304, S306, S307, S309).

【００４９】しかしながら、一旦ＣＣＤカメラ３１のパ
ンが始まると、フレーム間差分dfの値が一定の範囲内を
超え続けるため活性状態に変化することを示している
（図６（ａ）の画像２１１ｂから延びた矢印参照、図５
のＳ３０１，Ｓ３０５，Ｓ３１０ ）。However, once the panning of the CCD camera 31 starts, the value of the inter-frame difference df continues to exceed a certain range, and thus changes to the active state (from the image 211b in FIG. 6A). See extended arrow, FIG.
S301, S305, S310).

【００５０】さらに、ＣＣＤカメラ３１のパンを続けて
いると、フレーム間差分dfの値は大きいが、変化の範囲
が一定の範囲内に入っているため、再び定常状態に戻る
（図６（ａ）の画像２１１ｃから延びた矢印参照、図５
のＳ３０１，Ｓ３０３，Ｓ３０４，Ｓ３０６，Ｓ３０
７，Ｓ３０９ ）。Further, if the CCD camera 31 is continuously panned, the value of the inter-frame difference df is large, but the range of change is within a certain range, so that the state returns to the steady state again (FIG. 6A ), See arrow extending from image 211c, FIG.
S301, S303, S304, S306, S30
7, S309).

【００５１】やがて、ＣＣＤカメラ３１のパンが終了
し、ＣＣＤカメラ３１の移動が停止すると、フレーム間
差分dfの値の変化が小さくなるので、沈静状態に戻る
（図６（ａ）の画像２１１ｄから延びた矢印参照、図５
のＳ３０１，Ｓ３０３，Ｓ３０４，Ｓ３０６，Ｓ３０
７，Ｓ３０８，Ｓ３１０ ）。When the panning of the CCD camera 31 ends and the movement of the CCD camera 31 stops, the change in the value of the inter-frame difference df becomes small, and the state returns to the calm state (from the image 211d in FIG. 6A). See extended arrow, FIG.
S301, S303, S304, S306, S30
7, S308, S310).

【００５２】さらに、ＣＣＤカメラ３１の移動がほとん
ど停止すると、再び、定常に戻る（図６（ａ）の画像２
１１ｅから延びた矢印参照、図５のＳ３０１，Ｓ３０
３，Ｓ３０４，Ｓ３０６，Ｓ３０７，Ｓ３０９ ）。Further, when the movement of the CCD camera 31 is almost stopped, the operation returns to the normal state again (image 2 in FIG. 6A).
See arrow extending from 11e, S301, S30 in FIG.
3, S304, S306, S307, S309).

【００５３】このように画像区切処理手段１０１は動作
することになり、フレームの状態を確定することができ
る。As described above, the image division processing means 101 operates, and the state of the frame can be determined.

【００５４】図７に、撮影領域内へ侵入物があった場合
に、本画像区切処理手段１０１が、どのような動作をす
るのかを説明するための図を示す。ここで、図７
（ａ），（ｃ）は検出された画像であり、図７（ｂ）は
フレームに対する色変化変化量を示す特性図である。FIG. 7 is a diagram for explaining the operation of the present image segmentation processing means 101 when an intruder is present in the photographing area. Here, FIG.
7A and 7C are detected images, and FIG. 7B is a characteristic diagram showing a color change change amount for a frame.

【００５５】ここで、侵入物としてDAT テープを用い
た。図７の例では、CCD カメラを固定し、まずDAT テー
プを手でフレームイン（撮影画面内に、外から入ってカ
メラに映るようにすること）させる。次に、撮影画面内
で回転させ、その後、急速にカメラにDAT テープを接近
させ、フレームアウト（画面外に退出）させるものとす
る。Here, a DAT tape was used as an intruder. In the example of FIG. 7, the CCD camera is fixed, and first, the DAT tape is manually framed in (to enter the shooting screen from outside to be reflected on the camera). Next, it is assumed that the DAT tape is rotated in the shooting screen, and then the DAT tape is rapidly approached to the camera and is moved out of the screen (out of the screen).

【００５６】この図７の上部の画像群２３１ａ，２３１
ｂ，…，２３１ｅは、当該図面の左より右へ時間の経過
に沿って、変化点として検出された時点での画像であ
る。The image groups 231a and 231 in the upper part of FIG.
, 231e are images at the time when they are detected as change points along the passage of time from the left to the right of the drawing.

【００５７】また、この図７の下部の画像群２３２ａ，
２３２ｂ，２３２ｃは、上部の後に検出された変化時点
での画像であり、同様に、左より右へ時間の経過に沿っ
て並べたものである。The image group 232a, 232a,
232b and 232c are images at the time of the change detected after the upper part, and are similarly arranged from left to right over time.

【００５８】ここでは、画像２３１ａが定常、画像２３
１ｂがフレームインで活性、画像２３１ｃが定常、画像
２３１ｄがカメラに急接近で活性、画像２３１ｅが定常
と検出され、また、画像２３２ａがフレームアウトで活
性、画像２３２ｂが沈静、画像２３２ｃが定常と検出さ
れていることになる。Here, the image 231a is stationary,
It is detected that 1b is active in frame-in, image 231c is steady, image 231d is active when approaching the camera rapidly, image 231e is steady, and image 232a is active in frame-out, image 232b is calm, and image 232c is steady. It has been detected.

【００５９】これは、まず画面内にDAT テープが侵入す
ることにより、画面内の色変化dfが大きく変わるため
（図７（ｂ）および図７（ａ）の画像２３１ｂに関連す
る部分参照）、侵入から３フレーム目で活性と判断した
ものである。その後、画面内でDAT テープを手で回転さ
せているが、その変化は一定の範囲内に収まっているた
め、定常状態が継続していると判定している（図７
（ｂ）および画像２３１ｃに関連部分を参照）。This is because the color change df in the screen changes greatly due to the intrusion of the DAT tape into the screen (see the portion related to the image 231b in FIGS. 7B and 7A). It is determined to be active in the third frame from the intrusion. After that, the DAT tape is manually rotated in the screen, but since the change is within a certain range, it is determined that the steady state is continued (FIG. 7).
(B) and the part related to the image 231c).

【００６０】しかしながら、急速に画面に接近させた時
に、それまでの回転での変化量を大幅に越える変化があ
ったために（図７（ｂ）および図７（ａ）の画像２３１
ｄに関連する部分参照）、活性と判定している。また画
面内からDATテープを外す時点で再び変化量が大きくな
るため（図７（ｂ）および図７（ｃ）の画像２３２ａに
関連する部分参照）、活性と判定する。DAT テープが無
くなると、画面内で変化するものがなくなるため、沈静
状態に遷移し（図７（ｂ）および図７（ｃ）の画像２３
２ｂに関連する部分参照）、やがて無変化の状態が続く
ため、再び定常状態に遷移する（図７（ｂ）および図７
（ｃ）の画像２３２ｃに関連する部分参照）。However, when the image is rapidly approached to the screen, a change greatly exceeds the change amount in the rotation up to that time (see the image 231 in FIGS. 7B and 7A).
d), it is determined to be active. Also, when the DAT tape is removed from the screen, the amount of change becomes large again (see the portion related to the image 232a in FIGS. 7B and 7C), so that it is determined to be active. When the DAT tape runs out, there is no change in the screen, so that the state transits to the calm state (see the image 23 in FIGS. 7B and 7C).
2b), the state of no change continues, and the state transits to the steady state again (FIGS. 7B and 7B).
(See the part related to the image 232c in (c)).

【００６１】このように画像区切処理手段１０１は動作
することになり、侵入物の有無や、画面内で物体の動き
の変化を捉えて、フレームの状態を確定することができ
る。As described above, the image segmentation processing means 101 operates, and the state of the frame can be determined by detecting the presence or absence of an intruder and the change in the movement of the object in the screen.

【００６２】〔変化特徴抽出手段１０３の詳細な処理に
ついて〕図８に、同画像データベース装置において画像
情報の中で変化のあった領域から部分グリッド抽出処理
を説明するための図を示す。図９に、同抽出処理のフロ
ーチャートを示す。[Detailed Processing of Change Feature Extraction Means 103] FIG. 8 is a diagram for explaining a partial grid extraction processing from a changed area in the image information in the image database apparatus. FIG. 9 shows a flowchart of the extraction processing.

【００６３】これらの図において、変化特徴抽出手段１
０３は、フレーム単位に、変化のあった画素周辺のみを
以下のように集計する。すなわち、変化特徴抽出手段１
０３は領域抽出手段を動作させ、この領域抽出手段によ
ってフレーム２２０毎に変化のあった領域２２１を抽出
する（図８のＳ２３１、図９のＳ３２１）。In these figures, the changing feature extracting means 1
In step 03, only the area around the changed pixel is counted as follows in units of frames. That is, the change feature extracting means 1
In step 03, the area extracting unit is operated, and the area extracting unit 221 extracts an area 221 changed for each frame 220 (S231 in FIG. 8, and S321 in FIG. 9).

【００６４】次に、変化特徴抽出手段１０３は抽出領域
決定手段を動作させ、この領域抽出手段によって変化の
あった領域２２１を含む周辺領域２２２を抽出領域と
し、２×２画素の４画素を一つの単位とし、これら画素
が重なりあった領域として登録できるように、変化のあ
った領域２２１を含む周辺領域２２２に通し番号を付与
する。図８の例では、１段目に「１，２，３，４」と、
２段目に「５，６，７，８、９」と、３段目に「Ａ，
Ｂ，Ｃ，…，Ｆ」と、……、５段目に「Ｏ，Ｐ，Ｑ，
…，Ｔ」というように番号を配置する（図８のＳ２３
２、図９のＳ３２２）。Next, the changing feature extracting means 103 operates the extracting area determining means, and the peripheral area 222 including the area 221 changed by the area extracting means is set as the extracting area, and four pixels of 2 × 2 pixels are set as one. A serial number is assigned to the peripheral area 222 including the changed area 221 so that these pixels can be registered as an overlapped area. In the example of FIG. 8, “1, 2, 3, 4” is
In the second row, "5, 6, 7, 8, 9" and in the third row, "A,
B, C,..., F ”,.
.., T ”(S23 in FIG. 8).
2, S322 in FIG. 9).

【００６５】次に、変化特徴抽出手段１０３はグリッド
抽出手段を動作させ、このグリッド抽出手段によって、
重なりあった領域の部分グリッド、例えば「１，２，
５，６」の部分グリッド２２５ａ、「２，３，６，７」
の部分グリッド２２５ｂ、「３，４，７，８」の部分グ
リッド２２５ｃ，…を抽出する（図８のＳ２３３、図９
のＳ３２３）。なお、ここで、部分グリッド２２５ａ，
２２５ｂ，…とは、前記２×２画素の部分のことをいっ
ている。Next, the change feature extraction means 103 operates the grid extraction means, and the grid extraction means
The partial grid of the overlapped area, for example, “1, 2,
5,6 "partial grid 225a," 2,3,6,7 "
, And the partial grids 225c of "3, 4, 7, 8" are extracted (S233 in FIG. 8, FIG. 9).
S323). Here, the partial grids 225a,
225b,... Refer to the 2 × 2 pixel portion.

【００６６】この変化特徴抽出手段１０３では、図９の
ステップ３２１〜３２３の処理を画像が入力されている
間に実行する。そして、変化特徴抽出手段１０３は集計
処理手段を動作させ、この集計処理手段によって、時区
間に区切られた画面を一つの単位とし、この一つの単位
の画面に含まれるすべての画像から部分グリッドを集め
て集計し、その集合によって区切り単位を表示してい
る。The change feature extracting means 103 executes the processing of steps 321 to 323 in FIG. 9 while an image is being input. Then, the change feature extraction unit 103 operates the tally processing unit, and the tally processing unit sets the screen divided into time sections as one unit, and generates a partial grid from all the images included in the one unit screen. The data is collected and totaled, and the set is used to indicate the delimiter unit.

【００６７】図１０に、同画像データベース装置におい
て４枚の画像から部分グリッドを集合抽出処理を行った
結果を説明するための図を示す。上述した変化特徴抽出
手段１０３が図８及び図９の処理ステップにより、例え
ば４枚の縮小画像２５１，２５２，２５３，２５４から
部分グリットの抽出処理を行ったことにより、例えば一
つの部分グリッド２２５が３７１個存在する集合体２５
５として得られることになる。FIG. 10 is a diagram for explaining the result of performing a set extraction process of partial grids from four images in the same image database apparatus. The above-described change feature extraction unit 103 performs the extraction processing of the partial grid from, for example, the four reduced images 251, 252, 253, and 254 in the processing steps of FIGS. Aggregate 25 with 371
5 will be obtained.

【００６８】このように処理することにより、変化部周
辺の部分グリットのみが抽出されることになる。一般的
に、運動している物体の画像の場合には、そのエッジ付
近に部分グリッドが集中することになる。したがって、
その集合体を登録しておくことにより、検索が容易にな
る。By performing the processing as described above, only the partial grid around the changing portion is extracted. Generally, in the case of an image of a moving object, partial grids are concentrated near the edge. Therefore,
By registering the aggregate, search becomes easy.

【００６９】〔登録・検索処理手段１０５の詳細な処理
について〕図１１に、同画像データベース装置において
データベースへの登録・検索処理を説明するための図を
示す。[Detailed Processing of Registration / Search Processing Unit 105] FIG. 11 is a diagram for explaining registration / search processing to the database in the image database apparatus.

【００７０】まず、登録・検索処理手段１０５につい
て、登録処理を説明する。登録・検索処理手段１０５
は、例えば抽出された部分グリッドの集合体２５５か
ら、登録する部分グリッドＰＧを取り出す（図１１のＳ
３３１）。この部分グリッドＰＧは、４画素（“１”
“２”“３”“４”）から構成されている。First, the registration processing of the registration / search processing means 105 will be described. Registration / search processing means 105
Extracts a partial grid PG to be registered, for example, from a set 255 of extracted partial grids (S in FIG. 11).
331). This partial grid PG has four pixels (“1”).
"2""3""4").

【００７１】登録・検索処理手段１０５は、この部分グ
リッドＰＧの４画素のうちの３画素をキーＫｙＡ，Ｋｙ
Ｂ，ＫｙＣ，ＫｙＤとし、これらキーＫｙＡ，ＫｙＢ，
ＫｙＣ，ＫｙＤを４つのデータベース１０６Ａ，１０６
Ｂ，１０６Ｃ，１０６Ｄに登録手段により登録される
（図１１のＳ３３２，Ｓ３３３）。The registration / search processing means 105 assigns three of the four pixels of the partial grid PG to the keys KyA and Ky.
B, KyC, KyD, and these keys KyA, KyB,
KyC and KyD are stored in four databases 106A and 106
B, 106C and 106D are registered by the registration means (S332 and S333 in FIG. 11).

【００７２】ここで、キーＫｙＡは４画素のうち３画素
（“２”“３”“４”）からなり、ＫｙＢは４画素のう
ち３画素（“１”“３”“４”）からなり、ＫｙＣは４
画素のうち３画素（“１”“２”“４”）からなり、Ｋ
ｙＤは４画素のうち３画素（“１”“２”“３”）から
なる。Here, the key KyA is composed of three pixels (“2”, “3”, “4”) of the four pixels, and the key KyB is composed of three pixels (“1”, “3”, “4”) of the four pixels. , KyC is 4
It is composed of three pixels (“1”, “2”, “4”) among the pixels,
yD is composed of three pixels (“1”, “2”, “3”) among the four pixels.

【００７３】これら４種類のキーの集合が色パターンを
含む対象群２６０Ａ，２６０Ｂ，２６０Ｃ，２６０Ｄと
なる。 ここで、登録・検索処理手段１０５では、３画
素からなるキーＫｙＡ，ＫｙＢ，ＫｙＣ，ＫｙＤをデー
タベース１０６Ａ，１０６Ｂ，１０６Ｃ，１０６Ｄにそ
れぞれ登録したことになる。このようにしたことによ
り、３／４（７５％）の閾値となり、検索手段による部
分グリッドの高速な照合が可能となる。このようにする
理由は、傾きや隠れによって４画素全てが照合されなく
ても、空間的な画素の関係を保存していれば照合できる
ようにするためである。A set of these four types of keys becomes a target group 260A, 260B, 260C, 260D including a color pattern. Here, the registration / search processing means 105 has registered the keys KyA, KyB, KyC, and KyD of three pixels in the databases 106A, 106B, 106C, and 106D, respectively. By doing so, the threshold value becomes 3/4 (75%), and high-speed collation of partial grids by the search means becomes possible. The reason for this is that even if all four pixels are not collated due to inclination or occlusion, collation can be performed if the spatial pixel relationship is preserved.

【００７４】登録・検索処理手段１０５は、上述した登
録（図１１のＳ３３３）と同時に、当該データベースの
対象群２６０Ａ，２６０Ｂ，２６０Ｃ，２６０Ｄを検索
手段によって照合し、過去の類似シーンから類似の高い
順から取り出し、それら候補２７１，２７２，２７３を
検索結果とする（図１１のＳ３３４）。この登録・検索
処理手段１０５による検索結果は、現在入力されている
ビデオ情報及びその代表画面と共に、処理装置５５の制
御下に表示情報送信機５２から送出される。これによ
り、携帯型端末３の小型テレビ３３には、現在入力され
ているビデオ映像と、その代表画面、検索結果の３つの
候補画面とが表示されることになる。この実施の形態で
は、登録・検索処理手段１０５は、登録と同時に直ぐに
検索の動作を実行している。これによって大容量外部記
憶装置５９へのアクセス数を大幅に減らすことができ
る。At the same time as the above-mentioned registration (S333 in FIG. 11), the registration / retrieval processing means 105 checks the object groups 260A, 260B, 260C, 260D of the database by the retrieval means, and finds similar scenes with high similarity from past similar scenes. The candidates 271, 272, and 273 are taken out in order, and are set as search results (S 334 in FIG. 11). The search result by the registration / search processing means 105 is transmitted from the display information transmitter 52 under the control of the processing device 55 together with the currently input video information and its representative screen. As a result, the currently input video image, its representative screen, and three candidate screens of the search result are displayed on the small television 33 of the portable terminal 3. In this embodiment, the registration / search processing means 105 executes a search operation immediately upon registration. Thus, the number of accesses to the large-capacity external storage device 59 can be significantly reduced.

【００７５】この実施の形態で扱うビデオ画面は、テレ
ビ映像と異なり、フレーム間の画像変化が小さく、似た
ように画像が連続して入力されることになる。したがっ
て、短い時間で見れば登録・検索される部分グリッドは
数は多いにしても似たような物に集中する性質がある。
この性質を有効利用するため、類似部分グリッドをまと
めてメモリにキャッシュするようにしてある。The video screen handled in this embodiment is different from a television picture in that an image change between frames is small and images are continuously input in a similar manner. Therefore, if viewed in a short time, the registered and searched partial grids tend to concentrate on similar objects even if the number is large.
To effectively utilize this property, similar partial grids are collectively cached in a memory.

【００７６】また、同じ部分グリットが多くの画像群に
含まれている場合は、特徴的でない情報と考えられる。
そのため、少ない対象にのみ含まれている部分グリッド
ほど大きな重みを付けて集計している（図１１のＳ３３
４）。When the same partial grid is included in many image groups, it is considered that the information is not characteristic.
Therefore, a partial grid that is included only in a small number of objects is counted with a larger weight (S33 in FIG. 11).
4).

【００７７】さらに、登録・検索処理手段１０５により
処理されるところの、検索する部分グリッドと過去の関
連する部分グリッドとの類似度の計算について説明す
る。この類似度sim は、次のように計算される。なお、
類似度sim が大きいほど類似性は高いものとなることは
いうまでもない。Further, the calculation of the similarity between the partial grid to be searched and the past related partial grid, which is processed by the registration / search processing means 105, will be described. This similarity sim is calculated as follows. In addition,
It goes without saying that the larger the similarity sim, the higher the similarity.

【００７８】まず、ある部分グリッドのａと他の部分グ
リッドｂとは、位置と色とが３つ以上共通している場合
に等しいとするものとする（ａ＝ｂ）。また、データベ
ース２６０Ａ，２６０Ｂ，２６０Ｃ，２６０Ｄの中のビ
デオ映像のうち部分グリッドａを含む数をｍ（ａ）とす
る。このｍ（ａ）が大きいほど多くのビデオ映像に共通
して表れる部分グリッドである。さらに、Ｔを現在入力
されつつあるターゲットビデオ映像、Ｘを既に登録され
たビデオ映像とする。さらにまた、Ｐ（Ｘ）をＸから抽
出された部分グリッドの集合とすると、First, it is assumed that a of a certain partial grid and another partial grid b are equal when three or more positions and colors are common (a = b). Also, let m (a) be the number of video images in the databases 260A, 260B, 260C, and 260D that includes the partial grid a. The larger this m (a) is, the more the partial grid appears in many video images. Further, let T be the currently input target video image, and let X be the already registered video image. Further, if P (X) is a set of partial grids extracted from X,

【数６】sim(Ｘ，Ｔ）＝Σ｛ｋ／ｍ（ａ）｝ ∀ａ：ａ＝ｂ，ａ∈Ｐ（Ｘ），ｂ∈Ｐ（Ｔ）。 ただし、ｋは加算用の重みのベース値。が得られる。登
録・検索処理手段１０５は、上記数式４を基に現在入力
されつつあるビデオ画面の部分グリッドと、既に登録さ
れたビデオ映像の部分グリッドとの類似度を計算し、そ
の類似度の高いものから３つの関連画像２７１，２７
２，２７３を抽出して検索結果としている。Sim (X, T) = {k / m (a)} a: a = b, a ， P (X), b∈P (T). Here, k is the base value of the weight for addition. Is obtained. The registration / search processing means 105 calculates the similarity between the currently input video screen partial grid and the already registered video video partial grid based on Equation 4 above, and calculates the similarity from the higher similarity. Three related images 271, 27
2,273 are extracted as search results.

【００７９】図１２に、同画像データベース装置におい
て部分グリッドを格納するデータベースの構成を説明す
るための図を示す。この図１２において、処理装置５５
の主メモリ上に３画素中２画素の値をキーとする領域
（root) ５０１を持っており、この領域５０１には３画
素目の情報を保管したファイルブロック（blanch) ５０
２へのポインタが格納されている。また、ファイルブロ
ック５０２の内には、３画素目の画素値に応じて別なフ
ァイルブロック（leaf) ５０３へのポインタが格納され
ている（図１２のＳ３５１）。さらに、このファイルブ
ロック５０３には、キーとなる３画素に照合する部分ブ
ロックを含むビデオ映像のＩＤが格納されている。FIG. 12 is a diagram for explaining the configuration of a database for storing partial grids in the image database apparatus. In FIG. 12, the processing device 55
Has an area (root) 501 that uses the value of two pixels out of three pixels as a key in the main memory, and this area 501 has a file block (blanch) 50 storing information on the third pixel.
2 is stored. In the file block 502, a pointer to another file block (leaf) 503 is stored according to the pixel value of the third pixel (S351 in FIG. 12). Further, the file block 503 stores an ID of a video image including a partial block to be matched with three pixels serving as keys.

【００８０】登録・検索処理手段１０５は、領域（roo
t) ５０１のポインタを見て（図１２のＳ３５１）、フ
ァイルブロック（blanch) ５０２の所定の領域に移動す
る（図１２のＳ３５２）。The registration / retrieval processing means 105 stores the area (roo
t) Look at the pointer 501 (S351 in FIG. 12), and move to a predetermined area of the file block (blanch) 502 (S352 in FIG. 12).

【００８１】ついで、登録・検索処理手段１０５は、フ
ァイルブロック（blanch) ５０２の所定の領域を検索す
る（図１２のＳ３５３）。Next, the registration / search processing means 105 searches a predetermined area of the file block (blanch) 502 (S353 in FIG. 12).

【００８２】さらに、登録・検索処理手段１０５は、フ
ァイルブロック（blanch) ５０２の所定の領域を検索し
た結果、ファイルブロック（leaf) ５０３の所定の領域
に移動する（図１２のＳ３５４）。Further, as a result of searching the predetermined area of the file block (blanch) 502, the registration / search processing means 105 moves to the predetermined area of the file block (leaf) 503 (S354 in FIG. 12).

【００８３】そして、登録・検索処理手段１０５は、登
録・検索処理手段１０５の所定の領域を検索し、キーと
なる３画素を照合する部分ブロックを含むビデオ映像の
ＩＤを取り出すことができる（図１２のＳ３５４）。Then, the registration / retrieval processing means 105 searches a predetermined area of the registration / retrieval processing means 105, and can extract the ID of the video image including the partial block for collating the three pixels serving as a key (FIG. 12, S354).

【００８４】このようにして取り出したビデオ映像のＩ
Ｄから所望の類似の候補となる画像を取り出すことがで
きる。 なお、この実施の形態において、ファイルブロ
ック（blanch) ５０２及びファイルブロック（leaf) ５
０３は、リスト構造としないでリングバッファとして構
成している。このような構成にすることにより、特定の
部分ブロックが一杯になると、次のデータは前のデータ
を上書きして消してゆくようにしている。The video image I thus extracted
From D, a desired similar candidate image can be extracted. In this embodiment, the file block (blanch) 502 and the file block (leaf) 5
03 is configured as a ring buffer without having a list structure. With such a configuration, when a specific partial block becomes full, the next data overwrites the previous data and is erased.

【００８５】以上説明したように、この実施の形態で
は、上述したような処理を行って画像を処理し、登録・
検索を同時に行うようにしたので、次のような効果があ
る。As described above, in this embodiment, an image is processed by performing the above-described processing, and
Since the search is performed at the same time, the following effects are obtained.

【００８６】（１）人間の感覚的慣れを模擬したシーン
分割を行うことができる。すなわち、手ぶれや振動など
の定常的な変化と、視野内への侵入物やカメラの移動の
開始、停止などの過度的な変化を自動的に検出し、登録
シーンを分割できる。(1) It is possible to divide a scene simulating a human's sensory familiarity. That is, a registered scene can be divided by automatically detecting a steady change such as a camera shake or a vibration, and an excessive change such as a start or stop of an intruding object in the field of view or movement of the camera.

【００８７】（２）色パターンを使ってビデオ映像を登
録、検索できる。すなわち、色パターンを使用すること
により、色特徴の類似した映像を迅速に検索できる。(2) A video image can be registered and searched using a color pattern. That is, by using the color pattern, it is possible to quickly search for images having similar color characteristics.

【００８８】次に、他の実施の形態について説明する。
図１３に、対話型の画像データベース装置によって得ら
れる画面を示す。Next, another embodiment will be described.
FIG. 13 shows a screen obtained by the interactive image database device.

【００８９】このデータベース装置は、色の特徴を使っ
た検索で類似ビデオ映像を検索するため、照度条件の違
いにより、色が変わってしまったり、色が似通ったビデ
オ映像が多数ある場合は、最適なビデオ映像のみを出す
ことができないものであり、また、現在の実装では上位
３位を検索結果として出力しているが、本来もっとも関
連の深い登録シーンが必ずしも第１位に出るとは限らな
い。This database apparatus searches for similar video images by searching using color characteristics. Therefore, if the color changes due to a difference in the illuminance condition or if there are many video images having similar colors, the database apparatus is optimal. In the current implementation, the top three rankings are output as search results, but the most relevant registered scenes are not always ranked first. .

【００９０】今回、こういった場合に、利用者の助けを
借りて、より適切な検索結果を得ることができるように
データベースDBを修正するインタフェースと手法を開発
した。利用方法と処理手法について以下で説明する。In this case, in such a case, with the help of the user, an interface and a method for modifying the database DB so that more appropriate search results can be obtained have been developed. The usage method and processing method will be described below.

【００９１】図１３の画面４００で示されるような検索
結果に示される上位３位の画像４０３，４０４，４０５
の中から、利用者はマウスクリックによりいずれかを選
択することができる。なお、符号４０２は現在カメラに
入力されつつあるビデオの代表画面である。The top three images 403, 404, and 405 shown in the search results as shown on the screen 400 in FIG.
The user can select any of the above by clicking the mouse. Note that reference numeral 402 denotes a representative screen of a video currently being input to the camera.

【００９２】ここで、選択されると、対話型画像データ
ベース装置は、その選択された画像を代表画像とする登
録シーンを、現在カメラより入力されつつあるシーンに
関連づける。利用者がマウスにより指示すると、しばら
くして画面に図１３のような情報が表示される。図１３
に示す画像４００は、KEY24 の登録シーン（ビデオカメ
ラの上方斜めからの映像）を、16の登録シーン（ビデオ
カメラの前面映像）に関連づける処理を実行している。
登録シーン間の関連づけ情報は、ファイルに格納され、
その後の検索時に以下で述べるように利用する。Here, when selected, the interactive image database apparatus associates the registered scene with the selected image as the representative image with the scene currently being input from the camera. When the user gives an instruction with the mouse, information as shown in FIG. 13 is displayed on the screen after a while. FIG.
The image 400 shown in FIG. 14 executes a process of associating a registered scene of the KEY 24 (a video obliquely from above the video camera) with 16 registered scenes (a video in front of the video camera).
The association information between the registered scenes is stored in a file,
It will be used as described below during subsequent searches.

【００９３】例えば、登録シーンＡが登録シーンＢに関
連付けされているものとする（Ａ→Ｂ）。登録シーンＣ
には関連づけがないものとする。カメラから入力されつ
つあるシーン４０２（Ｔ）に対して、検索処理を行った
結果、sim(A,T)= 100, sim(B, T) = 50, sim(C, T) = 1
20 となったとする。関連づけ情報を使用しない場合、
第１位に登録シーンＣの代表画像４０３が、第２位に登
録シーンＡの代表画像４０４が、第３位に登録シーンＢ
の代表画像４０５が出現することになる。For example, assume that registered scene A is associated with registered scene B (A → B). Registration scene C
Has no association with. As a result of performing a search process on the scene 402 (T) being input from the camera, sim (A, T) = 100, sim (B, T) = 50, sim (C, T) = 1
Suppose it reaches 20. If you do not use association information,
The representative image 403 of the registered scene C is ranked first, the representative image 404 of the registered scene A is ranked second, and the registered scene B is ranked third.
Of the representative image 405 will appear.

【００９４】これに対し、この修正された手法では、Ａ
→Ｂの情報を使って、sim'(B, T) =sim(B, T) + sim(A,
T) = 100 + 50 = 150 としてを計算し、Ｂに対してsi
m'(B,T) を採用する。これによって、第１位がＢ，第２
位がＣ，３位がＡとなる。On the other hand, in this modified method, A
→ Using the information of B, sim '(B, T) = sim (B, T) + sim (A,
T) = 100 + 50 = 150
Use m '(B, T). As a result, the first place is B, the second place
The position is C and the third position is A.

【００９５】このようにすることにより、利用者の関連
づけ情報が以降の検索結果に反映されることになる。By doing so, the user association information is reflected in the subsequent search results.

【００９６】具体的な利用例を以下にあげる。色パター
ンが類似した２つの対象物Ａ，Ｂがあるとする。その場
合、Ａを見せてもＢが写っている登録シーンが第１位に
出てきたり、逆になったりすることがある。そのような
場合に利用者が同じ対象が写っているシーンを指示する
と、Ａ，Ｂに関する情報がそれぞれ集積されることにな
る。Specific examples of use are described below. It is assumed that there are two objects A and B having similar color patterns. In this case, even if A is shown, the registered scene in which B is shown may appear at the first place or may be reversed. In such a case, when the user designates a scene in which the same object is shown, information on A and B is accumulated.

【００９７】この他の実施の形態に係る対話型の画像デ
ータベース装置における類似計算におけるm(a)の項の効
果により、集積されるに従ってより特徴的な色パターン
が強調されることになり、やがて二つの対象物を区別が
確実にできるようになる。The effect of the term m (a) in the similarity calculation in the interactive image database device according to the other embodiment emphasizes more characteristic color patterns as they are accumulated, and eventually The two objects can be reliably distinguished.

【００９８】別の利用例を挙げる。ある対象物の前面を
撮影したビデオ映像が登録されているとする。その場
合、色パターンに高い類似性が無い限り、側面や背面か
ら撮影したビデオ映像から、前面のビデオ映像を第１位
に検索できない。そのような場合でも、部分的な色パタ
ーンの類似性により、上位３位以内に前面を撮影したビ
デオ映像の代表シーンが現れれば、ユーザはそれを選択
することにより、側面や背面のビデオ映像を、前面のビ
デオ映像と関連づけることができる。こうすることによ
り、以降は側面や背面をシステムに示しても、前面のビ
デオ映像を入手することができる。Another example of use will be described. It is assumed that a video image of the front of a certain object is registered. In this case, unless there is a high similarity in the color patterns, the video image on the front cannot be searched first from the video images shot from the side or the back. Even in such a case, if the representative scene of the video image whose front is shot appears within the top three places due to the similarity of the partial color patterns, the user selects it and the side or rear video image is selected. , Can be associated with the front video image. By doing so, a video image of the front can be obtained even if the side and the back are shown to the system thereafter.

【００９９】このような画像データベース装置は、図１
の携帯小型テレビ３３の代えて、携帯型パーソナルコン
ピュータを無線または有線ＬＡＮ（ローカル、エリア、
ネットワーク）で図１の画像処理計算機（処理装置５
５）に接続することにより、構築することができる。利
用者はマウスクリックを、マウス、トラックパッド、ト
ラックボールもしくはペン入力装置などを用いて指示す
ればよい。その指示情報は、ＬＡＮを経由して画像処理
計算機（処理装置５５）に伝えられる。伝えられると、
携帯型パーソナルコンピュータの画面に、図１３に示す
ような画像４００が表示されることになる。それ以降
は、上述した関連づけ情報を使った検索がなされること
になる。Such an image database device has the structure shown in FIG.
In place of the portable small television 33, a portable personal computer is connected to a wireless or wired LAN (local, area,
The image processing computer (processing device 5) of FIG.
It can be constructed by connecting to 5). The user may indicate a mouse click using a mouse, a trackpad, a trackball, a pen input device, or the like. The instruction information is transmitted to the image processing computer (processing device 55) via the LAN. When told,
An image 400 as shown in FIG. 13 is displayed on the screen of the portable personal computer. Thereafter, a search using the above-described association information is performed.

【０１００】このような他の実施の形態における対話型
画像データベース装置画像によれば、対話形式によって
確実に上述した関連づけ情報を使った検索が可能にな
る。尚、上述の実施形態は本発明の好適な実施の一例で
はあるが、これに限定されるものではなく、本発明の要
旨を逸脱しない範囲において種々変形実施可能である。According to the image of the interactive image database device in such another embodiment, it is possible to reliably perform the search using the above-mentioned association information in an interactive manner. The above embodiment is an example of a preferred embodiment of the present invention, but the present invention is not limited to this, and various modifications can be made without departing from the gist of the present invention.

【０１０１】[0101]

【発明の効果】以上の説明から明らかなように、本発明
によれば、画像を処理し、登録・検索を同時に行うよう
にしたので、次のような効果がある。As is apparent from the above description, according to the present invention, since the image is processed and the registration and the search are performed simultaneously, the following effects are obtained.

【０１０２】（１）手ぶれや振動などの定常的な変化と
視野内への侵入物やカメラの移動の開始、停止などの過
度的な変化を自動的に検出し、登録シーンを分割できる
ので、人間の感覚的慣れを模擬したシーン分割を行うこ
とができ、人間の感覚に合って画像情報を得ることがで
きる。(1) A registered scene can be divided by automatically detecting steady changes such as camera shake and vibration and excessive changes such as intrusion into the field of view and start and stop of movement of the camera. It is possible to divide a scene that simulates human sensory accustomedness, and obtain image information according to human senses.

【０１０３】（２）色パターンを使用することにより、
色特徴の類似した映像を迅速に登録・検索できる。(2) By using a color pattern,
Images with similar color characteristics can be quickly registered and searched.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の実施の形態に係る画像データベース装
置の構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration example of an image database device according to an embodiment of the present invention.

【図２】同画像データベース装置の機能ブロックを示す
ブロック図である。FIG. 2 is a block diagram showing functional blocks of the image database device.

【図３】同画像データベース装置の携帯型端末の小型テ
レビに表示される表示画像の例を示す図である。FIG. 3 is a diagram showing an example of a display image displayed on a small television of a portable terminal of the image database device.

【図４】同画像データベース装置において画像縮小処理
を説明するために示す説明図である。FIG. 4 is an explanatory diagram illustrating an image reduction process in the image database device.

【図５】同画像データベース装置における画像区切処理
手段の処理フローチャートである。FIG. 5 is a processing flowchart of an image segmentation processing means in the image database device.

【図６】同図（ａ）は画像データベース装置において、
ＣＣＤカメラをパンさせたときの画像を示し、同図
（ｂ）はその際のフレーム間差分変化と検出された変化
点との関係を示す図である。FIG. 6A shows an image database device.
FIG. 4B shows an image when the CCD camera is panned, and FIG. 4B is a diagram showing the relationship between the inter-frame difference change and the detected change point at that time.

【図７】同図（ａ）（ｃ）は撮影領域内へ侵入物があっ
た場合の画像の状態を時間の経過とともに示す図、同図
（ｂ）は色情報の変化を時間の経過とともに示す特性図
である。FIGS. 7A and 7C are diagrams showing the state of an image with the passage of time when an intruder is present in the photographing area, and FIG. 7B is a diagram showing changes in color information with the passage of time; FIG.

【図８】同画像データベース装置において画像情報の中
で変化のあった領域から部分グリッド抽出処理を説明す
るための説明図である。FIG. 8 is an explanatory diagram for describing a partial grid extraction process from a region in image information that has changed in the image database device.

【図９】同画像データベース装置において画像情報の中
で変化のあった領域から部分グリッド抽出処理を説明す
るために示すフローチャートである。FIG. 9 is a flowchart shown to explain a partial grid extraction process from a changed area in image information in the image database device.

【図１０】同画像データベース装置において４枚の画像
から部分グリッドを集合抽出処理を行った結果を説明す
るための図である。FIG. 10 is a diagram for describing a result of performing a set extraction process of a partial grid from four images in the image database device.

【図１１】同画像データベース装置においてデータベー
スへの登録・検索処理を説明するための図である。FIG. 11 is a diagram illustrating registration / retrieval processing to a database in the image database device.

【図１２】同画像データベース装置において部分グリッ
ドを格納するデータベースの構成を説明するための図で
ある。FIG. 12 is a diagram illustrating a configuration of a database that stores a partial grid in the image database device.

【図１３】他の実施の形態に係る対話型の画像データベ
ース装置の携帯型端末のディスプレイ上に表示される表
示画像の例を示す図である。FIG. 13 is a diagram showing an example of a display image displayed on a display of a portable terminal of an interactive image database device according to another embodiment.

【符号の説明】[Explanation of symbols]

１ 画像データベース装置 ３ 携帯型端末 ５ 画像処理装置 ３１ ＣＣＤカメラ ３２ 無線画像送信機 ３３ 小型テレビ ５１ 無線画像受信機 ５２ 表示情報送信機 ５３ 計算機 ５５ 処理装置 ５６ ディスプレイ ５７ キーボード ５８ マウス ５９ 大容量外部記憶装置 １０１ 画像区切処理手段 １０３ 変化特徴抽出手段 １０５ 登録・検索処理手段 Reference Signs List 1 image database device 3 portable terminal 5 image processing device 31 CCD camera 32 wireless image transmitter 33 small television 51 wireless image receiver 52 display information transmitter 53 computer 55 processing device 56 display 57 keyboard 58 mouse 59 large-capacity external storage device 101 image segmentation processing means 103 change feature extraction means 105 registration / search processing means

フロントページの続き Ｆターム(参考） 5C066 AA11 BA20 CA13 ED00 EF16 FA06 GA01 GA11 GA29 GA32 GA33 GB01 KA11 KE01 KE07 KE11 KE17 KM02 KM11 5L096 AA02 AA06 BA20 CA04 CA14 EA03 EA05 FA19 FA32 FA66 FA72 GA08 GA34 GA51 HA02 JA03 JA11 KA09 KA15 Continued on the front page F term (reference) 5C066 AA11 BA20 CA13 ED00 EF16 FA06 GA01 GA11 GA29 GA32 GA33 GB01 KA11 KE01 KE07 KE11 KE17 KM02 KM11 5L096 AA02 AA06 BA20 CA04 CA14 EA03 EA05 FA19 FA32 FA66 FA72 GA08 GA31

Claims (5)

【特許請求の範囲】[Claims] 【請求項１】 入力されるビデオ映像のフレーム間の色
情報の差分をとり当該差分が所定の比較値から大きく逸
脱したときに変化があったと判断してビデオ映像を時区
間に区切る画像区切処理手段と、前記フレーム毎にビデ
オ映像の色情報が変化した部分の色パターンを抽出して
変化のあった画素周辺を部分グリッドなる色情報を表す
配列として取り出すとともに、これら部分グリッドを前
記画像区切処理手段で区切った時区間単位に含まれる画
像の中から集計する変化特徴抽出手段と、前記変化特徴
抽出手段によって集計された部分グリッドをデータベー
スに登録すると同時に、当該部分グリッドと前記データ
ベースに既に登録されている画像情報の部分グリッドと
を用いて類似度の高い関連画面を検索して提示する登録
・検索処理手段とを備えたことを特徴とする画像データ
ベース装置。1. An image segmentation process for taking a difference in color information between frames of an input video image and judging that a change has occurred when the difference greatly deviates from a predetermined comparison value, and dividing the video image into time intervals. Means for extracting a color pattern of a portion where the color information of the video image has changed for each frame and extracting the periphery of the changed pixel as an array representing color information as a partial grid; At the same time as registering the change feature extracting means for summarizing from the images included in the time section unit divided by the means and the partial grids summarized by the change feature extracting means in the database, the partial grid and the partial grid already registered in the database are already registered. Registration / search processing means for searching for and presenting a related screen having a high degree of similarity using the partial grid of the image information An image database device comprising: 【請求項２】 前記画像区切処理手段は、入力されるビ
デオ映像の縮小画面をえる縮小処理手段と、当該縮小処
理手段からの縮小画面のフレーム間差分をとるフレーム
間差分計算処理手段と、前記フレーム間差分計算処理手
段からの現在のフレーム間差分と所定の数の過去のフレ
ーム間差分の平均値である比較値とを比較して値の差が
大きく逸脱したときに当該フレームの状態を決定するフ
レーム状態決定手段と、当該フレーム状態決定手段から
の決定状態が連続して所定の数だけ連続したときに状態
遷移が確定したと判断する状態遷移判定手段とからなる
ことを特徴とする請求項１記載の画像データベース装
置。2. The image segmentation processing means includes: a reduction processing means for obtaining a reduced screen of an input video image; an inter-frame difference calculation processing means for calculating an inter-frame difference of the reduced screen from the reduction processing means; The present inter-frame difference from the inter-frame difference calculation processing means is compared with a comparison value which is an average value of a predetermined number of past inter-frame differences, and the state of the frame is determined when the difference between the values greatly deviates. And a state transition determining unit that determines that a state transition has been determined when the determined states from the frame state determining unit continue for a predetermined number of times. 2. The image database device according to 1. 【請求項３】 前記変化特徴抽出手段は、ビデオ映像の
フレーム毎に変化のあった領域を抽出する領域抽出手段
と、前記領域抽出手段からの変化のあった領域の周辺の
画素を決定する抽出領域決定手段と、前記抽出領域決定
手段で決定した画素から部分グリッドを抽出するグリッ
ド抽出手段と、前記グリッド抽出手段で抽出した部分グ
リッドを区切られた時区分の画像毎に集計し時区分され
た画像を部分グリッドで表示できる集計処理手段とを備
えたことを特徴とする請求項１記載の画像データベース
装置。3. The change feature extracting unit extracts a region that has changed for each frame of a video image, and an extraction unit that determines pixels around the changed region from the region extracting unit. Area determination means, grid extraction means for extracting a partial grid from the pixels determined by the extraction area determination means, and partial grids extracted by the grid extraction means are totaled and time-divided for each divided time-divided image. 2. The image database apparatus according to claim 1, further comprising: a tally processing unit capable of displaying images in a partial grid. 【請求項４】 前記登録・検索処理手段は、部分グリッ
ドから検索用キーをえる検索キー処理手段と、前記検索
キー処理手段からの検索用キーを複数のデータベースに
登録する登録手段と、登録されている部分グリッドから
類似度の高い関連画像を提示する検索手段とを備えたこ
とを特徴とする請求項１記載の画像データベース装置。4. The registration / search processing means includes: a search key processing means for obtaining a search key from a partial grid; a registration means for registering a search key from the search key processing means in a plurality of databases; 2. The image database apparatus according to claim 1, further comprising a search unit that presents a related image having a high similarity from the partial grid. 【請求項５】 入力されるビデオ映像のフレーム間の差
分をとり当該差分が所定の比較値から大きく逸脱したと
きに変化があったと判断してビデオ映像を時区間に区切
る画像区切工程と、前記フレーム毎にビデオ映像の色情
報が変化した部分の色パターンを抽出して変化のあった
画素周辺を部分グリッドとして取り出すとともに、これ
ら部分グリッドを前記画像区切処理手段で区切った時区
間単位に含まれる画像の中から集計する変化特徴抽出工
程と、前記変化特徴抽出工程によって集計された部分グ
リッドをデータベースに登録すると同時に、当該部分グ
リッドと前記データベースに既に登録されている画像情
報の部分グリッドとを用いて類似度の高い関連画面を検
索して提示する登録・検索処理工程とを備えたことを特
徴とする画像データベース作成検索方法。5. An image dividing step of taking a difference between frames of an input video image and judging that there has been a change when the difference greatly deviates from a predetermined comparison value, and dividing the video image into time intervals. The color pattern of the portion where the color information of the video image has changed for each frame is extracted, and the periphery of the changed pixel is extracted as a partial grid, and these partial grids are included in time interval units divided by the image segmentation processing means. At the same time as registering the change feature extraction step of summarizing from the image and the partial grids calculated by the change feature extraction step in the database, the partial grid and the partial grid of the image information already registered in the database are used. Data processing, including a registration / search processing step of searching for and presenting a related screen having a high degree of similarity. Base creation search method.