JP2000222439A - ツリ―構造の動映像索引記述子を用いる検索装置及びその方法 - Google Patents
ツリ―構造の動映像索引記述子を用いる検索装置及びその方法Info
- Publication number
- JP2000222439A JP2000222439A JP2000024382A JP2000024382A JP2000222439A JP 2000222439 A JP2000222439 A JP 2000222439A JP 2000024382 A JP2000024382 A JP 2000024382A JP 2000024382 A JP2000024382 A JP 2000024382A JP 2000222439 A JP2000222439 A JP 2000222439A
- Authority
- JP
- Japan
- Prior art keywords
- index
- key frame
- frame number
- moving image
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/912—Applications of a database
- Y10S707/913—Multimedia
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/912—Applications of a database
- Y10S707/913—Multimedia
- Y10S707/914—Video
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 使用者が所望動映像情報を速かに検索し得る
ツリー構造の動映像索引記述子を用いる検索装置及びそ
の方法を提供する。 【解決手段】 使用者が情報検索のための質疑を開始す
ると復号化器に貯蔵されたツリー構造を有する動映像索
引記述子の最上位キーフレーム番号、索引内エッジ情報
及び階層別限界値をサーバー環境に送り、サーバー環境
ではキーフレーム番号を順次読み取って復号化器に送る
と、復号化器でそのキーフレーム番号により指示された
特徴ベクトルをサーバー環境に送る。前記サーバー環境
では、そのキーフレーム番号指示特徴ベクトルと質疑特
徴ベクトルを先に比較し、その比較結果を前記限界値及
び使用者要請検索精度と比較して、前記サーバー環境で
読み取ったキーフレーム番号が質疑と関連あるか否かを
判断し、質疑と関連があると、続けてその検索結果を使
用者環境から受け取る方式である。
ツリー構造の動映像索引記述子を用いる検索装置及びそ
の方法を提供する。 【解決手段】 使用者が情報検索のための質疑を開始す
ると復号化器に貯蔵されたツリー構造を有する動映像索
引記述子の最上位キーフレーム番号、索引内エッジ情報
及び階層別限界値をサーバー環境に送り、サーバー環境
ではキーフレーム番号を順次読み取って復号化器に送る
と、復号化器でそのキーフレーム番号により指示された
特徴ベクトルをサーバー環境に送る。前記サーバー環境
では、そのキーフレーム番号指示特徴ベクトルと質疑特
徴ベクトルを先に比較し、その比較結果を前記限界値及
び使用者要請検索精度と比較して、前記サーバー環境で
読み取ったキーフレーム番号が質疑と関連あるか否かを
判断し、質疑と関連があると、続けてその検索結果を使
用者環境から受け取る方式である。
Description
【０００１】
【発明の属する技術分野】本発明は、動映像資料の検索
システム及びその方法に関するもので、特に動映像資料
の内容を基にしてツリー構造の動映像索引を生成し、こ
れを記述子に作って検索システムに適用することによ
り、動映像資料の検索を容易にするツリー構造の動映像
索引記述子を用いる検索装置及びその方法に関するもの
である。
システム及びその方法に関するもので、特に動映像資料
の内容を基にしてツリー構造の動映像索引を生成し、こ
れを記述子に作って検索システムに適用することによ
り、動映像資料の検索を容易にするツリー構造の動映像
索引記述子を用いる検索装置及びその方法に関するもの
である。
【０００２】
【従来の技術】従来の映像資料の検索システムでは、停
止映像データベースで映像を群集化してブラウジング
（Browsing）することにより、使用者に構造化された接
近を提供する技法、ツリー構造のベクトル量子化器を用
いる停止映像検索技法及びショット（shot）の群集化過
程による動映像ブラウジング技法などが使用された。
止映像データベースで映像を群集化してブラウジング
（Browsing）することにより、使用者に構造化された接
近を提供する技法、ツリー構造のベクトル量子化器を用
いる停止映像検索技法及びショット（shot）の群集化過
程による動映像ブラウジング技法などが使用された。
【０００３】しかし、これらは停止映像を対象とするか
質疑による自動検索過程というよりは、反復的なブラウ
ジングにより使用者の探索を誘導する方式であるので、
質疑により動映像フレームを自動検索する応用環境には
適しない。
質疑による自動検索過程というよりは、反復的なブラウ
ジングにより使用者の探索を誘導する方式であるので、
質疑により動映像フレームを自動検索する応用環境には
適しない。
【０００４】更にほかの問題点は、これらを拡張する
時、記述あるいは貯蔵する過程で不要であるか複雑な資
料構造の使用が不可避であり、その応用範囲も制限的で
あるというものである。例えば、ツリー構造のベクトル
量子化器を用いる停止映像検索技法を動映像に拡張及び
適用する場合、各映像群集及びその群集の中間値を別の
資料として貯蔵すべきであり、その実個体数はツリーが
大きくなるにつれて指数的な増加を見せる。
時、記述あるいは貯蔵する過程で不要であるか複雑な資
料構造の使用が不可避であり、その応用範囲も制限的で
あるというものである。例えば、ツリー構造のベクトル
量子化器を用いる停止映像検索技法を動映像に拡張及び
適用する場合、各映像群集及びその群集の中間値を別の
資料として貯蔵すべきであり、その実個体数はツリーが
大きくなるにつれて指数的な増加を見せる。
【０００５】
【発明が解決しようとする課題】したがって、本発明の
目的は動映像の検索効率を向上させるためのツリー構造
の動映像索引記述子を用いる検索装置及びその方法を提
供することにある。
目的は動映像の検索効率を向上させるためのツリー構造
の動映像索引記述子を用いる検索装置及びその方法を提
供することにある。
【０００６】
【課題を解決するための手段】このような目的を達成す
るための本発明は、使用者の質疑により動映像を検索す
るシステムにおいて、ツリー構造の索引記述子及び特徴
ベクトルを貯蔵しており、外部の要請時、実個体に対応
する情報及び特定キーフレーム番号により指示された特
徴ベクトルを出力する復号化器と、使用者が質疑を開始
する場合、いろいろの使用者定義値及び質疑映像／映像
列を受け入れ、使用者要請検索精度及び特徴ベクトルを
抽出して送信するとともに検索要請信号を送信する質疑
処理部と、貯蔵媒体であるスタックと、検索初期に前記
質疑処理部から検索要請があると前記復号化器に要請信
号を送り最上位キーフレーム番号を受けて前記スタック
に積載し、その後、前記スタックに索引内エッジ情報に
基づくキーフレーム番号を積載してから読み取って前記
復号化器に出力するスタック制御器と、前記復号化器か
ら実個体の該当情報を受け入れると、最上位キーフレー
ム番号及び索引内エッジ情報は前記スタック制御器に送
り、各フレームの代表限界値を出力する第１文法分析器
と、前記復号化器でキーフレーム番号により指示された
特徴ベクトルを受け入れるとともに前記質疑処理部で質
疑から抽出した特徴ベクトルを受け入れて比較した結果
を出力する特徴ベクトル比較器と、前記特徴ベクトル比
較器からの比較結果を前記第１文法分析器からの各フレ
ームの代表限界値及び前記質疑処理部からの使用者要請
検索精度と比較して、特定キーフレーム番号と質疑との
関連性有無を判断し、これに相応する制御信号を送信す
るスレショルド比較器と、前記スタック制御器からキー
フレーム番号を受入れ前記スレショルド比較器から受信
した制御信号に応じて、現在キーフレーム番号を累積す
るか否かを決定し、前記スタックが空いていると、累積
された結果を最終に出力する累積器とを含んで構成され
る。
るための本発明は、使用者の質疑により動映像を検索す
るシステムにおいて、ツリー構造の索引記述子及び特徴
ベクトルを貯蔵しており、外部の要請時、実個体に対応
する情報及び特定キーフレーム番号により指示された特
徴ベクトルを出力する復号化器と、使用者が質疑を開始
する場合、いろいろの使用者定義値及び質疑映像／映像
列を受け入れ、使用者要請検索精度及び特徴ベクトルを
抽出して送信するとともに検索要請信号を送信する質疑
処理部と、貯蔵媒体であるスタックと、検索初期に前記
質疑処理部から検索要請があると前記復号化器に要請信
号を送り最上位キーフレーム番号を受けて前記スタック
に積載し、その後、前記スタックに索引内エッジ情報に
基づくキーフレーム番号を積載してから読み取って前記
復号化器に出力するスタック制御器と、前記復号化器か
ら実個体の該当情報を受け入れると、最上位キーフレー
ム番号及び索引内エッジ情報は前記スタック制御器に送
り、各フレームの代表限界値を出力する第１文法分析器
と、前記復号化器でキーフレーム番号により指示された
特徴ベクトルを受け入れるとともに前記質疑処理部で質
疑から抽出した特徴ベクトルを受け入れて比較した結果
を出力する特徴ベクトル比較器と、前記特徴ベクトル比
較器からの比較結果を前記第１文法分析器からの各フレ
ームの代表限界値及び前記質疑処理部からの使用者要請
検索精度と比較して、特定キーフレーム番号と質疑との
関連性有無を判断し、これに相応する制御信号を送信す
るスレショルド比較器と、前記スタック制御器からキー
フレーム番号を受入れ前記スレショルド比較器から受信
した制御信号に応じて、現在キーフレーム番号を累積す
るか否かを決定し、前記スタックが空いていると、累積
された結果を最終に出力する累積器とを含んで構成され
る。
【０００７】このような目的を達成するための本発明
は、ツリー構造の動映像索引記述子を用いて使用者の質
疑により動映像資料を検索する方法において、質疑が開
始されると、質疑処理部は使用者定義値及び質疑映像／
映像列を受け入れ、使用者要請精度及び特徴ベクトルを
抽出して特徴ベクトル比較器及びスレショルド比較器の
各々に出力するとともにスタック制御器に検索要請をす
る第１段階と、スタック制御器が復号化器に検索要請信
号を送る第２段階と、復号化器がこれに相応して実個体
に対応する情報（キーフレームの索引内エッジ情報、イ
ンデックスの最上位キーフレーム番号、各フレームの代
表限界値）を文法分析器に出力する第３段階と、文法分
析器が索引内エッジ情報及び最上位キーフレーム番号を
スタック制御器に出力するとともに、各フレームの代表
限界値をスレショルド比較器に出力する第４段階と、ス
タック制御器が前記索引内エッジ情報及び最上位キーフ
レーム番号をスタックに貯蔵する第５段階と、スタック
制御器がスタックからキーフレーム番号を読み取って復
号化器及び累積器に出力する第６段階と、復号化器が前
記キーフレーム番号に指示された特徴ベクトルを特徴ベ
クトル比較器に出力し、特徴ベクトル比較器が前記キー
フレーム番号に相応する特徴ベクトル及び前記第１段階
で受け入れた質疑からの特徴ベクトルを比較して、その
結果をスレショルド比較器に出力する第７段階と、スレ
ショルド比較器が前記２特徴ベクトルの比較結果を前記
第１、第３段階で受け入れた使用者要請精度及び各フレ
ームの代表限界値と比較して前記特徴キーフレーム番号
と質疑との関連性有無を判断する第８段階と、前記第８
段階で前記キーフレーム番号が質疑との関連性がない
と、前記第６段階に進行し、反面、前記キーフレーム番
号が質疑との関連性があると、累積器にそのキーフレー
ム番号を累積させる第９段階と、スタックが空いている
か否かを判断して、スタックが空いていると、累積器が
累積された検索結果を使用者側に出力する第１０段階と
を含んでなる。
は、ツリー構造の動映像索引記述子を用いて使用者の質
疑により動映像資料を検索する方法において、質疑が開
始されると、質疑処理部は使用者定義値及び質疑映像／
映像列を受け入れ、使用者要請精度及び特徴ベクトルを
抽出して特徴ベクトル比較器及びスレショルド比較器の
各々に出力するとともにスタック制御器に検索要請をす
る第１段階と、スタック制御器が復号化器に検索要請信
号を送る第２段階と、復号化器がこれに相応して実個体
に対応する情報（キーフレームの索引内エッジ情報、イ
ンデックスの最上位キーフレーム番号、各フレームの代
表限界値）を文法分析器に出力する第３段階と、文法分
析器が索引内エッジ情報及び最上位キーフレーム番号を
スタック制御器に出力するとともに、各フレームの代表
限界値をスレショルド比較器に出力する第４段階と、ス
タック制御器が前記索引内エッジ情報及び最上位キーフ
レーム番号をスタックに貯蔵する第５段階と、スタック
制御器がスタックからキーフレーム番号を読み取って復
号化器及び累積器に出力する第６段階と、復号化器が前
記キーフレーム番号に指示された特徴ベクトルを特徴ベ
クトル比較器に出力し、特徴ベクトル比較器が前記キー
フレーム番号に相応する特徴ベクトル及び前記第１段階
で受け入れた質疑からの特徴ベクトルを比較して、その
結果をスレショルド比較器に出力する第７段階と、スレ
ショルド比較器が前記２特徴ベクトルの比較結果を前記
第１、第３段階で受け入れた使用者要請精度及び各フレ
ームの代表限界値と比較して前記特徴キーフレーム番号
と質疑との関連性有無を判断する第８段階と、前記第８
段階で前記キーフレーム番号が質疑との関連性がない
と、前記第６段階に進行し、反面、前記キーフレーム番
号が質疑との関連性があると、累積器にそのキーフレー
ム番号を累積させる第９段階と、スタックが空いている
か否かを判断して、スタックが空いていると、累積器が
累積された検索結果を使用者側に出力する第１０段階と
を含んでなる。
【０００８】このような目的を達成するための本発明
は、動映像索引を形成する段階と、前記動映像索引を記
述する段階と、記述された動映像索引を用いて検索する
段階とから構成される動映像検索方法において、前記動
映像索引を形成する段階は、ショット単位に分割された
元の動映像から上向的な標本抽出過程により標本を抽出
した後、各標本をノードに標本階層と母階層間の定量的
な代表関係を各エッジに含蓄させる段階と、前記段階を
繰り返してツリー構造を累積させる段階とからなり、前
記動映像索引を記述する段階は、キーフレームとショッ
トに関する情報をそれぞれ無作為接近の可能な独立した
個体で表現し、相互の従属関係及び代表関係を各属性に
より表現する段階と、索引の最上位ノード及び動映像資
料の全般的な情報を第３の個体に反映する段階と、前記
２ヵ段階により形成された記述子を活用して各個体別に
注釈を記入する段階とからなり、前記記述された動映像
索引を用いて検索する段階は、索引内で各フレームが自
分を頂点とするサブツリーを定量的な限界範囲内で代表
するものを用いて使用者要請精度条件と結合して検索す
ることを特徴とする。
は、動映像索引を形成する段階と、前記動映像索引を記
述する段階と、記述された動映像索引を用いて検索する
段階とから構成される動映像検索方法において、前記動
映像索引を形成する段階は、ショット単位に分割された
元の動映像から上向的な標本抽出過程により標本を抽出
した後、各標本をノードに標本階層と母階層間の定量的
な代表関係を各エッジに含蓄させる段階と、前記段階を
繰り返してツリー構造を累積させる段階とからなり、前
記動映像索引を記述する段階は、キーフレームとショッ
トに関する情報をそれぞれ無作為接近の可能な独立した
個体で表現し、相互の従属関係及び代表関係を各属性に
より表現する段階と、索引の最上位ノード及び動映像資
料の全般的な情報を第３の個体に反映する段階と、前記
２ヵ段階により形成された記述子を活用して各個体別に
注釈を記入する段階とからなり、前記記述された動映像
索引を用いて検索する段階は、索引内で各フレームが自
分を頂点とするサブツリーを定量的な限界範囲内で代表
するものを用いて使用者要請精度条件と結合して検索す
ることを特徴とする。
【０００９】
【発明の実施の形態】以下、本発明の一実施の形態に係
るツリー構造の動映像索引記述子を用いる検索装置及び
その方法について添附図面を参照して詳細に説明する。
るツリー構造の動映像索引記述子を用いる検索装置及び
その方法について添附図面を参照して詳細に説明する。
【００１０】図１は本発明に適用されるツリー構造の動
映像索引を説明するための概念図を示すものである。
映像索引を説明するための概念図を示すものである。
【００１１】図１に示す各ノードは動映像内の一フレー
ムであり、円内の各数字はそのフレーム番号を示す。
ムであり、円内の各数字はそのフレーム番号を示す。
【００１２】Ｒ0 と表記される索引の最下位階層は画面
重畳又は溶明 (fade-in)、溶暗(fade-out)など漸進的な
場面転換部を排除した元の動映像と一致し、これは任意
の場面転換検出技法によりショット（shot）単位、つま
りＳ1 、Ｓ2 、Ｓ3 に分割される。
重畳又は溶明 (fade-in)、溶暗(fade-out)など漸進的な
場面転換部を排除した元の動映像と一致し、これは任意
の場面転換検出技法によりショット（shot）単位、つま
りＳ1 、Ｓ2 、Ｓ3 に分割される。
【００１３】最下位端から上位第ｋ番目階層をＲk と表
記し、これは隣接下位階層Ｒk-1 から任意の標本抽出過
程により形成される。
記し、これは隣接下位階層Ｒk-1 から任意の標本抽出過
程により形成される。
【００１４】前記標本抽出過程は任意のｋに対してＲk
内の任意のノードＸ k i が自分を頂点とするサブツリー
Ｔ k i の全てのノードを定量的な限界値δ k i の範囲内
で代表し得るようにし、その値を索引構成過程で計算し
て記述及び貯蔵過程に含ませる。
内の任意のノードＸ k i が自分を頂点とするサブツリー
Ｔ k i の全てのノードを定量的な限界値δ k i の範囲内
で代表し得るようにし、その値を索引構成過程で計算し
て記述及び貯蔵過程に含ませる。
【００１５】前記限界値δ k i は任意の方法で計算する
ことができ、任意のノードが自分を頂点とするサブツリ
ーの全てのノードを限定させる値である。
ことができ、任意のノードが自分を頂点とするサブツリ
ーの全てのノードを限定させる値である。
【００１６】一方、索引のエッジは２隣接階層間の標本
抽出過程で把握される代表関係により生成され、エッジ
により連結された２ノードのなかで、上位ノードが下位
ノードを代表することを意味する。
抽出過程で把握される代表関係により生成され、エッジ
により連結された２ノードのなかで、上位ノードが下位
ノードを代表することを意味する。
【００１７】前記標本抽出過程は、上位階層が下位階層
を代表することにおいての充実度及び２階層間標本比の
数学的関係に模型化でき、各階層別抽出過程で最適の解
に近似するために、グラフ模型を用いるキーフレーム抽
出技法を使用し得る。
を代表することにおいての充実度及び２階層間標本比の
数学的関係に模型化でき、各階層別抽出過程で最適の解
に近似するために、グラフ模型を用いるキーフレーム抽
出技法を使用し得る。
【００１８】図２は図１のツリー構造動映像索引を記述
するための個体基盤型記述技法を示す図である。
するための個体基盤型記述技法を示す図である。
【００１９】図１のツリー構造を任意の装置に知らせる
ため、キーフレーム (Key Frame)、ショット(Shot)及び
インデックス(Index) を記述したものである。
ため、キーフレーム (Key Frame)、ショット(Shot)及び
インデックス(Index) を記述したものである。
【００２０】前記キーフレーム(KEY＿FRAME)の各実個体
は、ツリー構造の動映像索引のうち、Ｒ1 以上の階層に
含まれる各ノードを示し、各々の KEY＿FRAME ＿IDによ
り無作為接近が可能である。前記キーフレームの各実個
体はフレーム番号(FRAME＿ID) 、フレームが属するショ
ットの番号 (SHOT＿ID) 、相応する特徴ベクトルへの指
示子(POINTER＿TO＿FV) 、索引で位置する最上位階層
(LEVEL)、サブツリーを代表する定量的な限界値の階層
別羅列 (LIST＿OF＿δVALUES) 、索引内エッジ情報 (LI
ST＿OF＿CHILDREN) 、及びフレームに関する注釈(ANNOT
AION＿FIELD)などをその属性として有する。
は、ツリー構造の動映像索引のうち、Ｒ1 以上の階層に
含まれる各ノードを示し、各々の KEY＿FRAME ＿IDによ
り無作為接近が可能である。前記キーフレームの各実個
体はフレーム番号(FRAME＿ID) 、フレームが属するショ
ットの番号 (SHOT＿ID) 、相応する特徴ベクトルへの指
示子(POINTER＿TO＿FV) 、索引で位置する最上位階層
(LEVEL)、サブツリーを代表する定量的な限界値の階層
別羅列 (LIST＿OF＿δVALUES) 、索引内エッジ情報 (LI
ST＿OF＿CHILDREN) 、及びフレームに関する注釈(ANNOT
AION＿FIELD)などをその属性として有する。
【００２１】前記ショットの各実個体 (SHOT) は、ツリ
ー構造の動映像索引のうち、最下位階層の各ショット情
報を意味し、各々のSHOT＿IDにより無作為接近が可能で
ある。SHOTの各実個体は、ショットの始部に相当するフ
レーム番号(FIRST＿FRAME ＿ID) とショットの終端に対
応するフレーム番号 (LAST＿FRAME ＿ID) 、そのショッ
トに属する KEY＿FRAME 実個体の KEY＿FRMAE ＿IDに対
する羅列 (LIST＿OF＿KEY ＿FRAME ＿ID) と順次性情報
(LIST＿OF＿KEY ＿FRAME ＿ORDER)及び注釈(ANNOTATIO
N ＿FIELD)などをその属性として含む。
ー構造の動映像索引のうち、最下位階層の各ショット情
報を意味し、各々のSHOT＿IDにより無作為接近が可能で
ある。SHOTの各実個体は、ショットの始部に相当するフ
レーム番号(FIRST＿FRAME ＿ID) とショットの終端に対
応するフレーム番号 (LAST＿FRAME ＿ID) 、そのショッ
トに属する KEY＿FRAME 実個体の KEY＿FRMAE ＿IDに対
する羅列 (LIST＿OF＿KEY ＿FRAME ＿ID) と順次性情報
(LIST＿OF＿KEY ＿FRAME ＿ORDER)及び注釈(ANNOTATIO
N ＿FIELD)などをその属性として含む。
【００２２】前記インデックス(INDEX) は２個体のキー
フレームとショットにより表現し得ない動映像資料の全
般的な情報を表現し、動映像の開始に対応するショット
番号(FIRST＿SHOT＿ID) 、動映像の終端に相当するショ
ット番号 (LAST＿SHOT＿ID)、索引最上位ノードのキー
フレーム番号 (ROOT＿KEY ＿FRAME ＿ID) 、索引に使用
した特徴ベクトル (FEATURE)、距離関数に関する情報
(DISTANCE＿FUNC) 及び動映像に関する全般的な注釈 (A
NNOTATION＿FIELD)などを属性として含む。
フレームとショットにより表現し得ない動映像資料の全
般的な情報を表現し、動映像の開始に対応するショット
番号(FIRST＿SHOT＿ID) 、動映像の終端に相当するショ
ット番号 (LAST＿SHOT＿ID)、索引最上位ノードのキー
フレーム番号 (ROOT＿KEY ＿FRAME ＿ID) 、索引に使用
した特徴ベクトル (FEATURE)、距離関数に関する情報
(DISTANCE＿FUNC) 及び動映像に関する全般的な注釈 (A
NNOTATION＿FIELD)などを属性として含む。
【００２３】この際に、一つの動映像に対してそれぞれ
異なる特徴として用いられるように、多数のインデック
ス実個体を有するものを許容し、共通的な属性を各実個
体間に共有し得るようにする。
異なる特徴として用いられるように、多数のインデック
ス実個体を有するものを許容し、共通的な属性を各実個
体間に共有し得るようにする。
【００２４】前記記述方法は前記３種類の個体に基づい
て検索及び順次的／階層的形態のブラウジングを直接支
援することができ、各ショット間の類似性に関する情報
をエッジに含蓄しているので、そのほかの演算に対して
もその土台を与えることができる。
て検索及び順次的／階層的形態のブラウジングを直接支
援することができ、各ショット間の類似性に関する情報
をエッジに含蓄しているので、そのほかの演算に対して
もその土台を与えることができる。
【００２５】具体的な記述方法は、キーフレームとショ
ットに関する情報をそれぞれ無作為接近が可能な独立し
た個体で表現し、相互の従属関係及び代表関係を各属性
で表現する段階と、索引の最上位ノード及び動映像資料
の全般的な情報を第３の個体に反映する段階と、前記２
ヵ段階により形成された記述子を活用して各個体別に注
釈を記入する段階とを含んでいる。
ットに関する情報をそれぞれ無作為接近が可能な独立し
た個体で表現し、相互の従属関係及び代表関係を各属性
で表現する段階と、索引の最上位ノード及び動映像資料
の全般的な情報を第３の個体に反映する段階と、前記２
ヵ段階により形成された記述子を活用して各個体別に注
釈を記入する段階とを含んでいる。
【００２６】図３は本発明に適用される動映像索引記述
子を生成及び貯蔵するための過程を説明するためのブロ
ック図である。
子を生成及び貯蔵するための過程を説明するためのブロ
ック図である。
【００２７】まず、キーフレーム抽出部（１０）は動映
像資料（５０）の各フレームから特徴ベクトル抽出部
（６０）により抽出した特徴ベクトルを用いて標本抽出
作業を行い、初期にはショット境界検出部（６５）から
の動映像ショット情報を用い、その後には自分の出力値
として抽出される標本階層に関する情報をフィードバッ
クして用いる。
像資料（５０）の各フレームから特徴ベクトル抽出部
（６０）により抽出した特徴ベクトルを用いて標本抽出
作業を行い、初期にはショット境界検出部（６５）から
の動映像ショット情報を用い、その後には自分の出力値
として抽出される標本階層に関する情報をフィードバッ
クして用いる。
【００２８】ついで、累積器及び索引記述部（２０）は
キーフレーム抽出部（１０）により得られる各階層を累
積してツリー構造の索引を生成した後、図２の個体に基
づいて記述した後、記述子及び特徴ベクトルが貯蔵所
（４０）に貯蔵される。
キーフレーム抽出部（１０）により得られる各階層を累
積してツリー構造の索引を生成した後、図２の個体に基
づいて記述した後、記述子及び特徴ベクトルが貯蔵所
（４０）に貯蔵される。
【００２９】一方、圧縮及び符号化器（３０）は本発明
による記述子を貯蔵する過程で効率性を図るため一般的
に必要であるが、概念上省略できる。
による記述子を貯蔵する過程で効率性を図るため一般的
に必要であるが、概念上省略できる。
【００３０】図４は貯蔵された動映像記述子及び特徴ベ
クトルを用いる一般的な応用環境の例を示す。
クトルを用いる一般的な応用環境の例を示す。
【００３１】サーバー端のシステム管理者は復号化器
（２１０）からの復号化された記述子及び特徴ベクトル
を用いて、各個体の属性の一つである注釈部を編集する
応用環境１、２、３、…、Ｎを使用することができ、多
数の遠隔使用者は符号化器（１００）及び復号化器（２
００）により検索部（３００）で質疑検索を行うか、ブ
ラウジングなどのほかの応用環境に使用し得る。
（２１０）からの復号化された記述子及び特徴ベクトル
を用いて、各個体の属性の一つである注釈部を編集する
応用環境１、２、３、…、Ｎを使用することができ、多
数の遠隔使用者は符号化器（１００）及び復号化器（２
００）により検索部（３００）で質疑検索を行うか、ブ
ラウジングなどのほかの応用環境に使用し得る。
【００３２】図５は本発明の一実施例による動映像索引
記述子を用いる検索装置に対する制御ブロック図であ
り、図６は図５の復号化器に対する詳細ブロック図であ
る。
記述子を用いる検索装置に対する制御ブロック図であ
り、図６は図５の復号化器に対する詳細ブロック図であ
る。
【００３３】質疑処理部（１７００）は、使用者が質疑
を開始する場合、多くの使用者定義値及び質疑映像／映
像列を受入れ、使用者要請検索精度及び特徴ベクトルを
抽出し、スタック制御器（１１００）に検索要請信号を
発生する役割を果たす。
を開始する場合、多くの使用者定義値及び質疑映像／映
像列を受入れ、使用者要請検索精度及び特徴ベクトルを
抽出し、スタック制御器（１１００）に検索要請信号を
発生する役割を果たす。
【００３４】第１文法分析器（１２００）は復号化器
（１０００）から実個体の該当情報を受入れ、インデッ
クス実個体の索引最上位ノードのキーフレーム番号 (RO
OT＿KEY ＿FRAME ＿ID) 又はキーフレーム実個体の索引
内エッジ情報 (LIST＿OF＿CHILDREN）に対応する信号は
スタック制御器（１１００）に送り、スレショルド比較
器（１５００）には各フレームの代表限界値 (LIST＿OF
＿δVALUES) に対応する値を引き渡す役割を果たす。
（１０００）から実個体の該当情報を受入れ、インデッ
クス実個体の索引最上位ノードのキーフレーム番号 (RO
OT＿KEY ＿FRAME ＿ID) 又はキーフレーム実個体の索引
内エッジ情報 (LIST＿OF＿CHILDREN）に対応する信号は
スタック制御器（１１００）に送り、スレショルド比較
器（１５００）には各フレームの代表限界値 (LIST＿OF
＿δVALUES) に対応する値を引き渡す役割を果たす。
【００３５】スタック（１３００）は貯蔵媒体であり、
前記スタック制御器（１１００）は検索初期に前記質疑
処理部（１７００）により検索要請があり、復号化器
（１０００）に要請信号を送り、前記第１文法分析器
（１２００）から索引最上位ノードのキーフレーム番号
(ROOT＿KEY ＿FRAME ＿ID) を受け入れてスタック（１
３００）に積載し、その後、スタック（１３００）に索
引内エッジ情報 (LIST＿OF＿CHILDREN) に基づくキーフ
レーム番号(KEY＿FRAME ＿ID) を積載及び削除する演算
を行う役割を果たす。
前記スタック制御器（１１００）は検索初期に前記質疑
処理部（１７００）により検索要請があり、復号化器
（１０００）に要請信号を送り、前記第１文法分析器
（１２００）から索引最上位ノードのキーフレーム番号
(ROOT＿KEY ＿FRAME ＿ID) を受け入れてスタック（１
３００）に積載し、その後、スタック（１３００）に索
引内エッジ情報 (LIST＿OF＿CHILDREN) に基づくキーフ
レーム番号(KEY＿FRAME ＿ID) を積載及び削除する演算
を行う役割を果たす。
【００３６】特徴ベクトル比較器（１４００）は前記復
号化器（１０００）から、キーフレーム番号(KEY＿FRAM
E ＿ID) により指示された特徴ベクトルを受入れ、質疑
処理部（１７００）で質疑から抽出した特徴ベクトルを
受け入れて比較した結果を前記スレショルド比較器（１
５００）に引き渡す役割を果たす。
号化器（１０００）から、キーフレーム番号(KEY＿FRAM
E ＿ID) により指示された特徴ベクトルを受入れ、質疑
処理部（１７００）で質疑から抽出した特徴ベクトルを
受け入れて比較した結果を前記スレショルド比較器（１
５００）に引き渡す役割を果たす。
【００３７】前記累積器（１６００）は質疑に関連され
た動映像内のキーフレーム番号(KEY＿FRAME ＿ID) を集
めておく装置で、前記スレショルド比較器（１５００）
から受信された制御信号に応じて、現在比較されたフレ
ームを累積するか否かを決定し、スタック（１３００）
が空いていると、累積された結果を最終的に出力する役
割を果たす。
た動映像内のキーフレーム番号(KEY＿FRAME ＿ID) を集
めておく装置で、前記スレショルド比較器（１５００）
から受信された制御信号に応じて、現在比較されたフレ
ームを累積するか否かを決定し、スタック（１３００）
が空いていると、累積された結果を最終的に出力する役
割を果たす。
【００３８】前記復号化器（１０００）はツリー構造の
索引記述子及び特徴ベクトルを貯蔵し、前記スタック制
御器（１１００）からの要請時、実個体に対応する情報
(ROOT ＿KEY ＿FRAME ＿ID、LIST＿OF＿CHILDREN、LIST
＿OF＿δVALUES）及びキーフレーム番号(KEY＿FRAME ＿
ID) により指示された特徴ベクトルを出力する役割を果
たす。
索引記述子及び特徴ベクトルを貯蔵し、前記スタック制
御器（１１００）からの要請時、実個体に対応する情報
(ROOT ＿KEY ＿FRAME ＿ID、LIST＿OF＿CHILDREN、LIST
＿OF＿δVALUES）及びキーフレーム番号(KEY＿FRAME ＿
ID) により指示された特徴ベクトルを出力する役割を果
たす。
【００３９】そして、前記復号化器（１０００）に対す
る詳細構成は図６に示すように、第２文法分析器（１０
１０）、第１、第２、第３バッファ（１０２０、１０３
０、１０４０）及び特徴ベクトル貯蔵部（１０５０）か
ら構成されている。
る詳細構成は図６に示すように、第２文法分析器（１０
１０）、第１、第２、第３バッファ（１０２０、１０３
０、１０４０）及び特徴ベクトル貯蔵部（１０５０）か
ら構成されている。
【００４０】前記特徴ベクトル貯蔵部（１０５０）は特
徴ベクトルを貯蔵し、前記第３バッファ（１０４０）の
キーフレーム番号(KEY＿FRAME ＿ID）で指示されて、特
徴ベクトルを応用環境に引き渡す役割を果たす。
徴ベクトルを貯蔵し、前記第３バッファ（１０４０）の
キーフレーム番号(KEY＿FRAME ＿ID）で指示されて、特
徴ベクトルを応用環境に引き渡す役割を果たす。
【００４１】前記第２文法分析器（１０１０）はサーバ
ーあるいはクライアントの貯蔵空間に貯蔵されている動
映像索引記述子を受入れ、長さあるいは記述子内制御信
号に基づいて各実個体を属性別に分類して、無作為接近
の可能な前記第１、第２、第３バッファ（１０２０、１
０３０、１０４０）に出力する役割を果たす。
ーあるいはクライアントの貯蔵空間に貯蔵されている動
映像索引記述子を受入れ、長さあるいは記述子内制御信
号に基づいて各実個体を属性別に分類して、無作為接近
の可能な前記第１、第２、第３バッファ（１０２０、１
０３０、１０４０）に出力する役割を果たす。
【００４２】前記第１、第２、第３バッファ（１０２
０、１０３０、１０４０）はそれぞれインデックス(IND
EX) 、ショット(SHOT)、キーフレーム(KEY＿FRAME)の各
実個体を貯蔵し、それぞれキーフレーム番号(KEY＿FRAM
E ＿ID) 又は番号 (SHOT＿ID)などの制御信号に応じて
無作為接近が可能であり、応用環境で各実個体に対する
要請あるいは接近制御信号を受入れ、各実個体に対応す
る情報を応用環境に引き渡す役割を果たす。
０、１０３０、１０４０）はそれぞれインデックス(IND
EX) 、ショット(SHOT)、キーフレーム(KEY＿FRAME)の各
実個体を貯蔵し、それぞれキーフレーム番号(KEY＿FRAM
E ＿ID) 又は番号 (SHOT＿ID)などの制御信号に応じて
無作為接近が可能であり、応用環境で各実個体に対する
要請あるいは接近制御信号を受入れ、各実個体に対応す
る情報を応用環境に引き渡す役割を果たす。
【００４３】また、前記キーフレーム(KEY＿FRAME)に対
応する実個体は各フレームに相応する特徴ベクトル（F
V）への指示子を有する。
応する実個体は各フレームに相応する特徴ベクトル（F
V）への指示子を有する。
【００４４】前記構成を有する本発明の一実施例による
ツリー構造の動映像索引記述子を用いる検索装置で行わ
れる検索方法について図面を参照して説明する。
ツリー構造の動映像索引記述子を用いる検索装置で行わ
れる検索方法について図面を参照して説明する。
【００４５】図７および図８は本発明の一実施例による
ツリー構造の動映像索引記述子を用いる検索装置で行わ
れる検索方法を示す動作フローチャートである。
ツリー構造の動映像索引記述子を用いる検索装置で行わ
れる検索方法を示す動作フローチャートである。
【００４６】まず、ステップＳ１で、使用者が質疑を開
始すると、ステップＳ２で、質疑処理部（１７００）は
使用者定義値及び質疑映像及び映像列を受入れ、使用者
要請検索精度及び特徴ベクトルを抽出して特徴ベクトル
比較器（１４００）及びスレショルド比較器（１５０
０）各々に出力するとともにスタック制御器（１１０
０）に検索要請を行う。
始すると、ステップＳ２で、質疑処理部（１７００）は
使用者定義値及び質疑映像及び映像列を受入れ、使用者
要請検索精度及び特徴ベクトルを抽出して特徴ベクトル
比較器（１４００）及びスレショルド比較器（１５０
０）各々に出力するとともにスタック制御器（１１０
０）に検索要請を行う。
【００４７】ステップＳ３で、スタック制御器（１１０
０）は復号化器（１０００）に検索要請信号を送り、ス
テップＳ４で、復号化器（１０００）はこれに相応して
実個体に対応する情報 (INDEX のROOT＿KEY ＿FRAME ＿
ID、 KEY＿FRAME のLIST＿OF＿CHILDREN、LIST＿OF＿δ
VALUES）を第１文法分析器（１２００）に出力する。
０）は復号化器（１０００）に検索要請信号を送り、ス
テップＳ４で、復号化器（１０００）はこれに相応して
実個体に対応する情報 (INDEX のROOT＿KEY ＿FRAME ＿
ID、 KEY＿FRAME のLIST＿OF＿CHILDREN、LIST＿OF＿δ
VALUES）を第１文法分析器（１２００）に出力する。
【００４８】この際に、ステップＳ５で、第１文法分析
器（１２００）が索引内エッジ情報(LIST＿OF＿HILDRE
N) 及び最上位キーフレーム番号 (ROOT＿KEY ＿FRAME
＿ID)を前記スタック制御器（１１００）に出力すると
ともに、各フレームの代表限界値 (LIST＿OF＿δVALUE
S）をスレショルド比較器（１５００）に出力すると、
ステップＳ６で、スタック制御器（１１００）は前記索
引内エッジ情報 (LIST＿OF＿CHILDREN）及び最上位キー
フレーム番号 (ROOT＿KEY ＿FRAME ＿ID) をスタック
（１３００）に貯蔵し、ステップＳ７で、スタック（１
３００）からキーフレーム番号 (KEY ＿FRAME ＿ID) を
読み取って復号化器（１０００）及び累積器（１６０
０）に出力する。
器（１２００）が索引内エッジ情報(LIST＿OF＿HILDRE
N) 及び最上位キーフレーム番号 (ROOT＿KEY ＿FRAME
＿ID)を前記スタック制御器（１１００）に出力すると
ともに、各フレームの代表限界値 (LIST＿OF＿δVALUE
S）をスレショルド比較器（１５００）に出力すると、
ステップＳ６で、スタック制御器（１１００）は前記索
引内エッジ情報 (LIST＿OF＿CHILDREN）及び最上位キー
フレーム番号 (ROOT＿KEY ＿FRAME ＿ID) をスタック
（１３００）に貯蔵し、ステップＳ７で、スタック（１
３００）からキーフレーム番号 (KEY ＿FRAME ＿ID) を
読み取って復号化器（１０００）及び累積器（１６０
０）に出力する。
【００４９】ステップＳ８で、復号化器（１０００）が
キーフレーム番号(KEY＿FRAME ＿ID) に指示された特徴
ベクトルを特徴ベクトル比較器（１４００）に出力する
と、ステップＳ９で、特徴ベクトル比較器（１４００）
はそのキーフレーム実個体の特徴ベクトル及び前記ステ
ップＳ２で受け入れた質疑からの特徴ベクトルを比較
し、その結果をスレショルド比較器（１５００）に出力
する。
キーフレーム番号(KEY＿FRAME ＿ID) に指示された特徴
ベクトルを特徴ベクトル比較器（１４００）に出力する
と、ステップＳ９で、特徴ベクトル比較器（１４００）
はそのキーフレーム実個体の特徴ベクトル及び前記ステ
ップＳ２で受け入れた質疑からの特徴ベクトルを比較
し、その結果をスレショルド比較器（１５００）に出力
する。
【００５０】この際に、ステップＳ１０及びステップＳ
１１で、スレショルド比較器（１５００）は前記２特徴
ベクトルの比較結果を前記ステップＳ２及びステップＳ
５で受け入れた使用者要請精度及び各フレームの代表限
界値 (LIST＿OF＿δVALUES)と比較して前記キーフレー
ム番号(KEY＿FRAME ＿ID) と質疑との関連性有無を判断
し、前記キーフレーム番号(KEY＿FRAME ＿ID）が質疑と
の関連性がないと、前記ステップＳ７に進行する反面、
前記キーフレーム番号(KEY＿FRAME ＿ID) が質疑との関
連性があると、ステップＳ１２で、累積器（１６００）
にそのキーフレーム番号(KEY＿FRAME ＿ID) を累積させ
る。
１１で、スレショルド比較器（１５００）は前記２特徴
ベクトルの比較結果を前記ステップＳ２及びステップＳ
５で受け入れた使用者要請精度及び各フレームの代表限
界値 (LIST＿OF＿δVALUES)と比較して前記キーフレー
ム番号(KEY＿FRAME ＿ID) と質疑との関連性有無を判断
し、前記キーフレーム番号(KEY＿FRAME ＿ID）が質疑と
の関連性がないと、前記ステップＳ７に進行する反面、
前記キーフレーム番号(KEY＿FRAME ＿ID) が質疑との関
連性があると、ステップＳ１２で、累積器（１６００）
にそのキーフレーム番号(KEY＿FRAME ＿ID) を累積させ
る。
【００５１】ステップＳ１３で、スタック（１３００）
が空いているか否かを判断し、スタック（１３００）が
空いていないと、前記ステップＳ４に進行する反面、前
記スタック（１３００）が空いていると、ステップＳ１
４で、累積器（１６００）が累積された検索結果を使用
者側に出力してから終了する。
が空いているか否かを判断し、スタック（１３００）が
空いていないと、前記ステップＳ４に進行する反面、前
記スタック（１３００）が空いていると、ステップＳ１
４で、累積器（１６００）が累積された検索結果を使用
者側に出力してから終了する。
【００５２】一方、前記ステップＳ４ないしステップＳ
６で、最上位キーフレーム番号 (ROOT＿KEY ＿FRAME ＿
ID）は使用者質疑が開始される初期にだけ復号化器（１
０００）から読み取って使用する。
６で、最上位キーフレーム番号 (ROOT＿KEY ＿FRAME ＿
ID）は使用者質疑が開始される初期にだけ復号化器（１
０００）から読み取って使用する。
【００５３】このように、本発明は、使用者が情報検索
のための質疑を開始すると、復号化器に貯蔵されたツリ
ー構造を有する動映像索引記述子の最上位キーフレーム
番号、索引内エッジ情報及び階層別限界値をサーバー環
境に送り、サーバー環境ではキーフレーム番号を順次読
み取って復号化器に送ると、復号化器でそのキーフレー
ム番号により指示された特徴ベクトルをサーバー環境に
送る。前記サーバー環境では、まずそのキーフレーム番
号指示特徴ベクトルと質疑特徴ベクトルを比較し、その
比較結果を前記限界値及び使用者要請検索精度と比較
し、前記サーバー環境で読み取ったキーフレーム番号が
質疑と関連あるか否かを判断し、質疑との関連がある
と、つづけてその検索結果を使用者環境からうけてみる
方式である。
のための質疑を開始すると、復号化器に貯蔵されたツリ
ー構造を有する動映像索引記述子の最上位キーフレーム
番号、索引内エッジ情報及び階層別限界値をサーバー環
境に送り、サーバー環境ではキーフレーム番号を順次読
み取って復号化器に送ると、復号化器でそのキーフレー
ム番号により指示された特徴ベクトルをサーバー環境に
送る。前記サーバー環境では、まずそのキーフレーム番
号指示特徴ベクトルと質疑特徴ベクトルを比較し、その
比較結果を前記限界値及び使用者要請検索精度と比較
し、前記サーバー環境で読み取ったキーフレーム番号が
質疑と関連あるか否かを判断し、質疑との関連がある
と、つづけてその検索結果を使用者環境からうけてみる
方式である。
【００５４】前述した検索過程は一例に当たり、実際に
一つの映像でない映像列形態の質疑を含むことができ、
映像列を本発明による個体基盤型記述子で記述した質疑
形態も含まれる。
一つの映像でない映像列形態の質疑を含むことができ、
映像列を本発明による個体基盤型記述子で記述した質疑
形態も含まれる。
【００５５】本発明による個体基盤型記述子は検索シス
テムのほかの内容基盤の演算を遂行することにおいて
も、その演算効率を向上させることができ、各フレーム
と各ショット間の関係を既に索引のエッジに含蓄するこ
とにより、比較的簡単な構造的変換過程のみにより場面
転移グラフなどに変換できるものが一例である。
テムのほかの内容基盤の演算を遂行することにおいて
も、その演算効率を向上させることができ、各フレーム
と各ショット間の関係を既に索引のエッジに含蓄するこ
とにより、比較的簡単な構造的変換過程のみにより場面
転移グラフなどに変換できるものが一例である。
【００５６】内容に基づく資料の検索過程は大きく効果
性及び効率性の２側面で評価できる。本発明は効果性を
損失しない範囲で効率性を大きく増大させることがで
き、比較的小さい大きさの記述形態により検索を含む各
種内容基盤の演算を動映像資料に適用することにおい
て、土台を提供することに期待される。
性及び効率性の２側面で評価できる。本発明は効果性を
損失しない範囲で効率性を大きく増大させることがで
き、比較的小さい大きさの記述形態により検索を含む各
種内容基盤の演算を動映像資料に適用することにおい
て、土台を提供することに期待される。
【００５７】
【発明の効果】このような本発明によるツリー構造の動
映像索引記述子を用いる検索装置及びその方法による
と、使用者が所望動映像情報を速かに検索し得る効果が
ある。
映像索引記述子を用いる検索装置及びその方法による
と、使用者が所望動映像情報を速かに検索し得る効果が
ある。
【図１】本発明に適用されるツリー構造の動映像索引を
説明するための概念図である。
説明するための概念図である。
【図２】図１のツリー構造動映像索引を記述するための
個体基盤型記述技法を示す図である。
個体基盤型記述技法を示す図である。
【図３】本発明に適用される動映像索引記述子を生成及
び貯蔵するための過程を説明するための図である。
び貯蔵するための過程を説明するための図である。
【図４】本発明に適用される動映像索引記述子が適用さ
れた応用環境の例を示す図である。
れた応用環境の例を示す図である。
【図５】本発明の一実施例による動映像索引記述子を用
いる検索装置を示す制御ブロック図である。
いる検索装置を示す制御ブロック図である。
【図６】図５の復号化器を示す詳細ブロック図である。
【図７】本発明の一実施例によるツリー構造の動映像索
引記述子を用いる検索装置で行われる検索方法を示す動
作フローチャートである。
引記述子を用いる検索装置で行われる検索方法を示す動
作フローチャートである。
【図８】本発明の一実施例によるツリー構造の動映像索
引記述子を用いる検索装置で行われる検索方法を示す動
作フローチャートである。
引記述子を用いる検索装置で行われる検索方法を示す動
作フローチャートである。
【符号の説明】 １０ キーフレーム抽出部 ２０ 累積器及び索引記述部 ３０ 圧縮及び符号化器 ４０ 記述子及び特徴ベクトル貯蔵所 ５０ 動映像資料 ６０ 特徴ベクトル抽出部 ６５ ショット境界検出部 １００ 符号化器 ２００ 復号化器 ２１０ 復号化器 ３００ 検索部 １０００ 復号化器 １０１０ 第２文法分析器 １０２０、１０３０、１０４０ バッファ １０５０ 特徴ベクトル貯蔵部 １１００ スタック制御器 １２００ 第１文法分析器 １３００ スタック １４００ 特徴ベクトル比較器 １５００ スレショルド比較器 １６００ 累積器 １７００ 質疑処理部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 李 商郁 大韓民国ソウル市江南区狎鴎亭洞（番地な し） 漢陽アパート43−403 (72)発明者 金 南圭 大韓民国ソウル市蘆原区中溪洞（番地な し） 市営アパート107−302
Claims (14)
- 【請求項１】使用者の質疑により動映像を検索するシス
テムにおいて、 ツリー構造の索引記述子及び特徴ベクトルを貯蔵してお
り、外部の要請時、実個体に対応する情報及び特定キー
フレーム番号で指示された特徴ベクトルを出力する復号
化器と、 使用者が質疑を開始する場合、いろいろの使用者定義値
及び質疑映像／映像列を受入れ、使用者要請検索精度及
び特徴ベクトルを抽出して送信するとともに検索要請信
号を送信する質疑処理部と、 貯蔵媒体であるスタックと、 検索初期に前記質疑処理部から検索要請があると、前記
復号化器に要請信号を送り、最上位キーフレーム番号を
受けて前記スタックに積載し、その後、前記スタックに
索引内エッジ情報に基づくキーフレーム番号を積載して
から読み込んで前記復号化器に出力するスタック制御器
と、 前記復号化器で実個体の該当情報を受け入れると、最上
位キーフレーム番号及び索引内エッジ情報は前記スタッ
ク制御器に送り、各フレームの代表限界値を出力する第
１文法分析器と、 前記復号化器でキーフレーム番号により指示された特徴
ベクトルを受け入れるとともに前記質疑処理部で質疑か
ら抽出された特徴ベクトルを受入れ比較した結果を出力
する特徴ベクトル比較器と、 前記特徴ベクトル比較器からの比較結果を前記第１文法
分析器からの各フレームの代表限界値及び前記質疑処理
部からの使用者要請検索精度と比較して、特定キーフレ
ーム番号と質疑との関連性有無を判断し、これに相応す
る制御信号を送信するスレショルド比較器と、 前記スタック制御器でキーフレーム番号を受入れ、前記
スレショルド比較器から受信した制御信号に応じて現在
キーフレーム番号を累積するか否かを決定し、前記スタ
ックが空いていると、累積された結果を最終に出力する
累積器とを含んで構成されることを特徴とするツリー構
造の動映像索引記述子を用いる検索装置。 - 【請求項２】前記復号化器は、動映像索引記述子を受入
れ、長さあるいは記述子内制御信号に基づいて各実個体
を属性別に分類して個別的に出力する第２文法分析器
と、 特徴ベクトルを貯蔵し、特定キーフレーム番号により指
示されて特徴ベクトルを応用環境に引き渡す特徴ベクト
ル貯蔵部と、 前記第２文法分析器から出力されるインデックス、ショ
ット、キーフレームの各実個体をそれぞれ貯蔵し、応用
環境でキーフレーム番号及びショット番号により無作為
接近が可能であり、応用環境で各実個体に対する要請あ
るいは接近制御信号を受け入れて、各実個体に対応する
情報を応用環境に引き渡す第１ないし第３バッファとか
ら構成されることを特徴とする請求項１記載のツリー構
造の動映像索引記述子を用いる検索装置。 - 【請求項３】前記ツリー構造の動映像索引は、ショット
単位に分割された元の動映像から上向的な標本抽出過程
により標本を抽出した後、各標本をノードに、標本階層
と母階層間の定量的な代表関係を各エッジに含蓄させる
段階と、 前記段階を繰り返してツリー構造に累積させる段階とか
らなることを特徴とする請求項１記載のツリー構造の動
映像索引記述子を用いる検索装置。 - 【請求項４】前記標本抽出過程は、標本階層が母階層を
定量的な限界値の範囲内で代表するようにし、各標本と
母階層内各フレーム間の代表関係及び各標本の代表限界
範囲を把握する段階からなることを特徴とする請求項３
記載のツリー構造の動映像索引記述子を用いる検索装
置。 - 【請求項５】前記ツリー構造の索引を個体単位に示す資
料構造はキーフレーム実個体、ショット実個体及びイン
デックス実個体からなることを特徴とする請求項３記載
のツリー構造の動映像索引記述子を用いる検索装置。 - 【請求項６】前記キーフレーム実個体は、フレーム番
号、フレームが属するショットの番号、相応する特徴ベ
クトルへの指示子、索引で位置する最上位階層、サブツ
リーを代表する定量的な限界値の階層別羅列、索引内エ
ッジ情報及びフレームに関する注釈などをその属性とし
て有することを特徴とする請求項５記載のツリー構造の
動映像索引記述子を用いる検索装置。 - 【請求項７】前記ショット実個体は、ショットの開始に
対応するフレーム番号、ショットの終端に相当するフレ
ーム番号、そのショットに属するキーフレーム実個体の
キーフレーム番号に対する羅列、順次性情報及び注釈な
どをその属性として含むことを特徴とする請求項５記載
のツリー構造の動映像索引記述子を用いる検索装置。 - 【請求項８】前記インデックス個体は、動映像の開始に
対応するショット番号、動映像の終端に相当するショッ
ト番号、索引最上位ノードのキーフレーム番号、索引に
使用した特徴ベクトル、距離関数に関する情報及び動映
像に関する全般的な注釈などを属性として含むことを特
徴とする請求項５記載のツリー構造の動映像索引記述子
を用いる検索装置。 - 【請求項９】前記ツリー構造の動映像索引は、キーフレ
ームとショットに関する情報をそれぞれ無作為接近の可
能な独立した個体で表現し、相互の従属関係及び代表関
係を各属性により表現する段階と、 索引の最上位ノード及び動映像資料の全般的な情報を第
３の個体に反映する段階と、 前記２ヵ段階により形成された記述子を活用して各個体
別に注釈を記入する段階とにより記述されることを特徴
とする請求項３記載のツリー構造の動映像索引記述子を
用いる検索装置。 - 【請求項１０】前記ツリーは、一つの動映像に対してそ
れぞれ異なる特徴が用いられるように、多数の索引ツリ
ーを置くことを許容することを特徴とする請求項９記載
のツリー構造の動映像索引記述子を用いる検索装置。 - 【請求項１１】ツリー構造の動映像索引記述子を用いて
動映像資料を検索する方法において、索引内で各フレー
ムが自分を頂点とするサブツリーを定量的な限界範囲内
で代表するものを用いて使用者要請精度条件と結合して
検索の経路を途中遮断させ得るようにすることを特徴と
するツリー構造の動映像索引記述子を用いる検索方法。 - 【請求項１２】ツリー構造の動映像索引記述子を用いて
使用者の質疑により動映像資料を検索する方法におい
て、 質疑が開始されると、質疑処理部は使用者定義値及び質
疑映像／映像列を受入れ、使用者要請精度及び特徴ベク
トルを抽出して特徴ベクトル比較器及びスレショルド比
較器の各々に出力するとともにスタック制御器に検索要
請をする第１段階と、 スタック制御器が復号化器に検索要請信号を送る第２段
階と、 復号化器がこれに相応して、実個体に対応する情報（キ
ーフレームの索引内エッジ情報、インデックスの最上位
キーフレーム番号、各フレームの代表限界値）を文法分
析器に出力する第３段階と、 文法分析器が索引内エッジ情報及び最上位キーフレーム
番号をスタック制御器に出力するとともに、各フレーム
の代表限界値をスレショルド比較器に出力する第４段階
と、 スタック制御器が前記索引内エッジ情報及び最上位キー
フレーム番号をスタックに貯蔵する第５段階と、 スタック制御器がスタックからキーフレーム番号を読み
取って復号化器及び累積器に出力する第６段階と、 復号化器が前記キーフレーム番号に指示された特徴ベク
トルを特徴ベクトル比較器に出力し、特徴ベクトル比較
器が前記キーフレーム番号に相応する特徴ベクトル及び
前記第１段階で受け入れた質疑からの特徴ベクトルを比
較し、その結果をスレショルド比較器に出力する第７段
階と、 スレショルド比較器が前記２特徴ベクトルの比較結果を
前記第１、第３段階で受け入れた使用者要請精度及び各
フレームの代表限界値と比較して前記特徴キーフレーム
番号と質疑との関連性有無を判断する第８段階と、 前記第８段階で、前記キーフレーム番号が質疑との関連
性がないと、前記第６段階に進行し、反面、前記キーフ
レーム番号が質疑との関連性があると、累積器にそのキ
ーフレーム番号を累積させる第９段階と、 スタックが空いているか否かを判断して、スタックが空
いていると、累積器が累積された検索結果を使用者側に
出力する第１０段階とを含んでなることを特徴とするツ
リー構造の動映像索引記述子を用いる検索方法。 - 【請求項１３】前記第１０段階は、スタックが空いてい
ないと、第３段階に進行し、特に、実個体に対応する情
報のうち、最上位キーフレーム番号は使用者質疑が開始
される初期にだけ復号化器から呼び込んで使用すること
を特徴とする請求項１２記載のツリー構造の動映像索引
記述子を用いる検索方法。 - 【請求項１４】動映像索引を形成する段階と、前記動映
像索引を記述する段階と、前記記述された動映像索引を
用いて検索する段階とから構成される動映像検索方法に
おいて、 前記動映像索引を形成する段階は、ショット単位に分割
された元の動映像から上向的な標本抽出過程により標本
を抽出した後、各標本をノードに、標本階層と母階層間
の定量的な代表関係を各エッジに含蓄させる段階と、前
記段階を繰り返してツリー構造を累積させる段階とから
なり、 前記動映像索引を記述する段階は、キーフレームとショ
ットに関する情報をそれぞれ無作為接近の可能な独立し
た個体で表現し、相互の従属関係及び代表関係を各属性
により表現する段階と、索引の最上位ノード及び動映像
資料の全般的な情報を第３の個体に反映する段階と、前
記２ヵ段階により形成された記述子を活用して各個体別
に注釈を記入する段階とからなり、 前記記述された動映像索引を用いて検索する段階は、索
引内で各フレームが自分を頂点とするサブツリーを定量
的な限界範囲内で代表するものを用いて使用者要請精度
条件と結合して検索することを特徴とするツリー構造の
動映像索引記述子を用いる検索方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR99-3248 | 1999-02-01 | ||
| KR10-1999-0003248A KR100442991B1 (ko) | 1999-02-01 | 1999-02-01 | 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006110156A Division JP2006268866A (ja) | 1999-02-01 | 2006-04-12 | ツリー構造の動映像索引記述子の生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000222439A true JP2000222439A (ja) | 2000-08-11 |
Family
ID=19572965
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000024382A Pending JP2000222439A (ja) | 1999-02-01 | 2000-02-01 | ツリ―構造の動映像索引記述子を用いる検索装置及びその方法 |
| JP2006110156A Pending JP2006268866A (ja) | 1999-02-01 | 2006-04-12 | ツリー構造の動映像索引記述子の生成方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006110156A Pending JP2006268866A (ja) | 1999-02-01 | 2006-04-12 | ツリー構造の動映像索引記述子の生成方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6609134B1 (ja) |
| EP (1) | EP1026602A3 (ja) |
| JP (2) | JP2000222439A (ja) |
| KR (1) | KR100442991B1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011142026A1 (ja) * | 2010-05-14 | 2011-11-17 | 株式会社日立製作所 | 時系列データ管理装置、システム、方法、およびプログラム |
| US8478004B2 (en) | 2007-06-22 | 2013-07-02 | Samsung Electronics Co., Ltd. | Method of controlling digital image processing apparatus for performing moving picture photographing mode, and digital image processing apparatus using the method |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7386170B2 (en) * | 2000-06-30 | 2008-06-10 | Texas Instruments Incorporated | Image object ranking |
| FR2824159B1 (fr) * | 2001-04-30 | 2003-07-25 | France Telecom | Indexation dans une description de document multimedia |
| US7295755B2 (en) * | 2001-06-22 | 2007-11-13 | Thomson Licensing | Method and apparatus for simplifying the access of metadata |
| BRPI0212375B1 (pt) * | 2001-09-07 | 2016-05-24 | Intergraph Hardware Tech Co | método para estabilizar uma imagem |
| KR100721611B1 (ko) * | 2005-08-10 | 2007-05-25 | 김두용 | 데이터베이스 시스템 구축 방법 |
| KR100912371B1 (ko) * | 2007-12-17 | 2009-08-19 | 한국전자통신연구원 | 클러스터 환경에서 고확장성을 지원하는 대용량 고차원데이터 색인 장치 및 방법 |
| JP5510012B2 (ja) * | 2010-04-09 | 2014-06-04 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| CN101840435A (zh) * | 2010-05-14 | 2010-09-22 | 中兴通讯股份有限公司 | 一种实现视频预览和检索的方法及移动终端 |
| KR101675785B1 (ko) * | 2010-11-15 | 2016-11-14 | 삼성전자주식회사 | 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치 |
| US9659043B2 (en) * | 2013-02-07 | 2017-05-23 | Enigma Technologies, Inc. | Data system and method |
| CN105468781A (zh) * | 2015-12-21 | 2016-04-06 | 小米科技有限责任公司 | 视频查询方法和装置 |
| CN112597341A (zh) * | 2018-05-25 | 2021-04-02 | 中科寒武纪科技股份有限公司 | 视频检索方法及视频检索映射关系生成方法、装置 |
| CN109543195B (zh) * | 2018-11-19 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种文本翻译的方法、信息处理的方法以及装置 |
| CN112000833B (zh) * | 2020-07-29 | 2023-02-28 | 西安电子科技大学 | 一种边缘环境下加密图像安全检索方法及检索*** |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05282379A (ja) * | 1992-02-06 | 1993-10-29 | Internatl Business Mach Corp <Ibm> | 動画像の管理方法及び管理装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3716840A (en) * | 1970-06-01 | 1973-02-13 | Texas Instruments Inc | Multimodal search |
| JPH06101018B2 (ja) * | 1991-08-29 | 1994-12-12 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 動画像データベースの検索 |
| JPH0756652B2 (ja) * | 1992-03-24 | 1995-06-14 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 動画像のフレーム列の検索 |
| JP3561930B2 (ja) * | 1993-08-14 | 2004-09-08 | ソニー株式会社 | 画像検索用ｉｄ信号の記録方法、画像検索方法、及び記録画像再生装置 |
| JP3441807B2 (ja) * | 1994-09-19 | 2003-09-02 | 株式会社日立製作所 | Ｂ木インデクスの管理方法およびシステム |
| US5821945A (en) * | 1995-02-03 | 1998-10-13 | The Trustees Of Princeton University | Method and apparatus for video browsing based on content and structure |
| US5911139A (en) * | 1996-03-29 | 1999-06-08 | Virage, Inc. | Visual image database search engine which allows for different schema |
| JPH09282327A (ja) * | 1996-04-15 | 1997-10-31 | Nippon Hoso Kyokai <Nhk> | 画像検索方法 |
| US5870754A (en) * | 1996-04-25 | 1999-02-09 | Philips Electronics North America Corporation | Video retrieval of MPEG compressed sequences using DC and motion signatures |
| US5918223A (en) * | 1996-07-22 | 1999-06-29 | Muscle Fish | Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information |
| US5852823A (en) | 1996-10-16 | 1998-12-22 | Microsoft | Image classification and retrieval system using a query-by-example paradigm |
| US6119123A (en) * | 1997-12-02 | 2000-09-12 | U.S. Philips Corporation | Apparatus and method for optimizing keyframe and blob retrieval and storage |
| KR20010004808A (ko) * | 1999-06-29 | 2001-01-15 | 박웅규 | 의미 검색을 위한 동영상 인덱싱 방법 |
-
1999
- 1999-02-01 KR KR10-1999-0003248A patent/KR100442991B1/ko not_active IP Right Cessation
-
2000
- 2000-01-28 EP EP00300653A patent/EP1026602A3/en not_active Withdrawn
- 2000-02-01 JP JP2000024382A patent/JP2000222439A/ja active Pending
- 2000-02-01 US US09/496,306 patent/US6609134B1/en not_active Expired - Lifetime
-
2006
- 2006-04-12 JP JP2006110156A patent/JP2006268866A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05282379A (ja) * | 1992-02-06 | 1993-10-29 | Internatl Business Mach Corp <Ibm> | 動画像の管理方法及び管理装置 |
Non-Patent Citations (5)
| Title |
|---|
| JAU-YUEN CHEN、外３名: "Vibe: A New Paradigm for Video Database Browsing and Search", WORKSHOP IN CONTENT-BASED ACCESS TO IMAGE AND VIDEO LIBRARIES, JPN4005000670, June 1998 (1998-06-01), pages 96 - 100, XP010293858, ISSN: 0000761662, DOI: 10.1109/IVL.1998.694510 * |
| TOLGA BOZKAYA、外１名: "DISTANCE-BASED INDEXING FOR HIGH-DIMENSIONAL METRIC SPACES", PROCEEDINGS OF THE 1997 ACM SIGMOD, JPN4005000671, 1997, pages 357 - 368, ISSN: 0000761663 * |
| 大和田俊和、外２名: "デジタル放送のためのインデックス情報の断片化方式に関する検討", 情報処理学会９８−ＤＢＳ−１１６（２）, vol. 第９８巻，第５８号, CSNG199901066003, 10 July 1998 (1998-07-10), pages 17 - 24, ISSN: 0000761659 * |
| 柴田正啓、外１名: "シーン記述に基づく映像の要約再生", 電子情報通信学会技術研究報告ＰＲＵ９５−２３５〜２４８, vol. 第９５巻，第５８４号, CSNG200201914001, 15 March 1996 (1996-03-15), pages 27 - 32, ISSN: 0000761661 * |
| 橋本隆子、外３名: "コンテンツの選択的試聴を可能とする再構成検索方式の検討", 情報処理学会研究報告９８−ＤＢＳ−１１６（２）, vol. 第９８巻，第５８号, CSNG199901066001, 10 July 1998 (1998-07-10), pages 1 - 8, ISSN: 0000761660 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8478004B2 (en) | 2007-06-22 | 2013-07-02 | Samsung Electronics Co., Ltd. | Method of controlling digital image processing apparatus for performing moving picture photographing mode, and digital image processing apparatus using the method |
| WO2011142026A1 (ja) * | 2010-05-14 | 2011-11-17 | 株式会社日立製作所 | 時系列データ管理装置、システム、方法、およびプログラム |
| CN102859517A (zh) * | 2010-05-14 | 2013-01-02 | 株式会社日立制作所 | 时序数据管理装置、***、方法以及程序 |
| JP5503737B2 (ja) * | 2010-05-14 | 2014-05-28 | 株式会社日立製作所 | 時系列データ管理装置、システム、方法、およびプログラム |
| US9298854B2 (en) | 2010-05-14 | 2016-03-29 | Hitachi, Ltd. | Time-series data management device, system, method, and program |
| CN102859517B (zh) * | 2010-05-14 | 2016-07-06 | 株式会社日立制作所 | 时序数据管理装置、***以及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1026602A2 (en) | 2000-08-09 |
| KR100442991B1 (ko) | 2004-08-04 |
| JP2006268866A (ja) | 2006-10-05 |
| EP1026602A3 (en) | 2004-09-15 |
| US6609134B1 (en) | 2003-08-19 |
| KR20000054899A (ko) | 2000-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2006268866A (ja) | ツリー構造の動映像索引記述子の生成方法 | |
| JP5340517B2 (ja) | マルチメディア情報に対するメタ・ディスクリプタ | |
| Dowe | Content-based retrieval in multimedia imaging | |
| US8037105B2 (en) | Computer apparatus | |
| CN101819598B (zh) | 存储设备和记录介质 | |
| US8117210B2 (en) | Sampling image records from a collection based on a change metric | |
| JP2001510673A (ja) | キーフレームおよびブロブの検索および格納を最適化する装置および方法 | |
| CN102236714A (zh) | 一种基于xml的交互应用多媒体信息检索方法 | |
| CN111177432A (zh) | 一种基于分层深度哈希的大规模图像检索方法 | |
| CN112948601A (zh) | 一种基于受控语义嵌入的跨模态哈希检索方法 | |
| Pigeau et al. | Building and tracking hierarchical geographical & temporal partitions for image collection management on mobile devices | |
| EP1531405B1 (en) | Information search apparatus, information search method, and information recording medium on which information search program is recorded | |
| JP2003256432A (ja) | 映像素材情報記述方法、遠隔検索システム、遠隔検索方法、編集装置および遠隔検索端末、遠隔編集システム、遠隔編集方法、編集装置および遠隔編集端末、ならびに、映像素材情報記憶装置および方法 | |
| WO2002033589A1 (fr) | Appareil de gestion d'informations de recherche de contenu d'image dynamique | |
| Juan et al. | Content-based video retrieval system research | |
| CN107544978A (zh) | 一种基于内容的视频检索方法 | |
| KR100831550B1 (ko) | 엑스엠엘 계층구조를 이용한 비디오 검색 시스템 및 그 방법 | |
| Wang et al. | Efficient sampling of training set in large and noisy multimedia data | |
| Shah et al. | Video to text summarisation and timestamp generation to detect important events | |
| Sebastine et al. | Semantic web for content based video retrieval | |
| JP2006501539A (ja) | 階層データフォーマットに対するデータベースモデル | |
| Bulysheva et al. | Visual database design: indexing methods | |
| Faudemay et al. | Intelligent delivery of personalised video programmes from a video database | |
| WO2002035390A1 (fr) | Appareil de gestion d'informations d'exploration de contenu d'image dynamique | |
| CN112559820B (zh) | 基于深度学习的样本数据集智能出题方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040622 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040922 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050629 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050812 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050927 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060525 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060629 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060811 |