JP2002245066A - Device and method for retrieving information and storage medium - Google Patents
Device and method for retrieving information and storage mediumInfo
- Publication number
- JP2002245066A JP2002245066A JP2001041517A JP2001041517A JP2002245066A JP 2002245066 A JP2002245066 A JP 2002245066A JP 2001041517 A JP2001041517 A JP 2001041517A JP 2001041517 A JP2001041517 A JP 2001041517A JP 2002245066 A JP2002245066 A JP 2002245066A
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio
- identification code
- content
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、情報検索技術に係
り、特に、映像との音楽の各データからなるＡＶコンテ
ンツを検索する情報検索技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information retrieval technique, and more particularly to an information retrieval technique for retrieving AV contents composed of video and music data.
【０００２】更に詳しくは、本発明は、元データが持つ
特徴量に基づくＡＶコンテンツのための情報検索技術に
係り、特に、映像と音楽の両方の特徴量を利用してＡＶ
コンテンツを検索する情報検索技術に関する。More specifically, the present invention relates to an information retrieval technique for AV contents based on characteristic amounts of original data, and more particularly, to an AV retrieval method using both image and music characteristic amounts.
The present invention relates to an information search technology for searching for content.
【０００３】[0003]
【従来の技術】昨今、コンピュータ上での演算処理をベ
ースとした情報処理技術が飛躍的に向上している。これ
に伴い、単なるコンピュータ・データ以外に、映像や音
声などの各種のデータ・コンテンツもデジタル化され、
コンピュータ・ファイルとして取り扱われるようになっ
てきている。したがって、情報資源の有効活用という観
点からも、各種のデータ・コンテンツに関する検索技術
は重要度を増している。2. Description of the Related Art Recently, information processing technology based on arithmetic processing on a computer has been dramatically improved. Along with this, in addition to mere computer data, various data contents such as video and audio have also been digitized,
It is being treated as a computer file. Therefore, also from the viewpoint of effective use of information resources, search techniques for various data / contents have become increasingly important.
【０００４】あるいは、コンテンツの配信や放送の分野
において、コンテンツ使用量に関して従量課金制を導入
した場合や、著作権保護の観点からコンテンツの使用を
取り締まる場合など、各コンテンツに対して配信又は放
送された回数を計数したり監視しなければならない。例
えば、いま配信されたコンテンツが何であったかを特定
するために、情報検索技術が適用される。[0004] Alternatively, in the field of content distribution and broadcasting, when a pay-as-you-go system is introduced for the content usage amount, or when the use of the content is restricted from the viewpoint of copyright protection, the content is distributed or broadcast. Must be counted and monitored. For example, an information search technique is applied in order to specify what content has been distributed.
【０００５】例えば、テキスト形式の比較的小サイズの
データ検索であれば、コンピュータの演算能力に頼って
テキストの一致を基調とする全数検索を行うこともでき
る。これに対し、映像や音楽データからなるＡＶコンテ
ンツの場合、一般にデータ量が膨大であるため、コンテ
ンツの初めから終わりまで全数検索を行うことは技術的
に不可能である。For example, in the case of data retrieval of a relatively small size in the text format, it is possible to perform an exhaustive retrieval based on the matching of texts, depending on the computing power of the computer. On the other hand, in the case of AV contents including video and music data, since the data amount is generally enormous, it is technically impossible to perform an exhaustive search from the beginning to the end of the contents.
【０００６】音楽情報検索として、楽曲データを採譜し
て検索対象となる楽曲データとの照合（全数検索）を行
うものがある。この方法では、楽曲の初めから終わりま
でパターン・マッチングを行う。しかしながら、インデ
ックスを使用しない全数検索は、検索速度が遅いという
欠点がある。[0006] As a music information search, there is a method in which music data is transcribed and collated (total search) with music data to be searched. In this method, pattern matching is performed from the beginning to the end of the music. However, the exhaustive search using no index has a disadvantage that the search speed is slow.
【０００７】例えば音楽放送においては、音譜ベースで
の比較照合ではなく、信号の特徴抽出による監視が既に
実施されている。すなわち、ＩＳＲＣ（International
Standard Recording Number）のような楽曲のユニーク
・コードと対応させた楽曲の特徴量をあらかじめデータ
ベースに登録しておく。ＩＳＲＣや楽曲の採取には、Ｃ
Ｄ（Compact Disc）などの既存の記録メディアを利用す
る。そして、放送を受信してその特徴量とデータベース
に登録済みの特徴量とを比較照合して、受信した楽曲の
ＩＳＲＣを特定する（図６を参照のこと）。[0007] For example, in music broadcasting, monitoring based on signal feature extraction has been already performed instead of comparison and collation on a musical note basis. That is, ISRC (International
The feature amount of the music corresponding to the unique code of the music such as Standard Recording Number is registered in the database in advance. For ISRC and music collection, C
Use existing recording media such as D (Compact Disc). Then, it receives the broadcast, compares the feature amount with the feature amount registered in the database, and specifies the ISRC of the received music (see FIG. 6).
【０００８】音楽放送で実施されている同一検索を、Ａ
Ｖコンテンツにまでそのまま適用範囲を拡張する場合、
音声で行うと無音部分では抽出できないという問題があ
る。例えば、音楽のみのコンテンツに比べ、映画などで
は無音部分がかなりあるので、音楽データの特徴抽出に
基づく検索には限界がある。[0008] The same search performed in music broadcasting is called A
To extend the scope of application to V content,
There is a problem that it is not possible to extract a silent part if it is performed by voice. For example, since there is much silence in a movie or the like as compared with music-only content, a search based on feature extraction of music data is limited.
【０００９】一方、映像だけでＡＶコンテンツを検索す
ることを考えた場合、登場人物がしゃべっているシーン
など映像の内容の変化が少ない部分が多いので、映像デ
ータの特徴抽出に基づく検索には限界がある。[0009] On the other hand, when searching for AV contents only by video, there are many portions where the content of the video changes little, such as scenes in which characters are talking, so that search based on feature extraction of video data is limited. There is.
【００１０】また、映画業界においては、同じ映画でも
販売先となるそれぞれの国や地域の公用語などに応じた
言語対応、すなわち音声の吹き替え処理が行われる。吹
き替え処理の結果、音声ベースでのコンテンツ検索を行
うと、同じ映画であっても一致しなくなる。In the movie industry, even for the same movie, language correspondence according to the official language of each country or region to which the movie is sold, that is, voice dubbing processing is performed. As a result of the dubbing process, if a voice-based content search is performed, there is no match even for the same movie.
【００１１】[0011]
【発明が解決しようとする課題】本発明の目的は、映像
との音楽の各データからなるＡＶコンテンツを高速且つ
確実に検索することができる、優れた情報検索装置及び
方法を提供することにある。SUMMARY OF THE INVENTION An object of the present invention is to provide an excellent information retrieval apparatus and method capable of quickly and reliably retrieving AV contents composed of video and music data. .
【００１２】[0012]
【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第１の側面
は、映像データと音声データの組み合わせからなるＡＶ
コンテンツを検索する情報検索装置又は方法であって、
音声の特徴量と音声識別コードを連結した音声データベ
ースと、映像の特徴量と映像識別コードを連結した映像
データベースと、音声識別コードと映像識別コードを連
結したＡＶコンテンツ・テーブルと、音声データベース
を用いて音声の検索を行う音声データ検索手段又はステ
ップと、映像データベースを用いて映像の検索を行う映
像データ検索手段又はステップと、前記音声データ検索
手段又はステップ、及び、前記映像データ検索手段又は
ステップにより抽出された音声識別コード及び映像識別
コードに基づいて、前記ＡＶコンテンツ・テーブルから
該当するＡＶコンテンツを決定するＡＶコンテンツ決定
手段又はステップと、を具備することを特徴とする情報
検索装置又は方法である。SUMMARY OF THE INVENTION The present invention has been made in consideration of the above problems, and a first aspect of the present invention is an AV system comprising a combination of video data and audio data.
An information search device or method for searching for content,
Using an audio database in which audio features and audio identification codes are linked, a video database in which video features and video identification codes are linked, an AV content table in which audio identification codes and video identification codes are linked, and an audio database Audio data search means or step for searching for audio data, video data search means or step for searching for video using a video database, the audio data search means or step, and the video data search means or step. An information retrieval apparatus or method comprising: an AV content determining unit or step of determining a corresponding AV content from the AV content table based on the extracted audio identification code and video identification code. .
【００１３】本発明に係る情報検索装置又は方法は、音
声の特徴量と音声識別コードを連結したデータベース
と、映像の特徴量と映像識別コードを連結したデータベ
ースと、音声識別コードと映像識別コードを連結したＡ
Ｖコンテンツ・テーブルを用意する。そして、映像の検
索と音声の検索を並行して実行する。[0013] An information retrieval apparatus or method according to the present invention includes a database in which audio features and audio identification codes are linked, a database in which video features and video identification codes are linked, and a voice identification code and a video identification code. A connected
Prepare a V content table. Then, the video search and the audio search are performed in parallel.
【００１４】例えば、映像の検索で見つかった場合にそ
の映像識別コードをＡＶコンテンツ・テーブルで参照し
て、該当する音声識別コードを引き出す。このコードを
音声の検索に与えて、照合がとれれば検索は完了する。
同様に、音声の検索で見つかった場合にその音声識別コ
ードをＡＶコンテンツ・テーブルで参照して、該当する
映像識別コードを引き出す。このコードを映像の検索に
与えて、照合がとれれば検索は完了する。[0014] For example, when the video identification code is found in the video search, the video identification code is referred to in the AV content table to extract the corresponding audio identification code. This code is given to the voice search, and if the collation is obtained, the search is completed.
Similarly, when the audio identification code is found in the audio search, the audio identification code is referred to in the AV content table to extract the corresponding video identification code. This code is given to the video search, and if the collation is obtained, the search is completed.
【００１５】放送系になどでこのような検索を行う場
合、マルチパスの影響や、送信・受信回路の歪や圧縮に
よる歪など、系としてある程度の歪を許容しなければな
らない場合がある。この場合、完全な同一検索では検索
不能になるので、特徴量の照合時に、ある程度の判定の
許容度を与える必要がある。逆に許容度を与えることに
よって、ある１つの検索対象に対して複数の検索結果が
出現する可能性がある。When such a search is performed in a broadcasting system or the like, it may be necessary to allow a certain degree of distortion as a system, such as the influence of multipath, distortion of a transmission / reception circuit, or distortion due to compression. In this case, it is impossible to perform a search with the exact same search, so that it is necessary to give a certain degree of tolerance for the judgment at the time of matching the feature amounts. Conversely, by giving the allowance, there is a possibility that a plurality of search results will appear for one certain search target.
【００１６】検索の高速化を狙った場合、複数の検索結
果が出てしまう可能性は必然的に高まる。このような事
態を解消するためには、映像と音声の両方を検索対象に
して、信頼性を上げるようにすればよい。When the speed of the search is increased, the possibility that a plurality of search results will appear is inevitably increased. In order to eliminate such a situation, both video and audio may be searched for to improve reliability.
【００１７】映像で検索して先に見つかった場合には、
この映像識別コードをＡＶコンテンツ・テーブルを参照
して、音声の検索に音声識別コードを与えて照合を図
る。また、その逆に、音声で検索して先に見つかった場
合に、この音声識別コードをＡＶコンテンツ・テーブル
を参照して、映像の検索に映像識別コードを与えて照合
を図る。そして、映像及び音声の両方の結果が一致する
ことを見て判断する。映像、音声の検索結果がそれぞれ
複数出現する場合には、すべての組み合わせについて判
断し、誤差が少ない結果を選択するようにする。[0017] If the video is searched first and found,
The video identification code is referred to the AV content table, and the audio identification code is given to the audio search for collation. Conversely, if the search is performed by voice and found earlier, this voice identification code is referred to the AV content table, and a video identification code is given to the video search for verification. Then, the determination is made by seeing that the results of both the video and the audio match. When a plurality of video and audio search results appear, all combinations are determined, and a result with a small error is selected.
【００１８】本発明の第１の側面に係る情報検索装置又
は方法は、さらに検索対象となるＡＶコンテンツのコン
テンツ識別コード取得手段又はステップを備えて、前記
音声データ検索手段又はステップ、及び／又は、映像デ
ータ検索手段又はステップは、該コンテンツ識別コード
に対応するＡＶコンテンツに対して優先的に照合を行う
ようにしてもよい。The information retrieval apparatus or method according to the first aspect of the present invention further comprises a content identification code acquisition means or step for an AV content to be retrieved, and the audio data retrieval means or step and / or The video data search means or step may preferentially collate the AV content corresponding to the content identification code.
【００１９】コンテンツを識別する識別コードなどの情
報を入手するメカニズムが用意されている場合であっ
て、しかも改竄のおそれがなく入手できる場合には、信
号の照合も必要がない。しかし、コンテンツの著作権者
は、再生機や記録機をユーザが改竄したりして偽りの識
別コードが生成されることを恐れる。そこで、改竄を確
認するための信号の照合を行う必要がある。If a mechanism for obtaining information such as an identification code for identifying the content is provided, and if the information can be obtained without fear of tampering, there is no need for signal collation. However, the copyright holder of the content fears that a fake identification code will be generated by the user falsifying the playback device or the recording device. Therefore, it is necessary to perform signal collation for confirming tampering.
【００２０】多くの場合は改竄されていないので、コン
テンツ識別コードに対応するコンテンツを優先して照合
処理することによって、システム全体の情報検索速度を
高速化することができる。In many cases, the content has not been tampered with, and the information retrieval speed of the entire system can be increased by preferentially performing collation processing on the content corresponding to the content identification code.
【００２１】また、前記音声データ検索手段又はステッ
プ、及び／又は、映像データ検索手段又はステップは、
明かに相違するＡＶコンテンツに対する照合処理を省略
するようにしてもよい。The audio data search means or step and / or the video data search means or step may include:
You may make it omit the collation process with respect to the obviously different AV contents.
【００２２】明かに相違することが容易に分かるＡＶコ
ンテンツに関しては、音声データ検索並びに映像データ
検索を行う必要がなく、かかる工程を省略することによ
り計算機負荷を軽減することができるとともに、より類
似するコンテンツに関して誤差を小さくして高精度な照
合処理を行うことができる。また、明かに相違するコン
テンツに対する余分な照合処理を省くので、システム全
体の情報検索速度を高速化することができる。It is not necessary to perform audio data retrieval and video data retrieval for AV contents which can be easily recognized as being clearly different. By omitting such steps, the computer load can be reduced and more similarity can be obtained. It is possible to perform a high-precision matching process by reducing an error in the content. In addition, since extra collation processing for content that is clearly different is omitted, the information retrieval speed of the entire system can be increased.
【００２３】本発明の第２の側面は、映像データと音声
データの組み合わせからなるＡＶコンテンツを検索する
情報検索処理をコンピュータ・システム上で実行するよ
うに記述されたコンピュータ・ソフトウェアをコンピュ
ータ可読形式で物理的に格納した記憶媒体であって、前
記コンピュータ・ソフトウェアは、音声の特徴量と音声
識別コードを連結した音声データベースを用いて音声の
検索を行う音声データ検索ステップと、映像の特徴量と
映像識別コードを連結した映像データベースを用いて映
像の検索を行う映像データ検索ステップと、前記音声デ
ータ検索ステップ及び前記映像データ検索ステップによ
り抽出された音声識別コード及び映像識別コードに基づ
いて、音声識別コードと映像識別コードを連結したＡＶ
コンテンツ・テーブルから該当するＡＶコンテンツを決
定するＡＶコンテンツ決定ステップと、を具備すること
を特徴とする記憶媒体である。According to a second aspect of the present invention, computer software written to execute, on a computer system, an information retrieval process for retrieving AV contents composed of a combination of video data and audio data in a computer readable format. A physically stored storage medium, wherein the computer software performs an audio data search step of searching for audio using an audio database in which audio features and audio identification codes are linked; A video data search step for searching for a video using a video database to which an identification code is connected; and an audio identification code based on the audio identification code and the video identification code extracted by the audio data search step and the video data search step. AV with video identification code
An AV content determining step of determining the corresponding AV content from a content table.
【００２４】本発明の第２の側面に係る記憶媒体は、例
えば、様々なプログラム・コードを実行可能な汎用コン
ピュータ・システムに対して、コンピュータ・ソフトウ
ェアをコンピュータ可読な形式で提供する媒体である。
このような媒体は、例えば、ＣＤ（Compact Disc）やＦ
Ｄ（Floppy Disk）、ＭＯ（Magneto-Optical disc）な
どの着脱自在で可搬性の記憶媒体である。あるいは、ネ
ットワーク（ネットワークは無線、有線の区別を問わな
い）などの伝送媒体などを経由してコンピュータ・ソフ
トウェアを特定のコンピュータ・システムに提供するこ
とも技術的に可能である。The storage medium according to the second aspect of the present invention is a medium that provides computer software in a computer-readable format to a general-purpose computer system that can execute various program codes.
Such a medium is, for example, a CD (Compact Disc) or F
It is a removable and portable storage medium such as D (Floppy Disk) and MO (Magneto-Optical disc). Alternatively, it is technically possible to provide computer software to a specific computer system via a transmission medium such as a network (a network may be either wireless or wired).
【００２５】このような記憶媒体は、コンピュータ・シ
ステム上で所定のコンピュータ・ソフトウェアの機能を
実現するための、コンピュータ・ソフトウェアと記憶媒
体との構造上又は機能上の協働的関係を定義したもので
ある。換言すれば、本発明の第２の側面に係る記憶媒体
を介して所定のコンピュータ・ソフトウェアをコンピュ
ータ・システムにインストールすることによって、コン
ピュータ・システム上では協働的作用が発揮され、本発
明の第１の側面に係る情報検索装置及び方法と同様の作
用効果を得ることができる。Such a storage medium defines a structural or functional cooperative relationship between the computer software and the storage medium in order to realize predetermined computer software functions on a computer system. It is. In other words, by installing predetermined computer software into the computer system via the storage medium according to the second aspect of the present invention, a cooperative action is exerted on the computer system, and the second aspect of the present invention is realized. The same operation and effect as those of the information search device and method according to one aspect can be obtained.
【００２６】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。Still other objects, features and advantages of the present invention are:
It will become apparent from the following more detailed description based on the embodiments of the present invention and the accompanying drawings.
【００２７】[0027]
【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００２８】図１には、本発明の一実施形態に係る情報
検索装置１の構成を模式的に示している。以下、同図を
参照しながら、情報検索装置１の各コンポーネントにつ
いて説明する。FIG. 1 schematically shows the configuration of an information retrieval apparatus 1 according to one embodiment of the present invention. Hereinafter, each component of the information search device 1 will be described with reference to FIG.
【００２９】ＣＰＵ（Central Processing Unit）１１
は、情報検索装置１全体の動作を統括的に制御する中央
コントローラであり、オペレーティング・システム（Ｏ
Ｓ）が提供するプログラム実行環境下で、メモリ１２に
格納された（又はロードされた）制御プログラムや他の
メモリ１３に格納された（又はロードされた）一致判別
プログラムを実行するようになっている。CPU (Central Processing Unit) 11
Is a central controller that comprehensively controls the operation of the entire information search device 1, and has an operating system (O
Under the program execution environment provided by S), the control program stored (or loaded) in the memory 12 and the match determination program stored (or loaded) in the other memory 13 are executed. I have.
【００３０】ここで言う一致判別プログラムには、映像
の特徴値による映像データベースの照合処理、音声の特
徴値による音声データーベースの照合処理、映像並びに
音声データベースの照合結果に基づくＡＶコンテンツ・
テーブルの照合処理などが含まれる。また、制御プログ
ラムには、一致判別結果に基づくＡＶコンテンツの特定
処理などのＡＶコンテンツに関する情報検索処理プログ
ラムが含まれる。The match determination program referred to here includes a video database collation process based on video feature values, an audio database collation process based on audio feature values, and AV content / video content based on video and audio database collation results.
This includes table collation processing. Further, the control program includes an information search processing program related to AV contents such as a process of specifying AV contents based on a result of the match determination.
【００３１】ＣＰＵ１１は、バス２２を介して装置１内
の各モジュールと相互接続されている。バス２２は、ア
ドレス・バス、データ・バス、コントロール・バスを含
んだ共通信号伝送路である。The CPU 11 is interconnected with each module in the apparatus 1 via a bus 22. The bus 22 is a common signal transmission path including an address bus, a data bus, and a control bus.
【００３２】映像・音声特徴抽出部１４は、ＡＶコンテ
ンツから映像及び音声データへのデマルチプレクス処
理、並びに、映像データの特徴抽出処理、音声データの
特徴抽出処理を行う。映像・音声特徴抽出部１４によっ
て抽出された映像並びに音声の特徴値は、一致判別プロ
グラムに投入される。The video / audio feature extraction unit 14 performs a demultiplexing process from AV contents to video and audio data, a feature extraction process for video data, and a feature extraction process for audio data. The feature values of the video and audio extracted by the video / audio feature extraction unit 14 are input to the match determination program.
【００３３】特徴データベース１５は、ＡＶコンテンツ
に関する照合・情報検索処理に利用されるデータベース
で構成される。より具体的には、特徴データベース１５
は、音声の特徴量と音声識別コードを連結した音声デー
タベースと、映像の特徴量と映像識別コードを連結した
映像データベースと、音声識別コードと映像識別コード
を連結したＡＶコンテンツ・テーブルとで構成される。
このうち映画に関するＡＶコンテンツ・テーブルの構成
例を以下に示しておく。The feature database 15 is a database used for a collation / information search process relating to AV contents. More specifically, the feature database 15
Is composed of an audio database in which audio features and audio identification codes are linked, a video database in which video features and video identification codes are linked, and an AV content table in which audio identification codes and video identification codes are linked. You.
An example of the configuration of the AV content table related to a movie is shown below.
【００３４】[0034]
【表１】 [Table 1]
【００３５】上記に示したＡＶコンテンツ・テーブルで
は、各レコードは、映画名と、映像識別コードと、音声
識別コードと、ＡＶコンテンツ識別コードの組み合わせ
で構成される。したがって、映像識別コードが判明する
とこれにヒットする音声識別コードを絞り込むことがで
きるし、逆に、音声識別コードが判明するとこれにヒッ
トする映像識別コードを絞り込むことができる。また、
映像識別コードと音声識別コードの双方を特定すると、
このＡＶコンテンツ・テーブルを参照することによって
ＡＶコンテンツ識別コードすなわちＡＶコンテンツが一
意に定まる。In the AV content table described above, each record is composed of a combination of a movie name, a video identification code, an audio identification code, and an AV content identification code. Therefore, when the video identification code is found, the voice identification code that hits the video identification code can be narrowed down. Conversely, when the voice identification code is found, the video identification code that hits this can be narrowed down. Also,
If you specify both the video identification code and the audio identification code,
The AV content identification code, that is, the AV content is uniquely determined by referring to the AV content table.
【００３６】優先照合リスト１６、並びに映像・音声照
合リスト１７は、情報検索すなわちＡＶコンテンツの照
合処理を行うときの一部の作業データを一時的に保管す
るために使用される。The priority collation list 16 and the video / audio collation list 17 are used to temporarily store a part of work data when performing information retrieval, that is, collation processing of AV contents.
【００３７】優先照合リスト１６は、優先的に照合処理
を行うべきＡＶコンテンツをリストするための記憶モジ
ュールである。例えば、外部からコンテンツ識別コード
が渡されたＡＶコンテンツに関しては、この識別コード
により照合・検索範囲を限定して処理時間を高速化する
ことができるまで、優先照合リスト１６に登録する。The priority collation list 16 is a storage module for listing AV contents to be preferentially collated. For example, an AV content to which a content identification code has been passed from the outside is registered in the priority collation list 16 until the collation / search range can be limited by this identification code to speed up the processing time.
【００３８】映像・音声照合リスト１７は、各映像デー
タ及び音声データについてのデータベース照合結果を一
時的に保管するために使用される。例えば、映像データ
が一致するが対応する音声データが一致しない場合は、
映像データの照合処理を行う必要がないので、映像照合
リストにその旨を記入する。また、逆に音声データが一
致するが対応する映像データが一致しない場合は、音声
データの照合処理を行う必要がないので、音声照合リス
トにその旨を記入する。また、音声が明らかに違う場合
には、音声照合リストにその旨を記入して高精度の照合
処理をスキップさせるようにするし、映像が明らかに違
う場合には、映像照合リストにその旨を記入して照合処
理をスキップさせるようにする。The video / audio collation list 17 is used for temporarily storing a database collation result for each video data and audio data. For example, if the video data matches but the corresponding audio data does not match,
Since there is no need to perform video data collation processing, this fact is entered in the video collation list. Conversely, if the audio data matches but the corresponding video data does not match, there is no need to perform the matching process on the audio data, so that fact is entered in the audio matching list. If the audio is clearly different, enter that fact in the audio collation list so that the high-precision collation processing is skipped. Fill in and skip the verification process.
【００３９】情報入力部１８は、外部機器から情報を入
力する機能モジュールである。ここで入力される情報に
は、映像データと音声データがマルチプレクスされたＡ
Ｖコンテンツや、そのコンテンツ識別コードなどが含ま
れる。また、情報を入出力する媒体として、ＬＡＮ（Lo
cal Area Network）やインターネットなどのコンピュー
タ・ネットワーク、ＣＤ（Compact Disc）やＤＶＤ（Di
gital Versatile Disc）などの可搬型記録メディアなど
を挙げることができる。情報入力部１８を介して外部の
装置から供給された情報は、例えば、バッファ・メモリ
１９上に一時格納される。The information input section 18 is a functional module for inputting information from an external device. The information input here includes A in which video data and audio data are multiplexed.
V content and its content identification code are included. As a medium for inputting and outputting information, a LAN (Lo
cal Area Network) and computer networks such as the Internet, CD (Compact Disc) and DVD (Di
gital Versatile Disc) and the like. Information supplied from an external device via the information input unit 18 is temporarily stored in, for example, a buffer memory 19.
【００４０】表示部２０は、ＣＰＵ１１による演算結果
を画面出力してユーザに対して情報の視覚的なフィード
バックを行う。また、ユーザ入力部２１は、例えばキー
ボードやマウス（いずれも図示しない）などの入力装置
で構成され、ユーザからのコマンドやデータの入力を受
容する。The display unit 20 outputs the result of the calculation by the CPU 11 on the screen to provide visual feedback of information to the user. The user input unit 21 is configured by an input device such as a keyboard and a mouse (both not shown), and receives commands and data input from the user.
【００４１】なお、情報検索装置１は、例えば一般的な
計算機システムを利用して構成することができる。かか
る計算機システムの例は、米ＩＢＭ社のＰＣ／ＡＴ（Pe
rsonal Computer/Advanced Technology）互換機又はそ
の後継機である。The information search device 1 can be configured using, for example, a general computer system. An example of such a computer system is PC / AT (Pe
rsonal Computer / Advanced Technology) compatible machine or its successor.
【００４２】図２には、情報検索装置１上で実行される
ＡＶコンテンツの検索処理についての概略的な手順を、
フローチャートの形式で示している。以下、このフロー
チャートを参照しながら、本実施形態に係るＡＶコンテ
ンツの検索処理の流れを概略的に説明する。FIG. 2 shows a schematic procedure for the AV content search processing executed on the information search device 1.
It is shown in the form of a flowchart. Hereinafter, the flow of the AV content search process according to the present embodiment will be schematically described with reference to this flowchart.
【００４３】まず、検索対象となるＡＶコンテンツをデ
マルチプレクスして、映像信号と音声信号に分離する
（ステップＳ１）。なお、図示しないが、必要に応じて
映像信号と音声信号をそれぞれ圧縮を解凍する。First, AV contents to be searched are demultiplexed and separated into video signals and audio signals (step S1). Although not shown, the video signal and the audio signal are respectively decompressed and decompressed as necessary.
【００４４】次いで、映像信号と音声信号からそれぞれ
特徴量を抽出して、特徴データベース１５にあらかじめ
登録された各データと照合して、コンテンツ識別コード
を抽出する。ステップＳ２Ａの音声照合とステップＳ２
Ｂの映像照合は並行して行う。コンテンツ識別コード
は、特徴データベース１５中のＡＶコンテンツ・テーブ
ル（前述）を参照して、音声であればそれに組み合わさ
れる映像の識別コードを抽出し（ステップＳ３Ａ）、映
像であればそれに組み合わされる音声の識別コードを抽
出する（ステップＳ３Ｂ）。Next, a feature amount is extracted from each of the video signal and the audio signal, and is compared with each data registered in advance in the feature database 15 to extract a content identification code. Step S2A Voice Verification and Step S2
The video collation of B is performed in parallel. For the content identification code, the identification code of the video combined with the audio is extracted with reference to the AV content table (described above) in the feature database 15 (step S3A). An identification code is extracted (step S3B).
【００４５】抽出された音声識別コードは音声照合２
（ステップＳ４Ａ）に渡され、そのコンテンツ識別コー
ドに該当する特徴量を音声データベースと照合すること
で、該当する音声のコンテンツ識別コードを確認あるい
は選別する。同様に、抽出された映像識別コードは映像
照合２（ステップＳ４Ｂ）に渡され、そのコンテンツ識
別コードに該当する特徴量を映像データベースと照合す
ることで、該当する映像のコンテンツ識別コードを確認
あるいは選別する。The extracted voice identification code is used for voice verification 2
(Step S4A), the feature amount corresponding to the content identification code is checked against the voice database, and the content identification code of the corresponding voice is confirmed or selected. Similarly, the extracted video identification code is passed to video collation 2 (step S4B), and the feature amount corresponding to the content identification code is collated with the video database to confirm or select the content identification code of the corresponding video. I do.
【００４６】音声照合２あるいは映像照合２で得られた
コンテンツ識別コードのうち早期に得られたものを採用
するように決定論理（ステップＳ５）を組むことによっ
て、ＡＶコンテンツの識別の高速化を図ることができ
る。Speeding up the identification of AV contents is achieved by setting the decision logic (step S5) so as to adopt the earlier obtained content identification code from the audio collation 2 or video collation 2. be able to.
【００４７】［表１］に示したＡＶコンテンツ・テーブ
ルを使用した場合、例えば、映像照合により映像識別コ
ード（４）を抽出してＡＶコンテンツ・テーブルを参照
すると、対応する音声識別コードとして（６，７，８）
を取り出すことができる。これら音声識別コードを音声
照合２に投入して、そこで照合が合致することによって
ＡＶコンテンツ識別コード（例えば、４−７）が判断さ
れる。When the AV content table shown in [Table 1] is used, for example, if the video identification code (4) is extracted by video collation and the AV content table is referred to, the corresponding audio identification code is (6). , 7, 8)
Can be taken out. These audio identification codes are input to the audio collation 2 where the collation matches and the AV content identification code (for example, 4-7) is determined.
【００４８】伝送系の歪、伝送時のマルチパスや圧縮や
記録再生時の歪など、完全な同一検索ではなく、歪に対
応するため、ある程度の許容度を照合時に認める場合に
は、ただ１つの識別コードに対して照合時に２つのコン
テンツが対応してしまうことがある。このような場合に
は、音声照合２と映像照合２が一致した識別コードを採
用するように、決定論理を構成して、信頼性の向上を図
ることができる。In order to cope with distortions, such as distortions in the transmission system, multi-paths during transmission, distortions during compression and recording / reproduction, and to deal with distortions. Two contents may correspond to one identification code at the time of collation. In such a case, the decision logic can be configured so as to employ an identification code in which the audio verification 2 and the video verification 2 match, thereby improving reliability.
【００４９】図２に示したフローチャートにおいて、点
線で記したパスを設けて、音声照合２又は映像照合２か
ら識別コードが得られなかった場合には、映像照合又は
音声成功空の識別コードを直接利用して、「音声が正常
ではないようですが映像から識別コードはＸＸＸＸＸと
読めます」、あるいは「映像が正常ではないようですが
音声から識別コードはＸＸＸＸＸと読めます」などのユ
ーザ・フィードバックを、表示部２０などを介して行う
ようにしてもよい。In the flowchart shown in FIG. 2, a path indicated by a dotted line is provided, and if the identification code cannot be obtained from the audio collation 2 or the video collation 2, the video identification or audio success Use and provide user feedback such as "The sound is not normal but the identification code can be read as XXXXXX from the video" or "The video does not seem normal but the identification code can be read as XXXXXX from the audio" May be performed via the display unit 20 or the like.
【００５０】図３には、本実施形態に係る情報検索装置
１上で実行されるＡＶコンテンツの検索処理の具体的な
手順の一例を、フローチャートの形式で示している。同
図に示す処理手順は、照合に誤差を許容しない場合の例
である。FIG. 3 is a flowchart showing an example of a specific procedure of an AV content search process executed on the information search device 1 according to the present embodiment. The processing procedure shown in the figure is an example in a case where an error is not allowed in the collation.
【００５１】まず、検索対象となるＡＶコンテンツをデ
マルチプレクスして、映像信号と音声信号に分離する
（ステップＳ１１）。なお、図示しないが、必要に応じ
て映像信号と音声信号をそれぞれ圧縮を解凍する。First, the AV contents to be searched are demultiplexed and separated into video signals and audio signals (step S11). Although not shown, the video signal and the audio signal are respectively decompressed and decompressed as necessary.
【００５２】次いで、映像信号と音声信号からそれぞれ
特徴量を抽出する（ステップＳ１２）。そして、映像並
びに音声それぞれの特徴値を特徴データベース１５にあ
らかじめ登録された各データと照合して（ステップＳ１
３）、一致するか否かを判断する（ステップＳ１４）。
映像及び音声の照合の速度はコンテンツによって区々で
ある。本実施形態では、映像及び音声の照合処理をそれ
ぞれベストエフォートで同時並行的に実行する。Next, feature values are extracted from the video signal and the audio signal, respectively (step S12). Then, the characteristic value of each of the video and audio is compared with each data registered in advance in the characteristic database 15 (step S1).
3) It is determined whether they match (step S14).
The matching speed of video and audio varies depending on the content. In the present embodiment, the video and audio matching processes are performed simultaneously and in parallel on a best-effort basis.
【００５３】映像並びに音声のいずれについても一致を
見出せなかった場合には（ステップＳ１４）、特徴デー
タベース中の次のコンテンツに進んで（ステップＳ２
０）、同様に映像・音声の特徴量の照合を繰り返し実行
する。そして、特徴データベース中で一致するコンテン
ツが見つからなかった場合には、該当コンテンツがない
旨の表示を表示部２０から出力してユーザに通知し（ス
テップＳ２１）、本処理ルーチン全体を終了する。If no match is found for either video or audio (step S14), the process proceeds to the next content in the feature database (step S2).
0) Similarly, the matching of the video / audio feature amount is repeatedly executed. If no matching content is found in the feature database, a display indicating that there is no corresponding content is output from the display unit 20 to notify the user (step S21), and the entire processing routine ends.
【００５４】映像について一致するデータが見つかった
場合（ステップＳ１５）、音声照合リストを参照して、
この映像データに対応する音声について、一致するもの
があったか否かを判別する（ステップＳ１８）。対応音
声について一致するものがない場合には、映像照合リス
ト中に当該映像は一致しない旨を記録した後（ステップ
Ｓ１９）、ステップＳ１３に復帰して、対応映像のコン
テンツにジャンプして、映像の特徴データベースと比較
照合する。If matching data is found for the video (step S15), the voice collation list is referred to
It is determined whether or not there is a match with the audio corresponding to the video data (step S18). If there is no match for the corresponding audio, the fact that the video does not match is recorded in the video collation list (step S19), and the process returns to step S13 to jump to the content of the corresponding video, and Compare with the feature database.
【００５５】また、音声について一致するデータが見つ
かった場合（ステップＳ１５）、映像照合リストを参照
して、この音声データに対応する映像について、一致す
るものがあったか否かを判別する（ステップＳ１６）。
対応映像については一致するものがない場合には、音声
照合リスト中に当該音声は一致しない旨を記録した後
（ステップＳ１７）、ステップＳ１３に復帰して、対応
音声のコンテンツにジャンプして、音声の特徴データベ
ースと比較照合する。When matching data is found for the audio (step S15), it is determined whether or not there is a matching video for the audio data by referring to the video collation list (step S16). .
If there is no matching video, the fact that the voice does not match is recorded in the voice collation list (step S17), and the process returns to step S13 to jump to the content of the corresponding voice, and Is compared with the feature database.
【００５６】判断ブロックＳ１６又はＳ１８の結果、映
像及び音声について一致するＡＶコンテンツが見つかっ
た場合、そのコンテンツ識別コードを検索結果として出
力して、本処理ルーチン全体を終了する。As a result of the decision block S16 or S18, if a matching AV content for video and audio is found, the content identification code is output as a search result, and the entire processing routine ends.
【００５７】また、図４には、本実施形態に係る情報検
索装置１上で実行されるＡＶコンテンツの検索処理の具
体的な手順の他の例を、フローチャートの形式で示して
いる。同図に示す処理手順は、何らかの手段により与え
られたコンテンツ識別コードを利用して検索し、照合に
誤差を許容しない場合の例である。FIG. 4 is a flowchart showing another example of the specific procedure of the AV content search process executed on the information search device 1 according to the present embodiment. The processing procedure shown in the figure is an example of a case where a search is performed using a content identification code given by some means and an error is not allowed in the collation.
【００５８】まず、何らかの手段により、検索対象とな
るＡＶコンテンツのコンテンツ識別コードを取得して
（ステップＳ３１）、これを優先照合リスト１６に登録
する（ステップＳ３２）。本実施形態に係る情報検索装
置１は、例えば検索対象としてのＡＶコンテンツを絶え
間なく入力し続けるような場合、優先照合リスト１６に
登録されたＡＶコンテンツを優先的に照合処理する。First, the content identification code of the AV content to be searched is obtained by some means (step S31) and registered in the priority collation list 16 (step S32). The information search device 1 according to the present embodiment preferentially performs a matching process on the AV contents registered in the priority matching list 16 when, for example, continuously inputting AV content as a search target.
【００５９】次いで、優先照合リスト１６に登録された
再優先のコンテンツ識別コードに対応するＡＶコンテン
ツをデマルチプレクスして、映像信号と音声信号に分離
する（ステップＳ３３）。なお、図示しないが、必要に
応じて映像信号と音声信号をそれぞれ圧縮を解凍する。Next, the AV content corresponding to the re-priority content identification code registered in the priority collation list 16 is demultiplexed and separated into a video signal and an audio signal (step S33). Although not shown, the video signal and the audio signal are respectively decompressed and decompressed as necessary.
【００６０】次いで、映像信号と音声信号からそれぞれ
特徴量を抽出する（ステップＳ３４）。そして、映像並
びに音声それぞれの特徴値を特徴データベース１５にあ
らかじめ登録された各データと照合して（ステップＳ３
５）、一致するか否かを判断する（ステップＳ３６）。
映像及び音声の照合の速度はコンテンツによって区々で
ある。本実施形態では、映像及び音声の照合処理をそれ
ぞれベストエフォートで同時並行的に実行する。Next, feature values are extracted from the video signal and the audio signal, respectively (step S34). Then, the characteristic value of each of the video and the audio is collated with each data registered in advance in the characteristic database 15 (step S3).
5) It is determined whether they match (step S36).
The matching speed of video and audio varies depending on the content. In the present embodiment, the video and audio matching processes are performed simultaneously and in parallel on a best-effort basis.
【００６１】映像並びに音声のいずれについても一致を
見出せなかった場合には（ステップＳ３６）、特徴デー
タベース中の次のコンテンツに進んで（ステップＳ４
２）、同様に映像・音声の特徴量の照合を繰り返し実行
する。そして、特徴データベース中で一致するコンテン
ツが見つからなかった場合には、該当コンテンツがない
旨の表示を表示部２０から出力してユーザに通知し（ス
テップＳ４３）、本処理ルーチン全体を終了する。If no match is found for either video or audio (step S36), the process proceeds to the next content in the feature database (step S4).
2) Similarly, the matching of the video / audio feature amount is repeatedly executed. If no matching content is found in the feature database, a display indicating that there is no corresponding content is output from the display unit 20 to notify the user (step S43), and the entire processing routine ends.
【００６２】映像について一致するデータが見つかった
場合（ステップＳ３７）、音声照合リストを参照して、
この映像データに対応する音声について、一致するもの
があったか否かを判別する（ステップＳ４０）。対応音
声について一致するものがないない場合には、映像照合
リスト中に当該映像は一致しない旨を記録した後（ステ
ップＳ４１）、ステップＳ３５に復帰して、対応映像の
コンテンツにジャンプして、映像の特徴データベースと
比較照合する。If matching data is found for the video (step S37), the voice collation list is referred to
It is determined whether or not there is a match with the audio corresponding to the video data (step S40). If there is no match for the corresponding audio, the fact that the video does not match is recorded in the video collation list (step S41), and the process returns to step S35 to jump to the content of the corresponding video, and Is compared with the feature database.
【００６３】また、音声について一致するデータが見つ
かった場合（ステップＳ３７）、映像照合リストを参照
して、この音声データに対応する映像について、一致す
るものがあったか否かを判別する（ステップＳ３８）。
対応映像については一致するものがない場合には、音声
照合リスト中に当該音声は一致しない旨を記録した後
（ステップＳ３９）、ステップＳ３５に復帰して、対応
音声のコンテンツにジャンプして、音声の特徴データベ
ースと比較照合する。If matching data is found for the audio (step S37), it is determined whether or not there is a matching video for the audio data by referring to the video collation list (step S38). .
If there is no matching video, the fact that the voice does not match is recorded in the voice collation list (step S39), and the process returns to step S35 to jump to the content of the corresponding voice, and Is compared with the feature database.
【００６４】判断ブロックＳ３８又はＳ４０の結果、映
像及び音声について一致するＡＶコンテンツが見つかっ
た場合、そのコンテンツ識別コードを検索結果として出
力して、本処理ルーチン全体を終了する。As a result of the decision block S38 or S40, if a matching AV content is found for video and audio, the content identification code is output as a search result, and the entire processing routine ends.
【００６５】検索対象となるＡＶコンテンツのコンテン
ツＩＤを改竄のおそれなく入手できる場合、信号の照合
も必要ない。しかしながら、コンテンツの著作権者は、
再生機や記録機を改造したりして偽りのＩＤが作られる
ことをおそれる。そこで、その改竄を確認するため、信
号の照合を行う必要がある。多くの場合は改竄されてい
ないので、上述したように優先照合リスト１６中のコン
テンツを優先して照合して、一致していればそれでコン
テンツ検索を終了することができるので、検索速度を大
幅に高速化することができる。If the content ID of the AV content to be searched can be obtained without fear of tampering, signal collation is not necessary. However, the copyright holder of the content,
It is feared that a fake ID is created by modifying the reproducing device or the recording device. Therefore, it is necessary to perform signal collation to confirm the tampering. In many cases, the content has not been tampered with, and as described above, the content in the priority collation list 16 is preferentially collated, and if there is a match, the content search can be terminated. Speed can be increased.
【００６６】また、図５には、本実施形態に係る情報検
索装置１上で実行されるＡＶコンテンツの検索処理の具
体的な手順の他の例を、フローチャートの形式で示して
いる。同図に示す処理手順は、特徴データベースに登録
されたＡＶコンテンツのうち検索対象となるＡＶコンテ
ンツとは明らかに相違するものを除外して照合処理する
ことにより、高速化を図った例である。FIG. 5 is a flowchart showing another example of a specific procedure of the AV content search processing executed on the information search apparatus 1 according to the present embodiment. The processing procedure shown in the figure is an example in which the speed is increased by excluding the AV contents registered in the feature database that are clearly different from the AV contents to be searched for and performing the matching process.
【００６７】まず、検索対象となるＡＶコンテンツをデ
マルチプレクスして、映像信号と音声信号に分離する
（ステップＳ５１）。なお、図示しないが、必要に応じ
て映像信号と音声信号をそれぞれ圧縮を解凍する。First, the AV content to be searched is demultiplexed and separated into a video signal and an audio signal (step S51). Although not shown, the video signal and the audio signal are respectively decompressed and decompressed as necessary.
【００６８】次いで、映像信号と音声信号からそれぞれ
特徴量を抽出する（ステップＳ５２）。そして、映像並
びに音声それぞれの特徴値を特徴データベース１５にあ
らかじめ登録された各データと照合して（ステップＳ５
３）、検索対象となるＡＶコンテンツとは明らかに相違
するか否かを判断する（ステップＳ５４）。映像及び音
声の照合の速度はコンテンツによって区々である。本実
施形態では、映像及び音声の照合処理をそれぞれベスト
エフォートで同時並行的に実行する。ここでは、コンテ
ンツの相違を検証することのみを目的とするので、ステ
ップＳ５３では比較的大きな誤差を認めた照合処理を行
えばよい。Next, feature values are extracted from the video signal and the audio signal, respectively (step S52). Then, the feature value of each of the video and audio is compared with each data registered in advance in the feature database 15 (step S5).
3) It is determined whether or not the AV content is clearly different from the AV content to be searched (step S54). The matching speed of video and audio varies depending on the content. In the present embodiment, the video and audio matching processes are performed simultaneously and in parallel on a best-effort basis. Here, since the purpose is only to verify the difference between the contents, the collation processing in which a relatively large error is recognized may be performed in step S53.
【００６９】ステップＳ５４において、明らかに相違す
ると判断された場合、映像又は音声のうちいずれが明ら
かに相違するかをさらに判別する（ステップＳ５５）。If it is determined in step S54 that the difference is clear, it is further determined which of the video and the sound is clearly different (step S55).
【００７０】映像に関して明らかに相違する場合には、
映像照合リスト中に当該映像は一致しない旨を記録した
後（ステップＳ５６）、ステップＳ５３に復帰して、対
応映像の照合処理をスキップする。If there is a clear difference in the video,
After recording that the video does not match in the video collation list (step S56), the process returns to step S53, and the collation process of the corresponding video is skipped.
【００７１】また、音声に関して明らかに相違する場合
には、音声照合リスト中に当該音声は一致しない旨を記
録した後（ステップＳ５７）、ステップＳ５３に復帰し
て、対応音声の照合処理をスキップする。If there is a clear difference between the voices, the fact that the voices do not match is recorded in the voice verification list (step S57), and the process returns to step S53 to skip the corresponding voice verification process. .
【００７２】検索対象となるＡＶコンテンツと明らかに
相違する訳ではない場合には、特徴データベース中の次
のコンテンツに進んで（ステップＳ５８）、同様に検索
対象となるＡＶコンテンツと明らかに相違しないか否か
を判別する処理を繰り返し実行する。If the AV content is not clearly different from the AV content to be searched, the process proceeds to the next content in the feature database (step S58), and whether the AV content is also clearly different from the AV content to be searched. The process of determining whether or not to perform the determination is repeatedly performed.
【００７３】特徴データベース中のすべてのデータにつ
いて、検索対象となるＡＶコンテンツとの相違を検証し
た後、映像並びに音声それぞれの特徴値を特徴データベ
ース１５にあらかじめ登録された各データと照合して
（ステップＳ５９）、検索対象となるＡＶコンテンツと
は相違するか否かを判断する（ステップＳ６０）。映像
及び音声の照合の速度はコンテンツによって区々であ
る。本実施形態では、映像及び音声の照合処理をそれぞ
れベストエフォートで同時並行的に実行する。ここで
は、データの絞込みを目的とするので、ステップＳ５９
では先行ステップＳ５３よりも誤差を小さくした照合処
理を行う。After verifying the difference between all the data in the feature database and the AV content to be searched, the feature values of the video and audio are collated with the data registered in advance in the feature database 15 (step S59), it is determined whether or not the AV content is different from the search target AV content (step S60). The matching speed of video and audio varies depending on the content. In the present embodiment, the video and audio matching processes are performed simultaneously and in parallel on a best-effort basis. Here, since the purpose is to narrow down the data, step S59 is performed.
Then, a collation process in which the error is made smaller than in the preceding step S53 is performed.
【００７４】ステップＳ６０において、相違すると判断
された場合、映像又は音声のうちいずれが相違するかを
さらに判別する（ステップＳ６１）。If it is determined in step S60 that there is a difference, it is further determined which of video and audio is different (step S61).
【００７５】映像に関して相違する場合には、映像照合
リスト中に当該映像は一致しない旨を記録した後（ステ
ップＳ６２）、ステップＳ５９に復帰して、対応映像の
照合処理をスキップする。When there is a difference between the videos, the fact that the videos do not match is recorded in the video collation list (step S62), and the process returns to step S59 to skip the collation process of the corresponding video.
【００７６】また、音声に関して相違する場合には、音
声照合リスト中に当該音声は一致しない旨を記録した後
（ステップＳ６３）、ステップＳ５９に復帰して、対応
音声の照合処理をスキップする。If there is a difference between the voices, the fact that the voices do not match is recorded in the voice collation list (step S63), and the process returns to step S59 to skip the matching process of the corresponding voice.
【００７７】特徴データベース中のすべてのデータにつ
いて、検索対象となるＡＶコンテンツとの相違を検証し
た後、本処理ルーチン全体を終了する。After verifying the difference between all the data in the feature database and the AV content to be searched, the entire processing routine ends.
【００７８】このようにして照合の誤差を徐々に小さく
していくことで、最終的に特徴が近いコンテンツを高速
に探索することができる。ステップＳ５８までの工程で
は、明らかに相違する訳でないコンテンツがただ１つに
絞り込まれた場合には、ステップＳ５９以降の工程を合
えて実行する必要はない。By gradually reducing the collation error in this way, it is possible to quickly search for a content that is finally close to features. In the steps up to step S58, if the contents that are not clearly different are narrowed down to only one, it is not necessary to execute the steps after step S59 together.
【００７９】また、被検信号に歪が多いことが想定され
る場合には、ステップＳ５３〜Ｓ５８の工程において、
違う程度を徐々に小さくして何回も繰り返すことで、誤
差の最も小さいコンテンツを詳細に探索することができ
る。If it is assumed that the signal under test has a large amount of distortion, in steps S53 to S58,
By gradually reducing the degree of difference and repeating it many times, it is possible to search in detail for the content with the smallest error.
【００８０】以上、検索性能の改善について述べてきた
が、最後に本発明に係る情報検索の応用例について説明
しておく。The improvement of the retrieval performance has been described above. Finally, an application example of the information retrieval according to the present invention will be described.
【００８１】（１）まず第１の応用例は、放送の監視で
ある。放送番組のスポンサと放送事業者との間では、一
般に、広告の挿入に応じてスポンサから放送事業者に相
当額（スポンサ料）を支払うという事業モデルが構築さ
れている。(1) A first application example is a broadcast monitoring. Generally, a business model is constructed between a sponsor of a broadcast program and a broadcaster, in which the sponsor pays a corresponding amount (a sponsor fee) to the broadcaster in response to insertion of an advertisement.
【００８２】しかしながら、約束通りに広告が挿入され
ない可能性があるので、スポンサは実際の放送を監視す
る必要がある。このような場合、あらかじめ広告の特徴
量をデータベースに登録しておき、放送を受信し放送コ
ンテンツから特徴抽出してデータベースと照合する。However, sponsors need to monitor the actual broadcast, as advertisements may not be inserted as promised. In such a case, the feature amount of the advertisement is registered in the database in advance, the broadcast is received, the feature is extracted from the broadcast content, and collated with the database.
【００８３】（２）さらに、不当に放送コンテンツが複
製され放送に利用されていないかを、番組を制作した著
作権者が監視するというアプリケーションを挙げること
ができる。(2) Further, there can be mentioned an application in which the copyright holder who produces a program monitors whether or not the broadcast content is illegally copied and used for broadcasting.
【００８４】テープなどの記録メディアで複製又はその
一部を持っている場合、アーカイブの中からその本編を
探し出すという目的に、本発明に係る情報検索手法を使
用することができる。When a copy or a part of the copy is stored on a recording medium such as a tape, the information search method according to the present invention can be used for the purpose of searching for the main part from an archive.
【００８５】番組制作のための撮影時に、特徴抽出を同
時に行い、特徴量のデータベースを作っておくことも賢
明な方法である。この場合、カメラや撮影者の識別コー
ド、日時、ＧＰＳ（Global Positioning System）など
を用いた緯度・経度などのデータも対応させて登録して
おけば、さらに便利である。It is also a wise method to perform feature extraction at the same time as shooting for program production, and create a database of feature amounts. In this case, it is more convenient to register data such as identification codes of cameras and photographers, date and time, latitude and longitude using GPS (Global Positioning System), and the like.
【００８６】（３）家庭においても、ＶＴＲ（Video Ta
pe Recorder）やディスク・レコーダで記録されたコン
テンツから特徴抽出を行い、視聴履歴から関連する番組
をお薦め版としてユーザに通知したり、自動録画したり
するサービスも考えられる。特徴抽出は、複数のＶＴ
Ｒ、ＤＶＤ（Digital Versatile Disc）プレーヤやその
他の記録再生機器、チューナなどすべてのコンテンツが
集まる受像機間で行うことで、合理化を図ることができ
る。(3) Even at home, a VTR (Video
A service that extracts features from content recorded by a pe recorder or a disc recorder, notifies the user as a recommended version of a related program from the viewing history, or automatically records the service is also conceivable. Feature extraction uses multiple VTs
The rationalization can be achieved by performing the processing between receivers such as R, DVD (Digital Versatile Disc) players, other recording / reproducing devices, tuners, etc. where all contents are collected.
【００８７】ユーザの視聴履歴から関連する番組をお薦
め版としてユーザに教えるようなサービスでは、視聴者
別のサービスなので、視聴者を特定するために受信機器
の識別コードが必要となる。A service that teaches a user a recommended program from a user's viewing history as a recommended version is a service for each viewer, and therefore requires an identification code of a receiving device to identify a viewer.
【００８８】さらに、家庭内の個人を特定するには、リ
モート・コマンダを個人毎に占有し、その識別コードを
使用する。これらの識別コードも、サービス供給者に送
る必要がある。受信時には、時刻やチャネルが判ると検
索が容易になる。また、信号の品質（受信時、再生時、
再生のモード（例えば標準と３倍））が判ると、これを
データベース側に送り、照合時の許容度を適応的に制御
することによって、検索速度又は検索の確実度を向上さ
せることができる。Further, in order to specify an individual in the home, a remote commander is occupied for each individual and its identification code is used. These identification codes also need to be sent to the service provider. At the time of reception, the search becomes easier if the time and channel are known. Also, the signal quality (for receiving, playing,
When the reproduction mode (for example, three times as large as the standard) is known, this is sent to the database side, and the search speed or the search certainty can be improved by adaptively controlling the tolerance at the time of collation.
【００８９】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。すなわち、例示とい
う形態で本発明を開示してきたのであり、限定的に解釈
されるべきではない。本発明の要旨を判断するために
は、冒頭に記載した特許請求の範囲の欄を参酌すべきで
ある。[Supplement] The present invention has been described in detail with reference to the specific embodiments. However, it is obvious that those skilled in the art can modify or substitute the embodiment without departing from the spirit of the present invention. That is, the present invention has been disclosed by way of example, and should not be construed as limiting. In order to determine the gist of the present invention, the claims described at the beginning should be considered.
【００９０】[0090]
【発明の効果】以上詳記したように、本発明によれば、
映像との音楽の各データからなるＡＶコンテンツを高速
且つ確実に検索することができる、優れた情報検索装置
及び方を提供することができる。As described above in detail, according to the present invention,
It is possible to provide an excellent information retrieval apparatus and method capable of quickly and surely retrieving AV contents composed of video and music data.
【００９１】本発明に係る情報検索装置及び方法によれ
ば、映像だけ、又は音声だけでＡＶコンテンツを検索す
るよりも迅速に検索することができる。また、系におけ
る歪を許容して検索する場合においても、より確実にＡ
Ｖコンテンツを検索することができる。According to the information retrieval apparatus and method according to the present invention, it is possible to retrieve AV content more quickly than video content or audio content alone. In addition, even when a search is performed while allowing distortion in the system, A
V content can be searched.
【図１】本発明の一実施形態に係る情報検索装置１の構
成を模式的に示した図である。FIG. 1 is a diagram schematically showing a configuration of an information search device 1 according to an embodiment of the present invention.
【図２】情報検索装置１上で実行されるＡＶコンテンツ
の検索処理についての概略的な手順を示したフローチャ
ートである。FIG. 2 is a flowchart showing a schematic procedure of an AV content search process performed on the information search device 1.
【図３】情報検索装置１上で実行されるＡＶコンテンツ
の検索処理の具体的な手順の一例を示したフローチャー
トである。FIG. 3 is a flowchart showing an example of a specific procedure of an AV content search process executed on the information search device 1.
【図４】情報検索装置１上で実行されるＡＶコンテンツ
の検索処理の具体的な手順の他の例を示したフローチャ
ートである。FIG. 4 is a flowchart illustrating another example of the specific procedure of the AV content search processing executed on the information search device 1.
【図５】情報検索装置１上で実行されるＡＶコンテンツ
の検索処理の具体的な手順の他の例を示したフローチャ
ートである。FIG. 5 is a flowchart showing another example of the specific procedure of the AV content search processing executed on the information search device 1.
【図６】ＩＳＲＣのような楽曲のユニーク・コードを利
用した音楽検索のメカニズムを示した図（従来例）であ
る。FIG. 6 is a diagram (conventional example) showing a music search mechanism using a unique code of a music such as ISRC.
１…情報検索装置 １１…ＣＰＵ １２…メモリ（制御プログラム） １３…メモリ（一致判別プログラム） １４…特徴抽出部 １５…特徴データベース １６…優先照合リスト １７…映像・音声照合リスト １８…情報入力部 １９…バッファ ２０…表示部 ２１…ユーザ入力部 DESCRIPTION OF SYMBOLS 1 ... Information retrieval device 11 ... CPU 12 ... Memory (control program) 13 ... Memory (coincidence discrimination program) 14 ... Feature extraction part 15 ... Feature database 16 ... Priority collation list 17 ... Video / audio collation list 18 ... Information input part 19 ... Buffer 20 ... Display unit 21 ... User input unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/28 Ｇ１０Ｌ 3/00 ５５１Ｐ Ｈ０４Ｎ 5/76 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G10L 15/28 G10L 3/00 551P H04N 5/76
Claims (9)
なるＡＶコンテンツを検索する情報検索装置であって、 音声の特徴量と音声識別コードを連結した音声データベ
ースと、 映像の特徴量と映像識別コードを連結した映像データベ
ースと、 音声識別コードと映像識別コードを連結したＡＶコンテ
ンツ・テーブルと、 音声データベースを用いて音声の検索を行う音声データ
検索手段と、 映像データベースを用いて映像の検索を行う映像データ
検索手段と、 前記音声データ検索手段及び前記映像データ検索手段に
より抽出された音声識別コード及び映像識別コードに基
づいて、前記ＡＶコンテンツ・テーブルから該当するＡ
Ｖコンテンツを決定するＡＶコンテンツ決定手段と、を
具備することを特徴とする情報検索装置。An information retrieval apparatus for retrieving AV contents comprising a combination of video data and audio data, comprising: an audio database in which audio features and audio identification codes are linked; A linked video database, an AV content table in which a voice identification code and a video identification code are linked, a voice data search means for searching for a voice using the voice database, and a video data for searching for a video using the video database Search means; and a corresponding A from the AV content table based on the audio identification code and the video identification code extracted by the audio data search means and the video data search means.
An information retrieval device comprising: AV content determination means for determining V content.
タ検索手段は並行して検索を実行し、 前記映像データ検索手段で先に見つかった場合には、前
記ＡＶコンテンツ決定手段は、その映像識別コードを前
記ＡＶコンテンツ・テーブルで参照して該当する音声識
別コードを引き出し、該音声識別コードを音声データ検
索手段に与えて照合をとり、 前記音声データ検索手段で先に見つかった場合には、前
記ＡＶコンテンツ決定手段は、その音声識別コードを前
記ＡＶコンテンツ・テーブルで参照して該当する映像識
別コードを引き出し、該映像識別コードを映像データ検
索手段に与えて照合をとる、ことを特徴とする請求項１
に記載の情報検索装置。2. The audio data search means and the video data search means execute a search in parallel. If the video data search means finds the audio data first, the AV content determination means outputs the video identification code. Is referred to in the AV content table to derive a corresponding voice identification code, and the voice identification code is given to voice data search means for verification. The content determining means refers to the audio identification code in the AV content table, derives a corresponding video identification code, and provides the video identification code to the video data search means for collation. 1
An information retrieval device according to item 1.
ツ識別コード取得手段をさらに備え、 前記音声データ検索手段及び／又は映像データ検索手段
は、該コンテンツ識別コードに対応するＡＶコンテンツ
に対して優先的に照合を行う、ことを特徴とする請求項
１に記載の情報検索装置。3. An audiovisual data retrieval means and / or a video data retrieval means, wherein said audio data retrieval means and / or the video data retrieval means preferentially give priority to the AV contents corresponding to the contents identification code. The information search device according to claim 1, wherein the information search is performed.
ータ検索手段は、明かに相違するＡＶコンテンツに対す
る照合処理を省略する、ことを特徴とする請求項１に記
載の情報検索装置。4. The information search apparatus according to claim 1, wherein the audio data search means and / or the video data search means omit a collation process for an apparently different AV content.
なるＡＶコンテンツを検索する情報検索方法であって、 音声の特徴量と音声識別コードを連結した音声データベ
ースを用いて音声の検索を行う音声データ検索ステップ
と、 映像の特徴量と映像識別コードを連結した映像データベ
ースを用いて映像の検索を行う映像データ検索ステップ
と、 前記音声データ検索ステップ及び前記映像データ検索ス
テップにより抽出された音声識別コード及び映像識別コ
ードに基づいて、音声識別コードと映像識別コードを連
結したＡＶコンテンツ・テーブルから該当するＡＶコン
テンツを決定するＡＶコンテンツ決定ステップと、を具
備することを特徴とする情報検索方法。5. An information retrieval method for retrieving AV content composed of a combination of video data and audio data, wherein the audio data retrieval is performed using an audio database in which audio features and audio identification codes are linked. A video data search step of searching for a video using a video database in which a video feature amount and a video identification code are linked; a voice data search step; a voice identification code and a video extracted by the video data search step; An AV content determining step of determining a corresponding AV content from an AV content table in which an audio identification code and a video identification code are linked based on the identification code.
データ検索ステップは並行して検索を実行し、 前記映像データ検索ステップにより先に見つかった場合
には、前記ＡＶコンテンツ決定ステップでは、その映像
識別コードを前記ＡＶコンテンツ・テーブルで参照して
該当する音声識別コードを引き出し、該音声識別コード
を音声データ検索ステップに投入して照合をとり、 前記音声データ検索ステップにより先に見つかった場合
には、前記ＡＶコンテンツ決定ステップでは、その音声
識別コードを前記ＡＶコンテンツ・テーブルで参照して
該当する映像識別コードを引き出し、該映像識別コード
を映像データ検索ステップに投入して照合をとる、こと
を特徴とする請求項５に記載の情報検索方法。6. The audio data search step and the video data search step perform search in parallel. If the audio data search step and the video data search step are performed first, the AV content determination step includes determining the video identification code. Is referred to in the AV content table, a corresponding voice identification code is extracted, and the voice identification code is input to a voice data search step for verification. If the voice identification code is found earlier by the voice data search step, In the AV content determination step, the audio identification code is referred to in the AV content table to derive a corresponding video identification code, and the video identification code is input to a video data search step for collation. The information search method according to claim 5.
ツ識別コード取得ステップをさらに備え、 前記音声データ検索手段及び／又は映像データ検索ステ
ップでは、該コンテンツ識別コードに対応するＡＶコン
テンツに対して優先的に照合を行う、ことを特徴とする
請求項５に記載の情報検索方法。7. The audio data search means and / or the video data search step further comprises a step of obtaining a content identification code of the AV content to be searched. 6. The information search method according to claim 5, wherein a collation is performed.
像データ検索ステップは、明かに相違するＡＶコンテン
ツに対する照合処理を省略する、ことを特徴とする請求
項５に記載の情報検索方法。8. The information search method according to claim 5, wherein the audio data search step and / or the video data search step omit a matching process for an AV content that is clearly different.
なるＡＶコンテンツを検索する情報検索処理をコンピュ
ータ・システム上で実行するように記述されたコンピュ
ータ・ソフトウェアをコンピュータ可読形式で物理的に
格納した記憶媒体であって、前記コンピュータ・ソフト
ウェアは、 音声の特徴量と音声識別コードを連結した音声データベ
ースを用いて音声の検索を行う音声データ検索ステップ
と、 映像の特徴量と映像識別コードを連結した映像データベ
ースを用いて映像の検索を行う映像データ検索ステップ
と、 前記音声データ検索ステップ及び前記映像データ検索ス
テップにより抽出された音声識別コード及び映像識別コ
ードに基づいて、音声識別コードと映像識別コードを連
結したＡＶコンテンツ・テーブルから該当するＡＶコン
テンツを決定するＡＶコンテンツ決定ステップと、を具
備することを特徴とする記憶媒体。9. A storage medium physically storing computer software described in a computer readable format so as to execute, on a computer system, information retrieval processing for retrieving AV contents composed of a combination of video data and audio data. Wherein the computer software comprises: an audio data search step of searching for audio using an audio database in which audio features and audio identification codes are linked; and a video database in which video features and video identification codes are linked. A video data search step of searching for a video by using a voice identification code and a video identification code based on the audio identification code and the video identification code extracted by the audio data search step and the video data search step. The corresponding AV from the AV content table Storage medium characterized by comprising the AV content determining step of determining the content, the.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001041517A JP4736201B2 (en) | 2001-02-19 | 2001-02-19 | Information retrieval apparatus and method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001041517A JP4736201B2 (en) | 2001-02-19 | 2001-02-19 | Information retrieval apparatus and method, and storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002245066A true JP2002245066A (en) | 2002-08-30 |
| JP4736201B2 JP4736201B2 (en) | 2011-07-27 |
Family
ID=18903950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001041517A Expired - Fee Related JP4736201B2 (en) | 2001-02-19 | 2001-02-19 | Information retrieval apparatus and method, and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4736201B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006515099A (en) * | 2003-01-02 | 2006-05-18 | キャッチ・メディア・インコーポレイティッド | Digital music library automatic creation device |
| JP2009089440A (en) * | 2009-01-14 | 2009-04-23 | Kashiko Kodate | Motion picture data checking system |
| JP2009141973A (en) * | 2009-01-14 | 2009-06-25 | Kashiko Kodate | Method of creating motion picture database, registration system and program for registering motion picture data in motion picture database |
| JP2010034675A (en) * | 2008-07-25 | 2010-02-12 | Yahoo Japan Corp | Program analyzing device, program analyzing method and program analyzing program |
| JP2013174965A (en) * | 2012-02-23 | 2013-09-05 | Toshiba Corp | Electronic device, control system for electronic device and server |
| US8644969B2 (en) | 2003-01-02 | 2014-02-04 | Catch Media, Inc. | Content provisioning and revenue disbursement |
| US8666524B2 (en) | 2003-01-02 | 2014-03-04 | Catch Media, Inc. | Portable music player and transmitter |
| US8732086B2 (en) | 2003-01-02 | 2014-05-20 | Catch Media, Inc. | Method and system for managing rights for digital music |
| US8918195B2 (en) | 2003-01-02 | 2014-12-23 | Catch Media, Inc. | Media management and tracking |
| CN111866568A (en) * | 2020-07-23 | 2020-10-30 | 聚好看科技股份有限公司 | Display device, server and video collection acquisition method based on voice |
| JP2021073755A (en) * | 2016-02-29 | 2021-05-13 | グレースノート インコーポレイテッド | Media channel identification with video multi-match detection and disambiguation based on audio fingerprint |
| US11336956B2 (en) | 2016-02-29 | 2022-05-17 | Roku, Inc. | Media channel identification with multi-match detection and disambiguation based on single-match |
| US11432037B2 (en) | 2016-02-29 | 2022-08-30 | Roku, Inc. | Method and system for detecting and responding to changing of media channel |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0283706A (en) * | 1988-09-21 | 1990-03-23 | Yokogawa Electric Corp | Central control unit |
| JP2000222581A (en) * | 1999-02-01 | 2000-08-11 | Hyundai Electronics Ind Co Ltd | Method and device for retrieving multimedia data using shape information |
-
2001
- 2001-02-19 JP JP2001041517A patent/JP4736201B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0283706A (en) * | 1988-09-21 | 1990-03-23 | Yokogawa Electric Corp | Central control unit |
| JP2000222581A (en) * | 1999-02-01 | 2000-08-11 | Hyundai Electronics Ind Co Ltd | Method and device for retrieving multimedia data using shape information |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006515099A (en) * | 2003-01-02 | 2006-05-18 | キャッチ・メディア・インコーポレイティッド | Digital music library automatic creation device |
| US8644969B2 (en) | 2003-01-02 | 2014-02-04 | Catch Media, Inc. | Content provisioning and revenue disbursement |
| US8666524B2 (en) | 2003-01-02 | 2014-03-04 | Catch Media, Inc. | Portable music player and transmitter |
| US8732086B2 (en) | 2003-01-02 | 2014-05-20 | Catch Media, Inc. | Method and system for managing rights for digital music |
| US8918195B2 (en) | 2003-01-02 | 2014-12-23 | Catch Media, Inc. | Media management and tracking |
| US8996146B2 (en) | 2003-01-02 | 2015-03-31 | Catch Media, Inc. | Automatic digital music library builder |
| JP2010034675A (en) * | 2008-07-25 | 2010-02-12 | Yahoo Japan Corp | Program analyzing device, program analyzing method and program analyzing program |
| JP2009089440A (en) * | 2009-01-14 | 2009-04-23 | Kashiko Kodate | Motion picture data checking system |
| JP2009141973A (en) * | 2009-01-14 | 2009-06-25 | Kashiko Kodate | Method of creating motion picture database, registration system and program for registering motion picture data in motion picture database |
| JP2013174965A (en) * | 2012-02-23 | 2013-09-05 | Toshiba Corp | Electronic device, control system for electronic device and server |
| US11463765B2 (en) | 2016-02-29 | 2022-10-04 | Roku, Inc. | Media channel identification and action with multi-match detection based on reference stream comparison |
| JP2021073755A (en) * | 2016-02-29 | 2021-05-13 | グレースノート インコーポレイテッド | Media channel identification with video multi-match detection and disambiguation based on audio fingerprint |
| US11336956B2 (en) | 2016-02-29 | 2022-05-17 | Roku, Inc. | Media channel identification with multi-match detection and disambiguation based on single-match |
| US11412296B2 (en) | 2016-02-29 | 2022-08-09 | Roku, Inc. | Media channel identification with video multi-match detection and disambiguation based on audio fingerprint |
| US11432037B2 (en) | 2016-02-29 | 2022-08-30 | Roku, Inc. | Method and system for detecting and responding to changing of media channel |
| JP7161516B2 (en) | 2016-02-29 | 2022-10-26 | ロク インコーポレイテッド | Media Channel Identification Using Video Multiple Match Detection and Disambiguation Based on Audio Fingerprints |
| US11617009B2 (en) | 2016-02-29 | 2023-03-28 | Roku, Inc. | Media channel identification and action with multi-match detection and disambiguation based on matching with differential reference-fingerprint feature |
| US11627372B2 (en) | 2016-02-29 | 2023-04-11 | Roku, Inc. | Media channel identification with multi-match detection and disambiguation based on single-match |
| CN111866568A (en) * | 2020-07-23 | 2020-10-30 | 聚好看科技股份有限公司 | Display device, server and video collection acquisition method based on voice |
| CN111866568B (en) * | 2020-07-23 | 2023-03-31 | 聚好看科技股份有限公司 | Display device, server and video collection acquisition method based on voice |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4736201B2 (en) | 2011-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6970639B1 (en) | System and method for editing source content to produce an edited content sequence | |
| US6998527B2 (en) | System and method for indexing and summarizing music videos | |
| CN1738440B (en) | Apparatus and method for processing information | |
| CN1836287B (en) | Video abstracting | |
| KR100818922B1 (en) | Apparatus and method for playing contents on the basis of watch point in series contents | |
| JP5145937B2 (en) | Content playback method and apparatus with playback start position control | |
| US8495063B2 (en) | Recording medium and playback device | |
| US11812071B2 (en) | Program, recording medium, and reproducing apparatus | |
| JP2007524321A (en) | Video trailer | |
| JP4736201B2 (en) | Information retrieval apparatus and method, and storage medium | |
| CN101188722A (en) | Video recording/reproducing apparatus | |
| US20060204940A1 (en) | Recording/reproducing apparatus, recording/reproducing apparatus and program | |
| US20060126471A1 (en) | Information recording apparatus, information recording method, information playback apparatus, information playback method, and information recording/playback apparatus | |
| US8971686B2 (en) | Method and apparatus for managing digital contents and method and apparatus for executing digital contents according to playback positions | |
| US7457517B2 (en) | Automatic selection, recording and meaningful labeling of clipped tracks from broadcast media without an advance schedule | |
| JP2001075992A (en) | Method and system for sound retrieval and computer- readable recording medium | |
| JP2007201680A (en) | Information management apparatus and method, and program | |
| JP2006527515A (en) | Menu generating apparatus and menu generating method for supplementing video / audio signal with menu information | |
| JP2001094912A (en) | Method and device for video recording and reproduction processing, and video recording and reproduction processing system | |
| CN101015012A (en) | Information storage medium storing AV data including meta data, apparatus for reproducing av data from the medium, and method of searching for the meta data | |
| JP2002324071A (en) | System and method for contents searching | |
| JP2001069436A (en) | Speaker information recording device and retrieving device | |
| JP4596080B2 (en) | Recording medium and reproducing apparatus | |
| JP4462373B2 (en) | Recording medium and reproducing apparatus | |
| JP2006080589A (en) | Edit information sharing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100824 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110302 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110310 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110418 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |