JPH0668168A - 音響キーワードによる映像検索方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 キーワードを検索キーとして必要とする映像
の検索をする音響声キーワードによる映像検索方法およ
び装置を提供する。 【構成】 映像情報とこの映像情報に対応する音響情報
とを有するデータベース２および３について音響情報を
特徴分析してこれを音響の特徴パラメータ時系列に変換
する音響情報分析部６を具備し、映像検索キーとなるべ
きキーワード音響を特徴分析してこれをキーワード音響
の特徴パラメータ時系列に変換するキーワード特徴分析
部８を具備し、データベース中の音響の特徴パラメータ
時系列と映像検索キーの特徴パラメータ時系列とを比較
することにより、音響情報に含まれる音響をキーワード
として映像情報を検索する音響キーワードによる映像検
索方法および装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、音響キーワードによ
る映像検索方法および装置に関し、特に、音響情報の内
の特に音声情報と映像情報とを有するデータベースにつ
いて、音声情報に含まれる単語をキーワードとして映像
情報を検索する音声キーワードによる映像検索方法およ
び装置に関する。

【０００２】

【従来の技術】音響処理技術、映像処理技術その他の信
号処理技術が進歩したことにより、従来、データとして
数値・文字データのみを取り扱ってきたコンピュータ、
ワークステーションの如き計算機において、音声情報お
よび映像情報をもデータとして取り扱うマルチメディア
処理が可能となった（以下の説明は、音響の代表として
特に音声に着目して行われるものとする）。そして、デ
ータの圧縮技術の進歩および記憶装置の大容量化に伴っ
て、取り扱うデータ量も多量になった。多種類の、しか
も多量のデータを取り扱い、蓄積するようになると、必
要な情報の検索を迅速容易に実行することが要望される
に到る。

【０００３】情報を検索する方法としては、一般に、情
報に予めインデックスを付与しておき、インデックス付
与された部分を取り出すという方法が採用される。文字
列を取り扱うテキストデータにおいては、文字列検索に
代表される様に、指定されたキーワードとデータとの間
のマッチングとることによって適合箇所にインデックス
を付与していくことができるので、検索も容易である。
しかし、映像情報の様に、連続的でかつ時間とともに内
容が変化する情報の場合は、一定の形状のものを見つけ
出してその映像部分にインデックスを付与することは大
変に困難である。例え、互いに異なる映像情報であって
も、情報を受け取る側にとって共通する意味内容或は関
連をもった情報である場合は、映像部分の共通性に着目
して検索を行う方法に依っては必要な映像を捜し出すこ
とができない。

【０００４】映像の情報検索については、従来、以下の
如き方策が採用されてきた。 １、シーケンシャル・サーチ 連続情報である音声と映像とを同時に連続的に再生して
必要な映像を探し出す方法である。 ２、タイム・コードとの間の対応を利用 先ず、最初に音声、映像の情報を始めから再生し、その
際タイム・コードを対応づけする。その後、タイム・コ
ードを手掛かりとして必要な映像を取り出す方法であ
る。

【０００５】３、画像ＩＮＤＥＸ 連続的なデータである動画像から例えばカメラ位置の変
化点（シーンの切り替わり）、動画中に含まれる特定の
物体の変化に着目して動画をいくつかの区間に分割した
上で、その各区間における最も変化の少ない部分、最も
変化の大きい部分、或はその区間の最初の映像をその区
間の代表映像としてインデックスとし、これを手がかり
として必要な映像を取り出す方法である。

【０００６】

【発明が解決しようとする課題】しかし、上述の方法に
は、次の如き問題がある。 １’シーケンシャル・サーチ 基本的に原データをそのまま再生することによる検索方
式でってインデックス付け或は記号化を行わないので、
大容量の情報検索においては時間がかかる。

【０００７】２’タイム・コードとの間の対応を利用 本来、タイム・コードは音声、映像情報とは直接関係の
ない記号であるにもかかわらず、利用者は常に無意味な
記号であるタイム・コードとそれに対応する映像との間
の関係を意識しなくてはならない。 ３’画像ＩＮＤＥＸ 映像の種類によってはシーンの切り替わりが少ないも
の、或は動きの変化が少ないものがあり、変化点をみつ
けにくいものがある。そのために、不必要に細かくイン
デックスがつけられたり、逆に粗すぎるインデックス付
けとなる問題がある。

【０００８】この発明は、従来の映像検索方法および装
置の上述の通りの問題を解消するものであり、従来は困
難であった映像へのインデックス付与を可能とし、映像
検索を容易に実施することができる音声キーワードによ
る映像検索方法および装置を提供するものである。

【０００９】

【課題を解決するための手段】映像情報とこの映像情報
に対応する音声情報とを有するデータベースについて音
声情報を特徴分析してこれを音声の特徴パラメータ時系
列に変換し、映像検索キーとなるべきキーワード音声を
特徴分析してこれをキーワード音声の特徴パラメータ時
系列に変換し、データベース中の音声の特徴パラメータ
時系列と映像検索キーの特徴パラメータ時系列とを比較
することにより、音声情報に含まれる単語をキーワード
として映像情報を検索する音声キーワードによる映像検
索方法を構成し、そして、映像情報とこの映像情報に対
応する音声情報とを有するデータベース２および３につ
いて音声情報を特徴分析してこれを音声の特徴パラメー
タ時系列に変換する音声情報分析部６を具備し、映像検
索キーとなるべきキーワード音声を特徴分析してこれを
キーワード音声の特徴パラメータ時系列に変換するキー
ワード特徴分析部８を具備し、データベース中の音声の
特徴パラメータ時系列と映像検索キーの特徴パラメータ
時系列とを比較することによりキーワードに相当する部
分を音声情報の中から抽出するキーワード区間抽出部１
０を具備し、抽出された区間に対応する映像情報のアド
レスを記憶するインデックス付与部１２を具備し、付与
されたインデックスとその区間に対応する映像を表示す
る検索映像表示部１４を具備し、検索結果の映像と音声
を同時に再生する音声・映像出力部１５を具備し、音声
情報に含まれる単語をキーワードとして映像情報を検索
する音声キーワードによる映像検索装置、をも構成し
た。

【００１０】

【実施例】音声情報と映像情報とを有するデータベース
について、音声情報に含まれる単語をキーワードとし、
映像情報にインデックスを付与して映像検索を実施す
る。音声情報は映像情報と同様に連続情報であり、しか
も時間と共に変化する情報ではあるが、通常の会話にお
いてはキーワードとなる単語が何度も出現する。従っ
て、音声情報の内に含まれるキーワードを利用して、そ
のキーワードが出現する部分の映像を取り出すことは可
能である。この方法によれば、映像情報としては異なる
内容の画面であっても音声情報内容に関連性がある場合
にも検索が可能となる。この発明は、音声情報と映像情
報とを有するデータベースにおいて、予め決められたキ
ーワードを検索するために、キーワードの音声を使用し
て音声情報中に存在するキーワードの発声を抽出し、抽
出されたキーワードをインデックスとすると共に、その
インデックスに対応する映像を表示装置に表示すること
により、音声により映像情報の検索をするものである。

【００１１】この発明の実施例を先ず図１を参照して説
明する。図１は音声・映像情報を入力し、音声と映像と
の間の対応づけをし、そして音声情報の分析をする構成
を示すフロー図である。この発明は、音声・映像情報を
入力してこれら両者の対応づけを行うと共に、音声情報
の分析を実施してこれを音声特徴パラメータに変換する
過程、および映像検索を実施する過程の２つに大きく分
けられる。

【００１２】音声映像入力部１は外部から音声情報およ
び映像情報を入力するものであり、これら入力された音
声情報および映像情報はそれぞれ音声データ記憶部２お
よび映像データ記憶部３に蓄積される。情報はマイクロ
ホンおよびカメラの如く音声情報と映像情報とが独立し
た２つの媒体を介して入力するのが一般的であるが、音
声情報と映像情報とが一緒に記録されているビデオテー
プレコーダの様な外部記憶媒体から入力することも可能
である。

【００１３】音声情報は、コンピュータによる処理を可
能とするために、デジタル情報に変換して音声データ記
憶部２に記憶する。デジタル化する際のサンプリング周
波数は音声品質を考慮すると８ＫＨｚ以上が望ましい。
以下の説明においては、音声サンプリング周波数は１２
ＫＨｚであるものとする。音声データはサンプリング番
号を付与されて音声データ記憶部２に記憶されている。

【００１４】これに対して、映像情報は入力した後でコ
ンピュータ処理を必要としない。しかし、後から検索を
する必要上、ランダムなアクセスが可能となる様に時間
情報に対応させて映像データ記憶部３に記憶される。具
体的方法としては、デジタル化してコンピュータ内に取
り込み、アドレスをインデックスとして蓄積しておく方
法、ビデオテープレコーデにタイムコードと共に蓄積し
ておく方法その他がある。以下、フレーム番号を検索の
際に利用する場合について説明する。

【００１５】音声情報および映像情報の入力を考えると
き、音声情報は１２ＫＨｚサンプリングの場合は８.３
マイクロ秒に１サンプリングであり、映像は通常は１秒
間に３０画面で構成されている点に留意する。入力され
た音声情報と映像情報とは独立して記憶されているの
で、音声情報のキーワードを利用して映像にインデック
スを付与するには、両者の間の対応づけをする必要があ
る。対応をとるには計算式として記憶しておく方法、対
応テーブルを作成する方法その他の方法がある。以下、
対応テーブルを作成する場合を例として説明する。

【００１６】音声・映像対応部４は音声と映像との間の
対応関係を示す音声映像対応テーブル５を作成する。こ
こで、音声データ記憶部２および映像データ記憶部３に
記憶されるデータが共に時刻を利用してアクセス可能で
あれば、この場合音声映像対応テーブルは不用である。
ここで、映像情報は１秒間に３０フレーム（画面）によ
り構成され、フレーム番号をインデックスとしてアクセ
スすることができ、音声情報は音声サンプリングデータ
の番号（サンプリング番号）をインデックスとして記憶
している場合を例として説明する。この場合、映像情報
１フレームに対して、音声サンプリング数は４００とな
る。

【００１７】図２は映像フレーム番号と音声サンプリン
グ番号との間の対応を示す音声・映像対応テーブルの例
である。この例は各映像フレーム番号に対応する音声サ
ンプリング番号の始めの数値と終わりの数値とが音声・
映像対応テーブルに格納されている。音声情報分析部６
は音声データ記憶部２に記憶されている音声のディジタ
ルデータを後でキーワードと一致する部分を抽出するこ
とが可能な形態に分析変換する。変換する形態は、キー
ワードと一致する部分を検出するアルゴリズムに依存す
るが、スペクトル分析を行う方法が良く採用される。ス
ペクトル分析を行う場合、高速フーリエ変換およびＬＰ
Ｃ分析の手法を使用することができる。また、スペクト
ル分析を行う際、予め定められたフレーム長のディジタ
ル音声データを予め定められたフレームシフト長だけず
らしながら繰り返し処理を行う。結果として、音声スペ
クトルの時系列が音声特徴パラメータ記憶部７に記憶さ
れる。

【００１８】図３はこの発明によるキーワードに依り映
像を検索する構成を示すフロー図である。キーワード特
徴分析部８は検索のキーとなるべきキーワードの音声を
分析し、これを特徴パラメータ時系列に変換する。この
場合の分析方法は音声分析部６における音声情報の分析
法と同じものとする。キーワード特徴分析部８により分
析した結果はキーワード特徴パラメータ記憶部９に記憶
される。キーワードは音声情報の中に含まれる単語或は
会話その他の語であるが、キーワードの入力方法として
は２通りが考えられる。第１の方法はキーワードを入力
済みの音声情報から切り出して利用する方法であり、第
２の方法はまったく新たにキーワードを入力する方法で
ある。第１の方法である入力済みの音声から抽出してキ
ーワードとして利用する場合は、入力音声の該当部分を
指示するインタフェースを実現しておく必要がある。こ
れは例えば音声パワーの表示、スペクトルシーケンスの
図示により実施することができる。また、第２の方法の
新たに入力する場合は、キーワード区間を音声情報から
正確に抽出するには音声情報の話し手と同一人物の音声
を入力することが望ましい。

【００１９】キーワード区間抽出部１０は、データに含
まれる音声情報の特徴パラメータ７とキーワードの特徴
パラメータ９を比較することにより音声情報中のキーワ
ード区間を抽出する。ここにおいては、一般に音声認識
の応用技術であるワードスポッティング技術を利用する
ことができる。ワードスポッティングの手法としては種
々の手法が提案されているが、基本的にはキーワードの
特徴パラメータを逐次ずらしながら音声情報の内の一致
する区間を検索するものである。この場合、音声の時間
的な伸縮を補正するには、ＤＰマッチング法その他の非
線形伸縮を可能とするマッチング法を採用するのが一般
的である。その他にも、音声特徴量をベクトル量子化し
ておいてＨＭＭ（隠れマルコフモデル：Ｈｉｄｄｅｎ
Ｍａｒｋｏｖ Ｍｏｄｅｌ）により該当区間を検索する
ものその他、種々の音声認識、ワードスポッティング方
法の利用が可能である。

【００２０】キーワード区間抽出部１０において音声情
報とキーワードの対応が抽出された場合、一致した区間
の音声情報の開始点の音声サンプリング番号をキーワー
ド区間記憶部１１に記憶する。音声情報とキーワードと
の間の比較は全ての音声情報について連続的に実行さ
れ、抽出されたキーワード区間全てに対する音声サンプ
リング番号がキーワード区間記憶部１１に記憶される。

【００２１】インデックス付与部１２は、キーワード区
間記憶部１１に記憶されている音声サンプリング番号に
よって音声・映像対応テーブル５を参照して映像情報の
フレーム番号を得る。このフレーム番号をインデックス
位置データ１３として記憶する。図４はインデックス位
置データを記憶する例である。ここで、音声・映像テー
ブル５の参照例を図５により説明する。キーワード区間
記憶部１１にはこの例の場合音声サンプリング番号１０
２５が記憶されているものとする。この音声サンプリン
グ番号１０２５は、音声・映像対応テーブル５上の映像
フレーム番号３のフレーム開始の音声サンプリング番号
８０１とフレーム終了の音声サンプリング番号１２００
の間に位置する番号である。従って、音声サンプリング
番号１０２５は映像フレーム３に含まれていることがわ
かる。

【００２２】この様にして、音声情報のキーワードが出
現する時の映像情報フレームを指定することができ、こ
のフレーム番号をインデックス位置データ１３として記
憶する。図５の例はフレーム番号３がインデックス位置
データとして記憶されたものである。検索映像表示部１
４は、インデックス位置データ１３に基づいて、検索結
果として代表画面を表示する。代表画面の選択方法に
は、キーワード音声に対応する映像の最初の画面を使用
する方法、キーワードとキーワードの区間を一つのセグ
メントと考えてそのセグメントの内から最も動きの少な
い映像部分を抽出してこれを代表画面とする方法、セグ
メントの内で最も変化の大きい部分を抽出してこれを代
表画面とする方法、キーワードを含む音声の一区間を一
つのブロックと考えてこのブロックの内から最も動きの
少ない部分を抽出してこれを代表画面とする方法、その
他様々の方法がある。これらの方法の内の何れを選択す
るかは、対象としている映像の種類に応じて決定され
る。例えば、スポーツの場合は最も変化が大きい部分、
風景の場合は最も変化の小さい部分、を選択すれば効果
的な検索結果の表示が可能となる。何れの方法を採用し
た場合も、インデックスが付与された映像フレームをも
とに１つの代表映像フレームを選択して画面上に表示す
る。キーワード音声に対応する映像の最初の画面を選択
する場合は、インデックス位置データ１３の映像フレー
ム番号をそのまま利用して映像データ記憶部３から映像
を取り出す。キーワード間をセグメントとしてセグレン
ト中の最も動きの少ない映像部分を抽出する場合は、連
続するインデックス位置データ１３の２つのフレーム番
号にはさまれる複数の映像フレームから映像の変化の差
分が小さいもの、或は場合によって大きいものを選び出
す。キーワードを含む音声の一区間を一つのブロックと
考えてその区間から代表画面を抽出する方法の場合は、
音声情報に再度注目して、キーワードを含む一続きの音
声部分を音声ブロックとみなしてその音声ブロックに対
応する複数の映像フレームから映像の変化の差分が小さ
いものを選び出す。

【００２３】選択した代表画面の表示方法としては、デ
ィスプレイ全体に代表映像を１枚表示してオペレータの
キーボード操作で次々と代表映像を映し出す方法、ディ
スプレイ上に複数の代表映像を並べて表示する方法その
他の方法がある。何れにしても、検索映像表示部１４は
インデックスが付与された複数の映像情報からオペレー
タの望む映像を選択できるように検索結果を表示する様
に構成される。

【００２４】映像・音声出力部１５は検索映像表示部１
４に表示された代表画面をもとに映像情報と音声情報を
同時に出力再生する。出力する情報は検索映像表示部１
４に表示された複数の代表映像から再生したい映像情報
をオペレータに選択させる方法、検索映像表示部１４に
表示された映像情報をオペレータのキーボード操作をト
リガとして再生・中止を繰り返しお行うことですべての
代表映像を網羅的に再生する方法がある。映像・音声出
力部１５は検索映像表示部１４の代表画面を導き出した
インデックス位置データをもとに音声・映像対応テーブ
ルを参照して映像フレーム番号とそのフレームに対応す
る音声サンプリング番号とを得て、対象となる音声情報
と映像情報を音声データ記憶部２、映像データ記憶部３
からとりだして、両者を同時に出力再生する。図６は映
像情報としてはフレーム番号３、音声情報としては音声
・映像対応テーブルを参照してフレーム開始の音声サン
プリング番号８０１の値を得て、映像・音声出力部が再
生を行う例を示す。

【００２５】一般に、映像情報と音声情報とを有するデ
ータベースにおける情報検索を考える場合、或る情報部
分を人間が記憶していてその情報を検索しようとするこ
とがある。この記憶には、映像情報である場合、音声情
報である場合、両者を共に記憶している場合の３通りが
ある。この発明は、これら３通りの内、音声による記憶
に基づいて映像情報を検索する場合に極めて有効なもの
である。

【００２６】

【発明の効果】以上の通りであって、映像情報と音声情
報とを有するマルチメディアのデータベースから音声情
報の内に含まれるキーワードを検索キーとして必要とす
る映像の検索をすることができる。これにより連続的な
情報である映像情報を効率的に検索・アクセスすること
ができる。

【図面の簡単な説明】

【図１】音声・映像情報を入力し、音声と映像との間の
対応づけをし、そして音声情報の分析をする構成を示す
フロー図である。

【図２】映像フレーム番号と音声サンプリング番号との
間の対応を示す音声・映像対応テーブルである。

【図３】キーワードに依り映像を検索する構成を示すフ
ロー図である。

【図４】インデックス位置データのテーブルである。

【図５】インデックス付与の際の音声・映像対応テーブ
ル参照の例である。

【図６】映像・音声出力の際の音声・映像対応テーブル
参照の例である。

【符号の説明】

２ 音声データ記憶部 ３ 映像データ記憶部 ６ 音声情報分析部 ８ キーワード特徴分析部 １０ キーワード区間抽出部 １２ インデックス付与部 １４ 検索映像表示部 １５ 音声・映像出力部

Claims (2)

【特許請求の範囲】
1. 【請求項１】映像情報とこの映像情報に対応する音響情
   報とを有するデータベースについて音響情報を特徴分析
   してこれを音響の特徴パラメータ時系列に変換し、映像
   検索キーとなるべきキーワード音響を特徴分析してこれ
   をキーワード音響の特徴パラメータ時系列に変換し、デ
   ータベース中の音響の特徴パラメータ時系列と映像検索
   キーの特徴パラメータ時系列とを比較することにより、
   音響情報に含まれる音響をキーワードとして映像情報を
   検索することを特徴とする音響キーワードによる映像検
   索方法。
2. 【請求項２】映像情報とこの映像情報に対応する音響情
   報とを有するデータベースについて音響情報を特徴分析
   してこれを音響の特徴パラメータ時系列に変換する音響
   情報分析部を具備し、映像検索キーとなるべきキーワー
   ド音響を特徴分析してこれをキーワード音響の特徴パラ
   メータ時系列に変換するキーワード特徴分析部を具備
   し、データベース中の音響の特徴パラメータ時系列と映
   像検索キーの特徴パラメータ時系列とを比較することに
   よりキーワードに相当する部分を音響情報の中から抽出
   するキーワード区間抽出部を具備し、抽出された区間に
   対応する映像情報のアドレスを記憶するインデックス付
   与部を具備し、付与されたインデックスとその区間に対
   応する映像を表示する検索映像表示部を具備し、検索結
   果の映像と音響を同時に再生する音響・映像出力部を具
   備し、音響情報に含まれる音響をキーワードとして映像
   情報を検索することを特徴とする音響キーワードによる
   映像検索装置。