JP2006309920A - 情報処理装置及びその方法 - Google Patents

Abstract

【課題】記録保存される映像について、毎回の手動作業を要することなく、視聴に適した分割や制御点の決定と関連情報付与を行うことができる情報処理装置を提供する。
【解決手段】映像音声処理装置は、キーデータ管理部１０、映像データ取得部４１、音声データ分離部２２、キー照合部３０、照合結果記録指示部３５及び記録媒体９０を備え、キーの音声パターンと類似した音声区間を音声データ中から検出し、予め指定された属性に従って、検出された区間の始終端を基準に分割点や制御点を決定し、分割された区間や制御点または音声データ全体に対して、予め指定された名称または予め指定された命名方法に従って付与された名称を設定する。
【選択図】 図１

Description

本発明は、映像音声や音声の記録の処理を行う情報処理装置及びその方法に関する。

近年、音声や映像を記録する機器の主流は、従来のアナログ方式の磁気テープから、デジタル方式の磁気ディスクや半導体メモリ等に移っている。特に大容量のハードディスクを使用した映像記録再生機器では、記録可能な容量が飛躍的に拡大している。このような機器を使用すれば、放送や通信によって提供される多数の番組の映像を保存しておき、ユーザが自在に選択して視聴できる。

ここで、保存されている映像の管理においては、番組等の単位であるタイトル（プログラム）でファイル化した上で、名称その他の情報を付与しておき、一覧の際にタイトルの代表画像（サムネイル）と名称等を並べて表示することができる。また、一番組（タイトル）の中をチャプタ（セグメント）と呼ばれる単位に分割し、チャプタ単位で再生や編集を行うこともできる。チャプタ名を付与したり、チャプタの代表画像（サムネイル）を表示したりして、チャプタ一覧から好みの場面を含むチャプタを選択して再生したり、選択したチャプタを並べてプレイリスト等を作成したりすることができる。これらの管理方法を規定するものとして、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）のＶＲ（ＶｉｄｅｏＲｅｃｏｒｄｉｎｇ）モードがある。

ところで、番組（タイトル）内の区間や位置の指定に用いられるマーカには、映像・音声コンテンツを再生したときの時間的位置に対応する再生時刻情報が含まれており、チャプタ分割点を表すチャプタマーカのほか、装置によっては、編集操作の際の対象区間を指定するエディットマーカや、頭出し操作の際にジャンプ先の地点を指定するインデックスマーカを使用する場合もある。なお、本明細書における「マーカ」も上記の意味で使用する。

番組名については、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）等によって提供される番組情報を利用すれば、録画保存されたファイルに自動付与することもできる。ＥＰＧで提供される番組情報については、ＡＲＩＢ（Association of Radio Industries and Businesses）標準規格（ＳＴＤ−Ｂ１０）がある。

しかし、一番組の中については、分割する時刻位置を与える情報や、分割された各々を容易に識別できるような名称等をはじめ、視聴や編集等を支援したり自動化したりするために有用なメタデータとしてさまざまなものが考えられるが、これらが汎用的に外部から提供されることはほとんど行われない。このため、一般の視聴者向けの機器においては、記録された音声や映像に基づいて、装置側でメタデータ作成を行うことが必要になっている。

映像・音声コンテンツに関する汎用的なメタデータの記述形式としてＭＰＥＧ−７があり、コンテンツと対応付けてＸＭＬ（extensible Markup Language）データベースに格納する方法がある。また、放送におけるメタデータの伝送方式等について、ＡＲＩＢ（Association of Radio Industries and Businesses）標準規格（ＳＴＤ−Ｂ３８）があり、これらに準拠してメタデータを記録することもできる。

装置が自動的に行うものとして、無音部分、映像の切り替わり（カット）、音声多重モード（モノラル、ステレオ、二か国語）の切り替わり等の検出によるチャプタ分割機能が提供されている場合もある（例えば、特許文献１参照）。しかし、必ずしも適切に分割されるわけではなく、分割された個々のチャプタの意味付け・名称付与を含め、ユーザがかなりの部分を手動で行わなければならない。

また、テロップ画像認識や音声認識により得られた言語情報を利用した、自動的なキーワード抽出等のメタデータ作成については、全文検索的な利用については可能になってきているが（例えば、特許文献２参照）、チャプタ分割や名称付与という部分について全面的な適用は難しいのが現状である。

一方、音響の一致または類似を検索する音響検索や音響ロバストマッチングの方法が考案されているが、その多くは、視聴したい音楽等を検索して再生するといった形で利用されており、映像のメタデータ作成等に適した構成になっていない（例えば、特許文献３参照）。
特開２００３−３６６５３公報 特開平８−２４９３４３号公報 特開２０００−３１２３４３公報

このように、従来の技術では、大量に保存されている映像の管理において、特に一番組内の分割については、視聴に適した分割や制御点の決定と関連情報付与が容易にできないという問題があった。

そこで、本発明は上記事情を考慮してなされたもので、その目的は、記録保存される映像について、毎回の手動作業を要することなく、視聴に適した分割や制御点の決定と関連情報付与を行うことができる情報処理装置及びその方法を提供することにある。

本発明は、利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、前記利用対象データから音声データのみを利用対象音声データとして取得する音声データ取得手段と、照合するための検索キーとなる音声パターンデータを含むキーデータを記録するキーデータ管理手段と、前記利用対象音声データと前記音声パターンデータとを所定の条件に基づいて照合し、前記利用対象音声データにおける前記所定の条件を満たす位置を表す照合結果情報を出力するキー照合手段と、前記出力された照合結果情報を前記支援データとして記録媒体に記録させる照合結果記録指示手段と、を具備することを特徴とする情報処理装置である。

本発明では、キー音声データ中の予め指定された区間の音声またはキー音声データ中から予め切り出して特徴抽出された音声パターンと類似した音声区間を利用対象音声データ中から検出し、予め指定された属性に従って、利用対象音声データにおける検出された区間の始終端の一方または両方を基準として分割点や制御点を決定し、分割された前後いずれかの区間や制御点または利用対象音声データ全体に対して、予め指定された名称または予め指定された命名方法に従って付与された名称を設定するようにしている。

したがって、本発明によれば、コーナータイトル音楽等の毎回出現する特定パターン音声をキーとして、その頭から再生したり、タイトル音楽をスキップしてコーナーの本編から再生したり、その時点や分割されたチャプタにコーナー名称を付与したり、このコーナーを含む番組名を付与したりする。

以下、図面を参照して、本発明の各実施形態について説明する。

［第１の実施形態］
本発明の第１の実施形態に係る映像音声処理装置について図１から図７に基づいて説明する。

本実施形態に係る映像音声処理装置は、キーデータに基づいて利用対象データである映像音声データに再生、編集、検索のための支援データであるメタデータを記録させる装置である。

また、本明細書において、「照合」とは、利用対象データ（映像音声データまたは音声データ）と検索キーである音声パターンデータとを比較し、利用対象データの中でどの位置、または、区間が音声パターンデータに該当するかを検出する意味である。

（１）映像音声処理装置の構成
図１は、本実施形態に係る映像音声処理装置の構成を示すものである。

図１に示す映像音声処理装置は、キーデータ管理部１０、映像データ取得部４１、音声データ分離部２２、キー照合部３０、照合結果記録指示部３５及び記録媒体９０を備えている。

（１−１）キーデータ管理部１０
キーデータ管理部１０は、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報をキー関連データとして合わせて管理することができる。

図２は、キーデータ管理部１０において、検索キーとなる音声パターンデータとともに管理されているキー関連データの例を示すものである。ここでは、キーの名称、タイトルの名称、属性、照合方法及びパラメータが管理されている。

検索キーＡについては、「占いコーナー」、「朝の情報テレビ」、「ＢＧＭ属性１（ＢＧＭ−１）」、「前方一致」、「ＢＧＭ」という情報が管理されている。

検索キーＢについては、「オープニング」、「夜の連続ドラマ」、「オープニング音楽属性１（ＯＰＭ−１）」、「完全一致」、「クリーン音楽（ＣＬＭ）」という情報が管理されている。

検索キーＣについては、「スポーツコーナー」、「１０時のニュース」、「コーナー音楽属性１（ＣＮＭ−１）」、「完全一致」、「ロバスト音楽（ＲＢＭ）」という情報が管理されている。

検索キーＤについて、「水泳スタート音」、「（タイトルなし）」、「競技開始イベント属性１（ＳＧＥ−１）」、「前方一致」、「ロバスト効果音（ＲＢＳ）」という情報が管理されている。

「属性」は、後述する照合結果記録指示部３５において、支援データを記録媒体９０にいかに記録させるかの記録指示動作を規定するためのものである。

「照合方法」と「パラメータ」は、後述するキー照合部３０における照合アルゴリズムと特徴量選択及び評価方法を規定するものである。パラメータにおける「ＢＧＭ」はナレーション等の人の声が主で背景に音楽が重畳されているようなもの、「クリーン音楽（ＣＬＭ）」は音楽のみで無関係な人の声などの重畳がないもの、「ロバスト音楽（ＲＢＭ）」は音楽が主で雑音等が多少含まれるもの、「ロバスト効果音（ＲＢＳ）」は特に短時間の効果音で雑音等が多少含まれるもの、をそれぞれ想定している。

キーデータ管理部１０における音声パターンデータは、図示されない外部の音声パターン取得手段により与えられた音声または区間を指定して切り出された音声について、キー照合部３０で参照できるよう保持している。例えば、再生可能な音声データであってもよく、または音声データを特徴抽出してパラメータ化したものでもよい。

なお、前記の各情報は検索キーとともに予め設定されて管理されているものとしているが、実際に検出や検索のためにキー照合部３０に対して選択、設定する際に、一部または全部の情報を変更して使用してもよい。例えば、検索キーＢは通常は「完全一致」「クリーン音楽（ＣＬＭ）」となっているが、「前方一致」「ＢＧＭ」として使用することで、同番組の予告編を検索・検出するのに適したものになる。

（１−２）映像データ取得部４１
映像データ取得部４１は、外部のデジタルビデオカメラ、デジタル放送等の受信チューナー、その他のデジタル機器から入力される映像音声データを取得し、記録媒体９０に記録すると共に、音声データ分離部２２へ渡す。また、外部のビデオカメラ、放送受信チューナー、その他の機器から入力されるアナログ映像音声信号を取得し、デジタル映像音声データに変換した後、記録媒体９０に記録したり、音声データ分離部２２へ渡してもよい
なお、これらの処理に加えて、必要に応じて映像音声データの暗号解除処理（例えば、Ｂ−ＣＡＳ）、デコード処理（例えば、ＭＰＥＧ２）、形式変換処理（例えば、ＴＳ／ＰＳ）、レート（圧縮率）変換処理等を行ってもよい。

（１−３）音声データ分離部２２
音声データ分離部２２は、映像データ取得部４１において取得された映像音声データから音声データを分離して、キー照合部３０へ渡す。

（１−４）キー照合部３０
キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ分離部２２において分離された音声データとを照合し、類似した区間を検出する。

ここでは、検索キーＡに対しては、「前方一致」と「ＢＧＭ」という情報に従って、人の声の周波数領域をマスクする等でＢＧＭの音楽成分に着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。

検索キーＢに対しては、「完全一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キー全体のパターンが一致する箇所を検出するアルゴリズムを使用する。

検索キーＣに対しては、「完全一致」と「ロバスト音楽」という情報に従って、音楽成分を重視しながら多少のノイズを許容して一致度合いを評価し、検索キー全体のパターンが一致する箇所を検出するアルゴリズムを使用する。

検索キーＤに対しては、「前方一致」と「ロバスト効果音」という情報に従って、スペクトルピークに着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。

（１−５）照合結果記録指示部３５
照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータを記録媒体９０に記録する。記録媒体９０において記録されるメタデータは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）のＶＲ（Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇ）モードで規定される構造になっている。

図３は、照合結果記録指示部３５における、属性に対応付けて規定された記録指示動作の例を示すものである。

「ＢＧＭ属性１（ＢＧＭ−１）」については、検出された区間全体をそのままマーカ区間とし、その区間の名称を「（キーの名称）」（複数検出された場合は「（キーの名称）−番号」）と設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。なお、図３における「＃」は番号を表す。

「オープニング音楽属性１（ＯＰＭ−１）」については、検出された区間の始端と終端でチャプタ分割し、始終端に挟まれたチャプタの名称を「『オープニング』−番号」、終端で分割された後方のチャプタの名称を「『本編』−番号」、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

「コーナー音楽属性１（ＣＮＭ−１）」については、検出された区間の始端でチャプタ分割し、分割された後方のチャプタの名称を「（キーの名称）」（複数検出された場合は「（キーの名称）−番号」）、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

「競技開始イベント属性１（ＳＧＥ−１）」については、検出された区間の始端の２秒前をマーカ点とし、マーカの名称を「（キーの名称）−番号」と設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

なお、メタデータは記録媒体９０に記録すると同時に、外部の表示装置に表示させるために出力することもできる。この表示装置では、映像データ取得部４１において取得された映像音声データや映像音声信号を表示させる際に、メタデータの中から表示可能なものを抽出して表示するか、ユーザーからの表示指示動作に従って表示できるよう記録媒体に保持するようにすることもできる。

また、記録媒体９０に記録された映像音声データやメタデータを、記録処理と同時に追いかけ再生処理することにより、同様の表示を行うこともできる。

（２）検索キーＡが検出されたときの記録指示動作
キー照合部３０において検索キーＡが検出されたときに、照合結果記録指示部３５が「ＢＧＭ属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図４は、その記録媒体９０に記録された情報を示す模式図である。

１２月２２日放送の「朝の情報テレビ」番組（１時間５４分）における「占いコーナー」の区間が、放送開始から５８分ちょうどと１時間５１分の計２回検出されて（帯の上に接した濃い印で示す）、それぞれ「占いコーナー−１」「占いコーナー−２」という名前のマーカ（帯の中の斜線で示した部分）がついている。

これにより、例えば、占いコーナー部分だけを抜き出し、高圧縮で再エンコードして携帯機器に転送する等が可能となる。

（３）検索キーＢが検出されたときの記録指示動作
キー照合部３０において検索キーＢが検出されたときに、照合結果記録指示部３５が「オープニング音楽属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図５は、その記録媒体９０に記録された情報を示す模式図である。

１２月２３日放送の「夜の連続ドラマ」の５話連続再放送の番組（１時間４０分）における「オープニング」の区間が、０分３０秒、２０分１５秒等の計５回検出されて（帯の上に接した濃い印で示す）、１回目の「オープニング」の前のチャプタ（名前なし）、１回目の「オープニング−１」、１回目のオープニングに続く「本編−１」、２回目の「オープニング−２」、２回目のオープニングに続く「本編−２」等のチャプタに分割（帯の中の縦線で示す）されている。また、タイトル名「夜の連続ドラマ」が設定されている。ここで、検索キーＢと関連付けて、タイトル名のほかに、ジャンル「ドラマ」、保存先メディア「ＨＤＤ」、保存先フォルダ「マイドラマ」、最終保存レート（圧縮率）「低」が設定されているとすると、検索キーＢが検出されたときに、タイトル名に代えて、またはタイトル名に加えて、ジャンル「ドラマ」が設定されたり、保存先のディスクをＨＤＤの「マイドラマ」フォルダにしたり、最終保存レートに従って品質を落とした「低」レートに変換して保存したりしてもよい。

これにより、例えば、水曜日の再放送である３話目だけを見たい場合にチャプタ一覧から「オープニング−３」を選択して再生したり、オープニング再生中に「次チャプタへジャンプ」等の操作をすることにより、何度も同じオープニングを見ることなく、本編だけをまとめて見たりすることが可能となる。また、ＥＰＧによらないタイトル名設定や、ジャンル設定、保存先フォルダ設定等の自動化が可能となる。

（４）検索キーＣが検出されたときの記録指示動作
キー照合部３０において検索キーＣが検出されたときに、照合結果記録指示部３５が「コーナー音楽属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図６は、その記録媒体９０に記録された情報を示す模式図である。

１２月２４日放送の「１０時のニュース」（６０分）における「スポーツコーナー」の音楽が検出され、コーナー音楽の頭（３５分３０秒）でチャプタ分割されて「スポーツコーナー」のチャプタ名がついている。これにより、例えば、スポーツにしか関心がないユーザは、チャプタ一覧から「スポーツコーナー」を選択して再生することができる。

また、番組冒頭からしばらく主要ニュースを見た後、興味がなくなってきたところで「次チャプタへジャンプ」等の操作をすることにより「スポーツコーナー」までの間を飛ばすような視聴の仕方も可能となる。

（５）検索キーＤが検出されたときの記録指示動作
キー照合部３０において検索キーＤが検出されたときに、照合結果記録指示部３５が「競技開始イベント属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図７は、その記録媒体９０に記録された情報を示す模式図である。

８月１９日放送の「国際水泳競技生中継」番組における「水泳スタート音」が１２回、同日放送の「７時のニュース」番組で２回、「今日のスポーツニュース」番組で５回、それぞれ検出されて、各々２秒前に「水泳スタート音−１」「水泳スタート音−２」等のマーカがついている。

これにより、「次マーカへジャンプ」等の操作をすることで、各レースのスタートのシーンを頭出しすることができる。例えば、特定の選手が出場している等で見たいレースがある場合、再生された映像を見ながら次々にジャンプして、見たいレースを見つけることが可能となる。

［第２の実施形態］
本発明の第２の実施形態に係る音声処理装置について図８から図１０に基づいて説明する。

本実施形態と第１の実施形態の異なる点は、第１の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。

（１）音声処理装置の構成
図８は、本実施形態に係る音声処理装置の構成を示すものである。

図８に示す音声処理装置は、キーデータ管理部１０、音声データ取得部２１、キー照合部３０、照合結果記録指示部３５及び記録媒体９０を備えている。第１の実施形態と異なり、画像データを扱わない。

（１−１）キーデータ管理部１０
キーデータ管理部１０は、第１の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報をキー関連データとして合わせて管理することができる。

図９は、第２の実施形態のキーデータ管理部１０において、検索キーとなる音声パターンデータと共に管理されている情報であるキー関連データの例を示すものである。ここでは、キーの名称、タイトルの名称、属性、照合方法及びパラメータがキー関連データとして管理されている。

検索キーＥについては、「道路渋滞情報」、「道路情報ラジオ」、「ＢＧＭ属性２（ＢＧＭ−２）」、「前方一致」、「ＢＧＭ」という情報が管理されているものとする。

検索キーＦについては、「エンディング」、「○田×男のトーク番組」、「エンディング音楽属性２（ＥＤＭ−２）」、「後方一致」、「ロバスト音楽（ＲＢＭ）」が管理されている。

検索キーＧについては、「カルチャーコーナー」、「トラベル会話」、「コーナー音楽属性２（ＣＮＭ−２）」、「完全一致」、「クリーン音楽（ＣＬＭ）」が管理されている。

検索キーＨについては、「金属バット音」、「（タイトルなし）」、「競技注目イベント属性２（ＡＧＥ−２）」、「前方一致」、「ロバスト効果音（ＲＢＳ）」という情報が管理されているものとする。

さらに、組で動作する検索キーＪ１及びＪ２について、それぞれ「曲名“Ａ”」、「（タイトルなし）」、「音楽開始属性２（ＢＯＭ−２）」、「前方一致」、「クリーン音楽（ＣＬＭ）」、及び「曲名“Ａ”末尾」、「（タイトルなし）」、「音楽終了属性２（ＥＯＭ−２）」、「後方一致」、「クリーン音楽（ＣＬＭ）」という情報が管理されているものとする。

（１−２）音声データ取得部２１
音声データ取得部２１は、外部のデジタルマイクロホン、デジタル放送等の受信チューナー、その他のデジタル機器から入力される音声データを取得し、記録媒体９０に記録すると共に、キー照合部３０へ渡す。また、外部のマイクロホン、放送受信チューナー、その他の機器から入力されるアナログ音声信号を取得し、デジタル音声データに変換した後、記録媒体９０に記録したり、キー照合部３０へ渡してもよい。

なお、これらの処理に加えて、必要に応じて音声データの暗号解除処理、デコード処理、形式変換処理、レート変換処理等を行ってもよい。

（１−３）キー照合部３０
キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ取得部２１において取得された音声データとを照合し、類似した区間を検出する。

検索キーＥに対しては、「前方一致」と「ＢＧＭ」という情報に従って、人の声の周波数領域をマスクする等でＢＧＭの音楽成分に着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。

検索キーＦに対しては、「後方一致」と「ロバスト音楽」という情報に従って、音楽成分を重視しながら多少のノイズを許容して一致度合いを評価し、検索キー末尾からパターンが一致するところまでを始端フリーで検出するアルゴリズムを使用する。

検索キーＧに対しては、「完全一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キー全体のパターンが一致する箇所を検出するアルゴリズムを使用する。

検索キーＨに対しては、「前方一致」と「ロバスト効果音」という情報に従って、スペクトルピークに着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。

検索キーＪ１に対しては、「前方一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。

検索キーＪ２に対しては、「後方一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キーの末尾からパターンが一致するところまでを始端フリーで検出するアルゴリズムを使用する。

（１−４）照合結果記録指示部３５
照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータを記録媒体９０に記録する。

図１０は、照合結果記録指示部３５における、属性に対応付けて規定された記録指示動作の例を示すものである。

「ＢＧＭ属性２（ＢＧＭ−２）」については、検出された区間全体をそのままマーカ区間とし、検出された箇所の放送時刻を「ＨＨ：ＭＭ」（００〜２３時、００〜５９分）として取得した後、その区間の名称を「（キーの名称）−時刻」）と設定するようにように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

「エンディング音楽属性２（ＥＤＭ−２）」については、検出された区間の始端と終端でチャプタ分割し、始終端に挟まれたチャプタの名称を「『エンディング』」（複数検出された場合は「『エンディング』−番号」）、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定するようにように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

「コーナー音楽属性２（ＣＮＭ−２）」については、検出された区間の始端でチャプタ分割し、分割された後方のチャプタの名称を「（キーの名称）」、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定するようにように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

「競技注目イベント属性２（ＡＧＥ−２）」については、検出された区間の始端の８秒前をマーカ点とし、マーカの名称を「（キーの名称）−番号」と設定するようにように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

「音楽開始属性２（ＢＯＭ−２）」については、検出された区間の始端でチャプタ分割し、分割された後方のチャプタの名称を「（キーの名称）」と設定するようにように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

「音楽終了属性２（ＥＯＭ−２）」については、検出された区間の終端でチャプタ分割するようにように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。

（２）検索キーＥが検出されたときの記録指示動作
このような構成では、例えば、検索キーＥが検出されたときに、「ＢＧＭ属性２」の規定の記録指示動作に従って、「道路情報ラジオ」番組における「道路渋滞情報」の区間が、複数回検出されて、それぞれ放送された時刻に応じて「道路渋滞情報−９：５５」「道路渋滞情報−１０：２８」「道路渋滞情報−１０：５６」等という名前のマーカが検出された区間についている。

これにより、例えば、道路渋滞情報だけを最新の情報から順に抜き出して聞く等が可能となる。

（３）検索キーＨが検出されたときの記録指示動作
検索キーＨが検出されたときに、「競技注目イベント属性２」の規定の動作に従って、「高校対抗野球大会」番組における「金属バット音」が検出され、各々検出された箇所の８秒前にマーカがついているので、打撃のシーンのみを直前の投球動作から順次再生することが可能となる。

（４）検索キーＪ１とＪ２が検出されたときの記録指示動作
検索キーＪ１とＪ２が検出されたときに、「音楽開始属性２」と「音楽終了属性２」の規定の動作の組み合わせによって、「曲名“Ａ”」の音楽の開始と終了の両方でチャプタ分割され、音楽の区間が「曲名“Ａ”」のチャプタとなる。

［第３の実施形態］
本発明の第３の実施形態に係る映像音声処理装置について図１１に基づいて説明する。

本実施形態と第１の実施形態の異なる点は、第１の実施形態では、外部から取得した映像音声データについて記録及び処理をしていたが、本実施形態では記録済みの映像音声データについて処理を行うことである。

図１１は、本実施形態に係る映像音声処理装置の構成を示すものである。

図１１に示す映像音声処理装置は、キーデータ管理部１０、映像データ取得部４６、音声データ分離部２２、キー照合部３０、照合結果記録指示部３５及び記録媒体９０を備えている。

キーデータ管理部１０は、第１の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。

例えば、図２に示すように、検索キーＡについて「占いコーナー」「朝の情報テレビ」「ＢＧＭ属性１」等、検索キーＢについて「オープニング」「夜の連続ドラマ」「オープニング音楽属性１」等がキー関連情報として管理されている。

記録媒体９０には、予め映像音声データまたは映像音声信号が記録されている。

映像データ取得部４６は、記録媒体９０に記録されている映像音声データを読み出して取得し、音声データ分離部２２へ渡す。また、アナログ映像音声信号を読み出して取得し、デジタル映像音声データに変換した後、音声データ分離部２２へ渡してもよい。

なお、これらの処理に加えて、必要に応じて映像音声データの暗号解除処理、デコード処理、形式変換処理、レート変換処理等を行ってもよい。なお、第１の実施形態における映像データ取得部４１と異なる点は、外部から取得したデータについて記録及び処理を行うのではなく、記録済みのデータについて処理を行うことである。

音声データ分離部２２は、映像データ取得部４６において取得された映像音声データから音声データを分離して、キー照合部３０へ渡す。例えば、ＭＰＥＧ２データをＤｅｍｕｘして、音声データを含むＭＰＥＧ２ Ａｕｄｉｏ ＥＳを取り出し、デコード（ＡＡＣ等）する。

キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ分離部２２において分離された音声データとを照合し、類似した区間を検出する。

照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータを記録媒体９０に記録する。

例えば、図３と同様に、検索キーＡの「ＢＧＭ属性１」については検出された区間全体を「（キーの名称）」、また、検索キーＢの「オープニング音楽属性１」については検出された区間の始終端の間を「オープニング」、終端の後方の区間を「本編」、さらにタイトル名を設定する等の記録指示動作が各属性について規定されている。

また、照合結果記録指示部３５において、記録媒体９０に記録されるメタデータは、例えばＡＲＩＢ ＳＴＤ−Ｂ３８で規定される構造になっている。

図１７は、キー照合部３０において検索キーＡが検出されたときに、照合結果記録指示部３５によって記録媒体９０に記録されるメタデータの例を示すものである。番組開始後３４８０秒（５８分）から１２０秒間の「占いコーナー−１」と、６６６０秒（１時間５１分）から１８０秒間の「占いコーナー−２」という２つのセグメントと、これらの占いコーナー部分を抜き出した「占いコーナー」というセグメントグループが記録されている。

図１８は、キー照合部３０において検索キーＢが検出されたときに、照合結果記録指示部３５によって記録媒体９０に記録されるメタデータの例を示すものである。プログラムに関する、名前（タイトル名）「夜の連続ドラマ」やジャンル「ドラマ」等の情報と、番組開始後３０秒から７０秒間の「オープニング−１」や１２１５秒（２０分１５秒）からの「オープニング−２」、これらの間の「本編−１」「本編−２」等のセグメントが記録されている。

［第４の実施形態］
本発明の第４の実施形態に係る音声処理装置について図１２に基づいて説明する。

本実施形態と第２の実施形態の異なる点は、第２の実施形態では、外部から取得したデータについて記録及び処理をしていたが、本実施形態では記録済みのデータについて処理を行うことである。

図１２は、本実施形態に係る音声処理装置の構成を示すものである。

図１２に示す音声処理装置は、キーデータ管理部１０、音声データ取得部２６、キー照合部３０、照合結果記録指示部３５及び記録媒体９０を備えている。第３の実施形態と異なり、映像データを扱わない。

キーデータ管理部１０は、第２の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。

記録媒体９０には、予め音声データまたは音声信号あるいは映像音声信号が記録されている。

音声データ取得部２６は、記録媒体９０に記録されている音声データを読み出して取得し、キー照合部３０へ渡す。また、音声データ取得部２６は、記録媒体９０に記録されているアナログ音声信号を読み出して取得するか、記録媒体９０に記録されているアナログ映像音声信号を読み出して音声信号のみ取得し、デジタル音声データに変換した後、キー照合部３０へ渡してもよい。なお、これらの処理に加えて、必要に応じて音声データの暗号解除処理、デコード処理、形式変換処理、レート変換処理等を行ってもよい。なお、第２の実施形態における音声データ取得部２１と異なる点は、外部から取得したデータについて記録及び処理を行うのではなく、記録済みのデータについて処理を行うことである。

キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ取得部２６において取得された音声データとを照合し、類似した区間を検出する。

照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータを記録媒体９０に記録する。

［第５の実施形態］
本発明の第５の実施形態に係る映像音声処理装置について図１３に基づいて説明する。

本実施形態では、第１〜第４の実施形態のキーデータ管理部３０において検索キーとして記録されているキーを生成する映像音声処理装置について説明する。

図１３は、本実施形態に係る映像音声処理装置の構成を示すものである。

図１３に示す映像音声処理装置は、映像データ取得部４３、映像データ指定部４７、音声データ分離部２５、キー生成部３１、キー関連データ入力部５６及びキーデータ管理部１０を備えている。

映像データ取得部４３は、外部のデジタルビデオカメラ、デジタル放送等の受信チューナー、その他のデジタル機器から入力される映像音声データを取得し、映像データ指定部４７へ渡す。また、外部のビデオカメラ、放送受信チューナー、その他の機器から入力されるアナログ映像音声信号を取得し、デジタル映像音声データに変換した後、映像データ指定部４７へ渡してもよい。

映像データ指定部４７は、映像データ取得部４３において取得された映像音声データの全部または一部区間を利用者が指定する。利用者の操作により指定する区間を取得する場合には、例えばマウスやリモコンといったデバイスを用いたものが考えられるが、その他の方法を用いてもよい。映像音声データを再生表示しておき、ユーザが映像音声データを確認しながら手動で区間を指定するようにしてもよい。

音声データ分離部２５は、映像データ指定部４７において指定された映像音声データから音声データを分離して、キー生成部３１へ渡す。

キー生成部３１は、第１から第４の各実施形態のキー照合部３０において使用される音声パターンデータを、音声データ分離部２５から渡された音声データについて生成する。

キー関連データ入力部５６は、キーデータ管理部１０において検索キーとして管理されるもののうち、例えば図２に示すような音声パターンデータ以外のキー関連データを外部入力する。

なお、キー関連データ入力部５６は、映像データ指定部４７において指定された映像音声データの区間に対応するキー関連データを、映像データ取得部４３に入力される映像音声データと対応付けて管理している外部のシステムから取得してもよい。例えば、指定された映像音声データに対応するタイトル名や指定された区間に対応するチャプタ名などをＥＰＧやメタデータから取得してもよい。

キーデータ管理部１０は、キー生成部３１において生成された音声パターンデータ及びキー関連データ入力部５６において入力されたキー関連データを管理する。

［第６の実施形態］
本発明の第６の実施形態に係る音声処理装置について図１４に基づいて説明する。

本実施形態では、第１〜第４の実施形態のキーデータ管理部３０において検索キーとして記録されているキーを生成する音声処理装置について説明する。本実施形態と第５の実施形態の異なる点は、第５の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。

図１４は、本実施形態に係る音声処理装置の構成を示すものである。

図１４に示す音声処理装置は、音声データ取得部２３、音声データ指定部２７、キー生成部３１、キー関連データ入力部５６及びキーデータ管理部１０を備えている。

音声データ取得部２３は、外部のデジタルマイクロホン、デジタル放送等の受信チューナー、その他のデジタル機器から入力される音声データを取得し、音声データ指定部２７へ渡す。また、外部のマイクロホン、放送受信チューナー、その他の機器から入力されるアナログ音声信号を取得し、デジタル音声データに変換した後、音声データ指定部２７へ渡してもよい。

音声データ指定部２７は、音声データ取得部２３において取得された音声データの全部または一部区間を指定する。利用者の操作により指定する区間を取得する場合には、例えばマウスやリモコンといったデバイスを用いたものが考えられるが、その他の方法を用いてもよい。音声データを再生しておき、ユーザが音声データを確認しながら手動で区間を指定するようにしてもよい。

キー生成部３１は、第１から第４の各実施形態のキー照合部３０において使用される音声パターンデータを、音声データ指定部２７から渡された音声データについて生成する。

キー関連データ入力部５６は、キーデータ管理部１０において検索キーとして管理されるもののうち、例えば図９に示すような音声パターンデータ以外のキー関連データを外部入力する。

なお、キー関連データ入力部５６は、音声データ指定部２７において指定された音声データの区間に対応するキー関連データを、音声データ取得部２３に入力される音声データと対応付けて管理している外部のシステムから取得してもよい。例えば、指定された音声データに対応するタイトル名や指定された区間に対応するチャプタ名などをＥＰＧやメタデータから取得してもよい。

キーデータ管理部１０は、キー生成部３１において生成された音声パターンデータ及びキー関連データ入力部５６において入力されたキー関連データを管理する。

［第７の実施形態］
本発明の第７の実施形態に係る映像音声処理装置について図１５に基づいて説明する。

本実施形態では、第１〜第４の実施形態のキーデータ管理部３０において検索キーとして記録されているキーを生成する映像音声処理装置について説明する。本実施形態と第５の実施形態の異なる点は、指定された映像音声データに対応するタイトル名や指定された区間に対応するチャプタ名があれば、それらのキー関連データを利用する点である。

図１５は、本実施形態に係る映像音声処理装置の構成を示すものである。

図１５に示す映像音声処理装置は、記録媒体９０、映像データ取得部４８、映像データ指定部４７、音声データ分離部２５、キー生成部３１、キー関連データ取得部５５及びキーデータ管理部１０を備えている。

記録媒体９０には、予め映像音声データまたは映像音声信号が記録されている。また、記録媒体９０には、映像音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。

映像データ取得部４８は、記録媒体９０に記録されている映像音声データを読み出して取得し、映像データ指定部４７へ渡す。また、アナログ映像音声信号を読み出して取得し、デジタル映像音声データに変換した後、映像データ指定部４７へ渡してもよい。

映像データ指定部４７は、映像データ取得部４８において取得された映像音声データの全部または一部区間を指定する。利用者の操作により指定する区間を取得する場合には、例えばマウスやリモコンといったデバイスを用いたものが考えられるが、その他の方法を用いてもよい。映像音声データを再生表示しておき、ユーザが映像音声データを確認しながら始終端の位置を指定するようにしてもよい。また、チャプタのサムネイル画像一覧等からチャプタを選択し、そのチャプタ全体を指定された区間と見なしてもよい。

音声データ分離部２５は、映像データ指定部４７において指定された映像音声データから音声データを分離して、キー生成部３１へ渡す。

キー生成部３１は、第１から第４の各実施形態のキー照合部３０において使用される音声パターンデータを、音声データ分離部２５から渡された音声データについて生成する。

キー関連データ取得部５５は、映像データ指定部４７において指定された映像音声データの区間に対応するキー関連データを記録媒体９０から取り出す。例えば、指定された映像音声データに対応するタイトル名や指定された区間に対応するチャプタ名があれば、それらのキー関連データが取り出される。また、以前の検索結果に対応する区間が指定され、その検索結果のキーデータが保存されている場合は、図２のようなキー関連データが取り出される。なお、第５の実施形態におけるキー関連データ入力部５６と同様にキー関連データを外部入力してもよい。

タイトル名としては、一つの番組を表す名前だけでなく、複数の番組のグループを表すもの（番組グループ）であったり、シリーズ化された番組を表すもの（番組シリーズ）であってもよい。また、タイトルやチャプタの名前でなく、識別子や、ジャンルなどの属性値をキー関連データとして利用してもよい。その他、ＥＰＧや番組メタデータとして与えられる情報があれば、それを利用してもよい。

キーデータ管理部１０は、キー生成部３１において生成された音声パターンデータ及びキー関連データ取得部５５において取得されたキー関連データを管理する。

［第８の実施形態］
本発明の第８の実施形態に係る音声処理装置について図１６に基づいて説明する。

本実施形態では、第１〜第４の実施形態のキーデータ管理部３０において検索キーとして記録されているキーを生成する音声処理装置について説明する。本実施形態と第６の実施形態の異なる点は、指定された音声データに対応するタイトル名や指定された区間に対応するチャプタ名があれば、それらのキー関連データを利用する点である。

図１６は、本実施形態に係る音声処理装置の構成を示すものである。

図１６に示す音声処理装置は、記録媒体９０、音声データ取得部２８、音声データ指定部２７、キー生成部３１、キー関連データ取得部５５及びキーデータ管理部１０を備えている。

記録媒体９０には、予め音声データまたは音声信号あるいは映像音声信号が記録されている。また、記録媒体９０には、音声データのタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。

音声データ取得部２８は、記録媒体９０に記録されている音声データを読み出して取得し、音声データ指定部２７へ渡す。なお、記録媒体９０に記録されているアナログ音声信号を読み出して取得するか、記録媒体９０に記録されているアナログ映像音声信号を読み出して音声信号のみ取得し、デジタル音声データに変換した後、音声データ指定部２７へ渡してもよい。

音声データ指定部２７は、音声データ取得部２８において取得された音声データの全部または一部区間を指定する。利用者の操作により指定する区間を取得する場合には、例えばマウスやリモコンといったデバイスを用いたものが考えられるが、その他の方法を用いてもよい。音声データを再生しておき、ユーザが音声データを確認しながら始終端の位置を指定するようにしてもよい。また、チャプタ名一覧等からチャプタを選択し、そのチャプタ全体を指定された区間と見なしてもよい。

キー生成部３１は、第１から第４の各実施形態のキー照合部３０において使用される音声パターンデータを、音声データ指定部２７から渡された音声データについて生成する。

キー関連データ取得部５５は、音声データ指定部２７において指定された音声データの区間に対応するキー関連データを記録媒体９０から取り出す。例えば、指定された音声データに対応するタイトル名や指定された区間に対応するチャプタ名があれば、それらのキー関連データが取り出される。また、以前の検索結果に対応する区間が指定され、その検索結果のキーデータが保存されている場合は、図９のようなキー関連データが取り出される。なお、第６の実施形態におけるキー関連データ入力部５６と同様にキー関連データを外部入力してもよい。

タイトル名としては、一つの番組を表す名前だけでなく、複数の番組のグループを表すもの（番組グループ）であったり、シリーズ化された番組を表すもの（番組シリーズ）であってもよい。また、タイトルやチャプタの名前でなく、識別子や、ジャンルなどの属性値をキー関連データとして利用してもよい。その他、ＥＰＧや番組メタデータとして与えられる情報があれば、それを利用してもよい。

キーデータ管理部１０は、キー生成部３１において生成された音声パターンデータ及びキー関連データ取得部５５において取得されたキー関連データを管理する。

［変更例］
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

例えば、上記各実施形態では、支援データとしてメタデータを用いたが、再生、編集、検索が支援できる情報であれば、他のデータ形式でもよい。

本発明は、例えば、ＨＤＤ（ハードディスク）レコーダー、ＤＶＤレコーダー、パソコン、ＨＤＤ内蔵型音楽再生装置に好適である。

本発明に係る映像音声処理装置の第１の実施形態の構成を示すブロック図である。 第１の実施形態のキーデータ管理部１０において、検索キーと共に管理されている情報の例を示す表である。 第１の実施形態の照合結果記録指示部３５において、属性に対応付けて規定されている動作の例を示す表である。 第１の実施形態の照合結果記録指示部３５において、「ＢＧＭ属性１」の規定の動作に従って記録された情報の例を示す模式図である。 第１の実施形態の照合結果記録指示部３５において、「オープニング音楽属性１」の規定の動作に従って記録された情報の例を示す模式図である。 第１の実施形態の照合結果記録指示部３５において、「コーナー音楽属性１」の規定の動作に従って記録された情報の例を示す模式図である。 第１の実施形態の照合結果記録指示部３５において、「競技開始イベント属性１」の規定の動作に従って記録された情報の例を示す模式図である。 本発明に係る音声処理装置の第２の実施形態の構成を示すブロック図である。 第２の実施形態のキーデータ管理部１０において、検索キーと共に管理されている情報の例を示す表である。 第２の実施形態の照合結果記録指示部３５において、属性に対応付けて規定されている動作の例を示す表である。 本発明に係る映像音声処理装置の第３の実施形態の構成を示すブロック図である。 本発明に係る音声処理装置の第４の実施形態の構成を示すブロック図である。 本発明に係る映像音声処理装置の第５の実施形態の構成を示すブロック図である。 本発明に係る音声処理装置の第６の実施形態の構成を示すブロック図である。 本発明に係る映像音声処理装置の第７の実施形態の構成を示すブロック図である。 本発明に係る音声処理装置の第８の実施形態の構成を示すブロック図である。 キー照合部において検索キーＡが検出されたときに、照合結果記録指示部によって記録媒体に記録されるメタデータの例を示す図である。 キー照合部において検索キーＢが検出されたときに、照合結果記録指示部によって記録媒体に記録されるメタデータの例を示す図である。

符号の説明

１０ キーデータ管理部
２１ 音声データ取得部
２２ 音声データ分離部
２３ 音声データ取得部
２５ 音声データ分離部
２６ 音声データ取得部
２７ 音声データ指定部
２８ 音声データ取得部
３０ キー照合部
３１ キー生成部
３５ 照合結果記録指示部
４１ 映像データ取得部
４３ 映像データ取得部
４６ 映像データ取得部
４７ 映像データ指定部
４８ 映像データ取得部
５５ キー関連データ取得部
５６ キー関連データ入力部
９０ 記録媒体

Claims (20)

1. 利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、
   前記利用対象データから音声データのみを利用対象音声データとして取得する音声データ取得手段と、
   照合のための検索キーとなる音声パターンデータを含むキーデータを記録するキーデータ管理手段と、
   前記利用対象音声データと前記音声パターンデータとを所定の条件に基づいて照合し、前記利用対象音声データにおける前記所定の条件を満たす位置を表す照合結果情報を出力するキー照合手段と、
   前記出力された照合結果情報を前記支援データとして記録媒体に記録させる照合結果記録指示手段と、
   を具備する
   ことを特徴とする情報処理装置。
2. 前記利用対象データが映像音声データであり、
   前記音声データ取得手段は、前記利用対象データから音声データを分離して、この音声データを利用対象音声データとして取得する
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記音声データ取得手段は、前記利用対象データを外部から取得すると共に、前記記録媒体に記録させる
   ことを特徴とする請求項１記載の情報処理装置。
4. 前記音声データ取得手段は、前記利用対象データを前記記録媒体から読み出す
   ことを特徴とする請求項１記載の情報処理装置。
5. 前記キーデータは、前記再生、編集、検索時の動作に関連する支援データの生成方法を示す動作属性情報を含み、
   前記照合結果記録指示手段は、前記照合結果情報と前記動作属性情報に従って前記記録媒体に前記支援データを記録する
   ことを特徴とする請求項１から請求項４の中で少なくとも一項に記載の情報処理装置。
6. 前記動作属性情報は、前記利用対象データ中であって、かつ、前記照合結果において検出された区間の始終端の位置を基準として、マーカを記録する位置を決定する記録位置決定方法を規定したものであり、
   前記照合結果記録指示手段は、前記照合結果情報と前記動作属性情報に従って、前記利用対象データ中の位置を決定し、前記決定された位置に前記マーカを支援データとして記録する
   ことを特徴とする請求項５記載の情報処理装置。
7. 前記動作属性情報は、前記利用対象データ中であって、かつ、前記照合結果において検出された区間の始終端の位置を基準として、前記利用対象データを分割する位置を決定する記録位置決定方法を規定したものであり、
   前記照合結果記録指示手段は、前記照合結果情報と前記動作属性情報に従って、前記利用対象データ中の位置を決定し、前記決定された位置で前記利用対象データを分割するという情報を支援データとして記録する
   ことを特徴とする請求項５記載の情報処理装置。
8. 前記動作属性情報は、前記照合結果に関連するテキスト情報の生成方法を規定し、
   前記照合結果記録指示手段は、前記規定されたテキスト情報の生成方法に従って、照合結果に関連するテキスト情報を生成し、前記記録された各マーカまたは前記分割された各部分と関連付けて、前記生成されたテキスト情報を支援データとして記録する
   ことを特徴とする請求項６または請求項７記載の情報処理装置。
9. 前記キーデータは、前記キーデータに関連するテキスト情報を含み、
   前記照合結果記録指示手段は、前記規定されたテキスト情報の生成方法に従って、前記キーデータに関連するテキスト情報に基づいて前記照合結果に関連するテキスト情報を生成する
   ことを特徴とする請求項８記載の情報処理装置。
10. 前記キーデータは、前記キーデータに関連するテキスト情報を含み、
    前記照合結果記録指示手段は、予め規定されたテキスト情報の生成方法に従って、前記キーデータに関連するテキスト情報に基づいて前記照合結果に関連するテキスト情報を生成し、
    前記照合結果に関連するテキスト情報を支援データとして記録する
    ことを特徴とする請求項１から請求項５の中で少なくとも一項に記載の情報処理装置。
11. 前記照合結果に関連するテキスト情報は、前記キーデータに関連するテキスト情報と前記照合結果の時刻情報とから生成される
    ことを特徴とする請求項９または請求項１０に記載の情報処理装置。
12. 前記検索キーとなる音声データを取得するキー音声データ取得手段と、
    前記取得されたキー音声データの全部または一部区間を指定するためのキー指定情報を入力するキー指定情報入力手段と、
    前記入力されたキー指定情報に基づいて、キー音声データの全部または一部区間を切り出して音声パターンデータを作成するキー生成手段と、
    前記入力されたキー指定情報に基づいて、前記キーデータに関連するテキスト情報を取得するキーデータ取得手段と、
    をさらに具備し、
    前記キーデータは、前記キーデータ取得手段において取得されたキーデータに関連するテキスト情報を含む
    ことを特徴とする請求項９から請求項１１の中で少なくとも一項に記載の情報処理装置。
13. 前記キーデータは、前記キーデータに関連するタイトル情報を含み、
    前記照合結果記録指示手段は、前記照合結果に含まれる一連の利用対象データ全体に関連するタイトル情報を支援データとして記録する
    ことを特徴とする請求項１から請求項１２の中で少なくとも一項に記載の情報処理装置。
14. 前記検索キーとなる音声データを取得するキー音声データ取得手段と、
    前記取得されたキー音声データの全部または一部区間を指定するためのキー指定情報を入力するキー指定情報入力手段と、
    前記入力されたキー指定情報に基づいて、キー音声データの全部または一部区間を切り出して音声パターンデータを作成するキー生成手段と、
    前記入力されたキー指定情報に基づいて、前記キーデータに関連するタイトル情報を取得するキーデータ取得手段をさらに具備し、
    前記キーデータは、前記キーデータ取得手段において取得されたキーデータに関連するタイトル情報を含む
    ことを特徴とする請求項１３記載の情報処理装置。
15. 前記キーデータは、前記キーデータに関連するタイトルの保存方法に関する情報を含み、
    前記照合結果記録指示手段は、前記キーデータに含まれるタイトルの保存方法に関する情報に従って、前記照合結果に含まれる一連の利用対象データ全体を記録する
    ことを特徴とする請求項１から請求項１４の中で少なくとも一項に記載の情報処理装置。
16. 前記キーデータは、前記キー照合における照合方法を指定する照合方法情報を含み、
    前記キー照合手段は、前記指定された照合方法情報に従って前記照合を行う
    ことを特徴とする請求項１から請求項１５の中で少なくとも一項に記載の情報処理装置。
17. 前記キーデータは、前記キー照合における照合時のパラメータを指定する照合パラメータ情報を含み、
    前記キー照合手段は、前記指定された照合パラメータ情報に従って、前記照合を行う
    ことを特徴とする請求項１から請求項１６の中で少なくとも一項に記載の情報処理装置。
18. 前記支援データが、メタデータである
    ことを特徴とする請求項１から請求項１７の中で少なくとも一項に記載の情報処理装置。
19. 利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理方法において、
    前記利用対象データから音声データのみを利用対象音声データとして取得する音声データ取得ステップと、
    前記再生、編集、または、検索のための検索キーとなる音声パターンデータを含むキーデータを記録するキーデータ管理ステップと、
    前記利用対象音声データと前記音声パターンデータとを所定の条件に基づいて照合し、前記利用対象音声データにおける前記所定の条件を満たす位置を表す照合結果情報を出力するキー照合ステップと、
    前記出力された照合結果情報を前記支援データとして記録媒体に記録させる照合結果記録指示ステップと、
    を具備する
    ことを特徴とする情報処理方法。
20. 利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理方法をコンピュータによって実現するプログラムにおいて、
    前記利用対象データから音声データのみを利用対象音声データとして取得する音声データ取得機能と、
    前記再生、編集、または、検索のための検索キーとなる音声パターンデータを含むキーデータを記録するキーデータ管理機能と、
    前記利用対象音声データと前記音声パターンデータとを所定の条件に基づいて照合し、前記利用対象音声データにおける前記所定の条件を満たす位置を表す照合結果情報を出力するキー照合機能と、
    前記出力された照合結果情報を前記支援データとして記録媒体に記録させる照合結果記録指示機能と、
    を実現する
    ことを特徴とする情報処理方法のプログラム。
    

Images