以下、図面を参照して、本発明の実施形態について説明する。
(第1の実施形態)
図1に示すように、第1の実施形態に係る音声認識装置は、認識対象入力部101、Webページ取得部102、Webページ解析部103、解析パラメータ記憶部104、抽出テキスト処理部105、音声認識パラメータ制御部106、コンテンツ取得部107、コンテンツ解析部108、コンテンツ分離部109、音声入力部110、音声認識部111及び認識結果出力部112を有する。
認識対象入力部101は、音声認識の対象となる音声データを含むコンテンツを提供するWebページの識別子をWebページ取得部102及びコンテンツ取得部107に入力する。Webページの識別子は、例えばURL(Uniform Resource Locator)またはURI(Uniform Resource Identifier)の形式で表現される。
Webページ取得部102は、認識対象入力部101からのWebページの識別子に従ってWebページを取得する。Webページ取得部102は、取得したWebページをWebページ解析部103に入力する。
Webページ解析部103は、Webページ取得部102からのWebページに基づいて解析を行う。具体的には、Webページ解析部103は、後述する解析パラメータを解析パラメータ記憶部104から取得し、この解析パラメータに従って解析を行う。Webページ解析部103は、この解析処理を通じて、音声認識の対象となる音声データの特徴(音響的特徴、言語的特徴など)を示すテキストを抽出する。Webページ解析部103は、抽出したテキストを抽出テキスト処理部105に入力する。
解析パラメータ記憶部104には、例えば図7に示す形式で解析パラメータが記憶される。図7の例では、解析パラメータ記憶部104は、Webページの識別子と、解析パラメータとを対応付けて記憶する。尚、図7の例では、特定のWebページの識別子に対して解析パラメータが対応付けられているが、全てのWebページの識別子または特定のWebページを除く全てのWebページの識別子に対して共通の解析パラメータが対応付けられてもよい。
図7の例では、解析パラメータは、絞り込み条件及びこの絞り込み条件の適用対象を含む。但し、一部または全部のWebページの識別子に関して、これらのパラメータが指定されなくてもよい。絞り込み条件とは、入力されたWebページに基づく解析を実施するか否かを判定するための条件である。絞り込み条件の適用対象とは、入力されたWebページにおいて絞り込み条件の充足の有無を判定するために参照される範囲である。例えば、Webページの識別子が「http://xxxx.ne.jp」であれば、Webページ解析部103はこのWebページのソースコードにおいて「<title>(.+)</title>」のカッコで示した範囲に文字列「ニュース」が含まれているか否かを判定する(701)。ここで、(.+)という記号は、UNIX(登録商標)または各種プログラミング言語で利用されているように、任意の文字の1個以上の出現(即ち、任意の文字列)を表す正規表現とする。Webページ解析部103は、絞り込み条件が充足されていればWebページに基づく解析を実施し、そうでなければ省略する。また、図7の例では、Webページの識別子「http://xxxx.ne.jp」に対して別の絞り込み条件も対応付けられている。従って、Webページ解析部103は、このWebページのソースコードにおいて「<genre>(.+)</genre)」のカッコで示した範囲に文字列「スポーツ」または文字列「バラエティ」が含まれているか否かを判定する(702)。更に、Webページの識別子が「http://yyyy.ne.jp」であれば、Webページ解析部103はこのWebページのソースコードにおいて「<title>(.+)</title>」のカッコで示した範囲に文字列「○○○○」が含まれているか否かを判定したり(703)、このWebページのソースコードにおいて「(.+)の番組です」のカッコで示した範囲に文字列「□□□□」が含まれているか否かを判定したり(704)する。尚、図7の例では、絞り込み条件適用対象は、HTMLの要素の配置位置またはタグなどのWebページのデータ構造によって規定されたり、特定の文字列によって規定されたりしているが、これらに限られない。
Webページ解析部103は、絞り込み条件が充足されていれば、入力されたWebページに基づく解析を実施する。具体的には、Webページ解析部103は、Webページの識別子に対応するテキスト解析対象からWebページの識別子に対応する抽出方法に従ってテキストを抽出する。テキスト解析対象は、入力されたWebページのソースコード(701,703)、別のWebページのソースコード(702,704)などである。入力されたWebページでなく別のWebページのソースコードを解析対象とすることの技術的意義は、入力されたWebページが別のWebページにおいて提供されるコンテンツを引用している場合などに、より詳細な情報を期待できることが挙げられる。テキスト抽出方法は、全文抽出(701)、特定の文字列を含む部分の抽出(703)、Webページのデータ構造によって規定される特定部分の抽出(702,704)など様々である。Webページ解析部103は、1つに限らず複数のテキストを抽出してもよい。
抽出テキスト処理部105は、Webページ解析部103からの抽出テキストを制御パラメータに変換する。制御パラメータは、後述する音声認識パラメータ制御部106によって音声認識パラメータの制御に使用される。音声認識パラメータは、例えば音響モデル、単語辞書または言語モデルを含む。音響モデルは、音素または音節の周波数パターンなどの音響的特徴を表す。単語辞書は、認識可能な単語の情報(表記情報、品詞情報など)を列挙する。言語モデルは、単語間の接続関係などの言語的特徴を表す。後述する音声認識部111は、音声データの音響的特徴と、認識候補の言語的特徴とに基づく音声認識を行って認識結果を生成する。
具体的には、抽出テキスト処理部105は、抽出テキストとWebページ解析部103から指定される抽出テキスト処理方法に従って処理を行う。典型的には、抽出テキスト処理部105は、抽出テキストに対して形態素解析を行う。抽出テキスト処理部105は、これら形態素解析結果を制御パラメータに変換し、音声認識パラメータ制御部106に入力する。例えば、抽出テキスト処理部105は、形態素解析結果から所定のキーワードを検出し、発言者、ジャンル、言語、方言またはシチュエーションなどの制御パラメータとして直接変換してもよいし、人名、地名などを扱うWebサービスを利用して制御パラメータに変換してもよいし、オントロジー辞書を利用して制御パラメータに変換してもよい。また、抽出テキスト処理部105は、コンテンツの再生時間と制御パラメータとの時間的な対応関係を取得できるならば、この制御パラメータを適用する時間的な範囲を指定してもよい。例えばコンテンツを提供するWebページにおいてこのコンテンツの再生時間と対応付けられてコメントなどが記載されていることがある。また、抽出テキスト処理部105は、キーワードの一部または全部を辞書パラメータに変換してもよい。音声認識パラメータ制御部106は、辞書パラメータに対応する単語の情報(表記情報、品詞情報など)を単語辞書に登録したり、この単語の認識優先度を高く設定したりする。更に、抽出テキスト処理部105は、抽出テキストを言語モデルパラメータに変換してもよい。言語モデルパラメータは、言語モデルの更新(学習)などに利用できる。尚、辞書パラメータ及び言語モデルパラメータは、制御パラメータの一部である。
制御パラメータを図8に例示する。制御パラメータは、例えば、発言者、ジャンル、言語、方言またはシチュエーションなどの様々な属性を含む。「制御パラメータ:発言者」は、「20代男性」、「20代女性」などの発言者の世代及び性別の一方または両方を示すものであってもよいし、特定の個人(アナウンサー、男優、女優など)を示すものであってもよい。「制御パラメータ:発言者」は、音響モデル、言語モデル、単語辞書などの選択に有効である。例えば、「制御パラメータ:発言者」が「女性」であれば、音声認識パラメータ制御部106は女性向けの音響モデルなどを選択することができる。また、「制御パラメータ:発言者」が特定の個人を示すものであれば、音声認識パラメータ制御部106がこの特定の個人に最適化された音響モデル、言語モデル、単語辞書などを選択することができる。
「制御パラメータ:ジャンル」は、「ニュース」、「ドラマ」、「バラエティ」などのコンテンツのジャンルを示す。「制御パラメータ:ジャンル」は、音響モデル、言語モデル、単語辞書などの選択に有効である。例えば、「制御パラメータ:ジャンル」が「ニュース」であれば、音声認識パラメータ制御部106はニュース向けの音響モデル、言語モデル及び単語辞書を選択することができる。
「制御パラメータ:言語」は、「日本語」、「英語」、「中国語」などの発言者の使用言語を示す。「制御パラメータ:言語」は、音響モデル、言語モデル、単語辞書などの選択に有効である。「制御パラメータ:方言」は、「標準語」、「関西弁」、「九州弁」など前述の「制御パラメータ:言語」のサブセットに相当する方言を示す。故に、通常、「制御パラメータ:方言」が判明すれば「制御パラメータ:言語」も判明するので、抽出テキスト処理部105は「制御パラメータ:方言」が判明すれば対応する制御「パラメータ:言語」を自動的に決定してもよい。
「制御パラメータ:シチュエーション」は、「電車内」、「静かな場所」、「自動車内」などの音声データの収録環境を示す。「制御パラメータ:シチュエーション」は、音響モデルの選択、ノイズキャンセリング処理の制御などに有効である。
図7にも例示されるように、テキスト解析対象、テキスト抽出方法及び抽出テキスト処理方法は、特定のWebページ識別子に対して1組に限らず複数組設けられてもよい(701)。例えば、抽出テキスト処理部105は先頭キーワードをWebページ解析部103に戻し、Webページ解析部103はこの先頭キーワードを含む検索式を生成してもよい。Webページ解析部103は、この検索式を所定の検索エンジンに送信し、検索された1つまたは複数のWebページに基づいてテキストを抽出してもよい。検索された複数のWebページに基づいてテキストを抽出する場合には、個別の優先度が抽出テキストに割り当てられてもよい。優先度は、各Webページの識別子によって決定されてもよいし、検索結果における各Webページのソート順序によって決定されてもよい。優先度は、制御パラメータの数が過剰である場合などに、有効とする制御パラメータの選定するために利用できる。また、図7に例示するように検索されたWebページの識別子に応じてテキスト抽出方法が更に切り替えられてもよい。また、先頭キーワードなどに基づいて検索されたWebページがWebページ解析部103に新たに入力されたWebページとして扱われてもよい。
音声認識パラメータ制御部106は、抽出テキスト処理部105からの制御パラメータに従って認識対象の音声データのための音声認識パラメータを制御する。例えば、音声認識パラメータ制御部106は、「制御パラメータ:言語」または「制御パラメータ:方言」に従って音響モデル、言語モデル及び単語辞書を粗く選択し、「制御パラメータ:発言者」または「制御パラメータ:ジャンル」に従って音響モデル、言語モデル及び単語辞書をより細かく選択することができる。また、音声認識パラメータ制御部106は、「制御パラメータ:シチュエーション」に従って音響モデルをより細かく選択したり、ノイズキャンセリング処理の制御などを行ったりしてもよい。音声認識パラメータ制御部106は、辞書パラメータが示す単語を単語辞書に登録したり、この単語の認識優先度を高く設定したりしてもよい。音声認識パラメータ制御部106は、言語モデルパラメータに従って言語モデルを更新してもよい。音声認識パラメータ制御部106は、言語モデルまたは単語辞書を一時的に更新してもよいし、継続的に更新してもよい。即ち、音声認識パラメータ制御部106は、言語モデルまたは単語辞書の更新を、対応する音声認識処理の終了後に無効としてもよいし有効としてもよい。言語モデルまたは単語辞書の更新が一時的であるか継続的であるかは予め定められてもよいし、制御パラメータによって指定されてもよいし、各言語モデルまたは各単語辞書について個別に定められてもよい。
コンテンツ取得部107は、認識対象入力部101からのWebページの識別子に対応するコンテンツを取得する。コンテンツ取得部107は、取得したコンテンツをコンテンツ解析部108に入力する。
コンテンツ解析部108は、コンテンツ取得部107からのコンテンツを解析する。コンテンツ解析部108は、コンテンツからメタデータ及びメディアデータを抽出し、このコンテンツをコンテンツ分離部109に入力する。
コンテンツ分離部109は、コンテンツ解析部108からのメディアデータに含まれる音声データを分離する。コンテンツ分離部109は、分離した音声データを音声入力部110に入力する。
音声入力部110は、コンテンツ分離部109からの音声データを音声認識部111に適した形式に変換する。音声入力部110は、変換済みの音声データを音声認識部111に入力する。
音声認識部111は、認識対象となる音声データに関して前述の音声認識パラメータ制御部106の処理が完了してから、制御された音声認識パラメータに従って音声入力部110からの音声データに対して音声認識を行う。音声認識部111は、認識結果を認識結果出力部112に入力する。
認識結果出力部112は、認識結果を出力する。例えば、認識結果出力部112は、認識結果を字幕として図示しない表示部にコンテンツの再生と同期して表示させてもよいし、認識結果をコンテンツのメタデータとして図示しない記憶媒体に保存してもよいし、認識結果をコンテンツのシーン検出に利用してもよい。
以上説明したように、第1の実施形態に係る音声認識装置は、コンテンツを提供するWebページに基づいて音声認識パラメータを制御する。従って、本実施形態に係る音声認識装置によれば、コンテンツのための音声認識パラメータを自動制御できる。
(第2の実施形態)
図2に示すように、第2の実施形態に係る音声認識装置は、図1の音声認識装置において音声認識パラメータ制御部106を音声認識パラメータ制御部206に、コンテンツ分離部109をコンテンツ分離部209に夫々置換し、映像入力部213及び画像認識部214を追加した構成に相当する。以下の説明では、図2において図1と同一部分には同一符号を付して示し、異なる部分を中心に述べる。
コンテンツ分離部209は、コンテンツ解析部108からのメディアデータに含まれる音声データ及び映像データを分離する。コンテンツ分離部209は、分離した音声データを音声入力部110に入力する。コンテンツ分離部209は、分離した映像データを映像入力部213に入力する。
映像入力部213は、コンテンツ分離部209からの映像データを画像認識部214に適した形式に変換する。映像入力部213は、変換済みの映像データを画像認識部214に入力する。尚、映像データ中の一部のフレームに対する画像認識を省略するために、映像入力部213は、コンテンツ分離部209からの映像データ中のフレームを間引いてもよい。
画像認識部214は、映像入力部213からの映像データに対して画像認識を行う。画像認識部214は、認識結果に基づいて前述の制御パラメータを生成し、音声認識パラメータ制御部206に入力する。具体的には、画像認識部214は映像中に表示されたテキスト(例えば、テロップ、番組出演者の名前など)を認識し、このテキストに形態素解析を行ってよい。画像認識部214は、これら形態素解析結果を制御パラメータに変換し、音声認識パラメータ制御部206に入力する。例えば、画像認識部214は、形態素解析結果から所定のキーワードを検出し、発言者、ジャンル、言語、方言またはシチュエーションなどの制御パラメータとして直接変換してもよいし、人名、地名などを扱うWebサービスを利用して制御パラメータに変換してもよいし、オントロジー辞書を利用して制御パラメータに変換してもよい。また、画像認識部214は、コンテンツの再生時間と制御パラメータとの時間的な対応関係を取得できるならば、制御パラメータを適用する時間的な範囲を指定してもよい。例えば、画像認識部214は、テキストが表示される再生時間をメタデータなどから取得できる。また、画像認識部214は、キーワードの一部または全部を辞書パラメータに変換してもよい。更に、画像認識部214は、認識結果を言語モデルパラメータに変換してもよい。言語モデルパラメータは、言語モデルの更新(学習)などに利用できる。
画像認識部214は、文字のサイズ、形状(フォント)、画面内位置、表示間隔などに応じて各単語の制御パラメータへの変換方法を切り替えたり、優先度を割り当てたりしてもよい。優先度は、制御パラメータの数が過剰である場合などに、有効とする制御パラメータの選定するために利用できる。例えば、文字のサイズが大きいほど高い優先度を割り当てたり、文字の形状が太字などの強調表示に相当するものであれば高い優先度を割り当てたり、特定の画面内位置(例えば、番組出演者の名前が表示されやすい画面下部など)に高い優先度を割り当てたりしてもよい。また、画像認識部214は、文字に限らず特定の放送局、番組、人物、企業、団体、商品、サービスなどを表す特定のマーク(ロゴ)を認識し、制御パラメータに変換してもよい。例えば、画像認識部214が、特定の番組を示すマークを認識すれば、その番組に対応する「制御パラメータ:ジャンル」、「制御パラメータ:言語」などに変換してもよい。
音声認識パラメータ制御部206は、抽出テキスト処理部105及び画像認識部214からの制御パラメータに従って認識対象の音声データのための音声認識パラメータを制御する。例えば、音声認識パラメータ制御部206は、「制御パラメータ:言語」または「制御パラメータ:方言」に従って音響モデル、言語モデル及び単語辞書を粗く選択し、「制御パラメータ:発言者」または「制御パラメータ:ジャンル」に従って音響モデル、言語モデル及び単語辞書をより細かく選択することができる。また、音声認識パラメータ制御部206は、「制御パラメータ:シチュエーション」に従って音響モデルをより細かく選択したり、ノイズキャンセリング処理の制御などを行ったりしてもよい。音声認識パラメータ制御部206は、辞書パラメータが示す単語を単語辞書に登録したり、この単語の認識優先度を高く設定したりしてもよい。音声認識パラメータ制御部206は、言語モデルパラメータに従って言語モデルを更新してもよい。音声認識パラメータ制御部206は、言語モデルまたは単語辞書を一時的に更新してもよいし、継続的に更新してもよい。
音声認識パラメータ制御部206は、入力される制御パラメータの一部を音声認識パラメータの制御に使用しなくてもよい。例えば、音声認識パラメータ制御部206は、抽出テキスト処理部105及び画像認識部214のいずれか一方からの制御パラメータを優先的に使用してもよいし、抽出テキスト処理部105及び画像認識部214を区別せずに(例えば各制御パラメータに割り当てられた優先度に従って)制御パラメータを選定してもよい。また、音声認識パラメータ制御部206は、抽出テキスト処理部105及び画像認識部214の両方から同一の制御パラメータが入力される場合に、この制御パラメータを優先的に使用してもよい。
以上説明したように、第2の実施形態に係る音声認識装置は、コンテンツを提供するWebページ及びコンテンツに含まれる映像データの画像認識結果に基づいて音声認識パラメータを制御する。従って、本実施形態に係る音声認識装置によれば、コンテンツのための音声認識パラメータを自動制御できる。
(第3の実施形態)
図3に示すように、第3の実施形態に係る音声認識装置は、図1の音声認識装置において音声認識パラメータ制御部106を音声認識パラメータ制御部306に、コンテンツ分離部109をコンテンツ分離部309に夫々置換し、分離テキスト入力部315及び分離テキスト処理部316を追加した構成に相当する。以下の説明では、図3において図1と同一部分には同一符号を付して示し、異なる部分を中心に述べる。
コンテンツ分離部309は、コンテンツ解析部108からのメディアデータに含まれる音声データ及びテキストデータを分離する。また、コンテンツ分離部309は、メタデータに含まれるテキストデータを分離してもよい。コンテンツ分離部309は、分離した音声データを音声入力部110に入力する。コンテンツ分離部309は、分離したテキストデータを分離テキスト入力部315に入力する。
分離テキスト入力部315は、コンテンツ分離部309からの分離テキストデータを分離テキスト処理部316に適した形式に変換する。分離テキスト入力部315は、変換済みの分離テキストデータを分離テキスト処理部316に入力する。
分離テキスト処理部316は、分離テキスト入力部315からの分離テキストに基づいて制御パラメータを生成し、音声認識パラメータ制御部306に入力する。具体的には、分離テキスト処理部316は、分離テキストに形態素解析を行ってよい。分離テキスト処理部316は、これら形態素解析結果を制御パラメータに変換し、音声認識パラメータ制御部306に入力する。例えば、分離テキスト処理部316は、形態素解析結果から所定のキーワードを検出し、発言者、ジャンル、言語、方言またはシチュエーションなどの制御パラメータとして直接変換してもよいし、人名、地名などを扱うWebサービスを利用して制御パラメータに変換してもよいし、オントロジー辞書を利用して制御パラメータに変換してもよい。また、分離テキスト処理部316は、コンテンツの再生時間と制御パラメータとの時間的な対応関係を取得できるならば、制御パラメータを適用する時間的な範囲を指定してもよい。また、分離テキスト処理部316は、キーワードの一部または全部を辞書パラメータに変換してもよい。更に、分離テキスト処理部316は、認識結果を言語モデルパラメータに変換してもよい。言語モデルパラメータは、言語モデルの更新(学習)などに利用できる。
音声認識パラメータ制御部306は、抽出テキスト処理部105及び分離テキスト処理部316からの制御パラメータに従って認識対象の音声データのための音声認識パラメータを制御する。例えば、音声認識パラメータ制御部306は、「制御パラメータ:言語」または「制御パラメータ:方言」に従って音響モデル、言語モデル及び単語辞書を粗く選択し、「制御パラメータ:発言者」または「制御パラメータ:ジャンル」に従って音響モデル、言語モデル及び単語辞書をより細かく選択することができる。また、音声認識パラメータ制御部306は、「制御パラメータ:シチュエーション」に従って音響モデルをより細かく選択したり、ノイズキャンセリング処理の制御などを行ったりしてもよい。音声認識パラメータ制御部306は、辞書パラメータが示す単語を単語辞書に登録したり、この単語の認識優先度を高く設定したりしてもよい。音声認識パラメータ制御部306は、言語モデルパラメータに従って言語モデルを更新してもよい。音声認識パラメータ制御部306は、言語モデルまたは単語辞書を一時的に更新してもよいし、継続的に更新してもよい。
音声認識パラメータ制御部306は、入力される制御パラメータの一部を音声認識パラメータの制御に使用しなくてもよい。例えば、音声認識パラメータ制御部306は、抽出テキスト処理部105及び分離テキスト処理部316のいずれか一方からの制御パラメータを優先的に使用してもよいし、抽出テキスト処理部105及び分離テキスト処理部316を区別せずに(例えば各制御パラメータに割り当てられた優先度に従って)制御パラメータを選定してもよい。また、音声認識パラメータ制御部306は、抽出テキスト処理部105及び分離テキスト処理部316の両方から同一の制御パラメータが入力される場合に、この制御パラメータを優先的に使用してもよい。
以上説明したように、第3の実施形態に係る音声認識装置は、コンテンツを提供するWebページ及びコンテンツに含まれるテキストデータに基づいて音声認識パラメータを制御する。従って、本実施形態に係る音声認識装置によれば、コンテンツのための音声認識パラメータを自動制御できる。
(第4の実施形態)
図4に示すように、第4の実施形態に係る音声認識装置は、図1の音声認識装置において音声認識パラメータ制御部106を音声認識パラメータ制御部406に、コンテンツ分離部109をコンテンツ分離部409に夫々置換し、図2の映像入力部213及び画像認識部214と図3の分離テキスト入力部315及び分離テキスト処理部316とを追加した構成に相当する。以下の説明では、図4において図1、図2または図3と同一部分には同一符号を付して示し、異なる部分を中心に述べる。
コンテンツ分離部409は、コンテンツ解析部108からのメディアデータに含まれる音声データ、映像データ及びテキストデータを分離する。また、コンテンツ分離部409は、メタデータに含まれるテキストデータを分離してもよい。コンテンツ分離部409は、分離した音声データを音声入力部110に入力する。コンテンツ分離部409は、分離した映像データを映像入力部213に入力する。コンテンツ分離部409は、分離したテキストデータを分離テキスト入力部315に入力する。
音声認識パラメータ制御部406は、抽出テキスト処理部105、画像認識部214及び分離テキスト処理部316からの制御パラメータに従って認識対象の音声データのための音声認識パラメータを制御する。例えば、音声認識パラメータ制御部406は、「制御パラメータ:言語」または「制御パラメータ:方言」に従って音響モデル、言語モデル及び単語辞書を粗く選択し、「制御パラメータ:発言者」または「制御パラメータ:ジャンル」に従って音響モデル、言語モデル及び単語辞書をより細かく選択することができる。また、音声認識パラメータ制御部406は、「制御パラメータ:シチュエーション」に従って音響モデルをより細かく選択したり、ノイズキャンセリング処理の制御などを行ったりしてもよい。音声認識パラメータ制御部406は、辞書パラメータが示す単語を単語辞書に登録したり、この単語の認識優先度を高く設定したりしてもよい。音声認識パラメータ制御部406は、言語モデルパラメータに従って言語モデルを更新してもよい。音声認識パラメータ制御部406は、言語モデルまたは単語辞書を一時的に更新してもよいし、継続的に更新してもよい。
音声認識パラメータ制御部406は、入力される制御パラメータの一部を音声認識パラメータの制御に使用しなくてもよい。例えば、音声認識パラメータ制御部406は、抽出テキスト処理部105、画像認識部214及び分離テキスト処理部316のうちの一部からの制御パラメータを優先的に使用してもよいし、抽出テキスト処理部105、画像認識部214及び分離テキスト処理部316を区別せずに(例えば各制御パラメータに割り当てられた優先度に従って)制御パラメータを選定してもよい。また、音声認識パラメータ制御部406は、抽出テキスト処理部105、画像認識部214及び分離テキスト処理部316のうち複数から同一の制御パラメータが入力される場合に、この制御パラメータを優先的に使用してもよい。
以上説明したように、第4の実施形態に係る音声認識装置は、コンテンツを提供するWebページ、コンテンツに含まれる映像データの画像認識結果及びコンテンツに含まれるテキストデータに基づいて音声認識パラメータを制御する。従って、本実施形態に係る音声認識装置によれば、コンテンツのための音声認識パラメータを自動制御できる。
(第5の実施形態)
図5に示すように、第5の実施形態に係る音声認識装置は、認識対象入力部501、コンテンツ取得部107、コンテンツ解析部108、コンテンツ分離部509、音声入力部510、第1の音声認識部517、映像入力部513、画像認識部514、分離テキスト入力部515、分離テキスト処理部516、Webページ取得部502、Webページ解析部103、解析パラメータ記憶部104、抽出テキスト処理部105、音声認識パラメータ制御部106、第2の音声認識部511及び認識結果出力部112を有する。以下の説明では、図5において図1と同一部分には同一符号を付して示し、異なる部分を中心に述べる。
認識対象入力部501は、音声認識の対象となる音声データを含むコンテンツを取得するための情報をコンテンツ取得部107に入力する。この情報は、コンテンツを提供するWebページの識別子に限らず、コンテンツが読み出される記憶媒体のアドレス情報、コンテンツが放送されるチャンネルなどであってもよい。
コンテンツ分離部509は、コンテンツ解析部108からのメディアデータに含まれる音声データ、映像データ及びテキストデータを分離する。また、コンテンツ分離部509は、メタデータに含まれるテキストデータを分離してもよい。コンテンツ分離部509は、分離した音声データを音声入力部510に入力する。コンテンツ分離部509は、分離した映像データを映像入力部513に入力する。コンテンツ分離部509は、分離したテキストデータを分離テキスト入力部515に入力する。
音声入力部510は、コンテンツ分離部509からの音声データを第1の音声認識部517及び第2の音声認識部511に適した形式に変換する。音声入力部510は、変換済みの音声データを第1の音声認識部517及び第2の音声認識部511に入力する。第1の音声認識部517は、音声入力部510からの音声データに対して音声認識を行う。第1の音声認識部517は、認識結果に含まれる単語またはWebページの識別子を抽出し、Webページ取得部502に入力する。
映像入力部513は、コンテンツ分離部509からの映像データを画像認識部514に適した形式に変換する。映像入力部513は、変換済みの映像データを画像認識部514に入力する。尚、映像データ中の一部のフレームに対して画像認識を省略するために、映像入力部513は、コンテンツ分離部509からの映像データ中のフレームを間引いてもよい。
画像認識部514は、映像入力部513からの映像データに対して画像認識を行う。画像認識部514は、認識結果から単語またはWebページの識別子を抽出し、Webページ取得部502に入力する。具体的には、画像認識部514は映像中に表示されたテキスト(例えば、テロップ、番組出演者の名前、コンテンツに関連するWebページのURLなど)を認識する。画像認識部514は、この認識結果に含まれる単語またはWebページの識別子をWebページ取得部502に入力する。
また、画像認識部514は、文字のサイズ、形状(フォント)、画面内位置、表示間隔などに応じて、単語またはWebページの識別子に優先度を割り当ててもよい。優先度は、単語またはWebページの識別子の数が過剰である場合などに、有効とする単語またはWebページの識別子の選定するために利用できる。例えば、文字のサイズが大きいほど高い優先度を割り当てたり、文字の形状が太字などの強調表示に相当するものであれば高い優先度を割り当てたり、特定の画面内位置(例えば、番組出演者の名前が表示されやすい画面下部など)に高い優先度を割り当てたりしてもよい。或いは、画像認識部514は、文字に限らず特定の放送局、番組、人物、企業、団体、商品、サービスなどを表す特定のマーク(ロゴ)を認識し、対応する単語または対応するWebページの識別子に変換してもよい。
分離テキスト入力部515は、コンテンツ分離部509からの分離テキストデータを分離テキスト処理部516に適した形式に変換する。分離テキスト入力部515は、変換済みの分離テキストデータを分離テキスト処理部516に入力する。
分離テキスト処理部516は、分離テキスト入力部515からの分離テキストから単語またはWebページの識別子を抽出し、Webページ取得部502に入力する。具体的には、分離テキスト処理部516は、分離テキストに含まれる単語またはWebページの識別子を抽出する。
Webページ取得部502は、第1の音声認識部517、画像認識部514及び分離テキスト処理部516からの単語またはWebページの識別子に基づいてコンテンツに関連するWebページを取得する。具体的には、Webページ取得部502は、単語が入力された場合には、この単語を使用して検索式を生成する。Webページ取得部502は、この検索式を所定の検索エンジンに送信し、検索結果からWebページを取得する。一方、Webページ取得部502は、Webページの識別子が入力された場合には、このWebページの識別子に従ってWebページを取得する。Webページ取得部502は、取得したWebページをWebページ解析部103に入力する。
また、Webページ取得部502は、検索式に含める単語の数、検索結果から取得するWebページの数、Webページの識別子に従って取得するWebページの数などを制限してもよい。例えば、Webページ取得部502は、第1の音声認識部517、画像認識部514及び分離テキスト処理部516のうち一部からの単語を優先的に検索式に含めてもよいし、これらのうち一部からのWebページの識別子を優先的に選択してWebページを取得してもよい。或いは、Webページ取得部502は、第1の音声認識部517、画像認識部514及び分離テキスト処理部516を区別せずに(例えば各単語に割り当てられた優先度に従って)各単語を重み付けして検索式を生成してもよい。ここで、重み付けすることとは、例えば、優先度の高い順に所定個数以下の単語を組み合わせること、優先度が所定値以上の単語を組み合わせることなどを意味する。また、Webページ取得部502は、第1の音声認識部517、画像認識部514及び分離テキスト処理部516のうち複数から同一の単語または同一のWebページの識別子が入力される場合に、この単語またはWebページの識別子を優先的に使用してもよい。
第2の音声認識部511は、認識対象となる音声データに関して前述の音声認識パラメータ制御部106の処理が完了してから、音声入力部510からの音声データに対して音声認識を行う。第2の音声認識部511は、認識結果を認識結果出力部112に入力する。尚、第1の音声認識部517及び第2の音声認識部511は、別個のモジュールであってもよいし、一体化されたモジュールであってもよい。
以上説明したように第5の実施形態に係る音声認識装置は、コンテンツから分離された音声データに対する音声認識結果、コンテンツから分離された映像データに対する画像認識結果、コンテンツから分離されたテキストなどに基づいてコンテンツに関連するWebページを取得し、この関連するWebページに基づいて音声認識パラメータを制御する。従って、本実施形態に係る音声認識装置によれば、コンテンツを提供するWebページが存在しない場合、不明な場合などにも、コンテンツのための音声認識パラメータを自動制御できる。
本実施形態に係る音声認識装置は、コンテンツに含まれる音声データ、映像データ及びテキストデータを利用してコンテンツに関連するWebページを検索している。しかしながら、必ずしもこれら全てを利用しなくても、本実施形態に係る音声認識装置と類似の効果を得ることができる。音声データを利用しない場合には、図5において第1の音声認識部517は除去されてよい。映像データを利用しない場合には、図5において映像入力部513及び画像認識部514は除去されてよい。テキストデータを利用しない場合には分離テキスト入力部515及び分離テキスト処理部516は除去されてよい。
(第6の実施形態)
図6に示すように、第6の実施形態に係る音声認識装置は、図5の認識対象入力部501を認識対象入力部601に、Webページ取得部102をWebページ取得部602に夫々置換した構成に相当する。以下の説明では、図6において図5と同一部分には同一符号を付して示し、異なる部分を中心に述べる。
認識対象入力部601は、音声認識の対象となる音声データを含むコンテンツを提供するWebページの識別子をWebページ取得部602及びコンテンツ取得部107に入力する。
Webページ取得部602は、認識対象入力部601からのWebページの識別子に従ってWebページを取得する。また、Webページ取得部602は、Webページ取得部502と同様に、第1の音声認識部517、画像認識部514及び分離テキスト処理部516からの単語またはWebページの識別子に基づいてコンテンツに関連するWebページを取得する。Webページ取得部602は、取得したWebページをWebページ解析部103に入力する。
一例として、Webページ取得部602は、最初に、認識対象入力部601からのWebページの識別子に従ってWebページを取得する。そして、Webページ取得部602は、このWebページに関して抽出テキスト処理部105が十分な制御パラメータを得られなければ、第1の音声認識部517、画像認識部514及び分離テキスト処理部516からの単語またはWebページの識別子に基づいてコンテンツに関連するWebページを追加的に取得してもよい。
別の例として、Webページ取得部602は、最初に、第1の音声認識部517、画像認識部514及び分離テキスト処理部516からの単語またはWebページの識別子に基づいてコンテンツに関連するWebページを取得する。そして、Webページ取得部602は、このWebページに関して抽出テキスト処理部105が十分な制御パラメータを得られなければ、認識対象入力部601からのWebページの識別子に従ってWebページを追加的に取得してもよい。
別の例として、Webページ取得部602は、認識対象入力部601からのWebページの識別子に従うWebページと、第1の音声認識部517、画像認識部514及び分離テキスト処理部516からの単語またはWebページの識別子に基づくコンテンツに関連するWebページとの両方を並列的に取得してもよい。
以上説明したように第6の実施形態に係る音声認識装置は、コンテンツを提供するWebページ及びコンテンツに関連するWebページの少なくとも一方に基づいて音声認識パラメータを制御する。従って、本実施形態に係る音声認識装置によれば、音声認識パラメータを自動制御できる。
本実施形態に係る音声認識装置は、コンテンツに含まれる音声データ、映像データ及びテキストデータを利用してコンテンツに関連するWebページを検索している。しかしながら、必ずしもこれら全てを利用しなくても、本実施形態に係る音声認識装置と類似の効果を得ることができる。音声データを利用しない場合には、図6において第1の音声認識部517は除去されてよい。映像データを利用しない場合には、図6において映像入力部513及び画像認識部514は除去されてよい。テキストデータを利用しない場合には分離テキスト入力部515及び分離テキスト処理部516は除去されてよい。
尚、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
例えば、上記各実施形態の処理を実現するプログラムを、コンピュータで読み取り可能な記憶媒体に格納して提供することも可能である。記憶媒体としては、磁気ディスク、光ディスク(CD−ROM、CD−R、DVD等)、光磁気ディスク(MO等)、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ(サーバ)上に格納し、ネットワーク経由でコンピュータ(クライアント)にダウンロードさせてもよい。