JP2006054517A - 情報提示装置、方法及びプログラム - Google Patents

Abstract

【課題】放送された映像又は音声のうちユーザが所望した映像又は音声を簡単かつ確実に視聴又は聴取させる。
【解決手段】受信された放送中の特定チャンネルのＴＶ信号は信号処理部16により圧縮動画ファイルへ変換されてＨＤＤ20の動画ファイルＤＢ22に順次記録される。また、受信されたＴＶ信号に含まれる音声信号は音声認識部18へ順次入力され、音声認識によって文字データへ変換されて文字データＤＢ23に順次記録される。文字データ検索部34は検索語句が文字列として含まれる文字データを検索し、該当する文字データが抽出された場合には、再生候補動画の情報として、該当する文字データに対応する音声信号が入力された時点での日時と受信チャンネルをディスプレイ30に表示する。上記情報を動画再生部28へ通知することで、検索語句が音声として発せられるタイミングを中心として前後数分間の動画像がディスプレイ30及びスピーカ32で再生される。
【選択図】図１

Description

本発明は情報提示装置、方法及びプログラムに係り、特に、放送された映像信号又は音声信号を記録する機能を備えた情報提示装置、該情報提示装置に適用可能な情報提示方法、及び、コンピュータを前記情報提示装置として機能させるための情報提示プログラムに関する。

テレビジョン放送番組録画装置（ＶＴＲ）によって所望のテレビジョン番組の録画を予約する場合、所望の番組の録画予約に必要な各種の情報、すなわちチャンネルや日付（月日）、録画開始時刻及び録画終了時刻をキー入力する方法が一般的であるが、この方法は操作が煩雑な上に入力誤りが生じ易いという欠点があり、従来より種々の録画予約方法が提案されている。

例えば特許文献１には、放送番組に関する番組情報を取得すると共に、利用者の過去の番組視聴についての視聴履歴情報を取得し、番組情報と視聴履歴情報から利用者が視聴する番組の嗜好を学習し、当該学習の結果を用いて将来放送予定の番組の中から視聴可能性のある番組を検索し、視聴可能性が高く重複のない録画候補となる番組を決定し、その録画候補を自動的に録画予約することで、煩雑な録画予約操作を行うことなく、利用者の嗜好に合致した番組を自動的に録画予約する技術が開示されている。

また、上記に関連して特許文献２には、キーボードやマイクロフォンを介してキー音源を事前に登録しておき、テレビジョン信号に含まれる音声信号とキー音源とを比較し、音声信号とキー音源との一致を示す検出信号に基づいて音声信号記憶部及び映像信号記憶部を制御することで、番組のハイライトシーン等の所望の場面のみを自動的に抜き出して記録するダイジェスト録画を実現する技術が開示されている。

また特許文献３には、入力映像信号を記憶すると共に、映像信号から検索に適した形の特徴値（例えば代表フレームを４分割した個々のブロック毎の色平均値や、音声信号に対して音声解析を行うことで得られたテキストデータから選出したキーワード）を算出して映像特徴値記憶装置に記録し、算出した特徴値が既に記録されている別の映像信号の特徴値の何れかと類似していた場合には、これらの特徴値が関連していることを示す映像関連情報を映像関連情報記憶装置に記録しておき、映像信号を視聴しているユーザから関連映像の視聴が要求された場合に、関連映像信号を再生表示装置で表示する技術が開示されている。
特開平１１−３４５４４６号公報 特開平０９−００９１９９号公報 特開２０００−３０８０１７号公報

しかしながら、ユーザが視聴を所望する番組は常に一定の基準（ユーザの嗜好等）に従って選択されるとは限らず、ユーザが、通常時のユーザの嗜好等とは合致しない番組の視聴を所望する場合もある。例えば或る日突発的に大きな事件が発生した場合、漏れ伝わる断片的な報道で当該事件の発生を知り興味を持ったユーザは、その日の帰宅後に前記事件の詳細を確認するために、前記事件を報道している番組の視聴を所望する可能性が高い。これに対して特許文献１及び特許文献２に記載の技術は、何れも事前に設定した情報（視聴履歴情報から学習した結果又は事前に登録したキー音源）に基づいて録画予約を行う技術であるので、上記のようにユーザが視聴したい番組が突発的に発生したとしても、当該番組の録画を予約することは不可能である。

また、ユーザが外出先から録画予約を設定することを可能とする技術も提案されているが、例えば上記のように大きな事件が発生した等の場合には、発生した事件を詳細に報道する特別番組が急遽放送される等のように番組編成が変更され、事前に配布された番組表とは異なる番組編成で放送がされることも多い。そして、変更後の番組編成をユーザが知ることは容易ではないので、上記技術を利用したとしても、番組編成の変更を伴って急遽放送される番組が正しく録画されるように録画予約を設定することは困難である。

また、特許文献３に記載の技術は、或る映像を視聴しているユーザが視聴中の映像に関連する映像の視聴を所望した場合には、ユーザが視聴を所望している映像を提示することができるが、ユーザが所望している映像が視聴中の映像と関連の無い映像であった場合、或いはユーザが映像を視聴していない状態では、ユーザが所望している映像を提示することは不可能である。このため、或る映像を視聴したい場合に、まず視聴したい映像又はそれに関連する映像をユーザ自身が探し出して視聴する必要があり、使い勝手が非常に悪いという問題がある。また、例えば大きな事件の発生を知ったときに、或るユーザはその事件を報道している番組の視聴を所望する一方、別のユーザの関心事はその事件に関係する企業の株価の動向である等、ユーザが視聴を所望する映像はユーザによって大きく相違する。これに対して特許文献３に記載の技術では、自動的に算出した特徴値に基づいて映像信号同士の関連を判断しているので、関連映像として検索・抽出した映像の中にユーザが視聴を所望している映像が含まれていなかったり、これを回避するために検索条件を緩くすると（例えば個々の映像の特徴値としてより多数のキーワードを記録しておき、何れか１つのキーワードが特徴値として記録されている映像を検索する等）、ユーザが視聴を所望している映像と異なる多数の映像が関連映像として検索・抽出されるという問題が生ずる。

また、上記の問題はテレビジョン放送等で放送された映像を視聴する場合に限られるものではなく、ラジオ放送等で放送された音声を聴取する場合にも同様に生じ得る問題である。

本発明は上記事実を考慮して成されたもので、放送された映像又は音声のうちユーザが所望した映像又は音声を簡単かつ確実に視聴又は聴取させることが可能な情報提示装置、情報提示方法及び情報提示プログラムを得ることが目的である。

上記目的を達成するために請求項１記載の発明に係る情報提示装置は、放送中の映像信号又は音声信号を受信する受信手段と、前記受信手段によって受信された映像信号又は音声信号を記録媒体へ記録する記録手段と、前記受信された映像信号に含まれる音声信号又は前記受信された音声信号を音声認識によって文字情報へ変換する音声認識手段と、前記音声認識手段による音声認識によって得られた文字情報を、前記記録媒体に記録された映像信号又は音声信号と対応付ける情報と共に記録媒体へ記録する文字情報記録手段と、前記文字情報記録手段によって記録媒体に記録された文字情報に対し、ユーザによって指定された検索対象語句を検索する検索手段と、前記検索手段による検索によって検索対象語句が存在する文字情報が抽出された場合に、該文字情報に対応する映像信号又は音声信号を記録媒体から読み出して再生することで提示するか、又は、前記検索対象語句が存在する文字情報に対応する映像信号又は音声信号を特定可能な情報を提示する提示手段と、を含んで構成されている。

請求項１記載の発明では、放送中の映像信号又は音声信号が受信手段によって受信され、受信手段によって受信された映像信号又は音声信号は記録手段によって記録媒体へ記録される。なお、放送中の映像信号としては、例えばアナログ又はデジタルのテレビジョン信号を適用することができる。この場合、記録手段は、例えば請求項２に記載したように、受信手段によって受信されたテレビジョン信号を、圧縮されたデジタルの映像信号へ変換した後に記録媒体へ記録するように構成することが好ましい。圧縮された映像信号を記録することで、記録媒体へ記録する映像信号のデータ量を削減することができ、映像信号を記録するために必要な記録媒体の容量を節減することができる。また、放送中の音声信号としては、例えばラジオ信号を適用することもできる。この場合も、受信されたラジオ信号を圧縮されたデジタルの音声信号へ変換した後に記録媒体へ記録するように記録手段を構成することが好ましい。また、記録媒体としては、例えばハードディスク等のランダムアクセス可能な記録媒体が好ましい。

また、請求項１記載の発明は、受信手段によって受信された映像信号に含まれる音声信号又は受信手段によって受信された音声信号を音声認識によって文字情報へ変換する音声認識手段を備えており、音声認識手段による音声認識によって得られた文字情報は、文字情報記録手段により、記録手段によって記録媒体に記録された映像信号又は音声信号と対応付ける情報と共に記録媒体へ記録される。従って、受信手段によって映像信号が受信される場合には、受信された映像信号（及び該映像信号に含まれる音声信号）と該映像信号に含まれる音声信号が表す音声を文字化した文字情報が対応付けられて記録媒体へ各々記録され、受信手段によって音声信号が受信される場合には、受信された音声信号と該音声信号が表す音声を文字化した文字情報が対応付けられて記録媒体へ各々記録されることになる。

そして請求項１記載の発明では、文字情報記録手段によって記録媒体に記録された文字情報に対し、ユーザによって指定された検索対象語句を検索手段が検索し、提示手段は、検索手段による検索によって検索対象語句が存在する文字情報が抽出された場合に、該文字情報に対応する映像信号又は音声信号を記録媒体から読み出して再生することで提示するか、又は、検索対象語句が存在する文字情報に対応する映像信号又は音声信号を特定可能な情報を提示する。これにより、検索対象語句として特定の語句をユーザが指定すれば、前記特定の語句を発声する音声が含まれる映像信号又は音声信号が検索され、該当する映像信号又は音声信号が存在していた場合にはこの映像信号又は音声信号が抽出されることで、該当する映像信号又は音声信号の再生又は該当する映像信号又は音声信号を特定可能な情報の提示が行われることになる。

このように、請求項１記載の発明では、受信手段が受信した映像信号及び音声信号を、通常時のユーザの嗜好を表す情報等に基づく記録対象の絞り込み等を行うことなく記録媒体に記録しておき、音声認識によって得られた文字情報に対して指定された検索対象語句を検索することで、指定された検索対象語句を発声する音声が含まれる映像信号又は音声信号を検索するので、ユーザが突発的に新たな事柄に興味を持った等の場合にも、興味を持った事柄に関連する語句を検索対象語句として指定すれば、前記検索対象語句を発声する音声が含まれる映像信号又は音声信号が放送されていれば、該映像信号又は音声信号の再生又は該映像信号又は音声信号を特定可能な情報が提示されることで、ユーザが前記映像信号又は音声信号を視聴することができる。

また、例えば大きな事件の発生を知ったときに、ユーザがその事件を報道している番組の視聴又は聴取を所望している場合には、検索対象語句として発生した事件を特定する語句を指定すれば、発生した事件を報道している番組の映像信号又は音声信号のみが検索され、ユーザの関心事がその事件に関係する企業の株価の動向である場合には、検索対象語句として前記企業の名称を指定すれば、前記企業について報道している番組の映像信号又は音声信号のみが確実に検索される。従って、ユーザが視聴又は聴取を所望している映像信号又は音声信号が検索されなかったり、逆に、ユーザが視聴又は聴取を所望していない映像信号又は音声信号を含む大量の映像信号又は音声信号が検索されることも回避することができる。従って、請求項１記載の発明によれば、放送された映像又は音声のうちユーザが所望した映像又は音声を簡単かつ確実に視聴又は聴取させることが可能となる。

なお、請求項１記載の発明において、例えば請求項３に記載したように、文字情報を映像信号又は音声信号と対応付ける情報を、文字情報へ変換される前の音声信号が放送された日時を表す日時情報を含んで構成し、提示手段をは、検索対象語句が存在する文字情報が抽出された場合に、抽出された文字情報と共に記録されている日時情報に基づき、当該日時情報が表す日時に放送された映像信号又は音声信号を再生・提示するか、又は、対応する映像信号又は音声信号を特定可能な情報として、抽出された文字情報と共に記録されている日時情報を含む情報を提示するように構成することができる。

また、請求項１記載の発明において、ユーザが視聴する可能性のある映像又は音声のチャンネルが複数存在している等の場合には、例えば請求項４に記載したように、受信手段、記録手段、音声認識手段及び文字情報記録手段を、記録対象の映像信号又は音声信号のチャンネル数と同数設け、検索手段は、個々の文字情報記録手段によって記録媒体に記録された文字情報に対し、指定された検索対象語句を各々検索するように構成すればよい。これにより、記録対象の映像信号又は音声信号（例えばユーザが視聴する可能性のある全てのチャンネルの映像又は音声）が記録媒体に各々記録されると共に、記録された映像信号に含まれる音声信号又は記録された音声信号が音声認識によって文字情報へ各々変換され、得られた文字情報が記録された映像信号又は音声信号と対応付ける情報と共に記録媒体へ各々記録される。そして検索手段は、個々の文字情報記録手段によって記録媒体に記録された文字情報に対し、指定された検索対象語句を各々検索するので、記録された複数のチャンネルの映像信号又は音声信号を検索対象として、指定された検索対象語句を発声する音声が含まれる映像信号又は音声信号が全て抽出される。従って、請求項４記載の発明によれば、記録対象の複数のチャンネルで放送された映像又は音声のうち、検索対象語句を発声する音声が含まれる全ての映像又は音声を、ユーザに視聴させることが可能となる。

なお、請求項１記載の発明において、ユーザによる検索対象語句の指定は、例えば請求項５に記載したように、ユーザが入力手段を介して検索対象語句を入力するか、又はユーザが検索対象語句を発声することによって行うことができる。ユーザが検索対象語句を発声することで検索対象語句が指定される場合、検索手段による検索対象語句の検索は、ユーザが検索対象語句を発声したときの音声に対して音声認識を行い、該音声認識によって得られる文字情報を用いることで実現できる。

請求項６記載の発明に係る情報提示方法は、放送中の映像信号又は音声信号を受信し、受信した映像信号又は音声信号を記録媒体へ記録すると共に、前記受信した映像信号に含まれる音声信号又は前記受信した音声信号を音声認識によって文字情報へ変換し、音声認識によって得られた文字情報を前記記録媒体に記録された映像信号又は音声信号と対応付ける情報と共に記録媒体へ記録しておき、記録媒体に記録した文字情報に対し、ユーザによって指定された検索対象語句を検索し、前記検索によって検索対象語句が存在する文字情報が抽出された場合に、該文字情報に対応する映像信号又は音声信号を、記録媒体から読み出して再生することで提示するか、又は、前記検索対象語句が存在する文字情報に対応する映像信号又は音声信号を特定するための情報を提示するので、請求項１記載の発明と同様に、放送された映像又は音声のうちユーザが所望した映像又は音声を簡単かつ確実に視聴又は聴取させることが可能となる。

請求項７記載の発明に係る情報提示プログラムは、放送中の映像信号又は音声信号を受信する受信手段及び記録媒体を備えたコンピュータを、前記受信手段によって受信された映像信号又は音声信号を記録媒体へ記録する記録手段、前記受信された映像信号に含まれる音声信号又は前記受信された音声信号を音声認識によって文字情報へ変換する音声認識手段、前記音声認識手段による音声認識によって得られた文字情報を、前記記録媒体に記録された映像信号又は音声信号と対応付ける情報と共に記録媒体へ記録する文字情報記録手段、前記文字情報記録手段によって記録媒体に記録された文字情報に対し、ユーザによって指定された検索対象語句を検索する検索手段、及び、前記検索手段による検索によって検索対象語句が存在する文字情報が抽出された場合に、該文字情報に対応する映像信号又は音声信号を記録媒体から読み出して再生することで提示するか、又は、前記検索対象語句が存在する文字情報に対応する映像信号又は音声信号を特定可能な情報を提示する提示手段として機能させる。

請求項７記載の発明に係るプログラムは、上記の受信手段及び記録媒体を備えたコンピュータを、上記の記録手段、音声認識手段、文字情報記録手段、検索手段及び提示手段として機能させるためのプログラムであるので、上記コンピュータが請求項７記載の発明に係る情報提示プログラムを実行することにより、上記コンピュータが請求項１に記載の情報提示装置として機能することになり、請求項１記載の発明と同様に、放送された映像又は音声のうちユーザが所望した映像又は音声を簡単かつ確実に視聴又は聴取させることが可能となる。

以上説明したように本発明は、放送中の映像信号又は音声信号を受信して記録媒体へ記録すると共に、受信した映像信号に含まれる音声信号又は受信した音声信号を音声認識によって文字情報へ変換し、得られた文字情報を記録した映像信号又は音声信号と対応付ける情報と共に記録媒体へ記録し、記録した文字情報に対しユーザによって指定された検索対象語句を検索し、検索対象語句が存在する文字情報が抽出された場合に、該文字情報に対応する映像信号又は音声信号を記録媒体から読み出して再生することで提示するか、又は、検索対象語句が存在する文字情報に対応する映像信号又は音声信号を特定可能な情報を提示するようにしたので、放送された映像又は音声のうちユーザが所望した映像又は音声を簡単かつ確実に視聴又は聴取させることが可能となる、という優れた効果を有する。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１には本実施形態に係る動画記録再生装置１０が示されている。なお、動画記録再生装置１０は本発明に係る情報提示装置（詳しくは請求項２に記載の情報提示装置）に対応しており、例えばユーザの自宅等に設置される。

動画記録再生装置１０はアンテナ１２に接続されたＴＶチューナ１４を備えている。アンテナ１２によってＶＨＦやＵＨＦ等のＴＶ周波数帯域の電磁波が受信されることで、アンテナ１２からＴＶチューナ１４へはＴＶ周波数帯域の信号が入力され、ＴＶチューナ１４は入力されたＴＶ周波数帯域の信号に基づき、予め設定されたチャンネルの放送局が放送しているアナログのテレビジョン信号（ＴＶ信号）の復調を行う。また、ＴＶチューナ１４はタイマを内蔵しており、予め設定されたチャンネルのＴＶ信号の復調（受信）を、予め設定された受信開始時刻から受信終了時刻の間継続する。アンテナ１２及びＴＶチューナ１４は本発明に係る受信手段に対応している。ＴＶチューナ１４には信号処理部１６と音声認識部１８が接続されており、ＴＶチューナ１４で復調されたＴＶ信号は信号処理部１６へ順次入力され、復調されたＴＶ信号に含まれる映像信号と音声信号のうち音声信号のみは音声認識部１８へ順次入力される。

信号処理部１６は、ＴＶチューナ１４から順次入力されるアナログのＴＶ信号をデジタルの動画像データへ変換し、変換後の動画像データを一定時間毎（例えば１時間等）に分割すると共に、分割した動画像データを所定の動画像圧縮形式（例えばmpeg1/2/4等）に従って各々圧縮（エンコード）することで、所定の動画像圧縮形式に準拠した圧縮動画ファイルを順次生成する。なお、上記の圧縮動画ファイルは、動画像（映像及び音声）の再生時に映像と音声の同期をとることを目的として、圧縮動画ファイルの生成時に、圧縮画像ファイルを先頭から再生した際の経過時間を表す時刻情報（タイムスタンプ）が、信号処理部１６によって圧縮画像ファイルに含まれる圧縮映像データ及び圧縮音声データに順次挿入される。また信号処理部１６は、個々の圧縮動画ファイルのヘッダに、ＴＶチューナ１４から個々の圧縮動画ファイルに対応するＴＶ信号の入力が開始された時点での日時を表す受信開始日時情報を設定する。

なお、圧縮映像データ及び圧縮音声データへ圧縮される前のＴＶ信号の放送日時（受信日時）は、圧縮映像データ及び圧縮音声データに順次挿入された時刻情報と、圧縮動画ファイルのヘッダに設定された受信開始日時情報から判断可能であり、これらの情報は請求項３に記載の日時情報に対応している。

またＴＶチューナ１４は、信号処理部１６へのＴＶ信号出力時に、出力するＴＶ信号のチャンネルを表す受信チャンネル情報も同時に出力する。信号処理部１６は、ＴＶチューナ１４から入力された受信チャンネル情報を、生成した圧縮動画ファイルのヘッダに設定する。従って、ＴＶチューナ１４から入力された信号（情報）に基づき、例として図２（Ａ）に示すようなフォーマットの圧縮動画ファイルが信号処理部１６によって生成されることになる。信号処理部１６はＨＤＤ（ハードディスクドライブ）２０に接続されており、このＨＤＤ２０には上記の圧縮動画ファイルを蓄積記憶するための動画ファイルＤＢ（データベース）２２が記憶されている。信号処理部１６は生成した圧縮画像ファイルをＨＤＤ２０の動画ファイルＤＢ２２に順次蓄積記憶させる。従って、ＨＤＤ２０の動画ファイルＤＢ２２には、ＴＶチューナ１４によって受信されたＴＶ信号が、通常時のユーザの嗜好を表す情報等に基づく記録対象の絞り込み等を行うことなく、圧縮動画ファイルとして動画ファイルＤＢ２２に記録されることになる。このように、信号処理部１６は本発明に係る記録手段に対応している。

一方、音声認識部１８には音声辞書２６が接続されており、この音声辞書２６には、音声認識処理時にパターンマッチングのために参照されるパターンデータが多数記憶されている。音声認識部１８は、ＴＶチューナ１４から順次入力される音声信号をデジタルの音声データへ変換した後に、変換によって得られた音声データから１文節又は１単語分の音声データを順に取り出し、取り出した音声データを音声辞書２６に記憶されているパターンデータと照合（パターンマッチング）することで音声認識を行い、認識結果を表す文字データ（テキストデータ）を生成することを繰り返す。これにより、入力された音声信号が表す音声の内容を表す文字データが得られることになる。音声認識部１８は、上記の音声認識によって得られた文字データを、一定時間分の音声データに対応する文字データ毎に分割し、分割した個々の文字データに、対応する音声信号がＴＶチューナ１４から入力された日時（≒ＴＶチューナ１４による受信日時）を表す日時情報を付加する。

また音声認識部１８は、音声認識処理によって得られた文字データ及び該文字データに付加した日時情報を、一定時間分（例えば１時間分）の情報を単位としてファイル化し、個々のファイル（文字データファイル）のヘッダに、ＴＶチューナ１４から個々の文字データファイルに対応する音声信号の入力が開始された時点での日時を表す受信開始日時情報を設定する。なお、文字データの生成に用いられた音声データに対応する音声信号を含むＴＶ信号の放送日時（受信日時）は、文字データに付加された日時情報から判断可能であり、この日時情報も請求項３に記載の日時情報に対応している。

またＴＶチューナ１４は、音声認識部１８へ音声信号を出力する際に、出力する音声信号に対応するＴＶ信号のチャンネルを表す受信チャンネル情報も同時に出力し、音声認識部１８へはＴＶチューナ１４から入力された受信チャンネルを個々の文字データファイルのヘッダに設定する。従って、ＴＶチューナ１４から入力された信号（情報）に基づき、例として図２（Ｂ）に示すようなフォーマットの文字データファイルが音声認識部１８によって生成されることになる。音声認識部１８はＨＤＤ２０に接続されており、このＨＤＤ２０には上記の文字データファイルを蓄積記憶するための文字データＤＢ２４が記憶されている。音声認識部１８は生成した文字データファイルをＨＤＤ２０の文字データＤＢ２４に順次蓄積記憶させる。このように、音声認識部１８は本発明に係る音声認識手段及び文字情報記録手段に各々対応している。

なお、ＨＤＤ２０に蓄積記憶された圧縮動画ファイル及び文字データファイルの消去に関しては、例えばＨＤＤ２０が満杯になった時点で、ヘッダに設定されている受信開始日時情報が表す受信開始日時が古い情報から順に消去する等、任意の方式で行うことができる。

また、ＨＤＤ２０には動画再生部２８と文字データ検索部３４が接続されている。動画再生部２８には画像（映像）を再生表示するためのディスプレイ３０と、音声を再生出力するためのスピーカ３２が接続されている。なお、ディスプレイ３０及びスピーカ３２としては、例えばテレビ受像機に内蔵されているディスプレイとスピーカを適用することができる。動画再生部２８は、再生対象の圧縮動画ファイルを指定する情報が入力されると、指定された再生対象の圧縮動画ファイルをＨＤＤ２０の動画ファイルＤＢ２２から読み出して順にデコードし、デコードによって得られた映像データが表す映像をディスプレイ３０に表示させると共に、デコードによって得られた音声データが表す音声をスピーカ３２から出力させることで、再生対象の圧縮動画ファイルが表す動画像（映像及び音声）を再生させる。

一方、文字データ検索部３４はマイクロコンピュータ等を含んで構成されており、後述する検索・再生処理を行う。また、文字データ検索部３４にはユーザが各種の情報を入力するための指定部３６が接続されている。指定部３６はキーボード等の情報入力手段を含んで構成されており、ＴＶチューナ１４の受信開始時刻及び受信終了時刻、受信チャンネル、文字データ検索部３４による検索における検索語句等の情報がユーザによって入力される。

次に本実施形態の作用として、文字データ検索部３４で実行される検索・再生処理について、図３のフローチャートを参照しながら説明する。なお、この検索・再生処理は、例えばユーザが特定の事柄に興味を持ち、興味を持った事柄に触れているＴＶ番組の有無を確認すると共に、該当するＴＶ番組があれば視聴することを所望している等の場合に、指定部３６を介してＴＶ番組（圧縮動画ファイル）の検索がユーザから指示されることで実行される。

ステップ１００では、検索語句及び検索対象の日時範囲の入力を要請するメッセージを動画再生部２８によってディスプレイ３０へ表示させることで、ユーザに対して検索語句の入力を要請する。次のステップ１０２では検索語句が入力されたか否か判定し、判定が肯定される迄ステップ１０２の判定を繰り返す。ディスプレイ３０に表示されたメッセージを確認することで検索語句及び検索対象の日時範囲の入力が要請されていることを認識したユーザは、指定部３６を介して検索語句（例えば自身が興味を持った事柄に関連する語句）を入力する。なお、例えば動画ファイルＤＢ２２に蓄積記憶されている全ての圧縮動画ファイルを検索対象とする等の場合は、検索対象の日時範囲の指定を省略することも可能である。

ユーザによって検索語句及び検索対象の日時範囲が入力されると、ステップ１０２の判定が肯定されてステップ１０４へ移行し、文字データＤＢ２４から単一の文字データファイルを取り出し、取り出した文字データファイルのヘッダに設定されている受信開始日時に基づき、取り出した文字データファイルに対応するＴＶ信号の放送日時範囲が指定された検索対象の日時範囲内か否かを判定し、放送日時範囲が検索対象の日時範囲から外れていた場合には、次の文字データファイルを取り出すことを繰り返すことで、指定された検索対象の日時範囲内に放送された番組に対応する文字データファイルを検索し、該当する文字データファイルの取り込みを行う。ステップ１０６では取り込んだ文字データファイルに含まれる全ての文字データを検索語句と比較し、次のステップ１０８において、取り込んだ文字データファイルの中に、検索語句が文字列として含まれている文字データが存在していたか否か判定する。

ステップ１０８の判定が否定された場合は何ら処理を行うことなくステップ１１２へ移行するが、判定が肯定された場合はステップ１１０へ移行し、再生候補動画の情報として、先にステップ１０４で取り込んだ文字データファイルのヘッダに設定されている受信チャンネル情報と、検索語句と一致した文字データ（検索語句が文字列として含まれている文字データ）に付加されている日時情報（図２（Ｂ）参照）を、動画再生部２８によってディスプレイ３０に表示させた後にステップ１１２へ移行する。なお、検索語句が文字列として含まれている文字データ（例えば検索語句を中心として前後数行程度）も併せてディスプレイ３０に表示させるようにしてもよい。
ステップ１１２では、先のステップ１０４において、文字データＤＢ２４に蓄積記憶されている全ての文字データファイルのヘッダを参照したか否かを判断することで、検索語句の検索が完了したか否か判定する。判定が否定された場合はステップ１０４に戻り、ステップ１１２の判定が肯定される迄ステップ１０４〜１１２を繰り返す。これにより、検索語句が文字列として含まれている文字データが複数抽出された場合には、抽出された個々の文字データに対応する再生候補動画の情報がディスプレイ３０に一覧表示されることになる。

ステップ１１２の判定が肯定されると、検索終了を通知するメッセージを動画再生部２８によってディスプレイ３０に表示させた後にステップ１１４へ移行し、上述したステップ１０４〜１１２の処理により、検索語句が文字列として含まれている文字データが抽出されたか否か判定する。判定が否定された場合はステップ１２２へ移行し、指定された検索語句を発声する音声が含まれるＴＶ番組（動画像）が存在していない旨をユーザへ通知するエラーメッセージを動画再生部２８によってディスプレイ３０に表示させた後に、検索・再生処理を終了する。

一方、検索語句が文字列として含まれている文字データが抽出された場合には、ステップ１１４の判定が肯定されてステップ１１６へ移行し、ディスプレイ３０に情報が表示されている再生候補動画が選択されて再生が指示されたか否か判定する。判定が否定された場合はステップ１２０へ移行し、検索・再生処理の終了が指示されたか否か判定する。判定が否定された場合はステップ１１６に戻り、何れかの判定が肯定される迄ステップ１１６、１２０を繰り返す。検索終了を通知するメッセージがディスプレイ３０に表示された時点で再生候補動画の情報がディスプレイ３０に表示されていた場合、ユーザは指定部３６を介し、ディスプレイ３０に表示されている再生候補動画の情報のうち、視聴したい再生候補動画の情報を再生対象として選択し、選択した再生対象動画の再生を指示する。再生対象動画が選択されて再生が指示されると、ステップ１１６の判定が肯定されてステップ１１８へ移行し、再生対象として選択された再生候補動画の情報（受信チャンネル情報、文字データに付加されていた日時情報）を再生対象動画の情報として動画再生部２８へ通知することで、動画再生部２８に対して再生対象動画の再生を指示した後に、ステップ１２０へ移行する。

これにより、動画再生部２８は、まず動画ファイルＤＢ２２から単一の圧縮動画ファイルを取り出し、取り出した圧縮動画ファイルのヘッダに設定されている受信開始日時に基づき、文字データ検索部３４から通知された日時情報が表す日時（視聴時に検索語句が音声として発声されるＴＶ信号を受信した日時）が、取り出した圧縮動画ファイルに対応するＴＶ信号が放送された日時範囲内に含まれており、かつ取り出した圧縮動画ファイルのヘッダに設定されている受信チャンネルが通知された受信チャンネルに一致しているか否かを判定し、取り出した圧縮動画ファイルが上記の条件に合致しない場合は次の圧縮動画ファイルを取り出すことを繰り返すことで、上記の条件に合致する圧縮動画ファイルを検索する。上記の条件に合致する再生対象の圧縮動画ファイルが抽出されると、次に動画再生部２８は、通知された日時情報に基づいて、再生対象の圧縮動画ファイルに対して動画像として再生する範囲を決定する。この再生範囲は、例えば通知された日時情報が表すタイミング（再生対象の圧縮動画ファイルが表す動画像の再生時に検索語句が音声として発せられるタイミング）を中心として前後数分間の動画像のみが再生されるように決定することができる。

続いて動画再生部２８は、再生対象の圧縮動画ファイルに含まれる圧縮映像データ及び圧縮音声データに挿入された時刻情報を順次参照し、参照した時刻情報が表す時刻が決定した再生範囲内に相当する時刻であれば、対応する圧縮映像データ又は圧縮音声データを抽出することを繰り返すことで、決定した再生範囲内に相当する圧縮映像データ及び圧縮音声データのみを抽出する。そして動画再生部２８は、抽出した圧縮映像データ及び圧縮音声データを時系列に並べて順にデコードし、デコードによって得られた映像データが表す映像をディスプレイ３０に表示させると共に、デコードによって得られた音声データが表す音声をスピーカ３２から出力させることで、決定した再生範囲内に相当する動画像（映像及び音声）を再生させる。これにより、ユーザは、放送されたＴＶ番組のうち、興味を持った事柄に触れている部分のみを動画像として視聴することができる。このように、文字データ検索部３４は本発明に係る検索手段に対応しており、文字データ検索部３４及び動画再生部２８は、本発明に係る提示手段に対応している。

また、再生候補動画の情報がディスプレイ３０に複数表示されていた場合には、上記の視聴を終えたユーザが他の再生候補動画の情報を選択して再生を指示すれば、ステップ１１６の判定が再度肯定され、選択された再生候補動画に対して上述の処理が繰り返されることで、放送されたＴＶ番組のうち興味を持った事柄に触れている別の部分を動画像として視聴することができる。

このように、本実施形態によれば、ユーザが突発的に新たな事柄に興味を持った等の場合にも、興味を持った事柄に関連する語句を検索語句として指定すれば、指定した検索語句を発声する音声が含まれるＴＶ番組が放送されていれば、このＴＶ番組をユーザが簡単かつ確実に視聴することができる。また、本実施形態では、放送されたＴＶ番組のうち、指定された検索語句が音声として発せられるタイミングを中心として前後数分間の動画像のみが再生されるので、検索語句が音声として発せられている箇所をユーザが探したりする手間も省け、視聴に要する時間を節約することができる。また、本実施形態では、音声信号を音声認識によって文字データに変換し、変換後の文字データに対して指定された検索語句の検索を行うことで、指定された検索語句が音声として発せられた動画像（ＴＶ番組）の検索を行うので、番組表等を利用する場合と比較して、ユーザが興味を持った事柄に触れている動画像（ＴＶ番組）を確実に抽出・提示することができる。

なお、上記では指定された検索語句が音声として発せられるタイミングを中心として前後数分間の動画像のみを再生する例を説明したが、本発明はこれに限定されるものではなく、指定された検索語句が音声として発せられるＴＶ番組全体を再生するようにしてもよいし、動画像の再生範囲をユーザが任意に設定できるようにしてもよい。

また、上記では再生候補動画（指定された検索語句が音声として発せられる動画像）の情報として、受信チャンネル情報と日時情報をディスプレイ３０に表示させる例を説明したが、本発明はこれに限定されるものではなく、例えばインターネット上で公開されている電子番組表を参照する等により、番組名等の他の情報も取得・表示させるようにしてもよい。

また、本実施形態に係る動画記録再生装置１０は、例えばＨＤＤレコーダとパーソナル・コンピュータ（ＰＣ）で構成することができるが、これに限られるものではなく、例えば放送中の映像信号又は音声信号を受信する受信手段（例えばアンテナに接続されたＴＶチューナ）を内蔵したＰＣであれば、該ＰＣに所定のプログラムを実行させることで、本実施形態に係る動画記録再生装置１０として機能させることも可能である。この場合、上記所定のプログラムが請求項７に記載の情報提示プログラムに対応することになる。

更に、上記ではＴＶチューナ１４、信号処理部１６及び音声認識部１８が各々１個づつ設けられた構成を説明したが、これに限定されるものではなく、例として図４に示すように、上記のＴＶチューナ１４、信号処理部１６及び音声認識部１８から成る動画ファイル／文字データ生成・記録部４０を複数設け、個々の動画ファイル／文字データ生成・記録部４０で互いに異なるチャンネルのＴＶ信号について、受信・圧縮動画ファイルの生成及び記録・音声信号に対する音声認識及び文字データファイルの記録を並列に実行する構成を採用してもよい。この場合、文字データ検索部３４は指定された検索語句の検索を全チャンネルの文字データファイルに対して行うように構成すればよい。これにより、異なるチャンネルで同一時間帯に放送されたＴＶ番組が、ユーザが興味を持った事柄に各々触れていた等の場合にも、各ＴＶ番組を確実に抽出・提示することができる。

また、上記では本実施形態に係る動画記録再生装置１０がユーザの自宅に設置される例を説明したが、これに限定されるものではなく、動画記録再生装置１０をインターネット等のコンピュータ・ネットワークに直接接続するか、或いはサーバを介して接続し、ユーザからコンピュータ・ネットワーク経由で検索語句が指定されると、検索結果や再生が指示された動画像のデータをコンピュータ・ネットワーク経由でユーザへ送信するサービスを提供するようにしてもよい。特に図４の構成を採用した場合、装置が大規模かつ高価となる可能性もあるが、上記のようにコンピュータ・ネットワークを利用することで、単一の動画記録再生装置１０を複数のユーザが利用可能となるので好適である。

また、上記では圧縮動画ファイルの圧縮映像データ及び圧縮音声データに、圧縮画像ファイルを先頭から再生した際の経過時間を表す時刻情報（タイムスタンプ）が順次挿入される態様を説明したが、本発明はこれに限定されるものではなく、圧縮映像データ及び圧縮音声データへ圧縮される前のＴＶ信号の放送日時（受信日時）を表す日時情報を順次挿入するようにしてもよい。この態様において、上記の日時情報は請求項３に記載の日時情報に対応している。

更に、上記では検索結果（指定された検索語句が音声として発声される再生候補動画の情報）を表示した後に、再生候補動画が選択されて再生が指示されると選択された動画像の再生を行う例を説明したが、これに限定されるものではなく、検索結果の表示（提示）のみを行う態様も本発明に含まれる。

また、上記では無線放送で送信されるアナログのＴＶ信号を受信する例を説明したが、本発明はこれに限定されるものではなく、有線放送のＴＶ信号を受信する場合、デジタルのＴＶ信号を受信する場合、ＴＶ放送に代えてラジオ放送の信号を受信する場合（この場合、ＴＶチューナ１４に代えてＡＭ／ＦＭチューナ等を設ければよい）にも適用可能であることは言うまでもない。

本実施形態に係る動画記録再生装置の概略構成を示すブロック図である。 （Ａ）は圧縮動画像ファイルのフォーマット、（Ｂ）は文字データファイルのフォーマットの一例を各々示すイメージ図である。 文字データ検索部の作用を説明する検索・再生処理の内容を示すフローチャートである。 動画記録再生装置の概略構成の他の例を示すブロック図である。

符号の説明

１０ 動画記録再生装置
１２ アンテナ
１４ ＴＶチューナ
１６ 信号処理部
１８ 音声認識部
２０ ＨＤＤ
２８ 動画再生部
３０ ディスプレイ
３２ スピーカ
３４ 文字データ検索部
３８ 動画再生部
４０ 動画ファイル／文字データ生成・記録部

Claims (7)

1. 放送中の映像信号又は音声信号を受信する受信手段と、
   前記受信手段によって受信された映像信号又は音声信号を記録媒体へ記録する記録手段と、
   前記受信された映像信号に含まれる音声信号又は前記受信された音声信号を音声認識によって文字情報へ変換する音声認識手段と、
   前記音声認識手段による音声認識によって得られた文字情報を、前記記録媒体に記録された映像信号又は音声信号と対応付ける情報と共に記録媒体へ記録する文字情報記録手段と、
   前記文字情報記録手段によって記録媒体に記録された文字情報に対し、ユーザによって指定された検索対象語句を検索する検索手段と、
   前記検索手段による検索によって検索対象語句が存在する文字情報が抽出された場合に、該文字情報に対応する映像信号又は音声信号を記録媒体から読み出して再生することで提示するか、又は、前記検索対象語句が存在する文字情報に対応する映像信号又は音声信号を特定可能な情報を提示する提示手段と、
   を含む情報提示装置。
2. 前記放送中の映像信号はアナログ又はデジタルのテレビジョン信号であり、前記記録手段は、前記受信手段によって受信されたテレビジョン信号を、圧縮されたデジタルの映像信号へ変換した後に記録媒体へ記録することを特徴とする請求項１記載の情報提示装置。
3. 前記文字情報を映像信号又は音声信号と対応付ける情報は、前記文字情報へ変換される前の音声信号が放送された日時を表す日時情報を含み、
   前記提示手段は、前記検索対象語句が存在する文字情報が抽出された場合に、抽出された文字情報と共に記録されている日時情報に基づき、当該日時情報が表す日時に放送された映像信号又は音声信号を再生・提示するか、又は、前記対応する映像信号又は音声信号を特定可能な情報として、前記抽出された文字情報と共に記録されている日時情報を含む情報を提示することを特徴とする請求項１記載の情報提示装置。
4. 前記受信手段、前記記録手段、前記音声認識手段及び前記文字情報記録手段は、記録対象の映像信号又は音声信号のチャンネル数と同数設けられており、前記検索手段は、個々の文字情報記録手段によって記録媒体に記録された文字情報に対し、指定された検索対象語句を各々検索することを特徴とする請求項１記載の情報提示装置。
5. 前記検索対象語句は、ユーザが入力手段を介して入力することで指定されるか、又はユーザが検索対象語句を発声することで指定されることを特徴とする請求項１記載の情報提示装置。
6. 放送中の映像信号又は音声信号を受信し、受信した映像信号又は音声信号を記録媒体へ記録すると共に、
   前記受信した映像信号に含まれる音声信号又は前記受信した音声信号を音声認識によって文字情報へ変換し、音声認識によって得られた文字情報を前記記録媒体に記録された映像信号又は音声信号と対応付ける情報と共に記録媒体へ記録しておき、
   記録媒体に記録した文字情報に対し、ユーザによって指定された検索対象語句を検索し、
   前記検索によって検索対象語句が存在する文字情報が抽出された場合に、該文字情報に対応する映像信号又は音声信号を、記録媒体から読み出して再生することで提示するか、又は、前記検索対象語句が存在する文字情報に対応する映像信号又は音声信号を特定するための情報を提示する
   情報提示方法。
7. 放送中の映像信号又は音声信号を受信する受信手段及び記録媒体を備えたコンピュータを、
   前記受信手段によって受信された映像信号又は音声信号を記録媒体へ記録する記録手段、
   前記受信された映像信号に含まれる音声信号又は前記受信された音声信号を音声認識によって文字情報へ変換する音声認識手段、
   前記音声認識手段による音声認識によって得られた文字情報を、前記記録媒体に記録された映像信号又は音声信号と対応付ける情報と共に記録媒体へ記録する文字情報記録手段、
   前記文字情報記録手段によって記録媒体に記録された文字情報に対し、ユーザによって指定された検索対象語句を検索する検索手段、
   及び、前記検索手段による検索によって検索対象語句が存在する文字情報が抽出された場合に、該文字情報に対応する映像信号又は音声信号を記録媒体から読み出して再生することで提示するか、又は、前記検索対象語句が存在する文字情報に対応する映像信号又は音声信号を特定可能な情報を提示する提示手段
   として機能させる情報提示プログラム。

Images