以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
即ち、本発明の一側面の情報処理装置は、テキスト情報を受信するテキスト情報受信手段(例えば、図1のメール取得部11)と、前記テキスト情報を形態素解析する受信テキスト形態素解析手段(例えば、図1の形態素解析部42)と、番組に含まれる字幕のテキスト情報を抽出する抽出手段(例えば、図1の字幕抽出部17)と、前記字幕のテキスト情報を形態素解析する字幕テキスト形態素解析手段(例えば、図1の形態素解析部62)と、前記受信テキスト形態素解析手段の受信テキスト形態素解析結果に含まれるキーワードと、前記字幕テキスト形態素解析手段の字幕テキスト形態素解析結果に含まれるキーワードとの類似度を計算する類似度計算手段(例えば、図1の類似度計算部71)と、前記類似度と所定の閾値とを比較する比較手段(例えば、図1の類似度判定部72)と、前記比較手段の比較結果に基づいて、前記類似度が前記所定の閾値よりも高い前記字幕テキスト形態素解析結果に含まれるキーワードを含むタイミングに対応して、前記番組を録画する録画手段(例えば、図1の番組録画部22)とを含む。
前記受信テキスト形態素解析結果に含まれるキーワード毎の出現回数および品詞に対応して重みを設定する受信テキスト形態素解析結果重み付与手段(例えば、図1のキーワードスコア付与部44)と、前記字幕テキスト形態素解析結果に含まれるキーワード毎の出現回数および品詞に対応して重みを設定する字幕テキスト形態素解析結果重み付与手段(例えば、図1のメール取得部63)とをさらに含ませるようにすることができ、前記類似度計算手段(例えば、図1の類似度計算部71)には、前記受信テキスト形態素解析結果に含まれるキーワード毎の重みと、前記字幕テキスト形態素解析結果に含まれるキーワード毎の重みとを用いて、前記受信テキスト形態素解析結果に含まれるキーワードと、前記字幕テキスト形態素解析結果に含まれるキーワードとの類似度を計算させるようにすることができる。
前記テキスト情報受信手段には、電子メールにより前記テキスト情報を受信させるようにすることができ、前記録画手段(例えば、図1の番組録画部22)が、前記比較手段の比較結果に基づいて、前記類似度が前記所定の閾値よりも高い前記字幕テキスト形態素解析結果に含まれるキーワードを含むタイミングに対応して、前記番組を録画するとき、前記録画手段により録画された放送番組および類似度の情報を、前記電子メールに対応付けてテーブルに登録する登録手段(例えば、図1のメールコンテンツテーブル管理部26)をさらに含ませるようにすることができる。
前記テーブルに登録された番組の情報を、前記類似度が上位となる番組から表示する表示手段(例えば、図1のタイトルリスト表示生成部96)をさらに含ませるようにすることができる。
前記表示手段により表示された、前記テーブルに登録された番組の情報を選択する選択手段(例えば、図1の操作部30)と、前記選択手段により選択された番組を再生する再生手段(例えば、図1の再生部29)とをさらに含ませるようにすることができる。
本発明の一側面の情報処理方法は、テキスト情報を受信するテキスト情報受信ステップ(例えば、図2のステップS11)と、前記テキスト情報を形態素解析する受信テキスト形態素解析ステップ(例えば、図4のステップS34)と、番組に含まれる字幕のテキスト情報を抽出する抽出ステップ(例えば、図8のステップS52)と、前記字幕のテキスト情報を形態素解析する字幕テキスト形態素解析ステップ(例えば、図8のステップS53)と、前記受信テキスト形態素解析ステップの処理による受信テキスト形態素解析結果に含まれるキーワードと、前記字幕テキスト形態素解析ステップの処理による字幕テキスト形態素解析結果に含まれるキーワードとの類似度を計算する類似度計算ステップ(例えば、図10のステップS73)と、前記類似度と所定の閾値とを比較する比較ステップ(例えば、図10のステップS74)と、前記比較ステップの処理での比較結果に基づいて、前記類似度が前記所定の閾値よりも高い前記字幕テキスト形態素解析結果に含まれるキーワードを含むタイミングに対応して、前記番組を録画する録画ステップ(例えば、図13のステップS93)とを含む。
図1は、本発明を適用した一実施の形態の構成を示す録画再生装置である。
図1の録画再生装置1は、携帯電話機などに代表される携帯端末2により送信されてくる電子メールを、インターネットに代表されるネットワーク3を介してメールサーバにアクセスすることにより受信し、受信した電子メールの内容に則して、アンテナ5を介して受信される番組のうち、対応するシーンを録画すると共に、録画した画像を再生し、表示部6に表示する。
携帯端末2は、キーボードや操作ボタンなどからなる操作部111、LCD(Liquid Crystal Display)などからなる表示部、および、公衆回線やインターネットに代表されるネットワーク3を介して通信するネットワークデバイスなどからなる通信部113を備えている。
メール取得部11は、所定の時間間隔でネットワーク3を介してメールサーバ4にアクセスし、自らを宛先とする電子メールを取得することにより、自らを宛先として送信されてきている電子メールを受信し、メールキーワード抽出部12に供給する。
メールキーワード抽出部12は、受信した電子メールにおけるテキストデータからキーワードを抽出してメールキーワードテーブルDB15に蓄積させる。
メールキーワード抽出部12のメールID生成部41は、メール取得部11より供給されてきた電子メールのそれぞれについて、識別するためのメールIDを生成する。
形態素解析部42は、メール取得部11により受信された電子メールのテキストデータを形態素解析し、テキストデータを言葉の最小単位(以降においては、この最小単位をキーワードと称するものとする)に分解して、分解した各キーワードについて、品詞を設定する。
キーワードID生成部43は、形態素解析部42により生成されたキーワードのうち、キーワードテーブルDB14に未登録なキーワードについて識別するキーワードIDを生成する。
キーワードスコア付与部44は、キーワードについてそれぞれスコア値を設定する。ここで、スコア値とは、キーワードの重要度を示す重みである。したがって、キーワードスコア付与部44は、キーワードのうち、品詞毎に重みを設定し、例えば、名詞などは、キーワードとしては重要度が高いので、他の品詞よりも高いスコア値を設定する。また、キーワードスコア付与部44は、出現頻度の高いキーワードについては、高いスコア値を設定する。したがって、キーワードスコア付与部44は、名詞であって、出現頻度の高いキーワードについては、高いスコア値を設定し、品詞が名詞以外であって、出現頻度の低いきキーワードについては、低いスコア値を設定する。
メールテーブル管理部45は、メールIDに対応付けて、メールタイトル、および、メールの文面の情報を格納するメールテーブルを生成し、メールテーブルDB13に格納する。キーワードテーブル管理部46は、形態素解析部42により生成されたキーワードのうち、キーワードテーブルDB14に未登録なキーワードについて、キーワードIDに対応付けてキーワードを格納するキーワードテーブルを生成し、キーワードテーブルDB14に格納する。メールキーワードテーブル管理部47は、メールIDに対応付けて、キーワードIDおよびスコア値を格納するメールキーワードテーブルを生成し、メールキーワードテーブルDB15に格納する。
受信部16は、アンテナ5により受信される放送波より所定のチャンネルの信号を抽出して字幕抽出部17、番組録画部22、およびコンテンツテーブル管理部24に供給する。
字幕抽出部17は、受信部16より供給されてくる放送波に含まれる所定のチャンネルの信号より、放送波により放送されている放送番組の字幕情報を抽出し、字幕キーワード抽出部18に供給する。
字幕キーワード抽出部18は、字幕抽出部17より供給されてくる字幕情報よりキーワードを抽出して字幕キーワードテーブルDB19に格納する。
字幕キーワード抽出部18の形態素解析部62は、字幕抽出部17により抽出された字幕情報のテキストデータを形態素解析し、テキストデータを言葉の最小単位に分解して、分解した各キーワードについて、品詞を設定する。
キーワードID生成部61は、形態素解析部62により生成されたキーワードのうち、キーワードテーブルDB14に未登録なキーワードについてそれぞれを識別するキーワードIDを生成する。
キーワードスコア付与部63は、キーワードスコア付与部44と同一のものであり、キーワードについてそれぞれスコア値を設定する。
キーワードテーブル管理部64は、形態素解析部62により生成されたキーワードのうち、キーワードテーブルDB14に未登録なキーワードについて、キーワードIDに対応付けてキーワードを格納するキーワードテーブルを生成し、キーワードテーブルDB14に格納する。尚、キーワードテーブルDB14には、予め数十万語程度のキーワードが登録されている。
字幕キーワードテーブル管理部65は、チャンネルに対応付けて、キーワードIDおよびスコア値を格納する字幕キーワードテーブルを生成し、字幕キーワードテーブルDB19に格納する。
キーワード比較部20は、類似度計算部71を制御して、メールID毎にメールキーワードテーブルDB15に登録されているメールキーワードテーブルと、チャンネル毎に字幕キーワードテーブルDB19に登録されている字幕キーワードテーブルとを用いて、電子メールの記載内容と、受信中の放送番組のシーンとの類似度を計算させる。また、キーワード比較部20は、類似度判定部72を制御して、類似度計算部71により計算された類似度と所定の閾値との比較により、類似しているか否か、すなわち、電子メールにより録画が希望されているシーンであるか否かを判定し、判定結果をメールIDに対応付けて、録画リクエスト情報生成部21に供給する。
録画リクエスト情報生成部21は、キーワード比較部20より供給されてくる判定結果に基づいて、類似しているとみなされたシーンである場合、録画リクエスト情報を生成して番組録画部22に供給し、その番組を録画させる。
番組録画部22は、録画リクエスト情報に基づいて、受信部16により受信される番組のシーンを録画して、録画した情報を番組録画データ格納部23に格納させると共に、録画リクエスト情報、並びに、録画開始時刻および録画終了時刻の情報をコンテンツテーブル管理部24およびメールコンテンツテーブル管理部26に供給する。
コンテンツテーブル管理部24は、録画リクエスト情報、並びに、録画開始時刻および録画終了時刻に基づいて、コンテンツテーブルを生成して、コンテンツテーブルDB25に登録する。また、この際、コンテンツテーブル管理部24は、EPG取得部24aを制御して、登録しようとする番組(コンテンツ)の情報を読み出させ、読み出した番組の情報をコンテンツテーブルに登録する。
メールコンテンツテーブル管理部26は、録画リクエスト情報、並びに、コンテンツテーブルDB25に登録されているコンテンツテーブルを利用して、メールコンテンツテーブルを生成して、メールコンテンツテーブルDB27に登録する。この際、メールコンテンツテーブル管理部26は、メールID検索部81を制御して、処理対象となっているメールIDが、メールコンテンツテーブルDB27に登録済みであるか否かを検索させ、検索できれば、登録済みのメールコンテンツテーブルを更新し、検索できなければ、新規のメールコンテンツテーブルを生成する。また、検索できた場合、メールコンテンツテーブル管理部26は、類似度比較部82を制御して、登録済みのコンテンツのデータの類似度を比較して、新たなコンテンツの情報を挿入する位置を特定する。
GUI(Graphical User Interface)管理部28は、メールキーワードテーブルDB25に登録されているメールキーワードテーブル、メールコンテンツテーブルDB27に登録されているメールコンテンツテーブル、および、番組録画データ格納部23に格納されている番組録画データに基づいて、録画された番組の検索および再生を実現させるGUIを生成し、表示部25に表示させる。
代表キーワード表示生成部91は、メールキーワードテーブルDB15にアクセスして、メールキーワードテーブルを読み出し、メールID毎にスコア値の最も高いキーワードを代表キーワードとして抽出して、表示部6に表示する。
メールタイトル表示生成部92は、操作部30が操作されることによりポインタが、表示部6上における代表キーワード上に移動されると、メールテーブルDB13にアクセスし、対応する位置の代表キーワードのメールIDに対応するメールタイトルと電子メールの本文を表示する。
再生番組情報表示生成部93は、再生部29により番組録画データ格納部23より読み出されて再生されている番組の情報を、コンテンツテーブルDB25より読み出して、スーパーインポーズ表示する。
タイトルサムネイル表示生成部94は、タイトルリスト表示生成部96により生成されるタイトルリスト上の番組(コンテンツ)ごとに、再生開始位置の1字幕抽出時のフレーム画像を番組録画データ格納部23より読み出して表示する。
再生指示部95は、タイトルリスト表示生成部96により生成されて、表示部6に表示されているタイトルリストが操作部30により操作されることにより、コンテンツの再生が指示された場合、再生部29に対して、指定されたコンテンツの再生を指示する。
タイトルリスト表示生成部96は、メールコンテンツテーブルDB27およびコンテンツテーブルDB25に格納されているメールコンテンツテーブルおよびコンテンツテーブルの情報に基づいて、タイトルリストを生成して、表示部6に表示する。この際、タイトルリスト表示生成部96は、放送局表示生成部101を制御して、予め放送局テーブル101aに登録されているチャンネル毎の放送局名を表示させると共に、時刻情報表示生成部102を制御して、番組の録画開始時刻および終了時刻を表示させる。
尚、図1においては、放送波で配信される単一のチャンネルについて受信する構成となっているが、実際には、全チャンネルを受信できる構成であり、例えば、受信部16乃至番組録画部22までの構成は、チャンネル数分同一のものが設けられることになるが、図1においては省略されている。または、図1で示される構成のように1のチャンネル分の番組を受信することしかできない構成となっている場合、所定時間で、チャンネルを順次切替えて受信するようにする。
次に、図2のフローチャートを参照して、メール録画処理について説明する。
ステップS1において、携帯端末2の通信部113は、メールにより録画の指示があったか否かを判定し、指示があったと判定されるまで、その処理を繰り返す。ステップS1において、例えば、表示部112において、図3の上部で示される画像P1ように、「XXXが日本王者に、僅差の判定、日本ボクシング協会の日本xx級決戦・・」といったニュース記事が表示され、その下に表示されている「この記事を送る」といった表示がなされている操作ボタンZ1が操作されると、図3の下部で示されるように、「To:
[email protected]」、「Sub:タイトルxx」として、宛先とタイトルが設定され、文面が「XXXが日本王者に、僅差の判定、日本ボクシング協会の日本xx級決戦・・」としたメールが生成され、操作部30が操作処理を実行すると、メールにより「XXXが日本王者に、僅差の判定、日本ボクシング協会の日本xx級決戦・・」で記載されている内容に対応したシーンの録画の指示があったものとして、ステップS2において、通信部113が、図3の下部で示されるようなメールを、ネットワーク3を介してメールサーバ4に送信する。尚、図3における「To:
[email protected]」で示されるアドレスは、録画再生装置1を特定する電子メールアドレスである。したがって、厳密には、録画再生装置1を特定する電子メールアドレスを宛先としたメールの送信が指示されるとき、メールによる録画指示があったものと判定される。
ステップS11において、メール取得部11は、所定時間間隔でネットワーク3を介して、メールサーバ4にアクセスし、自らを宛先としたメールが送信されてきているか否かを判定し、送信されてきていると判定されるまで、同様の処理を繰り返す。ステップS11において、例えば、ステップS2の処理により、自らを宛先としてメールが送信されてきているような場合、処理は、ステップS12に進む。
ステップS12において、メールキーワード抽出処理が実行される。
ここで、図4のフローチャートを参照して、メールキーワード抽出処理について説明する。
ステップS31において、メール取得部11は、その送信されてきている電子メールを取得すると共にメールキーワード抽出部12に供給する。
ステップS32において、メールID生成部41は、メール取得部11より供給されてきた電子メールに対して、識別するためのメールIDを生成し、メールテーブル管理部45に供給する。
ステップS33において、メールテーブル管理部45は、メール取得部11より供給されてきた電子メール、および、メールIDに基づいて、メールテーブルを生成し、メールテーブルDB13に登録する。メールテーブルとは、例えば、図5で示されるように、メールIDに対応付けてメールタイトル、およびメール本文が付されるテーブルである。
ステップS34において、形態素解析部42は、メール取得部11より供給されてきた電子メールのメールタイトルおよびメール本文を形態素解析し、キーワード毎に品詞を設定する。
ステップS35において、キーワードID生成部43は、形態素解析部42の形態素解析結果であるキーワードのうち、キーワードテーブルDB14に未登録なキーワードに対して個別にキーワードIDを生成して、キーワードテーブル管理部46に供給する。この際、処理対象とするキーワードが、キーワードテーブルDB14に登録済みであれば、キーワードID生成部43は、登録済みのキーワードに付されているキーワードIDを付する。
ステップS36において、キーワードテーブル管理部46は、キーワードと対応付けて生成されているキーワードIDに基づいて、例えば、図6で示されるようなキーワードテーブルを生成し、キーワードテーブルDB14に登録する。図6で示されるキーワードテーブルは、キーワードIDに対応付けて、キーワードが登録されたテーブルである。
ステップS37において、キーワードスコア付与部44は、形態素解析部42の形態素解析結果であるキーワードの情報に基づいて、各キーワードの出現頻度や品詞に応じたスコア値を付与してメールキーワードテーブル管理部47に供給する。
ステップS38は、メールキーワードテーブル管理部47は、メールID、キーワードID、およびスコア値に基づいて、例えば、図7で示されるような、メールキーワードテーブルを生成して、メールキーワードテーブルDB15に登録する。図7で示されるメールキーワードテーブルは、メールIDに対応付けて、キーワードIDおよびスコア値が登録されたテーブルである。
以上の処理により電子メールが送信されてくると、電子メールに応じて、メールテーブル、キーワードテーブル、およびメールキーワードテーブルが生成され、それぞれメールテーブルDB13、キーワードテーブルDB14、およびメールキーワードテーブルDB15に登録される。結果として、電子メールに含まれていたキーワードが、電子メールに対応付けてそれぞれのスコア値が付された状態で登録される。
ここで、図2のフローチャートの説明に戻る。
ステップS12において、メールキーワード抽出処理が終了すると、ステップS13において、字幕キーワード抽出処理が実行される。
ここで、図8のフローチャートを参照して、字幕キーワード抽出処理について説明する。
ステップS51において、受信部16は、アンテナ5を介して、放送波として送信されてくる放送番組の信号を受信して、字幕抽出部17、番組録画部22、およびコンテンツテーブル管理部24に供給する。
ステップS52において、字幕抽出部17は、送信されてきた放送番組の信号より字幕情報を抽出して字幕キーワード抽出部18に供給する。
ステップS53において、字幕キーワード抽出部18の形態素解析部62は、字幕抽出部17より供給されてきた字幕情報を形態素解析し、キーワード毎に品詞を設定する。
ステップS54において、キーワードID生成部61は、形態素解析部62の形態素解析結果であるキーワードのうち、キーワードテーブルDB14に未登録なキーワードに対して個別にキーワードIDを生成する。この際、処理対象とするキーワードが、キーワードテーブルDB14に登録済みであれば、キーワードID生成部43は、登録済みのキーワードに付されているキーワードIDを付する。
ステップS55において、キーワードテーブル管理部64は、キーワードと対応付けて生成されているキーワードIDに基づいて、例えば、図6で示されるようなキーワードテーブルを生成し、キーワードテーブルDB14に登録する。
ステップS56において、キーワードスコア付与部63は、形態素解析部62の形態素解析結果であるキーワードの情報に基づいて、各キーワードの出現頻度や品詞に応じたスコア値を付与して字幕キーワードテーブル管理部65に供給する。
ステップS57は、字幕キーワードテーブル管理部65は、チャンネル、キーワードID、およびスコア値に基づいて、例えば、図9で示されるような、字幕キーワードテーブルを生成して、字幕キーワードテーブルDB19に登録する。図9で示される字幕キーワードテーブルは、チャンネルに対応付けて、キーワードIDおよびスコア値が登録されたテーブルである。
以上の処理により受信部16により受信されているチャンネルの字幕情報が供給されてくると、字幕情報に応じて、キーワードテーブル、および字幕キーワードテーブルが生成され、それぞれキーワードテーブルDB14、および字幕キーワードテーブルDB19に登録される。結果として、字幕情報に含まれていたキーワードが、チャンネルに対応付けてそれぞれのスコア値が付された状態で登録される。
ここで、図2のフローチャートの説明に戻る。
ステップS13の処理により、字幕キーワード抽出処理が終了すると、ステップS14において、キーワード比較処理が実行される。
ここで、図10のフローチャートを参照して、キーワード比較処理について説明する。
ステップS71において、キーワード比較部20の類似度計算部71は、メールキーワードテーブルDB15にアクセスして、登録されているメールキーワードテーブル群をベクトル化する。
ステップS72において、類似度計算部71は、字幕キーワードテーブルDB19にアクセスして、登録されている字幕キーワードテーブル群のうち、1字幕抽出分の字幕キーワードテーブル群をベクトル化する。
ステップS73において、類似度計算部71は、メールキーワードテーブル群からなるベクトルと、字幕キーワードテーブル群からなるベクトルとを用いて以下の式(1)のように類似度を計算する。
尚、式(1)において、ベクトルA(式中において上部に右方向の矢印が付されているA)は、メールキーワードテーブル群からなるベクトルであり、ベクトルB(式中において上部に右方向の矢印が付されているB)は、字幕キーワードテーブル群からなるベクトルである。すなわち、類似度は、ベクトルA,Bの成す角の余弦関数として求められる。例えば、図11の上段で示されるように、メールキーワード群が、左からスコア値がaのキーワードO、およびスコア値がbのキーワードPであり、下段で示されるように、字幕キーワード群が、左から、スコア値がcのキーワードO、スコア値がdのキーワードQ、スコア値がeのキーワードR、およびスコア値がfのキーワードSである場合、ベクトルAは、(a,b,0,0,0)となり、ベクトルBは、(c,0,d,e,f)となる。このため、類似度は、((a×c+b×0+0×d+0×e+0×f)/(√(a2+b2+02+02+02)×√(a2+02+c2+d2+e2)))のように計算される。
ステップS74において、類似度判定部72は、求められた類似度が所定の閾値よりも大きいか否かを判定する。ステップS74において、類似度が所定の閾値よりも大きいと判定された場合、ステップS75において、類似度判定部72は、類似度が所定の閾値よりも大きい、すなわち、電子メールの内容と、今現在の字幕情報との類似性が高く、電子メールにより要求されてくる内容に類似したシーンが放送されているとみなし、字幕キーワードテーブル、メールキーワードテーブル、および類似度の情報を録画リクエスト情報生成部21に供給する。これに応じて、録画リクエスト情報生成部21は、字幕キーワードテーブル、メールキーワードテーブル、および類似度の情報に基づいて、例えば、図12で示されるような録画リクエスト情報を生成し番組録画部22に供給する。図12においては、メールIDに対応付けて、チャンネル、および類似度の情報からなるテーブルが、録画リクエスト情報であることが示されている。
一方、ステップS74において、類似度が所定の閾値よりも低い場合、ステップS75の処理はスキップされて、処理は、終了する。
以上の処理により電子メールのテキストデータに含まれているキーワードと、放送中の番組の字幕情報との類似度が求められて、類似度が所定の閾値以上であれば、電子メールにより録画が要求されている内容のシーンが放送されているとみなされ、その番組の録画を指示するための録画リクエスト情報が生成される。
ここで、図2のフローチャートの説明に戻る。
ステップS14において、キーワード比較処理が実行されると、ステップS15において、キーワード録画処理が実行される。
ここで、図13のフローチャートを参照して、キーワード録画処理について説明する。
ステップS91において、番組録画部22は、録画リクエスト情報生成部21より録画リクエスト情報が供給されてきたか否かを判定する。ステップS91において、例えば、上述したステップS75の処理により、録画リクエスト情報が供給されてきた場合、処理は、ステップS92に進む。
ステップS92において、番組録画部22は、録画リクエスト情報に対応する番組を、録画リクエスト情報が供給されたタイミングを録画開始時刻として所定の時間だけ録画を開始し、録画した番組(コンテンツ)の情報を番組録画データ格納部23に順次格納する。このとき、番組録画部22は、録画リクエスト情報と共に録画開始時刻の情報をコンテンツテーブル管理部24およびメールコンテンツテーブル管理部26に供給する。
ステップS93において、コンテンツテーブル管理部24は、EPG取得部24aを制御して番組のタイトル名を取得させて、例えば、「ニュースxx」を取得する。
ステップS94において、コンテンツテーブル管理部24は、録画リクエスト情報に基づいてコンテンツテーブルを生成し、コンテンツテーブルDB25に登録する。すなわち、例えば、図14の上部で示される録画リクエスト情報の場合、図14の中部で示されるコンテンツテーブルを生成する。図14の上部で示される録画リクエスト情報は、メールIDが1であり、チャンネルが6であり、類似度が0.8である。この場合、コンテンツテーブル管理部24は、図中の左から、コンテンツテーブルIDとして、例えば、「00001」を生成して付与し、EPG取得部24aにより取得した番組のタイトル名である「ニュースxx」を付与し、チャンネルとして録画リクエスト情報のチャンネル6を付与し、録画開始時刻として録画が開始された時刻「06/13:10:15」(2006年)を付与し、録画開始時刻から推定される録画終了時刻として時刻「06/13:10:20」を付与することにより、図14の中部で示されるコンテンツテーブルを生成する。
ステップS95において、メールコンテンツテーブル管理部26は、メールID81を制御して、メールコンテンツテーブル27にアクセスさせ、録画リクエスト情報に含まれているメールIDが登録済みであるか否かを検索させる。ステップS95において、例えば、初めてのメールIDであって、メールコンテンツテーブルが未登録である場合、処理は、ステップS96に進む。
ステップS96において、メールコンテンツテーブル管理部26は、録画リクエスト情報、およびコンテンツテーブルDB25に登録されているコンテンツテーブルに基づいて、メールコンテンツテーブルを新規で生成し、メールコンテンツテーブルDB27に登録する。例えば、図14の上部の録画リクエスト情報、および中部のコンテンツテーブルである場合、メールコンテンツテーブル管理部26は、図14の下部で示されるように、左から録画リクエスト情報のメールIDを付与し、コンテンツトータル数として新規なので1を付与し、コンテンツIDをコンテンツテーブルより付与し、類似度を録画リクエスト情報から付与することにより、メールコンテンツテーブルを生成し、メールコンテンツテーブルDB27に登録する。
一方、ステップS95において、録画リクエスト情報のメールIDがメールコンテンツテーブルDB27に登録されていると判定された場合、すなわち、既に録画リクエスト情報のメールIDに対応付けてメールコンテンツテーブルが登録されている場合、処理は、ステップS97に進む。
ステップS97において、メールコンテンツテーブル管理部26は、類似度比較部82を制御して、登録しようとする録画リクエスト情報の類似度と、メールコンテンツテーブルDB27に登録済みのメールコンテンツテーブルの類似度との比較させ、順位を確認する。
ステップS98において、メールコンテンツテーブル管理部26は、比較結果に応じて、類似度が上位のコンテンツIDが上位となるようにメールコンテンツテーブルを更新して、メールコンテンツテーブルDB27に登録する。すなわち、例えば、直前までの処理で、図15の上部で示されるように、図14の下部で示されたものと同様のメールコンテンツテーブルが登録されていて、かつ、図15の下部で示されるように左からコンテンツIDが「00002」であり、タイトル名が「ニュースxx」であり、チャンネルが「4」であり、録画開始時刻が「06/13:11:15」であり、録画終了時刻が「06/13:11:30」であるコンテンツテーブルの場合、新たに登録しようとするコンテンツテーブルの類似度が0.9であるとき、メールコンテンツテーブル管理部26は、類似度比較部82を制御して、類似度を比較すると、登録済みの類似度は0.8であるので、類似度においては、新たなコンテンツテーブルのものが上位となる。そこで、メールコンテンツテーブル管理部26は、図15の中部で示されるように、図15の上部で示される更新前のコンテンツトータル数の情報とコンテンツIDの情報との間に新たなコンテンツテーブルの情報を挿入して、メールコンテンツテーブルを更新する。
結果として、メールコンテンツテーブルは、図15の中部で示されるように、左からメールIDとして「1」が、コンテンツトータル数として「2」が、コンテンツIDとして新たに追加された番組の「0002」が、類似度として、新たに追加されたコンテンツに対応する「0.9」が、それまでに登録されていたコンテンツのコンテンツIDとして「0001」が、それまでに登録されていた類似度として「0.8」が登録される。従って、新たに登録される場合、類似度が上位である程、図15における左部のコンテンツトータル数に近い上位の位置に登録される。
尚、ステップS91において、録画リクエスト情報が供給されてきていないと判定された場合、ステップS92乃至S98の処理がスキップされて、処理が終了する。
以上の処理により録画リクエスト情報が供給されてくると、対応する番組が所定の時間だけ録画されると共に、録画された番組の情報が、コンテンツテーブルDB25およびメールコンテンツテーブルDB27にそれぞれコンテンツテーブルおよびメールコンテンツテーブルとして登録される。
ここで、図2のフローチャートの説明に戻る。
ステップS15において、キーワード録画処理が終了すると、ステップS16において、字幕抽出部17は、次の字幕が供給されてきているか否かを判定し、次の字幕が供給されてきていれば、字幕キーワードテーブルを生成して、上述した処理を繰り返す必要がるので、処理は、ステップS13に戻り、次の字幕がないと判定されるまで、1字幕抽出単位で、ステップS13乃至S16の処理が繰り返される。
そして、ステップS16において、次の字幕が存在しない場合、処理は、ステップS11に戻り、それ以降の処理が繰り返される。
以上の処理により携帯端末2よりニュースの記事などの使用者の興味のある内容がテキスト情報として記載された電子メールを録画再生装置1に対して送信するだけで、送信した電子メールの文面に含まれているキーワードと類似度の高いシーンを録画させるようにすることが可能となる。
次に、上述した処理により電子メールの文面に含まれているキーワードと類似度の高いシーンが録画されている状態で、録画されているシーンの検索再生処理について説明する。
ステップS111において、代表キーワード表示生成部91が、メールキーワードテーブル15にアクセスし、メールID毎に最もスコア値の高いキーワードを読み出す。
ステップS112において、GUI管理部28は、図17で示されるようなGUI201を表示部6に表示すると共に、代表キーワード表示生成部91が、読み出したメールID毎の最もスコア値の高いキーワードを代表キーワードとして表示する。
すなわち、図17で示されるGUI201においては、代表キーワード表示生成部91は、図中の左部に代表キーワード一覧211として、上から「総選挙」と示された代表キーワード表示部221−1、「xx事件」と示された代表キーワード表示部221−2、および「xxxx」と示された代表キーワード表示部221−3をそれぞれアイコンとして表示する。尚、代表キーワード表示部221−1乃至221−3のそれぞれのアイコンは、操作部30により操作可能なポインタ231により選択することが可能であり、図17の場合、代表キーワード表示部221−1のアイコンの位置に移動されており、選択されている。
ステップS113において、タイトルリスト表示生成部96は、メールコンテンツテーブルDB27にアクセスし、選択されている代表キーワードに対応するメールコンテンツテーブルを読み出す。したがって、図17の場合、「総選挙」がスコア値の最大となるキーワードとなるメールIDに対応するメールコンテンツテーブルが、メールコンテンツテーブルDB27より読み出されることになる。
ステップS114において、タイトルリスト表示生成部96は、メールコンテンツテーブルDB27の情報に基づいて、類似度の上位のものからコンテンツのタイトルリストを、例えば、図17で示されるようにタイトルリスト表示欄212として表示する。この際、タイトルリスト表示生成部96は、メールキーワードテーブルのコンテンツIDに基づいて、コンテンツテーブルDB25のコンテンツテーブルを読み出し、例えば、図17で示されるように、コンテンツ表示欄241−1乃至241−4を表示する。
コンテンツ表示欄241−1乃至241−4には、それぞれタイトル名表示欄252−1乃至252―4が設けられており、タイトル名表示欄252−1に「朝のニュースxx」を、タイトル名表示欄252−2に「お昼のニュースxx」を、タイトル名表示欄252−3に「5時のニュースxx」を、タイトル名表示欄252−4に「夜のニュースxx」がそれぞれ表示されている。
また、コンテンツ表示欄241−1乃至241−4には、それぞれ録画開始時刻表示欄253−1乃至253−4が設けられており、タイトルリスト表示生成部96は、時刻情報表示生成部102を制御して、メールキーワードテーブルのコンテンツIDに基づいて、コンテンツテーブルDB25のコンテンツテーブルを読み出させ、例えば、図17で示されるように、録画開始時刻表示欄253−1に「2006/10/15 7:00」を、録画開始時刻表示欄253−2に「2006/10/15 19:00」を、録画開始時刻表示欄253−3に「2006/10/15 17:00」を、録画開始時刻表示欄253−4に「2006/10/15 19:00」をそれぞれ表示させる。
さらに、コンテンツ表示欄241−1乃至241−4には、それぞれ放送局表示欄254−1乃至254−4が設けられており、タイトルリスト表示生成部96は、放送局表示生成部101を制御して、チャンネルの値から放送局の情報を読み出させ、例えば、図17で示されるように、放送局表示欄254−1乃至254−4に「xxテレビ」として表示させる。尚、放送局表示生成部101には、チャンネルに対応付けて放送局名が登録されている放送局テーブル101aが備えられており、コンテンツテーブルのチャンネルのパラメータに応じた放送局名が表示される。
ステップS115において、タイトルサムネイル表示生成部94は、メールコンテンツテーブルDB27の情報に基づいて、類似度の上位となるコンテンツIDに対応するコンテンツテーブルを読み出して、上位となるコンテンツの録画開始時刻を読み出すと共に、番組録画データ格納部23にアクセスし、録画開始時刻に対応する1字幕抽出時のフレームの画像を読み出し、さらに、サムネイル画像に変換して、例えば、図17で示されるように、サムネイル画像表示欄251−1乃至251−4に表示する。尚、表示されるサムネイル画像は、録画開始時刻のものでなくてもよく、例えば、類似度が最も高い字幕抽出時のフレームの画像であっても良いものである。
ステップS116において、GUI管理部28は、操作部30が操作されて代表キーワードが変更されたか否かを判定する。ステップS116において、例えば、図17において、代表キーワード表示部221−2にポインタ231が移動された場合、代表キーワードが変更されたと判定され、ステップS117において、GUI管理部28は、変更された代表キーワードについてメールコンテンツテーブルをメールコンテンツテーブルDB27より読み出し、処理は、ステップS114に戻る。すなわち、ポインタ231により選択された代表キーワードに応じて、タイトルリスト表示欄212の表示が変更される。
ステップS116において、代表キーワードの変更がない場合、ステップS118において、メールタイトル表示生成部92は、ポインタ231がいずれかの代表キーワード表示欄221−1乃至251−3のいずれかの上に移動してきたか否かを判定する。ステップS117において、メールタイトル表示生成部92は、例えば、図17で示されるように、代表キーワード表示欄221−1に移動してきた場合、ステップS119において、メールテーブルDB13にアクセスし、ポインタ231が移動してきた代表キーワード表示欄221−1に対応するメールIDのメールテーブルを読み出し、登録されているメールタイトルとメール本文をメールタイトル本文表示欄232として表示する。この処理により、選択されている代表キーワードが選択された電子メールのタイトルと本文を認識することが可能となる。尚、このメールタイトル本文表示欄232は、表示文字数を制限するようにして、代表キーワードが隠れてしまうほど大きく表示しないようにしても良い。
ステップS118において、ポインタ231がいずれの代表キーワード表示欄221−1乃至251−3上にも存在しない場合、ステップS120において、メールタイトル表示生成部92は、図17で示されるようなメールタイトル本文表示欄232が表示されないようにする。
以上のような処理により、録画されているシーンが、選択された代表キーワードに対応するメールID毎に、類似度の上位となるコンテンツから表示されることになるので、使用者は、録画されているコンテンツの検索が容易なものとなる。尚、図17においては、上位4位までの番組(コンテンツ)が上から順にリストとして表示される例について説明されているが、表示される番組の数は、それ以外の数であっても良い。また、表示されている数以上の番組が存在する場合、上下にスクロールさせるなどして、その他の順位となる番組(コンテンツ)を表示させるようにしても良いものである。
ステップS121において、再生指示部95は、操作部30が操作されて、ポインタによりコンテンツ表示欄241−1乃至241−4のいずれかが選択されることにより再生が指示されたか否かを判定し、再生が指示されなかった場合、処理は、ステップS111に戻る。一方、ステップS121において、例えば、図17のポインタ231’で示されるように、コンテンツ表示欄241−2で表示されるコンテンツが選択された場合、タイトルが「お昼のニュースxx」となるコンテンツの再生が指示されたと判定され、処理は、ステップS122に進む。
ステップS122において、再生指示部95は、図17の場合、ポインタ231’により選択されたメールコンテンツテーブルに対応する、類似度が第二位となるコンテンツIDに基づいて、再生部29に対して生成を指示する。再生部29は、コンテンツIDに基づいて番組録画データ格納部23を検索して、対応するコンテンツを読み出して再生し、表示部6に表示する。
ステップS123において、再生番組情報表示生成部93は、コンテンツIDに基づいて、コンテンツテーブルDB25にアクセスして、対応するコンテンツテーブルを読み出して、例えば、図18で示されるように、再生画像301上に放送局表示欄311、番組タイトル表示欄312、および代表キーワード表示欄313をスーパーインポーズして表示する(重畳表示する)。図18においては、放送局表示欄311には、「xxテレビ」と表示され、番組タイトル表示欄312には、「お昼のニュースxx」と表示され、代表キーワード表示欄313には、「総選挙」と表示されており、このような表示を加えることにより、再生されているコンテンツの内容を把握しやすくさせることが可能となる。
ステップS124において、タイトルサムネイル表示生成部94は、再生画像301上にサムネイル画像を表示させるモードであるか否かを判定する。サムネイル画像を表示させるモードは、図示せぬ切替えアイコンにより切替え可能である。ステップS124において、例えば、サムネイル画像を表示するモードである場合、ステップS125において、タイトルサムネイル表示生成部94は、例えば、図19で示されるように、選択可能なサムネイル画像を表示する。図19においては、再生画像301の下部に左からサムネイル画像表示欄321−1乃至321−4が設けられており、いずれも図17におけるサムネイル画像表示欄251−1乃至251−4と同様のサムネイル画像が表示されており、いずれもポインタにより選択することが可能である。
ステップS126において、再生指示部95は、他の新たなコンテンツのサムネイル画像表示欄321−1乃至321−4がポインタにより選択されたか否かを判定し、例えば、図19で示されるように、他の新たなコンテンツに対応するサムネイル画像表示欄321−3が選択された場合、ステップS128において、再生指示部95は、他の新たなコンテンツのメールコンテンツテーブルに対応する、コンテンツIDに基づいて、再生部29に対して生成を指示し、処理は、ステップS123に戻る。すなわち、この処理により、図19においては、選択されたサムネイル画像表示欄321−3に対応して、放送局表示欄311には、「xxテレビ」と表示され、番組タイトル表示欄312には、「5時のニュースxx」と表示され、代表キーワード表示欄313には、「総選挙」と表示され、再生画像301は、「5時のニュースxx」に対応する画像が表示される。
一方、ステップS126において、他のコンテンツに対応するサムネイル画像が選択されなかった場合、ステップS127において、再生指示部95は、再生終了が指示されたか否かを判定し、再生終了が指示されていない場合(再生そのものが終了していない場合)、処理は、ステップS122に戻る。そして、ステップS127において、再生終了が指示された、または、再生そのものが終了した場合、処理は、ステップS111に戻る。
また、ステップS124において、サムネイル画像を表示するモードではない場合、ステップS129において、再生指示部95は、操作部30が操作されて、再生コンテンツのジャンプが指示されたか否かを判定し、ジャンプが指示されていない場合、処理は、ステップS127に進む。すなわち、サムネイル画像を表示するモードではない場合、図18で示されるように、サムネイル画像表示欄321−1乃至321−4が表示されない画像のまま再生が継続される。
ステップS129において、ジャンプが指示された場合、ステップS130において、再生指示部95は、類似度が1位だけ下位のコンテンツの再生を再生部29に指示し、処理は、ステップS123に戻る。
以上の処理により検索されたコンテンツの再生が可能になると共に、再生画像上に再生されているコンテンツの情報を表示させるようにしたので、再生中のコンテンツの内容を容易に認識することが可能となり、その他のコンテンツを自由に選択して再生させることも可能となる。
結果として、携帯端末により使用者が興味を持った内容のテキスト情報を録画再生装置に送信するだけで、そのテキスト情報に含まれるキーワードと、番組の字幕情報のキーワードとの類似度により、使用者の興味を持った内容と類似度の高いシーンを録画させることが可能となる。
尚、以上においては、携帯端末により遠隔地から録画再生装置で録画させる例について説明してきたが、録画済みの字幕情報を含むコンテンツを同様の手法で、使用者が見たい内容の文章を入れるだけで、見たい位置を検索させて再生させるようにしても良い。この場合の動作については、放送波により配信されるコンテンツが、録画済みのコンテンツとなるのみであるので、その説明は省略するものである。
以上によれば番組のうち所望とするシーンを録画または再生させることが可能となる。
ところで、上述した一連の情報処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図20は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011から読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
1 録画再生装置, 2 携帯端末, 6 表示部, 11 メール取得部, 12 メールキーワード抽出部, 17 字幕抽出部, 18 字幕キーワード抽出部, 20 キーワード比較部, 21 録画リクエスト生成部, 22 番組録画部, 23 番組録画データ格納部, 24 コンテンツテーブル管理部, 26 メールコンテンツテーブル管理部, 28 GUI管理部