以下、図1から図16を参照して、本発明に係る画像再生装置とその表示方法の実施の形態を詳細に説明する。この実施の形態では、大容量の記憶装置を備えたテレビジョン受像機に適用したもので具体的に説明しているが、このテレビジョン受像機に限定されるものではない。
先ず、図1を参照して、このテレビジョン受像機1の概略構造を説明する。図1は、この実施の形態に係るテレビジョン受像機の概略構成図である。
図1において、符号1で総括的に示すテレビジョン受像機は、本体100と、モニタ200と、リモコン300とを含んで構成される。前記本体100は、テレビチューナや大容量の記憶装置109を内蔵して、このテレビジョン受像機1の中核をなすものである。前記モニタ200は、前記本体100とコードを介して接続され、前記本体100で生成される画像を表示装置201に表示する。この実施の形態では、このモニタ200に設けられる表示装置201の下部にスピーカ203を備えたものを採用している。しかし、これに限定されるものではなく、スピーカ別体のものや、テレビチューナを内蔵したテレビジョン受像機でもよい。
前記リモコン300は、例えば、赤外線信号を介して前記本体100の図示しない赤外線受光部に操作信号を送信して、このテレビジョン受像機1の操作を統括的に操作することができる。この実施の形態に係るリモコン300は、決定キー311と、この決定キー311の上下左右方向に隣接して設けられる上キー314と、下キー315と、右キー316と、左キー317とからなる十字キー310を備えている。そして、この十字キー310を介して、前記表示装置201に表示されるカーソル202を移動させて、表示装置201に表示される複数の選択ボタンから所望の選択ボタンを決定して、当該選択ボタンに割り当てられた機能を実行させることができる。
前記本体100には、コードを介してアンテナ50を接続することで、一般的な地上波放送を受信することができるし、衛星放送アンテナを接続すれば衛星放送を受信できる。更に、ケーブルテレビなどとも接続することができる。また、この実施の形態ではデジタル放送に対応した機構を備えている。したがって、前記放送を通じてテレビ画像信号の他に番組情報(EPG)などの各種情報を受信して、これを内蔵した記憶装置109に格納し、これらの情報から各種検索を行うことができる。この意味で、この本体100は動画再生装置としての機能を備えており、例えば、動画データを再生可能なハードディスクレコーダ、ビデオテープレコーダ、パーソナルコンピュータ、又は携帯端末等で適用することができる。
そして、この実施の形態の大きな特徴の1つは、前記本体100を構成するマイコン101が、ハードデイスク(HDD)などからなる前記大容量の記憶装置109に記憶されたコンテンツ情報を簡単に検索し、この検索された1つのコンテンツ内を更にキーワードで検索して、当該キーワードで検索されたフレーム画像を簡単にかつ視認性よく検索可能とした点にある。
この実施の形態では、この特徴を実現するために、前記大容量の記憶装置109に、複数のコンテンツを格納するコンテンツDB400と、このコンテンツDB400に格納されたコンテンツを検索するための第1検索DB410と、この第1検索DB410で検索された1つのコンテンツの所望のフレーム画像をテキスト検索可能とする第2検索DB420とを備えるようにする。そして、前記本体100を統括的に制御するマイコン101が、前記リモコン300からの指示信号を受け付けて、前記表示装置201に検索画面500を表示し、この検索画面500を介して前記第1検索DB410による第1検索ステップと、第1検索ステップで検索されたコンテンツ内から第2検索DB420を介して所望のフレーム画像をテキスト検索で検索することができる第2検索ステップを備えている。
前記第1検索ステップでは、テレビ画像信号の他に入手した番組情報(EPG)などの各種情報から「ジャンル」や「タイトル」「出演者」などのコンテンツ自体を識別するテキスト情報を取得して第1検索DB410を生成する。そして、この実施の形態では、所望のコンテンツを抽出するに当たり、この第1検索DBに基づいて所望のキーワードを受け付ける第1検索画面510(図4参照)を前記表示装置201に表示し、このテキスト情報に基づいて該当する複数のコンテンツを抽出し、この抽出した複数のコンテンツから望所のコンテンツを選択することができる。
一方、第2検索ステップでは、テレビ画像信号とともに入手した字幕情報を大容量記憶装置109に格納し、この字幕情報をテレビ画像信号との位置関係を関連つけたテキスト情報に分解して第2検索DB420を生成する。そして、この実施の形態では、この第2検索DB420を備えたコンテンツを再生するにあたり、この第2検索DB420に基づいて所望のキーワードの選択を受け付ける第2検索画面550を前記表示装置201に表示し、この第2検索画面550を介して選択されるキーワードに該当する複数のフレーム画像を抽出し、その抽出したフレーム画像の位置をコンテンツ全体の長さの関係でタイムバー上に表示し、このタイムバー上に表示される複数のフレーム画像から望所のフレーム画像を選択し、このフレーム画像を表示装置201に再生することができる。
このように、この実施の形態では、第1検索ステップを介して所望のコンテンツを抽出できるとともに、抽出された特定のコンテンツ内でのテキスト検索を可能とすることができる。これにより、多数のコンテンツの中から所望のフレーム画像を簡単かつ迅速に検索でき、多くの時間を費やすことなく所望のフレーム画像を視聴することができる。
また、この実施の形態の他の大きな特徴の1つは、十字キー310を備えたリモコン300と連携して使い勝手の良い第2検索画面550を備えた点にある。
一般に、この種の画像再生機器では、リモコンに十字キーを備えて、この十字キーの操作に基づいて、表示装置に表示されるメニュー画面上に表示されるカーソルを移動させ、このメニュー画面を構成する複数の選択ボタンから所望の選択ボタンを選択することができる。しかしながら、動画像の再生中に複数の選択ボタンを表示させると、これら選択ボタンが再生画像を邪魔することとなる。更に、十字キーで操作する場合、上下キーと左右キーが混在した操作となると操作性が著しく低下する。一方、この実施の形態のように、1つのコンテンツ中に含まれる検索結果は、動画像の再生を邪魔することなく、その全体像を把握する必要があり、更には、検索結果から任意のフレーム画像を簡単に選択できる必要がある。
そこで、この実施の形態に係る第2検索画面(キーワード検索画面)550では、再生画像を表示させる再生画面領域部551と、この再生画像領域部551の下方の位置に左右に並べて配置されるキーワード選択部560と、検索結果を表示する検索結果表示バー部570とを備えるようにする。前記キーワード選択部560は、現在選択中のキーワードを表示する選択窓部561を含んで構成する。また、検索結果表示バー部570は、左右方向に長い帯状のタイムバー部571と、このタイムバー部571を左右に分割するように設定される検索結果マーク部572とを含んで構成される。タイムバー部571は、左右の長さが当該コンテンツの全体の映像時間として設定され、この全体の映像時間に対して、前記検索結果マーク部572が対応する時間にしたがって割り付けられて表示される。
したがって、この実施の形態では、前記選択窓部561で設定されるキーワードで抽出される複数の検索結果が、そのフレーム画像位置に対応したタイムバー部571の所定の位置に検索結果マーク部572として表示される。つまり、選択窓部561で設定されるキーワードが変更されれば、その検索結果を視覚的に示す検索結果マーク部572が対応して変化することとなる。もちろん、キーワードに対応する検索結果が複数あれば、対応する検索結果マーク部572も複数表示される。また、この第2検索画面550では、検索結果マーク部572の1つが選択されると、その選択された検索結果マーク部572に対応するフレーム画像が前記再生画像領域部551に表示される。
このように、この実施の形態では、再生画像領域部551の下辺にキーワード選択部560と検索結果表示バー部570とを左右に並べて配置しているので、再生画像領域部551での再生を大きく邪魔することなく、現在設定中のキーワードと、このキーワードを備えた検索結果の位置を用意に把握することができる。
そして、この実施の形態では、リモコン300の所定の操作に伴って、この選択窓部561の近傍の前記再生画像領域部551にキーワード選択用のキーワード選択ウインドウ590を表示し、このキーワード選択ウインドウ590に表示されるキーワード選択肢591を十字キー310の上キー314または下キー315の操作で選択し、決定キー311の操作で選択決定することができる。一方、十字キー310の右キー316または左キー317の操作で、前記タイムバー部571に表示される検索結果マーク部572の1つを選択して再生画像領域部551での再生画面を対応するフレーム画像に変更することができる。つまり、この実施の形態によれば、十字キー310の上下キーの操作でキーワードを選択し、十字キーの左右キーの操作で1つ前の又は次の検索結果マーク部572までフレーム画像をスキップさせ、当該スキップさせたフレーム画像を前記再生画像領域部551に表示させることができる。
このように、この実施の形態では、十字キー310の上下方向と左右方向の操作でキーワードの選択やスキップ操作を簡単に行うことができる。しかも、この操作では、再生画像を邪魔することなく、しかもキーワードの選択状況やスキップする画像を確認しながら操作することができる。
また、この実施の形態の他の大きな特徴の1つは、前記選択窓部561の上下及び左右の位置に隣接して、十字キー310の各上下左右キーの操作を指示する矢印マーク562を表示させることにより、その配置構成が十字キー310操作と関連して表記されるので、キーワード検索操作とスキップ操作との違いを利用者に分かり易く認識させることができる。
以上、説明したように、この実施の形態に係るテレビジョン受像機1は、コンテンツ検索と再生情報を表示するモニタ(表示装置)200と、コンテンツの検索を行い、かつ、再生情報の表示を制御するマイコン(制御装置)101と、再生情報に対応する各種の動画データと該動画データに関する検索データを格納する記憶装置109と、決定キー311とこの決定キー311の周囲に配置される上下キーと左右キーからなるカーソル移動キーとから構成される十字キー310を備えて前記マイコン101に前記モニタ200の表示操作を指示するリモコン(遠隔操作装置)300とを備え、更に、前記再生情報を表示する再生画像領域部551と、前記再生画像領域部551の下方の位置に左右に並べて配置されるキーワード選択部560と、検索結果を表示する検索結果表示バー部570とを備えたキーワード検索画面550を備え、前記キーワード選択部560は、キーワードを表示する選択窓部561を含んで構成し、前記検索結果表示バー部570は、左右方向に長い帯状のタイムバー部571とを含んで構成し、前記検索データは、前記動画データを構成する複数の画像フレームの位置情報と前記キーワードとが関連付けられており、前記マイコン101は、前記リモコン300からの操作指示を受け付けて、特定の動画データに関する前記キーワード検索画面550を前記モニタ200に表示し、前記リモコン300の上下キー311の操作指示を受け付けて、前記再生画面領域部551にキーワード検索ウインドウ590を表示して、前記記憶装置109に格納される特定の動画データに関するキーワード(キーワード選択肢)591を表示し、前記リモコン300の前記上下キーの操作指示により前記キーワード検索ウインドウ590内のキーワード591の選択を受け付けて、前記決定キー311の操作指示により当該選択中のキーワード591を検索キーワードとして特定し、前記特定した検索キーワードを前記選択窓部561に表示するとともに、前記検索データから当該検索キーワードに該当する検索を行い、前記検索結果に基づいて、前記フレーム画像の位置情報に対応したタイムバー部571の所定の位置に検索結果マーク部572を表示し、前記リモコン300の左右キーの操作指示により前記検索結果マーク部572の選択を受け付けて、当該選択された検索結果マーク部572に対応するフレーム画像を前記再生画像領域部551に再生するものである。
以下、図2から図16を参照して、この実施の形態に係るテレビジョン受像機を更に詳細に説明する。
先ず、図2を参照して、本体100の内部装置を説明する。図2は本体100の装置ブロック図である。
この実施の形態では、マイコン101が、前記リモコン300からの赤外線による操作指示信号をリモコン受光部108で受信し、この操作指示に基づいて、このテレビジョン受像機1を統括的に制御する。
チューナ102は、電子番組ガイド情報(EPG情報)を重複した放送波を受信できる公知のものである。この電子番組ガイド情報は、チャンネル番号、番組の放送時間、番組名、番組内容、出演者、それら複数の番組が多重化されたストリームから所望の番組を抜き出すために必要なプログラムIDとプログラムテーブルなどが含まれる。前記放送波は、地上波、衛星放送波、有線放送波の何れでも良い。
前記チューナ102で受信された放送波は、番組情報抽出部103でEPG情報とコンテンツ情報に分離され、音声再生部104と映像再生部105に出力される。音声再生部104は前記スピーカ203に出力される。映像情報は、映像再生部105からの映像信号と画面生成部107からのグラフィックデータが表示合成部106で合成され、前記モニタ200に出力される。
この実施の形態では、大容量の記憶装置109としてHDD(ハードデイスク装置)と、二次記憶装置110としてのDVD(デジタルビデオデイスク装置)を備えている。そして、この実施の形態では、DVD110やHDD109に格納されたコンテンツの再生はもちろんのこと、放送波で受信したコンテンツを二次記憶装置110や記憶装置109に格納することができ、また、二次記憶装置110と記憶装置109との間で相互にダビングを行うことができる。
この実施の形態では、二次記憶装置110や記憶装置109の格納に際し、検索情報を同時に格納することができる。そして、この実施形態では、前記検索情報やEPG情報から各種の検索を行って、その検索結果に基づいて、検索した放送波や二次記憶装置110あるいは記憶装置109に格納したコンテンツを表示したり、あるいは、放送波のコンテンツを録画(予約録画を含む)したり、ダビングなどを行うことができる。
また、この実施の形態では、外部インターフエイス部111にUSB端子を備えている。これにより、他の増設記憶装置を接続することができる。例えば、内部に画像記憶メモリ素子を備えたデジタルカメラとの接続では、従来のように、デジタルカメラから記憶メモリ素子を備えた媒体を取り外して、これを読取装置で再生することなく、デジタルカメラにUSB端子を接続するだけで、このデジタルカメラの画像記憶メモリ素子をマイコン101の管轄下において、同メモリ素子内の画像を再生したり、あるいは読み出して、記憶装置109や二次記憶装置110に格納することができる。
また、この実施の形態では、外部インターフエイス部111にパソコンとの接続インタフエイスを取り付けて、これを本体100内に収めることができる。接続のインターフエイスとしては、モデムやLANボードがある。LANボードを接続した場合は、マイコン101が備えている前記本体100の統括制御権をパソコンに移すことができる。したがって、この本体100が備えている記憶装置109や二次記憶装置110を、パソコンから自由に制御することができるので、一々、記憶装置109や二次記憶装置110に格納された内容をパソコン400にダウンロードする必要がないので便利である。
次に、図3を参照してリモコン300を説明する。図3はリモコンの操作面を示している。図3において、リモコン300は、扁平な箱状本体の長手方向の一端側(図面上部側)に図示しない赤外線発信部を備え、前記本体の広い一面側に複数の操作キーを備えている。なお、ここでは、複数の操作キーの中で代表的な操作キーの説明に止め、他の操作キーの説明は省略する。
図3において、本体の広い一面の一端側には、テレビジョン受像機1の電源キー320を配置し、その後方に衛星放送や地上波放送などの放送の種別を選択する選局キー群321、その後方に、チャンネルをダイレクトに設定するダイレクトチャンネル設定キー群322、その後方に音量アップダウンキー323とチャンネルの選局送戻キー324を設け、その後方に任意設定キー325、その後方に番組表選択キー群326、その後方に十字キー310、その後方に番組検索キー333を含む録画関連キー群327が配置される。
この実施の形態では、前記十字キー310の4隅の位置に、各種の機能画面を選択して前記表示装置201に表示するためのメニューキー328と、便利な機能をまとめた画面を前記表示装置401に表示するための便利キー329と、データ放送を表示装置401に表示させるためのデータキー330と、戻るキー331を設けている。また、この実施の形態では、前記任意設定キー325を青キー325aと赤キー325bと緑キー325cと黄色キー325dから構成し、これら4つのキーに検索画面500における機能の選択を割り当てている。
また、前記十字キー310は、中央に配置される円形の決定キー311と、この決定キー311の周囲を囲むリング状のリングキー332とから構成され、決定キー311は押下することで、カーソル202が位置する機能を実行させ、リングキー332は上下左右に設けた矢印(上キー314、下キー315、右キー316、左キー317)の位置を押すことで、このリングキー332が傾いて押下され、押下された方向にカーソル202を移動させることができる。
また、録画関連キー群327には、再生や録画、停止キーの他に第2検索画面550を呼び出すためのスキップキー334が含まれる。
次に、図3から図7に基づいて、複数のコンテンツから望所のコンテンツを選択することができる第1検索ステップの第1検索画面を参照しながら具体的に説明する。図4から図7は第1検索画面の遷移図である。
先ず、この実施の形態では、マイコン101がリモコン300の番組検索キー333の操作信号を受け付けると、表示装置201に現在表示中の内容を中断して、図4に示す番組検索を行うための第1検索画面510を表示する。この第1検索画面510(コンテンツ検索画面)は、表示装置201の横長の表示画面201aにウインドウ形式で表示されるものであり、この表示画面201aに全画面表示することもできるし、ウインドウ形式で表示することができる。
第1検索画面510は、最上部と最下部には帯状のタイトルバー511と帯状のガイダンスバー512が設けられ、この2つのバーの間に検索領域513が設定されている。検索領域513は、一方の片側に番組検索における第1選択キー514が常時表示される分野選択領域515が設定され、他の片側には前記第1選択キー514に対応した第2選択以降の選択キーが必要に応じて表示される詳細展開領域516が設定されている。この実施の形態では、前記第1選択キー514として、「ジャンル」「出演者」「キーワード」「保存先」「詳細設定」がカーソル202にて選択可能な選択キーとして上下に並べて配置される。
また、前記タイトルバー511とガイダンスバー512は、前記分野選択領域515と詳細展開領域516の左右の分割に合わせて左右に分割される。つまり、タイトルバー511の一方の片側には、この第1検索画面510が番組検索の画面であることを示すタイトル517が表示され、他の片側には、検索対象を示す検索対象表示518が表示される。この実施の形態では、検索対象が動画コンテンツである録画番組であるため「録画番組」が表示される。また、前記ガイダンスバー512は、一方の片側に主操作キーである十字キー310の操作ガイダンス519が表示され、他の片側には詳細展開領域516関係の操作キーの操作ガイダンス520が表示される。
さて、この実施の形態のマイコン101は、初期状態で表示する第1検索画面510では、図4の初期画面510aを表示する。この初期画面510aでは、前記第1選択キー514の1つにカーソル202が常に位置するように表示する。また、この実施の形態では、上下に並べて配置される第1選択キー514の上部の「ジャンル」にカーソル202が設定される。そして、この実施の形態では、カーソル202が位置する第1選択キー514の1つ「ジャンル」が、前記詳細展開領域516と連続する領域として表示される。これにより、詳細展開領域516に表示される情報が、カーソル202が位置する第1選択キー514の下位情報であることを視覚的に分かり易く利用者に提供することができる。
次に、マイコン101は、決定キー311の操作を受け付けると、カーソル202が位置する第1選択キー514の下位情報である第2選択キー514aを備えた下位1位検索ウインドウ521を前記詳細展開領域516に表示する図5に示す下位1位検索画面510bを表示する。この状態から、再度、決定キー311の操作がなされると下位1位検索ウインドウ521を消去する。また、詳細展開領域516に下位1位検索ウインドウ521が表示されているか否かに係わらず、カーソル202が第1選択キー514に位置する状態で、上キー314と下キー315が操作されると、カーソル202を他の第1選択キー514に移動させる。
また、マイコン101は、カーソル202が下位1位検索ウインドウ521にある状態では、上キー314と下キー315の操作によりカーソル202を移動させて、上下に配置される第2選択キー514aを選択させ、決定キー311の操作で第2選択キー514aに割り当てられた機能を実行する。例えば、図5の状態では、第2選択キー514aである「スポーツ」が選択された状態を示している。この状態から決定キー311の操作を受け付けると、「スポーツ」以外の第2選択キー514aを消去して、その右側に第3選択キー514bが上下に配列される下位2位検索ウインドウ522を表示した図6に示す下位2位検索画面510cを表示する。この状態で決定キー311の操作を受け付けると、元の下位1位検索ウインドウ521の状態に戻す。
なお、第2選択キー514aと第3選択キー514bはそれぞれ下位の選択キーがあればそれらを実行する機能が割り当てられ、下位の選択キーが割り当てられていなければ、図7に示す検索結果523を表示した検索画面510dを表示する。なお、第2選択キー514aと第2選択キー514aは、当該選択キー全てを検索結果とする「全てを含む」を含んでおり、この「全てを含む」が選択/決定されると図7に示す検索画面510dを表示する。
図7において、検索画面510dでは、分野選択領域515全体に検索されたコンテンツがリスト表示される。ここでは、記録された日付、開始時間、録画時間、チャンネル、録画モード、タイトルなどがコンテンツに対応して1行表示され、このコンテンツが上下に複数件表示される。マイコン101は、これらコンテンツの選択を上キー314と下キー315で受け付けて、決定キー311の操作で、当該コンテンツの再生を実行する。
また、ここで、マイコン101は、操作ガイダンス520の操作を受け付けてこれらの表示内容を変更させる。例えば、チャンネルの選局送戻キー324の操作が成されると分野選択領域515の頁を切り替え、任意設定キー325の操作に対応して、検索対象切り替えや検索条件クリアや表示順切り替えや検索結果の切り替え(リスト/サムネール)を行うことができる。
このように、この実施の形態では、横長の表示装置201の上下の辺に、中央の分野選択領域515を挟むように帯状のバー511と512を配置して横文字配列のガイダンスや主要な操作キー(検索対象表示518)を配置することによって、バー511と512に配列されるガイダンスや主要な操作キーの視認性を向上するとともに、中央の分野選択領域515を横長のワイド領域とすることができる。そして、このワイドな分野選択領域515の長手方向に沿って詳細展開領域516に、第1選択キー514、第2選択キー514a、第3選択キー514b、と下位階層を順次配列表示することにより、横長文字列の複数の選択キーを1つの表示画面に分かり易く表示することができる。
次に、図8から図11に基づいて、第1検索ステップで検索されたコンテンツ内から第2検索DB420を介して所望のフレーム画面をテキスト検索で検索することができる第2検索ステップの実現手段を具体的に説明する。図8は、第2検索ステップを実現するための機能ブロック図である。図9はインデクシングデータのデータ構造図である。図10はキーワードデータのデータ構造である。図11は検索結果マーク部のデータ構造図である。
先ず、図8を参照して、この実施の形態に係るテレビジョン受像機1が備えている第2検索ステップを実現するための各種機能の概要を説明する。これらの機能ブロックの全てがマイコン101によって実行されるソフトウェアプログラムであるものとして説明するが、一部あるいは全ては、ハードウェアとして実現されてもよい。
図8に示す通り、本実施の形態に係る本体100は、解析動画データ入力部121と、インデクシングデータ生成部122と、インデクシングデータ保持部123と、インデクシングデータ入力部124と、キーワードデータ生成部125と、キーワードデータ保持部126と、キーワードデータ入力部127と、キーワード入力部128と、キーワード位置データ生成部129と、キーワード位置データ保持部130と、キーワード位置データ入力部131と、キーワード提示部132と、キーワード位置提示部133と、再生制御部134と、再生動画データ入力部135と、音声出力部136と、画像表示部138と、再生位置指定部137と、を有する。
ただし、他の装置で既に作成済みのインデクシングデータを使用するなど、インデクシングデータを本体100で生成しない場合には、解析動画データ入力部121と、インデクシングデータ生成部122と、インデクシングデータ保持部123は必須ではない。また、他の装置で既に作成済みのキーワードデータを使用するなど、キーワードデータを本体100で生成しない場合には、キーワードデータ生成部125と、キーワードデータ保持部126は必須ではない。また、他の装置で既に作成済みのキーワード位置データを使用するなど、キーワード位置データを本体100で生成しない場合には、キーワード位置データ生成部129と、キーワード位置データ保持部130は必須ではない。
図8において、解析動画データ入力部121は、後述するインデクシングデータの生成対象のコンテンツ情報を番組情報抽出部103から入力する。
インデクシングデータ生成部122は、解析動画データ入力部121において入力した動画データにおいて、喋られている台詞あるいは表示されている文字列とそれらの台詞あるいは文字列が喋られる時刻あるいは表示される時刻を基にコンテンツ情報をインデクシングし、後述する図9に示すインデクシングデータを生成する。例えば、喋られている台詞の字幕データを取得し、その文字列およびそれが表示される時間とともに記録することにより、図9に示すインデクシングデータを作成する。
デジタルテレビ放送では、音声のES(Elementary Stream)や映像のESと同様に字幕のESが送られてきているので、この字幕のESを取得およびデコードすることで、字幕として表示される文字列とそれが表示される時刻の情報を取得でき、これらを基に図9に示すインデクシングデータが生成可能となる。
あるいは、インデクシングデータ生成部122は、解析動画データ入力部121において入力した動画データの音声を認識し、その文字列を生成することによって、図9に示すインデクシングデータを生成しても良い。この音声認識の技術は公知の技術を流用できるものとし、ここでは説明を省略する。音声認識した結果は文字列とする必要はなく、音素特徴などとしても良い。この場合、図9のインデクシングデータの文字列格納領域に音素特徴を格納すればよい。また、音声認識した結果を音素等の文字列以外とした場合には、後述するようにキーワード位置データ生成部129において、音素等の文字列以外でキーワード出現位置を検索するように構成すればよい。これについては後程、キーワード位置データ生成部129の説明で改めて言及する。
あるいは、インデクシングデータ生成部122は、解析動画データ入力部121において入力した動画データの画像上に表示されるテロップを認識し、その文字列を生成することによって、図9に示すインデクシングデータを生成しても良い。このテロップ認識の技術は公知の技術を流用できるものとし、ここでは説明を省略する。テロップ認識した結果は文字列とする必要は無く、文字の辺数等の形状特徴などとしても良い。この場合、図9のインデクシングデータの文字列格納領域に形状特徴を格納すればよい。また、テロップ認識した結果を形状特徴等の文字列以外とした場合には、後述するようにキーワード位置データ生成部129において、形状特徴等の文字列以外でキーワード出現位置を検索するように構成すればよい。これについては後程、キーワード位置データ生成部129の説明で改めて言及する。
次に、図9を参照して、インデクシングデータ生成部122で生成されるインデクシングデータのデータ構造を説明する。601は、ある時刻に喋られる台詞あるいは表示される文字列番号であり、604は、喋られる台詞あるいは表示される文字列である。ここで、喋られる台詞としては、字幕情報の場合はデコード結果の文字列とすることができる。また、音声認識結果であれば、単位時間あたりの音声に対して音声認識によって得られた認識結果の文字列としたり、音素データとすることができる。また、テロップ認識結果であれば、テロップが出現したと認識したときにテロップ認識によって得られた認識結果の文字列としたり、辺の数や画数等の形状特徴データとすることができる。
602は、文字列604に格納される文字列のバイト数や音素データのデータ量等の604に格納されるデータのデータ量であり、特にそのデータのバイト数とすることができる。603は、604に格納されるデータが実際に出力される時刻であり、つまり文字列604に格納されている台詞あるいは文字に関するデータが喋られるあるいは表示される時刻である。これは、例えば字幕情報の場合はデコード結果の時刻とすることができる。また、音声認識結果であれば、単位時間あたりの音声に対して音声認識する場合には、その音声が出力される時刻とすることができる。また、テロップ認識の場合には、テロップが出現したと認識したときにそのテロップが表示される時刻とすることができる。インデクシングデータ生成部122は、前記した文字列番号601から文字列604のデータの組でエントリ(610)を構成する。ここで、図9においては、特に611から613の3つのエントリ610があることを示している。
インデクシングデータ生成部122は、エントリ610がなくなった時点でエントリ314に示すようにすべてのデータを0にする。これにより、後述するインデクシングデータ入力部124で、本インデクシングデータが読み込まれた際にエントリの最後を知ることができる。
なお、図9においては、一例として文字列番号601の領域サイズを4バイト、データ量602の領域サイズを4バイト、時刻603の領域サイズを8バイト、文字列604の領域サイズをNバイトとしているがこの限りではなく、動画データに対して十分にそれぞれのデータを格納可能な領域を確保して決定されれば良い。
図8の説明に戻り、インデクシングデータ保持部123は、インデクシングデータ生成部122において生成したインデクシングデータを保持する。これは、例えばインデクシングデータ生成部122において生成したインデクシングデータを記憶装置109あるいは二次記憶装置110に格納することによって実現できる。
インデクシングデータ入力部124は、インデクシングデータ保持部123において保持されたインデクシングデータ、あるいは他の装置などによって既に生成されているインデクシングデータを入力する。これは、例えば記憶装置109あるいは二次記憶装置110に格納されているインデクシングデータを読み出すことによって実現できる。あるいは他の装置などによって既に生成されているインデクシングデータを入力する場合には、外部インターフエイス部111を介してネットワークデータに接続して取得することもできる。
キーワードデータ生成部125は、インデクシングデータ入力部124で入力したインデクシングデータの文字列部分を解析および単語分解し、図10に示すキーワードデータを生成する。なお、文字列部分の解析及びキーワードデータの生成には辞書139及び/あるいは形態素解析の技術等が応用できる。なお、形態素解析には公知技術を流用できるものとし、ここでは説明を省略する。
インデクシングデータの文字列部分を解析する際には、スペースや振り仮名の文字列、及び文字色や表示位置を指定する制御コードを抜き取った状態で解析することで解析精度を向上することができる。これは、字幕データからインデクシングデータを生成した場合には、スペースの削除を字幕データからスペースの文字コード削除することによって実施できる。また、振り仮名の削除は文字の大きさの制御コードを判別し、振り仮名の大きさで表示される文字列を削除することによって実施できる。
辞書139は、例えば人名の辞書や、「天気予報」や「ホームラン」といった番組あるいは番組カテゴリ(総称して動画データの種類ともいう)ごとの固定のキーワードの辞書を用いれば、キーワードが大量に抽出されてしまい一覧表示しきれない又はユーザが探し難いという課題を解消できる。この辞書は動画データの種類によって切り替えてもよい。動画データの種類は例えば番組に付属するメタデータ、EPGデータ、ユーザの指定等によって決めることができる。
また、「次に」、「次は」、「続いて」といったトピックの先頭や導入(トピックの切れ目)に喋られるキーワードの辞書を用いれば、この言葉を拾うことで動画データ内のトピックの切れ目を検出することが期待できる。
生成したキーワードはキーワード提示部132で提示可能となる。
図10は、キーワードデータのデータ構造の一例である。653は、キーワードとなる文字列自身であり、キーワードデータ生成部125によって解析および単語分解されたインデクシングデータの文字列部分であり、特にインデクシングデータの文字列部分の一部とすることができる。例えば、上述の通り、インデクシングデータの文字列部分から辞書139及び/あるいは形態素解析などの技術を適用して、名詞の単語にあたる文字列(キーワード)を抽出したものとすればよい。
651は、キーワード番号、652は、キーワードとなる文字列のデータ量(バイト数)である。キーワードデータ生成部125は、さらに、後述するキーワード入力部128においてユーザから入力されたキーワードの統計を取り、その統計量によって例えばこれまでにユーザによって指定されたキーワードの多さによってスコアを付けても良い。この場合、図10において、キーワードデータには、キーワードに対してスコア654を付し、651から654を一組として、エントリ660を形成する。図10においては、一例として661から663までの3つのエントリがあることを示している。キーワードデータ生成部125は、エントリがなくなった時点でエントリ664に示すようにすべてのデータを0にすればよい。これにより、後述するキーワードデータ入力部127で、本キーワードデータが読み込まれた際にエントリの最後を知ることができる。
なお、図10においては、一例としてキーワード番号651の領域サイズを4バイト、バイト数402の領域サイズを4バイト、キーワード文字列403の領域サイズをNバイト、スコア404の領域サイズを4バイトとしているがこの限りではなく、それぞれのデータレンジに対応して十分に領域を確保して決定されれば良い。
図8の説明に戻り、キーワードデータ保持部126は、キーワードデータ生成部125において生成したキーワードデータを保持する。これは、例えばキーワードデータ生成部125において生成したキーワードデータを記憶装置109あるいは二次記憶装置110に格納することによって実現できる。
キーワードデータ入力部127は、キーワードデータ保持部126において保持されたキーワードデータ、あるいは他の装置などによって既に生成されているキーワードデータを入力する。これは、例えば記憶装置109あるいは二次記憶装置110に格納されているキーワードデータを読み出すことによって実現できる。あるいは他の装置などによって既に生成されているキーワードデータを入力する場合には、外部インターフエイス部111を介して、該当するキーワードデータが保存されている装置にアクセスし、該当するキーワードデータを取得すればよい。この方法としては公知のネットワークデータの取得方法が適用可能であるとし、ここでは詳細な説明を省略する。
キーワード提示部132は、キーワードデータ入力部127で入力したキーワードデータに格納されたキーワードを図1に示すように第2検索画面550を介して利用者に提示する。
図8の説明に戻り、キーワード入力部128は、利用者から指定されるキーワードを入力する。これは、例えば、図1に示す第2検索画面550では、キーワード選択ウインドウ590を表示し、このキーワード選択ウインドウ590に表示されるキーワード選択肢591を選択することで決定することができる。なお、利用者が、このキーワード入力部208にキーワードを指定することで、本動画再生装置は、動画データにおいて指定したキーワードの出現している位置を検索して再生する。これにより、利用者は、所望のキーワードが出現するシーンを視聴できるようになる。
キーワード位置データ生成部129は、キーワード入力部128によって入力したキーワードの文字列と、インデクシングデータ入力部124で入力したインデクシングデータを基に、図11に示すキーワード位置データを生成する。これは、キーワード位置データ生成部129が、キーワード入力部128によって入力したキーワードの文字列を、インデクシングデータ入力部124で入力した図9に示すインデクシングデータにおける各エントリ611から614の文字列604の部分から検索し、当該入力したキーワードの文字列が見つかったインデクシングデータにおけるエントリ610の時刻603を取得して、それを図11に示すキーワード位置データにおける位置682に格納すればよい。
なお、先に述べた通り、インデクシングデータ生成部122において、音声認識あるいはテロップ認識により、音素特徴あるいは形状特徴等の文字列以外を文字列604の領域に格納した場合には、キーワード位置データ生成部129が、キーワード入力部128によって入力したキーワードの文字列を基に、それぞれ音素特徴あるいは形状特徴等に変換して、インデクシングデータにおける各エントリ610の文字列604の部分から検索し、当該入力したキーワードの文字列に対応する音素特徴あるいは形状特徴と一致したインデクシングデータにおけるエントリの時刻603を取得して、それを図11に示すキーワード位置データにおける位置682に格納すればよい。
図11において、681は、位置番号である。また、682は、キーワード入力部128によって入力したキーワードの文字列が見つかった際の、その文字列が動画データ内で出現する位置である。この位置682は動画データにおけるその文字列が表示される時刻としてもよく、ここでは、動画データ内の位置を動画データ内での時刻ととらえることにする。すなわち、キーワード入力部128によって入力されたキーワードの文字列が、インデクシングデータ入力部124で入力したインデクシングデータにおける文字列604の部分に見つかったときの、インデクシングデータにおけるエントリの時刻603とすることができる。あるいは、キーワード入力部128によって入力されたキーワードの文字列に対応する音素特徴あるいは文字の形状特徴が、インデクシングデータ入力部124で入力したインデクシングデータにおける文字列604の部分に見つかった時の、インデクシングデータにおけるエントリの時刻603とすることができる。
図11においては、特に、一例としてキーワード入力部128によって入力されたキーワードの文字列、あるいは音素特徴あるいは文字の形状特徴が、インデクシングデータ入力部124で入力したインデクシングデータにおいて3つのエントリの文字列604の部分に見つかったことを示しており、これらがそれぞれキーワード位置データにおけるエントリ691から693に格納されたことを示している。なお、キーワード位置データ生成部129は、エントリ694に示す通り、エントリ690の最後のデータを0にするとよい。これにより、後述するキーワード位置データ入力部131で、このキーワード位置データが読み込まれた際にエントリ690の最後を知ることができる。
なお、図11においては、一例として位置番号681の領域サイズを4バイトととし、位置682の領域サイズを8バイトとしているがこの限りではなく、それぞれのデータレンジに対応して十分に領域を確保して決定されれば良い。
図8の説明に戻り、キーワード位置データ保持部130は、キーワード位置データ生成部129において生成したキーワード位置データを保持する。これは、例えばキーワード位置データ生成部129において生成したキーワード位置データを記憶装置109あるいは二次記憶装置110に格納することによって実現できる。
キーワード位置データ入力部131は、キーワード位置データ保持部130において保持されたキーワード位置データ、あるいは他の装置などによって既に生成されているキーワード位置データを入力する。これは、例えば記憶装置109あるいは二次記憶装置110に格納されているキーワード位置データを読み出すことによって実現できる。あるいは他の装置などによって既に生成されているキーワード位置データを入力する場合には、外部インターフエイス部111を介して、該当するキーワード位置データが保存されている装置にアクセスし、該当するキーワード位置データを取得すればよい。この方法としては公知のネットワークデータの取得方法が適用可能であるとし、ここでは詳細な説明を省略する。
キーワード位置提示部133は、キーワード位置データ入力部131で入力したキーワード位置データに基づいて、動画データ内において利用者が指定したキーワードの出現位置を提示する。これは、例えば図1で説明したように、第2検索画面550の下方にタイムバー部571を表示し、このタイムバー部571の所定の位置にキーワード位置データ内のエントリの位置682に対応する位置にマーク(検索結果マーク部572)を付けることによって実現できる。
図8の説明に戻り、再生動画データ入力部135は、再生対象の動画データを番組情報抽出部103から入力する。画像表示部138は、後述する再生制御部134において生成された再生画像をモニタ200に出力する。音声出力部136は、後述する再生制御部134において生成された再生音声をスピーカ203に出力する。
再生位置指定部137は、利用者からの再生位置の変更があった場合に、その旨を後述する再生制御部134に通知する。例えば、十字キー310の右キー316または左キー317が利用者により操作された場合に、それを後述する再生制御部134にイベントあるいはフラグにより通知することで実現できる。
再生制御部134は、動画データを再生動画データ入力部135により入力し、再生画像及び再生音声を生成して画像表示部138および音声出力部217に出力することによって、動画データを再生する。
次に、図12から図14を参照して、第2検索ステップの操作方法を説明する。図12は第2検索ステップの動作フロー図である。図13から図16は第2検索画面の画面遷移図である。
図12において、マイコン101は、前記第1検索ステップで抽出したコンテンツまたは、特定のコンテンツの録画再生中にスキップキー334の操作が成される(ステップ700)と、表示装置201に第2検索画面550を表示する(ステップ702)。具体的には、マイコン101は、図13に示すように、録画再生中では表示画面201a全体に録画されたコンテンツを表示している。そして、マイコン101は、スキップキー334の操作が成されると、図14に示すように、コンテンツの録画を再生中の再生画面領域部551の下方の位置にキーワード選択部560と検索結果表示バー部570を、例えば、下方から上方に向かってスライドするように出現させる。このように、この実施の形態では、キーワード選択部560と検索結果表示バー部570を出現するに当たり、目立ち難い下方の位置に徐々に出現させるので、再生中のコンテンツの視認性に損なうことがない。しかも、最終的に出現するキーワード選択部560と検索結果表示バー部570はワイドな表示画面201aの下方に帯状にしかも細く表示されるので、再生中のコンテンツの視認性をに支障をきたすことが少ない。
この第2検索画面550では、キーワード選択部560と検索結果表示バー部570がそれぞれ左右方向に長い帯状に形成され、しかも、その長手方向が一致するように左右に並べて配置されるので、横長のワイドな表示画面201aの下方の長辺を効率よく活用して、キーワード選択部560と検索結果表示バー部570を効率よく配置することができる。
前記キーワード選択部560は、現在選択中のキーワードを表示する横長矩形状の選択窓部561と、この上下と左右に隣接して配置される矢印マーク562とを含んで構成される。この選択窓部561の四方に向く矢印マーク562の配置は、リモコン300の決定キー311を取り囲むような十字キー310を利用者に連想させるため、キーワード選択部560の操作が十字キー310の操作により可能なことを自然に認識させることができる。
また、検索結果表示バー部570は、左右方向に長い帯状のタイムバー部571と、このタイムバー部571を左右に分割するように設定される検索結果マーク部572と、タイムバー部571の長手方向の両端に配置される開始時間573及び終了時間574と、選択されている検索結果マーク部572を示す選択マーカ575とを含んで構成される。
この実施の形態では、マイコン101が、コンテンツ全体の再生時間をタイムバー部571の左右方向の長さに設定し、このタイムバー部571の左端に配置される開始時間573を時刻0とし、タイムバー部571の右端に配置される終了時間574にコンテンツの再生時間を表示する。そして、キーワード位置データ内の位置682に格納されている時刻に対応するタイムバー部571上の位置をタイムバー部571の長さとコンテンツのデータ全体の再生時間の割合から求め、当該キーワード位置データ内の位置682に格納されている時刻に対応するタイムバー部571上の位置に検索結果マーク部572を割り付ける。また、選択マーカ575は、検索結果マーク部572の上部に逆三角形マークで表現され、右キー316または左キー317の操作で左右方向に移動する。
一方、この実施の形態では、検索結果表示バー部570の下方のスペースを利用して操作ガイダンス領域580を設けることで、この第2検索画面550におけるリモコン300による操作キーの操作ガイダンスを表記している。例えば、この実施の形態では、利用者が操作ガイダンス領域580の内容を見ることにより、リモコン300の任意設定キー325の青キー325aや、十字キー310の操作が可能を知ることができる。
さて、この実施の形態では、初期設定として、マイコン101は第2検索画面550を表示するに当たり、キーワードデータの最初にリストアップされたデータを選択窓部561に表示するとともに、前記タイムバー部571に、このキーワードに該当する検索結果マーク部572を表示する。なお、前記初期設定は図示しない設定画面を呼び出して任意のキーワードに変更することもできる。
そして、マイコン101は、十字キー310の上下キーが操作されたか(ステップ704)、または左右キーが操作されたか(ステップ718)、あるいはスキップキー334が操作されたか(ステップ726)を監視する。
ここで、上下キーが操作されると、マイコン101は図15に示すように、選択窓部561の近傍の再生画像領域部551にキーワード選択ウインドウ590を表示する(ステップ706)。このキーワード選択ウインドウ590には、このキーワードデータに含まれるキーワードが上下方向に並べてリストアップされる。そして、先に選択窓部561に表示されているキーワードが強調表示されて、このキーワードが選択状態であることを示している。
この状態で、左右キーが操作されると(ステップ730)、マイコン101は、キーワード選択ウインドウ590を消去して、ステップ720に進ませ、上下キーが操作されると、キーワード選択ウインドウ590内でカーソルを移動させる(ステップ710)。そして、マイコン101は、決定キー311が操作されると、当該選択されたキーワードの検索を実行するとともに、キーワード選択ウインドウ590を消去するとともに当該選択決定されたキーワードを前記選択窓部561に表示し(ステップ714)、当該検索結果をタイムバー部571上の検索結果マーク部572の変更として表示する(ステップ716)。
一方、左右キーが操作されると、マイコン101は、再生画像領域部551に再生されているフレーム画像の位置を基準にして、操作指示された方向にある検索結果マーク部572まで選択マーカ575(カーソル)を移動させる(ステップ720)。そして、決定キー311の操作がなされると(ステップ722)、再生画像領域部551に表示されているフレーム画像を選択マーカ575により選択された検索結果マーク部572に対応するフレーム画像に変更する。ここで、決定キー311の操作で再生画像領域部551のフレーム画像を切り替えているが、このステップを省略して、左右キーの操作にともなって再生画像領域部551のフレーム画像を切り替えてもよい。
また、キーワード検索結果が表示されているキーワードと異なる新たなキーワードの選択を受け付けた場合には、マイコン101は、前記選択窓部561に当該新たなキーワードを表示するとともに、検索データから新たなキーワード検索を行い、その検索結果を検索結果マーク部572の表示を変更する。また、これと共に、検索結果マーク部のうち最も早い時間帯に表示された箇所を選択表示させると望ましい。例えば、選択マーカ575を再生画像の最も早い時間に対応する検索結果マーク部572に表示させる。なお、この選択マーカの移動と共に、再生画像領域部551のフレーム画像も切り替えてもよいし、決定キー311の操作により、再生画像領域部551のフレーム画像を切り替えてもよい。これにより、動画再生中であっても、特別な操作が必要なく最初の時間帯にキーワードが検出されたフレーム画像を表示することができ、十字キー310の右キーのみですべての検索されたフレーム画像を確認することができる。そのため、操作性良く、簡単に目的のフレーム画像を表示させることができる。
あるいは、図16に示すように、検索結果表示バー部570の片側にサブ表示画面201bを表示して、このサブ表示画面201bに決定キー311の操作前のフレーム画像を表示するようにしてもよい。即ち、この図16の事例では、表示画面201aの下部に、検索結果表示バー部570を挟むようにキーワード選択部560とサブ表示画面201bを設ける。そして、この表示画面201bには、タイムバー部571の選択マーカ575に対応するフレーム画像を表示させる。そして、決定キー311の操作に、基づいて、表示画面201bに表示されるフレーム画像を再生画像領域部551に表示させる。この実施の形態によれば、再生画像領域部551に主体と成るフレーム画像を表示しつつ、希望するフレーム画像をサブ表示画面201bで確認しながら検索して、必要により、この検索したフレーム画像を再生画像領域部551に表示することができる。また、図16に示すように、サブ表示画面201bを表示することにより、マイコン101は、検索結果表示バー部570の検索結果表示バーの長手方向の長さを短く表示する。これに伴い、検索結果マーク部572の位置も短くなる割合に応じて位置が変化する。このような表示とすることにより、サブ表示画面の表示によって、検索結果表示バーの一部が隠れることなく、サブ表示画面と検索結果表示バーの全体とを同時に表示することができる。そのため、視認性が向上し、フレーム画像をサブ表示画面201bで確認しながら操作性良く検索をすることができる。なお、前述の説明と同様に、サブ表示画面201bでは、キーワードを変更する場合に、マイコン101は、検索結果マーク部のうち最も早い時間帯に表示された箇所を選択表示させてもよい。これにより、前述の通り、操作性良く、簡単に目的のフレーム画像を表示させることができる。
図12に戻り、次に、この実施の形態では、マイコン101がスキップキー334の操作が行われると(ステップ726)、第2検索画面550の画面から再生画像領域部551に表示されているフレーム画像を全画面表示として通常の表示画面に戻す(ステップ728)。
このように、この実施の形態では、スキップキー334の操作で通常の全画面表示からキーワード選択部560と検索結果表示バー部570を表示画面201aの下方に帯状に表示することができ、しかも、このキーワード選択部560を十字キー310の操作で簡単に検索して、その検索結果を検索結果表示バー部570上に視覚的に表示して、これらを十字キー310の操作で更に選択して目的のフレーム画像を表示装置201に表示することができる。
1…テレビジョン受像機、50…アンテナ、100…本体、101…マイコン、102…チューナ、103…番組情報抽出部、104…音声再生部、105…映像再生部、106…表示合成部、108…リモコン受光部、109…記憶装置(HDD)、110…二次記憶装置(DVD)、111…外部インターフエイス部、121…解析動画データ入力部、122…インデクシングデータ生成部、123…インデクシングデータ保持部、124…インデクシングデータ入力部、125…キーワードデータ生成部、126…キーワードデータ保持部、127…キーワードデータ入力部、128…キーワード入力部、129…キーワード位置データ生成部、130…キーワード位置データ保持部、131…キーワード位置データ入力部、132…キーワード提示部、133…キーワード位置提示部、134…再生制御部、135…再生動画データ入力部、136…音声出力部、138…画像表示部、137…再生位置指定部、200…モニタ、201…表示装置、201a…表示画面、201b…サブ表示画面、202…カーソル、203…スピーカ、300…リモコン、310…十字キー、311…決定キー、314…上キー、315…下キー、316…右キー、317…左キー、320…電源キー、321…選局キー群、322…ダイレクトチャンネル設定キー群、323…音量アップダウンキー、324…チャンネルの選局送戻キー、325…任意設定キー、326…番組表選択キー群、327…録画関連キー群、328…メニューキー、329…便利キー、330…データキー、331…戻るキー、332…リングキー、333…番組検索キー、334…スキップキー、400…コンテンツDB、410…第1検索DB、420…第2検索DB、500…検索画面、510…第1検索画面、510a…初期画面、510b…下位1位検索画面、510c…下位2位検索画面、510d…検索画面、511…タイトルバー、512…ガイダンスバー、513…検索領域、514…第1選択キー、514a…第2選択キー、514b…第3選択キー、515…分野選択領域、516…詳細展開領域、517…タイトル、518…検索対象表示、519…操作ガイダンス、520…操作ガイダンス、521…下位1位検索ウインドウ、522…下位2位検索ウインドウ、523…検索結果、550…第2検索画面、551…再生画像領域部、560…キーワード選択部、561…選択窓部、562…矢印マーク、570…検索結果表示バー部、571…タイムバー部、572…検索結果マーク部、575…選択マーカ、580…操作ガイダンス領域、590…キーワード選択ウインドウ、591…キーワード選択肢、601…文字列番号、602…データ量、603…時刻、604…文字列、610〜614…エントリ、651…キーワード番号、652…データ量、653…文字列、…654スコア、660〜664…エントリ、681…位置番号、682…位置、690〜693…エントリ。