JP2004528640A - 自動ビデオ検索の方法、システム、アーキテクチャ及びコンピュータプログラムプロダクト - Google Patents
自動ビデオ検索の方法、システム、アーキテクチャ及びコンピュータプログラムプロダクト Download PDFInfo
- Publication number
- JP2004528640A JP2004528640A JP2002575839A JP2002575839A JP2004528640A JP 2004528640 A JP2004528640 A JP 2004528640A JP 2002575839 A JP2002575839 A JP 2002575839A JP 2002575839 A JP2002575839 A JP 2002575839A JP 2004528640 A JP2004528640 A JP 2004528640A
- Authority
- JP
- Japan
- Prior art keywords
- query
- database
- video
- software
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7343—Query language or query format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
ビデオクエリ処理のための方法及びシステム。ビデオクエリ処理ソフトウェアはビデオコンテンツにダイナミックにリンクし、ビデオコンテンツのセグメントに鍵を付けられたクエリ(61)を受け取る。ビデオコンテンツは リアルタイムの又は再生されたビデオコンテンツである。ソフトウェアは、スタンドアロンモード又はサービスモードで動作することが可能であるビデオ処理システム(10)内にある。ソフトウェアは、クエリ(61)への答えを決定し、ソフトウェアのユーザへの答えを通信する。データベースは、ビデオ処理システムの外部に置かれ、インターネットウェブサイト又は遠隔サーバに連結することが可能である。複数穂データベースが利用されることが可能であり、それ故、複数のデータベースから導き出された情報はクエリへの答えに到達するためにまとめられることが可能である。
Description
【技術分野】
【0001】
本発明は、一般に、ビデオのクエリ処理のためのシステム及び方法に関し、特に、ダイナミックコンテキスト依存ビデオクエリの処理に関する。
【背景技術】
【0002】
テレビ(TV)のユーザは,概して、テレビの番組に関する標準化された情報を得るためにビデオ処理システムにより電子番組ガイド(Electronic Program Guide:EGP)にアクセスすることはできるが、テレビ番組の特殊な特徴に関する情報を得るためにビデオ処理システムを用いることはできない。それ故、テレビのユーザにとってテレビ番組の特殊な特徴に関する情報を得ることが可能であるシステム及び方法に対する要請がある。
【発明の開示】
【課題を解決するための手段】
【0003】
本発明は、ビデオクエリ処理方法を提供し、この方法は、ビデオクエリ処理ソフトウェアを供給する段階、ビデオコンテンツを供給する段階、ビデオコンテンツにソフトウェアをダイナミックにリンクする段階、ビデオコンテンツのセグメントに鍵を付けられたクエリをソフトウェアにより受け取る段階、並びに、クエリへの答えをソフトウェアにより決定する段階から構成される。
【0004】
本発明は、ビデオクエリ処理システムを提供し、このシステムは、ビデオコンテンツにダイナミックにリンクされ、ビデオコンテンツのセグメントに鍵を付けられたクエリを受け取り、且つクエリへの答えを決定する、ビデオクエリ処理ソフトウェアから構成される。
【発明の効果】
【0005】
本発明は、テレビのユーザがテレビ番組の特定の特徴に関する情報を得ることを可能にするシステム及び方法を提供する。
【発明を実施するための最良の形態】
【0006】
図1は、本発明の実施形態にしたがったビデオ処理アーキテクチャ8についてのブロック図である。ビデオ処理アーキテクチャ8は、ビデオ処理システム(VPS)10、ビデオソース30、外部データベース24及びユーザ40を含む。VPS10は、プロセッサ12、プロセッサ12に連結されたメモリ構造体14、ローカルデータベース22、プロセッサ12に連結されたユーザ入力装置19及びプロセッサ12に連結された出力装置20を含む。ビデオ処理システム10は、コンピュータシステム(例えば、デスクトップ、ラップトップ、パームタイプのコンピュータシステム)、テレビ(TV)を伴うセットトップボックス等である。ビデオ処理システム10は、図1に示す特定な構成である必要はないが、むしろ、ビデオ電流を解析することが可能であり、ビデオ及びユーザ入力を受信することが可能であり、且つユーザとの双方向的交流を実行することが可能である処理パワー及びソフトウェアを有する何れかの記憶装置を備えることが可能である。“ビデオコンテンツ”は、ライブのビデオコンテンツ(即ち、リアルタイムでビデオ処理システム10によって受信されるビデオコンテンツ)、記録されたビデオコンテンツ、又は将来のビデオコンテンツ(将来のビデオコンテンツは、後に説明するようなビデオ番組のトレースと相関させることができる)を含む。
【0007】
メモリ構造体14は、1つ又はそれ以上のメモリ装置或いは範囲であって、一時的メモリ、永久メモリ及びリムーバブルメモリを含む。一時的メモリに記憶されたデータは、VPS10の電源が切られたときに消失する。一時的メモリは、特に、ランダムアクセスメモリ(RAM)を含むことができる。永久メモリに記憶されたデータは、VPS10の電源が切られても、保持される。永久メモリは、特に、ハードディスクメモリ、光記憶メモリ等を含むことができる。リムーバブルメモリは、VPS10から容易に取り外すことができる。リムーバブルメモリは、特に、フロッピー(登録商標)ディスク又は磁気テープを含むことができる。メモリ構造体14は、本発明にしたがったダイナミッククエリ処理アルゴリズムを実行するコンピュータコード32を記憶することができ、後に、特に図2に関連させて説明する。コンピュータコード32は、プロセッサ12により実行されるソフトウェアパッケージの一部とすることができ、特に、メモリ構造体14のRAMに記憶することができる。又、特に読み出し専用メモリ(ROM:Read Only Memory)チップのようなハードウェアにコンピュータコード32をエンコードすることが可能である。
【0008】
ユーザ入力装置19は1つ又はそれ以上のユーザ入力装置であって、特に、遠隔制御装置、キーボード、マウス等を含むことができる。出力装置20は、特に、出力表示装置(例えば、テレビ表示装置、コンピュータモニタ、パーソナルデジタルアシスタント(PDA)等)、プリンタ、プロッタ、オーディオスピーカ等のような、1つ又はそれ以上のいずれかの出力装置を含むことができる。出力装置20は、データコンテンツ(即ち、ビジュアルデータ、テキストデータ、グラフィックデータ、オーディオデータ等)のデータコンテンツを表示または通信することが可能である何れかの装置である。
【0009】
ビデオ入力装置18は、ビデオソース30のような外部ビデオソースから受信されたビデオコンテンツ(そして、関連するオーディオ及びテキスト又はデータ信号)を受信し、そのようなビデオコンテンツをローカルデータベース22又はプロセッサ12に送信する、何れかの装置又は機構である。ビデオ入力装置18は、圧縮されたフォーマット(例えば、MPEGフォーマット)から復号化された又は圧縮されていないフォーマットにおけるように、眼に見えるフォーマットに受信されたビデオコンテンツを変換するために必要とされる。ビデオ入力装置18は、それに代えて、眼に見えるフォーマットのビデオコンテンツを受信することが可能である。ビデオ入力装置18は、物理的装置を含むことができるが、一般に、ビデオコンテンツを受信し且つ送信するための何れかの機構を含む。コンピュータコード32は、ビデオ入力装置18又はビデオ装置18により送信されたビデオコンテンツに、プロセッサ12によりダイナミックに連結される。
【0010】
ビデオソース30は、ビデオデータ及び関連するオーディオ及びテキストデータについての1つ又はそれ以上のソースを含む。ビデオソース30は、通信媒体又はパス25(例えば、テレビのケーブルライン)を経由してVPS10により受信可能なビデオ番組のソースである。ビデオソース30は、特に、テレビ(TV)放送システム、TVの衛星放送システム、インターネットウェブサイト、ローカル装置(例えば、VHSテーププレーヤ、DVDプレーヤ)等である。ビデオソース30は、特に、テレビ番組及び電子番組ガイド(EPG)、又はEPG,VHS10に対する現在或いは将来の代替となるものをビデオ入力装置18により送信することが可能である。EPGは、テレビ番組の特性(例えば、映画のためのものであって、プロデューサの名前、俳優の名前、コンテンツの要旨等)を説明するための多くの情報分野(一般的には100以上)を有している。本発明の実施形態はテレビ番組を対象としているが、一方、本発明の請求範囲は、ユーザに対してビデオソース30からVPS10に通信することが可能であるあらゆるビデオ番組を含んでいる。このように、ビデオソース30はまた、インターネットによりビデオ番組を放送するインターネットウェブサイトを含み、技術的に利用可能である何れかの通信媒体又はパス25(例えば、電話回線、テレビケーブルライン等)を経由してVPS10によってそのようなインターネットを通じて放送される番組を受信することが可能である。
【0011】
ローカルデータベース22は、1つ又はそれ以上のデータベース、データファイル或いはVPS10内に局所的に記憶されたデータのリポジトリから構成される。ローカルデータベース22は、ビデオソース30から得られ又由来する、ビデオデータと関連するオーディオ及びテキストデータを含む。このように、ローカルデータベース22は、ビデオデータと関連するオーディオ及びテキストデータから構成され、1つ又はそれ以上のテレビ番組、及びEPGデータ又はテレビ番組に関連するEPGデータに対して現在或いは将来代替となるものに関係している。ローカルデータベース22はまた、以下で、特に図2に関連させて説明するように、ユーザクエリを処理するために必要とされる他のタイプのデータを含む。図1は、メモリ構造体とは異なり、メモリ構造体14に連結されるローカルデータベース22を示しており、ローカルデータベースの一部又は全部は、それに代えて、メモリ構造体14内に置くことが可能である。
【0012】
外部データベース24は何れかのデータベース構造体又はシステム及び関連する処理ソフトウェアから構成され、VPS10の外部(即ち、遠隔地)にあるものである。外部データベース24は、特に、電話回線、テレビケーブル等の通信媒体又はパス26を経由してプロセッサ12と通信する。外部でー亜ベース24は、特に、適切なビデオデータを含むデータベースを有する外部サーバ、ウェブサイト及びウェブページに関連するインターネット、又は適切なビデオデータを含むデータベースをもつ外部コンピュータ或いはデータファイルから構成することが可能である。“適切なビデオデータ”は、データを含み、即ち、ビデオソース30から送信されるビデオデータに直接的に又は間接的に関連することが可能である。外部データベース24は、ビデオコンテンツに関連するあらゆる種類の情報(例えば、テレビ番組)を含むことが可能である。例としては、外部データベース24は、特定のサブジェクトエリア又はテレビ番組ジャンルに関連する特異な情報を含むことが可能である。他の例としては、外部データベース24は、1つ又はそれ以上のビデオ番組の要旨を含むことが可能である。ビデオ番組の要旨の作成は、当業者によく知られた方法で、又はビデオ番組のテキスト、オーディオ、或いはオーディオビジュアルデータから由来する転写データを用いることにより行うことが可能であり、これらについては、(1)“SYSTEM AND METHOD FOR PROVIDING A MULTIMEDIA SUMMARY OF A VIDEO PROGRAM”と題され、2000年12月21日に出願された、米国特許出願公開第09/747,107号明細書、及び(2)“METHOD AND APPARATUS FOR THE SUMMARIZATION AND INDEXING OF VIDEO PROGRAMS USING TRANSCRIPT INFORMATION”と題され、2000年11月14日に出願された、米国特許出願公開第09/712,681号明細書に開示されている。
【0013】
図1はまた、ユーザ入力装置19及びユーザ出力装置20によりVPS10と通信することが可能であるユーザ40を示している。
【0014】
本発明は、ビデオソース30から送信されるテレビ番組を見ているときにリアルタイムにユーザ40によりなされるクエリ(即ち、質問)のダイナミックに処理すること、又はビデオソース30から送信されるビデオデータ(そして関連するオーディオ及びテキストデータ)を認識して受信することに関連する。ユーザ40は、全体的なテレビ番組の細かいレベルの質問をすることが可能であり、見ている番組セグメントに関連する番組セグメントレベルにおける質問(“セグメントレベル”の質問)をすることが可能である。ビデオコンテンツ(例えば、テレビ番組)の“セグメント”は、ビデオコンテンツの連続的部分又はサブセットの時間間隔である。ビデオコンテンツがN個のフレームであって、N>1であるフレームから構成される場合、そのようなビデオコンテンツのセグメントはN個のフレームのうちのM個のフレームの連続的なセットであり、このとき、M<Nである。セグメントレベルの質問及びセグメントレベルの情報は、一般に、眼にみえるセグメントのコンテキストに関連する(“ローカルコンテキスト”)。それとは対照的に、番組レベルの質問は全体としての番組に関連する(グローバルコンテキスト)。
【0015】
例として、ユーザ40がテレビで映画を観ている場合を考える。ユーザ40が行うことが可能であるグローバルレベルの質問の例としては、“映画の題名は何ですか?”、“この映画の監督は誰ですか?”或いは“この映画はいつ終了しますか?”等が含まれる。予め行うことができる番組レベルの質問はグローバルコンテキストのみであり、ローカルコンテキストは含まれないことに留意されたい。ユーザ40が行うことが可能であるセグメントレベルの質問の例としては、“今スクリーン上に現れている俳優の名前は何ですか?”、“現在のシーンはどの街におけるものですか?”或いは“現在流れているBGMは誰が作曲したのですか?” 等が含まれる。質問の意味はダイナミックに映し出されている特定の番組セグメントに依存するため、予め行うことができるセグメントレベルの質問はセグメントレベルにおいてのみであり、それ故、ローカルコンテキストを含むことに留意されたい。定義付けのためには、質問の意味がダイナミックに映し出されている特定の番組セグメントに依存する場合は、質問は“ローカルコンテキスト”に関するものであると考えられる。このように、セグメントレベルの質問はローカルコンテキストに関し、番組レベルの質問はグローバルコンテキストのみに関するものでありローカルコンテキストに関するものではない。又、クエリ又は質問がセグメントに関するローカルコンテキストを有する場合は、クエリ又は質問はビデオコンテンツ(例えば、テレビ番組)の“セグメントに鍵を付けられた”と表現される。
【0016】
他の例として、ニュース番組が20件のニュースストーリーを含む場合、各々のそれらのニュースストーリーはローカルコンテキストを有するセグメントである。それとは対照的に、グローバルコンテキストは、全体としてのニュース番組に関連し何れの特定なニュースストーリーに鍵を付けられることはない。
【0017】
本発明は、質問がプログラムレベルにおけるものであるかセグメントレベルにおけるものであるかに依存して、ローカルデータベース22、外部データベース24又はそれら両方を用いることにより、ユーザ40によりなされた質問に対する答えを見つけることが可能である。ローカルデータベース22は、ビデオデータから由来する情報とオーディオ及びテキストデータに関連する情報であって、ビデオソース30から送信されたテレビ番組に関連する情報と共に、そのようなテレビ番組に関連するEPGデータから構成される。ローカルデータベース22は又、番組レベルにおいて特定なサブジェクトである情報の専門的データベースから構成されることが可能である。このように、ローカルデータベース22は番組レベルの情報をもっている。更に、ローカルデータベースは又。ユーザ40の好みに鍵を付けられたセグメントレベルのデータから構成されることが可能である。このように、番組レベルの質問に答えるために、そして限定された範囲のセグメントレベルの質問に対して、ローカルデータベース22を用いることが可能である。外部データベース24はあらゆる種類のデータベースから構成されることが可能であり、それ故、番組レベル及びセグメントレベルの両方における情報を含むことが可能である。例として、外部データベース24は、全ての種類のデータを含み且つVPS10のプロセッサ12に対して容易に利用可能であるフリーウェブサイトのバーチャル的に分野に制限のないインターネットを含むことが可能である。更に、外部データベース24は、ユーザのアクセスに対して料金を払う必要がある他のインターネットウェブサイトを含むことが可能である。更に、外部データベース24は、通信媒体又はパス経由のそのようなアクセスが認可された場合に、VPS10によりアクセスされることが可能である全てのタイプのサーバ及びリモートコンピュータを含むことが可能である。定義付けのために、VPS10は、外部データベース24がインターネットに限定される場合の“スタンドアロンモード”と、外部データベース24がインターネット以外のデータベースにアクセスする(例えば、リモートサーバのデータベースへのアクセス)場合の“サービスモード“における操作であると言われる。
【0018】
図2は、本発明の実施形態に従って、且つ図1のビデオ処理アーキテクチャに従って、ダイナミックビデオクエリ処理システム50について示している。図2において、ダイナミックビデオクエリ処理システム50は、図1のメモリ構造体におけるコンピュータコード32の一部であるクエリ処理60を含む。更に、図2は、以下で説明するように、クエリ処理60と図2における他のソフトウェア(例えば、特徴抽出54)を含むクエリ処理ソフトウェアから構成される。図2に示すクエリ処理60は、プロセッサ12によってビデオコンテンツにダイナミックに連結され、VPS10のビデオ入力信号装置18により受信されるオーディオとテキストに関連付けられる(図1参照)。“ダイナミックに連結される”ことは、そのようなビデオコンテンツがVPS10のビデオ入力装置により受信されるときにリアルタイムに、ビデオコンテンツと関連するオーディオ及びテキストをモニタすること(又は、それらと相互作用すること)が可能であることを意味する。図2に示すように、クエリ処理60は、ダイナミックビデオクエリ処理システム50において中心的な役割を果たす。クエリ処理60は、ユーザ40からクエリ入力を受信して処理し、番組レベルのクエリに対する答えを見つけ、セグメントレベルのクエリに対する答えを見つけ、そして、次に説明するように、出力の形式でそのクエリに対して答えを提供する。
【0019】
クエリ処理60は、ユーザ40からクエリ入力を受信し、取り決め通りの質問又は際限のない質問をユーザから受信することとなる。取り決め通りの質問は、特に、標準的クエリリポジトリ64に記憶された所定の一般的な質問であってローカルデータベース22の一部であり、ビデオソース30からビデオ入力装置18によりダイナミックに受信され、それに続いてローカルデータベース22に記憶されることが可能であり、又はクエリ処理60内のクエリ処理ソフトウェアにおいてエンコードされる。取り決め通りの質問のソースはユーザにとってトランスペアレントであることが好ましい。
【0020】
取り決め通りの質問はジャンルに依存し、それ故、スポーツ番組についての取り決め通りの質問は、ニュース番組についての取り決め通りの質問とは異なる。取り決め通りの質問は、ディレクトリのツリー構造(例えば、/ホーム/スポーツ/フットボール/“今年、このクォーターバックは何ヤードパッシングしましたか?”、/ホーム/スポーツ/野球/“今年、このプレーヤは何本のホームランを打ちましたか?”、/ホーム/映画/“この俳優はアカデミーショーをかつて受賞しましたか?”)に組織化されることにより、ジャンル毎に利用することが可能である。当該技術分野の熟達者により体系化された何れかのディレクトリのツリー構造を用いることが可能である。例えば、“/ホーム/スポーツ/フットボール/クエリ”は、ファイルの分離した記録における各々の予めの質問又はファイルの単一の記録の分離したことばを含むファイルを表すことが可能である。
【0021】
取り決め通りの質問は、番組レベルの質問とセグメントレベルの質問を含むことが可能である。セグメントレベルの取り決め通りの質問は一時的なものである。即ち、番組が進化するにつれてそれらは移り変わり、そしてそれらは、番組のポイントで生じていることについてのコンテキストにおける番組の所定のポイントのみに関連している。例えば、あるチームがフィールドゴールにより得点した直後のフットボールゲームにおいて、タイムリーに取り決め通りの質問、例えば、“現在のシーズンの間に、このフィールドゴールキッカーは他に幾つのフィールドゴールを決めましたか?”がなされることが可能である。
【0022】
際限のない質問は何にも捕らわれない質問であり、取り決め通りの質問ではない。最終的なクエリの形式は、取り決め通りの質問を含まなければならない。従って、クエリ処理60は、ユーザ40から受信された際限のない質問の各々を、当該技術分野の熟達者に周知の技術に従って1つ又はそれ以上の標準的なクエリに変換され、必要に応じて答えを得る。例として、ユーザ40が、AチームとBチームの間のフットボールゲームを見ていて、“AチームがBチームに前回勝ったのはいつですか?”のような質問をクエリ処理60に送信したと仮定する。この例の質問は、標準的クエリリポジトリ64にある取り決め通りの質問の1つである可能性はあるが、層ではない際限のない質問である可能性がある。際限のない質問、即ちこの例の質問は、クエリ処理60によって、“AチームとBチームはいつ対戦して、最終スコアはどうでしたか?”のような取り決め通りの質問に変換された場合、この取り決め通りの質問に答えた後、クエリ処理60は、AチームのスコアがBチームのスコアより多い最近のゲームを選んで、最終スコアを調べる。
【0023】
ユーザ40が取り決めとおりの質問または際限のない質問に答える場合、質問は曖昧になる可能性があり、ユーザ40からのフィードバック双方向的作用62が必要である。例として、ユーザ40が映画“スタートレック”を観ていて、映像のシーンにおいて二人の俳優、キャプテンピカードとナンバーワンが現れ、ユーザ40が取り決め通りの質問“この俳優は、他にどのような映画に出演していますか?”をしたと仮定する。ここで、取り決め通りの質問は一人の俳優に特定化することを可能としないため、取り決め通りの質問は曖昧になる。従って、クエリ処理60は、フィードバック双方向的作用62(例えば、図1の出力装置20におけるポップアップメッセージによる)によりユーザ40に、“その俳優はキャプテンピカードですか、それともナンバーワンですか?”のように質問することが可能である。一旦ユーザ40がキャプテンピカードを選択すれば(例えば、遠隔制御又は音声入力による選択によって)、クエリ処理60は、“その俳優はキャプテンピカードの他にどのような映画に出演しましたか?”のような曖昧ではない形式でクエリを作り直すことが可能である。作り直された質問は、作り直された質問に答えるために外部データベース24を用いて更に処理されることが可能である。映画スタートレックのセグメントレベルにおける前の例は、ローカルコンテキストを有する取り決め通りの質問は更に処理するための適切な形式に質問を当て嵌めるためにセグメントレベルの入力を必要とする。そのようなセグメントレベルの入力を必要とする取り決め通りの質問は“不明確な質問”と呼ばれ、“不明確な形式”をとるとみなされる。そのような不明確な質問がセグメントレベルの入力と結合することにより適切な形式に作り直された後、作り直された質問は“明確な質問”と呼ばれ、“明確な形式”をとる。
【0024】
ユーザ40は、特に、遠隔制御装置、コンピュータキーボード又はマウス、音声認識ソフトウェアを用いるユーザ40の声を含むユーザ入力装置20を用いることにより、クエリ処理60と通信及び双方向的交流を行う(図1参照)。
【0025】
図2と関連して、ユーザ40によるクエリが更に処理するために適切な形式を一旦とると、クエリに対する答えを決定するためにクエリ処理60はローカルデータベース22、外部データベース24又はそれら両方を用い、そして図1の出力装置に対応する出力78における答えを出力する。番組レベルの質問に答えるためのローカルデータベース22を用いるために、クエリ処理60は特徴抽出54のソフトウェアを用いる。特徴抽出54のソフトウェアは番組レベルの特徴58を抽出し、ユーザ40による番組レベルのクエリに答えるためのクエリ処理60により用いられるローカルデータベース22にそのような抽出された特徴を配置する。上記のように、ローカルデータベース22の一部又は全部はメモリ構造体14の中に存在させることが可能である(図1参照)。特に、必要に応じてクエリ処理60に対して容易に利用可能とすることができるように、RAMバッファのような一時的メモリに、抽出された番組レベルの特徴58を配置することが可能である。
【0026】
“特徴”は信号レベルのデータ又はビデオソース30から由来するメタデータから構成されることが可能である(図1参照)。信号レベルのデータの特徴は、特に、色、形状又はテクスチャに関連することが可能である。メタデータの特徴は、特に、EPGデータ、又は1つ或いはそれ以上のテレビ番組に関連するEPGデータの現在或いは将来の代替となるものを含む。メタデータの特徴は、例えば、番組ジャンル(例えば、ニュース、スポーツ、映画等)、番組タイトル、キャスティング、テレビチャンネル、時間帯等の何れかの番組レベルの情報を含むことが可能である。信号レベルの特徴は、信号レベルのフォーマットを保つことが可能であり、又はそれに代えて、メタデータとしてエンコードされることが可能である。
【0027】
信号レベルの特徴又はメタデータの特徴は、特徴抽出54ソフトウェアの何れかのアルゴリズムに従って抽出される。そのようなアルゴリズムは、ローカルデータベース22に記憶されるユーザ40の個人的好み52(例えば、プログラムジャンル、特定の俳優、特定のフットボールチーム、特定の時間帯等)に従うことが可能である。例えば、ユーザ40の好みのチームは、特定の道筋に従って、特徴抽出54を集中的に行うために用いることが可能である。又、標準的クエリリポジトリ64における取り決め通りの質問をカスタマイズするために、ユーザ40の個人的な好み52を用いることが可能である。特徴抽出54は、バックグラウンドにおいて動的且つ自動的に行われ、ユーザの自由裁量に従い、上記のようにユーザ40の個人的好みにより影響されることが可能である。ユーザ40の個人的好みを展開させることを、当該技術分野の熟達者に周知である何れかの方法により達成することが可能であり、これらについては、(1)“METHOD AND APPARATUS FOR RECOMMENDING TELEVISION PROGRAMMING USING DECISION TREES”と題され、1999年12月17日に出願された、米国特許出願公開第09/466,406号明細書、及び(2)“METHOD AND APPARATUS FOR GENERATING SCORES USING IMPLICIT AND EXPLICIT VIEWING PREFERENCES”と題され、2000年9月20日に出願された、米国特許出願公開第09/666,401号明細書に開示されている。
【0028】
EPGデータから抽出される特徴又は現在或いは将来のEPG代替データに加えて、特徴抽出54は、テレビ番組のビデオデータと関連するオーディオ及びテキストデータからであって、特に、ビジュアル部分、閉じたキャプションテキスト、顔検出ソフトウェアを用いた顔、オーディオコンテンツ等から、特徴を抽出することが可能である。特徴抽出54は、当該技術分野の熟達者に周知である何れかの方法により実施することが可能であり、これらについては、“METHOD AND APPARATUS FOR AUDIO/DATA/VISUAL INFORMATION SELECTION”と題され、1999年11月18日に出願された、米国特許出願公開第09/442,960号明細書に開示されている。特徴抽出に関する他の適切な参考文献は、(1)N.Dimitrova,T.McGee,L.Agnihotri,S.Dagtas,and R.Jasinschi,On Selective Video Content Analysis and Filtering,presented at SPIE Conference on Image and Video Databases,San Jose,2000及び(2)N.Domitrova,L.Agnihotri,C.Dorai,and R.Bolle,MPEG−7 Videotext Description Scheme for Superimposed Text in Images and Video,Signal Processing:Image Communication Journal,Volume 16,pp.137−155,September 2000である。
【0029】
ローカルデータベース22に関連する特徴抽出54を、番組レベルのクエリ又はユーザの好みに鍵を付けられたセグメントレベルのクエリに答えるために用いることが可能である。しかしながら、又、外部データベース24を、番組レベルのクエリに対する答えを見つけるために用いることが可能である。更に、外部データベース24を、セグメントレベルのクエリに対する答えを見つけるために用いることが可能である。それ故、以下の説明は、ユーザ40によってなされる番組レベルのクエリ又はセグメントレベルのクエリに対する答えを見つけるためにクエリ処理60がどのように外部データベース24を用いるかについて、焦点を当てることにする。
【0030】
クエリ処理60に利用可能である外部データベースへのポインタは検索サイト説明66データベース又はリポジトリに記憶され、それはローカルデータベース22の一部であるか、又はクエリ処理60のソフトウェア内にエンコードされる。これらのポインタは、標準的なクエリリポジトリ64における取り決め通りの質問に関連するサブジェクトに従ってサブジェクト固有であることが可能である。これらのポインタはディレクトリのツリー構造内に組織化されることが可能である。例えば、ポインタは、インターネットウェブサイトのURL(Uniform Resource Locator)であるポインタであることが可能である。例として、ニュースのデータベースは、以下に示すように、検索サイト説明66データベース又はリポジトリに、/home/news/“httm://www.cnn.com”のように現れることが可能であり、一方、フットボールのデータベースは、以下に説明するように、検索サイト説明66データベース又はリポジトリに、/home/sports/football/“httm://www.nfl.com”のように現れることが可能である。当該技術分野における熟達者により体系化することが可能であるいずれかのディレクトリのツリー構造を用いることが可能である。例えば、“home/news/URL”は、検索サイト説明66データベース又はニュースのウェブサイト(例えば、“httm://www.cnn.com”,“httm://www.abc.com”等)へのポインタを含むリポジトリにおけるファイルを表すことが可能であり、それ故、そのようなポインタの各々はファイルの分離した記録であるか、又はファイルの単一の記録における分離したワードである。同様に、“home/sports/football/URL”は、検索サイト説明66データベース又はフットボールのウェブサイト(例えば、“httm://www.nfl.com”,“httm://www.football.com”等)へのポインタを含むリポジトリにおけるファイルを表すことが可能であり、それ故、そのようなポインタの各々はファイルの分離した記録であるか、又はファイルの単一の記録における分離したワードである。
【0031】
検索サイト説明66データベース又はリポジトリは、いずれかの利用可能である外部データベース24又は通信媒体又はパス26を経由して通信することが可能である情報ソースへのポインタを含むことが可能である(図1参照)。そのような外部データベース24又は情報ソースは、標準的なクエリリポジトリ64における取り決め通りの質問に関連するサブジェクトのためのデータ又は情報を有する外部サーバ又はリモートコンピュータを含むことが可能である。更に、外部データベースは、他のデータベース又は情報ソースから得られる特定のサブジェクト(例えば、映画、ジャズ、スポーツ等)のみに関するデータ又は情報を有する特定のサーバ又はリモートコンピュータを含むことが可能である。ユーザ40によりなされた質問に答えるために適切なデータベースへのポインタの選択は、他の情報ソースのサブジェクトコンテンツに質問のサブジェクトコンテンツをリンクすることを含むことが可能であり、そして当該技術分野の熟達者に知られた何れかの方法において実施することが可能であり、これらについては、“METHOD AND APPARATUS FOR LINKING A VIDEO SEGMENT TO ANOTHERVIDEO SEGMENT OR INFORMATION SOURCE”と題され、1999年7月9日に出願された、米国特許出願公開第09/351,086号明細書に開示されている。
【0032】
ユーザ40のクエリに対する答えを見つけるために検索サイト説明66データベース又はリポジトリにおける特定の外部データベースのポインタをクエリ処理60が一旦確認すれば、クエリ処理60は特定の外部データベース24とリンクするためにポインタを用い且つ特定の外部データベース24からデータ70を取り出し、ここで検索されたデータ70はクエリに関連している。クエリ処理60は、特定の外部データベース24におけるサブジェクト特有の宛先(例えば、クエリに関係するデータ又は情報を含む特定のインターネットウェブページ)又は検索エンジンの宛先(例えば、特定に外部データベースにおいて、自然言語検索のための質問又はキーボードベースの検索のための論理式のような検索パラメータに結合される、インターネット検索エンジンのウェブサイトhttp://www.altabista.com等の特定のデータベース)にリンクすることが可能である。例として、“俳優のクラーク ゲーブルはアカデミー賞を受賞したことがありますか?”のような、自然言語の質問を検索エンジンに対してすることが可能であり、又は、同じ質問についての論理式、即ち“クラーク ゲーブル”AND “アカデミー賞”、に基づいてキーボード検索により答えを得ることが可能である。検索されたデータ70は、インターネットウェブサイトからの1ページ又はそれ以上のウェブページの形式、遠隔サーバからのファイル、文書、スプレッドシート、グラフィック画像等の形式等の、何れかの形式とすることが可能である。
【0033】
クエリ処理60と外部サーバとの間で通信されたデータは、ウェブ上の構造化文書及びデータのためのXML(Extensible Markup Language)ユニバーサルフォーマット、連続階調画像コーディングのためのJPEG(Joint Photographic Experts Group)、大量市場の大容量デジタル蓄積に基づくオーディオビジュアル及び他のサービスを可能にするTV Anytime Forum standards等の、外部サーバ24が認識できるデータフォーマットとされる。実態的には、外部サーバ24は、文字列、数値データ、グラフィックス等として、受け取られたデータ70を送り、クエリ処理60により要求に応じて含まれる情報(例えば、俳優の名前、シーンの説明等)を提供する。
【0034】
クエリに一般的に関連するデータが外部データベース24において一旦データを取り出されると70、情報抽出72は検索されたデータから特定の情報を抽出し、クエリに実際に答えることを容易にする。情報抽出72は情報のろ過プロセスを実施し、“もみ殻から小麦を分離し”、即ち、検索されたデータ70から不適切な情報を排除し、且つ検索されたデータ70から適切な情報を保持する。外部データベースが必要な処理能力を持っている場合、情報抽出72は外部データベースのサイトで実施することが可能である。そうでなければ、或いはそれに代えて、情報抽出72はクエリ処理60部又はコンピュータコード32(図1参照)の一部として実施することが可能である。次いで、抽出された情報72は、必要に応じて、クエリに対する最終的な答えに至るために、外部データベース又はクエリ処理60により更に処理される。そのような更なる処理の例としては、結果の適合化76がある。外部データベース24についての情報抽出72がローカルデータベース22についての抽出されたプログラムの特徴に類似していることに留意されたい。情報抽出を、当該技術分野の熟達者に周知の何れかの方法において実施することが可能である。
【0035】
情報抽出72のルールは、クエリが処理されているときにリアルタイムにダイナミックに構築される。例として、著名人(俳優、政治家、スポーツ選手等)の情報を抽出することに関する、一般的な情報抽出のルールについて考えることにする。トークショーの間に、複数の著名人のカテゴリーの人達がそのトークショーのゲストとして登場することがある。情報抽出72は、トークショーの特定のセグメントにおいて誰が特別ゲストであるかに関する情報を抽出する。このように、特別ゲストの名前は情報抽出タスクのパラメータであり、クエリそのものの一部となる。情報抽出タスクは、特別ゲストについての情報を検索するために特化され、特定のゲストに関して特定の一連のウェブサイト又はデータベースを検索する。ローカルコンテキスト情報(即ち、特定のゲスト)はセグメントレベルアーキテクチャの結果である。
【0036】
結果の適合化76は、クエリへに答えることが複数の情報ソースを必要とし、次いで、複数のソースにおける結果としてのデータを1つの答えにまとめる。複数のソースは、特に、複数の外部ソース、ローカルソース及び1つ又はそれ以上の外部ソース等を含むことが可能である。例えば、“この俳優は幾つの映画に出演しましたか?”の質問は、2つの外部ソース、ソースAとソースBを必要とすることが可能である。10本の映画の名前がソースAから挙げられ、5本の映画がソース5から挙げられた場合、及びソースAとソースBから挙げられた3本の映画が共通である場合、クエリ処理60は、ソースAとソースBの映画の名前を互いに適合させて、12本の区別可能な映画の名前が結果的に得られる。
【0037】
クエリ処理60がユーザ40による質問に対する答えを決定した後、クエリ処理60は、1つ又はそれ以上の出力装置20(図1参照)における出力78によりユーザ40に答えを通信する。出力78は任意の形式をとることが可能であり、メッセージ(例えば、電子メール)を配信する任意の方法によりユーザ40に配信することが可能である。出力78が配信されることが可能である、1つまたはそれ以上の出力装置20の例としては、携帯情報端末、携帯電話、テレビ表示装置、コンピュータモニタ、プリンタ、プロッタ、オーディオスピーカ等が挙げられる。出力78は、メッセージ(例えば、電子メール)を配信する何れかの方法によりユーザ40に通信されることが可能である。ユーザ40への答えを通信するために用いられる特定の出力装置20は、クエリ処理60にハードコード化されるか、又はフィードバック双方向的作用62を経由してユーザ40により選択されることが可能である。
【0038】
クエリ処理60は、所定のデータベースが要求された情報を返すことが可能でない事実を説明する論理を含んでいる。
例えば、特定のサーバが要求された情報を提供することに失敗した場合、クエリ処理60は、要求された同じ情報を探すためにインターネットウェブサイトに入っていく。更に、外部ソースが検索されるべきか否かを決定するために、ユーザ40の好みが用いられることが可能である。例えば、ユーザ40は、フットボールについての質問を検索することがインターネットのウェブサイト、例えば“http://www.nfl.com”を含む必要があり、“httm://aspn.go.com/abcsports/mnf”は排除するべきであることを指示することが可能である。
【0039】
上述で考慮したものはダイナミックでリアルタイムのユーザのクエリの処理である一方、本発明の請求の範囲はまた、過去に生じた又は将来生じるであろうビデオコンテンツ(例えば、テレビ番組)についてのユーザの質問の処理を含む。そのようなビデオコンテンツは、再生されたとき、ユーザ40のクエリを処理する目的のためにリアルタイムに映像化されるようにシミュレートされるため、本発明の実施形態におけるユーザの質問の処理は、VHSテーププレーヤ又はセットトップボックスにおけるパーソナルビデオレコーダー等に記録された過去のビデオコンテンツに適用される。それに代えて、テレビ番組のトレース(例えば、選択されたフレーム又は画像、選択されたテキスト、選択されたオーディオ等)は、VHSテーププレーヤ又はセットトップボックスにおけるパーソナルビデオレコーダー等に記憶することが可能であり(全てのテレビ番組を記憶することとは対照的に)、そのトレースの再生は、ユーザに、トレースが結び付けられるテレビ番組についての質問をさせるトリガーになり得る。
【0040】
上記説明は、図1のローカルデータベースを、番組レベルのクエリをサポートすることが可能であるとして特徴つける一方、本発明の請求の範囲においては、更に、ローカルデータベース22はセグメントレベルのクエリをサポートすることが可能である(例えば、ユーザの好みに関連するセグメントレベルのクエリ)。
【0041】
以上の本発明の特定の実施形態は具体例を明確にするために説明したものであり、種々の改良及び変形が可能であることは、当業者にとっては容易に理解できるであろう。したがって、本発明の主旨及び請求範囲に照らして、本発明の請求項はそのような改良および変形を包含することを意図するものである。
【図面の簡単な説明】
【0042】
【図1】本発明の実施形態に従ったビデオ処理アーキテクチャのブロック図である。
【図2】本発明の実施形態に従い且つ図1のビデオ処理アーキテクチャに従ったダイナミックビデオクエリ処理システムを示す図である。
【0001】
本発明は、一般に、ビデオのクエリ処理のためのシステム及び方法に関し、特に、ダイナミックコンテキスト依存ビデオクエリの処理に関する。
【背景技術】
【0002】
テレビ(TV)のユーザは,概して、テレビの番組に関する標準化された情報を得るためにビデオ処理システムにより電子番組ガイド(Electronic Program Guide:EGP)にアクセスすることはできるが、テレビ番組の特殊な特徴に関する情報を得るためにビデオ処理システムを用いることはできない。それ故、テレビのユーザにとってテレビ番組の特殊な特徴に関する情報を得ることが可能であるシステム及び方法に対する要請がある。
【発明の開示】
【課題を解決するための手段】
【0003】
本発明は、ビデオクエリ処理方法を提供し、この方法は、ビデオクエリ処理ソフトウェアを供給する段階、ビデオコンテンツを供給する段階、ビデオコンテンツにソフトウェアをダイナミックにリンクする段階、ビデオコンテンツのセグメントに鍵を付けられたクエリをソフトウェアにより受け取る段階、並びに、クエリへの答えをソフトウェアにより決定する段階から構成される。
【0004】
本発明は、ビデオクエリ処理システムを提供し、このシステムは、ビデオコンテンツにダイナミックにリンクされ、ビデオコンテンツのセグメントに鍵を付けられたクエリを受け取り、且つクエリへの答えを決定する、ビデオクエリ処理ソフトウェアから構成される。
【発明の効果】
【0005】
本発明は、テレビのユーザがテレビ番組の特定の特徴に関する情報を得ることを可能にするシステム及び方法を提供する。
【発明を実施するための最良の形態】
【0006】
図1は、本発明の実施形態にしたがったビデオ処理アーキテクチャ8についてのブロック図である。ビデオ処理アーキテクチャ8は、ビデオ処理システム(VPS)10、ビデオソース30、外部データベース24及びユーザ40を含む。VPS10は、プロセッサ12、プロセッサ12に連結されたメモリ構造体14、ローカルデータベース22、プロセッサ12に連結されたユーザ入力装置19及びプロセッサ12に連結された出力装置20を含む。ビデオ処理システム10は、コンピュータシステム(例えば、デスクトップ、ラップトップ、パームタイプのコンピュータシステム)、テレビ(TV)を伴うセットトップボックス等である。ビデオ処理システム10は、図1に示す特定な構成である必要はないが、むしろ、ビデオ電流を解析することが可能であり、ビデオ及びユーザ入力を受信することが可能であり、且つユーザとの双方向的交流を実行することが可能である処理パワー及びソフトウェアを有する何れかの記憶装置を備えることが可能である。“ビデオコンテンツ”は、ライブのビデオコンテンツ(即ち、リアルタイムでビデオ処理システム10によって受信されるビデオコンテンツ)、記録されたビデオコンテンツ、又は将来のビデオコンテンツ(将来のビデオコンテンツは、後に説明するようなビデオ番組のトレースと相関させることができる)を含む。
【0007】
メモリ構造体14は、1つ又はそれ以上のメモリ装置或いは範囲であって、一時的メモリ、永久メモリ及びリムーバブルメモリを含む。一時的メモリに記憶されたデータは、VPS10の電源が切られたときに消失する。一時的メモリは、特に、ランダムアクセスメモリ(RAM)を含むことができる。永久メモリに記憶されたデータは、VPS10の電源が切られても、保持される。永久メモリは、特に、ハードディスクメモリ、光記憶メモリ等を含むことができる。リムーバブルメモリは、VPS10から容易に取り外すことができる。リムーバブルメモリは、特に、フロッピー(登録商標)ディスク又は磁気テープを含むことができる。メモリ構造体14は、本発明にしたがったダイナミッククエリ処理アルゴリズムを実行するコンピュータコード32を記憶することができ、後に、特に図2に関連させて説明する。コンピュータコード32は、プロセッサ12により実行されるソフトウェアパッケージの一部とすることができ、特に、メモリ構造体14のRAMに記憶することができる。又、特に読み出し専用メモリ(ROM:Read Only Memory)チップのようなハードウェアにコンピュータコード32をエンコードすることが可能である。
【0008】
ユーザ入力装置19は1つ又はそれ以上のユーザ入力装置であって、特に、遠隔制御装置、キーボード、マウス等を含むことができる。出力装置20は、特に、出力表示装置(例えば、テレビ表示装置、コンピュータモニタ、パーソナルデジタルアシスタント(PDA)等)、プリンタ、プロッタ、オーディオスピーカ等のような、1つ又はそれ以上のいずれかの出力装置を含むことができる。出力装置20は、データコンテンツ(即ち、ビジュアルデータ、テキストデータ、グラフィックデータ、オーディオデータ等)のデータコンテンツを表示または通信することが可能である何れかの装置である。
【0009】
ビデオ入力装置18は、ビデオソース30のような外部ビデオソースから受信されたビデオコンテンツ(そして、関連するオーディオ及びテキスト又はデータ信号)を受信し、そのようなビデオコンテンツをローカルデータベース22又はプロセッサ12に送信する、何れかの装置又は機構である。ビデオ入力装置18は、圧縮されたフォーマット(例えば、MPEGフォーマット)から復号化された又は圧縮されていないフォーマットにおけるように、眼に見えるフォーマットに受信されたビデオコンテンツを変換するために必要とされる。ビデオ入力装置18は、それに代えて、眼に見えるフォーマットのビデオコンテンツを受信することが可能である。ビデオ入力装置18は、物理的装置を含むことができるが、一般に、ビデオコンテンツを受信し且つ送信するための何れかの機構を含む。コンピュータコード32は、ビデオ入力装置18又はビデオ装置18により送信されたビデオコンテンツに、プロセッサ12によりダイナミックに連結される。
【0010】
ビデオソース30は、ビデオデータ及び関連するオーディオ及びテキストデータについての1つ又はそれ以上のソースを含む。ビデオソース30は、通信媒体又はパス25(例えば、テレビのケーブルライン)を経由してVPS10により受信可能なビデオ番組のソースである。ビデオソース30は、特に、テレビ(TV)放送システム、TVの衛星放送システム、インターネットウェブサイト、ローカル装置(例えば、VHSテーププレーヤ、DVDプレーヤ)等である。ビデオソース30は、特に、テレビ番組及び電子番組ガイド(EPG)、又はEPG,VHS10に対する現在或いは将来の代替となるものをビデオ入力装置18により送信することが可能である。EPGは、テレビ番組の特性(例えば、映画のためのものであって、プロデューサの名前、俳優の名前、コンテンツの要旨等)を説明するための多くの情報分野(一般的には100以上)を有している。本発明の実施形態はテレビ番組を対象としているが、一方、本発明の請求範囲は、ユーザに対してビデオソース30からVPS10に通信することが可能であるあらゆるビデオ番組を含んでいる。このように、ビデオソース30はまた、インターネットによりビデオ番組を放送するインターネットウェブサイトを含み、技術的に利用可能である何れかの通信媒体又はパス25(例えば、電話回線、テレビケーブルライン等)を経由してVPS10によってそのようなインターネットを通じて放送される番組を受信することが可能である。
【0011】
ローカルデータベース22は、1つ又はそれ以上のデータベース、データファイル或いはVPS10内に局所的に記憶されたデータのリポジトリから構成される。ローカルデータベース22は、ビデオソース30から得られ又由来する、ビデオデータと関連するオーディオ及びテキストデータを含む。このように、ローカルデータベース22は、ビデオデータと関連するオーディオ及びテキストデータから構成され、1つ又はそれ以上のテレビ番組、及びEPGデータ又はテレビ番組に関連するEPGデータに対して現在或いは将来代替となるものに関係している。ローカルデータベース22はまた、以下で、特に図2に関連させて説明するように、ユーザクエリを処理するために必要とされる他のタイプのデータを含む。図1は、メモリ構造体とは異なり、メモリ構造体14に連結されるローカルデータベース22を示しており、ローカルデータベースの一部又は全部は、それに代えて、メモリ構造体14内に置くことが可能である。
【0012】
外部データベース24は何れかのデータベース構造体又はシステム及び関連する処理ソフトウェアから構成され、VPS10の外部(即ち、遠隔地)にあるものである。外部データベース24は、特に、電話回線、テレビケーブル等の通信媒体又はパス26を経由してプロセッサ12と通信する。外部でー亜ベース24は、特に、適切なビデオデータを含むデータベースを有する外部サーバ、ウェブサイト及びウェブページに関連するインターネット、又は適切なビデオデータを含むデータベースをもつ外部コンピュータ或いはデータファイルから構成することが可能である。“適切なビデオデータ”は、データを含み、即ち、ビデオソース30から送信されるビデオデータに直接的に又は間接的に関連することが可能である。外部データベース24は、ビデオコンテンツに関連するあらゆる種類の情報(例えば、テレビ番組)を含むことが可能である。例としては、外部データベース24は、特定のサブジェクトエリア又はテレビ番組ジャンルに関連する特異な情報を含むことが可能である。他の例としては、外部データベース24は、1つ又はそれ以上のビデオ番組の要旨を含むことが可能である。ビデオ番組の要旨の作成は、当業者によく知られた方法で、又はビデオ番組のテキスト、オーディオ、或いはオーディオビジュアルデータから由来する転写データを用いることにより行うことが可能であり、これらについては、(1)“SYSTEM AND METHOD FOR PROVIDING A MULTIMEDIA SUMMARY OF A VIDEO PROGRAM”と題され、2000年12月21日に出願された、米国特許出願公開第09/747,107号明細書、及び(2)“METHOD AND APPARATUS FOR THE SUMMARIZATION AND INDEXING OF VIDEO PROGRAMS USING TRANSCRIPT INFORMATION”と題され、2000年11月14日に出願された、米国特許出願公開第09/712,681号明細書に開示されている。
【0013】
図1はまた、ユーザ入力装置19及びユーザ出力装置20によりVPS10と通信することが可能であるユーザ40を示している。
【0014】
本発明は、ビデオソース30から送信されるテレビ番組を見ているときにリアルタイムにユーザ40によりなされるクエリ(即ち、質問)のダイナミックに処理すること、又はビデオソース30から送信されるビデオデータ(そして関連するオーディオ及びテキストデータ)を認識して受信することに関連する。ユーザ40は、全体的なテレビ番組の細かいレベルの質問をすることが可能であり、見ている番組セグメントに関連する番組セグメントレベルにおける質問(“セグメントレベル”の質問)をすることが可能である。ビデオコンテンツ(例えば、テレビ番組)の“セグメント”は、ビデオコンテンツの連続的部分又はサブセットの時間間隔である。ビデオコンテンツがN個のフレームであって、N>1であるフレームから構成される場合、そのようなビデオコンテンツのセグメントはN個のフレームのうちのM個のフレームの連続的なセットであり、このとき、M<Nである。セグメントレベルの質問及びセグメントレベルの情報は、一般に、眼にみえるセグメントのコンテキストに関連する(“ローカルコンテキスト”)。それとは対照的に、番組レベルの質問は全体としての番組に関連する(グローバルコンテキスト)。
【0015】
例として、ユーザ40がテレビで映画を観ている場合を考える。ユーザ40が行うことが可能であるグローバルレベルの質問の例としては、“映画の題名は何ですか?”、“この映画の監督は誰ですか?”或いは“この映画はいつ終了しますか?”等が含まれる。予め行うことができる番組レベルの質問はグローバルコンテキストのみであり、ローカルコンテキストは含まれないことに留意されたい。ユーザ40が行うことが可能であるセグメントレベルの質問の例としては、“今スクリーン上に現れている俳優の名前は何ですか?”、“現在のシーンはどの街におけるものですか?”或いは“現在流れているBGMは誰が作曲したのですか?” 等が含まれる。質問の意味はダイナミックに映し出されている特定の番組セグメントに依存するため、予め行うことができるセグメントレベルの質問はセグメントレベルにおいてのみであり、それ故、ローカルコンテキストを含むことに留意されたい。定義付けのためには、質問の意味がダイナミックに映し出されている特定の番組セグメントに依存する場合は、質問は“ローカルコンテキスト”に関するものであると考えられる。このように、セグメントレベルの質問はローカルコンテキストに関し、番組レベルの質問はグローバルコンテキストのみに関するものでありローカルコンテキストに関するものではない。又、クエリ又は質問がセグメントに関するローカルコンテキストを有する場合は、クエリ又は質問はビデオコンテンツ(例えば、テレビ番組)の“セグメントに鍵を付けられた”と表現される。
【0016】
他の例として、ニュース番組が20件のニュースストーリーを含む場合、各々のそれらのニュースストーリーはローカルコンテキストを有するセグメントである。それとは対照的に、グローバルコンテキストは、全体としてのニュース番組に関連し何れの特定なニュースストーリーに鍵を付けられることはない。
【0017】
本発明は、質問がプログラムレベルにおけるものであるかセグメントレベルにおけるものであるかに依存して、ローカルデータベース22、外部データベース24又はそれら両方を用いることにより、ユーザ40によりなされた質問に対する答えを見つけることが可能である。ローカルデータベース22は、ビデオデータから由来する情報とオーディオ及びテキストデータに関連する情報であって、ビデオソース30から送信されたテレビ番組に関連する情報と共に、そのようなテレビ番組に関連するEPGデータから構成される。ローカルデータベース22は又、番組レベルにおいて特定なサブジェクトである情報の専門的データベースから構成されることが可能である。このように、ローカルデータベース22は番組レベルの情報をもっている。更に、ローカルデータベースは又。ユーザ40の好みに鍵を付けられたセグメントレベルのデータから構成されることが可能である。このように、番組レベルの質問に答えるために、そして限定された範囲のセグメントレベルの質問に対して、ローカルデータベース22を用いることが可能である。外部データベース24はあらゆる種類のデータベースから構成されることが可能であり、それ故、番組レベル及びセグメントレベルの両方における情報を含むことが可能である。例として、外部データベース24は、全ての種類のデータを含み且つVPS10のプロセッサ12に対して容易に利用可能であるフリーウェブサイトのバーチャル的に分野に制限のないインターネットを含むことが可能である。更に、外部データベース24は、ユーザのアクセスに対して料金を払う必要がある他のインターネットウェブサイトを含むことが可能である。更に、外部データベース24は、通信媒体又はパス経由のそのようなアクセスが認可された場合に、VPS10によりアクセスされることが可能である全てのタイプのサーバ及びリモートコンピュータを含むことが可能である。定義付けのために、VPS10は、外部データベース24がインターネットに限定される場合の“スタンドアロンモード”と、外部データベース24がインターネット以外のデータベースにアクセスする(例えば、リモートサーバのデータベースへのアクセス)場合の“サービスモード“における操作であると言われる。
【0018】
図2は、本発明の実施形態に従って、且つ図1のビデオ処理アーキテクチャに従って、ダイナミックビデオクエリ処理システム50について示している。図2において、ダイナミックビデオクエリ処理システム50は、図1のメモリ構造体におけるコンピュータコード32の一部であるクエリ処理60を含む。更に、図2は、以下で説明するように、クエリ処理60と図2における他のソフトウェア(例えば、特徴抽出54)を含むクエリ処理ソフトウェアから構成される。図2に示すクエリ処理60は、プロセッサ12によってビデオコンテンツにダイナミックに連結され、VPS10のビデオ入力信号装置18により受信されるオーディオとテキストに関連付けられる(図1参照)。“ダイナミックに連結される”ことは、そのようなビデオコンテンツがVPS10のビデオ入力装置により受信されるときにリアルタイムに、ビデオコンテンツと関連するオーディオ及びテキストをモニタすること(又は、それらと相互作用すること)が可能であることを意味する。図2に示すように、クエリ処理60は、ダイナミックビデオクエリ処理システム50において中心的な役割を果たす。クエリ処理60は、ユーザ40からクエリ入力を受信して処理し、番組レベルのクエリに対する答えを見つけ、セグメントレベルのクエリに対する答えを見つけ、そして、次に説明するように、出力の形式でそのクエリに対して答えを提供する。
【0019】
クエリ処理60は、ユーザ40からクエリ入力を受信し、取り決め通りの質問又は際限のない質問をユーザから受信することとなる。取り決め通りの質問は、特に、標準的クエリリポジトリ64に記憶された所定の一般的な質問であってローカルデータベース22の一部であり、ビデオソース30からビデオ入力装置18によりダイナミックに受信され、それに続いてローカルデータベース22に記憶されることが可能であり、又はクエリ処理60内のクエリ処理ソフトウェアにおいてエンコードされる。取り決め通りの質問のソースはユーザにとってトランスペアレントであることが好ましい。
【0020】
取り決め通りの質問はジャンルに依存し、それ故、スポーツ番組についての取り決め通りの質問は、ニュース番組についての取り決め通りの質問とは異なる。取り決め通りの質問は、ディレクトリのツリー構造(例えば、/ホーム/スポーツ/フットボール/“今年、このクォーターバックは何ヤードパッシングしましたか?”、/ホーム/スポーツ/野球/“今年、このプレーヤは何本のホームランを打ちましたか?”、/ホーム/映画/“この俳優はアカデミーショーをかつて受賞しましたか?”)に組織化されることにより、ジャンル毎に利用することが可能である。当該技術分野の熟達者により体系化された何れかのディレクトリのツリー構造を用いることが可能である。例えば、“/ホーム/スポーツ/フットボール/クエリ”は、ファイルの分離した記録における各々の予めの質問又はファイルの単一の記録の分離したことばを含むファイルを表すことが可能である。
【0021】
取り決め通りの質問は、番組レベルの質問とセグメントレベルの質問を含むことが可能である。セグメントレベルの取り決め通りの質問は一時的なものである。即ち、番組が進化するにつれてそれらは移り変わり、そしてそれらは、番組のポイントで生じていることについてのコンテキストにおける番組の所定のポイントのみに関連している。例えば、あるチームがフィールドゴールにより得点した直後のフットボールゲームにおいて、タイムリーに取り決め通りの質問、例えば、“現在のシーズンの間に、このフィールドゴールキッカーは他に幾つのフィールドゴールを決めましたか?”がなされることが可能である。
【0022】
際限のない質問は何にも捕らわれない質問であり、取り決め通りの質問ではない。最終的なクエリの形式は、取り決め通りの質問を含まなければならない。従って、クエリ処理60は、ユーザ40から受信された際限のない質問の各々を、当該技術分野の熟達者に周知の技術に従って1つ又はそれ以上の標準的なクエリに変換され、必要に応じて答えを得る。例として、ユーザ40が、AチームとBチームの間のフットボールゲームを見ていて、“AチームがBチームに前回勝ったのはいつですか?”のような質問をクエリ処理60に送信したと仮定する。この例の質問は、標準的クエリリポジトリ64にある取り決め通りの質問の1つである可能性はあるが、層ではない際限のない質問である可能性がある。際限のない質問、即ちこの例の質問は、クエリ処理60によって、“AチームとBチームはいつ対戦して、最終スコアはどうでしたか?”のような取り決め通りの質問に変換された場合、この取り決め通りの質問に答えた後、クエリ処理60は、AチームのスコアがBチームのスコアより多い最近のゲームを選んで、最終スコアを調べる。
【0023】
ユーザ40が取り決めとおりの質問または際限のない質問に答える場合、質問は曖昧になる可能性があり、ユーザ40からのフィードバック双方向的作用62が必要である。例として、ユーザ40が映画“スタートレック”を観ていて、映像のシーンにおいて二人の俳優、キャプテンピカードとナンバーワンが現れ、ユーザ40が取り決め通りの質問“この俳優は、他にどのような映画に出演していますか?”をしたと仮定する。ここで、取り決め通りの質問は一人の俳優に特定化することを可能としないため、取り決め通りの質問は曖昧になる。従って、クエリ処理60は、フィードバック双方向的作用62(例えば、図1の出力装置20におけるポップアップメッセージによる)によりユーザ40に、“その俳優はキャプテンピカードですか、それともナンバーワンですか?”のように質問することが可能である。一旦ユーザ40がキャプテンピカードを選択すれば(例えば、遠隔制御又は音声入力による選択によって)、クエリ処理60は、“その俳優はキャプテンピカードの他にどのような映画に出演しましたか?”のような曖昧ではない形式でクエリを作り直すことが可能である。作り直された質問は、作り直された質問に答えるために外部データベース24を用いて更に処理されることが可能である。映画スタートレックのセグメントレベルにおける前の例は、ローカルコンテキストを有する取り決め通りの質問は更に処理するための適切な形式に質問を当て嵌めるためにセグメントレベルの入力を必要とする。そのようなセグメントレベルの入力を必要とする取り決め通りの質問は“不明確な質問”と呼ばれ、“不明確な形式”をとるとみなされる。そのような不明確な質問がセグメントレベルの入力と結合することにより適切な形式に作り直された後、作り直された質問は“明確な質問”と呼ばれ、“明確な形式”をとる。
【0024】
ユーザ40は、特に、遠隔制御装置、コンピュータキーボード又はマウス、音声認識ソフトウェアを用いるユーザ40の声を含むユーザ入力装置20を用いることにより、クエリ処理60と通信及び双方向的交流を行う(図1参照)。
【0025】
図2と関連して、ユーザ40によるクエリが更に処理するために適切な形式を一旦とると、クエリに対する答えを決定するためにクエリ処理60はローカルデータベース22、外部データベース24又はそれら両方を用い、そして図1の出力装置に対応する出力78における答えを出力する。番組レベルの質問に答えるためのローカルデータベース22を用いるために、クエリ処理60は特徴抽出54のソフトウェアを用いる。特徴抽出54のソフトウェアは番組レベルの特徴58を抽出し、ユーザ40による番組レベルのクエリに答えるためのクエリ処理60により用いられるローカルデータベース22にそのような抽出された特徴を配置する。上記のように、ローカルデータベース22の一部又は全部はメモリ構造体14の中に存在させることが可能である(図1参照)。特に、必要に応じてクエリ処理60に対して容易に利用可能とすることができるように、RAMバッファのような一時的メモリに、抽出された番組レベルの特徴58を配置することが可能である。
【0026】
“特徴”は信号レベルのデータ又はビデオソース30から由来するメタデータから構成されることが可能である(図1参照)。信号レベルのデータの特徴は、特に、色、形状又はテクスチャに関連することが可能である。メタデータの特徴は、特に、EPGデータ、又は1つ或いはそれ以上のテレビ番組に関連するEPGデータの現在或いは将来の代替となるものを含む。メタデータの特徴は、例えば、番組ジャンル(例えば、ニュース、スポーツ、映画等)、番組タイトル、キャスティング、テレビチャンネル、時間帯等の何れかの番組レベルの情報を含むことが可能である。信号レベルの特徴は、信号レベルのフォーマットを保つことが可能であり、又はそれに代えて、メタデータとしてエンコードされることが可能である。
【0027】
信号レベルの特徴又はメタデータの特徴は、特徴抽出54ソフトウェアの何れかのアルゴリズムに従って抽出される。そのようなアルゴリズムは、ローカルデータベース22に記憶されるユーザ40の個人的好み52(例えば、プログラムジャンル、特定の俳優、特定のフットボールチーム、特定の時間帯等)に従うことが可能である。例えば、ユーザ40の好みのチームは、特定の道筋に従って、特徴抽出54を集中的に行うために用いることが可能である。又、標準的クエリリポジトリ64における取り決め通りの質問をカスタマイズするために、ユーザ40の個人的な好み52を用いることが可能である。特徴抽出54は、バックグラウンドにおいて動的且つ自動的に行われ、ユーザの自由裁量に従い、上記のようにユーザ40の個人的好みにより影響されることが可能である。ユーザ40の個人的好みを展開させることを、当該技術分野の熟達者に周知である何れかの方法により達成することが可能であり、これらについては、(1)“METHOD AND APPARATUS FOR RECOMMENDING TELEVISION PROGRAMMING USING DECISION TREES”と題され、1999年12月17日に出願された、米国特許出願公開第09/466,406号明細書、及び(2)“METHOD AND APPARATUS FOR GENERATING SCORES USING IMPLICIT AND EXPLICIT VIEWING PREFERENCES”と題され、2000年9月20日に出願された、米国特許出願公開第09/666,401号明細書に開示されている。
【0028】
EPGデータから抽出される特徴又は現在或いは将来のEPG代替データに加えて、特徴抽出54は、テレビ番組のビデオデータと関連するオーディオ及びテキストデータからであって、特に、ビジュアル部分、閉じたキャプションテキスト、顔検出ソフトウェアを用いた顔、オーディオコンテンツ等から、特徴を抽出することが可能である。特徴抽出54は、当該技術分野の熟達者に周知である何れかの方法により実施することが可能であり、これらについては、“METHOD AND APPARATUS FOR AUDIO/DATA/VISUAL INFORMATION SELECTION”と題され、1999年11月18日に出願された、米国特許出願公開第09/442,960号明細書に開示されている。特徴抽出に関する他の適切な参考文献は、(1)N.Dimitrova,T.McGee,L.Agnihotri,S.Dagtas,and R.Jasinschi,On Selective Video Content Analysis and Filtering,presented at SPIE Conference on Image and Video Databases,San Jose,2000及び(2)N.Domitrova,L.Agnihotri,C.Dorai,and R.Bolle,MPEG−7 Videotext Description Scheme for Superimposed Text in Images and Video,Signal Processing:Image Communication Journal,Volume 16,pp.137−155,September 2000である。
【0029】
ローカルデータベース22に関連する特徴抽出54を、番組レベルのクエリ又はユーザの好みに鍵を付けられたセグメントレベルのクエリに答えるために用いることが可能である。しかしながら、又、外部データベース24を、番組レベルのクエリに対する答えを見つけるために用いることが可能である。更に、外部データベース24を、セグメントレベルのクエリに対する答えを見つけるために用いることが可能である。それ故、以下の説明は、ユーザ40によってなされる番組レベルのクエリ又はセグメントレベルのクエリに対する答えを見つけるためにクエリ処理60がどのように外部データベース24を用いるかについて、焦点を当てることにする。
【0030】
クエリ処理60に利用可能である外部データベースへのポインタは検索サイト説明66データベース又はリポジトリに記憶され、それはローカルデータベース22の一部であるか、又はクエリ処理60のソフトウェア内にエンコードされる。これらのポインタは、標準的なクエリリポジトリ64における取り決め通りの質問に関連するサブジェクトに従ってサブジェクト固有であることが可能である。これらのポインタはディレクトリのツリー構造内に組織化されることが可能である。例えば、ポインタは、インターネットウェブサイトのURL(Uniform Resource Locator)であるポインタであることが可能である。例として、ニュースのデータベースは、以下に示すように、検索サイト説明66データベース又はリポジトリに、/home/news/“httm://www.cnn.com”のように現れることが可能であり、一方、フットボールのデータベースは、以下に説明するように、検索サイト説明66データベース又はリポジトリに、/home/sports/football/“httm://www.nfl.com”のように現れることが可能である。当該技術分野における熟達者により体系化することが可能であるいずれかのディレクトリのツリー構造を用いることが可能である。例えば、“home/news/URL”は、検索サイト説明66データベース又はニュースのウェブサイト(例えば、“httm://www.cnn.com”,“httm://www.abc.com”等)へのポインタを含むリポジトリにおけるファイルを表すことが可能であり、それ故、そのようなポインタの各々はファイルの分離した記録であるか、又はファイルの単一の記録における分離したワードである。同様に、“home/sports/football/URL”は、検索サイト説明66データベース又はフットボールのウェブサイト(例えば、“httm://www.nfl.com”,“httm://www.football.com”等)へのポインタを含むリポジトリにおけるファイルを表すことが可能であり、それ故、そのようなポインタの各々はファイルの分離した記録であるか、又はファイルの単一の記録における分離したワードである。
【0031】
検索サイト説明66データベース又はリポジトリは、いずれかの利用可能である外部データベース24又は通信媒体又はパス26を経由して通信することが可能である情報ソースへのポインタを含むことが可能である(図1参照)。そのような外部データベース24又は情報ソースは、標準的なクエリリポジトリ64における取り決め通りの質問に関連するサブジェクトのためのデータ又は情報を有する外部サーバ又はリモートコンピュータを含むことが可能である。更に、外部データベースは、他のデータベース又は情報ソースから得られる特定のサブジェクト(例えば、映画、ジャズ、スポーツ等)のみに関するデータ又は情報を有する特定のサーバ又はリモートコンピュータを含むことが可能である。ユーザ40によりなされた質問に答えるために適切なデータベースへのポインタの選択は、他の情報ソースのサブジェクトコンテンツに質問のサブジェクトコンテンツをリンクすることを含むことが可能であり、そして当該技術分野の熟達者に知られた何れかの方法において実施することが可能であり、これらについては、“METHOD AND APPARATUS FOR LINKING A VIDEO SEGMENT TO ANOTHERVIDEO SEGMENT OR INFORMATION SOURCE”と題され、1999年7月9日に出願された、米国特許出願公開第09/351,086号明細書に開示されている。
【0032】
ユーザ40のクエリに対する答えを見つけるために検索サイト説明66データベース又はリポジトリにおける特定の外部データベースのポインタをクエリ処理60が一旦確認すれば、クエリ処理60は特定の外部データベース24とリンクするためにポインタを用い且つ特定の外部データベース24からデータ70を取り出し、ここで検索されたデータ70はクエリに関連している。クエリ処理60は、特定の外部データベース24におけるサブジェクト特有の宛先(例えば、クエリに関係するデータ又は情報を含む特定のインターネットウェブページ)又は検索エンジンの宛先(例えば、特定に外部データベースにおいて、自然言語検索のための質問又はキーボードベースの検索のための論理式のような検索パラメータに結合される、インターネット検索エンジンのウェブサイトhttp://www.altabista.com等の特定のデータベース)にリンクすることが可能である。例として、“俳優のクラーク ゲーブルはアカデミー賞を受賞したことがありますか?”のような、自然言語の質問を検索エンジンに対してすることが可能であり、又は、同じ質問についての論理式、即ち“クラーク ゲーブル”AND “アカデミー賞”、に基づいてキーボード検索により答えを得ることが可能である。検索されたデータ70は、インターネットウェブサイトからの1ページ又はそれ以上のウェブページの形式、遠隔サーバからのファイル、文書、スプレッドシート、グラフィック画像等の形式等の、何れかの形式とすることが可能である。
【0033】
クエリ処理60と外部サーバとの間で通信されたデータは、ウェブ上の構造化文書及びデータのためのXML(Extensible Markup Language)ユニバーサルフォーマット、連続階調画像コーディングのためのJPEG(Joint Photographic Experts Group)、大量市場の大容量デジタル蓄積に基づくオーディオビジュアル及び他のサービスを可能にするTV Anytime Forum standards等の、外部サーバ24が認識できるデータフォーマットとされる。実態的には、外部サーバ24は、文字列、数値データ、グラフィックス等として、受け取られたデータ70を送り、クエリ処理60により要求に応じて含まれる情報(例えば、俳優の名前、シーンの説明等)を提供する。
【0034】
クエリに一般的に関連するデータが外部データベース24において一旦データを取り出されると70、情報抽出72は検索されたデータから特定の情報を抽出し、クエリに実際に答えることを容易にする。情報抽出72は情報のろ過プロセスを実施し、“もみ殻から小麦を分離し”、即ち、検索されたデータ70から不適切な情報を排除し、且つ検索されたデータ70から適切な情報を保持する。外部データベースが必要な処理能力を持っている場合、情報抽出72は外部データベースのサイトで実施することが可能である。そうでなければ、或いはそれに代えて、情報抽出72はクエリ処理60部又はコンピュータコード32(図1参照)の一部として実施することが可能である。次いで、抽出された情報72は、必要に応じて、クエリに対する最終的な答えに至るために、外部データベース又はクエリ処理60により更に処理される。そのような更なる処理の例としては、結果の適合化76がある。外部データベース24についての情報抽出72がローカルデータベース22についての抽出されたプログラムの特徴に類似していることに留意されたい。情報抽出を、当該技術分野の熟達者に周知の何れかの方法において実施することが可能である。
【0035】
情報抽出72のルールは、クエリが処理されているときにリアルタイムにダイナミックに構築される。例として、著名人(俳優、政治家、スポーツ選手等)の情報を抽出することに関する、一般的な情報抽出のルールについて考えることにする。トークショーの間に、複数の著名人のカテゴリーの人達がそのトークショーのゲストとして登場することがある。情報抽出72は、トークショーの特定のセグメントにおいて誰が特別ゲストであるかに関する情報を抽出する。このように、特別ゲストの名前は情報抽出タスクのパラメータであり、クエリそのものの一部となる。情報抽出タスクは、特別ゲストについての情報を検索するために特化され、特定のゲストに関して特定の一連のウェブサイト又はデータベースを検索する。ローカルコンテキスト情報(即ち、特定のゲスト)はセグメントレベルアーキテクチャの結果である。
【0036】
結果の適合化76は、クエリへに答えることが複数の情報ソースを必要とし、次いで、複数のソースにおける結果としてのデータを1つの答えにまとめる。複数のソースは、特に、複数の外部ソース、ローカルソース及び1つ又はそれ以上の外部ソース等を含むことが可能である。例えば、“この俳優は幾つの映画に出演しましたか?”の質問は、2つの外部ソース、ソースAとソースBを必要とすることが可能である。10本の映画の名前がソースAから挙げられ、5本の映画がソース5から挙げられた場合、及びソースAとソースBから挙げられた3本の映画が共通である場合、クエリ処理60は、ソースAとソースBの映画の名前を互いに適合させて、12本の区別可能な映画の名前が結果的に得られる。
【0037】
クエリ処理60がユーザ40による質問に対する答えを決定した後、クエリ処理60は、1つ又はそれ以上の出力装置20(図1参照)における出力78によりユーザ40に答えを通信する。出力78は任意の形式をとることが可能であり、メッセージ(例えば、電子メール)を配信する任意の方法によりユーザ40に配信することが可能である。出力78が配信されることが可能である、1つまたはそれ以上の出力装置20の例としては、携帯情報端末、携帯電話、テレビ表示装置、コンピュータモニタ、プリンタ、プロッタ、オーディオスピーカ等が挙げられる。出力78は、メッセージ(例えば、電子メール)を配信する何れかの方法によりユーザ40に通信されることが可能である。ユーザ40への答えを通信するために用いられる特定の出力装置20は、クエリ処理60にハードコード化されるか、又はフィードバック双方向的作用62を経由してユーザ40により選択されることが可能である。
【0038】
クエリ処理60は、所定のデータベースが要求された情報を返すことが可能でない事実を説明する論理を含んでいる。
例えば、特定のサーバが要求された情報を提供することに失敗した場合、クエリ処理60は、要求された同じ情報を探すためにインターネットウェブサイトに入っていく。更に、外部ソースが検索されるべきか否かを決定するために、ユーザ40の好みが用いられることが可能である。例えば、ユーザ40は、フットボールについての質問を検索することがインターネットのウェブサイト、例えば“http://www.nfl.com”を含む必要があり、“httm://aspn.go.com/abcsports/mnf”は排除するべきであることを指示することが可能である。
【0039】
上述で考慮したものはダイナミックでリアルタイムのユーザのクエリの処理である一方、本発明の請求の範囲はまた、過去に生じた又は将来生じるであろうビデオコンテンツ(例えば、テレビ番組)についてのユーザの質問の処理を含む。そのようなビデオコンテンツは、再生されたとき、ユーザ40のクエリを処理する目的のためにリアルタイムに映像化されるようにシミュレートされるため、本発明の実施形態におけるユーザの質問の処理は、VHSテーププレーヤ又はセットトップボックスにおけるパーソナルビデオレコーダー等に記録された過去のビデオコンテンツに適用される。それに代えて、テレビ番組のトレース(例えば、選択されたフレーム又は画像、選択されたテキスト、選択されたオーディオ等)は、VHSテーププレーヤ又はセットトップボックスにおけるパーソナルビデオレコーダー等に記憶することが可能であり(全てのテレビ番組を記憶することとは対照的に)、そのトレースの再生は、ユーザに、トレースが結び付けられるテレビ番組についての質問をさせるトリガーになり得る。
【0040】
上記説明は、図1のローカルデータベースを、番組レベルのクエリをサポートすることが可能であるとして特徴つける一方、本発明の請求の範囲においては、更に、ローカルデータベース22はセグメントレベルのクエリをサポートすることが可能である(例えば、ユーザの好みに関連するセグメントレベルのクエリ)。
【0041】
以上の本発明の特定の実施形態は具体例を明確にするために説明したものであり、種々の改良及び変形が可能であることは、当業者にとっては容易に理解できるであろう。したがって、本発明の主旨及び請求範囲に照らして、本発明の請求項はそのような改良および変形を包含することを意図するものである。
【図面の簡単な説明】
【0042】
【図1】本発明の実施形態に従ったビデオ処理アーキテクチャのブロック図である。
【図2】本発明の実施形態に従い且つ図1のビデオ処理アーキテクチャに従ったダイナミックビデオクエリ処理システムを示す図である。
Claims (24)
- ビデオクエリ処理ソフトウェアを供給する段階;
ビデオコンテンツを供給する段階;
ビデオコンテンツにソフトウェアをダイナミックにリンクする段階;
ビデオコンテンツのセグメントに鍵を付けられたクエリをソフトウェアにより受け取る段階;並びに
クエリへの答えをソフトウェアにより決定する段階;
から構成されることを特徴とするビデオクエリ処理方法。 - 請求項1に記載の方法であって、クエリへの答えをソフトウェアにより決定する段階は、ソフトウェアにより情報を受け取る手順であって、情報はデータベースから導き出され且つ情報はクエリに答える、手順から構成される、ことを特徴とする方法。
- 請求項2に記載の方法であって、ソフトウェアにより情報を受け取る手順は:
データベースからデータを受け取る部分であって、データは情報を含む、部分;並びに
データから情報を抽出する部分;
から構成される、ことを特徴とする方法。 - 請求項2に記載の方法であって、ソフトウェアにより情報を受け取る手順は:
データベースにおいてデータを見つける部分であって、データは情報に含まれる、部分;
データベースにおいてデータから情報を抽出する部分;並びに
ソフトウェアに情報を送る部分;
から構成される、ことを特徴とする方法。 - 請求項2に記載の方法であって、検索サイト説明リポジトリに位置付けられたポインタによりデータベースを確認する手順から更に構成される、ことを特徴とする方法。
- 請求項1に記載の方法であって、クエリへの答えをソフトウェアにより決定する段階は:
複数のデータベースの各々のデータベースから導き出されたソフトウェアの情報により受け取る手順であって、各々のでエータベースはビデオ処理システムの外部にあり、且つ各々のデータベースから導き出された情報はクエリに対して部分的に答える、手順;並びに
答えに到達するために各々のデータベースから導き出された情報をまとめる手順;
から構成される、ことを特徴とする方法。 - ビデオコンテンツにダイナミックにリンクされ、ビデオコンテンツのセグメントに鍵を付けられたクエリを受け取り、且つクエリへの答えを決定する、ビデオクエリ処理ソフトウェアから構成されることを特徴とするビデオクエリ処理システム。
- 請求項7に記載のシステムであって、データベースから更に構成され、ソフトウェアはデータベースから導き出された情報を受け取ることにより答えを決定し且つ情報がクエリに対して答える、ことを特徴とするシステム。
- 請求項8に記載のシステムであって、ソフトウェアはデータベースからデータを受け取り、データは情報を含み、且つソフトウェアはデータから情報を抽出する、ことを特徴とするシステム。
- 請求項8に記載のシステムであって、データベースにおけるデータは情報を含み、情報はデータベースにおいてデータから抽出し、そのように抽出された情報はソフトウェアに送られる、ことを特徴とするシステム。
- 請求項8に記載のシステムであって、ソフトウェアに結合される検索サイト説明リポジトリから更に構成され、間作サイト説明リポジトリはデータベースを確認するポインタを含む、ことを特徴とするシステム。
- 請求項8に記載のシステムであって、ソフトウェアはビデオ処理システム内にあり、且つデータベースはビデオ処理システムの外部にある、ことを特徴とするシステム。
- 請求項7に記載のシステムであって、複数のデータベースから更に構成され、ソフトウェアは複数のデータベースの各々のデータベースから導き出された情報を受け取り、各々のデータベースはVPSの外部にあり、各々のデータベースから導き出された情報はクエリに対して部分的に答え、且つシステムは答えに到達するために各々のデータベースから導き出された情報をまとめる、ことを特徴とするシステム。
- 請求項13に記載のシステムであって、ソフトウェアは各々のデータベースからデータを受け取り、各々のデータベースから受け取られたデータは各々のデータベースから導かれた情報を含み、且つソフトウェアは各々のデータベースのデータから各々のデータベースから導き出された情報を抽出する、ことを特徴とするシステム。
- 請求項13に記載のシステムであって、各々のデータベースにおけるデータは各々のデータベースから導き出された情報を含み、情報は各々のデータベースにおけるデータから各々のデータベースにおいて抽出され、且つそのように抽出された情報はソフトウェアに送られる、ことを特徴とするシステム。
- 請求項7に記載のシステムであって、クエリは取り決め通りのクエリであって、ビデオコンテンツのジャンルの関数である、ことを特徴とするシステム。
- 請求項7に記載のシステムであって、クエリは際限のないクエリであり、且つソフトウェアは際限のないクエリから少なくとも1つの取り決め通りのクエリを導き出す、ことを特徴とするシステム。
- 請求項7に記載のシステムであって、ソフトウェアはビデオコンテンツに関連する番組レベルの質問を受け取り、質問に対する答えを確かめる、ことを特徴とするシステム。
- 請求項18に記載のシステムであって、ソフトウェアはビデオコンテンツから特徴を抽出し、かつ質問に対する答えを確かめることは質問に答えるために抽出された特徴を用いることを含む、ことを特徴とするシステム。
- 請求項19に記載のシステムであって、特徴を抽出することは、クエリ処理システムのユーザの好みを考慮することを含む、ことを特徴とするシステム。
- ビデオ処理システムから構成されるビデオ処理アーキテクチャであって、ビデオ処理システムは:
プロセッサ;
プロセッサに結合されたメモリ構造体であって、メモリ構造体はコンピュータコードから構成され、コンピュータコードはビデオコンテンツにドラマチックにリンクし、ビデオコンテンツのセグメントに鍵を付けられたクエリを受け取り、
クエリへの答えを決定するビデオクエリソフトウェアを含む、メモリ構造体;
プロセッサに結合されたローカルデータベース;
プロセッサ及びローカルデータベースに結合されたビデオ入力装置;並びに
プロセッサに結合された出力装置;
から構成されることを特徴とするビデオ処理アーキテクチャ。 - 請求項21に記載のビデオ処理アーキテクチャであって、ソフトウェアに結合された外部データベースから更に構成され、ビデオクエリソフトウェアはクエリへの答えを決定するために外部データベースを用いる、ことを特徴とするビデオ処理アーキテクチャ。
- 請求項21に記載のビデオ処理アーキテクチャであって、ビデオソースから更に構成され、ビデオ処理アーキテクチャは、ビデオソースがビデオ処理システムにビデオコンテンツを送ることを可能にする、ことを特徴とするビデオ処理アーキテクチャ。
- コンピュータプログラムプロダクトであって、請求項7乃至20の何れか一項に規定されるようなビデオクエリ処理システムとして機能するために前記コンピュータプログラムプロダクトを実行するとき、プログラム可能な装置を有効にすることを特徴とするコンピュータプログラムプロダクト。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/818,303 US20020144293A1 (en) | 2001-03-27 | 2001-03-27 | Automatic video retriever genie |
PCT/IB2002/000868 WO2002077864A2 (en) | 2001-03-27 | 2002-03-12 | Automatic video retriever genie |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004528640A true JP2004528640A (ja) | 2004-09-16 |
Family
ID=25225195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002575839A Withdrawn JP2004528640A (ja) | 2001-03-27 | 2002-03-12 | 自動ビデオ検索の方法、システム、アーキテクチャ及びコンピュータプログラムプロダクト |
Country Status (6)
Country | Link |
---|---|
US (1) | US20020144293A1 (ja) |
EP (1) | EP1405215A2 (ja) |
JP (1) | JP2004528640A (ja) |
KR (1) | KR20030007727A (ja) |
CN (1) | CN1326075C (ja) |
WO (1) | WO2002077864A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010510698A (ja) * | 2006-12-18 | 2010-04-02 | キヤノン株式会社 | ダイナミックレイアウト |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0108355D0 (en) * | 2001-04-03 | 2001-05-23 | Gemstar Dev Ltd | Retrospective electronic program guide |
TWI244005B (en) * | 2001-09-13 | 2005-11-21 | Newsoft Technology Corp | Book producing system and method and computer readable recording medium thereof |
US7120873B2 (en) * | 2002-01-28 | 2006-10-10 | Sharp Laboratories Of America, Inc. | Summarization of sumo video content |
KR100421766B1 (ko) * | 2002-05-16 | 2004-03-11 | 한국전자통신연구원 | 전자 프로그램 안내(epg/이피지) 애플리케이션에서러프 퍼지 mlp를 이용한 프로그램 추천 장치 및 방법 |
US8037496B1 (en) * | 2002-12-27 | 2011-10-11 | At&T Intellectual Property Ii, L.P. | System and method for automatically authoring interactive television content |
US20040268403A1 (en) * | 2003-06-26 | 2004-12-30 | Microsoft Corporation | Context-sensitive television tags |
KR20060095558A (ko) * | 2003-09-30 | 2006-08-31 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 휴대형 정보 시스템을 위한 정보를 자동으로 검색하기 위한시스템 및 방법 |
US8201073B2 (en) | 2005-08-15 | 2012-06-12 | Disney Enterprises, Inc. | System and method for automating the creation of customized multimedia content |
EP1922864B1 (en) * | 2005-08-15 | 2018-10-10 | Disney Enterprises, Inc. | A system and method for automating the creation of customized multimedia content |
US20070192793A1 (en) * | 2006-02-11 | 2007-08-16 | Samsung Electronics Co., Ltd. | Electronic programming guide providing apparatus and method |
US20080082578A1 (en) | 2006-09-29 | 2008-04-03 | Andrew Hogue | Displaying search results on a one or two dimensional graph |
GB2447876B (en) * | 2007-03-29 | 2009-07-08 | Sony Uk Ltd | Recording apparatus |
US8000972B2 (en) * | 2007-10-26 | 2011-08-16 | Sony Corporation | Remote controller with speech recognition |
US20090144776A1 (en) * | 2007-11-29 | 2009-06-04 | At&T Knowledge Ventures, L.P. | Support for Personal Content in a Multimedia Content Delivery System and Network |
CN101252750A (zh) * | 2008-04-11 | 2008-08-27 | 华为技术有限公司 | 一种移动搜索的方法、***和设备 |
WO2012083836A1 (zh) * | 2010-12-20 | 2012-06-28 | 联想(北京)有限公司 | 信息推送装置、方法、服务器及视频播放装置 |
US8612754B2 (en) * | 2011-06-14 | 2013-12-17 | At&T Intellectual Property I, L.P. | Digital fingerprinting via SQL filestream with common text exclusion |
CN104066009B (zh) * | 2013-10-31 | 2015-10-14 | 腾讯科技(深圳)有限公司 | 节目识别方法、装置、终端、服务器及*** |
US9363551B2 (en) | 2013-10-31 | 2016-06-07 | Tencent Technology (Shenzhen) Company Limited | TV program identification method, apparatus, terminal, server and system |
US10002191B2 (en) * | 2013-12-31 | 2018-06-19 | Google Llc | Methods, systems, and media for generating search results based on contextual information |
US9456237B2 (en) | 2013-12-31 | 2016-09-27 | Google Inc. | Methods, systems, and media for presenting supplemental information corresponding to on-demand media content |
US10817520B1 (en) * | 2015-02-25 | 2020-10-27 | EMC IP Holding Company LLC | Methods, systems, and computer readable mediums for sharing user activity data |
US10204104B2 (en) | 2015-04-14 | 2019-02-12 | Google Llc | Methods, systems, and media for processing queries relating to presented media content |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5553221A (en) * | 1995-03-20 | 1996-09-03 | International Business Machine Corporation | System and method for enabling the creation of personalized movie presentations and personalized movie collections |
US6061056A (en) * | 1996-03-04 | 2000-05-09 | Telexis Corporation | Television monitoring system with automatic selection of program material of interest and subsequent display under user control |
US5893110A (en) * | 1996-08-16 | 1999-04-06 | Silicon Graphics, Inc. | Browser driven user interface to a media asset database |
CA2286708A1 (en) * | 1997-05-09 | 1998-11-12 | Neomedia Technologies, Inc. | Method for embedding links to a networked resource in a transmission medium |
US6028600A (en) * | 1997-06-02 | 2000-02-22 | Sony Corporation | Rotary menu wheel interface |
US6766320B1 (en) * | 2000-08-24 | 2004-07-20 | Microsoft Corporation | Search engine with natural language-based robust parsing for user query and relevance feedback learning |
-
2001
- 2001-03-27 US US09/818,303 patent/US20020144293A1/en not_active Abandoned
-
2002
- 2002-03-12 JP JP2002575839A patent/JP2004528640A/ja not_active Withdrawn
- 2002-03-12 WO PCT/IB2002/000868 patent/WO2002077864A2/en not_active Application Discontinuation
- 2002-03-12 EP EP02713098A patent/EP1405215A2/en not_active Withdrawn
- 2002-03-12 KR KR1020027016112A patent/KR20030007727A/ko not_active Application Discontinuation
- 2002-03-12 CN CNB028008480A patent/CN1326075C/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010510698A (ja) * | 2006-12-18 | 2010-04-02 | キヤノン株式会社 | ダイナミックレイアウト |
Also Published As
Publication number | Publication date |
---|---|
CN1326075C (zh) | 2007-07-11 |
KR20030007727A (ko) | 2003-01-23 |
WO2002077864A3 (en) | 2004-02-05 |
WO2002077864A2 (en) | 2002-10-03 |
US20020144293A1 (en) | 2002-10-03 |
CN1518710A (zh) | 2004-08-04 |
EP1405215A2 (en) | 2004-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11468109B2 (en) | Searching for segments based on an ontology | |
JP2004528640A (ja) | 自動ビデオ検索の方法、システム、アーキテクチャ及びコンピュータプログラムプロダクト | |
US11197036B2 (en) | Multimedia stream analysis and retrieval | |
US10567834B2 (en) | Using an audio stream to identify metadata associated with a currently playing television program | |
US9100723B2 (en) | Method and system for managing information on a video recording | |
KR100684484B1 (ko) | 비디오 세그먼트를 다른 비디오 세그먼트 또는 정보원에링크시키는 방법 및 장치 | |
KR101382499B1 (ko) | 영상 태깅 방법 및 이를 사용하는 영상 재생 장치. | |
US7904452B2 (en) | Information providing server, information providing method, and information providing system | |
US20070101266A1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
US8849959B2 (en) | Systems and method for using closed captions to initiate display of related content on a second display device | |
CN101778233B (zh) | 数据处理装置以及数据处理方法 | |
US20050060741A1 (en) | Media data audio-visual device and metadata sharing system | |
US20190007711A1 (en) | Named Entity Disambiguation for providing TV content enrichment | |
JP2003157288A (ja) | 情報関連付け方法、端末装置、サーバ装置、プログラム | |
JP2002335473A (ja) | 動画コンテンツの検索情報抽出システム、検索情報抽出方法、検索情報保存システム、動画コンテンツのストリーミング配信方法 | |
EP2336900A2 (en) | Search device and search method | |
WO2007073053A1 (en) | Method for searching situation of moving picture and system using the same | |
JP2004514350A (ja) | 番組の要約と索引付け | |
JP2011049707A (ja) | 動画再生装置、動画再生方法及びプログラム | |
Lyu et al. | Multi Model Digital Video Library | |
JP2008027258A (ja) | データ表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050308 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20071126 |