JPH11250104A - 画像情報検索装置及び方法、ビデオ表示から代表画像を選択する方法、ビデオデータベースから画像を表示するシステム、並びに、画像情報検索プログラムを記録した記録媒体 - Google Patents
画像情報検索装置及び方法、ビデオ表示から代表画像を選択する方法、ビデオデータベースから画像を表示するシステム、並びに、画像情報検索プログラムを記録した記録媒体Info
- Publication number
- JPH11250104A JPH11250104A JP10261505A JP26150598A JPH11250104A JP H11250104 A JPH11250104 A JP H11250104A JP 10261505 A JP10261505 A JP 10261505A JP 26150598 A JP26150598 A JP 26150598A JP H11250104 A JPH11250104 A JP H11250104A
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- user
- display
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】 ビデオ情報へのユーザアクセスを改善する。
【解決手段】 ビデオデータベースは、ビデオデータベ
ースのビデオ成分を伴うクローズドキャプション（clos
ed captioning ）用語を使用して索引付けられる。ビデ
オデータベースに対してクワィアリが実行されると、ク
ワィアリに関連するビデオ成分に一致するヒットのリス
トが、ヒットリストにおける各ビデオ成分から代表画像
を選択し、対応するクローズドキャプション（closed c
aptioned）テキストを伴うサムネイル画像の配列でユー
ザに代表画像を表示することで、ユーザに表示される。
ースのビデオ成分を伴うクローズドキャプション（clos
ed captioning ）用語を使用して索引付けられる。ビデ
オデータベースに対してクワィアリが実行されると、ク
ワィアリに関連するビデオ成分に一致するヒットのリス
トが、ヒットリストにおける各ビデオ成分から代表画像
を選択し、対応するクローズドキャプション（closed c
aptioned）テキストを伴うサムネイル画像の配列でユー
ザに代表画像を表示することで、ユーザに表示される。
Description
【０００１】
【発明の属する技術分野】本発明は、情報検索システム
に関し、より詳細には、ユーザクワィアリ（query ）に
応じて、ビデオデータベースにおけるヒットとして識別
されるビデオ成分の代表画像の表示及び選択に関する。
に関し、より詳細には、ユーザクワィアリ（query ）に
応じて、ビデオデータベースにおけるヒットとして識別
されるビデオ成分の代表画像の表示及び選択に関する。
【０００２】
【従来の技術】情報検索システムは公知である。特に、
基礎となるドキュメントの完全なテキスト索引付けに基
づく情報検索システムが公知である。同様に、ビデオ情
報のデータベースも公知である。一般に、これらは、ユ
ーザクワィアリに応じて検索され得る所望画像を含むビ
デオクリップを可能にする適切なキーワードにより手動
で索引が付された画像，ビデオクリップ又は完全なビデ
オ録画（以下、まとめて「ビデオクリップ」という）を
含んでいる。
基礎となるドキュメントの完全なテキスト索引付けに基
づく情報検索システムが公知である。同様に、ビデオ情
報のデータベースも公知である。一般に、これらは、ユ
ーザクワィアリに応じて検索され得る所望画像を含むビ
デオクリップを可能にする適切なキーワードにより手動
で索引が付された画像，ビデオクリップ又は完全なビデ
オ録画（以下、まとめて「ビデオクリップ」という）を
含んでいる。
【０００３】関連ビデオ表示の音声トラック上で表わさ
れる実際の言葉や音がディジタル情報として表わされる
ビデオ表示又はビデオ録画のクローズドキャプション
（closed-captioning ）もまた、当技術分野で公知であ
る。一般に、ディジタル情報は、音声表示を聞き、法廷
のレポータのように、言葉を写し又は何が起こっている
かの説明を提供する人物により準備される。
れる実際の言葉や音がディジタル情報として表わされる
ビデオ表示又はビデオ録画のクローズドキャプション
（closed-captioning ）もまた、当技術分野で公知であ
る。一般に、ディジタル情報は、音声表示を聞き、法廷
のレポータのように、言葉を写し又は何が起こっている
かの説明を提供する人物により準備される。
【０００４】
【発明が解決しようとする課題】しかしながら、手動に
より、ビデオ情報に索引を付けるだけでなく、ユーザに
対するサーチ結果表示における困難性のため、従来技術
は、最適なものではない。一般に、ビデオ情報は、１回
に１つの画像が表示されるだけであるので、ビデオデー
タベースに対するクワィアリに応じて検索された画像を
再検討するのに時間がかかりかつ手間のかかるプロセス
となる。
より、ビデオ情報に索引を付けるだけでなく、ユーザに
対するサーチ結果表示における困難性のため、従来技術
は、最適なものではない。一般に、ビデオ情報は、１回
に１つの画像が表示されるだけであるので、ビデオデー
タベースに対するクワィアリに応じて検索された画像を
再検討するのに時間がかかりかつ手間のかかるプロセス
となる。
【０００５】そこで、本発明は以上のような従来の問題
点に鑑み、ビデオ情報へのユーザアクセスを改善するこ
とを目的とする。
点に鑑み、ビデオ情報へのユーザアクセスを改善するこ
とを目的とする。
【０００６】
【課題を解決するための手段】本発明は、情報検索シス
テムを使用して、ビデオデータベースに対するクワィア
リの実行結果を視覚的に表示する技術に関する。ビデオ
番組又はビデオ録画に付随するクローズドキャプション
（closed-captioning ）情報は、検索用の画像に索引を
付けるために利用される。従って、原文の（textual ）
クワィアリが提出されると、クワィアリに関連する画像
情報を含む１つ以上のビデオクリップを識別するため
に、クローズドキャプション（closed-captioned）情報
に対してサーチが実行される。各ビデオ録画又はビデオ
クリップの代表画像は、表示用のその画像の選択に帰着
するクローズドキャプション（closed-captioning ）資
料の一部分と共に、サムネイルサイズに処理され、配列
に配置される。
テムを使用して、ビデオデータベースに対するクワィア
リの実行結果を視覚的に表示する技術に関する。ビデオ
番組又はビデオ録画に付随するクローズドキャプション
（closed-captioning ）情報は、検索用の画像に索引を
付けるために利用される。従って、原文の（textual ）
クワィアリが提出されると、クワィアリに関連する画像
情報を含む１つ以上のビデオクリップを識別するため
に、クローズドキャプション（closed-captioned）情報
に対してサーチが実行される。各ビデオ録画又はビデオ
クリップの代表画像は、表示用のその画像の選択に帰着
するクローズドキャプション（closed-captioning ）資
料の一部分と共に、サムネイルサイズに処理され、配列
に配置される。
【０００７】本発明の前述並びに他の特徴，様相及び利
点は、添付図面に関連した本発明の次の詳細な説明から
明らかになるであろう。本発明にシステムの目的，特徴
及び利点は、次の説明から明白であろう。
点は、添付図面に関連した本発明の次の詳細な説明から
明らかになるであろう。本発明にシステムの目的，特徴
及び利点は、次の説明から明白であろう。
【０００８】
【発明の実施の形態】注釈及び用語体系 以下の詳細な説明は、コンピュータ又はコンピュータネ
ットワーク上で実行されるプログラム手順に関して示さ
れる。これらの手順の説明及び表現は、本技術分野の他
の熟練者にそれらの働きの要旨を最も効果的に伝えるた
めに、本技術分野の熟練者により使用される手段であ
る。
ットワーク上で実行されるプログラム手順に関して示さ
れる。これらの手順の説明及び表現は、本技術分野の他
の熟練者にそれらの働きの要旨を最も効果的に伝えるた
めに、本技術分野の熟練者により使用される手段であ
る。
【０００９】ここで、手順は、一般に、所望の結果に導
く自己調和型の連続ステップであると考えられる。これ
らの工程は、物理量の物理的な操作を必要とする工程で
ある。通常、必要ではないけれども、これらの量は、記
憶，伝送、結合，比較或いは別な方法で操作が可能な電
気又は磁気信号の形式をとる。主に共通利用の理由のた
め、これらの信号をビット，値，要素，記号，文字，用
語、数等として見做すのが都合が良いことがある。しか
しながら、これらの及び同様の用語の全ては、適切な物
理量に関連付けられ、かつ、単にこれらの量に付された
都合上のラベルにすぎないことは言うまでもない。
く自己調和型の連続ステップであると考えられる。これ
らの工程は、物理量の物理的な操作を必要とする工程で
ある。通常、必要ではないけれども、これらの量は、記
憶，伝送、結合，比較或いは別な方法で操作が可能な電
気又は磁気信号の形式をとる。主に共通利用の理由のた
め、これらの信号をビット，値，要素，記号，文字，用
語、数等として見做すのが都合が良いことがある。しか
しながら、これらの及び同様の用語の全ては、適切な物
理量に関連付けられ、かつ、単にこれらの量に付された
都合上のラベルにすぎないことは言うまでもない。
【００１０】さらに、実行された操作は、人間のオペレ
ータにより実行された精神的な操作に一般に関連した付
加又は比較のような、用語で参照される。本発明の一部
分を形成するここで説明される操作のいずれも、ほとん
どの場合、人間のオペレータのそのような能力は、必要
なくまた望まれない。操作は機械操作である。本発明の
操作を実行する有用な機械は、汎用ディジタルコンピュ
ータ又は同様な装置を含んでいる。
ータにより実行された精神的な操作に一般に関連した付
加又は比較のような、用語で参照される。本発明の一部
分を形成するここで説明される操作のいずれも、ほとん
どの場合、人間のオペレータのそのような能力は、必要
なくまた望まれない。操作は機械操作である。本発明の
操作を実行する有用な機械は、汎用ディジタルコンピュ
ータ又は同様な装置を含んでいる。
【００１１】本発明はまた、これらの操作を実行する装
置に関する。この装置は、特に、要求目的のために構成
され、又は、コンピュータに記憶されたコンピュータプ
ログラムにより選択的に作動され若しくは再構成される
汎用コンピュータを含んで構成される。ここで示される
手順は、本質的に、特定のコンピュータ又は他の装置に
関するものではない。種々の汎用機は、ここの開示に応
じて書かれたプログラムで使用され、又は、要求される
方法の工程を実行するためのより専用化された装置を構
成するのにより便利であることが証明する。これらの種
々の機械のための要求される構造は、以下の説明から明
らかである。好ましい実施形態 図１は、本発明を実行するのに適した形式のコンピュー
タを図示する。図１で外部から見ると、コンピュータシ
ステムは、ディスクドライブ１１０Ａ及び１１０Ｂを有
する中央処理ユニット１００を備える。ディスクドライ
ブ表示１１０Ａ及び１１０Ｂは、コンピュータシステム
により収納される多数のディスクドライブの記号にすぎ
ない。一般に、これらは、１１０Ａのようなフロッピデ
ィスクドライブ，ハードディスクドライブ（外部に表示
せず）及びスロット１１０Ｂにより示されるＣＤ−ＲＯ
Ｍドライブを含む。ドライブの数及び形式は、一般に、
異なったコンピュータ構成で変更する。コンピュータ
は、情報が表示されるディスプレイ１２０を備える。キ
ーボード１３０及びマウス１４０もまた、一般に、入力
デバイスとして利用され得る。図１に図示されるコンピ
ュータは、サンマイクロシステムズインコーポレーテッ
ドのＳＰＡＲＣワークステーションであることが好まし
い。
置に関する。この装置は、特に、要求目的のために構成
され、又は、コンピュータに記憶されたコンピュータプ
ログラムにより選択的に作動され若しくは再構成される
汎用コンピュータを含んで構成される。ここで示される
手順は、本質的に、特定のコンピュータ又は他の装置に
関するものではない。種々の汎用機は、ここの開示に応
じて書かれたプログラムで使用され、又は、要求される
方法の工程を実行するためのより専用化された装置を構
成するのにより便利であることが証明する。これらの種
々の機械のための要求される構造は、以下の説明から明
らかである。好ましい実施形態 図１は、本発明を実行するのに適した形式のコンピュー
タを図示する。図１で外部から見ると、コンピュータシ
ステムは、ディスクドライブ１１０Ａ及び１１０Ｂを有
する中央処理ユニット１００を備える。ディスクドライ
ブ表示１１０Ａ及び１１０Ｂは、コンピュータシステム
により収納される多数のディスクドライブの記号にすぎ
ない。一般に、これらは、１１０Ａのようなフロッピデ
ィスクドライブ，ハードディスクドライブ（外部に表示
せず）及びスロット１１０Ｂにより示されるＣＤ−ＲＯ
Ｍドライブを含む。ドライブの数及び形式は、一般に、
異なったコンピュータ構成で変更する。コンピュータ
は、情報が表示されるディスプレイ１２０を備える。キ
ーボード１３０及びマウス１４０もまた、一般に、入力
デバイスとして利用され得る。図１に図示されるコンピ
ュータは、サンマイクロシステムズインコーポレーテッ
ドのＳＰＡＲＣワークステーションであることが好まし
い。
【００１２】図２は、図１のコンピュータの内部ハード
ウエアのブロック図を図示する。バス１５０は、コンピ
ュータの他の構成要素を相互接続する主情報路としての
役割をする。ＣＰＵ１５５は、プログラムを実行するた
めに要求される計算及び論理演算を実行するシステムの
中央処理装置である。読取り専用メモリ１６０及びラン
ダムアクセスメモリ１６５は、コンピュータの主メモリ
を構成する。ディスクコントローラ１７０は、１つ以上
のディスクドライブをシステムバス１５０にインタフェ
ースする。これらのディスクドライブは、１７３のよう
なフロッピディスクドライブ，１７２のような内部若し
くは外部ハードドライブ、又は、１７１のようなＣＤ−
ＲＯＭドライブ若しくはＤＶＤ（Digital Video Disks
）ドライブであればよい。ディスプレイインタフェー
ス１７５は、ディスプレイ１２０とインタフェースし、
バスからの情報をディスプレイ上で見られるようにす
る。外部装置との通信は、通信ポート１７５を介して行
われる。
ウエアのブロック図を図示する。バス１５０は、コンピ
ュータの他の構成要素を相互接続する主情報路としての
役割をする。ＣＰＵ１５５は、プログラムを実行するた
めに要求される計算及び論理演算を実行するシステムの
中央処理装置である。読取り専用メモリ１６０及びラン
ダムアクセスメモリ１６５は、コンピュータの主メモリ
を構成する。ディスクコントローラ１７０は、１つ以上
のディスクドライブをシステムバス１５０にインタフェ
ースする。これらのディスクドライブは、１７３のよう
なフロッピディスクドライブ，１７２のような内部若し
くは外部ハードドライブ、又は、１７１のようなＣＤ−
ＲＯＭドライブ若しくはＤＶＤ（Digital Video Disks
）ドライブであればよい。ディスプレイインタフェー
ス１７５は、ディスプレイ１２０とインタフェースし、
バスからの情報をディスプレイ上で見られるようにす
る。外部装置との通信は、通信ポート１７５を介して行
われる。
【００１３】図３は、図２の１７３又は図１の１１０Ａ
のようなドライブで使用され得る典型的なメモリ媒体を
図示する。一般に、フロッピディスク，ＣＤ−ＲＯＭ又
はＤＶＤのようなメモリ媒体は、コンピュータが本発明
に従ってその機能を実行することを可能にするために、
コンピュータを制御するプログラム情報を含む。図４
は、本発明のいくつかの様相に従って、データ及びプロ
グラムを搬送するのに適したネットワークアーキテクチ
ャのブロック図である。ネットワーク１９０は、ユーザ
コンピュータ１００を、ビデオデータベース１９３をサ
ーチするサーチエンジンを備えるサーバ１９２か、代わ
りに、プログラム及びデータ情報のダウンロード用の汎
用サーバかのいずれかに接続するのに役立つ。
のようなドライブで使用され得る典型的なメモリ媒体を
図示する。一般に、フロッピディスク，ＣＤ−ＲＯＭ又
はＤＶＤのようなメモリ媒体は、コンピュータが本発明
に従ってその機能を実行することを可能にするために、
コンピュータを制御するプログラム情報を含む。図４
は、本発明のいくつかの様相に従って、データ及びプロ
グラムを搬送するのに適したネットワークアーキテクチ
ャのブロック図である。ネットワーク１９０は、ユーザ
コンピュータ１００を、ビデオデータベース１９３をサ
ーチするサーチエンジンを備えるサーバ１９２か、代わ
りに、プログラム及びデータ情報のダウンロード用の汎
用サーバかのいずれかに接続するのに役立つ。
【００１４】操作では、ユーザコンピュータ１００は、
ビデオデータベース１９３のサーチを行うために、サー
バ１９２にログオンすることができる。サーチが完了し
たとき、好ましくは関連性を順位付けた順序で、ユーザ
により見られ、かつ、所望画像の選択のために、一組の
代表画像がユーザに返送される。異なる操作モードで
は、ネットワーク１９０は、本発明を実行するのに必要
なプログラム及びデータ情報をダウンロードする１９４
のようなサーバに、ユーザコンピュータ１００を接続す
ることができる。
ビデオデータベース１９３のサーチを行うために、サー
バ１９２にログオンすることができる。サーチが完了し
たとき、好ましくは関連性を順位付けた順序で、ユーザ
により見られ、かつ、所望画像の選択のために、一組の
代表画像がユーザに返送される。異なる操作モードで
は、ネットワーク１９０は、本発明を実行するのに必要
なプログラム及びデータ情報をダウンロードする１９４
のようなサーバに、ユーザコンピュータ１００を接続す
ることができる。
【００１５】図５は、本発明の一実施例を実行する高水
準処理のフローチャートである。ユーザクワィアリに応
じて、サーチエンジンは、ユーザクワィアリに関連する
ビデオクリップを識別する（２００）。処理のこの部分
は、図６と共により詳細に説明される。ユーザクワィア
リを満足させるサーチヒットは、好ましくは、関連性を
順位付けた順番で配置される。所望画像のユーザ選択を
容易にするために、関連性を順位付けたビデオクリップ
の選択画像は、表示のために、サムネイルギャラリー又
は識別画像のサムネイルバージョンの配列に処理され
る。一般に、所望画像が表示された最初のギャラリーに
見出せなかった場合、最初のＮ個の画像は、続く付加ペ
ージにサムネイル形式で表示される。この処理は、図７
と共により詳細に説明される。
準処理のフローチャートである。ユーザクワィアリに応
じて、サーチエンジンは、ユーザクワィアリに関連する
ビデオクリップを識別する（２００）。処理のこの部分
は、図６と共により詳細に説明される。ユーザクワィア
リを満足させるサーチヒットは、好ましくは、関連性を
順位付けた順番で配置される。所望画像のユーザ選択を
容易にするために、関連性を順位付けたビデオクリップ
の選択画像は、表示のために、サムネイルギャラリー又
は識別画像のサムネイルバージョンの配列に処理され
る。一般に、所望画像が表示された最初のギャラリーに
見出せなかった場合、最初のＮ個の画像は、続く付加ペ
ージにサムネイル形式で表示される。この処理は、図７
と共により詳細に説明される。
【００１６】最も関連性の高いビデオクリップのサムネ
イル画像のギャラリーが表示されると、ユーザは、さら
に検討するためにそれらの画像のうちの１つ以上を選択
する（２２０）。ユーザは、任意に、選択されたサムネ
イル画像のまわりのコンテキストと共に、ビデオクリッ
プを見ることを要求できる（２３０）。ユーザはその
後、表示，印刷，保存，伝達又は他の用途のために（２
５０）、サムネイルギャラリーから又は表示されたコン
テキストから１つ以上の画像を選択する（２４０）。
イル画像のギャラリーが表示されると、ユーザは、さら
に検討するためにそれらの画像のうちの１つ以上を選択
する（２２０）。ユーザは、任意に、選択されたサムネ
イル画像のまわりのコンテキストと共に、ビデオクリッ
プを見ることを要求できる（２３０）。ユーザはその
後、表示，印刷，保存，伝達又は他の用途のために（２
５０）、サムネイルギャラリーから又は表示されたコン
テキストから１つ以上の画像を選択する（２４０）。
【００１７】図６は、ユーザクワィアリに関連するビデ
オクリップを識別する処理のフローチャートである。ユ
ーザは、普通の方法でサーチ用語をタイプすることによ
り、クワィアリを入力する（３００）。情報検索（Ｉ
Ｒ）システムは、少なくともクワィアリの一部を満足さ
せるテキスト部分を識別する（３１０）。テキスト部分
はその後、クワィアリに対する「関連性」の順番で配置
される（３２０）。関連性の高いテキスト部分に関連す
るビデオクリップ又はビデオクリップの一部分は、後述
するように、後の処理のために選択的に検索される（３
３０）。
オクリップを識別する処理のフローチャートである。ユ
ーザは、普通の方法でサーチ用語をタイプすることによ
り、クワィアリを入力する（３００）。情報検索（Ｉ
Ｒ）システムは、少なくともクワィアリの一部を満足さ
せるテキスト部分を識別する（３１０）。テキスト部分
はその後、クワィアリに対する「関連性」の順番で配置
される（３２０）。関連性の高いテキスト部分に関連す
るビデオクリップ又はビデオクリップの一部分は、後述
するように、後の処理のために選択的に検索される（３
３０）。
【００１８】情報の索引付け及び検索の好ましい形式
は、１９９５年７月７日にウイリアムウッズにより出願
された「METHOD AND APPARATUS FOR GENERATING QUERY
RESPONSES IN A COMPUTER-BASED DOCUMENT RETRIEVAL S
YSTEM （代理人ドケットＮｏ．Ｐ−９７８）」と題され
る米国特許出願Ｎｏ．０８／４９９、２６８に開示され
る。代わりに又はまとめて、次の出願におけるウイリア
ムウッズにより開示された技術もまた適用されてもよ
い。１９９７年３月３１日出願の「METHOD AND APPARAT
US FOR DISTRIBUTED INDEXING AND RETRIEVAL （代理人
ドケットＮｏ．Ｐ２１０３）」と題される米国特許出願
Ｎｏ．０８／８２９，６３５、１９９７年３月３１日出
願の「CASCADED INDEXING FOR IMPROVING SEARCH AND R
ETRIEVAL（代理人ドケットＮｏ．Ｐ２１０４）」と題さ
れる米国特許出願Ｎｏ．０８／８２９，６５７、及び、
１９９７年３月３１日出願の「METHOD AND APPARATUS F
OR GENERATING QUERY RESPONSES IN A COMPUTER-BASED
DOCUMENT RETRIEVAL SYSTEM （代理人ドケットＰ９７８
Ａ）」と題される米国特許出願。これら出願の各々は、
その全体を本明細書において参照することで、ここに組
み込まれる。
は、１９９５年７月７日にウイリアムウッズにより出願
された「METHOD AND APPARATUS FOR GENERATING QUERY
RESPONSES IN A COMPUTER-BASED DOCUMENT RETRIEVAL S
YSTEM （代理人ドケットＮｏ．Ｐ−９７８）」と題され
る米国特許出願Ｎｏ．０８／４９９、２６８に開示され
る。代わりに又はまとめて、次の出願におけるウイリア
ムウッズにより開示された技術もまた適用されてもよ
い。１９９７年３月３１日出願の「METHOD AND APPARAT
US FOR DISTRIBUTED INDEXING AND RETRIEVAL （代理人
ドケットＮｏ．Ｐ２１０３）」と題される米国特許出願
Ｎｏ．０８／８２９，６３５、１９９７年３月３１日出
願の「CASCADED INDEXING FOR IMPROVING SEARCH AND R
ETRIEVAL（代理人ドケットＮｏ．Ｐ２１０４）」と題さ
れる米国特許出願Ｎｏ．０８／８２９，６５７、及び、
１９９７年３月３１日出願の「METHOD AND APPARATUS F
OR GENERATING QUERY RESPONSES IN A COMPUTER-BASED
DOCUMENT RETRIEVAL SYSTEM （代理人ドケットＰ９７８
Ａ）」と題される米国特許出願。これら出願の各々は、
その全体を本明細書において参照することで、ここに組
み込まれる。
【００１９】図７は、ユーザクワィアリに関連するビデ
オクリップから選択画像のギャラリーを作成する処理の
フローチャートである。ユーザクワィアリに関連して識
別された各ビデオクリップのために（例えば、各ビット
のために）（４００）、図８と共により完全に説明され
るように、関連性の高いテキストと一致する代表画像が
選択される（４１０）。代表画像は、図１７と共により
完全に説明されるように、サムネイル画像に処理される
（４２０）。
オクリップから選択画像のギャラリーを作成する処理の
フローチャートである。ユーザクワィアリに関連して識
別された各ビデオクリップのために（例えば、各ビット
のために）（４００）、図８と共により完全に説明され
るように、関連性の高いテキストと一致する代表画像が
選択される（４１０）。代表画像は、図１７と共により
完全に説明されるように、サムネイル画像に処理される
（４２０）。
【００２０】このように作成されたサムネイル画像は、
図１８と共により完全に説明されるように、最適なテキ
スト重畳でサムネイル画像のギャラリーに表示されるた
めに配置される（４３０）。図８は、ユーザクワィアリ
に関連するビデオクリップの一部分を表示する画像を作
成する初期工程のフローチャートである。代表画像を選
択するために２つの二者択一の方法論がある。図１５と
共に説明される１つ（５１０）は、クワィアリに基づく
もの、即ち、クワィアリにおける用語が表示用の代表画
像を識別するために利用される。図１６と共に説明され
る代わりのもの（５２０）では、代表画像の選択は、ユ
ーザクワィアリに一致する用語を含む文に基づくもので
ある。図８は、ユーザがステップ５００でこれらの２つ
の表示モード間を選択することを可能にする。
図１８と共により完全に説明されるように、最適なテキ
スト重畳でサムネイル画像のギャラリーに表示されるた
めに配置される（４３０）。図８は、ユーザクワィアリ
に関連するビデオクリップの一部分を表示する画像を作
成する初期工程のフローチャートである。代表画像を選
択するために２つの二者択一の方法論がある。図１５と
共に説明される１つ（５１０）は、クワィアリに基づく
もの、即ち、クワィアリにおける用語が表示用の代表画
像を識別するために利用される。図１６と共に説明され
る代わりのもの（５２０）では、代表画像の選択は、ユ
ーザクワィアリに一致する用語を含む文に基づくもので
ある。図８は、ユーザがステップ５００でこれらの２つ
の表示モード間を選択することを可能にする。
【００２１】図９は、クローズドキャプション（closed
-captioned）情報の伝達の最も普通の形式で使用される
ラスター走査を図示する図である。図９では、カソード
レイチューブのようなビデオディスプレイ６００は、複
数の走査線６１０によりその上に表示される画像情報を
有する。即ち、１つ以上の電子ビームが、連続した走査
線で繰り返しディスプレイ６００の表面と交差して走査
し、所望される光学出力の強度の機能として、３価のリ
ンを含む要素又は各々の３価のリンを含む要素を活性化
する。電子ビームがスクリーンの右側の範囲に到達する
と、次のラインの走査を始めるために、左側に戻って再
走査する必要がある。水平再走査の例は、アイテム６２
０として示される。電子ビームがスクリーンの下部に到
達すると、次のフレームの走査を再び始めるために、ス
クリーンの上部左隅に戻って偏向しなければならない。
この垂直再走査間隔の間には、クローズドキャプション
（closed-captioning ）が一般的に伝達される。垂直再
走査間隔でクローズドキャプション（closed-captione
d）情報を伝達する代わりに、アドレスされたデータス
トリームのような情報を分割チャンネルで伝達すること
はもちろん可能である。それにもかかわらず、その通常
の実施では、クローズドキャプション（closed-caption
ing ）は、垂直再走査間隔を利用する。
-captioned）情報の伝達の最も普通の形式で使用される
ラスター走査を図示する図である。図９では、カソード
レイチューブのようなビデオディスプレイ６００は、複
数の走査線６１０によりその上に表示される画像情報を
有する。即ち、１つ以上の電子ビームが、連続した走査
線で繰り返しディスプレイ６００の表面と交差して走査
し、所望される光学出力の強度の機能として、３価のリ
ンを含む要素又は各々の３価のリンを含む要素を活性化
する。電子ビームがスクリーンの右側の範囲に到達する
と、次のラインの走査を始めるために、左側に戻って再
走査する必要がある。水平再走査の例は、アイテム６２
０として示される。電子ビームがスクリーンの下部に到
達すると、次のフレームの走査を再び始めるために、ス
クリーンの上部左隅に戻って偏向しなければならない。
この垂直再走査間隔の間には、クローズドキャプション
（closed-captioning ）が一般的に伝達される。垂直再
走査間隔でクローズドキャプション（closed-captione
d）情報を伝達する代わりに、アドレスされたデータス
トリームのような情報を分割チャンネルで伝達すること
はもちろん可能である。それにもかかわらず、その通常
の実施では、クローズドキャプション（closed-caption
ing ）は、垂直再走査間隔を利用する。
【００２２】米国では、飛越し走査が民放テレビのため
に一般に利用される。即ち、１行おきのラインがディス
プレイ表面を介して最初のフレーム又は最初のパスの間
に走査され、他のラインがディスプレイ表面を介して続
くパス又はフレームの間に伝達される。これは、スクリ
ーン上で知覚できるちらつきを減少するのに役立つ。そ
の結果、この形式の伝送が利用されると、単一の画像を
表示するために２つのフレームが要求される。その結
果、クローズドキャプション（closed-captioned）情報
が伝達され得る２つの垂直再走査間隔もまたある。通常
は、クローズドキャプション（closed-captioning ）情
報は、両方の垂直再走査間隔を使用することができる
が、２つの飛越し走査のうちの１つの垂直再走査間隔だ
けで送られる。２番目のフレームは、視覚的な内容に関
連し、かつ、ビデオクリップの音声トラックに関連しな
いデータのような拡張データサービスのために使用が提
案される。このアプローチが取られれば、２組の情報
は、保存され、かつ、送られる特定画像に関連付けら
れ、このようなより多くの情報がビデオクリップに索引
を付けるために利用できる。
に一般に利用される。即ち、１行おきのラインがディス
プレイ表面を介して最初のフレーム又は最初のパスの間
に走査され、他のラインがディスプレイ表面を介して続
くパス又はフレームの間に伝達される。これは、スクリ
ーン上で知覚できるちらつきを減少するのに役立つ。そ
の結果、この形式の伝送が利用されると、単一の画像を
表示するために２つのフレームが要求される。その結
果、クローズドキャプション（closed-captioned）情報
が伝達され得る２つの垂直再走査間隔もまたある。通常
は、クローズドキャプション（closed-captioning ）情
報は、両方の垂直再走査間隔を使用することができる
が、２つの飛越し走査のうちの１つの垂直再走査間隔だ
けで送られる。２番目のフレームは、視覚的な内容に関
連し、かつ、ビデオクリップの音声トラックに関連しな
いデータのような拡張データサービスのために使用が提
案される。このアプローチが取られれば、２組の情報
は、保存され、かつ、送られる特定画像に関連付けら
れ、このようなより多くの情報がビデオクリップに索引
を付けるために利用できる。
【００２３】図１０は、典型的なクローズドキャプショ
ン（closed-captioned）ディスプレイの図示である。デ
ィスプレイ７００は、原文のフレーズ（textual phras
e）「ビデオ画像」により表わされるビデオ画像を含ん
でいる。クローズドキャプション（closed-captioned）
ディスプレイ領域７１０が、ビデオ画像に重畳される。
図１０に示される例では、クローズドキャプション（cl
osed-captioned）ディスプレイからの典型的なテキスト
は、ディスプレイ７００の下に示される。クローズドキ
ャプション（closed-captioned）ディスプレイ領域７１
０は、番組の音声部分を聞けない人、又は、音声部分を
消すために選択した人のために、表示されているビデオ
番組の音声トラックに含まれる情報を表示する原文情報
（textualinformation ）をスクロールするために使用
される。ディスプレイ７００の下に示されるテキスト
は、本明細書の残りにおいて例として利用される。
ン（closed-captioned）ディスプレイの図示である。デ
ィスプレイ７００は、原文のフレーズ（textual phras
e）「ビデオ画像」により表わされるビデオ画像を含ん
でいる。クローズドキャプション（closed-captioned）
ディスプレイ領域７１０が、ビデオ画像に重畳される。
図１０に示される例では、クローズドキャプション（cl
osed-captioned）ディスプレイからの典型的なテキスト
は、ディスプレイ７００の下に示される。クローズドキ
ャプション（closed-captioned）ディスプレイ領域７１
０は、番組の音声部分を聞けない人、又は、音声部分を
消すために選択した人のために、表示されているビデオ
番組の音声トラックに含まれる情報を表示する原文情報
（textualinformation ）をスクロールするために使用
される。ディスプレイ７００の下に示されるテキスト
は、本明細書の残りにおいて例として利用される。
【００２４】図１１は、クローズドキャプション（clos
ed-captioned）情報を使用してビデオクリップに索引を
付ける処理のフローチャートである。初めに、ビデクリ
ップが表示され（８００）、クローズドキャプション
（closed-captioning ）チャンネルを介して受け取った
用語がサーチインデックスに索引付けられる。典型的な
サーチインデックスは、個々の用語を、用語が発生した
ビデオクリップの一部分に関連付けるための逆インデッ
クスである。個々のビデオクリップは、表示及び／又は
再生のために検索できる同一場所に保存される（８２
０）。ビデオ番組又はビデオクリップから受け取ったイ
ンデックス情報は、ユーザクワィアリに関連するビデオ
クリップの一部分を検索するのに利用されるマスタサー
チインデックスに書き込まれる（８３０）。
ed-captioned）情報を使用してビデオクリップに索引を
付ける処理のフローチャートである。初めに、ビデクリ
ップが表示され（８００）、クローズドキャプション
（closed-captioning ）チャンネルを介して受け取った
用語がサーチインデックスに索引付けられる。典型的な
サーチインデックスは、個々の用語を、用語が発生した
ビデオクリップの一部分に関連付けるための逆インデッ
クスである。個々のビデオクリップは、表示及び／又は
再生のために検索できる同一場所に保存される（８２
０）。ビデオ番組又はビデオクリップから受け取ったイ
ンデックス情報は、ユーザクワィアリに関連するビデオ
クリップの一部分を検索するのに利用されるマスタサー
チインデックスに書き込まれる（８３０）。
【００２５】図１２は、各画像の垂直再走査間隔でクロ
ーズドキャプション（closed-captioned）情報として送
られる連続的な画像及びテキストの一部分の図示であ
る。図１２に図示されるように、ビデオクリップＪ（９
００）から示される各々の画像Ｎ〜Ｎ＋１２は、完全な
画像を構成する。即ち、飛越し走査が利用されれば、各
セルは２つの飛越しフレームを表わす。図１０の例で示
されるテキストの一部分は、図１２のクローズドキャプ
ション（closed-captioning ）を介して伝達されるよう
に示される。特定フレームの垂直再走査間隔は、一般
に、２つの文字だけを送る。従って、図１０に図示され
る文の一部分、即ち「the red billed woodpecker 」
は、画像Ｎ〜Ｎ＋１２を使用して伝達される。これは、
１つの垂直再走査間隔だけが各画像のために使用される
ことは当然であるが、飛越し走査が利用されれば、２つ
が利用できる。
ーズドキャプション（closed-captioned）情報として送
られる連続的な画像及びテキストの一部分の図示であ
る。図１２に図示されるように、ビデオクリップＪ（９
００）から示される各々の画像Ｎ〜Ｎ＋１２は、完全な
画像を構成する。即ち、飛越し走査が利用されれば、各
セルは２つの飛越しフレームを表わす。図１０の例で示
されるテキストの一部分は、図１２のクローズドキャプ
ション（closed-captioning ）を介して伝達されるよう
に示される。特定フレームの垂直再走査間隔は、一般
に、２つの文字だけを送る。従って、図１０に図示され
る文の一部分、即ち「the red billed woodpecker 」
は、画像Ｎ〜Ｎ＋１２を使用して伝達される。これは、
１つの垂直再走査間隔だけが各画像のために使用される
ことは当然であるが、飛越し走査が利用されれば、２つ
が利用できる。
【００２６】図１３は、画像フレームに一致するクロー
ズドキャプション（closed-captioned）用語索引付けす
る典型的なデータベースレイアウトである。データベー
ス１０００は、クローズドキャプション（closed-capti
oned）用語に関連するフィールド１０１０、ビデオクリ
ップ識別（identification）に関連するフィールド１０
２０、ビデオクリップの一部分を識別するために利用さ
れるタイミングコード（特に、開始及び終了タイミング
コード）に関連するフィールド１０３０、及び、クロー
ズドキャプション（closed-captioning ）を行う際に含
まれる原文情報（textual information ）の文番号に関
連するフィールド１０４０を含む。図１３及び図１２の
表示を比較したとき、データベース１０００には言葉
「the 」が保存されていないことに注意する。発生する
言葉に頻繁には索引を付けないことが普通なので、それ
らは異なる原文（textual ）内容の間を区別するための
小さな識別値を有する。図１０に示すように、付された
用語billed，red 及びwoodpeckerは、ビデオクリップＪ
で見出される。それらは、ビデオ番組又はビデオクリッ
プ内の、あるタイミングコードアドレス間で見出され
る。タイミングコードは、例えば、ビデオ表示の一部分
を識別するために適用されるＳＭＰＴＥ（Society of M
otion Picture and Television Experts）コードであ
る。代わりに、それらは、別々のトラック上で適用さ
れ、又は、ビデオ情報内に埋め込まれたタイミングコー
ドである。重要なことは、タイミングコードは、クロー
ズドキャプション（closed-captioned）表示の特定用語
を関連付けられたビデオ表示の一部分に関連付けること
を可能にすることである。この場合４２の文番号は、ク
ローズドキャプション（closed-captioned）表示内の特
定文を識別するために利用される。後述するように、他
の場合には、あるサーチ用語が発生する文に基づいて画
像を配置することが望まれるのに対して、用語に基づい
て画像を識別することが時として望まれる。
ズドキャプション（closed-captioned）用語索引付けす
る典型的なデータベースレイアウトである。データベー
ス１０００は、クローズドキャプション（closed-capti
oned）用語に関連するフィールド１０１０、ビデオクリ
ップ識別（identification）に関連するフィールド１０
２０、ビデオクリップの一部分を識別するために利用さ
れるタイミングコード（特に、開始及び終了タイミング
コード）に関連するフィールド１０３０、及び、クロー
ズドキャプション（closed-captioning ）を行う際に含
まれる原文情報（textual information ）の文番号に関
連するフィールド１０４０を含む。図１３及び図１２の
表示を比較したとき、データベース１０００には言葉
「the 」が保存されていないことに注意する。発生する
言葉に頻繁には索引を付けないことが普通なので、それ
らは異なる原文（textual ）内容の間を区別するための
小さな識別値を有する。図１０に示すように、付された
用語billed，red 及びwoodpeckerは、ビデオクリップＪ
で見出される。それらは、ビデオ番組又はビデオクリッ
プ内の、あるタイミングコードアドレス間で見出され
る。タイミングコードは、例えば、ビデオ表示の一部分
を識別するために適用されるＳＭＰＴＥ（Society of M
otion Picture and Television Experts）コードであ
る。代わりに、それらは、別々のトラック上で適用さ
れ、又は、ビデオ情報内に埋め込まれたタイミングコー
ドである。重要なことは、タイミングコードは、クロー
ズドキャプション（closed-captioned）表示の特定用語
を関連付けられたビデオ表示の一部分に関連付けること
を可能にすることである。この場合４２の文番号は、ク
ローズドキャプション（closed-captioned）表示内の特
定文を識別するために利用される。後述するように、他
の場合には、あるサーチ用語が発生する文に基づいて画
像を配置することが望まれるのに対して、用語に基づい
て画像を識別することが時として望まれる。
【００２７】図１４は、クローズドキャプション（clos
ed-captioned）情報及びビデオクリップ上の関連位置の
文に索引を付けるために使用される典型的なデータベー
スレイアウトである。このデータベースレイアウトは、
ビデオクリップ上のクローズドキャプション（closed-c
aptioned）資料（material）の特定文のために、開始及
び終了タイミングコードを識別することが目的であるこ
とを除いて、図１３のレイアウトと同様である。用語よ
りもむしろ文がビデオクリップの一部分を識別するため
に利用されると、各用語の開始及び終了タイミングコー
ドに関連する詳細情報は必要ない。しかしながら、各文
の開始及び終了タイミングコードは必要である。これら
の２つのモードの使用は、後述する。
ed-captioned）情報及びビデオクリップ上の関連位置の
文に索引を付けるために使用される典型的なデータベー
スレイアウトである。このデータベースレイアウトは、
ビデオクリップ上のクローズドキャプション（closed-c
aptioned）資料（material）の特定文のために、開始及
び終了タイミングコードを識別することが目的であるこ
とを除いて、図１３のレイアウトと同様である。用語よ
りもむしろ文がビデオクリップの一部分を識別するため
に利用されると、各用語の開始及び終了タイミングコー
ドに関連する詳細情報は必要ない。しかしながら、各文
の開始及び終了タイミングコードは必要である。これら
の２つのモードの使用は、後述する。
【００２８】図１５は、ビデオクリップの代表画像を選
択する処理の一実施例のフローチャートである。図１５
に従って、クワィアリを満足させる各ヒットのために、
ヒットが属するビデオクリップＩＤが、ヒットのタイミ
ングコード境界と共に決定される（１２００）。境界が
奇数画像を包含していれば（１２１０）、中央画像が代
表画像として選択される。境界が偶数画像を包含してい
れば、２つの中央画像のうちの一方が代表画像として選
択される（１２２０）。
択する処理の一実施例のフローチャートである。図１５
に従って、クワィアリを満足させる各ヒットのために、
ヒットが属するビデオクリップＩＤが、ヒットのタイミ
ングコード境界と共に決定される（１２００）。境界が
奇数画像を包含していれば（１２１０）、中央画像が代
表画像として選択される。境界が偶数画像を包含してい
れば、２つの中央画像のうちの一方が代表画像として選
択される（１２２０）。
【００２９】例としてこれを図示する。図１２を参照す
ると、クワィアリが「red billd woodpecker」であれ
ば、ステップ１２００はビデオクリップ（Ｊ），文「４
２」及びタイミングコード（Ｎ＋２，Ｎ＋１２）の識別
を返送する。Ｎ＋２は、言葉「red 」のクローズドキャ
プション（closed-captioned）伝達の開始を表わし、Ｎ
＋１２は、言葉「woodpecker」の最後の文字を表わす。
従って、Ｎ＋２及びＮ＋１２の間には１１フレームが含
まれる。従って、中央フレーム又はフレームＮ＋７は、
そのクワィアリのための代表フレームとして選択され
る。
ると、クワィアリが「red billd woodpecker」であれ
ば、ステップ１２００はビデオクリップ（Ｊ），文「４
２」及びタイミングコード（Ｎ＋２，Ｎ＋１２）の識別
を返送する。Ｎ＋２は、言葉「red 」のクローズドキャ
プション（closed-captioned）伝達の開始を表わし、Ｎ
＋１２は、言葉「woodpecker」の最後の文字を表わす。
従って、Ｎ＋２及びＮ＋１２の間には１１フレームが含
まれる。従って、中央フレーム又はフレームＮ＋７は、
そのクワィアリのための代表フレームとして選択され
る。
【００３０】一方、ユーザクワィアリが単に「woodpeck
er」であれば、サーチエンジンは、ビデオクリップ識別
「Ｊ」，文「４２」及びタイミングコード（Ｎ＋７，Ｎ
＋１２）を返送する。タイミングコードＮ＋７及びＮ＋
１２の間には６フレームある。その結果、フレームＮ＋
９又はフレームＮ＋１０のどちらか一方が、中央に最も
近いと考えられる。これらの一方が、代表画像として処
理されるために選択される。これらの例における各々の
クワィアリは、サーチクワィアリの１つ以上の用語であ
る他のフィルムクリップ識別を返送する。従って、それ
らのクローズドキャプション（closed-captioning ）に
おいて、「red billed woodpecker 」、又は、関連性が
少ない「red billed ducks」を伴う他のフィルムクリッ
プであってもよい。同様に、第２実施例では、クローズ
ドキャプション（closed-captioned）において、クワィ
アリ用語「woodpecker」に関連する代表画像を返送する
他のフィルムクリップであってもよい。
er」であれば、サーチエンジンは、ビデオクリップ識別
「Ｊ」，文「４２」及びタイミングコード（Ｎ＋７，Ｎ
＋１２）を返送する。タイミングコードＮ＋７及びＮ＋
１２の間には６フレームある。その結果、フレームＮ＋
９又はフレームＮ＋１０のどちらか一方が、中央に最も
近いと考えられる。これらの一方が、代表画像として処
理されるために選択される。これらの例における各々の
クワィアリは、サーチクワィアリの１つ以上の用語であ
る他のフィルムクリップ識別を返送する。従って、それ
らのクローズドキャプション（closed-captioning ）に
おいて、「red billed woodpecker 」、又は、関連性が
少ない「red billed ducks」を伴う他のフィルムクリッ
プであってもよい。同様に、第２実施例では、クローズ
ドキャプション（closed-captioned）において、クワィ
アリ用語「woodpecker」に関連する代表画像を返送する
他のフィルムクリップであってもよい。
【００３１】図１６は、ビデオクリップの代表画像を選
択する処理の第２実施例のフローチャートである。サー
チクワィアリを満足させる各ヒットのために、少なくと
も一部分、ビデオクリップ識別が、ヒットを含む文番号
のタイミングコード境界と共に決定される（１３０
０）。前述したように、境界が奇数画像を包含すれば、
中央画像が選択される（１３１０）。境界が偶数画像を
包含すれば、２つの中央画像のうちの１つが選択される
（１３２０）。
択する処理の第２実施例のフローチャートである。サー
チクワィアリを満足させる各ヒットのために、少なくと
も一部分、ビデオクリップ識別が、ヒットを含む文番号
のタイミングコード境界と共に決定される（１３０
０）。前述したように、境界が奇数画像を包含すれば、
中央画像が選択される（１３１０）。境界が偶数画像を
包含すれば、２つの中央画像のうちの１つが選択される
（１３２０）。
【００３２】図１７は、サムネイル形式で表示用の代表
画像を準備する処理のフローチャートである。一方の形
式は、同時提出の米国出願（代理人ドケットＮｏ．Ｐ−
１２１２）に開示のものを利用する。他方の形式（１４
００−２）は、画像解釈アルゴリズムが利用できるかど
うかに依存する（１４２０）２つの異なる方法で機能す
る。そうでなければ（１４２０−Ｎ）、当然画像の関心
中心もまた画像の中心であると考える（１４３０）。画
像解釈アルゴリズムが利用できれば（１４２０−Ｙ）、
それは画像のための関心中心を識別することに利用され
る（１４４０）。画像はその後、サイズを縮小するため
に関心中心の周囲で切り取られる（１４５０）。一般
に、その元の高さ及び幅の約８０％の量に切り取られ
る。これは、一般に、画像の端部における関連性の弱い
情報を除去する。切り取られた画像はその後、所望のサ
ムネイルサイズに縮小するために調整される。
画像を準備する処理のフローチャートである。一方の形
式は、同時提出の米国出願（代理人ドケットＮｏ．Ｐ−
１２１２）に開示のものを利用する。他方の形式（１４
００−２）は、画像解釈アルゴリズムが利用できるかど
うかに依存する（１４２０）２つの異なる方法で機能す
る。そうでなければ（１４２０−Ｎ）、当然画像の関心
中心もまた画像の中心であると考える（１４３０）。画
像解釈アルゴリズムが利用できれば（１４２０−Ｙ）、
それは画像のための関心中心を識別することに利用され
る（１４４０）。画像はその後、サイズを縮小するため
に関心中心の周囲で切り取られる（１４５０）。一般
に、その元の高さ及び幅の約８０％の量に切り取られ
る。これは、一般に、画像の端部における関連性の弱い
情報を除去する。切り取られた画像はその後、所望のサ
ムネイルサイズに縮小するために調整される。
【００３３】図１８は、サムネイル画像の２次元配列を
作成する処理のフローチャートである。最初に、セルの
２次元配列が複数のサムネイル画像を受け取るために作
成される（１５００）。前述したように識別されかつ準
備されるサムネイル画像はその後、セル配列の各々のセ
ルに配置される（１５１０）。好ましくは、配列は、サ
ムネイル画像への適切なポインタでＨＴＭＬテーブルを
使用して作成されかつ配置（populated ）されるのがよ
い。より関連性の高い画像が表示の左上位置に向かうの
に役立ち、関連性の順位付けに基づいて画像が左から右
へ、上から下へという優先順位で配置されるように、配
列内の画像を、左から右へ、上から下へ配置することも
また好ましい。ユーザは、クローズドキャプション（cl
osed-captioning ）テキストをサムネイル画像自身に重
畳するか（１５２０−Ｙ）、又は、画像の下にそれを配
置するか（１５２０−Ｎ）の選択肢を有する。
作成する処理のフローチャートである。最初に、セルの
２次元配列が複数のサムネイル画像を受け取るために作
成される（１５００）。前述したように識別されかつ準
備されるサムネイル画像はその後、セル配列の各々のセ
ルに配置される（１５１０）。好ましくは、配列は、サ
ムネイル画像への適切なポインタでＨＴＭＬテーブルを
使用して作成されかつ配置（populated ）されるのがよ
い。より関連性の高い画像が表示の左上位置に向かうの
に役立ち、関連性の順位付けに基づいて画像が左から右
へ、上から下へという優先順位で配置されるように、配
列内の画像を、左から右へ、上から下へ配置することも
また好ましい。ユーザは、クローズドキャプション（cl
osed-captioning ）テキストをサムネイル画像自身に重
畳するか（１５２０−Ｙ）、又は、画像の下にそれを配
置するか（１５２０−Ｎ）の選択肢を有する。
【００３４】サムネイル画像の下部を介して重畳を配置
することは、よりコンパクトな表示が現われ、かつ、一
般に好ましいという利点を有する。図１９は、関連性が
順位付けられた代表画像の典型的な配列である。画像
は、グラフィカルユーザインタフェース形式でディスプ
レイ１６００上に示される。前述したような関連性が順
位付けられた方法でサムネイル画像が配置された複数の
セル１６１０が定義される。図１９では、重畳テキスト
は、サムネイル画像の下に配置されるように示される。
前述したように、これは、また、画像セル１６１０自身
内のオーバレイとして配置できる。図１９に示されるサ
ムネイル画像の表示は、各サムネイル画像をユーザクワ
ィアリに関連するとして識別される１つのビデオクリッ
プの内容の代表画像として、サムネイル画像の複数ペー
ジの中の１ページを表わしてもよい。
することは、よりコンパクトな表示が現われ、かつ、一
般に好ましいという利点を有する。図１９は、関連性が
順位付けられた代表画像の典型的な配列である。画像
は、グラフィカルユーザインタフェース形式でディスプ
レイ１６００上に示される。前述したような関連性が順
位付けられた方法でサムネイル画像が配置された複数の
セル１６１０が定義される。図１９では、重畳テキスト
は、サムネイル画像の下に配置されるように示される。
前述したように、これは、また、画像セル１６１０自身
内のオーバレイとして配置できる。図１９に示されるサ
ムネイル画像の表示は、各サムネイル画像をユーザクワ
ィアリに関連するとして識別される１つのビデオクリッ
プの内容の代表画像として、サムネイル画像の複数ペー
ジの中の１ページを表わしてもよい。
【００３５】普通の方法では、ユーザは、さらに先の作
業に関連性があり必要とされるような表示された１つ以
上の特定画像を識別してもよい。ユーザは、普通の方法
で、画像をクリックし、例えば、さらに先の処理のため
にワークスペースウインドウにそれらをドラッグ及びド
ロップすることで、これらの画像を選択してもよい。各
々のユーザが各ビデオクリップを検索し、クワィアリに
関連するクリップ部分を識別するためにビデオクリップ
を再生しなけらばならないのであれば、視覚的方法でビ
デオ又は視覚的データベースの結果を表示することによ
り、より多くの情報が必要とされる時間より短時間で伝
達される。
業に関連性があり必要とされるような表示された１つ以
上の特定画像を識別してもよい。ユーザは、普通の方法
で、画像をクリックし、例えば、さらに先の処理のため
にワークスペースウインドウにそれらをドラッグ及びド
ロップすることで、これらの画像を選択してもよい。各
々のユーザが各ビデオクリップを検索し、クワィアリに
関連するクリップ部分を識別するためにビデオクリップ
を再生しなけらばならないのであれば、視覚的方法でビ
デオ又は視覚的データベースの結果を表示することによ
り、より多くの情報が必要とされる時間より短時間で伝
達される。
【００３６】このように、ビデオ情報へのユーザアクセ
スは、従来技術の問題点を解決する方法で、大いに高め
られかつ容易にされる。本発明は、詳細に説明され図示
されたが、これは、図示及び例のみにより説明したもの
であって、これに限定されるものではなく、本発明の精
神及び範囲はクレーム用語及びそれらの均等物によって
のみ限定されるものであることが明らかに理解される。
スは、従来技術の問題点を解決する方法で、大いに高め
られかつ容易にされる。本発明は、詳細に説明され図示
されたが、これは、図示及び例のみにより説明したもの
であって、これに限定されるものではなく、本発明の精
神及び範囲はクレーム用語及びそれらの均等物によって
のみ限定されるものであることが明らかに理解される。
【００３７】
【発明の効果】各々のユーザが各ビデオクリップを検索
し、クワィアリに関連する一部分を識別するためにビデ
オクリップを再生しなけらばならないのであれば、視覚
的方法でビデオ又は視覚的データベースの結果を表示す
ることにより、より多くの情報が短時間で伝達される。
このように、ビデオ情報へのユーザアクセスは、改善さ
れる。
し、クワィアリに関連する一部分を識別するためにビデ
オクリップを再生しなけらばならないのであれば、視覚
的方法でビデオ又は視覚的データベースの結果を表示す
ることにより、より多くの情報が短時間で伝達される。
このように、ビデオ情報へのユーザアクセスは、改善さ
れる。
【図１】 本発明を実行する際に使用するのに適した典
型的なコンピュータシステム図である。
型的なコンピュータシステム図である。
【図２】 図１のコンピュータの典型的なハードウエア
構成のブロック図である。
構成のブロック図である。
【図３】 本発明によるプログラム及びデータ情報を記
録するのに適した典型的なメモリ媒体の一例である。
録するのに適した典型的なメモリ媒体の一例である。
【図４】 本発明のいくつかの様相によるデータ及びプ
ログラムを搬送するのに適したネットワークアーキテク
チャのブロック図である。
ログラムを搬送するのに適したネットワークアーキテク
チャのブロック図である。
【図５】 本発明の一実施例を実行する高水準処理のフ
ローチャートである。
ローチャートである。
【図６】 ユーザクワィアリに関連するビデオクリップ
を識別する処理のフローチャートである。
を識別する処理のフローチャートである。
【図７】 ユーザクワィアリに関連するビデオクリップ
から選択画像のギャラリーを作成する高水準処理のフロ
ーチャートである。
から選択画像のギャラリーを作成する高水準処理のフロ
ーチャートである。
【図８】 ユーザクワィアリに関連するビデオクリップ
の一部分を表わす画像を選択する初期工程のフローチャ
ートである。
の一部分を表わす画像を選択する初期工程のフローチャ
ートである。
【図９】 クローズドキャプション（closed-captione
d）情報の伝達で使用されるラスタ走査の説明図であ
る。
d）情報の伝達で使用されるラスタ走査の説明図であ
る。
【図１０】 典型的なクローズドキャプション（closed
-captioned）ディスプレイの一例である。
-captioned）ディスプレイの一例である。
【図１１】 クローズドキャプション（closed-caption
ed）情報を使用してビデオクリップに索引を付ける処理
のフローチャートである。
ed）情報を使用してビデオクリップに索引を付ける処理
のフローチャートである。
【図１２】 各フレームの垂直再走査間隔でクローズド
キャプション（closed-captioned）情報として送信され
るテキストの連続した画像及び部分を示す図である。
キャプション（closed-captioned）情報として送信され
るテキストの連続した画像及び部分を示す図である。
【図１３】 対応する画像フレームにクローズドキャプ
ション（closed-captioned）用語を索引付けするために
使用される典型的なデータベースレイアウトである。
ション（closed-captioned）用語を索引付けするために
使用される典型的なデータベースレイアウトである。
【図１４】 ビデオクリップ上の関連位置に対してクロ
ーズドキャプション（closed-captioned）情報の文を索
引付けするために使用される典型的なデータベースレイ
アウトである。
ーズドキャプション（closed-captioned）情報の文を索
引付けするために使用される典型的なデータベースレイ
アウトである。
【図１５】 ビデオクリップの代表画像を選択する処理
の第１実施例のフローチャートである。
の第１実施例のフローチャートである。
【図１６】 ビデオクリップの代表画像を選択する処理
の第２実施例のフローチャートである。
の第２実施例のフローチャートである。
【図１７】 サムネイル形式で表示用の代表画像を準備
する処理のフローチャートである。
する処理のフローチャートである。
【図１８】 サムネイル画像の２次元配列を作成する処
理のフローチャートである。
理のフローチャートである。
【図１９】 関連性を順位付けられた代表画像の典型的
な配列である。
な配列である。
１００ 中央処理ユニット １１０Ａ フロッピディスクドライブ １１０Ｂ ＣＤ−ＲＯＭドライブ １２０ ディスプレイ １３０ キーボード １４０ マウス
フロントページの続き (71)出願人 591064003 901 ＳＡＮ ＡＮＴＯＮＩＯ ＲＯＡＤ ＰＡＬＯ ＡＬＴＯ，ＣＡ 94303，Ｕ. Ｓ．Ａ.
Claims (19)
- 【請求項１】ディスプレイを備えたコンピュータと、 ビデオ画像のデータベースと、 前記コンピュータ上で作動し、縮小サイズの画像配列の
各々のセルに、前記データベースに保存され、かつ、ユ
ーザクワィアリに関連するものとして識別された各ビデ
オ表示の選択された代表画像を表示するユーザインタフ
ェースと、 を含んで構成されたことを特徴とする画像情報検索装
置。 - 【請求項２】前記ビデオ画像のデータベースは、クロー
ズドキャプションテキストを使用して索引付けされた構
成である請求項１記載の画像情報検索装置。 - 【請求項３】前記縮小サイズの各画像は、ユーザクワィ
アリに関連するビデオ表示の識別に帰着するクローズド
キャプションテキストと共に表示される構成である請求
項２記載の画像情報検索装置。 - 【請求項４】前記テキストは、縮小サイズの画像の下部
に重畳される構成である請求項３記載の画像情報検索装
置。 - 【請求項５】前記テキストは、縮小サイズの画像の下に
表示される構成である請求項４記載のコン画像情報検索
装置。 - 【請求項６】前記代表画像は、ビデオ表示から切り取ら
れかつ調整された画像のバージョンである構成である請
求項５記載の画像情報検索装置。 - 【請求項７】前記代表画像は、ユーザクワィアリに見出
される１つ以上のクローズドキャプション用語を送る間
に表示される画像から選択される構成である請求項６記
載の画像情報検索装置。 - 【請求項８】前記代表画像は、ユーザクワィアリに見出
されるクローズドキャプション用語を送る間に表示され
る実質的に連続画像の中央画像であるように選択される
構成である請求項７記載の画像情報検索装置。 - 【請求項９】ユーザクワィアリに応じてビデオデータベ
ースから識別されるビデオ成分を表わす画像を表示する
方法であって、 識別された各ビデオ成分から代表画像を選択する工程
と、 前記代表画像を縮小サイズに調整する工程と、 ユーザによる再検討のために配列として調整された代表
画像を表示する工程と、 を含んで構成されたことを特徴とする画像情報検索方
法。 - 【請求項１０】前記調整工程は、調整する前に画像を切
り取る工程もまた含む構成である請求項９記載の画像情
報検索方法。 - 【請求項１１】前記画像の切り取りは、画像分析アルゴ
リズムにより決定されるような画像の関心中心上で中心
に置かれる構成である請求項１０記載の画像情報検索方
法。 - 【請求項１２】前記配列は、ユーザクワィアリに対して
関連性を反映する順番で組織される構成である請求項９
記載の画像情報検索方法。 - 【請求項１３】ユーザクワィアリに関連する用語が置か
れる間に、ビデオ表示の一部分を識別する工程と、 代表画像として、前記ビデオ表示の識別された一部分か
ら画像を選択する工程と、 を含んで構成されたこと特徴とするビデオ表示から代表
画像を選択する方法。 - 【請求項１４】前記識別された一部分から中央画像が選
択される構成である請求項１３記載のビデオ表示から代
表画像を選択する方法。 - 【請求項１５】ネットワークと、 前記ネットワークに接続され、ビデオデータベースをサ
ーチするサーチエンジンを備えたサーバと、 前記ネットワークに接続され、前記サーバにサーチクワ
ィアリを提出し、前記サーバからビデオ情報を受け取る
ユーザコンピュータと、 を含んで構成されるビデオデータベースから画像を表示
するシステムであって、 前記ユーザコンピュータ又は前記サーバの少なくとも１
つが、前記ユーザへの配列として前記データベース内に
含まれるビデオ成分の縮小サイズの代表画像を表示する
ために構成されたことを特徴とするビデオデータベース
から画像を表示するシステム。 - 【請求項１６】前記配列の各画像が、その画像に関連し
たクローズドキャプションテキストに接近して表示され
る構成である請求項１４記載のビデオデータベースから
画像を表示するシステム。 - 【請求項１７】メモリ媒体と、 前記メモリ媒体に記録されるコンピュータプログラム
と、 を含んで構成されるコンピュータプログラム製品であっ
て、 前記コンピュータプログラムは、 識別されたビデオ成分から代表画像を選択する命令と、 代表画像を縮小サイズに調整する命令と、 ユーザによる再検討のための配列として調整された代表
画像を表示する命令と、 を含んだ構成であることを特徴とする画像情報検索プロ
グラムを記録した記録媒体。 - 【請求項１８】前記配列の各画像は、その画像に関連し
たクローズドキャプションテキストに接近して表示され
る構成である請求項１７記載の画像情報検索プログラム
を記録した記録媒体。 - 【請求項１９】メモリ媒体と、 前記メモリ媒体に記録されるコンピュータプログラム
と、 を含んで構成される画像情報検索プログラムを記録した
記録媒体であって、 前記コンピュータプログラムは、 ユーザクワィアリに関連する用語が置かれる間に、ビデ
オ表示の一部分を識別する命令と、 代表画像として、前記ビデオ表示の識別された部分から
画像を選択する命令と、 を含んだ構成であることを特徴とする画像情報検索プロ
グラムを記録した記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US93198497A | 1997-09-17 | 1997-09-17 | |
| US08/931984 | 1997-09-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11250104A true JPH11250104A (ja) | 1999-09-17 |
Family
ID=25461605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10261505A Pending JPH11250104A (ja) | 1997-09-17 | 1998-09-16 | 画像情報検索装置及び方法、ビデオ表示から代表画像を選択する方法、ビデオデータベースから画像を表示するシステム、並びに、画像情報検索プログラムを記録した記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP0903676A3 (ja) |
| JP (1) | JPH11250104A (ja) |
| CA (1) | CA2244356A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002027418A (ja) * | 2000-07-06 | 2002-01-25 | Mitsubishi Electric Corp | テレビ電話装置 |
| US7051048B2 (en) | 2000-09-29 | 2006-05-23 | Canon Kabushiki Kaisha | Data management system, data management method, and program |
| USRE42413E1 (en) | 2000-04-27 | 2011-05-31 | Bayard Chimney Rock Llc | Web search engine with graphic snapshots |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11231849A (ja) | 1997-11-04 | 1999-08-27 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| US20020038299A1 (en) * | 2000-03-20 | 2002-03-28 | Uri Zernik | Interface for presenting information |
| US7210157B2 (en) | 2000-12-18 | 2007-04-24 | Koninklijke Philips Electronics N.V. | Apparatus and method of program classification using observed cues in the transcript information |
| US7089575B2 (en) | 2001-09-04 | 2006-08-08 | Koninklijke Philips Electronics N.V. | Method of using transcript information to identify and learn commercial portions of a program |
| US6998527B2 (en) | 2002-06-20 | 2006-02-14 | Koninklijke Philips Electronics N.V. | System and method for indexing and summarizing music videos |
| US7912827B2 (en) | 2004-12-02 | 2011-03-22 | At&T Intellectual Property Ii, L.P. | System and method for searching text-based media content |
| KR100763187B1 (ko) | 2005-07-21 | 2007-10-04 | 삼성전자주식회사 | 디지털 멀티미디어 방송을 수신하는 통합 디지털 장치 |
| US8156114B2 (en) | 2005-08-26 | 2012-04-10 | At&T Intellectual Property Ii, L.P. | System and method for searching and analyzing media content |
| JP2008061120A (ja) | 2006-09-01 | 2008-03-13 | Sony Corp | 再生装置、検索方法、およびプログラム |
| CN101272477A (zh) * | 2007-03-22 | 2008-09-24 | 华为技术有限公司 | 一种iptv***、媒体服务器和iptv节目搜索、定位方法 |
| US8781996B2 (en) | 2007-07-12 | 2014-07-15 | At&T Intellectual Property Ii, L.P. | Systems, methods and computer program products for searching within movies (SWiM) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5835667A (en) * | 1994-10-14 | 1998-11-10 | Carnegie Mellon University | Method and apparatus for creating a searchable digital video library and a system and method of using such a library |
-
1998
- 1998-09-10 EP EP98307319A patent/EP0903676A3/en not_active Withdrawn
- 1998-09-16 JP JP10261505A patent/JPH11250104A/ja active Pending
- 1998-09-16 CA CA002244356A patent/CA2244356A1/en not_active Abandoned
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE42413E1 (en) | 2000-04-27 | 2011-05-31 | Bayard Chimney Rock Llc | Web search engine with graphic snapshots |
| USRE46967E1 (en) | 2000-04-27 | 2018-07-24 | Mineral Lassen Llc | System, apparatus, method, and computer program product for indexing a file |
| JP2002027418A (ja) * | 2000-07-06 | 2002-01-25 | Mitsubishi Electric Corp | テレビ電話装置 |
| US7051048B2 (en) | 2000-09-29 | 2006-05-23 | Canon Kabushiki Kaisha | Data management system, data management method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2244356A1 (en) | 1999-03-17 |
| EP0903676A2 (en) | 1999-03-24 |
| EP0903676A3 (en) | 2002-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Boreczky et al. | An interactive comic book presentation for exploring video | |
| US5136655A (en) | Method and apparatus for indexing and retrieving audio-video data | |
| JP2701724B2 (ja) | シナリオ編集装置 | |
| US6599130B2 (en) | Iterative video teaching aid with recordable commentary and indexing | |
| US5440678A (en) | Method of and apparatus for creating a multi-media footnote | |
| US6271840B1 (en) | Graphical search engine visual index | |
| US6747674B1 (en) | Image processing apparatus, image processing method, and information providing medium | |
| US8995767B2 (en) | Multimedia visualization and integration environment | |
| US5828371A (en) | Method and system for graphic video image presentation control | |
| US5745782A (en) | Method and system for organizing and presenting audio/visual information | |
| JPH11250104A (ja) | 画像情報検索装置及び方法、ビデオ表示から代表画像を選択する方法、ビデオデータベースから画像を表示するシステム、並びに、画像情報検索プログラムを記録した記録媒体 | |
| EP1006459A2 (en) | Content-based video story browsing system | |
| JPH08249348A (ja) | 映像検索方法および装置 | |
| JPS60134357A (ja) | 画像フアイル登録・検索方式 | |
| US7302435B2 (en) | Media storage and management system and process | |
| US8931002B2 (en) | Explanatory-description adding apparatus, computer program product, and explanatory-description adding method | |
| JP2004519137A (ja) | テレビジョン番組について検索する改善された方法 | |
| JP3574606B2 (ja) | 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体 | |
| JPH06295312A (ja) | データ検索方法 | |
| JP2004199696A (ja) | 複数のマルチメディア文書に格納された情報の表示法 | |
| JP2001337994A (ja) | サムネイル表示システムと方法およびその処理プログラムを記録した記録媒体 | |
| JP3431836B2 (ja) | ドキュメントデータベースの検索支援方法とそのプログラムを記憶した記憶媒体 | |
| Cawkell | Selected aspects of image processing and management: review and future prospects | |
| Christel | Accessing news video libraries through dynamic information extraction, summarization, and visualization | |
| JPS63156477A (ja) | 画像フアイル装置 |