JP5552987B2 - 検索結果出力装置、検索結果出力方法及び検索結果出力プログラム - Google Patents

Description

本発明は検索結果を出力する検索結果出力装置、検索結果出力方法及び検索結果出力プログラムに関する。

近年、シニア層のユーザ（以下、シニアユーザという）のパーソナルコンピュータ（ＰＣ）利用ニーズが高まっている。シニアユーザは一般ユーザと異なり、ＰＣ利用のリテラシが平均的に低い点や小さい文字が見えない点など、シニア特有の課題がある。

例えばインターネットから「温泉旅行」に関するＷｅｂページを調べて、最終的に旅行プランを立てるというタスクを考える。一般的には、図１のような検索プロセスを行うことになる。図１はＷｅｂページ検索プロセスの一例のフローチャートである。例えばシニアユーザは「温泉旅行をしたい」という発想が検索のきっかけとなる。

ステップＳ１において、シニアユーザは検索エンジンに、例えば「温泉旅行」などの検索キーワードを入力する。ステップＳ２において、ＰＣは図２に示すような検索結果表示画面をディスプレイ装置などに表示する。

図２は検索結果表示画面の一例のイメージ図である。図２の検索結果表示画面は一般的な検索エンジンの検索結果表示画面の一例である。図２に示すように、検索結果表示画面は検索ヒットした（検索キーワードが含まれている）Ｗｅｂページの格納位置と、そのＷｅｂページの概要が文字ベースでリスト表示されている。

シニアユーザは図２の検索結果表示画面を吟味してＷｅｂページを選択する。ステップＳ３において、ＰＣはシニアユーザに選択されたＷｅｂページをディスプレイ装置などに表示する。シニアユーザはディスプレイ装置などに表示されたＷｅｂページを閲覧し、意図と合っているか違っているかを判断する。

意図と合っていれば、シニアユーザは目的を達成し、図１のフローチャートの処理を終了する。意図と合っていなければ、シニアユーザはステップＳ２において、再び、検索結果表示画面を吟味して他のＷｅｂページを選択する。なお、シニアユーザは検索結果表示画面に意図と合っているＷｅｂページが含まれていなければステップＳ１において、検索キーワードの入力からやり直す。

しかし、図２の検索結果表示画面は文字ベースであり、シニアユーザにとって情報過多であることが多い。このため、視力や判断力、記憶力などが衰えていることが多いシニアユーザはステップＳ２においてＷｅｂページの取捨選択を行うことが難しかった。

従来、オートパイロット等により蓄積されたＷｅｂ情報を閲覧する際に、Ｗｅｂ情報のサムネイルを生成し出力すること、画像のみを出力すること、順次表示することで、簡便にＷｅｂ情報が見られるようにする技術は知られている（例えば特許文献１参照）。

特開２０００−１１２８５６号公報

しかし、オートパイロット等により蓄積されたＷｅｂ情報を閲覧する際に、Ｗｅｂ情報のサムネイルを生成し出力すること、サムネイルの内容をＷｅｂ情報中に含まれる画像のみとすること、Ｗｅｂ情報の画像が表示されている部分を順に表示することで、簡便にＷｅｂ情報が見られるようにする技術は、上記したＷｅｂページの取捨選択を行うことが難しいという課題を解決できるものではない。

例えばＷｅｂページのサムネイルや、Ｗｅｂページ中に含まれる画像だけが出力されたとしても、視力や判断力、記憶力などが衰えていることが多いシニアユーザはステップＳ２においてＷｅｂページの取捨選択を行うことが難しかった。

本実施形態は、検索結果を分かり易く出力できる検索結果出力装置、検索結果出力方法及び検索結果出力プログラムを提供することを目的とする。

上記課題を解決するため、本発明の一実施形態は、検索キーワードにより検索されたコンテンツから該コンテンツを代表する代表画像を抽出する画像抽出手段と、前記検索されたコンテンツから前記代表画像に関連する関連テキストを抽出するテキスト抽出手段と、前記抽出した代表画像、及び、前記抽出した前記代表画像に関連する関連テキストを合わせて前記検索キーワードによる検索結果として順に出力する検索結果出力手段とを有し、前記検索結果出力手段は、検索結果の出力スピード変更のユーザ操作があると、ユーザ操作に基づいてユーザが関心を持つ前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストを判断し、前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストを関連付けて記録する記録手段からユーザが関心を持つ前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストをキー画像及びキーテキストとして選択し、前記キー画像と、前記記録手段に記録されている前記代表画像との類似度を算出し、該類似度の順に出力することを特徴とする。

なお、本発明の一実施形態の構成要素、表現又は構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。

本実施形態によれば、検索結果を分かり易く出力できる検索結果出力装置、検索結果出力方法及び検索結果出力プログラムを提供可能である。

Ｗｅｂページ検索プロセスの一例のフローチャートである。 検索結果表示画面の一例のイメージ図である。 本実施例による検索結果表示画面の一例のイメージ図である。 本実施例のＷｅｂページ検索システムの一実施例の構成図である。 コンピュータの一例のハードウェア構成図である。 Ｗｅｂサーバの一実施例の処理ブロック図である。 Ｗｅｂサーバが検索結果をユーザインターフェースに表示させる処理の一例のフローチャートである。 ページ解析部の処理の一例のフローチャートである。 ステップＳ２３の画像抽出処理を表した一例のフローチャートである。 ステップＳ２６の類似画像抽出処理を表した一例のフローチャートである。 ステップＳ２４のテキスト抽出処理を表した一例のフローチャートである。 ステップＳ２７の類似テキスト抽出処理を表した一例のフローチャートである。 合成処理部の処理の一例のフローチャートである。 表示制御部の処理の一例のフローチャートである。 音声合成の処理イメージを表した一例の説明図である。 タイムライン作成及び更新の処理イメージを表した一例の説明図である。 ステップＳ７７〜Ｓ７９の処理イメージを表した一例の説明図である。 表示制御部の処理イメージを表した一例の説明図である。 再生スピード変更のユーザ操作を受けた表示制御部の処理イメージを表した一例の説明図である。 再生スピード変更のユーザ操作を受けた表示制御部の処理イメージを表した一例の説明図である。 ステップＳ６２〜Ｓ６５の処理イメージを表した一例の説明図である。

次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。なお、本実施例では情報検索分野におけるブラウジング技術を例とする。本実施例は検索結果を出力する際、その検索結果を示すＷｅｂページに、どのような内容が書かれているのかを分かり易く示すものである。Ｗｅｂページは、テキスト及び画像を含むコンテンツ（資源）の一例である。

本実施例では、検索結果の出力方法として、図３に示すように、各Ｗｅｂページを代表する画像と、その画像に関連するテキストとを、紙芝居風にスライド表示する。本実施例の方法は例えばシニアユーザに適していると考えられる。さらに、本実施例では視覚的な情報だけでなく、テキストを読み上げた音声と、Ｗｅｂページの切り替わりを意識させるためのＢＧＭを用いて、聴覚的な情報の提示も同時に行い、より深い理解を促進できる。

図３に示すようなＷｅｂページの内容を表現するスライドを作成するためには、Ｗｅｂページから、そのＷｅｂページの内容を表す代表的な画像（以下、代表画像という）を取り出し、かつ、その代表画像を説明する短いテキスト（以下、関連テキストという）を取り出す必要がある。

一般的に、Ｗｅｂページ内には、広告バナー等の画像や文字装飾のためのアイコン画像の他、そのＷｅｂページ内のテキストを説明するための写真等の画像など、様々な画像が含まれている。

ユーザが検索結果の表示から所望のＷｅｂページを取捨選択する際には、Ｗｅｂページを見比べながら、より所望のＷｅｂページに近いものを絞り込んでゆく。例えば代表画像及び関連テキストをＷｅｂページから取り出すとき、統一的な基準で代表画像及び関連テキストを選ぶことができる。しかし、実際にはユーザによって注目する代表画像及び関連テキストが異なるため、ユーザが関心を示した代表画像と関連テキストとを中心に表示した方がＷｅｂページの取捨選択に役立つ。つまり、ユーザが関心を示した代表画像及び関連テキストの対応付け及び抽出が必要となる。

図４は本実施例のＷｅｂページ検索システムの一実施例の構成図である。図４のＷｅｂページ検索システムは、１つ以上のクライアント１ａ〜１ｎと、１つ以上のＷｅｂサーバ２ａ〜２ｍと、ネットワーク３とを有する。なお、クライアント１ａ〜１ｎの何れでもよい場合はクライアント１と総称する。Ｗｅｂサーバ２ａ〜２ｍの何れでもよい場合はＷｅｂサーバ２と総称する。

クライアント１はネットワーク３を介してＷｅｂサーバ２とデータ通信可能に接続されている。クライアント１はユーザが操作する端末である。Ｗｅｂサーバ２はＷｅｂページを格納している。また、Ｗｅｂサーバ２の少なくとも１つには、検索エンジンが含まれている。

検索エンジンが含まれるＷｅｂサーバ２はクライアント１から検索キーワードを指定した検索要求があると、公開されているＷｅｂページを検索キーワードで検索し、その検索結果のＷｅｂページをネットワーク３経由でクライアント１に送信する。

また、Ｗｅｂサーバ２はクライアント１からＷｅｂページの格納位置を指定したＷｅｂページの取得要求があると、取得要求のあったＷｅｂページをネットワーク３経由でクライアント１に送信する。なお、Ｗｅｂページの格納位置はＵＲＬ（Uniform Resource Locator）などで表される。

クライアント１は例えば検索キーワードを指定して、Ｗｅｂサーバ２にＷｅｂページの検索要求を行う。また、クライアント１は例えばＵＲＬを指定して、Ｗｅｂサーバ２にＷｅｂページを要求する。クライアント１はＷｅｂブラウザなどを利用し、Ｗｅｂサーバ２から受信したＷｅｂページを表示する。

クライアント１及びＷｅｂサーバ２は、例えばサーバコンピュータやクライアントコンピュータなどのコンピュータ１０により実現される。なお、検索結果出力プログラムがインストールされたコンピュータ１０は検索結果出力装置の一例である。

図５はコンピュータの一例のハードウェア構成図である。ここでは、検索結果出力プログラムがインストールされているコンピュータ１０のハードウェア構成を説明する。コンピュータ１０は、検索結果出力装置と同様の機能を有している検索結果出力プログラムを実行する。

図５のコンピュータ１０は、入力装置２１、表示装置２２、コンピュータ本体２３を有している。コンピュータ本体２３はバス３７で相互に接続された主記憶装置３１、演算処理装置３２、インターフェース装置３３、記録媒体読取装置３４及び補助記憶装置３５を有する。また、バス３７には入力装置２１及び表示装置２２が接続されている。

バス３７で相互に接続されている入力装置２１、表示装置２２、主記憶装置３１、演算処理装置３２、インターフェース装置３３、記録媒体読取装置３４及び補助記憶装置３５は、演算処理装置３２による管理下で相互にデータの送受を行うことができる。演算処理装置３２は、コンピュータ１０全体の動作制御を司る中央処理装置である。

インターフェース装置３３はネットワーク３等からのデータを受信し、データの内容を演算処理装置３２に渡す。インターフェース装置３３は演算処理装置３２からの指示に応じてネットワーク３等にデータを送信する。

補助記憶装置３５には検索結果出力装置と同様の機能をコンピュータ１０に発揮させるプログラムの一部として、少なくとも検索結果出力装置における処理をコンピュータ１０に実行させる検索結果出力プログラムが記憶されている。そして、演算処理装置３２が検索結果出力プログラムを補助記憶装置３５から読み出して実行することで、コンピュータ１０は検索結果出力装置として機能するようになる。検索結果出力プログラムは、演算処理装置３２とアクセス可能な主記憶装置３１に格納されていても良い。

入力装置２１は演算処理装置３２の管理下でデータの入力を受付ける。検索結果出力プログラムは、コンピュータ１０が読み取り可能な記録媒体３６に記録しておくことができる。

記録媒体３６には、磁気記録媒体、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録媒体には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。光ディスクには、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ − Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。また、光磁気記録媒体には、ＭＯ（Ｍａｇｎｅｔｏ − Ｏｐｔｉｃａｌ ｄｉｓｋ）などがある。

検索結果出力プログラムを流通させる場合は例えば検索結果出力プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型の記録媒体３６を販売することが考えられる。検索結果出力プログラムを実行するコンピュータ１０は例えば記録媒体読取装置３４が検索結果出力プログラムを記録した記録媒体３６から検索結果出力プログラムを読み出す。演算処理装置３２は、読み出された検索結果出力プログラムを主記憶装置３１若しくは補助記憶装置３５に格納する。そして、コンピュータ１０は自己の記憶装置である主記憶装置３１若しくは補助記憶装置３５から検索結果出力プログラムを読み取り、検索結果出力プログラムに従った処理を実行する。つまり、演算処理装置３２は検索結果出力プログラムに従って、後述するような各種処理を実現している。

ここでは、検索結果出力装置の一例としてのＷｅｂサーバ２について説明する。図６はＷｅｂサーバの一実施例の処理ブロック図である。なお、図６の処理ブロック図は一例であって、一部の処理ブロックを他のＷｅｂサーバ２やクライアント１に持たせる構成も可能である。

Ｗｅｂサーバ２は検索部４１、ページ解析部４２、合成処理部４３、表示制御部４４を有する。なお、図６のユーザインターフェース６０は例えばクライアント１及びＷｅｂブラウザにより実現される。

検索部４１は、例えば検索エンジンである。検索部４１はユーザインターフェース６０から検索キーワードを指定した検索要求を受信する。検索キーワードは予め登録されているものであってもよいし、ユーザが自由記述したものであってもよい。検索部４１は公開されているＷｅｂページを検索キーワードで検索し、その検索結果（例えばＷｅｂページのＵＲＬリスト）を得る。

ページ解析部４２はページ取得部５１、画像抽出部５２、テキスト抽出部５３、記録部５４を有する。ページ解析部４２のページ取得部５１は検索部４１から検索結果としてのＷｅｂページのＵＲＬリストを取得する。画像抽出部５２はページ取得部５１が取得したＵＲＬリストのＷｅｂページをダウンロードする。

画像抽出部５２はダウンロードしたＷｅｂページ内の画像（Ｗｅｂページ中に含まれる画像）から後述のように、抽出条件に合致したものを代表画像として抽出する。テキスト抽出部５３はダウンロードしたＷｅｂページのＨＴＭＬを解析し、Ｗｅｂページ内のテキスト（Ｗｅｂページ中に含まれるテキスト）から後述のように、抽出条件に合致したものを関連テキストとして抽出する。記録部５４は、ＵＲＬリストに含まれるＷｅｂページのＵＲＬ、タイトル、代表画像（ＵＲＬ又はファイル）及び関連テキストをデータベースに記録する。

合成処理部４３は記録部５４のデータベースに記録された関連テキストに対し、音声合成処理を行い、読み上げ音声ファイルを生成する。また、合成処理部４３はＷｅｂページ毎に音声読み上げ時間と同期した音楽（例えばＢＧＭなど）を生成する。そして、合成処理部４３は記録部５４のデータベースに記録されたＷｅｂページのタイトル、代表画像及び関連テキストを順番に表示すると共に、読み上げ音声ファイル及び音楽を同期して再生するための同期ファイル（タイムライン）を作成する。

表示制御部４４は、同期ファイルに従って各Ｗｅｂページをスライド再生する。表示制御部４４はユーザ操作に応じてスライドの停止／再生／戻る／進む等の制御を行い、その制御に応じて後述のようにスライド表示順や表示内容を変更する。また、Ｗｅｂページ閲覧の操作を行った際には、ＷｅｂブラウザにＷｅｂページを表示させる制御を行う。

上記したように、図６のＷｅｂサーバ２はクライアント１のＷｅｂブラウザをユーザインターフェース６０として、検索結果の表示を図７のように行う。図７はＷｅｂサーバが検索結果をユーザインターフェースに表示させる処理の一例のフローチャートである。

ステップＳ１１において、ページ解析部４２は、検索部４１から検索結果として取得したＵＲＬリストのＷｅｂページについて、後述のページ解析処理を行う。合成処理部４３はステップＳ１２において、読み上げ音声ファイル及びタイムラインを作成することで記録部５４のデータベースに記録されたＷｅｂページのタイトル、代表画像及び関連テキストを順番に表示すると共に、読み上げ音声ファイル及び音楽を同期して再生するための後述の合成処理を行う。

ステップＳ１３において、表示制御部４４は同期ファイルに従って各Ｗｅｂページをスライド再生すると共に、ユーザ操作に応じてスライドの停止／再生／戻る／進む等の制御を行い、その制御に応じてスライド表示順や表示内容を変更するための後述の表示制御処理を行う。なお、ステップＳ１３の表示制御処理では後述のように、ユーザが関心を示した画像及びテキストがキー画像及びキーテキストに設定されたあと、ステップＳ１１に示したページ解析処理に戻るものとする。

図８はページ解析部の処理の一例のフローチャートである。ステップＳ２１ではページ取得部５１がキー画像及びキーテキストの設定あり／なしを判定する。例えばキー画像及びキーテキストは初回起動もしくはユーザ操作の無い場合に設定がない。

キー画像及びキーテキストの設定がないと判定すると、ページ取得部５１はステップＳ２２において、検索部４１から検索結果としてのＷｅｂページのＵＲＬリスト（ページリスト）を取得する。

ステップＳ２３において、画像抽出部５２はページ取得部５１が取得したページリストのＷｅｂページをダウンロードする。画像抽出部５２はダウンロードしたＷｅｂページ内の画像から後述のように、抽出条件に合致したものを代表画像として抽出する。

ステップＳ２４において、テキスト抽出部５３はダウンロードしたＷｅｂページのＨＴＭＬを解析し、Ｗｅｂページ内のテキストから後述のように、抽出条件に合致したものを関連テキストとして抽出する。

一方、ステップＳ２１において、キー画像及びキーテキストの設定があると判定した場合、ページ取得部５１はキー画像及びキーテキストの設定がある旨を画像抽出部５２及びテキスト抽出部５３に通知する。

キー画像及びキーテキストの設定がある旨を通知されると、画像抽出部５２はステップＳ２５において、記録部５４から記録済みの全代表画像を取得する。キー画像及びキーテキストの設定がある旨を通知されると、テキスト抽出部５３は記録部５４から記録済みの全関連テキストを取得する。

ステップＳ２６において、画像抽出部５２は取得した全代表画像に対し、キー画像を使用して後述のように類似画像抽出処理を行う。ステップＳ２７において、テキスト抽出部５３は取得した全関連テキストに対し、キーテキストを使用して後述のように類似テキスト抽出処理を行う。

図９はステップＳ２３の画像抽出処理を表した一例のフローチャートである。ステップＳ３１において、画像抽出部５２はダウンロードしたＷｅｂページ内に含まれる全画像を取得する。

ステップＳ３２において、画像抽出部５２は取得した全画像の種類（アニメーションｇｉｆ、ｆｌａｓｈ、ｊｐｅｇなど）とリンク属性（ＨＴＭＬのａタグなど）とをチェックして外部リンクや対象外の画像種類を除外する画像属性フィルタ処理を行う。ステップＳ３３において、画像抽出部５２は画像属性フィルタ処理により除外されなかった全画像の画像サイズをチェックして、ある閾値未満の画像サイズの画像を除外する画像サイズフィルタ処理を行う。ステップＳ３３では、例えば６０×６０ｐｉｘｅｌ未満の画像サイズの画像を除外することでアイコンやロゴ画像などを除外する。

ステップＳ３４において、画像抽出部５２は画像属性フィルタ処理、画像サイズフィルタ処理により除外されなかった全画像のアスペクト比（縦横比）をチェックして、ある閾値以上のアスペクト比の画像を除外するアスペクト比フィルタ処理を行う。ステップＳ３４では、例えば１：２以上のアスペクト比の画像を除外することで広告バナー画像などを除外する。

ステップＳ３５において、画像抽出部５２は画像属性フィルタ処理、画像サイズフィルタ処理、アスペクト比フィルタ処理により除外されなかった全画像の文字の有無をチェックして、文字が含まれている画像を除外する文字検出フィルタ処理を行う。ステップＳ３５では、文字が含まれている画像を除外することで、キャンペーンや特集などの画像を除外する。なお、文字検出フィルタ処理では検出する文字のサイズを例えば２０×２０ｐｉｘｅｌ未満などと設定してもよい。

ステップＳ３６において、画像抽出部５２は画像属性フィルタ処理、画像サイズフィルタ処理、アスペクト比フィルタ処理、文字検出フィルタ処理により除外されなかった全画像を代表画像として記録部５４に記録する。なお、画像抽出部５２はＷｅｂページ単位の記録順を検索結果のＷｅｂページランク（ページリスト）順とし、各Ｗｅｂページ内の代表画像単位での記録順を画像サイズ順とする。

図１０はステップＳ２６の類似画像抽出処理を表した一例のフローチャートである。ステップＳ４１において、画像抽出部５２は記録部５４に記録されている全代表画像を取得する。ステップＳ４２において、画像抽出部５２は取得した全代表画像に対してキー画像との類似度を計算する。なお、キー画像との類似度の算出方法は一般的に利用されている色ヒストグラムのユークリッド距離等を利用できる。

また、キー画像との類似度の算出方法の一例として、例えば「鈴木健司, et.al., "情報データベース技術(未来ねっと技術シリーズ)",第3章 マルチメディア情報の蓄積・検索技術, pp.80-136, オーム社, 2000」に記載されている類似画像検索技術を利用できる。

そして、ステップＳ４３において、画像抽出部５２はステップＳ４２で算出したキー画像との類似度順に全代表画像を記録部５４に記録し直す。

図１１はステップＳ２４のテキスト抽出処理を表した一例のフローチャートである。ステップＳ２４のテキスト抽出処理は、例えば「遠藤，指田，増本，長田，棚橋：画像情報とテキスト情報を統合的に利用したインタラクティブなWeb検索システム, 知能情報メディアシンポジウム，第５回知能情報メディアシンポジウム論文集 pp.163-170(1999).」に記載されている既存手法を利用できる。

上記の既存手法では、代表画像に関連する関連テキストを取得する際、テキストの意味内容を解析して取得するのが困難であるため、「画像と近い位置的にあるテキストは画像と内容的に関連していることが多い」「ＨＴＭＬのタグ構造からも画像とテキストの距離をある程度推測できる」という経験則を用いる。

画像とテキストの近さという点においては、ＨＴＭＬファイルの内容を解析して、ＨＴＭＬファイル内のタグ同士の近さを取得すれば、大まかには取得できる。テーブルなどの配置構造をもったタグなどの一部の例外はあるが、一般にＨＴＭＬファイル内で近いタグ同士は、表示上も近くに現れる。そこで、画像とテキストの位置的な近さの尺度は間に挟まれる改行数を用いている。これにより、画像とテキストとは間にはさまれる行数が多いほど、距離が遠くなる。

また、ＨＴＭＬのタグ構造による画像とテキストとの距離は、画像とテキストの間に含まれるタグの種類と数から、表１に示したタグと距離値の関係を用いて算出する。間にタグが多く存在すると、画像とテキストとは距離が大きく離れているとみなす。特に文章の切れ目を表すタグである＜Ｐ＞＜Ｈ１＞＜ＨＲ＞などがある場合は、画像とテキストとの距離が大きく離れているとみなす。

また、画像とテキストとの距離の特別な場合として、画像を表示するためのタグである＜ＩＭＧ＞につけられた画像の代用となるテキストを表すＡＬＴアトリビュートに記述されたテキストは、画像との関連性が深いので距離値０を割り当てる。

ステップＳ５１において、テキスト抽出部５３はダウンロードしたＷｅｂページのＨＴＭＬを解析し、ＨＴＭＬ内での記録順に代表画像の位置（代表画像を表示するためのタグの位置）を取得する。ステップＳ５２において、テキスト抽出部５３はステップＳ５１で取得した各代表画像の位置からタグ単位に取得テキスト範囲を拡大していく。

取得テキスト範囲にテキストが含まれると、ステップＳ５３において、テキスト抽出部５３は取得テキスト範囲に含まれるテキストと代表画像との距離値を、表１に示したタグと距離値の関係を用いて算出する。ステップＳ５４において、テキスト抽出部５３は算出したテキストと代表画像との距離値が閾値以下であるか否かを判定する。

算出したテキストと代表画像との距離値が閾値以下であれば、テキスト抽出部５３はステップＳ５５において、代表画像との距離値が閾値以下であったテキストを、関連テキストとして記録部５４に記録する。算出したテキストと代表画像との距離値が閾値以下でなければ、テキスト抽出部５３はステップＳ５２において、更に取得テキスト範囲を拡大していく。

また、図１２はステップＳ２７の類似テキスト抽出処理を表した一例のフローチャートである。ステップＳ６１において、テキスト抽出部５３はダウンロードしたＷｅｂページのＨＴＭＬを解析し、ＨＴＭＬ内での記録順に代表画像の位置を取得する。

ステップＳ６２において、テキスト抽出部５３はステップＳ６１で取得した各代表画像の位置から文字単位に取得テキスト範囲を拡大していく。ステップＳ６３において、テキスト抽出部５３は取得テキスト範囲に含まれるテキストに対してキーテキストとの類似度を算出する。なお、キーテキストとの類似度の算出方法は一般的に利用されているテキストの類似度を算出する既存手法を利用できる。

ステップＳ６４において、テキスト抽出部５３は算出した取得テキスト範囲に含まれるテキストとキーテキストとの類似度が閾値以上であり、且つ、極大値であるか否かを判定する。

算出した取得テキスト範囲に含まれるテキストとキーテキストとの類似度が閾値以上であり、且つ、極大値であれば、テキスト抽出部５３はステップＳ６５において、キーテキストとの類似度が閾値以上であり、且つ、極大値であるテキストを、関連テキストとして記録部５４に記録し直す（書き換える）。

算出した取得テキスト範囲に含まれるテキストとキーテキストとの類似度が閾値以上でなく、又は、極大値でなければ、テキスト抽出部５３はステップＳ６２において、更に取得テキスト範囲を拡大していく。なお、図１２のステップＳ６２〜Ｓ６５の処理については後述する。

図１３は合成処理部の処理の一例のフローチャートである。合成処理部４３はステップＳ７１において、記録部５４に記録された関連テキストを取得する。また、ステップＳ７２において、合成処理部４３は取得した関連テキストを音声合成エンジンに入力して音声合成処理を行い、読み上げ音声ファイルを生成する。

ステップＳ７３において、合成処理部４３はＷｅｂページのサムネイル画像を利用するか否かを判定する。Ｗｅｂページのサムネイル画像を利用しなければ、合成処理部４３はステップＳ７４において、初回の合成処理か否かを判定する。初回の合成処理か否かは例えばタイムラインの有無で判定できる。

初回の合成処理であれば、合成処理部４３はステップＳ７５において、Ｗｅｂページ毎に音声読み上げ時間と同期した音楽（例えばＢＧＭなど）を生成する。そして、合成処理部４３は記録部５４に記録されたＷｅｂページのタイトル、代表画像及び関連テキストを順番に表示すると共に、読み上げ音声ファイル及び音楽を同期して再生するためのタイムラインを作成する。

初回の合成処理でなければ、合成処理部４３はステップＳ７６において、Ｗｅｂページ毎に音声読み上げ時間と同期した音楽を生成する。そして、合成処理部４３はタイムラインを更新する。

なお、ステップＳ７３において、Ｗｅｂページのサムネイル画像を利用すると判定した場合、合成処理部４３はステップＳ７７において、ユーザのＷｅｂブラウザに合わせてレンダリングを行ったＷｅｂページのサムネイル画像を作成する。

ステップＳ７８において、合成処理部４３はサムネイル画像上の代表画像と関連テキストの位置（座標）を取得する。ステップＳ７９において、合成処理部４３は表示画面サイズから拡大率、スクロール量を算出する。合成処理部４３はステップＳ７４において、再び初回の合成処理か否かを判定する。ステップＳ７９で算出した拡大率とスクロール量により、表示制御部４４はＷｅｂページのサムネイル画像上の代表画像と関連テイストとを順番に表示することができるようになる。なお、図１３の処理については後述する。

図１４は表示制御部の処理の一例のフローチャートである。表示制御部４４はステップＳ８０において、タイムラインに沿ってスライド再生を行う。ステップＳ８０で行うスライド再生は、記録部５４に記録されたＷｅｂページのタイトル、代表画像及び関連テキストを含むＷｅｂページ（スライド）をタイムラインに沿って順番に表示すると共に、読み上げ音声ファイル及び音楽を同期して再生するものである。

ステップＳ８１において、表示制御部４４は再生スピード変更のユーザ操作（スライドの停止／スピードダウン／戻るなど）があったか否かを判定する。表示制御部４４は再生スピード変更のユーザ操作が無ければ、閲覧のユーザ操作があったか否かをステップＳ８２において判定する。

閲覧のユーザ操作が無ければ、表示制御部４４はステップＳ１１において、再びページ解析処理を行う。閲覧のユーザ操作があれば、表示制御部４４はステップＳ８３においてＷｅｂブラウザにＷｅｂページを表示するブラウザ表示処理を行う。ステップＳ８３で表示されるＷｅｂページは閲覧のユーザ操作があったときにＷｅｂブラウザに表示されていたスライドと対応しているＷｅｂページであるとする。

ステップＳ８１において、再生スピード変更のユーザ操作があったと判定すると、表示制御部４４はステップＳ８４において、ユーザ操作が「戻る」であったかを判定する。表示制御部４４はユーザ操作が「戻る」であったと判定すると、ステップＳ８５において直前のスライド上の代表画像及び関連テキストをキー画像及びキーテキストに設定する。

ステップＳ８４において、ユーザ操作が「戻る」でなかったと判定すると、表示制御部４４はステップＳ８６において、ユーザ操作が「スピードダウン」又は「停止」であったかを判定する。

また、表示制御部４４はユーザ操作が「スピードダウン」又は「停止」であったと判定すると、ステップＳ８７において現在のスライド上の代表画像及び関連テキストをキー画像及びキーテキストに設定する。なお、図１４の処理については後述する。

図１５は音声合成の処理イメージを表した一例の説明図である。合成処理部４３は記録部５４に記録された代表画面に関連する関連テキストを取得し、取得した関連テキストを音声合成エンジン１００に入力して音声合成処理を行い、読み上げ音声ファイル（図１５中の音声ファイル（１）〜（３））を生成する。

図１６はタイムライン作成及び更新の処理イメージを表した一例の説明図である。合成処理部４３は図１６に示すようなタイムラインを作成又は更新する。例えば図１６に示すタイムラインは、あるＷｅｂページ上の代表画面（１）及び関連テキスト（１）、代表画面（２）及び関連テキスト（２）、代表画面（３）及び関連テキスト（３）を順番に表示することを表している。

さらに、図１６に示すタイムラインは、あるＷｅｂページ上の代表画面（１）及び関連テキスト（１）と同期して、音声ファイル（１）及び音楽の一例としてのＢＧＭ（１）を再生すること、代表画面（２）及び関連テキスト（２）と同期して、音声ファイル（２）及び音楽の一例としてのＢＧＭ（１）を再生すること、代表画面（３）及び関連テキスト（３）と同期して、音声ファイル（３）及び音楽の一例としてのＢＧＭ（１）を再生することを表している。なお、図１６に示すタイムラインではＷｅｂページの切り替わりを聴覚的に表現するためにＢＧＭ（１）を利用している。

図１７はステップＳ７７〜Ｓ７９の処理イメージを表した一例の説明図である。合成処理部４３はユーザのＷｅｂブラウザに合わせてレンダリングを行ったＷｅｂページのサムネイル画像２００を作成する。合成処理部４３はサムネイル画像２００上の代表画像２０１〜２０３と関連テキスト（１）〜（３）の位置を取得する。合成処理部４３は表示画面サイズから拡大率、スクロール量を算出する。

算出した拡大率とスクロール量により、表示制御部４４はＷｅｂページのサムネイル画像２００上の代表画像２０１と関連テキスト（１）の部分、代表画像２０２と関連テキスト（２）の部分、代表画像２０３と関連テキスト（３）の部分をズームして順番に表示することができるようになる。

言い換えれば、ステップＳ７７〜Ｓ７９の処理はオリジナルのＷｅｂページのレイアウトを崩すことなく、Ｗｅｂページの取捨選択をするための重要部分だけを素早く確認することができる。

図１８は表示制御部の処理イメージを表した一例の説明図である。表示制御部４４はタイムラインに沿って図１８に示すように、代表画像及び関連テキストを含むＷｅｂページであるスライドをタイムラインに沿って順番に表示すると共に、読み上げ音声ファイル及び音楽を同期して再生する。

図１９及び図２０は再生スピード変更のユーザ操作を受けた表示制御部の処理イメージを表した一例の説明図である。スライドの表示滞留時間は、そのスライドに対するユーザの関心の高さを表すと仮定する。

図１９では戻る／進む／停止ボタンで再生スピード変更のユーザ操作を受け付ける例を表している。スライド３０１、３０２はユーザが「進む」ボタンを押下して再生スピードを変更している。スライド３０３はユーザが「停止」ボタンを押下して再生スピードを変更している。

スライド３０３はユーザが「停止」ボタンを押下したため、ユーザの関心が高いと考えられる。スライド３０３の次に表示すべきスライドは、現在表示しているスライド３０３の代表画面及び関連テキストに関連した内容になることが望ましい。そこで、本実施例ではユーザの関心を表す基準として、スライド３０３の代表画像及び関連テキストをキー画像及びキーテキストとして設定する。

スライド３０３以降のスライドは、ユーザの関心が高いと考えられるスライド３０３と類似するスライド３０４〜３０６の順番に並び替えて表示する。例えば図２０ではスライド３０３の後に、スライド３０３との類似度が１位のスライド３０４が表示され、次にスライド３０３との類似度が２位のスライド３０５が表示され、次にスライド３０３との類似度が３位のスライド３０６が表示される。なお、ユーザの関心の高いスライドはユーザに直接、選択させてもよい。

図２１は、ステップＳ６２〜Ｓ６５の処理イメージを表した一例の説明図である。図２１（Ａ）は検索キーワード「温泉」の検索結果に含まれていたＷｅｂページのランキング順を示している。図２１（Ｂ）は図２１（Ａ）のＷｅｂページの内容を表現するスライドの表示順を示している。図２１（Ｂ）は再生スピード変更のユーザ操作を受け付けなければスライド４０４、４０５、４０６、４０７の順番に表示されることを表している。

ここでは、スライド４０５が表示されているときに、ユーザが「停止」ボタンを押下して再生スピードを変更したとする。本実施例では、同じ検索キーワード「温泉」の検索結果に含まれていたＷｅｂページ同士で類似している画像同士と、その近傍のテキスト同士とが互いに関連する内容（類似する内容）と考える。そこで、スライド４０５に対応するＷｅｂページ４０２の代表画像Ｐ及び関連テキストＴをキー画像及びキーテキストとして設定する。

その後、本実施例ではキー画像である代表画像Ｐと類似しているＷｅｂページ４０３の代表画像を代表画像Ｐの類似画像として抽出する。次に、本実施例ではＷｅｂページ４０３の代表画像の位置を起点として、関連テキストとして抽出する抽出範囲を決める。抽出範囲は、Ｗｅｂページ４０３の代表画像を中心に前後のテキストを文字単位で拡大していきながら、キーテキストとの類似度を評価する。この類似度が閾値を超えて、且つ、類似度が極大値となる範囲までを関連テキストとする。

ユーザが「停止」ボタンを押下して再生スピードを変更したスライド４０５以降のスライドの表示順は、キー画像との類似度順となる。例えば図２１（Ｂ）ではスライド４０５の次に表示される予定であったスライド４０６に替えて、スライド４０５の代表画像（代表画像Ｐの類似画像）のスライド４０７が表示される。

本実施例では、検索結果に含まれていたＷｅｂページの内容を代表画像、関連テキスト及び音声でユーザに提示することで、シニアユーザなども簡単にＷｅｂページの取捨選択ができるようになる。特に、本実施例ではユーザの関心に応じて、検索結果に含まれていたＷｅｂページの内容を考慮した代表画像と関連テキストとが表示されることで、新たに検索条件を再設定することなく、ユーザの所望するＷｅｂページに絞り込むことが容易となる。

なお、クライアント１がＰＣである場合は、例えば関心のある検索キーワードを予め登録しておくことで、例えばテレビを見る感覚で気軽にＷｅｂページの検索ができる。スライド再生は例えばスクリーンセーバ等を利用して行ってもよい。クライアント１が携帯電話や携帯情報端末など、表示できる情報量が限られる小画面である場合は、代表画像と関連テキストだけでＷｅｂページを閲覧するか否かの判断材料を提供できる。

本発明は、以下に記載する付記のような構成が考えられる。
（付記１）
検索キーワードにより検索されたコンテンツから該コンテンツを代表する代表画像を抽出する画像抽出手段と、
前記検索されたコンテンツから前記代表画像に関連する関連テキストを抽出するテキスト抽出手段と、
前記抽出した代表画像、及び、前記抽出した前記代表画像に関連する関連テキストを合わせて前記検索キーワードによる検索結果として出力する検索結果出力手段と
を有することを特徴とする検索結果出力装置。
（付記２）
前記検索結果出力手段は、前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストを関連付けて記録する記録手段からユーザが関心を持つ前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストをキー画像及びキーテキストとして選択し、前記キー画像と、前記記録手段に記録されている前記代表画像との類似度を算出し、該類似度の順に出力する
ことを特徴とする付記１記載の検索結果出力装置。
（付記３）
コンピュータが実行する検索結果出力方法であって、
検索キーワードにより検索されたコンテンツから該コンテンツを代表する代表画像を抽出し、
前記検索されたコンテンツから前記代表画像に関連する関連テキストを抽出し、
前記抽出した代表画像、及び、前記抽出した前記代表画像に関連する関連テキストを合わせて前記検索キーワードによる検索結果として出力する
ことを特徴とする検索結果出力方法。
（付記４）
前記抽出した代表画像、及び、前記抽出した前記代表画像に関連する関連テキストを合わせて前記検索キーワードによる検索結果として出力するとき、前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストを関連付けて記録する記録手段からユーザが関心を持つ前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストをキー画像及びキーテキストとして選択し、
前記キー画像と、前記記録手段に記録されている前記代表画像との類似度を算出し、該類似度の順に出力する
ことを特徴とする付記３記載の検索結果出力方法。
（付記５）
コンピュータに、
検索キーワードにより検索されたコンテンツから該コンテンツを代表する代表画像を抽出し、
前記検索されたコンテンツから前記代表画像に関連する関連テキストを抽出し、
前記抽出した代表画像、及び、前記抽出した前記代表画像に関連する関連テキストを合わせて前記検索キーワードによる検索結果として出力する
処理を実行させる検索結果出力プログラム。
（付記６）
前記抽出した代表画像、及び、前記抽出した前記代表画像に関連する関連テキストを合わせて前記検索キーワードによる検索結果として出力するとき、前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストを関連付けて記録する記録手段からユーザが関心を持つ前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストをキー画像及びキーテキストとして選択し、
前記キー画像と、前記記録手段に記録されている前記代表画像との類似度を算出し、該類似度の順に出力する
処理を実行させる付記５記載の検索結果出力プログラム。

なお、本実施例におけるコンテンツ処理プログラムは、パッケージソフトの他、ＷＥＢサービス等によっても提供可能である。

なお、特許請求の範囲に記載した画像抽出手段は画像抽出部５２に相当し、テキスト抽出手段はテキスト抽出部５３に相当し、検索結果出力手段は合成処理部４３及び表示制御部４４に相当し、記録手段が記録部５４に相当する。

１、１ａ〜１ｎ クライアント
２、２ａ〜２ｍ Ｗｅｂサーバ
３ ネットワーク
１０ コンピュータ
２１ 入力装置
２２ 表示装置
２３ コンピュータ本体
３１ 主記憶装置
３２ 演算処理装置
３３ インターフェース装置
３４ 記録媒体読取装置
３５ 補助記憶装置
３６ 記録媒体
３７ バス
４１ 検索部
４２ ページ解析部
４３ 合成処理部
４４ 表示制御部
５１ ページ取得部
５２ 画像抽出部
５３ テキスト抽出部
５４ 記録部
６０ ユーザインターフェース

Claims (3)

1. 検索キーワードにより検索されたコンテンツから該コンテンツを代表する代表画像を抽出する画像抽出手段と、
   前記検索されたコンテンツから前記代表画像に関連する関連テキストを抽出するテキスト抽出手段と、
   前記抽出した代表画像、及び、前記抽出した前記代表画像に関連する関連テキストを合わせて前記検索キーワードによる検索結果として順に出力する検索結果出力手段と
   を有し、
   前記検索結果出力手段は、検索結果の出力スピード変更のユーザ操作があると、ユーザ操作に基づいてユーザが関心を持つ前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストを判断し、前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストを関連付けて記録する記録手段からユーザが関心を持つ前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストをキー画像及びキーテキストとして選択し、前記キー画像と、前記記録手段に記録されている前記代表画像との類似度を算出し、該類似度の順に出力する
   ことを特徴とする検索結果出力装置。
2. コンピュータが実行する検索結果出力方法であって、
   検索キーワードにより検索されたコンテンツから該コンテンツを代表する代表画像を抽出し、
   前記検索されたコンテンツから前記代表画像に関連する関連テキストを抽出し、
   前記抽出した代表画像、及び、前記抽出した前記代表画像に関連する関連テキストを合わせて前記検索キーワードによる検索結果として順に出力し、
   検索結果の出力スピード変更のユーザ操作があると、ユーザ操作に基づいてユーザが関心を持つ前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストを判断し、前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストを関連付けて記録する記録手段からユーザが関心を持つ前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストをキー画像及びキーテキストとして選択し、前記キー画像と、前記記録手段に記録されている前記代表画像との類似度を算出し、該類似度の順に出力する
   ことを特徴とする検索結果出力方法。
3. コンピュータに、
   検索キーワードにより検索されたコンテンツから該コンテンツを代表する代表画像を抽出し、
   前記検索されたコンテンツから前記代表画像に関連する関連テキストを抽出し、
   前記抽出した代表画像、及び、前記抽出した前記代表画像に関連する関連テキストを合わせて前記検索キーワードによる検索結果として順に出力し、
   検索結果の出力スピード変更のユーザ操作があると、ユーザ操作に基づいてユーザが関心を持つ前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストを判断し、前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストを関連付けて記録する記録手段からユーザが関心を持つ前記抽出した代表画像及び前記抽出した前記代表画像に関連する関連テキストをキー画像及びキーテキストとして選択し、前記キー画像と、前記記録手段に記録されている前記代表画像との類似度を算出し、該類似度の順に出力する処理を実行させる検索結果出力プログラム。