JP2008217660A - 検索方法、および装置 - Google Patents

Abstract

【課題】詳細な情報を所望するコンテンツ内の語句、あるいは画像に対して検索を行う場合、入力作業の負担を省き、快適なコンテンツ鑑賞環境を提供すること。
【解決手段】コンテンツ上におけるユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報command1を撮像手段INPUT1により撮像し、入力画像IMGin1、およびIMGin2を得る。画像IMGin1は、検索対象contentsに対するユーザの指示情報、あるいは動き情報を保持しており、画像IMGin2は、ユーザによる検索結果提示位置の指示情報を保持している。検索キー検出手段SDにおいて、画像認識により検索用キーワード、あるいは画像（以下、両者をまとめて検索キーCOMin1と呼ぶ）を検出する。検索手段SEAR1において、検索キーCOMin1に検索アルゴリズムを適用し、検索結果Sdatを取得する。
【選択図】図１

Description

本発明は、ユーザが詳細な情報を所望するコンテンツ内の語句、あるいは画像に対して、手間のかかる入力作業を省いた検索を可能とする装置に関する。

近年、高速通信の低コスト化が進み、誰でも気軽にネットワークにアクセスすることが可能となり、ネットワーク上には膨大な情報が公開されている。これにより、読書中に未知の語句があった場合、旅行の計画を立てる場合、高度先端技術に関する調査を行う場合など、幅広い調査作業において、ウェブ検索が最も一般な手段となっている。

その代表的な方法として、PCに標準搭載されているウェブブラウザの利用が挙げられる。これは、入力デバイスを使用して、入力ボックスに検索キーを打ち込むという方法である。検索キー（この場合は文字列）を打ち込む際、キーボード操作が不可欠である。

図１５は、キーボードなどの入力デバイスを使用した従来の検索装置PROC4の構成を示したブロック図である。検索装置PROC4は、入力手段INPUT３、検索手段SEAR1、画像生成手段GEN3、提示手段OUTPUT2とから構成される。入力手段INPUT３は、キーボードなどの入力デバイスにより入力されたユーザからの検索命令command2を読み込み、検索キーCOMin2として出力する。検索手段SEAR1は、検索キーCOMin2に検索アルゴリズムを適用し、検索結果Ｓdatを取得する。提示画像生成手段GEN3は、検索エンジン、あるいはアプリケーションに応じて、検索結果Sdatをユーザに提示する提示画像IMGout3を作成する。提示手段OUTPUT2は、ディスプレイにより提示画像IMGout3を検索結果search result 2として出力する。

前記装置の動作のフローチャートを図１６に示す。ステップＳ109では、ユーザが検索キーCOMin2となる文字列をキーボードなどの入力デバイスから直接入力する。ステップS105では、ステップS109で入力された検索キーCOMin2を検索アルゴリズムに適用し、検索結果Sdatを取得する。ステップS110では、検索エンジン、あるいはアプリケーションに応じて、検索結果Sdatをユーザに提示するための提示画像IMGout3を作成する。ステップＳ111では、ステップS110で作成した提示画像IMGout3をsearch result 2として出力する。

前記検索装置において、キーボードを用いて円滑な入力を行うには、訓練が必要である上、操作に慣れてきてもタイプミスは頻繁に起こり得るものであり、作業は煩雑であると言える。この点を考慮して、人間工学デザインに基づき、キー配置が様々に工夫されたキーボードが販売されている。ただし、現状では、このようなキーボードを購入するのは、仕事や趣味において、キーボードを操作する時間が長い人々の中でも、こだわりを持つユーザに限られる。しかも、前記工夫されたキーボードを、熟練者が使用したとしても、タイプミスを完全に無くすことは不可能であり、また、キータイプ自体の煩雑さを解決したとは言えない。

現在、検索作業の効率化を目指した技術開発が数多く進められているが、それらは、検索アルゴリズムに重点を置いたものが主流である。検索結果の提示順位に関する検索アルゴリズムについてはベイズ理論などの統計学的手法が導入され、今なお、改善が図られている。高度な検索アルゴリズム採用した代表例がGoogleなどの検索エンジンである。このような検索エンジンでは、検索キー、言語、ファイルタイプなど検索条件の詳細指定が可能な検索オプションが充実し、また、イメージ、ニュース、マップなど各項目の分類提示が可能であり、利用者の目的に幅広く対応している。ただし、検索アルゴリズムの改善は、ユーザに対して、いかに所望の情報を上位に提示するかを目的としたものであり、検索条件の入力については、ユーザによる文字列の入力を前提としている。デザインが非常に簡潔なGoogleの検索サイトでさえ、入力ボックスを中心に構成されており、インタフェースに関しては、ユーザの入力作業に負担を与えるものである。

こうした状況の中、検索作業における新たな入力デバイスの開発も徐々に注目され始めている。その一つが携帯電話に搭載されたカメラの利用である。これは、画像認識と携帯電話用ソフトウェアを用いたサービスとして実用化されている。特許文献1では、自動車で移動中に看板などを撮影し、その内容を認識して、ナビゲーションを行う装置が提案されている。携帯電話は、キーボードに比べて文字入力がより一層煩雑となるため、前記特許文献１のように画像検索は、機動性の高いデバイスの特性を上手く生かした技術として、潜在的ニーズが高い。

また、特許文献2では、屋内用の技術として、新聞などのテレビ欄をカメラ付き携帯電話で撮影し、番組予約を行う装置が提案されている。ただし、前記特許文献２のように文字列認識が可能なカメラ付携帯電話による撮影であっても、撮影範囲の調整に手間がかかる。さらに、読書中、あるいは画像、映像の視聴中に何度もコンテンツにカメラを向けることは、パソコンを使用したウェブ検索同様に煩雑な作業であり、快適なコンテンツ鑑賞を妨げることになる。

前記従来検索手段の問題点は、ユーザが鑑賞しているコンテンツと検索を行うため装置が完全に独立していることが原因として挙げられる。本や新聞を読みながら、あるいは映画を鑑賞しつつ、パソコンのディスプレイに向かって検索作業を行うことは、時間的、空間的移動を伴うものであり、非常に手間がかかり、快適なコンテンツ鑑賞環境の妨げとなる。前記カメラ付携帯電話による検索手段においても、ユーザがコンテンツ鑑賞を中断する必要があるため、検索作業の効率化という要求を完全に満たすものとは言えない。
特開2005-98939号公報 特開2004-341977号公報

検索エンジンによる前記検索手段において、キーボードで入力ボックスに検索キーを打ち込む方法が一般的である。キーボード自体の改良が進んだとしても、入力作業は依然として必要であり、ユーザへの負担が大きいという第１の課題があった。

また、ウェブ検索においては、ユーザがコンテンツ鑑賞を行う合間に検索を行う場合、パソコンのディスプレイに目を向ける必要があるため、コンテンツから目を逸らし、鑑賞を一時中断することになる。また、検索対象をカメラ付携帯電話で撮影する場合、コンテンツにカメラを向けて撮像範囲を調節することは、回数が増えると非常に煩雑な作業に他ならない。前記検索手段では、コンテンツを鑑賞しながら検索することができないという第2の課題があった。

本発明は、以上の課題を解決するためになされたものである。

コンテンツ内において、ユーザが詳細な情報を所望する語句、あるいは画像に対して、画像処理により検索用のキーワードあるいは画像データ（以下、両者をまとめて検索キーと呼ぶ）を検出する検索方法であって、
コンテンツ上でユーザ所望の検索箇所に対する指示を動画像あるいは静止画像として取得する撮像ステップと、
前記動画像あるいは静止画像を入力して、ユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報に基づいて検索対象を特定し、検索キーを検出する検出ステップと、
前記検索キーを検索アルゴリズムに適用し、検索結果を取得する検索ステップと、
前記検索結果を提示するための提示画像を作成する画像生成ステップと、
前記提示画像を提示する提示ステップと、
を備えることを特徴とする。

本発明の請求項２の検索方法は、
コンテンツ内において、ユーザが詳細な情報を所望する語句、あるいは画像に対して、画像処理により検索キーを検出する検索方法であって、
コンテンツ上でユーザ所望の検索箇所に対する指示を動画像あるいは静止画像として取得する撮像ステップと、
前記動画像あるいは静止画像を入力して、ユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報に基づいて検索対象を特定し、検索キーを検出する検出ステップと、
前記検索キーを検索アルゴリズムに適用し、検索結果を取得する検索ステップと、
前記検索結果を提示するための提示画像を作成する画像生成ステップと、
前記提示画像を提示する空間位置を決定する提示位置決定ステップと、
前記提示画像を、前記提示位置決定ステップにより決定した位置に提示する提示ステップと、
を備えることを特徴とする請求項１記載の検索方法である。

本発明の請求項３の検索方法は、
前記検出ステップは、前記撮像ステップで得られた前記動画像あるいは静止画像に対して、文字認識、あるいは画像識別を行い、検索キーを検出することを特徴とする請求項１記載の検索方法である。

本発明の請求項４の検索方法は、
前記提示位置決定ステップは、前記撮像ステップで得られた前記動画像あるいは静止画像に対して、ユーザからの提示位置の指示を画像認識により検出し、前記提示画像の提示位置を決定することを特徴とする請求項２記載の検索方法である。

本発明の請求項５の検索方法は、
前記コンテンツは、前記提示ステップとは異なるステップにより提示された画像、あるいは、印刷物などの物理的な媒体であることを特徴とする請求項１記載の検索方法である。

本発明の請求項６の検索方法は、
前記コンテンツは、前記提示ステップにより提示される仮想コンテンツであって、
前記画像生成ステップは、前記仮想コンテンツを提示するための画像も作成し、さらに、検索結果と前記仮想コンテンツを提示するための画像とを合成して前記提示画像とすることを特徴とする請求項１記載の検索方法である。

本発明の請求項７の検索方法は、
前記検出ステップは、前記仮想コンテンツを提示する位置情報を保持することで、指示位置検出のみで検索キーの検出が可能となることを特徴とする請求項６記載の検索方法である。

本発明の請求項８の検索方法は、
前記提示ステップは、前記ユーザ指示情報に応じて、前記コンテンツ上に、前記検索対象を特定するための補助情報を提示し、
前記補助情報は所定のマークや、ハイライトを含むことを特徴とする請求項１記載の検索方法である。

本発明の請求項９の検索方法は、
前記検出ステップは、前記コンテンツに埋め込まれたメタデータを利用して、検索キーを検出することを特徴とする請求項１記載の検索方法である。

本発明の請求項１０の検索装置は、
コンテンツ内において、ユーザが詳細な情報を所望する語句、あるいは画像に対して、画像処理により検索キーを検出する検索装置であって、
コンテンツ上でユーザ所望の検索箇所に対する指示を動画像あるいは静止画像として取得する撮像手段と、
前記動画像あるいは静止画像を入力して、ユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報に基づいて検索対象を特定し、検索キーを検出する検出手段と、
前記検索キーを検索アルゴリズムに適用し、検索結果を取得する検索手段と、
前記検索結果を提示するための提示画像を作成する画像生成手段と、
前記提示画像を提示する提示手段と、
を備えることを特徴とする。

本発明の請求項１１のプログラムは、
コンテンツ内において、ユーザが詳細な情報を所望する語句、あるいは画像に対して、画像処理により検索キーを検出する検索方法を実現するプログラムであって、
コンテンツ上でユーザ所望の検索箇所に対する指示を動画像あるいは静止画像として取得する撮像ステップと、
前記動画像あるいは静止画像を入力して、ユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報に基づいて検索対象を特定し、検索キーを検出する検出ステップと、
前記検索キーを検索アルゴリズムに適用し、検索結果を取得する検索ステップと、
前記検索結果を提示するための提示画像を作成する画像生成ステップと、
前記提示画像を提示する提示ステップと、
を備えることを特徴とする。

本発明の請求項１２の集積回路は、
コンテンツ内において、ユーザが詳細な情報を所望する語句、あるいは画像に対して、画像処理により検索キーを検出する検索方法を実現する集積回路であって、
コンテンツ上でユーザ所望の検索箇所に対する指示を動画像あるいは静止画像として取得する撮像手段と、
前記動画像あるいは静止画像を入力して、ユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報に基づいて検索対象を特定し、検索キーを検出する検出手段と、
前記検索キーを検索アルゴリズムに適用し、検索結果を取得する検索手段と、
前記検索結果を提示するための提示画像を作成する画像生成手段と、
前記提示画像を提示する提示手段と、
を備えることを特徴とする。

以上のように、本発明によれば、画像認識によって、ユーザの指定する位置と動きから検索キーを検出できるため、ユーザは煩雑なキーボード入力作業を行うことなく、所望の検索結果を取得することができ、その実用的価値は高い。

また、検索結果の提示位置決定手段を備えているため、提示位置の自由度が高く、快適なコンテンツ鑑賞環境を提供できる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の検索装置PROC1の動作を示すブロック図である。検索装置PROC1は、検索キーCOMinの入力において、指示情報としてユーザが検索対象への位置指定、あるいは動作を行い、動作が撮像された映像に対する画像認識により検索キーCOMin1を検出することができる。また、検索結果提示画像IMGout1をユーザの意図する提示位置Pdatに決定できるため、自由度の高い提示が可能となる。前記2点が従来の検索方法と異なる。

検索装置PROC1は、撮像手段INPUT1、検索キー検出手段SD、検索手段SEAR1、画像生成手段GEN1、提示位置決定手段POS、提示手段OUTPUT1とから構成される。

撮像手段INPUT1は、ユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報command1を撮像した画像IMGin1を取得する。検索キー検出手段SDは、画像IMGin1に対する画像認識により、ユーザの指定する検索キーCOMin1を検出する。検索手段SEAR1は、検索キーCOMin1に検索アルゴリズムを適用し、検索結果Sdatを取得する。画像生成手段GEN1は、検索エンジン、あるいはアプリケーションに応じて、検索結果Sdatをユーザに提示するための提示画像IMGout1を作成する。提示位置決定手段POSは、撮像手段INPUT1により撮像したユーザの動作、あるいはユーザが鑑賞中のコンテンツの位置などに基づき、提示画像IMGout1を提示する位置Pdatを決定する。提示手段OUTPUT1は、提示デバイスにより提示画像IMGout1を検索結果search result 1として出力する。

この一実施の形態として、カメラとプロジェクタを搭載した検索装置を図２に示す。この装置では、撮像装置であるカメラにより、ユーザの指示、あるいは動きを撮像し、提示装置であるプロジェクタにより、検索結果を基に生成された提示画像を提示する。この装置における検索対象は、本や新聞といった印刷物などの物理的な媒体（以下、実コンテンツと呼ぶ）に含まれる語句や画像でも良いし、プロジェクタによって提示された文章や画像（以下、仮想コンテンツと呼ぶ）でも良い。また、仮想的なコンテンツの提示は、白紙の冊子にコンテンツを提示するものでも良い。なお、仮想コンテンツは、ネットワークから取得することが可能である。

カメラ、あるいはプロジェクタは図２にように、コンパクトに納めた装置に搭載されても良いし、天井、壁、あるいは柱に設置しても良い。なお、将来、プロジェクタ、およびカメラのさらなる小型化が実現した際、図３のようにプロジェクタとカメラの機能を有した携帯端末を構成し、本発明を適用することが可能である。また、図４のようにプロジェクタとカメラを搭載した眼鏡型検索装置を構成して、ユーザの視線に応じてユーザ指示情報command1の取得、あるいは、検索結果search result 1の提示を行うことが可能である。なお、ユーザの視線検出は、前記眼鏡型検索装置内で行っても良いし、外部で行い、前記視線検出結果を送信する方法で行っても良い。

次に、本発明の実施の形態に係る検索装置PROC1の動作について説明する。検索装置PROC1の動作のフローチャートを図５に示す。

ステップS101では、カメラ撮像範囲内に検索対象を含むコンテンツcontentsを提示する。なお、カメラは固定されたものであっても良いし、ユーザの動きを追従するものであっても良い。

ステップS102では、ユーザが、検索対象の位置を特定するための指示、あるいは動作を行う。これを指示情報command1とする。指示を行うための専用のツールを使用しても良いし、指先や市販のペンなど棒状の物体を仮想的なマーカーとして使用しても良い。この時、専用ツールを用いると画像認識によるユーザの指示情報command1からの検索キー検出が容易になる。また検索対象の指示は、映像内の人物、物体、あるいは文章内の文字などの検索対象の存在する領域内の1点を示すことを基本とする。ただし、より正確に検索対象を指示する場合は、検索対象を丸で囲む動きや罫線を引く動きを行うことが可能である。

ステップS103では、ユーザの指示情報command1、および検索対象contentsを撮像する。検索対象は、動画、あるいは静止画として取得する。周期的に撮像を行い、指示情報command1を示す動作を検出した際には、ステップＳ104の検索キー検出、あるいはステップＳ107の提示位置決定を行う。ユーザによる指示、および検索対象が撮像された場合は、画像IMGin1をステップS104の入力とし、ユーザによる提示位置の指示が撮像された場合は、画像IMGin2をステップS105の入力とする。前記判定に関しては、ユーザの指示位置における検索対象の存在の有無によるものでも良いし、ユーザの指示位置によってあらかじめ決められたものでも良いし、ユーザがインタフェースを介して指定するものでも良い。撮像に使用するカメラは、一般的に市販されているNTSCカメラで良いし、提示するコンテンツの内容、提示装置の構成に応じて、モノクロカメラや赤外カメラを使用しても良い。

ステップS104では、ユーザによる指示情報command1、および検索対象contentsが撮像された画像IMGin1を入力として、検索キーCOMin1の検出を行う。ここでの処理は、検索対象が文字である場合と画像である場合、またコンテンツ提示がプロジェクタ提示像である場合と実物である場合など、いずれの状況にも対応可能である。ここで得られる検索キーCOMin1は、従来のウェブ検索で入力ボックスにキーボード入力される検索キーCOMin2と同様であっても良いし、検索システム特有のものであっても良い。なお、次のステップに進む前に検索キーCOMin1がユーザの意図したものであるか、ユーザに問い合わせ、もし所望の検索キーCOMin1でない場合は、ステップS102からやり直す処理を加えることもできる。

ステップS105では、ステップS104で検出された検索キーCOMin1を検索アルゴリズムに適用し、検索結果Sdatを取得する。なお、検索は、インターネット検索でも良いし、ローカル検索でも良い。ローカル検索は、図書館、教育機関、アミューズメント施設など狭い範囲の施設、あるいは地域で構築されたネットワーク上で行う検索を指す。ローカル検索では、インターネット検索よりも検索範囲が限定される一方で、また、コンテンツとの関連性が高い情報を集約することができる。なお、前記インターネット検索、およびローカル検索は、ネットワーク上のあらかじめ決められたサーバで行っても良い。

ステップS106では、S105で得られた検索結果Sdatを反映した提示画像IMGout1を作成する。検索結果は、アプリケーション、インタフェースに応じて，コンテンツデータ上に合成しても良いし、コンテンツと独立しても良い。

ステップS107では、S106で作成した画像IMGout1を提示する位置Pdatを、ステップS103で撮像した入力画像IMGin2を基に決定する。この処理では、ユーザが所望する提示位置を指定する動作を行い、それをステップS103で撮像する方法でも良いし、S103による入力画像から最適の提示位置を装置側で判定する方法でも良い。なお、提示画像IMGout1を提示する位置が固定されたものである場合、このステップは省略される。

ステップS108では、ステップS107で決定した提示位置にステップS106で作成した提示画像IMGout1を検索結果search result 1として出力する。この提示画像IMGout1中の情報を、次の検索対象として、検索を続行することも可能である。また、検索対象を特定するための補助情報としてマークやハイライトをユーザに提示し、インタフェースの視認性を向上させることもできる。なお、仮想コンテンツを検索対象とした検索結果を提示する際、仮想コンテンツを提示するための提示手段と検索結果を基に作成した提示画像を提示するための提示手段を分けることが可能である。その一実施の形態として、図６プロジェクタを２つ使用する方法が挙げられる。これにより、提示画像を提示する位置の自由度を向上することができる。

図７はステップS104の詳細を示すフローチャートである。

ステップS1041では、ユーザの指示を撮像した画像IMGin1を入力する。画像IMGin1は、ユーザの指示の開始から終了まで撮像した画像列とする。

ステップＳ1042では、専用ツール、あるいはユーザの指先や棒状の実物体といった仮想ツールの先端部座標の検出を行う。検出を行う対象画像については、ユーザからの指示の開始を先頭フレーム、終了を最終フレームとした画像IMGin1の先頭フレームを基本とするが、画像列中のどのフレームでも良いものとする。

ステップＳ1043では、Ｓ1042で得られた座標に提示されているコンテンツが画像であるか文字であるかを判定する。ユーザインタフェースを介して文字か画像か指定することも可能である。

ステップＳ1044では、検索対象が文字である場合に、文字認識を行い、検索キーCOMin1を検出する。文字認識の実施の形態としては、以下の方法が挙げられる。ユーザの指示位置座標、あるいは動き検出の結果得られる指示ベクトルに基づき、指示領域を抽出する。この際、指示領域は文字方向に応じて、指示座標、あるいは指示ベクトルを拡張して抽出される。指示領域内で文字認識を行い、得られた語句を検索キーCOMin1とする。

ステップＳ1045では、検索対象が画像である場合に、画像識別を行い、その画像に対応する検索キーCOMin1を検出する。画像識別は、大きく２つの手法に分類される。第１の手法は、画像に付加されているメタデータを利用する方法である。メタデータは、本発明ではコンテンツ内に付加、あるいは埋め込まれる検索キーのことを指す。仮想コンテンツは、図２、図３、あるいは図４のような検索装置のプロジェクタにより提示する電子データであるため、コンテンツ内にデジタルデータとしてメタデータを付加することができる。例えば、飲み物の缶が映っている画像には、その品名、メーカ、成分などの検索キーをメタデータとして付加することができ、検索対象として指示された際には、前記メタデータが検索キーとして検出される。一方、実コンテンツの場合は、バーコードやＱＲコード、電子透かし情報として検索キーを埋め込むことができる。メタデータは、画像内の登場人物、物体毎に与えられ、１フレーム内に一括保持し、ユーザに選択を求める形態でも良いし、分割された領域でそれぞれ保持していても良い。また、１つの対象に対して、複数のメタデータが付加される可能性もある。その場合、ユーザに選択を求めても良いし、全てを検索キーCOMin1としても良い。第２の手法は、特徴抽出を行い、サーバに格納されているパターン情報とマッチングを行う方法である。この際、パターン情報と共に、それに対応する検索キーCOMin1も格納されている。前記第１の手法と同様に、１つのパターン情報に対して複数の検索キーCOMin1を用意することもできる。

なお、仮想コンテンツが検索対象となる場合は、前記仮想コンテンツを提示する位置情報を保持しておけば、ステップS1044における文字認識、あるいはステップS1045における画像識別を行うことなく、前記指示領域の検出のみで検索キーCOMin1を取得することも可能である。

ステップＳ1046では、ステップＳ1044、あるいはステップＳ1045で得られた検索キーCOMin1を出力する。検索キーが複数得られた場合は、それぞれ単独の検索キーCOMin1としても良いし、AND、ORなどの論理演算子を用いた検索式を構成しても良い。

なお、検索キーCOMin1の検出において、複数の検索対象を指定する場合、図８のフローチャートに示す形態でも実現可能である。図７との差異として、指示終了判定をステップＳ1047として付加している。ユーザの指示が終了するまで、ステップＳ1041〜ステップＳ1045を繰り返し、複数の検索対象を指定し、検索キーCOMin1を取得することが可能である。

以上のように、本発明によれば、画像認識によって、ユーザの指定する位置と動きから検索キーCOMin1を検出できるため、ユーザは煩雑なキーボード入力作業を行うことなく、所望の検索結果を取得することができ、その実用的価値は高い。また、検索結果の提示位置決定手段を備えているため、提示位置の自由度が高く、快適なコンテンツ鑑賞環境を提供できる。

（実施の形態２）
次に本発明の実施の形態２に係る検索装置PROC2の動作について説明する。図９は、検索装置PROC2の動作を示したブロック図である。検索装置PROC2は、コンテンツcontを提示、参照することが可能である。動作のフローチャートは実施の形態１で示した図５と同様であるが、電子的なコンテンツを保持しているため、撮像手段INTPUT2が撮像するのは、ユーザによる指示情報command1のみである。実施の形態２では、図１の検索対象contentsと同等の信号は、コンテンツcontを参照することで得られるため、ステップＳ109における検索キーCOMin1の検出が容易になる。コンテンツを提示する位置情報を保持しておけば、ユーザの指示する位置から対象領域を抽出した時点で、コンテンツが参照され、検索キーCOMin1を取得することが可能となる。前記方法により、コンテンツ判定、あるいは文字認識や画像識別といった複雑な画像認識処理を省き、処理量を削減することができる。コンテンツcontには、メタデータを付加することができ、検索キー検出に利用することが可能である。

なお、コンテンツファイルFILEにコンテンツ内容に関する付加情報が保持されている場合の構成として、図１０のブロック図に示す検索装置PROC3による検索の実施が可能である。検索装置PROC3は、検索手段SEAR2において、コンテンツファイルFILEを参照可能であることが、図９に示した前記検索装置PROC2の前記検索手段SEAR1とは異なる。この実施の形態２においては、コンテンツファイルとネットワークサーバ、あるいはローカルサーバとの間で参照順序がしてされたものであっても良いし、参照先をユーザ側が選択、あるいはサーバ側が指定するものであっても良い。

＜検索装置におけるユーザインタフェース＞
以下、本実施の形態の検索装置のユーザインタフェース画面を示すが、ここで示す画面は典型例であり、これに限定されるものではない。

図１１(a)、および(b)は、検索結果を提示するユーザインタフェース画面の例を示す図である。この例では、コンテンツ001は、本や新聞など物理的な媒体である実コンテンツでも良いし、プロジェクタによって提示された仮想的なコンテンツでも良い。また、仮想的なコンテンツの提示は、白紙の冊子にコンテンツを提示するものでも良い。検索結果002は、図１１(a)のようにコンテンツと独立して提示されても良いし、図１１(b)のようにコンテンツと合成した形式で提示されても良い。コントロールパネル003は、ユーザによる装置へのフィードバックを可能とする操作ボタン、およびナビゲーション画面を提示する。このコントロールパネル003により、ユーザは検索開始、終了、検索対象の指示、検索結果の閲覧などにおいて、検索装置に対する操作命令を行うことができる。なお、前記操作命令を、動きとして与え、画像認識により抽出しても良い。

図１２は、ユーザが文章中の語句について検索を行う際のユーザインタフェース画面の例を示す図である。コンテンツ001上でユーザが指示情報command1を与えている。この際、検索対象をハイライトしてインタフェースの視認性を向上させている。また、コントロールパネル003において、検索キーがユーザ所望のものであるかどうかを問い合わせることが可能である。

図１３は、コンテンツ001上で画像中の物体について検索を行う際のユーザインタフェース画面の例を示す図である。検索対象をユーザが指示すると、仮想コンテンツであればメタデータに、実コンテンツであれば電子透かし情報に記録された検索キーをコントロールパネル003に提示する。図１２と同様に検索対象をハイライトすることができる。ユーザが検索対象を点で示した場合は、その点を含む物体が選択され、検索対象を囲む動作を示した場合は、その領域内の物体が選択される。なお、検索キーが複数ある場合は、図１３のように選択を求める。提示された検索キーから任意の数だけ選択することができる。また、所望の検索キーがない場合は、選択された検索キーがない状態で「ＯＫ」を指定すれば良い。また、検索キーが階層的に分類することが可能であり、その場合は「Next」、あるいは「Prev」を指定して、階層を移動する。

（実施の形態３）
さらに、前記各実施の形態で示した検索方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、前記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１４は、前記各実施の形態の検索方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１４(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１４(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、前記プログラムを格納したフレキシブルディスクでは、前記フレキシブルディスクＦＤ上に割り当てられた領域に、前記プログラムが記録されている。

また、図１４(c)は、フレキシブルディスクＦＤに前記プログラムの記録再生を行うための構成を示す。検索方法を実現する前記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから前記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより検索方法を実現する前記検索方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、前記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

以上、本発明に係る検索装置および検索方法について、前記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。

例えば、本実施の形態における検索装置を備える光ディスク記録装置、動画像送信装置、デジタルテレビ放送送出装置、Ｗｅｂサーバ、通信装置、携帯情報端末等や、本実施の形態における画像処理装置を備える動画像受信装置、動画像記録装置、静止画記録装置、デジタルテレビ放送受信装置、通信装置、携帯情報端末等も、本発明に含まれるのは言うまでもない。ここで、動画像記録装置とはカムコーダやＷｅｂなどを含み、静止画記録装置とはデジタルスチルカメラなどを含む。

なお、ブロック図（図１、図９及び図１０など）の各機能ブロックは典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、検索対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明によれば、画像認識によって、ユーザの指定する位置と動きから検索キーを検出できるため、ユーザは煩雑なキーボード入力作業を行うことなく、所望の検索結果を取得することができるなど、その有効性は高い。

本発明の一実施の形態を示すブロック図 本発明の一実施の形態の検索装置の図解図 本発明の一実施の形態の携帯端末型検索装置の図解図 本発明の一実施の形態の眼鏡型検索装置の図解図 本発明の動作を示すフローチャート 本発明の一実施の形態の提示装置を２台搭載した検索装置の図解図 実施の形態の検索キー検出の動作を示すフローチャート 複数検索対象についての検索条件抽出手段の動作を示すフローチャート 検索装置が電子的コンテンツファイルを保持する一実施の形態のブロック図 検索先にコンテンツファイルを含む一実施の形態のブロック図 本発明の実施の形態としての検索装置におけるユーザインタフェース画面の例を示す図 本発明の実施の形態として検索対象が文字である場合の検索命令中のユーザインタフェース画面の例を示す図 本発明の実施の形態として検索対象が画像である場合の検索命令中のユーザインタフェース画面の例を示す図 前記各実施の形態の検索方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図 従来の検索装置を示すブロック図 従来の検索装置の動作を示すフローチャート

符号の説明

INPUT１ 撮像手段
INPUT２ 撮像手段
INPUT３ 入力手段
SD 検索キー検出手段
SEAR 検索手段
SEAV ネットワーク上のサーバ
GEN 画像生成手段
POS 提示位置決定手段
OUTPUT 提示手段
FILE コンテンツファイル

Claims (12)

1. コンテンツ内において、ユーザが詳細な情報を所望する語句、あるいは画像に対して、画像処理により検索用のキーワードあるいは画像データ（以下、両者をまとめて検索キーと呼ぶ）を検出する検索方法であって、
   コンテンツ上でユーザ所望の検索箇所に対する指示を動画像あるいは静止画像として取得する撮像ステップと、
   前記動画像あるいは静止画像を入力して、ユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報に基づいて検索対象を特定し、検索キーを検出する検出ステップと、
   前記検索キーを検索アルゴリズムに適用し、検索結果を取得する検索ステップと、
   前記検索結果を提示するための提示画像を作成する画像生成ステップと、
   前記提示画像を提示する提示ステップと、
   を備えることを特徴とする検索方法。
2. コンテンツ内において、ユーザが詳細な情報を所望する語句、あるいは画像に対して、画像処理により検索キーを検出する検索方法であって、
   コンテンツ上でユーザ所望の検索箇所に対する指示を動画像あるいは静止画像として取得する撮像ステップと、
   前記動画像あるいは静止画像を入力して、ユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報に基づいて検索対象を特定し、検索キーを検出する検出ステップと、
   前記検索キーを検索アルゴリズムに適用し、検索結果を取得する検索ステップと、
   前記検索結果を提示するための提示画像を作成する画像生成ステップと、
   前記提示画像を提示する空間位置を決定する提示位置決定ステップと、
   前記提示画像を、前記提示位置決定ステップにより決定した位置に提示する提示ステップと、
   を備えることを特徴とする請求項１記載の検索方法。
3. 前記検出ステップは、前記撮像ステップで得られた前記動画像あるいは静止画像に対して、文字認識、あるいは画像識別を行い、検索キーを検出することを特徴とする請求項１記載の検索方法。
4. 前記提示位置決定ステップは、前記撮像ステップで得られた前記動画像あるいは静止画像に対して、ユーザからの提示位置の指示を画像認識により検出し、前記提示画像の提示位置を決定することを特徴とする請求項２記載の検索方法。
5. 前記コンテンツは、前記提示ステップとは異なるステップにより提示された画像、あるいは、印刷物などの物理的な媒体であることを特徴とする請求項１記載の検索方法。
6. 前記コンテンツは、前記提示ステップにより提示される仮想コンテンツであって、
   前記画像生成ステップは、前記仮想コンテンツを提示するための画像も作成し、さらに、検索結果と前記仮想コンテンツを提示するための画像とを合成して前記提示画像とすることを特徴とする請求項１記載の検索方法。
7. 前記検出ステップは、前記仮想コンテンツを提示する位置情報を保持することで、指示位置検出のみで検索キーの検出が可能となることを特徴とする請求項６記載の検索方法。
8. 前記提示ステップは、前記ユーザ指示情報に応じて、前記コンテンツ上に、前記検索対象を特定するための補助情報を提示し、
   前記補助情報は所定のマークや、ハイライトを含むことを特徴とする請求項１記載の検索方法。
9. 前記検出ステップは、前記コンテンツに埋め込まれたメタデータを利用して、検索キーを検出することを特徴とする請求項１記載の検索方法。
10. コンテンツ内において、ユーザが詳細な情報を所望する語句、あるいは画像に対して、画像処理により検索キーを検出する検索装置であって、
    コンテンツ上でユーザ所望の検索箇所に対する指示を動画像あるいは静止画像として取得する撮像手段と、
    前記動画像あるいは静止画像を入力して、ユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報に基づいて検索対象を特定し、検索キーを検出する検出手段と、
    前記検索キーを検索アルゴリズムに適用し、検索結果を取得する検索手段と、
    前記検索結果を提示するための提示画像を作成する画像生成手段と、
    前記提示画像を提示する提示手段と、
    を備えることを特徴とする検索装置。
11. コンテンツ内において、ユーザが詳細な情報を所望する語句、あるいは画像に対して、画像処理により検索キーを検出する検索方法を実現するプログラムであって、
    コンテンツ上でユーザ所望の検索箇所に対する指示を動画像あるいは静止画像として取得する撮像ステップと、
    前記動画像あるいは静止画像を入力して、ユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報に基づいて検索対象を特定し、検索キーを検出する検出ステップと、
    前記検索キーを検索アルゴリズムに適用し、検索結果を取得する検索ステップと、
    前記検索結果を提示するための提示画像を作成する画像生成ステップと、
    前記提示画像を提示する提示ステップと、
    を備えることを特徴とするプログラム。
12. コンテンツ内において、ユーザが詳細な情報を所望する語句、あるいは画像に対して、画像処理により検索キーを検出する検索方法を実現する集積回路であって、
    コンテンツ上でユーザ所望の検索箇所に対する指示を動画像あるいは静止画像として取得する撮像手段と、
    前記動画像あるいは静止画像を入力して、ユーザの指定する位置、あるいはユーザの動きなどのユーザ指示情報に基づいて検索対象を特定し、検索キーを検出する検出手段と、
    前記検索キーを検索アルゴリズムに適用し、検索結果を取得する検索手段と、
    前記検索結果を提示するための提示画像を作成する画像生成手段と、
    前記提示画像を提示する提示手段と、
    を備えることを特徴とする集積回路。

Images