JP2020170255A - メニュー説明システム - Google Patents

Abstract

【課題】メニュー中に内容が解らない品目が複数ある場合に、言語の種類にかかわらず少ない操作でそれらの内容を視覚的に捉えることが可能なメニュー説明システムを提供する。【解決手段】携帯端末装置０１００と、データベース０１５０とをネットワークＮで結んだシステムであって、携帯端末装置０１００のカメラ部０１０１で撮像してディスプレイ部０１０２上に表示されるメニューＭの静止画中において、まとまりとして一つ以上取得した文字映像部分又は単語映像部分のそれぞれに、まとまりである範囲を示すまとまり範囲アイコンＩＣを重畳表示する。そして、重畳表示されたまとまり範囲の文字映像部分又は単語映像部分の中のユーザが選択した一以上のまとまり範囲に関連付けられた画像をデータベース０１５０から取得して、ディスプレイ部０１０２に出力する。【選択図】図１

Description

本発明は、例えば、レストランや居酒屋等の飲食店に入った外国人が、メニューに日本語で記載されている品目の内容を把握することができない場合や、海外において入店したレストランやバー等の飲食店で当地の言語で記載されたメニューが読めない場合等に用いるのに好適なメニュー説明システムに関する。

従来、上記したようなメニュー説明システムに類似するシステムとしては、例えば、特許文献１に記載された情報検索システムがある。
この情報検索システムは、カメラ、表示部、操作部、画像認識部、無線通信部及び制御部を有する移動体通信端末装置と、データベースを有する関連情報管理装置とをネットワークで結んだシステムである。

このような構成の情報検索システムにおいて、例えば、メニューに日本語或いは外国語で記載されている品目の内容が解らない場合には、まず、メニューを移動体通信端末装置のカメラで撮像して画像データを表示部上に表示させる。

次いで、表示部上に表示した画像データにおけるメニューの文字情報の中から検索対象となる品目の文字を操作部により特定して画像認識部に認識させ、この認識させた文字を翻訳要求とともに無線通信部により関連情報管理装置に送信する。

関連情報管理装置では、ネットワークを介して移動体通信端末装置から送られた認識文字の翻訳結果をデータベースから取得して、この取得した翻訳結果を認識文字に関連付けて移動体通信端末装置に送り返し、移動体通信端末装置において、関連情報管理装置から取得した翻訳結果を表示部上に表示するようになっている。

特開２００７−０１８１６６号公報

ところが、上記した情報検索システムにおいて、メニューに日本語或いは外国語で記載されている品目の情報を得ようとする場合に、移動体通信端末装置の表示部上に検索対象となる品目の文字に関連付けられた翻訳結果、すなわち、翻訳された名称や解説等の文字情報を表示するので、翻訳機能の構築が必要である。

加えて、上記した情報検索システムでは、検索対象となる品目が世間に広く知られたものであれば、翻訳された名称や解説等の文字情報だけでも内容を把握することができるが、検索対象となる品目があまり世間に知られていないものであれば、如何に詳細な文字情報が与えられたとしても、その内容を十分にイメージすることができるとは言い難く、一つの映像には敵わない。

また、上記した情報検索システムでは、移動体通信端末装置の操作部による一回のドラッグ操作によってカーソル等を移動させることにより、表示部上の画像データにおける文字情報の中から検索対象となる品目の文字を特定して認識させるようにしている。

つまり、上記した情報検索システムにおいて、操作部による一回のドラッグ操作では、一続きの文字列（複数の文字、或いは一つ以上の単語）を認識させることはできるものの、互いに離れた位置にある文字の集まりや単語を同時に認識させることはできず、その結果、例えば、検索対象となる品目がメニュー中に互いに離れて複数ある場合には、その品目の数だけ操作部によるドラッグ操作を繰り返さなくてはならないという問題があり、これらを解決することが従来の課題となっていた。

本発明は、上記した課題に着目して成されたものであり、例えば、日本語或いは外国語で記載されているメニュー中に内容が解らない品目が複数ある場合において、少ない操作でそれらの内容を視覚的に捉えることが可能である、すなわち、翻訳機能の構築を必要とすることなく簡単且つ短時間でそれらの内容を把握することが可能であるメニュー説明システムを提供することを目的としている。

上記課題を解決するために本発明において、以下のメニュー説明システムを提供する。
すなわち、第１の発明は、カメラを含むカメラ部と、ディスプレイを含むディスプレイ部と、カメラ部から映像を取得し、ディスプレイに出力する映像取得部と、出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得部と、取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得部と、まとまりとして設定された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示部と、ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付部と、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得部と、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索部と、画像検索結果を取得する画像検索結果取得部と、取得した画像検索結果をディスプレイに出力する画像検索結果出力部と、を有することを特徴としている。

また、第２の発明において、前記特徴に加えて、文字単語取得部は、ユーザから前記まとまり範囲の文字映像部分又は単語映像部分の属性を示す情報である映像部分属性情報を取得する映像部分属性情報取得手段と、取得した映像部分属性情報に応じてまとまり構成テキストを取得する属性依存まとまり構成テキスト取得手段と、を有することを特徴としている。

さらに、第３の発明において、前記特徴に加えて、映像部分属性情報取得手段は、映像部分属性情報として、ユーザにその属性が飲食物メニュー、エステメニュー、理容メニュー、美容メニュー、飲食物持帰りメニュー、マッサージメニュー、のいずれか一を選択させる選択器を有することを特徴としている。

さらにまた、第４の発明において、前記特徴に加えて、文字単語取得部は、取得したまとまり構成テキストの言語の種類を取得する言語種類取得手段を有し、前記画像検索部は、取得された言語の使用されている地域にて利用されているサーバに対してクエリを投げるための処理をする言語別画像検索手段を有することを特徴としている。

さらにまた、第５の発明において、前記特徴に加えて、文字単語取得部は、ユーザから前記まとまり範囲の文字映像部分又は単語映像部分の言語の種類を示す情報である映像部分言語種類情報を取得する映像部分言語種類情報取得手段と、取得した映像部分言語種類情報に応じてまとまり構成テキストを取得する言語種類依存まとまり構成テキスト取得手段と、を有することを特徴としている。
さらに、カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、 出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、 取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、画像検索結果を取得する画像検索結果取得ステップと、取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、を有するメニュー説明システムの動作方法。さらに、カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、 出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、画像検索結果を取得する画像検索結果取得ステップと、取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、を有する計算機であるメニュー説明システムに読み取り実行可能に記録した動作プログラム。さらに、カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、 ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、画像検索結果を取得する画像検索結果取得ステップと、取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、を有する計算機であるメニュー説明システムに読み取り実行可能に記録した動作プログラムを記録した記録媒体、を提供する。

本発明に係るメニュー説明システムによれば、例えば、日本語或いは外国語で記載されているメニュー中に内容が解らない品目が複数ある場合において、翻訳機能の構築を必要とすることなく簡単且つ短時間でそれらの内容を把握することが可能であるという非常に優れた効果がもたらされる。

実施形態１のメニュー説明システムの概念図 実施形態１のメニュー説明システムにおける携帯端末装置の機能ブロック図 実施形態１のメニュー説明システムにおける携帯端末装置のハードウェア構成例を示す図 実施形態１のメニュー説明システムの処理フローチャート 実施形態１のメニュー説明システムにおける携帯端末装置の静止画例を示す図 実施形態１のメニュー説明システムにおける携帯端末装置のアイコン重畳表示例を示す図 実施形態１のメニュー説明システムにおける携帯端末装置のアイコン選択表示例を示す図 実施形態１のメニュー説明システムにおける画像検索結果の出力例を示す図 実施形態１のメニュー説明システムにおける画像検索結果の解説表示例を示す図 実施形態２のメニュー説明システムにおける携帯端末装置の機能ブロック図 実施形態２のメニュー説明システムにおける携帯端末装置のハードウェア構成例を示す図 実施形態２のメニュー説明システムの処理フローチャート 実施形態２のメニュー説明システムにおける携帯端末装置のアイコン重畳表示例を示す図 実施形態２のメニュー説明システムにおける携帯端末装置のアイコン選択表示例を示す図 実施形態３のメニュー説明システムにおける携帯端末装置の部分機能ブロック図 実施形態３のメニュー説明システムにおける携帯端末装置の静止画例を示す図 実施形態４のメニュー説明システムにおける携帯端末装置の機能ブロック図 実施形態４のメニュー説明システムにおける携帯端末装置のハードウェア構成例を示す図 実施形態４のメニュー説明システムの処理フローチャート 実施形態５のメニュー説明システムにおける携帯端末装置の機能ブロック図 実施形態５のメニュー説明システムにおける携帯端末装置のハードウェア構成例を示す図 実施形態５のメニュー説明システムの処理フローチャート

以下、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。

＜実施形態１＞
＜概要＞

図１に示すように、この実施形態１のメニュー説明システムは、携帯端末装置０１００と、データベース０１５０とをネットワークＮで結んだシステムである。
このメニュー説明システムは、携帯端末装置０１００のカメラ部０１０１で撮像してディスプレイ部０１０２上に表示されるメニューＭの静止画中において、まとまりとして一つ以上取得した文字映像部分又は単語映像部分のそれぞれに、まとまりである範囲を示すまとまり範囲アイコンＩＣを重畳表示する。
そして、重畳表示されたまとまり範囲の文字映像部分又は単語映像部分の中のユーザが選択した一以上のまとまり範囲に関連付けられた画像をデータベース０１５０から取得して、ディスプレイ部０１０２に出力する。

このように、メニューＭの静止画中において、ユーザが選択した文字映像部分又は単語映像部分に対して、文字情報ではなく文字映像部分又は単語映像部分に関連付けられた画像をディスプレイ部０１０２に出力して説明するので、言語の種類にかかわらず、すなわち、翻訳機能の構築を必要とすることなく、一見してその内容を把握することができる。
また、メニューＭの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれにまとまり範囲アイコンＩＣを重畳表示するので、検索対象の特定を容易でしかも少ない時間で行い得る分だけ、検索対象の内容を簡単且つ短時間で把握することができる。
＜構成＞

図２に示すように、この実施形態１に係る携帯端末装置０２００には、スマートフォン或いはタブレットパソコンを使用することができる。この携帯端末装置０２００は、カメラを含むカメラ部０２０１と、タッチパネル状のディスプレイを含むディスプレイ部０２０２と、映像取得部０２０３と、静止画取得部０２０４と、まとまり語映像部分取得部０２０５と、まとまり範囲アイコン重畳表示部０２０６と、まとまり範囲選択受付部０２０７と、文字単語取得部０２２０と、画像検索部０２０８と、画像検索結果取得部０２０９と、画像検索結果出力部０２１０と、操作部０２１１と、通話部０２１２と、メモリ部０２１３と、制御部０２１４と、無線通信部０２１５を備えている。

映像取得部０２０３及び静止画取得部０２０４は、いずれもカメラ部０２０１のカメラから映像を取得する機能を有し、とくに静止画取得部０２０４は、ディスプレイ部０２０２のディスプレイに出力されている映像から静止画を取得する。

まとまり語映像部分取得部０２０５は、静止画取得部０２０４で取得したメニューＭの静止画中において、後述するスキャンボタンを押すことで、文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得する。

まとまり範囲アイコン重畳表示部０２０６は、まとまり語映像部分取得部０２０５によって取得したまとまり語映像部分、すなわち、ディスプレイ部０２０２のディスプレイに出力されている静止画上の文字映像部分又は単語映像部分のまとまりのそれぞれに対して、まとまりである範囲を示すためのまとまり範囲アイコンを重畳表示する。

具体的には、例えば、日本そば店のメニューＭである場合に、「うどん」、「たぬき」、「きつね」、「たまご」、「てんぷら」等の文字映像部分をそれぞれアイコンで括って表示する（後述する図６参照）。

まとまり範囲選択受付部０２０７は、ディスプレイ部０２０２のディスプレイに重畳表示されているまとまり範囲アイコンのうちの一以上のまとまり範囲がユーザのタップ操作によって選択された際に、この選択された一以上のまとまり範囲の文字映像部分又は単語映像部分を受付ける。

例えば、選択された一以上のまとまり範囲の文字映像部分又は単語映像部分のアイコンの色を変える等の処理をしてと、選択されていなまとまり範囲の文字映像部分又は単語映像部分のアイコンとの差別化を図る（後述する図７参照）。

文字単語取得部０２２０は、まとまり範囲選択受付部０２０７で受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する。

画像検索部０２０８は、文字単語取得部０２２０で取得したまとまり構成テキストの一以上でのAND条件、例えば、料理識別情報に基づいて、データベースから画像を検索するための処理をする。

画像検索結果取得部０２０９は、画像検索部０２０８による画像検索結果を取得し、画像検索結果出力部０２１０は、画像検索結果取得部０２０９で取得した画像検索結果をディスプレイ部０２０２のディスプレイに出力する。

操作部０２１１は、シャッターや上記スキャンボタンやタップを促すセレクトサイン等を各種処理に対応してディスプレイ部０２０２のディスプレイに表示する。

通話部０２１２は、通話の際に音声情報の入力及び出力を行い、メモリ部０２１３は、携帯端末装置０２００の電話帳データ、メールデータ、発着データ、画像データ等の各種データを格納している。

制御部０２１４は、携帯端末装置０２００の上記各機能部の処理を制御する、すなわち、カメラ機能、文字認識機能、インターネット接続機能、電話機能、メール機能等の制御を行い、無線通信部０２１５は、図外の無線基地局との間で、無線信号を送受信する。

また、この携帯端末装置０２００は、図示はしないが写真引き出し部を備えており、この写真引き出し部は、メモリ部０２１５に格納されているアルバム内に、例えば、料理メニューの写真が保存されている場合において、このメニューの写真をアルバムから引き出して、静止画としてディスプレイに出力し得る。

さらに、この携帯端末装置０２００は、図示はしないが編集部を備えており、この編集部は、ディスプレイに出力されているメニューの静止画の編集を行い得るものとなっている。

図３に示すように、携帯端末装置０３００は、ＣＰＵ０３０１と、ＨＤＤ、ＲＯＭ等の不揮発性メモリ０３０２と、Ｄ−ＲＡＭ等の主メモリ０３０３とから構成されている。不揮発性メモリ０３０２には、映像取得プログラム、静止画取得プログラム、まとまり語映像部分取得プログラム、まとまり範囲アイコン重畳表示プログラム、まとまり範囲選択受付プログラム、文字単語取得プログラム、画像検索プログラム、画像検索結果取得プログラム、画像検索結果出力プログラム、操作プログラム、制御プログラム、無線通信プログラム等のプログラムが格納されている。データとしては、信号や各種情報などがあり、これらのプログラムやデータは、主メモリ０３０３の保持領域に読み込まれて、作動領域で実行される。
＜実施形態１ 処理の流れ＞

この実施形態１に係るメニュー説明システムを料理メニューの解説に用いる場合には、図４に示すように、まず、携帯端末装置において、このメニュー説明システムを起動（開始）すると、操作プログラムによりディスプレイ部のディスプレイにシャッター及びアルバムボタンが表示される。

ここで、シャッターを選択して押した場合には、カメラ部のカメラによるメニューの撮影が成され、映像取得プログラムによる映像取得ステップ（ステップ０４０１）及び静止画取得プログラムによる静止画取得ステップ（ステップ０４０２）が順次実行されて、図５に示すように、メニューＭの静止画がディスプレイ部０５０２のディスプレイに表示される。この際、メニューＭの静止画とともにディスプレイには、操作プログラムによるスキャンボタンＳＣが表示される。

一方、アルバムボタンを選択すると、メモリ部に格納されているアルバム内の写真が表示されるので、例えば、アルバム内に料理メニューの写真が保存されている場合には、この写真を選択すると、静止画取得ステップ（ステップ０４０２）が実行されて、アルバム内から選択した料理メニューの静止画がディスプレイに表示される。この場合も、メニューの静止画とともにディスプレイにはスキャンボタンＳＣが表示される。

この状態において、ディスプレイ部０５０２のディスプレイに表示されるスキャンボタンＳＣを押すと、ディスプレイに表示されているメニューＭの静止画に対して、まとまり語映像部分取得プログラムによるまとまり語映像部分取得ステップ（ステップ０４０３）及びまとまり範囲アイコン重畳表示プログラムによるまとまり範囲アイコン重畳表示ステップ（ステップ０４０４）が順次実行されて、図６に示すように、メニューＭの静止画上において、文字映像部分のまとまり範囲（「うどん」、「たぬき」、「きつね」、「たまご」、「てんぷら」等）がまとまり範囲アイコンＩＣでそれぞれ括られた状態でディスプレイ部０６０２のディスプレイに重畳表示される。

なお、静止画取得ステップでは、ディスプレイにスキャンボタンＳＣとともにクロップボタンＣＲも表示されるので、このクロップボタンＣＲを押すことで、メニューＭの静止画の編集画面をディスプレイに表示可能となる。

まとまり範囲アイコンＩＣの重畳表示が成されるのと同時に、ディスプレイ上にはタップを促すセレクトサインＳが出現し、このセレクトサインＳの指示にしたがって検索したい一以上のまとまり範囲アイコンＩＣをタップして選択すると、図７に網掛け表示するように、ディスプレイ部０７０２のディスプレイ上において、選択したまとまり範囲アイコンＩＣの部分の色が変化する。

このとき、タップによって一以上のまとまり範囲アイコンＩＣを選択することができるので、従来のドラッグ操作では成し得なかった、互いに離れた位置にある文字の集まりや単語、すなわち、まとまり範囲アイコンＩＣを同時に選択することが可能である。

これと同時に、ディスプレイ部０７０２のディスプレイには、タップして選択したまとまり範囲アイコンＩＣｓに括られた文字映像部分（「うどんきつね３００円てんぷら等」）が表示されるので、この表示を確認したうえで検索することができ、文字や単語を修正することもできる。

このように、検索したい一以上のまとまり範囲アイコンＩＣｓをタップして選択すると、まとまり範囲選択受付プログラムによるまとまり範囲選択受付ステップ（ステップ０４０５）が実行されて、選択された一以上のまとまり範囲アイコンＩＣｓが受付けられるのに続いて、文字単語取得プログラムによる文字単語取得ステップ（ステップ０４０６）が実行されて、まとまり範囲選択受付ステップで受付けられた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストが取得される。

次いで、文字単語取得ステップで取得したまとまり構成テキストの一以上でのAND条件、例えば、料理識別情報に基づいて、画像検索プログラムによる画像検索ステップ（ステップ０４０７）が実行されて、データベースから画像を検索するための処理が成される。

そして、画像検索結果取得プログラムによる画像検索結果取得ステップ（ステップ０４０８）の実行により、画像検索結果が取得され、画像検索結果出力プログラムによる画像検索結果出力ステップ（ステップ０４０９）の実行により、図８に示すように、画像検索結果取得ステップで取得した画像検索結果がディスプレイ部０８０２のディスプレイに出力される。

この際、ディスプレイ部０８０２のディスプレイに画像検索結果が複数表示された場合には、その中から適当な部位をタップすることで、図９に示すように、タップした箇所の料理に対応したデータがディスプレイ部０９０２のディスプレイに出力される。

検索したい一以上のまとまり範囲アイコンＩＣを変更したい場合（Ｎｏを選択する場合）には、選択ステップ（ステップ０４１０）からまとまり範囲選択受付ステップ（ステップ０４０５）に戻ってタップによる選択をし直して、再度画像検索を実行し、検索を終了する場合（Ｙｅｓを選択する場合）には、そのまま検索を終了する。

この実施形態において、ユーザが選択した一以上の文字映像部分又は単語映像部分のまとまり範囲に関連付けられた画像をデータベースから取得するようにしているが、携帯端末装置のメモリ部に、例えば、料理メニューに係るデータが多数格納されている場合には、必ずしもデータベースを用いる必要はない。

一方、データベースを有するサーバと携帯端末装置とをネットワークで結ぶ場合には、まとまり範囲選択受付ステップ（ステップ０４０５）〜画像検索結果取得ステップ（ステップ０４０８）をサーバにて実行させるようにしてもよい。
＜実施形態１ 効果＞

このように、実施形態１によれば、メニューＭの静止画中においてユーザが選択した文字映像部分又は単語映像部分に対して、これらの文字映像部分又は単語映像部分に関連付けられた画像がディスプレイ部に出力されるので、言語の種類を問わず（翻訳機能の構築を必要とせずに）、一見してその内容を把握することができる。

また、メニューＭの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれにまとまり範囲アイコンＩＣを重畳表示するので、検索対象の特定を容易でしかも少ない時間で行い得る分だけ、検索対象の内容を簡単且つ短時間で把握することができる。

さらに、メニューＭの静止画中における文字映像部分又は単語映像部分のまとまりのそれぞれにまとまり範囲アイコンＩＣを重畳表示するようにしているので、検索対象の特定に際して、複数のまとまり範囲アイコンＩＣを選択することで、画像検索ステップ（ステップ０４０７）による検索において、例えば、動物の「きつね」や「たぬき」の画像が取得されるようなことを回避できる。

＜実施形態２＞
＜概要＞

実施形態２は、実施形態１を基本として、文字単語取得部が、映像部分属性情報取得手段、及び、属性依存まとまり構成テキスト取得手段を有している点に特徴がある。
すなわち、映像部分属性情報取得手段は、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれがどのような属性であるかの情報をユーザから取得し、一方、属性依存まとまり構成テキスト取得手段は、映像部分属性情報取得手段で取得した映像部分属性情報に応じてまとまり構成テキストを取得する。
＜実施形態２ 構成＞

図１０に示すように、実施形態２に係るメニュー説明システムに用いる携帯端末装置１０００は、カメラを含むカメラ部１００１と、タッチパネル状のディスプレイを含むディスプレイ部１００２と、映像取得部１００３と、静止画取得部１００４と、まとまり語映像部分取得部１００５と、まとまり範囲アイコン重畳表示部１００６と、まとまり範囲選択受付部１００７と、文字単語取得部１０２０と、画像検索部１００８と、画像検索結果取得部１００９と、画像検索結果出力部１０１０と、操作部１０１１と、通話部１０１２と、メモリ部１０１３と、制御部１０１４と、無線通信部１０１５を備えている。

実施形態２に係る携帯端末装置１０００において、実施形態１に係る携帯端末装置０２００と相違するところは、文字単語取得部１０２０が、映像部分属性情報取得手段１０２１、及び、属性依存まとまり構成テキスト取得手段１０２２を有している点にあり、他の機能部は実施形態１に係る携帯端末装置０２００の機能部と同じである。

この実施形態において、携帯端末装置１０００における文字単語取得部１０２０の映像部分属性情報取得手段１０２１は、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれが、例えば、食べ物及び飲み物のいずれに属しているかの情報をユーザから取得する。

一方、文字単語取得部１０２０の属性依存まとまり構成テキスト取得手段１０２２は、映像部分属性情報取得手段１０２１で取得した映像部分属性情報（検索対象である文字映像部分又は単語映像部分が食べ物及び飲み物のいずれに属しているかの情報）に応じてまとまり構成テキストを取得する。

実施形態２においても、図１１に示すように、携帯端末装置１１００は、ＣＰＵ１１０１と、ＨＤＤ、ＲＯＭ等の不揮発性メモリ１１０２と、Ｄ−ＲＡＭ等の主メモリ１１０３とから構成されている。この際、不揮発性メモリ１１０２には、映像取得プログラム、静止画取得プログラム、まとまり語映像部分取得プログラム、まとまり範囲アイコン重畳表示プログラム、まとまり範囲選択受付プログラム、文字単語取得プログラム、画像検索プログラム、画像検索結果取得プログラム、画像検索結果出力プログラム、操作プログラム、制御プログラム、無線通信プログラム等のプログラムが格納されているのに加えて、映像部分属性情報取得プログラム及び属性依存まとまり構成テキスト取得プログラムが、文字単語取得プログラムのサブプログラムとして格納されている。
＜実施形態２ 処理の流れ＞

この実施形態２に係るメニュー説明システムの処理の流れにおいて、実施形態１係るメニュー説明システムの処理の流れと相違するところは、図１２に示すように、文字単語取得プログラムによる文字単語取得ステップ（ステップ１２０６）の段階で、映像部分属性情報取得サブプログラムによる映像部分属性情報取得サブステップ（ステップ１２０６ａ）及び属性依存まとまり構成テキスト取得サブプログラムによる属性依存まとまり構成テキスト取得サブステップ（ステップ１２０６ｂ）が順次実行される点にある。

すなわち、文字単語取得プログラムによる文字単語取得ステップ（ステップ１２０６）において、まず、映像部分属性情報取得サブプログラムによる映像部分属性情報取得サブステップ（ステップ１２０６ａ）により、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれがどのような属性であるかの情報をユーザから取得する。

具体的には、図１３に示すように、例えば、ディスプレイ部１３０２のディスプレイ上における「飲み物」のまとまり範囲アイコンＩＣのタップによる選択によって、検索対象が飲み物に属しているという情報をユーザから取得する。この際、図１４に網掛け表示するように、ディスプレイ部１４０２のディスプレイ上において、選択したまとまり範囲アイコンＩＣの部分の色が変化する。

一方、属性依存まとまり構成テキスト取得サブプログラムによる属性依存まとまり構成テキスト取得サブステップ（ステップ１２０６ｂ）では、映像部分属性情報取得サブステップ（ステップ１２０６ａ）で取得した映像部分属性情報（検索対象が飲み物に属しているという情報）に応じてまとまり構成テキストを取得する。

このように、実施形態２によれば、検索対象の属性情報がユーザから得られるので、検索の方向性が明確になり、その結果、検索対象の内容をより一層簡単且つ短時間で把握することができ、加えて、検索対象の特定に際して、検索対象とは異なる属性の画像、例えば、飲み物である「ソルティードッグ」に対して「犬」の画像が取得されるようなことを回避できる。

＜実施形態３＞
＜概要＞

実施形態３は、実施形態２を基本として、映像部分属性情報取得手段が選択器を有し、ユーザにメニューそのものの属性を映像部分属性情報として選択させる点に特徴がある。
つまり、映像部分属性情報取得手段の選択器により、ユーザに検索対象が飲食物メニュー、エステメニュー、理容メニュー、美容メニュー、飲食物持帰りメニュー、マッサージメニュー、のいずに属するかを選択させるようにした点に特徴がある。
＜実施形態３ 構成＞

実施形態３において、実施形態２に係る携帯端末装置１０００の構成と相違するところは、図１５に部分的に示すように、映像部分属性情報取得手段１５２１、及び、属性依存まとまり構成テキスト取得手段１５２２を有する文字単語取得部１５２０の映像部分属性情報取得手段１５２１が選択器１５２３を有している点にあり、他の機能部構成は実施形態２に係る携帯端末装置１０００の機能部と同じである。

この実施形態では、携帯端末装置における文字単語取得部１５２０の映像部分属性情報取得手段１５２１において、例えば、検索対象が整髪である場合に、検索対象が飲食物メニュー、エステメニュー、理容メニュー、美容メニュー、飲食物持帰りメニュー、マッサージメニュー、のいずれに属するかを選択器１５２３によって選択させる。

この実施形態３に係るメニュー説明システムでは、図１６に示すように、例えば、理容室において理容メニューを携帯端末装置のカメラ部で撮像してディスプレイ部１６０２上に表示させている場合に、文字単語取得部１５２０の映像部分属性情報取得手段１５２１の選択器１５２３において、ユーザに理容メニューを選択させると、検索範囲が絞られるので、画像検索が円滑に成されることとなり、したがって、理容分野においても検索対象の内容をより一層簡単且つ短時間で把握することができる。

＜実施形態４＞
＜概要＞

実施形態４は、実施形態１を基本として、文字単語取得部が言語種類取得手段を有し、画像検索部が言語別画像検索手段を有する点に特徴がある。
すなわち、文字単語取得部の言語種類取得手段は、取得したまとまり構成テキストの言語の種類を取得し、画像検索部の言語別画像検索手段は、取得された言語の使用されている地域にて利用されているサーバに対してクエリ（照会）を投げるための処理をする。
＜実施形態４ 構成＞

図１７に示すように、実施形態４に係るメニュー説明システムに用いる携帯端末装置１７００は、カメラを含むカメラ部１７０１と、タッチパネル状のディスプレイを含むディスプレイ部１７０２と、映像取得部１７０３と、静止画取得部１７０４と、まとまり語映像部分取得部１７０５と、まとまり範囲アイコン重畳表示部１７０６と、まとまり範囲選択受付部１７０７と、文字単語取得部１７２０と、画像検索部１７３０と、画像検索結果取得部１７０９と、画像検索結果出力部１７１０と、操作部１７１１と、通話部１７１２と、メモリ部１７１３と、制御部１７１４と、無線通信部１７１５を備えている。

実施形態４に係る携帯端末装置１７００において、実施形態１に係る携帯端末装置０２００と相違するところは、文字単語取得部１７２０が、言語種類取得手段１７２１を有し、画像検索部１７３０が、言語別画像検索手段１７３１を有している点にあり、他の機能部は実施形態１に係る携帯端末装置０２００の機能部と同じである。

この実施形態において、携帯端末装置１７００における文字単語取得部１７２０の言語種類取得手段１７２１は、取得したまとまり構成テキストの言語の種類を取得する。

一方、画像検索部１７３０の言語別画像検索手段１７３１は、取得された言語の使用されている地域にて利用されているサーバに対してクエリ（照会）を投げるための処理をする、具体的には、言語種類取得手段１７２１で取得された言語を使うご当地のサーバを利用するための処理をする。

実施形態４においても、図１８に示すように、携帯端末装置１８００は、ＣＰＵ１８０１と、ＨＤＤ、ＲＯＭ等の不揮発性メモリ１８０２と、Ｄ−ＲＡＭ等の主メモリ１８０３とから構成されている。この際、不揮発性メモリ１８０２には、映像取得プログラム、静止画取得プログラム、まとまり語映像部分取得プログラム、まとまり範囲アイコン重畳表示プログラム、まとまり範囲選択受付プログラム、文字単語取得プログラム、画像検索プログラム、画像検索結果取得プログラム、画像検索結果出力プログラム、操作プログラム、制御プログラム、無線通信プログラム等のプログラムが格納されているのに加えて、言語種類取得プログラムが、文字単語取得プログラムのサブプログラムとして格納され、言語別画像検索プログラムが、画像検索プログラムのサブプログラムとして格納されている。
＜実施形態４ 処理の流れ＞

この実施形態４に係るメニュー説明システムの処理の流れにおいて、実施形態１係るメニュー説明システムの処理の流れと相違するところは、図１９に示すように、文字単語取得プログラムによる文字単語取得ステップ（ステップ１９０６）の段階で、言語種類取得サブプログラムによる言語種類取得サブステップ（ステップ１９０６ａ）が実行され、画像検索プログラムによる画像検索ステップ（ステップ１９０７）の段階で、言語別画像検索サブプログラムによる言語別画像検索サブステップ（ステップ１９０７ａ）が実行される点にある。

すなわち、文字単語取得プログラムによる文字単語取得ステップ（ステップ１９０６）において、言語種類取得サブプログラムによる言語種類取得サブステップ（ステップ１９０６ａ）により、メニューの静止画中におけるまとまりとして取得したまとまり構成テキストの言語の種類を取得する。

一方、画像検索プログラムによる画像検索ステップ（ステップ１９０７）において、言語別画像検索サブプログラムによる言語別画像検索サブステップ（ステップ１９０７ａ）により、文字単語取得ステップ（ステップ１９０６）の言語種類取得サブステップ（ステップ１９０６ａ）で取得された言語を使うご当地のサーバを利用するための処理をする。

このように、実施形態４によれば、取得したまとまり構成テキストの言語の種類を取得したうえで、この言語を使うご当地のサーバを利用して検索を行うので、その言語を使う地域の詳しい情報を得ることができる。

＜実施形態５＞
＜概要＞

実施形態５は、実施形態１を基本として、文字単語取得部が、映像部分言語種類情報取得手段、及び、言語種類依存まとまり構成テキスト取得手段を有している点に特徴がある。
すなわち、映像部分言語種類取得手段は、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれの言語の種類情報をユーザから取得し、一方、言語種類依存まとまり構成テキスト取得手段は、映像部分言語種類情報取得手段で取得した映像部分言語種類に応じてまとまり構成テキストを取得する。
＜実施形態５ 構成＞

図２０に示すように、実施形態５に係るメニュー説明システムに用いる携帯端末装置２０００は、カメラを含むカメラ部２００１と、タッチパネル状のディスプレイを含むディスプレイ部２００２と、映像取得部２００３と、静止画取得部２００４と、まとまり語映像部分取得部２００５と、まとまり範囲アイコン重畳表示部２００６と、まとまり範囲選択受付部２００７と、文字単語取得部２０２０と、画像検索部２００８と、画像検索結果取得部２００９と、画像検索結果出力部２０１０と、操作部２０１１と、通話部２０１２と、メモリ部２０１３と、制御部２０１４と、無線通信部２０１５を備えている。

実施形態５に係る携帯端末装置２０００において、実施形態１に係る携帯端末装置０２００と相違するところは、文字単語取得部２０２０が、映像部分言語種類情報取得手段２０２１、及び、言語種類依存まとまり構成テキスト取得手段２０２２を有している点にあり、他の機能部は実施形態１に係る携帯端末装置０２００の機能部と同じである。

この実施形態において、携帯端末装置２０００における文字単語取得部２０２０の映像部分言語種類情報取得手段２０２１は、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれの言語の種類情報をユーザから取得する。

一方、文字単語取得部２０２０の言語種類依存まとまり構成テキスト取得手段２０２２は、映像部分言語種類情報取得手段２０２１で取得した言語の種類情報に応じてまとまり構成テキストを取得する。

実施形態５においても、図２１に示すように、携帯端末装置２１００は、ＣＰＵ２１０１と、ＨＤＤ、ＲＯＭ等の不揮発性メモリ２１０２と、Ｄ−ＲＡＭ等の主メモリ２１０３とから構成されている。この際、不揮発性メモリ２１０２には、映像取得プログラム、静止画取得プログラム、まとまり語映像部分取得プログラム、まとまり範囲アイコン重畳表示プログラム、まとまり範囲選択受付プログラム、文字単語取得プログラム、画像検索プログラム、画像検索結果取得プログラム、画像検索結果出力プログラム、操作プログラム、制御プログラム、無線通信プログラム等のプログラムが格納されているのに加えて、映像部分言語種類情報取得プログラム及び言語種類依存まとまり構成テキスト取得プログラムが、文字単語取得プログラムのサブプログラムとして格納されている。
＜実施形態５ 処理の流れ＞

この実施形態５に係るメニュー説明システムの処理の流れにおいて、実施形態１係るメニュー説明システムの処理の流れと相違するところは、図２２に示すように、文字単語取得プログラムによる文字単語取得ステップ（ステップ２２０６）の段階で、映像部分言語種類情報取得サブプログラムによる映像部分言語種類情報取得サブステップ（ステップ２２０６ａ）及び言語種類依存まとまり構成テキスト取得サブプログラムによる言語種類依存まとまり構成テキスト取得サブステップ（ステップ２２０６ｂ）が順次実行される点にある。

すなわち、文字単語取得プログラムによる文字単語取得ステップ（ステップ２２０６）において、まず、映像部分言語種類情報取得サブプログラムによる映像部分言語種類情報取得サブステップ（ステップ２２０６ａ）により、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれの言語がどのような種類であるかの情報をユーザから取得する。

一方、言語種類依存まとまり構成テキスト取得サブプログラムによる言語種類依存まとまり構成テキスト取得サブステップ（ステップ２２０６ｂ）では、映像部分言語種類情報取得サブステップ（ステップ２２０６ａ）で取得した映像部分言語種類情報に応じてまとまり構成テキストを取得する。

このように、実施形態５によれば、検索対象の言語の種類情報がユーザから得られるので、検索で使用する言語が明確になり、その結果、検索対象の内容をより一層簡単且つ短時間で把握することができる。

０１００、０２００ 携帯端末装置
０１０１、０２０１ カメラ部
０１０２、０２０２ ディスプレイ部
０１５０ データベース
０２０３ 映像取得部
０２０４ 静止画取得部
０２０５ まとまり語映像部分取得部
０２０６ まとまりアイコン重畳表示部
０２０７ まとまり範囲受付部
０２０８ 画像検索部
０２０９ 画像検索結果取得部
０２１０ 画像検索結果出力部
ＩＣ アイコン
Ｍ メニュー
Ｎ ネットワーク

Claims (8)

1. カメラを含むカメラ部と、
   ディスプレイを含むディスプレイ部と、
   カメラ部から映像を取得し、ディスプレイに出力する映像取得部と、
   出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得部と、
   取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得部と、
   まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示部と、
   ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付部と、
   選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得部と、
   取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索部と、
   画像検索結果を取得する画像検索結果取得部と、
   取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力部と、
   を有するメニュー説明システム。
2. 文字単語取得部は、ユーザから前記まとまり範囲の文字映像部分又は単語映像部分の属性を示す情報である映像部分属性情報を取得する映像部分属性情報取得手段と、
   取得した映像部分属性情報に応じてまとまり構成テキストを取得する属性依存まとまり構成テキスト取得手段と、
   を有する請求項１に記載のメニュー説明システム。
3. 映像部分属性情報取得手段は、映像部分属性情報として、ユーザにその属性が飲食物メニュー、エステメニュー、理容メニュー、美容メニュー、飲食物持帰りメニュー、マッサージメニュー、のいずれか一を選択させる選択器を有する請求項２に記載のメニュー説明システム。
4. 文字単語取得部は、取得したまとまり構成テキストの言語の種類を取得する言語種類取得手段を有し、
   前記画像検索部は、取得された言語の使用されている地域にて利用されているサーバに対してクエリを投げるための処理をする言語別画像検索手段を有する請求項１から請求項３のいずれか一に記載のメニュー説明システム。
5. 文字単語取得部は、ユーザから前記まとまり範囲の文字映像部分又は単語映像部分の言語の種類を示す情報である映像部分言語種類情報を取得する映像部分言語種類情報取得手段と、
   取得した映像部分言語種類情報に応じてまとまり構成テキストを取得する言語種類依存まとまり構成テキスト取得手段と、
   を有する請求項１から請求項４のいずれか一に記載のメニュー説明システム。
6. カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、
   出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、
   取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、
   まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、
   ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、
   選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、
   取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、
   画像検索結果を取得する画像検索結果取得ステップと、
   取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、
   を有するメニュー説明システムの動作方法。
7. カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、
   出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、
   取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、
   まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、
   ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、
   選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、
   取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、
   画像検索結果を取得する画像検索結果取得ステップと、
   取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、
   を有する計算機であるメニュー説明システムに読み取り実行可能に記録した動作プログラム。
8. カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、
   出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、
   取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、
   まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、
   ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、
   選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、
   取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、
   画像検索結果を取得する画像検索結果取得ステップと、
   取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、
   を有する計算機であるメニュー説明システムに読み取り実行可能に記録した動作プログラムを記録した記録媒体。

Images