JP2020170255A - メニュー説明システム - Google Patents
メニュー説明システム Download PDFInfo
- Publication number
- JP2020170255A JP2020170255A JP2019070034A JP2019070034A JP2020170255A JP 2020170255 A JP2020170255 A JP 2020170255A JP 2019070034 A JP2019070034 A JP 2019070034A JP 2019070034 A JP2019070034 A JP 2019070034A JP 2020170255 A JP2020170255 A JP 2020170255A
- Authority
- JP
- Japan
- Prior art keywords
- cohesive
- image
- word
- video
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】メニュー中に内容が解らない品目が複数ある場合に、言語の種類にかかわらず少ない操作でそれらの内容を視覚的に捉えることが可能なメニュー説明システムを提供する。【解決手段】携帯端末装置0100と、データベース0150とをネットワークNで結んだシステムであって、携帯端末装置0100のカメラ部0101で撮像してディスプレイ部0102上に表示されるメニューMの静止画中において、まとまりとして一つ以上取得した文字映像部分又は単語映像部分のそれぞれに、まとまりである範囲を示すまとまり範囲アイコンICを重畳表示する。そして、重畳表示されたまとまり範囲の文字映像部分又は単語映像部分の中のユーザが選択した一以上のまとまり範囲に関連付けられた画像をデータベース0150から取得して、ディスプレイ部0102に出力する。【選択図】図1
Description
本発明は、例えば、レストランや居酒屋等の飲食店に入った外国人が、メニューに日本語で記載されている品目の内容を把握することができない場合や、海外において入店したレストランやバー等の飲食店で当地の言語で記載されたメニューが読めない場合等に用いるのに好適なメニュー説明システムに関する。
従来、上記したようなメニュー説明システムに類似するシステムとしては、例えば、特許文献1に記載された情報検索システムがある。
この情報検索システムは、カメラ、表示部、操作部、画像認識部、無線通信部及び制御部を有する移動体通信端末装置と、データベースを有する関連情報管理装置とをネットワークで結んだシステムである。
この情報検索システムは、カメラ、表示部、操作部、画像認識部、無線通信部及び制御部を有する移動体通信端末装置と、データベースを有する関連情報管理装置とをネットワークで結んだシステムである。
このような構成の情報検索システムにおいて、例えば、メニューに日本語或いは外国語で記載されている品目の内容が解らない場合には、まず、メニューを移動体通信端末装置のカメラで撮像して画像データを表示部上に表示させる。
次いで、表示部上に表示した画像データにおけるメニューの文字情報の中から検索対象となる品目の文字を操作部により特定して画像認識部に認識させ、この認識させた文字を翻訳要求とともに無線通信部により関連情報管理装置に送信する。
関連情報管理装置では、ネットワークを介して移動体通信端末装置から送られた認識文字の翻訳結果をデータベースから取得して、この取得した翻訳結果を認識文字に関連付けて移動体通信端末装置に送り返し、移動体通信端末装置において、関連情報管理装置から取得した翻訳結果を表示部上に表示するようになっている。
ところが、上記した情報検索システムにおいて、メニューに日本語或いは外国語で記載されている品目の情報を得ようとする場合に、移動体通信端末装置の表示部上に検索対象となる品目の文字に関連付けられた翻訳結果、すなわち、翻訳された名称や解説等の文字情報を表示するので、翻訳機能の構築が必要である。
加えて、上記した情報検索システムでは、検索対象となる品目が世間に広く知られたものであれば、翻訳された名称や解説等の文字情報だけでも内容を把握することができるが、検索対象となる品目があまり世間に知られていないものであれば、如何に詳細な文字情報が与えられたとしても、その内容を十分にイメージすることができるとは言い難く、一つの映像には敵わない。
また、上記した情報検索システムでは、移動体通信端末装置の操作部による一回のドラッグ操作によってカーソル等を移動させることにより、表示部上の画像データにおける文字情報の中から検索対象となる品目の文字を特定して認識させるようにしている。
つまり、上記した情報検索システムにおいて、操作部による一回のドラッグ操作では、一続きの文字列(複数の文字、或いは一つ以上の単語)を認識させることはできるものの、互いに離れた位置にある文字の集まりや単語を同時に認識させることはできず、その結果、例えば、検索対象となる品目がメニュー中に互いに離れて複数ある場合には、その品目の数だけ操作部によるドラッグ操作を繰り返さなくてはならないという問題があり、これらを解決することが従来の課題となっていた。
本発明は、上記した課題に着目して成されたものであり、例えば、日本語或いは外国語で記載されているメニュー中に内容が解らない品目が複数ある場合において、少ない操作でそれらの内容を視覚的に捉えることが可能である、すなわち、翻訳機能の構築を必要とすることなく簡単且つ短時間でそれらの内容を把握することが可能であるメニュー説明システムを提供することを目的としている。
上記課題を解決するために本発明において、以下のメニュー説明システムを提供する。
すなわち、第1の発明は、カメラを含むカメラ部と、ディスプレイを含むディスプレイ部と、カメラ部から映像を取得し、ディスプレイに出力する映像取得部と、出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得部と、取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得部と、まとまりとして設定された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示部と、ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付部と、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得部と、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索部と、画像検索結果を取得する画像検索結果取得部と、取得した画像検索結果をディスプレイに出力する画像検索結果出力部と、を有することを特徴としている。
すなわち、第1の発明は、カメラを含むカメラ部と、ディスプレイを含むディスプレイ部と、カメラ部から映像を取得し、ディスプレイに出力する映像取得部と、出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得部と、取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得部と、まとまりとして設定された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示部と、ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付部と、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得部と、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索部と、画像検索結果を取得する画像検索結果取得部と、取得した画像検索結果をディスプレイに出力する画像検索結果出力部と、を有することを特徴としている。
また、第2の発明において、前記特徴に加えて、文字単語取得部は、ユーザから前記まとまり範囲の文字映像部分又は単語映像部分の属性を示す情報である映像部分属性情報を取得する映像部分属性情報取得手段と、取得した映像部分属性情報に応じてまとまり構成テキストを取得する属性依存まとまり構成テキスト取得手段と、を有することを特徴としている。
さらに、第3の発明において、前記特徴に加えて、映像部分属性情報取得手段は、映像部分属性情報として、ユーザにその属性が飲食物メニュー、エステメニュー、理容メニュー、美容メニュー、飲食物持帰りメニュー、マッサージメニュー、のいずれか一を選択させる選択器を有することを特徴としている。
さらにまた、第4の発明において、前記特徴に加えて、文字単語取得部は、取得したまとまり構成テキストの言語の種類を取得する言語種類取得手段を有し、前記画像検索部は、取得された言語の使用されている地域にて利用されているサーバに対してクエリを投げるための処理をする言語別画像検索手段を有することを特徴としている。
さらにまた、第5の発明において、前記特徴に加えて、文字単語取得部は、ユーザから前記まとまり範囲の文字映像部分又は単語映像部分の言語の種類を示す情報である映像部分言語種類情報を取得する映像部分言語種類情報取得手段と、取得した映像部分言語種類情報に応じてまとまり構成テキストを取得する言語種類依存まとまり構成テキスト取得手段と、を有することを特徴としている。
さらに、カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、 出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、 取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、画像検索結果を取得する画像検索結果取得ステップと、取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、を有するメニュー説明システムの動作方法。さらに、カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、 出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、画像検索結果を取得する画像検索結果取得ステップと、取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、を有する計算機であるメニュー説明システムに読み取り実行可能に記録した動作プログラム。さらに、カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、 ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、画像検索結果を取得する画像検索結果取得ステップと、取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、を有する計算機であるメニュー説明システムに読み取り実行可能に記録した動作プログラムを記録した記録媒体、を提供する。
さらに、カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、 出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、 取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、画像検索結果を取得する画像検索結果取得ステップと、取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、を有するメニュー説明システムの動作方法。さらに、カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、 出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、画像検索結果を取得する画像検索結果取得ステップと、取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、を有する計算機であるメニュー説明システムに読み取り実行可能に記録した動作プログラム。さらに、カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、 ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、画像検索結果を取得する画像検索結果取得ステップと、取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、を有する計算機であるメニュー説明システムに読み取り実行可能に記録した動作プログラムを記録した記録媒体、を提供する。
本発明に係るメニュー説明システムによれば、例えば、日本語或いは外国語で記載されているメニュー中に内容が解らない品目が複数ある場合において、翻訳機能の構築を必要とすることなく簡単且つ短時間でそれらの内容を把握することが可能であるという非常に優れた効果がもたらされる。
以下、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
<実施形態1>
<概要>
<概要>
図1に示すように、この実施形態1のメニュー説明システムは、携帯端末装置0100と、データベース0150とをネットワークNで結んだシステムである。
このメニュー説明システムは、携帯端末装置0100のカメラ部0101で撮像してディスプレイ部0102上に表示されるメニューMの静止画中において、まとまりとして一つ以上取得した文字映像部分又は単語映像部分のそれぞれに、まとまりである範囲を示すまとまり範囲アイコンICを重畳表示する。
そして、重畳表示されたまとまり範囲の文字映像部分又は単語映像部分の中のユーザが選択した一以上のまとまり範囲に関連付けられた画像をデータベース0150から取得して、ディスプレイ部0102に出力する。
このメニュー説明システムは、携帯端末装置0100のカメラ部0101で撮像してディスプレイ部0102上に表示されるメニューMの静止画中において、まとまりとして一つ以上取得した文字映像部分又は単語映像部分のそれぞれに、まとまりである範囲を示すまとまり範囲アイコンICを重畳表示する。
そして、重畳表示されたまとまり範囲の文字映像部分又は単語映像部分の中のユーザが選択した一以上のまとまり範囲に関連付けられた画像をデータベース0150から取得して、ディスプレイ部0102に出力する。
このように、メニューMの静止画中において、ユーザが選択した文字映像部分又は単語映像部分に対して、文字情報ではなく文字映像部分又は単語映像部分に関連付けられた画像をディスプレイ部0102に出力して説明するので、言語の種類にかかわらず、すなわち、翻訳機能の構築を必要とすることなく、一見してその内容を把握することができる。
また、メニューMの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれにまとまり範囲アイコンICを重畳表示するので、検索対象の特定を容易でしかも少ない時間で行い得る分だけ、検索対象の内容を簡単且つ短時間で把握することができる。
<構成>
また、メニューMの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれにまとまり範囲アイコンICを重畳表示するので、検索対象の特定を容易でしかも少ない時間で行い得る分だけ、検索対象の内容を簡単且つ短時間で把握することができる。
<構成>
図2に示すように、この実施形態1に係る携帯端末装置0200には、スマートフォン或いはタブレットパソコンを使用することができる。この携帯端末装置0200は、カメラを含むカメラ部0201と、タッチパネル状のディスプレイを含むディスプレイ部0202と、映像取得部0203と、静止画取得部0204と、まとまり語映像部分取得部0205と、まとまり範囲アイコン重畳表示部0206と、まとまり範囲選択受付部0207と、文字単語取得部0220と、画像検索部0208と、画像検索結果取得部0209と、画像検索結果出力部0210と、操作部0211と、通話部0212と、メモリ部0213と、制御部0214と、無線通信部0215を備えている。
映像取得部0203及び静止画取得部0204は、いずれもカメラ部0201のカメラから映像を取得する機能を有し、とくに静止画取得部0204は、ディスプレイ部0202のディスプレイに出力されている映像から静止画を取得する。
まとまり語映像部分取得部0205は、静止画取得部0204で取得したメニューMの静止画中において、後述するスキャンボタンを押すことで、文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得する。
まとまり範囲アイコン重畳表示部0206は、まとまり語映像部分取得部0205によって取得したまとまり語映像部分、すなわち、ディスプレイ部0202のディスプレイに出力されている静止画上の文字映像部分又は単語映像部分のまとまりのそれぞれに対して、まとまりである範囲を示すためのまとまり範囲アイコンを重畳表示する。
具体的には、例えば、日本そば店のメニューMである場合に、「うどん」、「たぬき」、「きつね」、「たまご」、「てんぷら」等の文字映像部分をそれぞれアイコンで括って表示する(後述する図6参照)。
まとまり範囲選択受付部0207は、ディスプレイ部0202のディスプレイに重畳表示されているまとまり範囲アイコンのうちの一以上のまとまり範囲がユーザのタップ操作によって選択された際に、この選択された一以上のまとまり範囲の文字映像部分又は単語映像部分を受付ける。
例えば、選択された一以上のまとまり範囲の文字映像部分又は単語映像部分のアイコンの色を変える等の処理をしてと、選択されていなまとまり範囲の文字映像部分又は単語映像部分のアイコンとの差別化を図る(後述する図7参照)。
文字単語取得部0220は、まとまり範囲選択受付部0207で受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する。
画像検索部0208は、文字単語取得部0220で取得したまとまり構成テキストの一以上でのAND条件、例えば、料理識別情報に基づいて、データベースから画像を検索するための処理をする。
画像検索結果取得部0209は、画像検索部0208による画像検索結果を取得し、画像検索結果出力部0210は、画像検索結果取得部0209で取得した画像検索結果をディスプレイ部0202のディスプレイに出力する。
操作部0211は、シャッターや上記スキャンボタンやタップを促すセレクトサイン等を各種処理に対応してディスプレイ部0202のディスプレイに表示する。
通話部0212は、通話の際に音声情報の入力及び出力を行い、メモリ部0213は、携帯端末装置0200の電話帳データ、メールデータ、発着データ、画像データ等の各種データを格納している。
制御部0214は、携帯端末装置0200の上記各機能部の処理を制御する、すなわち、カメラ機能、文字認識機能、インターネット接続機能、電話機能、メール機能等の制御を行い、無線通信部0215は、図外の無線基地局との間で、無線信号を送受信する。
また、この携帯端末装置0200は、図示はしないが写真引き出し部を備えており、この写真引き出し部は、メモリ部0215に格納されているアルバム内に、例えば、料理メニューの写真が保存されている場合において、このメニューの写真をアルバムから引き出して、静止画としてディスプレイに出力し得る。
さらに、この携帯端末装置0200は、図示はしないが編集部を備えており、この編集部は、ディスプレイに出力されているメニューの静止画の編集を行い得るものとなっている。
図3に示すように、携帯端末装置0300は、CPU0301と、HDD、ROM等の不揮発性メモリ0302と、D−RAM等の主メモリ0303とから構成されている。不揮発性メモリ0302には、映像取得プログラム、静止画取得プログラム、まとまり語映像部分取得プログラム、まとまり範囲アイコン重畳表示プログラム、まとまり範囲選択受付プログラム、文字単語取得プログラム、画像検索プログラム、画像検索結果取得プログラム、画像検索結果出力プログラム、操作プログラム、制御プログラム、無線通信プログラム等のプログラムが格納されている。データとしては、信号や各種情報などがあり、これらのプログラムやデータは、主メモリ0303の保持領域に読み込まれて、作動領域で実行される。
<実施形態1 処理の流れ>
<実施形態1 処理の流れ>
この実施形態1に係るメニュー説明システムを料理メニューの解説に用いる場合には、図4に示すように、まず、携帯端末装置において、このメニュー説明システムを起動(開始)すると、操作プログラムによりディスプレイ部のディスプレイにシャッター及びアルバムボタンが表示される。
ここで、シャッターを選択して押した場合には、カメラ部のカメラによるメニューの撮影が成され、映像取得プログラムによる映像取得ステップ(ステップ0401)及び静止画取得プログラムによる静止画取得ステップ(ステップ0402)が順次実行されて、図5に示すように、メニューMの静止画がディスプレイ部0502のディスプレイに表示される。この際、メニューMの静止画とともにディスプレイには、操作プログラムによるスキャンボタンSCが表示される。
一方、アルバムボタンを選択すると、メモリ部に格納されているアルバム内の写真が表示されるので、例えば、アルバム内に料理メニューの写真が保存されている場合には、この写真を選択すると、静止画取得ステップ(ステップ0402)が実行されて、アルバム内から選択した料理メニューの静止画がディスプレイに表示される。この場合も、メニューの静止画とともにディスプレイにはスキャンボタンSCが表示される。
この状態において、ディスプレイ部0502のディスプレイに表示されるスキャンボタンSCを押すと、ディスプレイに表示されているメニューMの静止画に対して、まとまり語映像部分取得プログラムによるまとまり語映像部分取得ステップ(ステップ0403)及びまとまり範囲アイコン重畳表示プログラムによるまとまり範囲アイコン重畳表示ステップ(ステップ0404)が順次実行されて、図6に示すように、メニューMの静止画上において、文字映像部分のまとまり範囲(「うどん」、「たぬき」、「きつね」、「たまご」、「てんぷら」等)がまとまり範囲アイコンICでそれぞれ括られた状態でディスプレイ部0602のディスプレイに重畳表示される。
なお、静止画取得ステップでは、ディスプレイにスキャンボタンSCとともにクロップボタンCRも表示されるので、このクロップボタンCRを押すことで、メニューMの静止画の編集画面をディスプレイに表示可能となる。
まとまり範囲アイコンICの重畳表示が成されるのと同時に、ディスプレイ上にはタップを促すセレクトサインSが出現し、このセレクトサインSの指示にしたがって検索したい一以上のまとまり範囲アイコンICをタップして選択すると、図7に網掛け表示するように、ディスプレイ部0702のディスプレイ上において、選択したまとまり範囲アイコンICの部分の色が変化する。
このとき、タップによって一以上のまとまり範囲アイコンICを選択することができるので、従来のドラッグ操作では成し得なかった、互いに離れた位置にある文字の集まりや単語、すなわち、まとまり範囲アイコンICを同時に選択することが可能である。
これと同時に、ディスプレイ部0702のディスプレイには、タップして選択したまとまり範囲アイコンICsに括られた文字映像部分(「うどんきつね300円てんぷら等」)が表示されるので、この表示を確認したうえで検索することができ、文字や単語を修正することもできる。
このように、検索したい一以上のまとまり範囲アイコンICsをタップして選択すると、まとまり範囲選択受付プログラムによるまとまり範囲選択受付ステップ(ステップ0405)が実行されて、選択された一以上のまとまり範囲アイコンICsが受付けられるのに続いて、文字単語取得プログラムによる文字単語取得ステップ(ステップ0406)が実行されて、まとまり範囲選択受付ステップで受付けられた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストが取得される。
次いで、文字単語取得ステップで取得したまとまり構成テキストの一以上でのAND条件、例えば、料理識別情報に基づいて、画像検索プログラムによる画像検索ステップ(ステップ0407)が実行されて、データベースから画像を検索するための処理が成される。
そして、画像検索結果取得プログラムによる画像検索結果取得ステップ(ステップ0408)の実行により、画像検索結果が取得され、画像検索結果出力プログラムによる画像検索結果出力ステップ(ステップ0409)の実行により、図8に示すように、画像検索結果取得ステップで取得した画像検索結果がディスプレイ部0802のディスプレイに出力される。
この際、ディスプレイ部0802のディスプレイに画像検索結果が複数表示された場合には、その中から適当な部位をタップすることで、図9に示すように、タップした箇所の料理に対応したデータがディスプレイ部0902のディスプレイに出力される。
検索したい一以上のまとまり範囲アイコンICを変更したい場合(Noを選択する場合)には、選択ステップ(ステップ0410)からまとまり範囲選択受付ステップ(ステップ0405)に戻ってタップによる選択をし直して、再度画像検索を実行し、検索を終了する場合(Yesを選択する場合)には、そのまま検索を終了する。
この実施形態において、ユーザが選択した一以上の文字映像部分又は単語映像部分のまとまり範囲に関連付けられた画像をデータベースから取得するようにしているが、携帯端末装置のメモリ部に、例えば、料理メニューに係るデータが多数格納されている場合には、必ずしもデータベースを用いる必要はない。
一方、データベースを有するサーバと携帯端末装置とをネットワークで結ぶ場合には、まとまり範囲選択受付ステップ(ステップ0405)〜画像検索結果取得ステップ(ステップ0408)をサーバにて実行させるようにしてもよい。
<実施形態1 効果>
<実施形態1 効果>
このように、実施形態1によれば、メニューMの静止画中においてユーザが選択した文字映像部分又は単語映像部分に対して、これらの文字映像部分又は単語映像部分に関連付けられた画像がディスプレイ部に出力されるので、言語の種類を問わず(翻訳機能の構築を必要とせずに)、一見してその内容を把握することができる。
また、メニューMの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれにまとまり範囲アイコンICを重畳表示するので、検索対象の特定を容易でしかも少ない時間で行い得る分だけ、検索対象の内容を簡単且つ短時間で把握することができる。
さらに、メニューMの静止画中における文字映像部分又は単語映像部分のまとまりのそれぞれにまとまり範囲アイコンICを重畳表示するようにしているので、検索対象の特定に際して、複数のまとまり範囲アイコンICを選択することで、画像検索ステップ(ステップ0407)による検索において、例えば、動物の「きつね」や「たぬき」の画像が取得されるようなことを回避できる。
<実施形態2>
<概要>
<概要>
実施形態2は、実施形態1を基本として、文字単語取得部が、映像部分属性情報取得手段、及び、属性依存まとまり構成テキスト取得手段を有している点に特徴がある。
すなわち、映像部分属性情報取得手段は、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれがどのような属性であるかの情報をユーザから取得し、一方、属性依存まとまり構成テキスト取得手段は、映像部分属性情報取得手段で取得した映像部分属性情報に応じてまとまり構成テキストを取得する。
<実施形態2 構成>
すなわち、映像部分属性情報取得手段は、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれがどのような属性であるかの情報をユーザから取得し、一方、属性依存まとまり構成テキスト取得手段は、映像部分属性情報取得手段で取得した映像部分属性情報に応じてまとまり構成テキストを取得する。
<実施形態2 構成>
図10に示すように、実施形態2に係るメニュー説明システムに用いる携帯端末装置1000は、カメラを含むカメラ部1001と、タッチパネル状のディスプレイを含むディスプレイ部1002と、映像取得部1003と、静止画取得部1004と、まとまり語映像部分取得部1005と、まとまり範囲アイコン重畳表示部1006と、まとまり範囲選択受付部1007と、文字単語取得部1020と、画像検索部1008と、画像検索結果取得部1009と、画像検索結果出力部1010と、操作部1011と、通話部1012と、メモリ部1013と、制御部1014と、無線通信部1015を備えている。
実施形態2に係る携帯端末装置1000において、実施形態1に係る携帯端末装置0200と相違するところは、文字単語取得部1020が、映像部分属性情報取得手段1021、及び、属性依存まとまり構成テキスト取得手段1022を有している点にあり、他の機能部は実施形態1に係る携帯端末装置0200の機能部と同じである。
この実施形態において、携帯端末装置1000における文字単語取得部1020の映像部分属性情報取得手段1021は、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれが、例えば、食べ物及び飲み物のいずれに属しているかの情報をユーザから取得する。
一方、文字単語取得部1020の属性依存まとまり構成テキスト取得手段1022は、映像部分属性情報取得手段1021で取得した映像部分属性情報(検索対象である文字映像部分又は単語映像部分が食べ物及び飲み物のいずれに属しているかの情報)に応じてまとまり構成テキストを取得する。
実施形態2においても、図11に示すように、携帯端末装置1100は、CPU1101と、HDD、ROM等の不揮発性メモリ1102と、D−RAM等の主メモリ1103とから構成されている。この際、不揮発性メモリ1102には、映像取得プログラム、静止画取得プログラム、まとまり語映像部分取得プログラム、まとまり範囲アイコン重畳表示プログラム、まとまり範囲選択受付プログラム、文字単語取得プログラム、画像検索プログラム、画像検索結果取得プログラム、画像検索結果出力プログラム、操作プログラム、制御プログラム、無線通信プログラム等のプログラムが格納されているのに加えて、映像部分属性情報取得プログラム及び属性依存まとまり構成テキスト取得プログラムが、文字単語取得プログラムのサブプログラムとして格納されている。
<実施形態2 処理の流れ>
<実施形態2 処理の流れ>
この実施形態2に係るメニュー説明システムの処理の流れにおいて、実施形態1係るメニュー説明システムの処理の流れと相違するところは、図12に示すように、文字単語取得プログラムによる文字単語取得ステップ(ステップ1206)の段階で、映像部分属性情報取得サブプログラムによる映像部分属性情報取得サブステップ(ステップ1206a)及び属性依存まとまり構成テキスト取得サブプログラムによる属性依存まとまり構成テキスト取得サブステップ(ステップ1206b)が順次実行される点にある。
すなわち、文字単語取得プログラムによる文字単語取得ステップ(ステップ1206)において、まず、映像部分属性情報取得サブプログラムによる映像部分属性情報取得サブステップ(ステップ1206a)により、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれがどのような属性であるかの情報をユーザから取得する。
具体的には、図13に示すように、例えば、ディスプレイ部1302のディスプレイ上における「飲み物」のまとまり範囲アイコンICのタップによる選択によって、検索対象が飲み物に属しているという情報をユーザから取得する。この際、図14に網掛け表示するように、ディスプレイ部1402のディスプレイ上において、選択したまとまり範囲アイコンICの部分の色が変化する。
一方、属性依存まとまり構成テキスト取得サブプログラムによる属性依存まとまり構成テキスト取得サブステップ(ステップ1206b)では、映像部分属性情報取得サブステップ(ステップ1206a)で取得した映像部分属性情報(検索対象が飲み物に属しているという情報)に応じてまとまり構成テキストを取得する。
このように、実施形態2によれば、検索対象の属性情報がユーザから得られるので、検索の方向性が明確になり、その結果、検索対象の内容をより一層簡単且つ短時間で把握することができ、加えて、検索対象の特定に際して、検索対象とは異なる属性の画像、例えば、飲み物である「ソルティードッグ」に対して「犬」の画像が取得されるようなことを回避できる。
<実施形態3>
<概要>
<概要>
実施形態3は、実施形態2を基本として、映像部分属性情報取得手段が選択器を有し、ユーザにメニューそのものの属性を映像部分属性情報として選択させる点に特徴がある。
つまり、映像部分属性情報取得手段の選択器により、ユーザに検索対象が飲食物メニュー、エステメニュー、理容メニュー、美容メニュー、飲食物持帰りメニュー、マッサージメニュー、のいずに属するかを選択させるようにした点に特徴がある。
<実施形態3 構成>
つまり、映像部分属性情報取得手段の選択器により、ユーザに検索対象が飲食物メニュー、エステメニュー、理容メニュー、美容メニュー、飲食物持帰りメニュー、マッサージメニュー、のいずに属するかを選択させるようにした点に特徴がある。
<実施形態3 構成>
実施形態3において、実施形態2に係る携帯端末装置1000の構成と相違するところは、図15に部分的に示すように、映像部分属性情報取得手段1521、及び、属性依存まとまり構成テキスト取得手段1522を有する文字単語取得部1520の映像部分属性情報取得手段1521が選択器1523を有している点にあり、他の機能部構成は実施形態2に係る携帯端末装置1000の機能部と同じである。
この実施形態では、携帯端末装置における文字単語取得部1520の映像部分属性情報取得手段1521において、例えば、検索対象が整髪である場合に、検索対象が飲食物メニュー、エステメニュー、理容メニュー、美容メニュー、飲食物持帰りメニュー、マッサージメニュー、のいずれに属するかを選択器1523によって選択させる。
この実施形態3に係るメニュー説明システムでは、図16に示すように、例えば、理容室において理容メニューを携帯端末装置のカメラ部で撮像してディスプレイ部1602上に表示させている場合に、文字単語取得部1520の映像部分属性情報取得手段1521の選択器1523において、ユーザに理容メニューを選択させると、検索範囲が絞られるので、画像検索が円滑に成されることとなり、したがって、理容分野においても検索対象の内容をより一層簡単且つ短時間で把握することができる。
<実施形態4>
<概要>
<概要>
実施形態4は、実施形態1を基本として、文字単語取得部が言語種類取得手段を有し、画像検索部が言語別画像検索手段を有する点に特徴がある。
すなわち、文字単語取得部の言語種類取得手段は、取得したまとまり構成テキストの言語の種類を取得し、画像検索部の言語別画像検索手段は、取得された言語の使用されている地域にて利用されているサーバに対してクエリ(照会)を投げるための処理をする。
<実施形態4 構成>
すなわち、文字単語取得部の言語種類取得手段は、取得したまとまり構成テキストの言語の種類を取得し、画像検索部の言語別画像検索手段は、取得された言語の使用されている地域にて利用されているサーバに対してクエリ(照会)を投げるための処理をする。
<実施形態4 構成>
図17に示すように、実施形態4に係るメニュー説明システムに用いる携帯端末装置1700は、カメラを含むカメラ部1701と、タッチパネル状のディスプレイを含むディスプレイ部1702と、映像取得部1703と、静止画取得部1704と、まとまり語映像部分取得部1705と、まとまり範囲アイコン重畳表示部1706と、まとまり範囲選択受付部1707と、文字単語取得部1720と、画像検索部1730と、画像検索結果取得部1709と、画像検索結果出力部1710と、操作部1711と、通話部1712と、メモリ部1713と、制御部1714と、無線通信部1715を備えている。
実施形態4に係る携帯端末装置1700において、実施形態1に係る携帯端末装置0200と相違するところは、文字単語取得部1720が、言語種類取得手段1721を有し、画像検索部1730が、言語別画像検索手段1731を有している点にあり、他の機能部は実施形態1に係る携帯端末装置0200の機能部と同じである。
この実施形態において、携帯端末装置1700における文字単語取得部1720の言語種類取得手段1721は、取得したまとまり構成テキストの言語の種類を取得する。
一方、画像検索部1730の言語別画像検索手段1731は、取得された言語の使用されている地域にて利用されているサーバに対してクエリ(照会)を投げるための処理をする、具体的には、言語種類取得手段1721で取得された言語を使うご当地のサーバを利用するための処理をする。
実施形態4においても、図18に示すように、携帯端末装置1800は、CPU1801と、HDD、ROM等の不揮発性メモリ1802と、D−RAM等の主メモリ1803とから構成されている。この際、不揮発性メモリ1802には、映像取得プログラム、静止画取得プログラム、まとまり語映像部分取得プログラム、まとまり範囲アイコン重畳表示プログラム、まとまり範囲選択受付プログラム、文字単語取得プログラム、画像検索プログラム、画像検索結果取得プログラム、画像検索結果出力プログラム、操作プログラム、制御プログラム、無線通信プログラム等のプログラムが格納されているのに加えて、言語種類取得プログラムが、文字単語取得プログラムのサブプログラムとして格納され、言語別画像検索プログラムが、画像検索プログラムのサブプログラムとして格納されている。
<実施形態4 処理の流れ>
<実施形態4 処理の流れ>
この実施形態4に係るメニュー説明システムの処理の流れにおいて、実施形態1係るメニュー説明システムの処理の流れと相違するところは、図19に示すように、文字単語取得プログラムによる文字単語取得ステップ(ステップ1906)の段階で、言語種類取得サブプログラムによる言語種類取得サブステップ(ステップ1906a)が実行され、画像検索プログラムによる画像検索ステップ(ステップ1907)の段階で、言語別画像検索サブプログラムによる言語別画像検索サブステップ(ステップ1907a)が実行される点にある。
すなわち、文字単語取得プログラムによる文字単語取得ステップ(ステップ1906)において、言語種類取得サブプログラムによる言語種類取得サブステップ(ステップ1906a)により、メニューの静止画中におけるまとまりとして取得したまとまり構成テキストの言語の種類を取得する。
一方、画像検索プログラムによる画像検索ステップ(ステップ1907)において、言語別画像検索サブプログラムによる言語別画像検索サブステップ(ステップ1907a)により、文字単語取得ステップ(ステップ1906)の言語種類取得サブステップ(ステップ1906a)で取得された言語を使うご当地のサーバを利用するための処理をする。
このように、実施形態4によれば、取得したまとまり構成テキストの言語の種類を取得したうえで、この言語を使うご当地のサーバを利用して検索を行うので、その言語を使う地域の詳しい情報を得ることができる。
<実施形態5>
<概要>
<概要>
実施形態5は、実施形態1を基本として、文字単語取得部が、映像部分言語種類情報取得手段、及び、言語種類依存まとまり構成テキスト取得手段を有している点に特徴がある。
すなわち、映像部分言語種類取得手段は、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれの言語の種類情報をユーザから取得し、一方、言語種類依存まとまり構成テキスト取得手段は、映像部分言語種類情報取得手段で取得した映像部分言語種類に応じてまとまり構成テキストを取得する。
<実施形態5 構成>
すなわち、映像部分言語種類取得手段は、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれの言語の種類情報をユーザから取得し、一方、言語種類依存まとまり構成テキスト取得手段は、映像部分言語種類情報取得手段で取得した映像部分言語種類に応じてまとまり構成テキストを取得する。
<実施形態5 構成>
図20に示すように、実施形態5に係るメニュー説明システムに用いる携帯端末装置2000は、カメラを含むカメラ部2001と、タッチパネル状のディスプレイを含むディスプレイ部2002と、映像取得部2003と、静止画取得部2004と、まとまり語映像部分取得部2005と、まとまり範囲アイコン重畳表示部2006と、まとまり範囲選択受付部2007と、文字単語取得部2020と、画像検索部2008と、画像検索結果取得部2009と、画像検索結果出力部2010と、操作部2011と、通話部2012と、メモリ部2013と、制御部2014と、無線通信部2015を備えている。
実施形態5に係る携帯端末装置2000において、実施形態1に係る携帯端末装置0200と相違するところは、文字単語取得部2020が、映像部分言語種類情報取得手段2021、及び、言語種類依存まとまり構成テキスト取得手段2022を有している点にあり、他の機能部は実施形態1に係る携帯端末装置0200の機能部と同じである。
この実施形態において、携帯端末装置2000における文字単語取得部2020の映像部分言語種類情報取得手段2021は、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれの言語の種類情報をユーザから取得する。
一方、文字単語取得部2020の言語種類依存まとまり構成テキスト取得手段2022は、映像部分言語種類情報取得手段2021で取得した言語の種類情報に応じてまとまり構成テキストを取得する。
実施形態5においても、図21に示すように、携帯端末装置2100は、CPU2101と、HDD、ROM等の不揮発性メモリ2102と、D−RAM等の主メモリ2103とから構成されている。この際、不揮発性メモリ2102には、映像取得プログラム、静止画取得プログラム、まとまり語映像部分取得プログラム、まとまり範囲アイコン重畳表示プログラム、まとまり範囲選択受付プログラム、文字単語取得プログラム、画像検索プログラム、画像検索結果取得プログラム、画像検索結果出力プログラム、操作プログラム、制御プログラム、無線通信プログラム等のプログラムが格納されているのに加えて、映像部分言語種類情報取得プログラム及び言語種類依存まとまり構成テキスト取得プログラムが、文字単語取得プログラムのサブプログラムとして格納されている。
<実施形態5 処理の流れ>
<実施形態5 処理の流れ>
この実施形態5に係るメニュー説明システムの処理の流れにおいて、実施形態1係るメニュー説明システムの処理の流れと相違するところは、図22に示すように、文字単語取得プログラムによる文字単語取得ステップ(ステップ2206)の段階で、映像部分言語種類情報取得サブプログラムによる映像部分言語種類情報取得サブステップ(ステップ2206a)及び言語種類依存まとまり構成テキスト取得サブプログラムによる言語種類依存まとまり構成テキスト取得サブステップ(ステップ2206b)が順次実行される点にある。
すなわち、文字単語取得プログラムによる文字単語取得ステップ(ステップ2206)において、まず、映像部分言語種類情報取得サブプログラムによる映像部分言語種類情報取得サブステップ(ステップ2206a)により、メニューの静止画中において、まとまりとして取得した文字映像部分又は単語映像部分のそれぞれの言語がどのような種類であるかの情報をユーザから取得する。
一方、言語種類依存まとまり構成テキスト取得サブプログラムによる言語種類依存まとまり構成テキスト取得サブステップ(ステップ2206b)では、映像部分言語種類情報取得サブステップ(ステップ2206a)で取得した映像部分言語種類情報に応じてまとまり構成テキストを取得する。
このように、実施形態5によれば、検索対象の言語の種類情報がユーザから得られるので、検索で使用する言語が明確になり、その結果、検索対象の内容をより一層簡単且つ短時間で把握することができる。
0100、0200 携帯端末装置
0101、0201 カメラ部
0102、0202 ディスプレイ部
0150 データベース
0203 映像取得部
0204 静止画取得部
0205 まとまり語映像部分取得部
0206 まとまりアイコン重畳表示部
0207 まとまり範囲受付部
0208 画像検索部
0209 画像検索結果取得部
0210 画像検索結果出力部
IC アイコン
M メニュー
N ネットワーク
0101、0201 カメラ部
0102、0202 ディスプレイ部
0150 データベース
0203 映像取得部
0204 静止画取得部
0205 まとまり語映像部分取得部
0206 まとまりアイコン重畳表示部
0207 まとまり範囲受付部
0208 画像検索部
0209 画像検索結果取得部
0210 画像検索結果出力部
IC アイコン
M メニュー
N ネットワーク
Claims (8)
- カメラを含むカメラ部と、
ディスプレイを含むディスプレイ部と、
カメラ部から映像を取得し、ディスプレイに出力する映像取得部と、
出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得部と、
取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得部と、
まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示部と、
ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付部と、
選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得部と、
取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索部と、
画像検索結果を取得する画像検索結果取得部と、
取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力部と、
を有するメニュー説明システム。 - 文字単語取得部は、ユーザから前記まとまり範囲の文字映像部分又は単語映像部分の属性を示す情報である映像部分属性情報を取得する映像部分属性情報取得手段と、
取得した映像部分属性情報に応じてまとまり構成テキストを取得する属性依存まとまり構成テキスト取得手段と、
を有する請求項1に記載のメニュー説明システム。 - 映像部分属性情報取得手段は、映像部分属性情報として、ユーザにその属性が飲食物メニュー、エステメニュー、理容メニュー、美容メニュー、飲食物持帰りメニュー、マッサージメニュー、のいずれか一を選択させる選択器を有する請求項2に記載のメニュー説明システム。
- 文字単語取得部は、取得したまとまり構成テキストの言語の種類を取得する言語種類取得手段を有し、
前記画像検索部は、取得された言語の使用されている地域にて利用されているサーバに対してクエリを投げるための処理をする言語別画像検索手段を有する請求項1から請求項3のいずれか一に記載のメニュー説明システム。 - 文字単語取得部は、ユーザから前記まとまり範囲の文字映像部分又は単語映像部分の言語の種類を示す情報である映像部分言語種類情報を取得する映像部分言語種類情報取得手段と、
取得した映像部分言語種類情報に応じてまとまり構成テキストを取得する言語種類依存まとまり構成テキスト取得手段と、
を有する請求項1から請求項4のいずれか一に記載のメニュー説明システム。 - カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、
出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、
取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、
まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、
ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、
選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、
取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、
画像検索結果を取得する画像検索結果取得ステップと、
取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、
を有するメニュー説明システムの動作方法。 - カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、
出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、
取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、
まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、
ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、
選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、
取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、
画像検索結果を取得する画像検索結果取得ステップと、
取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、
を有する計算機であるメニュー説明システムに読み取り実行可能に記録した動作プログラム。 - カメラ部から映像を取得し、ディスプレイに出力する映像取得ステップと、
出力されている映像から静止画を取得し、ディスプレイに出力する静止画取得ステップと、
取得した静止画中において文字映像部分又は単語映像部分のまとまりであるまとまり語映像部分を取得するまとまり語映像部分取得ステップと、
まとまりとして取得された文字映像部分又は単語映像部分であってディスプレイに出力されているもののそれぞれに、まとまりである範囲を示すまとまり範囲アイコンを重畳表示するまとまり範囲アイコン重畳表示ステップと、
ユーザからの一以上のまとまり範囲アイコンの選択を受付けるまとまり範囲選択受付ステップと、
選択を受付けた一以上のまとまり範囲の文字映像部分又は単語映像部分が示す文字又は単語を構成するまとまり構成テキストを取得する文字単語取得ステップと、
取得したまとまり構成テキストの一以上でのAND条件で画像データベースから画像を検索するための処理をする画像検索ステップと、
画像検索結果を取得する画像検索結果取得ステップと、
取得した画像検索結果を前記ディスプレイ部に出力する画像検索結果出力ステップと、
を有する計算機であるメニュー説明システムに読み取り実行可能に記録した動作プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019070034A JP2020170255A (ja) | 2019-04-01 | 2019-04-01 | メニュー説明システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019070034A JP2020170255A (ja) | 2019-04-01 | 2019-04-01 | メニュー説明システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020170255A true JP2020170255A (ja) | 2020-10-15 |
Family
ID=72745943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019070034A Pending JP2020170255A (ja) | 2019-04-01 | 2019-04-01 | メニュー説明システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020170255A (ja) |
-
2019
- 2019-04-01 JP JP2019070034A patent/JP2020170255A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9934254B2 (en) | Terminal apparatus, information processing system, and information processing method | |
US20100318510A1 (en) | Method for attaching tag to image of person | |
US10564795B2 (en) | Control method, processing apparatus, and non-transitory computer-readable recording medium | |
US9124590B2 (en) | Intelligent information providing system and method | |
US20200050906A1 (en) | Dynamic contextual data capture | |
CN106030578B (zh) | 搜索***以及搜索***的控制方法 | |
US20190325497A1 (en) | Server apparatus, terminal apparatus, and information processing method | |
JP7034969B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP2011014035A (ja) | 検索システム及び検索方法 | |
KR20200007066A (ko) | 정보 제공 서버 및 그 정보 제공 서버의 제어 방법 | |
JP2018092344A (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
US20170076243A1 (en) | Profile searching and matching system | |
US10887551B2 (en) | Information processing apparatus, information processing system and information processing method | |
US20220383382A1 (en) | Product information processing system, product information processing method, and recording medium | |
JP2020170255A (ja) | メニュー説明システム | |
JP2021064028A (ja) | 管理サーバおよび商品検索方法 | |
JP2017037587A (ja) | 情報処理装置及びプログラム | |
JP6470700B2 (ja) | 情報提供サーバ | |
CN113835594A (zh) | 交互方法和装置、电子设备以及可读存储介质 | |
JP6002328B2 (ja) | 検索システム、検索プログラム、および検索条件入力方法 | |
CN111104026A (zh) | 推荐服务的方法和设备 | |
JP2015076089A (ja) | サーバ装置、方法、および、システム | |
JP2020135658A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
US20230367830A1 (en) | Recipe search support apparatus, and recipe search support method | |
JP5953248B2 (ja) | インテント分類装置、方法及びプログラム、サービス選択支援装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190426 |