JP2018077625A - Menu generation system, menu generation method, and control program - Google Patents
Menu generation system, menu generation method, and control program Download PDFInfo
- Publication number
- JP2018077625A JP2018077625A JP2016218218A JP2016218218A JP2018077625A JP 2018077625 A JP2018077625 A JP 2018077625A JP 2016218218 A JP2016218218 A JP 2016218218A JP 2016218218 A JP2016218218 A JP 2016218218A JP 2018077625 A JP2018077625 A JP 2018077625A
- Authority
- JP
- Japan
- Prior art keywords
- dish
- name
- menu
- image
- dishes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 72
- 238000012545 processing Methods 0.000 claims abstract description 80
- 238000003384 imaging method Methods 0.000 claims abstract description 45
- 230000005540 biological transmission Effects 0.000 claims description 32
- 238000010411 cooking Methods 0.000 description 62
- 230000008569 process Effects 0.000 description 52
- 238000012937 correction Methods 0.000 description 45
- 235000021186 dishes Nutrition 0.000 description 40
- 238000004891 communication Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 18
- 235000013305 food Nutrition 0.000 description 10
- 235000012054 meals Nutrition 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 244000269722 Thea sinensis Species 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 235000008429 bread Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000238366 Cephalopoda Species 0.000 description 1
- 240000008415 Lactuca sativa Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 235000019601 food appearance Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 235000012045 salad Nutrition 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、メニュー生成システム、メニュー生成方法、及び制御プログラムに関する。 The present invention relates to a menu generation system, a menu generation method, and a control program.
従来から、特定の物体を予め撮像したサンプル画像と特定の物体の名称とを互いに関連付けて記憶するデータベースを参照し、ユーザによって撮像された画像中に含まれる特定の物体の名称を出力する画像認識システムが知られている。 Conventionally, referring to a database in which a sample image obtained by capturing a specific object in advance and the name of the specific object are stored in association with each other, the image recognition for outputting the name of the specific object included in the image captured by the user The system is known.
例えば、特許文献1には、撮像された定食の画像に基づいて、定食を構成する複数の料理の料理品目を判別し、判別した料理品目から構成されるメニュー品目(定食の名称)を出力する注文管理システムが記載されている。この注文管理システムでは、料理品目ごとに、完成料理画像が記憶され、且つ、メニュー品目(定食等)ごとに、当該メニュー品目を構成する複数の料理品目が記憶される。注文管理システムは、撮像された定食等のメニュー品目の画像を取得し、取得した画像に含まれる複数の完成料理画像を判別し、判別した完成料理画像ごとに、各完成料理画像の料理品目を特定する。そして、注文管理システムは、特定した各料理品目によって構成されるメニュー品目を判別できた場合、判別したメニュー品目を出力する。これにより、調理担当者は、定食を配膳する前に当該定食を撮像することで、配膳しようとする定食に、当該定食を構成する複数の料理品目が含まれているか否かを自動的に確認することができる。
For example, in
しかしながら、従来のシステムでは、予め記憶された料理の画像によって、撮像された料理の外観画像の名称が特定できなかった場合、名称の特定処理が失敗した旨の情報をユーザに報知するだけであった。そのため、料理の画像の名称の特定処理が失敗した場合、ユーザは、全ての料理を目視で確認する必要があった。 However, in the conventional system, when the name of the captured food appearance image cannot be specified by the previously stored food image, the user only has to be notified of information indicating that the name specifying process has failed. It was. Therefore, when the process for specifying the name of the dish image fails, the user has to visually check all the dishes.
本発明は、このような課題を解決すべくなされたものであり、2品目以上の料理を撮影した外観画像から判定されるメニューの名称の確度を向上させることが可能となるメニュー生成システム、メニュー生成方法、及び制御プログラムを提供することを可能とする。 The present invention has been made to solve such a problem, and a menu generation system and menu that can improve the accuracy of menu names determined from appearance images obtained by photographing two or more dishes. It is possible to provide a generation method and a control program.
本発明に係るメニュー生成システムは、飲食店のメニューを生成するメニュー生成システムであって、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶する記憶部と、複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付ける入力処理部と、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定する特定部と、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する算出部と、を有する。 The menu generation system according to the present invention is a menu generation system for generating a restaurant menu, and stores, for each of a plurality of dishes, a sample dish image obtained by imaging the appearance, a dish name, and a dish attribute in association with each other. An input processing unit for receiving an appearance image including an appearance of each dish for a predetermined menu including two or more dishes of a plurality of dishes, a received appearance image, a stored sample dish image, and Based on the dish name, the identification unit that identifies the dish name of each dish included in the received appearance image, the dish attribute associated with the dish name of each dish, and other information about the dish name of each identified dish And a calculation unit that calculates the similarity with the dish attribute associated with the dish name of the dish.
また、本発明に係るメニュー生成システムにおいて、特定部は、算出部が算出した類似度に基づいて、特定された各料理の料理名称に関連付けられた料理属性が重複しないよう、受け付けた外観画像に含まれる各料理の料理名称を再特定することが好ましい。 Further, in the menu generation system according to the present invention, the specifying unit applies the received appearance image to the received appearance image based on the similarity calculated by the calculating unit so that the dish attribute associated with the specified dish name of each dish does not overlap. It is preferable to respecify the dish name of each dish included.
また、本発明に係るメニュー生成システムにおいて、特定部は、受け付けた外観画像に含まれる各料理の画像とサンプル料理画像との一致度を算出し、特定された各料理の料理名称に関連付けられた料理属性が重複している場合、料理属性が重複している料理の料理名称の内、対応するサンプル料理画像について算出された一致度が最も高い料理名称以外の料理名称を変更することが好ましい。 Further, in the menu generation system according to the present invention, the specifying unit calculates the degree of coincidence between the image of each dish included in the received appearance image and the sample dish image, and is associated with the specified dish name of each dish. When the dish attributes are duplicated, it is preferable to change the dish names other than the dish names having the highest degree of coincidence calculated for the corresponding sample dish images among the dish names of the dishes having the duplicate dish attributes.
また、本発明に係るメニュー生成システムにおいて、料理属性は、2以上の料理から構成されるメニューにおける料理の提供順番であることが好ましい。 In the menu generation system according to the present invention, the dish attribute is preferably the order in which dishes are provided in a menu composed of two or more dishes.
また、本発明に係るメニュー生成システムにおいて、特定された各料理の料理名称を各料理に関連付けられた提供順番に応じて並べたメニューの表示情報を生成する生成部を有することが好ましい。 Moreover, the menu generation system according to the present invention preferably includes a generation unit that generates display information of a menu in which dish names of each identified dish are arranged according to a provision order associated with each dish.
また、本発明に係るメニュー生成システムにおいて、料理属性は、料理の種類であることが好ましい。 In the menu generation system according to the present invention, the dish attribute is preferably a dish type.
また、本発明に係るメニュー生成システムにおいて、類似度が所定度以上の場合に、特定部による料理名称の特定に誤りがあることをユーザに示す通知情報を通知する送信部を有することが好ましい。 In addition, the menu generation system according to the present invention preferably includes a transmission unit that notifies the user of notification information indicating that there is an error in specifying the dish name by the specifying unit when the similarity is greater than or equal to a predetermined level.
また、本発明に係るメニュー生成システムにおいて、通知情報は、特定された各料理の料理名称の内の所定度以上の類似度の料理属性に関連付けられた料理名称の内の少なくとも1つの料理名称を、所定度以上の類似度の料理属性とは異なる他の料理属性に関連付けられた料理名称に変更した名称提案情報を含むことが好ましい。 Further, in the menu generation system according to the present invention, the notification information includes at least one dish name among dish names associated with dish attributes having a similarity degree equal to or higher than a predetermined degree among the identified dish names. It is preferable that the name suggestion information changed to the dish name associated with another dish attribute different from the dish attribute having a similarity degree equal to or higher than a predetermined level is included.
また、本発明に係るメニュー生成システムにおいて、記憶部は、複数の料理のそれぞれについて、第1言語で表記された料理名称と第2言語で表記された料理名称とを互いに関連付けて記憶し、各料理の第1言語で表記された料理名称又は第2言語で表記された料理名称を端末に送信する送信部を有することが好ましい。 In the menu generation system according to the present invention, the storage unit stores, for each of the plurality of dishes, the dish name written in the first language and the dish name written in the second language in association with each other, It is preferable to have a transmission unit that transmits the dish name written in the first language of the dish or the dish name written in the second language to the terminal.
本発明に係るメニュー生成システムは、飲食店のメニューを生成するメニュー生成システムであって、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶する記憶部と、複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付ける入力処理部と、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定する特定部と、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する算出部と、を有する。 The menu generation system according to the present invention is a menu generation system for generating a restaurant menu, and stores, for each of a plurality of dishes, a sample dish image obtained by imaging the appearance, a dish name, and a dish attribute in association with each other. An input processing unit for receiving an appearance image including an appearance of each dish for a predetermined menu including two or more dishes of a plurality of dishes, a received appearance image, a stored sample dish image, and Based on the dish name, the identifying unit that identifies the dish name of each dish included in the received appearance image, the dish attribute associated with the dish name of each dish for the identified dish name of each dish, and a predetermined And a calculation unit for calculating the degree of similarity with the cooking attribute.
また、本発明に係るメニュー生成システムにおいて、特定部は、算出部が算出した類似度に基づいて、特定された各料理の料理名称に関連付けられた料理属性の全てが所定の料理属性と関連付けられた料理属性となるよう、受け付けた外観画像に含まれる各料理の料理名称を再特定することが好ましい。 Further, in the menu generation system according to the present invention, the specifying unit associates all of the dish attributes associated with the specified dish names of each dish based on the similarity calculated by the calculating unit. It is preferable to respecify the dish name of each dish included in the received appearance image so that the dish attribute is obtained.
また、本発明に係るメニュー生成システムにおいて、特定部は、特定された各料理の料理名称に関連付けられた料理属性の内、最も多い料理属性を所定の料理属性とすることが好ましい。 In the menu generation system according to the present invention, it is preferable that the specifying unit sets the most cooking attributes among the cooking attributes associated with the specified dish names as predetermined cooking attributes.
また、本発明に係るサーバにおいて、料理属性は、料理ジャンルであることが好ましい。 In the server according to the present invention, the dish attribute is preferably a dish genre.
また、本発明に係るサーバにおいて、記憶部は、複数の料理のそれぞれについて、第1言語で表記された料理名称と第2言語で表記された料理名称とを互いに関連付けて記憶し、各料理の第1言語で表記された料理名称又は第2言語で表記された料理名称を端末に送信する送信部を有することが好ましい。 In the server according to the present invention, the storage unit stores a dish name written in the first language and a dish name written in the second language in association with each other for each of the plurality of dishes. It is preferable to have a transmission unit that transmits the dish name written in the first language or the dish name written in the second language to the terminal.
また、本発明に係るサーバにおいて、類似度が所定度未満の場合に、特定部による料理名称の特定に誤りがあることを示す通知情報を通知する送信部を有することが好ましい。 In addition, the server according to the present invention preferably includes a transmission unit that notifies notification information indicating that there is an error in specifying the dish name by the specifying unit when the similarity is less than a predetermined level.
また、本発明に係るサーバにおいて、通知情報は、特定された各料理の料理名称の内の所定の料理属性に関連付けられていない料理名称を、所定の料理属性に関連付けられた料理名称に変更した名称提案情報を含むことが好ましい。 In the server according to the present invention, the notification information is changed from a dish name that is not associated with a predetermined dish attribute among the dish names of each identified dish to a dish name associated with the predetermined dish attribute. It is preferable to include name suggestion information.
本発明に係るメニュー生成方法は、記憶部を有し、飲食店のメニューを生成するコンピュータによるメニュー生成方法であって、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶部に記憶し、複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定し、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する、ことを含む。 A menu generation method according to the present invention is a menu generation method by a computer that has a storage unit and generates a restaurant menu, and includes a sample dish image, a dish name, and a dish that captures the appearance of each of a plurality of dishes. Attributes are associated with each other and stored in the storage unit, and for a predetermined menu including two or more dishes of a plurality of dishes, an appearance image including the appearance of each dish is received, and the received appearance image is stored. Based on the sample dish image and the dish name, the dish name of each dish included in the received appearance image is specified, and for the identified dish name of each dish, the dish attribute associated with the dish name of each dish and others Calculating similarity with the dish attribute associated with the dish name of the dish.
本発明に係る制御プログラムは、記憶部を有し、飲食店のメニューを生成するコンピュータの制御プログラムであって、コンピュータに、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶部に記憶し、複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定し、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する、ことを実行させる。 A control program according to the present invention is a computer control program that has a storage unit and generates a restaurant menu, and includes a sample dish image and a dish name obtained by imaging the appearance of each of a plurality of dishes on the computer. The cooking attributes are associated with each other and stored in the storage unit, and an appearance image including the appearance of each dish is received for a predetermined menu including two or more dishes of a plurality of dishes, and the received appearance image is stored. And identifying the dish name of each dish included in the received appearance image based on the sample dish image and the dish name, and the dish attribute associated with the dish name of each dish for the identified dish name The similarity is calculated with the dish attribute associated with the dish name of another dish.
本発明に係るメニュー生成方法は、記憶部を有し、飲食店のメニューを生成するコンピュータによるメニュー生成方法であって、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶部に記憶し、複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定し、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する、ことを含む。 A menu generation method according to the present invention is a menu generation method by a computer that has a storage unit and generates a restaurant menu, and includes a sample dish image, a dish name, and a dish that captures the appearance of each of a plurality of dishes. Attributes are associated with each other and stored in the storage unit, and for a predetermined menu including two or more dishes of a plurality of dishes, an appearance image including the appearance of each dish is received, and the received appearance image is stored. Based on the sample dish image and the dish name, the dish name of each dish included in the received appearance image is specified, and the dish attribute associated with the dish name of each dish for the identified dish name of each dish, Calculating similarity to a predetermined dish attribute.
本発明に係る制御プログラムは、記憶部を有し、飲食店のメニューを生成するコンピュータの制御プログラムであって、コンピュータに、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶部に記憶し、複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定し、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する、ことを実行させる。 A control program according to the present invention is a computer control program that has a storage unit and generates a restaurant menu, and includes a sample dish image and a dish name obtained by imaging the appearance of each of a plurality of dishes on the computer. The cooking attributes are associated with each other and stored in the storage unit, and an appearance image including the appearance of each dish is received for a predetermined menu including two or more dishes of a plurality of dishes, and the received appearance image is stored. And identifying the dish name of each dish included in the received appearance image based on the sample dish image and the dish name, and the dish attribute associated with the dish name of each dish for the identified dish name , Calculating the degree of similarity with a predetermined dish attribute.
本発明に係るメニュー生成システム、メニュー生成方法、及び制御プログラムによって、2品目以上の料理を撮影した外観画像から判定されるメニューの名称の確度を向上させることが可能となる。 With the menu generation system, the menu generation method, and the control program according to the present invention, it is possible to improve the accuracy of menu names determined from appearance images obtained by photographing two or more dishes.
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。 Hereinafter, various embodiments of the present invention will be described with reference to the drawings. However, it should be noted that the technical scope of the present invention is not limited to these embodiments, and extends to the invention described in the claims and equivalents thereof.
(メニュー生成システムの概要)
メニュー生成システムは、飲食店の経営者等の飲食店関係者が所有する端末装置2から送信された各種情報を受信し、受信した各種情報に基づいてメニューの名称を特定し、特定したメニューの名称を端末装置2に送信する。なお、端末装置2は、例えば、「スマートフォン」と呼ばれる多機能携帯電話機又は「フィーチャーフォン」と呼ばれる携帯電話機等であるが、メニュー生成システム1との通信機能、情報の表示機能、撮像機能を備えていれば、どのような通信機器でもよい。以下、端末装置2を所有する飲食店関係者を、単にユーザと称する場合がある。
(Outline of menu generation system)
The menu generation system receives various types of information transmitted from the
以下、図1は、メニュー生成システムの概要を説明するための模式図である。以下、図1を参照して、メニュー生成システムの検索機能について説明する。 FIG. 1 is a schematic diagram for explaining an outline of the menu generation system. Hereinafter, the search function of the menu generation system will be described with reference to FIG.
まず、端末装置2は、ユーザの操作に応じて、所定のメニューを構成する2以上の料理について、各料理の外観を撮像し、撮像した外観画像を記憶する。所定のメニューは、例えば、コース料理メニュー、大皿料理メニュー、又は定食メニュー等である。以下、所定のメニューを、単にメニューと称する場合がある。次に、端末装置2は、記憶した外観画像をサーバ3に送信する。
First, in response to a user operation, the
メニュー生成システムは、複数の料理のそれぞれについて、各料理の外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶する。料理属性は、料理の種類(前菜、サラダ、肉料理、魚料理、ドリンク等)、料理の提供順番、料理ジャンル(フランス料理、四川料理等)等である。 For each of the plurality of dishes, the menu generation system stores a sample dish image obtained by imaging the appearance of each dish, a dish name, and a dish attribute in association with each other. The cooking attributes include the type of dish (appetizer, salad, meat dish, fish dish, drink, etc.), the order in which dishes are served, the cooking genre (French cuisine, Sichuan cuisine, etc.), and the like.
メニュー生成システムは、端末装置2から外観画像を受け付けると、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定する。
When the menu generation system receives the appearance image from the
料理名称の特定処理では、まず、メニュー生成システムは、テンプレートマッチング等の画像マッチング手法を用いて、受け付けた外観画像から、サンプル料理画像と所定の一致度以上の料理の画像を検出する。次に、メニュー生成システムは、当該料理の画像を検出するために用いたサンプル料理画像の料理名称を特定するとともに、特定した料理名称と検出された料理の画像とを関連付ける。 In the dish name specifying process, first, the menu generation system detects an image of a dish having a predetermined degree of coincidence with the sample dish image from the received appearance image using an image matching method such as template matching. Next, the menu generation system specifies the dish name of the sample dish image used for detecting the dish image, and associates the identified dish name with the detected dish image.
次に、メニュー生成システムは、受け付けた外観画像に基づいて特定された全ての料理名称のそれぞれに関連付けられた料理属性を抽出する。メニュー生成システムは、抽出した料理属性のそれぞれと、他の料理名称に関連付けられた料理属性との類似度を算出する。図1に示される例では、メニュー生成システムによって抽出された料理名称に、「コーヒー」及び「紅茶」が含まれている。この場合、「コーヒー」に関連付けられた料理の種類「ドリンク」及び料理の提供順番「5番目」と、「紅茶」に関連付けられた料理の種類「ドリンク」及び料理の提供順番「5番目」との類似度として1を算出する。なお、「パン」に関連付けられた料理の種類「パン・ライス」及び料理の提供順番「3番目」と、「コーヒー」に関連付けられた料理の種類「ドリンク」及び料理の提供順番「5番目」との類似度として0を算出する。 Next, the menu generation system extracts dish attributes associated with all of the dish names specified based on the received appearance image. The menu generation system calculates the similarity between each of the extracted dish attributes and the dish attribute associated with another dish name. In the example shown in FIG. 1, “coffee” and “tea” are included in the dish names extracted by the menu generation system. In this case, the dish type “drink” associated with “coffee” and the order of food provision “fifth”, the dish type “drink” associated with “tea” and the dish provision order “fifth” 1 is calculated as the similarity. It should be noted that the dish type “bread rice” associated with “bread” and the order of food provision “third”, and the dish type “drink” associated with “coffee” and the order of food provision “fifth” 0 is calculated as the similarity to.
メニュー生成システムは、抽出した料理属性に、他の料理名称に関連付けられた料理属性との類似度が所定度以上(1以上)の料理属性がある場合、他の料理名称に関連付けられた料理属性と同一であると判定することにより、料理名称の特定が誤りであると判定する。メニュー生成システムは、料理名称の特定が誤りであると判定した場合、料理名称の特定が誤りであることを示す誤特定通知情報を、端末装置2に送信する。
The menu generation system, when the extracted dish attribute has a dish attribute having a predetermined degree of similarity (1 or more) with the dish attribute associated with another dish name, the dish attribute associated with another dish name. It is determined that the dish name is specified incorrectly. When the menu generation system determines that the specification of the dish name is incorrect, the menu generation system transmits to the
このように、メニュー生成システムは、端末装置2から送信された所定のメニューを構成する2品目以上の料理の外観画像に基づいて各料理の料理名称を特定する際に、料理名称の特定誤りを自動的に判定することができる。これにより、2品目以上の料理を撮影した外観画像から判定されるメニューの名称の確度を向上させることが可能となるメニュー生成システム、メニュー生成方法、及び制御プログラムを提供することを可能とする。
As described above, when the menu generation system specifies the dish name of each dish based on the appearance images of two or more dishes constituting the predetermined menu transmitted from the
なお、上述した図1の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。 The description of FIG. 1 described above is merely an explanation for deepening the understanding of the contents of the present invention. Specifically, the present invention may be implemented in various embodiments described below, and may be implemented in various modifications without substantially exceeding the principle of the present invention. All such variations are within the scope of the present disclosure and the specification.
(メニュー生成システム1の構成)
図2は、メニュー生成システム1の概略構成の一例を示す図である。
(Configuration of menu generation system 1)
FIG. 2 is a diagram illustrating an example of a schematic configuration of the
メニュー生成システム1は、複数の端末装置2と、サーバ3とを有する。端末装置2とサーバ3とは、通信ネットワークを介して相互に接続され、例えば、基地局4、移動体通信網5、ゲートウェイ6及びインターネット7を介して相互に接続される。
The
サーバ3で実行されるプログラム(例えば、検索プログラム)と、端末装置2で実行されるプログラム(例えば、閲覧プログラム)とは、ハイパーテキスト転送プロトコル(Hypertext Transfer Protocol, HTTP)等の通信プロトコルを用いて通信を行う。 A program executed by the server 3 (for example, a search program) and a program executed by the terminal device 2 (for example, a browsing program) are performed using a communication protocol such as a hypertext transfer protocol (HTTP). Communicate.
(端末装置2の概略構成)
図3は、端末装置2の概略構成の一例を示す図である。
(Schematic configuration of the terminal device 2)
FIG. 3 is a diagram illustrating an example of a schematic configuration of the
端末装置2は、基地局4、移動体通信網5、ゲートウェイ6、及びインターネット7を介してサーバ3に接続し、サーバ3と通信を行う。端末装置2は、ユーザによる端末操作部23(ボタン等)の操作に応じて、検索指示をサーバ3に要求する。また、端末装置2は、サーバ3からメニューの名称の特定画面等に係る表示データを受信して表示する。そのために、端末装置2は、端末通信部21と、端末記憶部22と、端末操作部23と、端末表示部24と、端末撮像部25と、端末処理部26とを備える。
The
なお、本実施形態では、端末装置2として、多機能携帯電話(所謂「スマートフォン」)を想定するが、本発明はこれに限定されるものではない。端末装置2は、本発明が適用可能であればよく、例えば、携帯電話(所謂「フィーチャーフォン」)や携帯情報端末(Personal Digital Assistant, PDA)、携帯ゲーム機、携帯音楽プレーヤ、タブレット端末、タブレットPC(Personal Computer)、ノートPC等でもよい。また、端末装置2は、飲食店で複数設置され且つ飲食店の客がメニューの注文を行うメニュー端末等であってもよい。
In the present embodiment, a multifunctional mobile phone (so-called “smart phone”) is assumed as the
端末通信部21は、所定の周波数帯を感受帯域とするアンテナを含む、通信インターフェース回路を備え、端末装置2を無線通信ネットワークに接続する。端末通信部21は、基地局4により割り当てられるチャネルを介して、基地局4との間でCDMA(Code Division Multiple Access)方式等による無線信号回線を確立し、基地局4との間で通信を行う。そして、端末通信部21は、端末処理部26から供給されたデータをサーバ3等に送信する。また、端末通信部21は、サーバ3等から受信したデータを端末処理部26に供給する。
The
端末記憶部22は、例えば、半導体メモリ装置を備える。端末記憶部22は、端末処理部26での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、端末記憶部22は、ドライバプログラムとして、端末操作部23を制御する入力デバイスドライバプログラムや、端末表示部24を制御する出力デバイスドライバプログラム等を記憶する。また、端末記憶部22は、アプリケーションプログラムとして、メニュー情報等に係る表示データの取得及び表示を行うプログラム等を記憶する。端末記憶部22は、データとして、ユーザに関係する飲食店の飲食店ID(Identification)、外観画像等を記憶する。また、端末記憶部22は、所定の処理に係る一時的なデータを一時的に記憶してもよい。
The
端末操作部23は、端末装置2の操作が可能であればどのようなデバイスでもよく、例えば、タッチパネルやキーボタン等である。ユーザは、端末操作部23を用いて、文字や数字、記号等を入力することができる。端末操作部23は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、発生した信号は、ユーザの指示として、端末処理部26に供給される。
The
端末表示部24も、動画像、静止画像等の表示が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の表示装置、液晶ディスプレイ、有機EL(Electro−Luminescence)ディスプレイ等である。端末表示部24は、端末処理部26から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。
The
端末撮像部25は、結像光学系、撮像素子及び画像処理部等を有する。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等であり、撮像面上に結像した被写体像の画像を出力する。画像処理部は、連続して撮像素子によって生成された画像から、所定期間毎に所定のファイル形式の動画像データを作成して出力する。または、画像処理部は、撮像素子によって生成された画像から所定のファイル形式の静止画像データを作成して出力する。
The
端末処理部26は、一又は複数個のプロセッサ及びその周辺回路を備える。端末処理部26は、端末装置2の全体的な動作を統括的に制御するものであり、例えば、CPU(Central Processing Unit)である。端末処理部26は、端末装置2の各種処理が端末記憶部22に記憶されているプログラムや端末操作部23の操作等に基づいて適切な手順で実行されるように、端末通信部21や端末表示部24等の動作を制御する。端末処理部26は、端末記憶部22に記憶されているプログラム(オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、端末処理部26は、複数のプログラム(アプリケーションプログラム等)を並列に実行することができる。
The
端末処理部26は、端末送信部262と、表示処理部261と、端末受信部263とを有する。端末処理部26が有するこれらの各部は、端末処理部26が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、端末処理部26が有するこれらの各部は、ファームウェアとして端末装置2に実装されてもよい。
The
表示処理部261は、後述する撮像画面及び特定画面等の各種画面を表示するための表示データ等の取得及び表示を行う。表示処理部261は、受信した表示データに基づいて描画データを作成する。すなわち、表示処理部261は、受信した表示データを解析して制御データ及び内容データを特定し、特定した制御データに基づいて同じく特定した内容データをレイアウトし、描画データを作成する。そして、表示処理部261は、作成した描画データを端末表示部24に出力する。端末送信部262は、ユーザからの指示に応じて、検索指示を、端末通信部21を介してサーバ3に送信する。端末受信部263は、外観画像に基づいて特定された料理名称を含む特定画面等を表示するための表示データ等を、サーバ3から端末通信部21を介して受信する。
The
(端末装置2の表示機能)
図4(a)は、端末装置2の表示機能によって端末表示部24に表示される開始画面400の一例を示す図である。開始画面400には、撮像開始ボタン401及び料理登録ボタン402等が表示される。
(Display function of terminal device 2)
FIG. 4A is a diagram illustrating an example of a
撮像開始ボタン401は、端末装置2の撮像機能を開始するための入力ボタンである。ユーザによる端末操作部23の操作によって撮像開始ボタン401がタップされると、撮像機能が開始される。撮像機能が開始されると、端末撮像部25によって取得された画像を表示する撮像画面410が端末表示部24に表示される。なお、タップは、ユーザによる指定操作の一例である。
The
料理登録ボタン402は、ユーザに関係する飲食店において提供される料理の料理名称及び料理属性等をサーバ3に登録するための入力ボタンである。ユーザによる端末操作部23の操作によって撮像開始ボタン401がタップされると、登録画面(図示せず)が端末表示部24に表示される。表示された登録画面において、ユーザによる端末操作部23の操作によって料理名称及び料理属性等が入力されると、入力された料理名称及び料理属性等がサーバ3に送信され、サーバ3において料理名称及び料理属性等が登録される。
The
図4(b)は、端末装置2の表示機能によって端末表示部24に表示される撮像画面410の一例を示す図である。撮像画面410には、取得画像表示領域411及び撮像ボタン412等が表示される。
FIG. 4B is a diagram illustrating an example of the
取得画像表示領域411は、端末撮像部25によって取得された画像が表示される表示領域である。取得画像表示領域411には、端末撮像部25によって所定時間ごとに画像が取得されるたびに、取得された画像が表示される。
The acquired image display area 411 is a display area in which an image acquired by the
撮像ボタン412は、取得画像表示領域411に表示された画像を、外観画像として記憶するための入力ボタンである。ユーザによる端末操作部23の操作によって撮像ボタン412がタップされると、撮像ボタン412がタップされた時に取得画像表示領域411に表示された画像が、外観画像として端末記憶部22に記憶される。そして、端末装置2は、サーバ3に、外観画像に含まれる各料理の料理名称を特定させ且つ特定した各料理によって構成される所定のメニューを特定させるために、外観画像をサーバ3に送信する。
The
図5は、端末装置2の表示機能によって端末表示部24に表示される特定画面500の一例を示す図である。特定画面500には、特定料理情報501、特定済外観画像表示ボタン502、修正ボタン503及び登録ボタン504等が表示される。
FIG. 5 is a diagram illustrating an example of the
特定料理情報501には、後述する特定処理によって特定された料理名称及び料理属性等が選択可能に表示される。なお、特定料理情報501は、単一特定料理情報501a及び/又は重複特定料理情報501bを含む。単一特定料理情報501aは、特定処理によって特定された料理名称及び料理属性等を含む特定料理情報501の内、他の特定料理情報501と料理属性が異なる特定料理情報である。重複特定料理情報501bは、特定処理によって特定された料理名称及び料理属性等を含む特定料理情報501の内、他の特定料理情報501の内の少なくとも一つと料理属性が同一である特定料理情報である。
In the
図5に示される例では、例えば、料理名称「イカの冷たい前菜」の単一特定料理情報501aの料理属性「前菜」(料理の種類)及び「1番目」(料理の提供順番)は、他の全ての特定料理情報501の料理属性と異なる。一方、料理名称「コーヒー」の重複特定料理情報501bの料理属性「ドリンク」(料理の種類)及び「5番目」(料理の提供順番)は、料理名称「紅茶」の重複特定料理情報501bの料理属性と同一である。
In the example shown in FIG. 5, for example, the dish attributes “appetizer” (type of dish) and “first” (the order in which dishes are provided) of the single
図5に示されるように、特定画面500において、単一特定料理情報501a及び重複特定料理情報501bの表示態様が、互いに異なるように表示されてもよい。これにより、重複特定料理情報501bの料理名称の特定が誤っていることをユーザに通知することが可能になる。なお、特定画面500に表示された、単一特定料理情報501aと異なる表示態様の重複特定料理情報501bは、誤特定通知情報の一例である。
As shown in FIG. 5, on the
特定済外観画像表示ボタン502は、特定画面500に表示された特定料理情報501が特定された外観画像を表示する特定済外観画像画面600を表示するための入力ボタンである。ユーザによる端末操作部23の操作によって特定済外観画像表示ボタン502がタップされると、後述する特定済外観画像画面600が表示される。以降、特定料理情報501が特定された外観画像を、特定済外観画像と称する場合がある。
The specified appearance
修正ボタン503は、特定画面500に表示された特定料理情報501を修正する修正画面700を表示するための入力ボタンである。例えば、ユーザによる端末操作部23の操作によって、特定料理情報501の内のいずれか一つと修正ボタン503とがタップされると、タップされた特定料理情報501を修正するための修正画面700が端末表示部24に表示される。
The
登録ボタン504は、特定画面500に表示された特定料理情報501の料理名称及び料理属性等を登録する登録画面900を表示するための入力ボタンである。ユーザによる端末操作部23の操作によって登録ボタン504がタップされると、後述する登録画面900が表示される。
The registration button 504 is an input button for displaying a
図6(a)は、端末装置2の表示機能によって端末表示部24に表示される特定済外観画像画面600の一例を示す図である。特定済外観画像画面600には、単一特定料理識別枠601a及び/又は重複特定料理識別枠601b、戻るボタン602、修正ボタン603並びに登録ボタン604等が表示される。
FIG. 6A is a diagram illustrating an example of the specified
単一特定料理識別枠601aは、特定画面500に表示された単一特定料理情報501aに対応する料理の画像を示す表示枠である。重複特定料理識別枠601bは、特定画面500に表示された重複特定料理情報501bに対応する料理の画像を示す表示枠である。ユーザによる端末操作部23の操作によって、重複特定料理識別枠601bの内のいずれかが指定されると、誤特定画面610が表示される。
The single specific
図6(a)に示されるように、特定済外観画像画面600において、単一特定料理識別枠601a及び重複特定料理識別枠601bの表示態様が、互いに異なるように表示されてもよい。これにより、重複特定料理識別枠601bに対応する重複特定料理情報の料理名称の特定が誤っていることをユーザに通知することが可能になる。なお、特定済外観画像画面600に表示された、単一特定料理識別枠601aと異なる表示態様の重複特定料理識別枠601bは、誤特定通知情報の一例である。
As shown in FIG. 6A, in the specified
戻るボタン602は、特定画面500を表示するための入力ボタンである。ユーザによる端末操作部23の操作によって戻るボタン602がタップされると、特定済外観画像画面600の表示が終了され、特定済外観画像画面600が表示される前に表示されていた特定画面500が表示される。
The return button 602 is an input button for displaying the
修正ボタン603は、特定済外観画像画面600に表示された重複特定料理識別枠601bに対応する重複特定料理情報501bの料理名称及び料理属性等を修正する修正画面700を表示するための入力ボタンである。例えば、ユーザによる端末操作部23の操作によって、重複特定料理識別枠601bの内のいずれか一つと修正ボタン603とがタップされると、後述する修正画面700が端末表示部24に表示される。
The
登録ボタン604は、特定済外観画像画面600に表示された外観画像に含まれる各料理の特定料理情報501の料理名称及び料理属性等を登録する登録画面900を表示するための入力ボタンである。ユーザによる端末操作部23の操作によって登録ボタン604がタップされると、後述する登録画面900が表示される。
The
図6(b)は、端末装置2の表示機能によって端末表示部24に表示される誤特定画面610の一例を示す図である。誤特定画面610には、重複特定料理情報611、戻るボタン612及び修正ボタン613等が表示される。図6(b)に示される例では、誤特定画面610は、特定済外観画像画面600に重畳して表示されるが、特定済外観画像画面600の表示が終了された後に、誤特定画面610が表示されてもよい。
FIG. 6B is a diagram illustrating an example of an
重複特定料理情報611には、特定済外観画像画面600に表示された重複特定料理識別枠601bに対応する料理名称及び料理属性等が選択可能に表示される。なお、重複特定料理情報611は、誤特定通知情報の一例である。
In the duplicate
戻るボタン612は、誤特定画面610の表示を終了するための入力ボタンである。ユーザによる端末操作部23の操作によって戻るボタン612がタップされると、誤特定画面610の表示が終了する。
The return button 612 is an input button for ending the display of the
修正ボタン613は、誤特定画面610に表示された重複特定料理情報611の料理名称及び料理属性等を修正する修正画面700を表示するための入力ボタンである。例えば、ユーザによる端末操作部23の操作によって、重複特定料理情報611の内のいずれか一つと修正ボタン613とがタップされると、修正画面700が端末表示部24に表示される。
The correction button 613 is an input button for displaying a
図7は、端末装置2の表示機能によって端末表示部24に表示される修正画面700の一例を示す図である。修正画面700には、修正特定料理情報701、候補料理情報702、戻るボタン703及び修正登録ボタン704等が表示される。
FIG. 7 is a diagram illustrating an example of a
修正特定料理情報701は、修正ボタン503,603,613のいずれかがタップされた際に同時にタップされた、特定料理情報501、重複特定料理識別枠601bに対応する特定料理情報、重複特定料理情報611の料理名称及び料理属性等が表示される。
The corrected
候補料理情報702には、所定のメニューを構成する料理として、修正特定料理情報701の代わりに登録される候補の料理情報が選択可能に表示される。候補料理情報702には、当該候補料理情報702の料理名称及び料理属性等が表示される。なお、候補料理情報702は、例えば、外観画像における、修正特定料理情報701に対応する料理の画像に類似するサンプル料理画像に関連付けられた料理名称及び料理属性等である。また、候補料理情報702は、特定画面500に表示された特定料理情報501の内、特定されなかった料理属性及び所定の料理属性に関連付けられた料理名称であってもよい。例えば、図5に示す例では、「料理の提供順番」の料理属性において、「2番目」の「料理の提供順番」に対応する料理情報が特定されていない。この場合、「2番目」の「料理の提供順番」に関連付けられた料理名称及び料理属性が、候補料理情報702として特定されてもよい。
In the
戻るボタン703は、特定画面500、特定済外観画像画面600及び誤特定画面610のいずれかを表示するための入力ボタンである。ユーザによる端末操作部23の操作によって戻るボタン602がタップされると、修正画面700の表示が終了され、修正画面700が表示される前に表示されていた、特定画面500、特定済外観画像画面600及び誤特定画面610のいずれかが表示される。
The
修正登録ボタン704は、選択(タップ)された候補料理情報702を修正特定料理情報701に修正する設定を行い且つ特定画面800を端末表示部24に表示するための入力ボタンである。例えば、ユーザによる端末操作部23の操作によって、修正特定料理情報701の内のいずれか一つと修正登録ボタン704とがタップされると、修正特定料理情報701が、所定のメニューを構成する料理として修正特定料理情報701の代わりに設定される。そして、修正画面700の表示が終了し、特定画面800が端末表示部24に表示される。
The
図8は、端末装置2の表示機能によって端末表示部24に表示される特定画面800の一例を示す図である。特定画面800には、特定料理情報801、特定済外観画像表示ボタン802、修正ボタン803及び登録ボタン804等が表示される。
FIG. 8 is a diagram illustrating an example of the
図8は、端末装置2の表示機能によって端末表示部24に表示される特定画面800の一例を示す図である。特定画面800には、特定料理情報801、特定済外観画像表示ボタン802、修正ボタン803及び登録ボタン804等が表示される。
FIG. 8 is a diagram illustrating an example of the
特定料理情報801には、図5に示される特定料理情報501の内、修正特定料理情報701が削除され、修正特定料理情報701の代わりに設定された候補料理情報702が表示される。特定済外観画像表示ボタン802は、特定画面800に表示された特定料理情報801が特定された外観画像を表示する特定済外観画像画面600を表示するための入力ボタンである。修正ボタン803は、特定画面800に表示された特定料理情報801を修正する修正画面700を表示するための入力ボタンである。登録ボタン804は、特定画面800に表示された特定料理情報801の料理名称及び料理属性等を登録する登録画面900を表示するための入力ボタンである。ユーザによる端末操作部23の操作によって登録ボタン804がタップされると、後述する登録画面900が表示される。
In the
図9は、端末装置2の表示機能によって端末表示部24に表示される登録画面900の一例を示す図である。登録画面900には、メニュー名称入力ボックス901、戻るボタン902及び登録実行ボタン903等が表示される。
FIG. 9 is a diagram illustrating an example of a
メニュー名称入力ボックス901は、所定のメニューの名称を入力するための入力ボックスである。ユーザによる端末操作部23の操作によってメニュー名称入力ボックス901に文字列が入力されると、メニュー名称入力ボックス901に入力された文字列がメニュー名称として表示される。
The menu name input box 901 is an input box for inputting a name of a predetermined menu. When a character string is input to the menu name input box 901 by the user operating the
戻るボタン902は、特定画面500、特定済外観画像画面600及び特定画面800のいずれかを表示するための入力ボタンである。登録画面900が、登録ボタン504がタップされたことによって表示された画面である場合、ユーザによる端末操作部23の操作によって戻るボタン902がタップされると、登録画面900の表示が終了し、特定画面500が表示される。また、登録画面900が、登録ボタン604がタップされたことによって表示された画面である場合、ユーザによる端末操作部23の操作によって戻るボタン902がタップされると、登録画面900の表示が終了し、特定済外観画像画面600が表示される。また、登録画面900が、登録ボタン804がタップされたことによって表示された画面である場合、ユーザによる端末操作部23の操作によって戻るボタン902がタップされると、登録画面900の表示が終了し、特定画面800が表示される。
A
登録実行ボタン903は、特定料理情報501、重複特定料理識別枠601bに対応する特定料理情報、特定料理情報801のいずれかにおける料理名称及び料理属性とともに、メニュー名称入力ボックス901に入力されたメニュー名称を登録するための入力ボタンである。登録画面900が、登録ボタン504がタップされたことによって表示された画面である場合、ユーザによる端末操作部23の操作によって登録実行ボタン903がタップされると、特定料理情報501の料理名称及び料理属性等とともに、メニュー名称入力ボックス901に入力されたメニュー名称が、サーバによって登録される。また、登録画面900が、登録ボタン604がタップされたことによって表示された画面である場合、ユーザによる端末操作部23の操作によって登録実行ボタン903がタップされると、重複特定料理識別枠601bに対応する料理名称及び料理属性等とともに、メニュー名称入力ボックス901に入力されたメニュー名称が、サーバによって登録される。また、登録画面900が、登録ボタン804がタップされたことによって表示された画面である場合、ユーザによる端末操作部23の操作によって登録実行ボタン903がタップされると、特定料理情報801の料理名称及び料理属性等とともに、メニュー名称入力ボックス901に入力されたメニュー名称が、サーバによって登録される。
The
(サーバ3の概略構成)
図10は、サーバ3の概略構成の一例を示す図である。
(Schematic configuration of server 3)
FIG. 10 is a diagram illustrating an example of a schematic configuration of the
サーバ3は、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶し、所定のメニューを構成する各料理の外観を含む外観画像を受け付け、外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、外観画像に含まれる各料理の料理名称を特定する。以上のような機能を実現するために、サーバ3は、サーバ通信部31と、サーバ記憶部32、サーバ処理部33とを備える。
For each of the plurality of dishes, the
サーバ通信部31は、サーバ3をインターネット7に接続するための通信インターフェース回路を有する。サーバ通信部31は、端末装置2等から受信したデータをサーバ処理部33に供給する。また、また、サーバ通信部31は、サーバ処理部33から供給されたデータを端末装置2等に送信する。
The
サーバ記憶部32は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置の内の少なくとも一つを有する。サーバ記憶部32は、サーバ処理部33による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、サーバ記憶部32は、ドライバプログラムとして、サーバ通信部31を制御する通信デバイスドライバプログラム等を記憶する。各種プログラムは、例えばCD−ROM、DVD−ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いてサーバ記憶部32にインストールされてもよい。サーバ記憶部32は、データとして、後述するテーブル及びテーブル、並びに、等を記憶する。さらに、サーバ記憶部32は、所定の処理に係る一時的なデータを一時的に記憶してもよい。
The
なお、本実施形態でいうテーブルは、データベースの形式の一例であり、データがサーバ内にプールしているような形式であってもよい。 The table in the present embodiment is an example of a database format, and may be a format in which data is pooled in the server.
サーバ処理部33は、一又は複数個のプロセッサ及びその周辺回路を備える。サーバ処理部33は、サーバ3の全体的な動作を統括的に制御するものであり、例えば、CPUである。サーバ処理部33は、サーバ3の各種処理がサーバ記憶部32に記憶されているプログラム等に基づいて適切な手順で実行されるように、サーバ通信部31等の動作を制御する。サーバ処理部33は、サーバ記憶部32に記憶されているプログラム(オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、サーバ処理部33は、複数のプログラム(アプリケーションプログラム等)を並列に実行することができる。
The
サーバ処理部33は、サーバ受信部331と、特定部332と、算出部333と、サーバ送信部334とを有する。サーバ処理部33が有するこれらの各部は、サーバ処理部33が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、サーバ処理部33が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてサーバ3に実装されてもよい。
The
(各種テーブルのデータ構造)
図11は、各種テーブルのデータ構造の一例を示す図である。なお、サーバ記憶部32は、以下に説明する各種テーブルの全て又は一部を記憶せずに、サーバ3とは異なる一又は複数の他の装置(データベース装置等)が、これらの各種テーブルの全て又は一部を記憶してもよい。この場合、サーバ3は、これらの各種テーブルに記憶された情報を使用する際に、当該テーブルを記憶する他の装置にアクセスして、当該テーブルに記憶された情報を取得する。また、各テーブルに含まれる各情報は、テーブル以外の形式で記憶されてもよく、例えば、それぞれ独立して記憶されてもよい。
(Data structure of various tables)
FIG. 11 is a diagram illustrating an example of the data structure of various tables. The
図11(a)には、料理管理テーブルが示されている。料理管理テーブルには、飲食店ごとに、飲食店ID、料理情報等が互いに関連付けて記憶される。 FIG. 11A shows a dish management table. In the dish management table, a restaurant ID, dish information, and the like are stored in association with each other for each restaurant.
飲食店IDは、各飲食店を識別するための識別情報である。料理情報には、料理情報ID、料理名称、種類、提供順番、料理ジャンル、サンプル料理画像等が互いに関連付けて記憶される。なお、飲食店IDごとに、複数の料理情報が関連付けて記憶されてもよい。また、サンプル料理画像には、当該サンプル料理画像のファイル名が記憶される。 The restaurant ID is identification information for identifying each restaurant. In the dish information, a dish information ID, dish name, type, order of provision, dish genre, sample dish image, and the like are stored in association with each other. Note that a plurality of pieces of cooking information may be stored in association with each restaurant ID. The sample dish image stores the file name of the sample dish image.
図11(b)には、メニュー管理テーブルが示されている。メニュー管理テーブルには、飲食店ごとに、飲食店ID、メニュー情報等が互いに関連付けて記憶される。 FIG. 11B shows a menu management table. In the menu management table, a restaurant ID, menu information, and the like are stored in association with each other for each restaurant.
メニュー情報には、メニューID、外観画像、メニュー名称、特定料理情報等が関連付けて記憶される。メニューIDは、各メニューを識別するための識別情報である。外観画像には、端末装置2から受信した外観画像のファイル名が記憶される。メニュー名称は、外観画像に含まれる各料理によって構成される所定のメニューの名称である。特定料理情報は、特定処理によって特定された料理情報の料理情報ID及び枠情報等が記憶される。なお、特定料理情報は、メニュー情報ごとに複数記憶される。また、複数の特定料理情報が記憶される場合、各特定料理情報は、各特定料理情報の提供順番に従って記憶される。枠情報は、単一特定料理識別枠601a及び/又は重複特定料理識別枠601bの外観画像上の表示位置である。
In the menu information, a menu ID, an appearance image, a menu name, specific dish information, and the like are associated and stored. The menu ID is identification information for identifying each menu. In the appearance image, the file name of the appearance image received from the
(メニュー生成システム1の動作シーケンス)
図12は、メニュー生成システム1の動作シーケンスの一例を示す図である。この動作シーケンスは、予め端末記憶部22及びサーバ記憶部32に記憶されているプログラムに基づいて、主に端末処理部26及びサーバ処理部33により、端末装置2及びサーバ3の各要素と協働して実行される。
(Operation sequence of menu generation system 1)
FIG. 12 is a diagram illustrating an example of an operation sequence of the
最初に、端末装置2の表示処理部261は、ユーザによる端末操作部23の操作によって、開始画面400に表示された撮像開始ボタン401が選択(タップ)されたことを検知すると、撮像画面410を端末表示部24に表示する。次に、表示処理部261は、ユーザによる端末操作部23の操作によって、開始画面400に表示された撮像ボタン412が選択されたことを検知すると、取得画像表示領域411に表示された画像を、外観画像として端末記憶部22に記憶する(ステップS101)。
First, when the
次に、表示処理部261は、端末記憶部22に記憶された外観画像及び飲食店IDを読み出して端末送信部262に渡すとともに、外観画像の送信を端末送信部262に指示する。端末送信部262は、表示処理部261から外観画像の送信を指示された場合、表示処理部261から受け取った外観画像及び飲食店IDを含む特定要求を、端末通信部21を介してサーバ3に送信する(ステップS102)。
Next, the
次に、サーバ3のサーバ受信部331は、サーバ通信部31を介して端末装置2から特定要求を受信すると、特定要求に含まれている外観画像及び飲食店IDを特定部332に渡すとともに、特定処理の実行を特定部332に指示する。なお、外観画像を含む特定要求を受信するサーバ受信部331は、外観画像を受け付ける入力処理部の一例である。
Next, when the
特定部332は、サーバ受信部331から特定処理の実行を指示された場合、特定処理を実行する(ステップS103)。特定処理の詳細は後述する。
The
次に、サーバ送信部334は、特定処理によって作成された特定画面500を表示するための表示データを、サーバ通信部31を介して端末装置2に送信する(ステップS104)。
Next, the
次に、端末装置2の端末受信部263は、端末通信部21を介してサーバ3から表示データを受信すると、表示データを表示処理部261に渡し、画面表示処理の実行を表示処理部261に指示する。表示処理部261は、端末受信部263から画面表示処理の実行を指示された場合、表示データに基づいて特定画面500を端末表示部24に表示する。
Next, when receiving the display data from the
次に、端末装置2の表示処理部261は、ユーザによる端末操作部23の操作によって、特定画面500に表示された各種ボタンのいずれかが選択(タップ)されたことを検知すると(ステップS105)、端末送信部262は、登録要求を、端末通信部21を介してサーバ3に送信する(ステップS106)。すなわち、表示処理部261は、特定済外観画像表示ボタン502の選択を検知した場合、端末送信部262は、特定済外観画像画面要求を登録要求としてサーバ3に送信する。また、表示処理部261は、修正ボタン503の選択を検知した場合、端末送信部262は、修正画面要求を登録要求としてサーバ3に送信する。また、表示処理部261は、登録ボタン504の選択を検知した場合、端末送信部262は、登録画面要求を登録要求としてサーバ3に送信する。
Next, when the
次に、サーバ3のサーバ受信部331は、サーバ通信部31を介して端末装置2から登録要求を受信すると、登録要求を特定部332に渡すとともに、登録処理の実行を特定部332に指示する。特定部332は、サーバ受信部331から登録処理の実行を指示された場合、登録処理を実行する(ステップS107)。登録処理の詳細は後述する。
Next, when receiving a registration request from the
次に、サーバ送信部334は、特定処理によって作成された各種画面を表示するための表示データを、サーバ通信部31を介して端末装置2に送信する(ステップS108)。なお、各種画面は、特定済外観画像画面600、修正画面700又は登録画面900である。
Next, the
次に、端末装置2の端末受信部263は、端末通信部21を介してサーバ3から表示データを受信すると、表示データを表示処理部261に渡し、画面表示処理の実行を表示処理部261に指示する。表示処理部261は、端末受信部263から画面表示処理の実行を指示された場合、表示データに基づいて各種画面を端末表示部24に表示する。
Next, when receiving the display data from the
次に、端末装置2の表示処理部261は、ユーザによる端末操作部23の操作によって、各種画面に表示された各種ボタンのいずれかが選択(タップ)されたことを検知すると(ステップS109)、端末送信部262は、登録要求を、端末通信部21を介してサーバ3に送信する(ステップS110)。すなわち、表示処理部261は、特定済外観画像表示ボタン502の選択を検知した場合、端末送信部262は、特定済外観画像画面要求を登録要求としてサーバ3に送信する。また、表示処理部261は、重複特定料理識別枠601bの選択を検知した場合、端末送信部262は、誤特定画面要求を登録要求としてサーバ3に送信する。また、表示処理部261は、修正ボタン503、修正ボタン603、修正ボタン613又は修正ボタン803の選択を検知した場合、端末送信部262は、修正画面要求を登録要求としてサーバ3に送信する。また、表示処理部261は、修正登録ボタン704の選択を検知した場合、端末送信部262は、修正後の特定画面要求を登録要求としてサーバ3に送信する。また、表示処理部261は、登録ボタン504、登録ボタン604又は登録ボタン804の選択を検知した場合、端末送信部262は、登録画面要求を登録要求としてサーバ3に送信する。また、表示処理部261は、登録実行ボタン903の選択を検知した場合、端末送信部262は、情報登録要求を登録要求としてサーバ3に送信する。なお、情報登録要求には、メニュー名称入力ボックス901に入力されたメニュー名称及び特定結果に係るメニューIDが含まれる。また、登録画面900が、登録ボタン504がタップされたことによって表示された画面である場合、特定料理情報501の料理情報ID,料理名称及び料理属性等が、情報登録要求に含まれる。また、登録画面900が、登録ボタン604がタップされたことによって表示された画面である場合、重複特定料理識別枠601bに対応する料理情報ID,料理名称及び料理属性等が、情報登録要求に含まれる。また、登録画面900が、登録ボタン804がタップされたことによって表示された画面である場合、特定料理情報801の料理情報ID,料理名称及び料理属性等が、情報登録要求に含まれる。
Next, when the
次に、サーバ3のサーバ受信部331は、サーバ通信部31を介して端末装置2から各種登録要求を受信すると、登録要求を特定部332に渡すとともに、登録処理の実行を特定部332に指示する。特定部332は、サーバ受信部331から登録処理の実行を指示された場合、登録処理を実行する(ステップS111)。登録処理の詳細は後述する。
Next, when the
次に、サーバ送信部334は、特定処理によって各種画面を表示するための表示データが作成された場合、作成された表示データを、サーバ通信部31を介して端末装置2に送信する(ステップS112)。なお、各種画面は、特定済外観画像画面600、誤特定画面610、修正画面700、特定画面800又は登録画面900である。
Next, when the display data for displaying various screens is created by the specific process, the
以降、ユーザによる端末操作部23の操作に応じて、ステップS109〜ステップS112が実行される。
Thereafter, step S109 to step S112 are executed according to the operation of the
(特定処理)
図13は、特定処理の一例を示すフローチャートである。図14に示される特定処理は、図12のステップS103において実行される。
(Specific processing)
FIG. 13 is a flowchart illustrating an example of the specifying process. The specifying process shown in FIG. 14 is executed in step S103 of FIG.
まず、特定部332は、テンプレートマッチング等の画像マッチング手法を用いて、サーバ受信部331から受け取った外観画像から、サンプル料理画像と所定の一致度以上の料理の画像を検出する(ステップS201)。すなわち、特定部332は、サンプル料理画像の一部又は全部をテンプレートとして、外観画像中のテンプレートと重なる部分の画像の一致度を算出する。一致度は、SSD(Sum of Squared Difference)又はSAD(Sum of Absolute Difference)等である。次に、特定部332は、サーバ受信部331から受け取った飲食店IDに関連付けて、新たに付与したメニューID、外観画像のファイル名、当該料理の画像を検出するために用いたサンプル料理画像に関連付けられた料理情報ID、検出した料理の料理情報ID及び料理の画像の表示位置(枠情報)を、メニュー管理テーブルに記憶する(ステップS202)。
First, the specifying
次に、特定部332は、料理管理テーブルを参照し、受け付けた外観画像に基づいて特定された全ての料理情報IDのそれぞれに関連付けられた料理属性を抽出する。以降、抽出された料理情報IDの料理情報を、特定料理情報と称する場合がある。特定部332は、抽出した料理属性のそれぞれの内、他の特定料理情報の料理属性と同一である料理属性があるか否かを判定する(ステップS203)。この判定処理において、まず、特定部332は、抽出した料理属性を、算出部333に渡す。算出部333は、受け取った複数の料理属性ごとに、各料理属性が受け取った他の料理属性と同じであれば、類似度を1とし、各料理属性が受け取った他の料理属性と異なれば、類似度を0と算出し、算出結果を特定部332に渡す。特定部332は、類似度が所定度(1)以上の料理属性がある場合、抽出した料理属性のそれぞれの内に他の特定料理情報の料理属性と同一である(重複する)料理属性があると判定する。
Next, the identifying
特定部332は、抽出した料理属性のそれぞれの内、他の特定料理情報の料理属性と同一である(重複する)料理属性がある場合(ステップS203−Yes)、料理名称の特定が誤りであると判定する。次に、特定部332は、当該同一の料理属性(重複する料理属性)の特定料理情報を重複特定料理情報501bとし、その他の特定料理情報を単一特定料理情報501aとして、特定画面500を表示するための表示データを作成し(ステップS204)、特定処理を終了する。
When there is a cooking attribute that is the same (overlapping) as the cooking attribute of the other specific cooking information among the extracted cooking attributes, the
また、特定部332は、抽出した料理属性のそれぞれの内、他の特定料理情報の料理属性と同一である料理属性がない場合(ステップS203−No)、全ての特定料理情報を単一特定料理情報501aとして、特定画面500を表示するための表示データを作成し(ステップS205)、特定処理を終了する。
In addition, when there is no cooking attribute that is the same as the cooking attribute of other specific cooking information among the extracted cooking attributes (step S203-No), the specifying
なお、特定画面500を表示するための表示データは、特定料理情報501ごとに、料理管理テーブルから抽出された、料理情報ID,料理名称及び料理属性に基づいて作成される。また、表示データには、特定画面500に表示されるメニューのメニューIDが含まれる。
The display data for displaying the
(登録処理)
図14は、登録処理の一例を示すフローチャートである。図14に示される登録処理は、図12のステップS107及びステップS111において実行される。
(registration process)
FIG. 14 is a flowchart illustrating an example of the registration process. The registration process shown in FIG. 14 is executed in steps S107 and S111 in FIG.
まず、特定部332は、サーバ受信部331から受け取った登録要求が、特定済外観画像画面要求、誤特定画面要求、修正画面要求、修正後の特定画面要求、登録画面要求及び情報登録要求のいずれであるかを特定する(ステップS301)。
First, the specifying
次に、特定部332は、特定された登録要求が特定済外観画像画面要求であるか否かを判定する(ステップS302)。特定部332は、登録要求が特定済外観画像画面要求であると判定した場合(ステップS302−Yes)、特定済外観画像画面600を表示するための表示データを作成し(ステップS303)、登録処理を終了する。なお、特定済外観画像画面600を表示するための表示データは、メニュー管理テーブルから抽出された、料理の料理情報ID及び料理の画像の表示位置(枠情報)に基づいて作成される。
Next, the specifying
また、特定部332は、登録要求が特定済外観画像画面要求でないと判定した場合(ステップS302−No)、登録要求が誤特定画面要求であるか否かを判定する(ステップS304)。
Further, when determining that the registration request is not a specified appearance image screen request (No in step S302), the specifying
特定部332は、登録要求が誤特定画面要求であると判定した場合(ステップS304−Yes)、誤特定画面610を表示するための表示データを作成し(ステップS305)、登録処理を終了する。
If the specifying
また、特定部332は、登録要求が誤特定画面要求でないと判定した場合(ステップS304−No)、登録要求が修正画面要求であるか否かを判定する(ステップS306)。
Further, when determining that the registration request is not an erroneous specification screen request (No in step S304), the specifying
特定部332は、登録要求が修正画面要求であると判定した場合(ステップS306−Yes)、修正画面700を表示するための表示データを作成し(ステップS307)、登録処理を終了する。なお、修正画面700を表示するための表示データは、料理管理テーブルから抽出された、料理情報ID,料理名称及び料理属性に基づいて抽出された候補料理情報702に基づいて作成される。
When determining that the registration request is a correction screen request (step S306-Yes), the specifying
また、特定部332は、登録要求が修正画面要求でないと判定した場合(ステップS306−No)、登録要求が修正後の特定画面要求であるか否かを判定する(ステップS308)。
Further, when determining that the registration request is not a correction screen request (step S306-No), the specifying
特定部332は、登録要求が修正後の特定画面要求であると判定した場合(ステップS308−Yes)、特定画面800を表示するための表示データを作成し(ステップS309)、登録処理を終了する。なお、特定画面800を表示するための表示データは、料理管理テーブルから抽出された、料理情報ID,料理名称及び料理属性、並びに、修正特定料理情報701の代わりに設定された候補料理情報702に基づいて作成される。
When determining that the registration request is a corrected specific screen request (step S308-Yes), the specifying
また、特定部332は、登録要求が修正後の特定画面要求でないと判定した場合(ステップS308−No)、登録要求が登録画面要求であるか否かを判定する(ステップS310)。
Further, when determining that the registration request is not a corrected specific screen request (step S308-No), the specifying
特定部332は、登録要求が登録画面要求であると判定した場合(ステップS310−Yes)、登録画面900を表示するための表示データを作成し(ステップS311)、登録処理を終了する。
When determining that the registration request is a registration screen request (step S310—Yes), the specifying
また、特定部332は、登録要求が情報登録要求であると判定した場合(ステップS310−No)、情報登録処理を実行し(ステップS312)、登録処理を終了する。なお、情報登録処理では、特定部332は、登録要求に含まれるメニューID、メニュー名称、料理情報ID,料理名称及び料理属性を抽出し、抽出したメニューIDに関連付けて、メニュー名称及び料理情報IDを、メニュー管理テーブルに記憶する。
Further, when determining that the registration request is an information registration request (step S310-No), the specifying
以上詳述したとおり、メニュー生成システム1は、端末装置2から送信された所定のメニューを構成する2品目以上の料理の外観画像に基づいて各料理の料理名称を特定する際に、料理名称の特定誤りを自動的に判定することができる。これにより、2品目以上の料理を撮影した外観画像から判定されるメニューの名称の確度を向上させることが可能となるメニュー生成システム、メニュー生成方法、及び制御プログラムを提供することを可能とする。
As described above in detail, the
なお、上述の各表示データには、各種画面に表示されるメニューのメニューIDが含まれる。 Each display data described above includes a menu ID of a menu displayed on various screens.
(変形例1)
なお、端末装置2は、移動体通信網5を介してサーバ3と通信を行う通信機器に限らず、例えば、据置型のパーソナルコンピュータ(Personal Computer, PC)等の、アクセスポイント(図示せず)、ルータ(図示せず)、インターネットを介してサーバ3と通信を行う情報端末であってもよい。
(Modification 1)
The
図15は、メニュー生成システム10の概略構成の他の一例を示す図である。なお、図15において、図2に示すメニュー生成システム1と同じ構成については同じ符号を付し、その説明を省略する。
FIG. 15 is a diagram illustrating another example of the schematic configuration of the
メニュー生成システム10は、複数の端末装置2、20と、サーバ3とを有する。端末装置20は、例えば、据置型のパーソナルコンピュータ(PC)等の情報端末である。なお、端末装置20は、端末装置2と同様の機能を有する。端末装置20とサーバ3とは、インターネット7を介して相互に接続される。サーバ3で実行されるプログラム(例えば、検索プログラム)と、端末装置20で実行されるプログラム(例えば、閲覧プログラム)とは、ハイパーテキスト転送プロトコル(Hypertext Transfer Protocol, HTTP)等の通信プロトコルを用いて通信を行う。
The
(変形例2)
また、メニュー生成システム1,10は、端末装置2,20のみを備える構成としてもよい。この場合、端末装置2,20は、サーバ3の各機能を有する。また、メニュー生成システム1,10は、サーバ3のみを備える構成としてもよい。この場合、サーバ3は、端末装置2,20の各機能を有する。
(Modification 2)
The
(変形例3)
また、サーバ3のサーバ処理部33は、端末装置2,20からのメニュー情報要求に応じてメニューの表示情報を生成する生成部334を有してもよい。この場合、サーバ受信部331によって、端末装置2,20からのメニュー情報要求が受信された場合、生成部334は、メニュー情報要求に含まれるメニューIDを抽出する。次に、生成部334は、メニューIDに関連付けられたメニュー名称及び特定料理情報を、メニュー管理テーブルから抽出する。次に、生成部334は、抽出したメニュー名称及び特定料理情報に基づいて、特定料理情報(料理名称、料理属性等)を、特定料理情報の提供順番に応じて並べたメニューの表示情報を生成する。そして、サーバ送信部334は、生成されたメニューの表示情報を、メニュー情報要求を送信した端末装置2,20に送信する。
(Modification 3)
The
(変形例4)
また、特定部332は、算出部333が算出した類似度に基づいて、特定料理情報の料理名称に関連付けられた料理属性が重複しないよう、外観画像に含まれる各料理の料理名称を再特定してもよい。すなわち、特定部332は、抽出した料理属性に、他の特定料理情報の料理属性と同一である(重複する)料理属性が含まれる場合、ステップS204において、その重複する料理属性の特定料理情報を、他の料理属性の料理名称に変更する処理を実行してもよい。例えば、まず、特定部332は、画像マッチング手法を用いて、同一の料理属性の特定料理情報の料理の画像の内、対応するサンプル料理画像について算出された一致度が最も高い特定料理情報を検出する。次に、特定部332は、検出した最も高い特定料理情報以外の料理の画像に対して、その重複する料理属性とは異なる他の料理属性に対応するサンプル料理画像の中から最も一致度の高いサンプル料理画像を検出する。次に、特定部332は、検出したサンプル料理画像の料理情報を、撮像した所定のメニューのメニュー情報に関連付けてメニュー管理テーブルに記憶する。そして、特定部332は、特定料理情報が全て単一特定料理情報501aである特定画面500を表示するための表示データを作成し、特定処理を終了する。なお、特定料理情報が全て単一特定料理情報501aである特定画面500を表示するための表示データは、名称提案情報の一例である。また、誤特定通知情報及び名称提案情報は、通知情報の一例である。
(Modification 4)
Further, the specifying
(変形例5)
また、料理管理テーブルにおいて、各料理情報について、複数の言語で表記された料理名称、種類、及び料理ジャンル等が記憶されてもよい。この場合、ステップS204において、複数の言語のそれぞれで表記された、料理名称、種類、及び/又は料理ジャンル等を含む単一特定料理情報501a及び重複特定料理情報501bが表示された特定画面500を表示するための表示データを作成する。例えば、第1言語(日本語等)で表記された料理名称と第2言語(英語等)で表記された料理名称とが互いに関連付けて料理管理テーブルに記憶されている場合、第1言語で表記された料理名称と第2言語で表記された料理名称とを含む単一特定料理情報501a及び重複特定料理情報501bが生成される。
(Modification 5)
In the dish management table, the dish name, type, dish genre, and the like written in a plurality of languages may be stored for each dish information. In this case, in step S204, the
(変形例6)
また、特定部332は、ステップS203において、抽出した料理属性のそれぞれが、所定の料理属性に関連付けられているか否かを判定する処理を実行してもよい。例えば、端末装置2,20によって送信された特定要求に、外観画像及び飲食店IDとともに料理ジャンルが含まれる場合、特定部332は、特定された特定料理情報の内、所定の料理ジャンルに関連付けられていない特定料理情報がある場合、料理名称の特定が誤りであると判定する。この判定処理において、まず、特定部332は、全ての特定料理情報の料理ジャンルを、算出部333に渡す。算出部333は、受け取った複数の料理ジャンルのそれぞれが、所定の料理ジャンルと同じであれば、類似度を1とし、所定の料理ジャンルと異なれば、類似度を0と算出し、算出結果を特定部332に渡す。特定部332は、類似度が所定度(1)以上である場合、当該料理属性の特定料理情報が、所定の料理ジャンルに関連付けられている特定料理情報であると判定し、類似度が所定度(1)未満である場合、当該料理属性の特定料理情報が、所定の料理ジャンルに関連付けられていない特定料理情報であると判定する。
(Modification 6)
Further, the specifying
これによって、例えば、ユーザが、四川料理のコース料理等を提供する場合において、四川料理以外の料理ジャンルに関連付けられた料理名称等の特定料理情報が特定された場合、料理名称の特定誤りを自動的に判定することができる。したがって、2品目以上の料理を撮影した外観画像から判定されるメニューの名称の確度を向上させることが可能となる。なお、所定の料理ジャンルは、所定の料理属性の一例である。 Thus, for example, when a user provides course dishes of Sichuan cuisine, etc., when specific dish information such as a dish name associated with a cuisine genre other than Sichuan cuisine is specified, an error in specifying the dish name is automatically performed. Can be determined automatically. Therefore, it is possible to improve the accuracy of the menu name determined from the appearance image obtained by photographing two or more dishes. The predetermined dish genre is an example of a predetermined dish attribute.
なお、この変形例6において、所定の料理属性は、特定された料理属性の内、最も多い料理属性であってもよい。これにより、端末装置2,20が料理ジャンルを入力しなくても、料理名称の特定誤りを自動的に判定することができる。
In the sixth modification, the predetermined dish attribute may be the most dish attribute among the specified dish attributes. Thereby, even if the
なお、ステップS203において、抽出した料理属性のそれぞれが、所定の料理属性に関連付けられているか否かを判定する処理が実行され、特定された特定料理情報のうち、送信された料理ジャンルに関連付けられていない特定料理情報があると判定された場合、特定部332は、特定された特定料理情報のうちの、送信された料理ジャンルに関連付けられていない特定料理情報の料理名称を、送信された料理ジャンルに関連付けられた他の料理名称に変更してもよい。例えば、特定部332は、送信された料理ジャンルに関連付けられていない特定料理情報の料理の画像のそれぞれに対して、所定の類似度よりも低い第2の所定の類似度以上のサンプル料理画像を検出する。次に、特定部は、サンプル料理画像が検出された場合、当該検出されたサンプル料理画像の料理ジャンルが、送信された料理ジャンルと同一であれば、第2の所定の類似度以上のサンプル料理画像が検出された特定料理情報の料理情報IDを、当該料理の画像を検出するために用いたサンプル料理画像に関連付けられた料理情報IDに変更して、メニュー管理テーブルに記憶する。そして、特定部332は、特定料理情報が検出された特定画面500を表示するための表示データを作成し、特定処理を終了する。なお、特定料理情報が検出された特定画面500を表示するための表示データは、名称提案情報の一例である。また、誤特定通知情報及び名称提案情報は、特定情報の一例である。
In step S203, a process for determining whether or not each of the extracted dish attributes is associated with a predetermined dish attribute is performed, and the identified dish information is associated with the transmitted dish genre. When it is determined that there is not the specific dish information, the specifying
当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。 It should be understood by those skilled in the art that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.
1,10 メニュー生成システム
2,20 端末装置
21 端末通信部
22 端末記憶部
23 端末操作部
24 端末表示部
25 端末撮像部
26 端末処理部
261 表示処理部
262 端末送信部
263 端末受信部
3 サーバ
31 サーバ通信部
32 サーバ記憶部
33 サーバ処理部
331 サーバ受信部
332 特定部
333 算出部
334 サーバ送信部
334 生成部
4 基地局
5 移動体通信網
6 ゲートウェイ
7 インターネット
DESCRIPTION OF
Claims (20)
複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶する記憶部と、
前記複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付ける入力処理部と、
前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定する特定部と、
前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する算出部と、
を有することを特徴とするメニュー生成システム。 A menu generation system for generating a restaurant menu,
For each of a plurality of dishes, a storage unit that stores a sample dish image obtained by imaging the appearance, a dish name, and a dish attribute in association with each other;
An input processing unit that accepts an appearance image including the appearance of each dish for a predetermined menu composed of two or more dishes of the plurality of dishes;
Based on the received appearance image and the stored sample dish image and dish name, a specifying unit that identifies a dish name of each dish included in the received appearance image;
For the dish name of each identified dish, a calculation unit that calculates the similarity between the dish attribute associated with the dish name of each dish and the dish attribute associated with the dish name of another dish;
A menu generation system comprising:
前記受け付けた外観画像に含まれる各料理の画像と前記サンプル料理画像との一致度を算出し、
前記特定された各料理の料理名称に関連付けられた料理属性が重複している場合、料理属性が重複している料理の料理名称の内、対応するサンプル料理画像について算出された一致度が最も高い料理名称以外の料理名称を変更する、請求項2に記載のメニュー生成システム。 The specific part is:
Calculating the degree of coincidence between the image of each dish included in the received appearance image and the sample dish image;
When dish attributes associated with the dish names of the identified dishes are duplicated, the degree of coincidence calculated for the corresponding sample dish image is the highest among the dish names of dishes with duplicate dish attributes. The menu generation system according to claim 2, wherein a dish name other than the dish name is changed.
各料理の第1言語で表記された料理名称又は第2言語で表記された料理名称を端末に送信する送信部を有する、請求項1〜8のいずれか一項に記載のメニュー生成システム。 The storage unit stores a dish name written in a first language and a dish name written in a second language in association with each other for each of the plurality of dishes.
The menu generation system according to any one of claims 1 to 8, further comprising a transmission unit that transmits a dish name written in a first language of each dish or a dish name written in a second language to the terminal.
複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶する記憶部と、
前記複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付ける入力処理部と、
前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定する特定部と、
前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する算出部と、
を有することを特徴とするメニュー生成システム。 A menu generation system for generating a restaurant menu,
For each of a plurality of dishes, a storage unit that stores a sample dish image obtained by imaging the appearance, a dish name, and a dish attribute in association with each other;
An input processing unit that accepts an appearance image including the appearance of each dish for a predetermined menu composed of two or more dishes of the plurality of dishes;
Based on the received appearance image and the stored sample dish image and dish name, a specifying unit that identifies a dish name of each dish included in the received appearance image;
For the dish name of each identified dish, a calculation unit that calculates the similarity between the dish attribute associated with the dish name of each dish and a predetermined dish attribute;
A menu generation system comprising:
各料理の第1言語で表記された料理名称又は第2言語で表記された料理名称を端末に送信する送信部を有する、請求項10〜13のいずれか一項に記載のメニュー生成システム。 The storage unit stores a dish name written in a first language and a dish name written in a second language in association with each other for each of the plurality of dishes.
The menu generation system according to any one of claims 10 to 13, further comprising: a transmission unit configured to transmit a dish name written in the first language of each dish or a dish name written in the second language to the terminal.
複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて前記記憶部に記憶し、
前記複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、
前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定し、
前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する、
ことを含むことを特徴とするメニュー生成方法。 A menu generation method by a computer having a storage unit and generating a restaurant menu,
For each of a plurality of dishes, a sample dish image obtained by imaging the appearance, a dish name, and a dish attribute are associated with each other and stored in the storage unit,
Accepting an appearance image including the appearance of each dish for a predetermined menu composed of two or more dishes of the plurality of dishes,
Based on the received appearance image and the stored sample dish image and dish name, the dish name of each dish included in the received appearance image is specified,
For the dish name of each identified dish, the similarity between the dish attribute associated with the dish name of each dish and the dish attribute associated with the dish name of another dish is calculated.
A menu generation method characterized by including:
複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて前記記憶部に記憶し、
前記複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、
前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定し、
前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する、
ことを実行させる制御プログラム。 A computer control program that has a storage unit and generates a restaurant menu.
For each of a plurality of dishes, a sample dish image obtained by imaging the appearance, a dish name, and a dish attribute are associated with each other and stored in the storage unit,
Accepting an appearance image including the appearance of each dish for a predetermined menu composed of two or more dishes of the plurality of dishes,
Based on the received appearance image and the stored sample dish image and dish name, the dish name of each dish included in the received appearance image is specified,
For the dish name of each identified dish, the similarity between the dish attribute associated with the dish name of each dish and the dish attribute associated with the dish name of another dish is calculated.
A control program that makes things happen.
複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて前記記憶部に記憶し、
前記複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、
前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定し、
前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する、
ことを含むことを特徴とするメニュー生成方法。 A menu generation method by a computer having a storage unit and generating a restaurant menu,
For each of a plurality of dishes, a sample dish image obtained by imaging the appearance, a dish name, and a dish attribute are associated with each other and stored in the storage unit,
Accepting an appearance image including the appearance of each dish for a predetermined menu composed of two or more dishes of the plurality of dishes,
Based on the received appearance image and the stored sample dish image and dish name, the dish name of each dish included in the received appearance image is specified,
For the dish name of each identified dish, the similarity between the dish attribute associated with the dish name of each dish and a predetermined dish attribute is calculated.
A menu generation method characterized by including:
複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて前記記憶部に記憶し、
前記複数の料理の内の2以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、
前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定し、
前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する、
ことを実行させる制御プログラム。 A computer control program that has a storage unit and generates a restaurant menu.
For each of a plurality of dishes, a sample dish image obtained by imaging the appearance, a dish name, and a dish attribute are associated with each other and stored in the storage unit,
Accepting an appearance image including the appearance of each dish for a predetermined menu composed of two or more dishes of the plurality of dishes,
Based on the received appearance image and the stored sample dish image and dish name, the dish name of each dish included in the received appearance image is specified,
For the dish name of each identified dish, the similarity between the dish attribute associated with the dish name of each dish and a predetermined dish attribute is calculated.
A control program that makes things happen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016218218A JP6749218B2 (en) | 2016-11-08 | 2016-11-08 | Menu generation system, menu generation method, and control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016218218A JP6749218B2 (en) | 2016-11-08 | 2016-11-08 | Menu generation system, menu generation method, and control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018077625A true JP2018077625A (en) | 2018-05-17 |
JP6749218B2 JP6749218B2 (en) | 2020-09-02 |
Family
ID=62149140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016218218A Expired - Fee Related JP6749218B2 (en) | 2016-11-08 | 2016-11-08 | Menu generation system, menu generation method, and control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6749218B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110717606A (en) * | 2019-10-21 | 2020-01-21 | 中国民航信息网络股份有限公司 | Method and system for determining number of presettable meals |
CN110794704A (en) * | 2019-11-28 | 2020-02-14 | 广东美的厨房电器制造有限公司 | Cooking parameter determination method, cooking device, and computer storage medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003173369A (en) * | 2001-12-05 | 2003-06-20 | Fujitsu General Ltd | Tray service management method and tray service management system for restaurant |
JP2011076323A (en) * | 2009-09-30 | 2011-04-14 | Toshiba Tec Corp | Ordering management device, ordering management system and control program |
CN102982310A (en) * | 2011-09-05 | 2013-03-20 | 索尼公司 | Information processor, information processing method, and program |
JP2014089564A (en) * | 2012-10-30 | 2014-05-15 | Sony Corp | Information processing apparatus and information processing method |
JP2015005172A (en) * | 2013-06-21 | 2015-01-08 | ソニー株式会社 | Information processing device, information processing system, and storage medium storing program |
US20160063734A1 (en) * | 2014-09-03 | 2016-03-03 | Sri International | Automated Food Recognition and Nutritional Estimation With a Personal Mobile Electronic Device |
-
2016
- 2016-11-08 JP JP2016218218A patent/JP6749218B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003173369A (en) * | 2001-12-05 | 2003-06-20 | Fujitsu General Ltd | Tray service management method and tray service management system for restaurant |
JP2011076323A (en) * | 2009-09-30 | 2011-04-14 | Toshiba Tec Corp | Ordering management device, ordering management system and control program |
CN102982310A (en) * | 2011-09-05 | 2013-03-20 | 索尼公司 | Information processor, information processing method, and program |
JP2014089564A (en) * | 2012-10-30 | 2014-05-15 | Sony Corp | Information processing apparatus and information processing method |
JP2015005172A (en) * | 2013-06-21 | 2015-01-08 | ソニー株式会社 | Information processing device, information processing system, and storage medium storing program |
US20160063734A1 (en) * | 2014-09-03 | 2016-03-03 | Sri International | Automated Food Recognition and Nutritional Estimation With a Personal Mobile Electronic Device |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110717606A (en) * | 2019-10-21 | 2020-01-21 | 中国民航信息网络股份有限公司 | Method and system for determining number of presettable meals |
CN110717606B (en) * | 2019-10-21 | 2023-09-01 | 中国民航信息网络股份有限公司 | Method and system for determining presettable meal quantity |
CN110794704A (en) * | 2019-11-28 | 2020-02-14 | 广东美的厨房电器制造有限公司 | Cooking parameter determination method, cooking device, and computer storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6749218B2 (en) | 2020-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9332117B2 (en) | Information processing device, information processing method, and program | |
KR20150132212A (en) | Image-based application launcher | |
US10817923B2 (en) | Information providing system, information providing apparatus, information providing method, and program | |
US20120310981A1 (en) | Apparatus and method for providing search pattern of user in mobile terminal | |
KR102368847B1 (en) | Method for outputting content corresponding to object and electronic device thereof | |
WO2021017853A1 (en) | Method for recommending operation sequence, terminal, and computer readable medium | |
JP2021077394A (en) | Crowd assisted query system | |
JP6749218B2 (en) | Menu generation system, menu generation method, and control program | |
TW201734933A (en) | Menu generation system, menu generation method, and non-transitory computer-readable storage medium storing menu generation program | |
JP6704278B2 (en) | Menu information providing system, menu information providing control program and method thereof | |
JPWO2014184937A1 (en) | Image file clustering system and image file clustering program | |
US9641740B2 (en) | Apparatus and method for auto-focusing in device having camera | |
CN108141474B (en) | Electronic device for sharing content with external device and method for sharing content thereof | |
JP2014194648A (en) | Content retrieval system, content retrieval server, terminal device, content retrieval method, and content retrieval program | |
JP2020004426A (en) | Server, information providing method, and information providing program | |
TWI717725B (en) | Menu generation system, menu generation method, and non-transitory computer-readable storage medium storing menu generation program | |
JP6673039B2 (en) | Related story output control program, related story output control method, and information processing apparatus | |
JP7039693B2 (en) | Inspection equipment, control method and control program | |
JPWO2016076021A1 (en) | Product search device and product search method | |
JP2017068578A (en) | Cuisine recommendation system, portable terminal and cuisine recommendation program | |
KR20150100332A (en) | Sketch retrieval system, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor | |
TWI683227B (en) | Control method of server, server and control program of server | |
US20160125084A1 (en) | Electronic device, search server, and data search method therefor | |
JP7040291B2 (en) | Server control methods, servers, and server control programs | |
JP7478971B2 (en) | PROGRAM, TERMINAL DEVICE, AND SERVICE PROVIDING SYSTEM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200626 |
|
TRDD | Decision of grant or rejection written | ||
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200811 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6749218 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |