WO2017179460A1 - 加熱調理器、加熱調理器の制御方法、および、加熱調理システム - Google Patents
加熱調理器、加熱調理器の制御方法、および、加熱調理システム Download PDFInfo
- Publication number
- WO2017179460A1 WO2017179460A1 PCT/JP2017/014056 JP2017014056W WO2017179460A1 WO 2017179460 A1 WO2017179460 A1 WO 2017179460A1 JP 2017014056 W JP2017014056 W JP 2017014056W WO 2017179460 A1 WO2017179460 A1 WO 2017179460A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- heating
- unit
- information
- heating control
- control information
- Prior art date
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F27—FURNACES; KILNS; OVENS; RETORTS
- F27D—DETAILS OR ACCESSORIES OF FURNACES, KILNS, OVENS, OR RETORTS, IN SO FAR AS THEY ARE OF KINDS OCCURRING IN MORE THAN ONE KIND OF FURNACE
- F27D21/00—Arrangements of monitoring devices; Arrangements of safety devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F27—FURNACES; KILNS; OVENS; RETORTS
- F27D—DETAILS OR ACCESSORIES OF FURNACES, KILNS, OVENS, OR RETORTS, IN SO FAR AS THEY ARE OF KINDS OCCURRING IN MORE THAN ONE KIND OF FURNACE
- F27D21/00—Arrangements of monitoring devices; Arrangements of safety devices
- F27D21/02—Observation or illuminating devices
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B6/00—Heating by electric, magnetic or electromagnetic fields
- H05B6/64—Heating using microwaves
- H05B6/6435—Aspects relating to the user interface of the microwave heating apparatus
- H05B6/6441—Aspects relating to the user interface of the microwave heating apparatus allowing the input of coded operation instructions, e.g. bar code reader
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B6/00—Heating by electric, magnetic or electromagnetic fields
- H05B6/64—Heating using microwaves
- H05B6/6447—Method of operation or details of the microwave heating apparatus related to the use of detectors or sensors
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B6/00—Heating by electric, magnetic or electromagnetic fields
- H05B6/64—Heating using microwaves
- H05B6/66—Circuits
- H05B6/668—Microwave heating devices connected to a telecommunication network
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B6/00—Heating by electric, magnetic or electromagnetic fields
- H05B6/64—Heating using microwaves
- H05B6/66—Circuits
- H05B6/68—Circuits for monitoring or control
- H05B6/687—Circuits for monitoring or control for cooking
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F27—FURNACES; KILNS; OVENS; RETORTS
- F27D—DETAILS OR ACCESSORIES OF FURNACES, KILNS, OVENS, OR RETORTS, IN SO FAR AS THEY ARE OF KINDS OCCURRING IN MORE THAN ONE KIND OF FURNACE
- F27D21/00—Arrangements of monitoring devices; Arrangements of safety devices
- F27D21/02—Observation or illuminating devices
- F27D2021/026—Observation or illuminating devices using a video installation
Definitions
- the present disclosure relates to a cooking device that recognizes an image captured by a camera and performs heating control based on the recognized result, a heating cooking device control method, and a heating cooking system.
- a microwave oven that is an example of a heating cooker
- cooking is performed when a user inputs a time for heating and presses a button for starting heating.
- a service is provided in which a clerk (user) cooks and provides food purchased by customers in a microwave oven.
- a microwave oven provided with reading means for reading information on a barcode attached to a product and storage means for storing heating control contents corresponding to the barcode information in advance.
- the bar code reader reads the code information of the food, the heating control content corresponding to the food is set from the code information, and appropriate heating is performed.
- Patent Document 1 a microwave oven that uses a camera that captures the inside of a microwave oven instead of using a barcode reader has been proposed (for example, Patent Document 1).
- a barcode portion is extracted from an image of food put in the warehouse and the barcode is read.
- the heating control content corresponding to food is set from code information, and appropriate heating is performed. Thereby, the burden of operation of a store clerk is reduced.
- the cooking device of the present disclosure includes a heating chamber, a heating unit that heats an object to be heated in the heating chamber, an imaging unit that captures an image of the inside of the heating chamber, a control unit that controls heating by at least the heating unit, and an imaging unit
- An external feature analysis unit that analyzes the external feature of the object to be heated from the image captured in step 1, an information reading unit that reads heating control information given to the object to be heated from the image captured by the imaging unit, and an external feature
- the control unit When the heating control information read by the information reading unit is within the allowable range, the control unit performs heating control based on the heating control information read by the information reading unit. When the heating control information read by the information reading unit is not within the allowable range, the control unit does not perform heating control based on the heating control information read by the information reading unit.
- a heating cooker that can prevent food from being cooked with misrecognized heating control information and can reduce food burden on the user while cooking food.
- FIG. 1 is a front view illustrating an appearance of a heating cooker according to Embodiment 1 of the present disclosure.
- FIG. 2 is a block diagram of the heating cooker.
- FIG. 3A is a diagram showing a food that is cooked by the heating cooker.
- FIG. 3B is a diagram showing a food that is cooked by the heating cooker.
- FIG. 4A is a diagram showing the food and a label attached thereto.
- FIG. 4B is a diagram showing the food and a label attached thereto.
- FIG. 5B is a diagram showing an in-chamber image obtained by photographing the inside of the cooking device.
- FIG. 5A is a figure which shows the image in the store
- FIG. 5B is a diagram showing an in-chamber image obtained by photographing the inside of the cooking device.
- FIG. 5C is a diagram showing an in-chamber image of the inside of the heating cooker.
- FIG. 6 is a figure which shows the table regarding the correlation with the occupation rate in the same heating cooker, and the range of a heating setting value.
- FIG. 7 is a flowchart showing image recognition processing in the cooking device.
- FIG. 8 is a diagram illustrating a food product and a label attached to the food product according to the second embodiment of the present disclosure.
- FIG. 9 is a diagram illustrating a table relating to associations between a plurality of appearance features and ranges of heating setting values in the heating cooker according to the second embodiment of the present disclosure.
- FIG. 10A is a diagram illustrating an internal image when a foreign object is mixed.
- FIG. 10A is a diagram illustrating an internal image when a foreign object is mixed.
- FIG. 10B is a diagram illustrating an internal image when a foreign object is mixed.
- FIG. 10C is a diagram illustrating an error display displayed when a foreign object is mixed.
- FIG. 11 is a diagram illustrating a table related to the association between a plurality of appearance features and ranges of heating setting values in the heating cooker according to the third embodiment of the present disclosure.
- FIG. 12 is a block diagram of a cooking system according to the present disclosure.
- FIG. 1 is a front view showing an appearance of a microwave oven as an example of a heating cooker according to the present embodiment.
- a door panel 101 for a user to put food in and out is provided in a housing for storing food (a heated object) on the front surface of the heating cooker 100.
- the cooking device 100 includes a heating information display unit 102 and a selection unit 103 above the door panel 101.
- the heating cooker 100 reads the heating amount and the heating time from the food label or the like, and cooks the food with the set heating amount and heating time.
- the heating information display unit 102 displays the read heating time.
- the selection unit 103 includes a “menu” button for selecting a food corresponding to the user when the heating amount or the heating time cannot be read, a numeric button for manually setting the heating time, a “minute” button, a “second” “Button.
- the selection unit 103 includes a “heating start button” for starting heating and a “heating stop button” for stopping heating.
- the cooking device 100 includes a cooking chamber 104 inside the casing.
- an illumination unit 105 provided on the inner side surface of the chamber and a camera 106 provided on the upper surface of the chamber are provided.
- the camera 106 is electrically connected to a camera side control circuit (not shown) and is controlled by the camera side control circuit.
- a display that prompts the user to place food in the center of the bottom surface of the cooking chamber 104.
- an indication “Put food in the center” and lines indicating the four corners of the central area for clarifying the central area are provided (see FIG. 5A described later).
- Photographing of the food 107 stored in the cooking chamber 104 is performed by the camera 106.
- the cooking device 100 detects heating control information related to the food 107 and appearance features as image information from the captured image information.
- the cooking device 100 includes an illumination unit 105 that illuminates the inside of the cooking chamber 104.
- the illumination part 105 is arrange
- FIG. 2 is a block diagram of the heating cooker in the present embodiment.
- the heating cooker 100 includes information from a heating unit 201, an imaging unit 202, a control unit 203, an appearance feature analysis unit 204, an information storage unit 205, an operation unit 206, and a label.
- a label information reading unit 207 to read and an information determination unit 208 are provided.
- the heating unit 201 is composed of, for example, a magnetron or the like, and heats the food by supplying high frequency to the food placed in the heating cooking chamber 104.
- the imaging unit 202 includes, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a CCD (Charge Coupled Device) image sensor, and the like, and performs imaging inside the cooking chamber 104.
- the imaging unit 202 includes the above-described camera 106 and a camera-side control circuit.
- the control unit 203 controls the heating unit 201 based on the inside state of the cooking chamber 104 photographed by the imaging unit 202, the heating control information of the target food, and the like.
- the control unit 203 controls the heating unit 201, the imaging unit 202, the appearance feature analysis unit 204, the information storage unit 205, the operation unit 206, the label information reading unit 207, and the information determination unit 208.
- the appearance feature analysis unit 204 extracts information related to the appearance of the food from the image captured by the imaging unit 202, analyzes the information, and digitizes the information. For example, the occupation ratio is used as an index to be digitized. In addition to this, an index in which any one or a plurality of pieces of information such as the shape or color of food is digitized may be used.
- the appearance feature includes at least one of information itself related to the appearance of food and an index obtained by analyzing the information.
- Occupancy is the occupancy in the food storage.
- the occupancy ratio is obtained by dividing the area where the food is reflected in the image captured by the imaging unit 202 by the sum of the area where the food is reflected and the area where the bottom surface of the cooking chamber 104 is reflected. It is the value.
- the occupation ratio may be a value obtained by dividing the area where the food is captured in the image captured by the imaging unit 202 by the area of the bottom surface of the cooking chamber 104 in the imaging range of the imaging unit 202.
- the area of the bottom surface of the cooking chamber 104 in the imaging range of the imaging unit 202 is stored in the information storage unit 205 in advance. From the above, the occupation ratio is an index proportional to the size of food.
- a method for extracting the appearance characteristics of food a method based on difference information from an image in a state where there is nothing in the cooking chamber 104 is used. Or the method of extracting the outline of a foodstuff may be used.
- the information storage unit 205 is composed of, for example, a nonvolatile memory such as a flash memory, and has an appearance feature analyzed by the appearance feature analysis unit 204, heating control information for performing heating control by the control unit 203, and predetermined information. The range of the heating setting value is stored.
- the heating control information includes a heating amount (wattage) and a heating time corresponding to the heating amount.
- the heating control information includes at least a digitized index.
- the heating set value is a value calculated from information included in the heating control information. Specifically, the heating set value is the product of the heating amount (W) and the heating time (heating seconds) corresponding to the heating amount.
- the information storage unit 205 stores an external feature and a range of a heating set value expected by the external feature in association with each other.
- the information stored in the information storage unit 205 includes information on appearance features, heating control information, and setting information for the heating cooker 100, setting information for the camera 106, and the like in addition to the range of the heating setting value. Information related to heating control and operation may be included.
- the operation unit 206 includes, for example, a touch panel or a plurality of keys as the selection unit 103, and is used when a user sets a heating set value or starts heating.
- the label information reading unit 207 extracts an area corresponding to a label (see FIGS. 4A and 4B described later) attached to food from the image captured by the imaging unit 202. Further, the label information reading unit 207 reads the heating control information described on the label attached to the food from the image captured by the imaging unit 202.
- the label may be extracted from the shape of the food, or the outline of the label may be extracted from the entire image. Moreover, if it is a premise that a label is affixed on the substantially same position of the foodstuffs cooked, a label may be extracted by the relative position with respect to the shape of a foodstuff.
- the heating control information does not need to be described on the label, and may be directly described on the food.
- the heating control information described on the label attached to the food may be described with an information code such as a two-dimensional code such as a barcode or QR code (registered trademark), or may be described with characters.
- the label may include information such as the type of food and the expiration date.
- the label information reading unit 207 may acquire the heating control information from the information storage unit 205 based on information such as the type of food or the expiration date.
- the information determination unit 208 reads a heating setting value range (also referred to as an allowable heating setting value range) associated with the corresponding appearance feature from the information storage unit 205. .
- the allowable heating set value range may be determined in advance. Further, the information determination unit 208 compares the heating set value included in the heating control information described in the label acquired by the label information reading unit 207 with the allowable heating set value range stored in the information storage unit 205.
- the heating control information indicates two values of the heating amount (W) and the heating time, but other values may be used.
- the heating set value is a value calculated from information included in the heating control information.
- the heating set value refers to the product of the heating amount (W) and the heating time (heating seconds) corresponding to the heating amount, but is a value calculated by a method other than these. May be.
- the heating setting value read by the label information reading unit 207 is an allowable value, that is, when the heating setting value read by the label information reading unit 207 is included in the allowable heating setting value range.
- the heating control information is sent to the control unit 203.
- the heating setting value read by the label information reading unit 207 is an unacceptable heating setting value, that is, when the heating setting value read by the label information reading unit 207 is not included in the allowable heating setting value range.
- the imaging unit 202 performs re-imaging up to a predetermined number of times. Further, the label information reading unit 207 rereads the heating control information from the retaken image. As a result, when the heating setting value included in the read heating control information is included in the allowable heating setting value range, the information determination unit 208 sends the heating control information to the control unit 203.
- a display prompting the user to input information related to the heating set value is displayed. It is displayed on the information display unit 102. For example, a message such as “Please input the heating time” is displayed on the heating information display unit 102.
- a display that prompts the user to change the position of the food in the cooking chamber 104 is displayed on the heating information display unit 102. Is displayed. For example, a message “Please move the food position and start again” is displayed.
- the display for prompting the change of the position of the food may be performed when the heating setting value read by the label information reading unit 207 is not included in the allowable heating setting value range even if the re-photographing or re-reading reaches a predetermined number of times. Good.
- label information reading unit 207 and the information determination unit 208 may be part of the configuration and function of the control unit 203.
- FIG. 3A and FIG. 3B are diagrams showing an image of the food to be recognized and the appearance of the food. Examples of foods to be heated in a heating cooker include lunch boxes and soup noodles. 3A shows a bento as the food 301, and FIG. 3B shows a soup noodle as the food 302.
- FIG. 4A and FIG. 4B are diagrams showing images of foods and labels attached thereto, and are examples of information code recognition and character recognition in image recognition processing.
- FIG. 4A shows a food 301 that is a lunch box.
- a label 402 on which character information on the name and price of the food and heating control information is displayed is attached to the food 301.
- the label 402 may display the heating amount and the heating time according to the heating amount in a form that can be directly recognized by the person as the heating control information, or the heating amount and the heating time according to the heating amount. May be displayed as an information code corresponding to.
- the heating time corresponding to the heating amount is displayed in the heating control character target area 403 of the label 402.
- heating times corresponding to a plurality of heating amounts are displayed.
- a guideline for heating in a general household microwave oven for example, a heating time when heating at a heating amount of 500 W
- a guideline for heating in a commercial microwave oven for example, 1500 W heating
- the heating time in the case of heating in quantity is also shown. That is, for example, “500 W 2 minutes 30 seconds, 1500 W 0 minutes 45 seconds” is displayed.
- the heating control character target area 403 includes a first character string (for example, “500”) that is a number representing a predetermined heating amount and a second character string (for example, “ W ”), a third character string (for example,“ 2 ”) that is a number representing the heating time at the heating amount, a fourth character string (for example,“ minute ”) that represents the unit of the heating time, and the heating A fifth character string (for example, “30”), which is a number representing the heating time in quantity, and a sixth character string (for example, “second”) representing the unit of the heating time are displayed in this order.
- a first character string for example, “500” that is a number representing a predetermined heating amount and a second character string (for example, “ W ”)
- a third character string for example,“ 2 ”
- a fourth character string for example,“ minute
- the heating A fifth character string for example, “30”
- a sixth character string for example, “second” representing the unit of the heating time
- a seventh character string (for example, “1500”) that is a number representing a heating amount larger than the predetermined heating amount described above, and an eighth character string that represents a unit of the heating amount.
- W a ninth character string
- 0 a number that represents the heating time at the heating amount
- a tenth character string (for example, “minute”) that represents the unit of the heating time.
- An eleventh character string (for example, “45”) that is a number indicating the heating time at the heating amount and a twelfth character string (for example, “second”) that indicates the unit of the heating time are displayed in this order. Yes.
- W (watt) which is an SI unit representing the amount of heat is used as the second character string and the eighth character string, but if it represents a unit of heating power, Other characters or units may be used.
- the fourth character string the sixth character string, the tenth character string, and the twelfth character string, “minute” or “second” is used as the character representing the unit of time, but it represents the unit of time. Any other character or unit may be used.
- the information code is displayed in the information code target area 404.
- the label information reading unit 207 identifies the label 402 of the food 301 that is a lunch box from an image (for example, FIG. 5B described later) taken by the imaging unit 202. Further, the label information reading unit 207 extracts the heating control character target region 403 and the information code target region 404 in the label 402 from the image captured by the imaging unit 202. Character recognition is performed in the heating control character target area 403, information code recognition is performed in the information code target area 404, and heating control information is read. The same applies to the food 302 which is soup noodle.
- a region obtained by combining the heating control character target region 403 and the information code target region 404 is referred to as a label region.
- the heating set value is based on at least one of the combinations. May be calculated. For example, as long as the heating cooker 100 can be heated, the product of the larger heating amount and the heating time corresponding to the heating amount may be set as the heating set value. Specifically, if the heating cooker 100 can be heated at 800 W, 500 W is selected as the heating amount, and the heating set value is “75000” which is the product of 500 (W) and 150 (seconds). Become. Alternatively, the product of the larger heating amount and the heating time according to the heating amount may be simply set as the heating set value.
- the heating set value is “67500” which is the product of 1500 (W) and 45 (seconds).
- the heating set value may be calculated for both combinations. Specifically, the heating set values are “75000” and “67500”.
- FIG. 5A, FIG. 5B, and FIG. 5C are diagrams showing images in the cooking chamber 104 photographed by the imaging unit 202.
- FIG. FIG. 5A shows an in-compartment image 501 in a state where no food is installed in the cooking chamber 104.
- FIGS. 5B and 5C show an in-compartment image 502 with a food 301 serving as a lunch box and an in-compartment image 503 with a food 302 serving as soup noodle, respectively.
- FIG. 6 is a diagram showing an association table of appearance characteristics and allowable heating set value ranges stored in the information storage unit 205.
- an association table 601 between an occupation ratio as an appearance feature and an allowable heating set value range includes an occupation ratio (%), an allowable lower limit (heating amount (W) ⁇ heating seconds (seconds)), and , And an allowable upper limit value (heating amount (W) ⁇ seconds for heating (seconds)).
- the association between the occupation ratio and the allowable heating set value range is, for each store where the heating cooker 100 is used, among the main foods that the store has approved to heat with the heating cooker 100. It is set in advance accordingly.
- FIG. 5A The operations of the appearance feature analysis unit 204, the information determination unit 208, and the control unit 203 will be described using the examples shown in FIGS. 5A, 5B, 5C, and 6.
- FIG. 5A The operations of the appearance feature analysis unit 204, the information determination unit 208, and the control unit 203 will be described using the examples shown in FIGS. 5A, 5B, 5C, and 6.
- FIG. 5A The operations of the appearance feature analysis unit 204, the information determination unit 208, and the control unit 203 will be described using the examples shown in FIGS. 5A, 5B, 5C, and 6.
- the image captured by the imaging unit 202 is the internal image 501 .
- this is a case where the result of analysis of the interior image 501 by the appearance feature analysis unit 204 is 0% occupation.
- the appearance feature analysis unit 204 determines that the cooking chamber 104 is empty. Then, the control unit 203 ends the process without performing the subsequent processes.
- the information determination unit 208 sets the allowable lower limit value, which is the lower limit of the allowable heating set value range, to 30000, and sets the allowable upper limit value, which is the upper limit of the allowable heating set value range, to 210000.
- the label information reading unit 207 calculates heating amount ⁇ heating seconds, and sets the heating setting value to 15000. This heating setting value is below the allowable lower limit value of 30000, and the heating setting value is too low with respect to the occupation rate, so that the information determination unit 208 determines that the reading of the label information reading unit 207 is incorrect.
- the information determination unit 208 sets the allowable lower limit value that is the lower limit of the allowable heating set value range to 7000 and the allowable upper limit value that is the upper limit of the allowable heating set value range to 470000.
- the label information reading unit 207 correctly reads the label display will be further described.
- the heating setting value 15000 calculated by the label information reading unit 207 is acceptable. It is included in the heating setpoint range. For this reason, the information determination unit 208 determines that the reading of the label information reading unit 207 is correct.
- the information discriminating unit 208 determines whether or not the heating set value is within an allowable range, but an index other than the heating set value may be used. For example, it may be determined whether or not the heating time with a predetermined heating amount is within an allowable range. Specifically, as an association table between the appearance characteristics and the allowable range, a case where the heating amount is 500 W and a case where the heating amount is 1500 W are divided into cases, and the lower limit heating time and the upper limit heating time at each heating amount are determined. Is stored in the information storage unit 205. The information determination unit 208 compares the heating time read by the label information reading unit 207 with the lower limit heating time and the upper limit heating time stored in the information storage unit 205.
- the occupancy in the warehouse is used as an index related to the size of food for the classification of the association table between the appearance characteristics and the allowable range, but values such as area may be used.
- the method for storing the association table between the appearance features and the allowable range in the information storage unit 205 is not limited to the above-described content.
- the information input from the operation unit 206 by the user may be tabulated and stored in the information storage unit 205, or the table may be read from an external device connected to the cooking chamber 104 by wire or wireless. .
- FIG. 7 is a flowchart showing image recognition processing in the present embodiment. Using the flowchart in FIG. 7, cooking is performed based on the result of analyzing the appearance characteristics from the image including the food, the heating setting value read from the label, and the predetermined allowable heating setting value range. An example will be described.
- the imaging unit 202 captures an image in the cabinet (step S701).
- the appearance feature analysis unit 204 analyzes the appearance feature (step S702).
- step S703 when it is determined that the interior is empty (Yes in step S703), the heating process is not started and the process ends.
- control unit 203 reads the allowable heating set value from the information storage unit 205 based on the data (occupancy) analyzed by the appearance feature analysis unit 204. The range is acquired, and the result (occupancy ratio and allowable heating set value range) is sent to the information determination unit 208 (step S704).
- the label information reading unit 207 starts reading the label heating control information given to the food.
- a label region in the image is specified (step S705).
- step S713 the heating setting is manually performed by the operation unit 206 (step S713). For example, a display prompting the user to input the heating setting from the operation unit 206 is performed on the heating information display unit 102. As a result, the user manually sets the heating from the operation unit 206.
- the label information reading unit 207 determines whether the information code existing in the identified label area is an information code indicating the heating control information. A determination is made (step S707).
- the label information reading unit 207 reads the heating control information from the information code. Then, a heating set value is calculated from values included in the heating control information (a heating amount and a heating time corresponding to the heating amount) (step S708). Then, the heating set value is transmitted to the information determination unit 208.
- the heating control character target area 403 in the label area is specified and the heating control information is read. Then, the heating set value is calculated from the values included in the heating control information (the heating amount and the heating time according to the heating amount), and the heating set value is transmitted to the information determination unit 208 (step S709).
- Step S710 When the heating setting value is transmitted to the information determination unit 208, it is determined whether the heating setting value acquired in step S708 or step S709 is within the allowable heating setting value range acquired in step S704. (Step S710).
- step S710 If the heating setting value read from the heating control information is within the allowable heating setting value range (Yes in step S710), the user is given the heating control information (at least one of the heating setting value and the heating time) of the corresponding food.
- a confirmation screen is displayed on the heating information display unit 102 to prompt confirmation of whether the heating control information is correct (at least one of the heating set value and the heating time) (step S711).
- the label information reading unit 207 re-detects the heating control information up to the third time (step S712).
- the redetection is performed up to the third time, but this is not restrictive. It may be four times or more, or may be zero (that is, step S712 is omitted).
- re-detection is performed when the heating setting value read from the heating control information is outside the allowable heating setting value range, but other operations may be performed. For example, re-detection may be performed after a display prompting the user to move the position of the food in the storage is performed on the heating information display unit 102. Moreover, if it is a cooking chamber provided with a turntable in the cabinet, re-detection may be performed after changing the position of the food by rotating the turntable.
- step S713 a display that prompts the user to input the heating setting from the operation unit 206 is displayed on the heating information display unit 102. As a result, the user manually sets the heating from the operation unit 206.
- the operation unit 206 After the “heating start button” is pressed, cooking by the heating unit 201 is started (step S714).
- the heating cooker 100 performs heating cooking that heats the heating amount and the heating time corresponding to the heating amount included in the heating control information read from the label by the label information reading unit 207.
- the heating cooker 100 performs heating cooking based on the heating control information read from the label by the label information reading unit 207, but is not limited thereto.
- the heating cooker 100 may perform heating cooking based on heating control information (heating amount, heating time, etc.) stored in the information storage unit 205 and corresponding to the appearance characteristics of the object to be heated.
- heating cooking is started in the case where the “heating start button” is pressed in step S714, but it is determined that the heating control information is correct from the viewpoint of reducing the operation burden on the user. If this is the case, the cooking may be started automatically.
- the heating control information read by the label information reading unit 207 based on the allowable range of the heating control information associated with the appearance feature of the food stored in the information storage unit 205. It is determined whether or not is correct. For this reason, when the heating control information read by the label information reading unit 207 is incorrect, the food is not cooked based on the incorrect heating control information.
- the heating information display unit 102 The heating control information is displayed to prompt the user for confirmation. Thereby, the reading accuracy of the label information reading unit 207 is improved.
- Embodiment 2 The microwave oven which is an example of the heating cooker in 2nd Embodiment is demonstrated.
- description of the same configuration or control method as in the first embodiment is omitted.
- the second embodiment differs from the first embodiment in that it is determined whether or not the read heating control information is appropriate based on information associated with a plurality of appearance features. For this reason, in this embodiment, this point will be mainly described.
- FIG. 8 is a view showing an image in the warehouse taken by the imaging unit 202.
- FIG. 8 shows an in-compartment image 802 in which a food 801 that is a soup noodle larger than the food 302 that is the soup noodle of Embodiment 1 is installed.
- FIG. 9 is a diagram showing an association table of a plurality of appearance features and allowable heating set value ranges.
- the association table 901 between the occupation ratio and shape as appearance features and the allowable heating set value range is composed of the occupation ratio (%) of the food, the shape of the food, the allowable lower limit value, and the allowable upper limit value.
- the shape of food is added to the association table 601 described in Embodiment 1 as an item of appearance characteristics.
- the shape “any” indicates that the shape may be any shape.
- the information determination unit 208 sets the allowable lower limit value to 45000 and the allowable upper limit value to 180000.
- the label information reading unit 207 erroneously reads “500 W 1 minute 00 seconds” on the label attached to the food 801 will be further described.
- the label information reading unit 207 calculates heating amount ⁇ heating seconds and sets the heating setting value to 30000.
- the heating setting value is 45000 or less, which is an allowable lower limit value, and the heating setting value is too low with respect to the occupation ratio and the shape, so that the information determination unit 208 determines that reading of the label information reading unit 207 is incorrect.
- the information determination unit 208 determines using the association table 601 associated with only the occupation rate, the allowable lower limit value 15000 of the occupation rate of 30 to 60% and the heating set value of 30000 are obtained. Since the comparison is made, it is determined that the reading of the label information reading unit 207 is correct. However, in the present embodiment, the reading error of the label information reading unit 207 is determined more precisely than in the first embodiment by using a plurality of appearance features.
- one shape is added as an appearance feature, but other items may be added.
- a plurality of other items may be added.
- the color of the food may be added as an appearance feature, and the food may be further classified to set the allowable heating set value range.
- FIG. 10A and FIG. 10B are diagrams illustrating examples of images inside the warehouse photographed by the imaging unit 202.
- FIG. 10A shows an in-chamber image 1002 in which an oval shaped food 1001 is installed in the warehouse as an example of an object that is determined to be uncookable.
- FIG. 10B shows an in-store image 1004 in which a stone 1003 is installed in the store as another example.
- the shape information of the food 1001 and the stone 1003 that is not the heating target is registered in the information storage unit 205 in association with the heating control information that the heating control is not performed.
- the image recognition process when the food 1001 or the stone 1003 is put into the cooking chamber 104 will be described. If the food 1001 or the stone 1003 is put into the storage and becomes recognizable, the imaging unit 202 captures an image in the storage.
- the appearance feature analysis unit 204 extracts and acquires the shape information of the food 1001 or the stone 1003 from the image captured by the imaging unit 202.
- the control unit 203 determines that the shape information extracted by the appearance feature analysis unit 204 corresponds to information regarding the food 1001 or the stone 1003 accumulated in the information storage unit 205.
- control part 203 acquires the heating control information that the food 1001 or the stone 1003 cannot be heated from the information storage part 205.
- the content of the heating control information that the food 1001 or the stone 1003 is not subjected to heating control is notified to the user by a method described later. Note that the control unit 203 does not perform heating control even when the heating start button is pressed by the user.
- the food 1001 that is not subject to heating includes food that cannot be heated in a microwave, such as canned food.
- FIG. 10C shows an example of a notification mode to the user when food that is not a heating target is contained in the cooking device 100.
- the user is notified by reading a message aloud, displaying a message on the display unit 1005 that is an example of the heating information display unit 102, or blinking the display unit 1006 that is an example of the heating information display unit 102. Informed that cooking is not possible.
- a specific example of the message is “The food or container in the cabinet cannot be heated, so please take it out of the cabinet and check it”.
- FIG. 11 is a diagram showing an association table between appearance features and allowable heating set value ranges in the present embodiment.
- An association table 1101 of the container color, the container shape, and the occupation ratio as an appearance feature and the allowable heating set value range is a table 1101.
- the color of the container is added to the association table 901 described in the second embodiment as an item of appearance characteristics.
- the allowable lower limit value and the allowable upper limit value are represented by-(hyphen).
- the operations of the appearance feature analysis unit 204, the information determination unit 208, and the control unit 203 will be described using the examples shown in FIGS. 10A, 10B, 10C, and 11.
- the control part 203 displays on the display part 1005 or the display part 1006 that it cannot cook with heat.
- the control part 203 displays on the display part 1005 or the display part 1006 that it cannot cook with heat.
- the color and shape of the container are added as appearance features, but other items may be added.
- a specific mark is recognized, it may be determined that heat cooking is not possible. This can prevent the cooking device 100 from being heated even when the user has mistakenly put an article that should not be heated.
- the specific mark is, for example, a mark of a store other than the store where the cooking device 100 is installed.
- the shape of the label attached to the food may be used instead of the shape of the food.
- the present disclosure may be implemented as a cooking system that enables a cooking device to be connected to a network and controls the cooking device with an external device (such as a portable terminal or a server) on the network.
- an external device such as a portable terminal or a server
- recognition processing and the like are executed on the mobile terminal or server side.
- the heating cooker 700 is connected to the external device 800 via the Internet 1000.
- the heating cooker 700 includes a heating chamber 704, an imaging unit 702 that captures an image of the inside of the heating chamber 704, a heating unit 701 that heats an object to be heated in the heating chamber 704, and a control unit that controls at least heating by the heating unit 701. 703, and a transmission / reception unit 709 that transmits an image captured by the imaging unit 702 to the external device 800 and receives a determination result by the information determination unit 808 from the external device 800.
- the external device 800 is imaged by the image capturing unit 702 and is analyzed by the image capturing unit 702 and is received by the transmission / reception unit 809.
- the external feature analysis unit 804 analyzes the appearance characteristics of the heated object from the image received by the transmission / reception unit 809.
- Label information reading unit 807 that reads the heating control information given to the object to be heated from the captured image, an information storage unit 805 in which the allowable range of the heating control information corresponding to the appearance feature is registered, and the label information reading unit 807
- Information discriminating unit 808 that discriminates whether the heating control information read by the user is within an allowable range
- a transmission / reception unit 809 that receives an image from the cooking device 700 and transmits the discrimination result of the information discriminating unit 808 to the cooking device 700.
- the transmission / reception units 709 and 809 may have a transmission unit and a reception unit that are configured separately. In this embodiment, steps S701, S711, S713, and S714 in FIG. 7 are performed on the heating cooker 700 side. The other steps are performed on the external device 800 side.
- only the information storage unit 805 may be provided in the external device, and the other configuration may be a configuration arranged on the heating cooker side.
- the cooking device may be a cooking device for home use, not a commercial device such as a convenience store or a lunch box distributor.
- the image in the heating chamber imaged by the imaging unit may be displayed on the display unit provided in the cooking device. Moreover, when implementing this indication as a heating cooking system which connected the heating cooker to the network, the image in a heating cabinet may be displayed on the display part of the portable terminal connected to the network.
- the characters, barcodes, and food shapes recognized by the cooking device may be displayed on the display unit provided in the cooking device.
- characters and shapes recognized by the cooking device are displayed on the display unit of the mobile terminal connected to the network. Good.
- Some or all of the functional blocks in the present disclosure may be physically configured in any manner.
- a part or all of the functional blocks in the present disclosure may be configured to include an arithmetic processing unit and a storage unit that stores a control program. Examples of the arithmetic processing unit include an MPU and a CPU. A memory is exemplified as the storage unit. The control program recorded in the storage unit is executed by the arithmetic processing unit.
- some or all of the functional blocks in the present disclosure may be realized by hard logic. If some or all of the functional blocks in the present disclosure are realized by hardware logic, it is effective in improving the processing speed.
- Part or all of the functional blocks in the present disclosure may be configured by one semiconductor chip or may be physically configured by a plurality of semiconductor chips.
- the above-described controls may be realized by separate semiconductor chips.
- a plurality of functional blocks are realized by one semiconductor element, not only various processes can be performed by one control unit, but also the number of semiconductor elements mounted on a circuit board can be reduced. For this reason, the size of the circuit board can be reduced.
- the heating cooker 100 includes the heating chamber 200, the heating unit 201 that heats the object to be heated in the heating chamber 200, and the imaging unit 202 that images the inside of the heating chamber 200.
- a control unit 203 that controls at least heating by the heating unit 201, an appearance feature analysis unit 204 that analyzes an appearance feature of the object to be heated from an image captured by the imaging unit 202, and an object to be heated from the image captured by the imaging unit 202
- the information reading unit 207 that reads the heating control information given to the information storage unit 205, the information storage unit 205 in which the allowable range of the heating control information corresponding to the appearance feature is registered, and the heating control information read by the information reading unit 207 are acceptable.
- an information discriminating unit 208 that discriminates whether the range is within the range.
- the control unit 203 performs heating control based on the heating control information read by the information reading unit 207.
- the control unit 203 does not perform heating control based on the heating control information read by the information reading unit 207 when the heating control information read by the information reading unit 207 is not within the allowable range.
- the information storage unit 205 registers the heating control information and the allowable range of the heating control information corresponding to the plurality of appearance features of the object to be heated.
- control unit 203 does not perform the heating control when the information determination unit 208 determines that the heating by the heating unit 201 is impossible for the appearance feature.
- the 4th aspect is a heating cooking system provided with the heating cooker 700 which heats food, and the external apparatus 800 connected so that communication with the heating cooker 700 was possible.
- the heating cooker 700 includes a heating chamber 704, an imaging unit 702 that captures an image of the inside of the heating chamber 704, a control unit 703 that controls heating of at least the heated portion, and an image captured by the imaging unit 702 as an external device 800. And a transmission / reception unit 709 for transmitting to.
- the external device 800 reads an appearance feature analysis unit 804 that analyzes an appearance feature of the object to be heated from an image captured by the imaging unit 702, and reads heating control information given to the object to be heated from an image captured by the imaging unit 702.
- Information reading unit 807 Information reading unit 807, information storage unit 805 in which the allowable range of heating control information corresponding to the appearance feature is registered, and information determination for determining whether the heating control information read by information reading unit 807 is within the allowable range Unit 808, and transmission / reception unit 809 that transmits the result of determination by information determination unit 808 to cooking device 700.
- the control unit 703 performs heating control based on the heating control information read by the information reading unit 807.
- the control unit 703 does not perform heating control based on the heating control information read by the information reading unit 807.
- the heating control information written on the label is read, but also the allowable range of the heating control information expected from the appearance characteristics of the food is taken into account, so the recognition accuracy increases and stresses the user.
- the food is cooked without giving.
- the fifth aspect is a method for controlling the cooking device according to the first aspect.
- This not only reads the heating control information written on the label, but also takes into account the allowable range of the heating control information expected from the appearance characteristics of the food. For this reason, recognition accuracy increases and a food is cooked without giving a stress to a user.
- the heating cooker, the heating cooker control method, and the heating cooking system according to the present disclosure are widely applied to a heating cooker such as a microwave oven that takes a picture with a camera, recognizes a character or a shape, and reflects the recognized result on the heating control. Is possible.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Electric Ovens (AREA)
- Electric Stoves And Ranges (AREA)
Abstract
本開示に係る加熱調理器は、加熱庫と、加熱部と、撮像部と、制御部と、被加熱物の外観特徴を解析する外観特徴解析部と、加熱制御情報を読み取る情報読取部と、加熱制御情報の許容範囲が登録されている情報記憶部と、情報読取部が読み取った加熱制御情報が許容範囲内であるかを判別する情報判別部とを備えている。制御部は、情報読取部が読み取った加熱制御情報が許容範囲内である場合には、情報読取部に読み取られた加熱制御情報に基づいて加熱を行う。制御部は、情報読取部が読み取った加熱制御情報が許容範囲内でない場合には、情報読取部に読み取られた加熱制御情報に基づいて加熱を行わない。
Description
本開示は、カメラが撮影した画像を認識し、認識した結果に基づいて加熱制御を行う加熱調理器、加熱調理器の制御方法、および、加熱調理システムに関する。
加熱調理器の一例である電子レンジでは、使用者が加熱を行う時間等を入力して加熱を開始するためのボタンを押下することにより、加熱調理が行われる。弁当または総菜などを容器に入れて販売するコンビニまたはスーパーマーケットなどの販売店においては、客が購入した食品を店員(使用者)が電子レンジで加熱調理して提供するサービスが行われる。
しかし、使用者にとって電子レンジに加熱時間等を入力するのが煩わしいという課題がある。
そこで、商品に添付されているバーコードの情報を読み取る読み取り手段と、バーコードの情報に対応した加熱制御内容を予め記憶している記憶手段と、を備えた電子レンジが提案されている。そして、この従来の電子レンジでは、バーコードリーダーによって食品のコード情報が読み取られ、当該コード情報から食品に対応した加熱制御内容が設定されて、適切な加熱が行われる。
また、バーコードリーダーを用いるのでなく、電子レンジの庫内を撮影するカメラを用いる電子レンジが提案されている(例えば、特許文献1)。この従来の電子レンジでは、庫内に投入された食品の画像からバーコード部分が抽出されてバーコードが読み取られる。そして、この従来の電子レンジでは、コード情報から食品に対応した加熱制御内容が設定されて、適切な加熱が行われる。これにより、店員の操作の負担が低減される。
しかしながら、特許文献1に記載の電子レンジでは、バーコードの読み取りにカメラが用いられているため、食品の配置位置、食品ラベルの角度、印字状態などの様々な要因が重なり、バーコードに記載された加熱制御内容とは異なる内容が読み取られる可能性が考えられる。バーコードが読み間違えられてしまうと、本来とは全く異なった加熱制御が行われる。
本開示の加熱調理器は、加熱庫と、加熱庫内の被加熱物を加熱する加熱部と、加熱庫内を撮影する撮像部と、少なくとも加熱部による加熱を制御する制御部と、撮像部で撮影された画像から被加熱物の外観特徴を解析する外観特徴解析部と、撮像部で撮影された画像から被加熱物に付与されている加熱制御情報を読み取る情報読取部と、外観特徴に対応した加熱制御情報の許容範囲が登録されている情報記憶部と、情報読取部で読み取られた加熱制御情報が許容範囲内であるかを判別する情報判別部と、を備えている。制御部は、情報読取部で読み取られた加熱制御情報が許容範囲内である場合には、情報読取部で読み取られた加熱制御情報に基づいた加熱制御を行う。制御部は、情報読取部で読み取られた加熱制御情報が許容範囲内でない場合には、情報読取部で読み取られた加熱制御情報に基づいた加熱制御を行わない。
本開示によれば、誤認識された加熱制御情報で加熱調理することを防止し、かつ、使用者の操作負担を低減して食品を加熱調理できる加熱調理器を提供することができる。
以下、本開示の実施の形態について、図面を参照しながら説明する。なお、この実施の形態によって本開示が限定されない。
(実施の形態1)
図1は、本実施の形態における加熱調理器の一例である電子レンジの外観を示す正面図である。
図1は、本実施の形態における加熱調理器の一例である電子レンジの外観を示す正面図である。
図1に示すように、加熱調理器100の前面には、食品(被加熱物)を格納する筐体に使用者が食品を出し入れするためのドアパネル101が設けられている。加熱調理器100は、ドアパネル101の上方に、加熱情報表示部102と、選択部103と、を備えている。
加熱調理器100は、後述するように、加熱量および加熱時間を食品のラベル等から読み取り、設定された加熱量および加熱時間にて食品を加熱調理する。加熱情報表示部102には、読み取られた加熱時間が表示される。
選択部103は、加熱量または加熱時間が読み取れなかった場合などに使用者が対応する食品を選択する「メニュー」ボタン、加熱時間を手動で設定するための数字ボタン、「分」ボタン、「秒」ボタンなどを備えている。また、選択部103は、加熱を開始するための「加熱開始ボタン」、および、加熱を中止するための「加熱停止ボタン」を備えている。
加熱調理器100は、筐体内に加熱調理庫104を備えている。加熱調理庫104内には、庫内側面に設けられた照明部105と、庫内上面に設けられたカメラ106とが設けられている。カメラ106が加熱調理庫104の庫内上部に据付けられることで、庫内上部から庫内全体の撮影が行われる。カメラ106はカメラ側制御回路(図示せず)に電気的に接続され、カメラ側制御回路によって制御されている。
加熱調理庫104の底面には、使用者に食品を加熱調理庫104の底面中央部に置くことを促す表示が設けられている。例えば、「食品は中央に置いてください」という表示と、中央部の領域を明確にするための中央部の領域の四隅を示す線と、が設けられている(後述する図5A参照)。
カメラ106により加熱調理庫104に収納された食品107の撮影が行われる。加熱調理器100は、撮影された画像情報から食品107に関連する加熱制御情報、および、外観特徴を画像情報として検知する。
加熱調理器100は、加熱調理庫104の内部を照らす照明部105を備えている。照明部105は、例えば図1に示すように加熱調理庫104の側面に配置されており、庫内側面から庫内全体の照明を行う。
図2は、本実施の形態における加熱調理器のブロック図である。
図2に示すように、加熱調理器100は、加熱部201と、撮像部202と、制御部203と、外観特徴解析部204と、情報記憶部205と、操作部206と、ラベルから情報を読取るラベル情報読取部207と、情報判別部208とを有している。
加熱部201は、例えばマグネトロン等から構成され、加熱調理庫104内に置かれた食品に高周波を供給して食品の加熱を行う。
撮像部202は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサや、CCD(Charge Coupled Device)イメージセンサ等から構成され、加熱調理庫104の内部の撮影を行う。撮像部202は、上述のカメラ106とカメラ側制御回路とを備えている。
制御部203は、撮像部202で撮影された加熱調理庫104の庫内状態や対象となる食品の加熱制御情報等に基づき加熱部201の制御を行う。制御部203は、加熱部201、撮像部202、外観特徴解析部204、情報記憶部205、操作部206、ラベル情報読取部207および情報判別部208を制御する。
外観特徴解析部204は、撮像部202が撮影した画像から食品の外観に関連する情報を抽出し、当該情報を解析して数値化する。例えば、数値化する指標として、占有率が用いられる。この他、食品の形状または色など、どれか1つ、または、複数の情報が数値化された指標が用いられてもよい。なお、本実施の形態においては、外観特徴とは、食品の外観に関連する情報そのもの、および、当該情報が解析されて数値化された指標の少なくとも一方を含む。
占有率は、食品の庫内における占有率である。具体的には、占有率は、撮像部202が撮影した画像において、食品が写っている面積を、食品が写っている面積と加熱調理庫104の底面が写っている面積との和で、除した値である。または、占有率は、撮像部202が撮影した画像において食品が写っている面積を、撮像部202の撮影範囲における加熱調理庫104の底面の面積で、除した値でもよい。ここで、撮像部202の撮影範囲における加熱調理庫104の底面の面積は、予め情報記憶部205に記憶されている。以上より、占有率は、食品の大きさに比例する指標である。
食品の外観特徴の抽出方法として、加熱調理庫104内に何もない状態の画像との差分情報に基づく方法が用いられる。または、食品の輪郭を抽出する方法が用いられてもよい。
情報記憶部205は、例えばフラッシュメモリのような不揮発性メモリから構成され、外観特徴解析部204で解析された外観特徴、制御部203で加熱制御を行うための加熱制御情報、および、予め定められた加熱設定値の範囲などを記憶している。
加熱制御情報には、加熱量(ワット数)と当該加熱量に応じた加熱時間が含まれる。加熱制御情報には、少なくとも数値化されている指標が含まれる。加熱設定値は、加熱制御情報に含まれる情報から算出される値である。具体的には、加熱設定値とは、加熱量(W)と当該加熱量に応じた加熱時間(加熱秒数)の積である。
情報記憶部205には、外観特徴と当該外観特徴によって予想される加熱設定値の範囲とが関連付けされて記憶されている。なお、情報記憶部205が記憶している情報には、外観特徴に関する情報、加熱制御情報、および、加熱設定値の範囲以外に、加熱調理器100の設定情報、または、カメラ106の設定情報など、加熱制御や操作に関連する情報が含まれていてもよい。
操作部206は、選択部103として例えばタッチパネルまたは複数のキー等を備えており、使用者が加熱設定値の設定や加熱開始を行う際に使用される。
ラベル情報読取部207は、撮像部202が撮影した画像から、食品に付与されたラベル(後述する図4A及び図4B参照)に該当する領域を抽出する。また、ラベル情報読取部207は、撮像部202が撮影した画像から、食品に付与されたラベルに記載された加熱制御情報を読み取る。ラベルの抽出方法としては、食品の形状からラベルが抽出されてもよいし、画像全体からラベルの輪郭が抽出されてもよい。また、ラベルが加熱調理される食品のおよそ同じ位置に貼り付けされることが前提であれば、食品の形状に対する相対位置によってラベルが抽出されてもよい。なお、加熱制御情報は、ラベルに記載されている必要はなく、食品に直接記載されていてもよい。
食品に付与されたラベルに記載される加熱制御情報は、バーコードまたはQRコード(登録商標)などの2次元コードといった情報コードで記載されていてもよいし、文字で記載されていてもよい。なお、ラベルには、加熱制御情報以外に、食品の種類や賞味期限等の情報が含まれていてもよい。また、ラベル情報読取部207は、食品の種類または賞味期限等の情報に基づいて、情報記憶部205から加熱制御情報を取得してもよい。
情報判別部208は、外観特徴解析部204が解析した外観特徴をもとに、情報記憶部205から該当する外観特徴に関連付けされた加熱設定値の範囲(許容加熱設定値範囲とも称す)を読み出す。許容加熱設定値範囲は、予め定められていてもよい。また、情報判別部208は、ラベル情報読取部207が取得したラベルに記載された加熱制御情報に含まれる加熱設定値と情報記憶部205に記憶されている許容加熱設定値範囲とを比較する。
本実施の形態においては、加熱制御情報とは加熱量(W)および加熱時間の2つの値を指すが、これ以外の値であってもよい。加熱設定値は、加熱制御情報に含まれる情報から算出される値である。本実施の形態においては、加熱設定値とは、加熱量(W)と当該加熱量に応じた加熱時間(加熱秒数)との積を指すが、これら以外の方法で算出される値であってもよい。
情報判別部208は、ラベル情報読取部207が読み取った加熱設定値が許容される値である場合、つまり、ラベル情報読取部207が読み取った加熱設定値が許容加熱設定値範囲に含まれる場合に、制御部203へ加熱制御情報を送る。
一方、ラベル情報読取部207が読み取った加熱設定値が許容外の加熱設定値の場合、つまり、ラベル情報読取部207が読み取った加熱設定値が許容加熱設定値範囲に含まれない場合には、所定の回数まで撮像部202は再撮影を行う。また、ラベル情報読取部207は、再撮影された画像から、加熱制御情報の再読み取りを行う。その結果、再度読み取られた加熱制御情報に含まれる加熱設定値が許容加熱設定値範囲に含まれる場合には、情報判別部208は制御部203へ加熱制御情報を送る。一方、再撮影または再読み取りが所定の回数に達しても加熱設定値が許容加熱設定値範囲に含まれない場合には、使用者に加熱設定値に関わる情報の入力を促すための表示が加熱情報表示部102に表示される。例えば、加熱情報表示部102に、「加熱時間を入力してください。」といったメッセージが表示される。
または、ラベル情報読取部207が読み取った加熱設定値が許容加熱設定値範囲に含まれない場合には、使用者に加熱調理庫104内で食品の位置の変更を促す表示が加熱情報表示部102に表示される。例えば、「食品の位置を動かして再度開始して下さい」といったメッセージが表示される。なお、食品の位置変更を促す表示は、再撮影または再読み取りが所定の回数に達してもラベル情報読取部207が読み取った加熱設定値が許容加熱設定値範囲に含まれない場合に行ってもよい。
なお、ラベル情報読取部207と情報判別部208とは、制御部203の構成および機能の一部であってもよい。
撮像部202が撮影した画像から食品の外観特徴と加熱制御情報とを読み取り、当該加熱制御情報が外観特徴と関連付けられた情報に基づいて適正か否かが判定されて加熱制御が行われる処理について、以下説明する。
図3Aおよび図3Bは、認識対象となる食品及び食品の外観のイメージを示す図である。加熱調理器にて加熱対象となる食品には、お弁当、スープ麺等がある。図3Aは食品301としてお弁当を、図3Bは食品302としてスープ麺を、それぞれ表している。
図4Aおよび図4Bは、食品とそれに貼り付けられたラベルのイメージを示す図であり、画像認識処理における情報コード認識および文字認識の例を示す図である。図4Aはお弁当である食品301を示している。食品301には、食品の名称および価格に関する文字情報と加熱制御情報とが表示されたラベル402が貼付けられている。なお、ラベル402には、加熱制御情報として、加熱量と当該加熱量に応じた加熱時間が直接人が認識できる形態で表示されていてもよいし、加熱量および当該加熱量に応じた加熱時間に対応する情報コードとして表示されていてもよい。
加熱量に応じた加熱時間は、ラベル402の加熱制御文字対象領域403に表示されている。加熱制御文字対象領域403には、複数の加熱量に応じた加熱時間が表示されている。具体的には、一般的な家庭用の電子レンジで加熱する場合の目安として例えば500Wの加熱量で加熱する場合の加熱時間と、業務用の電子レンジで加熱する場合の目安として例えば1500Wの加熱量で加熱する場合の加熱時間とが併記されている。つまり、例えば、「500W2分30秒 1500W0分45秒」と表示されている。
より具体的には、加熱制御文字対象領域403には、所定の加熱量を表す数字である第1文字列(例えば「500」)と、当該加熱量の単位を表す第2文字列(例えば「W」)と、当該加熱量での加熱時間を表す数字である第3文字列(例えば「2」)と、当該加熱時間の単位を表す第4文字列(例えば「分」)と、当該加熱量での加熱時間を表す数字である第5文字列(例えば「30」)と、当該加熱時間の単位を表す第6文字列(例えば「秒」)とが、この順に表示されている。
さらに、加熱制御文字対象領域403には、前述した所定の加熱量よりも大きい加熱量を表す数字である第7文字列(例えば「1500」)と、当該加熱量の単位を表す第8文字列(例えば「W」)と、当該加熱量での加熱時間を表す数字である第9文字列(例えば「0」)と、当該加熱時間の単位を表す第10文字列(例えば「分」)と、当該加熱量での加熱時間を示す数字である第11文字列(例えば「45」)と、当該加熱時間の単位を表す第12文字列(例えば「秒」)とが、この順に表示されている。
なお、本実施の形態では、第2文字列、および、第8文字列として、熱量を表すSI単位である「W(ワット)」を用いたが、加熱パワーの単位を表すものであれば、他の文字または単位でもよい。また、第4文字列、第6文字列、第10文字列、および、第12文字列として、時間の単位を表す文字として「分」または「秒」を用いたが、時間の単位を表すものであれば、他の文字または単位でもよい。
情報コードは、情報コード対象領域404に表示されている。
ラベル情報読取部207は、撮像部202が撮影した画像(例えば、後述する図5B)から、お弁当である食品301のラベル402を識別する。また、ラベル情報読取部207は撮像部202が撮影した画像から、ラベル402における加熱制御文字対象領域403および情報コード対象領域404を抽出する。加熱制御文字対象領域403では文字認識が行われ、情報コード対象領域404では情報コード認識が行われ、加熱制御情報が読み取られる。スープ麺である食品302においても同様である。なお、以下、加熱制御文字対象領域403と情報コード対象領域404とを合わせた領域をラベル領域と称する。
図4Aに示したように、加熱制御情報として、加熱量と加熱量に応じた加熱時間との組み合わせが2つ含まれている場合には、少なくともいずれか一方の組み合わせに基づいて、加熱設定値が算出されればよい。例えば、加熱調理器100が加熱できる範囲で、大きい方の加熱量と当該加熱量に応じた加熱時間との積を加熱設定値としてもよい。具体的には、加熱調理器100では800Wでの加熱が可能であれば、加熱量として500Wが選択され、加熱設定値は500(W)と150(秒)との積である「75000」となる。または、単純に、大きい方の加熱量と当該加熱量に応じた加熱時間との積を、加熱設定値としてもよい。具体的には、加熱量として1500Wが選択され、加熱設定値は、1500(W)と45(秒)との積である「67500」となる。または、両方の組み合わせについて、加熱設定値を算出してもよい。具体的には、加熱設定値は、「75000」および「67500」とする。
図5A、図5B、および図5Cは、撮像部202で撮影された加熱調理庫104内の画像を示す図である。図5Aは、加熱調理庫104内に食品が何も設置されていない状態での庫内画像501を示す。また、図5B、図5Cに、お弁当である食品301が設置された状態での庫内画像502、スープ麺である食品302が設置された状態での庫内画像503をそれぞれ示す。
図6は、情報記憶部205に記憶されている、外観特徴と許容加熱設定値範囲との関連付けテーブルを示す図である。外観特徴としての占有率と許容加熱設定値範囲との関連付けテーブル601は、図6に示すとおり、占有率(%)、許容下限値(加熱量(W)×加熱秒数(秒))、および、許容上限値(加熱量(W)×加熱秒数(秒))から構成される。占有率と許容加熱設定値範囲との関連付けは、加熱調理器100が使用される販売店等ごとに、販売店等が加熱調理器100で加熱することを認めた食品のうち、主要なものに応じて予め設定される。
図5A、図5B、図5Cおよび図6に示した例を用いて、外観特徴解析部204、情報判別部208、および、制御部203の動作について説明する。
まず、撮像部202で撮影された画像が庫内画像501である場合について説明する。例えば、外観特徴解析部204が庫内画像501を解析した結果が、占有率0%となる場合である。この場合には、外観特徴解析部204は、加熱調理庫104内が空だと判定する。そして、制御部203は、それ以降の処理を行わず、処理を終了する。
次に、撮像部202で撮影された画像が庫内画像502である場合について説明する。例えば、外観特徴解析部204が、庫内画像502を解析した結果が、占有率75%となる場合である。占有率75%は、図6に示す外観特徴と許容加熱設定値範囲との関連付けテーブル601において、占有率60~90%に該当する。よって、情報判別部208は、許容加熱設定値範囲の下限である許容下限値を30000とし、許容加熱設定値範囲の上限である許容上限値を210000とする。この場合に、ラベル情報読取部207が、ラベル402の表示である「500W2分30秒 1500W0分45秒」を、誤って「500W 0分30秒」と読み取った場合について、さらに説明する。この場合、ラベル情報読取部207は、加熱量×加熱秒数を計算して、加熱設定値を15000とする。この加熱設定値は許容下限値である30000を下回っており、占有率に対して加熱設定値が低すぎるため、ラベル情報読取部207の読み取りが誤っていると情報判別部208は判断する。
次に、撮像部202で撮影された画像が庫内画像503である場合について説明する。例えば、外観特徴解析部204が庫内画像503を解析した結果が、占有率10%となる場合である。占有率10%は、図6に示す外観特徴と許容加熱設定値範囲との関連付けテーブルにおいて占有率10~30%に該当する。したがって、情報判別部208は、許容加熱設定値範囲の下限である許容下限値を7000とし、許容加熱設定値範囲の上限である許容上限値を470000とする。この場合に、ラベル情報読取部207が、ラベルの表示を正しく読み取った場合について、さらに説明する。この場合には、ラベルの表示を読み取った結果は、庫内画像502の場合と同じ「500W 0分30秒」であっても、ラベル情報読取部207が計算した加熱設定値の15000は、許容加熱設定値範囲に含まれる。このため、情報判別部208は、ラベル情報読取部207の読み取りが正しいと判断する。
なお、本実施の形態では、情報判別部208は加熱設定値が許容範囲内にあるか否かを判定しているが、加熱設定値以外の指標を用いてもよい。例えば、所定の加熱量での加熱時間が許容範囲内にあるか否かを判定してもよい。具体的には、外観特徴と許容範囲との関連付けテーブルとして、加熱量が500Wである場合と、1500Wである場合とで場合分けして、それぞれの加熱量での下限加熱時間と上限加熱時間とを、情報記憶部205に記憶しておく。情報判別部208は、ラベル情報読取部207が読み取った加熱時間と、情報記憶部205に記憶された下限加熱時間および上限加熱時間とを比較する。
また、本実施の形態では、外観特徴と許容範囲との関連付けテーブルの区分分けに、食品の大きさに関する指標として庫内の占有率を用いているが、面積等の値を用いてもよい。また、外観特徴と許容範囲との関連付けテーブルが、情報記憶部205に記憶される方法は、上述した内容に限定されない。例えば、使用者が操作部206から入力した情報をテーブル化して情報記憶部205に記憶させてもよいし、加熱調理庫104に有線または無線によって接続された外部機器からテーブルを読み込ませてもよい。
図7は、本実施の形態における画像認識処理を示すフローチャートである。図7のフローチャートを用いて、食品を含む庫内画像から外観特徴を解析した結果と、ラベルから読み取った加熱設定値と、予め定められた許容加熱設定値範囲とに基づいて、加熱調理を行う例を説明する。
図7において、加熱調理庫104の庫内に食品が設置され、認識可能な状態となれば、撮像部202は庫内画像を撮影する(ステップS701)。
撮像部202によって撮影された画像から、外観特徴解析部204は、外観特徴の解析を行う(ステップS702)。
外観特徴が解析された結果、庫内が空だと判断された場合(ステップS703のYes)には、加熱処理は開始されず処理は終了する。
庫内が空ではないと判断された場合(ステップS703のNo)には、制御部203は外観特徴解析部204が解析したデータ(占有率)に基づいて、情報記憶部205から許容加熱設定値範囲を取得し、結果(占有率と許容加熱設定値範囲)を情報判別部208に送る(ステップS704)。
外観特徴の解析後、ラベル情報読取部207は食品に付与されたラベルの加熱制御情報の読み取りを開始する。まず、撮像部202において撮影された画像からラベル情報読取部207にて加熱制御情報を読み取るために、画像内のラベル領域を特定する(ステップS705)。
画像内にラベル領域が特定されなかった場合(ステップS706のNo)には、自動で加熱量および加熱時間の設定が出来ないため、ステップS713へ進む。そして、操作部206によって手動で加熱設定が行われる(ステップS713)。例えば、加熱情報表示部102に加熱設定を操作部206から入力するように使用者に促す表示が行われる。これによって、使用者は操作部206から手動で加熱設定を行う。
一方、画像内にラベル領域が特定できた場合(ステップS706のYes)には、ラベル情報読取部207は、特定されたラベル領域内に存在する情報コードが加熱制御情報を示す情報コードかどうかを判別する(ステップS707)。
ラベル領域内に存在する情報コードが、加熱制御情報を示す情報コードであった場合(ステップS707のYes)には、ラベル情報読取部207は当該情報コードから加熱制御情報を読み出す。そして、加熱制御情報に含まれる値(加熱量と当該加熱量に応じた加熱時間)から加熱設定値が演算される(ステップS708)。そして、加熱設定値が情報判別部208へ送信される。
ラベル領域内に存在する情報コードが加熱制御情報を示す情報コードでなかった場合(ステップS707のNo)には、ラベル領域内の加熱制御文字対象領域403が特定され加熱制御情報が読み取られる。そして、加熱制御情報に含まれる値(加熱量およびその加熱量に応じた加熱時間)から加熱設定値が演算され、加熱設定値が情報判別部208へ送信される(ステップS709)。
情報判別部208に加熱設定値が送信されると、ステップS708もしくはステップS709にて取得された加熱設定値が、ステップS704にて取得された許容加熱設定値範囲内に収まっているかが判定される(ステップS710)。
加熱制御情報から読み取られた加熱設定値が許容加熱設定値範囲内(ステップS710のYes)であれば、使用者に加熱制御情報(加熱設定値および加熱時間の少なくとも一方)が、該当する食品の正しい加熱制御情報(加熱設定値および加熱時間の少なくとも一方)であるかどうかの確認を促すために、加熱情報表示部102に確認画面が表示される(ステップS711)。
加熱制御情報から読み取った加熱設定値が許容加熱設定値範囲外(ステップS710のNo)であれば、3回目までラベル情報読取部207による加熱制御情報の再検出が行われる(ステップS712)。なお、本実施の形態では、再検出を3回目までとしているが、この限りではない。4回以上でもよいし、0回(すなわちステップS712を省略)でもよい。また、本実施の形態では、加熱制御情報から読み取った加熱設定値が許容加熱設定値範囲外であった場合に再検出が行われるとしているが、他の動作が行われてもよい。例えば、加熱情報表示部102に庫内の食品の位置を動かすように使用者に促す表示が行われた後に、再検出が行われてもよい。また、庫内にターンテーブルが備えられている加熱調理庫であれば、ターンテーブルを回転させることで食品の位置を変えてから再検出が行われてもよい。
再検出が3回目に達すると、それ以上は再検出を行わず、操作部206によって手動で加熱設定が行われる(ステップS713)。例えば、加熱情報表示部102に、加熱設定を操作部206から入力するように使用者に促す表示が示される。これによって、使用者は操作部206から手動で加熱設定を行う。
ステップS711の表示により、該当する食品の正しい加熱制御情報であると使用者に判断された場合、または、ステップS713で操作部206によって手動で加熱設定が行われた場合には、操作部206の「加熱開始ボタン」が押下された後、加熱部201による加熱調理が開始される(ステップS714)。加熱調理器100は、ラベル情報読取部207がラベルから読み取った加熱制御情報に含まれる、加熱量および当該加熱量に応じた加熱時間にて加熱する加熱調理を行う。なお、本実施の形態では、加熱調理器100は、ラベル情報読取部207がラベルから読み取った加熱制御情報に基づいて加熱調理を行うが、これに限られない。加熱調理器100は、情報記憶部205に記憶されており被加熱物の外観特徴に対応した加熱制御情報(加熱量、加熱時間など)に基づいて加熱調理を行ってもよい。
なお、本実施の形態では、加熱調理の開始をステップS714において、「加熱開始ボタン」が押下された場合としているが、使用者の操作負担を軽減する観点から、加熱制御情報が正しいと判別される場合は、加熱調理が自動的に開始されてもよい。
本実施の形態の加熱調理器100では、情報記憶部205に記憶された食品の外観特徴に関連情報付けされた加熱制御情報の許容範囲に基づいて、ラベル情報読取部207が読み取った加熱制御情報が正しいか否かが判別される。このため、ラベル情報読取部207が読み取った加熱制御情報が誤っている場合は、誤った加熱制御情報に基づいて食品の加熱調理が行われることがない。
また、ラベル情報読取部207が読み取った加熱制御情報が、情報記憶部205に記憶され、食品の外観特徴に関連情報付けされた加熱制御情報の許容範囲でない場合には、加熱情報表示部102に加熱制御情報が表示されて使用者に確認が促される。これによって、ラベル情報読取部207の読取精度が向上する。
また、明らかに誤った加熱制御情報の場合には、加熱情報表示部102に加熱制御情報を表示することなく、自動で再読み取りが行われる。これにより使用者にストレスを与えることがなく、食品が加熱調理される。
(実施の形態2)
第2の実施の形態における加熱調理器の一例である電子レンジについて説明する。実施の形態2では、実施の形態1と同様な構成または制御方法については説明を省略する。実施の形態2が、実施の形態1と異なる点は、複数の外観特徴と関連付けられた情報に基づいて、読み取られた加熱制御情報が適正か否かが判定される点である。このため、本実施の形態では、主にこの点について説明する。
第2の実施の形態における加熱調理器の一例である電子レンジについて説明する。実施の形態2では、実施の形態1と同様な構成または制御方法については説明を省略する。実施の形態2が、実施の形態1と異なる点は、複数の外観特徴と関連付けられた情報に基づいて、読み取られた加熱制御情報が適正か否かが判定される点である。このため、本実施の形態では、主にこの点について説明する。
図8は、撮像部202で撮影された庫内の画像示す図である。図8に、実施の形態1のスープ麺である食品302より大きいスープ麺である食品801が設置された庫内画像802を示す。
図9は、複数の外観特徴と許容加熱設定値範囲との関連付けテーブル示す図である。外観特徴としての占有率および形状と、許容加熱設定値範囲との関連付けテーブル901は、食品の占有率(%)と、食品の形状と、許容下限値および許容上限値と、から構成される。関連付けテーブル901は、実施の形態1で説明した関連付けテーブル601に、外観特徴の項目として食品の形状が追加されている。なお、関連付けテーブル901において、形状の「any」は形状がどのような形状であってもよいことを示す。
図8および図9に示した例を用いて、外観特徴解析部204、情報判別部208、および、制御部203の動作について説明する。
例えば、外観特徴解析部204により庫内画像802が解析された結果が、占有率37%かつ円形の形状であった場合について説明する。占有率37%は関連付けテーブル901において、占有率30~60%に該当し、かつ、形状は円形に該当する。したがって、情報判別部208は、許容下限値を45000とし許容上限値は180000とする。この場合において、ラベル情報読取部207が、食品801に添付されたラベルの表示を誤って「500W 1分00秒」と読み取った場合についてさらに説明する。この場合には、ラベル情報読取部207は、加熱量×加熱秒数を計算して加熱設定値を30000とする。この加熱設定値は許容下限値である45000以下となり、占有率と形状に対して加熱設定値が低すぎるため、ラベル情報読取部207の読み取りが誤っていると情報判別部208は判断する。
実施の形態1で説明したように、情報判別部208が占有率のみと関連付けられた関連付けテーブル601を用いて判定すると、占有率30~60%の許容下限値15000と加熱設定値の30000とを比較することとなるため、ラベル情報読取部207の読み取りは正しいと判断される。しかし、本実施の形態では、外観特徴が複数用いられることで実施の形態1より精密にラベル情報読取部207の読み取り誤りが判定される。
本実施の形態では、形状が外観特徴として1つ追加されたが、他の項目が追加されてもよい。また、他の項目が複数追加されてもよい。例えば、食品の色合いが外観特徴として加えられ、さらに細かく食品が分類されて許容加熱設定値範囲が設定されてもよい。
(実施の形態3)
第3の実施の形態における加熱調理器の一例である電子レンジについて説明する。実施の形態3は、実施の形態1と同様の構成または制御方法については説明を省略する。実施の形態3では、実施の形態1で説明した態様に加えて、加熱調理が不可の食品や物品が加熱調理庫104に置かれた場合の処理を行う。本実施の形態では、主にこの点について説明する。
第3の実施の形態における加熱調理器の一例である電子レンジについて説明する。実施の形態3は、実施の形態1と同様の構成または制御方法については説明を省略する。実施の形態3では、実施の形態1で説明した態様に加えて、加熱調理が不可の食品や物品が加熱調理庫104に置かれた場合の処理を行う。本実施の形態では、主にこの点について説明する。
図10Aおよび図10Bを用いて、食品の加熱調理が不可と判断される場合について説明する。図10Aおよび図10Bは、撮像部202で撮影された庫内の画像の例を示す図である。図10Aに、加熱調理が不可と判断される物の例として、楕円形状の食品1001が庫内に設置された庫内画像1002を示す。図10Bに、別の例として、石1003が庫内に設置された庫内画像1004を示す。
加熱対象ではない食品1001と石1003の形状情報は、加熱制御を行わないという加熱制御情報に関連付けられて、情報記憶部205に登録されている。以下、加熱調理庫104内に食品1001または石1003が投入された場合の画像認識処理について、説明する。庫内に食品1001または石1003が投入されて認識可能な状態となれば、撮像部202は庫内の画像を撮影する。外観特徴解析部204は、撮像部202によって撮影された画像から、食品1001または石1003の形状情報を抽出して取得する。制御部203は、外観特徴解析部204にて抽出された形状情報が、情報記憶部205内に蓄積された食品1001または石1003に関する情報に該当すると判断する。そして、制御部203は、情報記憶部205から、食品1001または石1003は加熱不可であるという加熱制御情報を取得する。食品1001または石1003は加熱制御を行わないという加熱制御情報の内容は、後述する方法で使用者に通知される。なお、制御部203は、使用者によって加熱開始ボタンが押下された場合であっても、加熱制御を行わない。
加熱対象ではない食品1001は、例えば、缶詰など、電子レンジでの加熱ができない食品を含む。
図10Cに、加熱調理器100の庫内に加熱対象ではない食品が入っている場合の使用者への報知態様の一例を示す。この場合には、メッセージの音声読み上げ、または、加熱情報表示部102の一例である表示部1005でのメッセージの表示、または、加熱情報表示部102の一例である表示部1006の点滅によって使用者に加熱調理できない旨が伝えられる。メッセージの具体例は、「庫内にある食品又は容器は温めることができませんので、庫内から取り出してご確認ください。」である。
図11は、本実施の形態における、外観特徴と許容加熱設定値範囲との関連付けテーブルを示す図である。外観特徴としての容器の色、容器の形状、および占有率と、許容加熱設定値範囲との関連付けテーブル1101は、容器の色と、容器の形状と、占有率(%)と、許容下限値および許容上限値と、から構成される。関連付けテーブル1101は、実施の形態2で説明した関連付けテーブル901に、外観特徴の項目として容器の色が追加されている。また、加熱調理が不可能な場合として、許容下限値と許容上限値が-(ハイフン)で表現されている。
図10A、図10B、図10Cおよび図11に示した例を用いて、外観特徴解析部204、情報判別部208、および、制御部203の動作について説明する。
例えば、外観特徴解析部204により庫内画像1002が解析されると、容器の色は白で、形状は指定形状以外になった場合について説明する。この場合には、許容下限値と許容上限値はハイフンになる。つまり、情報判別部208は、加熱調理自体が不可能であると判定する。そして、制御部203は、表示部1005または表示部1006に加熱調理できない旨を表示する。
また、外観特徴解析部204が庫内画像1004を解析すると、容器の色は黒である場合について説明する。この場合には、情報判別部208は色が黒と判断された時点で庫内に設置された物品を加熱調理の対象物として見なさない。このため、庫内画像1002の場合と同様に、加熱調理自体が不可能であると判定される。そして、制御部203は、表示部1005または表示部1006に加熱調理できない旨を表示する。
本実施の形態では、容器の色および形状が外観特徴として追加されたが、他の項目が追加されてもよい。例えば、特定のマークが認識されると加熱調理不可と判断されてもよい。これによって、本来加熱してはいけない物品を使用者が間違って入れてしまった場合にも、加熱調理器100が加熱することを防ぐことができる。特定のマークとしては、例えば、加熱調理器100が設置された販売店以外の販売店の標章である。
上述した実施の形態1~3において、以下に示すように、それぞれの実施の形態の一部を変更することもできる。また、以下に説明する変形例は、それぞれの実施の形態についてのみ適用されるものではなく、異なる変形例同士を互いに組み合わせて実施することもできる。
外観特徴として、食品の形状ではなく、食品に添付されたラベルの形状を用いてもよい。
加熱調理器をネットワークと接続可能にし、ネットワーク上の外部機器(携帯端末またはサーバーなど)で加熱調理器を制御する加熱調理システムとして本開示を実施してもよい。このような加熱調理システムでは、認識処理等は、携帯端末またはサーバー側で実行される。
より具体的には、図12に示されるように、加熱調理器700は外部機器800とインターネット1000を介して接続されている。
加熱調理器700は、加熱庫704と、加熱庫704内を撮影する撮像部702と、加熱庫704内の被加熱物を加熱する加熱部701と、少なくとも加熱部701による加熱を制御する制御部703と、撮像部702によって撮影された画像を外部機器800に送信するとともに外部機器800から情報判別部808による判別結果を受信する送受信部709とを備えている。
外部機器800は、撮像部702で撮影され、送受信部809で受信された画像から被加熱物の外観特徴を解析する外観特徴解析部804と、撮像部702で撮影され、送受信部809で受信された画像から被加熱物に付与されている加熱制御情報を読み取るラベル情報読取部807と、外観特徴に対応した加熱制御情報の許容範囲が登録されている情報記憶部805と、ラベル情報読取部807が読み取った加熱制御情報が許容範囲内であるかを判別する情報判別部808と、加熱調理器700から画像を受信するとともに情報判別部808の判別結果を加熱調理器700に送信する送受信部809とを備えている。なお、送受信部709,809は送信部と受信部が別々に構成されていてもよい。本形態においては、図7におけるステップS701、S711、S713およびS714は加熱調理器700側で行われる。その他のステップにおいては、外部機器800側で行われる。
その他の形態として、情報記憶部805だけが外部機器に設けられており、その他の構成は、加熱調理器側に配設されている構成であってもよい。
加熱調理器は、コンビニエンスストアやお弁当の販売業者等の業務用機器でなく、家庭用の加熱調理器であってもよい。
加熱調理器が備える表示部に、撮影部が撮影した加熱庫内の画像が表示されてもよい。また、本開示を加熱調理器をネットワークに接続した加熱調理システムとして実施する場合には、ネットワークに接続された携帯端末の表示部に加熱庫内の画像が表示されてもよい。
加熱調理器で認識された文字、バーコード、食品の形状が、加熱調理器が備える表示部に表示されてもよい。また、本開示を加熱調理器をネットワークに接続した加熱調理システムとして実施する場合には、ネットワークに接続された携帯端末の表示部に、加熱調理器で認識された文字や形状が表示されてもよい。
本開示における機能ブロックの一部または全部は、物理的にどのように構成されてもよい。本開示における機能ブロックの一部または全部は、演算処理部と、制御プログラムを記憶する記憶部とを備える構成であってもよい。演算処理部としては、MPU、CPUが例示される。記憶部としては、メモリが例示される。記憶部に記録されている制御プログラムは演算処理部によって実行される。また、本開示における機能ブロックの一部または全部は、ハードロジックで実現されてもよい。本開示における機能ブロックの一部または全部をハードロジックで実現すれば、処理速度の向上に有効である。本開示における機能ブロックの一部または全部は、1つの半導体チップで構成してもよいし、物理的に複数の半導体チップで構成してもよい。複数の半導体チップで構成する場合、上述した各制御をそれぞれ別の半導体チップで実現してもよい。複数の機能ブロックを1つの半導体素子で実現する場合には、1つの制御部で様々な処理を行えるだけでなく、回路基板上に実装する半導体素子の数を低減できる。このため、回路基板の大きさを小さくすることができる。
以上説明したように、第1の態様に係る加熱調理器100は、加熱庫200と、加熱庫200内の被加熱物を加熱する加熱部201と、加熱庫200内を撮影する撮像部202と、少なくとも加熱部201による加熱を制御する制御部203と、撮像部202が撮影した画像から被加熱物の外観特徴を解析する外観特徴解析部204と、撮像部202が撮影した画像から被加熱物に付与されている加熱制御情報を読み取る情報読取部207と、外観特徴に対応した加熱制御情報の許容範囲が登録されている情報記憶部205と、情報読取部207が読み取った加熱制御情報が許容範囲内であるかを判別する情報判別部208と、を備えている。制御部203は、情報読取部207が読み取った加熱制御情報が許容範囲内である場合には、情報読取部207に読み取られた加熱制御情報に基づいた加熱制御を行う。制御部203は、情報読取部207が読み取った加熱制御情報が許容範囲内でない場合には、情報読取部207に読み取られた加熱制御情報に基づいた加熱制御を行わない。
これにより、単純にラベルに記載の加熱制御情報が読み取られるだけではなく、食品の外観特徴から予想される加熱制御情報の許容範囲が加味される。このため、認識精度が増して使用者にストレスを与えることなく、食品が加熱調理される。
第2の態様は、情報記憶部205には、被加熱物の複数の外観特徴に対応して、加熱制御情報および加熱制御情報の許容範囲が登録されている。
これにより、詳細に食品が区分されることで、認識精度がさらに増し、使用者にストレスを与えることなく食品を加熱調理できる。
第3の態様は、制御部203は、情報判別部208が外観特徴に対して加熱部201による加熱が不可能と判断した場合には加熱制御を行わない。
これにより、子供のいたずらの防止や、当該加熱調理器が設置された販売店と関係のない食品の加熱に、加熱調理器が利用されることを防止できる。
第4の態様は、食品を加熱する加熱調理器700と、加熱調理器700と通信可能に接続された外部機器800とを備えた加熱調理システムである。加熱調理器700は、加熱庫704と、加熱庫704内を撮影する撮像部702と、少なくとも被加熱部への加熱を制御する制御部703と、撮像部702で撮影された画像を外部機器800に送信する送受信部709と、を備えている。外部機器800は、撮像部702が撮影した画像から被加熱物の外観特徴を解析する外観特徴解析部804と、撮像部702が撮影した画像から被加熱物に付与されている加熱制御情報を読み取る情報読取部807と、外観特徴に対応した加熱制御情報の許容範囲が登録されている情報記憶部805と、情報読取部807が読み取った加熱制御情報が許容範囲内であるかを判別する情報判別部808と、情報判別部808が判別した結果を加熱調理器700に送信する送受信部809とを備えている。制御部703は、情報読取部807が読み取った加熱制御情報が許容範囲内である場合には、情報読取部807で読み取られた加熱制御情報に基づいた加熱制御を行う。制御部703は、情報読取部807が読み取った加熱制御情報が許容範囲内でない場合には、情報読取部807で読み取られた加熱制御情報に基づいた加熱制御を行わない。
これにより、単純にラベルに記載されている加熱制御情報が読み取られるだけでなく、食品の外観特徴から予想される加熱制御情報の許容範囲が加味されるため、認識精度が増し使用者にストレスを与えることなく、食品が加熱調理される。
第5の態様は、第1の態様に係る加熱調理器の制御方法である。
これにより、単純にラベルに記載されている加熱制御情報が読み取られるだけでなく、食品の外観特徴から予想される加熱制御情報の許容範囲が加味される。このため、認識精度が増し、使用者にストレスを与えることなく、食品が加熱調理される。
本開示の加熱調理器、加熱調理器の制御方法及び加熱調理システムは、カメラにより撮影を行い文字や形状を認識し、認識した結果を加熱制御に反映させる電子レンジ等の加熱調理器に広く適用可能である。
100,700 加熱調理器
101 ドアパネル
102 加熱情報表示部
103 選択部
104 加熱調理庫
105 照明部
106 カメラ
107,301,302,303,801,1001 食品
200,704 加熱庫
201,701 加熱部
202,702 撮像部
203,703 制御部
204,804 外観特徴解析部
205,805 情報記憶部
206 操作部
207,807 ラベル情報読取部(情報読取部)
208,808 情報判別部
709,809 送受信部
402 ラベル
403 加熱制御文字対象領域
404 情報コード対象領域
501,502,503,802,1002,1004 庫内画像
1003 石
1005,1006 表示部
800 外部機器
101 ドアパネル
102 加熱情報表示部
103 選択部
104 加熱調理庫
105 照明部
106 カメラ
107,301,302,303,801,1001 食品
200,704 加熱庫
201,701 加熱部
202,702 撮像部
203,703 制御部
204,804 外観特徴解析部
205,805 情報記憶部
206 操作部
207,807 ラベル情報読取部(情報読取部)
208,808 情報判別部
709,809 送受信部
402 ラベル
403 加熱制御文字対象領域
404 情報コード対象領域
501,502,503,802,1002,1004 庫内画像
1003 石
1005,1006 表示部
800 外部機器
Claims (5)
- 加熱庫と、
前記加熱庫内の被加熱物を加熱する加熱部と、
前記加熱庫内を撮影する撮像部と、
少なくとも前記加熱部による加熱を制御する制御部と、
前記撮像部で撮影された画像から前記被加熱物の外観特徴を解析する外観特徴解析部と、
前記撮像部で撮影された前記画像から前記被加熱物に付与されている加熱制御情報を読み取る情報読取部と、
前記外観特徴に対応した前記加熱制御情報の許容範囲が登録されている情報記憶部と、
前記情報読取部で読み取られた前記加熱制御情報が前記許容範囲内であるかを判別する情報判別部と、
を備え、
前記制御部は、
前記情報読取部で読み取られた前記加熱制御情報が前記許容範囲内である場合には、前記情報読取部で読み取られた前記加熱制御情報に基づいた加熱制御を行い、
前記情報読取部で読み取られた前記加熱制御情報が前記許容範囲内でない場合には、前記情報読取部で読み取られた前記加熱制御情報に基づいた加熱制御を行わない、
加熱調理器。 - 前記情報記憶部には、前記被加熱物の複数の前記外観特徴に対応して、前記加熱制御情報および前記加熱制御情報の前記許容範囲が登録されている、
請求項1に記載の加熱調理器。 - 前記制御部は、
前記情報判別部が、前記外観特徴に対して前記加熱部による加熱が不可能と判断した場合には加熱制御を行わない、
請求項1または2に記載の加熱調理器。 - 食品を加熱する加熱調理器と、前記加熱調理器と通信可能に接続された外部機器と、を備えた加熱調理システムであって、
前記加熱調理器は、
加熱庫と、
前記加熱庫内を撮影する撮像部と、
少なくとも前記被加熱物への加熱を制御する制御部と、
前記撮像部で撮影された画像を前記外部機器に送信する送受信部と、
を備え、
前記外部機器は、
前記撮影部で撮影された画像から前記被加熱物の外観特徴を解析する外観特徴解析部と、
前記撮影部で撮影された前記画像から前記被加熱物に付与されている加熱制御情報を読み取る情報読取部と、
前記外観特徴に対応した前記加熱制御情報の許容範囲が登録されている情報記憶部と、
前記情報読取部で読み取られた前記加熱制御情報が前記許容範囲内であるかを判別する情報判別部と、
前記情報判別部が判別した結果を前記加熱調理器に送信する送受信部と、
を備え、
前記制御部は、
前記情報読取部で読み取られた前記加熱制御情報が前記許容範囲内である場合には、前記情報読取部で読み取られた前記加熱制御情報に基づいた加熱制御を行い、
前記情報読取部で読み取られた前記加熱制御情報が、前記許容範囲内でない場合には、前記情報読取部で読み取られた前記加熱制御情報に基づいた加熱制御を行わない、
加熱調理システム。 - 加熱庫と、
前記加熱庫内の被加熱物を加熱する加熱部と、
前記加熱庫内を撮影する撮像部と、
前記撮影部で撮影された画像から前記被加熱物の外観特徴を解析する外観特徴解析部と、
前記撮影部で撮影された前記画像から前記被加熱物に付与されている加熱制御情報を読み取る情報読取部と、
前記外観特徴に対応した前記加熱制御情報の許容範囲が登録されている情報記憶部と、
前記情報読取部で読み取られた前記加熱制御情報が前記許容範囲内であるかを判別する情報判別部と、
を備えた加熱調理器の制御方法であって、
前記情報読取部で読み取られた前記加熱制御情報が前記許容範囲内である場合には、前記情報読取部で読み取られた前記加熱制御情報に基づいた加熱制御を行い、
前記情報読取部で読み取られた前記加熱制御情報が前記許容範囲内でない場合には、前記情報読取部で読み取られた前記加熱制御情報に基づいた加熱制御を行わない、
加熱調理器の制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/086,984 US11528785B2 (en) | 2016-04-11 | 2017-04-04 | Heating cooker, method of controlling heating cooker, and heating cooking system |
JP2018511970A JP6906146B2 (ja) | 2016-04-11 | 2017-04-04 | 加熱調理器、加熱調理器の制御方法、および、加熱調理システム |
CN201780021997.0A CN109073232B (zh) | 2016-04-11 | 2017-04-04 | 加热烹调器、加热烹调器的控制方法以及加热烹调*** |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016078542 | 2016-04-11 | ||
JP2016-078542 | 2016-04-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017179460A1 true WO2017179460A1 (ja) | 2017-10-19 |
Family
ID=60042854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/014056 WO2017179460A1 (ja) | 2016-04-11 | 2017-04-04 | 加熱調理器、加熱調理器の制御方法、および、加熱調理システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11528785B2 (ja) |
JP (1) | JP6906146B2 (ja) |
CN (1) | CN109073232B (ja) |
WO (1) | WO2017179460A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019128093A (ja) * | 2018-01-24 | 2019-08-01 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
WO2020054609A1 (ja) * | 2018-09-10 | 2020-03-19 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
KR20200086163A (ko) * | 2019-01-08 | 2020-07-16 | 나예준 | 조리 대상물의 이미지, 중량 및 식별코드를 이용한 자동 조리 시스템 및 방법 |
WO2023223876A1 (ja) * | 2022-05-18 | 2023-11-23 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018012245A1 (ja) | 2016-07-11 | 2018-01-18 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
WO2019075610A1 (en) * | 2017-10-16 | 2019-04-25 | Midea Group Co., Ltd. | CONTROL BY AUTOMATIC LEARNING OF COOKING APPARATUS |
BE1030884B1 (de) * | 2022-09-16 | 2024-04-15 | Miele & Cie | Verfahren zum Betreiben eines Gargeräts |
EP4339516A1 (de) * | 2022-09-16 | 2024-03-20 | Miele & Cie. KG | Verfahren zum betreiben eines gargeräts |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2588294B2 (ja) * | 1990-03-30 | 1997-03-05 | 株式会社東芝 | 電子レンジ |
JP2002243161A (ja) * | 2001-02-15 | 2002-08-28 | Sanyo Engineering Kk | 電子レンジの調理設定方法、包装容器、調理設定カードおよび電子レンジ |
WO2015059931A1 (ja) * | 2013-10-24 | 2015-04-30 | パナソニックIpマネジメント株式会社 | 加熱調理器、調理システム、演算装置及び調理支援方法 |
JP2015158351A (ja) * | 2014-01-24 | 2015-09-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 調理装置、調理方法、調理制御プログラム、および、調理情報提供方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61114016A (ja) * | 1985-10-25 | 1986-05-31 | Matsushita Electric Ind Co Ltd | 加熱装置 |
EP0788296B1 (en) * | 1994-04-07 | 2005-03-23 | Matsushita Electric Industrial Co., Ltd. | High-frequency heating device |
US6249710B1 (en) * | 1996-05-14 | 2001-06-19 | Microwave Science, Llc | Method and apparatus for managing the thermal activity of a microwave oven |
US8224892B2 (en) * | 2000-04-28 | 2012-07-17 | Turbochef Technologies, Inc. | Rapid cooking oven with broadband communication capability to increase ease of use |
JP3588333B2 (ja) | 2001-04-03 | 2004-11-10 | 三洋電機株式会社 | 加熱調理装置 |
US7454390B2 (en) * | 2004-03-17 | 2008-11-18 | Panasonic Corporation | Ingredient cooking-operation recognition system and computer-readable recording medium which is recorded with ingredient cooking-operation recognition program |
US10687391B2 (en) * | 2004-12-03 | 2020-06-16 | Pressco Ip Llc | Method and system for digital narrowband, wavelength specific cooking, curing, food preparation, and processing |
KR20070005808A (ko) * | 2005-07-06 | 2007-01-10 | 삼성전자주식회사 | 바코드를 이용하는 조리 장치와 조리 시스템 및 조리 제어방법 |
KR101232612B1 (ko) * | 2005-07-20 | 2013-02-13 | 삼성전자주식회사 | 조리장치와 조리시스템 및 그 조리제어방법 |
JP4494436B2 (ja) * | 2007-05-17 | 2010-06-30 | 三菱電機株式会社 | 加熱装置 |
IES20070936A2 (en) * | 2007-12-21 | 2009-09-30 | Ovenfeast Ltd | Improvements in and relating to cooking methods and a cooking apparatus for use with same |
US20160073453A1 (en) * | 2008-06-30 | 2016-03-10 | Searete Llc | Microwave oven |
US8927913B2 (en) * | 2008-06-30 | 2015-01-06 | The Invention Science Fund I, Llc | Microwave processing systems and methods |
WO2010147439A2 (ko) * | 2009-06-19 | 2010-12-23 | 엘지전자 주식회사 | 마이크로웨이브를 이용한 조리기기 |
US10057946B2 (en) * | 2011-10-17 | 2018-08-21 | Illinois Tool Works, Inc. | Adaptive cooking control for an oven |
EP2618634A1 (en) * | 2012-01-23 | 2013-07-24 | Whirlpool Corporation | Microwave heating apparatus |
US9420641B2 (en) * | 2013-01-23 | 2016-08-16 | Whirlpool Corporation | Microwave oven multiview silhouette volume calculation for mass estimation |
US9794989B2 (en) * | 2013-12-06 | 2017-10-17 | Panasonic Intellectual Property Corporation Of America | Terminal apparatus and control method for assistive cooking |
US20150289324A1 (en) * | 2014-04-07 | 2015-10-08 | Mark Braxton Rober | Microwave oven with thermal imaging temperature display and control |
JP6395083B2 (ja) * | 2014-08-04 | 2018-09-26 | パナソニックIpマネジメント株式会社 | 電力使用状況推定装置、プログラム |
US10708987B2 (en) * | 2015-04-10 | 2020-07-07 | At&T Intellectual Property I, L.P. | Cooking apparatus for targeted thermal management |
US20160353921A1 (en) * | 2015-06-03 | 2016-12-08 | Travis James Dodge | Machine & System for Obtaining Precise Cooking Times of Irregular Shaped Food Objects |
-
2017
- 2017-04-04 US US16/086,984 patent/US11528785B2/en active Active
- 2017-04-04 CN CN201780021997.0A patent/CN109073232B/zh active Active
- 2017-04-04 WO PCT/JP2017/014056 patent/WO2017179460A1/ja active Application Filing
- 2017-04-04 JP JP2018511970A patent/JP6906146B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2588294B2 (ja) * | 1990-03-30 | 1997-03-05 | 株式会社東芝 | 電子レンジ |
JP2002243161A (ja) * | 2001-02-15 | 2002-08-28 | Sanyo Engineering Kk | 電子レンジの調理設定方法、包装容器、調理設定カードおよび電子レンジ |
WO2015059931A1 (ja) * | 2013-10-24 | 2015-04-30 | パナソニックIpマネジメント株式会社 | 加熱調理器、調理システム、演算装置及び調理支援方法 |
JP2015158351A (ja) * | 2014-01-24 | 2015-09-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 調理装置、調理方法、調理制御プログラム、および、調理情報提供方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019128093A (ja) * | 2018-01-24 | 2019-08-01 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
WO2020054609A1 (ja) * | 2018-09-10 | 2020-03-19 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
CN111183317A (zh) * | 2018-09-10 | 2020-05-19 | 松下知识产权经营株式会社 | 加热烹调器 |
JPWO2020054609A1 (ja) * | 2018-09-10 | 2021-08-30 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
JP7403044B2 (ja) | 2018-09-10 | 2023-12-22 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
KR20200086163A (ko) * | 2019-01-08 | 2020-07-16 | 나예준 | 조리 대상물의 이미지, 중량 및 식별코드를 이용한 자동 조리 시스템 및 방법 |
KR102149501B1 (ko) * | 2019-01-08 | 2020-08-28 | 나예준 | 조리 대상물의 이미지, 중량 및 식별코드를 이용한 자동 조리 시스템 및 방법 |
WO2023223876A1 (ja) * | 2022-05-18 | 2023-11-23 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
Also Published As
Publication number | Publication date |
---|---|
US11528785B2 (en) | 2022-12-13 |
US20190098708A1 (en) | 2019-03-28 |
CN109073232A (zh) | 2018-12-21 |
JP6906146B2 (ja) | 2021-07-21 |
CN109073232B (zh) | 2019-09-17 |
JPWO2017179460A1 (ja) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017179460A1 (ja) | 加熱調理器、加熱調理器の制御方法、および、加熱調理システム | |
US10986703B2 (en) | Heating cooker | |
JP2005140418A (ja) | 加熱調理器 | |
JP7349609B2 (ja) | 加熱調理器の制御方法 | |
CN109964083B (zh) | 加热烹调器以及加热烹调器的控制方法 | |
US10939508B2 (en) | Cooker | |
JPWO2017077695A1 (ja) | 加熱調理器 | |
CN109974043B (zh) | 加热装置 | |
WO2017164050A1 (ja) | 加熱調理器、加熱調理器の制御方法及び加熱調理システム | |
CN110892197B (zh) | 加热烹调器 | |
JP6920591B2 (ja) | 加熱調理器 | |
JP7386391B2 (ja) | 加熱調理器 | |
JP2020076550A (ja) | 加熱調理器 | |
WO2019159518A1 (ja) | 加熱調理器および加熱調理システム | |
JPWO2018235703A1 (ja) | 加熱調理器 | |
JPWO2020054609A1 (ja) | 加熱調理器 | |
JP2018004225A (ja) | 加熱調理器 | |
JPWO2018186117A1 (ja) | 加熱調理器 | |
CN109844410B (zh) | 加热烹调器以及加热烹调器的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2018511970 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17782278 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17782278 Country of ref document: EP Kind code of ref document: A1 |