WO2018100956A1 - 加熱調理器および加熱調理器の制御方法 - Google Patents
加熱調理器および加熱調理器の制御方法 Download PDFInfo
- Publication number
- WO2018100956A1 WO2018100956A1 PCT/JP2017/039497 JP2017039497W WO2018100956A1 WO 2018100956 A1 WO2018100956 A1 WO 2018100956A1 JP 2017039497 W JP2017039497 W JP 2017039497W WO 2018100956 A1 WO2018100956 A1 WO 2018100956A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- heating
- door
- unit
- image
- heating chamber
- Prior art date
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
- F24C7/00—Stoves or ranges heated by electric energy
- F24C7/02—Stoves or ranges heated by electric energy using microwaves
Definitions
- the present disclosure relates to a heating cooker for heating food and a control method for the heating cooker.
- a microwave oven which is an example of a cooking device, can heat foods in containers without using pans and pans. For this reason, a store such as a convenience store sometimes uses a microwave oven to heat and provide food such as lunch boxes and side dishes.
- the store clerk can set the heating time by operating the numeric keys arranged on the operation unit of the microwave oven.
- the salesclerk can perform the heating suitable for the foodstuff by operating the button corresponding to the foodstuff to heat. .
- a camera that shoots the inside of the heating chamber of the microwave oven is provided on the ceiling of the chamber, and the barcode part is extracted from the image of the product placed in the chamber, and the barcode is read to convert the code information into the product.
- a technique for performing appropriate heating by calling the corresponding heating control content is also disclosed (for example, Patent Document 1).
- the entire range may vibrate due to an impact at the time of contact between the door portion and the heating cabinet case.
- the photographed image is blurred.
- the present invention when an object to be heated such as a lunch box or a prepared dish is placed in a heating chamber and the door is closed, vibration occurs due to an impact when the door contacts the casing of the heating chamber.
- the present invention provides a heating cooker and a control method thereof that can improve recognition accuracy and prevent time loss such that photographing and recognition cannot be started until vibration is reduced.
- the heating cooker of the present disclosure includes a heating chamber, an imaging unit that captures an image of the inside of the heating chamber, a storage unit that stores an image captured by the imaging unit, and an object to be heated placed in the heating chamber.
- a door that is opened and closed, a detection unit that detects opening and closing of the door, and a recognition unit that acquires heating control information related to the object to be heated from an image stored in the storage unit.
- the detection unit is configured to detect a predetermined timing width before the door is closed, and the recognition unit selects an image captured within the predetermined timing width from the images stored in the storage unit. And heating control information is obtained.
- control method of the heating cooker of the present disclosure includes a heating chamber, a photographing unit that images the inside of the heating chamber, a door that is opened and closed when placing an object to be heated in the heating chamber, It is a control method of a heating cooker provided with the detection part which detects opening and closing. Then, a predetermined timing width before the door is closed is detected, and an image photographed in the predetermined timing width is selected from images in the heating chamber photographed by the photographing unit, and the object to be heated is selected. It is a control method of the heating cooker which acquires heating control information.
- the present disclosure when an object to be heated such as a lunch box and a prepared dish is placed in a heating chamber and the door is closed, vibration is caused by an impact at the time of contact between the door and the casing of the heating chamber. Even if it occurs, recognition processing is performed using a captured image in the heating chamber that was captured before the vibration occurred. As a result, the recognition accuracy can be increased, and a time loss such that the photographing and recognition cannot be started until the vibration is stopped can be prevented.
- FIG. 1 is a perspective view showing the appearance of a microwave oven that is a typical cooking device according to the present embodiment.
- FIG. 2 is a diagram illustrating a schematic configuration of the microwave oven according to the first embodiment of the present disclosure.
- FIG. 3 is a diagram illustrating an example of a sticker attached to food in the first embodiment of the present disclosure.
- FIG. 4 is a flowchart illustrating the operation of the microwave oven according to the first embodiment of the present disclosure.
- FIG. 5 is a flowchart illustrating an operation of the microwave oven 1 according to the second embodiment of the present disclosure.
- FIG. 6 is a diagram illustrating a configuration of a heat cooking system according to another embodiment of the present disclosure.
- FIG. 7 is a diagram illustrating another configuration of the cooking system according to another embodiment of the present disclosure.
- FIG. 8 is a diagram illustrating still another configuration of the cooking system according to another embodiment of the present disclosure.
- the heating cooker according to the first aspect of the present disclosure includes a heating chamber, an imaging unit that images the inside of the heating chamber, a storage unit that stores an image captured by the imaging unit, and an object to be heated in the heating chamber.
- a detection unit that detects opening and closing of the door
- a recognition unit that acquires heating control information related to the object to be heated from an image stored in the storage unit.
- the detection unit is configured to detect a predetermined timing width before the door is closed, and the recognition unit selects an image captured within the predetermined timing width from the images stored in the storage unit. And heating control information is obtained.
- the switch that detects that the door is closed and the distance between the door and the casing of the heating chamber are detected to be equal to or less than a predetermined distance.
- a proximity sensor a proximity sensor.
- the detection unit is configured to have a predetermined timing width after the detection timing by the proximity sensor and before the detection timing by the switch.
- the door is predetermined with respect to the casing of the heating chamber from the images taken before the door is closed, regardless of operational variations such as the speed at which the user closes the door. It is possible to specify an image that has been photographed with a timing width that is close to a distance less than or equal to a distance close to the distance of.
- the detection unit calculates a difference between the plurality of images with respect to the plurality of temporally continuous images stored in the storage unit. By doing so, it is configured to detect a timing width in which a change in the illuminance environment in the heating chamber is stable, and to set the detected timing width as a predetermined timing width.
- a stable image with little influence of external light can be selected as a candidate image from the captured images in the heating chamber.
- the recognition unit is heated using a plurality of images that are stored in the storage unit and photographed at different timings. It is configured to obtain control information.
- the recognition unit further performs recognition processing on each of the plurality of candidate images, and takes the consistency of the recognition results, so that the recognition accuracy can be improved. Further, even when the recognition unit fails to recognize an image, recovery can be achieved by performing recognition using another candidate image.
- a heating chamber, a photographing unit that captures an image of the inside of the heating chamber, a door that is opened and closed when an object to be heated is placed in the heating chamber, and the opening and closing of the door are detected. It is a control method of a heating cooker provided with a detection part. Then, a predetermined timing width before the door is closed is detected, and an image photographed in the predetermined timing width is selected from images in the heating chamber photographed by the photographing unit, and the object to be heated is selected. It is a control method of the heating cooker which acquires heating control information.
- FIG. 1 is a perspective view showing an appearance of a microwave oven 1 that is a typical cooking device according to the present embodiment.
- 1 has a housing 2 and a door 3 pivotally supported by the housing 2 so as to be opened and closed.
- the door 3 has a transparent glass window 4 so that the user can see the inside of the housing 2. Furthermore, the door 3 has a handle 5 so that the user can easily grasp the door 3.
- the operation display unit 6 includes a liquid crystal display 7, a time setting button group 8, a heating start button 9, a cancel button 10, and a pause button 11.
- the microwave oven 1 captures a product that is an object to be heated, recognizes a heating control method displayed on the product, and heats the product using the heating control method. For this reason, the recognized heating control method (for example, heating time and wattage) is displayed on the liquid crystal display 7.
- the recognized heating control method for example, heating time and wattage
- the microwave oven 1 of the present embodiment has a time setting button group 8.
- the user can set the heating time by using the number buttons and the minute and second buttons of the time setting button group 8. At this time, the liquid crystal display 7 displays the set heating time and the like.
- the heating start button 9 is a button for starting heating after the user confirms the heating time, wattage, and the like by the liquid crystal display 7.
- the cancel button 10 is a button for pressing the heating start button 9 to stop heating after starting heating, or canceling the setting of the heating time displayed on the liquid crystal display 7.
- the pause button 11 is a button for temporarily stopping heating during heating. After the heating is temporarily stopped, the user can press the heating start button 9 again to perform the remaining heating from the middle.
- FIG. 2 is a diagram illustrating a schematic configuration of the microwave oven 1 according to the first embodiment of the present disclosure.
- the microwave oven 1 includes two magnetrons 13a and 13b that output microwaves in a heating chamber 12 that stores food 14 and the like.
- the heating cabinet 12 is provided inside the housing 2.
- the magnetron 13a is disposed on the ceiling side of the heating chamber 12, and outputs microwaves into the heating chamber 12 from above.
- the magnetron 13 b is disposed on the bottom side of the heating chamber 12, and outputs a microwave into the heating chamber 12 from below.
- a camera 15 (an example of a photographing unit) is disposed on the ceiling side of the heating chamber 12.
- the camera 15 includes, for example, an image sensor such as a CCD (Charge Coupled Device) and an optical element such as a lens, and performs imaging inside the heating chamber 12.
- CCD Charge Coupled Device
- the camera 15 captures food in the heating chamber 12, it is more accurate to capture the barcodes and characters on the food surface when the food is photographed from directly above than when the food is photographed obliquely. Is possible.
- the microwave when the microwave is applied to the camera 15, the camera 15 is damaged.
- a shutter that can be opened and closed is provided in front of the camera 15 so that the camera 15 is not exposed in the heating chamber 12. You may arrange.
- it is good also as a structure which moves the camera 15 (for example, rotation etc.) so that the camera 15 may not be exposed in the heating chamber 12.
- the switch 16a is a switch for detecting opening and closing of the door 3.
- the switch 16 a is provided in the housing 2.
- a protrusion is provided on the back surface of the handle 5 of the door 3, and the switch 16 a detects that the protrusion has contacted the recess of the housing 2.
- the switch 16a is not limited to the above-described form, and any form may be used as long as the opening / closing of the door 3 can be detected.
- the proximity sensor 16b is a sensor for detecting that the door 3 has approached the housing 2 of the heating cabinet 12 within a predetermined distance, that is, the door 3 is in a closed state.
- the control unit 100 controls each circuit of the microwave oven 1 and includes a microcomputer such as a CPU (Central Processing Unit).
- a microcomputer such as a CPU (Central Processing Unit).
- the control unit 100 includes a heating control unit 101, a recognition unit 102, a storage unit 103, and a detection unit 104.
- control unit 100 can also execute the functions of the heating control unit 101, the recognition unit 102, the storage unit 103, and the detection unit 104.
- the heating control unit 101, the recognition unit 102, the storage unit 103, and the detection unit 104 are arranged in the control unit 100.
- these configurations are realized by separate semiconductor elements. May be.
- a part of the configuration of the heating control unit 101, the recognition unit 102, the storage unit 103, and the detection unit 104 may be arranged in the control unit 100, and the other configuration may be arranged outside the control unit 100. .
- the control unit 100 may be in any form as long as it performs control described later.
- the control unit 100 may include an arithmetic processing unit and a storage unit that stores a control program.
- Examples of the arithmetic processing unit include an MPU (Micro Processing Unit) and a CPU (Central Processing Unit).
- a memory is exemplified as the storage unit.
- the control program recorded in the storage unit is executed by the arithmetic processing unit.
- the storage unit may be shared with or provided separately from the storage unit 103 described above.
- control unit 100 may be configured with hard logic. If the control unit 100 is configured by hard logic, it is effective in improving the processing speed.
- the control unit 100 may be composed of one semiconductor chip or physically composed of a plurality of semiconductor chips. When configured by a plurality of semiconductor chips, each control described later can be realized by a separate semiconductor chip.
- the heating control unit 101 controls the magnetron 13a and the magnetron 13b. Thereby, a to-be-heated target object is heated.
- the recognition unit 102 recognizes an object such as food and also recognizes a barcode and characters attached to the food from the image captured by the camera 15.
- the storage unit 103 continuously saves images taken by the camera 15.
- the detection unit 104 detects the door open / close state by the switch 16a and the proximity sensor 16b. Moreover, the detection part 104 may detect the state of the illumination environment in the heating chamber 12 from the captured image in the heating chamber 12 captured by the camera 15.
- FIG. 3 is a diagram illustrating an example of the seal 17 attached to the food according to the first embodiment of the present disclosure.
- a sticker 17 displaying heating power, heating time, and the like necessary for cooking the product described above is affixed to those products.
- heating control information the information for cooking, including the heating power and the heating time, is referred to as heating control information in the present embodiment.
- heating control information 19 is surrounded by a square frame 25 so that the heating control information can be easily extracted from these pieces of information.
- the seal 17 has a heating time when heating at 500 W, for example, as a standard heating time when heating in a general microwave oven for home use, and when heating at high power for a short time for business use.
- a reference heating time for example, the heating time when heating at 1500 W is also shown.
- the heating control information 19 is displayed as, for example, “500W 2:00 minutes 1500W 0 minutes 40 seconds”.
- the recognition unit 102 first recognizes the square frame 25 from the image captured by the camera 15.
- the recognition unit 102 recognizes the alphanumeric characters enclosed in the square frame 25, specifically, the character string “500W200 1500W040”.
- the recognition unit 102 recognizes the numeric string up to “W”, the 3-digit numeric string after “W”, the subsequent numeric string up to “W”, and “W”. Are broken down into three digit numbers, resulting in “500”, “200”, “1500”, and “040”.
- the recognizing unit 102 recognizes the first one-digit number as “minute” and the subsequent two-digit number as “second” for the second number string and the fourth number string.
- the recognition unit 102 corresponds to the heating power of the first number string and the time of the second number string, and corresponds to the heating power of the third number string and the time of the fourth number string.
- two kinds of heating control information “500W for 2 minutes” and “1500W for 40 seconds” are recognized.
- FIG. 4 is a flowchart showing the operation of the microwave oven 1 according to the first embodiment of the present disclosure.
- step S1 the detection unit 104 determines whether the door 3 is opened by turning on (or turning off) the switch 16a.
- the process proceeds to step S2.
- the detection unit 104 repeats step S1 until the door 3 is opened (S1, NO).
- step S ⁇ b> 2 the control unit 100 controls the camera 15 to take an image of the inside of the heating chamber 12 and continuously stores the taken image in the storage unit 103.
- step S3 the detection unit 104 determines whether or not the door 3 is closed by turning off (or turning on) the switch 16a. If the detection unit 104 determines that the door 3 is closed (S3, Yes), it interrupts shooting and proceeds to step S4. The detection unit 104 repeats step S3 until the door 3 is closed (S3, NO). Until the door 3 is closed, photographing inside the heating chamber 12 by the camera 15 is continuously performed.
- step S4 the control unit 100 selects a candidate image suitable for recognition processing from the images stored in the storage unit 103.
- the control unit 100 recognizes a captured image in the heating chamber 12 that is captured within a time of 200 milliseconds (within a predetermined timing width) before the door 3 is closed, which is detected by the detection unit 104. Is selected as a suitable candidate image.
- the control unit 100 captures 6 frames when captured by the camera 15 capable of capturing at 30 frames / second, and 2 frames when captured by the camera 15 capable of capturing at 10 frames / second, respectively. Select as a candidate image.
- the time of the candidate image selection timing width is not limited to 200 milliseconds before the door 3 is closed, for example, before the timing, but may be a value of about 100 to 300 milliseconds. Moreover, since the speed at which the door 3 is closed varies depending on the user, a different time may be set according to the user.
- the predetermined timing width is set to a timing width that is not easily affected by outside light before an impact occurs when the door 3 is closed.
- the microwave oven 1 since the front surface (transparent glass window 4) of the microwave oven 1 is covered with a punching metal for preventing electromagnetic waves, this functions as a light shielding portion, and the heating chamber 12 is closed with the door 3 closed. It is effective because the illuminance inside is stable.
- the detection unit 104 uses a proximity sensor 16b (for example, a magnetic sensor), and the door 3 is 5 cm from the housing of the heating chamber 12. Images taken between the timing when the proximity of the distance is detected and the timing when the detection unit 104 determines that the door 3 is closed by the switch 16a may be selected as a candidate image.
- a proximity sensor 16b for example, a magnetic sensor
- the predetermined timing width in which the influence of the external light is stabilized can be determined with higher accuracy.
- the timing width can be determined with an accuracy that is not problematic for practical use. Further, as described later, even when neither the proximity sensor 16b nor the switch 16a is provided, the predetermined timing width can be determined.
- the distance between the door 3 and the housing is not limited to 5 cm described above, and may be a value of about 3 to 7 cm. Moreover, since the speed which closes the door 3 changes with a user, according to a user, you may set a different distance.
- the detection part 104 calculates the difference of the image before and behind with respect to the several image in the heating chamber 12 continuously image
- the stability of the illuminance environment is determined based on 90% of the amount of change in luminance from when the door 3 is opened to when the door 3 is closed with reference to the maximum photographing luminance in the heating chamber 12 taken by the camera 15. When the value exceeds the value, it is determined that the influence of external light has decreased, and thus it has been stabilized.
- step S5 the control unit 100 recognizes a character string using one or a plurality of candidate images photographed by the camera 15 and stored in the storage unit 103, recognizes the heating control information, and proceeds to step S6. Proceed with the process.
- step S6 the recognition result for one candidate image or a plurality of candidate images obtained in step S5, that is, the consistency of the heating control information is confirmed, and the final heating condition is output.
- the recognition results for two candidate images are “500 W 2 minutes 1500 W 40 seconds” and “500 W 2 minutes 1500 W 10 seconds”, the recognition results do not match, so it is assumed that one of the heating information is incorrect, and heating The process is terminated without performing the control (S6, NO).
- the recognition result is obtained by performing recognition with one candidate image, or when the recognition results for a plurality of candidate images match, it is regarded as a recognition success (consistency) (S6, YES), The process proceeds to step S7.
- the control unit 100 confirms the consistency of the recognition results for the plurality of candidate images, so that heating based on incorrect heating control information is performed. Can be prevented.
- checking the consistency it may be confirmed that the recognition results match all of the plurality of candidate images, or may be determined to be a correct recognition result by matching not less than a predetermined number of recognition results. .
- step S ⁇ b> 7 the control unit 100 sets the heating time for cooking (for example, 40 seconds) suitable for the heating power of the microwave oven 1 to the liquid crystal display 7 among the heating control information recognized by the recognition unit 102. Display.
- step S8 the control unit 100 determines whether or not the heating start button 9 has been pressed. If it is determined that the heating start button 9 has been pressed (S8, YES), the process proceeds to step S9, and the heating control unit 101 controls the magnetrons 13a and 13b to start heating the object to be heated (S9). ). The control unit 100 repeats step S8 until the heating start button 9 is pressed (S8, NO).
- the user automatically sets the heating time without inputting the heating time of the product or selecting a button corresponding to the product. It is possible to set.
- the image was previously taken by the camera 15 before the door 3 was closed.
- the recognition unit 102 performs recognition using the image. As a result, it is possible to prevent a time loss in operation such that shooting cannot be started until the vibration is stopped.
- FIG. 5 is a flowchart illustrating an operation of the microwave oven 1 according to the second embodiment of the present disclosure.
- the difference between the first embodiment and the second embodiment is that, in the second embodiment, when there are a plurality of candidate images for recognition, some of the candidate images are recognized. Processing is performed, and the remaining candidate images are used as candidate images for recovery when recognition fails.
- step S5 the control unit 100 captures characters for some of the plurality of candidate images taken by the camera 15 and stored in the storage unit 103 as first candidates. Recognition is performed, heating control information is acquired, and the process proceeds to step S6. At this time, a single image may be recognized, or each of a plurality of images may be recognized and the consistency confirmed as in the first embodiment. It is good also as a recognition result in S5.
- step S6 the control unit 100 determines whether or not the recognition process performed in step S5 is successful. If successful (S6, YES), the process proceeds to step S7. If unsuccessful (S6, NO), the process proceeds to step S10.
- step S ⁇ b> 10 the control unit 100 checks whether another candidate image for recognition exists in the storage unit 103. When another candidate image exists (S10, YES), the control unit 100 returns the process to step S5. In step S5, recognition processing is performed using another candidate image. On the other hand, when there is no other candidate image (S10, NO), the control unit 100 ends the process without heating the food.
- the recognition unit 102 uses a part of the plurality of candidate images stored in the storage unit 103 as a recovery image at the time of recognition failure. Even when recognition fails for an image, it is possible to increase the recognition opportunities and to perform recovery. For this reason, it is possible to reduce the trouble of operation such as re-pressing the start button of the operator.
- microwave oven 1 which is a heating cooker showed the example which acquires and recognizes heating control information independently, this indication is not limited to this example.
- the cooking device can be configured to be connectable to a network, and can be implemented as a cooking system that controls the cooking device by a server on the network.
- 6 to 8 are diagrams each showing a configuration of a cooking system 300 to 302 according to another embodiment of the present disclosure.
- either or both of the processes performed by the recognition unit 102 and the storage unit 103 in the microwave oven 1 of the first embodiment are executed on the server 200 side. Thereby, the processing load by the recognition process etc. in a heating cooker can be reduced.
- the cooking system 300 includes a microwave oven 1 that is an example of a cooking device and a server 200.
- the heating control unit 101, the detection unit 104, and the camera 15 are controlled by the control unit 100 of the microwave oven 1.
- the microwave oven 1 includes a communication unit 109 that can communicate with the server 200.
- the server 200 includes a communication unit 202 that can communicate with the microwave oven 1, and the recognition unit 102 and the storage unit 103 are controlled by the control unit 201.
- the product is photographed by the camera 15 in the microwave oven 1, and a candidate image for extracting the heating control information is sent to the server 200.
- recognition processing, consistency check, and the like are performed, and the result is returned to the microwave oven 1.
- Candidate images are stored in the storage unit 103 on the server 200 side.
- the microwave oven 1 the product is cooked using the heating control information that is confirmed to be consistent.
- the cooking system 301 having the configuration shown in FIG. 7 differs from the cooking system 300 in FIG. 6 in that the storage unit 103 is mounted on the microwave oven side.
- the product is shot by the microwave oven 1 with the camera 15, and the image is stored in the storage unit 103 of the microwave oven 1.
- the extracted candidate images are sent to the server 200 to extract the heating control information.
- recognition processing, consistency check, and the like are performed, and the result is returned to the microwave oven 1.
- the product is cooked using the heating control information that is confirmed to be consistent.
- the product 15 is photographed by the microwave oven 1 and sent to the server 200.
- Candidate images are stored in the storage unit 103 of the server 200.
- recognition processing of a candidate image for extracting heating control information (this may be an image sent from the server 200), confirmation of consistency, and the like are performed, and there is consistency.
- the cooking of the product is performed using the heating control information confirmed as follows.
- the storage unit 103 is provided on the server 200 side as in the configuration of FIG. 8, it is not necessary to use a large capacity memory on the microwave oven 1 side, and a simple configuration can be realized.
- the user can read the heating control information printed on the product just by placing the product in the heating chamber, and appropriately heat the product accordingly. . Therefore, there is no troublesome setting, and in addition to a microwave oven used in a store, it can be applied to cooking appliances such as a microwave oven for home use, a rice cooker, and an IH cooking heater, and is useful. There is a possibility that the microwave oven for business use is bright and easily disposed in an eat-in space that is easily affected by outside light, and the contents of the present disclosure are particularly effective.
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Electric Ovens (AREA)
- Electric Stoves And Ranges (AREA)
Abstract
加熱調理器であって、加熱庫（１２）と、加熱庫（１２）内を撮影するカメラ（１５）と、カメラ（１５）で撮影された画像を記憶する記憶部（１０３）と、加熱庫（１２）内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部（１０４）とを備えている。そして、記憶部（１０３）に記憶された画像から、被加熱対象物に関する加熱制御情報を取得する認識部（１０２）、を備えている。検知部（１０４）は、ドアが閉められる以前の所定のタイミング幅を検知するように構成され、認識部（１０２）は、記憶部（１０３）に記憶された画像の中から、所定のタイミング幅において撮影された画像を選択して加熱制御情報を取得するように構成されている。
Description
本開示は、食品を加熱する加熱調理器および加熱調理器の制御方法に関する。
加熱調理器の一例である電子レンジは、鍋およびフライパンを使うことなく、食品を容器に入れたままで加熱することができる。このため、コンビニエンスストア等の販売店では、電子レンジを用いて、弁当および惣菜といった食品を加熱して提供する場合もある。
通常、弁当および総菜には、電子レンジで加熱するのに最適な加熱時間が表示されている。販売店の店員は、その表示を見て、電子レンジで加熱時間を設定するのが一般的である。
具体的には、店員は、電子レンジの操作部に配置された数字キーを操作することにより、加熱時間の設定を行うことができる。また、加熱時間およびワット数に対応する調理ボタンを複数備えた電子レンジを使用する場合、店員は、加熱する食品に対応するボタンを操作することで、その食品に適した加熱を行うことができる。
しかしながら、加熱時間を数字キーで設定するのは操作が煩わしいという問題がある。また、複数の操作ボタンそれぞれに異なる食品の加熱時間が割り当てられた電子レンジでは、店員が、複数のボタンそれぞれと食品との対応関係を憶える必要がある。よって、商品の種類が増えれば増えるだけ、店員がこの対応関係を憶える負担が増えるという問題がある。
このような問題を解決するために、店員が、商品に添付されているバーコードの情報を読み取ると、バーコードに対応する加熱制御内容で商品を加熱する電子レンジを提供することが考えられる。
または、電子レンジの加熱庫内を撮影するカメラを庫内天井面に備え、庫内に投入された商品の画像からバーコード部分を抽出し、そのバーコードを読み取ることで、コード情報から商品に対応した加熱制御内容を呼び出して、適切な加熱を行う技術も開示されている（例えば特許文献１）。
このような電子レンジにおいて、認識を実施した対象の食品と、実際に調理を行う対象の食品とが同一のものであることを保証するためには、電子レンジのドアを閉めた後に、撮影と認識とを行う必要がある。また、ぶれのない安定した撮影画像を得るためにも、認識対象の食品の静止状態が保証される、ドアを閉めた後に、撮影と認識処理とを行うことが好ましい。
しかしながら、電子レンジのドアを閉める際に、ドア部と加熱庫筐体部との接触時の衝撃により、レンジ全体が振動する場合がある。この場合、振動が収まる前に撮影を開始すると、撮影画像にぶれが生じてしまう。認識に適した、ぶれのない撮影画像を得るためには、振動が収まるまで待った後に、撮影と認識処理とを開始すればよいが、時間的なロスを生じてしまう。
本開示は、加熱庫内に弁当または総菜等の加熱対象となる被加熱対象物を入れ、ドアを閉めた際に、ドアと加熱庫の筐体との接触時の衝撃により振動が発生した場合にも、認識精度を高めることができ、また、振動が収まるまで、撮影および認識を開始できないといった時間的なロスを防ぐことができる、加熱調理器およびその制御方法を提供するものである。
本開示の加熱調理器は、加熱庫と、加熱庫内を撮影する撮影部と、撮影部で撮影された画像を記憶する記憶部と、加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部と、記憶部に記憶された画像から、被加熱対象物に関する加熱制御情報を取得する認識部と、を備えている。そして、検知部は、ドアが閉められる以前の所定のタイミング幅を検知するように構成され、認識部は、記憶部に記憶された画像の中から、所定のタイミング幅において撮影された画像を選択して加熱制御情報を取得するように構成されている。
また、本開示の加熱調理器の制御方法は、加熱庫と、加熱庫内を撮影する撮影部と、加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部と、を備える加熱調理器の制御方法である。そして、ドアが閉められる以前の所定のタイミング幅を検知し、撮影部で撮影された、加熱庫内の画像の中から、所定のタイミング幅において撮影された画像を選択して被加熱対象物に関する加熱制御情報を取得する加熱調理器の制御方法である。
本開示によれば、加熱庫内に弁当および総菜等の加熱対象となる被加熱対象物を入れ、ドアを閉めた際に、ドアと加熱庫の筐体との接触時の衝撃等により振動が発生した場合にも、振動が発生する以前に撮影した加熱庫内の撮影画像を用いて認識処理を行う。これにより、認識精度を高めることができ、また、振動が収まるまで撮影および認識を開始できないといった、時間的なロスを防ぐことができる。
（本開示が取り得る態様の一例）
本開示の第１の態様の加熱調理器は、加熱庫と、加熱庫内を撮影する撮影部と、撮影部で撮影された画像を記憶する記憶部と、加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部と、記憶部に記憶された画像から、被加熱対象物に関する加熱制御情報を取得する認識部と、を備えている。そして、検知部は、ドアが閉められる以前の所定のタイミング幅を検知するように構成され、認識部は、記憶部に記憶された画像の中から、所定のタイミング幅において撮影された画像を選択して加熱制御情報を取得するように構成されている。
本開示の第１の態様の加熱調理器は、加熱庫と、加熱庫内を撮影する撮影部と、撮影部で撮影された画像を記憶する記憶部と、加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部と、記憶部に記憶された画像から、被加熱対象物に関する加熱制御情報を取得する認識部と、を備えている。そして、検知部は、ドアが閉められる以前の所定のタイミング幅を検知するように構成され、認識部は、記憶部に記憶された画像の中から、所定のタイミング幅において撮影された画像を選択して加熱制御情報を取得するように構成されている。
この構成により、ドアを閉めた際の衝撃による振動の影響を受ける以前の、ぶれのない画像を取得でき、その画像を用いて認識処理を行うので、認識精度を高めることができ、また振動が収まるまで、撮影および認識を開始できないといった、時間的なロスを防ぐことができる。
本開示の第２の態様は、第１の態様において、ドアが閉められたことを検知するスイッチと、ドアと加熱庫の筐体との距離が、所定の距離以下になったことを検知する近接センサと、をさらに備えている。そして、検知部は、近接センサによる検知のタイミング以降、かつ、スイッチによる検知のタイミング以前を、所定のタイミング幅とするように構成されている。
この構成によれば、さらに、利用者がドアを閉める速度等の、操作上のばらつきに関わらず、ドアを閉める以前に撮影された画像の中から、ドアが加熱庫の筐体に対して所定の距離以下まで近づき、閉じかけた状態となったタイミング幅で撮影された画像を特定することができる。
本開示の第３の態様は、第１の態様において、検知部は、記憶部に記憶された、加熱庫内の時間的に連続した複数の画像に対して、複数の画像間の差分を計算することにより、加熱庫内の照度環境の変化が安定したタイミング幅を検知して、検知されたタイミング幅を、所定のタイミング幅とするように構成されている。
この構成によれば、さらに、加熱庫内の撮影画像の中から、外光の影響の少ない安定した画像を候補画像として選出することができる。
本開示の第４の態様は、第１の態様から第３の態様までのいずれかの態様において、認識部は、記憶部に記憶された、異なるタイミングで撮影された複数の画像を用いて加熱制御情報を取得するように構成されている。
この構成によれば、さらに、認識部が複数の候補画像に対してそれぞれ認識処理を行い、認識結果の整合性を取るので、認識精度を高めることができる。また、認識部が、ある画像に対して認識に失敗した場合にも、別の候補画像を用いて認識を行うことでリカバリーを図ることができる。
本開示の第５の態様は、加熱庫と、加熱庫内を撮影する撮影部と、加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部と、を備える加熱調理器の制御方法である。そして、ドアが閉められる以前の所定のタイミング幅を検知し、撮影部で撮影された、加熱庫内の画像の中から、所定のタイミング幅において撮影された画像を選択して被加熱対象物に関する加熱制御情報を取得する加熱調理器の制御方法である。
この方法により、ドアを閉めた際の衝撃による振動の影響を受ける以前の、ぶれのない画像を取得でき、その画像を用いて認識処理を行うので、認識精度を高めることができ、また振動が収まるまで、撮影および認識を開始できないといった、時間的なロスを防ぐことができる。
以下、適宜図面を参照しながら、本開示の実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、および、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより、特許請求の範囲に記載の主題を限定することは意図されていない。
（第１の実施の形態）
図１は、本実施の形態に係る代表的な加熱調理器である電子レンジ１の外観を示す斜視図である。
図１は、本実施の形態に係る代表的な加熱調理器である電子レンジ１の外観を示す斜視図である。
図１に示される電子レンジ１は、筐体２と、筐体２に開閉可能に軸支されたドア３と、を有している。
ドア３は、使用者が筐体２の内部を見ることができるように、透明のガラス窓４を有している。さらに、使用者がドア３を掴みやすいように、ドア３は取っ手５を有している。
ドア３の隣には、操作表示部６が配置されている。操作表示部６は、液晶表示器７、時間設定ボタン群８、加熱開始ボタン９、取消ボタン１０および一時停止ボタン１１を備えている。
本実施の形態の電子レンジ１は、被加熱対象物である商品を撮影し、商品に表示されている加熱制御方法を認識して、その加熱制御方法で商品を加熱するものである。このため、液晶表示器７には、認識した加熱制御方法（例えば、加熱時間およびワット数等）が表示される。
しかし、電子レンジ１が、加熱制御方法を正確に認識できない場合、および、加熱時間が表示されていない商品を加熱する場合も有り得る。
このため、本実施の形態の電子レンジ１は、時間設定ボタン群８を有している。
使用者は、時間設定ボタン群８の、数字ボタン、ならびに、分および秒のボタンを使用することにより、加熱時間を設定することができる。このとき、液晶表示器７は、設定された加熱時間等を表示する。
加熱開始ボタン９は、使用者が、液晶表示器７により、加熱時間およびワット数等を確認した後、加熱を開始するためのボタンである。取消ボタン１０は、加熱開始ボタン９を押下して、加熱を開始した後に加熱を停止するため、または、液晶表示器７に表示された加熱時間の設定を取り消すための、ボタンである。
一時停止ボタン１１は、加熱途中で、加熱を一時的に停止させるためのボタンである。加熱を一時停止させた後に、使用者が、加熱開始ボタン９を再度押下することで、途中から残りの加熱を行うことが可能である。
図２は、本開示の第１の実施の形態に係る電子レンジ１の概略構成を示す図である。
電子レンジ１は、食品１４等を収納する加熱庫１２内に、マイクロ波を出力する二つのマグネトロン１３ａ，１３ｂを備えている。加熱庫１２は、筐体２の内部に設けられている。
マグネトロン１３ａは、加熱庫１２の天井側に配置されており、上部から、加熱庫１２内にマイクロ波を出力する。一方、マグネトロン１３ｂは、加熱庫１２の底面側に配置されており、下部から、加熱庫１２内にマイクロ波を出力する。
加熱庫１２の天井側には、カメラ１５（撮影部の一例）が配置されている。カメラ１５は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のような撮像素子と、レンズ等の光学素子とからなり、加熱庫１２内部の撮影を行う。
カメラ１５が加熱庫１２内の食品を撮影する際には、食品を斜めから撮影するよりも、真上から撮影した方が、食品表面に記載されているバーコードおよび文字等を、正確に撮影することが可能である。
また、カメラ１５にマイクロ波が当たると、カメラ１５を破損させるため、食品を加熱する際には、カメラ１５が加熱庫１２内に露出しないように、カメラ１５の前方に、開閉可能なシャッターを配置してもよい。また、食品を加熱する際には、カメラ１５が加熱庫１２内に露出しないように、カメラ１５を移動（例えば、回転等）させる構成としてもよい。
スイッチ１６ａは、ドア３の開閉を検出するためのスイッチである。スイッチ１６ａは、筐体２に設けられる。ドア３の取っ手５の裏面には突起部が設けられており、スイッチ１６ａは、この突起部が、筐体２の凹部に接触したことを検出する。なお、スイッチ１６ａは、上述した形態に限定されず、ドア３の開閉を検知できれば、どのような形態であってもよい。
近接センサ１６ｂは、ドア３が加熱庫１２の筐体２に対して所定の距離以内に近づいたこと、すなわち、ドア３が閉じかけた状態になっていることを検出するためのセンサである。
制御部１００は、電子レンジ１の各回路の制御を司り、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなマイクロコンピュータからなる。
制御部１００は、加熱制御部１０１、認識部１０２、記憶部１０３および検知部１０４を有している。
換言すれば、制御部１００は、加熱制御部１０１、認識部１０２、記憶部１０３および検知部１０４の機能を実行するということもできる。
なお、本実施の形態では、加熱制御部１０１、認識部１０２、記憶部１０３および検知部１０４が、制御部１００内に配置された構成としたが、これらの構成が別々の半導体素子で実現されてもよい。または、加熱制御部１０１、認識部１０２、記憶部１０３および検知部１０４の内、一部の構成が制御部１００内に配置され、その他の構成が制御部１００外部に配置される構成としてもよい。
なお、この制御部１００は、後述する制御を行うものであれば、どのような形態であってもよい。制御部１００は、演算処理部と、制御プログラムを記憶する記憶部とで構成されていてもよい。演算処理部としては、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が例示される。記憶部としては、メモリが例示される。記憶部に記録されている制御プログラムが、演算処理部によって実行される。この場合の記憶部は前述の記憶部１０３と共用でも別に設けられてもよい。
また、制御部１００は、ハードロジックで構成されてもよい。制御部１００をハードロジックで構成すれば、処理速度の向上に有効である。制御部１００は、一つの半導体チップで構成されてもよいし、物理的に複数の半導体チップで構成されてもよい。複数の半導体チップで構成した場合には、後述する各制御を、それぞれ別の半導体チップで実現することもできる。
加熱制御部１０１は、マグネトロン１３ａおよびマグネトロン１３ｂの制御を行う。これにより、被加熱対象物が加熱される。
認識部１０２は、カメラ１５が撮影した画像から、食品等の物体の認識、ならびに、食品等に付されたバーコードおよび文字等の認識を行う。
記憶部１０３は、カメラ１５により撮影された画像を継続的に保存する。
検知部１０４は、スイッチ１６ａおよび近接センサ１６ｂによりドア開閉の状態を検知する。また、検知部１０４は、カメラ１５が撮影した加熱庫１２内の撮影画像により、加熱庫１２内の照度環境の状態を検知する場合もある。
図３は、本開示の第１の実施の形態における、食品に貼られるシール１７の一例を示す図である。
加熱庫１２に、弁当、おにぎり、および惣菜等の被加熱対象物である商品が入れられて、加熱される。それらの商品には、先ほど説明した、商品を調理するために必要な、加熱パワーと加熱時間等が表示されたシール１７が貼付されている。
なお、これらの、加熱パワーおよび加熱時間を含む、調理を行うための情報を、本実施の形態では加熱制御情報と称する。
シール１７には、商品名１８、加熱制御情報１９、金額情報２０、消費期限情報２１、商品を特定するバーコード２２、栄養情報２３、および、お知らせ情報２４、の各種情報が表示されている。本実施の形態では、これらの情報から加熱制御情報を抽出しやすいように、加熱制御情報１９が、四角枠２５で囲まれている。
また、このシール１７には、一般的な家庭用の電子レンジで加熱する時の目安の加熱時間として、例えば５００Ｗで加熱する場合の加熱時間と、業務用として大パワーで短時間加熱する時の目安の加熱時間として、例えば１５００Ｗで加熱する場合の加熱時間とが併記されている。
図３の例では、加熱制御情報１９が、例えば「５００Ｗ ２分００秒 １５００Ｗ ０分４０秒」と表示されている。
使用者が、ドア３を開けて食品を入れるとき、カメラ１５が加熱庫１２内の撮影を行っている。そして、認識部１０２が、カメラ１５が撮影した画像から、この加熱制御情報１９が表示されている個所を認識し、この加熱制御情報１９の文字および数字を認識する。
具体的には、認識部１０２は、まず、カメラ１５が撮影した画像から、四角枠２５を認識する。
次に、認識部１０２は、この四角枠２５で囲まれた中の英数字、具体的には、「５００Ｗ２００ １５００Ｗ０４０」という文字列を認識する。
そして、予め定められた解析ルールに従い、認識部１０２は、「Ｗ」までの数字列、「Ｗ」の後の３桁の数字列、それに続く「Ｗ」までの数字列、および、「Ｗ」の後の３桁の数字列に分解して、「５００」、「２００」、「１５００」、「０４０」とする。
さらに、認識部１０２は、２番目の数字列と４番目の数字列について、最初の１桁の数字を「分」、後の２桁の数字を「秒」として認識する。また認識部１０２は、１番目の数字列の加熱パワーと、２番目の数字列の時間とが対応し、かつ、３番目の数字列の加熱パワーと、４番目の数字列の時間とが対応していると認識し、「５００Ｗで２分」、「１５００Ｗで４０秒」という二通りの加熱制御情報を認識する。
図４は、本開示の第１の実施の形態における、電子レンジ１の動作を示すフローチャートである。
図４において、まず、ステップＳ１において、検知部１０４は、スイッチ１６ａのオン（またはオフ）により、ドア３が開いたか否かを判定する。検知部１０４は、ドア３が開いたと判定すると（Ｓ１，Ｙｅｓ）、ステップＳ２へ処理を進める。検知部１０４は、ドア３が開くまでは、ステップＳ１を繰り返す（Ｓ１，ＮＯ）。
ステップＳ２において、制御部１００は、カメラ１５を制御することにより、加熱庫１２内部の撮影を行い、撮影された画像を、継続的に記憶部１０３に記憶する。
ステップＳ３において、検知部１０４は、スイッチ１６ａのオフ（またはオン）により、ドア３が閉まったか否かを判定する。検知部１０４は、ドア３が閉まったと判定すると（Ｓ３，Ｙｅｓ）、撮影を中断して、ステップＳ４へ処理を進める。検知部１０４は、ドア３が閉まるまでは、ステップＳ３を繰り返す（Ｓ３，ＮＯ）。ドア３が閉まるまで、カメラ１５による加熱庫１２内部の撮影は、継続的に行われている。
ステップＳ４では、制御部１００は、記憶部１０３に記憶された画像の中から、認識処理に適した候補画像を選出する。ここで、制御部１００は、検知部１０４が検知した、ドア３が閉まるタイミング以前の２００ミリ秒の時間内（所定のタイミング幅内）に撮影された加熱庫１２内の撮影画像を、認識処理に適した候補画像として選出する。制御部１００は、例えば、３０フレーム／秒で撮影可能なカメラ１５で撮影した場合には６フレーム分を、１０フレーム／秒で撮影可能なカメラ１５で撮影した場合には２フレーム分を、それぞれ候補画像として選出する。
なお、候補画像の選出タイミング幅の時間は、上述した、ドア３が閉まる直前、例えばタイミング以前の２００ミリ秒に限定されず、１００～３００ミリ秒程度の値であってもよい。また、使用者によりドア３を閉める速度が変わってくるために、使用者に応じて、異なる時間を設定してもよい。
この所定のタイミング幅は、ドア３が閉まる際の衝撃が発生する前で、かつ、外光の影響を受けにくいタイミング幅に設定することが望ましい。
本実施の形態の方法は、電子レンジ１の前面（透明ガラス窓４）が電磁波防止用のパンチングメタルで覆われているため、これが遮光部として機能し、ドア３を閉じた状態で加熱庫１２内の照度が安定するので、有効である。
ここで、ドア３が閉まる直前のタイミング幅を規定する別の手段として、検知部１０４が、近接センサ１６ｂ（例えば磁気センサ）を用いて、ドア３が加熱庫１２の筐体に対して５ｃｍの距離内に近づいたことを検知したタイミングから、検知部１０４がスイッチ１６ａによりドア３が閉まったと判定したタイミングまでに撮影された画像を、候補画像として選出してもよい。
このように、近接センサ１６ｂおよびスイッチ１６ａを併用することで、より高い精度で、外光の影響が安定する所定のタイミング幅を決定することができるが、いずれかを有しない構成であっても、実用性に問題のない精度でタイミング幅を決定することができる。また、後述のように、近接センサ１６ｂおよびスイッチ１６ａのいずれも有しない場合であっても、所定のタイミング幅を決定することが可能である。
なお、ドア３と筐体との距離は、上述した５ｃｍに限定されず、３～７ｃｍ程度の値であってもよい。また、使用者によりドア３を閉める速度が変わるために、使用者に応じて、異なる距離を設定してもよい。
また、検知部１０４が、カメラ１５により連続的に撮影された加熱庫１２内の複数の画像に対し、前後の画像の差分を計算し、加熱庫１２内部の照度環境の変化が安定したタイミングを検出して、そのタイミングから、検知部１０４がスイッチ１６ａによりドア３が閉まったと判定したタイミングまでに撮影された画像を、安定した照度環境で撮影された画像として、候補画像として選出してもよい。この場合には、認識精度向上のための、候補画像の絞り込みを行うことができる。
ここで、照度環境の安定の判断は、ドア３が開いてからカメラ１５が撮影した加熱庫１２内の最大撮影輝度を基準として、ドア３を閉めた時点までの輝度変化量のうち、９０％を超えた時点で、外光の影響が低下したとして、安定したと判断する。
前述の各種方法により、認識に用いる候補画像を選出した後、ステップＳ５へと処理を進める。
ステップＳ５では、制御部１００は、カメラ１５で撮影され、記憶部１０３に記憶された、一または複数の候補画像を用いて、文字列の認識を行い、加熱制御情報を認識し、ステップＳ６へ処理を進める。
ステップＳ６では、ステップＳ５で得られた、一枚の候補画像または複数の候補画像それぞれに対する認識結果、つまり加熱制御情報の整合性を確認し、最終的な加熱条件を出力する。
例えば、候補画像の２枚に対する認識結果が、「５００Ｗ２分 １５００Ｗ４０秒」と「５００Ｗ２分 １５００Ｗ１０秒」であった場合、認識結果が一致しないため、どちらかの加熱情報が誤っているものとして、加熱制御は行わずに処理を終了する（Ｓ６，ＮＯ）。一枚の候補画像で認識を行って認識結果が得られた場合、または、複数の候補画像に対する認識結果が一致した場合には、認識成功（整合性がある）とみなし（Ｓ６，ＹＥＳ）、ステップＳ７に処理を進める。
このように、認識対象の候補画像が複数の場合、制御部１００が、複数の候補画像に対する認識結果の整合性を確認することによって、誤った加熱制御情報に基づいた加熱が実施されることを防ぐことができる。なお、整合性を確認する際、複数の候補画像全てに対する認識結果の一致を確認してもよいし、全てではなく、所定数以上の認識結果の一致により、正しい認識結果と判断してもよい。
ステップＳ７において、制御部１００は、認識部１０２が認識した加熱制御情報のうち、電子レンジ１の加熱パワーに適した、調理を行うための加熱時間（例えば、４０秒）を液晶表示器７に表示させる。
ステップＳ８において、制御部１００は、加熱開始ボタン９が押下されたか否かを判定する。加熱開始ボタン９が押下されたと判定すると（Ｓ８，ＹＥＳ）、ステップＳ９へ処理を進めて、加熱制御部１０１がマグネトロン１３ａ，１３ｂを制御して、被加熱対象物の加熱が開始される（Ｓ９）。制御部１００は、加熱開始ボタン９が押下されるまでは、ステップＳ８を繰り返す（Ｓ８，ＮＯ）。
このようにして、本開示の第１の実施の形態によれば、使用者が、商品の加熱時間を入力したり、商品に対応したボタンを選択したりすることなく、自動的に加熱時間を設定することが可能である。また、操作者がドア３を閉じた際に、ドア３と加熱庫１２の筐体部等との衝突により振動が発生した場合にも、ドア３を閉じる以前に、予めカメラ１５によって撮影された画像を用いて認識部１０２が認識を行う。これにより、振動が収まるまで撮影が開始できないといった、操作上の時間的なロスを防ぐことができる。
（第２の実施の形態）
次に、本開示の第２の実施の形態について、図５のフローチャートを用いて説明する。
次に、本開示の第２の実施の形態について、図５のフローチャートを用いて説明する。
図５は、本開示の第２の実施の形態における、電子レンジ１の動作を示すフローチャートである。
第１の実施の形態と第２の実施の形態とで異なるところは、第２の実施の形態においては、認識用に複数の候補画像が存在する場合に、一部の候補画像に対して認識処理を行い、残りの候補画像が、認識に失敗した場合のリカバリー用の候補画像として使用される点にある。
以下では、第１の実施の形態と異なる点のみについて説明を行い、同じ制御を行う点については説明を省略する。
本実施の形態においては、ステップＳ５において、制御部１００は、カメラ１５で撮影され、記憶部１０３に記憶された複数の候補画像の内、第一候補となる一部の画像に対して、文字認識を行い、加熱制御情報を取得して、ステップＳ６へ処理を進める。なお、この際、一枚の画像に対して認識を行ってもよいし、第１の実施の形態のように、複数の画像それぞれに対して認識を行い、整合性を確認した結果を、ステップＳ５における認識結果としてもよい。
ステップＳ６において、制御部１００は、ステップＳ５で実施された認識処理が成功したかどうかを判断する。成功した場合（Ｓ６，ＹＥＳ）には、ステップＳ７へ処理を進める。失敗した場合（Ｓ６，ＮＯ）には、ステップＳ１０に処理を進める。
ステップＳ１０において、制御部１００は、記憶部１０３に、認識用の別の候補画像が存在するかどうかを調べる。他の候補画像が存在する場合（Ｓ１０，ＹＥＳ）、制御部１００は、ステップＳ５に処理を戻す。ステップＳ５においては、別の候補画像を用いて、認識処理が行われる。一方、他の候補画像が存在しない場合（Ｓ１０，ＮＯ）、制御部１００は、食品の加熱をせずに処理を終了する。
このように、第２の実施の形態では、認識部１０２が、記憶部１０３に記憶された複数の候補画像の一部を、認識失敗時のリカバリー用の画像として使用するため、一部の候補画像に対して認識が失敗した場合にも、認識の機会を増やしてリカバリーを図ることができる。このため、操作者の開始ボタンの押し直し等の、操作の手間を減らすことができる。
（他の実施の形態）
上述した実施の形態においては、加熱調理器である電子レンジ１が、単独で、加熱制御情報の取得、認識処理を行う例を示したが、本開示はこの例に限定されない。
上述した実施の形態においては、加熱調理器である電子レンジ１が、単独で、加熱制御情報の取得、認識処理を行う例を示したが、本開示はこの例に限定されない。
例えば、加熱調理器をネットワークと接続可能に構成し、ネットワーク上のサーバにより、加熱調理器を制御する加熱調理システムとして実施することも可能である。
図６～図８は、それぞれ、本開示の他の実施の形態における、加熱調理システム３００～３０２の構成を示す図である。
加熱調理システム３００～３０２においては、第１の実施の形態の電子レンジ１における、認識部１０２および記憶部１０３が行う処理の両方またはいずれかがサーバ２００側で実行される。これにより、加熱調理器における認識処理等による処理負荷を軽減することができる。
例えば、図６の構成においては、加熱調理システム３００は、加熱調理器の一例である電子レンジ１と、サーバ２００とを備えている。電子レンジ１の制御部１００によって、加熱制御部１０１、検知部１０４およびカメラ１５が制御されている。また、電子レンジ１は、サーバ２００と通信可能な通信部１０９を有している。
サーバ２００は、電子レンジ１と通信可能な通信部２０２を有しており、制御部２０１によって、認識部１０２および記憶部１０３が制御されている。
このような構成においては、カメラ１５による商品の撮影が電子レンジ１にて行われ、加熱制御情報を抽出するための候補画像がサーバ２００に送られる。サーバ２００では、認識処理および整合性の確認等が行われ、その結果が電子レンジ１に返される。候補画像は、サーバ２００側の記憶部１０３に記憶される。電子レンジ１では、整合性があると確認された加熱制御情報を用いて、商品の加熱調理が行われる。
次に、図７に示された構成の加熱調理システム３０１は、図６の加熱調理システム３００の構成と比較して、記憶部１０３が電子レンジ側に搭載されている点が異なる。
このような構成によれば、カメラ１５による商品の撮影が電子レンジ１にて行われ、画像が電子レンジ１の記憶部１０３に記憶される。加熱制御情報を抽出するために抽出された候補画像がサーバ２００に送られる。サーバ２００では、認識処理および整合性の確認等が行われ、その結果が電子レンジ１に返される。電子レンジ１では、整合性があると確認された加熱制御情報を用いて、商品の加熱調理が行われる。
また、図８の構成の加熱調理システム３０２は、図６の加熱調理システム３００の構成と比較して、認識部１０２が電子レンジ側に搭載されている点が異なる。
このような構成においては、カメラ１５による商品の撮影が電子レンジ１にて行われ、サーバ２００に送られる。候補画像は、サーバ２００の記憶部１０３に記憶される。電子レンジ１側では、加熱制御情報を抽出するための候補画像（これは、サーバ２００から送られた画像であってもよい）の認識処理および整合性の確認等が行われ、整合性があると確認された加熱制御情報を用いて、商品の加熱調理が行われる。
図８の構成のように、記憶部１０３をサーバ２００側に有する構成とすれば、電子レンジ１側に大きな容量のメモリを用いる必要がなくなり、簡易な構成を実現することができる。
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、および省略等を行うことができる。
以上述べたように、本開示によれば、使用者は、商品を加熱庫内に入れるだけで、その商品に印刷されている加熱制御情報を読み取って、その通りに適切に加熱することができる。よって、設定の煩わしさがなく、販売店で使われる電子レンジの他、家庭用の電子レンジ、炊飯器およびＩＨクッキングヒータ等、調理器全般に適用でき、有用である。業務用の電子レンジは、明るく外光の影響の受けやすいイートインスペースに配置される可能性があり、本開示の内容が特に有効である。
１ 電子レンジ
２ 筐体
３ ドア
４ ガラス窓
５ 取っ手
６ 操作表示部
７ 液晶表示器
８ 時間設定ボタン群
９ 加熱開始ボタン
１０ 取消ボタン
１１ 一時停止ボタン
１２ 加熱庫
１３ａ，１３ｂ マグネトロン
１４ 食品
１５ カメラ
１６ａ スイッチ
１６ｂ 近接センサ
１７ シール
１８ 商品名
１９ 加熱制御情報
２０ 金額情報
２１ 消費期限情報
２２ バーコード
２３ 栄養情報
２４ お知らせ情報
２５ 四角枠
１００ 制御部
１０１ 加熱制御部
１０２ 認識部
１０３ 記憶部
１０４ 検知部
１０９ 通信部
２００ サーバ
２０１ 制御部
２０２ 通信部
３００，３０１，３０２ 加熱調理システム
２ 筐体
３ ドア
４ ガラス窓
５ 取っ手
６ 操作表示部
７ 液晶表示器
８ 時間設定ボタン群
９ 加熱開始ボタン
１０ 取消ボタン
１１ 一時停止ボタン
１２ 加熱庫
１３ａ，１３ｂ マグネトロン
１４ 食品
１５ カメラ
１６ａ スイッチ
１６ｂ 近接センサ
１７ シール
１８ 商品名
１９ 加熱制御情報
２０ 金額情報
２１ 消費期限情報
２２ バーコード
２３ 栄養情報
２４ お知らせ情報
２５ 四角枠
１００ 制御部
１０１ 加熱制御部
１０２ 認識部
１０３ 記憶部
１０４ 検知部
１０９ 通信部
２００ サーバ
２０１ 制御部
２０２ 通信部
３００，３０１，３０２ 加熱調理システム
Claims (5)
- 加熱庫と、
前記加熱庫内を撮影する撮影部と、
前記撮影部で撮影された画像を記憶する記憶部と、
前記加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、
前記ドアの開閉を検知する検知部と、
前記記憶部に記憶された画像から、前記被加熱対象物に関する加熱制御情報を取得する認識部と、を備え、
前記検知部は、前記ドアが閉められる以前の所定のタイミング幅を検知するように構成され、
前記認識部は、前記記憶部に記憶された前記画像の中から、前記所定のタイミング幅において撮影された画像を選択して前記加熱制御情報を取得するように構成された
加熱調理器。 - 前記ドアが閉められたことを検知するスイッチと、
前記ドアと前記加熱庫の筐体との距離が、所定の距離以下になったことを検知する近接センサと、をさらに備え、
前記検知部は、前記近接センサによる検知のタイミング以降、かつ、前記スイッチによる検知のタイミング以前を、前記所定のタイミング幅とするように構成された
請求項１に記載の加熱調理器。 - 前記検知部は、前記記憶部に記憶された、前記加熱庫内の時間的に連続した複数の前記画像に対して、前記複数の画像間の差分を計算することにより、前記加熱庫内の照度環境の変化が安定したタイミング幅を検知して、検知された前記タイミング幅を、前記所定のタイミング幅とするように構成された
請求項１に記載の加熱調理器。 - 前記認識部は、前記記憶部に記憶された、異なるタイミングで撮影された複数の前記画像を用いて前記加熱制御情報を取得するように構成された
請求項１から請求項３までのいずれか１項に記載の加熱調理器。 - 加熱庫と、
前記加熱庫内を撮影する撮影部と、
前記加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、
前記ドアの開閉を検知する検知部と、を備える加熱調理器の制御方法であって、
前記ドアが閉められる以前の所定のタイミング幅を検知し、
前記撮影部で撮影された、前記加熱庫内の画像の中から、前記所定のタイミング幅において撮影された画像を選択して前記被加熱対象物に関する加熱制御情報を取得する
加熱調理器の制御方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018553726A JP6906147B2 (ja) | 2016-11-29 | 2017-11-01 | 加熱調理器および加熱調理器の制御方法 |
| CN201780071244.0A CN109964083B (zh) | 2016-11-29 | 2017-11-01 | 加热烹调器以及加热烹调器的控制方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016230889 | 2016-11-29 | ||
| JP2016-230889 | 2016-11-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018100956A1 true WO2018100956A1 (ja) | 2018-06-07 |
Family
ID=62242123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/039497 WO2018100956A1 (ja) | 2016-11-29 | 2017-11-01 | 加熱調理器および加熱調理器の制御方法 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP6906147B2 (ja) |
| CN (1) | CN109964083B (ja) |
| WO (1) | WO2018100956A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020200969A1 (de) * | 2019-04-05 | 2020-10-08 | BSH Hausgeräte GmbH | Haushalts-gargerät mit garraumkamera und verfahren zum betreiben |
| JP2021131190A (ja) * | 2020-02-20 | 2021-09-09 | パナソニックＩｐマネジメント株式会社 | 加熱調理器、制御装置、及び制御方法 |
| WO2021200530A1 (ja) * | 2020-04-03 | 2021-10-07 | パナソニックＩｐマネジメント株式会社 | 加熱調理器 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112879963B (zh) * | 2021-01-25 | 2022-09-06 | 青岛海尔空调器有限总公司 | 用于微波炉的食物加热控制方法及装置、微波炉 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015059931A1 (ja) * | 2013-10-24 | 2015-04-30 | パナソニックＩｐマネジメント株式会社 | 加熱調理器、調理システム、演算装置及び調理支援方法 |
| WO2016143267A1 (ja) * | 2015-03-10 | 2016-09-15 | パナソニックＩｐマネジメント株式会社 | 加熱調理器 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070005808A (ko) * | 2005-07-06 | 2007-01-10 | 삼성전자주식회사 | 바코드를 이용하는 조리 장치와 조리 시스템 및 조리 제어방법 |
| US9538880B2 (en) * | 2012-05-09 | 2017-01-10 | Convotherm Elektrogeraete Gmbh | Optical quality control system |
| JP6439137B2 (ja) * | 2014-10-17 | 2018-12-19 | パナソニックＩｐマネジメント株式会社 | 加熱調理器およびその制御方法 |
| WO2016179424A1 (en) * | 2015-05-05 | 2016-11-10 | June Life, Inc. | Connected food preparation system and method of use |
-
2017
- 2017-11-01 WO PCT/JP2017/039497 patent/WO2018100956A1/ja active Application Filing
- 2017-11-01 JP JP2018553726A patent/JP6906147B2/ja active Active
- 2017-11-01 CN CN201780071244.0A patent/CN109964083B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015059931A1 (ja) * | 2013-10-24 | 2015-04-30 | パナソニックＩｐマネジメント株式会社 | 加熱調理器、調理システム、演算装置及び調理支援方法 |
| WO2016143267A1 (ja) * | 2015-03-10 | 2016-09-15 | パナソニックＩｐマネジメント株式会社 | 加熱調理器 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020200969A1 (de) * | 2019-04-05 | 2020-10-08 | BSH Hausgeräte GmbH | Haushalts-gargerät mit garraumkamera und verfahren zum betreiben |
| US11994301B2 (en) | 2019-04-05 | 2024-05-28 | BSH Hausgeräte GmbH | Household cooking appliance having a cooking chamber camera and method for operation |
| JP2021131190A (ja) * | 2020-02-20 | 2021-09-09 | パナソニックＩｐマネジメント株式会社 | 加熱調理器、制御装置、及び制御方法 |
| JP7357222B2 (ja) | 2020-02-20 | 2023-10-06 | パナソニックＩｐマネジメント株式会社 | 加熱調理器 |
| WO2021200530A1 (ja) * | 2020-04-03 | 2021-10-07 | パナソニックＩｐマネジメント株式会社 | 加熱調理器 |
| JP2021162274A (ja) * | 2020-04-03 | 2021-10-11 | パナソニックＩｐマネジメント株式会社 | 加熱調理器 |
| JP7345084B2 (ja) | 2020-04-03 | 2023-09-15 | パナソニックＩｐマネジメント株式会社 | 加熱調理器 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6906147B2 (ja) | 2021-07-21 |
| CN109964083B (zh) | 2020-08-04 |
| CN109964083A (zh) | 2019-07-02 |
| JPWO2018100956A1 (ja) | 2019-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018100956A1 (ja) | 加熱調理器および加熱調理器の制御方法 | |
| JP6807525B2 (ja) | 加熱調理器 | |
| WO2018012245A1 (ja) | 加熱調理器 | |
| WO2017077695A1 (ja) | 加熱調理器 | |
| US11528785B2 (en) | Heating cooker, method of controlling heating cooker, and heating cooking system | |
| CN108700303B (zh) | 加热烹调器 | |
| WO2017175591A1 (ja) | 加熱調理器 | |
| WO2018096885A1 (ja) | 加熱調理器、加熱調理器の制御方法、および加熱調理システム | |
| JP7113211B2 (ja) | 加熱調理器 | |
| JP2016166724A (ja) | 加熱調理器 | |
| JPWO2017164050A1 (ja) | 加熱調理器、加熱調理器の制御方法及び加熱調理システム | |
| JP6920591B2 (ja) | 加熱調理器 | |
| WO2019159518A1 (ja) | 加熱調理器および加熱調理システム | |
| WO2020054609A1 (ja) | 加熱調理器 | |
| JPWO2018235703A1 (ja) | 加熱調理器 | |
| US20220418055A1 (en) | Heating cooker, control device, and control method | |
| JP7386391B2 (ja) | 加熱調理器 | |
| JP7345084B2 (ja) | 加熱調理器 | |
| WO2018079426A1 (ja) | 加熱調理器および加熱調理器の制御方法 | |
| WO2020195253A1 (ja) | 加熱調理器 | |
| JP2023036972A (ja) | 加熱調理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17876108 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2018553726 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17876108 Country of ref document: EP Kind code of ref document: A1 |