WO2018100956A1 - 加熱調理器および加熱調理器の制御方法 - Google Patents
加熱調理器および加熱調理器の制御方法 Download PDFInfo
- Publication number
- WO2018100956A1 WO2018100956A1 PCT/JP2017/039497 JP2017039497W WO2018100956A1 WO 2018100956 A1 WO2018100956 A1 WO 2018100956A1 JP 2017039497 W JP2017039497 W JP 2017039497W WO 2018100956 A1 WO2018100956 A1 WO 2018100956A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- heating
- door
- unit
- image
- heating chamber
- Prior art date
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
- F24C7/00—Stoves or ranges heated by electric energy
- F24C7/02—Stoves or ranges heated by electric energy using microwaves
Definitions
- the present disclosure relates to a heating cooker for heating food and a control method for the heating cooker.
- a microwave oven which is an example of a cooking device, can heat foods in containers without using pans and pans. For this reason, a store such as a convenience store sometimes uses a microwave oven to heat and provide food such as lunch boxes and side dishes.
- the store clerk can set the heating time by operating the numeric keys arranged on the operation unit of the microwave oven.
- the salesclerk can perform the heating suitable for the foodstuff by operating the button corresponding to the foodstuff to heat. .
- a camera that shoots the inside of the heating chamber of the microwave oven is provided on the ceiling of the chamber, and the barcode part is extracted from the image of the product placed in the chamber, and the barcode is read to convert the code information into the product.
- a technique for performing appropriate heating by calling the corresponding heating control content is also disclosed (for example, Patent Document 1).
- the entire range may vibrate due to an impact at the time of contact between the door portion and the heating cabinet case.
- the photographed image is blurred.
- the present invention when an object to be heated such as a lunch box or a prepared dish is placed in a heating chamber and the door is closed, vibration occurs due to an impact when the door contacts the casing of the heating chamber.
- the present invention provides a heating cooker and a control method thereof that can improve recognition accuracy and prevent time loss such that photographing and recognition cannot be started until vibration is reduced.
- the heating cooker of the present disclosure includes a heating chamber, an imaging unit that captures an image of the inside of the heating chamber, a storage unit that stores an image captured by the imaging unit, and an object to be heated placed in the heating chamber.
- a door that is opened and closed, a detection unit that detects opening and closing of the door, and a recognition unit that acquires heating control information related to the object to be heated from an image stored in the storage unit.
- the detection unit is configured to detect a predetermined timing width before the door is closed, and the recognition unit selects an image captured within the predetermined timing width from the images stored in the storage unit. And heating control information is obtained.
- control method of the heating cooker of the present disclosure includes a heating chamber, a photographing unit that images the inside of the heating chamber, a door that is opened and closed when placing an object to be heated in the heating chamber, It is a control method of a heating cooker provided with the detection part which detects opening and closing. Then, a predetermined timing width before the door is closed is detected, and an image photographed in the predetermined timing width is selected from images in the heating chamber photographed by the photographing unit, and the object to be heated is selected. It is a control method of the heating cooker which acquires heating control information.
- the present disclosure when an object to be heated such as a lunch box and a prepared dish is placed in a heating chamber and the door is closed, vibration is caused by an impact at the time of contact between the door and the casing of the heating chamber. Even if it occurs, recognition processing is performed using a captured image in the heating chamber that was captured before the vibration occurred. As a result, the recognition accuracy can be increased, and a time loss such that the photographing and recognition cannot be started until the vibration is stopped can be prevented.
- FIG. 1 is a perspective view showing the appearance of a microwave oven that is a typical cooking device according to the present embodiment.
- FIG. 2 is a diagram illustrating a schematic configuration of the microwave oven according to the first embodiment of the present disclosure.
- FIG. 3 is a diagram illustrating an example of a sticker attached to food in the first embodiment of the present disclosure.
- FIG. 4 is a flowchart illustrating the operation of the microwave oven according to the first embodiment of the present disclosure.
- FIG. 5 is a flowchart illustrating an operation of the microwave oven 1 according to the second embodiment of the present disclosure.
- FIG. 6 is a diagram illustrating a configuration of a heat cooking system according to another embodiment of the present disclosure.
- FIG. 7 is a diagram illustrating another configuration of the cooking system according to another embodiment of the present disclosure.
- FIG. 8 is a diagram illustrating still another configuration of the cooking system according to another embodiment of the present disclosure.
- the heating cooker according to the first aspect of the present disclosure includes a heating chamber, an imaging unit that images the inside of the heating chamber, a storage unit that stores an image captured by the imaging unit, and an object to be heated in the heating chamber.
- a detection unit that detects opening and closing of the door
- a recognition unit that acquires heating control information related to the object to be heated from an image stored in the storage unit.
- the detection unit is configured to detect a predetermined timing width before the door is closed, and the recognition unit selects an image captured within the predetermined timing width from the images stored in the storage unit. And heating control information is obtained.
- the switch that detects that the door is closed and the distance between the door and the casing of the heating chamber are detected to be equal to or less than a predetermined distance.
- a proximity sensor a proximity sensor.
- the detection unit is configured to have a predetermined timing width after the detection timing by the proximity sensor and before the detection timing by the switch.
- the door is predetermined with respect to the casing of the heating chamber from the images taken before the door is closed, regardless of operational variations such as the speed at which the user closes the door. It is possible to specify an image that has been photographed with a timing width that is close to a distance less than or equal to a distance close to the distance of.
- the detection unit calculates a difference between the plurality of images with respect to the plurality of temporally continuous images stored in the storage unit. By doing so, it is configured to detect a timing width in which a change in the illuminance environment in the heating chamber is stable, and to set the detected timing width as a predetermined timing width.
- a stable image with little influence of external light can be selected as a candidate image from the captured images in the heating chamber.
- the recognition unit is heated using a plurality of images that are stored in the storage unit and photographed at different timings. It is configured to obtain control information.
- the recognition unit further performs recognition processing on each of the plurality of candidate images, and takes the consistency of the recognition results, so that the recognition accuracy can be improved. Further, even when the recognition unit fails to recognize an image, recovery can be achieved by performing recognition using another candidate image.
- a heating chamber, a photographing unit that captures an image of the inside of the heating chamber, a door that is opened and closed when an object to be heated is placed in the heating chamber, and the opening and closing of the door are detected. It is a control method of a heating cooker provided with a detection part. Then, a predetermined timing width before the door is closed is detected, and an image photographed in the predetermined timing width is selected from images in the heating chamber photographed by the photographing unit, and the object to be heated is selected. It is a control method of the heating cooker which acquires heating control information.
- FIG. 1 is a perspective view showing an appearance of a microwave oven 1 that is a typical cooking device according to the present embodiment.
- 1 has a housing 2 and a door 3 pivotally supported by the housing 2 so as to be opened and closed.
- the door 3 has a transparent glass window 4 so that the user can see the inside of the housing 2. Furthermore, the door 3 has a handle 5 so that the user can easily grasp the door 3.
- the operation display unit 6 includes a liquid crystal display 7, a time setting button group 8, a heating start button 9, a cancel button 10, and a pause button 11.
- the microwave oven 1 captures a product that is an object to be heated, recognizes a heating control method displayed on the product, and heats the product using the heating control method. For this reason, the recognized heating control method (for example, heating time and wattage) is displayed on the liquid crystal display 7.
- the recognized heating control method for example, heating time and wattage
- the microwave oven 1 of the present embodiment has a time setting button group 8.
- the user can set the heating time by using the number buttons and the minute and second buttons of the time setting button group 8. At this time, the liquid crystal display 7 displays the set heating time and the like.
- the heating start button 9 is a button for starting heating after the user confirms the heating time, wattage, and the like by the liquid crystal display 7.
- the cancel button 10 is a button for pressing the heating start button 9 to stop heating after starting heating, or canceling the setting of the heating time displayed on the liquid crystal display 7.
- the pause button 11 is a button for temporarily stopping heating during heating. After the heating is temporarily stopped, the user can press the heating start button 9 again to perform the remaining heating from the middle.
- FIG. 2 is a diagram illustrating a schematic configuration of the microwave oven 1 according to the first embodiment of the present disclosure.
- the microwave oven 1 includes two magnetrons 13a and 13b that output microwaves in a heating chamber 12 that stores food 14 and the like.
- the heating cabinet 12 is provided inside the housing 2.
- the magnetron 13a is disposed on the ceiling side of the heating chamber 12, and outputs microwaves into the heating chamber 12 from above.
- the magnetron 13 b is disposed on the bottom side of the heating chamber 12, and outputs a microwave into the heating chamber 12 from below.
- a camera 15 (an example of a photographing unit) is disposed on the ceiling side of the heating chamber 12.
- the camera 15 includes, for example, an image sensor such as a CCD (Charge Coupled Device) and an optical element such as a lens, and performs imaging inside the heating chamber 12.
- CCD Charge Coupled Device
- the camera 15 captures food in the heating chamber 12, it is more accurate to capture the barcodes and characters on the food surface when the food is photographed from directly above than when the food is photographed obliquely. Is possible.
- the microwave when the microwave is applied to the camera 15, the camera 15 is damaged.
- a shutter that can be opened and closed is provided in front of the camera 15 so that the camera 15 is not exposed in the heating chamber 12. You may arrange.
- it is good also as a structure which moves the camera 15 (for example, rotation etc.) so that the camera 15 may not be exposed in the heating chamber 12.
- the switch 16a is a switch for detecting opening and closing of the door 3.
- the switch 16 a is provided in the housing 2.
- a protrusion is provided on the back surface of the handle 5 of the door 3, and the switch 16 a detects that the protrusion has contacted the recess of the housing 2.
- the switch 16a is not limited to the above-described form, and any form may be used as long as the opening / closing of the door 3 can be detected.
- the proximity sensor 16b is a sensor for detecting that the door 3 has approached the housing 2 of the heating cabinet 12 within a predetermined distance, that is, the door 3 is in a closed state.
- the control unit 100 controls each circuit of the microwave oven 1 and includes a microcomputer such as a CPU (Central Processing Unit).
- a microcomputer such as a CPU (Central Processing Unit).
- the control unit 100 includes a heating control unit 101, a recognition unit 102, a storage unit 103, and a detection unit 104.
- control unit 100 can also execute the functions of the heating control unit 101, the recognition unit 102, the storage unit 103, and the detection unit 104.
- the heating control unit 101, the recognition unit 102, the storage unit 103, and the detection unit 104 are arranged in the control unit 100.
- these configurations are realized by separate semiconductor elements. May be.
- a part of the configuration of the heating control unit 101, the recognition unit 102, the storage unit 103, and the detection unit 104 may be arranged in the control unit 100, and the other configuration may be arranged outside the control unit 100. .
- the control unit 100 may be in any form as long as it performs control described later.
- the control unit 100 may include an arithmetic processing unit and a storage unit that stores a control program.
- Examples of the arithmetic processing unit include an MPU (Micro Processing Unit) and a CPU (Central Processing Unit).
- a memory is exemplified as the storage unit.
- the control program recorded in the storage unit is executed by the arithmetic processing unit.
- the storage unit may be shared with or provided separately from the storage unit 103 described above.
- control unit 100 may be configured with hard logic. If the control unit 100 is configured by hard logic, it is effective in improving the processing speed.
- the control unit 100 may be composed of one semiconductor chip or physically composed of a plurality of semiconductor chips. When configured by a plurality of semiconductor chips, each control described later can be realized by a separate semiconductor chip.
- the heating control unit 101 controls the magnetron 13a and the magnetron 13b. Thereby, a to-be-heated target object is heated.
- the recognition unit 102 recognizes an object such as food and also recognizes a barcode and characters attached to the food from the image captured by the camera 15.
- the storage unit 103 continuously saves images taken by the camera 15.
- the detection unit 104 detects the door open / close state by the switch 16a and the proximity sensor 16b. Moreover, the detection part 104 may detect the state of the illumination environment in the heating chamber 12 from the captured image in the heating chamber 12 captured by the camera 15.
- FIG. 3 is a diagram illustrating an example of the seal 17 attached to the food according to the first embodiment of the present disclosure.
- a sticker 17 displaying heating power, heating time, and the like necessary for cooking the product described above is affixed to those products.
- heating control information the information for cooking, including the heating power and the heating time, is referred to as heating control information in the present embodiment.
- heating control information 19 is surrounded by a square frame 25 so that the heating control information can be easily extracted from these pieces of information.
- the seal 17 has a heating time when heating at 500 W, for example, as a standard heating time when heating in a general microwave oven for home use, and when heating at high power for a short time for business use.
- a reference heating time for example, the heating time when heating at 1500 W is also shown.
- the heating control information 19 is displayed as, for example, “500W 2:00 minutes 1500W 0 minutes 40 seconds”.
- the recognition unit 102 first recognizes the square frame 25 from the image captured by the camera 15.
- the recognition unit 102 recognizes the alphanumeric characters enclosed in the square frame 25, specifically, the character string “500W200 1500W040”.
- the recognition unit 102 recognizes the numeric string up to “W”, the 3-digit numeric string after “W”, the subsequent numeric string up to “W”, and “W”. Are broken down into three digit numbers, resulting in “500”, “200”, “1500”, and “040”.
- the recognizing unit 102 recognizes the first one-digit number as “minute” and the subsequent two-digit number as “second” for the second number string and the fourth number string.
- the recognition unit 102 corresponds to the heating power of the first number string and the time of the second number string, and corresponds to the heating power of the third number string and the time of the fourth number string.
- two kinds of heating control information “500W for 2 minutes” and “1500W for 40 seconds” are recognized.
- FIG. 4 is a flowchart showing the operation of the microwave oven 1 according to the first embodiment of the present disclosure.
- step S1 the detection unit 104 determines whether the door 3 is opened by turning on (or turning off) the switch 16a.
- the process proceeds to step S2.
- the detection unit 104 repeats step S1 until the door 3 is opened (S1, NO).
- step S ⁇ b> 2 the control unit 100 controls the camera 15 to take an image of the inside of the heating chamber 12 and continuously stores the taken image in the storage unit 103.
- step S3 the detection unit 104 determines whether or not the door 3 is closed by turning off (or turning on) the switch 16a. If the detection unit 104 determines that the door 3 is closed (S3, Yes), it interrupts shooting and proceeds to step S4. The detection unit 104 repeats step S3 until the door 3 is closed (S3, NO). Until the door 3 is closed, photographing inside the heating chamber 12 by the camera 15 is continuously performed.
- step S4 the control unit 100 selects a candidate image suitable for recognition processing from the images stored in the storage unit 103.
- the control unit 100 recognizes a captured image in the heating chamber 12 that is captured within a time of 200 milliseconds (within a predetermined timing width) before the door 3 is closed, which is detected by the detection unit 104. Is selected as a suitable candidate image.
- the control unit 100 captures 6 frames when captured by the camera 15 capable of capturing at 30 frames / second, and 2 frames when captured by the camera 15 capable of capturing at 10 frames / second, respectively. Select as a candidate image.
- the time of the candidate image selection timing width is not limited to 200 milliseconds before the door 3 is closed, for example, before the timing, but may be a value of about 100 to 300 milliseconds. Moreover, since the speed at which the door 3 is closed varies depending on the user, a different time may be set according to the user.
- the predetermined timing width is set to a timing width that is not easily affected by outside light before an impact occurs when the door 3 is closed.
- the microwave oven 1 since the front surface (transparent glass window 4) of the microwave oven 1 is covered with a punching metal for preventing electromagnetic waves, this functions as a light shielding portion, and the heating chamber 12 is closed with the door 3 closed. It is effective because the illuminance inside is stable.
- the detection unit 104 uses a proximity sensor 16b (for example, a magnetic sensor), and the door 3 is 5 cm from the housing of the heating chamber 12. Images taken between the timing when the proximity of the distance is detected and the timing when the detection unit 104 determines that the door 3 is closed by the switch 16a may be selected as a candidate image.
- a proximity sensor 16b for example, a magnetic sensor
- the predetermined timing width in which the influence of the external light is stabilized can be determined with higher accuracy.
- the timing width can be determined with an accuracy that is not problematic for practical use. Further, as described later, even when neither the proximity sensor 16b nor the switch 16a is provided, the predetermined timing width can be determined.
- the distance between the door 3 and the housing is not limited to 5 cm described above, and may be a value of about 3 to 7 cm. Moreover, since the speed which closes the door 3 changes with a user, according to a user, you may set a different distance.
- the detection part 104 calculates the difference of the image before and behind with respect to the several image in the heating chamber 12 continuously image
- the stability of the illuminance environment is determined based on 90% of the amount of change in luminance from when the door 3 is opened to when the door 3 is closed with reference to the maximum photographing luminance in the heating chamber 12 taken by the camera 15. When the value exceeds the value, it is determined that the influence of external light has decreased, and thus it has been stabilized.
- step S5 the control unit 100 recognizes a character string using one or a plurality of candidate images photographed by the camera 15 and stored in the storage unit 103, recognizes the heating control information, and proceeds to step S6. Proceed with the process.
- step S6 the recognition result for one candidate image or a plurality of candidate images obtained in step S5, that is, the consistency of the heating control information is confirmed, and the final heating condition is output.
- the recognition results for two candidate images are “500 W 2 minutes 1500 W 40 seconds” and “500 W 2 minutes 1500 W 10 seconds”, the recognition results do not match, so it is assumed that one of the heating information is incorrect, and heating The process is terminated without performing the control (S6, NO).
- the recognition result is obtained by performing recognition with one candidate image, or when the recognition results for a plurality of candidate images match, it is regarded as a recognition success (consistency) (S6, YES), The process proceeds to step S7.
- the control unit 100 confirms the consistency of the recognition results for the plurality of candidate images, so that heating based on incorrect heating control information is performed. Can be prevented.
- checking the consistency it may be confirmed that the recognition results match all of the plurality of candidate images, or may be determined to be a correct recognition result by matching not less than a predetermined number of recognition results. .
- step S ⁇ b> 7 the control unit 100 sets the heating time for cooking (for example, 40 seconds) suitable for the heating power of the microwave oven 1 to the liquid crystal display 7 among the heating control information recognized by the recognition unit 102. Display.
- step S8 the control unit 100 determines whether or not the heating start button 9 has been pressed. If it is determined that the heating start button 9 has been pressed (S8, YES), the process proceeds to step S9, and the heating control unit 101 controls the magnetrons 13a and 13b to start heating the object to be heated (S9). ). The control unit 100 repeats step S8 until the heating start button 9 is pressed (S8, NO).
- the user automatically sets the heating time without inputting the heating time of the product or selecting a button corresponding to the product. It is possible to set.
- the image was previously taken by the camera 15 before the door 3 was closed.
- the recognition unit 102 performs recognition using the image. As a result, it is possible to prevent a time loss in operation such that shooting cannot be started until the vibration is stopped.
- FIG. 5 is a flowchart illustrating an operation of the microwave oven 1 according to the second embodiment of the present disclosure.
- the difference between the first embodiment and the second embodiment is that, in the second embodiment, when there are a plurality of candidate images for recognition, some of the candidate images are recognized. Processing is performed, and the remaining candidate images are used as candidate images for recovery when recognition fails.
- step S5 the control unit 100 captures characters for some of the plurality of candidate images taken by the camera 15 and stored in the storage unit 103 as first candidates. Recognition is performed, heating control information is acquired, and the process proceeds to step S6. At this time, a single image may be recognized, or each of a plurality of images may be recognized and the consistency confirmed as in the first embodiment. It is good also as a recognition result in S5.
- step S6 the control unit 100 determines whether or not the recognition process performed in step S5 is successful. If successful (S6, YES), the process proceeds to step S7. If unsuccessful (S6, NO), the process proceeds to step S10.
- step S ⁇ b> 10 the control unit 100 checks whether another candidate image for recognition exists in the storage unit 103. When another candidate image exists (S10, YES), the control unit 100 returns the process to step S5. In step S5, recognition processing is performed using another candidate image. On the other hand, when there is no other candidate image (S10, NO), the control unit 100 ends the process without heating the food.
- the recognition unit 102 uses a part of the plurality of candidate images stored in the storage unit 103 as a recovery image at the time of recognition failure. Even when recognition fails for an image, it is possible to increase the recognition opportunities and to perform recovery. For this reason, it is possible to reduce the trouble of operation such as re-pressing the start button of the operator.
- microwave oven 1 which is a heating cooker showed the example which acquires and recognizes heating control information independently, this indication is not limited to this example.
- the cooking device can be configured to be connectable to a network, and can be implemented as a cooking system that controls the cooking device by a server on the network.
- 6 to 8 are diagrams each showing a configuration of a cooking system 300 to 302 according to another embodiment of the present disclosure.
- either or both of the processes performed by the recognition unit 102 and the storage unit 103 in the microwave oven 1 of the first embodiment are executed on the server 200 side. Thereby, the processing load by the recognition process etc. in a heating cooker can be reduced.
- the cooking system 300 includes a microwave oven 1 that is an example of a cooking device and a server 200.
- the heating control unit 101, the detection unit 104, and the camera 15 are controlled by the control unit 100 of the microwave oven 1.
- the microwave oven 1 includes a communication unit 109 that can communicate with the server 200.
- the server 200 includes a communication unit 202 that can communicate with the microwave oven 1, and the recognition unit 102 and the storage unit 103 are controlled by the control unit 201.
- the product is photographed by the camera 15 in the microwave oven 1, and a candidate image for extracting the heating control information is sent to the server 200.
- recognition processing, consistency check, and the like are performed, and the result is returned to the microwave oven 1.
- Candidate images are stored in the storage unit 103 on the server 200 side.
- the microwave oven 1 the product is cooked using the heating control information that is confirmed to be consistent.
- the cooking system 301 having the configuration shown in FIG. 7 differs from the cooking system 300 in FIG. 6 in that the storage unit 103 is mounted on the microwave oven side.
- the product is shot by the microwave oven 1 with the camera 15, and the image is stored in the storage unit 103 of the microwave oven 1.
- the extracted candidate images are sent to the server 200 to extract the heating control information.
- recognition processing, consistency check, and the like are performed, and the result is returned to the microwave oven 1.
- the product is cooked using the heating control information that is confirmed to be consistent.
- the product 15 is photographed by the microwave oven 1 and sent to the server 200.
- Candidate images are stored in the storage unit 103 of the server 200.
- recognition processing of a candidate image for extracting heating control information (this may be an image sent from the server 200), confirmation of consistency, and the like are performed, and there is consistency.
- the cooking of the product is performed using the heating control information confirmed as follows.
- the storage unit 103 is provided on the server 200 side as in the configuration of FIG. 8, it is not necessary to use a large capacity memory on the microwave oven 1 side, and a simple configuration can be realized.
- the user can read the heating control information printed on the product just by placing the product in the heating chamber, and appropriately heat the product accordingly. . Therefore, there is no troublesome setting, and in addition to a microwave oven used in a store, it can be applied to cooking appliances such as a microwave oven for home use, a rice cooker, and an IH cooking heater, and is useful. There is a possibility that the microwave oven for business use is bright and easily disposed in an eat-in space that is easily affected by outside light, and the contents of the present disclosure are particularly effective.
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Electric Ovens (AREA)
- Electric Stoves And Ranges (AREA)
Abstract
加熱調理器であって、加熱庫(12)と、加熱庫(12)内を撮影するカメラ(15)と、カメラ(15)で撮影された画像を記憶する記憶部(103)と、加熱庫(12)内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部(104)とを備えている。そして、記憶部(103)に記憶された画像から、被加熱対象物に関する加熱制御情報を取得する認識部(102)、を備えている。検知部(104)は、ドアが閉められる以前の所定のタイミング幅を検知するように構成され、認識部(102)は、記憶部(103)に記憶された画像の中から、所定のタイミング幅において撮影された画像を選択して加熱制御情報を取得するように構成されている。
Description
本開示は、食品を加熱する加熱調理器および加熱調理器の制御方法に関する。
加熱調理器の一例である電子レンジは、鍋およびフライパンを使うことなく、食品を容器に入れたままで加熱することができる。このため、コンビニエンスストア等の販売店では、電子レンジを用いて、弁当および惣菜といった食品を加熱して提供する場合もある。
通常、弁当および総菜には、電子レンジで加熱するのに最適な加熱時間が表示されている。販売店の店員は、その表示を見て、電子レンジで加熱時間を設定するのが一般的である。
具体的には、店員は、電子レンジの操作部に配置された数字キーを操作することにより、加熱時間の設定を行うことができる。また、加熱時間およびワット数に対応する調理ボタンを複数備えた電子レンジを使用する場合、店員は、加熱する食品に対応するボタンを操作することで、その食品に適した加熱を行うことができる。
しかしながら、加熱時間を数字キーで設定するのは操作が煩わしいという問題がある。また、複数の操作ボタンそれぞれに異なる食品の加熱時間が割り当てられた電子レンジでは、店員が、複数のボタンそれぞれと食品との対応関係を憶える必要がある。よって、商品の種類が増えれば増えるだけ、店員がこの対応関係を憶える負担が増えるという問題がある。
このような問題を解決するために、店員が、商品に添付されているバーコードの情報を読み取ると、バーコードに対応する加熱制御内容で商品を加熱する電子レンジを提供することが考えられる。
または、電子レンジの加熱庫内を撮影するカメラを庫内天井面に備え、庫内に投入された商品の画像からバーコード部分を抽出し、そのバーコードを読み取ることで、コード情報から商品に対応した加熱制御内容を呼び出して、適切な加熱を行う技術も開示されている(例えば特許文献1)。
このような電子レンジにおいて、認識を実施した対象の食品と、実際に調理を行う対象の食品とが同一のものであることを保証するためには、電子レンジのドアを閉めた後に、撮影と認識とを行う必要がある。また、ぶれのない安定した撮影画像を得るためにも、認識対象の食品の静止状態が保証される、ドアを閉めた後に、撮影と認識処理とを行うことが好ましい。
しかしながら、電子レンジのドアを閉める際に、ドア部と加熱庫筐体部との接触時の衝撃により、レンジ全体が振動する場合がある。この場合、振動が収まる前に撮影を開始すると、撮影画像にぶれが生じてしまう。認識に適した、ぶれのない撮影画像を得るためには、振動が収まるまで待った後に、撮影と認識処理とを開始すればよいが、時間的なロスを生じてしまう。
本開示は、加熱庫内に弁当または総菜等の加熱対象となる被加熱対象物を入れ、ドアを閉めた際に、ドアと加熱庫の筐体との接触時の衝撃により振動が発生した場合にも、認識精度を高めることができ、また、振動が収まるまで、撮影および認識を開始できないといった時間的なロスを防ぐことができる、加熱調理器およびその制御方法を提供するものである。
本開示の加熱調理器は、加熱庫と、加熱庫内を撮影する撮影部と、撮影部で撮影された画像を記憶する記憶部と、加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部と、記憶部に記憶された画像から、被加熱対象物に関する加熱制御情報を取得する認識部と、を備えている。そして、検知部は、ドアが閉められる以前の所定のタイミング幅を検知するように構成され、認識部は、記憶部に記憶された画像の中から、所定のタイミング幅において撮影された画像を選択して加熱制御情報を取得するように構成されている。
また、本開示の加熱調理器の制御方法は、加熱庫と、加熱庫内を撮影する撮影部と、加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部と、を備える加熱調理器の制御方法である。そして、ドアが閉められる以前の所定のタイミング幅を検知し、撮影部で撮影された、加熱庫内の画像の中から、所定のタイミング幅において撮影された画像を選択して被加熱対象物に関する加熱制御情報を取得する加熱調理器の制御方法である。
本開示によれば、加熱庫内に弁当および総菜等の加熱対象となる被加熱対象物を入れ、ドアを閉めた際に、ドアと加熱庫の筐体との接触時の衝撃等により振動が発生した場合にも、振動が発生する以前に撮影した加熱庫内の撮影画像を用いて認識処理を行う。これにより、認識精度を高めることができ、また、振動が収まるまで撮影および認識を開始できないといった、時間的なロスを防ぐことができる。
(本開示が取り得る態様の一例)
本開示の第1の態様の加熱調理器は、加熱庫と、加熱庫内を撮影する撮影部と、撮影部で撮影された画像を記憶する記憶部と、加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部と、記憶部に記憶された画像から、被加熱対象物に関する加熱制御情報を取得する認識部と、を備えている。そして、検知部は、ドアが閉められる以前の所定のタイミング幅を検知するように構成され、認識部は、記憶部に記憶された画像の中から、所定のタイミング幅において撮影された画像を選択して加熱制御情報を取得するように構成されている。
本開示の第1の態様の加熱調理器は、加熱庫と、加熱庫内を撮影する撮影部と、撮影部で撮影された画像を記憶する記憶部と、加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部と、記憶部に記憶された画像から、被加熱対象物に関する加熱制御情報を取得する認識部と、を備えている。そして、検知部は、ドアが閉められる以前の所定のタイミング幅を検知するように構成され、認識部は、記憶部に記憶された画像の中から、所定のタイミング幅において撮影された画像を選択して加熱制御情報を取得するように構成されている。
この構成により、ドアを閉めた際の衝撃による振動の影響を受ける以前の、ぶれのない画像を取得でき、その画像を用いて認識処理を行うので、認識精度を高めることができ、また振動が収まるまで、撮影および認識を開始できないといった、時間的なロスを防ぐことができる。
本開示の第2の態様は、第1の態様において、ドアが閉められたことを検知するスイッチと、ドアと加熱庫の筐体との距離が、所定の距離以下になったことを検知する近接センサと、をさらに備えている。そして、検知部は、近接センサによる検知のタイミング以降、かつ、スイッチによる検知のタイミング以前を、所定のタイミング幅とするように構成されている。
この構成によれば、さらに、利用者がドアを閉める速度等の、操作上のばらつきに関わらず、ドアを閉める以前に撮影された画像の中から、ドアが加熱庫の筐体に対して所定の距離以下まで近づき、閉じかけた状態となったタイミング幅で撮影された画像を特定することができる。
本開示の第3の態様は、第1の態様において、検知部は、記憶部に記憶された、加熱庫内の時間的に連続した複数の画像に対して、複数の画像間の差分を計算することにより、加熱庫内の照度環境の変化が安定したタイミング幅を検知して、検知されたタイミング幅を、所定のタイミング幅とするように構成されている。
この構成によれば、さらに、加熱庫内の撮影画像の中から、外光の影響の少ない安定した画像を候補画像として選出することができる。
本開示の第4の態様は、第1の態様から第3の態様までのいずれかの態様において、認識部は、記憶部に記憶された、異なるタイミングで撮影された複数の画像を用いて加熱制御情報を取得するように構成されている。
この構成によれば、さらに、認識部が複数の候補画像に対してそれぞれ認識処理を行い、認識結果の整合性を取るので、認識精度を高めることができる。また、認識部が、ある画像に対して認識に失敗した場合にも、別の候補画像を用いて認識を行うことでリカバリーを図ることができる。
本開示の第5の態様は、加熱庫と、加熱庫内を撮影する撮影部と、加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、ドアの開閉を検知する検知部と、を備える加熱調理器の制御方法である。そして、ドアが閉められる以前の所定のタイミング幅を検知し、撮影部で撮影された、加熱庫内の画像の中から、所定のタイミング幅において撮影された画像を選択して被加熱対象物に関する加熱制御情報を取得する加熱調理器の制御方法である。
この方法により、ドアを閉めた際の衝撃による振動の影響を受ける以前の、ぶれのない画像を取得でき、その画像を用いて認識処理を行うので、認識精度を高めることができ、また振動が収まるまで、撮影および認識を開始できないといった、時間的なロスを防ぐことができる。
以下、適宜図面を参照しながら、本開示の実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、および、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより、特許請求の範囲に記載の主題を限定することは意図されていない。
(第1の実施の形態)
図1は、本実施の形態に係る代表的な加熱調理器である電子レンジ1の外観を示す斜視図である。
図1は、本実施の形態に係る代表的な加熱調理器である電子レンジ1の外観を示す斜視図である。
図1に示される電子レンジ1は、筐体2と、筐体2に開閉可能に軸支されたドア3と、を有している。
ドア3は、使用者が筐体2の内部を見ることができるように、透明のガラス窓4を有している。さらに、使用者がドア3を掴みやすいように、ドア3は取っ手5を有している。
ドア3の隣には、操作表示部6が配置されている。操作表示部6は、液晶表示器7、時間設定ボタン群8、加熱開始ボタン9、取消ボタン10および一時停止ボタン11を備えている。
本実施の形態の電子レンジ1は、被加熱対象物である商品を撮影し、商品に表示されている加熱制御方法を認識して、その加熱制御方法で商品を加熱するものである。このため、液晶表示器7には、認識した加熱制御方法(例えば、加熱時間およびワット数等)が表示される。
しかし、電子レンジ1が、加熱制御方法を正確に認識できない場合、および、加熱時間が表示されていない商品を加熱する場合も有り得る。
このため、本実施の形態の電子レンジ1は、時間設定ボタン群8を有している。
使用者は、時間設定ボタン群8の、数字ボタン、ならびに、分および秒のボタンを使用することにより、加熱時間を設定することができる。このとき、液晶表示器7は、設定された加熱時間等を表示する。
加熱開始ボタン9は、使用者が、液晶表示器7により、加熱時間およびワット数等を確認した後、加熱を開始するためのボタンである。取消ボタン10は、加熱開始ボタン9を押下して、加熱を開始した後に加熱を停止するため、または、液晶表示器7に表示された加熱時間の設定を取り消すための、ボタンである。
一時停止ボタン11は、加熱途中で、加熱を一時的に停止させるためのボタンである。加熱を一時停止させた後に、使用者が、加熱開始ボタン9を再度押下することで、途中から残りの加熱を行うことが可能である。
図2は、本開示の第1の実施の形態に係る電子レンジ1の概略構成を示す図である。
電子レンジ1は、食品14等を収納する加熱庫12内に、マイクロ波を出力する二つのマグネトロン13a,13bを備えている。加熱庫12は、筐体2の内部に設けられている。
マグネトロン13aは、加熱庫12の天井側に配置されており、上部から、加熱庫12内にマイクロ波を出力する。一方、マグネトロン13bは、加熱庫12の底面側に配置されており、下部から、加熱庫12内にマイクロ波を出力する。
加熱庫12の天井側には、カメラ15(撮影部の一例)が配置されている。カメラ15は、例えばCCD(Charge Coupled Device)のような撮像素子と、レンズ等の光学素子とからなり、加熱庫12内部の撮影を行う。
カメラ15が加熱庫12内の食品を撮影する際には、食品を斜めから撮影するよりも、真上から撮影した方が、食品表面に記載されているバーコードおよび文字等を、正確に撮影することが可能である。
また、カメラ15にマイクロ波が当たると、カメラ15を破損させるため、食品を加熱する際には、カメラ15が加熱庫12内に露出しないように、カメラ15の前方に、開閉可能なシャッターを配置してもよい。また、食品を加熱する際には、カメラ15が加熱庫12内に露出しないように、カメラ15を移動(例えば、回転等)させる構成としてもよい。
スイッチ16aは、ドア3の開閉を検出するためのスイッチである。スイッチ16aは、筐体2に設けられる。ドア3の取っ手5の裏面には突起部が設けられており、スイッチ16aは、この突起部が、筐体2の凹部に接触したことを検出する。なお、スイッチ16aは、上述した形態に限定されず、ドア3の開閉を検知できれば、どのような形態であってもよい。
近接センサ16bは、ドア3が加熱庫12の筐体2に対して所定の距離以内に近づいたこと、すなわち、ドア3が閉じかけた状態になっていることを検出するためのセンサである。
制御部100は、電子レンジ1の各回路の制御を司り、例えばCPU(Central Processing Unit)のようなマイクロコンピュータからなる。
制御部100は、加熱制御部101、認識部102、記憶部103および検知部104を有している。
換言すれば、制御部100は、加熱制御部101、認識部102、記憶部103および検知部104の機能を実行するということもできる。
なお、本実施の形態では、加熱制御部101、認識部102、記憶部103および検知部104が、制御部100内に配置された構成としたが、これらの構成が別々の半導体素子で実現されてもよい。または、加熱制御部101、認識部102、記憶部103および検知部104の内、一部の構成が制御部100内に配置され、その他の構成が制御部100外部に配置される構成としてもよい。
なお、この制御部100は、後述する制御を行うものであれば、どのような形態であってもよい。制御部100は、演算処理部と、制御プログラムを記憶する記憶部とで構成されていてもよい。演算処理部としては、MPU(Micro Processing Unit)、およびCPU(Central Processing Unit)が例示される。記憶部としては、メモリが例示される。記憶部に記録されている制御プログラムが、演算処理部によって実行される。この場合の記憶部は前述の記憶部103と共用でも別に設けられてもよい。
また、制御部100は、ハードロジックで構成されてもよい。制御部100をハードロジックで構成すれば、処理速度の向上に有効である。制御部100は、一つの半導体チップで構成されてもよいし、物理的に複数の半導体チップで構成されてもよい。複数の半導体チップで構成した場合には、後述する各制御を、それぞれ別の半導体チップで実現することもできる。
加熱制御部101は、マグネトロン13aおよびマグネトロン13bの制御を行う。これにより、被加熱対象物が加熱される。
認識部102は、カメラ15が撮影した画像から、食品等の物体の認識、ならびに、食品等に付されたバーコードおよび文字等の認識を行う。
記憶部103は、カメラ15により撮影された画像を継続的に保存する。
検知部104は、スイッチ16aおよび近接センサ16bによりドア開閉の状態を検知する。また、検知部104は、カメラ15が撮影した加熱庫12内の撮影画像により、加熱庫12内の照度環境の状態を検知する場合もある。
図3は、本開示の第1の実施の形態における、食品に貼られるシール17の一例を示す図である。
加熱庫12に、弁当、おにぎり、および惣菜等の被加熱対象物である商品が入れられて、加熱される。それらの商品には、先ほど説明した、商品を調理するために必要な、加熱パワーと加熱時間等が表示されたシール17が貼付されている。
なお、これらの、加熱パワーおよび加熱時間を含む、調理を行うための情報を、本実施の形態では加熱制御情報と称する。
シール17には、商品名18、加熱制御情報19、金額情報20、消費期限情報21、商品を特定するバーコード22、栄養情報23、および、お知らせ情報24、の各種情報が表示されている。本実施の形態では、これらの情報から加熱制御情報を抽出しやすいように、加熱制御情報19が、四角枠25で囲まれている。
また、このシール17には、一般的な家庭用の電子レンジで加熱する時の目安の加熱時間として、例えば500Wで加熱する場合の加熱時間と、業務用として大パワーで短時間加熱する時の目安の加熱時間として、例えば1500Wで加熱する場合の加熱時間とが併記されている。
図3の例では、加熱制御情報19が、例えば「500W 2分00秒 1500W 0分40秒」と表示されている。
使用者が、ドア3を開けて食品を入れるとき、カメラ15が加熱庫12内の撮影を行っている。そして、認識部102が、カメラ15が撮影した画像から、この加熱制御情報19が表示されている個所を認識し、この加熱制御情報19の文字および数字を認識する。
具体的には、認識部102は、まず、カメラ15が撮影した画像から、四角枠25を認識する。
次に、認識部102は、この四角枠25で囲まれた中の英数字、具体的には、「500W200 1500W040」という文字列を認識する。
そして、予め定められた解析ルールに従い、認識部102は、「W」までの数字列、「W」の後の3桁の数字列、それに続く「W」までの数字列、および、「W」の後の3桁の数字列に分解して、「500」、「200」、「1500」、「040」とする。
さらに、認識部102は、2番目の数字列と4番目の数字列について、最初の1桁の数字を「分」、後の2桁の数字を「秒」として認識する。また認識部102は、1番目の数字列の加熱パワーと、2番目の数字列の時間とが対応し、かつ、3番目の数字列の加熱パワーと、4番目の数字列の時間とが対応していると認識し、「500Wで2分」、「1500Wで40秒」という二通りの加熱制御情報を認識する。
図4は、本開示の第1の実施の形態における、電子レンジ1の動作を示すフローチャートである。
図4において、まず、ステップS1において、検知部104は、スイッチ16aのオン(またはオフ)により、ドア3が開いたか否かを判定する。検知部104は、ドア3が開いたと判定すると(S1,Yes)、ステップS2へ処理を進める。検知部104は、ドア3が開くまでは、ステップS1を繰り返す(S1,NO)。
ステップS2において、制御部100は、カメラ15を制御することにより、加熱庫12内部の撮影を行い、撮影された画像を、継続的に記憶部103に記憶する。
ステップS3において、検知部104は、スイッチ16aのオフ(またはオン)により、ドア3が閉まったか否かを判定する。検知部104は、ドア3が閉まったと判定すると(S3,Yes)、撮影を中断して、ステップS4へ処理を進める。検知部104は、ドア3が閉まるまでは、ステップS3を繰り返す(S3,NO)。ドア3が閉まるまで、カメラ15による加熱庫12内部の撮影は、継続的に行われている。
ステップS4では、制御部100は、記憶部103に記憶された画像の中から、認識処理に適した候補画像を選出する。ここで、制御部100は、検知部104が検知した、ドア3が閉まるタイミング以前の200ミリ秒の時間内(所定のタイミング幅内)に撮影された加熱庫12内の撮影画像を、認識処理に適した候補画像として選出する。制御部100は、例えば、30フレーム/秒で撮影可能なカメラ15で撮影した場合には6フレーム分を、10フレーム/秒で撮影可能なカメラ15で撮影した場合には2フレーム分を、それぞれ候補画像として選出する。
なお、候補画像の選出タイミング幅の時間は、上述した、ドア3が閉まる直前、例えばタイミング以前の200ミリ秒に限定されず、100~300ミリ秒程度の値であってもよい。また、使用者によりドア3を閉める速度が変わってくるために、使用者に応じて、異なる時間を設定してもよい。
この所定のタイミング幅は、ドア3が閉まる際の衝撃が発生する前で、かつ、外光の影響を受けにくいタイミング幅に設定することが望ましい。
本実施の形態の方法は、電子レンジ1の前面(透明ガラス窓4)が電磁波防止用のパンチングメタルで覆われているため、これが遮光部として機能し、ドア3を閉じた状態で加熱庫12内の照度が安定するので、有効である。
ここで、ドア3が閉まる直前のタイミング幅を規定する別の手段として、検知部104が、近接センサ16b(例えば磁気センサ)を用いて、ドア3が加熱庫12の筐体に対して5cmの距離内に近づいたことを検知したタイミングから、検知部104がスイッチ16aによりドア3が閉まったと判定したタイミングまでに撮影された画像を、候補画像として選出してもよい。
このように、近接センサ16bおよびスイッチ16aを併用することで、より高い精度で、外光の影響が安定する所定のタイミング幅を決定することができるが、いずれかを有しない構成であっても、実用性に問題のない精度でタイミング幅を決定することができる。また、後述のように、近接センサ16bおよびスイッチ16aのいずれも有しない場合であっても、所定のタイミング幅を決定することが可能である。
なお、ドア3と筐体との距離は、上述した5cmに限定されず、3~7cm程度の値であってもよい。また、使用者によりドア3を閉める速度が変わるために、使用者に応じて、異なる距離を設定してもよい。
また、検知部104が、カメラ15により連続的に撮影された加熱庫12内の複数の画像に対し、前後の画像の差分を計算し、加熱庫12内部の照度環境の変化が安定したタイミングを検出して、そのタイミングから、検知部104がスイッチ16aによりドア3が閉まったと判定したタイミングまでに撮影された画像を、安定した照度環境で撮影された画像として、候補画像として選出してもよい。この場合には、認識精度向上のための、候補画像の絞り込みを行うことができる。
ここで、照度環境の安定の判断は、ドア3が開いてからカメラ15が撮影した加熱庫12内の最大撮影輝度を基準として、ドア3を閉めた時点までの輝度変化量のうち、90%を超えた時点で、外光の影響が低下したとして、安定したと判断する。
前述の各種方法により、認識に用いる候補画像を選出した後、ステップS5へと処理を進める。
ステップS5では、制御部100は、カメラ15で撮影され、記憶部103に記憶された、一または複数の候補画像を用いて、文字列の認識を行い、加熱制御情報を認識し、ステップS6へ処理を進める。
ステップS6では、ステップS5で得られた、一枚の候補画像または複数の候補画像それぞれに対する認識結果、つまり加熱制御情報の整合性を確認し、最終的な加熱条件を出力する。
例えば、候補画像の2枚に対する認識結果が、「500W2分 1500W40秒」と「500W2分 1500W10秒」であった場合、認識結果が一致しないため、どちらかの加熱情報が誤っているものとして、加熱制御は行わずに処理を終了する(S6,NO)。一枚の候補画像で認識を行って認識結果が得られた場合、または、複数の候補画像に対する認識結果が一致した場合には、認識成功(整合性がある)とみなし(S6,YES)、ステップS7に処理を進める。
このように、認識対象の候補画像が複数の場合、制御部100が、複数の候補画像に対する認識結果の整合性を確認することによって、誤った加熱制御情報に基づいた加熱が実施されることを防ぐことができる。なお、整合性を確認する際、複数の候補画像全てに対する認識結果の一致を確認してもよいし、全てではなく、所定数以上の認識結果の一致により、正しい認識結果と判断してもよい。
ステップS7において、制御部100は、認識部102が認識した加熱制御情報のうち、電子レンジ1の加熱パワーに適した、調理を行うための加熱時間(例えば、40秒)を液晶表示器7に表示させる。
ステップS8において、制御部100は、加熱開始ボタン9が押下されたか否かを判定する。加熱開始ボタン9が押下されたと判定すると(S8,YES)、ステップS9へ処理を進めて、加熱制御部101がマグネトロン13a,13bを制御して、被加熱対象物の加熱が開始される(S9)。制御部100は、加熱開始ボタン9が押下されるまでは、ステップS8を繰り返す(S8,NO)。
このようにして、本開示の第1の実施の形態によれば、使用者が、商品の加熱時間を入力したり、商品に対応したボタンを選択したりすることなく、自動的に加熱時間を設定することが可能である。また、操作者がドア3を閉じた際に、ドア3と加熱庫12の筐体部等との衝突により振動が発生した場合にも、ドア3を閉じる以前に、予めカメラ15によって撮影された画像を用いて認識部102が認識を行う。これにより、振動が収まるまで撮影が開始できないといった、操作上の時間的なロスを防ぐことができる。
(第2の実施の形態)
次に、本開示の第2の実施の形態について、図5のフローチャートを用いて説明する。
次に、本開示の第2の実施の形態について、図5のフローチャートを用いて説明する。
図5は、本開示の第2の実施の形態における、電子レンジ1の動作を示すフローチャートである。
第1の実施の形態と第2の実施の形態とで異なるところは、第2の実施の形態においては、認識用に複数の候補画像が存在する場合に、一部の候補画像に対して認識処理を行い、残りの候補画像が、認識に失敗した場合のリカバリー用の候補画像として使用される点にある。
以下では、第1の実施の形態と異なる点のみについて説明を行い、同じ制御を行う点については説明を省略する。
本実施の形態においては、ステップS5において、制御部100は、カメラ15で撮影され、記憶部103に記憶された複数の候補画像の内、第一候補となる一部の画像に対して、文字認識を行い、加熱制御情報を取得して、ステップS6へ処理を進める。なお、この際、一枚の画像に対して認識を行ってもよいし、第1の実施の形態のように、複数の画像それぞれに対して認識を行い、整合性を確認した結果を、ステップS5における認識結果としてもよい。
ステップS6において、制御部100は、ステップS5で実施された認識処理が成功したかどうかを判断する。成功した場合(S6,YES)には、ステップS7へ処理を進める。失敗した場合(S6,NO)には、ステップS10に処理を進める。
ステップS10において、制御部100は、記憶部103に、認識用の別の候補画像が存在するかどうかを調べる。他の候補画像が存在する場合(S10,YES)、制御部100は、ステップS5に処理を戻す。ステップS5においては、別の候補画像を用いて、認識処理が行われる。一方、他の候補画像が存在しない場合(S10,NO)、制御部100は、食品の加熱をせずに処理を終了する。
このように、第2の実施の形態では、認識部102が、記憶部103に記憶された複数の候補画像の一部を、認識失敗時のリカバリー用の画像として使用するため、一部の候補画像に対して認識が失敗した場合にも、認識の機会を増やしてリカバリーを図ることができる。このため、操作者の開始ボタンの押し直し等の、操作の手間を減らすことができる。
(他の実施の形態)
上述した実施の形態においては、加熱調理器である電子レンジ1が、単独で、加熱制御情報の取得、認識処理を行う例を示したが、本開示はこの例に限定されない。
上述した実施の形態においては、加熱調理器である電子レンジ1が、単独で、加熱制御情報の取得、認識処理を行う例を示したが、本開示はこの例に限定されない。
例えば、加熱調理器をネットワークと接続可能に構成し、ネットワーク上のサーバにより、加熱調理器を制御する加熱調理システムとして実施することも可能である。
図6~図8は、それぞれ、本開示の他の実施の形態における、加熱調理システム300~302の構成を示す図である。
加熱調理システム300~302においては、第1の実施の形態の電子レンジ1における、認識部102および記憶部103が行う処理の両方またはいずれかがサーバ200側で実行される。これにより、加熱調理器における認識処理等による処理負荷を軽減することができる。
例えば、図6の構成においては、加熱調理システム300は、加熱調理器の一例である電子レンジ1と、サーバ200とを備えている。電子レンジ1の制御部100によって、加熱制御部101、検知部104およびカメラ15が制御されている。また、電子レンジ1は、サーバ200と通信可能な通信部109を有している。
サーバ200は、電子レンジ1と通信可能な通信部202を有しており、制御部201によって、認識部102および記憶部103が制御されている。
このような構成においては、カメラ15による商品の撮影が電子レンジ1にて行われ、加熱制御情報を抽出するための候補画像がサーバ200に送られる。サーバ200では、認識処理および整合性の確認等が行われ、その結果が電子レンジ1に返される。候補画像は、サーバ200側の記憶部103に記憶される。電子レンジ1では、整合性があると確認された加熱制御情報を用いて、商品の加熱調理が行われる。
次に、図7に示された構成の加熱調理システム301は、図6の加熱調理システム300の構成と比較して、記憶部103が電子レンジ側に搭載されている点が異なる。
このような構成によれば、カメラ15による商品の撮影が電子レンジ1にて行われ、画像が電子レンジ1の記憶部103に記憶される。加熱制御情報を抽出するために抽出された候補画像がサーバ200に送られる。サーバ200では、認識処理および整合性の確認等が行われ、その結果が電子レンジ1に返される。電子レンジ1では、整合性があると確認された加熱制御情報を用いて、商品の加熱調理が行われる。
また、図8の構成の加熱調理システム302は、図6の加熱調理システム300の構成と比較して、認識部102が電子レンジ側に搭載されている点が異なる。
このような構成においては、カメラ15による商品の撮影が電子レンジ1にて行われ、サーバ200に送られる。候補画像は、サーバ200の記憶部103に記憶される。電子レンジ1側では、加熱制御情報を抽出するための候補画像(これは、サーバ200から送られた画像であってもよい)の認識処理および整合性の確認等が行われ、整合性があると確認された加熱制御情報を用いて、商品の加熱調理が行われる。
図8の構成のように、記憶部103をサーバ200側に有する構成とすれば、電子レンジ1側に大きな容量のメモリを用いる必要がなくなり、簡易な構成を実現することができる。
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、および省略等を行うことができる。
以上述べたように、本開示によれば、使用者は、商品を加熱庫内に入れるだけで、その商品に印刷されている加熱制御情報を読み取って、その通りに適切に加熱することができる。よって、設定の煩わしさがなく、販売店で使われる電子レンジの他、家庭用の電子レンジ、炊飯器およびIHクッキングヒータ等、調理器全般に適用でき、有用である。業務用の電子レンジは、明るく外光の影響の受けやすいイートインスペースに配置される可能性があり、本開示の内容が特に有効である。
1 電子レンジ
2 筐体
3 ドア
4 ガラス窓
5 取っ手
6 操作表示部
7 液晶表示器
8 時間設定ボタン群
9 加熱開始ボタン
10 取消ボタン
11 一時停止ボタン
12 加熱庫
13a,13b マグネトロン
14 食品
15 カメラ
16a スイッチ
16b 近接センサ
17 シール
18 商品名
19 加熱制御情報
20 金額情報
21 消費期限情報
22 バーコード
23 栄養情報
24 お知らせ情報
25 四角枠
100 制御部
101 加熱制御部
102 認識部
103 記憶部
104 検知部
109 通信部
200 サーバ
201 制御部
202 通信部
300,301,302 加熱調理システム
2 筐体
3 ドア
4 ガラス窓
5 取っ手
6 操作表示部
7 液晶表示器
8 時間設定ボタン群
9 加熱開始ボタン
10 取消ボタン
11 一時停止ボタン
12 加熱庫
13a,13b マグネトロン
14 食品
15 カメラ
16a スイッチ
16b 近接センサ
17 シール
18 商品名
19 加熱制御情報
20 金額情報
21 消費期限情報
22 バーコード
23 栄養情報
24 お知らせ情報
25 四角枠
100 制御部
101 加熱制御部
102 認識部
103 記憶部
104 検知部
109 通信部
200 サーバ
201 制御部
202 通信部
300,301,302 加熱調理システム
Claims (5)
- 加熱庫と、
前記加熱庫内を撮影する撮影部と、
前記撮影部で撮影された画像を記憶する記憶部と、
前記加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、
前記ドアの開閉を検知する検知部と、
前記記憶部に記憶された画像から、前記被加熱対象物に関する加熱制御情報を取得する認識部と、を備え、
前記検知部は、前記ドアが閉められる以前の所定のタイミング幅を検知するように構成され、
前記認識部は、前記記憶部に記憶された前記画像の中から、前記所定のタイミング幅において撮影された画像を選択して前記加熱制御情報を取得するように構成された
加熱調理器。 - 前記ドアが閉められたことを検知するスイッチと、
前記ドアと前記加熱庫の筐体との距離が、所定の距離以下になったことを検知する近接センサと、をさらに備え、
前記検知部は、前記近接センサによる検知のタイミング以降、かつ、前記スイッチによる検知のタイミング以前を、前記所定のタイミング幅とするように構成された
請求項1に記載の加熱調理器。 - 前記検知部は、前記記憶部に記憶された、前記加熱庫内の時間的に連続した複数の前記画像に対して、前記複数の画像間の差分を計算することにより、前記加熱庫内の照度環境の変化が安定したタイミング幅を検知して、検知された前記タイミング幅を、前記所定のタイミング幅とするように構成された
請求項1に記載の加熱調理器。 - 前記認識部は、前記記憶部に記憶された、異なるタイミングで撮影された複数の前記画像を用いて前記加熱制御情報を取得するように構成された
請求項1から請求項3までのいずれか1項に記載の加熱調理器。 - 加熱庫と、
前記加熱庫内を撮影する撮影部と、
前記加熱庫内に被加熱対象物を載置する際に、開閉されるドアと、
前記ドアの開閉を検知する検知部と、を備える加熱調理器の制御方法であって、
前記ドアが閉められる以前の所定のタイミング幅を検知し、
前記撮影部で撮影された、前記加熱庫内の画像の中から、前記所定のタイミング幅において撮影された画像を選択して前記被加熱対象物に関する加熱制御情報を取得する
加熱調理器の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018553726A JP6906147B2 (ja) | 2016-11-29 | 2017-11-01 | 加熱調理器および加熱調理器の制御方法 |
CN201780071244.0A CN109964083B (zh) | 2016-11-29 | 2017-11-01 | 加热烹调器以及加热烹调器的控制方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016230889 | 2016-11-29 | ||
JP2016-230889 | 2016-11-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018100956A1 true WO2018100956A1 (ja) | 2018-06-07 |
Family
ID=62242123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/039497 WO2018100956A1 (ja) | 2016-11-29 | 2017-11-01 | 加熱調理器および加熱調理器の制御方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6906147B2 (ja) |
CN (1) | CN109964083B (ja) |
WO (1) | WO2018100956A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020200969A1 (de) * | 2019-04-05 | 2020-10-08 | BSH Hausgeräte GmbH | Haushalts-gargerät mit garraumkamera und verfahren zum betreiben |
JP2021131190A (ja) * | 2020-02-20 | 2021-09-09 | パナソニックIpマネジメント株式会社 | 加熱調理器、制御装置、及び制御方法 |
WO2021200530A1 (ja) * | 2020-04-03 | 2021-10-07 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112879963B (zh) * | 2021-01-25 | 2022-09-06 | 青岛海尔空调器有限总公司 | 用于微波炉的食物加热控制方法及装置、微波炉 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015059931A1 (ja) * | 2013-10-24 | 2015-04-30 | パナソニックIpマネジメント株式会社 | 加熱調理器、調理システム、演算装置及び調理支援方法 |
WO2016143267A1 (ja) * | 2015-03-10 | 2016-09-15 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070005808A (ko) * | 2005-07-06 | 2007-01-10 | 삼성전자주식회사 | 바코드를 이용하는 조리 장치와 조리 시스템 및 조리 제어방법 |
US9538880B2 (en) * | 2012-05-09 | 2017-01-10 | Convotherm Elektrogeraete Gmbh | Optical quality control system |
JP6439137B2 (ja) * | 2014-10-17 | 2018-12-19 | パナソニックIpマネジメント株式会社 | 加熱調理器およびその制御方法 |
WO2016179424A1 (en) * | 2015-05-05 | 2016-11-10 | June Life, Inc. | Connected food preparation system and method of use |
-
2017
- 2017-11-01 WO PCT/JP2017/039497 patent/WO2018100956A1/ja active Application Filing
- 2017-11-01 JP JP2018553726A patent/JP6906147B2/ja active Active
- 2017-11-01 CN CN201780071244.0A patent/CN109964083B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015059931A1 (ja) * | 2013-10-24 | 2015-04-30 | パナソニックIpマネジメント株式会社 | 加熱調理器、調理システム、演算装置及び調理支援方法 |
WO2016143267A1 (ja) * | 2015-03-10 | 2016-09-15 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020200969A1 (de) * | 2019-04-05 | 2020-10-08 | BSH Hausgeräte GmbH | Haushalts-gargerät mit garraumkamera und verfahren zum betreiben |
US11994301B2 (en) | 2019-04-05 | 2024-05-28 | BSH Hausgeräte GmbH | Household cooking appliance having a cooking chamber camera and method for operation |
JP2021131190A (ja) * | 2020-02-20 | 2021-09-09 | パナソニックIpマネジメント株式会社 | 加熱調理器、制御装置、及び制御方法 |
JP7357222B2 (ja) | 2020-02-20 | 2023-10-06 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
WO2021200530A1 (ja) * | 2020-04-03 | 2021-10-07 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
JP2021162274A (ja) * | 2020-04-03 | 2021-10-11 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
JP7345084B2 (ja) | 2020-04-03 | 2023-09-15 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
Also Published As
Publication number | Publication date |
---|---|
JP6906147B2 (ja) | 2021-07-21 |
CN109964083B (zh) | 2020-08-04 |
CN109964083A (zh) | 2019-07-02 |
JPWO2018100956A1 (ja) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018100956A1 (ja) | 加熱調理器および加熱調理器の制御方法 | |
JP6807525B2 (ja) | 加熱調理器 | |
WO2018012245A1 (ja) | 加熱調理器 | |
WO2017077695A1 (ja) | 加熱調理器 | |
US11528785B2 (en) | Heating cooker, method of controlling heating cooker, and heating cooking system | |
CN108700303B (zh) | 加热烹调器 | |
WO2017175591A1 (ja) | 加熱調理器 | |
WO2018096885A1 (ja) | 加熱調理器、加熱調理器の制御方法、および加熱調理システム | |
JP7113211B2 (ja) | 加熱調理器 | |
JP2016166724A (ja) | 加熱調理器 | |
JPWO2017164050A1 (ja) | 加熱調理器、加熱調理器の制御方法及び加熱調理システム | |
JP6920591B2 (ja) | 加熱調理器 | |
WO2019159518A1 (ja) | 加熱調理器および加熱調理システム | |
WO2020054609A1 (ja) | 加熱調理器 | |
JPWO2018235703A1 (ja) | 加熱調理器 | |
US20220418055A1 (en) | Heating cooker, control device, and control method | |
JP7386391B2 (ja) | 加熱調理器 | |
JP7345084B2 (ja) | 加熱調理器 | |
WO2018079426A1 (ja) | 加熱調理器および加熱調理器の制御方法 | |
WO2020195253A1 (ja) | 加熱調理器 | |
JP2023036972A (ja) | 加熱調理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17876108 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018553726 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17876108 Country of ref document: EP Kind code of ref document: A1 |