JPWO2019059211A1 - Cooker - Google Patents
Cooker Download PDFInfo
- Publication number
- JPWO2019059211A1 JPWO2019059211A1 JP2019543661A JP2019543661A JPWO2019059211A1 JP WO2019059211 A1 JPWO2019059211 A1 JP WO2019059211A1 JP 2019543661 A JP2019543661 A JP 2019543661A JP 2019543661 A JP2019543661 A JP 2019543661A JP WO2019059211 A1 JPWO2019059211 A1 JP WO2019059211A1
- Authority
- JP
- Japan
- Prior art keywords
- cooking
- image
- camera
- unit
- cooking object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B6/00—Heating by electric, magnetic or electromagnetic fields
- H05B6/02—Induction heating
- H05B6/10—Induction heating apparatus, other than furnaces, for specific applications
- H05B6/12—Cooking devices
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Induction Heating Cooking Devices (AREA)
- Electric Stoves And Ranges (AREA)
Abstract
加熱調理器は、調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、容器載置部に載置された容器を下方から加熱する加熱部と、調理対象Ｔを撮影するカメラと、本体に設けられ、カメラに撮影されるマーカーと、カメラの撮影画像に写るマーカーの像の位置に基づいて撮影画像における天面の容器載置部に対応する調理対象存在領域を特定し、その領域内から調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて調理対象の状態を推定する調理対象状態推定部と、推定された前記調理対象の状態に基づいて、加熱部を制御する加熱制御部と、を有する。 The cooking device includes a main body including a top surface including a container mounting portion on which a container containing a cooking target is placed, a heating portion that heats a container mounted on the container mounting portion from below, and a cooking target. Based on the position of the camera that shoots T, the marker that is provided on the main body and is shot by the camera, and the image of the marker that appears in the image shot by the camera, there is a cooking object that corresponds to the container mounting part on the top surface in the shot image. Cooking target state estimation unit that identifies a region, identifies an image of a cooking target from within that region, extracts the image of the specified cooking target, and estimates the state of the cooking target based on the extracted image of the cooking target. And a heating control unit that controls the heating unit based on the estimated state of the cooking object.
Description
本発明は、調理対象を加熱する加熱調理器に関する。 The present invention relates to a cooking device that heats a cooking object.
従来より、調理対象をカメラで撮影し、その撮影画像に写る調理対象の像に基づいて、調理対象に対する加熱を制御する加熱調理器が知られている（例えば、特許文献１参照）。 Conventionally, there has been known a cooking device that captures a cooking object with a camera and controls heating of the cooking object based on an image of the cooking object captured in the photographed image (see, for example, Patent Document 1).
しかしながら、特許文献１に記載された加熱調理器の場合、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱の制御を行うため、カメラは、加熱調理器の本体に対して位置決めされる。そのため、カメラの設置の自由度が低い。その結果として、例えば、加熱調理器が設けられているキッチンの意匠性を損なうような位置にカメラが設置される可能性がある。 However, in the case of the cooking utensil described in Patent Document 1, in order to control the heating of the cooking object based on the image of the cooking object captured by the camera, the camera refers to the main body of the cooking object. Positioned. Therefore, the degree of freedom in installing the camera is low. As a result, for example, the camera may be installed at a position that impairs the design of the kitchen in which the cooker is provided.
そこで、本発明は、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることを課題とする。 Therefore, an object of the present invention is to improve the degree of freedom in installing a camera in a cooking device that controls heating of a cooking object based on an image of the cooking object captured by a camera.
上述の課題を解決するために、本発明の一態様によれば、
調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、
前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記本体に設けられ、前記カメラに撮影されるマーカーと、
前記カメラの撮影画像に写る前記マーカーの像の位置に基づいて前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を特定し、前記調理対象存在領域内から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器が提供される。In order to solve the above-mentioned problems, according to one aspect of the present invention,
A main body including a top surface having a container mounting part on which a container containing a cooking object is placed,
A heating unit that heats the container placed on the container mounting unit from below,
A camera that shoots the cooking object and
A marker provided on the main body and photographed by the camera,
Based on the position of the image of the marker captured in the image captured by the camera, the cooking target existing area corresponding to the container-mounted portion on the top surface of the captured image is specified, and the cooking object exists from within the cooking object existing area. A cooking object state estimation unit that identifies an image, extracts an image of the specified cooking object, and estimates the state of the cooking object based on the extracted image of the cooking object.
Provided is a cooking device including a heating control unit that controls the heating unit based on the state of the cooking object estimated by the cooking object state estimation unit.
また、本発明の別の態様によれば、
調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、
前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記カメラの撮影画像を表示する撮影画像表示部と、
ユーザが、前記撮影画像表示部に写る撮影画像に基づいて、前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を教示するための教示部と、
前記調理対象存在領域から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器が提供される。Further, according to another aspect of the present invention.
A main body including a top surface having a container mounting part on which a container containing a cooking object is placed,
A heating unit that heats the container placed on the container mounting unit from below,
A camera that shoots the cooking object and
A captured image display unit that displays a captured image of the camera,
A teaching unit for the user to teach a cooking target existing area corresponding to the container mounting portion on the top surface of the captured image based on the captured image displayed on the captured image display unit.
An image of the cooking object is specified from the area where the cooking object exists, an image of the specified cooking object is extracted, and a cooking object state estimation unit that estimates the state of the cooking object based on the extracted image of the cooking object. ,
Provided is a cooking device including a heating control unit that controls the heating unit based on the state of the cooking object estimated by the cooking object state estimation unit.
本発明によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることができる。 According to the present invention, it is possible to improve the degree of freedom in installing the camera in the cooking device that controls the heating of the cooking object based on the image of the cooking object captured by the camera.
本発明のこれらの態様と特徴は、添付された図面についての好ましい実施の形態に関連した次の記述から明らかになる。この図面においては、
本発明の一態様の加熱調理器は、調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、前記容器載置部に載置された前記容器を下方から加熱する加熱部と、前記調理対象を撮影するカメラと、前記本体に設けられ、前記カメラに撮影されるマーカーと、前記カメラの撮影画像に写る前記マーカーの像の位置に基づいて前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を特定し、前記調理対象存在領域内から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する。 The cooking cooker according to one aspect of the present invention has a main body including a top surface including a container mounting portion on which a container containing a cooking object is placed, and the container mounted on the container mounting portion from below. In the photographed image, based on the positions of the heating unit to be heated, the camera for photographing the cooking object, the marker provided on the main body and photographed by the camera, and the image of the marker in the photographed image of the camera. The cooking target existing area corresponding to the container mounting portion on the top surface is specified, the image of the cooking target is specified from the cooking target existing area, the image of the specified cooking target is extracted, and the extracted cooking is performed. A cooking target state estimation unit that estimates the state of the cooking target based on the image of the target, and a heating control unit that controls the heating unit based on the cooking target state estimated by the cooking target state estimation unit. , Have.
本発明の一態様によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることができる。すなわち、撮影画像に写るマーカーの像の位置に基づいて調理対象の像を短時間で高精度に特定することができるので、カメラを加熱調理器の本体に対して高精度に位置決めする必要がない。 According to one aspect of the present invention, it is possible to improve the degree of freedom in installing the camera in the cooking device that controls the heating of the cooking object based on the image of the cooking object captured by the camera. That is, since the image of the cooking target can be identified with high accuracy in a short time based on the position of the marker image reflected in the captured image, it is not necessary to position the camera with high accuracy with respect to the main body of the cooking cooker. ..
例えば、前記本体の天面に描かれているマークまたは貼り付けられているシールであってもよい。カメラの撮影画像においてその像が特定しやすいように構成されたマーカーを使用することができる。 For example, it may be a mark or a sticker attached to the top surface of the main body. A marker configured so that the image can be easily identified in the image captured by the camera can be used.
例えば、前記マーカーが、前記容器載置部以外の前記天面の部分に設けられてもよい。これにより、マーカー上に容器が載置されることが抑制される。 For example, the marker may be provided on the top surface portion other than the container mounting portion. This prevents the container from being placed on the marker.
例えば、前記マーカーが、複数設けられてもよい。複数のマーカーの像それぞれの撮影画像における位置に基づいて調理対象存在領域を一義的に特定できるので、結果として、調理対象の像の特定を短時間で高精度に行うことができる。 For example, a plurality of the markers may be provided. Since the area where the cooking object exists can be uniquely specified based on the position of each of the images of the plurality of markers in the captured image, as a result, the image of the cooking object can be specified with high accuracy in a short time.
例えば、加熱調理器が、前記加熱部を操作するための操作部と、前記加熱部の出力状態を表示する表示部と、を有する場合、前記操作部および前記表示部の少なくとも一方が、前記マーカーとして使用されてもよい。これにより、マーカーを描くまたはマーカーシールを貼り付ける必要がなくなり、加熱調理器の意匠性の低下を抑制することができる。 For example, when the cooking cooker has an operation unit for operating the heating unit and a display unit for displaying the output state of the heating unit, at least one of the operation unit and the display unit is the marker. May be used as. As a result, it is not necessary to draw a marker or attach a marker sticker, and it is possible to suppress deterioration of the design of the cooking cooker.
例えば、前記天面全体が、前記マーカーとして使用されてもよい。これにより、マーカーを描くまたはマーカーシールを貼り付ける必要がなくなり、加熱調理器の意匠性の低下を抑制することができる。 For example, the entire top surface may be used as the marker. As a result, it is not necessary to draw a marker or attach a marker sticker, and it is possible to suppress deterioration of the design of the cooking cooker.
例えば、前記調理対象状態推定部が、前記マーカーの像の形状に基づいて前記加熱調理器の機種を判別し、判別した機種における前記マーカーと前記容器載置部との間の位置関係に基づいて前記調理対象存在領域を特定する。これにより、機種の異なる加熱調理器に対して共通の調理対象状態推定部を採用することができる。 For example, the cooking target state estimation unit determines the model of the cooking device based on the shape of the image of the marker, and based on the positional relationship between the marker and the container mounting portion in the determined model. The area where the cooking target exists is specified. As a result, it is possible to adopt a common cooking target state estimation unit for different types of cooking cookers.
例えば、加熱調理器が、前記調理対象存在領域を特定できない場合に報知する、または、前記調理対象存在領域を特定できた場合に報知する報知部を有する。これにより、加熱調理器の本体に対してカメラを、容器載置部がカメラの撮影範囲から外れる位置に設置されることが抑制される。 For example, the cooking cooker has a notification unit that notifies when the cooking target existing area cannot be specified, or notifies when the cooking target existing area can be specified. As a result, it is possible to prevent the camera from being installed at a position where the container mounting portion is out of the shooting range of the camera with respect to the main body of the cooking cooker.
本発明の別の一態様の加熱調理器は、調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、前記容器載置部に載置された前記容器を下方から加熱する加熱部と、前記調理対象を撮影するカメラと、前記カメラの撮影画像を表示する撮影画像表示部と、ユーザが、前記撮影画像表示部に写る撮影画像に基づいて、前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を教示するための教示部と、前記調理対象存在領域から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する。 Another aspect of the cooking cooker of the present invention includes a main body including a top surface including a container mounting portion on which a container containing a cooking object is placed, and the container mounted on the container mounting portion. A heating unit that heats from below, a camera that captures the cooking target, a captured image display unit that displays a captured image of the camera, and a captured image that the user captures on the captured image display unit. An image of the cooking target is specified from the teaching unit for teaching the cooking target existing area corresponding to the container mounting portion on the top surface of the cooking target and the cooking target existing area, and the specified image of the cooking target is extracted. , The cooking target state estimation unit that estimates the state of the cooking target based on the extracted image of the cooking target, and the heating unit is controlled based on the state of the cooking target estimated by the cooking target state estimation unit. It has a heating control unit and a heating control unit.
本発明の別の態様によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることができる。 According to another aspect of the present invention, it is possible to improve the degree of freedom in installing the camera in the cooking device that controls the heating of the cooking object based on the image of the cooking object captured by the camera.
以下、本発明の一実施の形態について、図面を参照しながら説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図１は、本発明の一実施の形態に係る加熱調理器の概略的斜視図である。また、図２は、加熱調理器のトッププレートの上面図である。さらに、図３は、加熱調理器の構成を概略的に示す図である。さらにまた、図４は、加熱調理器の制御系を示すブロック図である。なお、図において、Ｘ軸方向は加熱調理器の幅方向を示し、Ｙ軸方向は奥行き方向を示し、Ｚ軸方向は高さ方向を示す。 FIG. 1 is a schematic perspective view of a cooking cooker according to an embodiment of the present invention. Further, FIG. 2 is a top view of the top plate of the cooking cooker. Further, FIG. 3 is a diagram schematically showing the configuration of the cooking cooker. Furthermore, FIG. 4 is a block diagram showing a control system of the cooking device. In the figure, the X-axis direction indicates the width direction of the cooking cooker, the Y-axis direction indicates the depth direction, and the Z-axis direction indicates the height direction.
図１に示すように、加熱調理器１０は、本体１２を有し、また、その本体１２の上側部分として、例えばシチューなどの調理対象Ｔを収容した容器Ｃが載置されるトッププレート１４を有する。
As shown in FIG. 1, the
また、本実施の形態の場合、加熱調理器１０は誘導加熱調理器であって、図１および図３に示すように、トッププレート１４における容器載置部（後述する容器載置エリア）に載置された容器Ｃの下方には、すなわち本体１２内には、加熱調理器１０の加熱部として加熱コイル１６Ａ〜１６Ｃが配置されている。加熱コイル１６Ａ〜１６Ｃは、トッププレート１４上に載置された容器Ｃを下方から誘導加熱する。
Further, in the case of the present embodiment, the
この加熱コイル１６Ａ〜１６Ｃそれぞれをユーザが操作するための操作部として、複数のタッチキー１８Ａ〜１８Ｃが、加熱調理器１０の正面１０ａ側のトッププレート１４の部分に設けられている。例えば、タッチキー１８Ａにより、対応する加熱コイル１６Ａの加熱が開始されるまたは停止される。また、その加熱レベル（例えば４段階）が調節される。
A plurality of
また、加熱コイル１６Ａ〜１６Ｃの出力状態（加熱レベル）を表示する複数の出力表示部２０Ａ〜２０Ｃも、加熱調理器１０の正面１０ａ側のトッププレート１４の部分に設けられている。
Further, a plurality of
なお、加熱コイル１６Ａ〜１６Ｃによる加熱を詳細に設定するために、設定部２２が加熱調理器１０の正面１０ａ側に設けられている。設定部２２は、本体１２に対して出し入れ可能であって、加熱コイル１６Ａ〜１６Ｃによる加熱を詳細に設定するための設定キー２２ａと、その設定内容や加熱コイル１６Ａ〜１６Ｃの詳細な状態などを表示する設定表示部２２ｂとを備える。この設定部２２により、加熱コイル１６Ａ〜１６Ｃの加熱温度、加熱時間、タイマーなどが設定される。
In addition, in order to set the heating by the heating coils 16A to 16C in detail, the setting
また、加熱調理器１０は、ユーザに対して報知するスピーカーなどの報知部２４を、加熱調理器１０の正面１０ａ側に備える。
Further, the
さらに、加熱調理器１０は、トッププレート１４上に載置された容器Ｃの温度を検出する複数の温度センサ２６Ａ〜２６Ｃと、トッププレート１４上に載置された容器Ｃの重量を検出する重量センサ２８とを有する。
Further, the
本実施の形態の場合、複数の温度センサ２６Ａ〜２６Ｃは、トッププレート１４の下方に配置されるとともに、加熱コイル１６Ａ〜１６Ｃそれぞれの中央に配置されている。すなわち、例えば温度センサ２６Ａは、加熱コイル１６Ａの上方に配置されて該加熱コイル１６Ａによって誘導加熱されている容器Ｃの底側の温度をトッププレート１４を介して検出している。
In the case of the present embodiment, the plurality of
本実施の形態の場合、重量センサ２８は、トッププレート１４上の載置物の重量、すなわち容器Ｃが複数ある場合には、その複数の容器Ｃの重量とそれぞれの容器Ｃに収容されている調理対象の重量との合計を検出する。
In the case of the present embodiment, the
さらに、加熱調理器１０は、トッププレート１４上の調理対象Ｔを上方から撮影するカメラ３０を有する。
Further, the
カメラ３０は、例えば、静止画、動画、赤外線画像などを撮影可能なカメラであって、本体１２の上側部分であるトッププレート１４の天面１４ａ（すなわち本体１２の天面）全体を撮影する。カメラ３０は、加熱調理器１０の上方に位置する天井またはレンジフード（図示せず）などに取り付けられる。本実施の形態の場合、カメラ３０は、マグネットを介してレンジフードに取り付けられる。そのため、加熱調理器１０の本体１２に対してカメラ３０を自由に設置することができる（すなわち設置の自由度が高い）。その結果、キッチンの意匠性を損なうことがない、ユーザの好む位置にカメラを取り付けることができる。
The
本実施の形態の場合、ユーザの好む位置に配置可能なカメラ３０は、加熱調理器１０の制御部５０と無線通信するように構成されている。そのために、図３に示すように、カメラ３０がアンテナ３２を備えるとともに、加熱調理器１０の本体１２内にアンテナ３４が設けられている。なお、本実施の形態の場合、カメラ３０と制御部５０は、ルーター装置３６を介して接続されている。すなわち、カメラ３０と制御部５０は、ルーター装置３６を中心とするローカルエリアネットワーク３８に無線通信可能に接続されている。また、ルーター装置３６は、インターネット４０に接続されている。さらに、ルーター装置３６は、ユーザの携帯端末４２に無線通信可能に接続されている。
In the case of the present embodiment, the
ここからは、加熱調理器１０の動作、すなわちその制御部５０が行う制御について図４を参照しながら説明する。
From here on, the operation of the
加熱調理器１０の制御部５０は、例えばＣＰＵなどの処理装置であって、ＲＯＭ、ＲＡＭ、ハードディスクなどの記憶部６０に記憶されているプログラムを実行することによって種々の機能を果たすように（例えば、後述する画像処理部として機能するように）構成されている。図４に示すように、制御部５０は、タッチキー１８Ａ〜１８Ｃおよび設定部２２の設定キー２２ａに対するユーザの操作に対応する信号をこれらから受け取るように構成されている。制御部５０はまた、温度センサ２６Ａ〜２６Ｃそれぞれによって検出された温度に対応する信号をこれらから受け取るように構成されている。制御部５０はさらに、重量センサ２８によって検出された重量に対応する信号を受け取るように構成されている。そして、制御部５０は、カメラ３０によって撮影された撮影画像（データ）を該カメラ３０から受け取るように構成されている。
The
加えて、加熱調理器１０の制御部５０は、加熱コイル１６Ａ〜１６Ｃ、出力表示部２０Ａ〜２０Ｃ、設定表示部２２ｂ、および報知部２４を制御するように構成されている。
In addition, the
例えば、制御部５０は、設定部２２の設定キー２２ａを介してユーザによって設定された加熱温度を温度センサ２６Ａ〜２６Ｃが検出し続けるように、加熱コイル１６Ａ〜１６Ｃの出力を制御する。これにより、例えば、揚げ物をする場合、容器Ｃに収容された油を一定の温度に維持することができる。
For example, the
また例えば、制御部５０は、容器Ｃ内に水が収容されている場合（ユーザが自動湯沸しモードを設定部２２を介して設定した場合）、温度センサ２６Ａ〜２６Ｃが沸騰温度を検出すると、加熱コイル１６Ａ〜１６Ｃを停止させるとともに、報知部２４を介してユーザに湯沸しが完了したことを報知する。
Further, for example, when water is contained in the container C (when the user sets the automatic boiling mode via the setting unit 22), the
さらに、制御部５０は、カメラ３０の撮影画像、具体的にはその撮影画像に写る調理対象Ｔの像に基づいて様々な制御を行うように構成されている。
Further, the
そのために、加熱調理器１０の制御部５０は、カメラ３０から撮影画像を取得する画像取得部５２と、その取得した画像を処理（補正）する画像処理部５４と、その補正された撮影画像に写る容器Ｃ内の調理対象Ｔの像に基づいて該調理対象Ｔの状態を推定する調理対象状態推定部５６と、その推定結果に基づいて加熱コイル１６Ａ〜１６Ｃを制御する加熱制御部としての加熱コイル制御部５８とを有する（すなわち、制御部５０は、画像取得部５２、画像処理部５４、調理対象状態推定部５６、および加熱コイル制御部５８として機能する）。
Therefore, the
加熱調理器１０の制御部５０の画像取得部５２は、カメラ３０が撮影した撮影画像、例えば加熱調理中の調理対象Ｔを収容する容器Ｃが載置されている状態のトッププレート１４が写る撮影画像（データ）を取得する。本実施の形態の場合、カメラ３０は所定の時間間隔で撮影を行う。
The
図５は、画像取得部５２が取得するカメラ３０の撮影画像（オリジナル画像）の一例を示している。図５に示すように、カメラ３０の撮影画像Ｐ０には、トッププレート１４の天面１４ａの像１４ａ’が写っている。なお、図５において、調理対象Ｔの像Ｔ’は、クロスハッチングで示されている。
FIG. 5 shows an example of a captured image (original image) of the
画像処理部５４は、画像取得部５２によって取得されたカメラ３０の撮影画像Ｐ０に対して画像処理を行う。具体的には、画像処理部５４は、調理対象状態推定部５６がカメラ３０の撮影画像Ｐ０に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔの状態を短時間で高精度に推定できるように、その前処理として、撮影画像Ｐ０を補正する。本実施の形態の場合、撮影画像Ｐ０に対して幾何学的補正と色補正とを行う。まず、幾何学的補正について、図６に示すフローチャートを参照しながら説明する。
The
まず、図６に示す幾何学的補正を適切に行うために、図２に示すように、加熱調理器１０の本体１２に設けられた複数のマーカー４４Ａ〜４４Ｃを利用する。
First, in order to appropriately perform the geometric correction shown in FIG. 6, as shown in FIG. 2, a plurality of
具体的には、マーカー４４Ａ〜４４Ｃは、撮影画像において調理対象Ｔの像Ｔ’を特定しやすくするため、すなわち短時間で高精度に特定するために、カメラ３０に撮影されるアライメントマーカーである。図２に示すように、本実施の形態の場合、複数のマーカー４４Ａ〜４４Ｃは、トッププレート１４の天面１４ａ（すなわち本体１２の天面）に設けられている。例えば、マーカー４４Ａ〜４４Ｃは、トッププレート１４の天面１４ａに描かれたマークまたは天面１４ａに貼り付けられたシールである。特に、マーカー４４Ａ〜４４Ｃは、高精度に画像認識できる（カメラの撮影画像において特定しやすい）形状および色を備えたものであって、本実施の形態の場合、正三角形状である。
Specifically, the
また、理由は後述するが、複数のマーカー４４Ａ〜４４Ｃは、加熱コイル１６Ａ〜１６Ｃに対応付けされている。本実施の形態の場合、正三角形状のマーカーにおける１つの頂点が加熱コイルに向くことにより、対応付けされている。また、複数のマーカー４４Ａ〜４４Ｃは、加熱コイル１６Ａ〜１６Ｃに対向する容器載置エリア４６Ａ〜４６Ｃ（加熱コイルによって加熱される容器Ｃが載置される容器載置部）以外のトッププレート１４の天面１４ａの部分に設けられている。これにより、マーカー４４Ａ〜４４Ｃ上に容器Ｃが載置されることが抑制されている。
Further, although the reason will be described later, the plurality of
具体的には、マーカー４４Ａは、加熱コイル１６Ａに対応付けされ、加熱コイル１６Ａに対向する容器載置エリア４６Ａの近傍（奥側）に設けられている。また、マーカー４４Ｂは、加熱コイル１６Ｂに対応付けされ、加熱コイル１６Ｂに対向する容器載置エリア４６Ｂの近傍（奥側）に設けられている。そして、マーカー４４Ｃは、加熱コイル１６Ｃに対応付けされ、加熱コイル１６Ｃに対向する容器載置エリア４６Ｃの近傍（手前側）に設けられている。なお、容器載置エリア４６Ａ〜４６Ｃは、トッププレート１４の天面１４ａに設けられた略円環状のマーク４８Ａ〜４８Ｃによって画定されているとともに、ユーザに提示されている。
Specifically, the
したがって、カメラ３０の撮影画像においてマーカー４４Ａ〜４４Ｃの像を特定できれば、その特定したマーカーの像の位置に基づいて、容器載置エリア４６Ａ〜４６Ｃに対応する撮影画像の領域、すなわち調理対象Ｔの像が存在しうる領域（調理対象存在領域ＲＡ〜ＲＣ、図９参照）を短時間で高精度に特定することができる。
Therefore, if the images of the
説明すると、上述したように、カメラ３０は加熱調理器１０の本体１２に対して一定の位置ではなく、自由に設置可能である。そのため、撮影画像の一定の位置に調理対象Ｔの像が写るとは限らない。マーカー４４Ａ〜４４Ｃがない場合、調理対象Ｔの像を特定するために撮影画像全体を確認する必要があるため、その像の特定に時間がかかり、また特定エラーが起こり得る。また、調理対象Ｔは種々あって一定の形状や色ではないため、調理対象Ｔによってその像の特定時間や特定エラーの起こりやすさが異なる。
To explain, as described above, the
したがって、撮影画像において一定の特徴（形状や色）を備えるマーカー４４Ａ〜４４Ｃの像を特定し、その特定したマーカーの像の位置に基づいて容器載置エリア４６Ａ〜４６Ｃに対応する撮影画像の領域（調理対象存在領域ＲＡ〜ＲＣ）を特定し、その調理対象存在領域ＲＡ〜ＲＣ内から調理対象Ｔの像を特定する。その結果、マーカーを用いずに撮影画像全体を確認して調理対象の像を特定する場合に比べて、調理対象の像を短時間で高精度に特定することができる。
Therefore, the image of the
本実施の形態の場合、このようなマーカー４４Ａ〜４４Ｃを利用することにより、画像処理部５４がカメラ３０の撮影画像Ｐ０に対して幾何学的補正を行う。
In the case of the present embodiment, by using
まず、図６に示すように、ステップＳ１００において、画像処理部５４は、画像認識技術により、図５に示すカメラ３０の撮影画像Ｐ０において、複数のマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’を特定する。
First, as shown in FIG. 6, in step S100, the
ステップＳ１１０において、画像処理部５４は、マーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の形状を計測する。
In step S110, the
補足すると、図１に示すように、カメラ３０の光軸３０ａがトッププレート１４の天面１４ａに直交している場合、撮影画像Ｐに写るマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の形状は、マーカー４４Ａ〜４４Ｃ自体の実際形状と相似する。すなわち、本実施の形態の場合、実際形状が正三角形であるため、像４４Ａ’〜４４Ｃ’の形状も正三角形のはずである。
Supplementally, as shown in FIG. 1, when the
しかしながら、加熱調理器１０の本体１２に対してカメラ３０が自由に設置可能であるために、トッププレート１４の天面１４ａに対して光軸３０ａが非直交の状態で、カメラ３０が設置される場合がある。その場合、図５に示すように、トッププレート１４の像１４’の形状は歪み、マーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の形状も歪んで正三角形ではなくなる。
However, since the
ステップＳ１１０に続くステップＳ１２０において、画像処理部５４は、ステップＳ１１０で計測されたマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の形状に基づいて、カメラ３０の撮影画像Ｐ０を幾何学的補正する。具体的には、画像処理部５４は、計測した像４４Ａ’〜４４Ｃ’の形状とマーカー４４Ａ〜４４Ｃ自体の実際形状とを比較し、その比較結果に基づいて、台形補正の補正条件を算出する。補正条件は、像４４Ａ’〜４４Ｃ’がマーカー４４Ａ〜４４Ｃ自体の実際形状に相似な形状で写るように、撮影画像Ｐ０の形状を台形補正するための条件である。なお、そのために、マーカー４４Ａ〜４４Ｃ自体の実際形状のデータが記憶部６０に記憶されている。この台形補正を行うことにより、撮影画像Ｐ０は、図７に示すように、カメラ３０の光軸３０ａがトッププレート１４の天面１４ａに直交した状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像Ｐ１に補正される。
In step S120 following step S110, the
ステップＳ１３０において、画像処理部５４は、撮影画像Ｐ１におけるマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’のサイズを計測する。そして、続くステップＳ１４０において、画像処理部５４は、ステップＳ１３０で計測したサイズに基づいて、カメラ３０の撮影画像Ｐ１をサイズ補正する。具体的には、像４４Ａ’〜４４Ｃ’が予め決められた所定のサイズで撮影画像に写るように、撮影画像を拡大補正または縮小補正する。このサイズ補正により、撮影画像Ｐ１は、図８に示すように、カメラ３０とトッププレート１４の天面１４ａとの間の距離が所定の距離である状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像Ｐ２に補正される。
In step S130, the
ステップＳ１５０において、画像処理部５４は、撮影画像Ｐ２におけるマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の位置と姿勢とを計測する。そして、続くステップＳ１６０において、画像処理部５４は、ステップＳ１５０で計測した位置と姿勢とに基づいて、カメラ３０の撮影画像Ｐ２を位置補正および回転補正する。具体的には、像４４Ａ’〜４４Ｃ’が予め決められた所定の位置および姿勢で写るように、撮影画像を位置補正および回転補正する。これらの補正により、撮影画像Ｐ２は、図９に示すように、カメラ３０が加熱調理器１０の本体１２に対して所定の位置に所定の姿勢で配置された状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像Ｐ３に補正される。なお、所定の位置は、例えば、カメラ３０の光軸３０ａがトッププレート１４の中心を通過するようなカメラ３０の位置である。また、所定の姿勢は、例えば、トッププレート１４の長手方向（Ｘ軸方向）が撮影画像の長手方向と一致するような光軸３０ａを中心とするカメラ３０の回転姿勢である。
In step S150, the
ステップＳ１６０での位置補正および回転補正が終了すると、画像処理部５４によるカメラ３０の撮影画像Ｐ０に対する幾何学的補正が完了する。
When the position correction and the rotation correction in step S160 are completed, the geometric correction of the captured image P0 of the
このような幾何学的補正により、加熱調理器１０の本体１２に対してカメラ３０がどのような位置に設置されても、実質的に同一の幾何学的条件で撮影された撮影画像を得ることができる。その結果、カメラ３０の位置によらず、調理対象状態推定部５６は、撮影画像に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔの状態を実質的に一定の精度で推定することができる。
By such geometric correction, no matter what position the
また、図９に示すように、マーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’が、画像処理部５４によって補正された撮影画像Ｐ３において所定の位置および所定の姿勢で写っている。したがって、詳細は後述するが、調理対象状態推定部５６は、撮影画像において、マーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’を、短時間に高い精度で特定することができる。
Further, as shown in FIG. 9, the
なお、カメラ３０がズーム機能を備える場合、図６に示すステップＳ１３０およびＳ１４０の処理を省略することができる。具体的には、設置されたカメラ３０が最初に撮影した撮影画像に写るマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’のサイズに基づいて、像４４Ａ’〜４４Ｃ’が所定のサイズで写るようにカメラ３０をズームさせる。そのズーム状態を維持することにより、以後に撮影された撮影画像についてはサイズ補正をする必要がなくなる。
When the
幾何学的補正が完了すると、画像処理部５４は、幾何学的補正された撮影画像Ｐ３に対して色補正を行う。色補正を行う理由は、加熱調理器１０周りの光環境の影響を撮影画像から取り除くためである。
When the geometric correction is completed, the
具体的に説明すると、加熱調理器１０周りの光環境が変化すると、カメラ３０の撮影画像に写る調理対象Ｔの像Ｔ’の色合いが変化する。例えば、加熱調理中にカーテンが開けられてキッチンに夕日の光が入ると、その光によって撮影画像全体、すなわち調理対象Ｔの像Ｔ’が赤みを帯びる（色相が変化する）場合がある。また例えば、加熱調理中に照明が灯されると、その照明の光によって調理対象Ｔの像Ｔ’が白みを帯びる（彩度が低下する）場合がある。また、同じ調理対象であっても、加熱調理器１０周りの光環境が異なれば、撮影画像に写る調理対象Ｔの像Ｔ’の色合いも異なる。
Specifically, when the light environment around the
このように加熱調理器１０周りの光環境の変化や違いによって撮影画像に写る調理対象の色合いに変化や違いが生じると、調理対象状態推定部５６は、撮影画像に写る調理対象Ｔの像Ｔ’に基づく該調理対象Ｔの状態の推定を高精度に行えない可能性がある。その結果として、調理対象Ｔの状態の推定結果に基づく該調理対象Ｔに対する加熱制御を適切に行えない可能性がある。
When the hue of the cooking object reflected in the captured image changes or differs due to the change or difference in the light environment around the
そのために、画像処理部５４は、幾何学的補正された撮影画像Ｐ３に対して色補正を行う。その色補正のために、本実施の形態の場合、幾何学的補正において利用したマーカー４４Ａ〜４４Ｃが再び利用される。このマーカー４４Ａ〜４４Ｃを利用した色補正の流れについて、図１０に示すフローチャートを参照しながら説明する。
Therefore, the
図１０に示すように、まず、ステップＳ２００において、画像処理部５４は、画像認識技術により、図７に示す幾何学的補正された撮影画像Ｐ３において、複数のマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’を特定する。
As shown in FIG. 10, first, in step S200, the
次に、ステップＳ２１０において、画像処理部５４は、カメラ３０の撮影画像に写る複数のマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’それぞれについて色合いを計測する。本実施の形態の場合、色合いを示すパラメータとして、色相、彩度、および明度を計測する。なお、色合いとして、色相、彩度、および明度の少なくとも１つを計測してもよい。
Next, in step S210, the
続いて、ステップＳ２２０において、画像処理部５４は、各マーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’について、ステップ２１０で色合いを計測して得た計測結果に基づいて、本実施の形態の場合には色相、彩度、および明度に基づいて、色補正条件を算出する。具体的には、像４４Ａ’〜４４Ｃ’がマーカー４４Ａ〜４４Ｃ自体の実際の色合いで写るように撮影画像Ｐ３を補正するための色補正条件を、像４４Ａ’〜４４Ｃ’それぞれについて算出する。これは、全てのマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’が、同等に光環境の影響を受けているとは限らないからである。例えば、マーカー４４Ａのみに夕日の光があたり、それによりマーカー４４Ａの像４４Ａ’のみが赤みを帯びている場合がある。このような場合を想定し、像４４Ａ’〜４４Ｃ’それぞれについて色補正条件が算出される。したがって、複数の異なる色補正条件が算出される場合がある。
Subsequently, in step S220, the
ステップＳ２２０に続くステップＳ２３０において、画像処理部５４は、ステップＳ２２０で算出した色補正条件それぞれにしたがって、図９に示す撮影画像Ｐ３における調理対象存在領域ＲＡ〜ＲＣを色補正する。
In step S230 following step S220, the
これらの調理対象存在領域ＲＡ〜ＲＣは、上述したように、また図９に示すように、容器載置エリア４６Ａ〜４６Ｃに対応する領域であって、すなわち調理対象Ｔの像Ｔ’が存在しうる領域である。
These cooking target existing regions RA to RC are regions corresponding to the
撮影画像Ｐ３における調理対象存在領域ＲＡは、対応するマーカー４４Ａの像４４Ａ’について算出された色補正条件で色補正される。また、調理対象存在領域ＲＢは、対応するマーカー４４Ｂの像４４Ｂ’について算出された色補正条件で色補正される。そして、調理対象存在領域ＲＣは、対応するマーカー４４Ｃの像４４Ｃ’について算出された色補正条件で色補正される。
The cooking target existing region RA in the captured image P3 is color-corrected under the color correction conditions calculated for the image 44A'of the
それにより、異なる容器載置エリア４６Ａ〜４６Ｃに載置されている容器Ｃ内の調理対象Ｔの像Ｔ’は、異なる色補正条件で色補正される。その結果、容器載置エリア４６Ａ〜４６Ｃそれぞれの調理対象Ｔの像Ｔ’は、適切に色補正される。
As a result, the image T'of the cooking object T in the containers C placed in the different
一例を挙げて説明する。容器載置エリア４６Ａに載置された容器Ｃ内の調理対象Ｔと対応するマーカー４４Ａとには、夕日の光が当たっている。それに対して、他の容器載置エリア４６Ｂ、４６Ｃとそれに対応するマーカー４４Ｂ，４４Ｃとには夕日の光が当たっていない。
An example will be described. The light of the setting sun shines on the cooking object T in the container C placed in the
マーカー４４Ａの像４４Ａ’を夕日の光が当たっていないときの色合いにするための色補正条件が算出される。その色補正条件を用いて、容器載置エリア４６Ａに載置された容器Ｃ内の調理対象Ｔの像Ｔ’が色補正される。すなわち、その調理対象Ｔの像Ｔ’は、夕日の光が当たっていない色合いに色補正される。これに対して、夕日の光が当たっていない容器載置エリア４６Ｂ〜４６Ｃの調理対象Ｔの像Ｔ’には、この色補正が適用されない。
The color correction condition for making the image 44A'of the
このような色補正により、加熱調理器１０周りの光環境が変化したり違いが生じても、実質的に同一の光環境下で撮影された撮影画像を得ることができる。その結果、光環境の変化や違いによらず、調理対象状態推定部５６は、撮影画像に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔの状態を実質的に一定の精度で推定することができる。
By such color correction, even if the light environment around the
調理対象状態推定部５６は、撮影画像に写るマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の位置に基づいて、撮影画像において調理対象Ｔの像Ｔ’を特定する。本実施の形態の場合、画像処理部５４によって幾何学的補正および色補正された撮影画像において調理対象Ｔの像Ｔ’を特定する。
The cooking target
具体的には、図９に示すように、調理対象状態推定部５６は、まず、カメラ３０の撮影画像に写るマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’を特定する。次に、その特定した像４４Ａ’〜４４Ｃ’の位置に基づいて、撮影画像におけるトッププレート１４の天面１４ａの容器載置エリア４６Ａ〜４６Ｃに対応する調理対象存在領域ＲＡ〜ＲＣを特定する。そして、その調理対象存在領域ＲＡ〜ＲＣ内から調理対象Ｔの像Ｔ’を特定する。これにより、撮影画像全体を確認して調理対象Ｔの像Ｔ’を特定する場合に比べて、短時間で高精度に調理対象Ｔの像Ｔ’の特定を実行することができる。
Specifically, as shown in FIG. 9, the cooking target
なお、そのためには、マーカー４４Ａ〜４４Ｃと容器載置エリア４６Ａ〜４６Ｃ（調理対象存在領域ＲＡ〜ＲＣ）との間の位置関係が既知である必要がある。マーカー４４Ａ〜４４Ｃの像の位置に基づいて容器載置エリア４６Ａ〜４６Ｃに対応する調理対象存在領域ＲＡ〜ＲＣを特定するために、マーカーと容器載置エリアとの間の位置関係を示す加熱調理器のレイアウトデータが使用される。このレイアウトデータは、記憶部６０に記憶されている。
For that purpose, it is necessary to know the positional relationship between the
撮影画像において調理対象Ｔの像Ｔ’を特定すると、調理対象状態推定部５６は、その特定した調理対象Ｔの像Ｔ’を撮影画像から抽出する。例えば、抽出した像Ｔ’を画像データとして記憶部６０に記憶する。
When the image T'of the cooking target T is specified in the captured image, the cooking target
抽出した調理対象Ｔの像Ｔ’に基づいて、調理対象状態推定部５６は、その調理対象Ｔの状態を推定する。例えば、連続する複数の撮影画像から抽出された調理対象Ｔの複数の像Ｔ’に基づいて、調理対象Ｔの像Ｔ’の変化を検出し、その変化に基づいて調理対象Ｔの状態を推定する。例えば、調理対象Ｔが液体であって、その液面の像の変化が大きい場合、調理対象Ｔが沸騰状態であると推定する。また例えば、調理対象Ｔが肉などの焼き物である場合、調理対象の像の色の変化がほぼなくなると、焼き上がりと推定する。
Based on the extracted image T'of the cooking object T, the cooking object
なお、調理対象状態推定部５６は、温度センサ２６Ａ〜２６Ｃの検出温度や重量センサ２８の検出重量をも考慮に入れて、調理対象Ｔの状態を推定してもよい。例えば、調理対象Ｔが液体であって、その液面の像の変化が大きく、且つ、重量センサ２８の検出重量が減少し始めた場合、調理対象状態推定部５６は、調理対象Ｔが蒸発していると推定する。
The cooking target
加熱コイル制御部５８は、調理対象状態推定部５６によって推定された調理対象Ｔの状態に基づいて、加熱コイル１６Ａ〜１６Ｃの出力を制御する。例えば、調理対象状態推定部５６によって調理対象Ｔが蒸発中であると推定された場合、加熱コイル制御部５８は加熱コイルの出力レベルを下げるまたは加熱コイルを停止させる。
The heating
以上、このような本実施の形態によれば、カメラ３０の撮影画像に写る調理対象Ｔの像Ｔ’に基づいて該調理対象Ｔに対する加熱を制御する加熱調理器１０において、カメラ３０の設置の自由度を向上させることができる。
As described above, according to the present embodiment, the
すなわち、撮影画像に写るマーカー４４Ａ〜４４Ｃの像４４Ａ’〜４４Ｃ’の位置に基づいて調理対象Ｔの像Ｔ’を短時間で高精度に特定することができるので、カメラ３０を加熱調理器１０の本体１２に対して高精度に位置決めする必要がない。
That is, since the image T'of the cooking object T can be specified with high accuracy in a short time based on the positions of the
以上、上述の実施の形態を挙げて本発明を説明したが、本発明は上述の実施の形態に限定されない。 Although the present invention has been described above with reference to the above-described embodiments, the present invention is not limited to the above-described embodiments.
例えば、上述の実施の形態の場合、図１に示すように、加熱調理器１０は１台のカメラ３０を有するが、本発明の実施の形態に係る加熱調理器のカメラは１台に限らない。例えば、複数の加熱コイルそれぞれの上方にカメラが配置されてもよい。
For example, in the case of the above-described embodiment, as shown in FIG. 1, the
また、上述の実施の形態の場合、図３に示すように、カメラ３０と加熱調理器１０の制御部５０は、ローカルエリアネットワーク３８を介して無線接続されているが、これに限らない。カメラ３０と制御部５０の少なくとも一方が、ローカルエリアネットワーク３８に対して有線接続されてもよい。また、カメラ３０が、加熱調理器１０の制御部５０に対して直接的に無線接続または有線接続されてもよい。さらに、カメラ３０の撮影画像を携帯端末４２に送信してもよく、またインターネット４０を介して外部に送信してもよい。これにより、カメラ３０が実際に撮影した撮影画像を、ユーザは確認することができる。
Further, in the case of the above-described embodiment, as shown in FIG. 3, the
さらに、上述の実施の形態の場合、図１に示すように、加熱調理器１０は三基の加熱コイル１６Ａ〜１６Ｃを備えるが、本発明の実施の形態に係る加熱調理器１０の加熱コイルの数はこれに限らない。加熱コイルは１つであってもよく、また３基以上あってもよい。
Further, in the case of the above-described embodiment, as shown in FIG. 1, the
さらにまた、上述の実施の形態の場合、図２に示すように、マーカー４４Ａ〜４４Ｃは、トッププレート１４の天面１４ａに描かれたマークまたはシールである。しかしながら、本発明の実施の形態は、これに限定されない。例えば、マーカーは、発光する発光体、例えばＬＥＤなどであってもよい。ただし、自然光と区別するために、白色光でなく、赤色や青色などの光を発光するものが好ましい。
Furthermore, in the case of the above-described embodiment, as shown in FIG. 2, the
加えて、上述の実施の形態の場合、カメラ３０の撮影画像において調理対象Ｔの像Ｔ’を特定するためのマーカー４４Ａ〜４４Ｃは、画像の幾何学的補正や色補正にも利用されている。しかしながら、本発明の実施の形態はこれに限らない。撮影画像において調理対象Ｔの像Ｔ’を特定できるのであれば、上述の補正の少なくとも一部を省略してもよい。例えば、加熱調理器周りの光環境が略一定であれば、色補正を省略することができる。また例えば、カメラの光軸がトッププレートの天面の略中心に略直交した状態で且つカメラとトッププレートとの間の距離を略適切な距離にした状態でカメラが設置されているのであれば、幾何学的補正も省略することができる。
In addition, in the case of the above-described embodiment, the
加えてまた、上述の実施の形態の場合、マーカー４４Ａ〜４４Ｃはトッププレート１４の天面１４ａに描かれたマークまたは貼り付けられたシールであるが、本発明の実施の形態はこれに限らない。マーカーは、加熱調理器の本体上に存在し、且つ、カメラの撮影範囲に存在するものであればよい。したがって、マーカーは、加熱調理器の本体における構成要素全体または一部分であってもよい。例えば、図２に示すタッチキー１８Ａ〜１８Ｃおよび表示部２０Ａ〜２０Ｃの少なくとも一方が、マーカーとして使用されてもよい。また例えば、トッププレート１４の天面１４ａ全体が、マーカーとして使用されてもよい。すなわち、マーカーは、加熱調理器の本体上に存在し、容器載置エリア（加熱部）に対して一定の位置に存在し、且つ、その像が撮影画像において特定できるものであればよい。この場合、マーカーを描くまたはマーカーシールを貼り付ける必要がなくなり、加熱調理器の意匠性の低下を抑制することができる。
In addition, in the case of the above-described embodiment, the
マーカーに関して言えば、そのマーカーの像の位置に基づいて撮影画像における容器載置エリアに対応する調理対象存在領域を特定することを考えれば、マーカーは複数個あるのが好ましい。これは、二次元の撮影画像における調理対象存在領域を、複数のマーカーの像それぞれの撮影画像における位置に基づいて一義的に特定できるからである。ただし、１つのマーカーの像の位置でも、調理対象存在領域をある程度は特定することは可能であり、マーカーが全くない場合に比べて短時間で高精度に特定することが可能である。例えば、１つのマーカーを容器載置エリアの中央に配置すると、撮影画像においてマーカーの像の周辺領域が調理対象存在領域であると短時間で高精度に特定することができる（マーカーが全くない場合に比べて）。 With respect to the marker, it is preferable that there are a plurality of markers, considering that the cooking target existing area corresponding to the container mounting area in the photographed image is specified based on the position of the image of the marker. This is because the region where the cooking object exists in the two-dimensional captured image can be uniquely specified based on the position in the captured image of each of the images of the plurality of markers. However, even at the position of the image of one marker, it is possible to specify the area where the cooking object exists to some extent, and it is possible to specify it with high accuracy in a short time as compared with the case where there is no marker at all. For example, if one marker is placed in the center of the container mounting area, it is possible to quickly and accurately identify that the peripheral area of the marker image is the cooking target existing area in the captured image (when there is no marker at all). Compared to).
なお、加熱調理器の本体に対してカメラが限度を越えた位置に設置される場合がある。例えば、撮影画像にマーカーの像が写らないような位置にカメラが設置される場合がある。また例えば、撮影画像にマーカーの像は写るが、容器載置エリアに対応する調理対象存在領域が少なくとも部分的に撮影画像において存在しないような位置（容器載置エリアがカメラの撮影範囲から外れる位置）に、カメラが設置される場合がある。すなわち、撮影画像において調理対象存在領域を特定することができない位置に、カメラが設置される場合がある。この場合、図１に示す報知部２４または図３に示す携帯端末４２を介して、領域が特定できない旨を報知し、ユーザにカメラの設置位置を変更するように促してもよい。あるいは、領域が特定できた場合に報知してもよい。
The camera may be installed at a position exceeding the limit with respect to the main body of the cooking cooker. For example, the camera may be installed at a position where the image of the marker does not appear in the captured image. Further, for example, a position where the image of the marker appears in the captured image but the cooking object existing area corresponding to the container mounting area does not exist at least partially in the captured image (position where the container mounting area is out of the shooting range of the camera). ), A camera may be installed. That is, the camera may be installed at a position where the cooking target existing area cannot be specified in the captured image. In this case, the
さらに加えて、上述の実施の形態の場合、マーカー４４Ａ〜４４Ｃの像の位置に基づいて撮影画像における調理対象Ｔの像Ｔ’を特定して抽出し、その抽出した像Ｔ’に基づいて調理対象Ｔの状態を推定する調理対象状態推定部５６（これらとして機能する、例えばＣＰＵなどの処理装置）は、加熱調理器１０の本体１２に設けられている。しかしながら、本発明の実施の形態は、これに限らない。調理対象状態推定部は、加熱調理器の本体の外部、例えばカメラに搭載されてもよい。この場合、マーカーと容器載置エリアとの間の位置関係を示す加熱調理器のレイアウトデータをカメラは保持する必要がある。このレイアウトデータとマーカーの像の位置とに基づいて、撮影画像における容器載置エリアに対応する調理対象存在領域を短時間に高精度に特定することができる。
Furthermore, in the case of the above-described embodiment, the image T'of the cooking object T in the captured image is specified and extracted based on the positions of the images of the
代わりとして、調理対象状態推定部は、ユーザの携帯端末に搭載されてもよい。例えば、携帯端末を調理対象状態推定部として機能させるプログラムが、携帯端末にインストールされる。この場合、携帯端末は、カメラから撮影画像を取得する。また、携帯端末は、マーカーと容器載置エリアとの位置関係を示すレイアウトデータを、例えば加熱調理器を製造したメーカーのサーバーから取得する。次に、携帯端末の調理対象状態推定部が、取得した撮影画像とレイアウトデータとに基づいて、撮影画像において調理対象の像を特定し、その特定した像に基づいて調理対象の状態を推定する。そして、携帯端末が調理対象の状態をデータとして加熱調理器の制御部に送信する。 Alternatively, the cooking target state estimation unit may be mounted on the user's mobile terminal. For example, a program that causes the mobile terminal to function as a cooking target state estimation unit is installed in the mobile terminal. In this case, the mobile terminal acquires the captured image from the camera. Further, the mobile terminal acquires layout data indicating the positional relationship between the marker and the container mounting area, for example, from the server of the manufacturer of the cooking device. Next, the cooking target state estimation unit of the mobile terminal identifies the image of the cooking target in the captured image based on the acquired captured image and layout data, and estimates the state of the cooking target based on the identified image. .. Then, the mobile terminal transmits the state of the cooking object as data to the control unit of the cooking cooker.
なお、調理対象状態推定部が複数の機種の加熱調理器に対して共通に使用される場合、マーカーの像の形状に基づいて機種を判別してもよい。具体的には、機種毎に異なる形状のマーカーが本体に設けられる。そして、機種それぞれについて、マーカーと容器載置エリアとの間の位置関係を示すレイアウトデータを用意する。調理対象状態推定部は、マーカーの形状に基づいて使用するレイアウトデータを選択し、その選択したレイアウトデータとマーカーの像の位置とに基づいて、撮影画像において調理対象の像を特定し、その特定した像に基づいて調理対象の状態を推定する。これにより、共通の調理対象状態推定部を異なる機種の加熱調理器に採用することができる。 When the cooking target state estimation unit is commonly used for a plurality of models of cooking cookers, the model may be determined based on the shape of the image of the marker. Specifically, markers having different shapes are provided on the main body for each model. Then, for each model, layout data showing the positional relationship between the marker and the container mounting area is prepared. The cooking target state estimation unit selects layout data to be used based on the shape of the marker, identifies the image of the cooking target in the captured image based on the selected layout data and the position of the marker image, and identifies the image. The state of the cooking object is estimated based on the image. As a result, a common cooking target state estimation unit can be adopted for different types of cooking cookers.
さらに加えて、上述の実施の形態の場合、撮影画像における容器載置エリアに対応する調理対象存在領域は、撮影画像に写るマーカーの像の位置に基づいて特定されている。しかしながら、本発明の実施の形態は、これに限らない。例えば、撮影画像における容器載置エリアに対応する調理対象存在領域を、ユーザが加熱調理器に教示してもよい。 Furthermore, in the case of the above-described embodiment, the cooking target existence area corresponding to the container mounting area in the photographed image is specified based on the position of the image of the marker appearing in the photographed image. However, the embodiment of the present invention is not limited to this. For example, the user may teach the cooker the cooking target existing area corresponding to the container mounting area in the photographed image.
そのために、例えば、加熱調理器は、カメラの撮影画像を表示する撮影画像表示部と、ユーザが、撮影画像表示部に写る撮影画像に基づいて、撮影画像におけるトッププレートの天面の容器載置エリアに対応する調理対象存在領域を教示するための教示部とを有する。撮影画像表示部と教示部は、撮影画像上で調理対象存在領域を範囲指定するのに適した、例えばタッチスクリーンであってもよい。なお、ユーザの携帯端末のタッチスクリーンを撮影画像表示部および教示部として使用してもよい。この場合、携帯端末のタッチスクリーンを撮影画像表示部および教示部として機能させるためのプログラムが携帯端末にインストールされる。 Therefore, for example, in the cooking cooker, the container is placed on the top surface of the top plate in the photographed image based on the photographed image display unit for displaying the photographed image of the camera and the photographed image captured by the user on the photographed image display unit. It has a teaching unit for teaching the cooking target existing area corresponding to the area. The captured image display unit and the teaching unit may be, for example, a touch screen suitable for designating a range of the cooking target existing area on the captured image. The touch screen of the user's mobile terminal may be used as a captured image display unit and a teaching unit. In this case, a program for making the touch screen of the mobile terminal function as a captured image display unit and a teaching unit is installed in the mobile terminal.
補足すると、当然ながら、カメラの撮影画像に写るマーカーの像の位置に基づいてトッププレートの容器載置エリアに対応する撮影画像における調理対象存在領域を特定する動作は、カメラが設置された直後であって容器がその容器載置エリアに載置される前に一度行うだけでよい。すなわち、その後は、次にカメラの位置が変更されるまで、このマーカーの像に基づく撮影画像における調理対象存在領域を特定する動作を行う必要はなくなる。カメラの位置が変わらない限り、撮影画像における調理対象存在領域の位置は変わらないからである。したがって、マーカーはカメラの位置が変更されたときにのみ使用される。 Supplementally, as a matter of course, the operation of identifying the cooking target existing area in the captured image corresponding to the container mounting area of the top plate based on the position of the marker image in the captured image of the camera is immediately after the camera is installed. It only needs to be done once before the container is placed in the container placement area. That is, after that, it is not necessary to perform the operation of specifying the cooking target existing area in the captured image based on the image of this marker until the position of the camera is changed next time. This is because the position of the cooking target existing area in the captured image does not change as long as the position of the camera does not change. Therefore, the marker is only used when the position of the camera is changed.
さらに加えて、上述の実施の形態の場合、加熱調理器は、加熱コイルを用いて容器を誘導加熱する誘導加熱調理器であるが、本発明の実施の形態は、これに限らない。例えば、本発明の実施の形態に係る加熱調理器は、ガス調理器であってもよい。ガス調理器の場合、容器は、本体の天面に備えられた容器載置部としての五徳に載置され、その下方から加熱部としてのガスバーナーによって加熱される。 Furthermore, in the case of the above-described embodiment, the heating cooker is an induction heating cooker that induces and heats the container by using a heating coil, but the embodiment of the present invention is not limited to this. For example, the cooking cooker according to the embodiment of the present invention may be a gas cooker. In the case of a gas cooker, the container is placed on the trivet as a container mounting portion provided on the top surface of the main body, and is heated by a gas burner as a heating portion from below.
以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 As described above, an embodiment has been described as an example of the technique in the present disclosure. To that end, the accompanying drawings and detailed explanations have been provided. Therefore, among the components described in the attached drawings and the detailed description, not only the components essential for solving the problem but also the components not essential for solving the problem in order to exemplify the technique. Can also be included. Therefore, the fact that those non-essential components are described in the accompanying drawings or detailed description should not immediately determine that those non-essential components are essential.
また、前述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。 Further, since the above-described embodiment is for exemplifying the technology in the present disclosure, various changes, replacements, additions, omissions, etc. can be made within the scope of claims or the equivalent thereof.
２０１７年９月２５日に出願された日本特許出願第２０１７−１８３９９５号の明細書、図面、及び特許請求の範囲の開示内容は、全体として参照されて本明細書の中に取り入れられるものである。 The specification, drawings, and claims of Japanese Patent Application No. 2017-183995 filed on September 25, 2017 are incorporated herein by reference in their entirety. ..
本発明は、誘導加熱調理器に限らず、調理対象を収容した容器を加熱する加熱調理器であれば適用可能である。 The present invention is not limited to the induction cooking device, and is applicable to any cooking device that heats a container containing a cooking object.
Claims (9)
前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記本体に設けられ、前記カメラに撮影されるマーカーと、
前記カメラの撮影画像に写る前記マーカーの像の位置に基づいて前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を特定し、前記調理対象存在領域内から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器。A main body including a top surface having a container mounting part on which a container containing a cooking object is placed,
A heating unit that heats the container placed on the container mounting unit from below,
A camera that shoots the cooking object and
A marker provided on the main body and photographed by the camera,
Based on the position of the image of the marker captured in the image captured by the camera, the cooking target existing area corresponding to the container-mounted portion on the top surface of the captured image is specified, and the cooking object exists from within the cooking object existing area. A cooking object state estimation unit that identifies an image, extracts an image of the specified cooking object, and estimates the state of the cooking object based on the extracted image of the cooking object.
A cooking device having a heating control unit that controls the heating unit based on the state of the cooking object estimated by the cooking object state estimation unit.
前記加熱部の出力状態を表示する表示部と、を有し、
前記操作部および前記表示部の少なくとも一方が、前記マーカーとして使用される、請求項１に記載の加熱調理器。An operation unit for operating the heating unit and
It has a display unit that displays the output state of the heating unit, and
The cooker according to claim 1, wherein at least one of the operation unit and the display unit is used as the marker.
前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記カメラの撮影画像を表示する撮影画像表示部と、
ユーザが、前記撮影画像表示部に写る撮影画像に基づいて、前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を教示するための教示部と、
前記調理対象存在領域から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器。A main body including a top surface having a container mounting part on which a container containing a cooking object is placed,
A heating unit that heats the container placed on the container mounting unit from below,
A camera that shoots the cooking object and
A captured image display unit that displays a captured image of the camera,
A teaching unit for the user to teach a cooking target existing area corresponding to the container mounting portion on the top surface of the captured image based on the captured image displayed on the captured image display unit.
An image of the cooking object is specified from the area where the cooking object exists, an image of the specified cooking object is extracted, and a cooking object state estimation unit that estimates the state of the cooking object based on the extracted image of the cooking object. ,
A cooking device having a heating control unit that controls the heating unit based on the state of the cooking object estimated by the cooking object state estimation unit.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017183995 | 2017-09-25 | ||
| JP2017183995 | 2017-09-25 | ||
| PCT/JP2018/034585 WO2019059211A1 (en) | 2017-09-25 | 2018-09-19 | Heating cooker |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019059211A1 true JPWO2019059211A1 (en) | 2020-09-03 |
| JP7149466B2 JP7149466B2 (en) | 2022-10-07 |
Family
ID=65809755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019543661A Active JP7149466B2 (en) | 2017-09-25 | 2018-09-19 | heating cooker |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7149466B2 (en) |
| WO (1) | WO2019059211A1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111377291A (en) | 2018-12-28 | 2020-07-07 | 日东电工株式会社 | Device for cutting and separating end edge part of optical film |
| JP7359424B2 (en) * | 2019-09-30 | 2023-10-11 | 株式会社パロマ | stove system |
| JP7348639B2 (en) * | 2019-11-08 | 2023-09-21 | 株式会社パロマ | gas stove system |
| WO2024043436A1 (en) * | 2022-08-24 | 2024-02-29 | 삼성전자주식회사 | Cooking appliance and cooking appliance control method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05183702A (en) * | 1992-01-06 | 1993-07-23 | Canon Inc | Method and device for designating picture area |
| JP2016218663A (en) * | 2015-05-19 | 2016-12-22 | 日本電信電話株式会社 | Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program |
| JP2017040430A (en) * | 2015-08-19 | 2017-02-23 | 東京瓦斯株式会社 | Range hood |
| WO2017033406A1 (en) * | 2015-08-27 | 2017-03-02 | パナソニックＩｐマネジメント株式会社 | Heat-cooking device |
-
2018
- 2018-09-19 JP JP2019543661A patent/JP7149466B2/en active Active
- 2018-09-19 WO PCT/JP2018/034585 patent/WO2019059211A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05183702A (en) * | 1992-01-06 | 1993-07-23 | Canon Inc | Method and device for designating picture area |
| JP2016218663A (en) * | 2015-05-19 | 2016-12-22 | 日本電信電話株式会社 | Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program |
| JP2017040430A (en) * | 2015-08-19 | 2017-02-23 | 東京瓦斯株式会社 | Range hood |
| WO2017033406A1 (en) * | 2015-08-27 | 2017-03-02 | パナソニックＩｐマネジメント株式会社 | Heat-cooking device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7149466B2 (en) | 2022-10-07 |
| WO2019059211A1 (en) | 2019-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7149466B2 (en) | heating cooker | |
| CN107527004B (en) | Cooking assistance method and cooking assistance system | |
| JP6704125B2 (en) | Cooker | |
| US20170299194A1 (en) | System that emits light to overheated portion of cooking container | |
| EP3742052A1 (en) | Cooking assistance appliance | |
| JP7065305B2 (en) | Cooker | |
| CN109276147B (en) | Method for obtaining internal temperature of food and cooking utensil | |
| JP2015068542A (en) | Heating cooker | |
| US20160134854A1 (en) | Automated white balancing in digital photography | |
| JP6906192B2 (en) | Cooker | |
| JP2018124962A (en) | Information processor and information processing method | |
| JP6793317B2 (en) | Cooking equipment | |
| JP6793318B2 (en) | Cooking equipment | |
| JP7300648B2 (en) | heating cooker | |
| US20190141794A1 (en) | Temperature sensing cookware | |
| KR101678557B1 (en) | Device for display a roasting state of meat | |
| WO2019059304A1 (en) | Heating cooker | |
| KR20130041440A (en) | Image processing apparatus and method thereof | |
| JP2019200031A (en) | Cooking device | |
| JP2017158867A5 (en) | ||
| CN110848755A (en) | Control method of gas stove and gas stove | |
| KR101583131B1 (en) | System and method for providing offset calibration based augmented reality | |
| JP2021055908A (en) | Gas cooking stove system | |
| JP2021012841A (en) | Heating cooker, heating cooking system, terminal device, and notification method | |
| CN114424882B (en) | Control method of cooking appliance, cooking appliance and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220603 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220816 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220829 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7149466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |