JPWO2019059211A1 - Cooker - Google Patents
Cooker Download PDFInfo
- Publication number
- JPWO2019059211A1 JPWO2019059211A1 JP2019543661A JP2019543661A JPWO2019059211A1 JP WO2019059211 A1 JPWO2019059211 A1 JP WO2019059211A1 JP 2019543661 A JP2019543661 A JP 2019543661A JP 2019543661 A JP2019543661 A JP 2019543661A JP WO2019059211 A1 JPWO2019059211 A1 JP WO2019059211A1
- Authority
- JP
- Japan
- Prior art keywords
- cooking
- image
- camera
- unit
- cooking object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B6/00—Heating by electric, magnetic or electromagnetic fields
- H05B6/02—Induction heating
- H05B6/10—Induction heating apparatus, other than furnaces, for specific applications
- H05B6/12—Cooking devices
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Induction Heating Cooking Devices (AREA)
- Electric Stoves And Ranges (AREA)
Abstract
加熱調理器は、調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、容器載置部に載置された容器を下方から加熱する加熱部と、調理対象Tを撮影するカメラと、本体に設けられ、カメラに撮影されるマーカーと、カメラの撮影画像に写るマーカーの像の位置に基づいて撮影画像における天面の容器載置部に対応する調理対象存在領域を特定し、その領域内から調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて調理対象の状態を推定する調理対象状態推定部と、推定された前記調理対象の状態に基づいて、加熱部を制御する加熱制御部と、を有する。 The cooking device includes a main body including a top surface including a container mounting portion on which a container containing a cooking target is placed, a heating portion that heats a container mounted on the container mounting portion from below, and a cooking target. Based on the position of the camera that shoots T, the marker that is provided on the main body and is shot by the camera, and the image of the marker that appears in the image shot by the camera, there is a cooking object that corresponds to the container mounting part on the top surface in the shot image. Cooking target state estimation unit that identifies a region, identifies an image of a cooking target from within that region, extracts the image of the specified cooking target, and estimates the state of the cooking target based on the extracted image of the cooking target. And a heating control unit that controls the heating unit based on the estimated state of the cooking object.
Description
本発明は、調理対象を加熱する加熱調理器に関する。 The present invention relates to a cooking device that heats a cooking object.
従来より、調理対象をカメラで撮影し、その撮影画像に写る調理対象の像に基づいて、調理対象に対する加熱を制御する加熱調理器が知られている(例えば、特許文献1参照)。 Conventionally, there has been known a cooking device that captures a cooking object with a camera and controls heating of the cooking object based on an image of the cooking object captured in the photographed image (see, for example, Patent Document 1).
しかしながら、特許文献1に記載された加熱調理器の場合、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱の制御を行うため、カメラは、加熱調理器の本体に対して位置決めされる。そのため、カメラの設置の自由度が低い。その結果として、例えば、加熱調理器が設けられているキッチンの意匠性を損なうような位置にカメラが設置される可能性がある。 However, in the case of the cooking utensil described in Patent Document 1, in order to control the heating of the cooking object based on the image of the cooking object captured by the camera, the camera refers to the main body of the cooking object. Positioned. Therefore, the degree of freedom in installing the camera is low. As a result, for example, the camera may be installed at a position that impairs the design of the kitchen in which the cooker is provided.
そこで、本発明は、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることを課題とする。 Therefore, an object of the present invention is to improve the degree of freedom in installing a camera in a cooking device that controls heating of a cooking object based on an image of the cooking object captured by a camera.
上述の課題を解決するために、本発明の一態様によれば、
調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、
前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記本体に設けられ、前記カメラに撮影されるマーカーと、
前記カメラの撮影画像に写る前記マーカーの像の位置に基づいて前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を特定し、前記調理対象存在領域内から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器が提供される。In order to solve the above-mentioned problems, according to one aspect of the present invention,
A main body including a top surface having a container mounting part on which a container containing a cooking object is placed,
A heating unit that heats the container placed on the container mounting unit from below,
A camera that shoots the cooking object and
A marker provided on the main body and photographed by the camera,
Based on the position of the image of the marker captured in the image captured by the camera, the cooking target existing area corresponding to the container-mounted portion on the top surface of the captured image is specified, and the cooking object exists from within the cooking object existing area. A cooking object state estimation unit that identifies an image, extracts an image of the specified cooking object, and estimates the state of the cooking object based on the extracted image of the cooking object.
Provided is a cooking device including a heating control unit that controls the heating unit based on the state of the cooking object estimated by the cooking object state estimation unit.
また、本発明の別の態様によれば、
調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、
前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記カメラの撮影画像を表示する撮影画像表示部と、
ユーザが、前記撮影画像表示部に写る撮影画像に基づいて、前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を教示するための教示部と、
前記調理対象存在領域から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器が提供される。Further, according to another aspect of the present invention.
A main body including a top surface having a container mounting part on which a container containing a cooking object is placed,
A heating unit that heats the container placed on the container mounting unit from below,
A camera that shoots the cooking object and
A captured image display unit that displays a captured image of the camera,
A teaching unit for the user to teach a cooking target existing area corresponding to the container mounting portion on the top surface of the captured image based on the captured image displayed on the captured image display unit.
An image of the cooking object is specified from the area where the cooking object exists, an image of the specified cooking object is extracted, and a cooking object state estimation unit that estimates the state of the cooking object based on the extracted image of the cooking object. ,
Provided is a cooking device including a heating control unit that controls the heating unit based on the state of the cooking object estimated by the cooking object state estimation unit.
本発明によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることができる。 According to the present invention, it is possible to improve the degree of freedom in installing the camera in the cooking device that controls the heating of the cooking object based on the image of the cooking object captured by the camera.
本発明のこれらの態様と特徴は、添付された図面についての好ましい実施の形態に関連した次の記述から明らかになる。この図面においては、
本発明の一態様の加熱調理器は、調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、前記容器載置部に載置された前記容器を下方から加熱する加熱部と、前記調理対象を撮影するカメラと、前記本体に設けられ、前記カメラに撮影されるマーカーと、前記カメラの撮影画像に写る前記マーカーの像の位置に基づいて前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を特定し、前記調理対象存在領域内から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する。 The cooking cooker according to one aspect of the present invention has a main body including a top surface including a container mounting portion on which a container containing a cooking object is placed, and the container mounted on the container mounting portion from below. In the photographed image, based on the positions of the heating unit to be heated, the camera for photographing the cooking object, the marker provided on the main body and photographed by the camera, and the image of the marker in the photographed image of the camera. The cooking target existing area corresponding to the container mounting portion on the top surface is specified, the image of the cooking target is specified from the cooking target existing area, the image of the specified cooking target is extracted, and the extracted cooking is performed. A cooking target state estimation unit that estimates the state of the cooking target based on the image of the target, and a heating control unit that controls the heating unit based on the cooking target state estimated by the cooking target state estimation unit. , Have.
本発明の一態様によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることができる。すなわち、撮影画像に写るマーカーの像の位置に基づいて調理対象の像を短時間で高精度に特定することができるので、カメラを加熱調理器の本体に対して高精度に位置決めする必要がない。 According to one aspect of the present invention, it is possible to improve the degree of freedom in installing the camera in the cooking device that controls the heating of the cooking object based on the image of the cooking object captured by the camera. That is, since the image of the cooking target can be identified with high accuracy in a short time based on the position of the marker image reflected in the captured image, it is not necessary to position the camera with high accuracy with respect to the main body of the cooking cooker. ..
例えば、前記本体の天面に描かれているマークまたは貼り付けられているシールであってもよい。カメラの撮影画像においてその像が特定しやすいように構成されたマーカーを使用することができる。 For example, it may be a mark or a sticker attached to the top surface of the main body. A marker configured so that the image can be easily identified in the image captured by the camera can be used.
例えば、前記マーカーが、前記容器載置部以外の前記天面の部分に設けられてもよい。これにより、マーカー上に容器が載置されることが抑制される。 For example, the marker may be provided on the top surface portion other than the container mounting portion. This prevents the container from being placed on the marker.
例えば、前記マーカーが、複数設けられてもよい。複数のマーカーの像それぞれの撮影画像における位置に基づいて調理対象存在領域を一義的に特定できるので、結果として、調理対象の像の特定を短時間で高精度に行うことができる。 For example, a plurality of the markers may be provided. Since the area where the cooking object exists can be uniquely specified based on the position of each of the images of the plurality of markers in the captured image, as a result, the image of the cooking object can be specified with high accuracy in a short time.
例えば、加熱調理器が、前記加熱部を操作するための操作部と、前記加熱部の出力状態を表示する表示部と、を有する場合、前記操作部および前記表示部の少なくとも一方が、前記マーカーとして使用されてもよい。これにより、マーカーを描くまたはマーカーシールを貼り付ける必要がなくなり、加熱調理器の意匠性の低下を抑制することができる。 For example, when the cooking cooker has an operation unit for operating the heating unit and a display unit for displaying the output state of the heating unit, at least one of the operation unit and the display unit is the marker. May be used as. As a result, it is not necessary to draw a marker or attach a marker sticker, and it is possible to suppress deterioration of the design of the cooking cooker.
例えば、前記天面全体が、前記マーカーとして使用されてもよい。これにより、マーカーを描くまたはマーカーシールを貼り付ける必要がなくなり、加熱調理器の意匠性の低下を抑制することができる。 For example, the entire top surface may be used as the marker. As a result, it is not necessary to draw a marker or attach a marker sticker, and it is possible to suppress deterioration of the design of the cooking cooker.
例えば、前記調理対象状態推定部が、前記マーカーの像の形状に基づいて前記加熱調理器の機種を判別し、判別した機種における前記マーカーと前記容器載置部との間の位置関係に基づいて前記調理対象存在領域を特定する。これにより、機種の異なる加熱調理器に対して共通の調理対象状態推定部を採用することができる。 For example, the cooking target state estimation unit determines the model of the cooking device based on the shape of the image of the marker, and based on the positional relationship between the marker and the container mounting portion in the determined model. The area where the cooking target exists is specified. As a result, it is possible to adopt a common cooking target state estimation unit for different types of cooking cookers.
例えば、加熱調理器が、前記調理対象存在領域を特定できない場合に報知する、または、前記調理対象存在領域を特定できた場合に報知する報知部を有する。これにより、加熱調理器の本体に対してカメラを、容器載置部がカメラの撮影範囲から外れる位置に設置されることが抑制される。 For example, the cooking cooker has a notification unit that notifies when the cooking target existing area cannot be specified, or notifies when the cooking target existing area can be specified. As a result, it is possible to prevent the camera from being installed at a position where the container mounting portion is out of the shooting range of the camera with respect to the main body of the cooking cooker.
本発明の別の一態様の加熱調理器は、調理対象を収容した容器が載置される容器載置部を備える天面を含む本体と、前記容器載置部に載置された前記容器を下方から加熱する加熱部と、前記調理対象を撮影するカメラと、前記カメラの撮影画像を表示する撮影画像表示部と、ユーザが、前記撮影画像表示部に写る撮影画像に基づいて、前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を教示するための教示部と、前記調理対象存在領域から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する。 Another aspect of the cooking cooker of the present invention includes a main body including a top surface including a container mounting portion on which a container containing a cooking object is placed, and the container mounted on the container mounting portion. A heating unit that heats from below, a camera that captures the cooking target, a captured image display unit that displays a captured image of the camera, and a captured image that the user captures on the captured image display unit. An image of the cooking target is specified from the teaching unit for teaching the cooking target existing area corresponding to the container mounting portion on the top surface of the cooking target and the cooking target existing area, and the specified image of the cooking target is extracted. , The cooking target state estimation unit that estimates the state of the cooking target based on the extracted image of the cooking target, and the heating unit is controlled based on the state of the cooking target estimated by the cooking target state estimation unit. It has a heating control unit and a heating control unit.
本発明の別の態様によれば、カメラの撮影画像に写る調理対象の像に基づいて該調理対象に対する加熱を制御する加熱調理器において、カメラの設置の自由度を向上させることができる。 According to another aspect of the present invention, it is possible to improve the degree of freedom in installing the camera in the cooking device that controls the heating of the cooking object based on the image of the cooking object captured by the camera.
以下、本発明の一実施の形態について、図面を参照しながら説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図1は、本発明の一実施の形態に係る加熱調理器の概略的斜視図である。また、図2は、加熱調理器のトッププレートの上面図である。さらに、図3は、加熱調理器の構成を概略的に示す図である。さらにまた、図4は、加熱調理器の制御系を示すブロック図である。なお、図において、X軸方向は加熱調理器の幅方向を示し、Y軸方向は奥行き方向を示し、Z軸方向は高さ方向を示す。 FIG. 1 is a schematic perspective view of a cooking cooker according to an embodiment of the present invention. Further, FIG. 2 is a top view of the top plate of the cooking cooker. Further, FIG. 3 is a diagram schematically showing the configuration of the cooking cooker. Furthermore, FIG. 4 is a block diagram showing a control system of the cooking device. In the figure, the X-axis direction indicates the width direction of the cooking cooker, the Y-axis direction indicates the depth direction, and the Z-axis direction indicates the height direction.
図1に示すように、加熱調理器10は、本体12を有し、また、その本体12の上側部分として、例えばシチューなどの調理対象Tを収容した容器Cが載置されるトッププレート14を有する。
As shown in FIG. 1, the
また、本実施の形態の場合、加熱調理器10は誘導加熱調理器であって、図1および図3に示すように、トッププレート14における容器載置部(後述する容器載置エリア)に載置された容器Cの下方には、すなわち本体12内には、加熱調理器10の加熱部として加熱コイル16A〜16Cが配置されている。加熱コイル16A〜16Cは、トッププレート14上に載置された容器Cを下方から誘導加熱する。
Further, in the case of the present embodiment, the
この加熱コイル16A〜16Cそれぞれをユーザが操作するための操作部として、複数のタッチキー18A〜18Cが、加熱調理器10の正面10a側のトッププレート14の部分に設けられている。例えば、タッチキー18Aにより、対応する加熱コイル16Aの加熱が開始されるまたは停止される。また、その加熱レベル(例えば4段階)が調節される。
A plurality of
また、加熱コイル16A〜16Cの出力状態(加熱レベル)を表示する複数の出力表示部20A〜20Cも、加熱調理器10の正面10a側のトッププレート14の部分に設けられている。
Further, a plurality of
なお、加熱コイル16A〜16Cによる加熱を詳細に設定するために、設定部22が加熱調理器10の正面10a側に設けられている。設定部22は、本体12に対して出し入れ可能であって、加熱コイル16A〜16Cによる加熱を詳細に設定するための設定キー22aと、その設定内容や加熱コイル16A〜16Cの詳細な状態などを表示する設定表示部22bとを備える。この設定部22により、加熱コイル16A〜16Cの加熱温度、加熱時間、タイマーなどが設定される。
In addition, in order to set the heating by the heating coils 16A to 16C in detail, the setting
また、加熱調理器10は、ユーザに対して報知するスピーカーなどの報知部24を、加熱調理器10の正面10a側に備える。
Further, the
さらに、加熱調理器10は、トッププレート14上に載置された容器Cの温度を検出する複数の温度センサ26A〜26Cと、トッププレート14上に載置された容器Cの重量を検出する重量センサ28とを有する。
Further, the
本実施の形態の場合、複数の温度センサ26A〜26Cは、トッププレート14の下方に配置されるとともに、加熱コイル16A〜16Cそれぞれの中央に配置されている。すなわち、例えば温度センサ26Aは、加熱コイル16Aの上方に配置されて該加熱コイル16Aによって誘導加熱されている容器Cの底側の温度をトッププレート14を介して検出している。
In the case of the present embodiment, the plurality of
本実施の形態の場合、重量センサ28は、トッププレート14上の載置物の重量、すなわち容器Cが複数ある場合には、その複数の容器Cの重量とそれぞれの容器Cに収容されている調理対象の重量との合計を検出する。
In the case of the present embodiment, the
さらに、加熱調理器10は、トッププレート14上の調理対象Tを上方から撮影するカメラ30を有する。
Further, the
カメラ30は、例えば、静止画、動画、赤外線画像などを撮影可能なカメラであって、本体12の上側部分であるトッププレート14の天面14a(すなわち本体12の天面)全体を撮影する。カメラ30は、加熱調理器10の上方に位置する天井またはレンジフード(図示せず)などに取り付けられる。本実施の形態の場合、カメラ30は、マグネットを介してレンジフードに取り付けられる。そのため、加熱調理器10の本体12に対してカメラ30を自由に設置することができる(すなわち設置の自由度が高い)。その結果、キッチンの意匠性を損なうことがない、ユーザの好む位置にカメラを取り付けることができる。
The
本実施の形態の場合、ユーザの好む位置に配置可能なカメラ30は、加熱調理器10の制御部50と無線通信するように構成されている。そのために、図3に示すように、カメラ30がアンテナ32を備えるとともに、加熱調理器10の本体12内にアンテナ34が設けられている。なお、本実施の形態の場合、カメラ30と制御部50は、ルーター装置36を介して接続されている。すなわち、カメラ30と制御部50は、ルーター装置36を中心とするローカルエリアネットワーク38に無線通信可能に接続されている。また、ルーター装置36は、インターネット40に接続されている。さらに、ルーター装置36は、ユーザの携帯端末42に無線通信可能に接続されている。
In the case of the present embodiment, the
ここからは、加熱調理器10の動作、すなわちその制御部50が行う制御について図4を参照しながら説明する。
From here on, the operation of the
加熱調理器10の制御部50は、例えばCPUなどの処理装置であって、ROM、RAM、ハードディスクなどの記憶部60に記憶されているプログラムを実行することによって種々の機能を果たすように(例えば、後述する画像処理部として機能するように)構成されている。図4に示すように、制御部50は、タッチキー18A〜18Cおよび設定部22の設定キー22aに対するユーザの操作に対応する信号をこれらから受け取るように構成されている。制御部50はまた、温度センサ26A〜26Cそれぞれによって検出された温度に対応する信号をこれらから受け取るように構成されている。制御部50はさらに、重量センサ28によって検出された重量に対応する信号を受け取るように構成されている。そして、制御部50は、カメラ30によって撮影された撮影画像(データ)を該カメラ30から受け取るように構成されている。
The
加えて、加熱調理器10の制御部50は、加熱コイル16A〜16C、出力表示部20A〜20C、設定表示部22b、および報知部24を制御するように構成されている。
In addition, the
例えば、制御部50は、設定部22の設定キー22aを介してユーザによって設定された加熱温度を温度センサ26A〜26Cが検出し続けるように、加熱コイル16A〜16Cの出力を制御する。これにより、例えば、揚げ物をする場合、容器Cに収容された油を一定の温度に維持することができる。
For example, the
また例えば、制御部50は、容器C内に水が収容されている場合(ユーザが自動湯沸しモードを設定部22を介して設定した場合)、温度センサ26A〜26Cが沸騰温度を検出すると、加熱コイル16A〜16Cを停止させるとともに、報知部24を介してユーザに湯沸しが完了したことを報知する。
Further, for example, when water is contained in the container C (when the user sets the automatic boiling mode via the setting unit 22), the
さらに、制御部50は、カメラ30の撮影画像、具体的にはその撮影画像に写る調理対象Tの像に基づいて様々な制御を行うように構成されている。
Further, the
そのために、加熱調理器10の制御部50は、カメラ30から撮影画像を取得する画像取得部52と、その取得した画像を処理(補正)する画像処理部54と、その補正された撮影画像に写る容器C内の調理対象Tの像に基づいて該調理対象Tの状態を推定する調理対象状態推定部56と、その推定結果に基づいて加熱コイル16A〜16Cを制御する加熱制御部としての加熱コイル制御部58とを有する(すなわち、制御部50は、画像取得部52、画像処理部54、調理対象状態推定部56、および加熱コイル制御部58として機能する)。
Therefore, the
加熱調理器10の制御部50の画像取得部52は、カメラ30が撮影した撮影画像、例えば加熱調理中の調理対象Tを収容する容器Cが載置されている状態のトッププレート14が写る撮影画像(データ)を取得する。本実施の形態の場合、カメラ30は所定の時間間隔で撮影を行う。
The
図5は、画像取得部52が取得するカメラ30の撮影画像(オリジナル画像)の一例を示している。図5に示すように、カメラ30の撮影画像P0には、トッププレート14の天面14aの像14a’が写っている。なお、図5において、調理対象Tの像T’は、クロスハッチングで示されている。
FIG. 5 shows an example of a captured image (original image) of the
画像処理部54は、画像取得部52によって取得されたカメラ30の撮影画像P0に対して画像処理を行う。具体的には、画像処理部54は、調理対象状態推定部56がカメラ30の撮影画像P0に写る調理対象Tの像T’に基づいて該調理対象Tの状態を短時間で高精度に推定できるように、その前処理として、撮影画像P0を補正する。本実施の形態の場合、撮影画像P0に対して幾何学的補正と色補正とを行う。まず、幾何学的補正について、図6に示すフローチャートを参照しながら説明する。
The
まず、図6に示す幾何学的補正を適切に行うために、図2に示すように、加熱調理器10の本体12に設けられた複数のマーカー44A〜44Cを利用する。
First, in order to appropriately perform the geometric correction shown in FIG. 6, as shown in FIG. 2, a plurality of
具体的には、マーカー44A〜44Cは、撮影画像において調理対象Tの像T’を特定しやすくするため、すなわち短時間で高精度に特定するために、カメラ30に撮影されるアライメントマーカーである。図2に示すように、本実施の形態の場合、複数のマーカー44A〜44Cは、トッププレート14の天面14a(すなわち本体12の天面)に設けられている。例えば、マーカー44A〜44Cは、トッププレート14の天面14aに描かれたマークまたは天面14aに貼り付けられたシールである。特に、マーカー44A〜44Cは、高精度に画像認識できる(カメラの撮影画像において特定しやすい)形状および色を備えたものであって、本実施の形態の場合、正三角形状である。
Specifically, the
また、理由は後述するが、複数のマーカー44A〜44Cは、加熱コイル16A〜16Cに対応付けされている。本実施の形態の場合、正三角形状のマーカーにおける1つの頂点が加熱コイルに向くことにより、対応付けされている。また、複数のマーカー44A〜44Cは、加熱コイル16A〜16Cに対向する容器載置エリア46A〜46C(加熱コイルによって加熱される容器Cが載置される容器載置部)以外のトッププレート14の天面14aの部分に設けられている。これにより、マーカー44A〜44C上に容器Cが載置されることが抑制されている。
Further, although the reason will be described later, the plurality of
具体的には、マーカー44Aは、加熱コイル16Aに対応付けされ、加熱コイル16Aに対向する容器載置エリア46Aの近傍(奥側)に設けられている。また、マーカー44Bは、加熱コイル16Bに対応付けされ、加熱コイル16Bに対向する容器載置エリア46Bの近傍(奥側)に設けられている。そして、マーカー44Cは、加熱コイル16Cに対応付けされ、加熱コイル16Cに対向する容器載置エリア46Cの近傍(手前側)に設けられている。なお、容器載置エリア46A〜46Cは、トッププレート14の天面14aに設けられた略円環状のマーク48A〜48Cによって画定されているとともに、ユーザに提示されている。
Specifically, the
したがって、カメラ30の撮影画像においてマーカー44A〜44Cの像を特定できれば、その特定したマーカーの像の位置に基づいて、容器載置エリア46A〜46Cに対応する撮影画像の領域、すなわち調理対象Tの像が存在しうる領域(調理対象存在領域RA〜RC、図9参照)を短時間で高精度に特定することができる。
Therefore, if the images of the
説明すると、上述したように、カメラ30は加熱調理器10の本体12に対して一定の位置ではなく、自由に設置可能である。そのため、撮影画像の一定の位置に調理対象Tの像が写るとは限らない。マーカー44A〜44Cがない場合、調理対象Tの像を特定するために撮影画像全体を確認する必要があるため、その像の特定に時間がかかり、また特定エラーが起こり得る。また、調理対象Tは種々あって一定の形状や色ではないため、調理対象Tによってその像の特定時間や特定エラーの起こりやすさが異なる。
To explain, as described above, the
したがって、撮影画像において一定の特徴(形状や色)を備えるマーカー44A〜44Cの像を特定し、その特定したマーカーの像の位置に基づいて容器載置エリア46A〜46Cに対応する撮影画像の領域(調理対象存在領域RA〜RC)を特定し、その調理対象存在領域RA〜RC内から調理対象Tの像を特定する。その結果、マーカーを用いずに撮影画像全体を確認して調理対象の像を特定する場合に比べて、調理対象の像を短時間で高精度に特定することができる。
Therefore, the image of the
本実施の形態の場合、このようなマーカー44A〜44Cを利用することにより、画像処理部54がカメラ30の撮影画像P0に対して幾何学的補正を行う。
In the case of the present embodiment, by using
まず、図6に示すように、ステップS100において、画像処理部54は、画像認識技術により、図5に示すカメラ30の撮影画像P0において、複数のマーカー44A〜44Cの像44A’〜44C’を特定する。
First, as shown in FIG. 6, in step S100, the
ステップS110において、画像処理部54は、マーカー44A〜44Cの像44A’〜44C’の形状を計測する。
In step S110, the
補足すると、図1に示すように、カメラ30の光軸30aがトッププレート14の天面14aに直交している場合、撮影画像Pに写るマーカー44A〜44Cの像44A’〜44C’の形状は、マーカー44A〜44C自体の実際形状と相似する。すなわち、本実施の形態の場合、実際形状が正三角形であるため、像44A’〜44C’の形状も正三角形のはずである。
Supplementally, as shown in FIG. 1, when the
しかしながら、加熱調理器10の本体12に対してカメラ30が自由に設置可能であるために、トッププレート14の天面14aに対して光軸30aが非直交の状態で、カメラ30が設置される場合がある。その場合、図5に示すように、トッププレート14の像14’の形状は歪み、マーカー44A〜44Cの像44A’〜44C’の形状も歪んで正三角形ではなくなる。
However, since the
ステップS110に続くステップS120において、画像処理部54は、ステップS110で計測されたマーカー44A〜44Cの像44A’〜44C’の形状に基づいて、カメラ30の撮影画像P0を幾何学的補正する。具体的には、画像処理部54は、計測した像44A’〜44C’の形状とマーカー44A〜44C自体の実際形状とを比較し、その比較結果に基づいて、台形補正の補正条件を算出する。補正条件は、像44A’〜44C’がマーカー44A〜44C自体の実際形状に相似な形状で写るように、撮影画像P0の形状を台形補正するための条件である。なお、そのために、マーカー44A〜44C自体の実際形状のデータが記憶部60に記憶されている。この台形補正を行うことにより、撮影画像P0は、図7に示すように、カメラ30の光軸30aがトッププレート14の天面14aに直交した状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像P1に補正される。
In step S120 following step S110, the
ステップS130において、画像処理部54は、撮影画像P1におけるマーカー44A〜44Cの像44A’〜44C’のサイズを計測する。そして、続くステップS140において、画像処理部54は、ステップS130で計測したサイズに基づいて、カメラ30の撮影画像P1をサイズ補正する。具体的には、像44A’〜44C’が予め決められた所定のサイズで撮影画像に写るように、撮影画像を拡大補正または縮小補正する。このサイズ補正により、撮影画像P1は、図8に示すように、カメラ30とトッププレート14の天面14aとの間の距離が所定の距離である状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像P2に補正される。
In step S130, the
ステップS150において、画像処理部54は、撮影画像P2におけるマーカー44A〜44Cの像44A’〜44C’の位置と姿勢とを計測する。そして、続くステップS160において、画像処理部54は、ステップS150で計測した位置と姿勢とに基づいて、カメラ30の撮影画像P2を位置補正および回転補正する。具体的には、像44A’〜44C’が予め決められた所定の位置および姿勢で写るように、撮影画像を位置補正および回転補正する。これらの補正により、撮影画像P2は、図9に示すように、カメラ30が加熱調理器10の本体12に対して所定の位置に所定の姿勢で配置された状態で撮影したときに得られる撮影画像と実質的に同一の撮影画像P3に補正される。なお、所定の位置は、例えば、カメラ30の光軸30aがトッププレート14の中心を通過するようなカメラ30の位置である。また、所定の姿勢は、例えば、トッププレート14の長手方向(X軸方向)が撮影画像の長手方向と一致するような光軸30aを中心とするカメラ30の回転姿勢である。
In step S150, the
ステップS160での位置補正および回転補正が終了すると、画像処理部54によるカメラ30の撮影画像P0に対する幾何学的補正が完了する。
When the position correction and the rotation correction in step S160 are completed, the geometric correction of the captured image P0 of the
このような幾何学的補正により、加熱調理器10の本体12に対してカメラ30がどのような位置に設置されても、実質的に同一の幾何学的条件で撮影された撮影画像を得ることができる。その結果、カメラ30の位置によらず、調理対象状態推定部56は、撮影画像に写る調理対象Tの像T’に基づいて該調理対象Tの状態を実質的に一定の精度で推定することができる。
By such geometric correction, no matter what position the
また、図9に示すように、マーカー44A〜44Cの像44A’〜44C’が、画像処理部54によって補正された撮影画像P3において所定の位置および所定の姿勢で写っている。したがって、詳細は後述するが、調理対象状態推定部56は、撮影画像において、マーカー44A〜44Cの像44A’〜44C’を、短時間に高い精度で特定することができる。
Further, as shown in FIG. 9, the
なお、カメラ30がズーム機能を備える場合、図6に示すステップS130およびS140の処理を省略することができる。具体的には、設置されたカメラ30が最初に撮影した撮影画像に写るマーカー44A〜44Cの像44A’〜44C’のサイズに基づいて、像44A’〜44C’が所定のサイズで写るようにカメラ30をズームさせる。そのズーム状態を維持することにより、以後に撮影された撮影画像についてはサイズ補正をする必要がなくなる。
When the
幾何学的補正が完了すると、画像処理部54は、幾何学的補正された撮影画像P3に対して色補正を行う。色補正を行う理由は、加熱調理器10周りの光環境の影響を撮影画像から取り除くためである。
When the geometric correction is completed, the
具体的に説明すると、加熱調理器10周りの光環境が変化すると、カメラ30の撮影画像に写る調理対象Tの像T’の色合いが変化する。例えば、加熱調理中にカーテンが開けられてキッチンに夕日の光が入ると、その光によって撮影画像全体、すなわち調理対象Tの像T’が赤みを帯びる(色相が変化する)場合がある。また例えば、加熱調理中に照明が灯されると、その照明の光によって調理対象Tの像T’が白みを帯びる(彩度が低下する)場合がある。また、同じ調理対象であっても、加熱調理器10周りの光環境が異なれば、撮影画像に写る調理対象Tの像T’の色合いも異なる。
Specifically, when the light environment around the
このように加熱調理器10周りの光環境の変化や違いによって撮影画像に写る調理対象の色合いに変化や違いが生じると、調理対象状態推定部56は、撮影画像に写る調理対象Tの像T’に基づく該調理対象Tの状態の推定を高精度に行えない可能性がある。その結果として、調理対象Tの状態の推定結果に基づく該調理対象Tに対する加熱制御を適切に行えない可能性がある。
When the hue of the cooking object reflected in the captured image changes or differs due to the change or difference in the light environment around the
そのために、画像処理部54は、幾何学的補正された撮影画像P3に対して色補正を行う。その色補正のために、本実施の形態の場合、幾何学的補正において利用したマーカー44A〜44Cが再び利用される。このマーカー44A〜44Cを利用した色補正の流れについて、図10に示すフローチャートを参照しながら説明する。
Therefore, the
図10に示すように、まず、ステップS200において、画像処理部54は、画像認識技術により、図7に示す幾何学的補正された撮影画像P3において、複数のマーカー44A〜44Cの像44A’〜44C’を特定する。
As shown in FIG. 10, first, in step S200, the
次に、ステップS210において、画像処理部54は、カメラ30の撮影画像に写る複数のマーカー44A〜44Cの像44A’〜44C’それぞれについて色合いを計測する。本実施の形態の場合、色合いを示すパラメータとして、色相、彩度、および明度を計測する。なお、色合いとして、色相、彩度、および明度の少なくとも1つを計測してもよい。
Next, in step S210, the
続いて、ステップS220において、画像処理部54は、各マーカー44A〜44Cの像44A’〜44C’について、ステップ210で色合いを計測して得た計測結果に基づいて、本実施の形態の場合には色相、彩度、および明度に基づいて、色補正条件を算出する。具体的には、像44A’〜44C’がマーカー44A〜44C自体の実際の色合いで写るように撮影画像P3を補正するための色補正条件を、像44A’〜44C’それぞれについて算出する。これは、全てのマーカー44A〜44Cの像44A’〜44C’が、同等に光環境の影響を受けているとは限らないからである。例えば、マーカー44Aのみに夕日の光があたり、それによりマーカー44Aの像44A’のみが赤みを帯びている場合がある。このような場合を想定し、像44A’〜44C’それぞれについて色補正条件が算出される。したがって、複数の異なる色補正条件が算出される場合がある。
Subsequently, in step S220, the
ステップS220に続くステップS230において、画像処理部54は、ステップS220で算出した色補正条件それぞれにしたがって、図9に示す撮影画像P3における調理対象存在領域RA〜RCを色補正する。
In step S230 following step S220, the
これらの調理対象存在領域RA〜RCは、上述したように、また図9に示すように、容器載置エリア46A〜46Cに対応する領域であって、すなわち調理対象Tの像T’が存在しうる領域である。
These cooking target existing regions RA to RC are regions corresponding to the
撮影画像P3における調理対象存在領域RAは、対応するマーカー44Aの像44A’について算出された色補正条件で色補正される。また、調理対象存在領域RBは、対応するマーカー44Bの像44B’について算出された色補正条件で色補正される。そして、調理対象存在領域RCは、対応するマーカー44Cの像44C’について算出された色補正条件で色補正される。
The cooking target existing region RA in the captured image P3 is color-corrected under the color correction conditions calculated for the image 44A'of the
それにより、異なる容器載置エリア46A〜46Cに載置されている容器C内の調理対象Tの像T’は、異なる色補正条件で色補正される。その結果、容器載置エリア46A〜46Cそれぞれの調理対象Tの像T’は、適切に色補正される。
As a result, the image T'of the cooking object T in the containers C placed in the different
一例を挙げて説明する。容器載置エリア46Aに載置された容器C内の調理対象Tと対応するマーカー44Aとには、夕日の光が当たっている。それに対して、他の容器載置エリア46B、46Cとそれに対応するマーカー44B,44Cとには夕日の光が当たっていない。
An example will be described. The light of the setting sun shines on the cooking object T in the container C placed in the
マーカー44Aの像44A’を夕日の光が当たっていないときの色合いにするための色補正条件が算出される。その色補正条件を用いて、容器載置エリア46Aに載置された容器C内の調理対象Tの像T’が色補正される。すなわち、その調理対象Tの像T’は、夕日の光が当たっていない色合いに色補正される。これに対して、夕日の光が当たっていない容器載置エリア46B〜46Cの調理対象Tの像T’には、この色補正が適用されない。
The color correction condition for making the image 44A'of the
このような色補正により、加熱調理器10周りの光環境が変化したり違いが生じても、実質的に同一の光環境下で撮影された撮影画像を得ることができる。その結果、光環境の変化や違いによらず、調理対象状態推定部56は、撮影画像に写る調理対象Tの像T’に基づいて該調理対象Tの状態を実質的に一定の精度で推定することができる。
By such color correction, even if the light environment around the
調理対象状態推定部56は、撮影画像に写るマーカー44A〜44Cの像44A’〜44C’の位置に基づいて、撮影画像において調理対象Tの像T’を特定する。本実施の形態の場合、画像処理部54によって幾何学的補正および色補正された撮影画像において調理対象Tの像T’を特定する。
The cooking target
具体的には、図9に示すように、調理対象状態推定部56は、まず、カメラ30の撮影画像に写るマーカー44A〜44Cの像44A’〜44C’を特定する。次に、その特定した像44A’〜44C’の位置に基づいて、撮影画像におけるトッププレート14の天面14aの容器載置エリア46A〜46Cに対応する調理対象存在領域RA〜RCを特定する。そして、その調理対象存在領域RA〜RC内から調理対象Tの像T’を特定する。これにより、撮影画像全体を確認して調理対象Tの像T’を特定する場合に比べて、短時間で高精度に調理対象Tの像T’の特定を実行することができる。
Specifically, as shown in FIG. 9, the cooking target
なお、そのためには、マーカー44A〜44Cと容器載置エリア46A〜46C(調理対象存在領域RA〜RC)との間の位置関係が既知である必要がある。マーカー44A〜44Cの像の位置に基づいて容器載置エリア46A〜46Cに対応する調理対象存在領域RA〜RCを特定するために、マーカーと容器載置エリアとの間の位置関係を示す加熱調理器のレイアウトデータが使用される。このレイアウトデータは、記憶部60に記憶されている。
For that purpose, it is necessary to know the positional relationship between the
撮影画像において調理対象Tの像T’を特定すると、調理対象状態推定部56は、その特定した調理対象Tの像T’を撮影画像から抽出する。例えば、抽出した像T’を画像データとして記憶部60に記憶する。
When the image T'of the cooking target T is specified in the captured image, the cooking target
抽出した調理対象Tの像T’に基づいて、調理対象状態推定部56は、その調理対象Tの状態を推定する。例えば、連続する複数の撮影画像から抽出された調理対象Tの複数の像T’に基づいて、調理対象Tの像T’の変化を検出し、その変化に基づいて調理対象Tの状態を推定する。例えば、調理対象Tが液体であって、その液面の像の変化が大きい場合、調理対象Tが沸騰状態であると推定する。また例えば、調理対象Tが肉などの焼き物である場合、調理対象の像の色の変化がほぼなくなると、焼き上がりと推定する。
Based on the extracted image T'of the cooking object T, the cooking object
なお、調理対象状態推定部56は、温度センサ26A〜26Cの検出温度や重量センサ28の検出重量をも考慮に入れて、調理対象Tの状態を推定してもよい。例えば、調理対象Tが液体であって、その液面の像の変化が大きく、且つ、重量センサ28の検出重量が減少し始めた場合、調理対象状態推定部56は、調理対象Tが蒸発していると推定する。
The cooking target
加熱コイル制御部58は、調理対象状態推定部56によって推定された調理対象Tの状態に基づいて、加熱コイル16A〜16Cの出力を制御する。例えば、調理対象状態推定部56によって調理対象Tが蒸発中であると推定された場合、加熱コイル制御部58は加熱コイルの出力レベルを下げるまたは加熱コイルを停止させる。
The heating
以上、このような本実施の形態によれば、カメラ30の撮影画像に写る調理対象Tの像T’に基づいて該調理対象Tに対する加熱を制御する加熱調理器10において、カメラ30の設置の自由度を向上させることができる。
As described above, according to the present embodiment, the
すなわち、撮影画像に写るマーカー44A〜44Cの像44A’〜44C’の位置に基づいて調理対象Tの像T’を短時間で高精度に特定することができるので、カメラ30を加熱調理器10の本体12に対して高精度に位置決めする必要がない。
That is, since the image T'of the cooking object T can be specified with high accuracy in a short time based on the positions of the
以上、上述の実施の形態を挙げて本発明を説明したが、本発明は上述の実施の形態に限定されない。 Although the present invention has been described above with reference to the above-described embodiments, the present invention is not limited to the above-described embodiments.
例えば、上述の実施の形態の場合、図1に示すように、加熱調理器10は1台のカメラ30を有するが、本発明の実施の形態に係る加熱調理器のカメラは1台に限らない。例えば、複数の加熱コイルそれぞれの上方にカメラが配置されてもよい。
For example, in the case of the above-described embodiment, as shown in FIG. 1, the
また、上述の実施の形態の場合、図3に示すように、カメラ30と加熱調理器10の制御部50は、ローカルエリアネットワーク38を介して無線接続されているが、これに限らない。カメラ30と制御部50の少なくとも一方が、ローカルエリアネットワーク38に対して有線接続されてもよい。また、カメラ30が、加熱調理器10の制御部50に対して直接的に無線接続または有線接続されてもよい。さらに、カメラ30の撮影画像を携帯端末42に送信してもよく、またインターネット40を介して外部に送信してもよい。これにより、カメラ30が実際に撮影した撮影画像を、ユーザは確認することができる。
Further, in the case of the above-described embodiment, as shown in FIG. 3, the
さらに、上述の実施の形態の場合、図1に示すように、加熱調理器10は三基の加熱コイル16A〜16Cを備えるが、本発明の実施の形態に係る加熱調理器10の加熱コイルの数はこれに限らない。加熱コイルは1つであってもよく、また3基以上あってもよい。
Further, in the case of the above-described embodiment, as shown in FIG. 1, the
さらにまた、上述の実施の形態の場合、図2に示すように、マーカー44A〜44Cは、トッププレート14の天面14aに描かれたマークまたはシールである。しかしながら、本発明の実施の形態は、これに限定されない。例えば、マーカーは、発光する発光体、例えばLEDなどであってもよい。ただし、自然光と区別するために、白色光でなく、赤色や青色などの光を発光するものが好ましい。
Furthermore, in the case of the above-described embodiment, as shown in FIG. 2, the
加えて、上述の実施の形態の場合、カメラ30の撮影画像において調理対象Tの像T’を特定するためのマーカー44A〜44Cは、画像の幾何学的補正や色補正にも利用されている。しかしながら、本発明の実施の形態はこれに限らない。撮影画像において調理対象Tの像T’を特定できるのであれば、上述の補正の少なくとも一部を省略してもよい。例えば、加熱調理器周りの光環境が略一定であれば、色補正を省略することができる。また例えば、カメラの光軸がトッププレートの天面の略中心に略直交した状態で且つカメラとトッププレートとの間の距離を略適切な距離にした状態でカメラが設置されているのであれば、幾何学的補正も省略することができる。
In addition, in the case of the above-described embodiment, the
加えてまた、上述の実施の形態の場合、マーカー44A〜44Cはトッププレート14の天面14aに描かれたマークまたは貼り付けられたシールであるが、本発明の実施の形態はこれに限らない。マーカーは、加熱調理器の本体上に存在し、且つ、カメラの撮影範囲に存在するものであればよい。したがって、マーカーは、加熱調理器の本体における構成要素全体または一部分であってもよい。例えば、図2に示すタッチキー18A〜18Cおよび表示部20A〜20Cの少なくとも一方が、マーカーとして使用されてもよい。また例えば、トッププレート14の天面14a全体が、マーカーとして使用されてもよい。すなわち、マーカーは、加熱調理器の本体上に存在し、容器載置エリア(加熱部)に対して一定の位置に存在し、且つ、その像が撮影画像において特定できるものであればよい。この場合、マーカーを描くまたはマーカーシールを貼り付ける必要がなくなり、加熱調理器の意匠性の低下を抑制することができる。
In addition, in the case of the above-described embodiment, the
マーカーに関して言えば、そのマーカーの像の位置に基づいて撮影画像における容器載置エリアに対応する調理対象存在領域を特定することを考えれば、マーカーは複数個あるのが好ましい。これは、二次元の撮影画像における調理対象存在領域を、複数のマーカーの像それぞれの撮影画像における位置に基づいて一義的に特定できるからである。ただし、1つのマーカーの像の位置でも、調理対象存在領域をある程度は特定することは可能であり、マーカーが全くない場合に比べて短時間で高精度に特定することが可能である。例えば、1つのマーカーを容器載置エリアの中央に配置すると、撮影画像においてマーカーの像の周辺領域が調理対象存在領域であると短時間で高精度に特定することができる(マーカーが全くない場合に比べて)。 With respect to the marker, it is preferable that there are a plurality of markers, considering that the cooking target existing area corresponding to the container mounting area in the photographed image is specified based on the position of the image of the marker. This is because the region where the cooking object exists in the two-dimensional captured image can be uniquely specified based on the position in the captured image of each of the images of the plurality of markers. However, even at the position of the image of one marker, it is possible to specify the area where the cooking object exists to some extent, and it is possible to specify it with high accuracy in a short time as compared with the case where there is no marker at all. For example, if one marker is placed in the center of the container mounting area, it is possible to quickly and accurately identify that the peripheral area of the marker image is the cooking target existing area in the captured image (when there is no marker at all). Compared to).
なお、加熱調理器の本体に対してカメラが限度を越えた位置に設置される場合がある。例えば、撮影画像にマーカーの像が写らないような位置にカメラが設置される場合がある。また例えば、撮影画像にマーカーの像は写るが、容器載置エリアに対応する調理対象存在領域が少なくとも部分的に撮影画像において存在しないような位置(容器載置エリアがカメラの撮影範囲から外れる位置)に、カメラが設置される場合がある。すなわち、撮影画像において調理対象存在領域を特定することができない位置に、カメラが設置される場合がある。この場合、図1に示す報知部24または図3に示す携帯端末42を介して、領域が特定できない旨を報知し、ユーザにカメラの設置位置を変更するように促してもよい。あるいは、領域が特定できた場合に報知してもよい。
The camera may be installed at a position exceeding the limit with respect to the main body of the cooking cooker. For example, the camera may be installed at a position where the image of the marker does not appear in the captured image. Further, for example, a position where the image of the marker appears in the captured image but the cooking object existing area corresponding to the container mounting area does not exist at least partially in the captured image (position where the container mounting area is out of the shooting range of the camera). ), A camera may be installed. That is, the camera may be installed at a position where the cooking target existing area cannot be specified in the captured image. In this case, the
さらに加えて、上述の実施の形態の場合、マーカー44A〜44Cの像の位置に基づいて撮影画像における調理対象Tの像T’を特定して抽出し、その抽出した像T’に基づいて調理対象Tの状態を推定する調理対象状態推定部56(これらとして機能する、例えばCPUなどの処理装置)は、加熱調理器10の本体12に設けられている。しかしながら、本発明の実施の形態は、これに限らない。調理対象状態推定部は、加熱調理器の本体の外部、例えばカメラに搭載されてもよい。この場合、マーカーと容器載置エリアとの間の位置関係を示す加熱調理器のレイアウトデータをカメラは保持する必要がある。このレイアウトデータとマーカーの像の位置とに基づいて、撮影画像における容器載置エリアに対応する調理対象存在領域を短時間に高精度に特定することができる。
Furthermore, in the case of the above-described embodiment, the image T'of the cooking object T in the captured image is specified and extracted based on the positions of the images of the
代わりとして、調理対象状態推定部は、ユーザの携帯端末に搭載されてもよい。例えば、携帯端末を調理対象状態推定部として機能させるプログラムが、携帯端末にインストールされる。この場合、携帯端末は、カメラから撮影画像を取得する。また、携帯端末は、マーカーと容器載置エリアとの位置関係を示すレイアウトデータを、例えば加熱調理器を製造したメーカーのサーバーから取得する。次に、携帯端末の調理対象状態推定部が、取得した撮影画像とレイアウトデータとに基づいて、撮影画像において調理対象の像を特定し、その特定した像に基づいて調理対象の状態を推定する。そして、携帯端末が調理対象の状態をデータとして加熱調理器の制御部に送信する。 Alternatively, the cooking target state estimation unit may be mounted on the user's mobile terminal. For example, a program that causes the mobile terminal to function as a cooking target state estimation unit is installed in the mobile terminal. In this case, the mobile terminal acquires the captured image from the camera. Further, the mobile terminal acquires layout data indicating the positional relationship between the marker and the container mounting area, for example, from the server of the manufacturer of the cooking device. Next, the cooking target state estimation unit of the mobile terminal identifies the image of the cooking target in the captured image based on the acquired captured image and layout data, and estimates the state of the cooking target based on the identified image. .. Then, the mobile terminal transmits the state of the cooking object as data to the control unit of the cooking cooker.
なお、調理対象状態推定部が複数の機種の加熱調理器に対して共通に使用される場合、マーカーの像の形状に基づいて機種を判別してもよい。具体的には、機種毎に異なる形状のマーカーが本体に設けられる。そして、機種それぞれについて、マーカーと容器載置エリアとの間の位置関係を示すレイアウトデータを用意する。調理対象状態推定部は、マーカーの形状に基づいて使用するレイアウトデータを選択し、その選択したレイアウトデータとマーカーの像の位置とに基づいて、撮影画像において調理対象の像を特定し、その特定した像に基づいて調理対象の状態を推定する。これにより、共通の調理対象状態推定部を異なる機種の加熱調理器に採用することができる。 When the cooking target state estimation unit is commonly used for a plurality of models of cooking cookers, the model may be determined based on the shape of the image of the marker. Specifically, markers having different shapes are provided on the main body for each model. Then, for each model, layout data showing the positional relationship between the marker and the container mounting area is prepared. The cooking target state estimation unit selects layout data to be used based on the shape of the marker, identifies the image of the cooking target in the captured image based on the selected layout data and the position of the marker image, and identifies the image. The state of the cooking object is estimated based on the image. As a result, a common cooking target state estimation unit can be adopted for different types of cooking cookers.
さらに加えて、上述の実施の形態の場合、撮影画像における容器載置エリアに対応する調理対象存在領域は、撮影画像に写るマーカーの像の位置に基づいて特定されている。しかしながら、本発明の実施の形態は、これに限らない。例えば、撮影画像における容器載置エリアに対応する調理対象存在領域を、ユーザが加熱調理器に教示してもよい。 Furthermore, in the case of the above-described embodiment, the cooking target existence area corresponding to the container mounting area in the photographed image is specified based on the position of the image of the marker appearing in the photographed image. However, the embodiment of the present invention is not limited to this. For example, the user may teach the cooker the cooking target existing area corresponding to the container mounting area in the photographed image.
そのために、例えば、加熱調理器は、カメラの撮影画像を表示する撮影画像表示部と、ユーザが、撮影画像表示部に写る撮影画像に基づいて、撮影画像におけるトッププレートの天面の容器載置エリアに対応する調理対象存在領域を教示するための教示部とを有する。撮影画像表示部と教示部は、撮影画像上で調理対象存在領域を範囲指定するのに適した、例えばタッチスクリーンであってもよい。なお、ユーザの携帯端末のタッチスクリーンを撮影画像表示部および教示部として使用してもよい。この場合、携帯端末のタッチスクリーンを撮影画像表示部および教示部として機能させるためのプログラムが携帯端末にインストールされる。 Therefore, for example, in the cooking cooker, the container is placed on the top surface of the top plate in the photographed image based on the photographed image display unit for displaying the photographed image of the camera and the photographed image captured by the user on the photographed image display unit. It has a teaching unit for teaching the cooking target existing area corresponding to the area. The captured image display unit and the teaching unit may be, for example, a touch screen suitable for designating a range of the cooking target existing area on the captured image. The touch screen of the user's mobile terminal may be used as a captured image display unit and a teaching unit. In this case, a program for making the touch screen of the mobile terminal function as a captured image display unit and a teaching unit is installed in the mobile terminal.
補足すると、当然ながら、カメラの撮影画像に写るマーカーの像の位置に基づいてトッププレートの容器載置エリアに対応する撮影画像における調理対象存在領域を特定する動作は、カメラが設置された直後であって容器がその容器載置エリアに載置される前に一度行うだけでよい。すなわち、その後は、次にカメラの位置が変更されるまで、このマーカーの像に基づく撮影画像における調理対象存在領域を特定する動作を行う必要はなくなる。カメラの位置が変わらない限り、撮影画像における調理対象存在領域の位置は変わらないからである。したがって、マーカーはカメラの位置が変更されたときにのみ使用される。 Supplementally, as a matter of course, the operation of identifying the cooking target existing area in the captured image corresponding to the container mounting area of the top plate based on the position of the marker image in the captured image of the camera is immediately after the camera is installed. It only needs to be done once before the container is placed in the container placement area. That is, after that, it is not necessary to perform the operation of specifying the cooking target existing area in the captured image based on the image of this marker until the position of the camera is changed next time. This is because the position of the cooking target existing area in the captured image does not change as long as the position of the camera does not change. Therefore, the marker is only used when the position of the camera is changed.
さらに加えて、上述の実施の形態の場合、加熱調理器は、加熱コイルを用いて容器を誘導加熱する誘導加熱調理器であるが、本発明の実施の形態は、これに限らない。例えば、本発明の実施の形態に係る加熱調理器は、ガス調理器であってもよい。ガス調理器の場合、容器は、本体の天面に備えられた容器載置部としての五徳に載置され、その下方から加熱部としてのガスバーナーによって加熱される。 Furthermore, in the case of the above-described embodiment, the heating cooker is an induction heating cooker that induces and heats the container by using a heating coil, but the embodiment of the present invention is not limited to this. For example, the cooking cooker according to the embodiment of the present invention may be a gas cooker. In the case of a gas cooker, the container is placed on the trivet as a container mounting portion provided on the top surface of the main body, and is heated by a gas burner as a heating portion from below.
以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 As described above, an embodiment has been described as an example of the technique in the present disclosure. To that end, the accompanying drawings and detailed explanations have been provided. Therefore, among the components described in the attached drawings and the detailed description, not only the components essential for solving the problem but also the components not essential for solving the problem in order to exemplify the technique. Can also be included. Therefore, the fact that those non-essential components are described in the accompanying drawings or detailed description should not immediately determine that those non-essential components are essential.
また、前述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。 Further, since the above-described embodiment is for exemplifying the technology in the present disclosure, various changes, replacements, additions, omissions, etc. can be made within the scope of claims or the equivalent thereof.
2017年9月25日に出願された日本特許出願第2017−183995号の明細書、図面、及び特許請求の範囲の開示内容は、全体として参照されて本明細書の中に取り入れられるものである。 The specification, drawings, and claims of Japanese Patent Application No. 2017-183995 filed on September 25, 2017 are incorporated herein by reference in their entirety. ..
本発明は、誘導加熱調理器に限らず、調理対象を収容した容器を加熱する加熱調理器であれば適用可能である。 The present invention is not limited to the induction cooking device, and is applicable to any cooking device that heats a container containing a cooking object.
Claims (9)
前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記本体に設けられ、前記カメラに撮影されるマーカーと、
前記カメラの撮影画像に写る前記マーカーの像の位置に基づいて前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を特定し、前記調理対象存在領域内から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器。A main body including a top surface having a container mounting part on which a container containing a cooking object is placed,
A heating unit that heats the container placed on the container mounting unit from below,
A camera that shoots the cooking object and
A marker provided on the main body and photographed by the camera,
Based on the position of the image of the marker captured in the image captured by the camera, the cooking target existing area corresponding to the container-mounted portion on the top surface of the captured image is specified, and the cooking object exists from within the cooking object existing area. A cooking object state estimation unit that identifies an image, extracts an image of the specified cooking object, and estimates the state of the cooking object based on the extracted image of the cooking object.
A cooking device having a heating control unit that controls the heating unit based on the state of the cooking object estimated by the cooking object state estimation unit.
前記加熱部の出力状態を表示する表示部と、を有し、
前記操作部および前記表示部の少なくとも一方が、前記マーカーとして使用される、請求項1に記載の加熱調理器。An operation unit for operating the heating unit and
It has a display unit that displays the output state of the heating unit, and
The cooker according to claim 1, wherein at least one of the operation unit and the display unit is used as the marker.
前記容器載置部に載置された前記容器を下方から加熱する加熱部と、
前記調理対象を撮影するカメラと、
前記カメラの撮影画像を表示する撮影画像表示部と、
ユーザが、前記撮影画像表示部に写る撮影画像に基づいて、前記撮影画像における前記天面の容器載置部に対応する調理対象存在領域を教示するための教示部と、
前記調理対象存在領域から前記調理対象の像を特定し、その特定した調理対象の像を抽出し、その抽出した調理対象の像に基づいて前記調理対象の状態を推定する調理対象状態推定部と、
前記調理対象状態推定部によって推定された前記調理対象の状態に基づいて、前記加熱部を制御する加熱制御部と、を有する、加熱調理器。A main body including a top surface having a container mounting part on which a container containing a cooking object is placed,
A heating unit that heats the container placed on the container mounting unit from below,
A camera that shoots the cooking object and
A captured image display unit that displays a captured image of the camera,
A teaching unit for the user to teach a cooking target existing area corresponding to the container mounting portion on the top surface of the captured image based on the captured image displayed on the captured image display unit.
An image of the cooking object is specified from the area where the cooking object exists, an image of the specified cooking object is extracted, and a cooking object state estimation unit that estimates the state of the cooking object based on the extracted image of the cooking object. ,
A cooking device having a heating control unit that controls the heating unit based on the state of the cooking object estimated by the cooking object state estimation unit.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183995 | 2017-09-25 | ||
JP2017183995 | 2017-09-25 | ||
PCT/JP2018/034585 WO2019059211A1 (en) | 2017-09-25 | 2018-09-19 | Heating cooker |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019059211A1 true JPWO2019059211A1 (en) | 2020-09-03 |
JP7149466B2 JP7149466B2 (en) | 2022-10-07 |
Family
ID=65809755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019543661A Active JP7149466B2 (en) | 2017-09-25 | 2018-09-19 | heating cooker |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7149466B2 (en) |
WO (1) | WO2019059211A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111377291A (en) | 2018-12-28 | 2020-07-07 | 日东电工株式会社 | Device for cutting and separating end edge part of optical film |
JP7359424B2 (en) * | 2019-09-30 | 2023-10-11 | 株式会社パロマ | stove system |
JP7348639B2 (en) * | 2019-11-08 | 2023-09-21 | 株式会社パロマ | gas stove system |
WO2024043436A1 (en) * | 2022-08-24 | 2024-02-29 | 삼성전자주식회사 | Cooking appliance and cooking appliance control method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05183702A (en) * | 1992-01-06 | 1993-07-23 | Canon Inc | Method and device for designating picture area |
JP2016218663A (en) * | 2015-05-19 | 2016-12-22 | 日本電信電話株式会社 | Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program |
JP2017040430A (en) * | 2015-08-19 | 2017-02-23 | 東京瓦斯株式会社 | Range hood |
WO2017033406A1 (en) * | 2015-08-27 | 2017-03-02 | パナソニックIpマネジメント株式会社 | Heat-cooking device |
-
2018
- 2018-09-19 JP JP2019543661A patent/JP7149466B2/en active Active
- 2018-09-19 WO PCT/JP2018/034585 patent/WO2019059211A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05183702A (en) * | 1992-01-06 | 1993-07-23 | Canon Inc | Method and device for designating picture area |
JP2016218663A (en) * | 2015-05-19 | 2016-12-22 | 日本電信電話株式会社 | Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program |
JP2017040430A (en) * | 2015-08-19 | 2017-02-23 | 東京瓦斯株式会社 | Range hood |
WO2017033406A1 (en) * | 2015-08-27 | 2017-03-02 | パナソニックIpマネジメント株式会社 | Heat-cooking device |
Also Published As
Publication number | Publication date |
---|---|
JP7149466B2 (en) | 2022-10-07 |
WO2019059211A1 (en) | 2019-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7149466B2 (en) | heating cooker | |
CN107527004B (en) | Cooking assistance method and cooking assistance system | |
JP6704125B2 (en) | Cooker | |
US20170299194A1 (en) | System that emits light to overheated portion of cooking container | |
EP3742052A1 (en) | Cooking assistance appliance | |
JP7065305B2 (en) | Cooker | |
CN109276147B (en) | Method for obtaining internal temperature of food and cooking utensil | |
JP2015068542A (en) | Heating cooker | |
US20160134854A1 (en) | Automated white balancing in digital photography | |
JP6906192B2 (en) | Cooker | |
JP2018124962A (en) | Information processor and information processing method | |
JP6793317B2 (en) | Cooking equipment | |
JP6793318B2 (en) | Cooking equipment | |
JP7300648B2 (en) | heating cooker | |
US20190141794A1 (en) | Temperature sensing cookware | |
KR101678557B1 (en) | Device for display a roasting state of meat | |
WO2019059304A1 (en) | Heating cooker | |
KR20130041440A (en) | Image processing apparatus and method thereof | |
JP2019200031A (en) | Cooking device | |
JP2017158867A5 (en) | ||
CN110848755A (en) | Control method of gas stove and gas stove | |
KR101583131B1 (en) | System and method for providing offset calibration based augmented reality | |
JP2021055908A (en) | Gas cooking stove system | |
JP2021012841A (en) | Heating cooker, heating cooking system, terminal device, and notification method | |
CN114424882B (en) | Control method of cooking appliance, cooking appliance and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220829 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7149466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |