JP2018517532A - レシピファイルから食品を調製するための自律調理デバイスおよびレシピファイルを作成する方法 - Google Patents

Abstract

自動調理デバイスは、個人による実際の調理セッションに基づいて、レシピファイルを作成する。同一の料理は、要望に応じて、レシピファイルから自動的に再現されることができ、最適残り調理時間が、リアルタイム画像センサフィードバック対参照画像の画像分析に応答して、自動的に決定される。いくつかの実装では、レシピファイルは、ネットワークを通して取得され、有料でダウンロードされる。一実施形態において、画像センサは、外観画像センサおよび熱画像センサのうちの少なくとも１つを備えている。

Description

（関連出願の引用）
本願は、米国出願第６２／１３８，９８５号（２０１５年３月２７日出願、Ｐｒａｓｈａｎｔ Ｃｈｏｕｄｈａｒｙ，他、名称「Ａｕｔｏｎｏｍｏｕｓ Ｃｏｏｋｉｎｇ Ｄｅｖｉｃｅ ｔｏ Ｐｒｅｐａｒｅ Ｆｏｏｄ ｆｒｏｍ ａ Ｒｅｃｉｐｅ Ｆｉｌｅ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｃｒｅａｔｉｎｇ Ｒｅｃｉｐｅ Ｆｉｌｅｓ」）に対する優先権を主張し、上記出願の内容は、その全体が参照により本明細書に引用される。

（開示の分野）
本発明は、概して、自律調理デバイスに関し、より具体的には、レシピファイルを知的に処理することによって料理を自動的に調製する知的電化製品に関する。

レシピは、手料理を用意するための一般的な理想的な一組の調理用の説明書である。いくつかのレシピは、個人の参照のために、インデックスカードに書き込まれる、または、共有のために、調理本もしくはさらにオンラインで公開されている。説明書があっても、料理初心者は、料理専門家の調理プロセスを再現することは、困難であり、または少なくとも大変と感じ得る。個人のレシピを一貫して再現することも困難であり得る。

既存の調理デバイスは、基本レベルの自動化のみを有する。例えば、電子レンジは、プログラムされた電力レベルでプログラムされた時間に従って、調理する。コーヒーマシンは、水およびコーヒー豆を使用して、プログラムされた時間で、自動的にポット１杯分のコーヒーを入れることができる。しかしながら、これらの機械のいずれも、知的様式で動作することは可能ではない。例えば、これらの機械は、調製中、実際の条件に適応することができない。別の例では、これらの機械のいずれも、新しいレシピを学習することは可能ではない。

これらの短所を克服することが望ましい。したがって、必要とされるのは、自動的に食品を調製するためのロバストな自律調理デバイスである。デバイスは、コンピュータ視野および機械学習を使用して、新しいレシピを学習すべきであり、デバイスは、調製中、リアルタイムでセンサフィードバックに適応すべきである。さらに、デバイスは、オンラインコミュニティ内でレシピファイルを読み出し、共有または販売するために、ネットワーク化されるべきである。

前述の必要性を満たすために、自動調理デバイスは、食品調製においてコンピュータ視覚および知能を使用して、料理を調理する異なる段階のための最適調理時間を決定する。

一実施形態では、自動調理デバイスは、個人による実際の調理セッションに基づいて、レシピファイルを作成する。同一料理は、レシピファイルから、要望に応じて、自動的に再現されることができ、最適残り調理時間が、リアルタイム画像センサフィードバック対参照画像の画像分析に応答して自動的に決定される。いくつかの実装では、レシピファイルは、ネットワークを通して取得され、有料でダウンロードされる。

別の実施形態では、自律調理デバイスは、食品の料理を事前に装填された具材から調理する。食品は、要因の組み合わせに従って調製される。具材は、時間または温度だけではなく、色、重量、体積、湿度レベル、レシピ指示等の他の要因に基づいて、種々の指標において調理デバイスによって自動的に添加されることができる。センサは、フィードバックをプロセッサに提供することによって、食品を監視する。プロセッサは、現在のセンサデータをレシピファイル内に記録されるセンサデータと知的に比較することによって、調理時間を動的に改変する。例えば、ジャガイモが調理するためにより長い時間が必要であることを内側から示す赤外線カメラ入力に基づいて、ジャガイモカレーの調理時間を延長する。代替として、リアルタイム画像対参照画像のテクスチャ分析は、同一または異なる結論につながり得る。種々の分析は、特定のアルゴリズムに従って重みづけされることができる。

有利には、食品調製は、最小限のヒト介入を伴って、効率的かつ一貫して行われる。

以下の図では、同一参照番号は、同一要素を指すために使用される。以下の図は、本発明の種々の例を描写するが、本発明は、図に描写される例に限定されない。

図１は、一実施形態による、レシピファイルを利用する自律調理デバイスを図示する斜視図である。

図２は、一実施形態による、図１の自律調理デバイスの混合ブレードアセンブリを図示する底面斜視図である。

図３は、一実施形態による、図１の自律調理デバイスの蓋アセンブリを図示する斜視図である。

図４は、一実施形態による、図１の自律調理デバイスの具材分注プラットフォームを図示する分解図である。

図５は、一実施形態による、図１の自律調理デバイス内の混合のための３自由度を伴う調理ユニットを図示する斜視図である。

図６は、一実施形態による、自律調理デバイスの電子機器のための有限状態機械のブロック図である。

図７は、一実施形態による、レシピファイルを共有するための自律調理デバイスを含むネットワークアーキテクチャである。

図８は、一実施形態による、自律調理デバイスにおける食品調製のための方法を図示する流れ図である。

図９は、一実施形態による、請求項８の方法において自律調理デバイスを訓練するステップを図示する流れ図である。

図１０は、一実施形態による、請求項８の方法において自律調理デバイスを用いて料理を自動的に調製するステップを図示する流れ図である。

図１１は、一実施形態による、請求項９の自動調製ステップにおける自律調理デバイス内の調理段階の終了を決定することにおける２つの画像間の近似度の評価尺度を捕捉するステップを図示する流れ図である。

図１２は、一実施形態による、レシピファイルを図示する表の図である。

図１３は、一実施形態による、図１１のテクスチャ分析ステップ１１１０、１１１４のための画像処理を図示する図である。

自律調理デバイスおよびそれにおける動作方法が、説明される。高レベルで、デバイスは、アメリカ料理、インド料理、中国料理、またはその他等の種々のタイプの食品調理法のための異なる調理段階のための最適調理時間（すなわち、残りの調理時間）を自動的に決定することができる。調理タスクは、卵をゆでること、紅茶またはコーヒーを入れること、ヨーグルを作ること、カレーを作ること等を含む。設計は、直感的であり、大量生産のために最適化される。知能の側面は、容易に訓練可能であり、構成要素は、最小限の清掃を要求する。コンパクトな形状因子は、容易な保管および展開に役立つ。

システムの多くの他の側面が、当業者に明白であろうように本発明の精神内で可能である。技法は、コンピュータソフトウェアおよび／またはコンピュータハードウェアの組み合わせを使用して、ネットワークアクセスを有する任意の好適なコンピュータシステムにおいて実装されることができる。故に、以下の詳細は、非限定的であり、当業者によって本発明の精神内で変化させられ得る、好ましい実施形態の例証の目的のためにのみ設定される。

（Ｉ．調理デバイスの構成要素）
図１は、一実施形態による、自律調理デバイス１００の斜視図である。調理デバイス１００は、概して、外側シェル１１０と、調理ユニット１２０と、具材容器１３０と、制御ユニット１４０とを含む。

（Ａ．外側シェル）
外側シェル１１０は、基部に取り付けられる内部構成要素を覆う。図１では、調理ユニット１２０と、混合ブレードシャフト１０５と、加熱要素を伴う回転プラットフォーム１１５とを含む内部構成要素へのアクセスのために、ドアが開放されるか、またはパネルが除去される。蓋１２５が、外側シェル１１０の側壁の上部に置かれ、具材容器１３０も、シェルと統合される。図１の具体的構成は、多数の可能な変形例のうちの単なる一例である。

デジタルカメラは、１つのタイプの調理センサであり、調理プロセス中、フィードバックを提供する。カメラホール１２５が、一実施形態では、外側シェル１１０の蓋２００内に、または他の実施形態では、側面もしくは他の適切な場所に穿孔されることができる。外側シェル１１０は、調理中、デジタルカメラによって捕捉される内部画像の完全性を保護するために、周囲光を遮断し得る、不透明材料から作製されることができる。デジタルカメラのいくつかの実施形態は、オートフォーカスおよび較正能力を有する。ＬＥＤライトが、画像を捕捉するために、一定したフリッカレス光源を提供する。捕捉された画像は、オンザフライで行われる適応に対する入力として、画像処理ユニットにパスされることができる。捕捉された画像は、具材のレベルを示すこと、またはそれを識別することもできる。空気ノズル１３５または他のデバイスが、カメラレンズを自動清掃し、例えば、食品の残骸、蒸気、または濃縮物を除去する。

一実施形態では、熱撮像カメラも、ある状況では、外観画像から明白ではない場合がある、具材が調理された程度を内側から感知するために使用される。例えば、色ヒストグラムおよび電力スペクトル密度を使用するアルゴリズムは、調理中の食品画像と完全に調理された食品（または調理された料理に関する個々の調理段階）の参照写真との間の差異を決定することができる。随意に外側シェル１１０に接続されることができる追加のセンサは、以下に説明される。

排気ファンも、煙および蒸気をデバイスの内側から除去するために蓋に取り付けられることができる。フィルタは、周期的に清掃されることができる。

外側シェル上のタッチスクリーンユーザインターフェースまたは他のディスプレイデバイスは、情報を示し、ユーザ入力を受信する。表示される情報および入力機構の例として、具材レベルおよびステータス、温度読み取り値および設定、調理進捗度、ビデオカメラ出力、ユーザ命令、レシピ情報、開始および停止ボタン、制御ノブ、時間等が挙げられる。ＵＳＢ等の入力／出力インターフェースも、外側シェル上に含まれることができる。

プロセッサおよびソフトウェア等の他のコンピュータ回路は、電子機器への熱、噴煙、湿気、および他の危険からの保護のための遮蔽とともに、外側シェルに展開されることができる。

（Ｂ．具材容器）
具材容器１３０は、水、牛乳、小麦粉、卵、肉、野菜、調理油、香草、および調味料等の食材を保持する。いくつかの等サイズの容器（例えば、２〜１０個の容器）、または標準的容器をサブ容器に分割することによって形成される可変サイズの容器がある。容器は、異なる形状であることができる。分注器の総容積は、好ましくは、調理ユニットの容積を上回る。容器は、充填、清掃のために容易に除去され、調理デバイスによって操作される。容器は、個々に除去されることができるか、または全体的容器ユニットが、容易な清掃のために除去されることができる。扉が、具材を保存し、調理噴煙および煙から保護するために、容器を覆うことができる。いくつかの実施形態では、使い捨て容器（例えば、食料品店または郵送で利用可能）が、使用されることができる。他の実施形態では、冷却要素が、容器のうちの１つ以上のものを冷凍する。

制御ユニット１４０によって指図されるように、具材容器１３０は、電気および機械的構成要素を使用して、内容物を調理ユニット１２０に特定の時間に自律的に添加する。重量センサまたは体積センサは、例えば、第１の時間に小麦粉の容器の半分を、第２の時間に容器の残りの半分を等、添加を管理することができる。

図１に示される具材容器１３０は、調理ユニット１２０の近傍に配置される。容器４１０は、容器プラットフォーム４２０に接続する、容器基部４０５上に置かれる。モータ４２５が、容器プラットフォーム４２０に接続される軸受４３０を旋回させる。ソレノイド４４０が、ばね負荷された鉄製容器係止部４５０を引き下げ、容器基部４０５を解放する。どの具材がどの容器内にあるかの知識を有するコントローラユニット１４０は、適切な容器が分注のための位置に到達するまで、回転式コンベヤと同様に具材容器１３０を回転させることができる。ソレノイド４４０は、容器係止部を引き下げる。

一実施形態では、水道が、調理プロセス中に分注するために接続される。別の実施形態では、飲水器が、デバイスと統合される。

（Ｃ．調理ユニット）
混合ブレード１０５および回転プラットフォーム１１５を伴う調理ユニット１２０の詳細は、図５に示される。混合ブレードシャフト１０５への接続を伴う蓋１２５の下面が、図２に示される。混合ブレードマウント１４５が、混合ブレードシャフト１０５を混合ホイール１５５に取り付ける。調理ユニット１２０の他の構成要素（写真には図示せず）として、加熱要素と、随意の冷却ユニットとが挙げられる。加熱要素は、誘導コイル、抵抗加熱コイル、または任意の他の手段であり得る。

図３に示されるように、取り外し可能調理蓋３３０が、重い蓋ホルダ基部３２０に取り付けられ、重い蓋ホルダ基部３２０は、３つの鋼鉄ケーブル３５０を使用して上下に移動させられることができる。調理蓋は、混合ブレードシャフト１０５の上をスライドする。本実施形態では、混合ブレードモータ３４０が、混合ブレードシャフト１０５に接続される混合ブレード回転子３１０を回し、混合ブレードシャフト１０５が、ばね負荷された混合ブレード３６０を回す。

混合ブレード３６０は、異なる調理段階にわたって機能する汎用混合ブレード（例えば、Ｋｉｔｃｈｅｎ−Ａｉｄ製スタンドミキサに類似するブレード）であることができる。混合ブレード３６０は、粘性のクッキー生地ならびに繊細なものを混合するために十分に強固である。混合ブレード３６０は、清掃または異なるサイズへの切り替えのために取り外し可能である。いくつかの実施形態では、２つ以上の混合ブレードが、提供される。ステッパモータまたはＤＣサーボモータ３４０が、電力を使用して、混合ブレード３６０を駆動し、混合ブレード回転子３１０をスピンさせる。

一実施形態では、混合ブレード３６０は、垂直に上下にも移動し、具材のすり潰しを可能にすることができる。調理ユニット１２０は、混合ブレード３６０の回転および上下移動に加え、独立して回転され、スタンドミキサ機構と比較して、混合においてより多くの自由度を与えることができる。カメラフィードバックまたは他のセンサを使用して、モータは、主要調理用具を必要位置に回転させることができる。二重モータ混合機構が、ブレードおよび調理プラットフォームを回転させることができる。混合ブレードシャフト１０５は、図１では、蓋１２５に搭載されるが、代替として、基部に取り付けられることもできる。へらまたはすくいは、本実施形態では、主要調理用具としての役割を果たす。部品は、混合ブレードをミキサまたは他のツールと置き換えるために、相互交換可能であり得る。追加の変形例も、可能である。

一実施形態では、冷却ユニットは、調製後、料理を冷凍する。冷却ユニットは、具材冷凍と組み合わせられるか、またはそれから独立することができる。冷却ユニットは、種々の調理段階のための温度を低下させることもできる。

（Ｄ．制御ユニット）
制御ユニット１４０は、調理デバイス１１０の脳として、いくつかの構成要素を含み、それらと協働し、その例は、図６のブロック図に示される。概して、プロセッサ、メモリ、入力／出力デバイス、および種々の電子センサが、食品調製を自動化する。制御ユニット１４０は、断熱材、遮蔽体、または外側シェル１１０を使用することによって、敏感な電子機器を保護するために、過酷な調理環境から隔離されることができる。センサ６０５Ａ−６９５Ｅからの入力に基づいて、有限状態機械および制御論理６４０が、構成要素６９５Ａ−６９５Ｆを調節することにおいて、コントローラ／ドライバ回路６５０のための出力を決定する。

訓練段階中、タッチディスプレイおよびユーザインターフェース６２０が、手動ステップを行うユーザによる命令を受信することができる。例えば、ブラウニーの調製を訓練する間、具材容器１３０の内容物は、ローカルまたはネットワーク化されたデータベース（例えば、レシピおよび具材データベース６１０）において見出され、ブラウニーのためのレシピファイルに関連付けられることができる。調製命令に加え、いくつかの実施形態はまた、栄養情報および画像をレシピファイルに保存する。入力／出力デバイスはまた、センサからのリアルタイム情報（例えば、温度、予測される完成時間、および他のデータ）を表示することができる。

センサ６０５Ａ−６０５Ｅが、調製されている食品の現在の状態についてのリアルタイムフィードバックを提供する。これは、センサレベルが、訓練中に記録され、レシピファイルに従って、調製されている食品が期待される通りに調理されることを確実にすることができる。例えば、温度センサ６０５Ｃが、調理されている肉または調製されているスープの温度を測定する。別の例では、熱撮像カメラ６０５Ａが、赤外線技術を使用して、食品が完璧に調理され、調理不足または過度に調理されないことを確実にするために使用されることができる。さらに別の例では、ビデオカメラが、別の形態の監視として、ビデオ認識能力に結合される。ビデオカメラはまた、処理のために遠隔オンラインリソースにストリーミングされることができる。なおも別の例では、１つ以上の重量センサ６０５Ｄが、具材の投与ならびに取り分けを補助し、調理を監視する（例えば、調理進捗度のインジケーションとして重量の変化を監視する）。位置センサ６０５Ｅおよび多くの他のタイプのセンサも、可能である。ユーザインターフェースは、センサパラメータを視認するため、およびセンサデータへの手動入力または更新のために使用されることができる。

より詳細には、外観撮像カメラ６０５Ｂは、調理プロセス中、フィードバックを提供する１つのタイプの調理センサである。外観撮像カメラ６０５Ｂは、一実施形態では、外側シェル１１０の蓋に、または他の実施形態では、側面または他の適切な場所上に取り付けられることができる。外側シェル１１０は、調理中、デジタルカメラ６０５Ａによって捕捉された内部画像の完全性を保護するために、周囲光を遮断し得る不透明材料から作製されることができる。デジタルカメラのいくつかの実施形態は、オートフォーカスおよび較正能力を有する。ＬＥＤライトが、画像を捕捉するための一定のフリックレス光源を提供する。捕捉された画像は、図１１に関して以下にさらに説明されるように、現在の食品の画像と参照画像を比較することによって、残り調理時間を計算するための入力として画像処理ユニットにパスされることができる。捕捉された画像はまた、具材のレベルを示すか、またはそれを識別することができる。空気ノズルまたは他のデバイスが、カメラレンズを自己清掃し、例えば、食品残骸、蒸気、または濃縮物を除去する。

レシピファイル１２００が、図１２の表に示される。表は、カメラ、温度計、および秤からのセンサデータを示す。参照画像は、レシピファイル１２００内、メモリ内、またはオンラインで記憶されることができる。リアルタイムデータが、表上にプロットされ、対応する時間を識別することができる。ある場合には、調製されている料理のタイプに応じて等、表上の特定の列にプロットするとき、カメラデータは、秤データより重みづけされる。多くの実装特有のアルゴリズムが、可能である。具材も、量とともに、レシピファイル１２００に説明される。命令は、設定が段階間において自動調節を必要とし得るため、異なる調理段階Ｉ−ＩＶ １２０２、１２０４、１２０６、１２０８によってグループ化されることができる。センサデータの列は、ｖｉｍａｇｅＤａｔａまたは外観画像センサデータ１２１２、ｔｉｍａｇｅＤａｔａまたは熱画像センサデータ１２１４、Ｗｔ＿または重量センサデータ１２１６、およびＴｅｍｐ＿または温度センサデータ１２１８に関して示される。他の実施形態では、コマンドおよびコンピュータ命令も、受信ファイル１２００内に含まれる。

中央処理ユニットは、標準的ＰＣプロセッサ、モバイルプロセッサ、または特殊プロセッサもしくはＡＳＩＣを備えていることができる。一実施形態では、接続されたモバイルデバイスまたはオンラインサーバが、調理プロセスにおいて使用される処理を行う。ハードウェアおよび／またはソフトウェア内に実装される画像処理ユニット６３０が、有限状態機械に利用可能であり、制御論理６４０が、データを複数のセンサから捕捉および処理し、レシピファイルを作成する。自律調理プロセス中、レシピファイル内のデータは、現在のセンサデータと比較するための参照として使用され、訓練プロセス中と同一結果を得るための最適調理時間を決定する。最適調理時間モジュール６６０が、リアルタイムと参照画像との間の差異を決定する画像処理ユニット６３０からの出力を使用して、残り調理時間を決定する。追加のデータ入力が、随意に、重量、温度等に関する他のセンサデータ対他の参照センサデータを考慮することができる。残りの調理時間は、個々の段階に関してであるか、または料理全体としてに関してであることができる。有利には、個々の調理段階は、自動的に検出されることができ、構成要素６９５Ａ−６９５Ｆを使用した例示的自動化された応答アクションとして、追加の具材が添加されるか、または調理温度が変更されることができる。

メモリデバイスは、本明細書に説明されるように、複数のレシピファイルおよび調理デバイス１１０の動作中に実行可能なソースコードを記憶することができる。

（Ｅ．ネットワークインターフェース）
外部リソースが、図７の例に示されるように、調理デバイスによってアクセスされることができる。ＭＡＣカード、ＩＥＥＥ８０２．１１インターフェース、またはセルラーネットワークインターフェース等のネットワークインターフェースが、調理デバイスを中央サーバ７１０、検索エンジン、および他の外部リソースに接続する。モバイルアプリ７２０Ａ、７２０Ｂが、ネットワーク通信のためのプロキシとして使用され、次いで、データ転送のために調理デバイスと通信するように接続されることができる。

一実施形態では、ユーザが、レシピ作成機械７３０Ａにおいてレシピファイルを生成し、レシピ作成機械７３０Ａは、調理デバイス１００、またはパーソナルコンピュータもしくはスマートフォン等のある他のデバイスであり得る。手動ステップは、食品の料理を調製しながら記録される実際のステップであり得るか、またはレシピファイルを生成するためにタブレットコンピュータに入力される命令ステップであり得る。アップロードされたレシピファイルは、ユーザプロファイル（例えば、Ｄｒｏｐｂｏｘアカウント）に非公開で記憶されること、非公開で共有されること、一般に販売されること等ができる。他のユーザ、または異なる調理デバイスにおける同じユーザは、レシピファイルをレシピユーザ機械７３０Ｂにダウンロードすることができる。

別の実施形態では、食品調製は、ネットワーク接続ならびにローカルカメラおよび他のセンサを通して遠隔で制御されることができる。中央サーバ７１０またはユーザが、遠隔フィードバックを得て、それに応答して、コマンドを送信し、食品調製に影響を及ぼすことができる。

（ＩＩＩ．調理デバイスにおける動作方法）
１つの高レベル動作方法８００が、図８の流れ図に図示される。調理デバイスは、あるレシピの種々の調理段階に対する訓練中に捕捉された処理されたセンサデータを含むレシピファイルを作成することによって訓練される（ステップ８１０）。一実施形態では、レシピファイルは、共有のためにオンラインコミュニティにアップロードされる。訓練の詳細は、以下の図９を参照してさらに議論される。

特定の料理を作る調製ができると、適切なレシピファイルが、選択され、調理デバイスにロードされる（ステップ８２０）。ある実施形態では、レシピファイルは、例えば、データベースクエリに応答して、オンラインコミュニティからダウンロードされることができる。ユーザは、具材を装填するように誘導されることができる（ステップ８３０）。外観フィードバックまたはオーディオ命令が、ユーザに与えられることができ、センサは、具材が装填されると、それを検証し、適正な量が供給されたことを確実にすることができる。

最後に、調理デバイスは、レシピファイルの段階に従って、装填された具材を用いて料理を自動的に調製する（ステップ８４０）。センサは、調理を監視し、図１０に記載されるように、残り調理時間または新しい調理段階が開始されるべき時等の状態をフィードバックするために使用される。

図９は、図８からの訓練ステップ８１０の一例を示す。ユーザは、レシピ具材情報を入力する（ステップ９０２）。具材は、バッチにグループ化され（ステップ９０４）、調理デバイスの中に装填するために順序付けられる（ステップ９０６）。調理デバイスからのフィードバックは、具材分注器ユニットの容器の中に装填するための具材の最良配分方法を表示する（ステップ９０８および９１０）。いくつかのレシピに対して、調理デバイスは、調理ユニットの予熱から開始する（ステップ９１２）。

レシピを調理するプロセスは、段階に分割されることができ、段階は、同一具材の組を用い、設定された制御ノブにおける変更を伴わない調理期間である。例えば、ユーザが茶葉を添加するまで一定に撹拌しながら、１８０Ｆで牛乳を沸騰させることは、紅茶のレシピの１つの段階である。別の例では、それらが褐色になるまで中温コンロ設定で玉ねぎを調理することは、１つの段階である。訓練プロセス中、段階は、コンロ設定の変更または次の具材のバッチの添加等のユーザアクションによって終了される。現在の調理段階の終了は、次の調理段階を自動的に開始させる。訓練プロセス中、図９に示されるように、ユーザは、ディスプレイを通して監視することによって、デバイスを制御し、ユーザが、段階が完了し、料理が完全に調製されたと決定するまで（ステップ９１８）、調理デバイスは、温度、重量、および画像を含むセンサデータの記憶を継続する（ステップ９１４、９１６、９２４、９２６を伴うループ）。次の段階を始める前に、ユーザは、次の具材のバッチを添加し、必要に応じて、設定を調節する（ステップ９２０）。調理デバイスは、段階に対するセンサデータの記録を継続する（ステップ９２２）。段階が完了すると（ステップ９１８）、調理デバイスは、レシピファイル内への記憶のために、時間、温度、および重量に関する有用統計を抽出する（ステップ９２８）。

図１０は、図８からの自動調理ステップ８４０の一例を示す。いくつかの段階が、設定される（ステップ１００２）。１つ以上のセンサからのセンサデータが、記録されたセンサデータと比較され（ステップ１００４）、段階が終了したときを決定する（ステップ１００６）。より具体的には、調理プロセスは、プロセスを段階に分けることによって、レシピファイルの中にカプセル化される。例えば、紅茶の調製は、５つの段階に表されることができる。すなわち、段階１は、固定時間量にわたって、用具を予熱し、水を調理用具に添加し、段階２は、水を沸騰させ、紅茶、カルダモン、およびショウガ等の追加の具材を添加し、段階３は、ある時間量にわたって、具材を沸騰させ、次いで、牛乳を添加し、段階４は、沸騰を継続し、段階は、より低い熱で調理し続ける。レシピファイルからの異なる命令が、異なる段階内で実行されるか、または段階の開始もしくは終了に対して規定されることができる。他の命令として、混合、蓋の開閉、撹拌等が挙げられる。

したがって、自律調理モード中のデバイスの１つの主要タスクは、料理専門家の決定能力を再現し、特定の段階が完了されたときを決定することである。これは、２ステッププロセスで遂行される。第１のステップは、大まかな決定ステップであり（ステップ１００２、１００４、１００６、１００８、１０２４、１０２２）、現在のセンサデータが、継続中の調理段階のあらゆる時点における記録されたセンサデータと比較される。大まかな決定ステップは、現在のセンサデータが、少なくともＫ回、継続中の調理段階の最後の時点に最も近いときに終了する。調理タイミングの正確度をさらに改良するために、第２の細かい決定ステップ（１０１０、１０１２、１０１４、１０１６）が、大まかな決定ステップに続く。細かい決定ステップでは、最後のＭ個の時点からのセンサデータが、記録されたデータ内のＭ個の時点の移動窓と相関され、最適時間Ｔ＿ｆｉｎｉｓｈを決定し、現在の調理段階を終了する。続いて、継続中の調理段階は、次の調理段階に移動する前に、Ｔ＿ｆｉｎｉｓｈ秒の期間にわたって進行する。

一実施形態では、段階に関する調理誤差は、センサデータを分析することによって認識され（ステップ１０２４）、ある場合には、調理は、終了され得る（ステップ１０２２）。例えば、調理段階の開始時の現在の画像と同一段階の開始時の記録された画像との間の統計的距離が、事前に定義された閾値を上回る場合、具材は、レシピに対する推奨される具材と非常に異なる可能性が高く、誤差が、ユーザにフラグされる。別の例では、調理ユニット内の具材の重量が、記録されたレシピファイル内の重量から有意に外れる場合、誤差が、ユーザにフラグされる。

図１１は、画像に対する図１０のセンサ比較ステップの一例を示す。現在の熱または外観画像が、受信される（ステップ１１０２）。画像は、Ｎ×Ｎにサイズ調整され（ステップ１１０４）、Ｎ×ＮサイズのＭ枚のサブ画像に形成される（ステップ１１０６）。言い換えると、５００×５００ピクセル画像が、ステップ１１０２において、処理効率のために縮小され、１００×１００画像として処理される。５００×５００画像はまた、ステップ１１０４において、１００×１００の２５枚のサブ画像に分割される。その結果、アルゴリズムが、全体的画像比較ならびにサブ画像比較を考慮する。いくつかの実施形態では、サブ画像は、背景色の影響を低減させ、例えば、七面鳥の中央の影響を増加させるために、不均等に重みづけされることができる。

次に、画像比較の二重経路（すなわち、ステップ１１０４および１１０６）の各々は、２つの別個の分析を行う。すなわち、第１の分析は、色ヒストグラムを通した色に基づき、第２の分析は、色を欠いており、代わりに、ＰＳＤ（電力スペクトル密度）に依拠するテクスチャ分析である。ＰＳＤ比較は、食品のテクスチャに向けられる。例えば、冷凍チキンは、解凍されたチキンならびに完全に調理されたチキンと明確に異なるテクスチャを有する。したがって、テクスチャ分析は、特定の段階の進捗度を示すことができる。

二重経路分析の第１のもの（すなわち、ヒストグラム分析）は、色に基づく。より詳細には、画像は、異なる色に対して画像ヒストグラムに抽出され（ステップ１１０８、１１１２）、それによって、統計的距離が、少なくとも１つの参照画像のヒストグラムベクトルを用いて算出されることができる（ステップ１１１６、１１２０）。

二重経路分析の第２のもの（すなわち、テクスチャ分析）は、好ましくは、カラーではなく、白黒画像に基づく。図１３に示されるように、調製されている食品または調製中の参照食品のいずれかのテクスチャを示す、白黒画像１３１０が、以下のように表される。

正方形の白黒画像１３１０は、等面積の同心円形にわたって積分され１３２０、１３３０、ＰＳＤを計算し（ステップ１１１０、１１１４）、以下のように表される。

次に、統計的距離が、少なくとも１つの参照画像のＰＳＤベクトルに関して算出される（ステップ１１１８、１１２２）。その結果、１次元ＰＳＤが、２次元画像に対して算出される。１次元ＰＳＤの各要素は、例えば、以下の式を使用して、中心から開始して等面積の環状リングにわたって２次元画像の離散フーリエ変換の二乗を積分することによって得られる。

ＰＳＤを算出するこの方法は、向きから独立して２つの画像に対するテクスチャの比較を可能にする（例えば、リアルタイム画像は、そのフレーム内において、参照画像に対して４０度回転されることができる）。他の実施形態は、この例のヒストグラムおよびテクスチャ分析または他のタイプの画像分析を使用して、分析のための１つ、２つ、またはそれを上回る経路を有することができる。

重みＷ１、Ｗ２、Ｗ３、およびＷ４と組み合わせて、現在の画像と参照画像との間の距離の統計的評価尺度が、段階または調理プロセスの状態を決定するために決定される（ステップ１１２４）。重みの値は、全レシピにわたり固定されることができるか、またはレシピデータの後処理中にレシピの段階に対して決定されることができる。例えば、１つの調理段階に対して、段階の終了が、色ヒストグラムを用いてより良好に示される場合、Ｗ１およびＷ３は、Ｗ２およびＷ４より高い重みを有することができる。重みは、レシピファイル毎、料理のタイプ毎に調節されること、手動で設定されること、または必要に応じて別様に調節されることができる。したがって、画像比較の二重経路の各々に対して２つの別個の分析が、個々に重みづけされることができる。さらに、ステップ１１０４のサイズ調整された画像およびステップ１１０６のサブ画像は、互いの間および分析の二重経路間において別個に重みづけされることができる。

当業者によって理解されるであろうように、本発明は、精神またはその不可欠な特性から逸脱することなく、他の具体的形態において具現化されてもよい。同様に、部分、モジュール、エージェント、マネージャ、構成要素、機能、プロシージャ、アクション、層、特徴、属性、方法論、データ構造、および他の側面の特定の名称および分割は、必須または有意ではなく、本発明またはその特徴を実装する機構は、異なる名称、分割、および／または形式を有してもよい。前述の説明は、説明の目的のために、具体的実施形態を参照して説明された。しかしながら、上記の例証的議論は、包括的である、または開示される精密な形態に限定するものとして意図されない。多くの修正および変形例が、前述の教示に照らして可能である。実施形態は、関連原理およびその実践的用途を最良に説明するために選定および説明され、それによって、他の当業者が、検討される特定の使用に好適となり得るように、種々の修正を伴って、または伴わずに、種々の実施形態を最良に利用することを可能にする。

Claims (20)

1. レシピファイルに従って食品を自動的に調製するための自律調理デバイスであって、前記調理デバイスは、
   調理ユニットを格納するための外側シェルと、
   前記外側シェルからアクセス可能な入力／出力デバイスであって、前記入力／出力デバイスは、複数のレシピファイルから特定のレシピファイルの選択を受信し、前記特定のレシピファイルは、食品調製の異なる段階に対応する少なくとも画像センサデータを備えている、入力／出力デバイスと、
   容器および加熱要素を備えている調理ユニットであって、前記調理ユニットは、食品調製の調理部分を開始する、調理ユニットと、
   参照画像との比較のための調理している間の食品の画像を捕捉するための画像センサと、
   前記入力／出力デバイスに電気的に結合され、プロセッサおよびメモリデバイスを備えている制御ユニットと
   を備え、
   前記制御ユニットは、前記捕捉された画像のうちの１つ以上のものを前記特定のレシピファイルからの１つ以上の参照画像と比較するための画像分析モジュールを備え、前記制御ユニットは、前記画像比較に基づいて残りの調理時間を推定するための最適調理時間モジュールを備え、
   前記調理ユニットは、前記残りの調理時間に応答して、食品調製の前記調理部分を終了させる、
   自律調理デバイス。
2. 前記調理ユニットは、画像間の差異が前記調理部分を終了させるための閾値内にあることに応答して、食品調製の前記調理部分を終了させる、請求項１に記載の自律調理デバイス。
3. 前記最適調理時間モジュールは、前記画像比較に応答して、あらかじめ決定されたように、調理時間を増大または低減させる、請求項１に記載の自律調理デバイス。
4. 前記残り時間モジュールは、捕捉された画像の色ヒストグラムを参照画像の色ヒストグラムと比較することによって、前記画像比較を行う、請求項１に記載の自律調理デバイス。
5. 前記残り時間モジュールは、食品のリアルタイムテクスチャを参照テクスチャと比較するために、捕捉された画像の電力スペクトル密度を参照画像の電力スペクトル密度と比較することによって、前記画像比較を行う、請求項１に記載の自律調理デバイス。
6. 前記画像分析モジュールは、２次元画像の中心から開始して等面積の環状リングにわたって２次元画像の離散フーリエ変換の二乗を積分することによって、１次元電力スペクトル密度を生成する、請求項５に記載の自律調理デバイス。
7. 前記画像センサは、外観画像センサおよび熱画像センサのうちの少なくとも１つを備えている、請求項１に記載の自律調理デバイス。
8. 前記最適調理時間モジュールは、全体の一部分として、捕捉された画像の様相を前記参照画像の様相と比較することに加え、前記全体として、前記捕捉された画像の様相を参照画像の様相と比較することによって、前記画像比較を行う、請求項１に記載の自律調理デバイス。
9. 調製されている食品に対するリアルタイム温度読み取り値を生成するための温度センサをさらに備え、
   前記調理ユニットは、前記レシピファイルにおける温度データに応答して、前記加熱要素の強度を増大または低減させる、請求項１に記載の自律調理デバイス。
10. 調製されている食品に対するリアルタイム重量測定値を生成するための重量センサをさらに備え、
    前記調理ユニットは、前記レシピファイルにおける重量データに応答して、調理パラメータを自動的に調節する、請求項１に記載の自律調理デバイス。
11. 前記メモリデバイス内に記憶され、前記プロセッサによって実行されるレシピ学習モジュールをさらに備え、
    前記レシピ学習モジュールは、前記レシピファイルの実行に先立って、複数の具材容器に関連付けられた手動ステップを記録することによって、前記レシピファイルを生成し、前記手動ステップは、各容器の内容物を前記調理ユニットに添加する時間および前記加熱ユニットの温度を含み、
    前記制御ユニットは、前記レシピファイルに従って、前記時間に前記内容物を前記調理ユニットに自動的に添加し、前記加熱ユニットの温度を自動的に設定する、
    請求項１に記載の自律調理デバイス。
12. 前記調理ユニットに近接して位置し、前記調理ユニット内に含まれる具材を撹拌するための撹拌器と、
    前記メモリデバイス内に記憶され、前記プロセッサによって実行されるレシピ学習モジュールと
    をさらに備え、
    前記レシピ学習モジュールは、前記レシピファイルの実行に先立って、前記撹拌器に関連付けられた手動ステップを記録することによって、前記レシピファイルを生成し、前記手動ステップは、前記調理ユニット内の具材を撹拌するための少なくとも時間および強度と、前記加熱ユニットの温度とを含み、
    前記制御ユニットは、前記レシピファイルに従って、前記撹拌器を用いて具材を自動的に撹拌する、請求項１に記載の自律調理デバイス。
13. 前記制御ユニットは、前記撹拌器の軸回転、前記撹拌器の上下位置付け、および前記調理ユニットの回転を含む少なくとも３つの自由度で、前記調理ユニットの内容物を操作する、請求項１に記載の自律調理デバイス。
14. 調理ユニットに近接して位置し、複数の具材を貯蔵する複数の具材容器をさらに備え、前記複数の具材は、前記制御ユニットに従って、前記調理ユニットに自動的に添加され、加熱ユニットによって加熱される、請求項１に記載の自律調理デバイス。
15. 前記制御ユニットに電気的に結合されている温度センサをさらに備え、前記温度センサは、前記調理ユニット内の内容物の実際の温度を実質的にリアルタイムでフィードバックし、
    前記制御ユニットは、前記レシピファイルに従って、前記温度フィードバックに応答して、前記温度を自動的に調節する、請求項１に記載の自律調理デバイス。
16. 前記制御ユニットに電気的に結合されているネットワークインターフェースをさらに備え、前記ネットワークインターフェースは、ローカルで作成されたことに応答して、データネットワークに接続し、オンラインコミュニティで共有するために前記レシピファイルをアップロードする、請求項１に記載の自律調理デバイス。
17. 前記制御ユニットに電気的に結合されているネットワークインターフェースをさらに備え、前記ネットワークインターフェースは、前記入力／出力デバイスにおいて選択されたことに応答して、データネットワークに接続し、オンラインコミュニティ内で共有されている前記レシピファイルをダウンロードする、請求項１に記載の自律調理デバイス。
18. 複数の具材容器内に収まるように構成されている複数の使い捨て容器をさらに備え、各使い捨て容器は、前記レシピファイルに従って、前記食品の料理のための特定の量の具材と共に事前に包装されている、請求項１に記載の自律調理デバイス。
19. 前記メモリデバイス内に記憶されているレシピファイルは、前記プロセッサによって実行可能なソースコードを含む、請求項１に記載の自律調理デバイス。
20. 前記最適調理時間モジュールは、大まかな決定、次いで、細かい決定から、食品調製が完了したときを決定する、請求項１に記載の自律調理デバイス。