JP6698201B1 - 音声制御調理器具プラットフォーム - Google Patents
音声制御調理器具プラットフォーム Download PDFInfo
- Publication number
- JP6698201B1 JP6698201B1 JP2019144494A JP2019144494A JP6698201B1 JP 6698201 B1 JP6698201 B1 JP 6698201B1 JP 2019144494 A JP2019144494 A JP 2019144494A JP 2019144494 A JP2019144494 A JP 2019144494A JP 6698201 B1 JP6698201 B1 JP 6698201B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- control
- cookware
- voice
- cooking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010411 cooking Methods 0.000 claims abstract description 849
- 230000004044 response Effects 0.000 claims abstract description 369
- 238000000034 method Methods 0.000 claims description 90
- 230000001419 dependent effect Effects 0.000 claims description 83
- 238000010438 heat treatment Methods 0.000 abstract description 30
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 60
- 230000006870 function Effects 0.000 description 50
- 230000008569 process Effects 0.000 description 36
- 238000004891 communication Methods 0.000 description 31
- 235000013305 food Nutrition 0.000 description 19
- 238000011017 operating method Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 12
- 241000209094 Oryza Species 0.000 description 9
- 235000007164 Oryza sativa Nutrition 0.000 description 9
- 235000009566 rice Nutrition 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 239000004615 ingredient Substances 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 4
- 235000021186 dishes Nutrition 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000009835 boiling Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 238000010183 spectrum analysis Methods 0.000 description 3
- 238000009423 ventilation Methods 0.000 description 3
- 235000011299 Brassica oleracea var botrytis Nutrition 0.000 description 2
- 235000017647 Brassica oleracea var italica Nutrition 0.000 description 2
- 240000003259 Brassica oleracea var. botrytis Species 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 235000012041 food component Nutrition 0.000 description 2
- 239000005417 food ingredient Substances 0.000 description 2
- 235000011194 food seasoning agent Nutrition 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 235000012149 noodles Nutrition 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 241000467686 Eschscholzia lobbii Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 206010017740 Gas poisoning Diseases 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 235000021168 barbecue Nutrition 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 235000008429 bread Nutrition 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 235000021438 curry Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 229910052571 earthenware Inorganic materials 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000004868 gas analysis Methods 0.000 description 1
- 238000004817 gas chromatography Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000004898 kneading Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 235000019198 oils Nutrition 0.000 description 1
- 235000020995 raw meat Nutrition 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000010025 steaming Methods 0.000 description 1
- 235000013547 stew Nutrition 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Landscapes
- Electric Ovens (AREA)
- Cookers (AREA)
Abstract
Description
通常の家庭のキッチンでは、例えば冷蔵庫、電子レンジ、オーブン、食洗器、レンジフード、魚焼グリル、トースター、ミキサー、ガスコンロ、IH調理器具、水栓、米びつ、炊飯器、ホットプレート、フライヤー、など多種の調理器具がる。これらのメーカーが単一であることは極めてまれであり、複数のメーカーの調理器具が一か所のキッチンに備えられている。
もし、これらの調理器具の音声による制御が各メーカーごとに行われることになれば、調理器具間での音声の取違いなどが発生しうる。例えば、「中火にして」と一言いう場合でも、ガスコンロが複数あるような場合や、ガスコンロでなくても、加熱調理器具が複数あるような場合には、それらが一斉に中火での加熱開始、又は強火から中火へのコントロールを始めるなどの事態が発生しうる。食事の提供という最終点に向けて行われる調理器具による調理に混乱や衝突が発生するので実用的なキッチンとはもはや言えなくなる。
この問題を解決しようとすれば各メーカーごとにユニークな名称や愛称を設定して、その名称、愛称で呼びかけることでメーカーを識別させるということも考えられなくはない。しかしその場合にはキッチンで調理する者は複数種類のメーカーごとにその名称、愛称を記憶しなければならず、種類が多くなると煩雑になったり、忘れてしまうことが考えられる。特に日ごろキッチンに立たない人がキッチンで調理をしようとするときには、そもそもその名称、愛称すら聞いたことがない場合もあり得る。
そこで、これらの問題を解決するためには、異なるメーカーの調理器具が同居するキッチンにおいてもこのような問題を発声せず、統一的に全体管理可能な音声による調理器具の制御が求められる。
調理器具制御情報を調理器具制御情報保持Sステップに外部ネットワークを介して記録する調理器具制御情報記録Sステップをメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムである請求項26に記載の電気計算機に読取実行可能な音声制御調理器具プラットフォームの動作プログラム。
取得した制御音声情報に基づいて調理器具識別情報を取得できない、又は/及び調理器具制御情報を取得できない場合である趣旨不明瞭ケースであるか判断する趣旨明瞭性判断Sステップをメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムとともに、応答音声情報取得Sステップでは、趣旨明瞭性判断ステップでの判断結果が趣旨不明瞭ケースであるとの判断結果である場合に不明瞭な趣旨を質すための返事を構成する質問応答音声の情報であり応答音声情報である質問応答音声情報を取得する質問応答声情報取得Sサブステップと、をプログラムをCPUに展開することで実行可能なプログラムである、第二十五の発明から第二十八の発明のいずれか一に記載の電子計算機に読取実行可能な音声制御調理器具プラットフォームの動作プログラムを提供する。
からなり、調理器具制御データ識別データは、前記調理器具制御データと、他の調理器具制御データ識別データで識別される調理器具制御データとの間でコンピュータである調理器具によって調理器具による調理を制御するために実行される順位を示すデータである実行順位データ部分を含むように構成された調理器具制御のためのプロトコルデータユニットのデータ構造を提供する。
からなり、調理器具制御データは、コンピュータである調理器具がこの調理器具制御データを読取り実行することで調理器具による調理を制御するために実行されるまでの時間、又は実行する時刻を定めるデータである調理開始タイミングデータを含むように構成された調理器具制御のためのプロトコルデータユニットのデータ構造を提供する。
からなり、調理器具制御データは、メモリに保持されている他の調理器具制御データを上書きする命令を含む上書調理器具制御データ部分を含むように構成された調理器具制御のためのプロトコルデータユニットのデータ構造を提供する。
また本件発明は原則的に調理器具と電子計算機(調理器具内の端末、公衆ネットワーク上のサーバ、専用線に存在するサーバ、ルータ(ダイナミック)、リピーターなど)を利用する発明であるが、ソフトウエア(プログラム)によって実現され、ハードウエアによっても実現され、ソフトウエアとハードウエアの協働によっても実現される。本件発明の各構成要件の全部又は一部を実現するハードウエアでは、コンピュータの基本的構成であるCPU、メモリ、バス、入出力装置、各種周辺機器、ユーザーインターフェイスなどによって構成される。各種周辺機器には、記憶装置、インターネット等インターフェイス、インターネット等機器、ディスプレイ(液晶ディスプレイ、有機ELディスプレイ等)、タッチパネル、タッチパネル付きディスプレイ、キーボード、マウス、スピーカー、カメラ(写真用、スキャナ用)、カメラの写真のスキャナ、ビデオ、テレビ、CD装置、DVD装置、ブルーレイ装置、USBメモリ、USBメモリインターフェイス、着脱可能タイプのハードディスク、一般的なハードディスク、プロジェクタ装置、SSD、電話、ファックス、コピー機、コピー機能構成、印刷装置、ムービー編集装置、各種センサー装置、情報入力のための方眼紙、情報入力のための原稿用紙、ペン入力装置(ディスプレイをペンでなぞるとその軌跡が情報として計算機に取得される。)などが含まれる。また本発明装置は必ずしも一つの筐体によって構成されている必要はなく、複数の筐体を通信で結合して構成されるものであってもよい。また通信はLANであってもWANであってもよく、また、一部が国境をまたいで設置されていてもよい。
本明細書にて説明する発明は、ビジネスモデルとして成立する。ビジネスモデルであるので、収益は広告型、課金型、両者の混合型、部材のくり返し販売型、などによって挙げられる。従って、最終消費者、この場合には調理器具によって利益を受ける者は、本発明の音声制御調理器具プラットフォーム内にて一意に特定される必要がある。特定は、階層的に特定されるようなものでもよい。階層的とは、世帯、世帯の中の各個人のようなものや、さらには各個人と利用した調理器具ないしは、世帯を特定するために調理器具の識別情報を流用することもできる。請求項に記載した構成要件ではこれらは特に限定しないが、何らかの方法によってユーザー(最終消費者)が特定されるようにしなければならない。一例としては、前述の通り調理器具の識別情報を用いてユーザを特定する方法、制御音声情報を取得するために利用される音声を集音するマイクに付与されているマイクの識別情報を利用して特定する方法(音声に伴ってこの識別情報がサーバ(音声処理サーバ(ジーニー)、調理器具制御サーバ装置のいずれか又は両者)に渡される)、あるいは、マイクにその世帯等を特定する情報が保持されて同じように前述のような処理によって特定する方法、が考えられる。
本件発明は調理器具をユーザの音声によって制御するというものであるが、調理器具は人の生命に危険を与える場合があることから、ユーザの音声の処理は厳格に行われるべきである。そのため、一旦マイクから集音され音声ファイルとなった情報がスペクトラム分析に掛けられて声紋を判別するレベルで分析される。声紋を判別するレベルでは、テキスト化が正確に行われたり、声の主がユーザ識別情報で識別される特定のユーザの声紋と合致するかなどが判定されたりする。テキスト化はスペクトラム分析を介さないで、人工知能によって行われるように構成してもよい。これらの音声分析機能は、調理器具に持たせる場合の他に、キッチンに配置され、公衆ネットワークと通信可能なネットワークスピーカー等に持たせる場合、ネットワークスピーカー等が通信をする音声処理サーバ(ジーニー)に持たせる場合、あるいは音声処理サーバでなく、音声ファイルを受け取った調理器具制御サーバ装置に持たせる場合、ネットワークスピーカーが接続されているキッチンサーバやホームサーバに持たせる場合など各種のケースが考えられる。この点は本件発明のすべての実施形態について矛盾しない限り適用される。
<実施形態1 概要>
本実施形態における発明は、音声指示を利用して調理器具を制御するためのプラットフォームである。
図1は、音声制御調理器具プラットフォームを用いて調理をする場合のイマージ図である。図に示す様に、キッチンで調理をする者(0101)が、制御音声を与えると、指定された調理器具が指示にしたがった調理動作を行う。例えば、「シェフ!1番コンロ中火にして!」との制御音声(0102)が出された場合に、これに対応する調理機器であるコンロ(0103)が「ピピッ1番コンロ中火にします」との応答音声情報(0104)を出力して、制御音声に従って火力を弱くする。同様に、オーブン(0105)に対する制御音声(0106)に従って、オーブンが制御され(0107)、シンクの水道(0108)に対する制御音声(0109)に従って、水道が制御される。
図2は、音声制御調理器具プラットフォームのハードウェア同士の繋がりを概念的に示す図である。図2aに示す様に、ネットワーク(0201)を介して調理器具(0202a、0202b、0202c、0202d)と調理器具制御サーバ装置(0205)とが家庭内ルーター(0203)を介して接続されており、さらに各メーカーの調理器具制御情報を保持する各メーカーサーバ(0204a、0204b、0204c、0204d)は、同じくネットワーク(0201)を介して調理器具制御サーバ装置(0205)と接続されている。各メーカーの調理器具制御情報は、調理器具制御サーバ装置(0205)内に格納されていても構わない。あるいは調理器具制御サーバ装置が各メーカーのメーカーサーバに都度、又は所定のインターバル、又はメーカーサーバからのプッシュによって調理器具制御情報又は調理器具制御情報セットを取得するように構成してもよい。さらに、この図の例では家庭内ルータを介して調理器具制御サーバ装置と、各調理器具が通信するように構成したが、必ずしもこれに限定されず、調理器具制御サーバ装置と、各調理器具とは、ルーターを介さないで、インターネットのURLを利用して直接的に通信するように構成してもよい。なお、各メーカーサーバもネットワーク(0201)を介して直接的に又は家庭内ルータを介して調理器具と通信をするように構成されていることが好ましい。これは調理器具のメンテナンス、調理器具内のプログラムのアップデートなどをするためである。
図2bに示す様に、ネットワークスピーカー等が音声分析機能を有する音声処理サーバ(0206:ジーニー)と通信をするように構成してもよい。
<実施形態1 発明の構成:基礎となる構成>
<基礎となる構成の意味>
この明細書においては「基礎となる構成」は、信号の発明以外の発明において共通に利用される構成である。基礎となる構成に他の構成が付加されて基礎となる構成にバリエーションが施されその他の構成を有する他のバリエーション発明が説明される。
図3及び図4は、実施形態1におけるハードウェア構成の一例を示す図である。図に示す様に、本実施形態における音声制御調理器具プラットフォームは調理器具制御サーバと調理器具からなる。図3に示す様に、調理器具制御サーバ装置(0300)は、制御音声情報取得部S(0301)と、調理器具識別情報取得部S(0302)と、調理器具制御情報取得部S(0303)と、応答音声情報取得部S(0304)と、調理器具制御情報出力部S(0305)と、応答音声情報出力部S(0306)と制御結果応答情報取得部S(0307)と、制御結果告知音声情報取得部S(0308)と、制御結果告知音声情報出力部S(0309)と、を有する。さらに、図4に示す様に、調理器具(0400)は、調理器具識別情報保持部C(0401)と、調理部C(0402)と、調理制御部C(0403)と、調理器具制御情報取得部C(0404)、制御結果応答情報出力部C(0405)と、を有する。調理器具サーバ装置と調理器具は、インターネットを介して相互に情報の送受信を行うことで、音声指示による自動調理を実現する。
<実施形態1 調理器具制御サーバ装置>
調理器具制御サーバは、キッチンから送信された情報を受信して、調理器具に利用可能な情報、あるいはユーザに対する応答会話の音声情報を送信することが可能なサーバーである。キッチンから送信される情報には、ユーザの発声に基づく音声情報や、調理器具自身が出力する調理器具の状況情報などをあげることができる。
「制御音声情報取得部S」は、調理器具を制御するための音声情報である制御音声情報を取得する。調理器具を制御するための音声情報とは、調理器具にこれから実行して欲しい調理動作を内容に含む音声情報である。音声情報は、ユーザの発声に基づいて生成される情報であり、音声スペクトルを示す情報であってもよいし、単に音(音の高さと音色)を示す情報であってもよい。さらには、音声をテキストに変換したテキスト情報であってもよい。また、この音声情報には、少なくとも家庭や店舗(レストラン等)、代表ユーザ、キッチンのいずれか一以上であるキッチン等を識別するキッチン等識別情報又は、集音したマイクを識別するマイク識別情報、あるいは、発声者を識別する発声者識別情報が含まれるように構成することが好ましい。これらは、キッチンに置かれたネットワークスピーカー、キッチンサーバ、ホームサーバ、調理器具などに保持されており、音声又は制御音声情報と関連付けられて調理器具制御サーバ装置に送信される。このように、調理器具が配置されているユーザの自宅や店舗の調理場から取得された音声が、調理器具制御サーバ装置に送信されて、又は音声が調理器具、ネットワークスピーカー、キッチンサーバ、ホームサーバ等で制御音声情報に変換されて調理器具制御サーバ装置に送信され、調理器具制御サーバ装置の制御音声情報取得部Sによって取得される。本明細書においては、取得は、生成を意味する場合があり、調理器具制御サーバ装置内において制御音声情報を生成する場合もある。なぜなら、キッチンからの音には、ユーザーが調理器具を制御することを意図した発声に基づく音の他に、無関係な音も多く含まれているからである。キッチンで集音された音が途中でテキスト化されて調理器具制御サーバ装置に取得される場合も、そのテキストの分析を行って、制御音声情報と、非制御音声情報(意味取得可能音声又は、意味取得不能音声からなる)とに区別する処理が必要となる。テキストからの制御音声情報の取得は、構文解析、文脈解析、意味解析、形態素解析などを用いる。
非制御音声情報に関しては、これに基づいて調理器具制御情報を取得することはない。さらにこの非制御音声情報に基づいて応答音声情報を生成しなくてもよいし、生成するように構成してもよい。
「調理器具識別情報取得部S」は、取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する。「調理器具識別情報」は、制御音声情報にデータとして含まれているものではなく、制御音声情報を分析することで取得されるものである。
調理器具識別情報は、さらに、1つの調理器具内に複数の調理手段が混在している場合に(例えば、複数のごとくがある場合、ごとくと魚焼きのためのグリルがある場合、電子レンジとオーブン機能が併存している場合、炊飯器とパン焼き機の機能が併存している場合、カット方法に合わせた刃の形状が選択できる場合、等が考えられる)、それぞれの手段を特定するためのユニークな情報を調理器具識別情報に付随する枝情報として有するように構成してもよい。
「調理器具制御情報取得部S」は、取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する。
「調理器具制御情報」とは、その名のとおり、調理器具を制御するための情報であって、コンピュータである調理器具に読取り実行可能な形で記述される命令である。特に調理器具の制御対象となるデバイスを制御する。デバイスの例としては、調理器具ごとのガス・水道供給バルブの制御モーター、IH調理器や電子レンジの電磁波出力系統のコンバータ、インバータ、電気オーブンのヒーター投入電力調整器、冷蔵庫の冷気を作るコンプレッサーのモーター、トースターの電熱線への投入電力調整器、換気扇のモーター、フードプロセッサのモーター、電気フライヤーやホットプレートのヒーターへの投入電力調整器などである。これらは集積回路や電気回路、電子回路などで構成された制御盤によって制御されるがその制御盤を制御するソフトがいわゆるデバイスドライバである。従って調理器具制御情報は、このデバイスドライバを介して上記制御盤を制御し、前記各ハードウエアを制御することで最終的に調理器具の調理を制御することとなる。
「応答音声情報取得部S」は、取得した調理器具制御情報に基づいて応答のための応答音声の情報である応答音声情報を取得する。応答のための応答音声は、ユーザが発声した制御音声に対して、これを正しく受領したか、正しく受領していないか、を確認するために出力される。例えば、「はい。」「はい、弱火にします。」「はい、点火します。」といった音声を出力させるための情報である。応答音声情報は、制御音声に基づいて特定の動作の実行を指示されていることが特定できた場合にのみ、その内容をユーザに確認させるために生成される情報として構成することができる。あるいは、なにかしらの音を取得した時に、それが制御音声であって特定の動作を指示されている場合にはその指示の内容をユーザに確認するために生成し、制御音声情報ではあると判断できるが、その内容の一部に不鮮明な部分がある場合に鮮明にするために再度制御音声の入力を促すために生成する様に構成してもよい。
音声を間接的に生成するための情報としては、テキスト情報が考えられる。ここでテキストとは、文字コードだけで構成された文字列や文書のデータをいう。ただし、応答音声情報は、テキストのみでなく付加的な情報が含まれていてもよい。例えば発声の際の抑揚を示す情報や、方言としてどの地方の方言を用いるかを示す情報、声のタイプを示す情報(例えば女性の声、男性の声、アニメキャラクターの声、声優の声、俳優、女優の声)などを含んでいてもよい。文字コードとしては、例えばUS-ASCII (ASCII[ANSI INCITS4]対応)ISO/IEC 646、ISO646-JP、ISO/IEC 8859 (ISO/IEC 8859-1〜ISO/IEC 8859-16)、ISO-8859-1 (ISO/IEC 8859-1 対応)、ISO-8859-5 (ISO/IEC 8859-5 対応)、ISO-8859-6 (ISO/IEC 8859-6 対応)、ISO-8859-7 (ISO/IEC 8859-7 対応)、ISO-8859-11 (ISO/IEC 8859-11 対応)、ISO-8859-15 (ISO/IEC 8859-15 対応)、windows-1252 (Microsoft Windows Codepage 1252 対応)、macintosh (MacRoman 対応)、KOI8-R、KOI8-UF、TIS-620、EBCDIC、JIS X 0201 (JIS ローマ字、カタカナ)JIS X 0208 (第一・第二水準漢字など)、JIS X 0212 (補助漢字など)JIS X 0213 (JIS X 0208 に第三・第四水準漢字などを追加した文字集合。JIS X 0213:2004 は JIS2004 とも呼ばれる)、GB 2312、GB 18030、KS X 1001 (KS C 5601)
Big5、CNS 11643、ISO/IEC 2022 系(ISO/IEC 2022自体は文字符号化方式というより、そのフレームワークのようなものである)、ISO-2022-JP (RFC 1468、俗に「JIS コード」と呼ばれる文字コード。JIS X 0208 対応)、ISO-2022-JP-1 (RFC 2237、JIS X 0208 と JIS X 0212 に対応)、ISO-2022-JP-2 (RFC 1554、多言語拡張。JIS X 0208、JIS X 0212、GB 2312、KS X 1001、ISO/IEC 8859-1、ISO/IEC 8859-7 対応)、ISO-2022-JP-3 (JIS X 0213:2000 対応)、ISO-2022-JP-2004 (JIS X 0213:2004 対応)、ISO-2022-CN (RFC 1922、GB 2312、CNS 11643 [第一字面・第二字面]対応)、ISO-2022-CN-EXT (RFC 1922、GB 2312、ISO-IR-165、CNS 11643 [第一字面から第七字面]対応)、ISO-2022-KR (RFC 1557、KS X 1001 対応)、EUC ……拡張 UNIX(登録商標) コード (EUC) 文字符号化方式を用いた8ビットの文字コード。ISO/IEC 2022 の8ビット符号化表現に相当する。
EUC-JP (JIS X 0208 対応)、EUC-JISX0213 (JIS X 0213:2000 対応)、EUC-JIS-2004 (JIS X 0213:2004 対応)、EUC-KR (RFC 1557、KS X 1001 対応)、GB2312 (別名 EUC-CN。GB 2312 対応)、GBK (Microsoft Windows Codepage 936 対応)、Shift_JIS (JIS X 0208 対応)、Shift_JISX0213 (JIS X 0213:2000 対応)、Shift_JIS-2004 (JIS X 0213:2004 対応)、Windows-31J (Microsoft Windows Codepage 932 対応)、x-Mac-Japanese (MacJapanese 対応)、HZ-GB-2312 (RFC 1842、RFC 1843、GB 2312 対応)などを挙げることができる。
「調理器具制御情報出力部S」は、取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する。
「応答音声情報出力部S」は、取得した応答音声情報を出力する。応答音声情報は、調理器具制御サーバから出力されて、音声出力装置(例えば、スピーカー等)に取得される。応答音声情報は、音声出力装置によって音として出力するための音声を構成する情報である。なおプラットフォームを含むシステムの構成によって応答音声情報の出力先(情報の宛先)は、調理器具であってもよいし、前述のようにその調理器具が置かれているキッチンに配置されるインターネットスピーカー等(ネットワーク上の音声処理サーバ(「ジーニー」等)を含む場合もある。)でもよい。また関連付けられている調理器具識別情報に応じて両者に送信してもよいし、その都度定められた側に送信されるように構成されていてもよい。例えばある調理器具識別情報と関連付けられている応答音声情報の場合には応答音声情報は調理器具に対して送信され、別の調理器具識別情報と関連付けられている応答音声情報は、調理器具でなく、その調理器具が置かれているキッチンのインターネットスピーカーに送信されるように構成してもよい。宛先をどこにするかは調理器具識別情報と宛先のアドレスとを関連付けた表によって決し、この応答先対応表を調理器具制御サーバ装置がユーザ識別情報と関連付けて保持するように構成することもできる。応答音声情報の具体的な内容及び種類については、既述である。
「制御結果応答情報取得部S」は、出力した調理器具制御情報を受信した調理器具からの制御結果を含む応答情報である制御結果応答情報を取得する。調理器具から取得する制御結果とは、例えば調理器具制御情報が「1番コンロを中火にする」であった場合には、「1番コンロを中火にした」「1番コンロを強火にした」「調理をしませんでした」等の結果についての情報である。上記の例でいうと、「1番コンロを中火にした」は調理器具制御情報に従って制御が行われたことを示している。「1番温コンロを強火にした」は、調理器具制御情報に対して誤った制御を行っていることを示している。「調理をしませんでした」は、そもそも調理器具制御情報に対してこれに対応するような制御動作が行われなかったことを示している。制御結果応答情報は、制御情報識別子を含むように構成する。どの制御情報に対応する制御結果応答情報であるかを識別するためである。取得した制御結果応答情報に対して、調理器具制御サーバ装置が次に行う処理については、後述する。
「制御結果告知音声情報取得部S」は、取得した制御結果応答情報に基づいて制御結果を告知するための告知音声の情報である制御結果告知音声情報を取得する。「制御結果告知音声情報」は、調理器具制御情報に対して行われた制御動作が、ユーザの指示した動作を確かに実行したものであることを報告する、あるいは、ユーザが指示した動作と異なる処理をしていないかを確認するために、制御結果をユーザに告知する音声情報である。特に調理器具は、その性質からユーザの身の安全を脅かす事態を引き起こしえるものであり、ユーザの意図が正しく調理器具に反映されているかの確認は非常に重要である。例えば調理器具は火災の原因になったり、ガス中毒の原因となったりする。この点で、同じ遠隔操作器具であっても、エアコンや照明、オーディオ、掃除機、テレビ、レコーダー、洗濯機、乾燥機などとは異なる。調理器具の制御結果をユーザに調理器具側から伝え、これをユーザに認知させることが重要となる。特に、調理器具制御サーバ装置の制御情報が調理器具にて誤って処理された場合には、調理器具サーバ装置は調理器具の不調であるとしてユーザにそのことを伝えるように構成すべきである。またこのような場合には調理器具制御サーバ装置は、その誤った処理を行った調理器具のコンピュータの内部チェックをするように構成することが好ましい。内部チェックとは、調理器具内部のコンピュータが調理器具制御情報を制御のために処理するプログラムとデータの部分である。内部チェック中は、調理器具制御サーバから調理器具の内部チェック中であることをユーザに対して音声告知するように構成することが好ましい。これは調理器具制御サーバの制御結果告知音声出力部Sにチェック中告知手段を設けることによって構成される。内部チェック中にはユーザからの音声制御をおこなわないように調理器具制御サーバ装置を構成する。これは調理器具制御情報取得部Sが調理器具制御情報を取得しないように構成するか、又は調理器具制御情報出力部Sが調理器具制御情報を出力しないように構成する。さらに、調理器具のコンピュータに欠陥が見つかった場合には、調理器具制御サーバ装置が調理器具に対して調理器具制御情報を適切に処理できるように内部プログラムや、内部データを書き換えるように構成するのが好ましい。これは、調理器具制御サーバ装置に調理器具修正部Sを設けることで行われる。なお、調理器具修正部Sにて調理器具の内部プログラムや、内部データの修正が終わった後には、制御結果告知音声情報にてその旨をユーザに告知するように構成する。これは制御結果告知音声情報取得部Sに修正完了時告知取得手段Sを設けることによって実現できる。
「制御結果告知音声情報出力部S」は、取得した制御結果告知音声情報を出力する。制御結果告知音声情報をユーザに対して出力する。出力先は、家庭内ルーターに接続されている、又は自身がインターネット上の固定URLを有するスピーカーを有する機器である。本音制御調理器具プラットフォームを利用するために制御音声を取得したり応答音声を出力したりすると荷に利用されるAIスピーカー等がその代表例である。
以下にキッチン側の音声情報の取得、出力に関して複数の構成例を説明する。これらに関しては、本明細書で説明するすべての実施形態にて適用可能である。
<キッチン側音声の基本構造>
キッチン側の音声情報は、調理器具の制御を目的とした音に基づく情報である。キッチン等に設置されたマイク等から取得される音には、キッチン等で取得される音声には調理器具の制御を意図した者のみならず、一般的な会話や、生活音(歩く音、ドアの開閉音、電話の着信音、玄関などから呼び鈴)、調理音、調理器具自体が発する音、近くのテレビやオーディオが発する音、などが含まれるがこれらを調理器具の制御を目的とした音声と区別するためにユーザーには、最初に特有のワードを含む呼びかけを発声させるようにし、それによってシステムでは、調理器具の制御を目的とした発声であると認識して、その発声に基づいて制御音声情報を取得、生成するように構成する。特有のワードの例としては、「レミー」、「シェフ」、「ミセスレミー」など日常の会話では使用されない単語からなるものが適している。
キッチン側での調理器具制御サーバ装置からの音声情報を取得し、出力するスピーカーとして、キッチンに配置されるネットワークに接続可能なネットワークスピーカーを挙げることができる。この場合に、ネットワークスピーカーのインターネット上のアドレスと調理器具識別情報とは、調理器具制御サーバ装置内にて関連付けられて保持され、本スピーカーとの応答音声情報の送信等の際に参照されるように構成される。このネットワークスピーカーは、スピーカー機能のみならずマイク機能をも有し、キッチンでのユーザからの音声を常時ひろうように構成することもできる。あるいは、自身に付されたニックネームなどが発声されると所定時間聞き耳を立てるように構成することができる。従って、ネットワークスピーカーは、音声取得部NSと、制御音声情報生成部NSと、制御音声情報出力部NS、応答音声情報取得部NSと、応答音声取得部NSと、制御結果告知音声情報取得部NS、制御結果告知音声取得部NSと、応答音声出力部NSと、制御結果告知音声出力部NSと、を有する。これは調理器具通信部NSを介して行われる。またさらにネットワークスピーカーはネットワークで音声処理サーバ(例えばニックネーム「ジーニー」)につながっている場合があるが、この場合にはキッチンに備えられたスピーカーであって、スピーカー部NS、マイク部NSとその制御部NSさらに音声処理部NSを有するネットワークスピーカーキッチン部NSと、音声処理サーバNSとを含めてネットワークスピーカーということとする。なお、ネットワークスピーカーは、ネットワークを介して調理器具と通信をするように構成されてもよい。例えば調理器具制御情報を調理器具制御サーバ装置から調理器具に送信する際にネットワークスピーカーを介して送信するように構成してもよい。この通信はWifiなどの無線通信で行うように構成すると便利である。調理器具毎に有線接続をするのは煩雑だからである。
キッチン側での調理器具制御サーバ装置への音声を取得し、制御音声情報として調理器具制御サーバ装置へ出力するマイクとして上記ネットワークスピーカーが利用されるように構成することができる。マイクに取得された音声は、そのまま音声を変換したアナログ信号が制御音声情報として調理器具制御サーバ装置に出力されるように構成されてもよいし、取得された音声を周波数分解してスペクトル情報からなる制御音声情報として調理器具制御サーバ装置に出力してもよいし、あるいはテキスト化してこれを制御音声情報として出力してもよい。ネットワークスピーカーのスピーカーとマイクとは同じ筐体に収められていてもよいし、別体であってもよい。
また、ネットワークスピーカーでなく、あるいはネットワークスピーカーとともに調理器具にスピーカーを備えるように構成してもよい。調理器具にスピーカーを備えるように構成した場合には応答音声情報は、ネットワークを介して調理器具に取得され、応答音声をそのスピーカーから出力することとなる。この場合には調理器具制御情報も調理器具が取得するために応答音声情報と調理器具制御情報の両者が調理器具に取得されることとなる。また調理器具から音声が出力されるように構成すると、キッチンのどの領域から音声がしたかを体感できるので、調理器具名を確認する労力が軽減される。なお、調理器具の音声の出力の際に、調理器具の名称を音声出力するように構成してもよい。例えば「ガスコンロ、一番右端、火力を弱めて中火とします。」などである。さらに、音声出力とともに、あるいは音声出力が別の装置によって行われる場合であっても、音声出力に併せて調理器具に備えられたランプ等が点滅するように構成することも考えられる。従って、調理器具は、音声出力に関して音声取得部Cと、制御音声情報生成部Cと、制御音声情報出力部C、応答音声情報取得部Cと、応答音声取得部Cと、制御結果告知音声情報取得部C、制御結果告知音声取得部Cと、応答音声出力部Cと、制御結果告知音声出力部Cと、を有する。
また、ネットワークスピーカーのマイクでなく、あるいはネットワークスピーカーのマイクとともに調理器具にマイクを備えるように構成してもよい。調理器具にマイクを備えるように構成した場合には制御音声情報を生成するための音声は、ネットワークを介して調理器具から調理器具制御サーバ装置に出力され、調理器具制御サーバ装置にて調理器具制御情報を取得するために利用される。また調理器具にマイクを備えるように構成すると、ユーザの位置に応じて音声が拾われるので、どの調理器具に対する音声による制御を目的としているかを判断する材料として利用できる。
例えば複数のガスコンロがあり、かつ、複数のガスコンロが着火中である場合でも「ガスコンロ、火力を弱めて中火にして。」という音声が、複数のガスコンロに拾われるが、ガスコンロに拾われた音声の強度を比較して、最も音声の強度の強いガスコンロであると推定し、それを確認するように構成することができる。この場合には一旦音声が調理器具制御サーバ装置に出力され、応答音声情報として、「ガスコンロ、火を弱めて中火にするのは一番右側のコンロですね?」などと応答音声情報にて確認することができる。なお、このような場合には調理器具間の音声強度を比較するためにLANでお互いに通信可能な調理器具が拾った音声強度を比較する音声強度比較部Cにて音声強度を比較し、その比較結果を関連付けて制御音声情報を調理器具制御サーバ装置に出力するように構成することができる。又は、全ての調理器具が拾った音声を調理器具制御サーバ装置に出力して調理器具制御サーバ装置側で音声強度の比較を行い、推定をして応答音声情報を取得するように構成することもできる。なお取得した音声を制御音声情報として調理器具制御サーバ装置に出力する際にどのようなデータとするかは前述の場合と同様である。
また、ネットワークスピーカーにも調理器具にもスピーカーを備えるように構成しない又は構成する場合でもユーザのスマートフォン等の携帯端末のスピーカーを利用するように構成することも考えられる。この場合には、携帯端末に音声出力アプリケーションを準備し、これを利用して応答音声情報に基づく音声を出力するように構成できる。この出力の形式としては、応答音声情報を受信した場合に、自動的にアプリケーションを立ち上げて、応答音声が出力されるように構成する場合、あるいは、音声出力アプリを立ち上げている場合にのみ受信した応答音声情報に基づいて応答音声を出力する場合、携帯端末から着信信号(着信音や通知音、バイブレーション、光の点滅など)があり、その着信信号に基づいて着信をとった場合に、その電話音声を介して応答音声情報に基づく応答音声が出力されるようにする場合、などが考えられる。従って、スマートフォン、タブレット、携帯電話、PC、スマートウォッチ、コード付ヘッドフォン、ワイヤレスヘッドホンに備えられたスピーカーは、音声取得部SPと、制御音声情報生成部SPと、制御音声情報出力部SP、応答音声情報取得部SPと、応答音声取得部SPと、制御結果告知音声情報取得部SP、制御結果告知音声取得部SPと、応答音声出力部SPと、制御結果告知音声出力部SPと、を有する。なお、ヘッドフォンを使用する形態においてはキッチンに備えられたマイクからキッチンの調理音を収集して、調理音を無線を介してヘッドフォンに送信し、音楽などとともに視聴できるように構成することもできる。このような処理はホームサーバにおいてすることもできるし、拾われたキッチンの調理音声が調理器具制御サーバ装置にいったん送信され、その後ヘッドフォンないしはヘッドフォンに接続された携帯端末本体に送信されるように構成することができる。この場合に、携帯端末等のインターネット上のアドレス、ないしは電話回線上の電話番号と調理器具識別情報とは、調理器具制御サーバ装置内にて関連付けられて保持され、携帯端末等との応答音声情報の送信等の際に参照されるように構成される。
また、ネットワークスピーカーにも調理器具にもマイクを備えるように構成しない又は構成する場合でもユーザのスマートフォン等の携帯端末のマイクを利用するように構成することも考えられる。
この場合には、携帯端末に音声取得アプリケーションを準備し、これを利用してユーザの発声に基づく音声を取得し、制御音声情報として調理器具制御サーバ装置に出力するように構成できる。
この出力の形式としては、ユーザの音声を取得した場合に、自動的に音声取得アプリケーションを立ち上げて、音声を制御音声情報に変換して調理器具制御サーバ装置に出力するように構成する場合、あるいは、音声取得アプリケーションを立ち上げている場合にのみ音声を取得し、その音声を制御音声情報に変換して調理器具制御サーバ装置に出力するように構成してもよい。音声取得アプリケーションが取得した音声を制御音声情報に変換する。
また、ネットワークスピーカーにも調理器具にもスピーカーを備えるように構成しない又は構成する場合でもシェフロボットや、汎用ロボットに備えられたネットワークスピーカーを音声出力に利用することができる。
この場合に声色は、そのロボットが普段しゃべっている声色に変換してしゃべらせるように構成することもできる。
この場合に、シェフロボットや、汎用ロボット又は、シェフロボットや、汎用ロボットのネットワークスピーカーのインターネット上のアドレスと調理器具識別情報とは、調理器具制御サーバ装置内にて関連付けられて保持され、本スピーカーとの応答音声情報の送信等の際に参照されるように構成される。
ロボットは、音声取得部RBと、制御音声情報生成部RBと、制御音声情報出力部RB、応答音声情報取得部RBと、応答音声取得部RBと、制御結果告知音声情報取得部RB、制御結果告知音声取得部RBと、応答音声出力部RBと、制御結果告知音声出力部RBと、を有する。
また、ネットワークスピーカーにも調理器具にもマイクを備えるように構成しない又は構成する場合でもシェフロボットや、汎用ロボットに備えられたマイクをを音声取得に利用することができる。この場合には、ロボットの人識別機能を利用して誰からの音声であるか判別するように構成することもできる。ロボットはまた言語分析能力を有している場合があり、そのような場合には、その音声が調理器具の制御を目的としている音声であるか、そうでないか判別し、調理器具の制御を目的としている音声であると判別できる場合にのみその音声を制御音声情報に変換して調理器具制御サーバ装置に出力するように構成することができる。
また、ネットワークスピーカーにも調理器具にも、ロボットにもスピーカーを備えるように構成しない又は構成する場合でもインターフォン、室内通話セットに備えられたネットワークスピーカーを音声出力に利用することができる。
この場合に、これらのネットワークスピーカーのインターネット上のアドレスと調理器具識別情報とは、調理器具制御サーバ装置内にて関連付けられて保持され、本スピーカーとの応答音声情報の送信等の際に参照されるように構成される。
インターフォン、室内通話セットに備えられたネットワークスピーカ又は、インターフォン、室内通話セットは、音声取得部IPと、制御音声情報生成部IPと、制御音声情報出力部IP、応答音声情報取得部IPと、応答音声取得部IPと、制御結果告知音声情報取得部IP、制御結果告知音声取得部IPと、応答音声出力部IPと、制御結果告知音声出力部IPと、を有する。室内通話セットなので、必ずしもキッチンにいる必要はなく、他の部屋からでもスピーカーからの応答音声を視聴することができる。
また、ネットワークスピーカーにも調理器具にも、ロボットにもマイクを備えるように構成しない又は構成する場合でもインターフォン、室内通話セットに備えられたマイクを音声取得に利用することができる。室内通話セットなので、必ずしもキッチンにいる必要はなく、他の部屋からでもスピーカーからの応答音声を視聴することができる。このようにキッチン以外の他の部屋に備えられているマイクを利用して制御音声情報を出力するシーンとしては、調理器具制御サーバ装置からの応答音声情報に応じて制御音声情報を返信するような場合である。例えば、調理の完了を示す応答音声情報に対して、コンロの火を止める制御音声情報を出力する場合や、キッチンでの不測の事態が調理器具制御サーバ装置の応答音声情報によって伝えられた場合に、それに対する対応を指示する制御音声情報を出力するような場合である。例えば、にこぼれが発生したと伝えられた場合に、火を止める指示をするような場合である。
マイクの特殊な実施として、振動受け取り装置を挙げることができる。これは声を出すのが不自由なユーザのためのもので、調理器具を指でたたくことなどで声に代えるものである。従って、調理器具や、キッチン周辺のネットワークスピーカー、サーバ、調理器具制御サーバ装置は、ユーザの指でたたかれた振動でどのような調理指示なのかを判断するように構成する。そのために調理器具に振動読取部を設ける。これは圧電素子からなるセンサーなどによって構成可能である。
「調理器具」は、調理を行うための動作を実行する装置である。例えば、ガスコンロ(固定、もち運び型)、電気コンロ(固定、もち運び型)、オーブン(固定、もち運び型)、電子レンジ、トースター、電気ケトル、電気ポット、フードプロセッサー、ジューサー、ミキサー、冷蔵庫、冷凍庫、炊飯器、食器洗い機、米びつ、コーヒーメーカー、ホットプレート、レンジフード、魚焼グリル、トースター、IH調理器具、水栓、米びつ、フライヤー、料理の作り方などを伝えるコンピュータやディスプレイ、自動調理器(材料を投入しておくと自動でシチューやカレーなどを作ってくれる。)、バーベキューグリルなど多種の調理器具を挙げることができる。なお、調理器具はこれらのものに限定される物ではなく、調理に関連して利用される器具は全て調理器具と称することとする。
「調理器具識別情報保持部C」は、調理器具識別情報を保持する。調理器具識別情報は、調理器具の固体を識別するためのユニークな情報である。調理器具識別情報を構成する情報としては、前述するように例えば、調理器具の種類を示す情報、調理器具の製造元を示す情報、調理器具の販売元を示す情報、調理器具の製造年月日を示す情報、調理器具の品番を示す情報、調理器具の容量を示す情報、調理器具の電圧を示す情報、調理器具の消費電力を示す情報等の一以上を含むように構成することができる。調理器具識別情報保持部Cに保持された調理器具識別情報は、調理器具から情報を調理器具制御サーバ装置に出力する際に関連付けるために利用される。なお、調理器具識別情報は、キッチンにおいてユーザが他の調理器具と識別するための情報を含むように構成することもできる。例えばコンロが複数台ある場合に、キッチンでのコンロの位置を示す情報などである。このユーザが調理器具を識別するための情報として、位置以外に、高さ、順番、大きさ、色、調理器具の名称・愛称(ユーザが名付けた者であってもよい)などを含むものであってもよい。
「調理部C」は、調理をする。調理とは、食材を炒める、食材を加熱する、食材を茹でる、食材を蒸らす、食材を冷やす、食材を切る、食材を潰す、食材を混ぜる、食器を洗う、食器を乾かす、等の調理のために行われる各種の動作である。現段階で最も代表的な調理動作は、各種の加熱制御(電気、ガス、電子レンジ、IH)、レンジフードの駆動、水栓の開閉、食洗器の稼働、照明の制御である。ただし、これらに加えて動作を含むものもプロ用途では次のようなものがある。食材の炒め、茹で、米とぎ、刻み、皮むき、ころも付け、揚げ、練る、なども挙げることができる。これらは実際に調理器具が自動で行うことができる動作である。
「調理制御部C」は、調理部を調理器具制御情報に基づいて制御する。調理部の制御とは、調理部をどの程度の時間、どの程度の強さ、頻度、強度、どの程度の回転速度、回転頻度、回転の大きさ、等の調理部の動きを調整する。調理制御情報は、例えば、強火であるとか、弱火であるとか、火力の大きさなどの量的情報を含んでおり、量を示す数値情報に従って、調理制御部Cが調理部を制御する。調理制御部は所定の通信パケットに保持される調理器具制御情報を取得し、定められたルールに従ってその制御情報を解読し、調理制御部のコンピュータを通じて調理部Cを構成するデバイスドライバに対して制御命令を送信する。デバイスドライバは、調理器具の調理部Cを構成するデバイス(電源、電流調整器、電力調整器、電圧調整器、周波数調整器、バルブ調整器、モーター回転調整器、火花発生器など)を制御する。電源、電流調整器、電力調整器、電圧調整器は、ほとんどすべての調理器具に用いられている。代表的な例としては、電子レンジ、IH調理機、冷蔵庫、冷凍庫、レンジフード、ガスコンロ等である。周波数調整器は、IH調理機などに利用される。バルブ調整器は、ガスコンロ、冷蔵庫、冷凍庫、水栓、食洗器、などに利用される。モーター回転調整器は、レンジフード、食洗器、冷蔵庫、冷凍庫、水栓、その他、プロ用途に近い調理機の、食材の炒めのためのアーム、米とぎのためのプロペラ、刻みのためのアーム、皮むきのための刃、ころも付けのためのアーム、揚げのためのアーム、練るためのアーム、なども利用する。
「調理器具制御情報取得部C」は、調理器具制御情報を調理器具識別情報と関連付けて取得する。調理器具制御情報取得部Cは、調理器具制御サーバから出力された調理器具制御情報を取得する。この調理器具制御情報は、調理器具を直接的に制御する情報である。この点で現在徐々に広まっているAIスピーカーによる家電製品の制御とは異なる。現在徐々に広まっている家電製品の制御は、家電製品に後付けでAIスピーカーが情報を受け取ったりAIスピーカーから情報を受け取るサーバであるAIスピーカーサーバが識別できる家電製品制御ボックスを設けて、AIスピーカーからの音声を分析して家電製品を制御するように構成されている。調理器具制御情報取得部Cは、TCP階層での受信装置ではポート番号を利用して処理のためのプログラムに調理器具制御情報が渡される。従ってTCP/IPプロトコルに基づいて調理器具制御情報を取得する。従って、リモコンなどを介して制御情報を機器に渡す場合に比べて通信の安全性や確実性を担保することができる。従って、調理器具という人の安全性に大きくかかわる機器に対する通信プロトコルとして最適であるといえる。
「制御結果応答情報出力部C」は、取得した調理器具制御情報に基づいた制御の結果を含む応答である制御結果応答情報を出力する。「制御の結果」に含まれる情報としては、どの調理器具制御情報に基づいてどの調理器具がどのように制御されたかを示す情報であり、パケットの形で出力される。図43に示すパケットと同様の構造をしており、Controll種別の欄が制御の結果を示す情報となる。制御情報IDには制御結果応答情報IDが入り、さらにこの制御結果応答情報の発生原因となる調理器具制御情報IDが含まれるように構成される。その他、会員ID、調理器具ID、ReturnURL(調理器具のURLないしはアドレス)、調理対象を示す情報などが含まれていてよい。
制御結果応答情報の出力は調理器具の通信機能からLANを介してネットワークスピーカーに出力され、ネットワークスピーカー経由で調理器具制御サーバ装置に出力されてもよいし、調理器具の通信機能からホームサーバなどに出力されホームサーバから調理器具制御サーバ装置に出力されるように構成してもよい。さらには、調理器具にスピーカーが内蔵ないしは外付けされている場合には、スピーカーからの音声によってネットワークスピーカーのマイクから集音されネットワークスピーカーを介して調理器具制御サーバ装置に出力されるように構成してもよい。なお、調理器具制御サーバ装置からの調理器具制御情報と、制御結果応答情報とは、異なる通信ルートで運ばれてもよいし、同じ通信ルートで運ばれてもよい。また調理器具制御情報と制御結果応答情報とは、イーサネット(登録商標)等のLANを介してWANにでて公衆ネットワークを介して調理器具制御サーバ装置に到達し、制御音声情報や、応答音声情報、制御結果告知音声情報とは異なる通信ルートで通信されてもよい。特に、音声情報は、キッチンのスピーカーから音声ファイルで公衆ネットワーク上にある音声テキスト変換機能を有する音声処理サーバ(ジーニー)に渡され、音声処理サーバ(ジーニー)にてテキスト情報に変換され、そこから調理器具制御サーバ装置に専用線、又は公衆ネットワークを介して到達したり逆向きに情報が流れたりしてもよい。音声処理サーバでのテキスト変換と同時に音声制御情報へ変換してもよいし、変換しなくともよい。
さらに、図8に示す様に、調理器具制御サーバ装置は、調理器具制御情報を保持する調理器具制御情報保持部S(0801)をさらに有する基礎となる構成の発明に記載の音声制御調理器具プラットフォームとして構成してもよい。「調理器具制御情報保持部S」は、調理器具制御情報を保持する。調理器具制御情報を、制御音声情報のプロトコルと対になるように予め保持しておくことで、制御音声を分析して指示内容を特定することで、対となる調理器具制御情報が即時に決定される。したがって、音声によって指示したあと、調理器具制御情報に従って調理器具が調理を行うまでの間隔を短縮することができる。すでに説明した通り、調理器具制御情報は原則的にはその調理器具メーカーが自社の調理器具を制御するために開発し、提供するものである。従って、調理器具制御情報保持部に保持される調理器具制御情報は、各調理器具メーカーの調理器具制御情報サーバ(各メーカーサーバ)からアップロードされる情報である。しかし、この調理器具制御情報は更新されたり、修正されたり、あるいは追加されたりするので保持されている調理器具制御情報は調理器具制御サーバ装置の管理タイミングにて各調理器具制御情報サーバに最新の調理器具制御情報を取得に行くように構成することもできる。このプロトコルとしては、誤作動などの原因、あるいはネットワークを介して外部から侵入される恐れがある脆弱性の補修など、緊急性がある場合には調理器具制御情報サーバからのアップロードを自発的に認め、定期更新や、調理器具制御情報の追加などは調理器具制御サーバ装置の手動で定期的に実施するように構成することが望ましい。なお、この調理器具制御情報には、調理器具制御情報を用いて調理器具を制御するためのアプリケーションプログラムや、調理器具のデバイスドライバ、調理器具の制御パラメータなども含むものとする。
さらに、図11に示す様に、調理器具制御サーバ装置は、調理器具制御情報を調理器具制御情報保持部S(1101)に外部ネットワークを介して記録する調理器具制御情報記録部Sをさらに有するその他の構成2の発明に記載の音声制御調理器具プラットフォームとして構成してもよい。「調理器具制御情報記録部S」は、調理器具制御情報を調理器具制御情報保持部Sに外部ネットワークを介して記録する。外部から調理器具制御情報保持部Sに新たな調理器具制御情報を記録する。したがって、調理器具制御情報保持部Sが保持している制御情報の内容を追加、変更、することが可能となる。これによって、例えば、中華料理用の調理器具制御情報セットが保持されている音声調理器具制御サーバ装置に対して、中華料理に飽きたときにはフランス料理の調理器具制御情報の新たな記録を行うということが可能となる。季節の料理や、イベント用の料理、流行りの料理、新たな創作料理、といったように随時好ましい調理器具制御情報を記録することが可能となる。あるいは、ユーザが自身の専用のレシピを記録する、あるいはユーザが本プラットフォーム以外の情報源からのレシピを記録することも考えられる。
さらに、図14に示す様に、調理器具制御サーバ装置は、取得された制御音声情報が出力された応答音声情報に基づく返事に対応する制御音声情報である上書制御音声か判断する上書制御音声判断部S(1401)を有するとともに、調理器具制御情報出力部Sは、上書制御音声判断部Sでの判断結果が上書制御音声であるとの判断結果である場合には、その上書制御音声の由来となった制御音声情報に基づいて取得された調理器具識別情報に関連付けて取得した調理器具制御情報を出力する上書調理器具制御情報出力手段S(1402)を有する基礎となる構成からその他の構成2の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。
「上書制御音声判断部S」は、取得された制御音声情報が出力された応答音声情報に基づく返事に対応する制御音声情報である上書制御音声か判断する。上書制御音声とは、前に取得した制御音声情報に対する音声制御サーバ装置の応答音声情報に対して、その応答音声情報によって特定されるこれから行われる調理器具の制御のための調理器具制御情報を上書きして変更するための新たな制御音声情報である。
上書制御音声は、たとえば、間違った指示をしてしまったとき、あるいは、音声制御サーバ装置が誤った応答音声情報を出力している場合に、すぐに調理部の制御を止めるために行う指示や、別の動作で調理部Cを制御するための指示のことをいう。
「上書調理器具制御情報出力手段S」は、上書制御音声判断部Sでの判断結果が上書制御音声であるとの判断結果である場合には、その上書制御音声の由来となった制御音声情報に基づいて取得された調理器具識別情報に関連付けて取得した調理器具制御情報を出力する。上書制御音声判断部Sでの判断結果が上書制御音声であると判断された場合には、どの制御音声に対しての上書であるかを明確にする必要がある。そこで、その上書制御音声の由来となった制御音声情報に基づいて取得された調理器具識別情報に関連付けて取得した上書のための調理器具制御情報を調理器具に出力する。上書制御音声判断部Sでの判断結果が上書制御音声であると判断した場合には、
その音声情報を制御音声情報とし、これに基づいて調理器具制御情報を取得する。取得した調理器具制御情報として上書調理器具制御情報出力手段Sから出力される。
上書制御音声から上書調理器具制御情報を取得するのに時間を要する場合には、その分行って欲しくない調理動作が進んでしまうことから、上書制御音声から上書調理器具制御情報を取得する時間はできるだけ短い方がよい。そのため、まずその時点で与えられている動作を中断する指示のみを優先して(上書用の)調理器具制御情報を取得、出力するよう二段階で上書制御音声から(上書用の)調理器具制御情報への変換を行うように構成することが好ましい。
さらに、図17に示す様に、調理器具制御サーバ装置は、取得した制御音声情報に基づいて調理器具識別情報を取得できない、又は/及び調理器具制御情報を取得できない場合である趣旨不明瞭ケースであるか判断する趣旨明瞭性判断部S(1701)を有するとともに、応答音声情報取得部Sは、趣旨明瞭性判断部Sでの判断結果が趣旨不明瞭ケースであるとの判断結果である場合に不明瞭な趣旨を質すための返事を構成する質問応答音声の情報であり応答音声情報である質問応答音声情報を取得する質問応答音声情報取得手段S(1702)を有する基礎となる構成、その他の構成2、その他の構成3の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。
「趣旨明瞭性判断部S」は、取得した制御音声情報に基づいて調理器具識別情報を取得できない、又は/及び調理器具制御情報を取得できない場合である趣旨不明瞭ケースであるか判断する。取得した制御音声情報には、調理器具識別情報が含まれており、指示を出した調理器具及び調理動作を実行すべき対象となる調理器具識別情報が特定できるようになっていることから、適切な調理器具を動作させて調理を行うことが可能となる。したがって、制御音声情報から調理すべき調理器具が特定できない場合には、適切に制御情報を出力することができない。そこで、趣旨明瞭性判断部Sでは趣旨が明瞭であるか否かを判断し、その後の動作が可能であるか否かを分岐させる情報を取得する。
「質問応答音声情報取得手段S」は、応答音声情報取得部Sは、趣旨明瞭性判断部Sでの判断結果が趣旨不明瞭ケースであるとの判断結果である場合に不明瞭な趣旨を質すための返事を構成する質問応答音声の情報であり応答音声情報である質問応答音声情報を取得する。
取得した質問応答音声情報に対するユーザの応答(制御音声情報)について、趣旨が不明瞭であるか再度判断を行うように構成する。
さらに、図20に示す様に、調理器具制御サーバ装置の、調理器具制御情報取得部Sは、取得した制御音声情報に基づいて時系列に制御に利用されるべき時系列調理器具制御情報を取得する時系列調理器具制御情報取得手段S(2001)、を有する基礎となる構成、その他の構成2からその他の構成4の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。「時系列調理器具制御情報取得手段」は、取得した制御音声情報に基づいて時系列に制御に利用されるべき時系列調理器具制御情報を取得する。時系列に制御するとは、複数の調理器具制御情報を事前に調理器具制御サーバに出力させておくことで、直前の調理器具制御情報にて特定されるある条件の満了をもって次の調理器具制御情報にしたがった制御を行うことをいう。具体的には、制御音声が「5分強火のあと3分弱火」であれば、強火での加熱時間が5分経過した時点で直前の調理器具制御情報にて特定される測定時間の条件が満了することから、その後3弱火に変更して、さらに3分間の加熱を行うという時系列に沿って調理器具を制御することが考えられる。あるいは、制御音声が「余熱」であれば、調理器具にのせられた材料ののっていない調理器財(例えば空の鍋)に対して加熱して、加熱対象が十分に温まった時点で(この条件を160度、170度、200度などと設定することも可能である。)条件が満了したものとして余熱を終了して加熱をやめる、という時系列に沿って調理器具を制御することが考えられる。あるいは、制御音声が「1時間後に加熱してくれ」であれば、1時間の間調理器具を動作させずに、1時間経過後に加熱を始めるという時系列に沿って調理器具を制御することが考えられる。
さらに、図23に示す様に、調理器具制御サーバ装置の調理器具制御情報取得部Sは、制御音声情報に含まれる調理対象を示す情報に基づいて調理器具を制御する調理器具制御情報である調理対象依存調理器具制御情報を取得する調理対象依存調理器具制御情報取得手段S(2301)、を有する基礎となる構成、その他の構成2からその他の構成5の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。「調理対象依存調理器具制御情報手段S」は、制御音声情報に含まれる調理対象を示す情報に基づいて調理器具を制御する調理器具制御情報である調理対象依存調理器具制御情報を取得する。「調理対象」とは、食材や、調味料、油、水又は、これらの組合せや、料理などのことである。調理対象に依存するということは、調理対象と調理対象に対して行いたい調理方法のユーザの音声に基づく制御音声情報とすると、調理対象に適した調理器具制御情報を自動的に取得する。そして、取得された調理対象に適した調理器具制御情報にしたがって調理器具の制御が行われる。この調理器具の制御には時系列の制御も含まれてよい。従って、調理対象依存調理器具制御情報取得手段は、調理対象ごとに関連付けられた適切な調理器具制御情報データベースを使用可能であるように構成してもよい。この調理器具制御情報データベースは、調理器具のメーカー別に調理器具毎に用意されていることが好ましい。
また、調理対象ごとにユーザに対してどの調理方法、調理手順を選ぶか選択可能に構成することもできる。つまり、一の調理対象について複数の調理器具制御情報が選択可能に関連付けられてよい。
さらに、図26に示す様に、調理器具は、制御音声情報を取得するための制御音声情報取得部C(2601)と、取得した制御音声情報を出力する制御音声情報出力部C(2602)と、応答音声情報を取得する応答音声情報取得部C(2603)と、取得した応答音声情報に基づいて応答音声を出力する音声出力部C(2604)と、をさらに有する基礎となる構成、その他の構成2からその他の構成6の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成することもできる。
「制御音声情報取得部C」は、制御音声情報を取得する。制御音声情報取得部Cを有する調理器具に向かって制御音声を発生して、これを制御音声情報取得部Cが取得する。したがって、調理器具は、集音装置を内蔵又は外接、あるいは接続可能(有線・無線を問わず)に構成されている。集音装置で収音された制御音声を情報に変換した制御音声情報は、テキスト情報であってもよいし、音声情報のままであってもよい。
「制御音声情報出力部C」は、取得した制御音声情報を出力する。制御音声情報出力部Cは、調理器具制御サーバ装置に取得した制御音声情報を出力する。
「応答音声情報取得部C」は、応答音声情報を取得する。応答音声情報取得部Cは、調理器具制御サーバ装置の応答音声情報出力部Sから出力された応答音声情報を取得する。応答音声情報を取得した調理器具は、応答音声情報から取得される音声を音声出力部Cから出力する。応答音声情報は、前述のように音声ファイルであってもよいしテキストなどであって、調理器具側で音声に変換するように構成することもできる。この場合には応答音声情報を音声に変換する応答音声変換部を調理器具が有する。
また、応答音声情報は音声情報のみからなるのでなく、振動子を制御する振動子制御情報(例えば耳が聞こえない人に調理器具の反応を伝える)や、画像、映像などの情報を含んでいてもよい。例えば、アニメのキャラクターが応答音声を発しているように見せかける構成としてもよい。さらには、このキャラクターを選択できるように発声キャラクター選択部を設けてもよい。
「音声出力部C」は、応答音声情報取得部Cが取得した応答音声情報に基づいて応答音声を出力する。音声出力部はスピーカーなどの音声発生装置によって出力される。調理器具は、音声発生装置を内蔵又は外接、あるいは接続可能(有線・無線を問わず)に構成されている。なお映像などを出力させるように構成する場合には、ディスプレイなどを備えるように構成する。ディスプレイは、キッチンに一台あればよいので、複数の調理器具で共有するように構成することができる。
さらに、図29に示す様に、調理器具は、調理器具又は調理器具に併せて利用されている調理器財の状況を示す情報である状況情報を取得する状況情報取得部C(2901)と、取得した状況情報を調理器具識別情報と関連付けて出力する状況情報出力部C(2902)と、をさらに有し、調理器具制御サーバ装置は、状況情報とそれに関連付けられている調理器具識別情報を取得する状況情報取得部S(2903)を有するとともに、応答音声情報取得部Sは、取得した状況情報に基づいて応答のための応答音声の情報である応答音声情報を取得する状況依存応答音声情報取得手段S(2904)を有し、調理器具制御情報取得部Sは、取得した状況情報に基づいて調理器具識別情報で識別される調理器具を制御する調理器具制御情報である状況依存調理器具制御情報を取得する状況依存調理器具制御情報取得手段S(2905)を有する基礎となる構成、その他の構成2からその他の構成7の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。
「状況情報取得部C」は、調理器具又は調理器具に併せて利用されている調理器財の状況を示す情報である状況情報を取得する。「状況情報」は、調理器具又は調理器財での調理状況についての情報である。取得する状況情報の種類としては、調理器具、調理器財(鍋、フライパン、鉄板、土なべ、等)又は調理器財に入っている食材、食材調理用材の温度や温度変化や温度分布、重量や重量変化、量や量変化、発する音、収縮率、膨張率、火力、水・調味材料・油などの流量や流量変化、水分含有率、調理経過時間、煙の量や煙の量の変化、臭気の種類、キッチン空間のガス分析結果(ガスクロマトグラフィー)、レンジフードからの排気の分析結果、室温や室温変化などである。例えば、調理器具については、着火中、強火、弱火、5分継続、などが状況情報として取得される。例えば調理器財については、余熱中の鍋であれば、なべ底の温度が140度とか、材料を煮詰めている時には、当初より全体の重さが20グラム減少とか、揚げ物をしている時には揚げ音の変化有、などが状況情報として取得される。状況情報を取得するためには、各種のセンサーを利用する方法や、その調理器具に対して出力されている調理器具制御情報から取得する方法が考えられる。
「状況情報出力部C」は、取得した状況情報を調理器具識別情報と関連付けて出力する。取得した状況情報は、調理器具制御サーバ装置に出力される。
「状況情報取得部S」は、状況情報とそれに関連付けられている調理器具識別情報を取得する。状況情報取得部Sは、調理器具の状況情報出力部Cから出力された状況情報を取得する。
「状況依存応答音声情報取得手段S」は、応答音声情報取得部Sが有する手段である。取得した状況情報に基づいて応答のための応答音声の情報である応答音声情報を取得する。どのような状況情報のときにどのような応答音声情報を取得するかに関しては状況依存応答音声情報データベースが備えられているとよい。また状況情報を変数として、状況依存応答音声情報を生成し、又は取得する状況依存応答音声情報生成ルールを状況依存応答音声情報生成ルール保持部に保持するように構成することができる。さらに状況依存応答音声情報データベースや、状況依存応答音声情報生成ルールは、人工知能などによって応答精度を向上させるように構成することができる。これは、状況依存応答音声情報に基づいて発せられる状況依存応答音声に応じてキッチン等にいるユーザからの返答である制御音声情報に基づいてその状況依存応答音声情報の取得と出力が適正であったか人工知能に判断させ、不適切であると判断された場合には状況依存応答音声情報データベースを修正したり、状況依存応答音声情報生成ルールを修正し、あるいは、その情報やルールの信頼度を下げて採用率を低下させたりする。不適切でないと判断された場合、あるいは適切であると判断された場合には、情報源の信頼度を高めて採用率が上がるように設計することができる。例えば、「あと5分で完成です」とか、「加熱時間を追加します」とか、「味見をしてください」とか、「次の材料を投入してください。」とか、「かき混ぜてください」などの、指示された制御動作の終了時刻の通知、調理完了までの残り時間の通知、ユーザに所定の行動を求める通知、等である。これらに対するユーザからの反応としては、「わかりました!」「まだ早くないですか?」「かき混ぜました〜!」などの返答がある。また、状況情報が吹きこぼれや、空焚きなどのユーザの身に危険を及ぼす状況である場合には、ユーザに対して危険があることを強く警告したり、直ちに適切な行動をとるように促したりする状況依存応答音声情報を取得するようにする。
「状況依存調理器具制御情報取得手段S」は、調理器具制御情報取得部Sが有する手段である。取得した状況情報に基づいて調理器具識別情報で識別される調理器具を正誤する調理器具制御情報である状況依存調理器具制御情報を取得する。取得した状況情報に基づいて、次に行うべき工程を取得し、これに対応する調理器具制御情報を取得する。
どのような状況情報のときにどのような状況依存調理器具制御情報を取得するかに関しては状況依存調理器具制御情報データベースが備えられているとよい。また状況情報を変数として、状況依存調理器具制御情報を生成し、又は取得する状況依存調理器具制御情報生成ルールを状況依存調理器具制御情報生成ルール保持部に保持するように構成することができる。さらに状況依存調理器具制御情報データベースや、状況依存調理器具制御情報生成ルールは、人工知能などによって取得精度を向上させるように構成することができる。
これは、状況依存調理器具制御情報に基づいて制御される調理器具の状況に応じてキッチン等にいるユーザからの返答である制御音声情報に基づいてその状況依存調理器具制御情報の取得と出力が適正であったか人工知能に判断させ、不適切であると判断された場合には状況依存調理器具制御情報データベースを修正したり、状況依存調理器具制御情報生成ルールを修正し、あるいは、その情報やルールの信頼度を下げて採用率を低下させたりする。不適切でないと判断された場合、あるいは適切であると判断された場合には、情報源の信頼度を高めて採用率が上がるように設計することができる。
さらに、その他の構成9の構成に加えて、調理器具制御サーバ装置の調理器具制御情報取得部Sは、取得した状況情報に基づいて、その状況情報に関連付けられている調理器具識別情報で識別される調理器具と異なる調理器具を制御するための調理器具制御情報である他調理器具制御情報を取得する他調理器具制御情報取得手段S(3401)と、を有する基礎となる構成、その他の構成2からその他の構成8の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成することが可能である。「他調理器具制御情報取得手段S」は、取得した状況情報に基づいて、その状況情報に関連付けられている調理器具識別情報で識別される調理器具と異なる調理器具を制御するための調理器具制御情報である他調理器具制御情報を取得する。他調理器具制御情報取得手段Sは、他の調理器具の調理状況についての情報を取得することで、他の調理器具の調理の状に合わせて調理器具の制御をする。
さらに、図37に示す様に、調理器具制御サーバ装置の、調理器具制御情報取得部Sは、制御音声の発声者を識別する情報である発声者識別情報と、発声者識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する許可情報保持手段S(3701)と、取得した制御音声の発声者の識別情報を制御音声に基づいて取得する発声者識別情報取得手段S(3702)と、取得した発声者識別情報に関連付けられている許可情報を取得する許可情報取得手段S(3703)と、許可情報に基づいて調理器具制御情報を取得し、又は取得しない許可情報依存調理器具制御情報取得手段S(3704)と、を有する基礎となる構成、その他の構成2からその他の構成9の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成することができる。
「許可情報保持手段S」は、制御音声の発声者を識別する情報である発声者識別情報と、発声者識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する。「発声者識別情報」は、あらかじめ登録してある発声者を識別するためのユニークな情報である。発声者識別情報に関連付けて調理器具制御情報の取得可否を定める許可情報は、キッチン等にいるユーザの音声に基づいて制御音声情報を取得してもよいかを定める。例えば発声者識別情報に許可フラグを立てる構成が考えられる。あるいは、許可するユーザと許可しないユーザにそれぞれ符号を付す構成が考えられる。さらに、調理器具制御情報の取得可否は、取得されるキッチン等にいるユーザの音声に基づいて取得されるべき調理器具制御情報ごとに定めるように構成できる。例えば、その音声の発声主が子供と設定されている場合には、水の水栓の制御、電子レンジなどの火災等の発生につながらない調理器具の制御に関する調理器具制御情報については許可して取得し、出力し、調理器具を制御するが、火に関係するコンロなどの制御に関する調理器具制御情報がその音声から取得されるべき調理器具制御情報であると判断される場合にはその音声に基づいては調理器具制御情報の取得を拒否して、取得しない、というように構成することが好ましい。つまり、許可情報は発声者識別情報で識別されるユーザごとで、調理器具制御情報ごとに関連付けられて保持されていることが好ましい。なお、拒否する場合でも応答音声情報は取得して、音声による要請に答えられない理由を応答音声情報として取得し、キッチン側のネットワークスピーカー等に出力するように構成することが好ましい。なお、状況情報などから(状況情報にはキッチンにいるユーザの情報も含まれる。)そのユーザ(子供)が主導で調理器具を制御しようとしても制御できないように調理器具制御情報(手動操作に制御を無効とする制御情報)を取得して調理器具に出力するように構成することもできる。
「発声者識別情報取得手段S」は、取得した音声の発声者の識別情報を音声に基づいて取得する。音声から、発声者の声紋、声質、音質等を分析(音声スペクトル解析等)することで取得し、発声者識別情報と関連付けて取得する。制御情報が発生されると、取得した制御情報の声紋、声質、音質等を分析取得し、発声者識別情報と関連付けられている発声者の声紋、声質、音質等と比較することで、音声の発声者の発声者識別情報を取得する。制御音声情報に、又は発声に関連付けてキッチン等を識別するキッチン等識別情報又は、集音したマイクを識別するマイク識別情報(これらは、キッチンに置かれたネットワークスピーカー、キッチンサーバ、ホームサーバ、調理器具などに保持されており、音声又は制御音声情報と関連付けられて調理器具制御サーバ装置に送信される。)、あるいは、発声者を識別する発声者識別情報が含まれるように構成されている場合には、その識別情報に関連付けて発声者を識別する者の声のサンプル、又は識別するための情報、を絞り込むことができるので、識別ミスが少なくなり好ましい。発声者を識別するための発声サンプルは、調理器具制御サーバ装置の利用開始の際に所定のパターンの発声を利用者に発声させて構成することができる。この発声者識別用サンプル、又は識別するための情報は、キッチン等識別情報等に関連付けられて保持されるように構成する。例えば発声者識別用情報として、発声者識別用情報保持手段等に保持させる。
「許可情報取得手段S」は、取得した発声者識別情報に関連付けられている許可情報を取得する。制御音声を分析することで取得される発声者の発声者識別情報を取得する。取得した発声者識別情報から、これに関連付けられている許可情報を取得する。取得した許可情報から、制御音声の発声者の制御情報を取得してよい発声者識別情報に該当するか、制御音声の発声者の制御情報を取得してはいけない発声者識別情報に該当するかを判断することで、許可情報を取得する。
「許可情報依存調理器具制御情報取得手段S」は、許可情報に基づいて調理器具制御情報を取得し、又は取得しないことを判断する。許可情報取得手段Sによって許可をするとの判断結果が取得された場合には、許可情報依存調理器具制御情報取得手段Sによって調理器具制御情報が取得される。許可情報取得手段Sによって許可しないとの判断結果が取得された場合には、許可情報依存調理器具制御情報取得手段Sによって調理器具制御情報が取得されない。また、許可情報は、調理器具単位で許可する、許可しない、というもののほかに、一の調理器具内でも許可する動作と許可しない動作を区別するように構成されてもよい。
さらに、図40に示す様に、サーバ装置の応答音声情報出力部Sは、応答音声情報に基づく応答音声又は/及びテキストを取得する応答音声テキスト取得手段S(4001)と、取得した応答音声又は/及びテキストを電話網又は/及びインターネットを介して出力する電話網・インターネット出力手段S(4002)と、をさらに有する基礎となる構成、その他の構成2からその他の構成10の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。
「応答音声テキスト取得手段S」は、応答音声情報に基づく応答音声又は/及びテキストを取得する。応答音声情報が応答音声又はテキストとして取得される。
「電話網・インターネット出力手段S」は、取得した応答音声又は/及びテキストを電話網又は/及びインターネットを介して出力する。電話網を介して応答音声を出力する先は、ユーザの通話可能な端末(例えば、固定電話、携帯電話、スマートフォン等)である。インターネットを介して応答音声を出力する先は、ユーザの通信可能な端末(例えば、スマートフォン、インターネット電話等)である。電話網を介してテキストを出力する先は、ユーザの通信可能な端末(例えば、FAX、ショートメール等)である。インターネットを介してテキストを出力する先は、ユーザの通信可能な端末(例えば、メール、SNSメッセンジャー等)である。調理器具制御サーバ装置には、ユーザの通話可能な端末(例えば、固定電話、携帯電話、スマートフォン等)の電話番号、メールアドレス、SNSのID等を登録可能に構成し、この番号を利用するようにすることが好ましい。SNSを利用する場合には調理器具制御サーバ装置は、シェフ等の擬人化したキャラクターを利用するように構成することもできる。
さらに、実施形態1にて記載したいずれかの機能を有する調理器具制御サーバ装置又/及び調理器具についても発明としてもよい。
これ以降に説明する音声制御調理器具プラットフォーム動作プログラムの発明で使用される用語の意味について、すでに説明済みの用語の意味は特に別の意味でつかわれることを意図しない場合には同様の意味を有する単語として理解しなければならない。例えば「・・・部」と従前に表記された用語は、音声制御調理器具プラットフォーム動作プログラムの説明では「・・・プログラム」ないしは「・・・ステップ」と表記されるが、その果たす機能は、従前の説明にて「・・・部」が果たす機能として説明されていたものがコンピュータ上でプログラムによって実現されるものと同等であると解釈されなければならない。
図5は実施形態1の基礎となる構成の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成を示す図である。図6は実施形態1の基礎となる構成の調理器具のハードウェア構成及び動作プログラムの発明の構成を示す図である。実施形態1における調理器具制御サーバ装置及び調理器具を動作させるための音声制御調理器具プラットフォーム動作プログラム、情報をハードウエアであるコンピュータ上に配置して音声制御調理器具プラットフォームを実行することが可能な状態を示す図である。以上説明した機能は具体的には以下のようにコンピュータ資源を利用して実行されるものである。本発明は基本的に汎用コンピュータ(パーソナルコンピュータ、スマートフォンや携帯端末上のコンピュータ、タブレット端末上のコンピュータ、携帯型ゲーム専用機上のコンピュータ等やこれらに連携するスマートウォッチ、VRビューワー等、その他の携帯デバイス)、プログラム、各種デバイスで構成することが可能である。コンピュータの動作は基本的に不揮発性メモリに記録されているプログラムと情報(データ等)を主メモリ(メインメモリ)に読み込み展開して、主メモリ(メインメモリ)とCPUと各種デバイスとで処理を実行して行く形態をとる。デバイスとの通信はバス線(外部バス線を含みうる)とつながったインターフェイス、ノースブリッジチップセット、サウスブリッジチップセット、又はノースブリッジチップセットとサウスブリッジチップセットとを統合したチップセット等を介して行われる。インターフェイスには、ディスプレイインターフェイス、タッチパネル、マウス、キーボード、通信バッファ等が考えられる。この図にあるように、実施形態1の音声制御調理器具プラットフォームの調理器具制御サーバは、図5に示す様に、調理器具を制御するための音声情報である制御音声情報を取得する「制御音声情報取得Sプログラム」と、取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する「調理器具識別情報取得Sプログラム」と、取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する「調理器具制御情報取得Sプログラム」と、取得した調理器具制御情報に基づいて応答のための応答音声の情報である応答音声情報を取得する「応答音声情報取得Sプログラム」と、取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する「調理器具制御情報出力Sプログラム」と、取得した応答音声情報を出力する「応答音声情報出力Sプログラム」と、出力した調理器具制御情報を受信した調理器具からの制御結果を含む応答情報である制御結果応答情報を取得する「制御結果応答情報取得Sプログラム」と、取得した制御結果応答情報に基づいて制御結果を告知するための告知音声のっ情報である制御結果告知音声情報を取得する「制御結果告知音声情報取得Sプログラム」と、取得した制御結果告知音声情報を出力する「制御結果告知音声情報出力Sプログラム」と、を有し、音声制御調理器具プラットフォームの調理器具は、図6に示す様に、調理器具識別情報を保持する「調理器具識別情報保持Cプログラム」と、調理をするための「調理Cプログラム」と、調理部を調理器具制御情報に基づいて制御する「調理制御Cプログラム」と、調理器具制御情報を調理器具識別情報と関連付けて取得する「調理器具制御情報取得Cプログラム」と、取得した調理器具制御情報に基づいた制御の結果を含む応答である制御結果応答情報を出力する「制御結果応答情報出力Cプログラム」と、が保持されている。音声制御調理器具プラットフォーム動作プログラムの開始命令であるプログラムの実行命令に基づいて、調理器具制御サーバ装置では、前述のプログラムが主メモリ(メインメモリ)に読み込まれ展開されて、各ステップの動作開始命令に基づいてこれらのプログラムが実行される。同様に、調理器具では、前述のプログラムが主メモリ(メインメモリ)に読み込まれ展開されて、各ステップの動作開始命令に基づいてこれらのプログラムが実行される。なお、データとしては、プログラム同様に、制御音声情報、調理器具識別情報、調理器具制御情報、応答音声情報、制御結果応答情報、制御結果告知音声情報、図示しない通信などの各種の設定情報などが不揮発性メモリに保持され、主メモリ(メインメモリ)に読み込み展開され、一連のプログラム実行に際して参照され、利用される。
さらに、実施形態1の基礎となる構成のハードウェア構成及び動作プログラムの発明の構成に加えて、図9に示すように、調理器具制御情報を保持するための「調理器具制御情報保持Sプログラム」を有するように構成してもよい。メモリに記録された「調理器具制御情報保持Sプログラム」をメインメモリに読み込み展開することで、調理器具制御情報保持部Sの機能が実行される。
さらに、その他の構成1のハードウェア構成および動作プログラムの発明の構成に加えて、図12に示す様に、調理器具制御情報を調理器具制御情報保持部Sに外部ネットワークを介して記録する「調理器具制御情報記録Sプログラム」を有するように構成してもよい。メモリに記録された「調理器具制御情報記記録Sプログラム」をメインメモリに読み込み展開することで、調理器具制御情報記録部Sの機能が実行される。
さらに、実施形態1の基礎となる構成又はその他の構成2のいずれかに記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図15に示す様に、取得された制御音声情報が出力された応答音声情報に基づく返事に対応する制御音声情報である上書制御音声か判断する「上書制御音声判断Sプログラム」、上書制御音声判断部Sでの判断結果が上書制御音声であるとの判断結果である場合には、その上書制御音声の由来となった制御音声情報に基づいて取得された調理器具識別情報に関連付けて取得した調理器具制御情報を出力する「上書調理器具制御情報出力Sサブプログラム」を有するように構成してもよい。メモリに記録された「上書制御音声判断Sプログラム」をメインメモリに読み込み展開することで、上書制御音声判断部Sの機能が実行される。メモリに記録された「上書調理器具制御情報出力Sサブプログラム」をメインメモリに読み込み展開することで、上書調理器具制御情報出力手段Sの機能が実行される。
さらに、実施形態1の基礎となる構成、その他の構成2からその他の構成3のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図18に示す様に、取得した制御音声情報に基づいて調理器具識別情報を取得できない、又は/及び調理器具制御情報を取得できない場合である趣旨不明瞭ケースであるか判断する「趣旨明瞭性判断Sプログラム」、趣旨明瞭性判断部Sでの判断結果が趣旨不明瞭ケースであるとの判断結果である場合に不明瞭な趣旨を質すための返事を構成する質問応答音声の情報であり応答音声情報である質問応答音声情報を取得する「質問応答音声情報取得Sサブプログラム」を有するように構成してもよい。メモリに記録された「趣旨明瞭性判断Sプログラム」をメインメモリに読み込み展開することで、趣旨明瞭性判断部Sの機能が実行される。「質問応答音声情報取得Sサブプログラム」は、「調理器具制御情報取得Sプログラム」の実行に際して実行される。メモリに記録された「質問応答音声情報取得Sサブプログラム」をメインメモリに読み込み展開することで、質問応答音声情報取得手段Sの機能が実行される。
さらに、さらに、実施形態1の基礎となる構成からその他の構成4のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図21に示す様に、取得した制御音声情報に基づいて時系列に制御に利用されるべき時系列調理器具制御情報を取得する「時系列調理器具制御情報取得Sサブプログラム」を有するように構成してもよい。「時系列調理器具制御情報取得Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行される。メモリに記録された「時系列調理器具制御情報取得Sサブプログラム」をメモリに読み込み展開することで、時系列調理器具制御情報取得手段Sの機能が実行される。
さらに、実施形態1の基礎となる構成、その他の構成2からその他の構成5のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図24に示すように、制御音声情報に含まれる調理対象を示す情報に基づいて調理器具を制御する調理器具制御情報である調理対象依存調理器具制御情報を取得する「調理対象依存調理器具制御情報取得Sサブプログラム」を有するように構成してもよい。「調理対象依存調理器具制御情報取得Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行される。メモリに記録された「調理対象依存調理器具制御情報取得Sサブプログラム」をメモリに読み込み展開することで、調理対象依存調理器具制御情報取得手段Sの機能が実行される。
さらに、実施形態1の基礎となる構成、その他の構成2からその他の構成6のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図27に示す様に、制御音声情報を取得するための「制御音声情報取得Cプログラム」、取得した制御音声情報を出力する「制御音声情報出力Cプログラム」、応答音声情報を取得する「応答音声情報取得Cプログラム」、取得した応答音声情報に基づいて応答音声を出力する「音声出力Cプログラム」を有するように構成してもよい。メモリに記録された「制御音声情報取得Cプログラム」をメモリに読み込み展開することで、制御音声情報取得部Cの機能が実行される。メモリに記録された「制御音声情報出力Cプログラム」をメモリに読み込み展開することで、制御音声情報出力部Cの機能が実行される。「応答音声情報取得Cプログラム」をメモリに読み込み展開することで、応答音声情報取得部Cの機能が実行される。メモリに記録された「音声出力Cプログラム」をメモリに読み込み展開することで、音声出力部Cの機能が実行される。
さらに、実施形態1の基礎となる構成、その他の構成2からその他の構成7のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図31に示す様に、調理器具が、調理器具又は調理器具に併せて利用されている調理器財の状況を示す情報である状況情報を取得する「状況情報取得Cプログラム」、取得した状況情報を調理器具識別情報と関連付けて出力する「状況情報出力Cプログラム」を有するように、図32に示すように、調理器具制御サーバ装置が、状況情報とそれに関連付けられている調理器具識別情報を取得する「状況情報取得Sプログラム」、取得した状況情報に基づいて応答のための応答音声の情報である応答音声情報を取得する「状況依存応答音声情報取得Sサブプログラム」、取得した状況情報に基づいて調理器具識別情報で識別される調理器具を制御する調理器具制御情報である状況依存調理器具制御情報を取得する「状況依存調理器具制御情報取得Sサブプログラム」、を有するように構成してもよい。メモリに記録された「状況情報取得Cプログラム」をメモリに読み込み展開することで、状況情報取得部Cの機能が実行される。メモリに記録された「状況情報出力Cプログラム」をメモリに読み込み展開することで、状況情報出力部Cの機能が実行される。メモリに記録された「状況情報取得Sプログラム」をメモリに読み込み展開することで、状況情報取得手段Sの機能が実行される。メモリに記録された「状況依存応答音声情報取得Sサブプログラム」をメモリに読み込み展開することで、状況依存応答音声情報取得手段Sの機能が実行される。メモリに記録された「状況依存調理器具制御情報取得Sサブプログラム」をメモリに読み込み展開することで状況依存調理器具制御情報取得手段Sの機能が実行される。
さらに、実施形態1のその他の構成8ハードウェア構成及び動作プログラムの発明の構成に加えて、図35に示す様に、取得した状況情報に基づいてその状況情報に関連付けられている調理器具識別情報で識別される調理器具と異なる調理器具を制御するための調理器具制御情報である他調理器具制御情報を取得する「他調理器具制御情報取得Sサブプログラム」を有するように構成してもよい。「他調理器具制御情報取得Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行される。メモリに記録された「他調理器具制御情報取得Sサブプログラム」をメモリに読み込み展開することで、他調理器具制御情報取得部Sの機能が実行される。
さらに、実施形態1の基礎となる構成、その他の構成2からその他の構成9のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図38に示す様に、制御音声の発声者を識別する情報である発声者識別情報と、発声者識別情報に関連付けられて制御情報を取得してもよいかを示す許可情報を保持する「許可情報保持Sサブプログラム」、取得した発声者識別情報い関連付けられている許可情報を取得する「発声者識別情報取得Sサブプログラム」、取得した発声者識別情報に関連付けられている許可情報を取得する「許可情報取得Sサブプログラム」、許可情報に基づいて調理器具制御情報を取得し、又は取得しない「許可情報依存調理器具制御情報取得Sサブプログラム」、を有するように構成してもよい。「許可情報取得Sサブプログラム」、「発声者識別情報取得Sサブプログラム」、「許可情報取得Sサブプログラム」、「許可情報依存調理器具制御情報取得Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行される。メモリに記録された「許可情報保持Sサブプログラム」をメモリに読み込み展開することで、許可情報保持手段Sの機能が実行される。メモリに記録された「発声者識別情報取得Sサブプログラム」をメモリに読み込み展開することで、発声者識別情報取得手段Sの機能が実行される。メモリに記録された「許可情報取得Sサブプログラム」をメモリに読み込み展開することで、許可情報取得手段Sの機能が実行される。メモリに記録された「許可情報依存調理器具制御情報取得Sサブプログラム」をメモリに読み込み展開することで、許可情報依存調理器具制御情報取得手段Sの機能が実行される。
さらに、実施形態1の基礎となる構成、その他の構成2からその他の構成10のいずれか一に記載のハードウェア構成及び動作方法プログラムに加えて、図41に示す様に、応答音声情報に基づく応答音声又は/及びテイストを取得する「応答音声テキスト取得Sサブプログラム」、取得した応答音声又は/及びテキストを電話網又は/及びインターネットを介して出力する「電話網・インターネット出力Sサブプログラム」を有するように構成してもよい。「応答音声テキスト取得Sサブプログラム」、電話網・インターネット出力Sサブプログラム」は、応答音声情報出力Sプログラムの実行に際して実行される。メモリに記録された「応答音声テキスト取得Sサブプログラム」をメインメモリに読み込み展開することで、応答音声テキスト取得手段Sの機能が実行される。メモリに記録された「電話網・インターネット出力Sサブプログラム」をメモリに読み込み展開することで、電話網・インターネット出力手段の機能が実行される。
さらに、実施形態1の各種構成の調理器具制御サーバ装置又は/及び調理器具は、実施形態1の各種構成のハードウェア構成及び動作プログラム構成のいずれか一の構成である。
<実施形態1 記録媒体の発明>
記録媒体とは、代表的にはサーバなどの場合にはハードディスク、メインメモリ、磁気テープ、DVD装置などであり、スマートフォンなどの端末の場合にはROM、マイクロカード、SDカード、マイクロSDカード、RAM(主メモリ(メインメモリ))、ミニハードディスクなどである。ゲーム専用機などの端末の場合にはDVDROM、書換可能DVD、ROM、マイクロカード(フラッシュメモリ)、SDカード(フラッシュメモリ)、マイクロSDカード(フラッシュメモリ)、RAM(主メモリ(メインメモリ))、ミニハードディスク、クラウド上の保存領域などである。
なお、記録媒体に記録される目的としては、音声制御調理器具プラットフォームの調理器具制御サーバ装置及び調理器具へのダウンロード、又は媒体からの直接読取と音声制御調理器具プラットフォーム動作プログラム(調理器具の調理部を直接調理器具制御サーバ装置が制御するような場合)のサーバからの通信による端末への提供(ASP:)の大きく三種類に分けられる。またサーバ上での記録媒体への記録は、一のサーバのみに全体が記録されている必要は必ずしもなく分散記録されるような形態であってもよい。クラウドでの記録もこの記録媒体発明の実施に該当する。また記録媒体としてはサーバ上の記録媒体に記録されたプログラムと、端末の記録媒体に記録されたプログラムとの共同作業でゲームが進行される場合がある。
図7は、実施形態1の基礎となる構成における処理の流れ及び動作方法の発明の構成の一例を示す図である。図に示す様に、調理器具制御サーバ装置が音声制御調理器具プラットフォームの利用要請を受け(0701)、制御音声情報を取得(0702)した場合には、制御音声に関連付けられた調理器具識別情報の取得(0703)ができると、調理器具制御情報が取得(0704)され、取得した調理器具制御情報から応答音声情報が取得(0705)され、取得した調理器具制御情報と応答音声情報が出力(0706、0707)される。
調理器具は調理器具制御サーバ装置から出力された調理器具制御情報を取得(0708)し、調理器具の制御(0709)を行うことで調理を行い(0710)、調理器具制御情報に基づく調理結果を含む制御結果応答情報を調理器具から調理器具制御サーバ装置に出力(0711)し、制御結果応答情報を取得(0712)した調理器具制御サーバ装置は、取得した制御結果応答情報に対する応答である制御結果応答音声情報を生成して取得(0713)し、調理器具制御サーバ装置は取得した制御結果告知音声情報を出力する(0714)。調理器具制御サーバ装置の応答音声情報出力ステップ(0707)において出力された応答音声情報はキッチン側に配置されているスピーカーによって取得(0715)されて、ユーザに向けて出力(0716)される。
さらに、実施形態1の基礎となる構成の処理の流れ及び動作方法の発明の構成に加えて、図10に示す様に、調理器具識別情報の取得後、保持されている調理器具制御情報を検索(1001)することで調理器具制御情報を取得する処理を実行するように構成してもよい。
さらに、その他の構成1の処理の流れ及び動作方法の発明の構成に加えて、図13に示す様に、調理器具制御情報を追加をする処理経路を有する。調理器具制御情報の追加をする処理では、まず調理器具制御情報を追加しようとする者に各メーカーのサーバに対する調理器具制御情報追加記録のための権限があるかを判断(1301)する。権限があると認められる場合には、自社のサーバにある調理器具制御情報記録保持部へアクセス(1302)する。アクセス後、新規の調理器具制御情報が終了したかを判断(1303)し、終了している場合にはアップロード済の新規調理器具制御情報を上書するのか、追加するのか選択(1304)し、選択した方法に従って追記(1305)する。追加の追記が圧のか否かを判断(1306)し、追加の追記が無ければ終了する。
さらに、実施形態1の基礎となる構成、その他の構成1、その他の構成2のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図16に示す様に取得した制御音声情報が上書制御音声に該当するかを判断し(1601)、上書制御音声に該当する場合には上書調理器具制御音声情報の出力(1602)を行う処理を実行するように構成してもよい。取得した制御音声情報が上書制御音声に該当しない場合には、単に制御音声を取得したものとして処理を進める。
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成3のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図19に示す様に、取得した制御音声の趣旨が明瞭であるか否かを判断(1901)する処理を実行し、趣旨が不明瞭であれば趣旨を明確化するために質問応答音声情報の出力(1902)を行う処理を実行するように構成してもよい。さらに、キッチン側にあるマイクに対してユーザが発声をしている場合には、質問応答音声情報に対してユーザが発する制御音声を取得(1903)し、取得した音声を調理器具制御装置に制御音声情報として出力する(1904)。趣旨不明瞭性の判断において、趣旨が不明瞭ではないと判断された場合には、制御音声情報から調理器具制御情報が取得される。
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成4のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図22に示す様に、調理器具制御情報取得ステップの実行に際して、時系列調理器具制御情報を取得するためのサブステップ(2201)を実行するように構成してもよい。
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成5のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図25に示す様に、調理器具制御情報取得ステップの実行に際して、調理対象依存調理器具制御情報取得サブステップ(2501)を実行するように構成してもよい。
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成6のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図28に示す様に、調理器具が制御音声情報を取得(2801)し、取得した調理器具制御情報を調理器具制御サーバ装置に出力(2802)する処理を実行し、調理器具制御サーバ装置から取得した応答音声情報を調理器具が取得(2803)し、取得した応答音声情報を音声出力(2804)する処理を実行するように構成してもよい。
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成7のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図33に示す様に、調理器具が状況情報を取得したか否かを判断(3301)し、取得した場合には、状況依存調理器具制御情報取得サブステップ(3302)を処理して調理器具制御情報の取得が行われ、状況依存応答音声情報取得サブステップ(3303)が処理されて、取得した状況情報に依存した調理器具制御情報に基づいた応答音声情報が取得され、応答音声情報として調理器具に出力されるように構成してもよい。状況情報が取得されなかった場合には、状況に依存しない調理器具制御情報が取得され(3304)、取得した調理器具制御情報に基づいて応答音声情報が取得(3305)される。取得された応答音声情報は、調理器具に出力されるように構成してもよい。
さらに、実施形態1のその他の構成8の処理の流れ及び動作方法の発明の構成に加えて、図36に示す様に、調理器具制御情報出力ステップの実行に際し、他調理器具制御情報取得サブステップ(3601)を実行するように構成してもよい。
さらに、実施形態1の基礎となる構成及びその他の構成1からその他の構成9のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図39Aに示す様に、調理器具制御情報取得ステップの実行に際し、許可情報取得サブステップ(3901)、発声者識別情報取得サブステップ(3902)、許可情報取得サブステップ(3903)、許可情報依存調理器具制御情報取得サブステップ(3904)、を実行するように構成してもよい。調理器具制御情報取得ステップにおける具体的な処理を図39Bに示している。図に示す様に、制御音声情報の取得があるかを判断(3905)し、制御音声情報が取得されている場合には、発声者識別情報の取得が有るかを判断(3906)し、発声者識別情報が取得された場合には、発声者識別情報に基づいて許可情報が取得(3907)される。許可情報と制御音声に基づいて、調理器具制御情報を取得したか否かを判断(3908)し、調理器具制御情報が取得(3909)された場合には、応答音声情報が取得(3910)され、応答音声情報が調理器具に出力(3911)するように構成することが可能である。許可情報と制御音声情報とに基づいて調理器具制御情報が取得されなかった場合には、許否応答音声情報を取得(3912)し、応答音声情報として出力(3911)するように構成することが可能である。
さらに、実施形態1の基礎となる構成、その他の構成2からその他の構成10のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図42に示す様に、応答音声情報出力ステップの実行に際して、応答音声テキスト取得サブステップ(4201)が実行され、取得した情報が音声情報であるかテキスト情報であるかを判断(4202)し、音声を取得した場合には、電話網サブステップ(4203)が処理され、電話機能を有する端末にて応答音声が取得されたか判断(4205)し、取得した場合には、受話されたか判断(4206)され、受話された場合には応答音声が出力(4208)され、処理を終了するか判断(4208)するように構成することが可能である。テキスト情報が取得された場合には、テキスト出力サブステップ(4204)が処理され、テキストを受信する機能を有する端末にてテキストが取得されたか判断(4209)し、取得した場合には、テキストを表示を実行する指示があるか判断(4210)し、表示指示がある場合には、応答テキストを表示(4211)し、処理を終了させるか判断(4212)するように構成することが可能である。
さらに、実施形態1の各種構成の調理器具制御サーバ装置又は/及び調理器具は、実施形態1の各種構成の処理の流れ及び動作方法のいずれか一の方法によって処理を行う。
<実施形態2 概要>
実施形態2から実施形態4までは、コンピュータである調理器具に読取り実行可能な調理器具制御用のプロトコルデータユニットの構造である。
本実施形態の調理器具制御のためのプロトコルデータユニットのデータ構造は、
調理器具制御データと、調理器具識別データと、調理器具制御データ識別データと、
からなる。
<実施形態2 構成の説明:調理器具制御データ>
「調理器具制御データ」は、調理器具を制御するためのデータである。具体的には調理器具の調理のためのデバイスを制御して操作するためのデータを含むものであり、コンピュータである調理器具の主メモリに展開されている制御プログラムによって利用されて調理器具デバイスドライバに命令を出し、調理器具デバイスドライバによって調理器具の調理のためのデバイスが制御されて操作される。
調理器具制御データの内容は、実施形態1で記載した調理器具制御情報と同じである。
「調理器具識別データ」は、調理器具制御データによって制御すべき調理器具を識別するために利用される情報であって、調理器具識別情報として機能ずる。調理器具制御サーバ装置では、調理器具識別情報と、その調理器具のコンピュータが関連付けられているURLとが紐づけられて保持されており、調理器具識別情報を含んだ調理器具制御用プロトコルデータユニットをネットワーク出力する。調理器具識別情報は、調理器具制御用プロトコルデータユニット内では、ヘッダに記録されていてもよいし、ペイロードに記録さていてもよいし、あるいは、両者に記録されていてもよい。調理器具識別情報は、調理器具のコンピュータのネットワーク上の識別情報であるMACアドレスであってもよい。
調理器具識別データの内容は、実施形態1で記載した調理器具識別情報と同じである。
「調理器具制御データ識別データ」は、調理器具制御サーバ装置からネットワークに出力される複数の調理器具制御データの中からその調理器具制御データを一位に識別するための識別子である。調理器具制御データは、前記調理器具制御データと、他の調理器具制御データ識別データで識別される調理器具制御データとの間でコンピュータである調理器具によって調理器具による調理を制御するために実行される順位を示すデータである実行順位データ部分を含むように構成されている。調理器具によって調理器具による調理を制御するために実行される順位を示すデータとは、調理器具制御サーバ装置から出力される複数の調理器具制御データが調理器具内に蓄積する場合に、調理器具が制御に利用するべき調理器具制御データを適切に選択するための順位付けのことをいう。したがって、時間的には遅く出力された調理器具制御データであったとしても、順位が先に出力された調理器具制御データよりも早く実行することを示す順位である場合には、後に出力された調理器具制御データにしたがって調理器具の制御が行われる。また、調理器具制御データの順位は、先の順位の調理器具制御データに従った調理器具の制御が行われることによって、順位が繰り上がるように構成してもよいし、既に与えられた順位を示す情報の内容は変動させることなくその後も後順位を付与した調理器具制御情報を出力するように構成してもよい。
<実施形態3 発明の構成>
本実施形態の調理器具制御のためのプロトコルデータユニットのデータ構造は、
調理器具制御データと、調理器具識別データと、調理器具制御データ識別データと、
からなる。
<実施形態3 調理器具制御データ>
「調理器具制御データ」は、調理器具制御サーバ装置から出力される、調理器具を制御するためのデータであり、調理器具を制御する調理器具制御情報として機能する。調理器具制御データは、その情報がコンピュータである調理器具によって読取り実行される。データの形は、コンピュータである調理器具内で解釈されて別のデータの形に変更される場合もある。調理器具による調理を制御するために実行されるまでの時間、又は実行する時刻を定めるデータである調理開始タイミングデータを含むように構成されている。調理開始タイミングデータでは、「3時間後に制御開始」「7時間後に制御が終了するように開始」「朝6時に開始」などのように、調理器具制御を開始する時間的なタイミングを示す。調理器具のコンピュータは時間、時刻を取得する機能を有しており、この時間、時刻の情報とこの制御情報とを合わせて利用して調理器具を制御する。時間、時刻の取得は、内部時計を用いてもよいし、例えばインターネット上の標準時計を利用してもよい。また、制御対象となる調理器具と、調理器具制御サーバ装置とが異なる標準時間を利用している場合には調理器具と調理器具制御サーバ装置との間で時差を調整して制御が行われるように構成する。
「調理器具識別データ」は、実施形態2の「調理器具識別データ」と同様の構造であり、既に説明済みである。
「調理器具制御データ識別データ」は、調理器具制御サーバ装置からネットワークに出力される複数の調理器具制御データの中からその調理器具制御データを一意に識別するための識別子である。調理器具制御データ識別データは調理器具制御データを識別する情報として機能する。調理器具制御データ識別データ、すなわち調理器具制御データ識別情報は、前述のように利用される他に、調理器具制御データの変更、削除、追加などによって一の調理器具制御データを管理する目的で利用される場合もある。例えば調理器具制御データ管理データというデータとして機能し、調理器具制御データの変更を調理器具のコンピュータで行うようにすることができる。調理器具制御データは、これ自体がプロトコルデータユニットの形式を有していてよく、例えばその場合には調理器具制御データのペイロード部分の書き換えなどを行う。あるいは、調理器具制御データの複製などを行うために調理器具制御データ識別データが用いられてもよい。特定の調理器具制御データを複製するためにその調理器具制御データを特定するために用いられる。
<実施形態4 発明の構成>
本実施形態の調理器具制御のためのプロトコルデータユニットのデータ構造は、
調理器具制御データと、調理器具識別データと、調理器具制御データ識別データと、
からなる。
<実施形態4 調理器具制御データ>
「調理器具制御データ」は、調理器具制御サーバ装置から出力される、調理器具を制御するためのデータである。調理器具制御データは、メモリに保持されている他の調理器具制御データを上書きする命令を含む上書調理器具制御データ部分を含むように構成される。上書調理器具制御データは、先に出力されて実行前の調理器具制御データあるいは、先に出力されて実行中であり且つ完了前の調理器具制御データに対して、後に出力された上書調理器具制御データを優先するように出力されるデータである。上書調理器具制御データは、上書をするためのデータ構造だけでなく、上書調理器具制御データの優先実行のためのデータと、上書調理器具制御データに劣後した調理器具制御データの取消、中止、強制終了の内一つを実行するためのデータの両方を併せ持つデータである場合を含む。なお、調理器具は、その制御を受けて調理をしている最中は、その調理をする制御に利用された調理器具制御データをメインメモリに保持するように構成することが考えられる。従って、メインメモリに保持されている調理器具制御データが上書によって消失した場合には、その調理は強制終了され、上書に利用された調理器具制御データに基づく制御が行われるように構成することができる。
「調理器具識別データ」は、実施形態2に記載の「調理器具識別データ」と同様であり、既に説明済みである。
「調理器具制御データ識別データ」は、実施形態3の「調理器具制御データ識別データ」と同様の構造であり、既に説明済みである。
Claims (3)
- 調理器具を制御するための音声情報である制御音声情報を取得する制御音声情報取得部Sと、
取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する調理器具識別情報取得部Sと、
取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する調理器具制御情報取得部Sと、
取得した調理器具制御情報に基づいて応答のための応答音声の情報である応答音声情報を取得する応答音声情報取得部Sと、
取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する調理器具制御情報出力部Sと、
取得した応答音声情報を出力する応答音声情報出力部Sと、
出力した調理器具制御情報を受信した調理器具からの制御結果を含む応答情報である制御結果応答情報を取得する制御結果応答情報取得部Sと、
取得した制御結果応答情報に基づいて制御結果を告知するための告知音声の情報である制御結果告知音声情報を取得する制御結果告知音声情報取得部Sと、
取得した制御結果告知音声情報を出力する制御結果告知音声情報出力部Sと、
を有するとともに、
調理器具制御情報取得部Sは、
制御音声の発声者を識別する情報である発声者識別情報と、発声者識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する許可情報保持手段Sと、
取得した制御音声の発声者の識別情報を制御音声に基づいて取得する発声者識別情報取得手段Sと、
取得した発声者識別情報に関連付けられている許可情報を取得する許可情報取得手段Sと、
許可情報に基づいて調理器具制御情報を取得し、又は取得しない許可情報依存調理器具制御情報取得手段Sと、
を有する
調理器具制御サーバ装置と、
調理器具識別情報を保持する調理器具識別情報保持部Cと、
調理をするための調理部Cと、
調理部を調理器具制御情報に基づいて制御する調理制御部Cと、
調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得部Cと、
取得した調理器具制御情報に基づいた制御の結果を含む応答である制御結果応答情報を出力する制御結果応答情報出力部Cと、
を有する
調理器具と、
を有する音声制御調理器具プラットフォーム。 - 調理器具制御サーバ装置と、
調理器具識別情報を保持する調理器具制御情報保持部Cを有する調理器具と、
を有する音声制御調理器具プラットフォームの動作方法であって、
調理器具制御サーバ装置は、
調理器具を制御するための音声である制御音声情報を取得する制御音声情報取得Sステップと、
取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する調理器具識別情報取得Sステップと、
取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する調理器具制御情報取得Sステップと、
取得した調理器具制御情報に基づいて応答のための応答音声の情報である応答音声情報を取得する応答音声情報取得Sステップと、
取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する調理器具制御情報出力Sステップと、
取得した応答音声情報を出力する応答音声情報出力Sステップと、
出力した調理器具制御情報を受信した調理器具からの制御結果を含む応答情報である制御結果応答情報を取得する制御結果応答情報取得Sステップと、
取得した制御結果応答情報に基づいて制御結果を告知するための告知音声の情報である制御結果告知音声情報を取得する制御結果告知音声情報取得Sステップと、
取得した制御結果告知音声情報を出力する制御結果告知音声情報出力Sステップと、
を実行するとともに、
調理器具制御情報取得Sステップにおいて、
制御音声の発声者を識別する情報である発声者識別情報と、発声者識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する許可情報保持Sサブステップと、
取得した制御音声の発声者の識別情報を制御音声に基づいて取得する発声者識別情報取得Sサブステップと、
取得した発声者識別情報に関連付けられている許可情報を取得する許可情報取得Sサブステップと、
許可情報に基づいて調理器具制御情報を取得し、又は取得しない許可情報依存調理器具制御情報取得Sサブステップと、
を実行し、
調理器具は
調理をするための調理Cステップと、
調理部を調理器具制御情報に基づいて制御する調理制御Cステップと、
調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得Cステップと、
取得した調理器具制御情報に基づいた制御の結果を含む応答である制御結果応答情報を出力する制御結果応答情報出力Cステップと、
を実行する
音声制御調理器具プラットフォームの動作方法。 - 調理器具制御サーバ装置と、
調理器具識別情報を保持する調理器具制御情報保持部Cを有する調理器具と、
を有する音声制御調理器具プラットフォームの動作プログラムであって、
調理器具制御サーバ装置を動作させる動作プログラムは、
調理器具を制御するための音声である制御音声情報を取得する制御音声情報取得Sステップと、
取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する調理器具識別情報取得Sステップと、
取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する調理器具制御情報取得Sステップと、
取得した調理器具制御情報に基づいて応答のための応答音声の情報である応答音声情報を取得する応答音声情報取得Sステップと、
取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する調理器具制御情報出力Sステップと、
取得した応答音声情報を出力する応答音声情報出力Sステップと、
をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、
出力した調理器具制御情報を受信した調理器具からの制御結果を含む応答情報である制御結果応答情報を取得する制御結果応答情報取得Sステップと
取得した制御結果応答情報に基づいて制御結果を告知するための告知音声の情報である制御結果告知音声情報を取得する制御結果告知音声情報取得Sステップと、
取得した制御結果告知音声情報を出力する制御結果告知音声情報出力Sステップと、を有するとともに、
調理器具制御情報取得Sステップにおいて、
制御音声の発声者を識別する情報である発声者識別情報と、発声者識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する許可情報保持Sサブステップと、
取得した制御音声の発声者の識別情報を制御音声に基づいて取得する発声者識別情報取得Sサブステップと、
取得した発声者識別情報に関連付けられている許可情報を取得する許可情報取得Sサブステップと、
許可情報に基づいて調理器具制御情報を取得し、又は取得しない許可情報依存調理器具制御情報取得Sサブステップと、
をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、
調理器具を動作させる動作プログラムは、
調理をするための調理Cステップと、
調理部を調理器具制御情報に基づいて制御する調理制御Cステップと、
調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得Cステップと、
取得した調理器具制御情報に基づいた制御の結果を含む応答である制御結果応答情報を出力する制御結果応答情報出力Cステップと、
をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムである電気計算機に読取実行可能な音声制御調理器具プラットフォームの動作プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019144494A JP6698201B1 (ja) | 2019-08-06 | 2019-08-06 | 音声制御調理器具プラットフォーム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019144494A JP6698201B1 (ja) | 2019-08-06 | 2019-08-06 | 音声制御調理器具プラットフォーム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6698201B1 true JP6698201B1 (ja) | 2020-05-27 |
JP2021026121A JP2021026121A (ja) | 2021-02-22 |
Family
ID=70775999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019144494A Active JP6698201B1 (ja) | 2019-08-06 | 2019-08-06 | 音声制御調理器具プラットフォーム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6698201B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023285263A1 (de) * | 2021-07-16 | 2023-01-19 | BSH Hausgeräte GmbH | Sprachsteuerung für einen kochherd |
-
2019
- 2019-08-06 JP JP2019144494A patent/JP6698201B1/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023285263A1 (de) * | 2021-07-16 | 2023-01-19 | BSH Hausgeräte GmbH | Sprachsteuerung für einen kochherd |
Also Published As
Publication number | Publication date |
---|---|
JP2021026121A (ja) | 2021-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9316400B2 (en) | Appliance control method, speech-based appliance control system, and cooking appliance | |
CN104170399B (zh) | 控制方法 | |
CN109683516B (zh) | 辅助烹饪方法、家电设备及计算机存储介质 | |
US8990274B1 (en) | Generating a presentation associated with a set of instructions | |
WO2017143759A1 (zh) | 提醒烹饪状态的方法及装置 | |
JP6543125B2 (ja) | 制御方法及び冷蔵庫 | |
CN110021299B (zh) | 语音交互方法、装置、***及存储介质 | |
CN107885105B (zh) | 智能烹饪方法及设备 | |
CN106647532B (zh) | 烹饪设备的推荐方法和装置 | |
US9531771B2 (en) | Cooking information providing method, control method, program, and terminal device | |
CN113238508A (zh) | 一种烹饪提醒方法及装置 | |
JP6698201B1 (ja) | 音声制御調理器具プラットフォーム | |
CN109156069A (zh) | 使用照明***以指示应用状态 | |
JP6989683B2 (ja) | 音声制御調理器具プラットフォーム | |
CN110164426B (zh) | 语音控制方法和计算机存储介质 | |
CN113450894B (zh) | 结构化数据、电子菜谱生成方法及设备 | |
JP2005278045A (ja) | 報知システム、管理装置、および報知システムの制御方法 | |
JP6203222B2 (ja) | 調理システム、家電機器、および評価方法 | |
JP7503292B2 (ja) | レシピ情報作成支援システム、情報処理装置、レンジフード、および方法 | |
CN113359569A (zh) | 菜谱的处理方法及装置 | |
CN112789485A (zh) | 信息提供方法 | |
US20210119823A1 (en) | Server, information processing method, and network system | |
JP2007060622A (ja) | ネット家電システムおよびそのプログラム | |
JPWO2018163451A1 (ja) | 加熱調理器および加熱調理システム | |
JPWO2019171618A1 (ja) | 調理情報システムおよびサーバ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190816 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190816 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200427 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6698201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |