JP7466812B2 - 食事摂取情報取得装置および食事摂取情報取得方法 - Google Patents
食事摂取情報取得装置および食事摂取情報取得方法 Download PDFInfo
- Publication number
- JP7466812B2 JP7466812B2 JP2023578876A JP2023578876A JP7466812B2 JP 7466812 B2 JP7466812 B2 JP 7466812B2 JP 2023578876 A JP2023578876 A JP 2023578876A JP 2023578876 A JP2023578876 A JP 2023578876A JP 7466812 B2 JP7466812 B2 JP 7466812B2
- Authority
- JP
- Japan
- Prior art keywords
- question
- unit
- dish
- target
- ingredient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000018823 dietary intake Nutrition 0.000 title claims description 155
- 238000000034 method Methods 0.000 title description 16
- 239000004615 ingredient Substances 0.000 claims description 373
- 235000012054 meals Nutrition 0.000 claims description 129
- 230000009471 action Effects 0.000 claims description 83
- 238000001514 detection method Methods 0.000 claims description 58
- 235000013305 food Nutrition 0.000 claims description 50
- 235000005911 diet Nutrition 0.000 claims description 31
- 230000000378 dietary effect Effects 0.000 claims description 29
- 235000005686 eating Nutrition 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 15
- 230000001055 chewing effect Effects 0.000 claims description 6
- 230000009747 swallowing Effects 0.000 claims description 6
- 235000021438 curry Nutrition 0.000 description 59
- 235000021186 dishes Nutrition 0.000 description 53
- 235000015278 beef Nutrition 0.000 description 47
- 230000037406 food intake Effects 0.000 description 27
- 235000012631 food intake Nutrition 0.000 description 27
- 241000287828 Gallus gallus Species 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 241000209094 Oryza Species 0.000 description 13
- 235000007164 Oryza sativa Nutrition 0.000 description 13
- 235000009566 rice Nutrition 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 235000012041 food component Nutrition 0.000 description 6
- 239000005417 food ingredient Substances 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 241000234282 Allium Species 0.000 description 5
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 5
- 244000000626 Daucus carota Species 0.000 description 5
- 235000002767 Daucus carota Nutrition 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 235000013547 stew Nutrition 0.000 description 5
- 241000555825 Clupeidae Species 0.000 description 4
- 235000019512 sardine Nutrition 0.000 description 4
- 241000269851 Sarda sarda Species 0.000 description 3
- 235000006694 eating habits Nutrition 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 244000061458 Solanum melongena Species 0.000 description 2
- 235000002597 Solanum melongena Nutrition 0.000 description 2
- 244000061456 Solanum tuberosum Species 0.000 description 2
- 235000002595 Solanum tuberosum Nutrition 0.000 description 2
- 235000021152 breakfast Nutrition 0.000 description 2
- 230000037213 diet Effects 0.000 description 2
- 235000015205 orange juice Nutrition 0.000 description 2
- 239000004278 EU approved seasoning Substances 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 235000021549 curry roux Nutrition 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000011194 food seasoning agent Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
ここで、ユーザに食事状況を何等かの手段で登録させることは、ユーザにとって負担となる。このような問題に対し、例えば、食事をしているユーザが撮像された撮像画像に基づいて、画像認識によってユーザの食事状況を把握することが考えられる。しかし、光によっていわゆる白飛びが発生する、加工または調理された料理について当該料理に使用されている特定の食材を認識することが困難である等、画像認識によるユーザの食事状況の把握には限界がある。
そこで、従来、ユーザに対して、「今日の朝ごはんは何を食べましたか?」のように、音声によって食事内容を質問し、音声によって質問に対するユーザからの回答を受け付けることで、ユーザの食事状況を把握する技術が知られている(例えば、特許文献1)。
従来技術では、ユーザに対して音声によって摂取している料理または食材を質問する場合に、ユーザが摂取した料理または食材を確実に回答させるよう質問が行えていないため、ユーザが摂取した料理または食材に関する情報を得ることができない可能性があるという課題があった。その結果、従来技術では、依然として、ユーザの食事状況を把握可能となっていなかった。
実施の形態1.
実施の形態1に係る食事摂取情報取得装置は、ユーザが摂取した料理または食材に関する情報(以下「食事摂取情報」という。)を作成し、記憶部に記憶させる。具体的には、実施の形態1に係る食事摂取情報取得装置は、撮像画像に基づき、ユーザが摂取する料理または食材を推論する。食事摂取情報取得装置は、撮像画像に基づいて推論した料理または食材について、当該料理または食材が何であるかを質問する対象となる料理(以下「対象料理」という。)または食材(以下「対象食材」という。)があると判定した場合は、ユーザに対して、音声によって、対象料理または対象食材が何であるかの質問を出力する。食事摂取情報取得装置は、対象料理または対象食材に関する情報と撮像画像に基づき検出したユーザの動作とに基づき、質問を出力するタイミング(以下「質問タイミング」という。)を判定する。食事摂取情報取得装置は、質問タイミングで音声出力させた質問に対するユーザの回答を発話音声にて取得し、取得した発話音声から、ユーザによる対象料理または対象食材が何であるかの回答を、食事摂取情報に反映する。
なお、実施の形態1では、「料理」とは、食材または調味料等を組み合わせて加工が行われた食べ物または飲み物をいう。また、「食材」とは、料理の材料であり、料理に含まれているものをいう。
なお、実施の形態1に係る食事摂取情報取得装置は、主に一般家庭で用いられ、一般家庭における食卓にてユーザが摂取している料理または食材に関する食事摂取情報を作成する装置を想定している。すなわち、実施の形態1において、ユーザは、一般家庭の住人を想定している。
実施の形態1に係る食事摂取情報取得装置1は、例えば、ロボット2に搭載されていることを想定している。
図2は、実施の形態1に係る食事摂取情報取得装置1を搭載したロボット2の外観の一例を示す図である。
第1カメラ21は、少なくともユーザが摂取する料理または食材を撮像可能に設けられる。例えば、第1カメラ21は、ユーザが食事しているテーブル上を撮像可能に設けられる。
第2カメラ22は、料理または食材を摂取している、言い換えれば、食事をしているユーザを撮像可能に設けられる。
なお、図2では、ユーザ、ユーザが食事しているテーブル、および、テーブル上の料理または食材等の図示は省略している。
第1カメラ21および第2カメラ22は、モータ等で構成される駆動部(図示省略)を有しており、駆動部によって撮像方向を変更可能に設けられている。
図3Aが第1撮像画像の一例を示し、図3Bが第2撮像画像の一例を示している。
第1撮像画像には、料理または食材が撮像されている。
第2撮像画像には、食事をしているユーザ、詳細には、第1撮像画像にて撮像されている料理または食材を摂取しているユーザの様子が撮像されている。
例えば、ユーザは、ロボット2が備えているタッチパネル式ディスプレイ(図示省略)等の入力装置を操作して、ロボット2の位置、第1カメラ21の撮像方向、および、第2カメラ22の撮像方向を指示する。駆動制御部201は、ユーザからの指示に基づき、ロボット2を移動させる、第1カメラ21の撮像方向を変更する、または、第2カメラ22の撮像方向を変更する。
マイク23は、発話音声を収集する。スピーカ24は、食事摂取情報取得装置1が出力させた音声を出力する。
なお、ユーザは、スピーカ24から出力される音声の音量を調整できる。例えば、ユーザは、ロボット2が備えている入力装置から音量の調整指示を入力する。ロボット2が備えている音量制御部(図示省略)は、ユーザからの音量の調整指示に基づき、スピーカ24から出力される音声の音量を調整する。
第1画像取得部101は、取得した第1撮像画像を食事内容推論部102に出力する。
その際、食事内容推論部102は、料理または食材の推論結果の確からしさをあらわす確信度を算出する。
なお、食事内容推論部102が第1画像取得部101の機能を有していてもよい。
実施の形態1において、第1画像取得部101はフレーム単位で第1撮像画像を取得する。食事内容推論部102は、第1画像取得部101が取得した最新のフレームに基づき、ユーザが摂取する料理または食材を推論する。
例えば、食事内容推論部102は、公知の画像認識技術またはパターンマッチング等を用いて行った画像認識結果と、予め管理者等によって作成され食事内容推論部102が参照可能な場所に記憶されている料理識別用情報とに基づいて、ユーザが摂取する料理または食材を推論する。
料理識別用情報は、例えば、料理と当該料理が含んでいると想定される食材とが定義された情報である。料理識別用情報において、料理を特定可能な情報と、当該料理が含んでいると想定される食材を示す情報とが対応付けられている。なお、食材を示す情報は、食材そのものを特定可能な情報であってもよいし、食材の色、または、形状を特定可能な情報であってもよい。
また、例えば、図5Aおよび図5Bに示すような内容の料理識別用情報が定義されているとする。
例えば、図5Aに示す料理識別用情報は食べ物に関する料理識別用情報であり、図5Bに示す料理識別用情報は飲み物に関する料理識別用情報であるとする。
その結果、食事内容推論部102は、料理D1はカレーライスであると推論する。また、食事内容推論部102は、カレーライスに含まれる食材として、食材M1~M5を推論する。なお、食材M1~食材M4はルーの具材である。
ここで、食事内容推論部102は、第1撮像画像に対する画像認識処理等によって、食材M5はライスと推論できたとする。また、食事内容推論部102は、食材M3は玉ねぎと推論できたとする。一方、食事内容推論部102は、食材M1~M4、第1撮像画像上、そのほとんどの部分がルーで覆われていることによって、第1撮像画像に対する画像認識処理等からでは、何であるのかが推論できなかったとする。
そうすると、食事内容推論部102は、カレーライスの中には例えばビーフカレーとチキンカレーとがあることがわかる。さらに、食事内容推論部102は、ビーフカレーとチキンカレーそれぞれに含まれていると想定される食材がわかる。
今、食事内容推論部102は、第1撮像画像から、料理D1はカレーであること、および、食材M3が玉ねぎであること、食材M5がライスであると推論している。しかし、料理識別用情報によれば、玉ねぎとライスはビーフカレーにもチキンカレーにも含まれており、玉ねぎとライスが推論できていることだけでは、料理D1がビーフカレーかチキンカレーかまでは判別できない。そこで、食事内容推論部102は、食材M3,M5以外の食材M1,M2,M4について、第1撮像画像に基づき、料理識別用情報を参考に、何であるか推論する。その結果、食事内容推論部102は、食材M2について、にんじんらしいことを推論する。例えば、食事内容推論部102は、第1撮像画像上で、食材M2の、ルーで覆われていないわずかな部分の色または形状等から、料理識別用情報で定義されているカレーに含まれる食材として最も近いと推論される食材は、にんじんであると判定する。
同様の方法で、食事内容推論部102は、食材M1は牛肉らしく、食材M4はじゃがいもらしいと推論する。
また、食事内容推論部102は、料理識別用情報から、カレーライスの中には例えばビーフカレーとチキンカレーとがあり、ビーフカレーとチキンカレーとを区別する食材は牛肉か鶏肉かであることがわかったものの、第1撮像画像から牛肉か鶏肉かは推論できなかった。しかし、今、食材M1は牛肉らしいと推論したことから、食事内容推論部102は、料理D1はビーフカレーらしいと推論する。
なお、食事内容推論部102が算出する確信度について、どのようなルールに従って当該確信度を算出するかは、予め決められている。例えば、第1撮像画像のみから推論できた料理または食材については、パターンマッチングの際の一致度合い等に応じて70~100(%)の範囲で確信度を算出し、第1撮像画像をもとに料理識別用情報を参考にして推論した料理または食材については、例えば、第1撮像画像上で判別できる面積に応じて、または、第1撮像画像上で推論できた料理または食材と料理識別用情報で定義されている料理または食材との総合的な一致度合いに応じて、0~69(%)の範囲で確信度を算出するとのルールが決められている。
食事内容推論部102は、予め決められているルールに従って、料理または食材の確信度を算出すればよい。
例えば、食事内容推論部102は、学習済みのモデル(以下「機械学習モデル」という。)を用いて、ユーザが摂取する料理または食材の推論結果と当該推論結果の確信度を得てもよい。
機械学習モデルは、撮像画像を入力とし、確信度が付与された料理または食材に関する情報を出力する。機械学習モデルは予め管理者等によって作成され、食事内容推論部102が参照可能な場所に記憶されている。
図6は、図4および図5を用いて説明したような例において食事内容推論部102が推論した料理(D1、D2)および食材(M1~M6)に関する食事摂取情報としている。
食事摂取情報は、料理を示す情報と食材を示す情報とが対応付けられた情報である。図6に示す食事摂取情報では、対応する料理と食材とには同じ識別番号(図6の「No」)が付与され、グループ化されている。食事摂取情報において、第1撮像画像上で料理または食材を特定可能な情報と、推論した料理または食材を示す情報と、確信度と、回答フラグとが付与される。
図6に示す食事摂取情報では、推論した料理または食材を示す情報は、料理または食材の名称としているが、これは一例に過ぎない。食事内容推論部102は、食事摂取情報において、推論した料理または食材がわかる情報を、推論した料理または食材を示す情報として設定すればよい。また、図6に示す食事摂取情報では、第1撮像画像上で料理または食材を特定可能な情報は、便宜上、D1、D2、M1~M6としているが、これは一例に過ぎない。食事内容推論部102は、食事摂取情報において、第1撮像画像上で料理または食材を特定可能な情報を設定すればよい。また、食事内容推論部102は、第1撮像画像上で料理または食材を特定可能な情報に、第1撮像画像において料理または食材の位置を示す情報(例えば、第1撮像画像上の座標)を、付与する。なお、図6において、第1撮像画像において料理または食材の位置を示す情報の図示は省略している。また、食事内容推論部102は、食事摂取情報において、算出した確信度を設定する。回答フラグについては、後述する。また、食事摂取情報において、例えば、識別番号単位で第1撮像画像が対応付けられてもよい。
また、食事内容推論部102は、食事摂取情報を作成した旨を、質問作成部103に通知する。
なお、図1では、記憶部106は食事摂取情報取得装置1に備えられるものとしているが、これは一例に過ぎない。記憶部106は、食事摂取情報取得装置1の外部の、食事摂取情報取得装置1が参照可能な場所に備えられてもよい。
質問作成部103は、食事摂取情報に基づき、付与されている確信度が質問要否判定用閾値未満の料理および食材がない場合は、対象料理および対象食材がないと判定する。
なお、質問要否判定用閾値は、予め管理者等によって設定され、質問作成部103が参照可能な場所に記憶されている。管理者等は、適宜、質問要否判定用閾値を設定可能である。
以下の実施の形態1において、「質問対象」というとき、当該「質問対象」は、質問作成部103が判定した対象料理または対象食材を指す。すなわち、質問作成部103が、食事内容推論部102が推論した料理または食材の中には対象料理および対象食材があると判定した場合、質問対象は当該対象料理および当該対象食材であり、質問作成部103が、食事内容推論部102が推論した料理または食材の中には対象料理のみあると判定した場合、質問対象は当該対象料理であり、質問作成部103が、食事内容推論部102が推論した料理または食材の中には対象食材のみあると判定した場合、質問対象は当該対象食材である。
具体例を挙げると、質問作成部103は、対象料理について、例えば、「その料理は何ですか?」、または、「今食べているその料理は何ですか?」と問う質問を作成する。
また、質問作成部103は、対象食材について、例えば、「その食材は何ですか?」、「その料理には何が入っていますか?」、または、「今食べているその食材は何ですか?」と問う質問を作成する。
なお、対象料理が複数ある場合、または、対象食材が複数ある場合、質問作成部103は、全ての対象料理、または、全ての対象食材について、作成する質問の内容を同じ内容にする必要はない。質問作成部103は、各対象料理について異なる内容の質問を作成してもよいし、各対象食材について異なる内容の質問を作成してもよい。
質問情報において、質問と、第1撮像画像上で当該質問に対応する質問対象を特定可能な情報と、当該質問に対応する質問対象の第1撮像画像上における位置を示す情報とが対応付けられる。なお、質問作成部103は、例えば、作成した質問ごとに質問情報を作成する。
ここでは、一例として、質問作成部103は、ある対象料理に対象食材が含まれている場合、対象料理には、対象食材よりも高い優先順位を付与する。また、質問作成部103は、ある対象料理に含まれている対象食材が複数存在する場合、複数の対象食材について、確信度が低い対象食材ほど、高い優先順位を付与する。なお、質問作成部103は、複数の対象食材について、確信度が同じである場合は優先順位を任意とできる。また、質問作成部103は、対象料理が複数存在する場合、複数の対象料理について、確信度が低い対象料理ほど、高い優先順位を付与する。なお、質問作成部103は、複数の対象料理について、確信度が同じである場合は優先順位を任意とできる。
第2画像取得部104は、取得した第2撮像画像を動作検出部105に出力する。
動作検出部105が、どのような動作を、料理または食材に関係する動作とするかは、予め管理者等によって定義されている。
また、例えば、動作検出部105は、ユーザによる質問対象を食事用器具で保持する動作を検出する。実施の形態1において、ユーザが料理または食材を摂取する際に使用する道具を、食事用器具という。食事用器具とは、具体的には、箸、フォーク、ナイフ、または、スプーン等である。
また、例えば、動作検出部105は、ユーザによる質問対象を口に入れる動作を検出する。例えば、動作検出部105は、ユーザによる質問対象を咀嚼している動作を検出してもよい。
また、例えば、動作検出部105は、ユーザによる質問対象を飲み込む動作を検出する。
実施の形態1において、第2画像取得部104はフレーム単位で第2撮像画像を取得する。動作検出部105は、第2画像取得部104が取得した最新のフレームに基づき、質問対象に関係するユーザの動作を検出する。
具体的には、タイミング判定部107は、ユーザが質問対象に関係する動作を行っているときを質問タイミングと判定する。
例えば、タイミング判定部107は、ユーザが、質問対象が盛り付けられた食器を触る動作を行っているときを質問タイミングと判定する。
また、例えば、タイミング判定部107は、ユーザが質問対象を食事用器具で保持しているときを質問タイミングと判定する。
また、例えば、タイミング判定部107は、ユーザが質問対象を口に入れる動作をしているとき、または、ユーザが質問対象を咀嚼しているときを、質問タイミングと判定する。
また、例えば、タイミング判定部107は、ユーザが質問対象を飲み込む動作をしているときを質問タイミングと判定する。
タイミング判定部107が、音声認識部110による音声認識結果に基づき発話の有無を判定し、発話がある間は質問タイミングの判定を行わないようにすることで、食事摂取情報取得装置1は、ユーザ等による発話によって、ユーザが聞き取りづらい状況で、当該ユーザに対して対象料理または対象食材が何であるかを問う質問が出力されないようにできる。
詳細には、質問出力部108は、タイミング判定部107が判定した質問タイミングで、質問情報において、当該質問タイミングであると判定されることとなったユーザの動作が行われた質問対象に対応付けられている質問、を音声出力させる質問音声出力情報をスピーカ24に出力する。スピーカ24は、質問を音声出力する。
音声取得部109は、質問出力部108が質問音声出力情報に基づき質問出力部108が音声出力させた質問に対するユーザの発話音声を取得する。
音声取得部109は、取得した発話音声を音声認識部110に出力する。
音声認識部110は、音声認識結果を、反映部111に出力する。
なお、例えば、質問出力部108は、質問音声出力情報をスピーカ24に出力させた際、どの質問対象に関する質問が行われたのかを示す情報(以下「出力質問情報」という。)を反映部111に出力しておく。質問出力部108は、出力質問情報を、例えば、質問と、第1撮像画像上で質問対象を特定可能な情報とが対応付けられた情報とする。質問出力部108は、出力質問情報において、さらに、質問対象の第1撮像画像上における位置を示す情報を対応付けてもよいし、第1撮像画像を対応付けてもよい。なお、質問出力部108は、質問作成部103から出力される質問情報に基づけば、第1撮像画像上で当該質問に対応する質問対象を特定可能な情報と、当該質問に対応する質問対象の第1撮像画像上における位置を示す情報とを判定できる。また、質問出力部108は、質問作成部103から第1撮像画像を取得すればよい。反映部111は、質問出力部108から出力された情報に基づき、ユーザに対する質問が行われたこと、および、その内容を把握する。
図7は、例えば、図6にて示したような食事摂取情報に基づき質問作成部103によって作成された、料理D1について「その料理は何ですか?」と問う質問を、質問出力部108が音声出力させたのに対し、ユーザが「ビーフカレー」と回答した場合の、当該回答を反映させた後の食事摂取情報の一例としている。
なお、仮に、料理D1について「その料理は何ですか?」と問う質問に対し、ユーザが「チキンカレー」と回答したとする。その場合、反映部111は、例えば、食事摂取情報において、料理D1に対応する料理を示す情報を、チキンカレーを示す情報となるよう食事摂取情報を更新し、当該チキンカレーを示す情報に付与されている確信度を100(%)と反映する。
図8は、実施の形態1に係る食事摂取情報取得装置1の動作について説明するためのフローチャートである。
食事摂取情報取得装置1は、例えば、当該食事摂取情報取得装置1の電源がオンにされると、図8のフローチャートで示すような動作を開始する。なお、これは一例に過ぎず、例えば、食事摂取情報取得装置1は、ユーザから動作を開始する指示を受け付けると、図8のフローチャートで示すような動作を開始してもよい。例えば、ユーザは、食事摂取情報取得装置1が備えているタッチパネル式ディスプレイを操作して、食事摂取情報取得装置1の動作を開始させる指示を入力する。食事摂取情報取得装置1は、入力された指示を受け付け、動作を開始する。
食事内容推論部102は、第1画像取得部101が取得した第1撮像画像に基づき、ユーザが摂取する料理または食材を推論する(ステップST1)。
そして、食事内容推論部102は、推論した料理または食材に関する食事摂取情報を作成する。その際、食事内容推論部102は、料理または食材の推論結果の確からしさをあらわす確信度を算出する。
食事内容推論部102は、作成した食事摂取情報を、記憶部106に記憶させる。
また、食事内容推論部102は、食事摂取情報を作成した旨を、質問作成部103に通知する。
そして、質問作成部103は、質問対象である料理D1、食材M1、食材M2、および、食材M4について、それぞれ、料理D1、食材M1、食材M2、および、食材M4が何であるかを問う質問を作成する。
例えば、質問作成部103は、料理D1について、例えば、「その料理は何ですか?」と問う質問を作成する。また、質問作成部103は、食材M1、食材M2、および、食材M4について、例えば、「その食材は何ですか?」と問う質問を作成する。
ここでは、質問作成部103は、例えば、料理D1を示す情報と「その料理は何ですか?」とが対応付けられた質問情報、食材M1と「その料理は何ですか?」とが対応付けられた質問情報、食材M2と「その料理は何ですか?」とが対応付けられた質問情報、および、食材M4と「その料理は何ですか?」とが対応付けられた質問情報を作成する。
質問作成部103は、例えば、優先度が高い順に料理D1、食材M1、食材M4、食材M2となるよう、料理D1、食材M1、食材M4、および、食材M2に優先順位を付与する。
動作検出部105は、第2画像取得部104が取得した第2撮像画像に基づき、質問対象に関係するユーザの動作を検出する(ステップST4)。
ここで、今、複数の質問対象(料理D1、食材M1、食材M2、および、食材M4)がある。質問情報において、料理D1に付与されている優先順位が一番高いとする。この場合、タイミング判定部107は、ユーザが料理D1に関係する動作を行っているときを質問タイミングと判定する。例えば、タイミング判定部107は、ユーザが、料理D1が盛り付けられた食器を触る動作を行っているとき、ユーザが、料理D1を食事用器具で保持しているとき、ユーザが、料理D1を口に入れる動作をしているとき、ユーザが、料理D1を咀嚼しているとき、または、ユーザが、料理D1を飲み込む動作をしているときを、質問タイミングと判定する。
ここでは、タイミング判定部107は、料理D1について、質問タイミングである旨のタイミング到来情報を、質問出力部108に出力する。
ここでは、質問出力部108は、例えば、質問情報において料理D1に対応付けられている「その料理は何ですか?」を音声出力させる質問音声出力情報を作成し、これをスピーカ24に出力する。その結果、スピーカ24から「その料理は何ですか?」と質問する音声が出力される。
発話音声を取得すると(ステップST7の“YES”の場合)、音声取得部109は、取得した発話音声を音声認識部110に出力する。
なお、音声取得部109は、常時、周囲の発話音声を取得している。ステップST7では、例えば、音声取得部109は、質問出力部108が質問音声出力情報を出力させた直後に取得した発話音声を、質問に対する回答によるユーザの発話音声とみなす。例えば、質問出力部108は質問音声出力情報を出力した際にその旨を音声取得部109に通知する。なお、図1において、質問出力部108から音声取得部109への矢印は省略している。
音声認識部110は、音声認識結果を、反映部111に出力する。
例えば、ユーザが、「その料理は何ですか?」との質問に対し、「ビーフカレー」と回答したとする。この場合、反映部111は、当該回答を食事摂取情報に反映させる。また、反映部111は、あわせて、食事摂取情報において、料理D1を示す情報に付与されている回答フラグを「1」とする。その結果、反映部111は、記憶部106に記憶されている食事摂取情報について、料理D1に関する情報を、図7に示したような内容に更新する。
ステップST2では、質問作成部103は、ステップST9にて反映部111がユーザの回答を反映させた後の食事摂取情報に基づき、食事内容推論部102が推論した料理または食材の中に対象料理または対象食材があるか否かを判定することになる。すなわち、質問作成部103は、反映部111が、ユーザが回答した料理または食材に関する情報を反映させた後の食事摂取情報に基づき、食事内容推論部102が推論した料理または食材の中に質問対象があるか否かを再判定する。
このように、食事摂取情報取得装置1は、例えば、確信度が低い料理または食材が何であるかのユーザへ対話による質問と、ユーザから得た回答の食事摂取情報への反映を繰り返すことにより、食事摂取情報の精度を上げることができる。
例えば、今記憶部106には図7に示したような内容の食事摂取情報が記憶されているとする。
食事内容推論部102は、再び、最新の第1撮像画像に基づきユーザが摂取する料理または食材を推論した結果、新たに、カレーのルーの具材として、食材M7を検出し、これを茄子と推論したとする。この場合、食事内容推論部102は、食事摂取情報において、料理D1に対応する食材を示す情報に、茄子を示す情報を追加する。
ユーザが食事を進めていくと、食器の中の料理または食材の様子が変化する。例えば、皿に盛られていた料理の量は減っていく。これに伴い、それまで第1撮像画像に対する画像認識処理では検出できていなかった食材が新たに認識されるようになる可能性がある。
ただし、食事内容推論部102は、食事摂取情報において回答フラグ「1」が付与されている料理または食材に関する情報については、更新しないようにする。ユーザから得られた回答は確かであると想定されるためである。
そして、食事摂取情報取得装置1は、質問対象(対象料理または対象食材)に関係するユーザの動作を検出している期間から質問を出力する質問タイミングを判定する。食事摂取情報取得装置1は、質問タイミングで質問を音声出力させる質問音声出力情報を出力し、当該質問に対するユーザの発話音声を取得すると、発話音声の音声認識結果に基づき特定した、質問に対してユーザが回答した料理または食材に関する情報を、食事摂取情報に反映させる。
食事摂取情報取得装置1は、質問対象(対象料理または対象食材)に関係するユーザの動作を検出している期間から質問タイミングを判定するので、ユーザに対し、直感的に質問されている料理または食材を把握させ、迷うことなく回答させられる。その結果、食事摂取情報取得装置1は、ユーザが、具体的にどの料理または食材について質問されているかがわからず、回答に迷う事態が生じることを低減できる。つまり、食事摂取情報取得装置1は、ユーザに対し、摂取した食材を確実に回答させるよう質問することで、ユーザが摂取した料理または食材に関する情報を得ることができる。
このように、食事摂取情報取得装置1は、簡易的に、かつ、正確性高く、ユーザの食事状況を把握するための食事摂取情報を取得することができる。
上述の具体例でいうと、例えば、食事摂取情報が図6で示すような内容であったとする。この場合、質問作成部103は、料理D1を対象料理、食材M1、M2、M4を対象食材と判定する。ここで、食材M1が牛肉であることが確定すれば、料理D1が何かを問う質問がユーザに出力されなくても、質問作成部103は当該料理D1がビーフカレーと推論できる。
そこで、質問作成部103は、食材M1の優先順位には高い優先順位を付与する。質問作成部103は、食材M1に、質問対象の中で最も高い優先順位を付与してもよいし、少なくとも料理D1より高い優先順位を付与してもよい。この場合、質問作成部103は、食材M1には、当該食材M1が何であるかを問う質問の回答が料理D1の回答にもなる旨の情報を付与する。この、食材M1が何であるかを問う質問の回答が料理D1の回答にもなる旨の情報は、例えば、質問出力部108を介して、反映部111に引き継がれる。反映部111は、食材M1が何であるかを問う質問の回答を食事摂取情報に反映させる際、料理D1に関する情報も更新する。例えば、反映部111は、ユーザから「牛肉」である旨の回答が得られれば、食事摂取情報において、食材M1を示す情報を、牛肉を示す情報に更新するとともに、料理D1を示す情報を、ビーフカレーを示す情報に更新する。なお、反映部111は、食材M1の確信度も、料理D1の確信度も、100(%)とすればよい。
なお、質問に対する回答が他の料理または食材に対する回答ともできる料理または食材、および、その場合の他の料理または食材が定義された情報(以下「複数回答可能情報」という。)は、予め、管理者等によって、料理単位で定義されている。管理者等は、例えば、料理識別用情報を作成する際に、複数回答可能情報についても作成しておく。
質問作成部103は、適宜の条件に従って、対象料理または対象食材があるか否かを判定可能である。例えば、質問作成部103は、確信度が閾値以上の料理または食材がある場合、これを対象料理または対象食材と判定してもよい。
この場合、例えば、質問作成部103は、「その料理はビーフカレーでいいですね?」、または、「その食材はにんじんでいいですね?」等、対象料理または対象食材を確認するような形態で対象料理または対象食材が何であるかを問う質問を作成してもよい。
質問作成部103は、指示語を用いない質問を作成してもよい。例えば、質問作成部103は、「今食べている料理は何ですか?」、「チキンカレーですか?」、「にんじんですね?」等、指示語を用いず質問対象が何であるかを問う質問を作成してもよい。ただし、食事摂取情報取得装置1は、質問対象が何であるかを指示語で問う質問を作成するほうが、指示語を用いない質問を作成する場合よりも、自然な対話で質問対象が何であるかの回答を得るようにできる。また、食事摂取情報取得装置1は、短い文章でのユーザとの意思疎通を可能とできる。
この場合、図8のフローチャートを用いて説明した食事摂取情報取得装置1の動作について、ステップST2の処理は省略可能である。
例えば、学習部は、反映部111から、食事摂取情報を更新した旨の通知を取得する。また、学習部は、質問作成部103から質問出力部108および反映部111を介して第1撮像画像を取得する。学習部は、第1撮像画像と食事摂取情報とに基づき学習用データを作成し、機械学習モデルを再学習する。
食事摂取情報取得装置1が、対象料理のみあると判定するケースもあり得る。
動作検出部105は、ユーザによる料理D1に関係する動作、例えば、ユーザによる料理D1が盛り付けられた皿を触る動作を検出し、タイミング判定部107は、動作検出部105がユーザによる料理D1が盛り付けられた皿を触る動作を検出したときを、質問タイミングと判定する。
ここで、ユーザは、「その料理は何ですか?」との質問に対し、「カレー」と回答したとする。この場合、反映部111は、食事摂取情報において、料理D1についてビーフシチューを示す情報を、カレーを示す情報に更新する。しかし、この時点でも、まだ、料理D1はビーフカレーなのかチキンカレーなのかわからない。そこで、反映部111は、料理D1はビーフカレーらしいと推論し、食事摂取情報においてビーフシチューを示す情報を、ビーフカレーを示す情報に更新し、当該ビーフカレーを示す情報に付与する確信度を50(%)に更新する。また、反映部111は、ビーフカレーを示す情報に対応付けられている回答フラグについては、「0」のままとする。このように、反映部111は、質問してもユーザから確度の高い回答が得られなかった場合には、ユーザと対話してもユーザから料理または食材に関する情報が得られなかったとみなしてもよい。あるいは、反映部111は、食事摂取情報において、回答フラグは「1」とし、当該回答フラグとは別の、再質問要フラグに「1」を設定するようにしてもよい。食事内容推論部102は、回答フラグが「1」であっても、再質問要フラグに「1」が設定されている場合には、当該回答フラグ「1」が対応付けられている料理または食材を示す情報を更新可とする。
質問出力部108は、再度、ユーザによる料理D1が盛り付けられた皿を触る動作が検出されたときに当該料理D1について何であるかをユーザに質問する。例えば、「それはビーフカレーですか?」との質問に対し、ユーザが「はい」と回答した場合、反映部111は、食事内容推論部102の推論は正しかったと判定し、食事摂取情報において、料理D1について、ビーフカレーを示す情報はそのままとして、当該ビーフカレーを示す情報に付与されている確信度を100(%)に更新する。一方、例えば、ユーザが「いいえ」と回答した場合、反映部111は、例えば、食事摂取情報において、料理D1について、ビーフカレーを示す情報を、チキンカレーを示す情報に更新し、当該チキンカレーを示す情報に付与されている確信度を70(%)に更新する。反映部111は、例えば、食事摂取情報において、料理D1について、ビーフカレーを示す情報を、チキンカレーを示す情報に更新し、当該チキンカレーを示す情報に付与されている確信度を50(%)として、再度料理D1が何であるかを問う質問が行われるようにしてもよい。
例えば、食事内容推論部102は、第1撮像画像に基づき、おにぎりを推論できたが、おにぎりの中の具材(食材Xとする)が画像認識できないとする。この場合、食事摂取情報取得装置1において、食事内容推論部102は、第1撮像画像からは、例えば、料理であるおにぎりと食材であるのりと食材であるごはんを推論する。そして、食事内容推論部102は、料理識別用情報を参考にして食材Xを推論する。食事内容推論部102は、例えば、食材Xをかつおぶしと推論し、かつおぶしを示す情報に付与される確信度を50(%)と算出する。この場合、確信度50(%)は質問要否判定用閾値未満となるので、質問作成部103は、食材Xを対象食材と判定する。また、質問作成部103は、食材Xが何なのかを問う質問(例えば、「その具材は何ですか?」)を作成する。
質問出力部108は、スピーカ24に質問音声出力情報を出力し、スピーカ24から質問作成部103が作成した「その具材は何ですか?」と問う質問を音声出力させる。
ここで、ユーザは、「その具材は何ですか?」との質問に対し、「ちりめんじゃこ」と回答したとする。この場合、反映部111は、食事摂取情報において、食材Xについて、かつおぶしを示す情報を、ちりめんじゃこを示す情報に更新する。また、反映部111は、食事摂取情報において、ちりめんじゃこを示す情報に付与される確信度を100(%)に更新する。また、反映部111は、食事摂取情報において、ちりめんじゃこを示す情報に付与される回答フラグを「1」に更新する。
食事摂取情報取得装置1は、例えば、スマートスピーカ等の音声出力機能を有する装置(図示省略)に搭載されてもよい。
また、食事摂取情報取得装置1は、サーバ(図示省略)に搭載されていてもよい。例えば、第1画像取得部101と、食事内容推論部102、質問作成部103、第2画像取得部104と、動作検出部105と、タイミング判定部107と、質問出力部108と、音声取得部109と、音声認識部110と、反映部111のうちの一部がサーバに搭載されてもよい。
例えば、食事摂取情報取得装置1は、記憶部106に記憶させる食事摂取情報を更新する都度、更新後の食事摂取情報と第1撮像画像とをカロリー計算装置に連携する。カロリー計算装置は、食事摂取情報と第1撮像画像とに基づき、ユーザが接種したカロリーを計算する。また、例えば、食事摂取情報取得装置1は、第1撮像画像のみをカロリー計算装置に連携し、カロリー計算装置は、第1撮像画像に基づき、ユーザが摂取したカロリーを計算することもできる。カロリー計算装置は、撮像画像に基づいて摂取カロリーを計算する公知の技術を用いて、ユーザが摂取したカロリーを計算すればよい。
例えば、カロリー計算装置が計算したユーザの摂取カロリーに関する情報は、食事摂取情報取得装置1が作成した食事摂取情報とともに、ユーザの食生活改善に向けたレコメンドまたは健康管理に使用される。
なお、食事摂取情報取得装置1が、カロリー計算機能を有していてもよい。
実施の形態1において、第1画像取得部101と、食事内容推論部102、質問作成部103、第2画像取得部104と、動作検出部105と、タイミング判定部107と、質問出力部108と、音声取得部109と、音声認識部110と、反映部111の機能は、処理回路1001により実現される。すなわち、食事摂取情報取得装置1は、ユーザに対し、摂取した食材を確実に回答させるよう質問することで、ユーザが摂取した料理または食材に関する情報を得る制御を行うための処理回路1001を備える。
処理回路1001は、図9Aに示すように専用のハードウェアであっても、図9Bに示すようにメモリに格納されるプログラムを実行するプロセッサ1004であってもよい。
記憶部106は、メモリ1005またはHDD(Hard Disk Drive)等で構成される。
また、食事摂取情報取得装置1は、第1カメラ21、第2カメラ22、マイク23、スピーカ24等の装置と、有線通信または無線通信を行う入力インタフェース装置1002および出力インタフェース装置1003を備える。
撮像画像に基づき、ユーザが摂取する料理または食材を推論し、推論した前記料理または前記食材に関する食事摂取情報を作成する食事内容推論部と、
前記食事内容推論部が推論した前記料理または前記食材のうちの対象料理または対象食材について、前記対象料理または前記対象食材が何であるかを問う質問を作成する質問作成部と、
前記撮像画像に基づき、前記対象料理または前記対象食材に関係する前記ユーザの動作を検出する動作検出部と、
前記動作検出部が前記対象料理または前記対象食材に関係する前記ユーザの動作を検出している期間から前記質問作成部が作成した前記質問を出力する質問タイミングを判定するタイミング判定部と、
前記タイミング判定部が判定した前記質問タイミングで、前記質問作成部が作成した前記質問を音声出力させる質問音声出力情報を出力する質問出力部と、
前記質問音声出力情報に基づき前記質問出力部が音声出力させた前記質問に対する前記ユーザの発話音声を取得する音声取得部と、
前記音声取得部が取得した前記発話音声に対する音声認識を行う音声認識部と、
前記音声認識部による音声認識結果に基づき特定した、前記質問に対して前記ユーザが回答した前記料理または前記食材に関する情報を、前記食事摂取情報に反映させる反映部
とを備えた食事摂取情報取得装置。
(付記2)
前記質問作成部は、前記食事内容推論部が作成した前記食事摂取情報に基づき、前記食事内容推論部が推論した前記料理または前記食材の中に前記質問を出力する対象となる前記料理または前記食材があるか否かを判定し、前記質問を出力する対象となると判定した前記料理または前記食材を前記対象料理または前記対象食材として前記質問を作成する
ことを特徴とする付記1記載の食事摂取情報取得装置。
(付記3)
前記動作検出部は、前記ユーザによる前記対象料理または前記対象食材が盛り付けられた食器に触る動作を検出する
ことを特徴とする付記1または付記2記載の食事摂取情報取得装置。
(付記4)
前記動作検出部は、前記ユーザによる前記対象料理または前記対象食材を食事用器具で保持する動作を検出する
ことを特徴とする付記1から付記3のうちのいずれか1つ記載の食事摂取情報取得装置。
(付記5)
前記動作検出部は、前記ユーザによる前記対象料理または前記対象食材を口に入れる動作、または、前記ユーザによる前記対象料理または前記対象食材を咀嚼している動作を検出する
ことを特徴とする付記1から付記4のうちのいずれか1つ記載の食事摂取情報取得装置。
(付記6)
前記動作検出部は、前記ユーザによる前記料理または前記食材を飲み込む動作を検出する
ことを特徴とする付記1から付記5のうちのいずれか1つ記載の食事摂取情報取得装置。
(付記7)
前記タイミング判定部は、前記ユーザが前記対象料理または前記対象食材に関係する動作を継続している間を、前記質問タイミングと判定する
ことを特徴とする付記1から付記6のうちのいずれか1つ記載の食事摂取情報取得装置。
(付記8)
前記音声取得部は周囲の前記発話音声を取得し、
前記タイミング判定部は、前記音声認識部による前記音声認識結果に基づき発話の有無を判定し、前記発話がある間は前記質問タイミングの判定を行わない
ことを特徴とする付記1から付記7のうちのいずれか1つ記載の食事摂取情報取得装置。
(付記9)
前記質問作成部は、前記対象料理または前記対象食材が何であるかを指示語で問う前記質問を作成する
ことを特徴とする付記1から付記8のうちのいずれか1つ記載の食事摂取情報取得装置。
(付記10)
前記食事内容推論部は、前記料理または前記食材の推論結果の確からしさをあらわす確信度を算出し、
前記質問作成部は、前記食事内容推論部が算出した前記確信度に基づき、前記食事内容推論部が推論した前記料理または前記食材の中に前記対象料理または前記対象食材があるか否かを判定する
ことを特徴とする付記2記載の食事摂取情報取得装置。
(付記11)
前記質問作成部は、前記反映部が、前記ユーザが回答した前記料理または前記食材に関する情報を反映させた後の前記食事摂取情報に基づき、前記食事内容推論部が推論した前記料理または前記食材の中に前記対象料理または前記対象食材があるか否かを再判定する
ことを特徴とする付記2記載の食事摂取情報取得装置。
(付記12)
前記質問作成部は、前記対象料理または前記対象食材が複数ある場合、複数の前記対象料理または前記対象食材に優先順位を付与し、
前記タイミング判定部は、優先順位に従って前記質問タイミングを判定する
ことを特徴とする付記1から付記11のうちのいずれか1つ記載の食事摂取情報取得装置。
(付記13)
前記質問作成部は、前記質問に対する回答が、他の前記対象料理または前記対象食材に対する回答ともできる前記対象料理または前記対象食材には高い優先順位を付与する
ことを特徴とする付記12記載の食事摂取情報取得装置。
(付記14)
食事内容推論部が、撮像画像に基づき、ユーザが摂取する料理または食材を推論し、推論した前記料理または前記食材に関する食事摂取情報を作成するステップと、
質問作成部が、前記食事内容推論部が推論した前記料理または前記食材のうちの対象料理または対象食材について、前記対象料理または前記対象食材が何であるかを問う質問を作成するステップと、
動作検出部が、前記撮像画像に基づき、前記対象料理または前記対象食材に関係する前記ユーザの動作を検出するステップと、
タイミング判定部が、前記動作検出部が前記対象料理または前記対象食材に関係する前記ユーザの動作を検出している期間から前記質問作成部が作成した前記質問を出力する質問タイミングを判定するステップと、
質問出力部が、前記タイミング判定部が判定した前記質問タイミングで、前記質問作成部が作成した前記質問を音声出力させる質問音声出力情報を出力するステップと、
音声取得部が、前記質問音声出力情報に基づき前記質問出力部が音声出力させた前記質問に対する前記ユーザの発話音声を取得するステップと、
音声認識部が、前記音声取得部が取得した前記発話音声に対する音声認識を行うステップと、
反映部が、前記音声認識部による音声認識結果に基づき特定した、前記質問に対して前記ユーザが回答した前記料理または前記食材に関する情報を、前記食事摂取情報に反映させるステップ
とを備えた食事摂取情報取得方法。
Claims (14)
- 撮像画像に基づき、ユーザが摂取する料理または食材を推論し、推論した前記料理または前記食材に関する食事摂取情報を作成する食事内容推論部と、
前記食事内容推論部が推論した前記料理または前記食材のうちの対象料理または対象食材について、前記対象料理または前記対象食材が何であるかを問う質問を作成する質問作成部と、
前記撮像画像に基づき、前記対象料理または前記対象食材に関係する前記ユーザの動作を検出する動作検出部と、
前記動作検出部が前記対象料理または前記対象食材に関係する前記ユーザの動作を検出している期間から前記質問作成部が作成した前記質問を出力する質問タイミングを判定するタイミング判定部と、
前記タイミング判定部が判定した前記質問タイミングで、前記質問作成部が作成した前記質問を音声出力させる質問音声出力情報を出力する質問出力部と、
前記質問音声出力情報に基づき前記質問出力部が音声出力させた前記質問に対する前記ユーザの発話音声を取得する音声取得部と、
前記音声取得部が取得した前記発話音声に対する音声認識を行う音声認識部と、
前記音声認識部による音声認識結果に基づき特定した、前記質問に対して前記ユーザが回答した前記料理または前記食材に関する情報を、前記食事摂取情報に反映させる反映部
とを備えた食事摂取情報取得装置。 - 前記質問作成部は、前記食事内容推論部が作成した前記食事摂取情報に基づき、前記食事内容推論部が推論した前記料理または前記食材の中に前記質問を出力する対象となる前記料理または前記食材があるか否かを判定し、前記質問を出力する対象となると判定した前記料理または前記食材を前記対象料理または前記対象食材として前記質問を作成する
ことを特徴とする請求項1記載の食事摂取情報取得装置。 - 前記動作検出部は、前記ユーザによる前記対象料理または前記対象食材が盛り付けられた食器に触る動作を検出する
ことを特徴とする請求項1記載の食事摂取情報取得装置。 - 前記動作検出部は、前記ユーザによる前記対象料理または前記対象食材を食事用器具で保持する動作を検出する
ことを特徴とする請求項1記載の食事摂取情報取得装置。 - 前記動作検出部は、前記ユーザによる前記対象料理または前記対象食材を口に入れる動作、または、前記ユーザによる前記対象料理または前記対象食材を咀嚼している動作を検出する
ことを特徴とする請求項1記載の食事摂取情報取得装置。 - 前記動作検出部は、前記ユーザによる前記料理または前記食材を飲み込む動作を検出する
ことを特徴とする請求項1記載の食事摂取情報取得装置。 - 前記タイミング判定部は、前記ユーザが前記対象料理または前記対象食材に関係する動作を継続している間を、前記質問タイミングと判定する
ことを特徴とする請求項1記載の食事摂取情報取得装置。 - 前記音声取得部は周囲の前記発話音声を取得し、
前記タイミング判定部は、前記音声認識部による前記音声認識結果に基づき発話の有無を判定し、前記発話がある間は前記質問タイミングの判定を行わない
ことを特徴とする請求項1記載の食事摂取情報取得装置。 - 前記質問作成部は、前記対象料理または前記対象食材が何であるかを指示語で問う前記質問を作成する
ことを特徴とする請求項1記載の食事摂取情報取得装置。 - 前記食事内容推論部は、前記料理または前記食材の推論結果の確からしさをあらわす確信度を算出し、
前記質問作成部は、前記食事内容推論部が算出した前記確信度に基づき、前記食事内容推論部が推論した前記料理または前記食材の中に前記対象料理または前記対象食材があるか否かを判定する
ことを特徴とする請求項2記載の食事摂取情報取得装置。 - 前記質問作成部は、前記反映部が、前記ユーザが回答した前記料理または前記食材に関する情報を反映させた後の前記食事摂取情報に基づき、前記食事内容推論部が推論した前記料理または前記食材の中に前記対象料理または前記対象食材があるか否かを再判定する
ことを特徴とする請求項2記載の食事摂取情報取得装置。 - 前記質問作成部は、前記対象料理または前記対象食材が複数ある場合、複数の前記対象料理または前記対象食材に優先順位を付与し、
前記タイミング判定部は、優先順位に従って前記質問タイミングを判定する
ことを特徴とする請求項1記載の食事摂取情報取得装置。 - 前記質問作成部は、前記質問に対する回答が、他の前記対象料理または前記対象食材に対する回答ともできる前記対象料理または前記対象食材には高い優先順位を付与する
ことを特徴とする請求項12記載の食事摂取情報取得装置。 - 食事内容推論部が、撮像画像に基づき、ユーザが摂取する料理または食材を推論し、推論した前記料理または前記食材に関する食事摂取情報を作成するステップと、
質問作成部が、前記食事内容推論部が推論した前記料理または前記食材のうちの対象料理または対象食材について、前記対象料理または前記対象食材が何であるかを問う質問を作成するステップと、
動作検出部が、前記撮像画像に基づき、前記対象料理または前記対象食材に関係する前記ユーザの動作を検出するステップと、
タイミング判定部が、前記動作検出部が前記対象料理または前記対象食材に関係する前記ユーザの動作を検出している期間から前記質問作成部が作成した前記質問を出力する質問タイミングを判定するステップと、
質問出力部が、前記タイミング判定部が判定した前記質問タイミングで、前記質問作成部が作成した前記質問を音声出力させる質問音声出力情報を出力するステップと、
音声取得部が、前記質問音声出力情報に基づき前記質問出力部が音声出力させた前記質問に対する前記ユーザの発話音声を取得するステップと、
音声認識部が、前記音声取得部が取得した前記発話音声に対する音声認識を行うステップと、
反映部が、前記音声認識部による音声認識結果に基づき特定した、前記質問に対して前記ユーザが回答した前記料理または前記食材に関する情報を、前記食事摂取情報に反映させるステップ
とを備えた食事摂取情報取得方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/017684 WO2023199424A1 (ja) | 2022-04-13 | 2022-04-13 | 食事摂取情報取得装置および食事摂取情報取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2023199424A1 JPWO2023199424A1 (ja) | 2023-10-19 |
JP7466812B2 true JP7466812B2 (ja) | 2024-04-12 |
Family
ID=88329295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023578876A Active JP7466812B2 (ja) | 2022-04-13 | 2022-04-13 | 食事摂取情報取得装置および食事摂取情報取得方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7466812B2 (ja) |
WO (1) | WO2023199424A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003173375A (ja) | 2001-09-28 | 2003-06-20 | Toshiba Corp | 生活管理端末装置、生活管理方法並びに生活管理システム |
JP2004252497A (ja) | 2002-01-15 | 2004-09-09 | Masanobu Kujirada | 飲食店において料理又は飲料を提供するための方法及びシステム |
JP2020187267A (ja) | 2019-05-15 | 2020-11-19 | エピジェライフ株式会社 | 情報処理装置及び情報処理プログラム |
-
2022
- 2022-04-13 JP JP2023578876A patent/JP7466812B2/ja active Active
- 2022-04-13 WO PCT/JP2022/017684 patent/WO2023199424A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003173375A (ja) | 2001-09-28 | 2003-06-20 | Toshiba Corp | 生活管理端末装置、生活管理方法並びに生活管理システム |
JP2004252497A (ja) | 2002-01-15 | 2004-09-09 | Masanobu Kujirada | 飲食店において料理又は飲料を提供するための方法及びシステム |
JP2020187267A (ja) | 2019-05-15 | 2020-11-19 | エピジェライフ株式会社 | 情報処理装置及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023199424A1 (ja) | 2023-10-19 |
WO2023199424A1 (ja) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110313153B (zh) | 智能数字助理*** | |
US11089985B2 (en) | Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders | |
US10803315B2 (en) | Electronic device and method for processing information associated with food | |
US20180232571A1 (en) | Intelligent assistant device communicating non-verbal cues | |
CN105378742B (zh) | 所管理的生物计量身份 | |
Amft et al. | Recognition of dietary activity events using on-body sensors | |
CN111885963A (zh) | 用于对超声检查进行标注的方法和设备 | |
US20210158502A1 (en) | Analyzing apparatus and method, and image capturing system | |
WO2005088542A1 (ja) | 食材調理操作認識システム及び食材調理操作認識プログラム | |
KR20200024675A (ko) | 휴먼 행동 인식 장치 및 방법 | |
CN110427923B (zh) | 婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质 | |
JP2019219766A (ja) | 分析装置、分析システム、及び分析プログラム | |
CN112902406B (zh) | 空调和/或风扇参数设置方法、控制设备及可读存储介质 | |
JP7466812B2 (ja) | 食事摂取情報取得装置および食事摂取情報取得方法 | |
CN108958080B (zh) | 一种控制转桌的方法、装置、计算机存储介质及终端 | |
KR20210075955A (ko) | 음식 영상을 이용한 영양관리 및 질병관리 방법 | |
US11755109B2 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
EP3848870A1 (en) | Nutritional value calculation of a dish | |
JP2018049584A (ja) | 食事量推定プログラム、食事量推定方法及び食事量推定装置 | |
JPWO2020116002A1 (ja) | 情報処理装置及び情報処理方法 | |
KR20190076380A (ko) | 멀티모달 행위 검출 장치 및 방법 | |
CN112013441A (zh) | 吸油烟机及基于吸油烟机的烹饪控制方法 | |
EP3776537A1 (en) | Intelligent assistant device communicating non-verbal cues | |
US12062171B2 (en) | Ultrasonic diagnostic device and storage medium | |
JP2021179659A (ja) | 食事アドバイス提供システムおよび方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231221 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7466812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |