JP2014167716A - 情報処理装置および記憶媒体 - Google Patents

Abstract

【課題】飲食物の種別に応じた指標を提示することが可能な情報処理装置および記憶媒体を提供する。
【解決手段】撮像した画像中の飲食物の種別を判別する種別判別部と、前記種別判別部により判別された前記飲食物の種別に応じた指標を生成する生成部と、前記生成部により生成された指標を表示部に表示するよう制御する表示制御部と、を備える、情報処理装置。
【選択図】図１

Description

本開示は、情報処理装置および記憶媒体に関する。

近年、食生活管理を支援する装置が提案されている。

例えば、下記特許文献１には、利用者の食事内容の記録作業負担を軽減し、かつ効率的な管理を行う技術が開示されている。具体的には、飲食物画像を日時情報と共に個人用端末からセンターサーバに送ると、センターサーバにおいてアドバイザー（専門家）が飲食物の画像を解析して入力したアドバイスが送られる。

また、下記特許文献２には、無線携帯端末により撮像された料理の撮像画像に基づき、摂取カロリーや食事噛み時間を算出し、リアルタイムで料理の摂取カロリーや食事噛み時間の管理を食事中に行う技術が開示されている。

特開２００３−８５２８９号公報 特開２０１０−３３３２６号公報

しかしながら、上記特許文献１では、ユーザがこれから食べようとしている飲食物に対してリアルタイムでアドバイスを表示することは困難である。

一方、上記特許文献２では、リアルタイムで摂取カロリー過多や食事噛み時間不足に対する警告を表示しているが、算出される摂取カロリーは１回の食事（料理）の総カロリーであって、飲食物の食材毎のカロリー算出はされていない。

そこで、本開示では、飲食物の種別に応じた指標を提示することが可能な、新規かつ改良された情報処理装置および記憶媒体を提案する。

本開示によれば、撮像した画像中の飲食物の種別を判別する種別判別部と、前記種別判別部により判別された前記飲食物の種別に応じた指標を生成する生成部と、前記生成部により生成された指標を表示部に表示するよう制御する表示制御部と、を備える、情報処理装置を提案する。

本開示によれば、コンピュータを、撮像した画像中の飲食物の種別を判別する種別判別部と、前記種別判別部により判別された前記飲食物の種別に応じた指標を生成する生成部と、前記生成部により生成された指標を表示部に表示するよう制御する表示制御部と、として機能させるためのプログラムが記憶された記憶媒体を提案する。

以上説明したように本開示によれば、飲食物の種別に応じた指標を提示することが可能となる。

本開示の一実施形態による表示制御処理の概要を説明するための図である。 本実施形態によるＨＭＤの内部構成例を示すブロック図である。 本実施形態による指標表示処理を示すフローチャートである。 本実施形態による視線に応じた指標表示処理を示すフローチャートである。 本実施形態による上限値に応じた指標表示処理を示すフローチャートである。 本実施形態による推定料理の確認画面の一例を示す図である。 本実施形態による各食材のカロリーを示す指標表画像の一例を示す図である。 本実施形態による各食材のカロリーを示す指標表画像の一例を示す図である。 本実施形態による飲食物の栄養成分を示す指標表画像の一例を示す図である。 本実施形態による飲食対象の周囲に指標を表示する場合について説明するための図である。 本実施形態による各食材の好適／不適を示す表示例について説明するための図である。 本実施形態による飲食物の残りの指標を示す場合について説明するための図である。 本実施形態による１週間の総摂取指標を示す場合について説明するための図である。 本実施形態による調理方法に応じた指標の表示について説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による表示制御処理の概要
２．ＨＭＤの基本構成および動作処理
２−１．ＨＭＤの基本構成
２−２．ＨＭＤの動作処理
３．画面表示例
３−１．指標表示
３−２．好適／不適表示
３−３．蓄積した指標に基づく算出指標の表示
３−４．調理方法に応じた指標の表示
４．まとめ

＜＜１．本開示の一実施形態による表示制御処理の概要＞＞
まず、本開示の一実施形態による表示制御処理の概要について、図１を参照して説明する。

図１は、本開示の一実施形態による表示制御処理の概要を説明するための図である。図１に示すように、ユーザ８は、眼鏡型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１を装着している。ＨＭＤ１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、図１に示すように両耳殻にかけられることでユーザ８に装着される。

また、ＨＭＤ１は、装着状態において、ユーザ８の両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２が配置される構成となっている。表示部２には、例えば撮像レンズ３ａで撮像された現実空間の撮像画像が表示される。また、表示部２は透過型であってもよく、ＨＭＤ１により表示部２がスルー状態、即ち透明または半透明の状態とされることで、ユーザ８は、ＨＭＤ１を眼鏡のように常時装着していても通常の生活には支障がない。

また、ＨＭＤ１には、図１に示すように、ユーザ８に装着された状態で、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。さらに、撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により形成される。

また、図１では左耳側しか示されていないが、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。また、右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ、６ｂが配置される。

なお、図１に示すＨＭＤ１の外観は一例であり、ＨＭＤ１をユーザが装着するための構造は多様に考えられる。ＨＭＤ１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。

また、撮像レンズ３ａ、照明を行う発光部４ａは、図１に示す例では右眼側に前方に向けて配置されているが、左眼側に配置されてもよいし、両側に配置されてもよい。

また、イヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。また、マイクロホンも、マイクロホン６ａ、６ｂのうちの一方でもよい。

さらに、マイクロホン６ａ、６ｂやイヤホンスピーカ５ａを備えない構成も考えられる。また発光部４ａを設けない構成も考えられる。

以上、図１に示すＨＭＤ１の外観構成について説明した。本明細書では、指標の表示制御を行う情報処理装置の一例としてＨＭＤ１を用いるが、本開示による情報処理装置はＨＭＤ１に限定されない。例えば、情報処理装置は、スマートフォン、携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末等であってもよい。

ここで、食生活の支援を行う装置として、上記特許文献２に記載の技術では、１回の食事（料理）の総カロリーが算出されているが、ユーザは必ずしも全部の料理を食べるとは限らず、また、料理のうち特定の食材だけ好んで食べる場合も想定される。また、カロリーや栄養成分は食材毎に異なるので、食材毎のカロリーや栄養成分等の指標が提示されれば、食生活を支援する技術の利便性が飛躍的に向上する。

さらに、生活習慣病の問題などから、食生活を改善しなければならない場合、カロリー、脂質、糖分、プリン体、コレステロール等の摂取や数値が問題となる。ユーザは、食生活改善に好ましい食品および好ましくない食品を把握して普段から気にかける必要がある。例えば、高脂血症の可能性がある人、総コレステロール値が高い人、ＬＤＬコレステロール（悪玉コレステロール）値が高い人などは、コレステロールについて注意する必要がある。

この場合、好ましい食品としては、コレステロールが少ない食品やコレステロールを減らす不飽和脂肪酸の多い食品が挙げられる。コレステロールが少ない食品は、例えば卵白、豆腐、赤身まぐろ、鶏ささみ、納豆、あさり、牛乳、ほうれん草、じゃがいも、いちご等である。また、コレステロールを減らす不飽和脂肪酸の多い食品は、青背の魚（さば、さんま、ぶり、いわし、まぐろ等）や、植物油（オリーブ油、サフラワー油、キャノーラ油、ごま油等）である。また、コレステロールを減らすのに役立つ食品として、ブロッコリー、芽キャベツ、青菜、ピーマン、れんこん、ごぼう、切干大根、納豆、きのこ、海草等も挙げられ、これらも好ましい食品と言える。

一方、好ましくない食品としては、コレステロールが多い食品やコレステロールを増やす飽和脂肪酸の多い食品が挙げられる。コレステロールが多い食品は、例えば卵黄、鶏卵、うなぎ蒲焼、鶏レバー、牛タン、うずら卵、あなご、生うに、ししゃも、牛レバー、豚レバー、牛バラ肉、牛もつ、豚肩ロース肉、鶏もも肉、鶏手羽肉、砂肝等である。また、コレステロールを増やす飽和脂肪酸の多い食品は、例えばバラ肉やロース肉に多い脂身、鶏皮、ベーコン、チーズ、生クリーム、バター、ラード、バターや生クリームを大量に使用した洋菓子等である。

しかし、このような食品の情報は、上述したように情報量が多い上に、食事を行う際には忘れてしまったり、意外な食品が好ましくない場合もあったりして、ユーザが常に好ましい食品を摂取することは難しい。

そこで、上記事情を一着眼点にして本開示の各実施形態による表示制御処理を創作するに至った。本開示の各実施形態による表示制御処理は、飲食物の種別に応じた指標を提示することができる。

具体的には、図１に示すＨＭＤ１（情報処理装置）において、食卓に置かれた料理３０を撮像レンズ３ａにより撮像し、撮像した画像中の飲食物の種別を食材毎に判別し、判別結果に基づいて各食材の指標を生成する。そして、ＨＭＤ１において、各食材の指標を表示部２に表示することで、食事中のユーザに提示することができる。指標とは、例えばカロリー、ビタミン、脂質、糖分、プリン体、コレステロールの値である。

指標の表示例としては、例えば図１に示すように、表示部２に、各食材（にら、もやし、豚レバー）のカロリー表示３２ａ〜３２ｃを含む画像Ｐ１が表示される。ＨＭＤ１は、図１に示すように、にらの位置に対応するようカロリー表示３２ａを表示し、豚レバーの位置に対応するようカロリー表示３２ｂを表示し、もやしの位置に対応するようカロリー表示３２ｃを表示する。この際、ＨＭＤ１は、撮像画像にカロリー表示３２ａ〜３２ｃを重畳表示してもよいし、表示部２を半透過に制御した上で実空間に存在する各食材に対応するようカロリー表示３２ａ〜３２ｃを表示してもよい。

また、ＨＭＤ１は、撮像した画像中の各食材の種別に応じて、その食材がユーザに好ましいか否かを判断し、判断結果を表示部２に表示してもよい。例えば、ＨＭＤ１は、コレステロールが少ない上記食品や、コレステロールを減らす不飽和脂肪酸の多い上記食品に対応する位置に、飲食を推薦する画像を表示するよう表示制御する。また、ＨＭＤ１は、コレステロールが多い上記食品や、コレステロールを増やす飽和脂肪酸の多い上記食品に対応する位置に、飲食を禁止する画像を表示するよう表示制御したり、警告音を出力したりする。

以上、本実施形態による表示制御処理の概要について説明した。続いて、本実施形態による表示制御処理を行うＨＭＤ１（情報処理装置）の基本構成および動作処理について、図２〜図４を参照して説明する。

＜＜２．ＨＭＤの基本構成および動作処理＞＞
＜２−１．ＨＭＤの基本構成＞
図２は、本実施形態によるＨＭＤ１の内部構成例を示す図である。図２に示すように、本実施形態によるＨＭＤ１は、表示部２、撮像部３、照明部４、音声出力部５、音声入力部６、主制御部１０、撮像制御部１１、撮像信号処理部１２、撮像画像解析部１３、照明制御部１４、音声信号処理部１５、出力データ処理部１６、表示制御部１７、音声制御部１８、通信部２１、およびストレージ部２２を有する。

（主制御部１０）
主制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ＨＭＤ１の各構成を制御する。

また、主制御部１０は、図２に示すように、種別判別部１０ａ、調理方法判別部１０ｂ、指標生成部１０ｃ、推薦判断部１０ｄ、蓄積制御部１０ｅ、および算出部１０ｆとして機能する。

種別判別部１０ａは、撮像した画像中の飲食物の種別を判別し、判別結果を指標生成部１０ｃおよび推薦判断部１０ｄに供給する。具体的には、種別判別部１０ａは、飲食物に含まれる各食材の種別を判別する。例えば、図１に示すレバニラ炒め（ニラレバ炒めとも称される）の料理３０を撮像した撮像画像中から、料理３０に含まれる各食材の種別として、「にら」、「豚レバー」、「もやし」が判別される。食材の種別は、撮像画像解析部１３による撮像画像の解析結果に基づいて判別されてもよい。具体的には、種別判別部１０ａは、写真から抽出された食材の色や形の特徴とストレージ部２２に格納されている食材判別用のデータを用いて食材の種別を判別できる。また、食材の種別は、匂いセンサ（不図示）により検知された匂いデータに基づいて判別されてもよい。ここで、匂いセンサとしては、例えば、複数種類の金属酸化物半導体センサ素子を用いて構成される。通常、金属酸化物半導体は、空気中に存在する酸素が結晶粒の表面に吸着されており、この酸素がキャリアである結晶中の電子をトラップし、導電率が低い状態にある。この状態で、匂い成分が金属酸化物半導体の表面に近付くと、匂い分子が酸化されることによって、表面の吸着酸素が奪われて、導電率が増加する。この導電率の変化は、金属酸化物半導体の種類や粒径、添加する触媒の違いによって異なるので、この性質を利用して、匂い成分が識別される。さらに、食材の種別は、箸やスプーンの先端に設けられた塩分濃度センサやイオン濃度センサ、ｐＨ（ペーハー）センサ（共に不図示）によって検出された各種測定データに基づいて判別されてもよい。また、食材の種別は、撮像画像解析部１３による撮像画像の解析結果や匂いセンサによって検出された匂いデータと、各種測定データを組み合わせて総合的に判別されるようにしてもよい。

調理方法判別部１０ｂは、撮像した画像中の飲食物の調理方法（炒めもの、焼き料理、茹で料理、揚げ料理、蒸し料理、生もの、または和えもの等）を判別し、判別結果を指標生成部１０ｃに供給する。調理方法は、撮像画像解析部１３による撮像画像の解析結果や、匂いセンサ（不図示）により検知された匂いデータ、熱画像センサ（不図示）により取得された熱画像データに基づいて判別されてもよい。具体的には、調理方法判別部１０ｂは、写真から抽出された料理の色（焦げ色等）や料理のテカリ（油のテカリ）の特徴と、ストレージ部２２に格納されている調理方法判別用のデータを用いて調理方法を判別することができる。例えば、図１に示すレバニラ炒めの料理３０を撮像した撮像画像からは、料理３０の焦げ色や油のテカリ等から、料理３０の調理方法として「炒めもの」と判別される。なお調理方法判別部１０ｂは、料理３０に紐付けられた調理時のモニタ結果（調理過程において生成された調理指標）がある場合、当該モニタ結果に基づいて調理方法を判別してもよい。

指標生成部１０ｃは、種別判別部１０ａにより判別された飲食物の種別に応じた指標を生成する。本明細書において、指標とは、例えばカロリー、ビタミン、脂質、タンパク質、炭水化物、カルシウム、マグネシウム、食物繊維、カリウム、鉄、レチノール、糖分、塩分、プリン体、またはコレステロール等の数値である。指標生成部１０ｃは、ストレージ部２２に含まれる指標生成用データを参照し、食材の種別に応じて、その食材に含まれる指標を抽出する。指標生成用データでは、食材の種別と当該食材の指標が対応付けられている。また、指標生成部１０ｃは、画像解析により推定された食材の量（質量）に応じて、当該食材に含まれる指標の値を生成してもよい。

また、栄養素の性質によっては、調理方法によって指標が変化する場合があるので、指標生成部１０ｃは、調理法判別部１０ｂに判別された調理方法に応じて指標を再生成してもよい。具体的には、指標生成部１０ｃは、調理方法に対応付けられた各指標の変化に関するデータを参照して指標を再生成することができる。

さらに、指標生成部１０ｃは、ユーザの医療情報（病歴や薬歴を含む）、健康情報（現在の体調情報を含む）、遺伝情報、または体質情報（アレルギー情報を含む）等と、種別判別部１０ａにより判別された飲食物の種別とに応じて、特定の指標を生成してもよい。特定の指標とは、例えばユーザの医療情報等に基づいて特に留意しなければならない成分を示す指標である。例えば指標生成部１０ｃは、ユーザの医療情報や健康情報に基づいて、カロリーを示す指標ではなく、コレステロールを示す指標を生成したり、塩分を示す指標を生成したりする。上述した医療情報、健康情報、遺伝情報、および体質情報等は、ストレージ部２２から抽出されてもよいし、通信部２１を介して所定のサーバから取得されてもよい。また、ＨＭＤ１に、ユーザの生体情報（血圧、体温、脈拍、脳波等）を検出する生体センサが設けられている場合、指標生成部１０ｃは、生体センサから検出された情報を現在の健康情報として用いることができる。さらに、ＨＭＤ１とは別にユーザが所有する生体情報検出装置（不図示）の通信部から、ＨＭＤ１の通信部２１を介してユーザの生体情報を取得し、現在の健康情報として用いてもよい。

推薦判断部１０ｄは、種別判別部１０ａにより判別された各食材の種別に基づいて、各食材がユーザに好適か否かを判断する。好適な否かは、一般的に好適／不適とされる食材のデータに基づいて判断されてもよいし、ユーザの医療情報や健康情報等に基づいて判断されてもよい。一般的に好適とされる食材としては、例えば身体を温める食材が挙げられる。また、ユーザが生活習慣病の場合等、上述したようにコレステロールの摂取に注意しなければならない場合、好適食品としては、コレステロールが少ない食品やコレステロールを減らす不飽和脂肪酸の多い食品が挙げられる。一方、不適食品として、コレステロールが多い食品やコレステロールを増やす飽和脂肪酸の多い食品が挙げられる。また、推薦判断部１０ｄは、判断結果を出力データ処理部１６に供給する。

蓄積制御部１０ｅは、指標生成部１０ｃにより生成された指標をストレージ部２２に蓄積するよう制御する蓄積制御部である。より具体的には、蓄積制御部１０ｅは、指標生成部１０ｃにより生成された指標のうち、ユーザに飲食された食材の指標を蓄積するよう制御する。

算出部１０ｆは、ストレージ部２２に蓄積された指標および指標生成部１０ｃにより現在生成された指標に基づき、新たな指標の値を算出する。例えば算出部１０ｆは、ストレージ部２２に蓄積された指標に、現在摂取している食材の指標を加算して、所定期間における総摂取指標を算出することができる。また、算出部１０ｆは、所定期間における理想総摂取指標から、ストレージ部２２に蓄積されている所定期間の指標および現在摂取している食材の指標を減算して、今後摂取可能な残指標を算出することができる。算出部１０ｆは、算出した新たな指標を出力データ処理部１６に供給する。

（撮像部）
撮像部３は、撮像レンズ３ａ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。

（撮像制御部）
撮像制御部１１は、主制御部１０からの指示に基づいて、撮像部３及び撮像信号処理部１２の動作を制御する。例えば撮像制御部１１は、撮像部３、撮像信号処理部１２の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１２のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。

さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１２における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。

（撮像信号処理部）
撮像信号処理部１２は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ)回路や、ビデオＡ／Ｄ（アナログ／デジタル）コンバータを備える。これにより、撮像信号処理部１２は、デジタルデータとしての撮像信号を得る。また、撮像信号処理部１２は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。

（撮像画像解析部）
撮像画像解析部１３は、外界情報を取得するための構成の一例である。具体的には、撮像画像解析部１３は、撮像部３により撮像され、撮像信号処理部１２により処理された画像データ（撮像画像）を解析し、画像データに含まれる画像の情報を得る。

具体的には、例えば撮像画像解析部１３は、画像データに対して点検出、線・輪郭検出、領域分割等の解析を行い、解析結果を主制御部１０の種別判別部１０ａおよび調理方法判別部１０ｂに出力する。

（照明部、照明制御部）
照明部４は、図１に示した発光部４ａとその発光部４ａ（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１４は、主制御部１０の制御に応じて、照明部４に発光動作を実行させる。照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。

（音声入力部、音声信号処理部）
音声入力部６は、図１に示したマイクロホン６ａ、６ｂと、そのマイクロホン６ａ、６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを音声信号処理部１５に出力する。音声信号処理部１５は、音声入力部６で得られた音声データに対して、ノイズ除去、音源分離等の処理を行う。そして処理した音声データを主制御部１０に供給する。本実施形態によるＨＭＤ１は、音声入力部６および音声信号処理部１５を備えることで、例えばユーザによる音声入力を可能にする。

（出力データ処理部）
出力データ処理部１６は、表示部２または音声出力部５から出力するためのデータを処理する機能を有し、例えばビデオプロセッサ、デジタルシグナルプロセッサ、Ｄ／Ａ変換器などから形成される。具体的には、出力データ処理部１６は、表示画像データの生成、生成した表示画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整等を行う。出力データ処理部１６は、主制御部１０の指標生成部１０ｃにより生成された飲食物の種別に応じた指標に基づいて指標表示画像を生成してもよいし、算出部１０ｆにより算出された新たな指標に基づいて新たな指標の表示画像を生成してもよい。また、出力データ処理部１６は、推薦判断部１０ｄにより判断された飲食物の種別に応じた推薦判断結果に基づいて、好適か否かを示す表示画像を生成してもよい。出力データ処理部１６は、処理した表示画像データを表示制御部１７に供給する。

また、出力データ処理部１６は、音声信号データの生成、生成した音声信号データの音量調整、音質調整、音響エフェクト等を行う。出力データ処理部１６は、主制御部１０の推薦判断部１０ｄにより判断された飲食物の種別に応じた推薦判断結果に基づいて、好適か否かを通知する音声信号データを生成してもよい。出力データ処理部１６は、処理した音声信号データを音声制御部１８に供給する。

なお出力データ処理部１６は、振動モータ等により形成される振動通知部（不図示）により振動を発生させるための駆動信号データを生成してもよい。出力データ処理部１６は、主制御部１０の推薦判断部１０ｄにより判断された飲食物の種別に応じた推薦判断結果に基づいて、好適か否かを通知する駆動信号を生成する。

（表示制御部）
表示制御部１７は、主制御部１０の制御に応じて、出力データ処理部１６から供給される表示画像データを表示部２に表示するための駆動制御を行う。表示制御部１７は、例えば液晶ディスプレイとされる表示部２において、表示させるための画素駆動回路で構成されていてもよい。また、表示制御部１７は、表示部２の各画素の透過率を制御し、表示部２をスルー状態（透過または半透過状態）にすることもできる。

具体的には、本実施形態による表示制御部１７は、指標生成部１０ｃにより生成された飲食物の種別に応じた指標に基づいて出力データ処理部１６により生成された画像を表示部２に表示するよう制御する。また、本実施形態による表示制御部１７は、推薦判断部１０ｄにより判断された飲食物の種別毎の推薦結果（好適か否か）に基づいて出力データ処理部１６により生成された画像を表示部２に表示するよう制御してもよい。この際、表示制御部１７は、指標や推薦結果の画像を、飲食物の各食材の位置に対応して表示するよう制御してもよい。また、表示制御部１７は、指標や推薦結果を、ユーザが飲食しようとしている食材の周囲に表示し、飲食に伴う食材の位置移動に応じて指標や推薦結果の画像の表示位置を移動させてもよい。

また、本実施形態による表示制御部１７は、算出部１０ｆにより算出された新たな指標に基づいて出力データ処理部１６により生成された画像を表示部２に表示するよう制御してもよい。

また、本実施形態による表示制御部１７は、撮像画像をリアルタイムで表示部２に表示し、さらに指標や推薦結果等を示す画像を、表示した撮像画像中の各食材の位置に対応するよう重畳表示する。若しくは、表示制御部１７は、表示部２をスルー状態に制御した上で（撮像画像の表示は行わず）、実空間に存在する食材の位置に対応するよう、指標や推薦結果等を示す画像を表示部２に表示してもよい。

（表示部）
表示部２は、表示制御部１７による制御に従って、撮像画像や、各食材の指標や推薦結果等を示す画像を表示する。

（音声制御部）
音声制御部１８は、主制御部１０の制御に応じて、出力データ処理部１６から供給される音声信号データを音声出力部５から出力するための制御を行う。より具体的には、音声制御部１８は、指標生成部１０ｃにより生成された指標をアナウンスしたり、算出部１０ｆにより新たに算出された指標をアナウンスしたり、推薦判断部１０ｄにより判断された好適／不適食材をアナウンスしたりするよう制御する。

（音声出力部）
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。また、音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。音声出力部５は、音声制御部１８による制御に従って、音声信号データを出力（再生）する。

（ストレージ部）
ストレージ部２２は、所定の記録媒体に対してデータの記録再生を行う部位とされる。ストレージ部２２は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２２としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。

また、本実施形態によるストレージ部２２は、種別判別部１０ａに用いられる食材判別用のデータ、調理方法判別部１０ｂに用いられる調理方法判別用のデータ、指標生成部１０ｃに用いられる指標判別用のデータ、推薦判断部１０ｄに用いられる推薦判断用のデータを格納する。また、ストレージ部２２は、ユーザの医療情報、健康情報、遺伝情報、および体質情報等を格納する。さらに、ストレージ部２２は、蓄積制御部１０ｅにより蓄積制御された指標を格納する。

（通信部）
通信部２１は外部機器との間でのデータの送受信を行う。通信部２１は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。

以上、本実施形態によるＨＭＤ１の内部構成について詳細に説明した。なお、音声系の構成として、音声出力部５、音声入力部６、音声信号処理部１５、音声制御部１８を示したが、これらは必ずしも全てを備える必要はない。また、ＨＭＤ１の構成として通信部２１を示したが、必ずしも備える必要はない。

上記構成により、本実施形態によるＨＭＤ１は、撮像部３により撮像された撮像画像中の飲食物の各食材に応じた指標をリアルタイムで表示部２に表示し、ユーザ８の食生活を支援することができる。続いて、本実施形態のＨＭＤ１の動作処理について説明する。

＜２−２．ＨＭＤの動作処理＞
本実施形態によるＨＭＤ１は、ユーザ８に装着され、ユーザの食事中において、各食材の指標をリアルタイムで表示するよう制御する。このようなＨＭＤ１による指標表示処理について、以下図３〜図５を参照して具体的に説明する。

（２−２−１．指標表示処理）
図３は、本実施形態による指標表示処理を示すフローチャートである。図３に示すように、まず、ステップＳ１０３において、ＨＭＤ１は、撮像部３により飲食物の撮像を開始する。

次に、ステップＳ１０６において、ＨＭＤ１の種別判別部１０ａは、撮像部３により撮像された飲食物の撮像画像に基づいて、画像中の飲食物の種別を食材毎に判別する。具体的には、種別判別部１０ａは、画像中から抽出された各オブジェクトの色や形の特徴に基づいて各食材の種別を判別する。種別判別部１０ａは、判別結果を指標生成部１０ｃに出力する。

次いで、ステップＳ１０９において、指標生成部１０ｃは、種別判別部１０ａにより判別された各食材の種別に応じて、各食材の指標を生成する。具体的には、指標生成部１０ｃは、ストレージ部２２に格納されている種別判別用データから、判別された食材の種別に紐付けられた所定の指標を抽出して、当該食材の指標として生成する。なお指標生成部１０ｃは、撮像画像に基づいて推定された当該食材の大きさや量に応じた指標を生成してもよい。指標生成部１０ｃは、生成した指標を出力データ処理部１６に供給する。

次に、ステップＳ１１２において、表示制御部１７は、出力データ処理部１６から供給された各食材の指標を含む画像を表示部２に表示するよう制御する。例えば表示制御部１７は、図１に示すように、各食材のカロリー表示３２ａ〜３２ｃを、各食材に対応する位置に表示するよう制御する。

続いて、ユーザにより表示拒否の指示があった場合（Ｓ１１５／Ｙｅｓ）、ステップＳ１１８において、ＨＭＤ１は指標を非表示にし、飲食物を通常表示するよう制御する。なお飲食物の通常表示制御は、表示部２の透過制御であってもよい。また、ユーザによる表示拒否の指示は、例えば音声入力部６からの音声入力または撮像部３からのジェスチャー入力である。

次に、ユーザにより別指標の表示指示があった場合（Ｓ１２１／Ｙｅｓ）、ステップＳ１２４において、ＨＭＤ１は、別指標を表示するよう制御する。例えば、ＨＭＤ１は、別指標として、各食材のコレステロールの表示を、各食材に対応する位置に表示するよう制御する。

（２−２−２．視線に応じた指標表示処理）
以上図３を参照して説明した指標表示処理では、図１に示すように、撮像された飲食物の全食材の指標を表示しているが、本実施形態による指標表示処理はこれに限定されない。例えばＨＭＤ１が視線入力機能を有している場合、ＨＭＤ１は、ユーザが視ている食材の指標を表示するよう制御することができる。以下、図４を参照してユーザの視線に応じた指標表示処理について説明する。なお本実施形態では、例えばＨＭＤ１に、装着時にユーザの眼を撮影可能な撮像レンズ（不図示）が設けられ、撮像部３は、当該撮像レンズによりユーザの眼を撮像する。そして撮像された撮像画像に基づいて、撮像画像解析部１３が瞳孔の動きを追跡し、主制御部１０が、撮像画像解析部１３による追跡結果に基づいて視線の向きを抽出することができる。

図４は、本実施形態による視線に応じた指標表示処理を示すフローチャートである。図４に示すように、まずステップＳ１３３において、ＨＭＤ１は、撮像部３により飲食物の撮像を開始する。

次に、ステップＳ１３６において、ＨＭＤ１は、食事アドバイザモードに設定されているか否かを判断する。上記図３に示す例では、指標表示後に表示拒否の指示があった場合に、指標を非表示にしていたが（Ｓ１１５、Ｓ１１８）、本実施形態によるＨＭＤ１は、予め食事アドバイザモードに設定されているか否かに応じて指標の表示可否を判断することも可能である。

次いで、食事アドバイザモードに設定されていない場合（Ｓ１１５／Ｎｏ）、ステップＳ１３９において、ＨＭＤ１は、飲食物を通常表示するよう制御する。

一方、食事アドバイザモードに設定されている場合（Ｓ１１５／Ｙｅｓ）、ステップＳ１４２において、ＨＭＤ１は、ユーザの視線抽出（視線入力情報の取得）を行う。具体的には、装着時にユーザの眼を撮影可能な位置に設置されている撮像レンズ（不図示）により撮像された眼の画像に基づいて、撮像画像解析部１３により瞳孔の動きを追跡し、追跡結果が主制御部１０に出力される。そして、主制御部１０は、瞳孔の動きの追跡結果に基づいて、ユーザの視線の向きを抽出する。

次に、ステップＳ１４５において、主制御部１０は、ユーザの視線の向きと飲食物の撮像画像に基づいて、ユーザの視線の先にある食材にフォーカスする。すなわち、主制御部１０は、撮像画像中の飲食物（複数のオブジェクト）のうち、ユーザが視ている食材（特定のオブジェクト）を対象として選択する。

次いで、ステップＳ１４８において、種別判別部１０ａは、対象として選択された食材（特定のオブジェクト）の種別を判別する。

続いて、ステップＳ１５１において、指標生成部１０ｃは、判別された食材の種別に応じた指標、例えばカロリー数値を生成する。

そして、ステップＳ１５４において、表示制御部１７は、出力データ処理部１６から供給されたフォーカスされた食材の指標を含む画像を表示部２に表示するよう制御する。このように、本実施形態によるＨＭＤ１は、ユーザが視ている食材の指標を表示する制御を行うことができる。

なおユーザにより別指標の表示指示があった場合（Ｓ１５７／Ｙｅｓ）、ステップＳ１６０において、ＨＭＤ１は、フォーカスされた食材の別指標を表示するよう制御する。例えばＨＭＤ１は、別指標として、フォーカスされた食材のコレステロール数値を表示部２に表示する。

（２−２−３．上限値に応じた指標表示処理）
以上図３、図４を参照して説明した各指標表示処理では、食材の指標を表示してユーザに提示しているが、指標で示される値の摂取上限値が設定されている場合、本実施形態によるＨＭＤ１は、上限値に応じた指標表示処理を行うことも可能である。例えばＨＭＤ１は、蓄積制御部１０ｅによりユーザが摂取した分の指標を蓄積し、１日や１週間等所定の期間における摂取上限値と比較した上で、警告表示等を行う。これにより、ユーザの食生活の支援技術をさらに向上させることができる。以下、図５を参照して上限値に応じた指標表示処理について説明する。

図５は、本実施形態による上限値に応じた指標表示処理を示すフローチャートである。図５に示すように、まずステップＳ２０３において、ユーザによる飲食が開始される。飲食の開始は、撮像部３により撮像した画像から飲食物が抽出された場合に、主制御部１０により判断されてもよい。ここで、特定の指標で示される数値（例えばコレステロール値）の摂取量をＡＥとし、所定の期間における現在までの積算値をＡＥｔとする。主制御部１０は、飲食開始時に、ＡＥ＝ＡＥｔと認識する。

次に、ステップＳ２０６において、ＨＭＤ１は、各食材の指標を表示する。具体的には、ＨＭＤ１は、図３のＳ１０３〜Ｓ１１２に示す処理を実行する。

次いで、ステップＳ２０９において、ＨＭＤ１の主制御部１０は、ユーザに飲食された一口分の食材の指標を認識する。具体的には、主制御部１０は、撮像画像に基づいて、箸、スプーン、フォーク等でユーザの口に運ばれた食材を特定し、当該食材の指標を認識する。ここで、一口分の指標（追加値）をＡＥｊと示す。

次に、ステップＳ２１２において、主制御部１０の算出部１０ｆは、ＡＥ（＝ＡＥｔ）にＡＥｊを積算した場合の指標値（ＡＥの現在値）を算出し、算出結果を出力データ処理部１６に供給する。また、算出部１０ｆは、予め設定された所定期間における摂取上限値に対する現在値の割合（Ｑ％）を算出してもよい。摂取上限値は、例えば１日の摂取カロリー上限値や、１週間の摂取カロリー上限値、１日のコレステロール上限値等である。また、このような上限値は、ユーザの医療情報や健康情報に基づいて設定されていてもよい。

次いで、ステップＳ２１５において、表示制御部１７は、出力データ処理部１６から供給されたＡＥの現在値（ＡＥ＋ＡＥｊ）、または上限値に対する現在値の割合（Ｑ％）を含む画像を表示部２に表示するよう制御する。これによりユーザは、現在まで摂取した指標の現在値（ＡＥ＋ＡＥｊ）や、上限値に対する現在値の割合（Ｑ％）を認識することができるので、今後の飲食を控える等の対応を行うことができる。

続いて、主制御部１０は、ユーザが飲食を継続するか否かを判断する。主制御部１０は、例えば撮像レンズ３ａにより撮像された撮像画像に基づいて、ユーザが次の食材をスプーンですくう等の動作が抽出された場合に、飲食継続と判断する。

次に、飲食を継続せず食事が終了した場合（Ｓ２１８／Ｎｏ）、ステップＳ２２１において、主制御部１０は、上記Ｓ２１２で算出したＡＥ（ＡＥ＋ＡＥｊ）を、所定の期間における現在までの積算値であるＡＥｔとしてストレージ部２２に保存、および表示部２に表示させる。

次いで、ユーザが飲食を継続する場合（Ｓ２１８／Ｙｅｓ）、ステップＳ２２４において、主制御部１０は、上記Ｓ２１５で表示したＱ％（上限値に対する現在値の割合）が、９０％以上か否かを判断する。

次に、９０％を下回る場合（Ｓ２２４／Ｎｏ）、ステップＳ２２７において、主制御部１０は、上記Ｓ２１５で表示したＱ％を通常表示する。

一方、９０％以上の場合（Ｓ２２４／Ｙｅｓ）、ステップＳ２３０において、主制御部１０は、上記Ｓ２１５で表示したＱ％が、１００＋ａ（アルファ）％以上か否かを判断する。すなわち、主制御部１０は、ＡＥの現在値が上限値＋ａ（アルファ）を超えたか否かを判断する。

次いで、１００＋ａ％を下回る場合（Ｓ２３０／Ｎｏ）、ステップＳ２３６において、主制御部１０は、表示部２からの警告表示または音声出力部５からの警告アナウンスを行うよう表示制御部１７または音声制御部１８に指示する。これにより、ＨＭＤ１は、ＡＥの現在値が９０〜１００＋ａ％の間の場合に、ユーザに対して警告を行い、所定の指標（例えばカロリーやコレステロール）の摂取を注意するよう促すことができる。

一方、１００＋ａ％以上の場合（Ｓ２３０／Ｙｅｓ）、ステップＳ２３３において、主制御部１０は、表示部２からのストップ表示または音声出力部５からのストップアナウンスを行うよう表示制御部１７または音声制御部１８に指示する。ストップ通知は、警告通知よりも注意レベルが高く、例えば主制御部１０は「飲食禁止」と大きく表示部２に表示させたり、飲食を終了するまで音声出力部５から警告音を出力させたりする。

そして、ステップＳ２３９において、主制御部１０は、ユーザが追加飲食を行ったか否かを判断する。主制御部１０は、例えば撮像レンズ３ａにより撮像された撮像画像に基づいて、ユーザが一口分の食材を口に運ぶ等の動作が抽出された場合に、追加飲食を行ったと判断する。追加飲食が行われた場合（Ｓ２３９／Ｙｅｓ）、主制御部１０は上記Ｓ２０９に示す処理を再び行い、追加飲食が行われなかった場合（Ｓ２３９／Ｎｏ）、処理が終了する。

以上、図３〜５を参照して本実施形態による指標表示処理について具体的に説明した。なお、上述した例では、各食材の種別に応じた指標を表示する場合について説明したが、本実施形態はこれに限定されず、例えば推薦判断部１０ｄで判断された各食材の好適／不適を、食材毎に表示してもよい。

＜＜３．画面表示例＞＞
次に、本実施形態による画面表示例について図６〜図１４を参照して説明する。本実施形態によるＨＭＤ１は、食材の種別に応じた指標の表示や、蓄積した指標に基づく算出結果の表示、また、食材の好適／不適を示す表示を行うことで、ユーザの食生活を支援することができる。

＜３−１．指標表示＞
まず、各食材の指標の表示例について、図６〜図１０を参照して説明する。

図６は、推定料理の確認画面の一例を示す図である。本実施形態では、各食材の種別を判別する前に、主制御部１０が、撮像画像解析部１３の解析結果に応じて何の料理であるかを認識し、表示部２に表示することでユーザに確認してもよい。

具体的には、表示制御部１７は、図６に示す表示画面Ｐ２のように、撮像した飲食物を認識中であることを示す画像４０を表示し、次に図６に示す表示画面Ｐ３のように、主制御部１０により認識された料理名を示す画像４１を表示する。この際、表示制御部１７は、「認識結果が適切でない場合は、『再認識』と発声してください。」とのテキストを含む画像４２も表示し、誤っていた場合には音声入力により再認識を指示するようユーザに促すことも可能である。

続いて、再認識の指示がなかった場合、主制御部１０は、種別判別部１０ａにより撮像画像中の各食材の種別を判別し、判別された種別に応じて指標生成部１０ｃにより生成された各食材の指標を表示部２に表示する。具体的には、例えば図７に示す表示画面Ｐ５のように、主制御部１０は、各食材のカロリーや質量を示す指標表画像３３ａを表示する。この際、表示制御部１７は、各食材と、その指標が対応するよう表示してもよい。例えば表示制御部１７は、図７に示すように、豚レバーと豚レバーの指標を関連付ける表示や、もやしともやしの指標を関連付ける表示、およびにらとにらの指標を関連付ける表示を行うことができる。

また、他の飲食物の場合における各食材のカロリーや質量を示す指標表画像３３ｂの表示例を図８に示す。図８に示す表示画面Ｐ６のように、ユーザがラーメンを食べる際には、主制御部１０により、ラーメンの各食材のカロリーや質量を示す指標表画像３３ｂが表示される。また、表示制御部１７は、図８に示すように、麺と麺の指標を関連付ける表示や、茹で玉子と茹で玉子の指標を関連付ける表示、およびチャーシューとチャーシューの指標を関連付ける表示を行うことができる。

また、本実施形態による指標表は、図７や図８に示す各食材のカロリーや質量を示す指標表に限定されず、例えば栄養成分を示す指標表であってもよい。ここで、図９に飲食物の栄養成分を示す指標表画像３４ａの一例を示す。本実施形態による主制御部１０は、図９に示す表示画面Ｐ７のように、レバニラ炒めの栄養成分を示す指標表画像３４ａが表示される。なお図９では、一例としてレバニラ炒め全体の栄養成分を示す指標表画像３４ａが表示されているが、本実施形態による主制御部１０は、この他レバニラ炒めの各食材の栄養成分を示す指標画像を表示することもできる。

さらに、本実施形態による主制御部１０は、ユーザが飲食しようとしている食材の周囲にその食材の指標を表示し、飲食に伴う食材の位置移動に応じて指標の表示位置も移動させることが可能である。ここで、図１０に、飲食対象の周囲に指標を表示する場合について説明するための図を示す。

本実施形態による表示制御部１７は、図１０に示す表示画面Ｐ９のように、飲食対象の食材（例えばユーザが箸で掴んでいる食材）の周囲に、その食材の指標を示す画像３２ｄを表示する。具体的には、撮像部３によりユーザの飲食動作が撮像され、撮像された画像が撮像画像解析部１３により解析され、解析結果に基づいて種別判別部１０ａにより飲食対象の食材の種別（例えば豚レバー）が判別される。次いで、指標生成部１０ｃが、種別判別部１０ａにより判別された種別に応じた指標（例えば豚レバー１枚分のカロリー）を生成し、出力データ処理部１６に供給する。そして、表示制御部１７は、出力データ処理部１６から供給された指標を示す画像（例えば図１０に示す画像３２ｄ）を、表示部２において、飲食対象の食材（図１０に示す例では豚レバー）の周囲に表示するよう制御する。

さらに、本実施形態による表示制御部１７は、図１０に示す表示画面Ｐ１０のように、飲食対象の食材がユーザの飲食動作に伴って近付くと、指標を示す画像３２ｄの表示位置も、食材の移動に応じて移動させる。また、この際、表示制御部１７は、飲食対象の食材がユーザに近付く（ＨＭＤ１に近付く）ことに応じて、指標を示す画像３２ｄを徐々に大きく表示することで、指標を示す画像３２ｄもユーザに近付いているように見せることが可能である。

＜３−２．好適／不適表示＞
以上、図６〜図１０を参照して指標の画面表示例について詳細に説明した。次に、本実施形態のＨＭＤ１による食材の好適／不適表示について説明する。上述したように、本実施形態によるＨＭＤ１の主制御部１０は、推薦判断部１０ｄを有し、推薦判断部１０ｄにより各食材がユーザに好適か否かが判断される。そして、表示制御部１７により、各食材が好適か否かを示す画像が、その食材に対応するよう表示制御される。以下、図１１を参照して食材の好適／不適表示について具体的に説明する。

図１１は、食材の好適／不適表示例を説明するための図である。図１１に示すように、ユーザがレバニラ炒めを食べようとする際に、種別判別部１０ａにより各食材の種別（にら、豚レバー、もやし）が判別され、推薦判断部１０ｄにより、各食材が好適か（推薦できるか）否かが判断される。ここで、推薦判断部１０ｄは、例えばユーザの医療情報に基づいてユーザがコレステロールに注意しなければならないことが判明した場合、コレステロールが多い／増やす食材を不適食材、コレステロールが少ない／減らす食材を好適食材と判断する。具体的には、推薦判断部１０ｄは、例えば豚レバーはコレステロールが多いために不適食材と判断し、もやしは食物繊維が多くコレステロールを減らす働きがあるために好適食材と判断する。続いて、推薦判断部１０ｄは、判断結果を出力データ処理部１６に供給する。

そして、表示制御部１７は、図１１に示す表示画面Ｐ１１のように、豚レバーが不適食材であることを示す画像４４ａと、もやしが好適食材であることを示す画像４４ｂを表示するよう制御する。これにより、ユーザは、料理全体ではなく、各食材の好適／不適食材を把握することができるので、好適な食材を積極的に摂取し、不適な食材は摂取しないよう注意することができる。なお図１１に示す例では、好適食材の場合は「お薦め食材です」とテキスト表示し、不適食材の場合は「コレステロール注意」とテキスト表示しているが、本実施形態による好適／不適の表示はテキスト表示に限定されず、例えば〇×で表示されてもよい。また、表示制御部１７は、「ＯＫ／ＮＧ」とテキストで表示してもよい。さらに、表示制御部１７は、各食材の不適度（危険度）や好適度（推薦度）を数値（評価値）で表示してもよい。また、好適／不適は、表示制御部１７による表示通知に限定されず、音声や振動で通知してもよい。

＜３−３．蓄積した指標に基づく算出指標の表示＞
続いて、本実施形態のＨＭＤ１による算出指標の表示について説明する。上述したように、本実施形態によるＨＭＤ１の主制御部１０は、蓄積制御部１０ｅおよび算出部１０ｆを有し、蓄積制御部１０ｅにより指標の蓄積が行われる。また、算出部１０ｆにより、蓄積された指標および指標生成部１０ｃにより現在生成された指標に基づく新たな指標の値が算出される。新たな指標の値とは、例えば所定期間における総摂取指標や、今後摂取可能な残指標である。そして、表示制御部１７により、算出された新たな指標が表示されるよう制御される。以下、図１２および図１３を参照して算出指標の表示について具体的に説明する。

図１２は、飲食物の残りの指標を示す場合について説明するための図である。本実施形態による表示制御部１７は、図１２の表示画面Ｐ１３に示すように、飲食物全体の指標をバーで示す画像３６ａを表示する。飲食物の指標は、例えばカロリー数値であって、指標生成部１０ｃにより生成される。

次いで、ユーザが飲食を開始すると、主制御部１０の指標生成部１０ｃは、撮像部３により撮像された撮像画像に基づいて、ユーザに飲食された食材に応じた（一口分の）カロリー数値を生成し、蓄積制御部１０ｅに供給する。蓄積制御部１０ｅはユーザに飲食された一口分のカロリー数値をストレージ部２２に蓄積していく。次に、算出部１０ｆは、飲食物のカロリー数値から、ストレージ部２２に飲食開始時から蓄積されたカロリー数値および指標生成部１０ｃにより現在生成されたカロリー数値（現在摂取したカロリー数値）を減算し、残りのカロリー数値を算出する。算出部１０ｆは、このように算出した残りのカロリー数値を出力データ処理部１６に供給する。そして、表示制御部１７は、出力データ処理部１６から供給された残りのカロリー数値を、図１２に示す表示画面Ｐ１４のように、飲食物の総カロリーの数値と比較可能なようにバーで示す画像３６ａ’を表示するよう制御する。これにより、ユーザは、飲食物を飲食しながらリアルタイムで現在の摂取指標を把握することができる。

以上図１２を参照して説明した例では、１回の食事における指標の変化について表示したが、本実施形態による表示制御部１７は、１日や１週間等所定の期間において蓄積された指標の表示や、所定の期間における摂取可能な残指標の表示を行うこともできる。以下図１３を参照して具体的に説明する。

図１３は、１週間の総摂取指標を示す場合について説明するための図である。本実施形態による表示制御部１７は、図１３の表示画面Ｐ１５のように、現在ユーザが飲食しようとしている飲食物の総指標（例えば総カロリー数値）を示す画像３６ｂの他、所定の期間、例えば１週間の総摂取カロリー数値を示す画像３７を表示する。１週間の総摂取カロリー数値は、蓄積制御部１０ｅにより１週間の起算日からストレージ部２２に蓄積された摂取カロリー数値と、画像３６ｂで示す飲食物の総カロリー数値（指標生成部１０ｃにより現在生成された指標）を、算出部１０ｆが加算したものである。これにより、ユーザは、飲食時に、１週間等の所定の期間における総摂取指標を直感的に把握することができる。

＜３−４．調理方法に応じた指標の表示＞
次に、本実施形態のＨＭＤ１による調理方法に応じた指標の表示について説明する。上述したように、本実施形態によるＨＭＤ１の主制御部１０は、調理方法判別部１０ｂを有し、調理方法判別部１０ｂにより飲食物の調理方法が判別され、判別された調理方法に応じて指標生成部１０ｃにより各食材の指標が再生成される。これにより、調理方法によって変化する場合も考慮した指標を表示することができる。以下、図１４を参照して調理方法に応じた指標の表示について具体的に説明する。

図１４は、調理方法に応じた指標の表示について説明するための図である。本実施形態による表示制御部１７は、図１４に示す表示画面Ｐ１６のように、調理方法判別部１０ｂにより判別された調理方法を示す画像４６と、各食材の栄養成分を示す画像３８ａ、３８ｂ、３８ｃを表示することができる。図１４に示す例では、調理方法判別部１０ｂにより調理方法が「炒めもの」と判別され、指標生成部１０ｃにより、各食材の加熱後の指標が生成される。指標は、一例として栄養成分が示されている。なお、指標生成部１０ｃは、食材に含まれている複数の栄養成分のうち、代表的な栄養成分を生成してもよいし、ユーザの医療情報や健康情報等に応じてユーザにとって重要な栄養成分を抽出して生成してもよい。

＜＜４．まとめ＞＞
上述したように、本実施形態によるＨＭＤ１では、飲食物の種別に応じた指標を、ユーザの飲食中にリアルタイムで提示することができる。

また、ＨＭＤ１は、飲食物に含まれる各食材の好適／不適表示を行うこともできる。

また、ＨＭＤ１は、蓄積された指標に基づいて新たに算出された指標を提示することもできる。

さらに、ＨＭＤ１は、料理の調理方法に応じた指標を再生成して提示することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、ＨＭＤ１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、上述したＨＭＤ１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、上記各実施形態では、情報処理装置の一例としてＨＭＤ１を用いたが、本実施形態による情報処理装置はＨＭＤ１に限定されず、例えば、スマートフォンおよび眼鏡型ディスプレイから形成される表示制御システムであってもよい。スマートフォン（情報処理装置）は、眼鏡型ディスプレイと無線／有線により接続可能であって、データの送受信を行うことができる。

ここで、眼鏡型ディスプレイとは、図１に示すＨＭＤ１と同様に、両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、両耳殻にかけられることでユーザに装着される。また、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部が配置される構成とされている。ＨＭＤ１は表示部２の液晶パネルの透過率を制御することで、スルー状態、即ち透明または半透明の状態にできるので、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。

また、眼鏡型ディスプレイには、図１に示すＨＭＤ１と同様に、装着状態において、ユーザの視線方向を撮像するための撮像レンズが設けられ、眼鏡型ディスプレイは、撮像した画像をスマートフォン（情報処理装置）に送信する。

スマートフォン（情報処理装置）は、主制御部１０と同様の機能を有し、撮像画像から飲食物の各食材を判別し、判別した食材の指標を示す画像を生成する。そして、スマートフォン（情報処理装置）は、生成した画像を眼鏡型ディスプレイに送信し、眼鏡型ディスプレイの表示部に、各食材の指標を示す画像が表示される。

また、眼鏡型ディスプレイと形状は類似しているが表示機能を有しない眼鏡型装置への適用も考えられる。この場合、眼鏡型装置に設けられた、装着者（ユーザ）の視線方向を撮影するカメラにより飲食物を撮像し、撮像画像がスマートフォン（情報処理装置）に送信される。そして、スマートフォン（情報処理装置）は、撮像画像に写る飲食物の各食材の指標を示す画像を生成し、スマートフォンの表示部に表示する。

さらに、上述した実施形態では、ＨＭＤ１の撮像画像解析部１３による撮像画像の解析結果に基づいて、種別判別部１０ａが各食材の種別を判別したり、調理方法判別部１０ｂが調理方法を判別したりする旨を記載したが、かかる撮像画像の解析処理はクラウド上で行われてもよい。ＨＭＤ１は、通信部２１を介して料理の撮像画像をクラウド上に送り、クラウド上（例えば解析用サーバ）で解析された結果を受信し、これに基づいて種別判別部１０ａや調理方法判別部１０ｂにより各種判別を行う。

なお、本技術は以下のような構成も取ることができる。
（１）
撮像した画像中の飲食物の種別を判別する種別判別部と、
前記種別判別部により判別された前記飲食物の種別に応じた指標を生成する生成部と、
前記生成部により生成された指標を表示部に表示するよう制御する表示制御部と、
を備える、情報処理装置。
（２）
前記種別判別部は、食材毎に種別を判別する、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記種別判別部により判別された食材毎に、好適か否かを示すよう制御する、前記（２）に記載の情報処理装置。
（４）
前記情報処理装置は、前記種別判別部により判別された食材毎に、好適か否かを音声または振動で通知するよう制御する通知制御部をさらに備える、前記（３）に記載の情報処理装置。
（５）
前記表示制御部は、前記指標を、前記種別判別部により判別された食材の位置に対応して表示するよう制御する、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記表示制御部は、前記指標をユーザが飲食しようとしている食材の周囲に表示し、前記食材の位置移動に応じて前記指標の表示位置を移動させる、前記（５）に記載の情報処理装置。
（７）
前記表示制御部は、撮像対象である実空間の食材の位置に対応して前記指標を表示するよう制御する、前記（５）または（６）に記載の情報処理装置。
（８）
前記表示制御部は、前記撮像した画像中の食材の位置に対応するよう前記指標を前記撮像した画像に重畳表示する、前記（５）または（６）に記載の情報処理装置。
（９）
前記情報処理装置は、
前記指標を蓄積するよう制御する蓄積制御部と、
蓄積した指標および前記生成部により現在生成された指標に基づき、新たな指標の値を算出する算出部と、
をさらに備え、
前記表示制御部は、前記算出部により算出された新たな指標を表示するよう制御する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記情報処理装置は、前記撮像した画像中の飲食物の調理方法を判別する調理方法判別部をさらに備える、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記生成部は、前記飲食物の種別に応じた指標を、前記調理方法判別部により判別された調理方法に応じて再生成する、前記（１０）に記載の情報処理装置。
（１２）
前記生成部は、ユーザの医療情報、健康情報、遺伝情報、または体質情報と、前記種別判別部により判別された前記飲食物の種別とに応じて、指標を生成する、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記指標は、カロリー、ビタミン、脂質、糖分、塩分、プリン体、またはコレステロールの数値、好適度、または危険度である、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
コンピュータを、
撮像した画像中の飲食物の種別を判別する種別判別部と、
前記種別判別部により判別された前記飲食物の種別に応じた指標を生成する生成部と、
前記生成部により生成された指標を表示部に表示するよう制御する表示制御部と、
として機能させるためのプログラムが記憶された記憶媒体。

１ ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）
２ 表示部
３ 撮像部
３ａ 撮像レンズ
４ 照明部
４ａ 発光部
５ 音声出力部
６ 音声入力部
１０ 主制御部
１０ａ 種別判別部
１０ｂ 調理方法判別部
１０ｃ 指標生成部
１０ｄ 推薦判断部
１０ｅ 蓄積制御部
１０ｆ 算出部
１１ 撮像制御部
１２ 撮像信号処理部
１３ 撮像画像解析部
１４ 照明制御部
１５ 音声信号処理部
１６ 出力データ処理部
１７ 表示制御部
１８ 音声制御部
２１ 通信部
２２ ストレージ部
Ｐ１〜Ｐ１６ 表示画面
３２ａ〜３２ｃ カロリー表示
３３ａ、３３ｂ 指標表画像
３８ａ〜３８ｃ 栄養成分を示す画像

Claims (14)

1. 撮像した画像中の飲食物の種別を判別する種別判別部と、
   前記種別判別部により判別された前記飲食物の種別に応じた指標を生成する生成部と、
   前記生成部により生成された指標を表示部に表示するよう制御する表示制御部と、
   を備える、情報処理装置。
2. 前記種別判別部は、食材毎に種別を判別する、請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記種別判別部により判別された食材毎に、好適か否かを示すよう制御する、請求項２に記載の情報処理装置。
4. 前記情報処理装置は、前記種別判別部により判別された食材毎に、好適か否かを音声または振動で通知するよう制御する通知制御部をさらに備える、請求項３に記載の情報処理装置。
5. 前記表示制御部は、前記指標を、前記種別判別部により判別された食材の位置に対応して表示するよう制御する、請求項２に記載の情報処理装置。
6. 前記表示制御部は、前記指標をユーザが飲食しようとしている食材の周囲に表示し、前記食材の位置移動に応じて前記指標の表示位置を移動させる、請求項５に記載の情報処理装置。
7. 前記表示制御部は、撮像対象である実空間の食材の位置に対応して前記指標を表示するよう制御する、請求項５に記載の情報処理装置。
8. 前記表示制御部は、前記撮像した画像中の食材の位置に対応するよう前記指標を前記撮像した画像に重畳表示する、請求項５に記載の情報処理装置。
9. 前記情報処理装置は、
   前記指標を蓄積するよう制御する蓄積制御部と、
   蓄積した指標および前記生成部により現在生成された指標に基づき、新たな指標の値を算出する算出部と、
   をさらに備え、
   前記表示制御部は、前記算出部により算出された新たな指標を表示するよう制御する、請求項１に記載の情報処理装置。
10. 前記情報処理装置は、前記撮像した画像中の飲食物の調理方法を判別する調理方法判別部をさらに備える、請求項１に記載の情報処理装置。
11. 前記生成部は、前記飲食物の種別に応じた指標を、前記調理方法判別部により判別された調理方法に応じて再生成する、請求項１０に記載の情報処理装置。
12. 前記生成部は、ユーザの医療情報、健康情報、遺伝情報、または体質情報と、前記種別判別部により判別された前記飲食物の種別とに応じて、指標を生成する、請求項１に記載の情報処理装置。
13. 前記指標は、カロリー、ビタミン、脂質、糖分、塩分、プリン体、またはコレステロールの数値、好適度、または危険度である、請求項１に記載の情報処理装置。
14. コンピュータを、
    撮像した画像中の飲食物の種別を判別する種別判別部と、
    前記種別判別部により判別された前記飲食物の種別に応じた指標を生成する生成部と、
    前記生成部により生成された指標を表示部に表示するよう制御する表示制御部と、
    として機能させるためのプログラムが記憶された記憶媒体。
    
    

Images