JP6098326B2 - 情報処理装置および記憶媒体 - Google Patents

Description

本開示は、情報処理装置および記憶媒体に関する。

近年、食生活管理を支援する装置が提案されている。

例えば、下特許文献１には、料理が用意された食卓を照明する照明手段と、食卓を撮影可能な状態で照明手段に設置された撮像手段とを有し、容易に飲食物を記録することができると共に、ストロボ等のカメラ専用の照明が不要となるため、コストを低減することができる撮影システムが開示されている。

また、下記特許文献２には、イベントが進行する時間の経過と共に、顧客に対応した照明手段の照明を変化させる演出を行って、顧客満足度を向上させるイベント演出システムが開示されている。

特開２００８−１９３５７０号公報 特開２００９−１５１６１６号公報

しかしながら、特許文献１では、食事中か否かに応じて、また、料理の食材によって照明を変更する点については何ら考慮されていない。

また、特許文献２では、照明を変化させてイベントを演出する点については言及されているが、料理や食材に応じて、料理や食材を美味しく見せるための照明制御や、食欲を抑制するための照明制御等については何ら考慮されていない。

そこで、本開示では、飲食物に対して照明効果を付加することで食生活を支援することが可能な、新規かつ改良された情報処理装置および記憶媒体を提案する。

本開示によれば、ユーザが飲食物を摂取中であるか否か、またはユーザの周辺に飲食物が存在するか否かを判別する判別部と、前記判別部による判別結果に応じて、実空間に存在する前記飲食物または前記飲食物の撮像画像に対して照明効果を付加する付加部に制御信号を出力するよう制御する制御部と、を備える、情報処理装置を提案する。

本開示によれば、コンピュータを、ユーザが飲食物を摂取中であるか否か、またはユーザの周辺に飲食物が存在するか否かを判別する判別部と、前記判別部による判別結果に応じて、実空間に存在する前記飲食物または前記飲食物の撮像画像に対して照明効果を付加する付加部に制御信号を出力するよう制御する制御部と、として機能させるためのプログラムが記憶された記憶媒体を提案する。

以上説明したように本開示によれば、飲食物に対して照明効果を付加することで食生活を支援することが可能となる。

本開示の一実施形態による照明システムの概要を説明するための図である。 本実施形態によるＨＭＤの内部構成の一例を示すブロック図である。 本実施形態によるサーバの内部構成の一例を示すブロック図である。 蛍光灯的照明効果を付加した場合と、白熱灯的照明効果を付加した場合における料理の見え方の違いについて説明するための図である。 飲食物に対して、白熱灯的効果と、飲食物の状態の良さを演出するための画像を付加した場合の一例を示す図である。 食器やテーブルに対して、飲食物の状態の良さ／悪さを演出するための画像を付加した場合の一例を示す図である。 本実施形態による第１の照明制御の処理を示すフローチャートである。 本実施形態による第２の照明制御の処理を示すフローチャートである。 本実施形態による白熱灯的／蛍光灯的照明効果を画像処理により付加する場合の処理を示すフローチャートである。 本実施形態による混合型の動作処理を示すフローチャートである。 本実施形態による混合型モード対応の動作処理を示すフローチャートである。 本実施形態による混合型モード対応の動作処理を示すフローチャートである。 他の実施形態によるＨＭＤの主制御部の機能構成を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による照明システムの概要
２．基本構成
２−１．ＨＭＤの基本構成
２−２．サーバの基本構成
３．動作処理
３−１．第１の照明制御
３−２．第２の照明制御
３−３．画像処理
３−４．混合型
３−５．混合型モード対応
４．他の実施形態
５．まとめ

＜＜１．本開示の一実施形態による照明システムの概要＞＞
まず、本開示の一実施形態による照明システムの概要について、図１を参照して説明する。

図１は、本開示の一実施形態による照明システムの概要を説明するための図である。図１に示すように、本実施形態による照明システムは、ユーザ８に装着されるＨＭＤ１、サーバ３０、および照明装置４０を含む。

サーバ３０（情報処理装置）は、ネットワーク上に存在し、無線ＬＡＮ等を介してＨＭＤ１および照明装置４０と通信することができる。

ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１は、図１に示すように、眼鏡型であって、ユーザ８に装着されている。ＨＭＤ１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、図１に示すように両耳殻にかけられることでユーザ８に装着される。

また、ＨＭＤ１は、装着状態において、ユーザ８の両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２が配置される構成となっている。表示部２には、例えば撮像レンズ３ａで撮像された現実空間に存在する料理Ｓ１、Ｓ２、Ｓ３の撮像画像が表示される。また、表示部２は透過型であってもよく、ＨＭＤ１により表示部２がスルー状態、即ち透明または半透明の状態とされることで、ユーザ８は、ＨＭＤ１を眼鏡のように常時装着していても通常の生活には支障がない。

また、ＨＭＤ１には、図１に示すように、ユーザ８に装着された状態で、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。さらに、撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により形成される。

また、図１では左耳側しか示されていないが、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。また、右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ、６ｂが配置される。

また、ＨＭＤ１には、図１に示すように、ユーザ８に装着された状態で、ユーザが視認する方向を投影方向として画像を投影するように、前方に向けて投影レンズ７ａが配置されている。

なお、図１に示すＨＭＤ１の外観は一例であり、ＨＭＤ１をユーザが装着するための構造は多様に考えられる。ＨＭＤ１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。

また、撮像レンズ３ａ、照明を行う発光部４ａは、図１に示す例では右眼側に前方に向けて配置されているが、左眼側に配置されてもよいし、両側に配置されてもよい。

また、投影レンズ７ａは、図１に示す例では左眼側に前方に向けて配置されているが、右眼側に配置されてもよいし、両側に配置されてもよい。

また、イヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。また、マイクロホンも、マイクロホン６ａ、６ｂのうちの一方でもよい。

さらに、マイクロホン６ａ、６ｂ、イヤホンスピーカ５ａ、発光部４ａ、または投影レンズ７ａを備えない構成も考えられる。

照明装置４０は、白熱灯照明部４１および蛍光灯照明部４２を含み、ＨＭＤ１またはサーバ３０からの指示に応じて、白熱灯照明部４１および蛍光灯照明部４２の少なくともいずれかの照明制御を行う。

（背景）
ここで、蛍光灯と白熱灯の特長を比較すると、一般的に以下のようなことが知られている。

例えば蛍光灯は、白熱灯より少ない消費電力で、白熱灯と同じ明るさを提供することできる。つまり、同じワット数であれば、白熱灯より蛍光灯の方が明るいという特長がある。また、一般的に蛍光灯ランプの寿命は白熱灯ランプよりも長い。したがって、蛍光灯を利用した方が、ランニングコストが安いといえる。

一方、操作性の面からは、点灯してから明るさが安定するまでの時間が、蛍光灯よりも白熱灯の方が短いので、比較的短い時間しか点灯しないトイレや玄関、廊下等には、白熱灯が用いられることが多い。

このように、蛍光灯と白熱灯には各々特長があり、用途や目的、何を重視するのかに応じて、各部屋に適切な照明が設置される。例えば長時間点灯するリビングやダイニング、キッチン、ベッドルーム等には、ランニングコストが安い蛍光灯が向いている。特に、細かい作業や、文字を読んだり勉強を行ったりする場合には、細かい部分や文字が明るくはっきり見える昼光色の蛍光灯が向いている。

しかしながら、料理を美味しく見せる明かりとしては、蛍光灯より白熱灯がよいことが知られている。食事において、味覚で感じる美味しさは当然に重要であるが、人間の五感のうち視覚で感じる美味しさも重要である。

具体的には、白熱灯ランプは、穏やかな光色によって、食欲を駆り立てる赤や黄色を強調して鮮やかに見せ、また、白熱ランプによる照明は陰影が付きやすいので、料理に立体感が出て、より一層美味しそうに見せることができる。これに対し、蛍光灯ランプの光は、昼間の太陽のような白っぽい光色で、陰影が付きにくく、全体を均一に明るくするので、料理が平坦な印象に見え、美味しく見せる効果には欠ける。このように、白熱灯の照明と、蛍光灯の照明とでは、視覚で感じる美味しさが異なり、白熱灯の照明であれば食欲が増進し、蛍光灯の照明であれば食欲が抑制されるという効果が生じる。

したがって、通常、食事の際の照明には白熱灯が向いているが、上述したように、細かい作業や文字を読む等の食事以外の作業時には蛍光灯が向いている。また、ＬＤＫが仕切られずに一体となった空間の場合に、ダイニング空間だけに白熱灯を設け、他の空間に蛍光灯を設けると、異なる光の色が同一空間にあるために違和感が生じてしまう。

そこで、上記事情を一着眼点にして本開示の各実施形態による照明システムを創作するに至った。本開示の各実施形態による照明システムは、ユーザが食事中の際、または飲食物が存在する際に、飲食物に対して所定の照明効果（白熱灯的照明効果または蛍光灯的照明効果）を付加することで食生活を支援することができる。

本実施形態による飲食物に対する照明効果の付加は、照明装置４０が有する白熱灯照明部４１および蛍光灯照明部４２の切り替えや、料理Ｓ１〜Ｓ３を撮像レンズ３ａで撮像した撮像画像に対する画像処理、またはＨＭＤ１の投影レンズ７ａによる投影により行われる。このような本実施形態による照明効果の付加については、図４〜図１２を参照して後述する。

以上、本実施形態による照明システムの概要について説明した。続いて、本実施形態による照明システムに含まれるＨＭＤ１およびサーバ３０（情報処理装置）の基本構成について、図２〜図６を参照して説明する。

＜＜２．基本構成＞＞
＜２−１．ＨＭＤの基本構成＞
図２は、本実施形態によるＨＭＤ１の内部構成の一例を示すブロック図である。図２に示すように、本実施形態によるＨＭＤ１は、表示部２、撮像部３、照明部４、音声出力部５、音声入力部６、投影部７、主制御部１０、撮像制御部１１、撮像信号処理部１２、撮像画像解析部１３、照明制御部１４、音声信号処理部１５、表示制御部１７、音声制御部１８、投影制御部１９、通信部２１、およびストレージ部２２を有する。

（主制御部１０）
主制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ＨＭＤ１の各構成を制御する。

本実施形態による主制御部１０は、撮像部３により撮像された撮像画像を、通信部２１を介してサーバ３０に送信するよう制御する。主制御部１０は、撮像部３により継続的に撮像された撮像画像を、通信部２１を介してサーバ３０にリアルタイムで逐次送信してもよい。また、主制御部１０は、サーバ３０から受信した指示（制御信号）に従って、撮像画像に対して所定の照明効果を付加するための画像処理を施すよう表示制御部（画像処理部）を制御する。

（撮像部）
撮像部３は、図１に示す撮像レンズ３ａ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。

（撮像制御部）
撮像制御部１１は、主制御部１０からの指示に基づいて、撮像部３及び撮像信号処理部１２の動作を制御する。例えば撮像制御部１１は、撮像部３、撮像信号処理部１２の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１２のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。

さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１２における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。

（撮像信号処理部）
撮像信号処理部１２は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ)回路や、ビデオＡ／Ｄ（アナログ／デジタル）コンバータを備える。これにより、撮像信号処理部１２は、デジタルデータとしての撮像信号を得る。また、撮像信号処理部１２は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。

（撮像画像解析部）
撮像画像解析部１３は、外界情報を取得するための構成の一例である。具体的には、撮像画像解析部１３は、撮像部３により撮像され、撮像信号処理部１２により処理された画像データ（撮像画像）を解析し、画像データに含まれる画像の情報を得る。具体的には、例えば撮像画像解析部１３は、画像データに対して点検出、線・輪郭検出、領域分割等の解析を行い、解析結果を主制御部１０に出力する。

（照明部、照明制御部）
照明部４は、図１に示した発光部４ａとその発光部４ａを発光させる発光回路から成る。照明制御部１４は、主制御部１０の制御に応じて、照明部４に発光動作を実行させる。照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。

（音声入力部、音声信号処理部）
音声入力部６は、図１に示したマイクロホン６ａ、６ｂと、そのマイクロホン６ａ、６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを音声信号処理部１５に出力する。音声信号処理部１５は、音声入力部６で得られた音声データに対して、ノイズ除去、音源分離等の処理を行う。そして処理した音声データを主制御部１０に供給する。本実施形態によるＨＭＤ１は、音声入力部６および音声信号処理部１５を備えることで、例えばユーザによる音声入力を可能にする。

（表示制御部）
表示制御部１７は、主制御部１０の制御に従って、表示部２に表示する所定の画像データを処理する画像処理部として機能する。具体的には、表示制御部１７は、例えばビデオプロセッサ、デジタルシグナルプロセッサ、Ｄ／Ａ変換器などを含み、表示画像データの生成、生成した表示画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整等を行う。

また、表示制御部１７は、主制御部１０の制御に応じて、所定の画像データを表示部２に表示するよう制御する駆動制御部としても機能する。具体的には、表示制御部１７は、例えば液晶ディスプレイとされる表示部２に画像データを表示させるための画素駆動回路を含む。また、表示制御部１７（駆動制御部）は、表示部２の各画素の透過率を制御し、表示部２をスルー状態（透過、半透過状態）または非スルー状態にすることもできる。

本実施形態による表示制御部１７（画像処理部）は、主制御部１０の制御に従って、撮像された飲食物に対して所定の照明効果を付加するための画像処理を行う。所定の照明効果とは、白熱灯で照明したような穏やかな光色（オレンジ色）によって赤や黄を強調し、点照明により陰影がつきやすいという白熱灯的な照明効果、または蛍光灯で照明したような白い光色によって全体を均一に明るくし、面照明により陰影がつきにくいという蛍光灯的な照明効果である。そして、表示制御部１７が所定の照明効果を付加した画像を表示部２に表示することで、料理をより一層美味しく見せて食欲を増進、または料理が美味しくないように見せて食欲を抑制させることができる。

（表示部）
表示部２は、例えば液晶ディスプレイにより実現され、図１に示すように、ＨＭＤ１がユーザ８に装着された状態で、ユーザ８の両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対で配置される。また、表示部２は、表示制御部１７の制御により、スルー状態または非スルー状態とされ得る。例えば非スルー状態にされた際、表示部２には、撮像レンズ３ａで料理Ｓ１〜Ｓ３を撮像した撮像画像に対して表示制御部１７により所定の照明効果が付加されるよう画像処理された画像が表示される。

（音声制御部）
音声制御部１８は、主制御部１０の制御に応じて、音声信号データの生成、生成した音声信号データの音量調整、音質調整、音響エフェクト等を行う。また、音声制御部１８は、主制御部１０の制御に応じて、所定の音声信号データを音声出力部５から出力するための制御を行う。

（音声出力部）
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。また、音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。音声出力部５は、音声制御部１８による制御に従って、音声信号データを出力（再生）する。

（投影制御部）
投影制御部１９は、主制御部１０の制御に従って、投影部７から投影する所定の画像データを処理する。また、投影制御部１９は、主制御部１０の制御に応じて、所定の画像データを投影部７から投影するよう制御する駆動制御部としても機能する。

（投影部）
投影部７は、図１に示す投影レンズ７ａ、液晶パネル、集光レンズ、光源等の光学系を有する。光源から射出された光は、集光レンズ、液晶パネル、投影レンズ７ａを介して出射し、ＨＭＤ１の前方に映像を投影する。また、投影部７によるプロジェクションマッピング（ＰＭ）技術を用いた投影も可能である。

ここで、液晶パネルは、入射された光を変調し（映像信号に応じて画像を形成するための光変調部としての機能を実現し）、投影レンズ７ａへ出射する。液晶パネルは、上記投影制御部１９により、所定の画像データを形成するよう駆動される。また、集光レンズおよび投影レンズ７ａは、上記投影制御部１９により駆動され、投影画像の照度、投影方向、フォーカス等の調整が行われる。

（ストレージ部）
ストレージ部２２は、所定の記録媒体に対してデータの記録再生を行う部位とされる。ストレージ部２２は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固定メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２２としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。

（通信部）
通信部２１は外部機器との間でのデータの送受信を行う。通信部２１は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。

例えば通信部２１は、図１に示すサーバ３０と無線通信する。

以上、本実施形態によるＨＭＤ１の内部構成について詳細に説明した。なお、音声系の構成として、音声出力部５、音声入力部６、音声信号処理部１５、音声制御部１８を示したが、これらは必ずしも全てを備える必要はない。

＜２−２．サーバの基本構成＞
次に、本実施形態による照明システムに含まれるサーバ３０の構成について図３を参照して説明する。図３は、本実施形態によるサーバ３０の内部構成の一例を示すブロック図である。

図３に示すように、サーバ３０は、主制御部３１、記憶部３２、および通信部３３を有する。

（主制御部）
主制御部３１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、サーバ３０の各構成を制御する。

また、本実施形態による主制御部３１は、図３に示すように、判別部３１ａ、および制御信号出力制御部３１ｂとして機能する。

判別部３１ａは、ＨＭＤ１から送信された撮像画像に基づいて、ユーザが飲食物を摂取中であるか否か、またはユーザの周辺に飲食物が存在するか否かを判別する。例えば判別部３１ａは、撮像画像を解析し、撮像画像中に飲食物（料理）が含まれている場合はユーザの周辺に飲食物が存在すると判別し、さらに、フォークやスプーン等で飲食物を口元に運んでいる場合はユーザが飲食物を摂取中（食事中）であると判別することができる。撮像画像の解析手法は、例えば一般的な画像解析手法が用いられる。具体的には、判別部３１ａは、まず、撮像画像に対して点検出、線・輪郭検出、領域分割等の解析を行い、被写体の形や大きさ、色等の特徴量データまたは局所特徴量データを抽出する。次いで、判別部３１ａは、記憶部３２等に記憶されているモデルデータベースに登録されている各実物体（料理）の特徴量データまたは局所特徴量データと、抽出した特徴量データまたは局所特徴量データを比較し、類似度に応じて被写体が何であるかを解析する。

このように、判別部３１ａは、ユーザが飲食物を摂取中（食事中）であるか否か、またはユーザの周辺に飲食物が存在するか否かを判別し、判別結果を制御信号出力制御部３１ｂに供給する。

制御信号出力制御部３１ｂは、判別部３１ａによる判別結果に応じて、実空間に存在する飲食物または飲食物の撮像画像に対して照明効果を付加する付加部に制御信号を出力するよう制御する。本明細書において、付加部とは、一例として、照明装置４０（白熱灯照明部４１、蛍光灯照明部４２を含む）、ＨＭＤ１の照明部４、投影部７（投影レンズ７ａを含む）、または表示制御部１７（画像処理部）により実現される。なお照明装置４０、照明部４、または投影部７により照明効果が付加される場合、ＨＭＤ１は表示部２を備えない構成でよい。

例えば、本実施形態による制御信号出力制御部３１ｂは、ユーザが食事中またはユーザの周辺に飲食物が存在する場合、飲食物に対して白熱灯的な照明効果を付加するよう、通信部３３を介して付加部に制御信号を送信する。これにより、料理をより一層美味しく見せることができ、ユーザ８の食欲を増進させることができる。

より具体的には、制御信号出力制御部３１ｂは、照明装置４０の白熱灯照明部４１をＯＮ制御させる信号を、通信部３３を介して照明装置４０（付加部の一例）に送信する。または、制御信号出力制御部３１ｂは、ＨＭＤ１に設けられている照明部４が白熱灯照明可能な場合、白熱灯照明ＯＮの制御信号を、通信部３３を介してＨＭＤ１に送信する。

若しくは、制御信号出力制御部３１ｂは、白熱灯的照明効果を付加するための画像を料理に投影するよう投影部７を制御する信号を、通信部３３を介してＨＭＤ１に送信する。白熱灯的照明効果を付加するための画像とは、例えば白熱灯の光色を再現した光色画像や、料理のうち赤色や黄色を補色して色味を強調する補色画像、点照明による陰影を再現する陰影画像等である。

または、制御信号出力制御部３１ｂは、飲食物を撮像した撮像画像に対して白熱灯的照明効果を付加するための画像処理を画像処理部（例えば表示制御部１７）に行わせるための制御信号を、通信部３３を介してＨＭＤ１に送信する。

このように、制御信号出力制御部３１ｂは、飲食物または飲食物の撮像画像に対して白熱灯的照明効果を付加するための制御信号を、通信部３３を介して各付加部に送信する。

なお本実施形態による制御信号出力制御部３１ｂは、ユーザが食事中またはユーザの周辺に飲食物が存在する場合であって、設定された飲食モードが食欲を減退させることを目的とするモードである場合、蛍光灯的照明効果を付加するための制御信号を付加部に送信することができる。これにより、料理が美味しくないように見せることができ、ユーザ８の食欲を減退させることができる。

ここで、図４を参照して、蛍光灯的照明効果を付加した場合と、白熱灯的照明効果を付加した場合について説明する。図４は、蛍光灯的照明効果を付加した場合と、白熱灯的照明効果を付加した場合における料理の見え方の違いについて説明するための図である。図４に示す例では、制御信号出力制御部３１ｂから出力された制御信号に応じて、表示制御部１７（画像処理部）が、飲食物を撮像した撮像画像に対して蛍光灯的／白熱灯的照明効果を付加する画像処理を行った画像Ｐ１、Ｐ２が、ＨＭＤ１の表示部２に表示される場合を想定する。

より具体的には、図４に示す画像Ｐ１は、飲食物を撮像した撮像画像が、昼間の太陽のような白っぽい光色で全体が均一に明るく、陰影がなく、平坦な印象に見えるよう画像処理されることにより、蛍光灯的照明効果が付加される。これにより、視覚的な美味しさが減少し、ユーザ８の食欲が減退する。本実施形態において、蛍光灯的照明効果の付与は、特に飲食モードが食欲減退（ダイエット）モードに設定されている場合に行われる。

一方、図４に示す画像Ｐ２は、飲食物を撮像した撮像画像が、白熱灯で照明したような穏やかな光色（オレンジ色）によって赤や黄を強調し、各料理や料理が盛られた食器に陰影をつけて立体的に見えるよう画像処理されることより、白熱灯的照明効果が付加される。これにより、視覚的な美味しさが増加し、ユーザ８の食欲が増進する。本実施形態において、白熱灯的照明効果の付与は、特に飲食モードが料理を美味しく見せるモードに設定されている場合に行われる。

以上、制御信号出力制御部３１ｂから出力された制御信号に応じた蛍光灯的／白熱灯的照明効果の付加について具体的に説明した。

なお、さらに本実施形態による制御信号出力制御部３１ｂは、飲食物または飲食物の撮像画像に対して、投影部７による投影または画像処理部による画像処理により、飲食物の状態の良さ／悪さを演出するための画像を付加するよう指示する制御信号を付加部に出力することができる。

飲食物の状態の良さを演出するための画像としては、食品の活きのよさや瑞々しさと言った「美味しそうな印象」を視覚的に与え、食欲を増進させるもの（「シズル感」とも称される）が挙げられる。より具体的には、例えば調理された肉から滴り落ちる肉汁や焦げ目、温かい料理（温かい飲み物を含む）であれば料理から立ち上がる湯気、冷たい料理（冷たい飲み物を含む）であれば料理周辺の冷気、表面の水滴、果物や野菜であれば表面の水滴、切り口の水滴等が該当する。

ここで、図５を参照して、飲食物の状態の良さを演出するための画像を付加した場合について説明する。図５は、飲食物に対して、白熱灯的効果と、飲食物の状態の良さを演出するための画像を付加した場合の一例を示す図である。図５に示す例では、制御信号出力制御部３１ｂから出力された制御信号に応じて、表示制御部１７（画像処理部）が、飲食物を撮像した撮像画像に対して飲食物の状態の良さを演出するための画像を付加した画像Ｐ３が、ＨＭＤ１の表示部２に表示される場合を想定する。

図５に示すように、飲食物の状態の良さを演出するための画像として、各飲食物に応じて、水滴画像５０、５３、テカリを強調した肉汁画像５１、湯気画像５２を付加する。なおどの飲食物に対してどのような画像を付加するかについては、サーバ３０の制御信号出力制御部３１ｂから出力された制御信号に従って行われる。

また、飲食物の状態の良さを演出するための画像は、投影部７により実空間の飲食物に直接投影されてもよい。この際、投影部７は、例えばプロジェクションマッピング（ＰＭ）技術を用いて画像を投影してもよい。

さらに、飲食物（料理）の状態の良さ／悪さの視覚的な印象は、飲食物が盛られている食器の色や柄、飲食物が置かれているテーブル（またはランチョンマット）の色や柄等にも影響される。例えば、暖色系や、飲食物（料理）の色を補色する色、類似する色、同系の色は、料理をより一層美味しく見せることが知られている。一方、寒色系の色は、料理の美味しさを減少させ、また、斑状、星状、波形の線等の模様は視覚的刺激が強く、目がチカチカするといった現象が起きる。

そこで、本実施形態による表示制御部１７（画像処理部）または投影部７は、食器やテーブルの色または模様を変化させて、飲食物（料理）の状態の良さ／悪さを演出し、ユーザ８の食欲を増進／減退させることも考え得る。以下、図６を参照して具体的に説明する。

図６は、食器やテーブルに対して、飲食物の状態の良さ／悪さを演出するための画像を付加した場合の一例を示す図である。図６に示す例では、制御信号出力制御部３１ｂから出力された制御信号に応じて、表示制御部１７（画像処理部）が、飲食物を撮像した撮像画像に対して飲食物の状態の良さ／悪さを演出するための画像処理を行った画像Ｐ４、Ｐ５が、ＨＭＤ１の表示部２に表示される場合を想定する。

より具体的には、図６の画像Ｐ４に示すように、撮像画像中の飲食物が置かれているテーブルの柄を、視覚的刺激が強く、目がチカチカするといった現象を起こさせる柄に変更することで、飲食物の状態を悪く見せ、食欲を減少させることができる。

一方、図６の画像Ｐ５に示すように、撮像画像中の飲食物が置かれているテーブルの色を、例えば暖色系の色に変更し、また、食器を輝かせて艶を出す画像処理を行うことで、飲食物の状態を良く見せ、食欲を増進させることができる。

なお、各食器やテーブルに対してどのような色、柄等に変更するかについては、サーバ３０の制御信号出力制御部３１ｂから出力された制御信号に従って行われる。

また、このような飲食物の状態の良さ／悪さを演出するための画像（色画像、柄画像等）は、投影部７により実空間の食器やテーブルに直接投影されてもよい。この際、投影部７は、例えばプロジェクションマッピング（ＰＭ）技術を用いて画像を投影してもよい。

以上説明したように、本実施形態によるサーバ３０の制御信号出力制御部３１ｂは、ＨＭＤ１または照明装置４０に対して、飲食物または飲食物の撮像画像に白熱灯的／蛍光灯的照明効果を付加するための制御信号を出力する。さらに、サーバ３０の制御信号出力制御部３１ｂは、ＨＭＤ１に対して、飲食物または飲食物の撮像画像に、飲食物の状態の良さ／悪さを演出するための画像を付加するための制御信号を出力する。

（記憶部）
記憶部３２は、所定の記録媒体に対してデータの記録再生を行う部位とされる。記憶部３２は、例えばＨＤＤとして実現される。もちろん記録媒体としては、フラッシュメモリ等の固定メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、記憶部３２としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。

また、本実施形態による記憶部３２は、判別部３１ａが撮像画像から被写体を認識する際に用いるモデルデータベースや、飲食物の状態の良さ／悪さを演出するための画像を生成するための画像情報等を記憶する。

（通信部）
通信部３３は外部機器との間でのデータの送受信を行う。通信部３３は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。

例えば通信部３３は、少なくとも１以上のＨＭＤ１と無線通信し、ユーザに装着されたＨＭＤ１に設けられた撮像部３により撮像された撮像画像を受信する。また、通信部３３は、制御信号出力制御部３１ｂの制御に従って、ＨＭＤ１または照明装置４０に制御信号を送信する。

＜＜３．動作処理＞＞
以上、本実施形態による照明システムに含まれるＨＭＤ１およびサーバ３０の基本構成について具体的に説明した。続いて、本実施形態による照明システムの動作処理について、図７〜図１２を参照して具体的に説明する。

＜３−１．第１の照明制御＞
図７は、本実施形態による第１の照明制御の処理を示すフローチャートである。図７に示すように、ステップＳ１０３において、まず、ＨＭＤ１は、撮像部３により撮像を開始する。撮像開始のトリガは、ユーザによる撮像開始指示に従ってでもよいし、予め設定された食事時間帯に従ってでもよい。ＨＭＤ１は、撮像した撮像画像をサーバ３０に送信する。

次いで、ステップＳ１０６において、サーバ３０の判別部３１ａは、ＨＭＤ１から送信された撮像画像を解析し、食事中であるか否か、または飲食物が存在するか否かを判別する。判別部３１ａは、判別結果を制御信号出力制御部３１ｂに供給する。

次に、ステップＳ１０９において、サーバ３０の制御信号出力制御部３１ｂは、判別部３１ａにより、ユーザが食事中または飲食物が存在すると判別された場合、白熱灯による全体照明を行うための制御信号を、照明装置４０に送信するよう制御する。

これにより、ユーザ８が食事を行う際、照明装置４０の白熱灯照明部４１により自動的に白熱灯の照明が行われ、料理がより一層美味しく見える。なお食事が終わった後や、飲食物が存在しなくなった場合は、サーバ３０の制御信号出力制御部３１ｂが、蛍光灯による全体照明を行うための制御信号を照明装置４０に送信することで、自動的に蛍光灯の照明が行われ、食事の片付けや他の作業に最適な照明となる。

＜３−２．第２の照明制御＞
図８は、本実施形態による第２の照明制御の処理を示すフローチャートである。図８に示すように、ステップＳ１０３、Ｓ１０６は、図７に示す同ステップの処理と同様であるので、ここでの説明は省略する。

次いで、ステップＳ１０７において、判別部３１ａは、ユーザ８が食事中、または飲食物が存在する場合、さらに飲食物の種類（例えば各皿毎の料理の種類）を個別に識別することが可能であるか否かを判断する。例えば図１に示す例では、料理Ｓ１〜Ｓ３を画像解析によりそれぞれ個別に識別することが可能であるか否かを判断する。より具体的には、判別部３１ａは、撮像画像に料理が１つしか写っていない場合や、複数写っている料理の種類までは識別できない場合、個別に識別することができないと判断する。判別部３１ａは、判断結果を制御信号出力制御部３１ｂに供給する。

次に、個別に識別できないと判断された場合（Ｓ１０７／Ｎｏ）、ステップＳ１０９において、図７に示す同ステップと同様の処理を行う。すなわち、サーバ３０の制御信号出力制御部３１ｂは、飲食物に対して白熱灯による全体照明を行うための制御信号を照明装置４０に送信するよう制御する。

これにより、ユーザ８が食事を行う際、照明装置４０の白熱灯照明部４１により自動的に白熱灯の照明が行われ、料理がより一層美味しく見える。なお食事が終わった後や、飲食物が存在しなくなった場合は、サーバ３０の制御信号出力制御部３１ｂが、蛍光灯による全体照明を行うための制御信号を照明装置４０に送信することで、自動的に蛍光灯の照明が行われ、食事の片付けや他の作業に最適な照明となる。

一方、個別に識別できると判断された場合（Ｓ１０７／Ｙｅｓ）、ステップＳ１１２において、サーバ３０の制御信号出力制御部３１ｂは、判別部３１ａに識別された各料理の種類に応じて個別に照明するための制御信号を、ＨＭＤ１に送信するよう制御する。個別の照明は、例えばＨＭＤ１の投影部７により、プロジェクションマッピングを用いて行われる。この場合、制御信号出力制御部３１ｂは、各料理の種類に応じて、健康によいとされる料理には、より一層美味しく見えるよう白熱灯効果を付加し、健康に悪いとされる料理には、美味しさが減少するよう蛍光灯的効果を付加する照明（投影）を行うための制御信号を生成し、ＨＭＤ１に送信する。

このように、第２の照明制御（投影制御）によれば、判別部３１ａにより各料理を個別に識別できた場合、料理ごとに異なる照明効果を付加させることができ、照明システムの利便性が向上する。

＜３−３．画像処理＞
以上、照明装置４０による照明制御、またはＨＭＤ１の投影部７による投影制御により飲食物に白熱灯的／蛍光灯的照明効果を付加する場合の動作処理について説明した。続いて、ＨＭＤ１の表示制御部１７（画像処理部）により、飲食物に白熱灯的／蛍光灯的照明効果を付加する場合の動作処理について図９を参照して説明する。

図９は、本実施形態による白熱灯的／蛍光灯的照明効果を画像処理により付加する場合の処理を示すフローチャートである。図９に示すように、ステップＳ２０３において、まず、ＨＭＤ１は、撮像部３により撮像を開始する。ＨＭＤ１は、撮像した撮像画像をサーバ３０に送信する。

次いで、ステップＳ２０６において、サーバ３０の判別部３１ａは、ＨＭＤ１から送信された撮像画像を解析し、食事中であるか否か、または飲食物が存在するか否かを判別する。判別部３１ａは、判別結果を制御信号出力制御部３１ｂに供給する。

続いて、ステップＳ２０８において、判別部３１ａは、ユーザ８が食事中、または飲食物が存在する場合、さらに飲食物に含まれる食材毎の種類（例えば各皿の中の各食材の種類）を個別に識別することが可能であるか否かを判断する。例えば図１に示す例では、料理Ｓ１（サラダ）には複数の野菜が含まれ、料理Ｓ２（メイン）にはハンバーグとエビフライという２種類の食材が含まれているので、判別部３１ａは、画像解析によりこれらを個別に識別することが可能であるか否かを判断する。より具体的には、判別部３１ａは、図１に示す料理Ｓ３（飲み物）のように、１の食材が含まれている料理が撮像画像に１つしか写っていない場合や、料理に含まれている複数の食材の種類までは識別できない場合、個別に識別することができないと判断する。判別部３１ａは、判断結果を制御信号出力制御部３１ｂに供給する。

次に、食材毎に識別できないと判断された場合（Ｓ２０８／Ｎｏ）、ステップＳ２０９において、サーバ３０の制御信号出力制御部３１ｂは、画像処理により白熱灯による全体照明効果を付加するための制御信号を生成し、ＨＭＤ１に送信するよう制御する。

これにより、ユーザ８が食事を行う際、ＨＭＤ１の表示制御部１７（画像処理部）により自動的に白熱灯的照明効果が全体（撮像画像に写る全ての料理）に付加されるよう画像処理された画像が表示部２に表示され、料理がより一層美味しく見える。

一方、食材毎に識別できると判断された場合（Ｓ２０８／Ｙｅｓ）、ステップＳ２１２において、サーバ３０の制御信号出力制御部３１ｂは、各料理に含まれる食材の種類に応じて個別に所定の照明効果を付加する画像処理を行うための制御信号をＨＭＤ１に送信するよう制御する。この場合、制御信号出力制御部３１ｂは、各料理に含まれる各食材の種類に応じて、一般的に健康によいとされる食材には、より一層美味しく見えるよう白熱灯効果を付加し、一般的に健康に悪いとされる食材には、美味しさが減少するよう蛍光灯的効果を付加するための制御信号を生成し、ＨＭＤ１に送信する。

このように、画像処理によれば、判別部３１ａにより各料理に含まれる各食材の種類を個別に識別できた場合、料理に含まれる食材毎に異なる照明効果を付加させることができ、照明システムの利便性が向上する。

＜３−４．混合型＞
以上、本実施形態による照明システムにおいて、照明装置４０、ＨＭＤ１の投影部７、またはＨＭＤ１の表示制御部１７（画像処理部）により、白熱灯的／蛍光灯的照明効果を付加する場合の動作処理について説明した。したがって、本実施形態による照明システムは、付加部として、照明装置４０、ＨＭＤ１の投影部７、またはＨＭＤ１の表示制御部１７（画像処理部）の少なくともいずれかを有する構成であれば、実現され得る。

また、本実施形態による照明システムは、付加部として、照明装置４０、ＨＭＤ１の投影部７、またはＨＭＤ１の表示制御部１７（画像処理部）のうち少なくとも２以上を有する構成であってもよい。この場合、本実施形態による照明システムは、必要に応じて適切な付加部に対して制御信号を出力する混合型の動作処理を行う。以下、図１０を参照して混合型の動作処理について説明する。

図１０は、本実施形態による混合型の動作処理を示すフローチャートである。図１０に示すように、ステップＳ３０３において、まず、ＨＭＤ１は、撮像部３により撮像を開始する。ＨＭＤ１は、撮像した撮像画像をサーバ３０に送信する。

次いで、ステップＳ３０６において、サーバ３０の判別部３１ａは、ＨＭＤ１から送信された撮像画像を解析し、食事中であるか否か、または飲食物が存在するか否かを判別する。判別部３１ａは、判別結果を制御信号出力制御部３１ｂに供給する。

続いて、ステップＳ３０７において、判別部３１ａは、ユーザ８が食事中、または飲食物が存在する場合、さらに飲食物の種類（例えば各皿毎の料理の種類）を個別に識別することが可能であるか否かを判断する。判別部３１ａによる飲食物の種類の個別識別の判断に関しては、「３−２．第２の照明制御」の際、図８のステップＳ１０７において行った説明と同様であるので、ここでの詳細説明は省略する。判別部３１ａは、判断結果を制御信号出力制御部３１ｂに供給する。

次に、個別に識別できないと判断された場合（Ｓ３０７／Ｎｏ）、ステップＳ３０９において、制御信号出力制御部３１ｂは、飲食物に対する白熱灯による全体照明を行うための制御信号を照明装置４０に送信するよう制御する。これにより、ユーザ８が食事を行う際、照明装置４０の白熱灯照明部４１により自動的に白熱灯の照明が行われ、料理がより一層美味しく見える。

一方、個別に識別できると判断された場合（Ｓ３０７／Ｙｅｓ）、ステップＳ３１２において、サーバ３０の制御信号出力制御部３１ｂは、各料理の種類に応じて個別に所定の照明効果を付加する画像処理を行うための制御信号をＨＭＤ１に送信するよう制御する。

このように、混合型によれば、全体照明を行う場合は照明装置４０に制御信号（照明制御の信号）を送信し、個別照明を行う場合はＨＭＤ１に制御信号（画像処理の信号）を送信するといったように、照明内容に応じて各々適切な付加部に制御信号を送信することができる。

＜３−５．混合型モード対応＞
以上、本実施形態による照明システムの各動作制御について説明したが、いずれも全体照明では白熱灯的照明効果を付加して料理をより一層美味しく見せ、また、個別照明では一般的に健康によい食べ物であるか否かに応じて、個別に異なる照明効果を付加していた。

ここで、本実施形態による照明システムは、どのような照明効果を飲食物に付加するかを決定するための飲食モードＮを、ユーザにより１以上設定できるようにしてもよい。飲食モードＮは、所定の各目的を達成するためのモードであって例えば以下のようなものが挙げられる。
飲食モード１：料理を美味しく見せるモード
飲食モード２：食欲減退（ダイエット）モード
飲食モード３：病気疾患予防モード
飲食モード４：体力増進モード
飲食モード５：拒食症対策モード

以下、このような飲食モードが設定されている場合の照明システムの動作処理について説明する。飲食モードの設定は、上述した「３−１．第１の照明制御」、「３−２．第２の照明制御」、「３−３．画像処理」、および「３−４．混合型」のいずれにも適用可能であるが、ここでは一例として混合型が飲食モードの設定に対応する場合について説明する。

図１１および図１２は、本実施形態による混合型モード対応の動作処理を示すフローチャートである。図１１に示すように、ステップＳ４０３において、まず、ＨＭＤ１は、撮像部３により撮像を開始する。ＨＭＤ１は、撮像した撮像画像をサーバ３０に送信する。

次いで、ステップＳ４０６において、サーバ３０の判別部３１ａは、ＨＭＤ１から送信された撮像画像を解析し、食事中であるか否か、または飲食物が存在するか否かを判別する。判別部３１ａは、判別結果を制御信号出力制御部３１ｂに供給する。

次に、ステップＳ４０９において、制御信号出力制御部３１ｂは、判別部３１ａによりユーザ８が食事中、または飲食物が存在すると判別された場合、さらに飲食モードが複数設定されているか否かを判断する。飲食モードは、ＨＭＤ１においてユーザ８により設定されてもよく、設定されている飲食モードを示す情報が上記Ｓ４０３で撮像画像と共にＨＭＤ１からサーバ３０に送信される。また、飲食モードは、ユーザ８の健康状態または医療情報に応じて自動的に設定されてもよい。ユーザ８の健康状態は、ユーザ８に装着された生体センサ（不図示）によりリアルタイムに検知され得る。

複数の飲食モードが設定されていない場合（Ｓ４０９／Ｎｏ）、図１２に示すステップＳ４１２において、制御信号出力制御部３１ｂは、所定の１の飲食モードＮを選択する。所定の１の飲食モードＮとは、ＨＭＤ１においてユーザ８により選択された１の飲食モードＮであってもよいし、ユーザ８が何ら選択していない場合はサーバ３０において予め設定された（初期設定の）１の飲食モードＮであってもよい。

続いて、ステップＳ４１５において、判別部３１ａは、撮像画像に写る飲食物の種類（例えば各皿毎の料理の種類）を個別に識別することが可能であるか否かを判断する。判別部３１ａによる飲食物の種類の個別識別の判断に関しては、「３−２．第２の照明制御」の際、図８のステップＳ１０７において行った説明と同様であるので、ここでの詳細説明は省略する。判別部３１ａは、判断結果を制御信号出力制御部３１ｂに供給する。

次に、個別に識別できないと判断された場合（Ｓ４１５／Ｎｏ）、ステップＳ４１８において、制御信号出力制御部３１ｂは、選択された飲食モードＮに応じた全体照明を行うための制御信号を照明装置４０に送信するよう制御する。例えば、制御信号出力制御部３１ｂは、「飲食モード１：料理を美味しく見せるモード」であれば、白熱灯による全体照明を行って料理を美味しく見せ、「飲食モード２：食欲減退（ダイエット）モード」であれば、蛍光灯による全体照明を行い、視覚的な料理の美味しさを減少させる。また、「飲食モード３：病気疾患予防モード」、「飲食モード４：体力増進モード」、または「飲食モード５：拒食症対策モード」の場合、白熱灯による全体照明を行って食欲を増進させる。これにより、ユーザ８が食事を行う際、選択された飲食モードＮに応じて、照明装置４０により自動的に白熱灯／蛍光灯の照明が行われ、照明システムの利便性が向上する。

一方、個別に識別できると判断された場合（Ｓ４１５／Ｙｅｓ）、ステップＳ４２２において、サーバ３０の制御信号出力制御部３１ｂは、選択された飲食モードＮに応じて各料理の種類に基づく個別の照明効果を付加する画像処理を行うための制御信号をＨＭＤ１に送信するよう制御する。例えば、「飲食モード２：食欲減退（ダイエット）モード」であれば、各料理のうち特にカロリーが高いと想定される料理には個別に蛍光灯的照明効果を付加して、食欲を減退させる。また、「飲食モード３：病気疾患予防モード」であれば、各料理のうち一般的に病気疾患予防によい／悪いと想定される料理には個別に白熱灯的／蛍光灯的照明効果を付加して、食欲を増進／減退させる。この際、制御信号出力制御部３１ｂは、ユーザ８の医療情報（病歴等）や体調情報（健康状態）を取得し、各料理がユーザ８にとってよい食べ物か否かに応じて、白熱灯的／蛍光灯的照明効果を付加してもよい。これにより、ユーザ８が食事を行う際、選択された飲食モードＮに応じて、各料理の種類に基づいて、ＨＭＤ１の表示制御部（画像処理部）の画像処理により白熱灯的／蛍光灯的照明効果の付加が行われ、照明システムの利便性が格段に向上する。

次に、図１１にステップＳ４０９において飲食モードが複数設定されていると判断された場合（Ｓ４０９／Ｙｅｓ）、ステップＳ４３２において、サーバ３０の判別部３１ａは、撮像画像に写る飲食物の種類（例えば各皿毎の料理の種類）を個別に識別することが可能であるか否かを判断する。

次いで、個別識別ができないと判断された場合（Ｓ４３２／Ｎｏ）、ステップＳ４３５において、制御信号出力制御部３１ｂは、優先される飲食モードＮを選択する。例えば、制御信号出力制御部３１ｂは、「飲食モード１：料理を美味しく見せるモード」と「飲食モード２：食欲減退（ダイエット）モード」が設定されている場合、「飲食モード２：食欲減退（ダイエット）モード」を優先される飲食モードＮとして選択してもよい。

次に、ステップＳ４３８において、制御信号出力制御部３１ｂは、選択された飲食モードＮに応じて、白熱灯／蛍光灯で全体照明を行うための制御信号を照明装置４０に送信するよう制御する。このように、複数の飲食モードＮが設定されている場合に全体照明を行う場合は、１の飲食モードを優先して選択し、選択した１の飲食モードに応じた全体照明が行われる。

続いて、個別識別が可能である場合（Ｓ４３２／Ｙｅｓ）、ステップＳ４４１において、判別部３１ａは、さらに飲食物に含まれる食材毎の種類（例えば各皿の中の各食材の種類）を個別に識別することが可能であるか否かを判断する。

次いで、食材毎に識別できないと判断された場合（Ｓ４４１／Ｎｏ）、ステップＳ４４４において、制御信号出力制御部３１ｂは、飲食物毎に（例えば皿毎に）、各飲食物の種類に応じて飲食モードＮを選択する。例えば、制御信号出力制御部３１ｂは、「飲食モード１：料理を美味しく見せるモード」と「飲食モード２：ダイエットモード」が設定されている場合、ダイエットに影響がある高カロリーの料理には飲食モード２を選択し、低カロリーの料理には飲食モード１を選択する。

次に、ステップＳ４４７において、サーバ３０の制御信号出力制御部３１ｂは、料理毎に個別に選択された飲食モードＮに応じて、ＨＭＤ１での画像処理／ＰＭにより個別に（料理毎に）所定の照明効果を付加するための制御信号を生成し、ＨＭＤ１に送信する。このように、本実施形態による照明システムは、識別した料理の種類毎に異なる飲食モードＮを選択し、選択した飲食モードＮに応じた照明効果を付加することができる。

一方、食材毎に識別できると判断された場合（Ｓ４４１／Ｙｅｓ）、ステップＳ４５０において、制御信号出力制御部３１ｂは、飲食物に含まれる食材毎に（例えば皿の中の食材毎に）、各食材の種類に応じて飲食モードＮを選択する。

そして、ステップＳ４５３において、サーバ３０の制御信号出力制御部３１ｂは、食材毎に個別に選択された飲食モードＮに応じて、ＨＭＤ１での画像処理／ＰＭにより個別に（食材毎に）所定の照明効果を付加するための制御信号を生成し、ＨＭＤ１に送信する。このように、本実施形態による照明システムは、識別した料理に含まれる食材毎に異なる飲食モードＮを選択し、選択した飲食モードＮに応じた照明効果を付加することができる。

以上、混合型において飲食モードが設定される場合の動作処理について説明した。なお、上記Ｓ４４７、Ｓ４５３において、飲食モードが選択されない料理または食材が含まれていてもよく、このような料理または食材には何ら照明効果は付加されない。

また、「３−２．第２の照明制御」〜「３−５．混合型モード対応」において、白熱灯的照明効果を画像処理または投影により付加する際に、併せて飲食物の状態の良さを演出するための画像が付加されてもよい。また、「３−２．第２の照明制御」〜「３−５．混合型モード対応」において、蛍光灯的照明効果を画像処理または投影により付加する際に、併せて飲食物の状態の悪さを演出するための画像が付加されてもよい。

＜＜４．他の実施形態＞＞
上述した実施形態による照明システムは、図１に示すように、ＨＭＤ１およびサーバ３０（情報処理装置）を含む構成（クラウド型）であるが、本実施形態による照明システムの構成はこれに限定されない。例えば、他の実施形態による照明システムとして、サーバ３０の主制御部３１の機能をＨＭＤ１が有する構成の場合、ＨＭＤ１単独で図７〜図１２に示す動作処理を実行することができる。以下、図１３を参照して具体的に説明する。

図１３は、他の実施形態によるＨＭＤ１の主制御部１０’の機能構成を示すブロック図である。図１３に示すように、他の実施形態によるＨＭＤ１（情報処理装置）の主制御部１０’は、判別部１０’ａ、および制御信号出力制御部１０’ｂとして機能する。

判別部１０’ａは、図３を参照して説明した上記実施形態によるサーバ３０の判別部３１ａと同様に、ＨＭＤ１の撮像部３が撮像した撮像画像に基づいて、ユーザが飲食物を摂取中であるか否か、またはユーザの周辺に飲食物が存在するか否かを判別することができる。判別部１０’ａによる判別結果は、制御信号出力制御部１０’ｂに供給される。

また、制御信号出力制御部１０’ｂは、上記実施形態による制御信号出力制御部３１ｂと同様に、判別部１０’ａによる判別結果に応じて、飲食物または飲食物の撮像画像に対して所定の照明効果を付加する付加部に制御信号を出力するよう制御する。ここで付加部とは、例えば照明装置４０、ＨＭＤ１の表示制御部１７（画像処理部）、または投影部７である。他の実施形態によるＨＭＤ１の通信部２１は、照明装置４０に対して制御信号を送信することができる。

そして、本開示の他の実施形態によるＨＭＤ１（情報処理装置）は、図７〜図１２に示す動作処理を実行し、飲食物に対して白熱灯的／蛍光灯的照明効果を付加することができる。

＜＜５．まとめ＞＞
上述したように、本実施形態による照明システムでは、ユーザが食事中の際、または飲食物が存在する際に、飲食物に対して所定の照明効果（白熱灯的照明効果または蛍光灯的照明効果）を付加することで食生活を支援することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、ＨＭＤ１、サーバ３０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、上述したＨＭＤ１、サーバ３０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書では、撮像部３および表示部２を有する端末装置の一例としてＨＭＤ１を用いたが、本開示による端末装置はＨＭＤ１に限定されない。例えば、端末装置は、スマートフォン、携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末等であってもよい。

また、上記実施形態において、図５、図６を参照して、飲食物の状態の良さ／悪さを演出するための画像を付加する旨を説明したが、本実施形態による照明システムでは、さらに音や匂いをＨＭＤ１の音声出力部５や匂い再生部（不図示）により再現してもよい。これにより、料理がより一層美味しそうな印象を与えたり、美味しくなさそうな印象を与えたりすることができる。飲食物の状態の良さを演出するための音としては、例えば肉の焼ける音、焦げた匂い、グラスに当たる氷の音等が挙げられる。

また、本実施形態による照明システムは、飲食物の状態の良さを演出するための画像を新たに付加する他、画像処理またはプロジェクションマッピングにより、仮想的に食材を動かして活きのよさを演出してもよい。例えば本実施形態による照明システムは、魚の活き造りの料理の場合、魚の頭を動かす演出をしてもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
ユーザが飲食物を摂取中であるか否か、またはユーザの周辺に飲食物が存在するか否かを判別する判別部と、
前記判別部による判別結果に応じて、実空間に存在する前記飲食物または前記飲食物の撮像画像に対して照明効果を付加する付加部に制御信号を出力するよう制御する制御部と、
を備える、情報処理装置。
（２）
前記判別部は、さらに前記飲食物の種類を個別に識別し、
前記制御部は、個別に識別された各飲食物の種類に応じた照明効果を付加するための制御信号を前記付加部に出力する、前記（１）に記載の情報処理装置。
（３）
前記判別部は、さらに各飲食物に含まれる食材毎に種類を識別し、
前記制御部は、識別された前記飲食物の各食材に対して、種類に応じた照明効果を付加するための制御信号を前記付加部に出力する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記飲食物の撮像画像に対して、前記飲食物に含まれる食材毎に画像信号処理により照明効果を付加するための制御信号を前記付加部に出力する、前記（３）に記載の情報処理装置。
（５）
前記判別部は、前記ユーザの周辺を撮像した撮像画像に基づいて、前記ユーザが飲食物を摂取中であるか否か、または前記ユーザの周辺に飲食物が存在するか否かを判別する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記付加部は、実空間に存在する前記飲食物に対して照明を行う照明部である、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記付加部は、実空間に存在する前記飲食物に対して投影を行うことで照明効果を付加する投影部である、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（８）
前記付加部は、前記飲食物の撮像画像に対して画像処理を行うことで照明効果を付加する画像信号処理部である、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（９）
前記制御部は、前記ユーザが飲食物を摂取中と判別された場合、または前記ユーザの周辺に飲食物が存在すると判別された場合、実空間に存在する前記飲食物または前記飲食物の撮像画像に対して所定の照明効果を付加するための制御信号を前記付加部に出力する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記制御部は、複数のモードのうち設定された所定のモードに従って前記制御信号を生成する、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記複数のモードは、所定の各目的を達成するためのモードである、前記（１０）に記載の情報処理装置。
（１２）
前記所定のモードは、前記ユーザの健康状態または医療情報に応じて設定される、前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記所定のモードは、前記ユーザに装着された生体センサによる検知結果に基づくリアルタイムな健康状態に応じて設定される、前記（１２）に記載の情報処理装置。
（１４）
前記制御信号は、前記飲食物の陰影または色味を変化させる照明効果を付加するための制御信号である、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記制御部は、実空間に存在する前記飲食物または前記飲食物の撮像画像に対して、投影または画像処理により、前記飲食物の状態の良さ／悪さを演出するための画像を付加するよう指示する制御信号を前記付加部に出力する、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記制御部は、実空間に存在する前記飲食物が入っている食器若しくは当該食器の周辺、または、前記飲食物が入っている食器若しくは当該食器の周辺の撮像画像に対して、照明効果を付加するための制御信号を前記付加部に出力する、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
コンピュータを、
ユーザが飲食物を摂取中であるか否か、またはユーザの周辺に飲食物が存在するか否かを判別する判別部と、
前記判別部による判別結果に応じて、実空間に存在する前記飲食物または前記飲食物の撮像画像に対して照明効果を付加する付加部に制御信号を出力するよう制御する制御部と、
として機能させるためのプログラムが記憶された記憶媒体。

１ ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）
２ 表示部
３ 撮像部
３ａ 撮像レンズ
４ 照明部
４ａ 発光部
５ 音声出力部
５ａ イヤホンスピーカ
６ 音声入力部
６ａ、６ｂ マイクロホン
７ 投影部
７ａ 投影レンズ
８ ユーザ
１０、１０’ 主制御部
１０’ａ 判別部
１０’ｂ 制御信号出力制御部
１１ 撮像制御部
１２ 撮像信号処理部
１３ 撮像画像解析部
１４ 照明制御部
１５ 音声信号処理部
１７ 表示制御部
１８ 音声制御部
１９ 投影制御部
２１ 通信部
２２ ストレージ部
３０ サーバ
３１ 主制御部
３１ａ 判別部
３１ｂ 制御信号出力制御部
３２ 記憶部
３３ 通信部
４０ 照明装置
４１ 白熱灯照明部
４２ 蛍光灯照明部
Ｐ１〜Ｐ５ 画像
Ｓ１〜Ｓ３ 料理

Claims (14)

1. ユーザの周辺を撮像した撮像画像に基づいて、前記ユーザが飲食物を摂取中であるか否か、またはユーザの周辺に飲食物が存在するか否かを判別する判別部と、
   前記判別部による判別結果に応じて、前記飲食物の撮像画像に対して画像信号処理により照明効果を付加するための制御信号を付加部に出力するよう制御する制御部と、
   を備える、情報処理装置。
2. 前記付加部は、前記飲食物の撮像画像に対して画像処理を行うことで照明効果を付加する画像信号処理部である、請求項１に記載の情報処理装置。
3. 前記照明効果は、白熱灯的照明効果または蛍光灯的照明効果である、請求項１または２に記載の情報処理装置。
4. 前記判別部は、さらに前記飲食物の種類を個別に識別し、
   前記制御部は、個別に識別された各飲食物の種類に応じた照明効果を付加するための制御信号を前記付加部に出力する、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記判別部は、さらに各飲食物に含まれる食材毎に種類を識別し、
   前記制御部は、識別された前記飲食物の各食材に対して、種類に応じた照明効果を付加するための制御信号を前記付加部に出力する、請求項４に記載の情報処理装置。
6. 前記制御部は、前記ユーザが飲食物を摂取中と判別された場合、または前記ユーザの周辺に飲食物が存在すると判別された場合、前記飲食物の撮像画像に対して所定の照明効果を付加するための制御信号を前記付加部に出力する、請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記制御部は、複数のモードのうち設定された所定のモードに従って前記制御信号を生成する、請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記複数のモードは、所定の各目的を達成するためのモードである、請求項７に記載の情報処理装置。
9. 前記所定のモードは、前記ユーザの健康状態または医療情報に応じて設定される、請求項７または８に記載の情報処理装置。
10. 前記所定のモードは、前記ユーザに装着された生体センサによる検知結果に基づくリアルタイムな健康状態に応じて設定される、請求項９に記載の情報処理装置。
11. 前記制御信号は、前記飲食物の陰影または色味を変化させる照明効果を付加するための制御信号である、請求項１〜１０のいずれか１項に記載の情報処理装置。
12. 前記制御部は、実空間に存在する前記飲食物または前記飲食物の撮像画像に対して、投影または画像処理により、前記飲食物の状態の良さ／悪さを演出するための画像を付加するよう指示する制御信号を前記付加部に出力する、請求項１〜１１のいずれか１項に記載の情報処理装置。
13. 前記制御部は、実空間に存在する前記飲食物が入っている食器若しくは当該食器の周辺、または、前記飲食物が入っている食器若しくは当該食器の周辺の撮像画像に対して、照明効果を付加するための制御信号を前記付加部に出力する、請求項１〜１２のいずれか１項に記載の情報処理装置。
14. コンピュータを、
    ユーザの周辺を撮像した撮像画像に基づいて、前記ユーザが飲食物を摂取中であるか否か、またはユーザの周辺に飲食物が存在するか否かを判別する判別部と、
    前記判別部による判別結果に応じて、前記飲食物の撮像画像に対して画像信号処理により照明効果を付加するための制御信号を付加部に出力するよう制御する制御部と、
    として機能させるためのプログラムが記憶された、コンピュータ読み取り可能な記憶媒体。

Images