JPH109753A

JPH109753A - 冷凍冷蔵庫の食品在庫管理装置

Info

Publication number: JPH109753A
Application number: JP16570296A
Authority: JP
Inventors: Yasutomo Onishi; 康友大西; Shinji Okamoto; 伸二岡本; Yasuhiro Tsujii; 康浩辻井
Original assignee: Matsushita Refrigeration Co
Current assignee: Panasonic Holdings Corp
Priority date: 1996-06-26
Filing date: 1996-06-26
Publication date: 1998-01-16

Abstract

(57)【要約】【課題】操作が簡単で比較的低コストで実現できる食
品在庫管理装置を提供する。【解決手段】食品画像処理手段１により食品のみの画
像を取り込み、続く所定時間内に冷凍冷蔵庫の扉が開閉
されると入庫指示手段１５は食品がその扉の室に食品が
入庫されたと判定して入庫を指示し、その指示で時計手
段３２により入庫時点からの経過時間を在庫期間として
積算を開始し、また、在庫情報記憶手段２１は、室名と
食品画像と在庫期間とを食品情報として記憶する。ま
た、出庫指示手段１８は、扉の開閉を検出したのちの所
定時間内に食品の画像が取り込まれると、出庫食品選択
手段２４により画像の特徴に基づいて前記食品情報中に
出庫食品を選択できた場合、その食品が出庫されたと判
定して在庫情報消去手段２９により在庫情報記憶手段２
１からその食品の食品情報を消去する。また、前記食品
情報を食品情報表示手段２２により表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、冷凍冷蔵庫の庫内
食品の在庫情報を管理する食品在庫管理装置に関する。

【０００２】

【従来の技術】従来、食品を保存する冷蔵庫や冷凍冷蔵
庫の庫内の食品の在庫情報を管理する食品在庫管理装置
については種々の提案がなされてきている。

【０００３】たとえば、特開平４−３４７４８号公報
は、食品に記載されているバーコードを利用して食品名
を入力し、庫内食品の在庫情報を管理する手段を開示し
ている。また、特開平５−４５０４１号公報はＣＣＤカ
メラを庫内に複数配置し、扉開閉前後の庫内画像の差分
画像により食品の入出庫を検出し、庫内食品の在庫情報
を管理する手段を開示している。

【０００４】

【発明が解決しようとする課題】このような従来の食品
在庫管理装置において、バーコードを利用する手段で
は、読み取り操作に手間がかかるとともに、バーコード
が記載されていない食品が多数あり、結局不便なもので
あった。

【０００５】また、ＣＣＤカメラで撮影する手段では、
庫内の食品が少ない場合には少数のＣＣＤカメラでも機
能するが、食品が多くなってぎゅうぎゅう詰めの状態で
は多数のＣＣＤカメラを設ける必要があり、管理すべき
食品が多くて在庫管理したい状態には対しては実用面お
よびコスト面において不十分な手段であった。

【０００６】本発明は上記の課題を解決するもので、手
間がかからず、実用的で、かつ比較的低コストに実現で
きる冷凍冷蔵庫の食品在庫管理装置を提供することを目
的とする。

【０００７】

【課題を解決するための手段】請求項１に係わる本発明
は、使用者の撮影指示に対応して食品の画像を取り込
み、続く所定時間内に扉の開閉を検出したときに食品を
入庫したと判定し、入庫した室名と食品画像と入庫時点
からの在庫期間などを食品情報として記憶し、また、扉
の開閉を検出し、続く所定時間内に使用者の撮影指示に
対応して食品の画像を取り込んだとき、その食品画像の
特徴を前記食品情報中の食品画像の特徴と照合して最も
近いものを選択できるとその食品が出庫されたと判定す
るとともに、その食品の食品情報を消去するようにし、
また使用者の操作に対応して前記食品情報を表示するよ
うにした冷凍冷蔵庫の食品在庫管理装置である。

【０００８】これにより、使用者の撮影開始指示操作お
よび扉の開閉のみで食品の入庫または出庫を処理して在
庫食品の食品情報を記憶し、また、食品情報を表示する
ことができる。

【０００９】請求項２に係わる本発明は、使用者の撮影
指示に対応して食品の画像を取り込み、続く所定時間内
に扉の開閉を検出したときに食品を入庫したと判定し、
その食品画像の特徴に基づいて食品名を選択し、また、
食品の有効期間を指定し、在庫期間を前記有効期間と比
較して在庫期間の可否を判定し、在庫情報記憶手段が各
食品について入庫した室名と前記食品名と食品画像と入
庫時点からの在庫期間と在庫期間の前記判定結果などを
食品情報として記憶し、また、扉の開閉を検出し、続く
所定時間内に使用者の撮影指示に対応して食品の画像を
取り込んだとき、その食品画像の特徴を前記食品情報中
の食品画像の特徴と照合して最も近いものを選択できる
とその食品が出庫されたと判定するとともに、その食品
の食品情報を消去するようにし、また、使用者の操作に
対応して前記食品情報を表示するようにした冷凍冷蔵庫
の食品在庫管理装置である。

【００１０】これにより、使用者の撮影開始指示操作お
よび扉の開閉のみで食品の入庫または出庫を処理して在
庫食品の食品情報を食品名、在庫期間の可否とともに記
憶し、また、その食品情報を表示することができる。

【００１１】請求項３に係わる本発明は、使用者の撮影
指示に対応して食品の画像を取り込み、続く所定時間内
に扉の開閉を検出したときに食品を入庫したと判定し、
その食品画像の特徴に基づいて食品名を選択し、また、
食品の有効期間を指定し、在庫期間を前記有効期間と比
較して在庫期間の可否を判定し、在庫情報記憶手段が各
食品について入庫した室名と前記食品名と食品画像と入
庫時点からの在庫期間と在庫期間の前記判定結果などを
食品情報として記憶し、また、扉の開閉を検出し、続く
所定時間内に使用者の撮影指示に対応して食品の画像を
取り込んだとき、その食品画像の特徴を前記食品情報中
の食品画像の特徴と照合して最も近いものを選択できる
とその食品が出庫されたと判定するとともに、その食品
の食品情報を消去するようにし、また、食品ごとの上手
な保存方法を保鮮情報としてあらかじめ記憶し、使用者
の選択した食品の保鮮情報を検索し、前記食品情報と保
鮮情報とを表示するようにした冷凍冷蔵庫の食品在庫管
理装置である。

【００１２】これにより、使用者の撮影開始指示操作お
よび扉の開閉のみで食品の入庫または出庫を処理して在
庫食品の食品情報を食品名、在庫期間の可否とともに記
憶し、また、食品の保鮮情報を食品情報とともに表示す
ることができる。

【００１３】請求項４に係わる本発明は、食品名とその
食品画像の特徴とをあらかじめ記憶しておき、取り込ん
だ食品画像の特徴を前記記憶した特徴から検索して、特
徴が最も近い食品名を選択するようにした請求項２ない
し請求項３に係わる冷凍冷蔵庫の食品在庫管理装置であ
る。

【００１４】これにより、食品名を自動的に得ることが
できる。請求項５に係わる本発明は、食品の標準的な有
効期間をあらかじめ記憶して備え、在庫期間を前記有効
期間と比較して、在庫期間の可否を判定するようにした
請求項２ないし請求項４に係わる冷凍冷蔵庫の食品在庫
管理装置である。

【００１５】これにより、在庫期間の可否を標準的な有
効期間を基に判定でき、使い残しがないように食品を管
理することができる。

【００１６】請求項６に係わる本発明は、食品の標準的
な有効期間をあらかじめ記憶して備えるとともに、使用
者が経験に基づく有効期間を入力し、在庫期間を有効期
間と比較して可否判定するとき、前記使用者の入力した
有効期間を優先して判定するようにした請求項２ないし
請求項４に係わる冷凍冷蔵庫の食品在庫管理装置であ
る。

【００１７】これにより、使用者の経験を活かして、よ
り的確に在庫期間の可否を判定することができる。

【００１８】請求項７に係わる本発明は、食品画像を取
り込んだのち所定時間内に扉の開閉を検出したときに食
品がその扉の室に入庫されたと判定して入庫を指示し、
また、扉の開閉を検出したのち所定時間内に食品画像が
取り込まれたとき、その食品を食品情報中から選択でき
たときにその食品が出庫されたと判定して出庫を指示す
るようにした請求項１ないし請求項６に係わる冷凍冷蔵
庫の食品在庫管理装置である。

【００１９】これにより、食品画像の取り込みと扉の開
閉とで自動的に入庫または出庫を指示することができ
る。

【００２０】請求項８に係わる本発明は、取り込んだ食
品画像の特徴を食品情報として記憶した食品画像の特徴
と照合し、特徴が最も近い食品を在庫食品中から選択し
て出庫食品とするようにした請求項１ないし請求項７に
係わる冷凍冷蔵庫の食品在庫管理装置である。

【００２１】これにより、出庫する商品が在庫食品の１
つであることを確認できるとともに、食品情報の消去に
供することができる。

【００２２】請求項９に係わる本発明は、食品までの距
離を測定して自動的に焦点を合わせ、食品までの距離が
所定範囲内であって、かつ画像が静止状態であるときに
その画像を取り込み、その画像から食品のみの画像を所
定の大きさと位置とで得るようにした請求項１ないし請
求項８に係わる冷凍冷蔵庫の食品在庫管理装置である。

【００２３】これにより、焦点ぼけや手振れがなく、所
定の大きさと位置を占める食品画像を得ることができ
る。

【００２４】請求項１０に係わる本発明は、撮影画像か
ら背景画像成分を除いた差分画像を抽出するとともに食
品と同色または類似色の連続領域を抽出し、前記差分画
像と前記色情報連続領域とから食品のみの画像を切り出
し、それを所定の大きさと位置とに加工するようにした
請求項９に係わる冷凍冷蔵庫の食品在庫管理装置であ
る。

【００２５】これにより、背景や容器などの不要部分を
除いた食品のみの画像を所定の大きさと位置とで得るこ
とができる。

【００２６】

【発明の実施の形態】食品画像処理手段は、冷凍冷蔵庫
の庫外で食品を撮影して食品のみの画像を得る手段であ
り、撮影するための光学系と、食品までの距離を測定し
て前記光学系の焦点を自動的に食品に合わせる自動合焦
手段と、前記距離が所定範囲内にあるか否かを判定する
被写体距離判定手段と、使用者が撮影開始を指示操作す
る撮影スイッチなどによる撮影開始指示手段と、光学的
画像をＣＣＤなどで電気的画像に変換する撮像手段と、
画像が静止状態にあるか否かを判定する被写体状態判定
手段と、前記距離が所定範囲内にあって、かつ画像が静
止状態にあることを判定して撮影した画像を静止画像と
して出力する食品画像判定手段と、その静止した撮影画
像から食品のみの画像を所定の大きさで所定位置に取り
出す食品画像入力手段とで構成する。

【００２７】上記食品画像入力手段は、静止した撮影画
像から食品のみの画像を取り出し、所定の大きさで所定
の位置を占めるようにする手段であり、背景画像を記憶
しておく背景画像記憶手段と、撮影画像から背景画像成
分を除いた差分画像を抽出する差分画像抽出手段と、食
品と同色または類似色が連続している領域を抽出する色
情報連続領域抽出手段と、前記差分画像と前記色情報連
続領域とから食品のみの画像を切り出す画像切り出し手
段と、前記食品のみの画像を所定の大きさと位置を占め
るように加工する画像加工手段とで構成する。

【００２８】入庫指示手段は食品が入庫されることを検
出して指示する手段であり、冷凍冷蔵庫の冷凍室、冷蔵
室、野菜室などの各室の扉の開閉を検出する扉開閉検出
手段と、食品の画像が取り込まれたのち所定時間内に前
記扉のいずれかが開閉されたときに食品がその扉の室に
入庫されたと判定する入庫判定手段とで構成する。

【００２９】出庫指示手段は食品が出庫されることを検
出して指示する手段であり、前記扉開閉検出手段により
扉が開閉されたのち所定時間内に食品画像が取り込まれ
たとき、かつ出庫食品選択手段により食品が選択された
ときに食品がその扉の室から出庫されたと判断する出庫
判定手段で構成する。なお、出庫食品選択手段について
は後述する。

【００３０】在庫情報記憶手段は、在庫する各食品につ
いて、在庫する室名、食品画像、入庫後の在庫期間、お
よび在庫期間の可否を判定した場合には在庫期間判定結
果などを食品情報として記憶する手段であり、半導体記
憶手段で構成できる。

【００３１】前記出庫食品選択手段は、出庫食品が前記
在庫情報記憶手段に記憶した食品の１つであることを確
認する手段であり、また、その結果を食品情報の消去に
供する手段でもあり、出庫食品の食品画像の特徴と前記
食品情報中の食品画像の特徴とを抽出する画像特徴抽出
手段と、前記出庫食品の特徴を食品情報中の食品画像の
特徴と相互に照合して出庫食品に最も近いものを選択す
る画像照合手段と、画像照合の開始を指示する照合処理
開始手段とで構成する。

【００３２】在庫情報消去手段は前記在庫情報記憶手段
から出庫食品の食品情報を消去する手段であり、前記出
庫食品選択手段で選択した食品の食品情報を前記出庫指
示手段の指示に対応して消去する。

【００３３】有効期間指定手段は入庫時点からの在庫期
間が食品の保存の点から好ましい期間を有効期間として
指示する手段であり、室の保存温度を検出する保存温度
検出手段と、保存温度の履歴を記憶する温度履歴記憶手
段と、保存温度または温度履歴に対応する標準的な目安
の有効期間をあらかじめ記憶している標準有効期間登録
手段と、保存温度または温度履歴と前記標準的な目安の
有効期間とから有効期間を推定する有効期間推定手段と
で構成する。

【００３４】また、他の有効期間指定手段として、前記
標準有効期間登録手段と、使用者が経験に基づいて有効
期間を入力する有効期間入力手段と、それを登録する入
力期間登録手段と、使用者が有効期間を前記入力期間登
録手段に登録している場合にはそれを優先して有効期間
として選択し、登録していない場合には前記標準的な目
安の有効期間を有効期間として選択する有効期間選択手
段とで構成することもできる。

【００３５】有効期間判定手段は在庫期間を前記有効期
間と比較して在庫期間の可否を判定する手段であり、期
間長を比較する比較手段で構成する。

【００３６】食品保鮮情報記憶手段は食品を上手に保存
する方法に係わる情報をあらかじめ食品ごとに記憶して
いる記憶手段である。また、保鮮情報検索手段は、使用
者が選択した食品の保鮮情報を前記食品保鮮情報記憶手
段から検索する手段である。

【００３７】食品情報表示手段は前記食品情報を表示す
る手段であり、保鮮情報を表示することもできる手段で
あり、薄型にできる液晶パネルで実現することができ
る。

【００３８】以下、実施例について説明する。

【００３９】

【実施例】

（実施例１）以下、本発明の冷凍冷蔵庫の食品在庫管理
装置の実施例１について図面を参照しながら説明する。

【００４０】図１は本実施例の構成を示すブロック図で
ある。図において、１は入庫または出庫するときに食品
の画像を取り込む食品画像処理手段であり、食品画像の
取り込み処理の開始を使用者が指示するスイッチを備え
た撮影開始指示手段２と、レンズなどで構成された光学
系３と、ＣＣＤなどにより光学的画像情報を電気的画像
情報に変換する撮像手段４と、光学系３から食品までの
距離を測定し、光学系３を操作して焦点を自動的に食品
に合わせる自動合焦手段５と、食品までの距離が２０ｃ
ｍ程度の所定範囲内か否かを判定する被写体距離判定手
段６と、撮像手段４に取り込んだ画像が静止状態にある
か否かを判定する被写体状態判定手段７と、食品までの
距離が２０ｃｍ範囲内かつ静止状態であれば食品画像で
あると判定する食品画像判定手段８と、撮影画像から食
品のみの画像を抽出し、それを所定の大きさと位置とに
加工する食品画像入力手段９とを備えている。

【００４１】また、食品画像入力手段９は、食品を含ま
ない背景画像をあらかじめ記憶する背景画像記憶手段１
０と、画像の差分処理により食品を含む画像から背景画
像成分を除去する差分画像抽出手段１１と、食品を含む
画像から食品と同色または類似色の連続領域を抽出する
色情報連続領域抽出手段１２と、前記差分画像と前記色
情報連続領域とから食品のみの画像を切り出す画像切り
出し手段１３と、切り出した食品のみの画像を拡大縮小
して所定の大きさに加工するとともに、中心付近に移動
する画像加工手段１４とを備えている。なお、光学系３
のレンズは、図２に示したように、冷凍冷蔵庫３３の上
部扉の正面に配置され、使用者は撮影開始指示手段２に
より食品画像の取り込み処理の開始を指示し、食品を手
で持ってレンズの前２０ｃｍ以内に固定すれば自動的に
食品画像が取り込まれる。

【００４２】１５は食品の入庫を指示する入庫指示手段
であり、冷凍冷蔵庫の各室の扉の開閉を検出する扉開閉
検出手段１６と、食品画像処理手段１により食品画像が
取り込まれたのち数秒以内に上記扉が開閉されると食品
が入庫されたと判定する入庫判定手段１７とを備えてい
る。なお、本実施例において扉開閉検出手段１６は、冷
凍室扉開閉検出手段１６ａと、冷蔵室扉開閉検出手段１
６ｂと、野菜室扉開閉検出手段１６ｃとを備え、それぞ
れマイクロスイッチなどにより構成される。また、入庫
判定手段１７は扉開閉検出手段１６の出力により食品の
入庫とその室とを判定することができる。また、１８は
食品の出庫を指示する出庫指示手段であり、扉開閉検出
手段１６を入庫指示手段１５と共有して備えるととも
に、扉開閉後の数秒以内に食品画像処理手段１により食
品画像が取り込まれ、かつ後述の出庫食品選択手段２４
によりその食品が在庫中のものであると判定されたとき
に食品が出庫されたと判定する出庫判定手段１９とを備
えている。この出庫指示手段１８と入庫指示手段１５と
では扉の開閉と画像の取り込みとの順序が逆になってい
る。これは、入庫または出庫する食品をいずれも冷凍冷
蔵庫３３の庫外で撮影することによる。

【００４３】２０は在庫期間積算手段であり、食品の入
庫時点からの経過時間を積算し、在庫期間として在庫情
報記憶手段２１に与える。在庫情報記憶手段２１は入庫
指示手段１５により入庫が指示された食品の食品情報を
記憶する情報記憶手段であり、各食品について在庫の室
名と食品画像と在庫期間とを食品情報として記憶する。
２２は在庫情報記憶手段２１により記憶された各食品の
食品画像と在庫期間とを各室ごとに表示する食品情報表
示手段であり、全面ドットマトリックス方式の液晶パネ
ルにより構成される。２３は冷凍室、冷蔵室、および野
菜室の各室のいずれかを選択するスイッチにより構成さ
れた室選択手段であり、室を選択することによりその室
の各在庫食品の食品画像と在庫期間とを食品情報表示手
段２２の液晶パネルに同時に表示することができる。ま
た、食品画像処理手段１により食品画像を取り込んだの
ち室選択手段２３を入力すれば入庫指示手段１５による
入庫指示がなくてもその食品の食品情報を記憶すること
ができる。

【００４４】２４は出庫した食品の食品情報を在庫情報
記憶手段２１に記憶された複数の食品の食品情報中から
選択する出庫食品選択手段であり、出庫したときに取り
込んだ食品画像の特徴と在庫情報記憶手段２１により記
憶された複数の食品画像の特徴とを抽出する画像特徴抽
出手段２５と、抽出した食品画像の特徴を相互に比較照
合し、特徴が最も近い食品を在庫食品の中から選択する
画像照合手段２６と、スイッチにより構成された照合処
理開始手段２７とを備えている。画像照合手段２６は抽
出された画像特徴のパターンマッチング処理により画像
を照合する。画像照合処理の結果、最も近い食品画像が
判明すれば食品情報表示手段２２によりその食品を表示
して使用者に知らせる。使用者は照合結果の正誤を判断
し、間違っていれば、再度、照合処理開始手段２７によ
り照合処理を開始させる。このとき、前回の処理で間違
っていたと判断された食品は選択されない。２８は確
定、取消が選択できるスイッチにより構成された表示内
容確認手段であり、照合結果が正解であれば確定スイッ
チを押す。

【００４５】２９は在庫情報消去手段であり、出庫判定
手段１９により食品の出庫が確認され、かつ出庫食品選
択手段２４により出庫食品が確定されると、その食品の
食品情報を在庫情報記憶手段２１から消去する。３０は
カーソル移動スイッチなどにより構成された在庫食品選
択手段であり、使用者が食品情報表示手段２２の液晶パ
ネルに表示された各在庫食品の中からひとつの在庫食品
を選択する。選択された結果は同時に液晶パネルに表示
されるので、使用者は確認しながら選択できる。３１は
削除スイッチにより構成された消去指示手段であり、在
庫食品選択手段３０で選択された食品の食品情報を在庫
情報記憶手段２１から消去することができる。この場合
は出庫判定手段１９により食品の出庫が確認され、かつ
出庫食品選択手段２４により出庫食品が確定されなくて
も消去可能であり、冷凍冷蔵庫庫内の食品の棚卸しや整
理時に有効である。３２はカレンダーと時刻とをカウン
トする時計手段であり、在庫期間積算手段２０と食品情
報表示手段２２に出力される。

【００４６】図２は本実施例の冷凍冷蔵庫の外観を示す
斜視図である。図において、３３は冷凍冷蔵庫、３４は
冷蔵室扉、３５は冷凍室扉、３６は野菜室扉、３７はマ
イクロコンピュータにより制御される食品在庫管理装置
であり、食品在庫管理装置３７は、使用者が見易く、操
作し易い位置に配置されている。

【００４７】図３、図４、図５は本実施例の食品在庫管
理装置３７の外観と食品情報表示手段２２の表示状態と
を示す平面図である。図３ないし図５において、食品在
庫管理装置３７は、食品情報表示手段２２である液晶パ
ネルと、光学系３のレンズと、各種のスイッチ類などと
で構成されている。撮影開始指示手段２は撮影スイッチ
により構成され、室選択手段２３は、冷凍室を選択する
冷凍室スイッチ２３ａと、冷蔵室を選択する冷蔵室スイ
ッチ２３ｂと、野菜室を選択する野菜室スイッチ２３ｃ
とにより構成される。また、表示内容確認手段２８は、
液晶パネル上に表示された情報を確認するための確定ス
イッチ２８ａと、取消スイッチ２８ｂとで構成され、在
庫食品選択手段３０は、液晶パネル上に表示されたカー
ソルを上下左右に移動させるカーソル移動スイッチ３０
ａ、３０ｂ、３０ｃ、３０ｄにより構成される。また、
照合処理開始手段２７は検索スイッチ、消去指示手段３
１は削除スイッチにより構成される。

【００４８】図４において、液晶パネルは食品画像処理
手段１により取り込まれた食品画像を表示している。

【００４９】図５において、液晶パネルは冷蔵室の在庫
食品を表示しており、冷蔵室扉開閉検出手段１６ｂによ
り冷蔵室の扉の開閉を検出した場合、または室選択手段
２３の冷蔵室スイッチ２３ｂを押した場合に在庫情報記
憶手段２１に記憶された冷蔵室の各在庫食品の食品画像
と在庫期間とを表示している。この液晶パネルに一度に
表示できる在庫食品数は９食品であり、残りの在庫食品
について表示させたいときには、前記カーソル移動スイ
ッチによりつぎの画面を表示することができる。また、
画面右上の数字”１／３”は、現在表示されている在庫
食品が３ページ中の１ページ分であり、残り２ページ分
の在庫食品が存在することを示している。また、カーソ
ルは太枠の点滅で表示され、図５では画面中央の食品に
カーソルが合わされている。この状態で確定スイッチ２
８ａを押すとカーソルは太枠の点灯に変わって食品が確
定され、つぎに、画面全体にその食品の画像と在庫期間
とが表示される。このカーソル表示は、画像照合手段２
６で食品が照合された場合と、在庫食品選択手段３０の
カーソル移動スイッチによりカーソル操作が行われた場
合とに表示される。

【００５０】在庫情報記憶手段２１における食品情報
は、出庫指示手段１８により食品の出庫が指示され、か
つ出庫食品選択手段２４により出庫食品が確定されると
消去されるが、食品確定後に消去指示手段３１の削除ス
イッチを押して消去することもできる。

【００５１】図６は本実施例の食品画像処理手段１の動
作例を食品情報表示手段が示すパターン図である。図に
おいて、撮影開始指示手段２の撮影スイッチが押される
と、まず、図６（Ａ）に示したように、背景画像を取り
込んで背景画像記憶手段１０に記憶する。つぎに、図６
（Ｂ）に示したように、食品が光学系３のレンズの前に
かざされると、自動合焦手段５により前記レンズから食
品までの距離を測定し、被写体距離判定手段６により２
０ｃｍ以内か否かを判定し、また同時に、図６（Ｃ）に
示したように、被写体状態判定手段７により食品画像に
手振れなどによる振れがあるか否かを判定し、静止状態
であれば、図６（Ｄ）に示したように、画像として取り
込む。つぎに、図６（Ｅ）に示したように、差分画像抽
出手段１１により背景画像成分を除去し、色情報連続領
域抽出手段１２と画像切り出し手段１３とにより食品の
みの画像を切り出す。最後に、図６（Ｆ）に示したよう
に、画像加工手段１４により食品の画像を所定の大きさ
に拡大縮小し、画面の中心付近に移動する。

【００５２】以下、本実施例の食品在庫管理装置の動作
について図面を参照しながら説明する。

【００５３】図７は食品入庫時の動作を示すフローチャ
ートである。ステップ１０１において初期画面が表示さ
れ、ステップ１０２で食品画像処理が行われると、ステ
ップ１０３で入庫指示手段１５による入庫指示があるか
否かを判定する。入庫指示があればステップ１０４に移
行して、入庫された食品の在庫期間の積算を開始し、ス
テップ１０５でその食品の画像と在庫期間を記憶し、ス
テップ１０１へ戻る。また、ステップ１０３で入庫指示
がなければステップ１０１へ戻る。

【００５４】図８は食品出庫時の動作を示すフローチャ
ートである。ステップ１１１で初期画面が表示され、ス
テップ１１２→ステップ１１１のループで出庫指示手段
１８による出庫指示待ちとなる。出庫指示があればステ
ップ１１３に移行して食品画像処理を行う。つぎに、ス
テップ１１４に移行して出庫食品の選択処理を行い、食
品が確定されるとステップ１１５に移行してその食品の
画像と在庫期間を消去し、ステップ１１１へ戻る。

【００５５】以上のように本実施例の冷凍冷蔵庫の食品
在庫管理装置によれば、食品在庫管理装置３７を冷凍冷
蔵庫３３の正面上部に設け、その正面に設けた光学系３
を介して冷凍冷蔵庫３３の庫外で食品の画像を取り込む
ので、冷凍室ないし野菜室における食品の多少には関係
なく入庫または出庫する食品の食品画像を得ることがで
き、かつ使用者は撮影開始指示手段２のスイッチ操作と
扉の開閉動作のみで入庫または出庫を管理できるので煩
わしい操作を簡素化でき、また、その情報を食品情報表
示手段２２により表示するので、食品の情報を的確に把
握でき、手間がかからず簡単に、しかも比較的低コスト
で庫内の在庫食品を管理することができる。

【００５６】（実施例２）以下、本発明の冷凍冷蔵庫の
食品在庫管理装置の実施例２について図面を参照しなが
ら説明する。

【００５７】図９は本実施例の構成を示すブロック図で
ある。なお、実施例１と同じ構成要素には同一番号を付
与して詳細な説明を省略する。本実施例が実施例１と異
なる点は、食品名選択手段３８を備えて食品画像の特徴
に基づいて食品名を自動的に認識するとともに、有効期
間指定手段４１を備えて保存温度などに基づいて有効期
間を指定し、また、在庫期間判定手段４６を備えて前記
有効期間との対比により在庫期間の可否を判定し、さら
に、食品保鮮情報記憶手段４８および保鮮情報検索手段
４９を備え、適正な保鮮情報の基に食品在庫を管理する
ようにしたことにある。また、在庫情報記憶手段２１
は、実施例１における食品情報に加えて、前記食品名と
前記在庫期間判定手段４６による在庫期間判定結果とを
記憶するようにしている。

【００５８】図９において、３８は食品画像処理の結果
に基づいて食品名を選択する食品名選択手段であり、あ
らかじめ抽出した食品ごとの画像特徴を記憶している画
像特徴記憶手段３９と、出庫食品選択手段２４における
画像特徴抽出手段２５で抽出した食品の画像特徴を画像
特徴記憶手段３９に記憶された画像特徴とパターンマッ
チングにより照合して食品名を認識する画像認識手段４
０とで構成される。

【００５９】４１は食品ごとにその有効期間を指定する
有効期間指定手段であり、冷凍冷蔵庫３３の各室の庫内
温度を検出する保存温度検出手段４２と、保存温度検出
手段４２により検出された保存温度から食品が入庫され
てからの保存温度履歴を記憶する温度履歴記憶手段４３
と、食品ごとに保存温度と有効期間との標準的な関係を
あらかじめ記憶した標準有効期間登録手段４４と、食品
の保存温度またはその温度履歴と保存温度と有効期間と
の標準的な関係からその食品の有効期間を推定する有効
期間推定手段４５とで構成される。また、４６は在庫期
間判定手段であり、在庫期間積算手段２０により積算さ
れた食品の在庫期間を有効期間指定手段４１により指定
された有効期間と比較し、食品の在庫期間の方が長けれ
ば有効期間切れと判定する。

【００６０】４７は食品ごとの入庫室名、食品画像、食
品名、在庫期間、および在庫期間判定結果を食品情報と
して記憶する在庫情報記憶手段、４８は食品ごとの上手
な保存方法などを保鮮情報としてあらかじめ記憶した食
品保鮮情報記憶手段であり、前記保鮮情報は食品情報表
示手段２２の液晶パネルに表示される。４９は食品名に
より保鮮情報を検索する保鮮情報検索手段である。

【００６１】図１０および図１１は本実施例の食品在庫
管理装置の構成を示す平面図である。図１０において、
食品情報表示手段２２の液晶パネルに表示されている内
容は食品画像取り込み画面であり、食品画像処理手段１
により取り込んだ食品画像と、食品名選択手段３８によ
り認識した食品名”だいこん”と、有効期間指定手段４
１で指定した現時点での保存温度と上記”だいこん”の
有効期間との標準的な関係から指定した有効期間（１０
日）と、保鮮情報検索手段４９により食品保鮮情報記憶
手段４８から検索した”だいこん”の上手な保存方法”
野菜室に立てておいて下さい”を表示している。

【００６２】図１１において、液晶パネルに表示されて
いる内容は冷蔵室の在庫食品表示画面であり、食品画像
と食品名と在庫期間と在庫期間判定結果とを表示してい
る。在庫期間判定結果が有効期間を越えている食品には
★印を表示している。また、食品名選択手段３８により
食品名が認識できなかった食品の食品名は空欄とする。
この場合、食品名の一覧を表示し、使用者に在庫食品選
択手段３０のカーソル移動スイッチで食品名を選択させ
ることも可能である。

【００６３】図１２は本実施例の標準有効期間登録手段
４４の登録例を、”さかな”（一尾魚）の保存温度と標
準有効期間との関係で示す特性図である。これは、一般
的に食品の有効期間は保存温度と相関があると言う性質
を利用している。有効期間指定手段４１は、さかな（一
尾魚）の保存温度または保存温度履歴と前記標準有効期
間との関係から有効期間を推定して指定している。

【００６４】以上のように本実施例によれば、実施例１
の手段の他に、食品名選択手段３８により食品名を認識
するとともに、有効期間指定手段４１により標準的な有
効期間を指定し、また、在庫期間判定手段４６により現
時点の在庫期間の可否を判定し、上記食品名、有効期
間、および在庫期間判定結果を在庫情報記憶手段に記憶
することにより、食品名を簡単に付与して管理でき、ま
た、比較的正確に在庫期間を判定して在庫食品の使い忘
れを未然に防止でき、さらに、保鮮情報検索手段４９に
より食品保鮮情報記憶手段４８から上手な保存方法であ
る保鮮情報を検索することにより、入庫時に保鮮方法を
アドバイスできるので使い勝手もよい。

【００６５】（実施例３）以下、本発明の冷凍冷蔵庫の
食品在庫管理装置の実施例３について図面を参照しなが
ら説明する。

【００６６】図１３は本実施例の構成を示すブロック図
である。なお、実施例１および実施例２と同じ構成要素
には同一番号を付与して詳細な説明を省略する。

【００６７】本実施例が実施例２と異なる点は有効期間
指定手段４１の構成にある。本実施例における有効期間
指定手段４１は、実施例２で説明した標準有効期間登録
手段４４と、使用者が食品の有効期間を入力する有効期
間入力手段５０と、入力した有効期間を記憶する入力期
間登録手段５１と、使用者が有効期間を登録している場
合は入力期間登録手段５１に登録された有効期間を選択
し、使用者が有効期間を登録していない場合は標準有効
期間登録手段４４に登録された有効期間を選択する有効
期間選択手段５２とにより構成される。

【００６８】図１４は本実施例の食品在庫管理装置の外
観を示す平面図である。図において、液晶パネルに表示
されている内容は食品画像取り込み画面であり、食品画
像処理手段１により取り込んだ食品画像と、画像認識手
段４０により認識した食品名”だいこん”と、標準有効
期間登録手段４４に登録された”だいこん”の有効期間
（１０日）と、使用者が入力した有効期間（四角で囲っ
た数字）と、保鮮情報検索手段４９により食品保鮮情報
記憶手段４８から検索した”だいこん”の上手な保存方
法とを表示している。使用者は在庫食品選択手段３０の
カーソル移動スイッチを操作して有効期間を変更でき
る。

【００６９】以上のように本実施例によれば、有効期間
指定手段４１において、有効期間入力手段５０により使
用者の経験に基づく有効期間を入力し、それを入力期間
登録手段５１に登録し、在庫期間判定手段４６は使用者
が入力した経験に基づく有効期間を優先して在庫期間判
定するようにしたことにより、より正確に在庫期間を判
定することができる。

【００７０】

【発明の効果】以上の説明から明らかなように、請求項
１に係わる本発明は、使用者の撮影指示に対応して食品
の画像を取り込み、続いて扉の開閉を検出したときに食
品を入庫したと判定し、入庫した室名と食品画像と入庫
時点からの在庫期間などを食品情報として記憶し、ま
た、扉の開閉を検出し、続いて使用者の撮影指示に対応
して食品の画像を取り込んだとき、その食品画像の特徴
を前記食品情報中の食品画像の特徴と照合して最も近い
ものを選択できるとその食品が出庫されたと判定すると
ともに、その食品の食品情報を消去するようにし、また
使用者の操作に対応して前記食品情報を表示するように
したことにより、食品を冷凍冷蔵庫の庫外で撮影するの
で、庫内の混雑状態に関係なく１つのカメラで必要十分
な食品画像を得ることができ、また、使用者の撮影開始
指示操作および扉の開閉のみで食品の入庫または出庫を
処理して在庫食品の食品情報を記憶し、また、食品情報
を表示することができるので、入出庫のたびにひとつひ
とつ入力する手間が省け、しかも食品画像により直感的
に、かつ素早く在庫状態を確認することができる。

【００７１】請求項２に係わる本発明は、使用者の撮影
指示に対応して食品の画像を取り込み、続いて扉の開閉
を検出したときに食品を入庫したと判定し、その食品画
像の特徴に基づいて食品名を選択し、また、食品の有効
期間を指定し、在庫期間を前記有効期間と比較して在庫
期間の可否を判定し、在庫情報記憶手段が各食品につい
て入庫した室名と前記食品名と食品画像と入庫時点から
の在庫期間と在庫期間の前記判定結果とを食品情報とし
て記憶し、また、扉の開閉を検出し、続いて使用者の撮
影指示に対応して食品の画像を取り込んだとき、その食
品画像の特徴を前記食品情報中の食品画像の特徴と照合
して最も近いものを選択できるとその食品が出庫された
と判定するとともに、その食品の食品情報を消去するよ
うにし、また、使用者の操作に対応して前記食品情報を
表示するようにしたことにより、請求項１に係わる本発
明と同じ効果を得ることができるとともに、食品名を自
動的に選択するので使用者が手入力で食品名をいちいち
入力する必要がなく、また、在庫期間の可否を判定して
記憶および表示するので、食品画像と食品名とにより直
感的に、かつ素早く在庫確認ができる、また、在庫食品
の使い忘れを未然に防止することができる。

【００７２】請求項３に係わる本発明は、使用者の撮影
指示に対応して食品の画像を取り込み、続いて扉の開閉
を検出したときに食品を入庫したと判定し、その食品画
像の特徴に基づいて食品名を選択し、また、食品の有効
期間を指定し、在庫期間を前記有効期間と比較して在庫
期間の可否を判定し、在庫情報記憶手段が各食品につい
て入庫した室名と前記食品名と食品画像と入庫時点から
の在庫期間と在庫期間の前記判定結果などを食品情報と
して記憶し、また、扉の開閉を検出し、続いて使用者の
撮影指示に対応して食品の画像を取り込んだとき、その
食品画像の特徴を前記食品情報中の食品画像の特徴と照
合して最も近いものを選択できるとその食品が出庫され
たと判定するとともに、その食品の食品情報を消去する
ようにし、また、食品ごとの上手な保存方法を保鮮情報
としてあらかじめ記憶し、使用者の選択した食品の保鮮
情報を検索し、前記食品情報と保鮮情報とを表示するよ
うにしたことにより、使用者の撮影開始指示操作および
扉の開閉のみで食品の入庫または出庫を処理して在庫食
品の食品情報を食品名、在庫期間の可否とともに記憶
し、また、食品の保鮮情報を食品情報とともに表示する
ことができ、請求項１ないし請求項２に係わる本発明と
同じ効果を得ることができるとともに、保鮮情報により
食品を有効に長く保存することができる。

【００７３】請求項４に係わる本発明は、食品名とその
食品画像の特徴とをあらかじめ記憶しておき、取り込ん
だ食品画像の特徴を前記記憶した特徴から検索して、特
徴が最も近い食品名を選択するようにしたことにより、
食品名を自動的に得ることができ、入庫時に使用者が手
入力でいちいち食品名を入力する手間を省くことができ
る。

【００７４】請求項５に係わる本発明は、食品の標準的
な有効期間をあらかじめ記憶して備え、在庫期間を前記
有効期間と比較して、在庫期間の可否を判定するように
したことにより、在庫期間の可否を標準的な有効期間を
基に判定でき、使い残しがないように食品を管理するこ
とができる。

【００７５】請求項６に係わる本発明は、食品の標準的
な有効期間をあらかじめ記憶して備えるとともに、使用
者が経験に基づく有効期間を入力し、在庫期間を有効期
間と比較して可否判定するとき、前記使用者の入力した
有効期間を優先して判定するようにしたことにより、使
用者の経験を活かして、より的確に在庫期間の可否を判
定することができる。

【００７６】請求項７に係わる本発明は、食品画像を取
り込んだのち所定時間内に扉の開閉を検出したときに食
品がその扉の室に入庫されたと判定し、また、扉の開閉
を検出したのち所定時間内に食品画像を取り込んだと
き、その食品が在庫中のものであると確認できた場合に
食品がその扉の室から出庫されたと判定するようにした
ことにより、食品の入庫および出庫処理を扉の開閉に連
動して自動的に行うことができる。

【００７７】請求項８に係わる本発明は、取り込んだ食
品画像の特徴を食品情報中の食品画像の特徴と照合し、
特徴が最も近い食品を在庫食品中から選択するようにし
たことにより、出庫する商品が在庫食品の１つであるこ
とを確認できるとともに、食品情報の消去に供すること
ができ、使用者が出庫食品をいちいち手入力して指定す
る必要がない。

【００７８】請求項９に係わる本発明は、食品までの距
離を測定して自動的に焦点を合わせ、食品までの距離が
所定範囲内であって、かつ画像が静止状態であるときに
その画像を取り込み、その画像から食品のみの画像を所
定の大きさと位置とで得るようにしたことにより、焦点
ぼけや手振れがなく、所定の大きさと位置を占める食品
画像を得ることができ、使用者は光学系やシャッタボタ
ンを操作する必要がなく、食品を光学系の前にかざすだ
けで必要十分な画像を取り込むことができる。

【００７９】請求項１０に係わる本発明は、撮影画像か
ら背景画像成分を除いた差分画像を抽出するとともに食
品と同色または類似色の連続領域を抽出し、前記差分画
像と前記色情報連続領域とから食品のみの画像を切り出
し、それを所定の大きさと位置とに加工するようにした
ことにより、背景や容器などの不要部分を除いた食品の
みの画像を所定の大きさと位置とで得ることができ、視
認性のよい食品画像を自動的に生成することができる。

【図面の簡単な説明】

【図１】本発明の冷凍冷蔵庫の食品在庫管理装置の実施
例１の構成を示すブロック図

【図２】同実施例の食品在庫管理装置を備えた冷凍冷蔵
庫の外観を示す斜視図

【図３】同実施例の構成を示す平面図

【図４】同実施例が取り込んだ食品画像を食品情報表示
手段に表示している状態を示す平面図

【図５】同実施例が食品情報を食品情報表示手段に表示
している状態を示す平面図

【図６】同実施例における食品画像処理手段の動作を食
品情報表示手段が示すパターン図

【図７】同実施例の食品入庫時の動作を示すフローチャ
ート

【図８】同実施例の食品出庫時の動作を示すフローチャ
ート

【図９】本発明の冷凍冷蔵庫の食品在庫管理装置の実施
例２の構成を示すブロック図

【図１０】同実施例が取り込んだ食品画像と食品名と有
効期間と保鮮情報とを食品情報として食品情報表示手段
に表示している状態を示す平面図

【図１１】同実施例が室名と在庫中の食品画像と食品名
と在庫期間と在庫期間判定結果とを食品情報表示手段に
表示している状態を示す平面図

【図１２】保存温度と標準的な有効期間との関係の１例
を示す特性図

【図１３】本発明の冷凍冷蔵庫の食品在庫管理装置の実
施例３の構成を示すブロック図

【図１４】同実施例が取り込んだ食品画像と食品名と有
効期間と使用者が入力した有効期間と保鮮情報とを食品
情報として食品情報表示手段に表示している状態を示す
平面図

【符号の説明】

１食品画像処理手段２撮影開始指示手段３光学系４撮像手段５自動合焦手段６被写体距離判定手段７被写体状態判定手段８食品画像判定手段９食品画像入力手段１０背景画像記憶手段１１差分画像抽出手段１２色情報連続領域抽出手段１３画像切り出し手段１４画像加工手段１５入庫指示手段１６扉開閉検出手段１７入庫判定手段１８出庫指示手段１９出庫判定手段２０在庫期間積算手段２１在庫情報記憶手段２２食品情報表示手段２３室選択手段２４出庫食品選択手段２５画像特徴抽出手段２６画像照合手段２７照合処理開始手段２８表示内容確認手段２９在庫情報消去手段３０在庫食品選択手段３１消去指示手段３２時計手段３３冷凍冷蔵庫３４冷蔵室扉３５冷凍室扉３６野菜室扉３７食品在庫管理装置３８食品名選択手段３９画像特徴記憶手段４０画像認識手段４１有効期間指定手段４２保存温度検出手段４３温度履歴記憶手段４４標準有効期間登録手段４５有効期間推定手段４６在庫期間判定手段４８食品保鮮情報記憶手段４９保鮮情報検索手段５０有効期間入力手段５１入力期間登録手段５２有効期間選択手段

Claims

【特許請求の範囲】

【請求項１】食品を入庫または出庫するときに使用者
の撮影開始指示操作に対応して前記食品の画像を取り込
む食品画像処理手段と、画像を取り込んだ食品の入庫を
判定して指示する入庫指示手段と、入庫を指示された食
品の入庫時点からの経過時間を在庫期間として積算する
在庫期間積算手段と、複数の食品について在庫の室名と
食品画像と在庫期間とを食品情報として記憶する在庫情
報記憶手段と、食品情報を表示する食品情報表示手段
と、食品の出庫を判定して指示する出庫指示手段と、前
記在庫情報記憶手段に記憶された複数の在庫食品から食
品を選択する出庫食品選択手段と、前記在庫情報記憶手
段から出庫食品の食品情報を消去する在庫情報消去手段
とを備え、前記入庫指示手段は、前記食品画像処理手段
が食品画像を取り込んだのち所定時間内に冷凍冷蔵庫の
扉の開閉を検出したとき食品がその扉の室に入庫された
と判定し、前記在庫期間積算手段と前記在庫情報記憶手
段とに入庫を指示して入庫食品の食品情報を記憶させ、
また、前記出庫指示手段は、冷凍冷蔵庫の扉の開閉を検
出したのち所定時間内に前記食品画像処理手段が食品画
像を取り込み、かつ前記出庫食品選択手段によりその食
品が食品情報の中から選択できた場合はその食品がその
扉の室から出庫されたと判定し、前記在庫情報消去手段
に指示して出庫食品の食品情報を消去させるようにした
冷凍冷蔵庫の食品在庫管理装置。
【請求項２】食品を入庫または出庫するときに使用者
の撮影開始指示操作に対応して前記食品の画像を取り込
む食品画像処理手段と、画像を取り込んだ食品の食品画
像の特徴に基づいて食品名を選択する食品名選択手段
と、画像を取り込んだ食品の入庫を判定して指示する入
庫指示手段と、入庫を指示された食品の入庫時点からの
経過時間を在庫期間として積算する在庫期間積算手段
と、食品の有効期間の指示する有効期間指定手段と、食
品の在庫期間を有効期間と比較し、在庫期間が有効期間
を越えているか否かを判定する在庫期間判定手段と、複
数の食品について在庫の室名と食品画像と食品名と在庫
期間と前記在庫期間判定手段による在庫期間判定結果と
を食品情報として記憶する在庫情報記憶手段と、食品情
報を表示する食品情報表示手段と、食品の出庫を判定し
て指示する出庫指示手段と、前記在庫情報記憶手段に記
憶された複数の在庫食品から食品を選択する出庫食品選
択手段と、前記在庫情報記憶手段から出庫食品の食品情
報を消去する在庫情報消去手段とを備え、前記入庫指示
手段は、前記食品画像処理手段が食品画像を取り込んだ
のち所定時間内に冷凍冷蔵庫の扉の開閉を検出したとき
食品がその扉の室に入庫されたと判定し、前記在庫期間
積算手段と前記在庫情報記憶手段とに入庫を指示して入
庫食品の食品情報を記憶させ、また、前記出庫指示手段
は、冷凍冷蔵庫の扉の開閉を検出したのち所定時間内に
前記食品画像処理手段が食品画像を取り込み、かつ前記
出庫食品選択手段によりその食品が食品情報の中から選
択できた場合はその食品がその扉の室から出庫されたと
判定し、前記在庫情報消去手段に指示して出庫食品の食
品情報を消去させるようにした冷凍冷蔵庫の食品在庫管
理装置。
【請求項３】食品を入庫または出庫するときに使用者
の撮影開始指示操作に対応して前記食品の画像を取り込
む食品画像処理手段と、画像を取り込んだ食品の食品画
像の特徴に基づいて食品名を選択する食品名選択手段
と、画像を取り込んだ食品の入庫を判定して指示する入
庫指示手段と、入庫を指示された食品の入庫時点からの
経過時間を在庫期間として積算する在庫期間積算手段
と、食品の有効期間を指示する有効期間指示手段と、食
品の在庫期間を有効期間と比較し、在庫期間が有効期間
を越えているか否かを判定する在庫期間判定手段と、複
数の食品について在庫の室名と食品画像と食品名と在庫
期間と前記在庫期間判定手段による在庫期間判定結果と
を食品情報として記憶する在庫情報記憶手段と、食品ご
との上手な保存方法などを保鮮情報としてあらかじめ記
憶している食品保鮮情報記憶手段と、使用者により選択
された食品の保鮮情報を前記食品保鮮情報記憶手段から
検索する保鮮情報検索手段と、食品情報および保鮮情報
を表示する食品情報表示手段と、食品の出庫を判定して
指示する出庫指示手段と、前記在庫情報記憶手段に記憶
された複数の在庫食品から食品を選択する出庫食品選択
手段と、前記在庫情報記憶手段から出庫食品の食品情報
を消去する在庫情報消去手段とを備え、前記入庫指示手
段は、前記食品画像処理手段が食品画像を取り込んだの
ち所定時間内に冷凍冷蔵庫の扉の開閉を検出したとき食
品がその扉の室に入庫されたと判定し、前記在庫期間積
算手段と前記在庫情報記憶手段とに入庫を指示して入庫
食品の食品情報を記憶させ、また、前記出庫指示手段
は、冷凍冷蔵庫の扉の開閉を検出したのち所定時間内に
前記食品画像処理手段が食品画像を取り込み、かつ前記
出庫食品選択手段によりその食品が食品情報の中から選
択できた場合はその食品がその扉の室から出庫されたと
判定し、前記在庫情報消去手段に指示して出庫食品の食
品情報を消去させるようにした冷凍冷蔵庫の食品在庫管
理装置。
【請求項４】食品名選択手段は、複数の食品名とその
画像の特徴とをあらかじめ記憶した画像特徴記憶手段
と、食品画像処理手段により取り込んだ食品画像から抽
出した特徴に最も近い食品を前記画像特徴記憶手段から
検索する画像認識手段とにより構成される請求項２ない
し請求項３のいずれかに記載の冷凍冷蔵庫の食品在庫管
理装置。
【請求項５】有効期間指定手段は、食品の標準的な有
効期間の目安をあらかじめ登録した標準有効期間登録手
段と、食品の保存温度を検出する保存温度検出手段と、
入庫した時点からの保存温度の履歴を記憶する温度履歴
記憶手段と、前記標準的な有効期間と保存温度またはそ
の履歴とから食品ごとの有効期間を推定する有効期間推
定手段とにより構成される請求項２ないし請求項４のい
ずれかに記載の冷凍冷蔵庫の食品在庫管理装置。
【請求項６】有効期間指定手段は、使用者が有効期間
を指定して入力する有効期間入力手段と、使用者が入力
した前記有効期間を登録する入力期間登録手段と、食品
の標準的な有効期間の目安をあらかじめ登録した標準有
効期間登録手段と、使用者が有効期間を前記入力期間登
録手段に登録している場合はその有効期間を選択し、使
用者が有効期間を登録していない場合は前記標準有効期
間登録手段に登録された有効期間を選択する有効期間選
択手段とにより構成される請求項２ないし請求項４のい
ずれかに記載の冷凍冷蔵庫の食品在庫管理装置。
【請求項７】入庫指示手段は、冷凍冷蔵庫の各室扉の
開閉を検出する扉開閉検出手段と、食品画像を取り込ん
だのち所定時間内に前記扉開閉検出手段により扉の開閉
を検出したとき、扉が開閉された室に食品が入庫された
と判定する入庫判定手段とで構成され、出庫指示手段
は、前記扉開閉検出手段と、前記扉開閉検出手段により
扉の開閉を検出したのち所定時間内に食品画像が取り込
まれ、かつ出庫食品選択手段により食品が選択されたと
きに、扉が開閉された室から食品が出庫されたと判定す
る出庫判定手段とで構成される請求項１ないし請求項６
のいずれかに記載の冷凍冷蔵庫の食品在庫管理装置。
【請求項８】出庫食品選択手段は、食品画像処理手段
により取り込んだ食品画像の特徴と在庫情報記憶手段に
記憶した食品画像の特徴とを抽出する画像特徴抽出手段
と、抽出した特徴を相互に比較照合し、特徴が最も近い
食品を在庫食品の中から指定する画像照合手段とにより
構成された請求項１ないし請求項７のいずれかに記載の
冷凍冷蔵庫の食品在庫管理装置。
【請求項９】食品画像処理手段は、被写体である食品
までの距離を測定して前記被写体に焦点を合わせる自動
合焦手段と、光学的画像情報を電気的画像情報に変換す
る撮像手段と、前記自動合焦手段により測定した被写体
までの距離が所定範囲内か否かを判定する被写体距離判
定手段と、前記撮像手段により電気的画像情報に変換さ
れた被写体の画像が静止状態か否かを判定する被写体状
態判定手段と、被写体までの距離が所定範囲内、かつ被
写体が静止状態の場合に被写体の画像を食品画像と判定
する食品画像判定手段と、前記判定した食品画像を静止
画像として取り込む食品画像入力手段とにより構成され
た請求項１ないし請求項８のいずれかに記載の冷凍冷蔵
庫の食品在庫管理装置。
【請求項１０】食品画像入力手段は、食品を撮影する
直前の背景画像を記憶する背景画像記憶手段と、合焦し
た撮影画像と前記背景画像との差分画像を抽出する差分
画像抽出手段と、食品と同色または類似色が連続する領
域を抽出する色情報連続領域抽出手段と、前記差分画像
と前記色情報連続領域とから食品のみの画像を切り出す
画像切り出し手段と、切り出した食品画像を所定の大き
さに拡大縮小および中心付近に移動する画像加工手段と
により構成される請求項９記載の冷凍冷蔵庫の食品在庫
管理装置。