JP2012193873A

JP2012193873A - 収納装置

Info

Publication number: JP2012193873A
Application number: JP2011056509A
Authority: JP
Inventors: Yusuke Takuma; 裕輔詫摩
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-03-15
Filing date: 2011-03-15
Publication date: 2012-10-11

Abstract

【課題】
従来は、収納庫に収納した物品の配置がわからず、多大な時間を掛けて探さなければならないという問題があった。
【解決手段】
本発明に係る収納装置は、収納空間内を撮影する撮影部と、前記撮影部により撮影される画像に基づいて、前記収納空間内の物品を特定する物品情報および前記物品が置かれた前記収納空間内の位置を示す位置情報を認識する認識部と、前記認識部が認識した前記物品情報および前記位置情報を前記収納空間外に設置された表示部に表示させる表示制御部とを有することを特徴とする。
【選択図】図３

Description

本発明は、物品を収納する収納装置に関する。

従来、冷蔵庫内に収納されている食材を認識してリスト表示したり、食材を用いた料理メニューを提示する技術が検討されていた（例えば特許文献１参照）。

特開２００１−２０８４６３号公報

ところが、従来は収納庫に収納した物品の配置がわからず、多大な時間を掛けて探さなければならないという問題があった。特に冷蔵庫の場合は、扉を開けたまま食材を探さなければならず、無駄な電力が消費されるという問題があった。

本発明の目的は、収納庫を開ける前に収納された物品に関する情報と物品が置かれた位置を確認できる収納装置を提供することである。

本発明に係る収納装置は、収納空間内を撮影する撮影部と、前記撮影部により撮影される画像に基づいて、前記収納空間内の物品を特定する物品情報および前記物品が置かれた前記収納空間内の位置を示す位置情報を認識する認識部と、前記認識部が認識した前記物品情報および前記位置情報を前記収納空間外に設置された表示部に表示させる表示制御部とを有することを特徴とする。

本発明に係る収納装置は、収納庫を開ける前に収納された物品に関する情報と物品が置かれた位置を確認することができる。

本実施形態に係る冷蔵庫１００の概観を示す図である。冷蔵庫１００の内部の様子を示す図である。冷蔵庫１００の構成例を示すブロック図である。物品の位置検出を説明するための図である。表示部１０６の表示例を示す図である。物品管理ブロック１５０の処理を示すフローチャートである。物品検出の一例を示す図である。撮像部１０１の設置位置の例を示す図である。領域別の位置検出の例を示す図である。表示部１０６の表示例を示す図である。表示部１０６の表示例を示す図である。冷蔵庫１００の応用例を示すブロック図である。ドアノブセンサ１１１を用いる場合の処理を示すフローチャートである。

以下、本発明に係る収納装置の実施形態について図面を用いて詳しく説明する。本実施形態では、本発明に係る収納装置として、冷蔵庫１００に適用する例について説明する。

図１（ａ）は、本実施形態に係る冷蔵庫１００の外観例を示している。図１（ａ）において、冷蔵庫１００は、取っ手２０１ａを有する扉２０１と、取っ手２０２ａを有する扉２０２と、取っ手２０３ａを有する引出し２０３とを有し、扉２０１には表示部１０６が配置されている。

図１（ｂ）は、冷蔵庫１００の内部の様子を描いた図で、扉２０１と扉２０２の内部は、棚によって３つの収納スペース２０４（収納スペース２０４ａ、収納スペース２０４ｂおよび収納スペース２０４ｃ）に分かれている。また、引出し２０３の内部は、１つの収納スペース２０４ｄだけである。そして、各収納スペースの上部には各収納スペースに置かれる物品を撮影するためのカメラ（撮像部）が配置されている。例えば収納スペース２０４ａの上部には撮像部１０１ａが配置され、同様に、収納スペース２０４ｂには撮像部１０１ｂ、収納スペース２０４ｃには撮像部１０１ｃ、収納スペース２０４ｄには撮像部１０１ｄがそれぞれ配置されている。また、扉２０１および扉２０２の内部には照明部１０９ａが配置され、収納スペース２０４ａ、収納スペース２０４ｂおよび収納スペース２０４ｃに置かれた物品を照明する。同様に、引出し２０３の内部にも照明部１０９ｂが配置され、収納スペース２０４ｄに置かれた物品を照明する。尚、以降の説明において、収納スペース２０４のように符号番号にアルファベットを付加しない場合は、収納スペース２０４ａ、収納スペース２０４ｂ、収納スペース２０４ｃおよび収納スペース２０４ｄに共通の内容であることを示す。撮像部１０１や照明部１０９などについても同様である。

図２は、冷蔵庫１００に物品（食料品、薬、化粧品など）が配置された様子を描いた図である。収納スペース２０４ａには、物品ａと物品ｂとが置かれている。同様に、収納スペース２０４ｂには物品ｃと物品ｄ、収納スペース２０４ｃには物品ｅと物品ｆ、収納スペース２０４ｄには物品ｇと物品ｈと物品ｉ、がそれぞれ置かれている。そして、撮像部１０１ａは物品ａと物品ｂを、撮像部１０１ｂは物品ｃと物品ｄを、撮像部１０１ｃは物品ｅと物品ｆを、撮像部１０１ｄは物品ｇと物品ｈと物品ｉを、それぞれ撮影する。

図３は、冷蔵庫１００の構成例を示すブロック図である。図３において、冷蔵庫１００は、一般的な冷蔵庫と同様に、各収納スペース２０４内を冷却するためのコンプレッサなどの冷却機構３０１と、冷却機構３０１や照明部１０９および扉開閉センサ１０８などを制御する冷蔵庫制御部３０２と、温度設定などを行う設定部３０３とを有する。尚、冷蔵庫１００本来の動作については本実施形態に直接関係しないので詳細な説明は省略するが、例えば冷蔵庫制御部３０２は、設定部３０３で設定された温度に応じて冷却機構３０１を制御し、収納スペース２０４内を設定温度に保つ制御を行う。また、扉２０１、扉２０２、引出し２０３の開閉に応じて照明部１０９の点灯または消灯を制御する。例えば、冷蔵庫制御部３０２は、扉２０１または扉２０２が開けられたことを扉開閉センサ１０８ａまたは扉開閉センサ１０８ｂにより検知すると、照明部１０９ａを点灯する。逆に、冷蔵庫制御部３０２は、扉開閉センサ１０８ａまたは扉開閉センサ１０８ｂにより扉２０１または扉２０２が閉められたことを検知すると、照明部１０９ａを消灯する。

次に、本実施形態に係る冷蔵庫１００特有の物品管理ブロック１５０について説明する。物品管理ブロック１５０は、先に説明した冷蔵庫１００本来の機能とは別に設けられ、冷蔵庫１００内の各収納スペース２０４に配置されている物品の名称、種類、メーカー、製造年月日、賞味期限などの物品情報と、各物品が置かれた収納スペース２０４内の場所を示す位置情報とを自動的に認識して、冷蔵庫１００の扉２０１の外部に配置された表示部１０６の画面に表示することができる。そして、利用者は表示部１０６を見て、どの物品が冷蔵庫１００のどこにあるのかを扉２０１や扉２０２或いは引出し２０３を開ける前に知ることができる。これにより、従来のように、扉２０１や扉２０２或いは引出し２０３を開けっ放しにしたまま長時間に亘って目的の物品を探す必要がなくなり、扉や引出しの短時間の開閉で目的の物品を取り出すことができるので、無駄な電力を消費せず、省エネルギー化に貢献できる。

図３において、物品管理ブロック１５０は、撮像部１０１と、画像バッファ１０２と、画像処理部１０３と、制御部１０４と、メモリ１０５と、表示部１０６と、操作部１０７と、扉開閉センサ１０８と、照明部１０９とで構成される。尚、撮像部１０１、画像バッファ１０２、画像処理部１０３、制御部１０４、メモリ１０５および表示部１０６は、共通バス１１０を介して互いに接続されている。また、操作部１０７、扉開閉センサ１０８および照明部１０９は、制御部１０４に接続されている。そして、扉開閉センサ１０８と照明部１０９は、冷蔵庫制御部３０２と共用されており、制御部１０４または冷蔵庫制御部３０２の両方から制御することができる。ここで、撮像部１０１、扉開閉センサ１０８および照明部１０９は、収納スペース２０４の数や配置などによって個数は異なってもよい。また、物品管理ブロック１５０は、撮像部１０１、扉開閉センサ１０８、照明部１０９を除いて、例えば表示部１０６に一体化された筐体に組み込まれて扉２０１に設置される。

以下、物品管理ブロック１５０を構成する各部について詳しく説明する。

撮像部１０１は、例えば、光学レンズ、撮像素子、Ａ／Ｄ変換部およびタイミング発生部などで構成され、撮影した画像データは共通バス１１０を介して、画像バッファ１０２に取り込まれる。

画像バッファ１０２は、高速ＲＡＭなどで構成され、撮像部１０１が撮影した画像データを記憶する。尚、複数の撮像部１０１を使用する場合は、撮像部１０１毎に撮影した画像データが記憶される。

画像処理部１０３は、画像バッファ１０２に取り込まれた画像から冷蔵庫１００の内部に収納されている物品情報や配置された位置情報を検出する物品認識処理部１５１と、前に撮影された画像と比較して変化を検出する変化検出処理部１５２とを行う。尚、これらの処理については後で詳しく説明する。

制御部１０４は、内部に予め記憶されたプログラムによって動作するＣＰＵで構成され、操作部１０７から入力するユーザー操作に応じて、共通バス１１０や直接接続された各部の動作を制御する。

メモリ１０５は、不揮発性のメモリなどで構成され、冷蔵庫１００に収納されている物品情報や位置情報などを記憶する。

表示部１０６は、液晶モニタなどで構成され、冷蔵庫１００の扉２０１の外部に配置され、文字や画像などの情報を表示する。特に本実施形態に係る冷蔵庫１００では、収納スペース２０４に収納されている物品情報に対応付けて当該物品が置かれている位置情報を表示する。

操作部１０７は、表示部１０６の画面上に配置されたタッチパネルで構成される。例えば、制御部１０４は表示部１０７の画面にメニュー画面を表示し、利用者はメニュー画面の項目や操作ボタン或いはキーボードなどに指でタッチして項目の選択や操作ボタンの押下あるいは文字の入力などを行う。

扉開閉センサ１０８は、扉２０１、扉２０２および引出し２０３の開閉を検出するためのセンサである。開閉を示す情報は、制御部１０４および冷蔵庫制御部３０２の両方に出力される。

照明部１０９は、冷蔵庫１００内部の収納スペース２０４を照らすためのＬＥＤなどで構成され、制御部１０４および冷蔵庫制御部３０２の両方によってオン／オフされる。ここで、本実施形態に係る冷蔵庫１００は、物品情報および位置情報を自動的に検出して表示部１０６に表示する「物品管理モード」と「通常モード」とをメニュー画面で選択して設定できるものとする。例えば、物品情報の検出を行わない「通常モード」の場合には、制御部１０４は動作せず、冷蔵庫制御部３０２は、扉２０１または扉２０２のいずれかが開けられた場合は照明部１０９ａを点灯し、引出し２０３が開けられた場合は照明部１０９ｂを点灯する。逆に、扉２０１および扉２０２の両方が閉められた場合は照明部１０９ａを消灯し、引出し２０３が閉められた場合は照明部１０９ｂを消灯する。

ここで、本実施形態に係る冷蔵庫１００が物品情報の検出を行う「物品管理モード」に設定されている場合には、冷蔵庫制御部３０２による制御よりも制御部１０４による制御が優先され、制御部１０４が照明部１０９の点灯／消灯を制御する。例えば、制御部１０４が照明部１０９が点灯するのは、扉２０１、扉２０２および引出し２０３のいずれかが開けられている場合と、扉２０１、扉２０２および引出し２０３が閉められている場合でも撮像部１０１によって収納スペース２０４の物品を撮影している期間、照明部１０９を点灯する。そして、制御部１０４は、扉２０１、扉２０２および引出し２０３が閉められている場合且つ撮像部１０１による撮影が行われていない場合に、照明部１０９を消灯する。

このように、本実施形態に係る冷蔵庫１００は、通常の冷蔵庫の機能に加えて、物品管理ブロック１５０を有し、冷蔵庫１００内の各収納スペース２０４に配置されている物品の情報や各物品が置かれた収納スペース２０４内の場所を示す位置情報を自動的に認識して、冷蔵庫１００の扉２０１の外部に配置された表示部１０６の画面に表示することができる。

［物品情報および位置情報の認識方法］
次に、各収納スペース２０４に置かれている物品の名称、種類、メーカー、製造年月日、賞味期限などの物品情報と、各物品が置かれた収納スペース２０４内の場所を示す位置情報とを自動的に認識する方法例について説明する。尚、物品の認識は、画像処理部１０３の物品認識処理部１５１によって実行される。
・物品情報の認識
先ず、物品の名称、種類、メーカー、製造年月日、賞味期限などの物品情報の認識方法の一例について説明する。物品情報の認識方法の一例として、例えば一般的な電子カメラなどで行われている顔検出の技術を利用する。この場合、冷蔵庫１００に入れる可能性がある物品の特徴量を予めメモリ１０５に登録しておき、物品認識処理部１５１は、撮像部１０１が撮影した画像から物品の特徴量に合致するものを判別することにより、物品の種類を判別できる。例えば、物品の特徴量として形状や色の情報を利用することができ、形状や色によるパターンマッチング手法を用いて、撮影された画像の中から物品を認識できる。さらに、物品認識処理部１５１は、撮影された画像から物品やラベルに記載されている文字認識を行い、物品の名称やメーカー、製造年月日や賞味期限などの詳細な物品情報を取得することができる。或いは、物品認識処理部１５１は、撮影された画像から物品やラベルに記載されているバーコードや二次元コードを読み取って、物品の種類や名称などを認識するようにしてもよい。このように、周知の技術を利用して物品情報を取得することができる。

ここで、物品認識処理部１５１が、撮像部１０１が撮影した画像から物品情報を認識できない場合の対応について説明する。先に説明したように、冷蔵庫１００に入れる可能性がある物品の特徴量を予めメモリ１０５に登録しておくが、登録されていない物品が冷蔵庫１００に収納された場合に、物品認識処理部１５１は物品情報を特定することができない。このような場合、画像処理部１０３の物品認識処理部１５１は、認識できない物品があったことと、認識できない物品の位置情報または画像を制御部１０４に知らせる。そして、制御部１０４は、表示部１０６に「認識できない物品があります」という表示と共に、認識できない物品が置かれている位置情報または画像を表示する。この時、電子音出力部を制御部１０４に設けて、利用者に気づかせるための電子音を出力するようにしてもよい。尚、物品認識処理部１５１は、後述するように、物品が置かれる前後の画像の差分を求めるので、画像に何らかの変化があったこと（つまり、何らかの物品が置かれていること）と、その位置情報とを認識することができる。

さらに、制御部１０４は、「物品情報を登録してください」というメッセージ、物品の名称や種類などを入力する入力ボックス、キーボード、登録ボタンなどを表示部１０６に表示し、利用者は操作部１０７のタッチパネルを操作して入力ボックスを選択し、表示部１０６に表示されたキーボードから入力ボックスの項目に応じて物品の名称や種類などを入力し、登録ボタンにタッチする。一方、物品認識処理部１５１は、認識できなかった物品の特徴量を抽出して制御部１０４に出力し、制御部１０４は利用者が入力した物品情報と、認識できなかった物品の特徴量とを対応付けてメモリ１０５に新たなパターンマッチング用のテンプレートデータとして記憶する。

このようにして、物品認識処理部１５１が認識できなかった物品についても、利用者が手入力により物品情報を設定することができる。さらに、手入力された物品の形状などパターンマッチングを行うための特徴量を抽出して、手入力された物品情報と特徴量とを関連付けて、新たなパターンマッチング用のテンプレートを学習することができるので、予めメモリ１０５に登録された物品だけでなく、利用者の使用形態に応じたテンプレートを作成することができ、物品の認識精度を向上することができる。
・位置情報の認識
次に、冷蔵庫１００の収納スペース２０４に配置された物品の位置情報を認識する方法の一例について図４を用いて説明する。図４（ａ）は、図２に示した冷蔵庫１００の収納スペース２０４ａの上部に設置された撮像部１０１ａにより撮影された画像２５１の例を示している。画像２５１は、収納スペース２０４ａを上部から撮影した画像で、物品ａと物品ｂとが写っている。

ここで、撮像部１０１ａで用いられる撮像素子の画素座標２５２の例を図４（ｂ）に示す。図４（ｂ）の例では、撮像部１０１ａは、横方向をｘ軸として３６画素、奥行き方向をｙ軸として１６画素の解像度で収納スペース２０４ａを撮影する。ここで、図４（ｂ）において、各画素の位置を座標（ｘ，ｙ）で表記すると、収納スペース２０４ａの左奥（紙面左上）は画素（１，１）となり、収納スペース２０４ａの右前（紙面右下）は画素（３６，１６）となる。そして、図４（ａ）の画像２５１を図４（ｂ）の画素座標に重ねると、図４（ｃ）のようになる。図４（ｃ）において、物品ａはｘ＝６から１４の範囲と、ｙ＝７から１５の範囲にあり、中心は画素（１０，１１）である。また、物品ｂはｘ＝２３から２９の範囲と、ｙ＝４から１０の範囲にあり、中心は画素（２６，７）である。

このように、画像処理部１０３の物品認識処理部１５１は、物品の位置情報を撮影される画像の画素座標として認識することができる。そして、物品認識処理部１５１が認識した物品情報および位置情報は、収納スペース２０４毎あるいは撮像部１０１毎にメモリ１０５に記憶される。尚、先に説明したように、物品情報が認識できない場合でも位置情報の認識は可能であると考えられるが、物品情報と同様に、位置情報についても利用者が手入力できるようにしても構わない。この場合の操作手順は、先述の物品情報を入力する場合と同様に、位置情報を入力するボックスに「上棚中央」などのように、表示部１０６に表示されたキーボードで入力する。

図５は、制御部１０４が収納スペース２０４毎にメモリ１０５に記憶された物品情報および位置情報のリスト２６１を読み出して表示部１０６に表示する例を示している。図５において、パターンマッチングなどによって認識した物品情報と、その物品の中心画素の座標を位置情報とが対応付けられたリストが各収納スペース２０４毎に表示部１０６に表示されている。例えば収納スペース２０４ａには、物品ａが位置（１０，１１）に、物品ｂが位置（２６，７）にそれぞれ置かれていることがわかる。尚、物品の位置情報は、物品の中心にある画素の座標ではなく、図４（ｃ）で説明したように、ｘ軸方向とｙ軸方向の座標値で物品が置かれている範囲を示してもよい。例えば、図４（ｃ）の例では、物品ａは範囲（ｘ＝６から１４とｙ＝７から１５）、物品ｂは範囲（ｘ＝２３から２９とｙ＝４から１０）を位置情報として表示部１０６に表示してもよい。

ここで、上記の説明では、物品の位置情報を物品の中心画素の座標またはｘ軸とｙ軸の範囲で表記する例を示したが、図６（ａ）に示すように図４（ｂ）の画素座標を複数の領域に分け、物品の中心画素の座標がどの領域にあるかによって物品の位置を判断してもよい。例えば図６（ａ）の例では、収納スペース２０４ａを左奥、中奥、右奥、左前、中前、右前の６つの領域に分けている。この場合、物品ａの中心の画素は左前にあるので位置は「左前」になり、物品ｂの中心の画素は右奥にあるので位置は「右奥」になる。そして、表示部１０６には、図７に示すように、冷蔵庫１００に収納されている各物品は、収納スペース２０４毎（上棚、中棚、下棚、引出）に、物品情報に対応付けられた位置情報（左奥、中奥、右奥、左前、中前、右前のいずれか）が表示される。

また、撮像部１０１を各収納スペース２０４の上部だけでなく、図８の収納スペース２０４ｂのように、側面に配置してもよい。図８の例では、収納スペース２０４ｂには、上部に撮像部１０１ｂ、右側面に撮像部１０１ｂ１、左側面に撮像部１０１ｂ２の３つのカメラが配置されている。これにより、撮像部１０１ｂ１または撮像部１０１ｂ２は、収納スペース２０４ｂを側面から撮影するので、上下方向の位置を認識することができる。この場合は、図６（ａ）と同様に、図６（ｂ）に示すように、物品認識処理部１５１は、奥行き方向をｙ軸の１６画素、上下方向をｚ軸の１６画素の画素座標２５３で位置情報を取得することができる。図６（ｂ）の例では、画素座標２５３を４つの領域（下奥、下前、上奥、上前）に分けている。例えば物品ｊの上に物品ｋを重ねて置いてある場合、表示部１０６には、物品ｊの位置は下奥、物品ｋの位置は上奥のように表示される。さらに、この場合は、図６（ａ）の位置情報と図６（ｂ）の位置情報とを組み合わせて、右上奥、左下奥、右下前などのように３次元的に位置情報を表示部１０６に表示することができ、利用者はより詳細な物品の位置を知ることができる。

このように、撮像部１０１を収納スペース２０４の上部だけでなく側面に配置することによって、物品認識処理部１５１は、３次元的に物品の位置情報を取得することができる。

さらに、図８の収納スペース２０４ｄの例のように、撮像部１０１ｄ、撮像部１０１ｄ１および撮像部１０１ｄ２の３つのカメラを上部中央、上部右側および上部左側に設置してもよい。これにより、例えば図６（ａ）のように、中央と、右側と、左側とに領域を分ける場合の認識精度を向上することができる。特に、冷凍庫のように、食品を詰め込むようなスペースの場合に有効である。

また、図５および図７の例では、物品情報および位置情報を文字で表示部１０６に表示するようにしたが、図９に示すように、物品が置かれている位置に物品の形状の特徴を示すイラストまたは画像を表示部１０６に表示するようにしてもよい。これにより、利用者は直感的に物品の場所を知ることができる。尚、図９の例のようにイラストに物品名を併記してもよい。また、先に説明した物品が配置されている画素座標を用いることでイラストを表示する位置が正確にわかる。或いは、図６のように領域に分けて、およその位置にイラストを表示するようにしてもよい。

このようにして、画像処理部１０３の物品認識処理部１５１が認識した物品情報と位置情報は、互いに関連付けて、収納スペース２０４毎、或いは撮像部１０１毎にメモリ１０５に記憶される。

［冷蔵庫１００における処理例］
次に、冷蔵庫１００を使用して収納している物品が更新される場合の物品情報と位置情報とを表示部１０６に表示する処理例について図１０のフローチャートを用いて説明する。冷蔵庫１００を実際に使用しているときは、収納されている物品の取り出し、新たに購入した物品を収納、収納されている物品位置の移動や入れ替えなど頻繁に物品情報や位置情報が変化する。尚、これらの変化を検出する処理は、画像処理部１０３の変化検出処理部１５２によって実行される。

以下、図１０のフローチャートに従って順番に説明する。尚、以下のフローチャートは、冷蔵庫１００の動作モードを先述した「一般モード」から「物品管理モード」に設定された場合に実行される。

（ステップＳ１０１）利用者が表示部１０６に表示された設定メニューから「物品管理モード」を選択すると、制御部１０４は冷蔵庫１００の照明部１０９を点灯する。尚、制御部１０４は、照明部１０９ａおよび照明部１０９ｂの両方を点灯する。また、扉２０１、扉２０２および引出し２０３は、閉めた状態にあるものとし、例えば扉開閉センサ１０８が扉２０１、扉２０２および引出し２０３のいずれかが開けられていることを検出している場合は、閉じられるまで図１０のフローチャートの処理は実行せずに待機する。

（ステップＳ１０２）制御部１０４は、撮像部１０１に指令して収納スペース２０４内の画像を撮影し、撮影された画像を画像バッファ１０２に記憶する。尚、各撮像部１０１毎に撮影された画像が画像バッファ１０２に別々に記憶されるが、制御部１０４はどの画像がどの収納スペース２０４に対応する画像であるかを管理している。これは、各収納スペース２０４毎に設置されている撮像部１０１を対応付けたリストを製造時などにメモリ１０５に記憶されている。例えば、収納スペース２０４ａには撮像部１０１ａ、収納スペース２０４ｂには撮像部１０１ｂなどのように対応付けたリストをメモリ１０５に記憶しておく。

或いは、収納スペース２０４毎に画像バッファ１０２の記憶領域を予め決めておいてもよい。例えば、収納スペース２０４ａの記憶領域ａ、収納スペース２０４ｂの記憶領域ｂなどのように、画像バッファ１０２内の記憶領域を設定しておく。

（ステップＳ１０３）制御部１０４は冷蔵庫１００の照明部１０９を消灯する。尚、制御部１０４は、照明部１０９ａおよび照明部１０９ｂの両方を消灯する。或いは、複数の撮像部１０１が画像の撮影を一斉に行わない場合は、各撮像部１０１が撮影を終了する毎に撮影済みの収納スペース２０４の照明部１０９を消灯するようにしてもよい。例えば図２において、撮像部１０１ｄが撮影を終了し、撮像部１０１ａ、撮像部１０１ｂおよび撮像部１０１ｃのいずれかの撮影が終了していない場合は、収納スペース２０４ｄの照明部１０９ｂのみを消灯し、収納スペース２０４ａから収納スペース２０４ｃの照明部１０９ａは撮像部１０１ａ、撮像部１０１ｂおよび撮像部１０１ｃの全ての撮影が終了するまで点灯状態を維持し、全ての撮影が終了した段階で照明部１０９ａを消灯する。

（ステップＳ１０４）制御部１０４は、画像バッファ１０２に取り込まれた画像毎に物品情報および位置情報の認識を行うよう画像処理部１０３に指令する。そして、画像処理部１０３の物品認識処理部１５１は、先述の認識方法により、画像毎に物品情報と位置情報とを認識する。例えば図２の場合は、収納スペース２０４毎に1台の撮像部１０１が設置されているので、各撮像部１０１が撮影した画像から認識した物品情報と位置情報がそのまま各収納スペース２０４の物品情報と位置情報になるので、収納スペース２０４毎に物品情報と位置情報を対応付けてメモリ１０５に記憶する。例えば図５に示したリスト２６１がメモリ１０５に記憶される。

ここで、ステップＳ１０４とステップＳ１０５の処理は、初期処理として実行する処理なので、実行せずにステップＳ１０６に進んでもよい。例えば、冷蔵庫１００の購入時には物品が収納されていないので、ステップＳ１０６で扉２０１、扉２０２または引出し２０３を開いて物品が収納され後で行われる物品情報および位置情報の認識処理（ステップＳ１１２）だけで行うようにしてもよい。但し、この場合でも、ステップＳ１０２で各収納スペース２０４の画像を撮影しておくのが好ましく、物品が置かれた後で撮影される画像と比較することにより、変化があった部分の検出（物品の検出）を容易におこなうことができる。

（ステップＳ１０５）制御部１０４は、メモリ１０５に記憶された各収納スペース２０４毎に物品情報と位置情報を表示部１０６に表示する。表示方法は、図５に示したように、物品名と位置を示す座標をリスト形式で表示してもよいし、図７に示したように、物品名とおよその位置を示す文字情報をリスト形式で表示してもよい。或いは、図９の例のように、冷蔵庫１００内の物品が置かれている位置に物品のイラスト（物品名を併記してもよい）を表示するようにしてもよい。尚、ステップＳ１０４を実行しない場合は、本ステップも実行しない。

或いは、制御部１０４は、ステップＳ１０４の処理を実行して物品が検出されなかった場合に「物品（食品）が収納されていません」、「物品（食品）を収納して下さい」などのメッセージを表示部１０６に表示するようにしてもよい。

（ステップＳ１０６）制御部１０４は、扉２０１、扉２０２、引出し２０３のいずれかが開かれたか否かを扉開閉センサ１０８により確認する（ドアオープンの検出と称する）。そして、扉開閉センサ１０８がいずれかの開放を検出した場合はステップＳ１０７に進み、開放を検出していない場合はステップＳ１０６で待機する。

（ステップＳ１０７）制御部１０４は冷蔵庫１００の照明部１０９を点灯する。尚、制御部１０４は、照明部１０９ａおよび照明部１０９ｂの両方を点灯する。この処理は、制御部１０４が行わずに、冷蔵庫制御部３０２が行っても構わない。

（ステップＳ１０８）制御部１０４は、扉２０１および扉２０２の両方または引出し２０３が閉じられたか否かを扉開閉センサ１０８により確認する（ドアクローズの検出と称する）。そして、扉開閉センサ１０８が扉２０１および扉２０２の両方または引出し２０３が閉じられたことを検出した場合はステップＳ１０９に進み、閉じられたことを検出していない場合はステップＳ１０８で待機する。

ここで、扉２０１および扉２０２の両方が閉じられ、引出し２０３が閉じられていない場合でも次のステップＳ１０９に進む。逆に、引出し２０３が閉じられ、扉２０１および扉２０２のいずれかが閉じられていない場合も同様に次のステップＳ１０９に進む。尚、このような場合でも、後の処理で説明するように、再びステップＳ１０６に戻ってステップＳ１０７およびステップＳ１０８の処理を実行するので、閉じられていない扉２０１および扉２０２または引出し２０３のドアクローズの検出処理は確実に実行される。

（ステップＳ１０９）制御部１０４は、ステップＳ１０８でドアクローズを検出した収納スペース２０４に設置されている撮像部１０１により収納スペース２０４内の撮影を行い、画像バッファ１０２に記憶する。

ここで、画像バッファ１０２の記憶領域は、撮像部１０１毎に少なくとも２枚分の記憶領域が予め確保されているものとする。例えば２枚分の記憶領域を領域Ａ、領域Ｂとして、新たに撮影した画像を領域Ａに記憶し、前回の画像を領域Ｂに記憶する。この場合、新たに画像を撮影する際に領域Ａに記憶されている画像を領域Ｂに移動する。或いは、交互に記憶するようにして、どっちの領域が最新の画像または前回の画像であるかを制御部１０４で管理するようにしてもよい。

（ステップＳ１１０）制御部１０４は冷蔵庫１００の照明部１０９を消灯する。尚、制御部１０４は、ステップＳ１０８において、扉２０１および扉２０２の両方が閉められたことを検出した場合は照明部１０９ａを消灯し、引出し２０３が閉められたことを検出した場合は照明部１０９ｂを消灯する。

（ステップＳ１１１）制御部１０４は、ステップＳ１０９で撮影された画像に変化があったか否かを検出するよう画像処理部１０３に指令する。そして、画像処理部１０３の変化検出処理部１５２は、ステップＳ１０９で撮影されて画像バッファ１０２に取り込まれた画像と前回の画像との差分を求めて、変化があったか否かを検出する。変化があった場合はステップＳ１１２に進み、変化が無かった場合はステップＳ１０６に戻る。尚、変化検出処理部１５２が行う処理については後で説明する。

（ステップＳ１１２）ステップＳ１０４と同様に、制御部１０４は、画像バッファ１０２に取り込まれた画像毎に物品情報および位置情報の認識を行うよう画像処理部１０３に指令する。そして、画像処理部１０３の物品認識処理部１５１は、先述の認識方法により、画像毎に物品情報と位置情報とを認識する。

（ステップＳ１１３）ステップＳ１０５と同様に、制御部１０４は、メモリ１０５に記憶された各収納スペース２０４毎に物品情報と位置情報を表示部１０６に表示する。表示方法は、ステップＳ１０５で説明した通りである。

そして、再び、ステップＳ１０６に戻って、ドアオープンまたはドアクローズの検出処理と、ドアクローズされた収納スペース２０４内の撮影および物品の認識処理と、認識した物品情報と位置情報の表示部１０６への表示処理とを繰り返し実行する。

ここで、ステップＳ１１１で変化検出処理部１５２が行う処理について詳しく説明する。変化検出処理部１５２は、画像バッファ１０２の領域Ａに記憶されている画像Ａと領域Ｂに記憶されている画像Ｂとを比較して、変化の有無の判別する。尚、ステップＳ１０９で説明したように、画像Ａが最新の画像である場合は、画像Ｂが前回の画像である。そして、例えば図４（ｂ）で説明したように、画像Ａと画像Ｂの同じ座標位置の画素同士で差分を計算し、差分の絶対値が予め設定した閾値以上である場合に変化有と判断する。この場合、ノイズなどの影響を除外するために、例えば隣接する複数の画素（例えば１０画素以上など想定される物品の大きさに相当する画素数）の平均値が閾値以上にならなかった場合は変化無と判断するようにしてもよい。

図１１は、変化検出処理部１５２が行う処理を説明するための図で、冷蔵庫１００の収納スペース２０４ｂに置かれている物品の様子を描いてある。図１１（ａ）は、撮像部１０１ｂが前回撮影したときの収納スペース２０４ｂの様子を示し、物品ｄと物品ｃとが置かれている。次の図１１（ｂ）は、撮像部１０１ｂが新たに画像を撮影したときの収納スペース２０４ｂの様子を示し、物品ｄのみが置かれている。つまり、図１１（ａ）と図１１（ｂ）との間で、利用者が扉２０１または扉２０２を開けて物品ｃを冷蔵庫１００から取り出したか、他の収納スペース２０４に移動したことを示している。この例では、変化検出処理部１５２は、図１１（ａ）の状態を撮像部１０１ｂで撮影した画像（前回の画像）と、図１１（ｂ）の状態を撮像部１０１ｂで撮影した画像（新たな画像）との差分を求める。これにより、両方の画像に含まれる物品ｄと収納スペース２０４ｂ内の側面などの部分はほぼ同じ画素値を有するので、差分値は０に近い値になるが、物品ｃの部分はある程度の大きさの差分値が得られる。例えば、量子化ビット数が８ビットの場合、画素値は０から２５５までの値を取るので、閾値を５に設定しておく。そして、変化検出処理部１５２は、差分値が５以上の画素がある場合は変化有、差分値が５以上の画素がない場合は変化無と判断する。尚、検出精度を向上するために、変化検出処理部１５２は、差分値が５以上の画素の数が予め設定した数よりも多いか否かによって変化の有無を検出するようにしてもよい。

ここで、上記の説明では、物品ｃを取り出した場合の例について説明したが、物品が他の物品に置き換えられた場合でも変化の有無の検出は可能である。例えば図１１（ａ）に示したように物品ｄと物品ｃが置かれた状態（前回の画像）に対して、図１１（ｃ）に示したように物品ｄと物品ａが置かれた状態（新たな画像）との差分を求める。この結果、両方の画像に含まれる物品ｄと収納スペース２０４ｂ内の側面などの部分の差分値は０に近い値になるが、前回の画像の物品ｃおよび新たな画像の物品ａの部分は、ある程度の大きさの差分値が得られるので、先の例と同様に、変化検出処理部１５２は変化有と判断する。

尚、収納スペース２０４ｂの上部に設置された撮像部１０１ｂで撮影した画像から変化を検出する場合や物品情報および位置情報を認識する場合は、図１１（ｄ）に示すように物品が重ねられている場合の検出が難しくなるが、図１１（ｄ）に示すように、左右の側面に撮像部１０１ｂ１および撮像部１０１ｂ２を設置することにより、他の物品の影にある物品の検出精度を向上することができる。図１１（ｄ）の例では、撮像部１０１ｂ１は上下に重ねて置かれている物品ｃおよび物品ｃ２の検出が可能であり、撮像部１０１ｂ２は上下に重ねて置かれている物品ｄおよび物品ｄ２の検出が可能である。尚、この場合でも変化検出処理部１５２は、撮像部１０１ｂ１または撮像部１０１ｂ２により撮影された画像から重ねて置かれた物品の取り出しや移動などの変化を検出することができる。

特に、本実施形態に係る冷蔵庫１００では、図１０のフローチャートで説明したように、各撮像部１０１が撮影するタイミングは、扉２０１、扉２０２および引出し２０３が閉じられた状態で照明部１０９を点灯させて収納スペース２０４内を撮影するので、外部の光が入らず、照明部１０９による光の位置や明るさが安定しているので、前回の画像と新たな画像はほぼ同じ条件の照明で撮影されるので、変化検出処理部１５２が差分を求めて変化の有無を検出する精度を向上することができる。

（変形例）
次に、先に説明した実施形態の冷蔵庫１００の変形例について説明する。先の実施形態では、扉開閉センサ１０８が扉２０１、扉２０２、引出し２０３の開閉を検出してドアクローズの後で撮像部１０１により収納スペース２０４内の画像を撮影するようにしたが、ドアオープンの前に画像を撮影するようにしてもよい。この場合、図１２に示すように、物品管理ブロック１５０にドアノブセンサ１１１を設ける。尚、ドアノセンサ１１０は、人間の指が触れることによる接地抵抗の変化を検出するセンサである。ドアノブセンサ１１１は、図１に示したように、扉２０１の取っ手２０１ａ用のドアノブセンサ１１１ａと、扉２０２の取っ手２０２ａ用のドアノブセンサ１１１ｂと、引出し２０３の取っ手２０３ａ用のドアノブセンサ１１１ｃのそれぞれに設置され、指が触れたか否かの情報を制御部１０４に出力する。そして、制御部１０４は、ドアノブセンサ１１１が指の接触を検出したら直ぐに照明部１０９を点灯して撮像部１０１で画像を撮影する。例えば、扉２０１の取っ手２０１ａのドアノブセンサ１１１ａが指の接触を検出した場合は、直ぐに制御部１０４は照明部１０９ａを点灯し、撮像部１０１ａで収納スペース２０４ａを撮影し、撮像部１０１ｂで収納スペース２０４ｂを撮影し、撮像部１０１ｃで収納スペース２０４ｃを撮影する。同様に、引出し２０３の取っ手２０３ａのドアノブセンサｃが指の接触を検出した場合は、直ぐに制御部１０４は照明部１０９ｂを点灯し、撮像部１０１ｄで収納スペース２０４ｄを撮影する。

次に、ドアノブセンサ１１１を用いる場合の処理例について図１３のフローチャートを用いて説明する。尚、図１０のフローチャートと同じ符号の処理ステップは同じ処理を示す。以下、図１３のフローチャートに従って順番に説明する。

（ステップＳ２０１）制御部１０４は、扉２０１の取っ手２０１ａのドアノブセンサ１１１ａ、扉２０２の取っ手２０２ａのドアノブセンサ１１１ｂ、引出し２０３の取っ手２０３ａのドアノブセンサ１１１ｃのいずれかが指の接触を検出したか否かを判別する。そして、いずれかのドアノブセンサ１１１が指の接触を検出した場合はステップＳ２０２に進み、指の接触を検出していない場合はステップＳ２０１で待機する。

（ステップＳ２０２）制御部１０４は、冷蔵庫１００の照明部１０９を点灯する。尚、制御部１０４は、ドアノブセンサ１１１が指の接触を検出した収納スペース２０４の照明部１０９を点灯する。例えば、扉２０１の取っ手２０１ａのドアノブセンサ１１１ａまたは扉２０２の取っ手２０２ａのドアノブセンサ１１１ｂが指の接触を検出した場合は、照明部１０９ａを点灯する。或いは、引出し２０３の取っ手２０３ａのドアノブセンサ１１１ｃが指の接触を検出した場合は、照明部１０９ｂを点灯する。

（ステップＳ２０３）制御部１０４は、ステップＳ２０１で指の接触を検出した収納スペース２０４に設置されている撮像部１０１により収納スペース２０４内の撮影を行い、画像バッファ１０２に記憶する。例えば、扉２０１の取っ手２０１ａのドアノブセンサ１１１ａまたは扉２０２の取っ手２０２ａのドアノブセンサ１１１ｂが指の接触を検出した場合は、撮像部１０１ａ、撮像部１０１ｂおよび撮像部１０１ｃがそれぞれの収納スペース２０４ａ、収納スペース２０４ｂおよび収納スペース２０４ｃの画像を撮影し、画像バッファ１０２に取り込む。同様に、引出し２０３の取っ手２０３ａのドアノブセンサ１１１ｃが指の接触を検出した場合は、撮像部１０１ｄが収納スペース２０４ｄの画像を撮影し、画像バッファ１０２に取り込む。

（ステップＳ２０４）制御部１０４は冷蔵庫１００の照明部１０９を消灯する。

ステップＳ２０４の処理を実行した後、図１０のフローチャートと同様に、ステップＳ１０６からステップＳ１１３までの処理を行うが、ステップＳ１０６でドアオープンが検出されないときは次のステップＳ２０５を実行する。

（ステップＳ２０５）制御部１０４は、ステップＳ２０１と同様に、ドアノブセンサ１１１に指が接触しているか否かを判別する。ドアノブセンサ１１１に指が接触している場合はステップＳ１０６に戻り、ドアノブセンサ１１１に指が接触していない場合はステップＳ２０１に戻る。

そして、本変形例では、図１０のステップＳ１１１の処理が少し異なり、画像処理部１０３の変化検出処理部１５２は、ステップＳ２０３で撮影した画像を前回の画像として、ステップＳ１０９で撮影した画像との差分を求めて、変化があったか否かを検出する。そして、変化があった場合はステップＳ１１２に進み、変化が無かった場合はステップＳ２０１に戻る。尚、ステップＳ１１２およびステップＳ１１３の処理は、図１０と全く同じ処理を行い、各収納スペース２０４毎に物品情報と位置情報を表示部１０６に表示する。そして、再びステップＳ２０１に戻って、一連の処理を繰り返し行う。

このように、ドアオープンの直前に撮影した画像と、ドアクローズの直後に撮影した画像との差分を求めて、変化の有無を検出するので、検出精度を高めることができる。これは、例えば時間的に形状が変化するレタスなどの生野菜や色が変化する果物などの場合は、前回の画像と新たに撮影された画像との間隔が長い場合に、形状や色が変化するので、変化検出処理部１５２は、物品が変化した（変化有）と判断する可能性があるためである。

このようにして、本実施形態に係る冷蔵庫１００は、冷蔵庫１００内の各収納スペース２０４に配置されている物品情報と、各物品が置かれた収納スペース２０４内の場所を示す位置情報とを自動的に認識して、冷蔵庫１００の扉２０１の外部に配置された表示部１０６の画面に表示することができる。そして、利用者は表示部１０６を見て、どの物品が冷蔵庫１００のどこにあるのかを扉２０１や扉２０２或いは引出し２０３を開ける前に知ることができる。これにより、従来のように、扉２０１や扉２０２或いは引出し２０３を開けっ放しにしたまま長時間に亘って目的の物品を探す必要がなくなり、扉や引出しの短時間の開閉で目的の物品を取り出すことができるので、無駄な電力を消費せず、省エネルギー化に貢献できる。

以上、本発明に係る収納装置について、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１００…冷蔵庫；１０１，１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ…撮像部；１０２…画像バッファ；１０３…画像処理部；１０４…制御部；１０５…メモリ；１０６…表示部；１０７…操作部；１０８，１０８ａ，１０８ｂ…扉開閉センサ；１０９，１０９ａ，１０９ｂ…照明部；１１０…共通バス；１５０…物品管理ブロック；１５１…物品認識処理部；１５２…変化検出処理部；２０１…扉；２０１ａ…取っ手；２０２…扉；２０２ａ…取っ手；２０３…引出し；２０３ａ…取っ手；２０４，２０４ａ，２０４ｂ，２０４ｃ，２０４ｄ…収納スペース；３０１…冷却機構；３０２…冷蔵庫制御部；３０３…設定部

Claims

収納空間内を撮影する撮影部と、
前記撮影部により撮影される画像に基づいて、前記収納空間内の物品を特定する物品情報および前記物品が置かれた前記収納空間内の位置を示す位置情報を認識する認識部と、
前記認識部が認識した前記物品情報および前記位置情報を前記収納空間外に設置された表示部に表示させる表示制御部と
を有することを特徴とする収納装置。
請求項１に記載の収納装置において、
前記収納空間の扉が開いた状態から閉じた状態へ変化したことを検出する開閉検出部を更に設け、
前記撮影部は、前記開閉検出部により前記扉が開いた状態から閉じた状態へ変化したことが検出された場合に、前記収納空間内の画像を撮影する
ことを特徴とする収納装置。
請求項１に記載の収納装置において、
前記収納空間の扉への接触を検出する接触検出部を更に設け、
前記撮影部は、前記接触検出部により前記収納空間の扉への接触が検出された場合に、前記収納空間内の画像を撮影する
ことを特徴とする収納装置。
請求項２に記載の収納装置において、
前記収納空間内を照らす照明部を更に設け、
前記撮影部は、前記開閉検出部により前記扉が開いた状態から閉じた状態への変化を検出した場合に前記収納空間内の画像を撮影し終えるまで前記照明部を点灯し、撮影終了後に前記照明部を消灯する
ことを特徴とする収納装置。
請求項３に記載の収納装置において、
前記収納空間内を照らす照明部を更に設け、
前記撮影部は、前記接触検出部により前記収納空間の扉への接触を検出した場合に前記収納空間内の画像を撮影し終えるまで前記照明部を点灯し、撮影終了後に前記照明部を消灯する
ことを特徴とする収納装置。
請求項１から５のいずれか一項に記載の収納装置において、
前記認識部が前記物品情報および前記位置情報の少なくとも１つを認識できなかった場合に前記物品情報および前記位置情報の少なくとも１つを利用者が入力するための操作部を更に設け、
前記表示制御部は、前記認識部が認識した情報または前記操作部により入力された情報のいずれかを参照して前記物品情報および前記位置情報を表示する
ことを特徴とする収納装置。
請求項６に記載の収納装置において、
前記物品の形状の特徴を示すテンプレートを記憶するテンプレート記憶部を更に設け、
前記認識部は、前記テンプレート記憶部に記憶されたテンプレートとのパターンマッチングによって前記撮影部が撮影した画像から物品情報を認識する場合に、前記操作部により入力された物品情報と当該物品の画像から抽出したテンプレートとを対応付けて前記テンプレート記憶部に新たに追加する
ことを特徴とする収納装置。
請求項１から７のいずれか一項に記載の収納装置において、
前記撮影部が撮影した画像を保持する画像メモリと、
前記画像メモリに記憶されている画像と、前記撮影部が新たに撮影した画像とを比較して画像の変化を検出する比較部と
を更に設け、
前記認識部は、前記比較部が画像の変化を検出した場合に、変化があった物品に対して前記物品情報および前記位置情報を認識する
ことを特徴とする収納装置。
請求項８に記載の収納装置において、
前記収納空間が複数のサブ空間を有する場合に、
前記撮影部と、前記認識部と、前記画像メモリと、前記比較部とを前記サブ空間毎に設け、
前記認識部は、前記比較部が画像の変化を検出した前記サブ空間に対して前記物品情報および前記位置情報を認識する
ことを特徴とする収納装置。
請求項９に記載の収納装置において、
前記撮影部は、前記各サブ空間の上部に配置される
ことを特徴とする収納装置。
請求項１０に記載の収納装置において、
前記認識部は、前記撮影部が撮影した画像の画素座標を前記物品の位置情報として認識する
ことを特徴とする収納装置。