JP2017106671A - 冷蔵庫、冷蔵庫内画像管理システムおよびプログラム - Google Patents

Abstract

【課題】庫内撮影機能付き冷蔵庫において、庫内画像を外部に送信するまでの時間を短縮し、送信する庫内画像のデータ容量を小さくする。【解決手段】制御装置１は、冷蔵庫２の収納室２１の前面開口部を閉塞する扉２０の開閉状態を検出し、検知装置４ａ〜４ｉの検知結果の変化に基づいて、収納室２１の収納物の出し入れがあった領域を特定する。制御装置１は、扉２０の閉状態を検出すると、収納物の出し入れがあった領域を撮影するよう庫内撮像装置５ａ〜５ｃを制御し、収納物の出し入れがあった領域を示す撮影位置情報と対応付けて庫内撮像装置が撮影した庫内画像を示す庫内画像情報を記憶部に記憶する。制御装置１は、庫内撮像装置５ａ〜５ｃを制御すると、記憶部が記憶する庫内画像情報のうち、収納物の出し入れがあった領域に対応する庫内画像情報を、庫内撮像装置が撮影した庫内画像を示す庫内画像情報に置き換える。【選択図】図１

Description

本発明は、庫内を撮影する庫内撮像装置を備える冷蔵庫、冷蔵庫内画像管理システムおよびプログラムに関する。

近年、冷蔵庫内部および外部に撮像装置が設けられ、冷蔵庫内および庫外の画像を、ユーザの持つ情報端末で閲覧できる機能を備えたものが実用化されている。

特許文献１には、庫外撮影用撮像装置を用いて、誰が使用したかを確認でき、また、庫内撮影用撮像装置を用いて、庫内収納物の変化の有無を判断し、差分画像から変化領域を特定した画像データを庫外に送信することができる冷蔵庫が開示されている。

特開２００７−０４６８３３号公報

特許文献１の構成では、庫内収納物に変化があったと判断されると、庫内撮像データの差分画像の算出を行い、変化領域を特定した庫内全体の画像データを外部に送信するため、画像を送信するまでに時間がかかり、かつ、送信データが大きいため、データ送信に時間がかかるという問題点がある。

本発明は、上述のような事情に鑑みてなされたもので、庫内撮影機能付き冷蔵庫において、庫内画像を外部に送信するまでの時間を短縮し、送信する庫内画像のデータ容量を小さくすることを目的とする。

上記目的を達成するため、本発明に係る冷蔵庫は、収納室、扉、開閉判定部、庫内撮像装置、撮像制御部、検知装置および位置特定部を備える。収納室は、収納物を収納する。扉は、収納室の前面開口部を閉塞する。開閉判定部は、扉の開閉状態を検出する。庫内撮像装置は、収納室の内部を撮影する。撮像制御部は、開閉判定部が扉の閉状態を検出すると、収納室の内部を撮影するよう庫内撮像装置を制御する。検知装置は、収納室の内部の収納物を検知する。位置特定部は、開閉判定部が扉の開状態を検出している間の検知装置の検知結果の変化に基づいて、収納室の収納物の出し入れがあった領域を特定する。撮像制御部は、位置特定部が特定した収納室の収納物の出し入れがあった領域を撮影するよう庫内撮像装置を制御する。

本発明によれば、庫内撮影機能付き冷蔵庫において、収納物が変化する領域を特定して撮影することで、撮影後の庫内全体の差分画像算出を省略でき、限定された範囲の庫内画像のみを送信するため、庫内画像を外部に送信するまでの時間を短縮し、送信する庫内画像のデータ容量を小さくすることができる。

本発明の実施の形態１に係る冷蔵庫内画像管理システムの構成例を示す図である。 実施の形態１に係る検知装置の別の配置例を示す図である。 実施の形態１に係る制御装置の機能構成例を示す図である。 実施の形態１に係る庫内画像サーバの機能構成例を示す図である。 実施の形態１に係る庫内画像サーバが保持する認証テーブルの一例を示す図である。 実施の形態１に係る制御装置の動作の一例を示すフローチャートである。 実施の形態１の変形例に係る制御装置の動作の一例を示すフローチャートである。 実施の形態１に係る制御装置と庫内画像サーバとの動作の一例を示すフローチャートである。 実施の形態１に係る庫内画像サーバとユーザ端末との動作の一例を示すフローチャートである。 本発明の実施の形態２に係る冷蔵庫内画像管理システムの構成例を示す図である。 実施の形態２に係る制御装置の機能構成例を示す図である。 実施の形態２に係る制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態３に係る冷蔵庫内画像管理システムの構成例を示す図である。 実施の形態３に係る制御装置の機能構成例を示す図である。 実施の形態３に係る制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態に係る各装置のハードウェア構成の一例を示す図である。

以下に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。

（実施の形態１）
図１は、本発明の実施の形態１に係る冷蔵庫内画像管理システムの構成例を示す図である。冷蔵庫内画像管理システム１００は、制御装置１と、冷蔵庫２と、ユーザ端末７と、庫内画像サーバ８と、で構成される。冷蔵庫２は、例えばコンプレッサや蒸発器、循環ファン、温度センサなど（いずれも図示せず）を備え、庫内の物品を冷却する。冷蔵庫２は、観音開きの扉２０を有する収納室２１、引き出し式の収納室２２および収納室２３を備える。収納室２１の前面開口部を閉塞する扉２０は、２つの扉の観音開きに限らず、１つの右開きの扉または左開きの扉でもよい。図１では、便宜上、左側の扉２０を図示しない。

冷蔵庫２は、扉２０の開閉を検知する開閉センサ３を備える。冷蔵庫２は、庫内の画像を撮影する庫内撮像装置５ａ〜５ｃ（以下、総称する場合には、庫内撮像装置５という）を備える。冷蔵庫２は、庫内の収納物の有無を検知する検知装置４ａ〜４ｉ（以下、総称する場合には、検知装置４という）を備える。開閉センサ３、庫内撮像装置５ａ〜５ｃ、および、検知装置４ａ〜４ｉは、制御装置１に接続する。開閉センサ３は、例えば接点出力式のセンサであり、収納室２１の開口周縁部に埋設されて、扉２０の開状態と閉状態を区別して検出する。開閉センサ３は、検知した扉２０の開閉状態を示す開閉信号を制御装置１に送信する。検知装置４ａ〜４ｉは、例えば、物体を検知する赤外線センサや光学センサであり、収納室２１の内部に配置され、照射する光線が遮断されたかどうかにより検知範囲の収納物の有無を検知する。検知装置４ａ〜４ｉはそれぞれ、検知した収納物の有無を示す検知信号を制御装置１に送信する。図１では、検知装置４ａ〜４ｉを収納室２１の内部の後面に配置する例を示しているが、これに限らない。

図２は、実施の形態１に係る検知装置の別の配置例を示す図である。図２に示すように、検知装置４ｊ〜４ｏを収納室２１の内部の側面に配置してもよい。また、収納室２１の内部の後面と側面の両方に配置してもよい。検知装置４ｊ〜４ｏはそれぞれ、検知した収納物の有無を示す検知信号を制御装置１に送信する。図２では、便宜上、扉２０を図示しない。

図１の庫内撮像装置５ａ〜５ｃは、右側の扉２０の内側の端部に決められた間隔で並設され、制御装置１からの指示に従って、決められた撮像範囲を撮影する。庫内撮像装置５ａ〜５ｃはそれぞれ、撮影した庫内画像を制御装置１に送信する。図１の例では、庫内撮像装置５ａは、検知装置４ａ〜４ｃの検知範囲を撮影可能である。庫内撮像装置５ｂは、検知装置４ｄ〜４ｆの検知範囲を撮影可能である。庫内撮像装置５ｃは、検知装置４ｇ〜４ｉの検知範囲を撮影可能である。図２の例では、庫内撮像装置５ａは、検知装置４ｊおよび４ｋの検知範囲を撮影可能である。庫内撮像装置５ｂは、検知装置４ｌおよび４ｍの検知範囲を撮影可能である。庫内撮像装置５ｃは、検知装置４ｎおよび４ｏの検知範囲を撮影可能である。検知装置４および庫内撮像装置５の数および位置は図１および図２に示した数および位置に限らず、収納室２１の棚数や体積に応じて決定してよい。

制御装置１は、検知装置４からの検知信号に変化があったか否かを判定する。制御装置１は、検知信号に変化があった検知装置４の検知範囲で、収納物の出し入れがあったと特定する。制御装置１は、検知信号に変化があった検知装置４に対応する庫内撮像装置５ａ〜５ｃを制御して、収納物の位置に変化があった領域の庫内画像を得る。検知信号に変化があった検知装置４が複数ある場合はそれぞれに対応する庫内撮像装置５を制御して、複数の庫内画像を得る。制御装置１は、ルータ６を介して外部のネットワーク９に接続し、冷蔵庫２の庫内画像を示す庫内画像情報を庫内画像サーバ８に送信する。ユーザ端末７は、ユーザが使用するスマートフォンやタブレット端末、パーソナルコンピュータといった端末であって、ネットワーク９に接続され、冷蔵庫２の庫内画像を閲覧可能な端末である。庫内画像サーバ８は、冷蔵庫２の庫内画像情報を蓄積しておき、ユーザ端末７からの要求があると、庫内画像情報をユーザ端末７に送信する。庫内画像サーバ８は、本発明における外部サーバである。

図３は、実施の形態１に係る制御装置の機能構成例を示す図である。制御装置１は開閉判定部１１、位置特定部１２、撮像制御部１３、画像取得部１４、記憶部１５、通信部１６を備える。開閉判定部１１は、開閉センサ３から開閉信号を受信する。開閉判定部１１は、受信した開閉信号から扉２０が開扉および閉扉されたタイミングを検出して、それぞれ位置特定部１２および撮像制御部１３に通知する。位置特定部１２は、検知装置４ａ〜４ｉから検知信号を受信する。位置特定部１２は、扉２０が開状態のときに、検知装置４ａ〜４ｉの少なくともいずれかの検知信号に変化があれば、該検知装置の検知範囲で、収納物の出し入れがあったと特定する。位置特定部１２は、検知信号が変化した検知装置４を撮像制御部１３に通知する。

撮像制御部１３は、扉２０が閉じられると、検知信号が変化した検知装置４に対応する庫内撮像装置５に撮影を指示する撮影指示信号を出力する。画像取得部１４は、庫内撮像装置５が撮影した庫内画像を取得し、記憶部１５に庫内画像情報として記憶させる。記憶部１５は、検知信号が変化した検知装置４を示す情報および撮影指示信号を出力した庫内撮像装置５を示す情報の少なくともいずれかを示す撮影位置情報を庫内画像情報と対応付けて記憶する。記憶部１５に新たな撮影位置情報および庫内画像情報が記憶されると、通信部１６は、庫内画像情報が更新されたことを通知する更新通知信号を庫内画像サーバ８に送信する。通信部１６は、庫内画像サーバ８から新しい庫内画像情報を要求する更新要求信号を受信すると、記憶部１５に記憶された新たな庫内画像情報および撮影位置情報を庫内画像サーバ８に送信する。なお、制御装置１は、冷蔵庫２に内蔵されてもよい。

図４は、実施の形態１に係る庫内画像サーバの機能構成例を示す図である。庫内画像サーバ８は、通信制御部８１、庫内画像情報取得部８２、撮影位置情報取得部８３、画像合成部８４、記憶部８５、機器番号取得部８６、および、閲覧要求信号取得部８７を備える。通信制御部８１は、ネットワーク９を介して制御装置１およびユーザ端末７に接続し、それぞれの通信プロトコルで通信を行う。機器番号取得部８６は、通信制御部８１が制御装置１から受信した通信データに含まれる更新通知信号を抽出すると、通信データに含まれる制御装置１および冷蔵庫２の少なくともいずれかを識別する機器番号を抽出し、抽出した機器番号が記憶部８５の認証テーブル８５１に設定されているかどうかを照合する。通信データに含まれる機器番号が認証テーブル８５１に設定されている場合、機器番号取得部８６は、通信制御部８１を介して更新要求信号を制御装置１に送信する。

庫内画像情報取得部８２は、通信制御部８１が制御装置１から受信した通信データに含まれる庫内画像情報を抽出し、画像合成部８４に送る。撮影位置情報取得部８３は、通信制御部８１が制御装置１から受信した通信データに含まれる、庫内画像情報に対応付けられた撮影位置情報を抽出し、画像合成部８４に送る。画像合成部８４は、撮影位置情報取得部８３から受け取った撮影位置情報に基づいて、庫内画像情報取得部８２から受け取った庫内画像情報が示す庫内画像を収納室２１の全体が表示されるように合成した１枚の庫内全体画像を生成し、庫内全体画像情報として記憶部８５の庫内画像領域８５２に記憶する。庫内画像領域８５２に記憶される庫内全体画像情報は、認証テーブル８５１に設定された機器番号と対応づけられる。

記憶部８５の庫内画像領域８５２にすでに庫内全体画像情報が記憶されている場合、画像合成部８４は、機器番号取得部８６が抽出した機器番号に対応する庫内全体画像情報を庫内画像領域８５２から読み出し、庫内全体画像の、撮影位置情報取得部８３から受け取った撮影位置情報に対応する部分の庫内画像を、庫内画像情報取得部８２から受け取った庫内画像情報が示す庫内画像に置き換えて新たな庫内全体画像を生成し、庫内全体画像情報を庫内画像領域８５２に上書きする。なお、庫内全体画像情報は、収納室２１の全体が表示されるように合成した１枚の画像であってもよいし、撮影位置情報と庫内画像情報とを対応付けた情報であってもよいし、その両方であってもよい。庫内全体画像情報が撮影位置情報と庫内画像情報とを対応付けた情報を含む場合には、画像合成部８４は、機器番号取得部８６が抽出した機器番号に対応する庫内全体画像情報を庫内画像領域８５２から読み出し、撮影位置情報取得部８３から受け取った撮影位置情報に対応する庫内画像情報を、庫内画像情報取得部８２から受け取った庫内画像情報に置き換える。

図５は、実施の形態１に係る庫内画像サーバが保持する認証テーブルの一例を示す図である。図５に示すように、認証テーブル８５１には、制御装置１を識別する機器番号である「制御装置ＩＤ」と、冷蔵庫２を識別する機器番号である「冷蔵庫ＩＤ」が予め設定されており、この冷蔵庫２の庫内画像を閲覧できるユーザ端末７を識別する端末番号である「端末ＩＤ」とが対応づけられている。図５の例では、冷蔵庫２を識別する機器番号「ＲＥＦＡ」と、この冷蔵庫２の庫内画像情報を庫内画像サーバ８に転送する制御装置１を識別する機器番号「ＣＮＴＡ」と、この冷蔵庫２の庫内画像を閲覧できるユーザ端末７を識別する端末番号「ＴＭＥＡ０」とが対応づけられている。また、機器番号「ＣＮＴＡ」および機器番号「ＲＥＦＡ」に、さらに端末番号「ＴＭＥＡ１」で識別されるユーザ端末７を対応づけて、複数のユーザ端末７から機器番号「ＲＥＦＡ」で識別される冷蔵庫２の庫内画像を閲覧できるように認証テーブル８５１を構成している。

さらに図５の例では、制御装置ＩＤ「ＣＮＴＡ」に対応する冷蔵庫ＩＤ「ＲＥＦＡ」のほかに、機器番号「ＣＮＴＢ」の制御装置１が機器番号「ＲＥＦＢ」の冷蔵庫２の庫内画像情報を庫内画像サーバ８に転送する構成を示しており、機器番号「ＣＮＴＢ」に、機器番号「ＲＥＦＢ」と端末番号「ＴＭＥＢ０」とが対応付けられている。図５では、機器番号「ＲＥＦＡ」で識別される冷蔵庫２の庫内画像を閲覧できるユーザ端末７と、機器番号「ＲＥＦＢ」で識別される冷蔵庫２の庫内画像を閲覧できるユーザ端末７とは、独立した別の端末である例を示しているが、１台のユーザ端末７から複数の冷蔵庫２の庫内画像を閲覧できるように認証テーブルが保持されていてもよい。例えば、ユーザが機器番号「ＲＥＦＡ」で識別される冷蔵庫２と、機器番号「ＲＥＦＢ」で識別される冷蔵庫２をともに所有する場合には、機器番号「ＣＮＴＢ」および機器番号「ＲＥＦＢ」に、さらに端末番号「ＴＭＥＡ０」で識別されるユーザ端末７を対応づけて、端末番号「ＴＭＥＡ０」のユーザ端末７は、機器番号「ＲＥＦＡ」で識別される冷蔵庫２と機器番号「ＲＥＦＢ」で識別される冷蔵庫２の両方の庫内画像を閲覧できる構成であってもよい。

なお、図１に示すように制御装置１と冷蔵庫２とが１対１で対応づけられている冷蔵庫内画像管理システム１００においては、制御装置１および冷蔵庫２のうち、いずれか一方の機器を識別する機器番号のみを認証テーブル８５１で保存する構成としてもよい。この場合、制御装置１が庫内画像サーバ８と通信を行う際、制御装置１または冷蔵庫２の機器番号のみを通知して、認証テーブル８５１に設定された機器であるかどうかを判断する。このとき、機器番号として、制御装置１の通信部１６がネットワーク９との通信に用いるＭＡＣ（Media Access Control）アドレスを用いてもよい。また、冷蔵庫内画像管理システム１００を構成する制御装置１、冷蔵庫２およびユーザ端末７がそれぞれ１つである場合には、庫内画像サーバ８は、認証テーブル８５１を保持しなくてもよく、機器番号取得部８６を備えなくてもよい。

庫内画像サーバ８の閲覧要求信号取得部８７は、通信制御部８１がユーザ端末７から受信した通信データに含まれる、庫内全体画像情報を要求する閲覧要求信号、および、閲覧要求信号を送信したユーザ端末７を識別する端末番号を抽出し、抽出した端末番号が記憶部８５の認証テーブル８５１に設定されているかどうかを照合する。抽出した端末番号が認証テーブル８５１に設定されている場合、閲覧要求信号取得部８７は、その端末番号に対応する庫内全体画像情報を記憶部８５の庫内画像領域８５２から読み出して、通信制御部８１を介してユーザ端末７に送信する。庫内全体画像情報が、撮影位置情報と庫内画像情報とを対応付けた情報を含む場合には、閲覧要求信号は、撮影位置ごとの庫内画像情報を要求するものであってもよい。

図６は、実施の形態１に係る制御装置の動作の一例を示すフローチャートである。以下の処理は、制御装置１の起動中は繰り返し実行される。制御装置１の開閉判定部１１は、開閉センサ３から受信した開閉信号に基づいて、収納室２１の扉２０が開かれたか否かを判定する（ステップＳ１１）。扉２０が開かれていない場合（ステップＳ１１；ＮＯ）、ステップＳ１１を繰り返し開扉を待機する。扉２０が開かれた場合（ステップＳ１１；ＹＥＳ）、位置特定部１２は、検知装置４ａ〜４ｉからそれぞれ検知信号を受信し（ステップＳ１２）、検知信号に変化があるか否かを判定する（ステップＳ１３）。検知装置４ａ〜４ｉのいずれの検知信号にも変化がない場合（ステップＳ１３；ＮＯ）、処理はステップＳ１５に移行する。検知装置４ａ〜４ｉのいずれかの検知信号に変化がある場合（ステップＳ１３；ＹＥＳ）、検知信号に変化があった検知装置４を一時記憶する（ステップＳ１４）。

開閉判定部１１は、開閉センサ３から受信した開閉信号に基づいて、扉２０が閉じられたか否かを判定する（ステップＳ１５）。扉２０が閉じられていない場合（ステップＳ１５；ＮＯ）、ステップＳ１２に戻り、ステップＳ１２〜ステップＳ１５を繰り返す。扉２０が閉じられると（ステップＳ１５；ＹＥＳ）、位置特定部１２は、検知信号が変化した検知装置４があるか否かを判定する（ステップＳ１６）。検知信号が変化した検知装置４がない場合（ステップＳ１６；ＮＯ）、位置特定部１２は、収納物の出し入れがなかったと判断し、処理を終了する。検知信号が変化した検知装置４がある場合（ステップＳ１６；ＹＥＳ）、位置特定部１２は、検知信号が変化した検知装置４の検知範囲で収納物の出し入れがあったと特定し、ステップＳ１４で一時記憶した、すべての検知信号が変化した検知装置４を撮像制御部１３に通知する。撮像制御部１３は、すべての検知信号が変化した検知装置４に対応する庫内撮像装置５を特定し（ステップＳ１７）、撮影を指示する撮影指示信号を出力する（ステップＳ１８）。

例えば、検知装置４ａの検知信号にのみ変化があった場合、位置特定部１２は、検知装置４ａの検知範囲で収納物の出し入れがあったと特定し、撮像制御部１３は、検知装置４ａに対応する庫内撮像装置５ａに撮影指示信号を出力する。検知装置４ｄ〜４ｆのいずれかの検知信号に変化があった場合は、撮像制御部１３は、検知装置４ｄ〜４ｆに対応する庫内撮像装置５ｂにも撮影を指示する信号を出力する。同様に、検知装置４ｇ〜４ｉのいずれかの検知信号に変化があった場合は、撮像制御部１３は、検知装置４ｇ〜４ｉに対応する庫内撮像装置５ｃにも撮影指示信号を出力する。画像取得部１４は、撮影指示信号に従って庫内撮像装置５が撮影した庫内画像を取得し（ステップＳ１９）、記憶部１５に庫内画像情報として記憶させる。記憶部１５は、検知信号が変化した検知装置４を示す情報および撮影指示信号を出力した庫内撮像装置５を示す情報の少なくともいずれかを示す撮影位置情報と庫内画像情報とを対応付けて記憶し（ステップＳ２０）、処理を終了する。なお、ステップＳ１９の後に、撮影指示信号を出力したすべての庫内撮像装置５から庫内画像情報を取得した否かを判定し、撮影指示信号を出力したすべての庫内撮像装置５から庫内画像情報を取得するまでステップＳ１９を繰り返してもよい。

なお、制御装置１が冷蔵庫２の庫内画像を初めて送信する時など、記憶部８５の庫内画像領域８５２に冷蔵庫２の庫内全体画像情報が記憶されていない場合には、撮像制御部１３が庫内撮像装置５ａ〜５ｃの全てに撮影指示信号を出力して、検知信号に変化がなかった検知装置４に対応する庫内画像を含んで庫内画像サーバ８に送信し、画像合成部８４が１枚の庫内全体画像を生成するように構成してもよい。

実施の形態１において、庫内撮像装置５は、首振り機構を備えていてもよいし、庫内撮像装置５は、収納室２１の内部を上下方向および水平方向の少なくともいずれかに移動可能な移動機構を備えてもよい。庫内撮像装置５が首振り機構を備える場合、検知装置４と庫内撮像装置５の撮影角度が対応付けられている。庫内撮像装置５が移動機構を備える場合、検知装置４と庫内撮像装置５の撮影位置が対応付けられている。この変形例について、図７を用いて説明する。

図７は、実施の形態１の変形例に係る制御装置の動作の一例を示すフローチャートである。以下の処理は、制御装置１の起動中は繰り返し実行される。Ｓ２１〜ステップＳ２６は、図６のフローチャートのステップＳ１１〜ステップＳ１６と同様である。検知信号が変化した検知装置４がある場合（ステップＳ２６；ＹＥＳ）、撮像制御部１３は、検知信号が変化した検知装置４に対応する庫内撮像装置５の撮影角度（撮影位置）を特定し（ステップＳ２７）、庫内撮像装置５に特定した撮影角度（撮影位置）での撮影を指示する撮影指示信号を出力する（ステップＳ２８）。

庫内撮像装置５が首振り機構を備える場合、撮影指示信号には、検知信号が変化した検知装置４の検知範囲の方に向くよう庫内撮像装置５を制御する指示が含まれる。庫内撮像装置５が移動機構を備える場合、撮影指示信号には、検知信号が変化した検知装置４の検知範囲を撮影できる位置に庫内撮像装置５を移動させる指示が含まれる。ステップＳ２９およびステップＳ３０は、図６のフローチャートのステップＳ１９およびステップＳ２０と同様である。庫内撮像装置５が首振り機構を備えることにより、庫内撮像装置５のレンズが広角でなくとも収納室２１の全体を撮影することができる。庫内撮像装置５が移動機構を備えることにより、少ない台数（例えば１つ）の庫内撮像装置５で、収納室２１の全体を撮影することができる。

図８は、実施の形態１に係る制御装置と庫内画像サーバとの動作の一例を示すフローチャートである。以下の処理は、制御装置１が図６の処理を終了すると開始し、制御装置１および庫内画像サーバ８の起動中は繰り返し実行される。制御装置１の記憶部１５に庫内画像情報と撮影位置情報とが対応付けて記憶されると、通信部１６は、更新通知信号を庫内画像サーバ８に送信する（ステップＳ４１）。庫内画像サーバ８の機器番号取得部８６は、通信制御部８１が制御装置１から受信した通信データに含まれる更新通知信号を抽出すると（ステップＳ５１）、通信データに含まれる制御装置１および冷蔵庫２の少なくともいずれかを識別する機器番号を抽出し、抽出した機器番号が記憶部８５の認証テーブル８５１に設定されているかどうかを照合する（ステップＳ５２）。通信データに含まれる機器番号が認証テーブル８５１に設定されていない場合（ステップＳ５２；ＮＯ）、処理を終了する。通信データに含まれる機器番号が認証テーブル８５１に設定されている場合（ステップＳ５２；ＹＥＳ）、機器番号取得部８６は、通信制御部８１を介して更新要求信号を制御装置１に送信する（ステップＳ５３）。

制御装置１の通信部１６は、庫内画像サーバ８から更新要求信号を受信すると（ステップＳ４２）、記憶部１５の新たな庫内画像情報および撮影位置情報を庫内画像サーバ８に送信し（ステップＳ４３）、処理を終了する。庫内画像サーバ８の庫内画像情報取得部８２および撮影位置情報取得部８３はそれぞれ、通信制御部８１が制御装置１から受信した通信データに含まれる庫内画像情報および撮影位置情報を抽出し（ステップ５４）、画像合成部８４に送る。画像合成部８４は、機器番号取得部８６が抽出した機器番号に対応する庫内全体画像情報を庫内画像領域８５２から読み出し（ステップＳ５５）、撮影位置情報取得部８３から受け取った撮影位置情報に対応する庫内画像情報を、庫内画像情報取得部８２から受け取った庫内画像情報に置き換えて、新たな庫内全体画像情報を生成する。画像合成部８４は、新たな庫内全体画像情報を庫内画像領域８５２に上書きして庫内全体画像情報を更新し（ステップＳ５６）、処理を終了する。なお、庫内画像サーバ８が認証テーブル８５１を保持しない構成では、ステップＳ５２はなくてよい。

図９は、実施の形態１に係る庫内画像サーバとユーザ端末との動作の一例を示すフローチャートである。以下の処理は、ユーザ端末７および庫内画像サーバ８の起動中は繰り返し実行される。ユーザ端末７は、決められたタイミングで、閲覧要求信号を庫内画像サーバ８に送信する（ステップＳ７１）。決められたタイミングは、ユーザが閲覧要求を入力したタイミングでもよいし定期的なタイミングでもよい。庫内画像サーバ８の閲覧要求信号取得部８７は、通信制御部８１がユーザ端末７から受信した通信データに含まれる閲覧要求信号を抽出すると（ステップＳ６１）、通信データに含まれる閲覧要求信号を送信したユーザ端末７を識別する端末番号を抽出し、抽出した端末番号が記憶部８５の認証テーブル８５１に設定されているかどうかを照合する（ステップＳ６２）。

抽出した端末番号が認証テーブル８５１に設定されていない場合（ステップＳ６２；ＮＯ）、処理を終了する。抽出した端末番号が認証テーブル８５１に設定されている場合（ステップＳ６２；ＹＥＳ）、閲覧要求信号取得部８７は、その端末番号に対応する庫内全体画像情報を記憶部８５の庫内画像領域８５２から読み出して、通信制御部８１を介してユーザ端末７に送信し（ステップＳ６３）、処理を終了する。ユーザ端末７は、庫内画像サーバ８から庫内全体画像情報を受信すると（ステップＳ７２）、庫内全体画像情報を表示画面に表示し（ステップＳ７３）、処理を終了する。庫内全体画像情報が１枚の庫内全体画像である場合には、ユーザ端末７は庫内全体画像を表示画面に表示する。庫内全体画像情報が撮影位置情報と庫内画像情報とを対応付けた情報である場合には、ユーザ端末７が１枚の庫内全体画像を生成し表示画面に表示してもよいし、撮影位置ごとの庫内画像を表示画面に表示してもよい。なお、庫内画像サーバ８が認証テーブル８５１を保持しない構成では、ステップＳ６２はなくてよい。

以上説明したように実施の形態１の冷蔵庫２によれば、庫内撮像装置５が収納物の出し入れがあったと特定された領域のみを撮影することで、撮影後の庫内全体の差分画像算出を省略でき、限定された範囲の庫内画像情報のみを送信するため、庫内画像情報を送信するまでの時間を短く、かつ、送信するデータ量を小さくすることができるので、庫内画像サーバ８への庫内画像情報の転送処理の所要時間および負荷を軽減できる。

特に制御装置１の通信部１６の通信速度が遅い場合にその効果を奏する。その結果、収納物の出し入れがあってから、最新の庫内画像を閲覧できるまでの時間を短縮することができる。また、収納物の出し入れがなければ、庫内撮像装置５の駆動も、庫内画像サーバ８への庫内画像情報の転送処理も行われないため、駆動電力およびネットワーク通信のリソースを無駄にしない。

（実施の形態２）
図１０は、本発明の実施の形態２に係る冷蔵庫内画像管理システムの構成例を示す図である。実施の形態２の冷蔵庫内画像管理システム２００は、実施の形態１の冷蔵庫内画像管理システム１００の検知装置４に代えて、位置検出用撮像装置２４を備える。位置検出用撮像装置２４は、収納室２１の前面開口部を決められた時間間隔で撮影する。位置検出用撮像装置２４は、制御装置１に接続し、連続して撮影した位置検出用画像を制御装置１に送信する。

制御装置１は、開閉判定部１１が扉２０の開状態を検出している間に位置検出用撮像装置２４から受信した位置検出用画像に基づいて、収納物の出し入れがあった領域を特定する。実施の形態２では、位置検出用撮像装置２４が本発明における検知装置である。制御装置１は、収納物の出し入れがあったと特定した領域を撮影可能な庫内撮像装置５を制御して、庫内画像を得る。収納物の出し入れがあったと特定した領域が複数ある場合はそれぞれに対応する庫内撮像装置５を制御して、複数の庫内画像を得る。その他の構成は、実施の形態１の冷蔵庫内画像管理システム１００と同様である。

図１１は、実施の形態２に係る制御装置の機能構成例を示す図である。実施の形態２の制御装置１の位置特定部１２は、位置検出用撮像装置２４に撮影指示信号を送信し、位置検出用撮像装置２４から位置検出用画像を受信する。位置特定部１２は、位置検出用撮像装置２４から受信した位置検出用画像を解析し、収納物の出し入れがあった領域を特定する。収納物の出し入れがあった領域の特定方法は、例えば、位置検出用画像に写った収納室２１の前面開口部の縁で形成される平面を横切る物体（例えば、ユーザの手）を中心とする決められた範囲の領域を収納物の出し入れがあった領域と特定する。あるいは、位置検出用画像に写ったユーザの手の領域を抽出し、ユーザの手の動きのパターンから収納物の出し入れがあった領域を特定してもよい。手の動きのパターンとは、収納物の出し入れをする前後で変化するユーザの手の形や、収納物の出し入れをする際に手の移動が一旦停止する動きなどをパターン化したものである。もしくは、位置検出用画像からユーザの手の領域を除外し、ユーザの手の領域以外で変化した領域を収納物の出し入れがあった領域と特定してもよい。また、収納物の出し入れがあった領域の特定は、位置検出用撮像装置２４が行ってもよい。この場合、位置特定部１２は、位置検出用撮像装置２４から収納物の出し入れがあった領域を示す情報を受信する。

位置特定部１２は、収納物の出し入れがあったと特定した領域を示す領域信号を撮像制御部１３に送る。撮像制御部１３は、扉２０が閉じられると、通知された領域信号に対応する庫内撮像装置５に撮影を指示する撮影指示信号を出力する。庫内撮像装置５が首振り機構を備える場合、撮影指示信号には、収納物の出し入れがあった領域の方に向くよう庫内撮像装置５を制御する指示が含まれる。庫内撮像装置５が移動機構を備える場合、撮影指示信号には、収納物の出し入れがあった領域を撮影できる位置に庫内撮像装置５を移動させる指示が含まれる。記憶部１５は、収納物の出し入れがあった領域を示す領域信号および撮影指示信号を出力した庫内撮像装置５を示す情報の少なくともいずれかを、画像取得部１４が取得した庫内画像情報に対応する撮影位置情報として、庫内画像情報と対応付けて記憶する。その他の構成は、実施の形態１の制御装置１と同様である。

位置検出用撮像装置２４は、収納室２１の前面開口部を動画で撮影してもよい。この場合、位置特定部１２は、位置検出用撮像装置２４から受信した動画の位置検出用画像を解析し、収納物の出し入れがあった領域を特定する。位置検出用撮像装置２４は、扉２０の開閉状態を示す開閉信号を開閉センサ３または制御装置１から取得し、扉２０が開扉状態のときのみ、収納室２１の前面開口部を決められた時間間隔で撮影してもよい。

図１２は、実施の形態２に係る制御装置の動作の一例を示すフローチャートである。以下の処理は、制御装置１の起動中は繰り返し実行される。制御装置１の開閉判定部１１は、開閉センサ３から受信した開閉信号に基づいて、収納室２１の扉２０が開かれたか否かを判定する（ステップＳ８１）。扉２０が開かれていない場合（ステップＳ８１；ＮＯ）、ステップＳ８１を繰り返し開扉を待機する。扉２０が開かれた場合（ステップＳ８１；ＹＥＳ）、位置特定部１２は、位置検出用撮像装置２４に撮影指示信号を送信し、位置検出用撮像装置２４から位置検出用画像を受信し（ステップＳ８２）、受信した位置検出用画像を解析して収納物の出し入れがあった領域があるか否かを判定する（ステップＳ８３）。収納物の出し入れがあった領域がない場合（ステップＳ８３；ＮＯ）、処理はステップＳ８５に移行する。収納物の出し入れがあった領域がある場合（ステップＳ８３；ＹＥＳ）、収納物の出し入れがあった領域を一時記憶する（ステップＳ８４）。

開閉判定部１１は、開閉センサ３から受信した開閉信号に基づいて、扉２０が閉じられたか否かを判定する（ステップＳ８５）。扉２０が閉じられていない場合（ステップＳ８５；ＮＯ）、ステップＳ８２に戻り、ステップＳ８２〜ステップＳ８５を繰り返す。扉２０が閉じられると（ステップＳ８５；ＹＥＳ）、収納物の出し入れがあった領域がない場合（ステップＳ８６；ＹＥＳ）、位置特定部１２は、収納物の出し入れがなかったと判断し、処理を終了する。収納物の出し入れがあった領域がある場合（ステップＳ８６；ＮＯ）、位置特定部１２は、ステップＳ８４で一時記憶した、すべての収納物の出し入れがあった領域を通知する領域信号を撮像制御部１３に送る。撮像制御部１３は、受け取ったすべての領域信号に対応する庫内撮像装置５を特定し（ステップＳ８７）、撮影を指示する撮影指示信号を出力する（ステップＳ８８）。

画像取得部１４は、撮影指示信号に従って庫内撮像装置５が撮影した庫内画像を取得し（ステップＳ８９）、記憶部１５に庫内画像情報として記憶させる。記憶部１５は、収納物の出し入れがあった領域を示す領域信号および撮影指示信号を出力した庫内撮像装置５を示す情報の少なくともいずれかを示す撮影位置情報と庫内画像情報とを対応付けて記憶し（ステップＳ９０）、処理を終了する。なお、ステップＳ８９の後に、撮影指示信号を出力したすべての庫内撮像装置５から庫内画像情報を取得した否かを判定し、撮影指示信号を出力したすべての庫内撮像装置５から庫内画像情報を取得するまでステップＳ８９を繰り返してもよい。

以上説明したように実施の形態２の冷蔵庫２によれば、庫内撮像装置５が収納物の出し入れがあったと特定された領域のみを撮影して、撮影後の庫内全体の差分画像算出を省略でき、限定された範囲の庫内画像情報のみを送信するため、庫内画像情報を送信するまでの時間を短く、かつ、送信するデータ量を小さくすることができるので、庫内画像サーバ８への庫内画像情報の転送処理の所要時間および負荷を軽減できる。

一般的に新たに収納室２１に収納される物品は収納室２１の前方に配置されることが多い。実施の形態２の冷蔵庫２によれば、収納室２１の前面開口部を撮影した位置検出用画像を用いて収納物の出し入れがあった領域を特定することで、より正確に収納物の変化を検知することができる。

（実施の形態３）
図１３は、本発明の実施の形態３に係る冷蔵庫内画像管理システムの構成例を示す図である。実施の形態３の冷蔵庫内画像管理システム３００は、実施の形態２の冷蔵庫内画像管理システム２００の位置検出用撮像装置２４の代わりに庫内撮像装置５を用いる。つまり、実施の形態３では、庫内撮像装置５を本発明における庫内撮像装置および検知装置として兼用する。庫内撮像装置５ａ〜５ｃは、制御装置１からの指示に従って開扉状態の収納室２１を決められた時間間隔で撮影する。庫内撮像装置５ａ〜５ｃは、連続して撮影した庫内画像を制御装置１に送信する。実施の形態３の冷蔵庫２の収納室２１は、棚で区切られた収納領域２１０ａ、収納領域２１０ｂおよび収納領域２１０ｃ（以下、総称する場合には収納領域２１０という）を有する。

庫内撮像装置５ａは、収納領域２１０ａを撮影し、庫内撮像装置５ｂは、収納領域２１０ｂを撮影し、庫内撮像装置５ｃは、収納領域２１０ｃを撮影する。制御装置１は、庫内撮像装置５ａ〜５ｃから受信した庫内画像に基づいて、収納物の出し入れがあった収納領域２１０を特定する。収納物の出し入れがあった収納領域２１０の特定方法は、連続して撮影された庫内画像の時間方向の差分を求めて、庫内画像に移動体が含まれる庫内撮像装置５の撮影範囲を収納物の出し入れがあった収納領域２１０とする。あるいは、庫内画像に写ったユーザの手の領域を抽出し、ユーザの手の動きのパターンから収納物の出し入れがあった収納領域２１０を特定してもよい。もしくは、庫内画像からユーザの手の領域を除外し、ユーザの手の領域以外で変化した領域を含む収納領域２１０を収納物の出し入れがあった収納領域２１０と特定してもよい。その他の構成は、実施の形態２の冷蔵庫内画像管理システム２００と同様である。

図１４は、実施の形態３に係る制御装置の機能構成例を示す図である。実施の形態３の制御装置１の開閉判定部１１は、開閉センサ３から受信した開閉信号から扉２０が開扉および閉扉されたタイミングを検出して、撮像制御部１３に通知する。撮像制御部１３は、扉２０が開かれると、庫内撮像装置５に庫内を決められた時間間隔で撮影させる撮影指示信号を出力する。位置特定部１２は、庫内撮像装置５が連続して撮影した庫内画像を受信する。位置特定部１２は、庫内撮像装置５が連続して撮影した庫内画像を解析し、収納物の出し入れがあった収納領域２１０を特定する。位置特定部１２は、収納物の出し入れがあったと特定した収納領域２１０を示す領域信号を撮像制御部１３に送る。その他の構成は、実施の形態１の制御装置１と同様である。

図１５は、実施の形態３に係る制御装置の動作の一例を示すフローチャートである。以下の処理は、制御装置１の起動中は繰り返し実行される。制御装置１の開閉判定部１１は、開閉センサ３から受信した開閉信号に基づいて、収納室２１の扉２０が開かれたか否かを判定する（ステップＳ９１）。扉２０が開かれていない場合（ステップＳ９１；ＮＯ）、ステップＳ９１を繰り返し開扉を待機する。扉２０が開かれた場合（ステップＳ９１；ＹＥＳ）、撮像制御部１３は、庫内撮像装置５に庫内を決められた時間間隔で撮影させる撮影指示信号を出力する（ステップＳ９２）。位置特定部１２は、庫内撮像装置５から庫内画像を取得し（ステップＳ９３）、受信した庫内画像を解析して収納物の出し入れがあった収納領域２１０があるか否かを判定する（ステップＳ９４）。収納物の出し入れがあった収納領域２１０がない場合（ステップＳ９４；ＮＯ）、処理はステップＳ９６に移行する。収納物の出し入れがあった領域がある場合（ステップＳ９４；ＹＥＳ）、収納物の出し入れがあった収納領域２１０を一時記憶する（ステップＳ９５）。

開閉判定部１１は、開閉センサ３から受信した開閉信号に基づいて、扉２０が閉じられたか否かを判定する（ステップＳ９６）。扉２０が閉じられていない場合（ステップＳ９６；ＮＯ）、ステップＳ９３に戻り、ステップＳ９３〜ステップＳ９６を繰り返す。扉２０が閉じられると（ステップＳ９６；ＹＥＳ）、収納物の出し入れがあった収納領域２１０がない場合（ステップＳ９７；ＹＥＳ）、位置特定部１２は、収納物の出し入れがなかったと判断し、処理を終了する。収納物の出し入れがあった収納領域２１０がある場合（ステップＳ９７；ＮＯ）、位置特定部１２は、ステップＳ９５で一時記憶した、すべての収納物の出し入れがあった収納領域２１０を示す領域信号を撮像制御部１３に送る。撮像制御部１３は、受け取ったすべての領域信号に対応する庫内撮像装置５を特定し（ステップＳ９８）、撮影を指示する撮影指示信号を出力する（ステップＳ９９）。

画像取得部１４は、撮影指示信号に従って庫内撮像装置５が撮影した庫内画像を取得し（ステップＳ１００）、記憶部１５に庫内画像情報として記憶させる。記憶部１５は、収納物の出し入れがあった領域を示す領域信号および撮影指示信号を出力した庫内撮像装置５を示す情報の少なくともいずれかを示す撮影位置情報と庫内画像情報とを対応付けて記憶し（ステップＳ１０１）、処理を終了する。なお、ステップＳ１００の後に、撮影指示信号を出力したすべての庫内撮像装置５から庫内画像情報を取得した否かを判定し、撮影指示信号を出力したすべての庫内撮像装置５から庫内画像情報を取得するまでステップＳ１００を繰り返してもよい。

以上説明したように実施の形態３の冷蔵庫２によれば、冷蔵庫２の庫内撮像装置５が収納物の出し入れがあったと特定された領域のみを撮影して、撮影後の庫内全体の差分画像算出を省略でき、限定された範囲の庫内画像情報のみを送信するため、庫内画像情報を送信するまでの時間を短く、かつ、送信するデータ量を小さくすることができるので、庫内画像サーバ８への庫内画像情報の転送処理の所要時間および負荷を軽減できる。

また、収納室２１の庫内を撮影する庫内撮像装置５ａ〜５ｃが撮影した庫内画像を用いて、収納物の出し入れがあった収納領域２１０を特定するので、収納物の出し入れを検知する赤外線センサや光学センサなどに代表される検知装置４や庫内撮像装置５とは別の位置検出用撮像装置２４を備えなくとも本発明を適用でき、コストを低減することができる。

上記の実施の形態１〜３では、複数の庫内撮像装置５ａ〜５ｃを用いて、庫内画像を撮影する例について説明したが、これに限らない。例えば、冷蔵庫２が庫内撮像装置５ａ〜５ｃの代わりに、１台で収納室２１の庫内を撮影できる庫内撮像装置５を備え、取得した庫内画像のうち収納物の出し入れがあった領域に対応する部分を示す庫内画像情報および収納物の出し入れがあった領域を示す撮影位置情報を記憶部１５に記憶させてもよい。これにより、庫内画像サーバ８に送信する庫内画像の領域を限定できるので、庫内撮像装置５が１台であっても、庫内画像情報を送信するまでの時間を短く、かつ、送信するデータ量を小さくすることができる。

図１６は、本発明の実施の形態に係る各装置のハードウェア構成の一例を示す図である。冷蔵庫内画像管理システム１００、２００および３００を構成する制御装置１、ユーザ端末７および庫内画像サーバ８は、それぞれハードウェア構成としてプロセッサ１０１、メモリ１０２、インターフェース１０３を備える。これらの装置の各機能は、プロセッサ１０１がメモリ１０２に記憶されたプログラムを実行することにより実現される。インターフェース１０３は、装置間を接続し、通信を確立させるためのものであり、必要に応じて複数の種類のインターフェース１０３から構成されてもよい。図１６では、プロセッサ１０１およびメモリ１０２をそれぞれ１つで構成する例を示しているが、複数のプロセッサ１０１および複数のメモリ１０２が連携して各機能を実行してもよい。

上記の実施の形態では、庫内画像サーバ８を単一の構成要素としているが、例えば、庫内画像サーバ８は、制御装置１および冷蔵庫２の少なくとも一方を認証するサーバと、ユーザ端末７を認証するサーバと、庫内画像データを記憶して管理するサーバとのそれぞれ独立したサーバで実現してもよいし、クラウドサーバで実現してもよい。

また、上述の機能を、ＯＳ（Operating System）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合には、ＯＳ以外の部分のみを媒体に格納してもよい。

さらに、搬送波に各プログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（BBS、Bulletin Board System）に該プログラムを掲示し、ネットワークを介して該プログラムを配信してもよい。そして、これらのプログラムを起動し、オペレーティングシステムの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成してもよい。

１ 制御装置、２ 冷蔵庫、３ 開閉センサ、４，４ａ〜４ｏ 検知装置、５，５ａ〜５ｃ 庫内撮像装置、６ ルータ、７ ユーザ端末、８ 庫内画像サーバ、９ ネットワーク、１１ 開閉判定部、１２ 位置特定部、１３ 撮像制御部、１４ 画像取得部、１５ 記憶部、１６ 通信部、２０ 扉、２１，２２，２３ 収納室、２４ 位置検出用撮像装置、８１ 通信制御部、８２ 庫内画像情報取得部、８３ 撮影位置情報取得部、８４ 画像合成部、８５ 記憶部、８６ 機器番号取得部、８７ 閲覧要求信号取得部、１００，２００，３００ 冷蔵庫内画像管理システム、１０１ プロセッサ、１０２ メモリ、１０３ 通信インターフェース、２１０，２１０ａ〜２１０ｃ 収納領域、８５１ 認証テーブル、８５２ 庫内画像領域。

Claims (9)

1. 収納物を収納する収納室と、
   前記収納室の前面開口部を閉塞する扉と、
   前記扉の開閉状態を検出する開閉判定部と、
   前記収納室の内部を撮影する庫内撮像装置と、
   前記開閉判定部が前記扉の閉状態を検出すると、前記収納室の内部を撮影するよう前記庫内撮像装置を制御する撮像制御部と、
   前記収納室の内部の収納物を検知する検知装置と、
   前記開閉判定部が前記扉の開状態を検出している間の前記検知装置の検知結果の変化に基づいて、前記収納室の収納物の出し入れがあった領域を特定する位置特定部と、
   を備え、
   前記撮像制御部は、前記位置特定部が特定した前記収納室の収納物の出し入れがあった領域を撮影するよう前記庫内撮像装置を制御する冷蔵庫。
2. 前記検知装置は、前記収納室の内部の複数箇所に配設された物体を検知するセンサであって、
   前記位置特定部は、複数の前記センサのうち、物体の検知結果が変化した前記センサの検知範囲が、前記収納室の収納物の出し入れがあった領域であると特定する請求項１に記載の冷蔵庫。
3. 前記検知装置は、前記収納室の前面開口部を決められた時間間隔で撮影する位置検出用撮像装置であって、
   前記位置特定部は、前記開閉判定部が前記扉の開状態を検出している間に前記位置検出用撮像装置が連続して撮影した位置検出用画像に写った前記収納室の前面開口部の縁で形成される平面を横切る物体を中心とする決められた範囲の領域を前記収納室の収納物の出し入れがあった領域と特定する請求項１に記載の冷蔵庫。
4. 前記庫内撮像装置は、前記収納室の内部を上下方向および水平方向の少なくともいずれかに移動可能な移動機構を備え、
   前記撮像制御部は、前記位置特定部が特定した前記収納室の収納物の出し入れがあった領域を撮像可能な位置に前記庫内撮像装置を移動させて撮影させる請求項１から３のいずれか１項に記載の冷蔵庫。
5. 前記検知装置および前記庫内撮像装置は、前記収納室の内部に決められた間隔で並設された複数のカメラで構成され、
   前記撮像制御部は、前記開閉判定部が前記扉の開状態を検出している間に決められた時間間隔で撮影するよう複数の前記カメラを制御し、
   前記位置特定部は、複数の前記カメラがそれぞれ連続して撮影した庫内画像の時間方向の差分を求めて、前記庫内画像に移動体が含まれる前記カメラの撮影範囲が、前記収納室の収納物の出し入れがあった領域であると特定する請求項１に記載の冷蔵庫。
6. 前記庫内撮像装置が撮影した庫内画像を示す庫内画像情報と、前記位置特定部が特定した前記収納室の収納物の出し入れがあった領域を示す撮影位置情報と、を外部の装置に送信する通信部、
   を備える請求項１から５のいずれか１項に記載の冷蔵庫。
7. 請求項６に記載の冷蔵庫と、前記冷蔵庫と通信ネットワークを介して接続する外部サーバと、を含む冷蔵庫内画像管理システムであって、
   前記外部サーバは、
   前記冷蔵庫から前記庫内撮像装置が撮影した庫内画像を示す庫内画像情報を取得する庫内画像情報取得部と、
   前記冷蔵庫から前記収納室の収納物の出し入れがあった領域を示す撮影位置情報を取得する撮影位置情報取得部と、
   前記撮影位置情報と対応付けて前記庫内画像情報を記憶する記憶部と、
   前記記憶部が記憶する前記庫内画像情報のうち、前記撮影位置情報取得部が取得した前記撮影位置情報に対応する前記庫内画像情報を、前記庫内画像情報取得部が取得した前記庫内画像情報に置き換える画像合成部と、
   を備える冷蔵庫内画像管理システム。
8. 前記外部サーバは、
   前記通信ネットワークを介して接続されたユーザ端末から、前記庫内画像情報の要求する閲覧要求信号を取得し、前記ユーザ端末に対応する前記冷蔵庫の前記庫内画像情報を前記ユーザ端末に送信する閲覧要求信号取得部、
   を備える請求項７項に記載の冷蔵庫内画像管理システム。
9. コンピュータを、
   冷蔵庫の収納物を収納する収納室の前面開口部を閉塞する扉の開閉状態を検出する開閉判定部、
   前記収納室の内部の収納物を検知する検知装置の検知結果の変化に基づいて、前記収納室の収納物の出し入れがあった領域を特定する位置特定部、
   前記開閉判定部が前記扉の閉状態を検出すると、前記位置特定部が特定した前記収納室の収納物の出し入れがあった領域を撮影するよう庫内撮像装置を制御する撮像制御部、
   前記収納室の収納物の出し入れがあった領域を示す撮影位置情報と対応付けて前記庫内撮像装置が撮影した庫内画像を示す庫内画像情報を記憶する記憶部、および、
   前記撮像制御部が前記庫内撮像装置を制御すると、前記記憶部が記憶する前記庫内画像情報のうち、前記位置特定部が特定した前記収納室の収納物の出し入れがあった領域に対応する前記庫内画像情報を、前記庫内撮像装置が撮影した庫内画像を示す前記庫内画像情報に置き換える画像合成部、
   として機能させるプログラム。

Images