JP2018155430A - 庫内監視システム、庫内監視方法、プログラム、および冷蔵庫 - Google Patents
庫内監視システム、庫内監視方法、プログラム、および冷蔵庫 Download PDFInfo
- Publication number
- JP2018155430A JP2018155430A JP2017051041A JP2017051041A JP2018155430A JP 2018155430 A JP2018155430 A JP 2018155430A JP 2017051041 A JP2017051041 A JP 2017051041A JP 2017051041 A JP2017051041 A JP 2017051041A JP 2018155430 A JP2018155430 A JP 2018155430A
- Authority
- JP
- Japan
- Prior art keywords
- refrigerator
- article
- image data
- invariant
- notification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 230000008859 change Effects 0.000 claims abstract description 36
- 230000005540 biological transmission Effects 0.000 claims description 52
- 230000004044 response Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 description 37
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 230000004397 blinking Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Devices That Are Associated With Refrigeration Equipment (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
【課題】使用されずに冷蔵庫内で放置されている物品が存在することをユーザに気づかせる技術を提供する。【解決手段】庫内監視システム１は、冷蔵庫の内部を撮像して冷蔵庫の内部の画像データを生成する撮像部１０２と、撮像部１０２により生成された第１の画像データと当該第１の画像データよりも前に生成された第２の画像データとの差分を用いて、冷蔵庫の内部における物品の位置の変化を判断し、物品の位置履歴データを更新するデータ更新部１０４と、基準時間以上位置に変化のない位置不変物品を位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知部１０６と、を備える。【選択図】図１
Description
本発明は、冷蔵庫などに保管される物品の管理技術に関する。
下記特許文献１および特許文献２には、冷蔵庫の内部の画像を用いて冷蔵庫に保管される物品を管理する技術の一例が開示されている。下記特許文献１は、冷蔵庫の中の収納物に遮られない位置に設けられたマーカーに基づいて、冷蔵庫の収納状況が把握しやすい画面を残し、そのデータに基づいて冷蔵庫内の収納量を推定する技術を開示している。また、下記特許文献２は、冷蔵庫の内部を撮影する撮影装置とこの撮影装置を制御する制御部とを、同一の扉に設けることによって、撮影装置と制御部との間の配線が長く煩雑化することを抑制する技術を開示している。
冷蔵庫の中に複数の物品を保管している場合、後方に位置する物品が前方に位置する物品の死角に入ってしまい、ユーザがその存在を忘れてしまうこともある。この場合、その物品は使用されずに冷蔵庫内に放置され、結果、その物品の使用期限が切れてしまう可能性がある。上述の各特許文献に開示される技術は、このような課題を解決する具体的な方法を何ら提供していない。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、使用されずに冷蔵庫内で放置されている物品が存在することをユーザに気づかせる技術を提供することである。
本発明の庫内監視システムは、冷蔵庫の内部を監視するシステムである。当該庫内監視システムは、（１）前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、（２）前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、（３）基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、を備える。
本発明の庫内監視方法は、コンピュータによって実行される。当該庫内監視方法は、（１）前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成し、（２）生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新し、（３）基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力することを含む。
本発明のプログラムは、本発明の庫内監視方法をコンピュータに実行させる。
本発明の冷蔵庫は、（１）前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、（２）前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、（３）基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、を備える。
本発明によれば、使用されずに冷蔵庫内で放置されている物品が存在することを、ユーザに認識させることができる。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
［第１実施形態］
〔システム構成〕
図１は、第１実施形態における庫内監視システム１の構成を例示するブロック図である。図１に示されるように、庫内監視システム１は、撮像部１０２、データ更新部１０４、および報知部１０６を備える。庫内監視システム１は、冷蔵庫（図示せず）の内部を監視するためのシステムである。
〔システム構成〕
図１は、第１実施形態における庫内監視システム１の構成を例示するブロック図である。図１に示されるように、庫内監視システム１は、撮像部１０２、データ更新部１０４、および報知部１０６を備える。庫内監視システム１は、冷蔵庫（図示せず）の内部を監視するためのシステムである。
撮像部１０２は、冷蔵庫の内部を撮像して冷蔵庫の内部の画像データを生成する。データ更新部１０４は、撮像部１０２により生成された画像データ（第１の画像データ）と、当該第１の画像データよりも前に生成された画像データ（第２の画像データ）との差分を算出する。そして、データ更新部１０４は、第１の画像データと第２の画像データとに基づいて算出した差分を用いて、冷蔵庫の内部における物品の位置の変化を判断する。そして、データ更新部１０４は、冷蔵庫の内部の物品の位置の変化に基づいて、冷蔵庫内での物品の位置の履歴を示すデータ（以下、「位置履歴データ」とも表記）を更新する。報知部１０６は、冷蔵庫内で基準時間以上位置に変化のない物品（以下、「位置不変物品」とも表記）を位置履歴データに基づいて検出する。そして、報知部１０６は、位置不変物品を検出した場合に所定の報知情報を出力する。報知情報は、位置不変物品が存在することをユーザに通知するための情報である。報知情報は、例えば、冷蔵庫が備える表示装置（図示せず）や冷蔵庫のユーザが使用する端末（図示せず）に出力される。
〔作用・効果〕
以上、本実施形態では、冷蔵庫の内部を撮像した画像データに基づいて冷蔵庫内の物品の位置の履歴を示す位置履歴データが更新され、その位置履歴データに基づいて基準時間以上位置に変化のない物品（位置不変物品）が存在するか否かが判別される。ここで、ある期間以上冷蔵庫の中での位置に変化がない物品（位置不変物品）について、ユーザがその物品の存在を認識していない可能性があると言える。なお、冷蔵庫の中での位置に変化があった物品については、その物品をユーザが認識しているものと判断できる。本実施形態では、位置不変物品が検出された場合には、その位置不変物品の存在を通知するための報知情報が出力される。この報知情報を確認することによって、ユーザは、自身が認識していない物品が冷蔵庫の中に存在することに気付くことができる。
以上、本実施形態では、冷蔵庫の内部を撮像した画像データに基づいて冷蔵庫内の物品の位置の履歴を示す位置履歴データが更新され、その位置履歴データに基づいて基準時間以上位置に変化のない物品（位置不変物品）が存在するか否かが判別される。ここで、ある期間以上冷蔵庫の中での位置に変化がない物品（位置不変物品）について、ユーザがその物品の存在を認識していない可能性があると言える。なお、冷蔵庫の中での位置に変化があった物品については、その物品をユーザが認識しているものと判断できる。本実施形態では、位置不変物品が検出された場合には、その位置不変物品の存在を通知するための報知情報が出力される。この報知情報を確認することによって、ユーザは、自身が認識していない物品が冷蔵庫の中に存在することに気付くことができる。
［第２実施形態］
本実施形態では、第１実施形態をより詳細に説明する。
本実施形態では、第１実施形態をより詳細に説明する。
〔機能構成〕
図２は、第２実施形態における庫内監視システム１の機能構成を例示するブロック図である。庫内監視システム１は、１台以上の冷蔵庫２０、１台以上のサーバ装置３０、および１台以上の携帯端末４０を含んで構成される。なお図２では、図の簡略化のため、冷蔵庫２０、サーバ装置３０、および携帯端末４０をそれぞれ１台ずつ有する庫内監視システム１が記載されている。冷蔵庫２０は、第１実施形態で説明した撮像部１０２に加え、表示処理部１０８Ａを備えている。サーバ装置３０は、第１実施形態で説明したデータ更新部１０４および報知部１０６を備えている。携帯端末４０は、表示処理部１０８Ｂとリクエスト部１１０とを備えている。
図２は、第２実施形態における庫内監視システム１の機能構成を例示するブロック図である。庫内監視システム１は、１台以上の冷蔵庫２０、１台以上のサーバ装置３０、および１台以上の携帯端末４０を含んで構成される。なお図２では、図の簡略化のため、冷蔵庫２０、サーバ装置３０、および携帯端末４０をそれぞれ１台ずつ有する庫内監視システム１が記載されている。冷蔵庫２０は、第１実施形態で説明した撮像部１０２に加え、表示処理部１０８Ａを備えている。サーバ装置３０は、第１実施形態で説明したデータ更新部１０４および報知部１０６を備えている。携帯端末４０は、表示処理部１０８Ｂとリクエスト部１１０とを備えている。
＜サーバ装置３０の機能構成＞
本実施形態において、データ更新部１０４は、各冷蔵庫２０から、その冷蔵庫２０の内部の画像データ（第１の画像データ）をその冷蔵庫２０を識別する情報（例：冷蔵庫２０の個体ＩＤ（identifier）など）と共に取得する。そして、データ更新部１０４は、第１の画像データとその第１の画像データよりも前に生成された画像データ（第２の画像データ）とを比較することによって、２つの画像データの差分を算出する。データ更新部１０４は、既知の画像処理アルゴリズムを利用して、冷蔵庫２０に入れられた新たな物品の有無、冷蔵庫２０から取り出された既存の物品の有無、既存の物品の位置の変化などを、差分として抽出することができる。また、データ更新部１０４は、既知の画像処理アルゴリズムを利用して、冷蔵庫２０に保管される物品に関する情報（物品の種類やパッケージに付与される名称など）を抽出することもできる。なお、第２の画像データは、例えばサーバ装置３０のストレージデバイス（図示せず）といった所定の記憶領域に、冷蔵庫２０を識別する情報と紐付けた状態で記憶されている。データ更新部１０４は、第１の画像データと共に取得した、冷蔵庫２０を識別する情報を用いて、所定の記憶領域に記憶されている複数の画像データの中から比較対象とすべき第２の画像データを特定して読み出すことができる。そして、データ更新部１０４は、算出した差分に基づいて、その冷蔵庫２０に対応する位置履歴データを更新する。
本実施形態において、データ更新部１０４は、各冷蔵庫２０から、その冷蔵庫２０の内部の画像データ（第１の画像データ）をその冷蔵庫２０を識別する情報（例：冷蔵庫２０の個体ＩＤ（identifier）など）と共に取得する。そして、データ更新部１０４は、第１の画像データとその第１の画像データよりも前に生成された画像データ（第２の画像データ）とを比較することによって、２つの画像データの差分を算出する。データ更新部１０４は、既知の画像処理アルゴリズムを利用して、冷蔵庫２０に入れられた新たな物品の有無、冷蔵庫２０から取り出された既存の物品の有無、既存の物品の位置の変化などを、差分として抽出することができる。また、データ更新部１０４は、既知の画像処理アルゴリズムを利用して、冷蔵庫２０に保管される物品に関する情報（物品の種類やパッケージに付与される名称など）を抽出することもできる。なお、第２の画像データは、例えばサーバ装置３０のストレージデバイス（図示せず）といった所定の記憶領域に、冷蔵庫２０を識別する情報と紐付けた状態で記憶されている。データ更新部１０４は、第１の画像データと共に取得した、冷蔵庫２０を識別する情報を用いて、所定の記憶領域に記憶されている複数の画像データの中から比較対象とすべき第２の画像データを特定して読み出すことができる。そして、データ更新部１０４は、算出した差分に基づいて、その冷蔵庫２０に対応する位置履歴データを更新する。
位置履歴データは、例えば、冷蔵庫２０の内部の画像データを所定のマトリクスに分割して管理するデータである。位置履歴データは、報知部１０６が位置不変物品を検出できるように、例えば、物品の位置に変化がない状態が継続している期間（位置不変期間）を示す情報をマトリクス毎に紐付けて記憶する（例：図３）。図３は、位置履歴データの一例を示す図である。図３の例において、位置履歴データは、マトリクスの位置を示す情報、位置不変期間を示す情報、および、そのマトリクスの位置にある物品に関する情報（物品の名称や種類を示す情報、入庫時間を示す情報など）を含む。本実施形態において、図３に示すような位置履歴データは、冷蔵庫２０の識別情報に紐付けられた状態で記憶されている。
この場合、データ更新部１０４は、第１の画像データと第２の画像データとの差分を用いて、冷蔵庫２０に入れられた新たな物品の有無、冷蔵庫２０から取り出された既存の物品の有無、既存の物品の位置の変化などを所定のマトリクス毎に判定し、その結果に基づいて位置履歴データを更新することができる。例えば、データ更新部１０４は、既存の物品の位置が変化していないと判定されたマトリクスについて、そのマトリクスに紐付く位置不変期間を更新する。データ更新部１０４は、例えば、第１の画像データに付与された撮影時刻情報と第２の画像データに付与された撮影時刻情報との差分値を加えることにより、そのマトリクスに紐付く位置不変期間を更新することができる。また、データ更新部１０４は、新たな物品が入れられた、既存の物品が取り出された、或いは、既存の物品の位置が変化したと判定されたマトリクスについて、そのマトリクスに紐付く位置不変期間をリセットする。
ここで、ユーザが認識していない場合であっても、冷蔵庫の内部での物品の位置が変化する可能性がある。例えば、ユーザが冷蔵庫２０の収納スペースに新たな物品を入れた場合においてその新たな物品が既存の物品に触れてしまい、既存の物品の位置が移動することも有り得る。
上述したようなケースに対応するために、データ更新部１０４は、基準量以上の差分が検出された部分を、物品の位置が変化した部分として認識するように構成されていてもよい。差分に対して設定される基準量は、例えば、図示しないサーバ装置３０のメモリやストレージデバイスなどに予め記憶される。この場合、データ更新部１０４は、例えば次のように動作することができる。まず、データ更新部１０４は、既知の画像処理アルゴリズムを用いて第１の画像データと第２の画像データとの間における対応画素領域を特定し、その対応画素領域における差分と予め記憶された基準量とを比較する。比較の結果、基準量以上の差分が検出された場合、データ更新部１０４は、対応画素領域に対応するマトリクスの位置不変期間をリセットして位置履歴データを更新する。一方、基準量未満の差分が検出された場合、データ更新部１０４は、第１の画像データと第２の画像データとの間の撮影時刻の差分値を、対応画素領域に対応するマトリクスの位置不変期間に加えることによって位置履歴データを更新する。ここで、既存の物品が位置変化によって別のマトリクスに移動した場合、データ更新部１０４は、位置変化前のマトリクスの位置不変期間をベースとして、位置変化後のマトリクスの位置不変期間を更新することができる。なおこの場合、データ更新部１０４は移動前のマトリクスの位置不変期間をリセットする。
その他にも、冷蔵庫２０の内部の収納スペースを複数の部分領域に論理的に区分しておき、データ更新部１０４が、同一の部分領域の中での物品の位置の変化を変化として扱わないように構成されていてもよい。この場合、データ更新部１０４は、例えば次のように動作することができる。まず、データ更新部１０４は、既知の画像処理アルゴリズムを用いて第１の画像データと第２の画像データとの間における対応画素領域を特定し、対応画素領域の移動ベクトル（差分）を抽出する。そして、データ更新部１０４は、冷蔵庫２０の内部における複数の部分領域を定義するデータ及び第１の画像データと前記第２の画像データとの差分を用いて、対応画素領域の位置（すなわち、物品の位置）が同一の部分領域内で変化したか否かを判断する。なお、冷蔵庫２０の内部における複数の部分領域を定義するデータは、サーバ装置３０が備えるメモリやストレージデバイスなどに予め記憶される。物品の位置が同一の部分領域内で変化している場合、データ更新部１０４は、位置履歴データ上においてその物品に変化がないものとする。具体的には、データ更新部１０４は、実際には物品の位置に変化があったとしても、その物品が動いていない状態が継続しているものとして、その物品に対応するマトリクスの位置不変期間を更新する。一方、物品の位置が別の部分領域に変化している場合、データ更新部１０４は、その物品の位置に変化があったとして、その物品に対応するマトリクスの位置不変期間をリセットする。
そして、第１実施形態で説明したように、報知部１０６は位置履歴データに基づいて位置不変物品を検出する。例えば、報知部１０６は、図３の位置履歴データが示す各マトリクスの位置不変期間と、位置不変期間に対して予め設定された基準時間とを比較することによって、位置不変物品（位置不変物品が存在するマトリクス）を検出することができる。基準時間を示す情報は、例えば、サーバ装置３０のメモリやストレージデバイス上に予め記憶されている。
そして、報知部１０６は、データ更新部１０４により更新された位置履歴データに基づいて、位置不変物品を検出する。例えば、報知部１０６は、図３の位置履歴データに含まれる位置不変期間と、サーバ装置３０が備えるメモリやストレージデバイスなどに予め記憶された基準時間とを比較して、基準時間以上の位置不変期間を有するマトリクスを検出する。報知情報は、検出したマトリクスの部分画像から認識される物品の種類や名称、そのマトリクスに紐付けられた物品の入庫時間、および、検出したマトリクスを他のマトリクスと区別可能に加工（例えば、特定の色の線で囲むなど）した画像データの少なくともいずれか１つを含む。
ここで、冷蔵庫２０の内部において、前方に保管されている物品よりも後方に保管されている物品の方が、ユーザが気付きにくい。ユーザが気づきにくい場所に保管されている物品に対しては早めに通知を行うことが好ましい。そこで、冷蔵庫２０の内部を複数の部分領域に区分し、その部分領域それぞれに基準時間を個別に設定してもよい。具体的には、冷蔵庫２０の収納スペースの奥側に位置する部分領域ほど短い基準時間が設定される。冷蔵庫２０の内部における複数の部分領域と当該部分領域別の基準時間とを定義するデータはサーバ装置３０のメモリやストレージデバイスなどに記憶される。報知部１０６は、冷蔵庫２０の内部における複数の部分領域と当該部分領域別の基準時間とを定義するデータを用いて、位置不変物品を検出することができる。
ここで、報知部１０６は、位置不変物品の検出に応じて、予め定められた宛先に報知情報を出力するように構成されていてもよいし、後述するように、冷蔵庫２０の表示処理部１０８Ａや携帯端末４０の表示処理部１０８Ｂからの送信要求に応じて報知情報を出力するように構成されていてもよい。前者の場合について、宛先を特定する情報（以下、「宛先情報」とも表記）は、例えば、冷蔵庫２０や携帯端末４０との間で通信を確立するための情報であり、サーバ装置３０のストレージデバイス（図示せず）などに位置履歴データの各レコードに対応付けて記憶される。
＜冷蔵庫２０の機能構成＞
冷蔵庫２０は、庫内の画像を撮像するために、撮像部１０２を備えている。ここで、冷蔵庫２０の奥側のスペースほどユーザの目が届きにくく、そのようなスペースに置かれた物品ほどユーザが忘れてしまう可能性が高くなる。つまり、冷蔵庫２０の奥側ほど、位置不変物品が存在する可能性が高いと言える。よって、特に限定されないが、位置不変物品を精度よく検出するという観点から、冷蔵庫２０の収納スペースの奥側に少なくとも１台の撮像部１０２が設けられていると好ましい。これにより、前方の物品の裏に隠れてしまった奥側の物品を含む画像データを取得することができる。
冷蔵庫２０は、庫内の画像を撮像するために、撮像部１０２を備えている。ここで、冷蔵庫２０の奥側のスペースほどユーザの目が届きにくく、そのようなスペースに置かれた物品ほどユーザが忘れてしまう可能性が高くなる。つまり、冷蔵庫２０の奥側ほど、位置不変物品が存在する可能性が高いと言える。よって、特に限定されないが、位置不変物品を精度よく検出するという観点から、冷蔵庫２０の収納スペースの奥側に少なくとも１台の撮像部１０２が設けられていると好ましい。これにより、前方の物品の裏に隠れてしまった奥側の物品を含む画像データを取得することができる。
また、撮像部１０２は、常時または所定の間隔で庫内を撮像するように構成されていてもよいし、冷蔵庫２０の扉の開閉と連動したタイミングで、庫内の画像データを撮像するように構成されていてもよい。後者の場合、撮像部１０２は、例えば、冷蔵庫２０の扉に設けられたセンサなどにより生成される「扉の閉状態」を示す信号を検出し、当該信号の検出に応じて冷蔵庫の内部を撮像するように構成することができる。
また、冷蔵庫２０は、サーバ装置３０の報知部１０６からの報知情報を用いて、位置不変物品の存在を報知する画面を表示させる表示処理部１０８Ａを更に備える。冷蔵庫２０は、例えば扉の外面にディスプレイを備えており、表示処理部１０８Ａは、サーバ装置３０からの報知情報に応じて、そのディスプレイに所定の報知用画面を表示させる。また、表示処理部１０８Ａは、サーバ装置３０からの報知情報に応じて通知用ランプ（図示せず）を点滅させるなどして、位置不変物品が検出されたことをユーザに知らせるように構成されていてもよい。この場合、ユーザは、通知用ランプの点滅を確認した後、例えば冷蔵庫２０上のタッチパネル上のボタンや機械式ボタンを押下する。表示処理部１０８Ａは、このようなユーザの操作に応じて、報知用画面を冷蔵庫２０のディスプレイに表示させることができる。
表示処理部１０８Ａは、報知情報の送信要求をサーバ装置３０に対して行うための画面を更に表示するように構成されていてもよい。冷蔵庫２０のユーザが表示処理部１０８Ａにより表示された画面を操作することにより、サーバ装置３０に対する報知情報の送信要求を冷蔵庫２０から出力させる。サーバ装置３０は、報知情報の送信要求に応じて報知情報を生成し、当該送信要求の送信元（ここでは、携帯端末４０）に報知情報を出力することができる。また、送信要求には、例えば、「Ｎ日以上位置が変わっていない物品」や「指定された日付以降から存在している物品」といった指定条件を含めることができる。サーバ装置３０の報知部１０６は、指定条件に合致する位置不変物品を位置履歴データに基づいて特定し、特定した位置不変物品に関する情報を報知情報に含めて送信要求の送信元である冷蔵庫２０に出力することができる。また、「指定された日付以降から存在している物品」の中には、冷蔵庫２０に最近入庫された物品であるために、位置不変物品に該当しない物品が含まれ得る。このような物品に関する情報もユーザにとって有用であるため、報知部１０６は、位置不変物品であるか否かを問わず指定条件に該当する物品に関する情報を報知情報に含めて、送信要求の送信元である２０に出力するように構成されていてもよい。
＜携帯端末４０の機能構成＞
携帯端末４０は、冷蔵庫２０のユーザが使用する端末（例えば、スマートフォンやタブレット端末など）である。携帯端末４０は表示処理部１０８Ｂを備える。表示処理部１０８Ｂは、例えば、携帯端末４０上にインストールされる専用アプリケーションとして実現される。
携帯端末４０は、冷蔵庫２０のユーザが使用する端末（例えば、スマートフォンやタブレット端末など）である。携帯端末４０は表示処理部１０８Ｂを備える。表示処理部１０８Ｂは、例えば、携帯端末４０上にインストールされる専用アプリケーションとして実現される。
表示処理部１０８Ｂは、サーバ装置３０の報知部１０６からの報知情報を用いて、位置不変物品の存在を報知する画面を携帯端末４０のディスプレイに表示させる。例えば、表示処理部１０８Ｂは、サーバ装置３０の報知部１０６からの報知情報を受信すると、所定の通知メッセージ（例えば、ポップアップメッセージなど）を携帯端末４０のディスプレイ上に表示させる。表示処理部１０８Ｂは、例えば位置不変物品を検出したときの画像データを含む報知情報をサーバ装置３０から取得し、その画像データを携帯端末４０のディスプレイ上に表示させてもよい。この場合、サーバ装置３０の報知部１０６は、位置不変物品が存在するマトリクスを識別可能に示す画像データを報知情報に含めて出力してもよい。なお、報知部１０６は、位置履歴データに含まれる各マトリクスの位置不変期間と位置不変期間に対して予め設定される基準時間との比較結果に基づいて、位置不変物品が存在するマトリクスを特定することができる。
表示処理部１０８Ｂは、報知情報の送信要求をサーバ装置３０に対して行うための画面を更に表示するように構成されていてもよい。携帯端末４０のユーザが表示処理部１０８Ｂにより表示された画面を操作することにより、サーバ装置３０に対する報知情報の送信要求を携帯端末４０から出力させる。サーバ装置３０は、報知情報の送信要求に応じて報知情報を生成し、当該送信要求の送信元（ここでは、携帯端末４０）に報知情報を出力することができる。また、送信要求には、例えば、「Ｎ日以上位置が変わっていない物品」や「指定された日付以降から存在している物品」といった指定条件を含めることができる。サーバ装置３０の報知部１０６は、指定条件に合致する位置不変物品を位置履歴データに基づいて特定し、特定した位置不変物品に関する情報を報知情報に含めて送信要求の送信元である携帯端末４０に出力することができる。また、「指定された日付以降から存在している物品」の中には、冷蔵庫２０に最近入庫された物品であるために、位置不変物品に該当しない物品が含まれ得る。このような物品に関する情報もユーザにとって有用であるため、報知部１０６は、位置不変物品であるか否かを問わず指定条件に該当する物品に関する情報を報知情報に含めて、送信要求の送信元である携帯端末４０に出力するように構成されていてもよい。
〔ハードウエア構成〕
庫内監視システム１を構成する各装置の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、庫内監視システム１を構成する各装置の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。なお、以下の説明で用いる各図はあくまで一例であり、本発明のハードウエア構成はこれらの図に制限されない。
庫内監視システム１を構成する各装置の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、庫内監視システム１を構成する各装置の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。なお、以下の説明で用いる各図はあくまで一例であり、本発明のハードウエア構成はこれらの図に制限されない。
＜冷蔵庫２０のハードウエア構成＞
図４は、冷蔵庫２０のハードウエア構成を例示するブロック図である。図４に示されるように、冷蔵庫２０は計算機２００を有する。計算機２００は、例えばマイクロコンピュータなどであり、データ伝送路であるバス２０２を介して相互に接続される、プロセッサ２０４、メモリ２０６、入出力インタフェース２０８、および、ネットワークインタフェース２１０などを含む。ただし、バス２０２、メモリ２０６、入出力インタフェース２０８、ネットワークインタフェース２１０などを互いに接続する方法は、バス接続に限定されない。また、バス２０２には、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどを用いて実現される補助記憶装置（図示せず）が更に接続されていてもよい。
図４は、冷蔵庫２０のハードウエア構成を例示するブロック図である。図４に示されるように、冷蔵庫２０は計算機２００を有する。計算機２００は、例えばマイクロコンピュータなどであり、データ伝送路であるバス２０２を介して相互に接続される、プロセッサ２０４、メモリ２０６、入出力インタフェース２０８、および、ネットワークインタフェース２１０などを含む。ただし、バス２０２、メモリ２０６、入出力インタフェース２０８、ネットワークインタフェース２１０などを互いに接続する方法は、バス接続に限定されない。また、バス２０２には、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどを用いて実現される補助記憶装置（図示せず）が更に接続されていてもよい。
プロセッサ２０４は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算装置である。メモリ２０６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などを用いて実現される主記憶装置である。メモリ２０６には、表示処理部１０８Ａの機能を実現するプログラムモジュール（例えば、報知情報に基づいて画面データをディスプレイに出力するプログラムなど）が記憶される。プロセッサ２０４は、このプログラムモジュールを実行することによって、表示処理部１０８Ａの機能を実現する。
入出力インタフェース２０８は、冷蔵庫２０と周辺機器（例えば、撮像部１０２、ディスプレイ２０８２など）とを接続するためのインタフェースである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて検出した光を電気信号に変えて画像データを生成する。なお、撮像部１０２は、冷蔵庫の扉が閉められたタイミングを示す信号を入出力インタフェース２０８を介して取得し、その信号と連動して画像データを生成するように構成されていてもよい。ディスプレイ２０８２は、ＬＣＤ（Liquid Crystal Display）を用いたタッチパネルなどである。ディスプレイ２０８２は、例えば、冷蔵庫２０の扉の外面に設けられる。
ネットワークインタフェース２１０は、冷蔵庫２０を有線または無線によってインターネットに接続するためのインタフェースである。撮像部１０２により生成された画像データは、ネットワークインタフェース２１０を介してサーバ装置３０に送信される。また、サーバ装置３０からの報知情報は、ネットワークインタフェース２１０を介して取得される。
＜サーバ装置３０のハードウエア構成＞
図５は、サーバ装置３０のハードウエア構成を例示するブロック図である。図５に示されるように、サーバ装置３０は、データ伝送路であるバス３０２を介して相互に接続される、プロセッサ３０４、メモリ３０６、ストレージデバイス３０８、入出力インタフェース３１０、およびネットワークインタフェース３１２などを有する。ただし、プロセッサ３０４、メモリ３０６、ストレージデバイス３０８、入出力インタフェース３１０、ネットワークインタフェース３１２などを互いに接続する方法は、バス接続に限定されない。
図５は、サーバ装置３０のハードウエア構成を例示するブロック図である。図５に示されるように、サーバ装置３０は、データ伝送路であるバス３０２を介して相互に接続される、プロセッサ３０４、メモリ３０６、ストレージデバイス３０８、入出力インタフェース３１０、およびネットワークインタフェース３１２などを有する。ただし、プロセッサ３０４、メモリ３０６、ストレージデバイス３０８、入出力インタフェース３１０、ネットワークインタフェース３１２などを互いに接続する方法は、バス接続に限定されない。
プロセッサ３０４は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算装置である。メモリ３０６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などを用いて実現される主記憶装置である。ストレージデバイス３０８は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどを用いて実現される補助記憶装置である。
メモリ３０６またはストレージデバイス３０８は、サーバ装置３０の各機能構成部（データ更新部１０４および報知部１０６）を実現するプログラムモジュールを記憶している。プロセッサ３０４は、これら各プログラムモジュールを読み出して実行することにより、各プログラムモジュールに対応する機能を実現する。
また、ストレージデバイス３０８は、例えば、図３に示されるような位置履歴データを記憶する記憶部として機能することもできる。この場合、ストレージデバイス３０８は、各冷蔵庫または各ユーザを識別する情報に紐付けて、位置履歴データを記憶する。このようにすることで、サーバ装置３０は、位置履歴データと紐付けられた情報に基づいて、報知情報を出力すべき冷蔵庫２０または携帯端末４０を特定することが可能となる。
入出力インタフェース３１０は、サーバ装置３０と周辺機器（図示せず）とを接続するためのインタフェースである。キーボードやマウスといった入力用デバイス、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイといった出力用デバイスが、入出力インタフェース３１０を介して接続され得る。
ネットワークインタフェース３１２は、サーバ装置３０を各種通信網に接続するためのインタフェースである。この通信網は、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などである。図３に示されるように、サーバ装置３０は、ネットワークインタフェース３１２を介して冷蔵庫２０や携帯端末４０などと通信し、冷蔵庫２０の庫内の画像データを取得したり報知情報を送信したりすることができる。なお、通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
＜携帯端末４０のハードウエア構成＞
携帯端末４０は、メモリまたはストレージデバイスに、携帯端末４０の各機能構成部（表示処理部１０８Ｂ）を実現するプログラムモジュールを記憶している。携帯端末４０のプロセッサが、このプログラムモジュールを読み出して実行することにより、表示処理部１０８Ｂに対応する機能を実現する。具体的には、携帯端末４０のプロセッサが、表示処理部１０８Ｂに対応するプログラムモジュールを実行することによって、携帯端末４０のディスプレイに位置不変物品の報知用画面が表示される。また、携帯端末４０のプロセッサが、表示処理部１０８Ｂに対応するプログラムモジュールを実行することによって、携帯端末４０のディスプレイに報知情報の送信要求を出力するための画面が表示され、当該画面に対する操作に応じて送信要求がサーバ装置３０に出力される。
携帯端末４０は、メモリまたはストレージデバイスに、携帯端末４０の各機能構成部（表示処理部１０８Ｂ）を実現するプログラムモジュールを記憶している。携帯端末４０のプロセッサが、このプログラムモジュールを読み出して実行することにより、表示処理部１０８Ｂに対応する機能を実現する。具体的には、携帯端末４０のプロセッサが、表示処理部１０８Ｂに対応するプログラムモジュールを実行することによって、携帯端末４０のディスプレイに位置不変物品の報知用画面が表示される。また、携帯端末４０のプロセッサが、表示処理部１０８Ｂに対応するプログラムモジュールを実行することによって、携帯端末４０のディスプレイに報知情報の送信要求を出力するための画面が表示され、当該画面に対する操作に応じて送信要求がサーバ装置３０に出力される。
〔第１の動作例〕
図６および図７を用いて、本実施形態における庫内監視システム１の動作の一例を説明する。図６および図７は、第２実施形態における庫内監視システム１の第１の動作例を示すシーケンス図である。
図６および図７を用いて、本実施形態における庫内監視システム１の動作の一例を説明する。図６および図７は、第２実施形態における庫内監視システム１の第１の動作例を示すシーケンス図である。
まず、冷蔵庫２０の撮像部１０２が第１の画像データを生成する（Ｓ１０２）。撮像部１０２は、例えば冷蔵庫２０の扉が閉められたタイミングに応じて冷蔵庫２０の内部を撮影し、第１の画像データを生成する。撮像部１０２は、例えば、冷蔵庫２０の扉などに設けられたセンサ類の出力信号に基づいて冷蔵庫２０の扉が閉められたタイミングを検知することができる。冷蔵庫２０は、撮像部１０２により生成された第１の画像データに固有の別情報を付与し、サーバ装置３０に送信する（Ｓ１０４）。
サーバ装置３０のデータ更新部１０４は、冷蔵庫２０から第１の画像データと固有の識別情報を受信すると、その固有の識別情報に対応する第２の画像データと位置履歴データを取得する（Ｓ１０６）。第２の画像データおよび位置履歴データは、例えば、サーバ装置３０のストレージデバイス３０８に記憶されている。そして、サーバ装置３０のデータ更新部１０４は、第１の画像データと第２の画像データとの差分を算出する（Ｓ１０８）。そして、サーバ装置３０のデータ更新部１０４は、算出した差分を用いて、Ｓ１０６で取得した位置履歴データを更新する（Ｓ１１０）。また、データ更新部１０４は、Ｓ１０４で取得した第１の画像データを、新たな第２の画像データとしてストレージデバイス３０８に記憶する（Ｓ１１２）。
また、サーバ装置３０の報知部１０６は、更新された位置履歴データに基づいて位置不変物品の有無を判別する（Ｓ１１４）。位置不変物品が検出されなかった場合（Ｓ１１４：ＮＯ）、以降で説明する処理は実行されない。一方、位置不変物品が検出された場合（Ｓ１１４：ＹＥＳ）、報知部１０６は報知情報を生成する（Ｓ１１６）。例えば、報知部１０６は、位置履歴データに基づいて「位置不変物品を含むマトリクス」として特定されたマトリクスを区別可能に示す画像データなどを含む報知情報を生成する。さらに、報知部１０６は、位置履歴データに紐付けられた宛先情報を読み出す（Ｓ１１８）。本図の例では、報知部１０６は、ここでは、冷蔵庫２０の宛先情報と冷蔵庫２０のユーザが所有する携帯端末４０の宛先情報を読み出している。そして、報知部１０６は、Ｓ１１６の処理で生成した報知情報を、読み出した宛先情報が示す宛先に対して出力する（Ｓ１２０）。
冷蔵庫２０の表示処理部１０８Ａおよび携帯端末４０の表示処理部１０８Ｂは、サーバ装置３０から受け取った報知情報を用いて、位置不変物品をユーザに通知するための処理（例えば、位置不変物品をユーザに知らせる画面を表示する処理など）を実行する（Ｓ１２２、Ｓ１２４）。
〔第２の動作例〕
図８を用いて、本実施形態における庫内監視システム１の動作の他の一例を説明する。図８は、第２実施形態における庫内監視システム１の第２の動作例を示すシーケンス図である。
図８を用いて、本実施形態における庫内監視システム１の動作の他の一例を説明する。図８は、第２実施形態における庫内監視システム１の第２の動作例を示すシーケンス図である。
携帯端末４０の表示処理部１０８Ｂは、ユーザの操作に応じて、サーバ装置３０に対して報知情報の送信要求を出力する（Ｓ２０２）。このとき、表示処理部１０８Ｂは、指定条件の入力操作を受け付け（Ｓ２０４）、入力された条件を示す情報を送信要求に含めてもよい。
サーバ装置３０の報知部１０６は、携帯端末４０からの送信要求に応じて、報知情報を生成する（Ｓ２０６）。例えば、送信要求に指定条件が含まれていなかった場合、報知部１０６は、位置履歴データに基づいて「位置不変物品を含むマトリクス」として特定されたマトリクスを区別可能に示す画像データなどを含む報知情報を生成する。また、送信要求に指定条件が含まれていた場合、報知部１０６は、その指定条件に合致する物品を位置履歴データに基づいて検索し、該当する物品を通知する報知情報を生成する。一例として、「Ｎ日以上位置が変わっていない物品」という指定条件を含む送信要求を受け付けた場合、報知部１０６は、Ｎ以上の位置不変期間が紐付くマトリクスを特定し、そのマトリクスに位置する物品の名称、種類、そのマトリクスを区別可能に示す画像データなどを含む報知情報を生成する。
そして、報知部１０６は、送信要求の送信元の携帯端末４０に対して、Ｓ２０６で生成した報知情報を送信する（Ｓ２０８）。携帯端末４０の表示処理部１０８Ｂは、サーバ装置３０から受け取った報知情報を用いた処理（例えば、報知情報に含まれる各種情報をユーザに通知する画面を表示する処理など）を実行する（Ｓ２１０）。
なお、冷蔵庫２０の表示処理部１０８Ａも、上記と同様に報知情報の送信要求をサーバ装置３０に対して送信し、サーバ装置３０から報知情報を取得することができる。
以上、本実施形態よれば、第１実施形態で説明した効果を得ることができる。また、本実施形態では、携帯端末４０を用いて、冷蔵庫２０の中の位置不変物品に関する報知情報を受け取ることができる。これにより、ユーザは、冷蔵庫２０から離れた場所にいたとしても、自身が認識していない物品が冷蔵庫の中に存在することに気付くことができる。
［第３実施形態］
〔機能構成〕
本実施形態では、冷蔵庫２０が第２実施形態のサーバ装置３０と同等の機能を備えている。図９は、第３実施形態の庫内監視システム１の機能構成を例示するブロック図である。本実施形態において、庫内監視システム１は、冷蔵庫２０と携帯端末４０とを含んで構成される。本実施形態の冷蔵庫２０は、上述の各実施形態で説明した撮像部１０２、データ更新部１０４、および報知部１０６を備える。なお、図９に示されるように、本実施形態の冷蔵庫２０は、第２実施形態で説明した表示処理部１０８Ａを更に備えていてもよい。
〔機能構成〕
本実施形態では、冷蔵庫２０が第２実施形態のサーバ装置３０と同等の機能を備えている。図９は、第３実施形態の庫内監視システム１の機能構成を例示するブロック図である。本実施形態において、庫内監視システム１は、冷蔵庫２０と携帯端末４０とを含んで構成される。本実施形態の冷蔵庫２０は、上述の各実施形態で説明した撮像部１０２、データ更新部１０４、および報知部１０６を備える。なお、図９に示されるように、本実施形態の冷蔵庫２０は、第２実施形態で説明した表示処理部１０８Ａを更に備えていてもよい。
〔ハードウエア構成〕
本実施形態の冷蔵庫２０のハードウエア構成は、サーバ装置３０の代わりに携帯端末４０とネットワークインタフェース２１０を介して接続される点を除き、第２実施形態で説明したハードウエア構成（例：図４）と同様である。本実施形態のメモリ２０６は、データ更新部１０４、報知部１０６、および表示処理部１０８Ａの機能をそれぞれ実現するプログラムモジュールを更に記憶している。プロセッサ２０４は、これら各プログラムモジュールを実行することによって、データ更新部１０４、報知部１０６、および表示処理部１０８Ａの機能を実現する。また、メモリ２０６は、図３に示されるような位置履歴データを記憶する。なお本実施形態では、冷蔵庫２０を識別する情報は不要である。また、冷蔵庫２０はＨＤＤやフラッシュメモリなどの補助記憶装置（図示せず）を更に備えており、位置履歴データは該補助記憶装置に記憶されていてもよい。
本実施形態の冷蔵庫２０のハードウエア構成は、サーバ装置３０の代わりに携帯端末４０とネットワークインタフェース２１０を介して接続される点を除き、第２実施形態で説明したハードウエア構成（例：図４）と同様である。本実施形態のメモリ２０６は、データ更新部１０４、報知部１０６、および表示処理部１０８Ａの機能をそれぞれ実現するプログラムモジュールを更に記憶している。プロセッサ２０４は、これら各プログラムモジュールを実行することによって、データ更新部１０４、報知部１０６、および表示処理部１０８Ａの機能を実現する。また、メモリ２０６は、図３に示されるような位置履歴データを記憶する。なお本実施形態では、冷蔵庫２０を識別する情報は不要である。また、冷蔵庫２０はＨＤＤやフラッシュメモリなどの補助記憶装置（図示せず）を更に備えており、位置履歴データは該補助記憶装置に記憶されていてもよい。
〔第１の動作例〕
図１０を用いて、本実施形態における庫内監視システム１の動作の一例を説明する。図１０は、第３実施形態における庫内監視システム１の第１の動作例を示すシーケンス図である。
図１０を用いて、本実施形態における庫内監視システム１の動作の一例を説明する。図１０は、第３実施形態における庫内監視システム１の第１の動作例を示すシーケンス図である。
まず、撮像部１０２が第１の画像データを生成する（Ｓ３０２）。撮像部１０２は、例えば冷蔵庫２０の扉が閉められたタイミングに応じて冷蔵庫２０の内部を撮影し、第１の画像データを生成する。撮像部１０２は、例えば、冷蔵庫２０の扉などに設けられたセンサ類の出力信号に基づいて冷蔵庫２０の扉が閉められたタイミングを検知することができる。
次に、データ更新部１０４は、メモリ２０６などに記憶された第２の画像データを読み出す（Ｓ３０４）。データ更新部１０４は、第１の画像データと第２の画像データとの差分を算出する（Ｓ３０６）。そして、データ更新部１０４は、算出した差分を用いて、メモリ２０６などに記憶されている位置履歴データを更新する（Ｓ３０８）。また、データ更新部１０４は、Ｓ１０２で取得した第１の画像データを、新たな第２の画像データとしてメモリ２０６に記憶する（Ｓ３１０）。
報知部１０６は、更新された位置履歴データに基づいて位置不変物品の有無を判別する（Ｓ３１２）。位置不変物品が検出されなかった場合（Ｓ３１２：ＮＯ）、以降で説明する処理は実行されない。一方、位置不変物品が検出された場合（Ｓ３１２：ＹＥＳ）、報知部１０６は報知情報を生成し、表示処理部１０８Ａに出力する（Ｓ３１４）。例えば、報知部１０６は、位置履歴データに基づいて「位置不変物品を含むマトリクス」として特定されたマトリクスを区別可能に示す画像データなどを含む報知情報を生成し、表示処理部１０８Ａに出力する。表示処理部１０８Ａは、報知部１０６から出力された報知情報を用いた処理（例えば、報知情報に含まれる各種情報をユーザに通知する画面を冷蔵庫２０のディスプレイに表示する処理など）を実行する（Ｓ３１６）。
さらに、携帯端末４０の宛先情報がメモリ２０６に予め登録されている場合、報知部１０６は、その携帯端末４０の宛先情報を読み出して、報知情報を携帯端末４０へ出力してもよい（Ｓ３１８）。なおユーザは、例えば、近距離無線通信を利用して、或いは、冷蔵庫２０のタッチパネルディスプレイを操作するなどして、自身の携帯端末４０の宛先情報を冷蔵庫２０のメモリ２０６に登録することができる。携帯端末４０の表示処理部１０８Ｂは、冷蔵庫２０の報知部１０６から受け取った報知情報を用いた処理（例えば、報知情報に含まれる各種情報をユーザに通知する画面を冷蔵庫２０のディスプレイに表示する処理など）を実行することができる（Ｓ３２０）。
〔第２の動作例〕
図１１を用いて、本実施形態における庫内監視システム１の動作の他の一例を説明する。図１１は、第３実施形態における庫内監視システム１の第２の動作例を示すフローチャートである。
図１１を用いて、本実施形態における庫内監視システム１の動作の他の一例を説明する。図１１は、第３実施形態における庫内監視システム１の第２の動作例を示すフローチャートである。
表示処理部１０８Ａは、報知情報の指定条件の入力操作を受け付ける（Ｓ４０２）。表示処理部１０８Ａは、例えば、タッチパネルディスプレイを介して、ユーザの入力操作を受け付けることができる。そして、表示処理部１０８Ａは、報知情報の生成要求を報知部１０６に対して出力する（Ｓ４０４）。この送信要求には、Ｓ４０２の処理で入力された指定条件が含まれる。
報知部１０６は、表示処理部１０８Ａからの生成要求に応じて、報知情報を生成する（Ｓ４０６）。一例として、「Ｎ日以上位置が変わっていない物品」という指定条件を含む生成要求を受け付けた場合、報知部１０６は、Ｎ以上の位置不変期間が紐付くマトリクスを特定し、そのマトリクスに位置する物品の名称、種類、そのマトリクスを区別可能に示す画像データなどを含む報知情報を生成する。
そして、報知部１０６は、生成要求の送信元の表示処理部１０８Ａに対して、Ｓ４０６の処理で生成した報知情報を出力する（Ｓ４０８）。そして、表示処理部１０８Ａは、報知部１０６から出力された報知情報を用いた処理（例えば、報知情報に含まれる各種情報をユーザに通知する画面を冷蔵庫２０のディスプレイに表示する処理など）を実行する（Ｓ４１０）。
なお、携帯端末４０の表示処理部１０８Ｂも、第２実施形態でサーバ装置３０に対して送信要求を出力したように、冷蔵庫２０に対して送信要求を出力することができる。本実施形態では、携帯端末４０は、サーバ装置３０の代わりに、冷蔵庫２０から報知情報を取得することができる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上述の説明で用いたシーケンス図やフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
冷蔵庫の内部を監視する庫内監視システムであって、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、
前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、
を備える庫内監視システム。
２．
前記撮像手段は、前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像する、１．に記載の庫内監視システム。
３．
前記データ更新手段は、基準量以上の差分が検出された部分を、前記物品の位置の変化がある部分として認識する、１．または２．に記載の庫内監視システム。
４．
前記データ更新手段は、
前記冷蔵庫の内部における複数の部分領域を定義するデータと前記差分とを用いて、前記物品の位置が同一の部分領域内で変化しているか否かを判断し、
前記物品の位置が同一の部分領域内で変化している場合は、前記位置履歴データ上において変化がないものとする、１．乃至３．のいずれか１つに記載の庫内監視システム。
５．
前記冷蔵庫の内部における複数の部分領域それぞれに前記基準時間が定義されており、
前記報知手段は、前記部分領域別の前記基準時間を用いて前記位置不変物品を検出する、１．乃至４．のいずれか１つに記載の庫内監視システム。
６．
前記報知情報を用いて、前記位置不変物品の存在を報知する画面を表示装置に表示させる表示処理手段を更に備える、１．乃至５．のいずれか１つに記載の庫内監視システム。
７．
前記撮像手段は前記冷蔵庫の収納スペースの奥側に設けられている、１．乃至６．のいずれか１つに記載の庫内監視システム。
８．
前記報知手段は、前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力する、１．乃至７．のいずれか１つに記載の庫内監視システム。
９．
前記報知手段は、前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力する、１．乃至８．のいずれか１つに記載の庫内監視システム。
１０．
前記報知手段は、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力する、９．に記載の庫内監視システム。
１１．
コンピュータによって実行される、冷蔵庫の内部を監視する庫内監視方法であって、
前記コンピュータが、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成し、
生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新し、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力することを含む、
庫内監視方法。
１２．
前記コンピュータが、
前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像することを含む、１１．に記載の庫内監視方法。
１３．
前記コンピュータが、
前記物品毎に前記差分を算出し、当該差分が基準以上の前記物品を、前記冷蔵庫の内部で位置が変化した物品として認識することを含む、１１．または１２．に記載の庫内監視方法。
１４．
前記コンピュータが、
前記冷蔵庫の内部における複数の部分領域を定義するデータを用いて、前記物品の位置が前記部分領域を跨って変化したか否かを判断し、
前記物品の位置が前記部分領域を跨って変化していない場合は、前記位置履歴データ上において変化がないものとすることを含む、１１．乃至１３．のいずれか１つに記載の庫内監視方法。
１５．
前記コンピュータが、
前記冷蔵庫の内部における複数の部分領域と当該部分領域別の前記基準時間とを定義するデータを用いて前記位置不変物品を検出することを含む、１１．乃至１４．のいずれか１つに記載の庫内監視方法。
１６．
前記コンピュータが、
前記報知情報を用いて前記位置不変物品の存在を報知する画面を表示装置に表示させることを含む、１１．乃至１５．のいずれか１つに記載の庫内監視方法。
１７．
撮像装置が前記冷蔵庫の収納スペースの奥側に設けられていることを含む、１１．乃至１６．のいずれか１つに記載の庫内監視方法。
１８．
前記コンピュータが、
前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力することを含む、１１．乃至１７．のいずれか１つに記載の庫内監視方法。
１９．
前記コンピュータが、
前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力することを含む、１１．乃至１８．のいずれか１つに記載の庫内監視方法。
２０．
前記コンピュータが、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力することを含む、１９．に記載の庫内監視方法。
２１．
１１．乃至２０．のいずれか１つに記載の庫内監視方法をコンピュータに実行させるプログラム。
２２．
冷蔵庫であって、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、
前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、
を備える冷蔵庫。
２３．
前記撮像手段は、前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像する、２２．に記載の冷蔵庫。
２４．
前記データ更新手段は、基準量以上の差分が検出された部分を、前記物品の位置の変化がある部分として認識する、２２．または２３．に記載の冷蔵庫。
２５．
前記データ更新手段は、
前記冷蔵庫の内部における複数の部分領域を定義するデータと前記差分とを用いて、前記物品の位置が同一の部分領域内で変化しているか否かを判断し、
前記物品の位置が同一の部分領域内で変化している場合は、前記位置履歴データ上において変化がないものとする、２２．乃至２４．のいずれか１つに記載の冷蔵庫。
２６．
前記冷蔵庫の内部における複数の部分領域それぞれに前記基準時間が定義されており、
前記報知手段は、前記部分領域別の前記基準時間を用いて前記位置不変物品を検出する、２２．乃至２５．のいずれか１つに記載の冷蔵庫。
２７．
前記報知情報を用いて、前記位置不変物品の存在を報知する画面を表示装置に表示させる表示処理手段を更に備える、２２．乃至２６．のいずれか１つに記載の冷蔵庫。
２８．
前記撮像手段は前記冷蔵庫の収納スペースの奥側に設けられている、２２．乃至２７．のいずれか１つに記載の冷蔵庫。
２９．
前記報知手段は、前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力する、２２．乃至２８．のいずれか１つに記載の冷蔵庫。
３０．
前記報知手段は、前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力する、２２．乃至２９．のいずれか１つに記載の冷蔵庫。
３１．
前記報知手段は、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力する、３０．に記載の冷蔵庫。
１．
冷蔵庫の内部を監視する庫内監視システムであって、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、
前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、
を備える庫内監視システム。
２．
前記撮像手段は、前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像する、１．に記載の庫内監視システム。
３．
前記データ更新手段は、基準量以上の差分が検出された部分を、前記物品の位置の変化がある部分として認識する、１．または２．に記載の庫内監視システム。
４．
前記データ更新手段は、
前記冷蔵庫の内部における複数の部分領域を定義するデータと前記差分とを用いて、前記物品の位置が同一の部分領域内で変化しているか否かを判断し、
前記物品の位置が同一の部分領域内で変化している場合は、前記位置履歴データ上において変化がないものとする、１．乃至３．のいずれか１つに記載の庫内監視システム。
５．
前記冷蔵庫の内部における複数の部分領域それぞれに前記基準時間が定義されており、
前記報知手段は、前記部分領域別の前記基準時間を用いて前記位置不変物品を検出する、１．乃至４．のいずれか１つに記載の庫内監視システム。
６．
前記報知情報を用いて、前記位置不変物品の存在を報知する画面を表示装置に表示させる表示処理手段を更に備える、１．乃至５．のいずれか１つに記載の庫内監視システム。
７．
前記撮像手段は前記冷蔵庫の収納スペースの奥側に設けられている、１．乃至６．のいずれか１つに記載の庫内監視システム。
８．
前記報知手段は、前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力する、１．乃至７．のいずれか１つに記載の庫内監視システム。
９．
前記報知手段は、前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力する、１．乃至８．のいずれか１つに記載の庫内監視システム。
１０．
前記報知手段は、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力する、９．に記載の庫内監視システム。
１１．
コンピュータによって実行される、冷蔵庫の内部を監視する庫内監視方法であって、
前記コンピュータが、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成し、
生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新し、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力することを含む、
庫内監視方法。
１２．
前記コンピュータが、
前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像することを含む、１１．に記載の庫内監視方法。
１３．
前記コンピュータが、
前記物品毎に前記差分を算出し、当該差分が基準以上の前記物品を、前記冷蔵庫の内部で位置が変化した物品として認識することを含む、１１．または１２．に記載の庫内監視方法。
１４．
前記コンピュータが、
前記冷蔵庫の内部における複数の部分領域を定義するデータを用いて、前記物品の位置が前記部分領域を跨って変化したか否かを判断し、
前記物品の位置が前記部分領域を跨って変化していない場合は、前記位置履歴データ上において変化がないものとすることを含む、１１．乃至１３．のいずれか１つに記載の庫内監視方法。
１５．
前記コンピュータが、
前記冷蔵庫の内部における複数の部分領域と当該部分領域別の前記基準時間とを定義するデータを用いて前記位置不変物品を検出することを含む、１１．乃至１４．のいずれか１つに記載の庫内監視方法。
１６．
前記コンピュータが、
前記報知情報を用いて前記位置不変物品の存在を報知する画面を表示装置に表示させることを含む、１１．乃至１５．のいずれか１つに記載の庫内監視方法。
１７．
撮像装置が前記冷蔵庫の収納スペースの奥側に設けられていることを含む、１１．乃至１６．のいずれか１つに記載の庫内監視方法。
１８．
前記コンピュータが、
前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力することを含む、１１．乃至１７．のいずれか１つに記載の庫内監視方法。
１９．
前記コンピュータが、
前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力することを含む、１１．乃至１８．のいずれか１つに記載の庫内監視方法。
２０．
前記コンピュータが、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力することを含む、１９．に記載の庫内監視方法。
２１．
１１．乃至２０．のいずれか１つに記載の庫内監視方法をコンピュータに実行させるプログラム。
２２．
冷蔵庫であって、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、
前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、
を備える冷蔵庫。
２３．
前記撮像手段は、前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像する、２２．に記載の冷蔵庫。
２４．
前記データ更新手段は、基準量以上の差分が検出された部分を、前記物品の位置の変化がある部分として認識する、２２．または２３．に記載の冷蔵庫。
２５．
前記データ更新手段は、
前記冷蔵庫の内部における複数の部分領域を定義するデータと前記差分とを用いて、前記物品の位置が同一の部分領域内で変化しているか否かを判断し、
前記物品の位置が同一の部分領域内で変化している場合は、前記位置履歴データ上において変化がないものとする、２２．乃至２４．のいずれか１つに記載の冷蔵庫。
２６．
前記冷蔵庫の内部における複数の部分領域それぞれに前記基準時間が定義されており、
前記報知手段は、前記部分領域別の前記基準時間を用いて前記位置不変物品を検出する、２２．乃至２５．のいずれか１つに記載の冷蔵庫。
２７．
前記報知情報を用いて、前記位置不変物品の存在を報知する画面を表示装置に表示させる表示処理手段を更に備える、２２．乃至２６．のいずれか１つに記載の冷蔵庫。
２８．
前記撮像手段は前記冷蔵庫の収納スペースの奥側に設けられている、２２．乃至２７．のいずれか１つに記載の冷蔵庫。
２９．
前記報知手段は、前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力する、２２．乃至２８．のいずれか１つに記載の冷蔵庫。
３０．
前記報知手段は、前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力する、２２．乃至２９．のいずれか１つに記載の冷蔵庫。
３１．
前記報知手段は、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力する、３０．に記載の冷蔵庫。
１ 庫内監視システム
１０２ 撮像部
１０４ データ更新部
１０６ 報知部
１０８ 表示処理部
２０ 冷蔵庫
２００ 計算機
２０２ バス
２０４ プロセッサ
２０６ メモリ
２０８ 入出力インタフェース
２０８２ ディスプレイ
２１０ ネットワークインタフェース
３０ サーバ装置
３０２ バス
３０４ プロセッサ
３０６ メモリ
３０８ ストレージデバイス
３１０ 入出力インタフェース
３１２ ネットワークインタフェース
４０ 携帯端末
１０２ 撮像部
１０４ データ更新部
１０６ 報知部
１０８ 表示処理部
２０ 冷蔵庫
２００ 計算機
２０２ バス
２０４ プロセッサ
２０６ メモリ
２０８ 入出力インタフェース
２０８２ ディスプレイ
２１０ ネットワークインタフェース
３０ サーバ装置
３０２ バス
３０４ プロセッサ
３０６ メモリ
３０８ ストレージデバイス
３１０ 入出力インタフェース
３１２ ネットワークインタフェース
４０ 携帯端末
Claims (22)
- 冷蔵庫の内部を監視する庫内監視システムであって、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、
前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、
を備える庫内監視システム。 - 前記撮像手段は、前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像する、請求項１に記載の庫内監視システム。
- 前記データ更新手段は、基準量以上の差分が検出された部分を、前記物品の位置の変化がある部分として認識する、請求項１または２に記載の庫内監視システム。
- 前記データ更新手段は、
前記冷蔵庫の内部における複数の部分領域を定義するデータと前記差分とを用いて、前記物品の位置が同一の部分領域内で変化しているか否かを判断し、
前記物品の位置が同一の部分領域内で変化している場合は、前記位置履歴データ上において変化がないものとする、請求項１乃至３のいずれか１項に記載の庫内監視システム。 - 前記冷蔵庫の内部における複数の部分領域それぞれに前記基準時間が定義されており、
前記報知手段は、前記部分領域別の前記基準時間を用いて前記位置不変物品を検出する、請求項１乃至４のいずれか１項に記載の庫内監視システム。 - 前記報知情報を用いて、前記位置不変物品の存在を報知する画面を表示装置に表示させる表示処理手段を更に備える、請求項１乃至５のいずれか１項に記載の庫内監視システム。
- 前記撮像手段は前記冷蔵庫の収納スペースの奥側に設けられている、請求項１乃至６のいずれか１項に記載の庫内監視システム。
- 前記報知手段は、前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力する、請求項１乃至７のいずれか１項に記載の庫内監視システム。
- 前記報知手段は、前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力する、請求項１乃至８のいずれか１項に記載の庫内監視システム。
- 前記報知手段は、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力する、請求項９に記載の庫内監視システム。
- コンピュータによって実行される、冷蔵庫の内部を監視する庫内監視方法であって、
前記コンピュータが、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成し、
生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新し、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力することを含む、
庫内監視方法。 - 前記コンピュータが、
前記冷蔵庫の扉が閉められたタイミングで前記冷蔵庫の内部を撮像することを含む、請求項１１に記載の庫内監視方法。 - 前記コンピュータが、
前記物品毎に前記差分を算出し、当該差分が基準以上の前記物品を、前記冷蔵庫の内部で位置が変化した物品として認識することを含む、請求項１１または１２に記載の庫内監視方法。 - 前記コンピュータが、
前記冷蔵庫の内部における複数の部分領域を定義するデータを用いて、前記物品の位置が前記部分領域を跨って変化したか否かを判断し、
前記物品の位置が前記部分領域を跨って変化していない場合は、前記位置履歴データ上において変化がないものとすることを含む、請求項１１乃至１３のいずれか１項に記載の庫内監視方法。 - 前記コンピュータが、
前記冷蔵庫の内部における複数の部分領域と当該部分領域別の前記基準時間とを定義するデータを用いて前記位置不変物品を検出することを含む、請求項１１乃至１４のいずれか１項に記載の庫内監視方法。 - 前記コンピュータが、
前記報知情報を用いて前記位置不変物品の存在を報知する画面を表示装置に表示させることを含む、請求項１１乃至１５のいずれか１項に記載の庫内監視方法。 - 撮像装置が前記冷蔵庫の収納スペースの奥側に設けられていることを含む、請求項１１乃至１６のいずれか１項に記載の庫内監視方法。
- 前記コンピュータが、
前記位置不変物品の検出に応じて予め定められた宛先に前記報知情報を出力することを含む、請求項１１乃至１７のいずれか１項に記載の庫内監視方法。 - 前記コンピュータが、
前記報知情報の送信要求に応じて、前記送信要求の送信元に前記報知情報を出力することを含む、請求項１１乃至１８のいずれか１項に記載の庫内監視方法。 - 前記コンピュータが、前記送信要求に含まれる指定条件に合致する前記位置不変物品の情報を前記報知情報として出力することを含む、請求項１９に記載の庫内監視方法。
- 請求項１１乃至２０のいずれか１項に記載の庫内監視方法をコンピュータに実行させるプログラム。
- 冷蔵庫であって、
前記冷蔵庫の内部を撮像して前記冷蔵庫の内部の画像データを生成する撮像手段と、
前記撮像手段により生成された第１の前記画像データと前記第１の画像データよりも前に生成された第２の前記画像データとの差分を用いて、前記冷蔵庫の内部における物品の位置の変化を判断し、前記物品の位置履歴データを更新するデータ更新手段と、
基準時間以上位置に変化のない位置不変物品を前記位置履歴データに基づいて検出した場合に、所定の報知情報を出力する報知手段と、
を備える冷蔵庫。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017051041A JP2018155430A (ja) | 2017-03-16 | 2017-03-16 | 庫内監視システム、庫内監視方法、プログラム、および冷蔵庫 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017051041A JP2018155430A (ja) | 2017-03-16 | 2017-03-16 | 庫内監視システム、庫内監視方法、プログラム、および冷蔵庫 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018155430A true JP2018155430A (ja) | 2018-10-04 |
Family
ID=63716636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017051041A Pending JP2018155430A (ja) | 2017-03-16 | 2017-03-16 | 庫内監視システム、庫内監視方法、プログラム、および冷蔵庫 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018155430A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112116652A (zh) * | 2020-09-29 | 2020-12-22 | 海尔优家智能科技（北京）有限公司 | 物品信息的发送方法及装置、存储介质、电子装置 |
| CN113823383A (zh) * | 2021-11-22 | 2021-12-21 | 伟龙食品有限公司 | 食材数据处理方法和装置 |
| WO2022137997A1 (ja) * | 2020-12-24 | 2022-06-30 | パナソニックＩｐマネジメント株式会社 | プログラム、端末装置、及び端末装置の制御方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0545041A (ja) * | 1991-08-09 | 1993-02-23 | Sharp Corp | 冷凍冷蔵庫の庫内管理装置 |
| JP2010121784A (ja) * | 2008-11-17 | 2010-06-03 | Toshiba Corp | 冷蔵庫の在庫管理装置 |
| JP2012193873A (ja) * | 2011-03-15 | 2012-10-11 | Nikon Corp | 収納装置 |
| JP2015072109A (ja) * | 2013-03-29 | 2015-04-16 | パナソニックＩｐマネジメント株式会社 | 冷蔵庫 |
| JP2015152211A (ja) * | 2014-02-13 | 2015-08-24 | 三菱電機株式会社 | 庫内管理装置及び方法 |
-
2017
- 2017-03-16 JP JP2017051041A patent/JP2018155430A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0545041A (ja) * | 1991-08-09 | 1993-02-23 | Sharp Corp | 冷凍冷蔵庫の庫内管理装置 |
| JP2010121784A (ja) * | 2008-11-17 | 2010-06-03 | Toshiba Corp | 冷蔵庫の在庫管理装置 |
| JP2012193873A (ja) * | 2011-03-15 | 2012-10-11 | Nikon Corp | 収納装置 |
| JP2015072109A (ja) * | 2013-03-29 | 2015-04-16 | パナソニックＩｐマネジメント株式会社 | 冷蔵庫 |
| JP2015152211A (ja) * | 2014-02-13 | 2015-08-24 | 三菱電機株式会社 | 庫内管理装置及び方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112116652A (zh) * | 2020-09-29 | 2020-12-22 | 海尔优家智能科技（北京）有限公司 | 物品信息的发送方法及装置、存储介质、电子装置 |
| WO2022137997A1 (ja) * | 2020-12-24 | 2022-06-30 | パナソニックＩｐマネジメント株式会社 | プログラム、端末装置、及び端末装置の制御方法 |
| JP2022100579A (ja) * | 2020-12-24 | 2022-07-06 | パナソニックＩｐマネジメント株式会社 | プログラム、端末装置、及び端末装置の制御方法 |
| CN113823383A (zh) * | 2021-11-22 | 2021-12-21 | 伟龙食品有限公司 | 食材数据处理方法和装置 |
| CN113823383B (zh) * | 2021-11-22 | 2022-04-01 | 伟龙食品有限公司 | 食材数据处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108491123B (zh) | 一种调节应用程序图标的方法及移动终端 | |
| US10834200B2 (en) | Methods, systems, and media for indicating a security status of an internet of things device | |
| JP7031262B2 (ja) | 撮像処理プログラム、撮像処理方法、及び撮像処理装置 | |
| US9591120B2 (en) | Method and device for adding application badge | |
| CN109743498B (zh) | 一种拍摄参数调整方法及终端设备 | |
| WO2016052382A1 (ja) | 情報処理装置、棚札管理システム、制御方法、及びプログラム | |
| CN111083435A (zh) | 一种安全监控方法及设备、计算机可读存储介质 | |
| JP2018155430A (ja) | 庫内監視システム、庫内監視方法、プログラム、および冷蔵庫 | |
| CN111064654A (zh) | 一种消息显示方法及电子设备 | |
| US20220084237A1 (en) | Method and apparatus for determining an icon position | |
| US8949934B2 (en) | Communication device, communication method, and program | |
| CN110309003B (zh) | 信息提示方法及移动终端 | |
| CN109067975B (zh) | 一种联系人信息管理方法及终端设备 | |
| US11600158B2 (en) | Information processing apparatus, control method, and program | |
| US11423622B2 (en) | Apparatus for generating feature positions in a virtual world, information processing method, and storage medium | |
| CN110677537B (zh) | 便签信息显示方法、便签信息发送方法及电子设备 | |
| US10057315B2 (en) | Communication support system, information processing apparatus, control method, and storage medium that display an output image obtained by superposing a reference image over a captured image | |
| CN109189735B (zh) | 一种预览图像显示方法、移动终端 | |
| CN115687144A (zh) | 变异测试方法、装置、存储介质与芯片 | |
| CN110868531A (zh) | 一种触发信号发送的方法和装置 | |
| CN107845103B (zh) | 基于纹理信息的报警方法、装置以及计算机可读存储介质 | |
| CN111221410B (zh) | 传输眼球追踪信息的方法、头戴式显示器及计算机装置 | |
| CN110246001B (zh) | 一种图像显示方法及终端设备 | |
| CN109409068B (zh) | 一种操作执行方法及终端 | |
| CN115145415A (zh) | 触控控制方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210615 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211214 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220310 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220531 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220705 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220921 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221018 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20221025 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20221122 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20221122 |