JP7182139B2 - 食品検出装置、及び食品管理システム - Google Patents
食品検出装置、及び食品管理システム Download PDFInfo
- Publication number
- JP7182139B2 JP7182139B2 JP2020148478A JP2020148478A JP7182139B2 JP 7182139 B2 JP7182139 B2 JP 7182139B2 JP 2020148478 A JP2020148478 A JP 2020148478A JP 2020148478 A JP2020148478 A JP 2020148478A JP 7182139 B2 JP7182139 B2 JP 7182139B2
- Authority
- JP
- Japan
- Prior art keywords
- refrigerator
- food
- camera
- detection device
- food detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013305 food Nutrition 0.000 title claims description 575
- 238000001514 detection method Methods 0.000 title claims description 195
- 238000000034 method Methods 0.000 claims description 59
- 238000003384 imaging method Methods 0.000 claims description 39
- 238000009434 installation Methods 0.000 claims description 16
- 238000007726 management method Methods 0.000 description 162
- 238000004891 communication Methods 0.000 description 64
- 238000012545 processing Methods 0.000 description 62
- 230000008569 process Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 230000004308 accommodation Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000008014 freezing Effects 0.000 description 12
- 238000007710 freezing Methods 0.000 description 12
- 239000008267 milk Substances 0.000 description 10
- 235000013336 milk Nutrition 0.000 description 10
- 210000004080 milk Anatomy 0.000 description 10
- 235000013311 vegetables Nutrition 0.000 description 9
- 235000013405 beer Nutrition 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 235000013601 eggs Nutrition 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 241000234282 Allium Species 0.000 description 2
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D23/00—General constructional features
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
- F25D29/005—Mounting of control devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/4204—Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
- F25D2400/40—Refrigerating devices characterised by electrical wiring
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/02—Sensors detecting door opening
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/04—Sensors detecting the presence of a person
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/06—Sensors detecting the presence of a product
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Sustainable Development (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Devices That Are Associated With Refrigeration Equipment (AREA)
Description
本開示における食品管理システムは、ユーザーによって冷蔵庫の上部に取り付けられ、カメラにより前記冷蔵庫に入出庫される食品を検出する食品検出装置と、前記食品検出装置と通信する端末装置とを備える食品管理システムであって、前記食品検出装置は、前記冷蔵庫の前上方から前記冷蔵庫を撮影する前記カメラを有するカメラモジュールと、少なくとも前記カメラモジュールに電力を供給する電力供給部と、を備え、前記端末装置は、前記食品検出装置が前記冷蔵庫に取り付けられる場合に、前記カメラの撮影結果を含む取付用画面を表示し、前記取付用画面は、線が設けられ、前記カメラの撮影結果を表示する領域と、取付方法情報とを含み、前記取付方法情報は、前記領域が表示する前記カメラの撮影結果に写る冷蔵庫の左右方向の中心が前記線となるように取り付けることを示す。
上記従来技術は、冷蔵室の正面側から奥側に向けて撮影を行う構成のため、ある食品の背面側に他の食品が存在しても撮影画像にはこの他の食品が含まれない可能性がある。そのため、上記従来技術のような撮影を行うカメラの撮影結果からでは、冷蔵庫に入出庫される食品を精度良く検出することが難しい。
そこで、本開示は、冷蔵庫に入出庫される食品をカメラによって精度良く検出できる食品検出装置を提供する。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。
まず、実施の形態1について説明する。
[1-1.構成]
図1は、食品管理システム1000の構成を示す図である。
以下の説明において、左ドア11A及び右ドア11Bを区別しない場合、「ドア」といい「11C」の符号を付して総称する。また、以下の説明において、引出12A、13A、14A、15Aを区別しない場合、「引出」といい「16A」の符号を付して総称する。
図2は、冷蔵庫1及び食品検出装置2を前方側からみた図である。図2に示す冷蔵庫1は、左ドア11A及び右ドア11Bが開状態である。図3は、冷蔵庫1及び食品検出装置2を右側からみた図である。図3に示す冷蔵庫1は、引出15Aが、開状態、すなわち引き出された状態である。
また、図3では、引出用測距センサー25、引出用カメラ22、及び冷蔵室用カメラ21が前後方向においてこの順番で並んで設けられているように図示している。しかしながら、これは、食品検出装置2のための図示であり、図3のように設けられていなくてもよい。
以下の説明では、冷蔵庫1に収容される食品を管理するためのアプリケーションプログラムを、「食品管理用アプリ」といい「323」の符号を付す。
食品検出装置2は、センサーモジュール210、カメラモジュール220、及び電力供給部230を備える。
食品管理データベース423は、冷蔵庫1が収容する食品に係る各種情報を格納するデータベースである。
食品認識部4100は、食品検出装置2が検出した食品を認識する。食品認識部4100の詳細については、図9を参照して説明する。
端末装置3は、端末制御部30、端末通信部31、及びタッチパネル32を備える。
アプリ実行部3100は、端末通信部31を制御して、食品管理サーバー4と各種情報を送受信する。アプリ実行部3100は、端末装置3と通信装置5とが通信接続が可能である場合、通信装置5を介して食品管理サーバー4と各種情報を送受信し、そうでない場合、通信装置5を介さず食品管理サーバー4と各種情報を送受信する。このため、ユーザーPが自宅H内或いは自宅Hの周辺に位置しなくても、端末装置3は、食品管理用アプリ323の機能によって、食品管理サーバー4と各種情報を送受信できる。
次に、食品管理システム1000の各部の動作について説明する。
本実施の形態では、食品検出装置2が冷蔵庫1と別体である場合を例示している。そのため、食品検出装置2は、ユーザーPによって冷蔵庫1の上面に取り付けられる。
取付用画面TGは、撮影結果表示領域HA1が設けられる。撮影結果表示領域HA1は、矩形の領域であり、冷蔵室用カメラ21及び引出用カメラ22のいずれかの撮影結果を表示する領域である。撮影結果表示領域HA1には、図中の左右方向における略中央に、上下方向に延びる線L1が設けられている。
食品検出装置2のカメラモジュール220のカメラモジュール制御部221は、カメラモジュール通信部223により要求情報を受信すると、冷蔵室用カメラ21及び引出用カメラ22のいずれかの撮影結果を、カメラモジュール通信部223により端末装置3に送信する。
そして、アプリ実行部3100は、受信した撮影結果を撮影結果表示領域HA1に表示する。
図8は、食品検出装置2の動作を示すフローチャートである。
図8に示す動作では、センサー部212が有する各種センサーの検出値を、センサーモジュール210がセンサー側モジュール間通信部213によってカメラモジュール220に送信し、且つ、カメラモジュール220がカメラ側モジュール間通信部224によって当該検出値を受信している。そして、図8に示す動作では、検出値処理部221Aがセンサーモジュール210から受信した各種の検出値に基づいて処理を実行している。
図9は、食品検出装置2及び食品管理サーバー4の動作を示すフローチャートである。図9において、フローチャートFBは、食品検出装置2の動作を示す。また、図9において、フローチャートFCは、食品管理サーバー4の動作を示す。
<第1の方法>
第1の方法は、フレームに対応付く開閉状態情報による判定である。
食品検出部221Dは、有効フレームの判定において、開状態を示す開閉状態情報が対応付くフレームを有効フレームと判定し、閉状態を示す開閉状態情報が対応付くフレームを有効フレームでないと判定する。
第2の方法は、画像の差分抽出による判定である。
食品検出部221Dは、動画像を構成するフレームの差分抽出を行うことで、左ドア11A、右ドア11B、引出12A、13A、14A、15Aのいずれかが開状態である場合の像が写るフレームを特定する。そして、食品検出部221Dは、特定したフレームを有効フレームと判定し、特定したフレーム以外のフレームを有効フレームでないと判定する。例えば、食品検出部221Dは、閉状態のフレームに対して差分抽出を行っていき、左ドア11A、右ドア11B、引出12A、13A、14A、15Aのいずれかに差分があるフレームを、有効フレームと判定する。なお、差分抽出の基準となる閉状態のフレームは、例えば、動画像を構成するフレームのうち最も古いフレームである。
第3の方法は、第1の方法と第2の方法とに基づく判定である。
食品検出部221Dは、開状態を示す開閉状態情報が対応付くフレームを有効フレームと判定する。次いで、食品検出部221Dは、閉状態を示す開閉状態情報が対応付くフレームを対象に、閉状態のフレームに対する差分抽出を行い、左ドア11A、右ドア11B、引出12A、13A、14A、15Aのいずれかに差分があるフレームを、有効フレームと判定する。
ステップSB3において検出に必要なデータは、カメラモジュール制御部221が取得可能な記憶領域に記憶されている。
例えば、食品検出部221Dは、入出庫判定処理において、ステップSB3で検出できた食品の像の動画像における移動方向を、有効フレームに基づいて判定する。食品検出部221Dは、食品の像の移動方向が、後方、すなわち冷蔵庫1に近づく方向である場合、検出した食品が冷蔵庫1から入庫された食品であると判定する。また、食品検出部221Dは、食品の像の移動方向が、前方、すなわち冷蔵庫1から離れる方向である場合、検出した食品が冷蔵庫1から出庫された食品であると判定する。
また、食品管理サーバー4に送信される食品管理要求情報は、動画像の撮影が行われた日時を示す日時情報を含む。
また、食品管理サーバー4に送信される食品管理要求情報は、ステップSB3において検出された食品ごとに、切り出し食品画像の画像データ、入出庫判定処理の判定結果を示す入出庫判定結果情報、検出した入庫先又は出庫先を示す保存場所情報4234、及び検出した食品の種類を示す食品種類情報を含む。
食品認識部4100は、食品情報データベースに格納される食品画像FGから、切り出し食品画像と最も一致度の高い食品画像FGを特定する。一致度は、例えば、形状や、色等の特徴量に基づいて所定のアルゴリズムにより算出される。そして、食品認識部4100は、特定した食品画像FGが示す食品が、切り出し食品画像が示す食品であると認識する。
まず、食品認識部4100は、食品管理要求情報に含まれる食品検出装置ID2125を有するレコードRを食品管理データベース423から特定する。
より具体的には、食品認識部4100は、残量情報4233が示す残量を減らす処理を行う。減らす数量は、例えば食品認識処理の際に、食品管理要求情報に含まれる食品画像FGに基づいて算出される。ここで、更新後の残量情報4233がゼロを示す場合、食品認識部4100は、保存開始日情報4235が示す保存開始日、及び期限日情報4236が示す期限日をブランクにしてもよい。
より具体的には、食品認識部4100は、残量情報4233が示す残量を増やす処理を行う。増やす数量は、例えば食品認識処理の際に、食品管理要求情報に含まれる切り出し食品画像に基づいて算出される。また、食品認識部4100は、食品管理要求情報に含まれる日時情報が示す日付を、保存開始日情報4235が示す保存開始日に変更する処理を行う。また、食品認識部4100は、演算や問い合わせ等の所定の方法によって、食品管理要求情報に含まれる日時情報が示す日付に基づく期限日を取得し、期限日情報4236が示す期限日を取得した期限日に変更する処理を行う。
ここで、食品名情報4232は、食品認識処理の際に取得した食品名情報4232である。
また、残量情報4233は、例えば、食品認識処理の際に、食品管理要求情報に含まれる切り出し食品画像に基づいて算出された残量を示す。
また、保存場所情報4234は、食品管理要求情報に含まれる保存場所情報4234である。
また、保存開始日情報4235は、食品管理要求情報に含まれる日時情報が示す日付を示す。
また、期限日情報4236は、食品管理要求情報に含まれる日時情報が示す日付に基づく期限日、或いはブランクを示す。
また、期限日通知タイミング情報4237及び新規通知タイミング情報4238は、デフォルトのタイミング、或いはブランクを示す。
また、食品画像データ4239は、食品認識処理の際に取得した食品画像FGを示す。
図10は、食品管理画面SKGの一例を示す図である。
また、図10に示すオブジェクトOB2は、ビールを示す食品画像FG2、ビールの残量を示す残量情報4233、ビールの保存開始日を示す保存開始日情報4235、及び新規収容明示情報MJを含む。
また、図10に示すオブジェクトOB3は、卵を示す食品画像FG3、卵の残量を示す残量情報4233、及び卵の保存開始日を示す保存開始日情報4235を含む。
また、例えば、アプリ実行部3100は、食品管理画面SKGにおいて更新ボタンB3がタッチ操作された場合、ステップSD1において肯定判別する。
次いで、アプリ実行部3100は、牛乳を示す食品名情報4232に対応付く保存開始日情報4235が示す保存開始日が、牛乳を示す食品名情報4232に対応付く新規通知タイミング情報4238示すタイミングに該当するか否かを判別する。図10のオブジェクトOBの生成では、アプリ実行部3100は、否定判別し、新規収容明示情報MJを生成しない。なお、肯定判別した場合、アプリ実行部3100は、新規収容明示情報MJを生成する。
アプリ実行部3100は、生成した期限日警告情報KJ、牛乳を示す食品名情報4232に対応付く食品画像データ4239が示す食品画像FGと、及び牛乳を示す食品名情報4232に対応付く保存開始日情報4235を含むオブジェクトOB1を生成する。
なお、アプリ実行部3100は、期限日警告情報KJを生成していない場合、オブジェクトOB1に期限日警告情報KJを含めず、新規収容明示情報MJを生成している場合、オブジェクトOB1に新規収容明示情報MJを含める。
以上、説明したように、食品検出装置2は、ユーザーPによって冷蔵庫1の上部に取り付けられ、冷蔵室用カメラ21及び引出用カメラ22により冷蔵庫1に入出庫される食品を検出する。食品検出装置2は、冷蔵庫1の前上方から冷蔵庫1を撮影する冷蔵室用カメラ21と、冷蔵庫1の前上方から冷蔵庫1を撮影する引出用カメラ22とを有するカメラモジュール220を備える。また、食品検出装置2は、少なくともカメラモジュール220に電力を供給する電力供給部230を備える。
実施の形態2は、実施の形態1と比較して、カメラモジュール220が備えるカメラの台数が異なる。実施の形態1のカメラモジュール220は、冷蔵室用カメラ21及び引出用カメラ22の2台のカメラを備える構成である。実施の形態2のカメラモジュール220は、1台のカメラを備える。以下、このカメラを冷蔵庫撮影用カメラという。
以上のように、本出願において開示する例示として、上記実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
2 食品検出装置
3 端末装置
4 食品管理サーバー
7 商用交流電源(商用電源)
11 冷蔵室
11A 左ドア(ドア)
11B 右ドア(ドア)
11C ドア
12A、13A、14A、15A、16A 引出
21 冷蔵室用カメラ(カメラ)
22 引出用カメラ(カメラ)
23 左ドア用測距センサー(開閉センサー)
24 右ドア用測距センサー(開閉センサー)
25 引出用測距センサー(開閉センサー)
26 照度センサー
27 人感センサー
28 開閉用測距センサー(開閉センサー)
210 センサーモジュール
220 カメラモジュール
221A 検出値処理部
221B 撮影制御部
221C 動画像処理部
221D 食品検出部
230 電力供給部
4100 食品認識部
Claims (9)
- ユーザーによって冷蔵庫の上部に取り付けられ、カメラにより前記冷蔵庫に入出庫される食品を検出する食品検出装置であって、
前記冷蔵庫の前上方から前記冷蔵庫を撮影する前記カメラを有するカメラモジュールと、
少なくとも前記カメラモジュールに電力を供給する電力供給部と、を備え、
前記カメラモジュールは、前記食品検出装置が前記冷蔵庫に取り付けられる場合に、前記カメラの撮影結果を含む取付用画面を提供し、
前記取付用画面は、線が設けられ、前記カメラの撮影結果を表示する領域と、取付方法情報とを含み、
前記取付方法情報は、前記領域が表示する前記カメラの撮影結果に写る冷蔵庫の左右方向の中心が前記線となるように取り付けることを示す、
食品検出装置。 - 前記電力供給部は、商用電源、前記冷蔵庫、及び前記食品検出装置が備えるバッテリーのいずれかから供給される電力に基づいて、少なくとも前記カメラモジュールに電力を供給する、
請求項1に記載の食品検出装置。 - 冷蔵庫の上部に設けられ、カメラにより前記冷蔵庫に入出庫される食品を検出する食品検出装置であって、
前記冷蔵庫の前上方から前記冷蔵庫を撮影する前記カメラを有するカメラモジュールと、
少なくとも前記カメラモジュールに電力を供給する電力供給部と、を備え、
前記食品検出装置の電源ケーブルが商用電源に接続され、
前記電力供給部は、前記電源ケーブルを介して供給される電力に基づいて、少なくとも前記カメラモジュールに電力を供給し、
前記カメラモジュールは、前記食品検出装置が前記冷蔵庫に取り付けられる場合に、前記カメラの撮影結果を含む取付用画面を提供し、
前記取付用画面は、線が設けられ、前記カメラの撮影結果を表示する領域と、取付方法情報とを含み、
前記取付方法情報は、前記領域が表示する前記カメラの撮影結果に写る冷蔵庫の左右方向の中心が前記線となるように取り付けることを示す、
食品検出装置。 - 冷蔵庫の上部に設けられ、カメラにより前記冷蔵庫に入出庫される食品を検出する食品検出装置であって、
前記冷蔵庫の前上方から前記冷蔵庫を撮影する前記カメラを有するカメラモジュールと、
少なくとも前記カメラモジュールに電力を供給する電力供給部と、を備え、
前記食品検出装置のUSBケーブルが前記冷蔵庫に接続され、
前記電力供給部は、前記USBケーブルを介して供給される電力に基づいて、少なくとも前記カメラモジュールに電力を供給し、
前記カメラモジュールは、前記食品検出装置が前記冷蔵庫に取り付けられる場合に、前記カメラの撮影結果を含む取付用画面を提供し、
前記取付用画面は、線が設けられ、前記カメラの撮影結果を表示する領域と、取付方法情報とを含み、
前記取付方法情報は、前記領域が表示する前記カメラの撮影結果に写る冷蔵庫の左右方向の中心が前記線となるように取り付けることを示す、
食品検出装置。 - 冷蔵庫の上部に設けられ、カメラにより前記冷蔵庫に入出庫される食品を検出する食品検出装置であって、
前記冷蔵庫の前上方から前記冷蔵庫を撮影する前記カメラを有するカメラモジュールと、
少なくとも前記カメラモジュールに電力を供給する電力供給部と、
バッテリーと、を備え、
前記電力供給部は、前記バッテリーから供給される電力に基づいて、少なくとも前記カメラモジュールに電力を供給し、
前記カメラモジュールは、前記食品検出装置が前記冷蔵庫に取り付けられる場合に、前記カメラの撮影結果を含む取付用画面を提供し、
前記取付用画面は、線が設けられ、前記カメラの撮影結果を表示する領域と、取付方法情報とを含み、
前記取付方法情報は、前記領域が表示する前記カメラの撮影結果に写る冷蔵庫の左右方向の中心が前記線となるように取り付けることを示す、
食品検出装置。 - 前記冷蔵庫のドア及び引出の少なくともいずれかの開閉状態を検出する開閉センサーを有するセンサーモジュールを備え、
前記カメラは、前記開閉センサーが開状態を検出した場合に撮影を開始し、前記開閉センサーが閉状態を検出した場合に撮影を終了する、
請求項1から5のいずれか一項に記載の食品検出装置。 - 前記センサーモジュールは、前記冷蔵庫の設置場所の照度を検出する照度センサーと、前記冷蔵庫の周囲に存在する人物を検出する人感センサーとを有し、
前記カメラは、前記照度センサー及び前記人感センサーの少なくともいずれかの検出結果が、前記冷蔵庫の周囲に人物が存在することを示す結果である場合、前記開閉センサーが閉状態を検出していても撮影を開始する、
請求項6に記載の食品検出装置。 - 前記カメラは、動画像を撮影する、
請求項1から7のいずれか一項に記載の食品検出装置。 - ユーザーによって冷蔵庫の上部に取り付けられ、カメラにより前記冷蔵庫に入出庫される食品を検出する食品検出装置と、前記食品検出装置と通信する端末装置とを備える食品管理システムであって、
前記食品検出装置は、
前記冷蔵庫の前上方から前記冷蔵庫を撮影する前記カメラを有するカメラモジュールと、
少なくとも前記カメラモジュールに電力を供給する電力供給部と、を備え、
前記端末装置は、
前記食品検出装置が前記冷蔵庫に取り付けられる場合に、前記カメラの撮影結果を含む取付用画面を表示し、
前記取付用画面は、線が設けられ、前記カメラの撮影結果を表示する領域と、取付方法情報とを含み、
前記取付方法情報は、前記領域が表示する前記カメラの撮影結果に写る冷蔵庫の左右方向の中心が前記線となるように取り付けることを示す、
食品管理システム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020148478A JP7182139B2 (ja) | 2020-09-03 | 2020-09-03 | 食品検出装置、及び食品管理システム |
CN202180054011.6A CN116057337A (zh) | 2020-09-03 | 2021-07-26 | 食品检测装置 |
PCT/JP2021/027565 WO2022049919A1 (ja) | 2020-09-03 | 2021-07-26 | 食品検出装置 |
US18/042,139 US20230306745A1 (en) | 2020-09-03 | 2021-07-26 | Food detection device |
EP21863977.1A EP4209733A4 (en) | 2020-09-03 | 2021-07-26 | FOOD DETECTION DEVICE |
JP2022179237A JP2023001274A (ja) | 2020-09-03 | 2022-11-09 | 食品検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020148478A JP7182139B2 (ja) | 2020-09-03 | 2020-09-03 | 食品検出装置、及び食品管理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022179237A Division JP2023001274A (ja) | 2020-09-03 | 2022-11-09 | 食品検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022042852A JP2022042852A (ja) | 2022-03-15 |
JP7182139B2 true JP7182139B2 (ja) | 2022-12-02 |
Family
ID=80491951
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020148478A Active JP7182139B2 (ja) | 2020-09-03 | 2020-09-03 | 食品検出装置、及び食品管理システム |
JP2022179237A Pending JP2023001274A (ja) | 2020-09-03 | 2022-11-09 | 食品検出装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022179237A Pending JP2023001274A (ja) | 2020-09-03 | 2022-11-09 | 食品検出装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230306745A1 (ja) |
EP (1) | EP4209733A4 (ja) |
JP (2) | JP7182139B2 (ja) |
CN (1) | CN116057337A (ja) |
WO (1) | WO2022049919A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7353340B2 (ja) * | 2021-10-19 | 2023-09-29 | 日立グローバルライフソリューションズ株式会社 | 冷蔵庫 |
JP7337889B2 (ja) * | 2021-09-15 | 2023-09-04 | 日立グローバルライフソリューションズ株式会社 | 冷蔵庫 |
JP2024058086A (ja) * | 2022-10-14 | 2024-04-25 | パナソニックIpマネジメント株式会社 | 物品管理システム、及び冷蔵庫 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003042626A (ja) | 2001-07-26 | 2003-02-13 | Toshiba Corp | 冷蔵庫 |
JP2014199173A (ja) | 2012-10-12 | 2014-10-23 | 株式会社東芝 | 冷蔵庫 |
JP2015046760A (ja) | 2013-08-28 | 2015-03-12 | 株式会社東芝 | 撮像システム及び撮像装置 |
JP2015081762A (ja) | 2013-10-24 | 2015-04-27 | 三菱電機株式会社 | 冷蔵庫 |
JP2015111025A (ja) | 2013-03-12 | 2015-06-18 | 株式会社東芝 | 冷蔵庫、カメラ装置 |
JP2015111026A (ja) | 2013-03-12 | 2015-06-18 | 株式会社東芝 | 冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム |
JP2015125535A (ja) | 2013-12-26 | 2015-07-06 | ソフトバンクモバイル株式会社 | 管理システム及びプログラム |
JP2016023854A (ja) | 2014-07-18 | 2016-02-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 判定装置、および、判定方法 |
US20180087829A1 (en) | 2013-04-23 | 2018-03-29 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
JP2018146177A (ja) | 2017-03-06 | 2018-09-20 | 株式会社ロボ・ガレージ | 物品貯蔵庫の在庫管理装置 |
US20180335252A1 (en) | 2017-05-18 | 2018-11-22 | Samsung Electronics Co., Ltd | Refrigerator and method of food management thereof |
JP2019070467A (ja) | 2017-10-06 | 2019-05-09 | 東芝ライフスタイル株式会社 | 冷蔵庫 |
US20200211285A1 (en) | 2018-12-31 | 2020-07-02 | Whirlpool Corporation | Augmented reality feedback of inventory for an appliance |
CN111444880A (zh) | 2020-04-10 | 2020-07-24 | 海信集团有限公司 | 一种食材识别方法及冰箱 |
JP2021009008A (ja) | 2019-07-03 | 2021-01-28 | シャープ株式会社 | 冷蔵庫 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN205897696U (zh) * | 2016-07-18 | 2017-01-18 | 合肥华凌股份有限公司 | 电冰箱 |
JP2020148478A (ja) | 2019-03-11 | 2020-09-17 | 株式会社豊田自動織機 | 抵抗計測方法 |
-
2020
- 2020-09-03 JP JP2020148478A patent/JP7182139B2/ja active Active
-
2021
- 2021-07-26 WO PCT/JP2021/027565 patent/WO2022049919A1/ja unknown
- 2021-07-26 EP EP21863977.1A patent/EP4209733A4/en active Pending
- 2021-07-26 US US18/042,139 patent/US20230306745A1/en active Pending
- 2021-07-26 CN CN202180054011.6A patent/CN116057337A/zh active Pending
-
2022
- 2022-11-09 JP JP2022179237A patent/JP2023001274A/ja active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003042626A (ja) | 2001-07-26 | 2003-02-13 | Toshiba Corp | 冷蔵庫 |
JP2014199173A (ja) | 2012-10-12 | 2014-10-23 | 株式会社東芝 | 冷蔵庫 |
JP2015111025A (ja) | 2013-03-12 | 2015-06-18 | 株式会社東芝 | 冷蔵庫、カメラ装置 |
JP2015111026A (ja) | 2013-03-12 | 2015-06-18 | 株式会社東芝 | 冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラム |
US20180087829A1 (en) | 2013-04-23 | 2018-03-29 | Lg Electronics Inc. | Refrigerator with camera and control method for the same |
JP2015046760A (ja) | 2013-08-28 | 2015-03-12 | 株式会社東芝 | 撮像システム及び撮像装置 |
JP2015081762A (ja) | 2013-10-24 | 2015-04-27 | 三菱電機株式会社 | 冷蔵庫 |
JP2015125535A (ja) | 2013-12-26 | 2015-07-06 | ソフトバンクモバイル株式会社 | 管理システム及びプログラム |
JP2016023854A (ja) | 2014-07-18 | 2016-02-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 判定装置、および、判定方法 |
JP2018146177A (ja) | 2017-03-06 | 2018-09-20 | 株式会社ロボ・ガレージ | 物品貯蔵庫の在庫管理装置 |
US20180335252A1 (en) | 2017-05-18 | 2018-11-22 | Samsung Electronics Co., Ltd | Refrigerator and method of food management thereof |
JP2019070467A (ja) | 2017-10-06 | 2019-05-09 | 東芝ライフスタイル株式会社 | 冷蔵庫 |
US20200211285A1 (en) | 2018-12-31 | 2020-07-02 | Whirlpool Corporation | Augmented reality feedback of inventory for an appliance |
JP2021009008A (ja) | 2019-07-03 | 2021-01-28 | シャープ株式会社 | 冷蔵庫 |
CN111444880A (zh) | 2020-04-10 | 2020-07-24 | 海信集团有限公司 | 一种食材识别方法及冰箱 |
Also Published As
Publication number | Publication date |
---|---|
EP4209733A4 (en) | 2024-02-14 |
JP2023001274A (ja) | 2023-01-04 |
US20230306745A1 (en) | 2023-09-28 |
JP2022042852A (ja) | 2022-03-15 |
CN116057337A (zh) | 2023-05-02 |
EP4209733A1 (en) | 2023-07-12 |
WO2022049919A1 (ja) | 2022-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7182139B2 (ja) | 食品検出装置、及び食品管理システム | |
CN112984913B (zh) | 物品显示*** | |
JP2024088755A (ja) | プログラム、端末装置、及び食品管理システム | |
WO2018142136A1 (en) | Imaging apparatus | |
JP2022162054A (ja) | 食品管理システム | |
JP7281755B2 (ja) | 冷蔵庫 | |
JP2022103368A (ja) | 冷蔵庫 | |
JP2024016290A (ja) | 撮影装置 | |
US20210133442A1 (en) | Element operation division device, element operation division method, storage medium, and element operation division system | |
WO2023095526A1 (ja) | プログラム、端末装置、およびレシピ表示システム | |
US20180336755A1 (en) | Mobile service providing apparatus and non-transitory computer readable storage medium | |
JP6124257B2 (ja) | 冷蔵庫内記録システム、制御装置、および、冷蔵庫内記録方法 | |
CN116888415A (zh) | 摄影装置和摄影装置的控制方法 | |
WO2023095536A1 (ja) | 検出装置、検出装置の制御方法、及びプログラム | |
CN118302642A (zh) | 检测***、程序和出入库管理方法 | |
JP2023079897A (ja) | プログラム、端末装置、端末装置の制御方法、及び表示システム | |
JP2024052973A (ja) | プログラム、端末装置、及び端末装置の制御方法 | |
JP2023168435A (ja) | プログラム、端末装置、及び端末装置の制御方法 | |
JP2022094416A (ja) | 貯蔵庫、貯蔵システム及び画像認識方法 | |
JP2023118950A (ja) | プログラム | |
JP2024058086A (ja) | 物品管理システム、及び冷蔵庫 | |
JP2024058083A (ja) | 撮像システム、撮像装置、及び冷蔵庫 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220418 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7182139 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |