JP2022033235A - refrigerator - Google Patents
refrigerator Download PDFInfo
- Publication number
- JP2022033235A JP2022033235A JP2021212787A JP2021212787A JP2022033235A JP 2022033235 A JP2022033235 A JP 2022033235A JP 2021212787 A JP2021212787 A JP 2021212787A JP 2021212787 A JP2021212787 A JP 2021212787A JP 2022033235 A JP2022033235 A JP 2022033235A
- Authority
- JP
- Japan
- Prior art keywords
- food
- refrigerator
- information
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013305 food Nutrition 0.000 abstract description 342
- 238000003384 imaging method Methods 0.000 abstract description 14
- 238000000034 method Methods 0.000 description 80
- 238000007726 management method Methods 0.000 description 54
- 238000001514 detection method Methods 0.000 description 49
- 238000012545 processing Methods 0.000 description 41
- 238000010191 image analysis Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 14
- 230000004308 accommodation Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000010365 information processing Effects 0.000 description 9
- 238000007710 freezing Methods 0.000 description 6
- 230000008014 freezing Effects 0.000 description 6
- 235000013311 vegetables Nutrition 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005057 refrigeration Methods 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D25/00—Charging, supporting, and discharging the articles to be cooled
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2500/00—Problems to be solved
- F25D2500/06—Stock management
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Refrigerator Housings (AREA)
Abstract
Description
本発明は、冷蔵庫に関する。 The present invention relates to a refrigerator.
従来、冷蔵室の右扉の内側に設けられたカメラにより冷蔵室内を撮像し、撮像した画像のデータを、ネットワークを経由して外部の通信端末送信するようにした冷蔵庫が提案されている(例えば、特許文献1参照)。特許文献1に記載された冷蔵庫においては、冷蔵室の扉を開けた際に生じるレンズの曇りを防止するために、レンズヒーターを設けた構成が開示されている。
Conventionally, a refrigerator has been proposed in which a camera provided inside the right door of the refrigerating room captures an image of the refrigerating room and the data of the captured image is transmitted to an external communication terminal via a network (for example). , Patent Document 1). In the refrigerator described in
本発明は、ユーザーが冷蔵庫の正面から見た際に、カメラが視認されにくくすることを目的とする。 An object of the present invention is to make it difficult for a user to see the camera when viewed from the front of the refrigerator.
本発明の冷蔵庫は、開口部を有し、冷蔵庫の最上段に設けられた収容室と、収容室に設けられた扉と、収容室の外部、かつ、冷蔵庫の上部に設けられ、開口部を通過する物体を撮像するカメラと、扉が閉まっている状態において扉のうちカメラに対向する位置に設けられ、カメラを収納する目隠し部とを備えていることを特徴とする。 The refrigerator of the present invention has an opening, a storage chamber provided at the uppermost stage of the refrigerator, a door provided in the storage chamber, and an opening provided outside the storage chamber and above the refrigerator. It is characterized by having a camera that captures an image of a passing object and a blindfold portion that is provided at a position of the door facing the camera when the door is closed and that houses the camera.
本発明によれば、ユーザーが冷蔵庫の正面から見た際にカメラが視認されにくい。 According to the present invention, it is difficult for the user to visually recognize the camera when viewed from the front of the refrigerator.
第1の発明は、開口部を有する収容室と、前記開口部を開閉する開閉部と、前記収容室の外部であって、前記開閉部が開状態であるときに前記開口部が撮像範囲に含まれる位置に配置されたカメラと、前記カメラによる撮像画像から、前記開口部を通過する食品の情報を取得する食品情報取得部と、前記食品情報取得部により取得された食品の情報に基づいて、前記収容室に収容されている食品の情報を管理する食品情報管理部とを備えている。
第1の発明によれば、収容室の開口部を撮像範囲に含むカメラが、収容室の外部に配置されている。そのため、収容室の開閉部が閉状態から開状態に切り替わったときに、収容室内に流入する室内空気によってカメラのレンズが曇ることが回避され、レンズの曇りを防止するための構成を不要とすることができる。また、食品情報取得部により、カメラの撮像画像から、収容室の開口部を通過した食品の情報が取得される。そして、食品情報管理部は、収容室に収容されている食品が重なり合っている場合であっても、食品情報取得部により取得された開口部を通過した食品の情報に基づいて、収容室に収容されている食品の情報を管理することができる。
According to the first invention, a storage chamber having an opening, an opening / closing portion for opening / closing the opening, and an outside of the storage chamber, the opening is within the imaging range when the opening / closing portion is in the open state. Based on the food information acquisition unit that acquires information on food passing through the opening from the camera arranged at the included position and the image captured by the camera, and the food information acquired by the food information acquisition unit. , It is equipped with a food information management unit that manages information on foods stored in the storage room.
According to the first invention, a camera including the opening of the accommodation chamber in the imaging range is arranged outside the accommodation chamber. Therefore, when the opening / closing part of the accommodation chamber is switched from the closed state to the open state, the camera lens is prevented from being fogged by the indoor air flowing into the accommodation chamber, and a configuration for preventing the lens fog is unnecessary. be able to. In addition, the food information acquisition unit acquires information on food that has passed through the opening of the containment chamber from the image captured by the camera. Then, the food information management department stores the food in the storage room based on the information of the food that has passed through the opening acquired by the food information acquisition unit even when the foods stored in the storage room overlap. It is possible to manage information on foods that have been sold.
第2の発明は、前記カメラは前記開口部の外周部に配置され、前記開閉部の外周部であって前記開閉部が閉状態であるときに前記カメラと対向する箇所に設けられ、前記開閉部が閉状態であるときに、前記開閉部の外側からの前記カメラの視認を不能とする目隠し部を備えている。
第2の発明によれば、開閉部が閉状態であるときにカメラの視認を不能とする目隠し部を備えることによって、収容室への入庫及び収容室からの出庫が行われていないときの冷蔵庫の美観を高めることができる。
In the second invention, the camera is arranged on the outer peripheral portion of the opening, and is provided on the outer peripheral portion of the opening / closing portion at a position facing the camera when the opening / closing portion is in the closed state. It is provided with a blindfold portion that makes it impossible to see the camera from the outside of the opening / closing portion when the portion is in the closed state.
According to the second invention, the refrigerator is provided with a blindfold portion that makes it impossible to see the camera when the opening / closing portion is in the closed state, so that the refrigerator is not warehousing in or out of the containment chamber. Can enhance the aesthetics of.
第3の発明では、前記収容室は前記冷蔵庫の最上段に配置され、前記カメラは前記収容室の天板に配置されている。
第3の発明によれば、冷蔵庫の最上段に配置された収容室の天板にカメラを配置することにより、ユーザーがカメラを視認し難くして、カメラを収容室に配置することによる美観の低下を抑えることができる。
In the third invention, the storage chamber is arranged on the uppermost stage of the refrigerator, and the camera is arranged on the top plate of the storage chamber.
According to the third invention, by arranging the camera on the top plate of the containment chamber arranged at the top of the refrigerator, it is difficult for the user to see the camera, and the aesthetic appearance by arranging the camera in the containment chamber. The decrease can be suppressed.
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本実施の形態によって本発明が限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The present invention is not limited to the present embodiment.
[1.冷蔵庫の使用態様]
図1は、本実施形態の冷蔵庫の使用態様を示している。本実施形態の冷蔵庫1は、家屋Hに設置され、ゲートウェイ500及び通信ネットワーク510を介して管理サーバー520との間で通信を行う機能を有している。また、冷蔵庫1は、端末装置(スマートフォン、タブレット端末等)400との間で通信を行う機能を有している。端末装置400は、ゲートウェイ500及び通信ネットワーク510を介して管理サーバー520との間で通信を行う機能を有している。
[1. How to use the refrigerator]
FIG. 1 shows a usage mode of the refrigerator of the present embodiment. The
冷蔵庫1に備えられた制御ユニット100は、冷蔵庫1の全体的な作動を制御すると共に、冷蔵庫1の収容室に収容されている食品の情報を示す庫内食品リスト131を生成して管理サーバー520に送信する。端末装置400において実行される冷蔵庫の管理用アプリケーションは、管理サーバー520から庫内食品リスト131のデータを取得することにより、或いは冷蔵庫1から庫内食品リスト131のデータを取得することにより、庫内食品リスト131に基づいて、冷蔵庫1に収容されている食品の情報を表示部に表示する。冷蔵庫1のユーザーPは、端末装置400の表示を視認することにより、冷蔵庫1に収容されている食品の状況(食品名、賞味期限、残量等)を確認することができる。
The
冷蔵庫1の最上部の外部(庫外)には、冷蔵室10の開口部付近を撮像するカメラ60が設けられている。カメラ60は、詳細は後述するが、右ドア11が閉まっているときはユーザーPに視認されない状態となる。また、本実施形態では、カメラ60がユーザーPよりも高い位置に設けられているため、右ドア11が開いているときにも、カメラ60がユーザーPに視認され難い。このようなカメラ60の設置態様により、カメラ60を庫外に設けることによって、冷蔵庫1の美観が損なわれることが抑制されている。
A
[2.冷蔵庫の構成]
図2~図7を参照して、冷蔵庫1の構成について説明する。図2は冷蔵庫1の外観を示した説明図である。図2に示したように、冷蔵庫1は前面に開口した主箱体2を備え、主箱体2内には、冷蔵室10(本発明の収容室に相当する)、製氷室30、製氷室30に併設されて庫内の温度が変更できる切換室20、冷凍室40、及び野菜室50が形成されている。
[2. Refrigerator configuration]
The configuration of the
冷蔵室10の前面の開口部には、回転式の右ドア11及び左ドア12が設けられている。また、切換室20、製氷室30、冷凍室40、及び野菜室50には、それぞれ食品を収容する引き出し21、31、41、51が設けられている。冷蔵室10の天板の外周部(冷蔵室10の外部)には、冷蔵室10の開口部を撮像範囲に含んでいるカメラ60が配置されている。
A rotary
次に、図3は冷蔵庫1の庫内の構成を右側から見た断面図により示した説明図であり、図4は冷蔵室10の内部構成を正面から見た断面図により示した説明図である。図3、図4を参照して、冷蔵室10には、冷蔵室10をサブエリアに区画する上棚13、中棚14、下棚15が配置されている。また、冷蔵室10には、上棚13に置かれた食品の重量を検出する重量センサ13a,13b、中棚14に置かれた食品の重量を検出する重量センサ14a,14b、下棚15に置かれた食品の重量を検出する重量センサ15a,15bが設けられている。さらに、冷蔵室10には、冷蔵室10内を照らす照明部16a~16f、冷蔵室10内の照度を検出する照度センサ17a~17c、及びカメラ60が設けられている。
Next, FIG. 3 is an explanatory view showing the configuration of the inside of the
また、冷凍サイクルを構成する補機である圧縮機61、冷却ファン62、冷却器63、及び凝縮器64が設けられている。さらに、冷蔵室10の背面には、冷気を流通させるための冷蔵室ダクト70と冷気吐出口71~73が配置されている。
Further, a
冷蔵室10には、右ドア11の開閉を検出する開閉センサ18bと、左ドア12の開閉を検出する開閉センサ18aとが設けられている。開閉センサ18bは、右ドア11が閉まっているときは閉検出信号を出力し、右ドア11が開いているときには開検出信号を出力する。同様に、開閉センサ18aは、左ドア12が閉まっているときは閉検出信号を出力し、左ドア12が開いているときには開検出信号を出力する。
The refrigerating
切換室20には、開口部20aの開閉を検出する開閉センサ22が設けられている。開閉センサ22は、切換室20に引き出し21が収容されているときは閉検出信号を出力し、切換室20から引き出し21が引き出されているときには開検出信号を出力する。
The switching
同様に、製氷室30には引き出し31による開口部30aの開閉を検出する開閉センサ32が設けられ、冷凍室40には引き出し41による開口部40aの開閉を検出する開閉センサ42が設けられ、野菜室50には引き出し51による開口部50aの開閉を検出する開閉センサ52が設けられている。開閉センサ32,42,52は、開閉センサ22と同様に、閉検出信号と開検出信号を出力する。
Similarly, the
次に、図5は、冷蔵室10の左ドア12が開いている状態での冷蔵庫1の庫内の構成を右側から見た断面図により示した説明図である。カメラ60は、冷蔵室10の天板19の前端付近の外側に設けられている。カメラ60の撮像範囲60aは、冷蔵室10の開口部10aを含んでおり、カメラ60は、開口部10aから各棚13,14,15の前端付近までの範囲を撮像する。これにより、上棚13、中棚14、及び下棚15に入庫される食品、及び上棚13、中棚14、及び下棚15から出庫される食品を、開口部10aを通過する際に、カメラ60により撮像可能な構成となっている。
Next, FIG. 5 is an explanatory view showing a cross-sectional view of the inside of the
また、図6は、冷蔵室10の右ドア11を開閉した状態を、冷蔵庫1の上方から見た場合を示している。右ドア11は右ヒンジ200によって軸支され、左ドア12は左ヒンジ201に軸支されている。
Further, FIG. 6 shows a state in which the
右ドア10の枠の外周部の上端には、凹形状の目隠し部210が設けられている。図6のAに示したように、目隠し部210は、右ドア11が閉まっているときに、カメラ60と対向する箇所に設けられている。右ドア11が閉まっている状態では、カメラ60の前面が目隠し部210により覆われるため、ユーザーPは冷蔵庫1の前面(図6の矢印D1の方向)からカメラ60を視認することができない。これにより、カメラ60を庫外に設けることに伴って、右ドア11が閉まっていいる状態での冷蔵庫1の美観が損なわれることを防止している。
A
また、図6のBに示したように、冷蔵室10の右ドア11が開いているときには、見隠し部210がカメラ60から離れて露出するが、図1を参照して上述したように、カメラ60は冷蔵庫1の最上部に設けられているため、ユーザーPの視界に入り難い。
Further, as shown in FIG. 6B, when the
ここで、カメラを冷蔵室10内に配置した場合には、右ドア11又は左ドア12が開けられたときに、室内の空気(冷蔵室10内よりも高い温度の空気)が冷蔵室10に流入して低温となっているカメラのレンズに触れ、レンズの曇りが生じる。そのため、レンズヒータ等を設けて、レンズの曇りを防止する必要がある。
Here, when the camera is arranged in the
それに対して、本実施形態では、カメラ60を冷蔵室10の外部に設けているため、右ドア11又は左ドア12が開けられたときに、カメラ60のレンズが曇ることがない。そのため、レンズの曇りを防止するための構成を設ける必要がなく、この構成を設けることによる庫内の食品の収容スペースの減少を回避することができる。さらに、レンズヒーターを設けた場合の弊害である、レンズヒーターからの発熱による庫内温度の上昇を回避することができる。
On the other hand, in the present embodiment, since the
次に、図7は制御ユニット100の構成図である。図7を参照して、制御ユニット100は、CPU(Central Processing Unit)110、画像処理部120、記憶部130、無線通信部140、日時認識部141、及び図示しないインターフェース回路等によって構成された電子回路ユニットである。
Next, FIG. 7 is a configuration diagram of the
CPU110は、記憶部130に保存された冷蔵庫1の制御用プログラムを実行することによって、通過物体検出部111、収容量認識部112、入出庫判定部113、食品情報取得部114、及び食品情報管理部115として機能する。
By executing the control program of the
制御ユニット100は、開閉センサ18a,18b,22,32,42,52、照度センサ17a,17b,17c、重量センサ13a,13b,14a,14b,15a,15b、カメラ60、照明部16a,16b,16c,16d,16e,16f、及び冷凍サイクル補機61,62,63,64と接続されている。
The
制御ユニット100には、開閉センサ18a,18b,22,32,42,52、照度センサ17a,17b,17c、及び重量センサ13a,13b,14a,14b,15a,15bの検出信号等が入力される。また、制御ユニット100から出力される制御信号によって、照明部16a,16b,16c,16d,16e,16f、及び冷凍サイクル補機61,62,63,64等の作動が制御される。
Detection signals of open /
さらに、制御ユニット100から出力される制御信号により、画像処理部120を介してカメラ60による撮像が制御される。画像処理部120は、カメラ60から出力される映像信号をデジタルの諧調信号に変換して撮像画像を生成し、撮像画像のデータを画像メモリ121に保存する。画像処理部120は、CPU110から出力される制御信号に応じて、画像メモリ121に保存された撮像画像に対する処理を行う。
Further, the control signal output from the
日時認識部141は、クロック信号を計時して現在の日時(日付と時刻)を認識する。なお、管理サーバー520との通信により、管理サーバー520から現在の日時の情報を取得して、現在の日時を認識する構成としてもよい。
The date /
記憶部130には、庫内食品リスト131のデータの他に、冷蔵室10に入庫された食品の情報が記録された入庫食品情報132、及び冷蔵室10から出庫された食品の情報が記録された出庫食品情報133のデータが保存される。さらに、記憶部130には、種々の食品のサンプル画像134、及び種々の食品の一般的な賞味期限を示す賞味期限リスト135のデータが保存されている。
In the
通過物体検出部111は、照度センサ17a,17b,17cにより検出される冷蔵室10内の照度の変化に基づいて、冷蔵室10の開口部10aを通過する物体を検出する。収容量認識部112は、重量センサ13a,13b,14a,14b,15a,15bの検出信号に基づいて、上棚13、中棚14、及び下棚15に置かれている食品の量を、重量によって認識する。
The passing
収容量認識部112は、冷蔵室10に収容されている食品の量を、重量センサ13a,13bにより検出される上棚13に置かれた食品の重量、重量センサ14a,14bにより検出される中棚14に置かれた食品の重量、及び重量センサ15a,15bにより検出される下棚15に置かれた食品の重量により区別して認識する。
The storage
入出庫判定部113は、通過物体検出部111により、冷蔵室10の開口部10aを通過する物体が検出された時に、収容量認識部112により認識される各棚13,14,15に置かれた食品の量(重量)の変化に基づいて、冷蔵室10への食品の入庫と冷蔵室10からの食品の出庫とを判定する。
The warehousing /
食品情報取得部114は、冷蔵室10の開口部10aを通過した物体をカメラ60によって撮像する。そして、入出庫判定部113により、冷蔵室10への食品の入庫又は冷蔵室からの食品の出庫が判定されたときに、撮像画像から食品の画像部分を抽出する。
The food
食品情報取得部114は、食品の画像部分に含まれる文字を認識し、或いは食品の画像部分の特徴から、食品名、内容量、原産地、賞味期限等の情報を取得する。そして、食品情報取得部114は、取得した情報を、入庫が判定された食品(入庫食品)については入庫食品情報132に記録し、出庫が判定された食品(出庫食品)については出庫食品情報133に記録する。
The food
食品情報管理部115は、収容量認識部112により認識された冷蔵室10内の食品の重量、食品情報取得部114により記録された入庫食品情報132及び出庫食品情報133等に基づいて、庫内食品リスト131への食品情報の追加と更新を行う。
The food
[3.制御ユニットによる処理]
次に、図8~図16を参照して、制御ユニット100により実行される冷蔵室10に収容された食品の管理に関する処理について説明する。
[3. Processing by control unit]
Next, with reference to FIGS. 8 to 16, processing related to the management of the food contained in the refrigerating
図8は、制御ユニット100により実行される一連の処理の概要を示したフローチャートである。制御ユニット100は、ステップS1で「撮像処理」、ステップS2で「重量情報処理」、ステップS3で「画像分析処理」、ステップS4で「重量センサ補正処理」、ステップS5で「庫内食品管理処理」を、それぞれ実行する。以下、各処理の詳細について説明する。
FIG. 8 is a flowchart showing an outline of a series of processes executed by the
[3-1.撮像処理]
図9に示したフローチャートに従って、「撮像処理」の実行手順について説明する。「撮像処理」は、通過物体検出部111及び食品情報取得部114により実行される。図9のステップS10~S15は、通過物体検出部111による処理である。通過物体検出部111は、ステップS10で、開閉センサ18a,18bの検出信号から、冷蔵室10の右ドア11と左ドア12の一方又は両方が開けられたと判断したときに、ステップS11に処理を進める。
[3-1. Imaging processing]
The execution procedure of the "imaging process" will be described according to the flowchart shown in FIG. The "imaging process" is executed by the passing
ステップS11で、通過物体検出部111は、照度センサ17a,17b,17cにより冷蔵室10の上棚13、中棚14、下棚15の照度(棚により区画された各スペースの照度)を検出する。そして、通過物体検出部111は、検出した上棚13の照度を上基準照度とし、中棚14の照度を中基準照度とし、下棚15の照度を下基準照度とする。通過物体検出部111は、上基準照度、中基準照度、及び下基準照度のデータを記憶部130に保存する。
In step S11, the passing
上基準照度、中基準照度、及び下基準照度は、冷蔵室10の右ドア11と左ドア12の一方又は両方が開けられ、物体(ユーザーの手、食品等)が冷蔵室10の開口部10aを通過する前の状態における各棚13,14,15の照度である。なお、検出照度の誤差や変動を考慮して、上基準照度、中基準照度、及び下基準照度を、各照度センサ17a,17b,17cの検出照度よりも若干低い照度、或いは若干高い照度に設定してもよい。また、後述するステップS13で使用する上基準照度、中基準照度、及び下基準照度と、ステップS14で使用する上基準照度、中基準照度、及び下基準照度とを、異なる値に設定してもよい。
For the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance, one or both of the
続くステップS12で、通過物体検出部111は、照度センサ17a,17b,17cにより上棚13、中棚14、及び下棚15の照度をそれぞれ検出する。そして、通過物体検出部111は、次のステップS13で、検出照度が基準照度よりも所定レベル以上低下した棚があるか否かを判断する。具体的には、通過物体検出部111は、以下の(1)~(3)の各条件の成否を判断する。
In the following step S12, the passing
(1)照度センサ17aの検出照度が、「上基準照度」から「上基準照度-α」以下に変化した。
(2)照度センサ17bの検出照度が、「中基準照度」から「中基準照度-α」以下に変化した。
(3)照度センサ17cの検出照度が、「下基準照度」から「下基準照度-α」以下に変化した。
(1) The detected illuminance of the
(2) The detected illuminance of the
(3) The detected illuminance of the
但し、α:物品(食品、使用者の手等)が、上棚13、中棚14、下棚15内に進入した場合に生じる照度の低下を想定して、実験やコンピュータシミュレーション等によって決定された閾値決定用の定数。なお、αは、上基準照度、中基準照度、及び下基準照度に対して共通な値としてもよく、上基準照度、中基準照度、及び下基準照度に対して個別に異なる値に設定してもよい。
However, α: was determined by experiments, computer simulations, etc., assuming a decrease in illuminance that occurs when an article (food, user's hand, etc.) enters the
そして、通過物体検出部111は、上記(1)~(3)の少なくともいずれか一つが成立したときに、ステップS20に処理を進める。上記(1)~(3)の少なくともいずれか一つが成立したときは、ユーザーが、冷蔵室10に食品を入れるため(入庫)、或いは冷蔵室10から食品を取り出すため(出庫)、又は冷蔵室10の食品の位置の変更等を行うために、冷蔵室10内に手を入れたと想定される。そして、この場合、通過物体検出部111は、物体(ユーザーの手、ユーザーの手が掴んでいる食品等)が、冷蔵室10の開口部10aを通過したと判断することができる。
Then, when at least one of the above (1) to (3) is satisfied, the passing
一方、上記(1)~(3)のいずれも成立していないときには、通過物体検出部111は、ステップS14に処理を進める。ステップS14で、通過物体検出部111は、検出照度が、「基準照度-β」以下から「基準照度」以上に変化した棚があるか否かを判断する。具体的には、通過物体検出部111は、以下の(4)~(6)の各条件の成否を判断する。
On the other hand, when none of the above (1) to (3) is satisfied, the passing
(4)照度センサ17aの検出照度が、「上基準照度-β」以下から「上基準照度」以上に変化した。
(5)照度センサ17bの検出照度が、「中基準照度-β」以下から「中基準照度」以上に変化した。
(6)照度センサ17cの検出照度が、「下基準照度-β」以下から「下基準照度」以上に変化した。
(4) The detected illuminance of the
(5) The detected illuminance of the
(6) The detected illuminance of the
但し、β:上棚13、中棚14、又は下棚15に進入していた物体(食品、使用者の手等)が、開口部10aを通過して冷蔵室10外に出たときに生じる照度の上昇を想定して、実験やコンピュータシミュレーション等により決定された閾値決定用の定数。なお、βは、上基準照度、中基準照度、及び下基準照度に対して共通に設定してもよいし、上基準照度、中基準照度、及び下基準照度に対して個別に異なる値に設定してもよい。
However, β: the illuminance generated when an object (food, user's hand, etc.) that has entered the
そして、通過物体検出部111は、上記(4)~(6)の少なくともいずれか一つが成立したときに、ステップS22に処理を進める。上記(4)~(6)の少なくともいずれか一つが成立したときは、ユーザーが、冷蔵室10に食品を入れるため(入庫)、冷蔵室10から食品を取り出すため(出庫)、或いは冷蔵室10に収容されている食品の位置の変更等を行って、冷蔵室10内に入れていた手を抜いたと想定される。そして、この場合、通過物体検出部111は、物体(ユーザーの手、ユーザーの手が掴んでいる食品等)が、冷蔵室10の開口部10aを通過したと判断することができる。
Then, when at least one of the above (4) to (6) is satisfied, the passing
一方、上記(4)~(6)のいずれも成立していないときには、通過物体検出部111はステップS15に処理を進める。ステップS15で、通過物体検出部111は、開閉センサ18a,18bの検出信号から、冷蔵室10の右ドア11と左ドア12が共に閉められたか否かを判断する。そして、通過物体検出部111は、右ドア11と左ドア12が共に閉められたときはステップS15に処理を進めて、「撮像処理」を終了する。一方、右ドア11と左ドア12の少なくともいずれか一方が開いているときには、通過物体検出部111は、ステップS12に処理を進める。
On the other hand, when none of the above (4) to (6) is satisfied, the passing
次に、ステップS20~S21、及びステップS22~S23は、食品情報取得部114による処理である。食品情報取得部114は、ステップS20で、画像処理部120を介して、カメラ60により冷蔵室10の開口部10aを含む範囲を撮像する。続くステップS21で、食品情報取得部114は、ステップS20で撮像した画像のデータを「入庫時画像」のデータとして画像メモリ121に保存し、ステップS15に処理を進める。なお、撮像を複数回行って、複数の画像のデータを「入庫時画像」のデータとして記憶部130に保存するようにしてもよい。
Next, steps S20 to S21 and steps S22 to S23 are processes by the food
また、ステップS22で、食品情報取得部114は、画像処理部120を介して、カメラ60により冷蔵室10の開口部10aを含む範囲を撮像する。続くステップS23で、食品情報取得部114は、ステップS22で撮像した画像のデータを「出庫時画像」のデータとして画像メモリ121に保存し、ステップS15に処理を進める。なお、撮像を複数回行って、複数の画像のデータを「出庫時画像」のデータとして記憶部130に保存するようにしてもよい。
Further, in step S22, the food
図9に示した「撮像処理」によって、通過物体検出部111により、照度センサ17a,7b,17cにより検出される上棚13、中棚14、及び下棚15の照度の変化に基づいて、冷蔵室10の開口部10aを通過する物体が検出される。
The refrigerating room is based on the change in illuminance of the
また、通過物体検出部111により、開口部10aを通過していずれかの棚13,14,15に入った物体が検出された時点での撮像画像である「入庫時画像」と、通過物体検出部111により、いずれかの棚13,14,15から出て開口部10aを通過した物体が検出された時点での撮像画像である「出庫時画像」とが、画像メモリ121に保存される。
Further, the “image at the time of warehousing”, which is an image captured when an object that has passed through the
なお、図9のステップS15で、右ドア11と左ドア12が閉められたことが検出される前に、ステップ13において開口部10aを通過する物体が複数回検出されたときには、ステップS20~S21により、複数の「入庫時画像」の撮像と保存が行われる。そして、後述する「重量情報処理」により入庫が判定された食品の「入庫時画像」について、それぞれ「画像分析処理」が実行される。
In step S15 of FIG. 9, when an object passing through the
同様に、図9のステップS15で、右ドア11と左ドア12が閉められたことが検出される前に、ステップS14において開口部10aを通過する物体が複数回検出されたときには、ステップS22~S23により、複数の「出庫時画像」の撮像と保存が行われる。そして、後述する「重量情報処理」により出庫が判定された食品の「出庫時画像」について、それぞれ「画像分析処理」が実行される。
Similarly, in step S15 of FIG. 9, when an object passing through the
[3-2.重量情報処理]
次に、図10に示したフローチャートに従って、「重量処理」の実行手順について説明する。「重量情報処理」は、入出庫判定部113、及び食品情報取得部114により実行される。
[3-2. Weight information processing]
Next, the execution procedure of the "weight processing" will be described according to the flowchart shown in FIG. "Weight information processing" is executed by the warehousing /
図10のステップS30~S33及びS40は、入出庫判定部113による処理である。入出庫判定部113は、ステップS30で、収容量認識部112により各棚13,14,15の重量を認識して記憶部130に保存する。続くステップS31で、通過物体検出部111により、図7のステップS13又はステップS14で、冷蔵室10の開口部10aを通過する物体が検出されたとき(冷蔵室10への物体の出入りあり)に、入出庫判定部113は、ステップS32に処理を進める。
Steps S30 to S33 and S40 in FIG. 10 are processes by the warehousing /
ステップS32で、入出庫判定部113は、収容量認識部112により各棚13,14,15の重量を認識する。次のステップS33で、入出庫判定部113は、ステップS30で認識した重量に対して、ステップS32で認識した重量が増加した棚があるか否かを判断する。そして、重量が増加した棚があるとき(この場合は、冷蔵室10に食品が入庫したと判断できる)は、入出庫判定部113はステップS34に処理を進める。
In step S32, the warehousing /
一方、重量が増加した棚がないときには、入出庫判定部113は、ステップ33からステップS40に処理を進め、ステップS30で認識した重量に対して、ステップS32で認識した重量が減少した棚があるか否かを判断する。そして、重量が減少した棚があるとき(この場合は、冷蔵室10から食品が出庫したと判断できる)は、入出庫判定部113はステップS41に処理を進める。また、重量が増加した棚がないとき(この場合は、冷蔵室10への食品の入庫及び冷蔵室10からの食品の出庫がなかったと判断できる)には、入出庫判定部113は、ステップS36に処理を進めて「重量情報処理」を終了する。
On the other hand, when there is no shelf whose weight has increased, the warehousing /
ステップS34~S35及びステップS41は、食品情報取得部114による処理である。食品情報取得部114は、ステップS34で、収容量認識部112により認識された各棚13,14,15の左右の重量から、入庫食品の収容位置を推定する。
Steps S34 to S35 and steps S41 are processes by the food
次のステップS35で、食品情報取得部114は、入庫食品情報132(図5参照)に、入庫食品の重量と収容位置の情報を記録して、ステップS36に処理を進め、「重量情報処理」を終了する。入庫食品情報132のデータは、庫内食品リスト131への情報の追加、更新等を行うために記憶部130に一時的に保存される。
In the next step S35, the food
また、ステップS41で、食品情報取得部114は、出庫食品情報133(図5参照)に、出庫食品の重量の情報を記録してステップS36に処理を進め、「重量情報処理」を終了する。出庫食品情報133のデータは、庫内食品リスト131への食品情報の追加、更新等を行うために記憶部130に一時的に保存される。
Further, in step S41, the food
[3-3.画像分析処理]
次に、図11、図12に示したフローチャートに従って、「画像分析処理」の実行手順について説明する。「画像分析処理」は、食品情報取得部114により実行される。図11は、冷蔵室10に入庫された食品について、「入庫時画像」から情報を取得する処理である。また、図12は、冷蔵室10から出庫された食品について、「出庫時画像」から情報を取得する処理である。
[3-3. Image analysis processing]
Next, the execution procedure of the "image analysis process" will be described according to the flowcharts shown in FIGS. 11 and 12. The "image analysis process" is executed by the food
先ず、図11を参照して、「入庫時画像」に対する「画像分析処理」について説明する。食品情報取得部114は、図9のステップS50で、入庫食品の「入庫時画像」に対して、画像処理部120により文字抽出処理を実行する。ここで、入庫食品とは、図8のステップS33で、入出庫判定部113により冷蔵室10に入庫されたと判定された食品である。また、入庫食品の「入庫時画像」とは、図8のステップS33で入庫と判定された食品について、図7のステップS20,S21で食品情報取得部114により撮像及び保存された「入庫時画像」である。
First, with reference to FIG. 11, the "image analysis process" for the "image at the time of warehousing" will be described. In step S50 of FIG. 9, the food
続くステップS51で、食品情報取得部114は、画像処理部120により「入庫時画像」から文字が抽出されたか否かを判断する。そして、食品情報取得部114は、文字が抽出されたときはステップS52に処理を進め、文字が抽出されなかったときにはステップS60に処理を進める。
In the following step S51, the food
ステップS52で、食品情報取得部114は、画像処理部120により抽出された文字の情報を分析する。そして、続くステップS53で、食品情報取得部114は、文字の情報から、食品名、賞味期限、産地、内容量等の入庫食品の情報を取得する。次のステップS54で、食品情報取得部114は、取得した入庫食品の情報を入庫食品情報132に記録して、「画像分析処理」を終了する。
In step S52, the food
また、ステップS60で、食品情報取得部114は、画像処理部120によって、「入庫時画像」から入庫食品の画像部分を抽出する。続くステップS61で、食品情報取得部114は、抽出した入庫食品の画像部分と、予め記憶部130に保存された種々の食品のサンプル画像134(図7参照)との一致率を算出する。
Further, in step S60, the food
次のステップS62で、食品情報取得部114は、一致率が最も高いサンプル画像134の食品名を入庫食品の食品名と推定して取得し、ステップS54に処理を進める。ステップS60~S62の処理により、入庫食品の「入庫時画像」から文字が抽出できなかった場合であっても、入庫食品の食品名を推定して入庫食品情報に記録することができる。
In the next step S62, the food
次に、図12を参照して、「出庫時画像」に対する「画像分析処理」について説明する。食品情報取得部114は、図10のステップS70で、出庫食品の「出庫時画像」に対して、画像処理部120により文字抽出処理を実行する。ここで、出庫食品とは、図10のステップS40で、入出庫判定部113により冷蔵室10から出庫されたと判定された食品である。また、出庫食品の「出庫時画像」とは、図10のステップS40で出庫と判定された食品について、図7のステップS22,S23で食品情報取得部114により撮像及び保存された「出庫時画像」である。
Next, with reference to FIG. 12, the "image analysis process" for the "image at the time of delivery" will be described. In step S70 of FIG. 10, the food
続くステップS71で、食品情報取得部114は、画像処理部120により「出庫時画像」から文字が抽出されたか否かを判断する。そして、食品情報取得部114は、文字が抽出されたときはステップS72に処理を進め、文字が抽出されなかったときにはステップS80に処理を進める。
In the following step S71, the food
ステップS72で、食品情報取得部114は、画像処理部120により抽出された文字の情報を分析する。そして、続くステップS73で、食品情報取得部114は、文字の情報から、食品名、賞味期限、産地、内容量等の出庫食品の情報を取得する。次のステップS74で、食品情報取得部114は、取得した出庫食品の情報を出庫食品情報133に記録して、「画像分析処理」を終了する。
In step S72, the food
また、ステップS80で、食品情報取得部114は、画像処理部120によって、「出庫時画像」から出庫食品の画像部分を抽出する。続くステップS81で、食品情報取得部114は、抽出した出庫食品の画像部分と、予め記憶部130に保存された種々の食品のサンプル画像134との一致率を算出する。
Further, in step S80, the food
次のステップS82で、食品情報取得部114は、一致率が最も高いサンプル画像134の食品名を出庫食品の食品名と推定して取得し、ステップS74に処理を進める。ステップS80~S82の処理により、出庫食品の「出庫時画像」から文字が抽出できなかった場合であっても、出庫食品の食品名を推定して出庫食品情報に記録することができる。
In the next step S82, the food
図11の画像分析処理は、冷蔵室10への入庫が判定された場合の入庫時画像を対象として行われ、図12の画像分析処理は、冷蔵室10からの出庫が判定された場合の出庫時画像を対象として行われる。そのため、食品ではなく、右ドア11又は左ドア12が通過物体検出部111により検出されたときには、入庫又は出庫と判定されないため、画像分析処理は行われない(撮像画像は無効となる)。これにより、右ドア11又は左ドア12の画像部分から、誤った食品情報が取得されることを防止することができる。
The image analysis process of FIG. 11 is performed on the image at the time of warehousing when the warehousing to the
[3-4.重量センサ補正処理]
図13に示したフローチャートに従って、重量センサ13a,13b,14a,14b,15a,15bの検出重量を補正するための「重量センサ校正処理」の実行手順について説明する。「重量センサ補正処理」は、収容量認識部112により実行される。「重量センサ補正処理」は、経時変化等によって生じ得る重量センサ13a,13b,14a,14b,15a,15bの検出誤差を修正(校正)するための処理である。
[3-4. Weight sensor correction process]
According to the flowchart shown in FIG. 13, the execution procedure of the “weight sensor calibration process” for correcting the detected weight of the
図13のステップS90で、収容量認識部112は、入出庫判定部113により冷蔵室への食品の入庫ありと判定されたとき(図10のステップS33でYES)に、ステップS91に処理を進める。ステップS91で、収容量認識部112は、入庫食品情報132に入庫食品の内容量の情報が記録(図11のステップS54の処理)されているか否かを判断する。そして、収容量認識部112は、入庫食品情報132に入庫食品の内容量(図11のステップS53で取得した食品の内容量)の情報が記録されているときはステップS92に処理を進める。
In step S90 of FIG. 13, when the warehousing /
ステップS92で、収容量認識部112は、入庫食品情報132に記録された入庫食品の重量と内容量との比を算出する。そして、収容量認識部112は、算出した比を、入庫食品の重量検出に用いられた重量センサの補正係数に設定する。例えば、入庫食品が上棚13に入庫され、重量センサ13a,13bによって重量が検出された場合には、収容量認識部112は、算出した比を重量センサ13a,13bの検出重量の補正係数として設定する。
In step S92, the storage
続くステップS93で、収容量認識部112は、補正係数のデータを記憶部130に保存し、ステップS94に処理を進めて「重量センサ補正処理」を終了する。以後、収容量認識部112は、重量センサ13a,13bの検出重量に補正係数を乗じた値を、検出重量として扱う。同様にして、収容量認識部112は、入庫食品が中棚14に収容されたときは、重量センサ14a,14bの補正係数を設定し、入庫食品が下棚15に収容されたときは、重量センサ15a,15bの補正係数を設定する。
In the following step S93, the accommodation
一方、ステップS91で、入庫食品情報132に内容量の情報が記録されていなかった場合には、収容量認識部112は、ステップS94に処理を進めて「重量センサ補正処理」を終了する。この場合は、補正係数の算出及び設定は行われない。
On the other hand, if the content information is not recorded in the in-
[3-5.庫内食品管理処理]
図14及び図15に示したフローチャートに従って、冷蔵室10に収容された食品の情報を管理するための「庫内食品管理処理」の実行手順について説明する。「庫内食品管理処理」は、食品情報管理部115により実行される。
[3-5. Food management processing in the warehouse]
According to the flowcharts shown in FIGS. 14 and 15, the execution procedure of the “food management process in the refrigerator” for managing the information of the food stored in the refrigerating
食品情報管理部115は、冷蔵室10に収容された食品の情報を、庫内食品リスト131(図5参照)により管理する。庫内食品リスト131には、図16に示したように、冷蔵室10に入庫された食品に付された番号(1,2,3,…)と、番号が付された各入庫食品の情報として、食品名、重量(初回、現在、喫食量)、入出庫日時(初回入庫、最新出庫、最新入庫)在庫(1:あり、0:なし)、賞味期限、及び産地とが記録されている。食品情報管理部115は、食品情報取得部114により記録された入庫食品情報132及び出庫食品情報133の情報に基づいて、庫内食品リスト131の生成及び更新を行う。
The food
図14のステップS100で、食品情報管理部115は、入出庫判定部113により、冷蔵室10への食品の入庫又は冷蔵室10からの食品の出庫が判定されたか否かを判断し、入庫又は出庫が判定されたときにステップS101に処理を進める。ステップS101で、食品情報管理部115は、入庫の判定がなされたか否かを判断し、入庫の判定がなされたときはステップS102に処理を進める。一方、入庫の判定がなされなかったとき(出庫の判定がなされたとき)には、食品情報管理部115は、ステップS110に処理を進める。
In step S100 of FIG. 14, the food
ステップS102で、食品情報管理部115は、所定時間以内に冷蔵室10からの出庫があったか否かを判断する。そして、所定時間以内に冷蔵室10からの出庫があったときはステップS103に処理を進め、所定時間以内に冷蔵室10からの出庫がなかったときにはステップS111に処理を進める。なお、所定時間以内に冷蔵室10からの出庫があったことは、庫内食品リスト131から認識することができる。
In step S102, the food
ステップS103で、食品情報管理部115は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であるか否かを判断する。ここで、食品情報管理部115は、庫内食品リスト131に記録された前回出庫された商品の情報と、入庫食品情報132に記録された今回入庫された商品と情報とを対比して、食品名、賞味期限、産地等の一致状況から、前回出庫された食品と今回入庫された食品の一致率を算出する。
In step S103, the food
そして、食品情報管理部115は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であるときはステップS104に処理を進め、前回出庫された食品と今回入庫された食品との一致率が所定値未満であるときには、ステップS112に処理を進める。
Then, when the matching rate between the food delivered last time and the food received this time is equal to or higher than the predetermined value, the food
ステップS104は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であって、前回出庫された食品と今回入庫された食品とが同一物であると判断できる場合の処理である。ステップS104で、食品情報管理部115は、庫内食品リスト131において、所定時間以前に出庫した食品の現在重量、最新入庫日時、喫食量(初回入庫時と現在の重量の差)を、入庫食品情報132に記録された情報に基づいて更新し、図15のステップS105に処理を進める。
Step S104 is a process in which the matching rate between the food delivered last time and the food received this time is equal to or higher than a predetermined value, and it can be determined that the food delivered last time and the food received this time are the same. Is. In step S104, the food
ステップS112は、前記出庫された食品と今回入庫された食品との一致率が所定値未満であって、前回出庫された食品と今回入庫された食品とが異なると判断できる場合の処理である。食品情報管理部115は、ステップS112で、庫内食品リスト131において、入庫食品情報132に記録された情報に基づいて入庫食品を新規登録し、図15のステップS105に処理を進める。
Step S112 is a process in which the matching rate between the food delivered this time and the food delivered this time is less than a predetermined value, and it can be determined that the food delivered last time and the food received this time are different. In step S112, the food
ステップS111は、所定時間以前に出庫がなかった場合の処理である。食品情報管理部115は、ステップS111で、庫内食品リスト131において、入庫食品情報132に記録された情報に基づいて入庫食品を新規登録し、図15のステップS105に処理を進める。
Step S111 is a process when there is no delivery before a predetermined time. In step S111, the food
ステップS110は、冷蔵室10から食品が出庫されたと判定された場合の処理である。食品情報管理部115は、ステップS110で、庫内食品リスト131において、該当食品(出庫食品)の現在重量を0に更新する。また、食品情報管理部115は、庫内食品リスト131において、該当食品の喫食量を更新し、出庫食品情報133に記録された情報に基づいて最新出庫時刻を更新して、図15のステップ105に処理を進める。
Step S110 is a process when it is determined that the food has been delivered from the refrigerating
図15のステップS105で、食品情報管理部115は、ステップS110の処理により現在重量が0グラムになった食品があるか否かを判断する。そして、食品情報管理部115は、現在重量が0グラムになった食品があるときはステップS105に処理を進め、現在重量が0グラムになった食品が無いときにはステップS120に処理を進める。
In step S105 of FIG. 15, the food
ステップS106で、食品情報管理部115は、庫内食品リスト131の該当食品(今回、出庫されたと判定された食品)の情報を、‘在庫なし’(在庫0)に更新して、ステップS107に処理を進める。また、ステップS120で、食品情報管理部115は、庫内食品リスト131の該当食品(今回、入庫したと判定された食品)の情報を、‘在庫あり’(在庫1)に更新して、ステップS107に処理を進める。
In step S106, the food
ステップS107で、食品情報管理部115は、入庫食品情報132に賞味期限の情報が記録されているか否かを判断する。そして、食品情報管理部115は、入庫食品情報132に賞味期限の情報が記録されているときはステップS107に処理を進め、賞味期限の情報が記録されていないときにはステップS121に処理を進める。
In step S107, the food
ステップS171で、食品情報管理部115は、入庫食品情報132に記録された賞味期限の情報に基づいて、庫内食品リスト131に今回入庫された食品の賞味期限を記録し、ステップS107に処理を進める。また、ステップS121で、食品情報管理部115は、記憶部130に保存された賞味期限リスト135を参照して、該当食品の賞味期限を検索する。
In step S171, the food
賞味期限リスト135は、図16に示したように、食品名と食品の賞味期限とを対応付けたリストであり、食品情報管理部115は、今回の入庫食品の食品名に対応付けられた賞味期限を検索する。続くステップS122で、食品情報管理部115は、庫内食品リスト131の該当食品のデータに賞味期限を記録して、ステップS107に処理を進める。
As shown in FIG. 16, the best-by-
ステップS107で、食品情報管理部115は、更新した庫内食品リスト131のデータを、無線通信部140により、通信ネットワーク510を介して管理サーバー520に送信し、「庫内食品管理処理」を終了する。
In step S107, the food
管理サーバー520は、冷蔵庫1から受信した庫内食品リスト131のデータを記憶装置(図示しない)に保存し、庫内食品リスト131から認識される各商品の喫食状況、賞味期限までの残日数等を、ユーザーの端末装置400に送信する。これにより、ユーザーは、外出先等においても、端末装置400により冷蔵庫1に収容された商品の状況を確認することができる。
The
[4.他の実施形態]
上記実施形態において、通過物体検出部111は、照度センサ17a,17b,17cにより検出される冷蔵室10内の照度の変化によって、冷蔵室10の開口部10aを通過する物体を検出した。通過物体検出部111の他の構成として、カメラ60による撮像画像から開口部10a付近の物体の画像部分を抽出することによって、開口部10aを通過する物体を検出してもよい。或いは、反射型又は透過型の光センサ、超音波センサ、静電容量センサ等により、開口部10aを通過する物体を検出するようにしてもよい。
[4. Other embodiments]
In the above embodiment, the passing
或いは、図3~図5に示したように、開口部10aを検出範囲に含み、開口部10aを通過する物体を直接検出する対物センサ80(反射型又は透過型の光センサ、超音波センサ、静電容量センサ等)を用いてもよい。この場合、対物センサ80の検出範囲を、開口部10aから冷蔵室10内に向かう方向において、カメラ60の撮像範囲60aよりも手前側に設定してもよい。これにより、開口部10aを通過する物体が検出された時点から、カメラ60による撮像が実行されるまでの遅れ時間により、入庫される食品の撮像に失敗することを防止することができる。
Alternatively, as shown in FIGS. 3 to 5, an objective sensor 80 (reflection type or transmission type optical sensor, ultrasonic sensor, which includes the
また、開閉センサ18aにより左ドア12開けられたことが検出されたとき、及び開閉センサ18bにより右ドア11が開けられたことが検出されたときに、カメラ60への通電を開始して、カメラ60による撮像を可能にしてもよい。この構成によれば、左ドア12と右ドアが閉められているときは、カメラ60への通電を遮断して節電することができる。また、右ドア又は左ドア12が開けられたタイミングでカメラ60への通電を開始することによって、カメラ60の起動の遅れにより入庫される食品の撮像に失敗することを防止することができる。
Further, when the opening /
また、食品情報取得部114は、通過物体検出部111により、開口部10aを通過する物体が検出された時から所定時間以内に、開閉センサ18aにより左ドア12が開状態から閉状態に切り替わったことが検出されたとき、又は開閉センサ18bにより右ドア11が開状態から閉状態に切り替わったことが検出されたときには、カメラ60により撮像された画像データを無効にする構成としてもよい。この構成によれば、左ドア12又は右ドア11が閉められる際に、左ドア12又は右ドア11が通過物体検出部111により検出されてカメラ60により撮像されたときに、左ドア12又は右ドア11の画像から、誤った食品の情報が抽出されることを防止することができる。
Further, in the food
上記実施形態において、収容量認識部112は、重量センサ13a,13b,14a,14b,15a,15bによる検出重量に基づいて、冷蔵室10の各棚13,14,15に収容されている食品の量を認識した。収容量認識部112の他の構成として、照明部16a,16b,16c,16d,16e,16fを点灯させた状態での照度センサ17a,17b,17cによる検出照度に基づいて、冷蔵室10の各棚13,14,15に収容されている食品の量を認識してよい。或いは、カメラ60又は別に配置したカメラによる冷蔵室10の内部の撮像画像から、食品の画像部分を抽出することによって、冷蔵室10の各棚13,14,15に収容されている食品の量を認識してもよい。
In the above embodiment, the storage
上記実施形態では、カメラ60の撮像画像に対する処理を画像処理部120により行ったが、画像処理部120の機能をCPU110に備えて、CPU110により撮像画像に対する処理を行ってもよい。
In the above embodiment, the
上記実施形態では、サンプル画像134と賞味期限リスト135のデータを、記憶部130に保存したが、管理サーバー520に保存して、使用時に管理サーバー520から冷蔵庫1の制御ユニット100にダウンロードするようにしてもよい。
In the above embodiment, the data of the
また、サンプル画像134を記憶部130又は管理サーバー520に保存するとしたが、色や形、大きさなどの各々の食品や収納物の特徴を事前に学習した画像認識プログラムをCPU110に実装しておき、入庫食品の画像部分を画像認識プログラムで処理をして一致率を算出し入庫食品の食品名と推定して取得してもよい。これによってサンプル画像134は不要となって記憶部130または管理サーバー520で保存する記憶容量を小さくすることができ、入庫食品の食品名を推定する認識処理時間も早く処理できる。出庫食品の食品名の推定も上記と同様に処理することができる。
Further, although the
上記実施形態では、冷蔵庫1の冷蔵室10について、入出庫判定部113により食品の入庫と出庫を判別して、食品情報取得部114により入庫食品及び出庫食品の情報を取得し、食品情報管理部115により冷蔵室10に収容された食品の情報を管理した。切換室20、冷凍室40、及び野菜室50についても、開口部20a,40a,50aを通過する物体を検出する通過物体検出部と、収容された食品の量を認識する収容量認識部を備えることにより、食品の入庫と出庫を判定することができる。
In the above embodiment, for the
また、外部に配置したカメラにより、切換室20、冷凍室40、及び野菜室50の開口部20a,40a,50aを通過する食品を撮像する構成としてもよい。この構成によれば、カメラレンズの曇りを防止するための構成を不要として、カメラにより開口部20a,40a,50aを含む範囲を撮像することができる。そして、撮像画像から入庫食品及び出庫食品の情報を取得することにより、切換室20、冷凍室40、及び野菜室50に収容された食品の情報を取得して、食品の管理を行うことができる。
Further, a camera arranged outside may be configured to take an image of food passing through the
以上のように、本発明にかかる冷蔵庫は、収容室の開口部を通過する食品を収容室の外部に配置されたカメラにより撮像することによって、カメラレンズの曇りを防止するための構成を不要として、収容室に収容されている食品の情報をより確実に取得して管理することができるので、冷蔵庫に収容された食品を管理する用途に適用することができる。 As described above, the refrigerator according to the present invention does not require a configuration for preventing fogging of the camera lens by taking an image of food passing through the opening of the containment chamber with a camera arranged outside the containment chamber. Since the information on the food stored in the storage room can be acquired and managed more reliably, it can be applied to the purpose of managing the food stored in the refrigerator.
1 冷蔵庫
10 冷蔵室
10a 開口部
11 右ドア
12 左ドア
13 上棚
13 棚
13a、13b 重量センサ
14 中棚
14a、14b 重量センサ
15 下棚
15a、15b 重量センサ
16a、16b、16c、16d、16r、16f 照明部
17a、17b、17c 照度センサ
18a、18b 開閉センサ
19 冷蔵室10の天板
20 切換室
20a 開口部
22 開閉センサ
30 製氷室
30a 開口部
32 開閉センサ
32 ステップ
32 開閉センサ
40 ステップ
40 冷凍室
40a 開口部
42 開閉センサ
50 野菜室
50a 開口部
52 開閉センサ
60 カメラ
61 圧縮機
62 冷却ファン
63 冷却器
64 凝縮器
100 制御ユニット
110 CPU
111 通過物体検出部
112 収容量認識部
113 入出庫判定部
114 食品情報取得部
115 食品情報管理部
120 画像処理部
121 画像メモリ
130 記憶部
131 庫内食品リスト
132 入庫食品情報
133 出庫食品情報
134 サンプル画像
135 賞味期限リスト
140 無線通信部
141 日時認識部
210 目隠し部
400 端末装置
500 ゲートウェイ
510 通信ネットワーク
520 管理サーバー
1
111 Passing
本発明は、収容室に収容されている食品の情報をより確実に取得して管理することができる冷蔵庫を提供することを目的とする。 An object of the present invention is to provide a refrigerator capable of more reliably acquiring and managing information on food contained in a containment chamber .
本発明の冷蔵庫は、開口部を有し、前記冷蔵庫の最上段に設けられた第1収容室と、前記冷蔵庫の庫外、かつ、前記第1収容室の天板の前端に設けられ、前記開口部から前記第1収容室に設けられた棚の前端までの範囲を撮像して、前記棚に入庫される食品及び前記棚から出庫される食品を撮像するカメラと、を備えるものである。 The refrigerator of the present invention has an opening and is provided in a first storage chamber provided at the uppermost stage of the refrigerator, outside the refrigerator, and at the front end of the top plate of the first storage chamber. It is provided with a camera that captures a range from the opening to the front end of the shelf provided in the first storage chamber to image the food stored in the shelf and the food delivered from the shelf .
本発明によれば、収容室に収容されている食品の情報をより確実に取得して管理することができる。 According to the present invention, it is possible to more reliably acquire and manage information on foods contained in a containment chamber.
Claims (4)
開口部を有し、前記冷蔵庫の最上段に設けられた収容室と、
前記収容室に設けられた扉と、
前記収容室の外部、かつ、前記冷蔵庫の上部に設けられ、前記開口部を通過する物体を撮像するカメラと、
前記扉が閉まっている状態において前記扉のうち前記カメラに対向する位置に設けられ、前記カメラを収納する目隠し部と
を備えていることを特徴とする冷蔵庫。 It ’s a refrigerator,
A storage room having an opening and provided at the top of the refrigerator,
The door provided in the containment room and
A camera provided outside the containment chamber and above the refrigerator to capture an object passing through the opening.
A refrigerator provided at a position of the door facing the camera when the door is closed, and provided with a blindfold portion for accommodating the camera.
前記目隠し部は前記観音開き式の扉のうち一方の扉に設けられる
ことを特徴とする請求項1に記載の冷蔵庫。 The door is composed of double doors.
The refrigerator according to claim 1, wherein the blindfold portion is provided on one of the double doors.
ことを特徴とする請求項2に記載の冷蔵庫。 The refrigerator according to claim 2, wherein the blindfold portion is provided on the wider door of the double doors.
ことを特徴とする請求項1から3のいずれか1項に記載の冷蔵庫。 The refrigerator according to any one of claims 1 to 3, wherein the storage room is a refrigerating room.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021212787A JP7386459B2 (en) | 2017-10-06 | 2021-12-27 | refrigerator |
JP2023186805A JP2023181404A (en) | 2017-10-06 | 2023-10-31 | refrigerator |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017196353A JP7012262B2 (en) | 2017-10-06 | 2017-10-06 | refrigerator |
JP2021212787A JP7386459B2 (en) | 2017-10-06 | 2021-12-27 | refrigerator |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017196353A Division JP7012262B2 (en) | 2017-10-06 | 2017-10-06 | refrigerator |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023186805A Division JP2023181404A (en) | 2017-10-06 | 2023-10-31 | refrigerator |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022033235A true JP2022033235A (en) | 2022-02-28 |
JP7386459B2 JP7386459B2 (en) | 2023-11-27 |
Family
ID=66066334
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017196353A Active JP7012262B2 (en) | 2017-10-06 | 2017-10-06 | refrigerator |
JP2021212787A Active JP7386459B2 (en) | 2017-10-06 | 2021-12-27 | refrigerator |
JP2023186805A Pending JP2023181404A (en) | 2017-10-06 | 2023-10-31 | refrigerator |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017196353A Active JP7012262B2 (en) | 2017-10-06 | 2017-10-06 | refrigerator |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023186805A Pending JP2023181404A (en) | 2017-10-06 | 2023-10-31 | refrigerator |
Country Status (2)
Country | Link |
---|---|
JP (3) | JP7012262B2 (en) |
CN (1) | CN109631484A (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7137369B2 (en) * | 2018-06-21 | 2022-09-14 | 東芝ライフスタイル株式会社 | refrigerator |
DE102019211351A1 (en) * | 2019-07-30 | 2021-02-04 | BSH Hausgeräte GmbH | Household refrigeration device with a digital camera |
CN113932553A (en) * | 2020-07-14 | 2022-01-14 | 青岛海尔电冰箱有限公司 | Refrigerator and control method thereof |
JP2022035347A (en) * | 2020-08-20 | 2022-03-04 | 日立グローバルライフソリューションズ株式会社 | Method for processing image data in refrigerator and refrigerator |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003042626A (en) * | 2001-07-26 | 2003-02-13 | Toshiba Corp | Refrigerator |
JP2015081762A (en) * | 2013-10-24 | 2015-04-27 | 三菱電機株式会社 | Refrigerator |
JP2016023854A (en) * | 2014-07-18 | 2016-02-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Determination device and determination method |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004183987A (en) | 2002-12-04 | 2004-07-02 | Hitachi Home & Life Solutions Inc | Refrigerator |
JP6411753B2 (en) * | 2013-03-12 | 2018-10-24 | 東芝ライフスタイル株式会社 | Refrigerator and camera device |
JP6391943B2 (en) * | 2013-03-12 | 2018-09-19 | 東芝ライフスタイル株式会社 | Refrigerator, camera device, internal image display program |
JP6402353B2 (en) * | 2013-03-29 | 2018-10-10 | パナソニックIpマネジメント株式会社 | Refrigerator and refrigerator system |
JP6239902B2 (en) * | 2013-08-28 | 2017-11-29 | 東芝ライフスタイル株式会社 | Camera device for storage and storage with the same |
JP5918210B2 (en) | 2013-12-26 | 2016-05-18 | ソフトバンク株式会社 | Management system and program |
JP6266374B2 (en) * | 2014-02-14 | 2018-01-24 | 東芝ライフスタイル株式会社 | Storage device, image processing device, image processing method, and program |
JP6577365B2 (en) * | 2014-08-26 | 2019-09-18 | アクア株式会社 | Nutrient amount calculation device and refrigerator equipped with the same |
CN104482715B (en) * | 2014-12-31 | 2016-08-24 | 合肥华凌股份有限公司 | The management method of food and refrigerator in refrigerator |
WO2016162956A1 (en) | 2015-04-07 | 2016-10-13 | 三菱電機株式会社 | Refrigerator |
CN204806827U (en) * | 2015-05-29 | 2015-11-25 | 青岛海尔股份有限公司 | Refrigerator |
CN106918180A (en) * | 2015-12-24 | 2017-07-04 | 博西华电器(江苏)有限公司 | Refrigerator |
CN206100214U (en) * | 2016-08-31 | 2017-04-12 | 海信(山东)冰箱有限公司 | Camera device and refrigeration plant |
CN106210481B (en) * | 2016-08-31 | 2022-01-25 | 海信(山东)冰箱有限公司 | Camera module and refrigeration equipment |
-
2017
- 2017-10-06 JP JP2017196353A patent/JP7012262B2/en active Active
-
2018
- 2018-09-30 CN CN201811155860.7A patent/CN109631484A/en active Pending
-
2021
- 2021-12-27 JP JP2021212787A patent/JP7386459B2/en active Active
-
2023
- 2023-10-31 JP JP2023186805A patent/JP2023181404A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003042626A (en) * | 2001-07-26 | 2003-02-13 | Toshiba Corp | Refrigerator |
JP2015081762A (en) * | 2013-10-24 | 2015-04-27 | 三菱電機株式会社 | Refrigerator |
JP2016023854A (en) * | 2014-07-18 | 2016-02-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Determination device and determination method |
Also Published As
Publication number | Publication date |
---|---|
CN109631484A (en) | 2019-04-16 |
JP7386459B2 (en) | 2023-11-27 |
JP2023181404A (en) | 2023-12-21 |
JP2019070477A (en) | 2019-05-09 |
JP7012262B2 (en) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7012263B2 (en) | refrigerator | |
JP2022033235A (en) | refrigerator | |
JP7012261B2 (en) | refrigerator | |
JP7281755B2 (en) | refrigerator | |
JP7340766B2 (en) | refrigerator | |
US11335010B2 (en) | Methods for viewing and tracking stored items | |
JP6655908B2 (en) | Refrigerators and programs | |
JP2015072109A (en) | Refrigerator | |
WO2021057769A1 (en) | Method for viewing and tracking stored items | |
US11288506B2 (en) | Refrigerator appliances and methods for tracking stored items | |
JP7289083B2 (en) | refrigerator | |
JP7289084B2 (en) | refrigerator | |
JP2023099664A (en) | refrigerator | |
CN116348727B (en) | Refrigeration appliance and user identification method | |
US11800068B1 (en) | Refrigerator camera modules and methods for conserving energy at the same | |
WO2023185834A1 (en) | Refrigerator camera module, and method for resolving persistent issue on camera lens |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7386459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |