JP2022033235A - refrigerator - Google Patents

refrigerator Download PDF

Info

Publication number
JP2022033235A
JP2022033235A JP2021212787A JP2021212787A JP2022033235A JP 2022033235 A JP2022033235 A JP 2022033235A JP 2021212787 A JP2021212787 A JP 2021212787A JP 2021212787 A JP2021212787 A JP 2021212787A JP 2022033235 A JP2022033235 A JP 2022033235A
Authority
JP
Japan
Prior art keywords
food
refrigerator
information
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021212787A
Other languages
Japanese (ja)
Other versions
JP7386459B2 (en
Inventor
和宏 村上
Kazuhiro Murakami
倫明 田中
Tomoaki Tanaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2021212787A priority Critical patent/JP7386459B2/en
Publication of JP2022033235A publication Critical patent/JP2022033235A/en
Priority to JP2023186805A priority patent/JP2023181404A/en
Application granted granted Critical
Publication of JP7386459B2 publication Critical patent/JP7386459B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D25/00—Charging, supporting, and discharging the articles to be cooled
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Refrigerator Housings (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a refrigerator that eliminates a structure for preventing the fogging of a lens, and can further certainly obtain and manage information on food stored in a storage chamber.
SOLUTION: A refrigerator 1 is equipped with a refrigerating chamber 10 that has an opening portion 10a, a right door 11 and a left door 12 that open/close the refrigerating chamber 10, a camera 60 that is disposed outside the refrigerating chamber 10 and at a position where the opening portion 10a is included in an imaging range 60a while the right door 11 or the left door 12 is opened, a food information obtaining portion 114 that obtains information on food passing through the opening portion 10a, from a picked up image by the camera 60, and a food information managing portion 115 that manages information on food stored in the storage chamber of the refrigerating chamber 10 on the basis of information on the food obtained by the food information obtaining portion 114.
SELECTED DRAWING: Figure 5
COPYRIGHT: (C)2022,JPO&INPIT

Description

本発明は、冷蔵庫に関する。 The present invention relates to a refrigerator.

従来、冷蔵室の右扉の内側に設けられたカメラにより冷蔵室内を撮像し、撮像した画像のデータを、ネットワークを経由して外部の通信端末送信するようにした冷蔵庫が提案されている（例えば、特許文献１参照）。特許文献１に記載された冷蔵庫においては、冷蔵室の扉を開けた際に生じるレンズの曇りを防止するために、レンズヒーターを設けた構成が開示されている。 Conventionally, a refrigerator has been proposed in which a camera provided inside the right door of the refrigerating room captures an image of the refrigerating room and the data of the captured image is transmitted to an external communication terminal via a network (for example). , Patent Document 1). In the refrigerator described in Patent Document 1, a configuration in which a lens heater is provided is disclosed in order to prevent fogging of the lens that occurs when the door of the refrigerating room is opened.

特開２０１５－１１１０２５号公報Japanese Unexamined Patent Publication No. 2015-11102

本発明は、ユーザーが冷蔵庫の正面から見た際に、カメラが視認されにくくすることを目的とする。 An object of the present invention is to make it difficult for a user to see the camera when viewed from the front of the refrigerator.

本発明の冷蔵庫は、開口部を有し、冷蔵庫の最上段に設けられた収容室と、収容室に設けられた扉と、収容室の外部、かつ、冷蔵庫の上部に設けられ、開口部を通過する物体を撮像するカメラと、扉が閉まっている状態において扉のうちカメラに対向する位置に設けられ、カメラを収納する目隠し部とを備えていることを特徴とする。 The refrigerator of the present invention has an opening, a storage chamber provided at the uppermost stage of the refrigerator, a door provided in the storage chamber, and an opening provided outside the storage chamber and above the refrigerator. It is characterized by having a camera that captures an image of a passing object and a blindfold portion that is provided at a position of the door facing the camera when the door is closed and that houses the camera.

本発明によれば、ユーザーが冷蔵庫の正面から見た際にカメラが視認されにくい。 According to the present invention, it is difficult for the user to visually recognize the camera when viewed from the front of the refrigerator.

家屋に設置された冷蔵庫に収容された食品の状況を、端末装置により確認する構成の説明図Explanatory diagram of the configuration to check the status of food stored in the refrigerator installed in the house with a terminal device 冷蔵庫の外観の説明図Explanatory drawing of the appearance of the refrigerator 冷蔵庫の庫内の構成を、右側から見た断面図により示した説明図Explanatory drawing showing the structure of the inside of the refrigerator by the cross-sectional view seen from the right side. 冷蔵室の左ドアを開けたときの状態を、右側から見た断面図により示した説明図Explanatory view showing the state when the left door of the refrigerator compartment is opened by a cross-sectional view seen from the right side. 冷蔵室の右ドアを開閉した状態を上方から見た場合の説明図Explanatory drawing when the right door of the refrigerator compartment is opened and closed when viewed from above 冷蔵室の内部構成を、正面から見た断面図により示した説明図Explanatory view showing the internal structure of the refrigerator compartment by a cross-sectional view seen from the front. 制御ユニットの構成図Configuration diagram of the control unit 制御ユニットによる全体的な処理を示したフローチャートFlowchart showing the overall processing by the control unit 撮像処理のフローチャートFlow chart of imaging process 重量情報処理のフローチャートFlow chart of weight information processing 入庫時画像の分析処理のフローチャートFlowchart of image analysis process at the time of warehousing 出庫時画像の分析処理のフローチャートFlowchart of image analysis process at the time of delivery 重量センサ補正処理のフローチャートFlow chart of weight sensor correction process 庫内食品管理処理の第１のフローチャートFirst flowchart of food management process in the warehouse 庫内食品管理処理の第２のフローチャートSecond flowchart of food management processing in the warehouse 庫内食品リスト及び賞味期限基準リストの説明図Explanatory drawing of the food list in the warehouse and the best-by date standard list

第１の発明は、開口部を有する収容室と、前記開口部を開閉する開閉部と、前記収容室の外部であって、前記開閉部が開状態であるときに前記開口部が撮像範囲に含まれる位置に配置されたカメラと、前記カメラによる撮像画像から、前記開口部を通過する食品の情報を取得する食品情報取得部と、前記食品情報取得部により取得された食品の情報に基づいて、前記収容室に収容されている食品の情報を管理する食品情報管理部とを備えている。
第１の発明によれば、収容室の開口部を撮像範囲に含むカメラが、収容室の外部に配置されている。そのため、収容室の開閉部が閉状態から開状態に切り替わったときに、収容室内に流入する室内空気によってカメラのレンズが曇ることが回避され、レンズの曇りを防止するための構成を不要とすることができる。また、食品情報取得部により、カメラの撮像画像から、収容室の開口部を通過した食品の情報が取得される。そして、食品情報管理部は、収容室に収容されている食品が重なり合っている場合であっても、食品情報取得部により取得された開口部を通過した食品の情報に基づいて、収容室に収容されている食品の情報を管理することができる。 According to the first invention, a storage chamber having an opening, an opening / closing portion for opening / closing the opening, and an outside of the storage chamber, the opening is within the imaging range when the opening / closing portion is in the open state. Based on the food information acquisition unit that acquires information on food passing through the opening from the camera arranged at the included position and the image captured by the camera, and the food information acquired by the food information acquisition unit. , It is equipped with a food information management unit that manages information on foods stored in the storage room.
According to the first invention, a camera including the opening of the accommodation chamber in the imaging range is arranged outside the accommodation chamber. Therefore, when the opening / closing part of the accommodation chamber is switched from the closed state to the open state, the camera lens is prevented from being fogged by the indoor air flowing into the accommodation chamber, and a configuration for preventing the lens fog is unnecessary. be able to. In addition, the food information acquisition unit acquires information on food that has passed through the opening of the containment chamber from the image captured by the camera. Then, the food information management department stores the food in the storage room based on the information of the food that has passed through the opening acquired by the food information acquisition unit even when the foods stored in the storage room overlap. It is possible to manage information on foods that have been sold.

第２の発明は、前記カメラは前記開口部の外周部に配置され、前記開閉部の外周部であって前記開閉部が閉状態であるときに前記カメラと対向する箇所に設けられ、前記開閉部が閉状態であるときに、前記開閉部の外側からの前記カメラの視認を不能とする目隠し部を備えている。
第２の発明によれば、開閉部が閉状態であるときにカメラの視認を不能とする目隠し部を備えることによって、収容室への入庫及び収容室からの出庫が行われていないときの冷蔵庫の美観を高めることができる。 In the second invention, the camera is arranged on the outer peripheral portion of the opening, and is provided on the outer peripheral portion of the opening / closing portion at a position facing the camera when the opening / closing portion is in the closed state. It is provided with a blindfold portion that makes it impossible to see the camera from the outside of the opening / closing portion when the portion is in the closed state.
According to the second invention, the refrigerator is provided with a blindfold portion that makes it impossible to see the camera when the opening / closing portion is in the closed state, so that the refrigerator is not warehousing in or out of the containment chamber. Can enhance the aesthetics of.

第３の発明では、前記収容室は前記冷蔵庫の最上段に配置され、前記カメラは前記収容室の天板に配置されている。
第３の発明によれば、冷蔵庫の最上段に配置された収容室の天板にカメラを配置することにより、ユーザーがカメラを視認し難くして、カメラを収容室に配置することによる美観の低下を抑えることができる。 In the third invention, the storage chamber is arranged on the uppermost stage of the refrigerator, and the camera is arranged on the top plate of the storage chamber.
According to the third invention, by arranging the camera on the top plate of the containment chamber arranged at the top of the refrigerator, it is difficult for the user to see the camera, and the aesthetic appearance by arranging the camera in the containment chamber. The decrease can be suppressed.

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本実施の形態によって本発明が限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The present invention is not limited to the present embodiment.

［１．冷蔵庫の使用態様］
図１は、本実施形態の冷蔵庫の使用態様を示している。本実施形態の冷蔵庫１は、家屋Ｈに設置され、ゲートウェイ５００及び通信ネットワーク５１０を介して管理サーバー５２０との間で通信を行う機能を有している。また、冷蔵庫１は、端末装置（スマートフォン、タブレット端末等）４００との間で通信を行う機能を有している。端末装置４００は、ゲートウェイ５００及び通信ネットワーク５１０を介して管理サーバー５２０との間で通信を行う機能を有している。 [1. How to use the refrigerator]
FIG. 1 shows a usage mode of the refrigerator of the present embodiment. The refrigerator 1 of the present embodiment is installed in the house H and has a function of communicating with the management server 520 via the gateway 500 and the communication network 510. Further, the refrigerator 1 has a function of communicating with a terminal device (smartphone, tablet terminal, etc.) 400. The terminal device 400 has a function of communicating with the management server 520 via the gateway 500 and the communication network 510.

冷蔵庫１に備えられた制御ユニット１００は、冷蔵庫１の全体的な作動を制御すると共に、冷蔵庫１の収容室に収容されている食品の情報を示す庫内食品リスト１３１を生成して管理サーバー５２０に送信する。端末装置４００において実行される冷蔵庫の管理用アプリケーションは、管理サーバー５２０から庫内食品リスト１３１のデータを取得することにより、或いは冷蔵庫１から庫内食品リスト１３１のデータを取得することにより、庫内食品リスト１３１に基づいて、冷蔵庫１に収容されている食品の情報を表示部に表示する。冷蔵庫１のユーザーＰは、端末装置４００の表示を視認することにより、冷蔵庫１に収容されている食品の状況（食品名、賞味期限、残量等）を確認することができる。 The control unit 100 provided in the refrigerator 1 controls the overall operation of the refrigerator 1 and generates an in-fridge food list 131 showing information on foods stored in the storage room of the refrigerator 1 to generate a management server 520. Send to. The refrigerator management application executed in the terminal device 400 is obtained by acquiring the data of the food list 131 in the refrigerator from the management server 520, or by acquiring the data of the food list 131 in the refrigerator from the refrigerator 1. Based on the food list 131, information on the food stored in the refrigerator 1 is displayed on the display unit. The user P of the refrigerator 1 can confirm the status (food name, expiration date, remaining amount, etc.) of the food stored in the refrigerator 1 by visually recognizing the display of the terminal device 400.

冷蔵庫１の最上部の外部（庫外）には、冷蔵室１０の開口部付近を撮像するカメラ６０が設けられている。カメラ６０は、詳細は後述するが、右ドア１１が閉まっているときはユーザーＰに視認されない状態となる。また、本実施形態では、カメラ６０がユーザーＰよりも高い位置に設けられているため、右ドア１１が開いているときにも、カメラ６０がユーザーＰに視認され難い。このようなカメラ６０の設置態様により、カメラ６０を庫外に設けることによって、冷蔵庫１の美観が損なわれることが抑制されている。 A camera 60 for taking an image of the vicinity of the opening of the refrigerator compartment 10 is provided outside (outside the refrigerator) of the uppermost portion of the refrigerator 1. The details of the camera 60 will be described later, but when the right door 11 is closed, the camera 60 is not visible to the user P. Further, in the present embodiment, since the camera 60 is provided at a position higher than the user P, it is difficult for the camera 60 to be visually recognized by the user P even when the right door 11 is open. Due to such an installation mode of the camera 60, the appearance of the refrigerator 1 is suppressed from being spoiled by installing the camera 60 outside the refrigerator.

［２．冷蔵庫の構成］
図２～図７を参照して、冷蔵庫１の構成について説明する。図２は冷蔵庫１の外観を示した説明図である。図２に示したように、冷蔵庫１は前面に開口した主箱体２を備え、主箱体２内には、冷蔵室１０（本発明の収容室に相当する）、製氷室３０、製氷室３０に併設されて庫内の温度が変更できる切換室２０、冷凍室４０、及び野菜室５０が形成されている。 [2. Refrigerator configuration]
The configuration of the refrigerator 1 will be described with reference to FIGS. 2 to 7. FIG. 2 is an explanatory diagram showing the appearance of the refrigerator 1. As shown in FIG. 2, the refrigerator 1 includes a main box body 2 opened in the front surface, and inside the main box body 2, a refrigerating chamber 10 (corresponding to a storage chamber of the present invention), an ice making chamber 30, and an ice making chamber are provided. A switching chamber 20, a freezer compartment 40, and a vegetable compartment 50, which are attached to the 30 and can change the temperature inside the refrigerator, are formed.

冷蔵室１０の前面の開口部には、回転式の右ドア１１及び左ドア１２が設けられている。また、切換室２０、製氷室３０、冷凍室４０、及び野菜室５０には、それぞれ食品を収容する引き出し２１、３１、４１、５１が設けられている。冷蔵室１０の天板の外周部（冷蔵室１０の外部）には、冷蔵室１０の開口部を撮像範囲に含んでいるカメラ６０が配置されている。 A rotary right door 11 and a left door 12 are provided in the opening on the front surface of the refrigerating chamber 10. Further, the switching chamber 20, the ice making chamber 30, the freezing chamber 40, and the vegetable compartment 50 are provided with drawers 21, 31, 41, and 51 for accommodating food, respectively. A camera 60 including the opening of the refrigerating chamber 10 in the imaging range is arranged on the outer peripheral portion of the top plate of the refrigerating chamber 10 (outside of the refrigerating chamber 10).

次に、図３は冷蔵庫１の庫内の構成を右側から見た断面図により示した説明図であり、図４は冷蔵室１０の内部構成を正面から見た断面図により示した説明図である。図３、図４を参照して、冷蔵室１０には、冷蔵室１０をサブエリアに区画する上棚１３、中棚１４、下棚１５が配置されている。また、冷蔵室１０には、上棚１３に置かれた食品の重量を検出する重量センサ１３ａ，１３ｂ、中棚１４に置かれた食品の重量を検出する重量センサ１４ａ，１４ｂ、下棚１５に置かれた食品の重量を検出する重量センサ１５ａ，１５ｂが設けられている。さらに、冷蔵室１０には、冷蔵室１０内を照らす照明部１６ａ～１６ｆ、冷蔵室１０内の照度を検出する照度センサ１７ａ～１７ｃ、及びカメラ６０が設けられている。 Next, FIG. 3 is an explanatory view showing the configuration of the inside of the refrigerator 1 by a cross-sectional view seen from the right side, and FIG. 4 is an explanatory view showing the internal configuration of the refrigerator compartment 10 by a cross-sectional view seen from the front. be. With reference to FIGS. 3 and 4, the refrigerating chamber 10 is provided with an upper shelf 13, a middle shelf 14, and a lower shelf 15 that divide the refrigerating chamber 10 into sub-areas. Further, in the refrigerating chamber 10, weight sensors 13a and 13b for detecting the weight of food placed on the upper shelf 13, weight sensors 14a and 14b for detecting the weight of food placed on the middle shelf 14, and lower shelves 15 are placed. Weight sensors 15a and 15b for detecting the weight of the smashed food are provided. Further, the refrigerating chamber 10 is provided with lighting units 16a to 16f for illuminating the inside of the refrigerating chamber 10, illuminance sensors 17a to 17c for detecting the illuminance in the refrigerating chamber 10, and a camera 60.

また、冷凍サイクルを構成する補機である圧縮機６１、冷却ファン６２、冷却器６３、及び凝縮器６４が設けられている。さらに、冷蔵室１０の背面には、冷気を流通させるための冷蔵室ダクト７０と冷気吐出口７１～７３が配置されている。 Further, a compressor 61, a cooling fan 62, a cooler 63, and a condenser 64, which are auxiliary machines constituting the refrigeration cycle, are provided. Further, on the back surface of the refrigerating chamber 10, a refrigerating chamber duct 70 for circulating cold air and cold air discharge ports 71 to 73 are arranged.

冷蔵室１０には、右ドア１１の開閉を検出する開閉センサ１８ｂと、左ドア１２の開閉を検出する開閉センサ１８ａとが設けられている。開閉センサ１８ｂは、右ドア１１が閉まっているときは閉検出信号を出力し、右ドア１１が開いているときには開検出信号を出力する。同様に、開閉センサ１８ａは、左ドア１２が閉まっているときは閉検出信号を出力し、左ドア１２が開いているときには開検出信号を出力する。 The refrigerating chamber 10 is provided with an opening / closing sensor 18b for detecting the opening / closing of the right door 11 and an opening / closing sensor 18a for detecting the opening / closing of the left door 12. The open / close sensor 18b outputs a close detection signal when the right door 11 is closed, and outputs an open detection signal when the right door 11 is open. Similarly, the open / close sensor 18a outputs a close detection signal when the left door 12 is closed, and outputs an open detection signal when the left door 12 is open.

切換室２０には、開口部２０ａの開閉を検出する開閉センサ２２が設けられている。開閉センサ２２は、切換室２０に引き出し２１が収容されているときは閉検出信号を出力し、切換室２０から引き出し２１が引き出されているときには開検出信号を出力する。 The switching chamber 20 is provided with an opening / closing sensor 22 for detecting the opening / closing of the opening 20a. The open / close sensor 22 outputs a close detection signal when the drawer 21 is housed in the switching chamber 20, and outputs an open detection signal when the drawer 21 is pulled out from the switching chamber 20.

同様に、製氷室３０には引き出し３１による開口部３０ａの開閉を検出する開閉センサ３２が設けられ、冷凍室４０には引き出し４１による開口部４０ａの開閉を検出する開閉センサ４２が設けられ、野菜室５０には引き出し５１による開口部５０ａの開閉を検出する開閉センサ５２が設けられている。開閉センサ３２，４２，５２は、開閉センサ２２と同様に、閉検出信号と開検出信号を出力する。 Similarly, the ice making chamber 30 is provided with an opening / closing sensor 32 for detecting the opening / closing of the opening 30a by the drawer 31, and the freezing chamber 40 is provided with an opening / closing sensor 42 for detecting the opening / closing of the opening 40a by the drawer 41. The chamber 50 is provided with an open / close sensor 52 that detects the opening / closing of the opening 50a by the drawer 51. The open / close sensors 32, 42, and 52 output a close detection signal and an open detection signal, similarly to the open / close sensor 22.

次に、図５は、冷蔵室１０の左ドア１２が開いている状態での冷蔵庫１の庫内の構成を右側から見た断面図により示した説明図である。カメラ６０は、冷蔵室１０の天板１９の前端付近の外側に設けられている。カメラ６０の撮像範囲６０ａは、冷蔵室１０の開口部１０ａを含んでおり、カメラ６０は、開口部１０ａから各棚１３，１４，１５の前端付近までの範囲を撮像する。これにより、上棚１３、中棚１４、及び下棚１５に入庫される食品、及び上棚１３、中棚１４、及び下棚１５から出庫される食品を、開口部１０ａを通過する際に、カメラ６０により撮像可能な構成となっている。 Next, FIG. 5 is an explanatory view showing a cross-sectional view of the inside of the refrigerator 1 in a state where the left door 12 of the refrigerator compartment 10 is open, as viewed from the right side. The camera 60 is provided on the outside near the front end of the top plate 19 of the refrigerating chamber 10. The image pickup range 60a of the camera 60 includes the opening portion 10a of the refrigerating chamber 10, and the camera 60 captures a range from the opening portion 10a to the vicinity of the front ends of the shelves 13, 14, and 15. As a result, when the food stored in the upper shelf 13, the middle shelf 14, and the lower shelf 15 and the food discharged from the upper shelf 13, the middle shelf 14, and the lower shelf 15 pass through the opening 10a, the camera 60 It is configured so that it can be imaged.

また、図６は、冷蔵室１０の右ドア１１を開閉した状態を、冷蔵庫１の上方から見た場合を示している。右ドア１１は右ヒンジ２００によって軸支され、左ドア１２は左ヒンジ２０１に軸支されている。 Further, FIG. 6 shows a state in which the right door 11 of the refrigerator compartment 10 is opened and closed when viewed from above the refrigerator 1. The right door 11 is pivotally supported by the right hinge 200, and the left door 12 is pivotally supported by the left hinge 201.

右ドア１０の枠の外周部の上端には、凹形状の目隠し部２１０が設けられている。図６のＡに示したように、目隠し部２１０は、右ドア１１が閉まっているときに、カメラ６０と対向する箇所に設けられている。右ドア１１が閉まっている状態では、カメラ６０の前面が目隠し部２１０により覆われるため、ユーザーＰは冷蔵庫１の前面（図６の矢印Ｄ１の方向）からカメラ６０を視認することができない。これにより、カメラ６０を庫外に設けることに伴って、右ドア１１が閉まっていいる状態での冷蔵庫１の美観が損なわれることを防止している。 A concave blindfold portion 210 is provided at the upper end of the outer peripheral portion of the frame of the right door 10. As shown in FIG. 6A, the blindfold portion 210 is provided at a position facing the camera 60 when the right door 11 is closed. When the right door 11 is closed, the front surface of the camera 60 is covered with the blindfold portion 210, so that the user P cannot visually recognize the camera 60 from the front surface of the refrigerator 1 (direction of arrow D1 in FIG. 6). This prevents the appearance of the refrigerator 1 from being spoiled when the right door 11 is closed due to the camera 60 being provided outside the refrigerator.

また、図６のＢに示したように、冷蔵室１０の右ドア１１が開いているときには、見隠し部２１０がカメラ６０から離れて露出するが、図１を参照して上述したように、カメラ６０は冷蔵庫１の最上部に設けられているため、ユーザーＰの視界に入り難い。 Further, as shown in FIG. 6B, when the right door 11 of the refrigerator compartment 10 is open, the concealed portion 210 is exposed away from the camera 60, but as described above with reference to FIG. Since the camera 60 is provided at the top of the refrigerator 1, it is difficult for the user P to see the camera 60.

ここで、カメラを冷蔵室１０内に配置した場合には、右ドア１１又は左ドア１２が開けられたときに、室内の空気（冷蔵室１０内よりも高い温度の空気）が冷蔵室１０に流入して低温となっているカメラのレンズに触れ、レンズの曇りが生じる。そのため、レンズヒータ等を設けて、レンズの曇りを防止する必要がある。 Here, when the camera is arranged in the refrigerating room 10, when the right door 11 or the left door 12 is opened, the air in the room (air having a temperature higher than that in the refrigerating room 10) enters the refrigerating room 10. Touching the camera lens, which has flowed in and is cold, causes the lens to become cloudy. Therefore, it is necessary to provide a lens heater or the like to prevent fogging of the lens.

それに対して、本実施形態では、カメラ６０を冷蔵室１０の外部に設けているため、右ドア１１又は左ドア１２が開けられたときに、カメラ６０のレンズが曇ることがない。そのため、レンズの曇りを防止するための構成を設ける必要がなく、この構成を設けることによる庫内の食品の収容スペースの減少を回避することができる。さらに、レンズヒーターを設けた場合の弊害である、レンズヒーターからの発熱による庫内温度の上昇を回避することができる。 On the other hand, in the present embodiment, since the camera 60 is provided outside the refrigerating room 10, the lens of the camera 60 does not become cloudy when the right door 11 or the left door 12 is opened. Therefore, it is not necessary to provide a configuration for preventing fogging of the lens, and it is possible to avoid a decrease in the storage space for food in the refrigerator by providing this configuration. Further, it is possible to avoid an increase in the temperature inside the refrigerator due to heat generated from the lens heater, which is an adverse effect when the lens heater is provided.

次に、図７は制御ユニット１００の構成図である。図７を参照して、制御ユニット１００は、ＣＰＵ（Central Processing Unit）１１０、画像処理部１２０、記憶部１３０、無線通信部１４０、日時認識部１４１、及び図示しないインターフェース回路等によって構成された電子回路ユニットである。 Next, FIG. 7 is a configuration diagram of the control unit 100. With reference to FIG. 7, the control unit 100 includes an electron configured by a CPU (Central Processing Unit) 110, an image processing unit 120, a storage unit 130, a wireless communication unit 140, a date / time recognition unit 141, an interface circuit (not shown), and the like. It is a circuit unit.

ＣＰＵ１１０は、記憶部１３０に保存された冷蔵庫１の制御用プログラムを実行することによって、通過物体検出部１１１、収容量認識部１１２、入出庫判定部１１３、食品情報取得部１１４、及び食品情報管理部１１５として機能する。 By executing the control program of the refrigerator 1 stored in the storage unit 130, the CPU 110 executes a passing object detection unit 111, a storage capacity recognition unit 112, a warehousing / delivery determination unit 113, a food information acquisition unit 114, and a food information management unit. It functions as a unit 115.

制御ユニット１００は、開閉センサ１８ａ，１８ｂ，２２，３２，４２，５２、照度センサ１７ａ，１７ｂ，１７ｃ、重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂ、カメラ６０、照明部１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ、及び冷凍サイクル補機６１，６２，６３，６４と接続されている。 The control unit 100 includes open / close sensors 18a, 18b, 22, 32, 42, 52, illuminance sensors 17a, 17b, 17c, weight sensors 13a, 13b, 14a, 14b, 15a, 15b, a camera 60, lighting units 16a, 16b, It is connected to 16c, 16d, 16e, 16f, and refrigeration cycle accessories 61, 62, 63, 64.

制御ユニット１００には、開閉センサ１８ａ，１８ｂ，２２，３２，４２，５２、照度センサ１７ａ，１７ｂ，１７ｃ、及び重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂの検出信号等が入力される。また、制御ユニット１００から出力される制御信号によって、照明部１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ、及び冷凍サイクル補機６１，６２，６３，６４等の作動が制御される。 Detection signals of open / close sensors 18a, 18b, 22, 32, 42, 52, illuminance sensors 17a, 17b, 17c, weight sensors 13a, 13b, 14a, 14b, 15a, 15b and the like are input to the control unit 100. .. Further, the operation of the lighting units 16a, 16b, 16c, 16d, 16e, 16f, the refrigeration cycle auxiliary equipment 61, 62, 63, 64 and the like is controlled by the control signal output from the control unit 100.

さらに、制御ユニット１００から出力される制御信号により、画像処理部１２０を介してカメラ６０による撮像が制御される。画像処理部１２０は、カメラ６０から出力される映像信号をデジタルの諧調信号に変換して撮像画像を生成し、撮像画像のデータを画像メモリ１２１に保存する。画像処理部１２０は、ＣＰＵ１１０から出力される制御信号に応じて、画像メモリ１２１に保存された撮像画像に対する処理を行う。 Further, the control signal output from the control unit 100 controls the image pickup by the camera 60 via the image processing unit 120. The image processing unit 120 converts the video signal output from the camera 60 into a digital tone signal to generate a captured image, and stores the captured image data in the image memory 121. The image processing unit 120 processes the captured image stored in the image memory 121 according to the control signal output from the CPU 110.

日時認識部１４１は、クロック信号を計時して現在の日時（日付と時刻）を認識する。なお、管理サーバー５２０との通信により、管理サーバー５２０から現在の日時の情報を取得して、現在の日時を認識する構成としてもよい。 The date / time recognition unit 141 recognizes the current date / time (date and time) by measuring the clock signal. In addition, the information of the current date and time may be acquired from the management server 520 by communication with the management server 520, and the current date and time may be recognized.

記憶部１３０には、庫内食品リスト１３１のデータの他に、冷蔵室１０に入庫された食品の情報が記録された入庫食品情報１３２、及び冷蔵室１０から出庫された食品の情報が記録された出庫食品情報１３３のデータが保存される。さらに、記憶部１３０には、種々の食品のサンプル画像１３４、及び種々の食品の一般的な賞味期限を示す賞味期限リスト１３５のデータが保存されている。 In the storage unit 130, in addition to the data of the food list 131 in the refrigerator, the stored food information 132 in which the information of the food stored in the refrigerating chamber 10 is recorded and the information of the food discharged from the refrigerating chamber 10 are recorded. The data of the delivered food information 133 is stored. Further, the storage unit 130 stores data of sample images 134 of various foods and a best-by-date list 135 showing general best-by-dates of various foods.

通過物体検出部１１１は、照度センサ１７ａ，１７ｂ，１７ｃにより検出される冷蔵室１０内の照度の変化に基づいて、冷蔵室１０の開口部１０ａを通過する物体を検出する。収容量認識部１１２は、重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂの検出信号に基づいて、上棚１３、中棚１４、及び下棚１５に置かれている食品の量を、重量によって認識する。 The passing object detection unit 111 detects an object passing through the opening 10a of the refrigerating chamber 10 based on the change in the illuminance in the refrigerating chamber 10 detected by the illuminance sensors 17a, 17b, 17c. The storage amount recognition unit 112 determines the amount of food placed on the upper shelf 13, the middle shelf 14, and the lower shelf 15 by weight based on the detection signals of the weight sensors 13a, 13b, 14a, 14b, 15a, and 15b. recognize.

収容量認識部１１２は、冷蔵室１０に収容されている食品の量を、重量センサ１３ａ，１３ｂにより検出される上棚１３に置かれた食品の重量、重量センサ１４ａ，１４ｂにより検出される中棚１４に置かれた食品の重量、及び重量センサ１５ａ，１５ｂにより検出される下棚１５に置かれた食品の重量により区別して認識する。 The storage amount recognition unit 112 determines the amount of food stored in the refrigerating chamber 10 by the weight of the food placed on the upper shelf 13 detected by the weight sensors 13a and 13b, and the middle shelf detected by the weight sensors 14a and 14b. The weight of the food placed on the 14 and the weight of the food placed on the lower shelf 15 detected by the weight sensors 15a and 15b are distinguished and recognized.

入出庫判定部１１３は、通過物体検出部１１１により、冷蔵室１０の開口部１０ａを通過する物体が検出された時に、収容量認識部１１２により認識される各棚１３，１４，１５に置かれた食品の量（重量）の変化に基づいて、冷蔵室１０への食品の入庫と冷蔵室１０からの食品の出庫とを判定する。 The warehousing / delivery determination unit 113 is placed on the shelves 13, 14, 15 recognized by the capacity recognition unit 112 when an object passing through the opening 10a of the refrigerating chamber 10 is detected by the passing object detection unit 111. Based on the change in the amount (weight) of the food, it is determined whether the food is stored in the refrigerating chamber 10 and the food is discharged from the refrigerating chamber 10.

食品情報取得部１１４は、冷蔵室１０の開口部１０ａを通過した物体をカメラ６０によって撮像する。そして、入出庫判定部１１３により、冷蔵室１０への食品の入庫又は冷蔵室からの食品の出庫が判定されたときに、撮像画像から食品の画像部分を抽出する。 The food information acquisition unit 114 takes an image of an object that has passed through the opening 10a of the refrigerating chamber 10 by the camera 60. Then, when the warehousing / delivery determination unit 113 determines that the food is warehousing in the refrigerating chamber 10 or the food is warehousing from the refrigerating chamber 10, the image portion of the food is extracted from the captured image.

食品情報取得部１１４は、食品の画像部分に含まれる文字を認識し、或いは食品の画像部分の特徴から、食品名、内容量、原産地、賞味期限等の情報を取得する。そして、食品情報取得部１１４は、取得した情報を、入庫が判定された食品（入庫食品）については入庫食品情報１３２に記録し、出庫が判定された食品（出庫食品）については出庫食品情報１３３に記録する。 The food information acquisition unit 114 recognizes characters included in the image portion of the food, or acquires information such as the food name, the content, the place of origin, and the expiration date from the characteristics of the image portion of the food. Then, the food information acquisition unit 114 records the acquired information in the warehousing food information 132 for the food (stocked food) determined to be warehousing, and the warehousing food information 133 for the food (delivered food) determined to be warehousing. Record in.

食品情報管理部１１５は、収容量認識部１１２により認識された冷蔵室１０内の食品の重量、食品情報取得部１１４により記録された入庫食品情報１３２及び出庫食品情報１３３等に基づいて、庫内食品リスト１３１への食品情報の追加と更新を行う。 The food information management unit 115 is based on the weight of the food in the refrigerating room 10 recognized by the storage capacity recognition unit 112, the in-stock food information 132 and the out-of-delivery food information 133 recorded by the food information acquisition unit 114, and the like. Add and update food information to the food list 131.

［３．制御ユニットによる処理］
次に、図８～図１６を参照して、制御ユニット１００により実行される冷蔵室１０に収容された食品の管理に関する処理について説明する。 [3. Processing by control unit]
Next, with reference to FIGS. 8 to 16, processing related to the management of the food contained in the refrigerating chamber 10 executed by the control unit 100 will be described.

図８は、制御ユニット１００により実行される一連の処理の概要を示したフローチャートである。制御ユニット１００は、ステップＳ１で「撮像処理」、ステップＳ２で「重量情報処理」、ステップＳ３で「画像分析処理」、ステップＳ４で「重量センサ補正処理」、ステップＳ５で「庫内食品管理処理」を、それぞれ実行する。以下、各処理の詳細について説明する。 FIG. 8 is a flowchart showing an outline of a series of processes executed by the control unit 100. The control unit 100 has "imaging processing" in step S1, "weight information processing" in step S2, "image analysis processing" in step S3, "weight sensor correction processing" in step S4, and "food management processing in the refrigerator" in step S5. "Is executed respectively. The details of each process will be described below.

［３－１．撮像処理］
図９に示したフローチャートに従って、「撮像処理」の実行手順について説明する。「撮像処理」は、通過物体検出部１１１及び食品情報取得部１１４により実行される。図９のステップＳ１０～Ｓ１５は、通過物体検出部１１１による処理である。通過物体検出部１１１は、ステップＳ１０で、開閉センサ１８ａ，１８ｂの検出信号から、冷蔵室１０の右ドア１１と左ドア１２の一方又は両方が開けられたと判断したときに、ステップＳ１１に処理を進める。 [3-1. Imaging processing]
The execution procedure of the "imaging process" will be described according to the flowchart shown in FIG. The "imaging process" is executed by the passing object detection unit 111 and the food information acquisition unit 114. Steps S10 to S15 in FIG. 9 are processes by the passing object detection unit 111. When the passing object detection unit 111 determines in step S10 that one or both of the right door 11 and the left door 12 of the refrigerating chamber 10 has been opened from the detection signals of the open / close sensors 18a and 18b, the process is performed in step S11. Proceed.

ステップＳ１１で、通過物体検出部１１１は、照度センサ１７ａ，１７ｂ，１７ｃにより冷蔵室１０の上棚１３、中棚１４、下棚１５の照度（棚により区画された各スペースの照度）を検出する。そして、通過物体検出部１１１は、検出した上棚１３の照度を上基準照度とし、中棚１４の照度を中基準照度とし、下棚１５の照度を下基準照度とする。通過物体検出部１１１は、上基準照度、中基準照度、及び下基準照度のデータを記憶部１３０に保存する。 In step S11, the passing object detection unit 111 detects the illuminance of the upper shelf 13, the middle shelf 14, and the lower shelf 15 of the refrigerating chamber 10 (the illuminance of each space partitioned by the shelves) by the illuminance sensors 17a, 17b, 17c. Then, the passing object detection unit 111 uses the detected illuminance of the upper shelf 13 as the upper reference illuminance, the illuminance of the middle shelf 14 as the middle reference illuminance, and the illuminance of the lower shelf 15 as the lower reference illuminance. The passing object detection unit 111 stores the data of the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance in the storage unit 130.

上基準照度、中基準照度、及び下基準照度は、冷蔵室１０の右ドア１１と左ドア１２の一方又は両方が開けられ、物体（ユーザーの手、食品等）が冷蔵室１０の開口部１０ａを通過する前の状態における各棚１３，１４，１５の照度である。なお、検出照度の誤差や変動を考慮して、上基準照度、中基準照度、及び下基準照度を、各照度センサ１７ａ，１７ｂ，１７ｃの検出照度よりも若干低い照度、或いは若干高い照度に設定してもよい。また、後述するステップＳ１３で使用する上基準照度、中基準照度、及び下基準照度と、ステップＳ１４で使用する上基準照度、中基準照度、及び下基準照度とを、異なる値に設定してもよい。 For the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance, one or both of the right door 11 and the left door 12 of the refrigerating chamber 10 are opened, and an object (user's hand, food, etc.) is an opening 10a of the refrigerating chamber 10. It is the illuminance of each shelf 13, 14, 15 in the state before passing through. In consideration of the error and fluctuation of the detected illuminance, the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance are set to illuminance slightly lower than or slightly higher than the detected illuminance of each illuminance sensor 17a, 17b, 17c. You may. Further, even if the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance used in step S13, which will be described later, and the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance used in step S14 are set to different values. good.

続くステップＳ１２で、通過物体検出部１１１は、照度センサ１７ａ，１７ｂ，１７ｃにより上棚１３、中棚１４、及び下棚１５の照度をそれぞれ検出する。そして、通過物体検出部１１１は、次のステップＳ１３で、検出照度が基準照度よりも所定レベル以上低下した棚があるか否かを判断する。具体的には、通過物体検出部１１１は、以下の（１）～（３）の各条件の成否を判断する。 In the following step S12, the passing object detection unit 111 detects the illuminance of the upper shelf 13, the middle shelf 14, and the lower shelf 15 by the illuminance sensors 17a, 17b, and 17c, respectively. Then, in the next step S13, the passing object detection unit 111 determines whether or not there is a shelf whose detected illuminance is lower than the reference illuminance by a predetermined level or more. Specifically, the passing object detection unit 111 determines the success or failure of each of the following conditions (1) to (3).

（１）照度センサ１７ａの検出照度が、「上基準照度」から「上基準照度－α」以下に変化した。
（２）照度センサ１７ｂの検出照度が、「中基準照度」から「中基準照度－α」以下に変化した。
（３）照度センサ１７ｃの検出照度が、「下基準照度」から「下基準照度－α」以下に変化した。 (1) The detected illuminance of the illuminance sensor 17a changed from "upper reference illuminance" to "upper reference illuminance-α" or less.
(2) The detected illuminance of the illuminance sensor 17b changed from "medium reference illuminance" to "medium reference illuminance-α" or less.
(3) The detected illuminance of the illuminance sensor 17c changed from "lower reference illuminance" to "lower reference illuminance-α" or less.

但し、α：物品（食品、使用者の手等）が、上棚１３、中棚１４、下棚１５内に進入した場合に生じる照度の低下を想定して、実験やコンピュータシミュレーション等によって決定された閾値決定用の定数。なお、αは、上基準照度、中基準照度、及び下基準照度に対して共通な値としてもよく、上基準照度、中基準照度、及び下基準照度に対して個別に異なる値に設定してもよい。 However, α: was determined by experiments, computer simulations, etc., assuming a decrease in illuminance that occurs when an article (food, user's hand, etc.) enters the upper shelf 13, the middle shelf 14, and the lower shelf 15. A constant for determining the threshold. In addition, α may be a common value for the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance, and may be set to different values individually for the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance. May be good.

そして、通過物体検出部１１１は、上記（１）～（３）の少なくともいずれか一つが成立したときに、ステップＳ２０に処理を進める。上記（１）～（３）の少なくともいずれか一つが成立したときは、ユーザーが、冷蔵室１０に食品を入れるため（入庫）、或いは冷蔵室１０から食品を取り出すため（出庫）、又は冷蔵室１０の食品の位置の変更等を行うために、冷蔵室１０内に手を入れたと想定される。そして、この場合、通過物体検出部１１１は、物体（ユーザーの手、ユーザーの手が掴んでいる食品等）が、冷蔵室１０の開口部１０ａを通過したと判断することができる。 Then, when at least one of the above (1) to (3) is satisfied, the passing object detection unit 111 proceeds to the process in step S20. When at least one of the above (1) to (3) is satisfied, the user can put food in the refrigerating room 10 (warehousing), take out food from the refrigerating room 10 (delivery), or refrigerate room. It is presumed that the inside of the refrigerating room 10 was modified in order to change the position of the food of 10. Then, in this case, the passing object detection unit 111 can determine that the object (user's hand, food held by the user's hand, etc.) has passed through the opening 10a of the refrigerating chamber 10.

一方、上記（１）～（３）のいずれも成立していないときには、通過物体検出部１１１は、ステップＳ１４に処理を進める。ステップＳ１４で、通過物体検出部１１１は、検出照度が、「基準照度－β」以下から「基準照度」以上に変化した棚があるか否かを判断する。具体的には、通過物体検出部１１１は、以下の（４）～（６）の各条件の成否を判断する。 On the other hand, when none of the above (1) to (3) is satisfied, the passing object detection unit 111 proceeds to the process in step S14. In step S14, the passing object detection unit 111 determines whether or not there is a shelf whose detected illuminance has changed from "reference illuminance-β" or less to "reference illuminance" or more. Specifically, the passing object detection unit 111 determines the success or failure of each of the following conditions (4) to (6).

（４）照度センサ１７ａの検出照度が、「上基準照度－β」以下から「上基準照度」以上に変化した。
（５）照度センサ１７ｂの検出照度が、「中基準照度－β」以下から「中基準照度」以上に変化した。
（６）照度センサ１７ｃの検出照度が、「下基準照度－β」以下から「下基準照度」以上に変化した。 (4) The detected illuminance of the illuminance sensor 17a changed from "upper reference illuminance-β" or less to "upper reference illuminance" or more.
(5) The detected illuminance of the illuminance sensor 17b changed from "medium reference illuminance-β" or less to "medium reference illuminance" or more.
(6) The detected illuminance of the illuminance sensor 17c changed from "lower reference illuminance-β" or less to "lower reference illuminance" or more.

但し、β：上棚１３、中棚１４、又は下棚１５に進入していた物体（食品、使用者の手等）が、開口部１０ａを通過して冷蔵室１０外に出たときに生じる照度の上昇を想定して、実験やコンピュータシミュレーション等により決定された閾値決定用の定数。なお、βは、上基準照度、中基準照度、及び下基準照度に対して共通に設定してもよいし、上基準照度、中基準照度、及び下基準照度に対して個別に異なる値に設定してもよい。 However, β: the illuminance generated when an object (food, user's hand, etc.) that has entered the upper shelf 13, the middle shelf 14, or the lower shelf 15 passes through the opening 10a and goes out of the refrigerating chamber 10. A constant for determining the threshold value determined by experiments, computer simulations, etc., assuming an increase in. Note that β may be set in common for the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance, or may be set to different values for the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance. You may.

そして、通過物体検出部１１１は、上記（４）～（６）の少なくともいずれか一つが成立したときに、ステップＳ２２に処理を進める。上記（４）～（６）の少なくともいずれか一つが成立したときは、ユーザーが、冷蔵室１０に食品を入れるため（入庫）、冷蔵室１０から食品を取り出すため（出庫）、或いは冷蔵室１０に収容されている食品の位置の変更等を行って、冷蔵室１０内に入れていた手を抜いたと想定される。そして、この場合、通過物体検出部１１１は、物体（ユーザーの手、ユーザーの手が掴んでいる食品等）が、冷蔵室１０の開口部１０ａを通過したと判断することができる。 Then, when at least one of the above (4) to (6) is satisfied, the passing object detection unit 111 proceeds to the process in step S22. When at least one of the above (4) to (6) is satisfied, the user can put the food in the refrigerator compartment 10 (warehousing), take out the food from the refrigerator compartment 10 (delivery), or the refrigerator compartment 10 It is presumed that the position of the food stored in the refrigerator was changed and the food stored in the refrigerator compartment 10 was removed. Then, in this case, the passing object detection unit 111 can determine that the object (user's hand, food held by the user's hand, etc.) has passed through the opening 10a of the refrigerating chamber 10.

一方、上記（４）～（６）のいずれも成立していないときには、通過物体検出部１１１はステップＳ１５に処理を進める。ステップＳ１５で、通過物体検出部１１１は、開閉センサ１８ａ，１８ｂの検出信号から、冷蔵室１０の右ドア１１と左ドア１２が共に閉められたか否かを判断する。そして、通過物体検出部１１１は、右ドア１１と左ドア１２が共に閉められたときはステップＳ１５に処理を進めて、「撮像処理」を終了する。一方、右ドア１１と左ドア１２の少なくともいずれか一方が開いているときには、通過物体検出部１１１は、ステップＳ１２に処理を進める。 On the other hand, when none of the above (4) to (6) is satisfied, the passing object detection unit 111 proceeds to the process in step S15. In step S15, the passing object detection unit 111 determines from the detection signals of the open / close sensors 18a and 18b whether or not both the right door 11 and the left door 12 of the refrigerating chamber 10 are closed. Then, when the right door 11 and the left door 12 are both closed, the passing object detection unit 111 proceeds to step S15 and ends the “imaging process”. On the other hand, when at least one of the right door 11 and the left door 12 is open, the passing object detection unit 111 proceeds to the process in step S12.

次に、ステップＳ２０～Ｓ２１、及びステップＳ２２～Ｓ２３は、食品情報取得部１１４による処理である。食品情報取得部１１４は、ステップＳ２０で、画像処理部１２０を介して、カメラ６０により冷蔵室１０の開口部１０ａを含む範囲を撮像する。続くステップＳ２１で、食品情報取得部１１４は、ステップＳ２０で撮像した画像のデータを「入庫時画像」のデータとして画像メモリ１２１に保存し、ステップＳ１５に処理を進める。なお、撮像を複数回行って、複数の画像のデータを「入庫時画像」のデータとして記憶部１３０に保存するようにしてもよい。 Next, steps S20 to S21 and steps S22 to S23 are processes by the food information acquisition unit 114. In step S20, the food information acquisition unit 114 captures a range including the opening 10a of the refrigerating chamber 10 by the camera 60 via the image processing unit 120. In the following step S21, the food information acquisition unit 114 saves the data of the image captured in step S20 as the data of the "image at the time of warehousing" in the image memory 121, and proceeds to the process in step S15. It should be noted that the imaging may be performed a plurality of times and the data of the plurality of images may be stored in the storage unit 130 as the data of the “image at the time of warehousing”.

また、ステップＳ２２で、食品情報取得部１１４は、画像処理部１２０を介して、カメラ６０により冷蔵室１０の開口部１０ａを含む範囲を撮像する。続くステップＳ２３で、食品情報取得部１１４は、ステップＳ２２で撮像した画像のデータを「出庫時画像」のデータとして画像メモリ１２１に保存し、ステップＳ１５に処理を進める。なお、撮像を複数回行って、複数の画像のデータを「出庫時画像」のデータとして記憶部１３０に保存するようにしてもよい。 Further, in step S22, the food information acquisition unit 114 captures a range including the opening 10a of the refrigerating chamber 10 by the camera 60 via the image processing unit 120. In the following step S23, the food information acquisition unit 114 saves the data of the image captured in step S22 as the data of the "image at the time of delivery" in the image memory 121, and proceeds to the process in step S15. It should be noted that the imaging may be performed a plurality of times and the data of the plurality of images may be stored in the storage unit 130 as the data of the “image at the time of delivery”.

図９に示した「撮像処理」によって、通過物体検出部１１１により、照度センサ１７ａ，７ｂ，１７ｃにより検出される上棚１３、中棚１４、及び下棚１５の照度の変化に基づいて、冷蔵室１０の開口部１０ａを通過する物体が検出される。 The refrigerating room is based on the change in illuminance of the upper shelf 13, the middle shelf 14, and the lower shelf 15 detected by the illuminance sensors 17a, 7b, and 17c by the passing object detection unit 111 by the "imaging process" shown in FIG. An object passing through the opening 10a of 10 is detected.

また、通過物体検出部１１１により、開口部１０ａを通過していずれかの棚１３，１４，１５に入った物体が検出された時点での撮像画像である「入庫時画像」と、通過物体検出部１１１により、いずれかの棚１３，１４，１５から出て開口部１０ａを通過した物体が検出された時点での撮像画像である「出庫時画像」とが、画像メモリ１２１に保存される。 Further, the “image at the time of warehousing”, which is an image captured when an object that has passed through the opening 10a and entered any of the shelves 13, 14 and 15 is detected by the passing object detection unit 111, and a passing object detection. The “delivery image”, which is an image taken at the time when an object that has passed through the opening 10a from any of the shelves 13, 14 and 15 is detected by the unit 111, is stored in the image memory 121.

なお、図９のステップＳ１５で、右ドア１１と左ドア１２が閉められたことが検出される前に、ステップ１３において開口部１０ａを通過する物体が複数回検出されたときには、ステップＳ２０～Ｓ２１により、複数の「入庫時画像」の撮像と保存が行われる。そして、後述する「重量情報処理」により入庫が判定された食品の「入庫時画像」について、それぞれ「画像分析処理」が実行される。 In step S15 of FIG. 9, when an object passing through the opening 10a is detected a plurality of times in step 13 before it is detected that the right door 11 and the left door 12 are closed, steps S20 to S21. As a result, a plurality of "images at the time of warehousing" are captured and saved. Then, the "image analysis process" is executed for each of the "images at the time of warehousing" of the foods whose warehousing is determined by the "weight information processing" described later.

同様に、図９のステップＳ１５で、右ドア１１と左ドア１２が閉められたことが検出される前に、ステップＳ１４において開口部１０ａを通過する物体が複数回検出されたときには、ステップＳ２２～Ｓ２３により、複数の「出庫時画像」の撮像と保存が行われる。そして、後述する「重量情報処理」により出庫が判定された食品の「出庫時画像」について、それぞれ「画像分析処理」が実行される。 Similarly, in step S15 of FIG. 9, when an object passing through the opening 10a is detected a plurality of times in step S14 before it is detected that the right door 11 and the left door 12 are closed, steps S22 to S22 to By S23, a plurality of "images at the time of delivery" are captured and stored. Then, an "image analysis process" is executed for each of the "images at the time of delivery" of the food whose delivery has been determined by the "weight information processing" described later.

[３－２．重量情報処理］
次に、図１０に示したフローチャートに従って、「重量処理」の実行手順について説明する。「重量情報処理」は、入出庫判定部１１３、及び食品情報取得部１１４により実行される。 [3-2. Weight information processing]
Next, the execution procedure of the "weight processing" will be described according to the flowchart shown in FIG. "Weight information processing" is executed by the warehousing / delivery determination unit 113 and the food information acquisition unit 114.

図１０のステップＳ３０～Ｓ３３及びＳ４０は、入出庫判定部１１３による処理である。入出庫判定部１１３は、ステップＳ３０で、収容量認識部１１２により各棚１３，１４，１５の重量を認識して記憶部１３０に保存する。続くステップＳ３１で、通過物体検出部１１１により、図７のステップＳ１３又はステップＳ１４で、冷蔵室１０の開口部１０ａを通過する物体が検出されたとき（冷蔵室１０への物体の出入りあり）に、入出庫判定部１１３は、ステップＳ３２に処理を進める。 Steps S30 to S33 and S40 in FIG. 10 are processes by the warehousing / delivery determination unit 113. In step S30, the warehousing / delivery determination unit 113 recognizes the weights of the shelves 13, 14 and 15 by the storage capacity recognition unit 112 and stores them in the storage unit 130. In the following step S31, when the passing object detection unit 111 detects an object passing through the opening 10a of the refrigerating chamber 10 in step S13 or step S14 of FIG. 7 (there is an object entering or exiting the refrigerating chamber 10). , The warehousing / delivery determination unit 113 proceeds to the process in step S32.

ステップＳ３２で、入出庫判定部１１３は、収容量認識部１１２により各棚１３，１４，１５の重量を認識する。次のステップＳ３３で、入出庫判定部１１３は、ステップＳ３０で認識した重量に対して、ステップＳ３２で認識した重量が増加した棚があるか否かを判断する。そして、重量が増加した棚があるとき（この場合は、冷蔵室１０に食品が入庫したと判断できる）は、入出庫判定部１１３はステップＳ３４に処理を進める。 In step S32, the warehousing / delivery determination unit 113 recognizes the weights of the shelves 13, 14 and 15 by the storage capacity recognition unit 112. In the next step S33, the warehousing / delivery determination unit 113 determines whether or not there is a shelf in which the weight recognized in step S32 has increased with respect to the weight recognized in step S30. Then, when there is a shelf whose weight has increased (in this case, it can be determined that the food has arrived in the refrigerating chamber 10), the warehousing / delivery determination unit 113 proceeds to the process in step S34.

一方、重量が増加した棚がないときには、入出庫判定部１１３は、ステップ３３からステップＳ４０に処理を進め、ステップＳ３０で認識した重量に対して、ステップＳ３２で認識した重量が減少した棚があるか否かを判断する。そして、重量が減少した棚があるとき（この場合は、冷蔵室１０から食品が出庫したと判断できる）は、入出庫判定部１１３はステップＳ４１に処理を進める。また、重量が増加した棚がないとき（この場合は、冷蔵室１０への食品の入庫及び冷蔵室１０からの食品の出庫がなかったと判断できる）には、入出庫判定部１１３は、ステップＳ３６に処理を進めて「重量情報処理」を終了する。 On the other hand, when there is no shelf whose weight has increased, the warehousing / delivery determination unit 113 proceeds from step 33 to step S40, and there is a shelf in which the weight recognized in step S32 is reduced with respect to the weight recognized in step S30. Judge whether or not. Then, when there is a shelf whose weight has been reduced (in this case, it can be determined that the food has been delivered from the refrigerating chamber 10), the warehousing / delivery determination unit 113 proceeds to the process in step S41. Further, when there is no shelf whose weight has increased (in this case, it can be determined that the food has not been warehousing in the refrigerating room 10 and the food has not been warehousing from the refrigerating room 10), the warehousing / delivery determination unit 113 may perform step S36. Proceed to process and end "weight information processing".

ステップＳ３４～Ｓ３５及びステップＳ４１は、食品情報取得部１１４による処理である。食品情報取得部１１４は、ステップＳ３４で、収容量認識部１１２により認識された各棚１３，１４，１５の左右の重量から、入庫食品の収容位置を推定する。 Steps S34 to S35 and steps S41 are processes by the food information acquisition unit 114. In step S34, the food information acquisition unit 114 estimates the storage position of the stored food from the left and right weights of the shelves 13, 14 and 15 recognized by the storage capacity recognition unit 112.

次のステップＳ３５で、食品情報取得部１１４は、入庫食品情報１３２（図５参照）に、入庫食品の重量と収容位置の情報を記録して、ステップＳ３６に処理を進め、「重量情報処理」を終了する。入庫食品情報１３２のデータは、庫内食品リスト１３１への情報の追加、更新等を行うために記憶部１３０に一時的に保存される。 In the next step S35, the food information acquisition unit 114 records information on the weight and storage position of the stored food in the stored food information 132 (see FIG. 5), proceeds to the process in step S36, and "weight information processing". To finish. The data of the in-stock food information 132 is temporarily stored in the storage unit 130 in order to add or update the information to the in-store food list 131.

また、ステップＳ４１で、食品情報取得部１１４は、出庫食品情報１３３（図５参照）に、出庫食品の重量の情報を記録してステップＳ３６に処理を進め、「重量情報処理」を終了する。出庫食品情報１３３のデータは、庫内食品リスト１３１への食品情報の追加、更新等を行うために記憶部１３０に一時的に保存される。 Further, in step S41, the food information acquisition unit 114 records the weight information of the delivered food in the delivered food information 133 (see FIG. 5), proceeds to the process in step S36, and ends the "weight information processing". The data of the delivered food information 133 is temporarily stored in the storage unit 130 in order to add or update the food information to the in-store food list 131.

［３－３．画像分析処理］
次に、図１１、図１２に示したフローチャートに従って、「画像分析処理」の実行手順について説明する。「画像分析処理」は、食品情報取得部１１４により実行される。図１１は、冷蔵室１０に入庫された食品について、「入庫時画像」から情報を取得する処理である。また、図１２は、冷蔵室１０から出庫された食品について、「出庫時画像」から情報を取得する処理である。 [3-3. Image analysis processing]
Next, the execution procedure of the "image analysis process" will be described according to the flowcharts shown in FIGS. 11 and 12. The "image analysis process" is executed by the food information acquisition unit 114. FIG. 11 is a process of acquiring information from the “image at the time of warehousing” of the food warehousing in the refrigerating room 10. Further, FIG. 12 is a process of acquiring information from the “image at the time of delivery” of the food delivered from the refrigerating room 10.

先ず、図１１を参照して、「入庫時画像」に対する「画像分析処理」について説明する。食品情報取得部１１４は、図９のステップＳ５０で、入庫食品の「入庫時画像」に対して、画像処理部１２０により文字抽出処理を実行する。ここで、入庫食品とは、図８のステップＳ３３で、入出庫判定部１１３により冷蔵室１０に入庫されたと判定された食品である。また、入庫食品の「入庫時画像」とは、図８のステップＳ３３で入庫と判定された食品について、図７のステップＳ２０，Ｓ２１で食品情報取得部１１４により撮像及び保存された「入庫時画像」である。 First, with reference to FIG. 11, the "image analysis process" for the "image at the time of warehousing" will be described. In step S50 of FIG. 9, the food information acquisition unit 114 executes character extraction processing by the image processing unit 120 for the “image at the time of warehousing” of the warehousing food. Here, the warehousing food is the food that is determined to have been warehousing in the refrigerating chamber 10 by the warehousing / delivery determination unit 113 in step S33 of FIG. Further, the “image at the time of warehousing” of the warehousing food is a “image at the time of warehousing” captured and stored by the food information acquisition unit 114 in steps S20 and S21 of FIG. 7 for the food determined to be warehousing in step S33 of FIG. ".

続くステップＳ５１で、食品情報取得部１１４は、画像処理部１２０により「入庫時画像」から文字が抽出されたか否かを判断する。そして、食品情報取得部１１４は、文字が抽出されたときはステップＳ５２に処理を進め、文字が抽出されなかったときにはステップＳ６０に処理を進める。 In the following step S51, the food information acquisition unit 114 determines whether or not the characters have been extracted from the "image at the time of warehousing" by the image processing unit 120. Then, the food information acquisition unit 114 proceeds to the process in step S52 when the character is extracted, and proceeds to the process in step S60 when the character is not extracted.

ステップＳ５２で、食品情報取得部１１４は、画像処理部１２０により抽出された文字の情報を分析する。そして、続くステップＳ５３で、食品情報取得部１１４は、文字の情報から、食品名、賞味期限、産地、内容量等の入庫食品の情報を取得する。次のステップＳ５４で、食品情報取得部１１４は、取得した入庫食品の情報を入庫食品情報１３２に記録して、「画像分析処理」を終了する。 In step S52, the food information acquisition unit 114 analyzes the character information extracted by the image processing unit 120. Then, in the following step S53, the food information acquisition unit 114 acquires information on the stored food such as the food name, the expiration date, the production area, and the content from the text information. In the next step S54, the food information acquisition unit 114 records the acquired information on the stored food in the stored food information 132, and ends the “image analysis process”.

また、ステップＳ６０で、食品情報取得部１１４は、画像処理部１２０によって、「入庫時画像」から入庫食品の画像部分を抽出する。続くステップＳ６１で、食品情報取得部１１４は、抽出した入庫食品の画像部分と、予め記憶部１３０に保存された種々の食品のサンプル画像１３４（図７参照）との一致率を算出する。 Further, in step S60, the food information acquisition unit 114 extracts the image portion of the stored food from the “image at the time of storage” by the image processing unit 120. In the following step S61, the food information acquisition unit 114 calculates the matching rate between the extracted image portion of the stored food and the sample images 134 (see FIG. 7) of various foods previously stored in the storage unit 130.

次のステップＳ６２で、食品情報取得部１１４は、一致率が最も高いサンプル画像１３４の食品名を入庫食品の食品名と推定して取得し、ステップＳ５４に処理を進める。ステップＳ６０～Ｓ６２の処理により、入庫食品の「入庫時画像」から文字が抽出できなかった場合であっても、入庫食品の食品名を推定して入庫食品情報に記録することができる。 In the next step S62, the food information acquisition unit 114 presumes and acquires the food name of the sample image 134 having the highest matching rate as the food name of the stored food, and proceeds to the process in step S54. By the processing of steps S60 to S62, even when characters cannot be extracted from the "image at the time of warehousing" of the warehousing food, the food name of the warehousing food can be estimated and recorded in the warehousing food information.

次に、図１２を参照して、「出庫時画像」に対する「画像分析処理」について説明する。食品情報取得部１１４は、図１０のステップＳ７０で、出庫食品の「出庫時画像」に対して、画像処理部１２０により文字抽出処理を実行する。ここで、出庫食品とは、図１０のステップＳ４０で、入出庫判定部１１３により冷蔵室１０から出庫されたと判定された食品である。また、出庫食品の「出庫時画像」とは、図１０のステップＳ４０で出庫と判定された食品について、図７のステップＳ２２，Ｓ２３で食品情報取得部１１４により撮像及び保存された「出庫時画像」である。 Next, with reference to FIG. 12, the "image analysis process" for the "image at the time of delivery" will be described. In step S70 of FIG. 10, the food information acquisition unit 114 executes a character extraction process by the image processing unit 120 for the “image at the time of delivery” of the food to be delivered. Here, the delivered food is the food determined to have been delivered from the refrigerating chamber 10 by the warehousing / delivery determining unit 113 in step S40 of FIG. Further, the “image at the time of delivery” of the food to be delivered is a “image at the time of delivery” captured and stored by the food information acquisition unit 114 in steps S22 and S23 of FIG. 7 for the food determined to be delivered in step S40 of FIG. ".

続くステップＳ７１で、食品情報取得部１１４は、画像処理部１２０により「出庫時画像」から文字が抽出されたか否かを判断する。そして、食品情報取得部１１４は、文字が抽出されたときはステップＳ７２に処理を進め、文字が抽出されなかったときにはステップＳ８０に処理を進める。 In the following step S71, the food information acquisition unit 114 determines whether or not the characters have been extracted from the "delivery image" by the image processing unit 120. Then, the food information acquisition unit 114 proceeds to the process in step S72 when the character is extracted, and proceeds to the process in step S80 when the character is not extracted.

ステップＳ７２で、食品情報取得部１１４は、画像処理部１２０により抽出された文字の情報を分析する。そして、続くステップＳ７３で、食品情報取得部１１４は、文字の情報から、食品名、賞味期限、産地、内容量等の出庫食品の情報を取得する。次のステップＳ７４で、食品情報取得部１１４は、取得した出庫食品の情報を出庫食品情報１３３に記録して、「画像分析処理」を終了する。 In step S72, the food information acquisition unit 114 analyzes the character information extracted by the image processing unit 120. Then, in the following step S73, the food information acquisition unit 114 acquires information on the delivered food such as the food name, the expiration date, the production area, and the content from the text information. In the next step S74, the food information acquisition unit 114 records the acquired food information in the food information 133, and ends the “image analysis process”.

また、ステップＳ８０で、食品情報取得部１１４は、画像処理部１２０によって、「出庫時画像」から出庫食品の画像部分を抽出する。続くステップＳ８１で、食品情報取得部１１４は、抽出した出庫食品の画像部分と、予め記憶部１３０に保存された種々の食品のサンプル画像１３４との一致率を算出する。 Further, in step S80, the food information acquisition unit 114 extracts the image portion of the food to be delivered from the “image at the time of delivery” by the image processing unit 120. In the following step S81, the food information acquisition unit 114 calculates the matching rate between the extracted image portion of the delivered food and the sample image 134 of various foods previously stored in the storage unit 130.

次のステップＳ８２で、食品情報取得部１１４は、一致率が最も高いサンプル画像１３４の食品名を出庫食品の食品名と推定して取得し、ステップＳ７４に処理を進める。ステップＳ８０～Ｓ８２の処理により、出庫食品の「出庫時画像」から文字が抽出できなかった場合であっても、出庫食品の食品名を推定して出庫食品情報に記録することができる。 In the next step S82, the food information acquisition unit 114 presumes and acquires the food name of the sample image 134 having the highest match rate as the food name of the delivered food, and proceeds to the process in step S74. By the processing of steps S80 to S82, even when characters cannot be extracted from the "image at the time of delivery" of the food to be delivered, the food name of the food to be delivered can be estimated and recorded in the food information to be delivered.

図１１の画像分析処理は、冷蔵室１０への入庫が判定された場合の入庫時画像を対象として行われ、図１２の画像分析処理は、冷蔵室１０からの出庫が判定された場合の出庫時画像を対象として行われる。そのため、食品ではなく、右ドア１１又は左ドア１２が通過物体検出部１１１により検出されたときには、入庫又は出庫と判定されないため、画像分析処理は行われない（撮像画像は無効となる）。これにより、右ドア１１又は左ドア１２の画像部分から、誤った食品情報が取得されることを防止することができる。 The image analysis process of FIG. 11 is performed on the image at the time of warehousing when the warehousing to the refrigerating room 10 is determined, and the image analysis processing of FIG. 12 is the warehousing when the warehousing from the refrigerating room 10 is determined. It is performed for the time image. Therefore, when the right door 11 or the left door 12 is detected by the passing object detection unit 111 instead of the food, the image analysis process is not performed because it is not determined to be warehousing or warehousing (the captured image becomes invalid). This makes it possible to prevent erroneous food information from being acquired from the image portion of the right door 11 or the left door 12.

［３－４．重量センサ補正処理］
図１３に示したフローチャートに従って、重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂの検出重量を補正するための「重量センサ校正処理」の実行手順について説明する。「重量センサ補正処理」は、収容量認識部１１２により実行される。「重量センサ補正処理」は、経時変化等によって生じ得る重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂの検出誤差を修正（校正）するための処理である。 [3-4. Weight sensor correction process]
According to the flowchart shown in FIG. 13, the execution procedure of the “weight sensor calibration process” for correcting the detected weight of the weight sensors 13a, 13b, 14a, 14b, 15a, 15b will be described. The "weight sensor correction process" is executed by the accommodation capacity recognition unit 112. The "weight sensor correction process" is a process for correcting (calibrating) the detection error of the weight sensors 13a, 13b, 14a, 14b, 15a, 15b that may occur due to changes over time.

図１３のステップＳ９０で、収容量認識部１１２は、入出庫判定部１１３により冷蔵室への食品の入庫ありと判定されたとき（図１０のステップＳ３３でＹＥＳ）に、ステップＳ９１に処理を進める。ステップＳ９１で、収容量認識部１１２は、入庫食品情報１３２に入庫食品の内容量の情報が記録（図１１のステップＳ５４の処理）されているか否かを判断する。そして、収容量認識部１１２は、入庫食品情報１３２に入庫食品の内容量（図１１のステップＳ５３で取得した食品の内容量）の情報が記録されているときはステップＳ９２に処理を進める。 In step S90 of FIG. 13, when the warehousing / delivery determination unit 113 determines that the food has been warehousing in the refrigerating room (YES in step S33 of FIG. 10), the storage capacity recognition unit 112 proceeds to step S91. .. In step S91, the storage capacity recognition unit 112 determines whether or not the information on the content of the stored food is recorded in the stored food information 132 (processing in step S54 in FIG. 11). Then, when the storage amount recognition unit 112 records the information of the content of the stored food (the content of the food acquired in step S53 of FIG. 11) in the stored food information 132, the processing proceeds to step S92.

ステップＳ９２で、収容量認識部１１２は、入庫食品情報１３２に記録された入庫食品の重量と内容量との比を算出する。そして、収容量認識部１１２は、算出した比を、入庫食品の重量検出に用いられた重量センサの補正係数に設定する。例えば、入庫食品が上棚１３に入庫され、重量センサ１３ａ，１３ｂによって重量が検出された場合には、収容量認識部１１２は、算出した比を重量センサ１３ａ，１３ｂの検出重量の補正係数として設定する。 In step S92, the storage capacity recognition unit 112 calculates the ratio between the weight of the stored food and the content recorded in the stored food information 132. Then, the accommodation capacity recognition unit 112 sets the calculated ratio as the correction coefficient of the weight sensor used for detecting the weight of the stored food. For example, when the stored food is stored in the upper shelf 13 and the weight is detected by the weight sensors 13a and 13b, the storage capacity recognition unit 112 sets the calculated ratio as the correction coefficient of the detected weight of the weight sensors 13a and 13b. do.

続くステップＳ９３で、収容量認識部１１２は、補正係数のデータを記憶部１３０に保存し、ステップＳ９４に処理を進めて「重量センサ補正処理」を終了する。以後、収容量認識部１１２は、重量センサ１３ａ，１３ｂの検出重量に補正係数を乗じた値を、検出重量として扱う。同様にして、収容量認識部１１２は、入庫食品が中棚１４に収容されたときは、重量センサ１４ａ，１４ｂの補正係数を設定し、入庫食品が下棚１５に収容されたときは、重量センサ１５ａ，１５ｂの補正係数を設定する。 In the following step S93, the accommodation capacity recognition unit 112 stores the correction coefficient data in the storage unit 130, proceeds to the process in step S94, and ends the "weight sensor correction process". Hereinafter, the accommodation capacity recognition unit 112 treats the value obtained by multiplying the detected weights of the weight sensors 13a and 13b by the correction coefficient as the detected weight. Similarly, the storage capacity recognition unit 112 sets the correction coefficients of the weight sensors 14a and 14b when the stored food is stored in the middle shelf 14, and when the stored food is stored in the lower shelf 15, the weight is set. The correction coefficients of the sensors 15a and 15b are set.

一方、ステップＳ９１で、入庫食品情報１３２に内容量の情報が記録されていなかった場合には、収容量認識部１１２は、ステップＳ９４に処理を進めて「重量センサ補正処理」を終了する。この場合は、補正係数の算出及び設定は行われない。 On the other hand, if the content information is not recorded in the in-stock food information 132 in step S91, the accommodation capacity recognition unit 112 proceeds to step S94 and ends the “weight sensor correction process”. In this case, the correction coefficient is not calculated or set.

［３－５．庫内食品管理処理］
図１４及び図１５に示したフローチャートに従って、冷蔵室１０に収容された食品の情報を管理するための「庫内食品管理処理」の実行手順について説明する。「庫内食品管理処理」は、食品情報管理部１１５により実行される。 [3-5. Food management processing in the warehouse]
According to the flowcharts shown in FIGS. 14 and 15, the execution procedure of the “food management process in the refrigerator” for managing the information of the food stored in the refrigerating chamber 10 will be described. The “food management process in the refrigerator” is executed by the food information management unit 115.

食品情報管理部１１５は、冷蔵室１０に収容された食品の情報を、庫内食品リスト１３１（図５参照）により管理する。庫内食品リスト１３１には、図１６に示したように、冷蔵室１０に入庫された食品に付された番号（１，２，３，…）と、番号が付された各入庫食品の情報として、食品名、重量（初回、現在、喫食量）、入出庫日時（初回入庫、最新出庫、最新入庫）在庫（１：あり、０：なし）、賞味期限、及び産地とが記録されている。食品情報管理部１１５は、食品情報取得部１１４により記録された入庫食品情報１３２及び出庫食品情報１３３の情報に基づいて、庫内食品リスト１３１の生成及び更新を行う。 The food information management unit 115 manages the information of the food stored in the refrigerating room 10 by the food list 131 in the refrigerator (see FIG. 5). As shown in FIG. 16, in the food list 131 in the refrigerator, the numbers (1, 2, 3, ...) Attached to the foods stored in the refrigerating chamber 10 and the information of the foods stored in the refrigerators are numbered. The food name, weight (first time, current, amount of food), warehousing / delivery date / time (first warehousing, latest warehousing, latest warehousing) inventory (1: yes, 0: none), expiration date, and place of origin are recorded. .. The food information management unit 115 generates and updates the in-store food list 131 based on the information of the in-stock food information 132 and the out-of-delivery food information 133 recorded by the food information acquisition unit 114.

図１４のステップＳ１００で、食品情報管理部１１５は、入出庫判定部１１３により、冷蔵室１０への食品の入庫又は冷蔵室１０からの食品の出庫が判定されたか否かを判断し、入庫又は出庫が判定されたときにステップＳ１０１に処理を進める。ステップＳ１０１で、食品情報管理部１１５は、入庫の判定がなされたか否かを判断し、入庫の判定がなされたときはステップＳ１０２に処理を進める。一方、入庫の判定がなされなかったとき（出庫の判定がなされたとき）には、食品情報管理部１１５は、ステップＳ１１０に処理を進める。 In step S100 of FIG. 14, the food information management unit 115 determines whether or not the warehousing / delivery determination unit 113 determines whether or not the food is warehousing in the refrigerating room 10 or the food is warehousing from the refrigerating room 10. When the delivery is determined, the process proceeds to step S101. In step S101, the food information management unit 115 determines whether or not the warehousing is determined, and if the warehousing is determined, proceeds to step S102. On the other hand, when the warehousing is not determined (when the warehousing is determined), the food information management unit 115 proceeds to step S110.

ステップＳ１０２で、食品情報管理部１１５は、所定時間以内に冷蔵室１０からの出庫があったか否かを判断する。そして、所定時間以内に冷蔵室１０からの出庫があったときはステップＳ１０３に処理を進め、所定時間以内に冷蔵室１０からの出庫がなかったときにはステップＳ１１１に処理を進める。なお、所定時間以内に冷蔵室１０からの出庫があったことは、庫内食品リスト１３１から認識することができる。 In step S102, the food information management unit 115 determines whether or not there has been a delivery from the refrigerating room 10 within a predetermined time. Then, if there is a warehousing from the refrigerating room 10 within a predetermined time, the process proceeds to step S103, and if there is no warehousing from the refrigerating room 10 within a predetermined time, the process proceeds to step S111. It can be recognized from the food list 131 in the refrigerator that the refrigerator has been delivered from the refrigerator within a predetermined time.

ステップＳ１０３で、食品情報管理部１１５は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であるか否かを判断する。ここで、食品情報管理部１１５は、庫内食品リスト１３１に記録された前回出庫された商品の情報と、入庫食品情報１３２に記録された今回入庫された商品と情報とを対比して、食品名、賞味期限、産地等の一致状況から、前回出庫された食品と今回入庫された食品の一致率を算出する。 In step S103, the food information management unit 115 determines whether or not the matching rate between the food delivered last time and the food received this time is equal to or higher than a predetermined value. Here, the food information management unit 115 compares the information of the previously delivered food recorded in the food list 131 in the warehouse with the food and the information recorded this time in the food information 132 of the stocked food. From the matching status of the name, expiration date, production area, etc., the matching rate between the food that was delivered last time and the food that was received this time is calculated.

そして、食品情報管理部１１５は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であるときはステップＳ１０４に処理を進め、前回出庫された食品と今回入庫された食品との一致率が所定値未満であるときには、ステップＳ１１２に処理を進める。 Then, when the matching rate between the food delivered last time and the food received this time is equal to or higher than the predetermined value, the food information management unit 115 proceeds to step S104, and the food delivered last time and the food received this time are received. When the concordance rate with is less than a predetermined value, the process proceeds to step S112.

ステップＳ１０４は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であって、前回出庫された食品と今回入庫された食品とが同一物であると判断できる場合の処理である。ステップＳ１０４で、食品情報管理部１１５は、庫内食品リスト１３１において、所定時間以前に出庫した食品の現在重量、最新入庫日時、喫食量（初回入庫時と現在の重量の差）を、入庫食品情報１３２に記録された情報に基づいて更新し、図１５のステップＳ１０５に処理を進める。 Step S104 is a process in which the matching rate between the food delivered last time and the food received this time is equal to or higher than a predetermined value, and it can be determined that the food delivered last time and the food received this time are the same. Is. In step S104, the food information management unit 115 sets the current weight of the food delivered before the predetermined time, the latest warehousing date and time, and the amount of food (difference between the first warehousing and the current weight) in the food list 131 in the warehousing. It is updated based on the information recorded in the information 132, and the process proceeds to step S105 of FIG.

ステップＳ１１２は、前記出庫された食品と今回入庫された食品との一致率が所定値未満であって、前回出庫された食品と今回入庫された食品とが異なると判断できる場合の処理である。食品情報管理部１１５は、ステップＳ１１２で、庫内食品リスト１３１において、入庫食品情報１３２に記録された情報に基づいて入庫食品を新規登録し、図１５のステップＳ１０５に処理を進める。 Step S112 is a process in which the matching rate between the food delivered this time and the food delivered this time is less than a predetermined value, and it can be determined that the food delivered last time and the food received this time are different. In step S112, the food information management unit 115 newly registers the stored food based on the information recorded in the stored food information 132 in the stored food list 131, and proceeds to the process in step S105 of FIG.

ステップＳ１１１は、所定時間以前に出庫がなかった場合の処理である。食品情報管理部１１５は、ステップＳ１１１で、庫内食品リスト１３１において、入庫食品情報１３２に記録された情報に基づいて入庫食品を新規登録し、図１５のステップＳ１０５に処理を進める。 Step S111 is a process when there is no delivery before a predetermined time. In step S111, the food information management unit 115 newly registers the stored food based on the information recorded in the stored food information 132 in the stored food list 131, and proceeds to the process in step S105 of FIG.

ステップＳ１１０は、冷蔵室１０から食品が出庫されたと判定された場合の処理である。食品情報管理部１１５は、ステップＳ１１０で、庫内食品リスト１３１において、該当食品（出庫食品）の現在重量を０に更新する。また、食品情報管理部１１５は、庫内食品リスト１３１において、該当食品の喫食量を更新し、出庫食品情報１３３に記録された情報に基づいて最新出庫時刻を更新して、図１５のステップ１０５に処理を進める。 Step S110 is a process when it is determined that the food has been delivered from the refrigerating chamber 10. In step S110, the food information management unit 115 updates the current weight of the corresponding food (delivered food) to 0 in the in-store food list 131. Further, the food information management unit 115 updates the amount of food consumed in the food list 131 in the warehouse, updates the latest delivery time based on the information recorded in the food information 133, and steps 105 in FIG. Proceed to the process.

図１５のステップＳ１０５で、食品情報管理部１１５は、ステップＳ１１０の処理により現在重量が０グラムになった食品があるか否かを判断する。そして、食品情報管理部１１５は、現在重量が０グラムになった食品があるときはステップＳ１０５に処理を進め、現在重量が０グラムになった食品が無いときにはステップＳ１２０に処理を進める。 In step S105 of FIG. 15, the food information management unit 115 determines whether or not there is a food whose weight is currently 0 gram by the processing of step S110. Then, the food information management unit 115 proceeds to step S105 when there is a food having a weight of 0 g, and proceeds to step S120 when there is no food having a weight of 0 g.

ステップＳ１０６で、食品情報管理部１１５は、庫内食品リスト１３１の該当食品（今回、出庫されたと判定された食品）の情報を、‘在庫なし’（在庫０）に更新して、ステップＳ１０７に処理を進める。また、ステップＳ１２０で、食品情報管理部１１５は、庫内食品リスト１３１の該当食品（今回、入庫したと判定された食品）の情報を、‘在庫あり’（在庫１）に更新して、ステップＳ１０７に処理を進める。 In step S106, the food information management unit 115 updates the information of the corresponding food (food determined to have been delivered this time) in the food list 131 in the warehouse to'out of stock'(stock 0), and proceeds to step S107. Proceed with processing. Further, in step S120, the food information management unit 115 updates the information of the corresponding food (food determined to have been received this time) in the food list 131 in the warehouse to'in stock'(inventory 1), and steps. Proceed to S107.

ステップＳ１０７で、食品情報管理部１１５は、入庫食品情報１３２に賞味期限の情報が記録されているか否かを判断する。そして、食品情報管理部１１５は、入庫食品情報１３２に賞味期限の情報が記録されているときはステップＳ１０７に処理を進め、賞味期限の情報が記録されていないときにはステップＳ１２１に処理を進める。 In step S107, the food information management unit 115 determines whether or not the expiration date information is recorded in the in-stock food information 132. Then, the food information management unit 115 proceeds to the process in step S107 when the information on the expiration date is recorded in the stored food information 132, and proceeds to the process in step S121 when the information on the expiration date is not recorded.

ステップＳ１７１で、食品情報管理部１１５は、入庫食品情報１３２に記録された賞味期限の情報に基づいて、庫内食品リスト１３１に今回入庫された食品の賞味期限を記録し、ステップＳ１０７に処理を進める。また、ステップＳ１２１で、食品情報管理部１１５は、記憶部１３０に保存された賞味期限リスト１３５を参照して、該当食品の賞味期限を検索する。 In step S171, the food information management unit 115 records the expiration date of the food received this time in the in-store food list 131 based on the expiration date information recorded in the stored food information 132, and processes in step S107. Proceed. Further, in step S121, the food information management unit 115 searches for the expiration date of the corresponding food with reference to the expiration date list 135 stored in the storage unit 130.

賞味期限リスト１３５は、図１６に示したように、食品名と食品の賞味期限とを対応付けたリストであり、食品情報管理部１１５は、今回の入庫食品の食品名に対応付けられた賞味期限を検索する。続くステップＳ１２２で、食品情報管理部１１５は、庫内食品リスト１３１の該当食品のデータに賞味期限を記録して、ステップＳ１０７に処理を進める。 As shown in FIG. 16, the best-by-date list 135 is a list in which the food name and the best-by-date of the food are associated with each other, and the food information management unit 115 has the best-by-date associated with the food name of the food in stock this time. Search for deadlines. In the following step S122, the food information management unit 115 records the expiration date in the data of the corresponding food in the food list 131 in the refrigerator, and proceeds to the process in step S107.

ステップＳ１０７で、食品情報管理部１１５は、更新した庫内食品リスト１３１のデータを、無線通信部１４０により、通信ネットワーク５１０を介して管理サーバー５２０に送信し、「庫内食品管理処理」を終了する。 In step S107, the food information management unit 115 transmits the updated data of the food list 131 in the refrigerator to the management server 520 via the communication network 510 by the wireless communication unit 140, and ends the “food management process in the refrigerator”. do.

管理サーバー５２０は、冷蔵庫１から受信した庫内食品リスト１３１のデータを記憶装置（図示しない）に保存し、庫内食品リスト１３１から認識される各商品の喫食状況、賞味期限までの残日数等を、ユーザーの端末装置４００に送信する。これにより、ユーザーは、外出先等においても、端末装置４００により冷蔵庫１に収容された商品の状況を確認することができる。 The management server 520 stores the data of the food list 131 in the refrigerator received from the refrigerator 1 in a storage device (not shown), and the eating status of each product recognized from the food list 131 in the refrigerator, the number of days remaining until the expiration date, etc. Is transmitted to the user's terminal device 400. As a result, the user can check the status of the products stored in the refrigerator 1 by the terminal device 400 even when he / she is out.

［４．他の実施形態］
上記実施形態において、通過物体検出部１１１は、照度センサ１７ａ，１７ｂ，１７ｃにより検出される冷蔵室１０内の照度の変化によって、冷蔵室１０の開口部１０ａを通過する物体を検出した。通過物体検出部１１１の他の構成として、カメラ６０による撮像画像から開口部１０ａ付近の物体の画像部分を抽出することによって、開口部１０ａを通過する物体を検出してもよい。或いは、反射型又は透過型の光センサ、超音波センサ、静電容量センサ等により、開口部１０ａを通過する物体を検出するようにしてもよい。 [4. Other embodiments]
In the above embodiment, the passing object detection unit 111 detects an object passing through the opening 10a of the refrigerating chamber 10 by the change of the illuminance in the refrigerating chamber 10 detected by the illuminance sensors 17a, 17b, 17c. As another configuration of the passing object detection unit 111, an object passing through the opening 10a may be detected by extracting an image portion of an object near the opening 10a from the image captured by the camera 60. Alternatively, an object passing through the opening 10a may be detected by a reflective or transmissive optical sensor, an ultrasonic sensor, a capacitance sensor, or the like.

或いは、図３～図５に示したように、開口部１０ａを検出範囲に含み、開口部１０ａを通過する物体を直接検出する対物センサ８０（反射型又は透過型の光センサ、超音波センサ、静電容量センサ等）を用いてもよい。この場合、対物センサ８０の検出範囲を、開口部１０ａから冷蔵室１０内に向かう方向において、カメラ６０の撮像範囲６０ａよりも手前側に設定してもよい。これにより、開口部１０ａを通過する物体が検出された時点から、カメラ６０による撮像が実行されるまでの遅れ時間により、入庫される食品の撮像に失敗することを防止することができる。 Alternatively, as shown in FIGS. 3 to 5, an objective sensor 80 (reflection type or transmission type optical sensor, ultrasonic sensor, which includes the opening 10a in the detection range and directly detects an object passing through the opening 10a. Capacitance sensors, etc.) may be used. In this case, the detection range of the objective sensor 80 may be set closer to the image pickup range 60a of the camera 60 in the direction from the opening 10a toward the inside of the refrigerating chamber 10. As a result, it is possible to prevent the image of the food to be stored from failing due to the delay time from the time when the object passing through the opening 10a is detected to the time when the image is taken by the camera 60.

また、開閉センサ１８ａにより左ドア１２開けられたことが検出されたとき、及び開閉センサ１８ｂにより右ドア１１が開けられたことが検出されたときに、カメラ６０への通電を開始して、カメラ６０による撮像を可能にしてもよい。この構成によれば、左ドア１２と右ドアが閉められているときは、カメラ６０への通電を遮断して節電することができる。また、右ドア又は左ドア１２が開けられたタイミングでカメラ６０への通電を開始することによって、カメラ６０の起動の遅れにより入庫される食品の撮像に失敗することを防止することができる。 Further, when the opening / closing sensor 18a detects that the left door 12 has been opened, and the opening / closing sensor 18b detects that the right door 11 has been opened, the camera 60 is energized to start energizing the camera. Imaging by 60 may be possible. According to this configuration, when the left door 12 and the right door are closed, the power supply to the camera 60 can be cut off to save power. Further, by starting the energization of the camera 60 at the timing when the right door or the left door 12 is opened, it is possible to prevent the image of the food to be stored from failing due to the delay in starting the camera 60.

また、食品情報取得部１１４は、通過物体検出部１１１により、開口部１０ａを通過する物体が検出された時から所定時間以内に、開閉センサ１８ａにより左ドア１２が開状態から閉状態に切り替わったことが検出されたとき、又は開閉センサ１８ｂにより右ドア１１が開状態から閉状態に切り替わったことが検出されたときには、カメラ６０により撮像された画像データを無効にする構成としてもよい。この構成によれば、左ドア１２又は右ドア１１が閉められる際に、左ドア１２又は右ドア１１が通過物体検出部１１１により検出されてカメラ６０により撮像されたときに、左ドア１２又は右ドア１１の画像から、誤った食品の情報が抽出されることを防止することができる。 Further, in the food information acquisition unit 114, the left door 12 is switched from the open state to the closed state by the open / close sensor 18a within a predetermined time from the time when the passing object detection unit 111 detects the object passing through the opening 10a. When it is detected that the right door 11 is switched from the open state to the closed state by the open / close sensor 18b, the image data captured by the camera 60 may be invalidated. According to this configuration, when the left door 12 or the right door 11 is closed, when the left door 12 or the right door 11 is detected by the passing object detection unit 111 and imaged by the camera 60, the left door 12 or the right It is possible to prevent erroneous food information from being extracted from the image of the door 11.

上記実施形態において、収容量認識部１１２は、重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂによる検出重量に基づいて、冷蔵室１０の各棚１３，１４，１５に収容されている食品の量を認識した。収容量認識部１１２の他の構成として、照明部１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆを点灯させた状態での照度センサ１７ａ，１７ｂ，１７ｃによる検出照度に基づいて、冷蔵室１０の各棚１３，１４，１５に収容されている食品の量を認識してよい。或いは、カメラ６０又は別に配置したカメラによる冷蔵室１０の内部の撮像画像から、食品の画像部分を抽出することによって、冷蔵室１０の各棚１３，１４，１５に収容されている食品の量を認識してもよい。 In the above embodiment, the storage capacity recognition unit 112 is the food stored in the shelves 13, 14, 15 of the refrigerating chamber 10 based on the weight detected by the weight sensors 13a, 13b, 14a, 14b, 15a, 15b. Recognized the amount. As another configuration of the accommodation capacity recognition unit 112, each of the refrigerating chambers 10 is based on the detected illuminance by the illuminance sensors 17a, 17b, 17c in the state where the lighting units 16a, 16b, 16c, 16d, 16e, 16f are lit. The amount of food contained in the shelves 13, 14 and 15 may be recognized. Alternatively, the amount of food contained in the shelves 13, 14, 15 of the refrigerating chamber 10 can be determined by extracting an image portion of the food from the image captured inside the refrigerating chamber 10 by the camera 60 or a separately arranged camera. You may recognize it.

上記実施形態では、カメラ６０の撮像画像に対する処理を画像処理部１２０により行ったが、画像処理部１２０の機能をＣＰＵ１１０に備えて、ＣＰＵ１１０により撮像画像に対する処理を行ってもよい。 In the above embodiment, the image processing unit 120 performs the processing on the captured image of the camera 60, but the CPU 110 may be provided with the function of the image processing unit 120 and the CPU 110 may perform the processing on the captured image.

上記実施形態では、サンプル画像１３４と賞味期限リスト１３５のデータを、記憶部１３０に保存したが、管理サーバー５２０に保存して、使用時に管理サーバー５２０から冷蔵庫１の制御ユニット１００にダウンロードするようにしてもよい。 In the above embodiment, the data of the sample image 134 and the expiration date list 135 are stored in the storage unit 130, but they are stored in the management server 520 and downloaded from the management server 520 to the control unit 100 of the refrigerator 1 at the time of use. You may.

また、サンプル画像１３４を記憶部１３０又は管理サーバー５２０に保存するとしたが、色や形、大きさなどの各々の食品や収納物の特徴を事前に学習した画像認識プログラムをＣＰＵ１１０に実装しておき、入庫食品の画像部分を画像認識プログラムで処理をして一致率を算出し入庫食品の食品名と推定して取得してもよい。これによってサンプル画像１３４は不要となって記憶部１３０または管理サーバー５２０で保存する記憶容量を小さくすることができ、入庫食品の食品名を推定する認識処理時間も早く処理できる。出庫食品の食品名の推定も上記と同様に処理することができる。 Further, although the sample image 134 is stored in the storage unit 130 or the management server 520, an image recognition program in which the characteristics of each food or stored item such as color, shape, and size are learned in advance is mounted on the CPU 110. , The image portion of the stored food may be processed by an image recognition program to calculate the matching rate and presumed to be the food name of the stored food. As a result, the sample image 134 becomes unnecessary, the storage capacity stored in the storage unit 130 or the management server 520 can be reduced, and the recognition processing time for estimating the food name of the stored food can be processed quickly. The estimation of the food name of the delivered food can be processed in the same manner as described above.

上記実施形態では、冷蔵庫１の冷蔵室１０について、入出庫判定部１１３により食品の入庫と出庫を判別して、食品情報取得部１１４により入庫食品及び出庫食品の情報を取得し、食品情報管理部１１５により冷蔵室１０に収容された食品の情報を管理した。切換室２０、冷凍室４０、及び野菜室５０についても、開口部２０ａ，４０ａ，５０ａを通過する物体を検出する通過物体検出部と、収容された食品の量を認識する収容量認識部を備えることにより、食品の入庫と出庫を判定することができる。 In the above embodiment, for the refrigerating room 10 of the refrigerator 1, the warehousing / delivery determination unit 113 determines whether the food is warehousing or warehousing, the food information acquisition unit 114 acquires information on the warehousing food and the warehousing food, and the food information management unit. Information on the food contained in the refrigerator compartment 10 was managed by 115. The switching chamber 20, the freezing chamber 40, and the vegetable compartment 50 also have a passing object detection unit that detects an object passing through the openings 20a, 40a, and 50a, and a storage capacity recognition unit that recognizes the amount of food contained. Thereby, it is possible to determine the receipt and delivery of food.

また、外部に配置したカメラにより、切換室２０、冷凍室４０、及び野菜室５０の開口部２０ａ，４０ａ，５０ａを通過する食品を撮像する構成としてもよい。この構成によれば、カメラレンズの曇りを防止するための構成を不要として、カメラにより開口部２０ａ，４０ａ，５０ａを含む範囲を撮像することができる。そして、撮像画像から入庫食品及び出庫食品の情報を取得することにより、切換室２０、冷凍室４０、及び野菜室５０に収容された食品の情報を取得して、食品の管理を行うことができる。 Further, a camera arranged outside may be configured to take an image of food passing through the openings 20a, 40a, 50a of the switching chamber 20, the freezing chamber 40, and the vegetable chamber 50. According to this configuration, the range including the openings 20a, 40a, and 50a can be imaged by the camera without the need for a configuration for preventing fogging of the camera lens. Then, by acquiring the information on the food in and out from the captured image, it is possible to acquire the information on the food contained in the switching room 20, the freezing room 40, and the vegetable room 50 and manage the food. ..

以上のように、本発明にかかる冷蔵庫は、収容室の開口部を通過する食品を収容室の外部に配置されたカメラにより撮像することによって、カメラレンズの曇りを防止するための構成を不要として、収容室に収容されている食品の情報をより確実に取得して管理することができるので、冷蔵庫に収容された食品を管理する用途に適用することができる。 As described above, the refrigerator according to the present invention does not require a configuration for preventing fogging of the camera lens by taking an image of food passing through the opening of the containment chamber with a camera arranged outside the containment chamber. Since the information on the food stored in the storage room can be acquired and managed more reliably, it can be applied to the purpose of managing the food stored in the refrigerator.

１ 冷蔵庫
１０ 冷蔵室
１０ａ 開口部
１１ 右ドア
１２ 左ドア
１３ 上棚
１３ 棚
１３ａ、１３ｂ 重量センサ
１４ 中棚
１４ａ、１４ｂ 重量センサ
１５ 下棚
１５ａ、１５ｂ 重量センサ
１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｒ、１６ｆ 照明部
１７ａ、１７ｂ、１７ｃ 照度センサ
１８ａ、１８ｂ 開閉センサ
１９ 冷蔵室１０の天板
２０ 切換室
２０ａ 開口部
２２ 開閉センサ
３０ 製氷室
３０ａ 開口部
３２ 開閉センサ
３２ ステップ
３２ 開閉センサ
４０ ステップ
４０ 冷凍室
４０ａ 開口部
４２ 開閉センサ
５０ 野菜室
５０ａ 開口部
５２ 開閉センサ
６０ カメラ
６１ 圧縮機
６２ 冷却ファン
６３ 冷却器
６４ 凝縮器
１００ 制御ユニット
１１０ ＣＰＵ
１１１ 通過物体検出部
１１２ 収容量認識部
１１３ 入出庫判定部
１１４ 食品情報取得部
１１５ 食品情報管理部
１２０ 画像処理部
１２１ 画像メモリ
１３０ 記憶部
１３１ 庫内食品リスト
１３２ 入庫食品情報
１３３ 出庫食品情報
１３４ サンプル画像
１３５ 賞味期限リスト
１４０ 無線通信部
１４１ 日時認識部
２１０ 目隠し部
４００ 端末装置
５００ ゲートウェイ
５１０ 通信ネットワーク
５２０ 管理サーバー 1 Refrigerator 10 Refrigerator room 10a Opening 11 Right door 12 Left door 13 Upper shelf 13 Shelf 13a, 13b Weight sensor 14 Middle shelf 14a, 14b Weight sensor 15 Lower shelf 15a, 15b Weight sensor 16a, 16b, 16c, 16d, 16r, 16f Illumination unit 17a, 17b, 17c Illumination sensor 18a, 18b Open / close sensor 19 Top plate of refrigerating room 10 20 Switching room 20a Opening 22 Open / close sensor 30 Ice making room 30a Opening 32 Open / close sensor 32 step 32 Open / close sensor 40 step 40 Freezing room 40a Opening 42 Open / close sensor 50 Vegetable room 50a Opening 52 Open / close sensor 60 Camera 61 Compressor 62 Cooling fan 63 Cooler 64 Condenser 100 Control unit 110 CPU
111 Passing object detection unit 112 Storage capacity recognition unit 113 Entry / exit judgment unit 114 Food information acquisition unit 115 Food information management unit 120 Image processing unit 121 Image memory 130 Storage unit 131 In-ware food list 132 In-store food information 133 Outgoing food information 134 Samples Image 135 Expiration date list 140 Wireless communication unit 141 Date and time recognition unit 210 Blindfold unit 400 Terminal device 500 Gateway 510 Communication network 520 Management server

本発明は、収容室に収容されている食品の情報をより確実に取得して管理することができる冷蔵庫を提供することを目的とする。 An object of the present invention is to provide a refrigerator capable of more reliably acquiring and managing information on food contained in a containment chamber .

本発明の冷蔵庫は、開口部を有し、前記冷蔵庫の最上段に設けられた第１収容室と、前記冷蔵庫の庫外、かつ、前記第１収容室の天板の前端に設けられ、前記開口部から前記第１収容室に設けられた棚の前端までの範囲を撮像して、前記棚に入庫される食品及び前記棚から出庫される食品を撮像するカメラと、を備えるものである。 The refrigerator of the present invention has an opening and is provided in a first storage chamber provided at the uppermost stage of the refrigerator, outside the refrigerator, and at the front end of the top plate of the first storage chamber. It is provided with a camera that captures a range from the opening to the front end of the shelf provided in the first storage chamber to image the food stored in the shelf and the food delivered from the shelf .

本発明によれば、収容室に収容されている食品の情報をより確実に取得して管理することができる。 According to the present invention, it is possible to more reliably acquire and manage information on foods contained in a containment chamber.

Claims (4)

冷蔵庫であって、
開口部を有し、前記冷蔵庫の最上段に設けられた収容室と、
前記収容室に設けられた扉と、
前記収容室の外部、かつ、前記冷蔵庫の上部に設けられ、前記開口部を通過する物体を撮像するカメラと、
前記扉が閉まっている状態において前記扉のうち前記カメラに対向する位置に設けられ、前記カメラを収納する目隠し部と
を備えていることを特徴とする冷蔵庫。 It ’s a refrigerator,
A storage room having an opening and provided at the top of the refrigerator,
The door provided in the containment room and
A camera provided outside the containment chamber and above the refrigerator to capture an object passing through the opening.
A refrigerator provided at a position of the door facing the camera when the door is closed, and provided with a blindfold portion for accommodating the camera. 前記扉は観音開き式の扉で構成され、
前記目隠し部は前記観音開き式の扉のうち一方の扉に設けられる
ことを特徴とする請求項１に記載の冷蔵庫。 The door is composed of double doors.
The refrigerator according to claim 1, wherein the blindfold portion is provided on one of the double doors. 前記目隠し部は前記観音開き式の扉のうち幅が広い方の扉に設けられる
ことを特徴とする請求項２に記載の冷蔵庫。 The refrigerator according to claim 2, wherein the blindfold portion is provided on the wider door of the double doors. 前記収容室は冷蔵室である
ことを特徴とする請求項１から３のいずれか１項に記載の冷蔵庫。 The refrigerator according to any one of claims 1 to 3, wherein the storage room is a refrigerating room.
JP2021212787A 2017-10-06 2021-12-27 refrigerator Active JP7386459B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021212787A JP7386459B2 (en) 2017-10-06 2021-12-27 refrigerator
JP2023186805A JP2023181404A (en) 2017-10-06 2023-10-31 refrigerator

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017196353A JP7012262B2 (en) 2017-10-06 2017-10-06 refrigerator
JP2021212787A JP7386459B2 (en) 2017-10-06 2021-12-27 refrigerator

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017196353A Division JP7012262B2 (en) 2017-10-06 2017-10-06 refrigerator

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023186805A Division JP2023181404A (en) 2017-10-06 2023-10-31 refrigerator

Publications (2)

Publication Number Publication Date
JP2022033235A true JP2022033235A (en) 2022-02-28
JP7386459B2 JP7386459B2 (en) 2023-11-27

Family

ID=66066334

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017196353A Active JP7012262B2 (en) 2017-10-06 2017-10-06 refrigerator
JP2021212787A Active JP7386459B2 (en) 2017-10-06 2021-12-27 refrigerator
JP2023186805A Pending JP2023181404A (en) 2017-10-06 2023-10-31 refrigerator

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017196353A Active JP7012262B2 (en) 2017-10-06 2017-10-06 refrigerator

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023186805A Pending JP2023181404A (en) 2017-10-06 2023-10-31 refrigerator

Country Status (2)

Country Link
JP (3) JP7012262B2 (en)
CN (1) CN109631484A (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7137369B2 (en) * 2018-06-21 2022-09-14 東芝ライフスタイル株式会社 refrigerator
DE102019211351A1 (en) * 2019-07-30 2021-02-04 BSH Hausgeräte GmbH Household refrigeration device with a digital camera
CN113932553A (en) * 2020-07-14 2022-01-14 青岛海尔电冰箱有限公司 Refrigerator and control method thereof
JP2022035347A (en) * 2020-08-20 2022-03-04 日立グローバルライフソリューションズ株式会社 Method for processing image data in refrigerator and refrigerator

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003042626A (en) * 2001-07-26 2003-02-13 Toshiba Corp Refrigerator
JP2015081762A (en) * 2013-10-24 2015-04-27 三菱電機株式会社 Refrigerator
JP2016023854A (en) * 2014-07-18 2016-02-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Determination device and determination method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004183987A (en) 2002-12-04 2004-07-02 Hitachi Home & Life Solutions Inc Refrigerator
JP6411753B2 (en) * 2013-03-12 2018-10-24 東芝ライフスタイル株式会社 Refrigerator and camera device
JP6391943B2 (en) * 2013-03-12 2018-09-19 東芝ライフスタイル株式会社 Refrigerator, camera device, internal image display program
JP6402353B2 (en) * 2013-03-29 2018-10-10 パナソニックＩｐマネジメント株式会社 Refrigerator and refrigerator system
JP6239902B2 (en) * 2013-08-28 2017-11-29 東芝ライフスタイル株式会社 Camera device for storage and storage with the same
JP5918210B2 (en) 2013-12-26 2016-05-18 ソフトバンク株式会社 Management system and program
JP6266374B2 (en) * 2014-02-14 2018-01-24 東芝ライフスタイル株式会社 Storage device, image processing device, image processing method, and program
JP6577365B2 (en) * 2014-08-26 2019-09-18 アクア株式会社 Nutrient amount calculation device and refrigerator equipped with the same
CN104482715B (en) * 2014-12-31 2016-08-24 合肥华凌股份有限公司 The management method of food and refrigerator in refrigerator
WO2016162956A1 (en) 2015-04-07 2016-10-13 三菱電機株式会社 Refrigerator
CN204806827U (en) * 2015-05-29 2015-11-25 青岛海尔股份有限公司 Refrigerator
CN106918180A (en) * 2015-12-24 2017-07-04 博西华电器（江苏）有限公司 Refrigerator
CN206100214U (en) * 2016-08-31 2017-04-12 海信（山东）冰箱有限公司 Camera device and refrigeration plant
CN106210481B (en) * 2016-08-31 2022-01-25 海信（山东）冰箱有限公司 Camera module and refrigeration equipment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003042626A (en) * 2001-07-26 2003-02-13 Toshiba Corp Refrigerator
JP2015081762A (en) * 2013-10-24 2015-04-27 三菱電機株式会社 Refrigerator
JP2016023854A (en) * 2014-07-18 2016-02-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Determination device and determination method

Also Published As

Publication number Publication date
CN109631484A (en) 2019-04-16
JP7386459B2 (en) 2023-11-27
JP2023181404A (en) 2023-12-21
JP2019070477A (en) 2019-05-09
JP7012262B2 (en) 2022-01-28

Similar Documents

Publication Publication Date Title
JP7012263B2 (en) refrigerator
JP2022033235A (en) refrigerator
JP7012261B2 (en) refrigerator
JP7281755B2 (en) refrigerator
JP7340766B2 (en) refrigerator
US11335010B2 (en) Methods for viewing and tracking stored items
JP6655908B2 (en) Refrigerators and programs
JP2015072109A (en) Refrigerator
WO2021057769A1 (en) Method for viewing and tracking stored items
US11288506B2 (en) Refrigerator appliances and methods for tracking stored items
JP7289083B2 (en) refrigerator
JP7289084B2 (en) refrigerator
JP2023099664A (en) refrigerator
CN116348727B (en) Refrigeration appliance and user identification method
US11800068B1 (en) Refrigerator camera modules and methods for conserving energy at the same
WO2023185834A1 (en) Refrigerator camera module, and method for resolving persistent issue on camera lens

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231102

R151 Written notification of patent or utility model registration

Ref document number: 7386459

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151