JP2023099664A - refrigerator - Google Patents

refrigerator Download PDF

Info

Publication number
JP2023099664A
JP2023099664A JP2023081987A JP2023081987A JP2023099664A JP 2023099664 A JP2023099664 A JP 2023099664A JP 2023081987 A JP2023081987 A JP 2023081987A JP 2023081987 A JP2023081987 A JP 2023081987A JP 2023099664 A JP2023099664 A JP 2023099664A
Authority
JP
Japan
Prior art keywords
food
image
time
unit
opening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023081987A
Other languages
Japanese (ja)
Inventor
和宏 村上
Kazuhiro Murakami
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021212788A external-priority patent/JP7289084B2/en
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2023081987A priority Critical patent/JP2023099664A/en
Publication of JP2023099664A publication Critical patent/JP2023099664A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

To provide a refrigerator which can acquire information of foods stored in a storage room in a more reliable manner.SOLUTION: A refrigerator 1 includes a food information acquisition part 114 which causes a camera 60 to capture images multiple times in a time period from when opening/closing sensors 18a, 18b detect doors 11, 12 being switched from a closed state to an open state to when the opening/closing sensors 18a, 18b detect the doors 11, 12 being switched from the open state to the closed state and stores the captured images in a storage part 130 at a first imaging moment when a first predetermined time elapsed from a moment when the opening sensors 18a, 18b detect the doors 11, 12 being switched from the closed state to the open state.SELECTED DRAWING: Figure 5

Description

本発明は、冷蔵庫に関する。 The present invention relates to refrigerators.

従来、食品の収容室内の中央部に庫内カメラを設置して、収容室のドアが開閉された時に収容室内を庫内カメラで撮像し、時系列の撮像画像から、食品が収容された時の画像と現在の画像とを並べて出力するようにした冷蔵庫が提案されている（例えば、特許文献１参照）。特許文献１に記載された冷蔵庫では、収容室内の食品の配置状況によっては、庫内カメラの撮像方向で食品が重なり合って、撮像画像から一部の食品が認識できない場合がある。
そこで、収容室のドアの開閉を検出するスイッチと、収容室の開口部を撮像範囲とするカメラを設け、収納室に収容されている食品ではなく、ドアが開けられたときに開口部から入庫或いは出庫される食品を撮像するようにした冷蔵庫が提案されている（例えば、特許文献２参照）。 Conventionally, an in-fridge camera is installed in the center of the food storage room, and when the door of the storage room is opened and closed, the inside of the storage room is imaged by the in-fridge camera. A refrigerator has been proposed in which the current image and the current image are output side by side (see Patent Document 1, for example). In the refrigerator described in Patent Literature 1, depending on the arrangement of the food items in the accommodation room, the food items may overlap in the imaging direction of the camera inside the refrigerator, and some of the food items may not be recognized from the captured image.
Therefore, we installed a switch that detects the opening and closing of the door of the storage room and a camera that captures the opening of the storage room. Alternatively, a refrigerator has been proposed in which images of foods to be delivered are taken (see Patent Document 2, for example).

特開２０１６－５７０２２号公報JP 2016-57022 A 特開２０１５－８１７６２号公報JP 2015-81762 A

本発明は、収容室に入庫される食品の情報をより確実に取得することができる冷蔵庫を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a refrigerator capable of more reliably acquiring information on food stored in a storage room.

本発明の冷蔵庫は、開口部を有する収容室と、前記収容室に設けられたドアと、前記ドアの開閉状態を検出する開閉センサと、前記開口部を含む撮像範囲を撮像するカメラと、記憶部と、前記開閉センサにより前記ドアが閉状態から開状態に切り替わったことが検出された時から、その後、前記開閉センサにより前記ドアが開状態から閉状態に切り替わったことが検出されるまでの間に、前記カメラによる撮像を複数回実行し、前記開閉センサにより前記ドアが閉状態から開状態に切り替わったことが検出された時から第１所定時間が経過した第１撮像時点における撮像画像を前記記憶部に保存する食品情報取得部と、を備えるものである。 A refrigerator according to the present invention comprises a storage chamber having an opening, a door provided in the storage chamber, an open/close sensor for detecting an open/closed state of the door, a camera for imaging an imaging range including the opening, and a memory. and a period from when the opening/closing sensor detects that the door has been switched from the closed state to the open state until the opening/closing sensor detects that the door has been switched from the open state to the closed state. During this time, the camera performs image capturing a plurality of times, and an image captured at a first image capturing time after a first predetermined time has passed since the open/close sensor detects that the door has been switched from the closed state to the open state. and a food information acquisition unit stored in the storage unit.

本発明によれば、収容室に入庫される食品の情報をより確実に取得することができる。 ADVANTAGE OF THE INVENTION According to this invention, the information of the food stocked in a storage room can be acquired more reliably.

家屋に設置された冷蔵庫に収容された食品の状況を、端末装置により確認する構成の説明図An explanatory diagram of a configuration for confirming the status of food stored in a refrigerator installed in a house using a terminal device. 冷蔵庫の外観の説明図Explanatory drawing of the appearance of the refrigerator 冷蔵庫の庫内の構成を、右側から見た断面図により示した説明図Explanatory diagram showing the configuration of the interior of the refrigerator by a cross-sectional view seen from the right side 冷蔵室の内部構成を、正面から見た断面図により示した説明図Explanatory diagram showing the internal configuration of the refrigerator compartment in a cross-sectional view seen from the front 制御ユニットの構成図Configuration diagram of the control unit 制御ユニットによる全体的な処理を示したフローチャートFlowchart showing overall processing by the control unit 撮像処理のフローチャートFlowchart of imaging processing 重量情報処理のフローチャートWeight information processing flow chart 入庫時画像の分析処理のフローチャートFlowchart of analysis processing of images at the time of warehousing 出庫時画像の分析処理のフローチャートFlowchart of analysis processing of images at the time of delivery 重量センサ補正処理のフローチャートFlowchart of weight sensor correction processing 庫内食品管理処理の第１のフローチャート1st flow chart of internal food management process 庫内食品管理処理の第２のフローチャートSecond flow chart of internal food management process 庫内食品リスト及び賞味期限基準リストの説明図Explanatory diagram of the list of foods in the refrigerator and the standard list of expiration dates 撮像処理の別実施形態のフローチャートFlowchart of another embodiment of imaging processing

第１の発明は、開口部を有する収容室と、開口部を開閉する開閉部と、前記開閉部の開閉状態を検出する開閉センサと、前記開口部を含む撮像範囲を撮像するカメラと、記憶部と、前記開閉センサにより前記開閉部が閉状態から開状態に切り替わったことが検出された時から、前記開閉センサにより前記開閉部が開状態から閉状態に切り替わったことが検出されるまでの間に、前記収容室に入庫される食品が前記開口部を通過する時点を想定して設定された第１撮像時点に前記カメラによる撮像を行って、該第１撮像時点における撮像画像を入庫時画像として前記記憶部に保存し、前記収容室から出庫された食品が前記開口部を通過する時点を想定して設定された第２撮像時点に前記カメラによる撮像を行って、該第２撮像時点における撮像画像を出庫時画像として前記記憶部に保存して、前記入庫時画像及び前記出庫時画像に基づいて、前記収容室に入庫される食品及び前記収容室から出庫される食品の情報を取得する食品情報取得部とを備えている。
第１の発明によれば、食品情報取得部は、収容部に入庫される食品が収容部の開口部を通過する時点を想定した第１撮像時点に撮像した入庫時画像、及び収容室から出庫される食品が開口部を通過する時点を想定した第２撮像時点に撮像した出庫時画像を記憶部に保存する。そして、食品情報取得部は、食品の画像部分が含まれる可能性が高い入庫時画像及び出庫時画像に基づいて、収容室に入庫される食品及び収容室から出庫される食品の情報を、より確実に取得することができる。 A first invention comprises a storage chamber having an opening, an opening/closing portion for opening/closing the opening, an opening/closing sensor for detecting the opening/closing state of the opening/closing portion, a camera for imaging an imaging range including the opening, and a memory. and a period from when the opening/closing sensor detects that the opening/closing portion has been switched from the closed state to the open state until the opening/closing sensor detects that the opening/closing portion has been switched from the open state to the closed state. In the meantime, an image is captured by the camera at a first image capturing time set on the assumption that the food stored in the storage chamber passes through the opening, and the captured image at the first image capturing time is obtained at the time of receipt. The food is stored as an image in the storage unit, and an image is captured by the camera at a second imaging time set on the assumption that the food delivered from the storage chamber passes through the opening. store the captured image in the storage unit as an image at the time of leaving in the storage unit, and acquire information on the food to be stored in the storage room and the food to be delivered from the storage room based on the image at the time of storage and the image at the time of delivery. and a food information acquisition unit.
According to the first aspect of the invention, the food information acquiring unit obtains an image at the time of entering the storage unit and an image taken at a first imaging time at which the food entering the storage unit passes through the opening of the storage unit. An image at the time of delivery captured at a second image capturing time assuming the time at which the food to be delivered passes through the opening is stored in the storage unit. Then, the food information acquisition unit obtains information on the food to be stored in the accommodation room and the food to be delivered from the accommodation room based on the image at the time of entering and the image at the time of delivery, which are highly likely to include the image portion of the food. can be obtained with certainty.

第２の発明は、前記収容室内の照度を検出する照度センサと、前記開閉センサにより前記開閉部が閉状態から開状態に切り替わったことが検出された時点における前記照度センサの検出照度に基づいて、第１基準照度及び第２基準照度を設定し、前記照度センサの検出照度が前記第１基準照度以下になった時点に基づいて前記第１撮像時点を設定し、前記照度センサの検出照度が前記第１基準照度以下になった後に前記第２基準照度以上となった時点に基づいて前記第２撮像時点を設定する撮像時点設定部とを備えている。
第２の発明によれば、収容室における物体（食品、ユーザーの手等）の存在状況に応じて、収容室内の照度が変化する。そのため、照度センサにより検出される収容室内の照度の変化に基づいて、収容室に入庫される食品が開口部を通過する時点を想定した第１撮像時点、及び収容室から出庫される食品が開口部を通過する時点を想定した第２撮像時点を適切に設定することができる。 A second invention is based on an illuminance sensor for detecting the illuminance in the storage chamber, and the illuminance detected by the illuminance sensor at the time when the opening/closing sensor detects that the opening/closing section is switched from the closed state to the open state. , setting a first reference illuminance and a second reference illuminance, setting the first imaging time based on the time when the illuminance detected by the illuminance sensor becomes equal to or less than the first reference illuminance, and setting the illuminance detected by the illuminance sensor an imaging time point setting unit configured to set the second imaging time point based on a time point when the illuminance becomes equal to or greater than the second reference illuminance after the illuminance becomes equal to or less than the first reference illuminance.
According to the second invention, the illuminance in the storage room changes according to the presence of objects (food, user's hand, etc.) in the storage room. Therefore, based on the change in the illuminance in the storage room detected by the illuminance sensor, the first imaging time, which assumes the time when the food entering the storage room passes through the opening, and the time when the food leaving the storage room is opened. It is possible to appropriately set the second imaging time assuming the time of passing through the part.

第３の発明は、前記開閉センサにより前記開閉部が閉状態から開状態に切り替わったことが検出された時点から第１所定時間が経過した時点を、前記第１撮像時点として設定し、前記開閉センサにより前記開閉部が開状態から閉状態に切り替わったことが検出された時点よりも第２所定時間前の時点を、前記第２撮像時点として設定する撮像時点設定部を備えている。
第３の発明によれば、ユーザーが収容部の開閉部を開けてから食品を入庫するまでの時間、及びユーザーが収容室から食品を出庫してから開閉部を閉めるまでの時間は、収容室内の保冷状態を維持するために、比較的短い一定時間になることが期待できる。そこで、第１所定時間及び第２所定時間の設定という簡易な構成により、第１撮像時点及び第２撮像時点を設定することができる。 In a third aspect of the present invention, the opening/closing sensor sets a point in time when a first predetermined time has elapsed from a point in time when the opening/closing sensor detects that the opening/closing portion has switched from the closed state to the open state, as the first imaging point in time. The imaging time point setting unit sets a time point a second predetermined time before the time point when the sensor detects that the opening/closing part is switched from the open state to the closed state as the second imaging time point.
According to the third invention, the time from when the user opens the opening/closing part of the storage part to when the food is stored, and the time from when the user takes out the food from the storage room to when the opening/closing part is closed are In order to maintain the cold insulation state, it can be expected that it will be a relatively short fixed time. Therefore, the first imaging time point and the second imaging time point can be set by a simple configuration of setting the first predetermined time period and the second predetermined time period.

第４の発明は、前記食品情報取得部は、前記第１撮像時点が経過してから、前記開閉センサにより前記開閉部が開状態から閉状態に切り替わったことが検出されるまでの間、前記カメラによる撮像を繰り返し実行して撮像画像を前記記憶部に保存し、前記開閉センサにより前記開閉部が開状態から閉状態に切り替わったことが検出されたときに、前記開閉センサにより前記開閉部が開状態から閉状態に切り替わったことが検出された時点よりも前記第２所定時間前の時点に撮像して前記記憶部に記憶した撮像画像を、前記出庫時画像として保存する。
第４の発明によれば、食品情報取得部は、第１撮像時点が経過してから、開閉センサにより開閉部が開状態から閉状態に切り替わったことが検出されるまでの間、カメラによる撮像を繰り返し実行して撮像画像を記憶部に保存する。そして、これにより、開閉センサにより開閉部が開状態から閉状態に切り替わったことが検出された時点よりも第２所定時間前の時点での撮像画像を、出庫時画像として保存することができる。 In a fourth aspect of the invention, the food information acquisition unit performs the above-described When the opening/closing sensor detects that the opening/closing part is switched from the open state to the closed state, the opening/closing part is opened by the opening/closing sensor. The captured image captured at the second predetermined time before the detection of switching from the open state to the closed state and stored in the storage unit is saved as the leaving image.
According to the fourth invention, the food information acquisition unit captures images with the camera during the period from the lapse of the first image capturing time until the opening/closing sensor detects that the opening/closing unit has switched from the open state to the closed state. is repeatedly executed to store the captured image in the storage unit. Thus, the captured image at the second predetermined time before the opening/closing sensor detects that the opening/closing part is switched from the open state to the closed state can be saved as the leaving image.

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本実施の形態によって本発明が限定されるものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. It should be noted that the present invention is not limited by this embodiment.

［１．冷蔵庫の使用態様］
図１は、本実施形態の冷蔵庫の使用態様を示している。本実施形態の冷蔵庫１は、家屋Ｈに設置され、ゲートウェイ５００及び通信ネットワーク５１０を介して管理サーバー５２０との間で通信を行う機能を有している。また、冷蔵庫１は、端末装置（スマートフォン、タブレット端末等）４００との間で通信を行う機能を有している。端末装置４００は、ゲートウェイ５００及び通信ネットワーク５１０を介して管理サーバー５２０との間で通信を行う機能を有している。 [1. How to use the refrigerator]
FIG. 1 shows how the refrigerator of this embodiment is used. The refrigerator 1 of this embodiment is installed in the house H and has a function of communicating with the management server 520 via the gateway 500 and the communication network 510 . The refrigerator 1 also has a function of communicating with a terminal device (smartphone, tablet terminal, etc.) 400 . Terminal device 400 has a function of communicating with management server 520 via gateway 500 and communication network 510 .

冷蔵庫１に備えられた制御ユニット１００は、冷蔵庫１の全体的な作動を制御すると共に、冷蔵庫１の収容室に収容されている食品の情報を示す庫内食品リスト１３１を生成して管理サーバー５２０に送信する。端末装置４００において実行される冷蔵庫の管理用アプリケーションは、管理サーバー５２０から庫内食品リスト１３１のデータを取得することにより、或いは冷蔵庫１から庫内食品リスト１３１のデータを取得することにより、庫内食品リスト１３１に基づいて、冷蔵庫１に収容されている食品の情報を表示部に表示する。冷蔵庫１のユーザーＰは、端末装置４００の表示を視認することにより、冷蔵庫１に収容されている食品の状況（食品名、賞味期限、残量等）を確認することができる。 A control unit 100 provided in the refrigerator 1 controls the overall operation of the refrigerator 1, generates a refrigerator food list 131 indicating information on foods stored in the storage chambers of the refrigerator 1, and sends it to the management server 520. Send to The refrigerator management application executed in the terminal device 400 obtains data of the refrigerator food list 131 from the management server 520 or obtains data of the refrigerator food list 131 from the refrigerator 1 . Based on the food list 131, the information of the food stored in the refrigerator 1 is displayed on the display unit. The user P of the refrigerator 1 can confirm the status of the food stored in the refrigerator 1 (food name, expiration date, remaining amount, etc.) by viewing the display of the terminal device 400 .

［２．冷蔵庫の構成］
図２～図５を参照して、冷蔵庫１の構成について説明する。図２は冷蔵庫１の外観を示した説明図である。図２に示したように、冷蔵庫１は前面に開口した主箱体２を備え、主箱体２内には、冷蔵室１０（本発明の収容室に相当する）、製氷室３０、製氷室３０に併設されて庫内の温度が変更できる切換室２０、冷凍室４０、及び野菜室５０が形成されている。 [2. Refrigerator configuration]
The configuration of the refrigerator 1 will be described with reference to FIGS. 2 to 5. FIG. FIG. 2 is an explanatory diagram showing the appearance of the refrigerator 1. As shown in FIG. As shown in FIG. 2, the refrigerator 1 has a main box body 2 with an opening on the front side. A switching compartment 20, a freezer compartment 40, and a vegetable compartment 50 are formed side by side with the refrigerator 30 so that the temperature inside the refrigerator can be changed.

冷蔵室１０の前面の開口部には、回転式の右ドア１１及び左ドア１２（本発明の開閉部に相当する）が設けられている。また、切換室２０、製氷室３０、冷凍室４０、及び野菜室５０には、それぞれ食品を収容する引き出し２１、３１、４１、５１が設けられている。 A rotary right door 11 and left door 12 (corresponding to the opening/closing part of the present invention) are provided at the front opening of the refrigerator compartment 10 . Drawers 21, 31, 41, and 51 for storing foods are provided in the switching compartment 20, the ice making compartment 30, the freezing compartment 40, and the vegetable compartment 50, respectively.

次に、図３は冷蔵庫１の庫内の構成を右側から見た断面図により示した説明図であり、図４は冷蔵室１０の内部構成を正面から見た断面図により示した説明図である。図３、図４を参照して、冷蔵室１０には、冷蔵室１０をサブエリアに区画する上棚１３、中棚１４、下棚１５が配置されている。また、冷蔵室１０には、上棚１３に置かれた食品の重量を検出する重量センサ１３ａ，１３ｂ、中棚１４に置かれた食品の重量を検出する重量センサ１４ａ，１４ｂ、及び下棚１５に置かれた食品の重量を検出する重量センサ１５ａ，１５ｂが設けられている。さらに、冷蔵室１０には、冷蔵室１０内を照らす照明部１６ａ～１６ｆ、冷蔵室１０内の照度を検出する照度センサ１７ａ～１７ｃ、及びカメラ６０が設けられている。 Next, FIG. 3 is an explanatory view showing the internal structure of the refrigerator 1 as a sectional view as seen from the right side, and FIG. be. 3 and 4, refrigerator compartment 10 is provided with upper shelf 13, middle shelf 14, and lower shelf 15 that divide refrigerator compartment 10 into sub-areas. In addition, the refrigerator compartment 10 includes weight sensors 13a and 13b for detecting the weight of food placed on the upper shelf 13, weight sensors 14a and 14b for detecting the weight of food placed on the middle shelf 14, and a lower shelf 15. Weight sensors 15a and 15b are provided to detect the weight of placed food. Further, the refrigerator compartment 10 is provided with lighting units 16a to 16f for illuminating the interior of the refrigerator compartment 10, illuminance sensors 17a to 17c for detecting the illumination in the refrigerator compartment 10, and a camera 60.

カメラ６０は、冷蔵室１０の上部の開口部１０ａ付近に、開口部１０ａが撮像範囲に含まれるように配置され、開口部１０ａから各棚１３，１４，１５の前端付近までの範囲を撮像する。また、冷凍サイクルを構成する補機である圧縮機６１、冷却ファン６２、冷却器６３、及び凝縮器６４が設けられている。さらに、冷蔵室１０の背面には、冷気を流通させるための冷蔵室ダクト７０と冷気吐出口７１～７３が配置されている。 The camera 60 is arranged near the opening 10a in the upper part of the refrigerator compartment 10 so that the opening 10a is included in the imaging range, and images the range from the opening 10a to near the front ends of the shelves 13, 14, and 15. . Also provided are a compressor 61, a cooling fan 62, a cooler 63, and a condenser 64, which are auxiliary machines constituting a refrigerating cycle. Furthermore, a refrigerating chamber duct 70 for circulating cool air and cool air outlets 71 to 73 are arranged on the rear surface of the refrigerating chamber 10 .

冷蔵室１０には、右ドア１１の開閉を検出する開閉センサ１８ｂと、左ドア１２の開閉を検出する開閉センサ１８ａとが設けられている。開閉センサ１８ｂは、右ドア１１が閉まっているときは閉検出信号を出力し、右ドア１１が開いているときには開検出信号を出力する。同様に、開閉センサ１８ａは、左ドア１２が閉まっているときは閉検出信号を出力し、左ドア１２が開いているときには開検出信号を出力する。 The refrigerator compartment 10 is provided with an opening/closing sensor 18b for detecting opening/closing of the right door 11 and an opening/closing sensor 18a for detecting opening/closing of the left door 12 . The open/close sensor 18b outputs a closed detection signal when the right door 11 is closed, and outputs an open detection signal when the right door 11 is open. Similarly, the open/close sensor 18a outputs a closed detection signal when the left door 12 is closed, and outputs an open detection signal when the left door 12 is open.

切換室２０には、開口部２０ａの開閉を検出する開閉センサ２２が設けられている。開閉センサ２２は、切換室２０に引き出し２１が収容されているときは閉検出信号を出力し、切換室２０から引き出し２１が引き出されているときには開検出信号を出力する。 The switching chamber 20 is provided with an opening/closing sensor 22 for detecting opening/closing of the opening 20a. The open/close sensor 22 outputs a closed detection signal when the drawer 21 is housed in the switching chamber 20 and outputs an open detection signal when the drawer 21 is pulled out from the switching chamber 20 .

同様に、製氷室３０には引き出し３１による開口部３０ａの開閉を検出する開閉センサ３２が設けられている。また、冷凍室４０には引き出し４１による開口部４０ａの開閉を検出する開閉センサ４２が設けられ、野菜室５０には引き出し５１による開口部５０ａの開閉を検出する開閉センサ５２が設けられている。開閉センサ３２，４２，５２は、開閉センサ２２と同様に、閉検出信号と開検出信号を出力する。 Similarly, the ice making chamber 30 is provided with an opening/closing sensor 32 for detecting opening/closing of the opening 30 a by the drawer 31 . The freezer compartment 40 is provided with an opening/closing sensor 42 for detecting opening/closing of the opening 40a by the drawer 41, and the vegetable compartment 50 is provided with an opening/closing sensor 52 for detecting opening/closing of the opening 50a by the drawer 51. The open/close sensors 32, 42, and 52, like the open/close sensor 22, output closed detection signals and open detection signals.

次に、図５は制御ユニット１００の構成図である。図５を参照して、制御ユニット１００は、ＣＰＵ（Central Processing Unit）１１０、画像処理部１２０、記憶部１３０、無線通信部１４０、日時認識部１４１、及び図示しないインターフェース回路等によって構成された電子回路ユニットである。 Next, FIG. 5 is a configuration diagram of the control unit 100. As shown in FIG. Referring to FIG. 5, control unit 100 includes a CPU (Central Processing Unit) 110, an image processing unit 120, a storage unit 130, a wireless communication unit 140, a date/time recognition unit 141, an interface circuit (not shown) and the like. circuit unit.

ＣＰＵ１１０は、記憶部１３０に保存された冷蔵庫１の制御用プログラムを実行することによって、通過物体検出部１１１、収容量認識部１１２、入出庫判定部１１３、食品情報取得部１１４、食品情報管理部１１５、及び撮像時点設定部１１６として機能する。 By executing the program for controlling the refrigerator 1 stored in the storage unit 130, the CPU 110 controls a passing object detection unit 111, a storage amount recognition unit 112, an entry/exit determination unit 113, a food information acquisition unit 114, and a food information management unit. 115 and an imaging time point setting unit 116 .

制御ユニット１００は、開閉センサ１８ａ，１８ｂ，２２，３２，４２，５２、照度センサ１７ａ，１７ｂ，１７ｃ、重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂ、カメラ６０、照明部１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ、及び冷凍サイクル補機６１，６２，６３，６４と接続されている。 The control unit 100 includes open/close sensors 18a, 18b, 22, 32, 42, 52, illuminance sensors 17a, 17b, 17c, weight sensors 13a, 13b, 14a, 14b, 15a, 15b, a camera 60, lighting units 16a, 16b, 16c, 16d, 16e, 16f and refrigeration cycle auxiliary machines 61, 62, 63, 64 are connected.

制御ユニット１００には、開閉センサ１８ａ，１８ｂ，２２，３２，４２，５２、照度センサ１７ａ，１７ｂ，１７ｃ、及び重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂの検出信号等が入力される。また、制御ユニット１００から出力される制御信号によって、照明部１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ、及び冷凍サイクル補機６１，６２，６３，６４等の作動が制御される。 The detection signals of the open/close sensors 18a, 18b, 22, 32, 42, 52, the illuminance sensors 17a, 17b, 17c, and the weight sensors 13a, 13b, 14a, 14b, 15a, 15b are input to the control unit 100. . In addition, the control signals output from the control unit 100 control the operations of the illumination units 16a, 16b, 16c, 16d, 16e, 16f, the refrigeration cycle auxiliary machines 61, 62, 63, 64, and the like.

さらに、制御ユニット１００から出力される制御信号により、画像処理部１２０を介してカメラ６０による撮像が制御される。画像処理部１２０は、カメラ６０から出力される映像信号をデジタルの諧調信号に変換して撮像画像を生成し、撮像画像のデータを画像メモリ１２１に保存する。画像処理部１２０は、ＣＰＵ１１０から出力される制御信号に応じて、画像メモリ１２１に保存された撮像画像に対する処理を行う。 Furthermore, imaging by the camera 60 is controlled via the image processing section 120 by a control signal output from the control unit 100 . The image processing unit 120 converts the video signal output from the camera 60 into a digital gradation signal to generate a captured image, and stores the data of the captured image in the image memory 121 . The image processing unit 120 processes the captured image stored in the image memory 121 according to the control signal output from the CPU 110 .

日時認識部１４１は、制御ユニット１００に備えられたクロック回路（図示しない）から出力されるクロック信号を計時して現在の日時（日付と時刻）を認識する。なお、管理サーバー５２０との通信により、管理サーバー５２０から現在の日時の情報を取得して、現在の日時を認識する構成としてもよい。 The date/time recognition unit 141 measures a clock signal output from a clock circuit (not shown) provided in the control unit 100 to recognize the current date/time (date and time). It should be noted that the current date and time may be recognized by acquiring information on the current date and time from the management server 520 through communication with the management server 520 .

記憶部１３０には、庫内食品リスト１３１のデータの他に、冷蔵室１０に入庫された食品の情報が記録された入庫食品情報１３２、及び冷蔵室１０から出庫された食品の情報が記録された出庫食品情報１３３のデータが保存される。さらに、記憶部１３０には、種々の食品のサンプル画像１３４、及び種々の食品の一般的な賞味期限を示す賞味期限リスト１３５のデータが保存されている。 In the storage unit 130, in addition to the data of the stored food list 131, stored food information 132 recording information of food stored in the refrigerator compartment 10 and information of food taken out from the refrigerator compartment 10 are recorded. The data of the delivered food information 133 is saved. Further, the storage unit 130 stores data of sample images 134 of various foods and an expiration date list 135 indicating general expiration dates of various foods.

通過物体検出部１１１は、照度センサ１７ａ，１７ｂ，１７ｃにより検出される冷蔵室１０内の照度の変化に基づいて、冷蔵室１０の開口部１０ａを通過する物体を検出する。収容量認識部１１２は、冷蔵室１０の上棚１３、中棚１４、及び下棚１５に収容されている食品の量を、重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂの検出信号に基づいて、重量により認識する。 Passing object detection unit 111 detects an object passing through opening 10a of refrigerator compartment 10 based on changes in illumination in refrigerator compartment 10 detected by illumination sensors 17a, 17b, and 17c. Based on the detection signals of weight sensors 13a, 13b, 14a, 14b, 15a, and 15b, storage amount recognition unit 112 determines the amount of food stored in upper shelf 13, middle shelf 14, and lower shelf 15 of refrigerator compartment 10. and recognize by weight.

収容量認識部１１２は、上棚１３に収容されている食品の重量を、重量センサ１３ａ，１３ｂの検出信号に基づいて認識し、中棚１４に収容されている食品の重量を、重量センサ１４ａ，１４ｂの検出信号に基づいて認識する。また、収容量認識部１１２は、下棚１５に収容されている食品の重量を、重量センサ１５ａ，１５ｂの検出信号に基づいて検出する。 The storage amount recognition unit 112 recognizes the weight of the food stored on the upper shelf 13 based on the detection signals of the weight sensors 13a and 13b, and the weight of the food stored on the middle shelf 14 is detected by the weight sensors 14a and 14b. Recognition is based on the detection signal of 14b. Further, the storage amount recognition unit 112 detects the weight of food stored in the lower shelf 15 based on the detection signals of the weight sensors 15a and 15b.

入出庫判定部１１３は、通過物体検出部１１１により、冷蔵室１０の開口部１０ａを通過する物体が検出された時に、収容量認識部１１２により認識される各棚１３，１４，１５に置かれた食品の量（重量）の変化に基づいて、冷蔵室１０への食品の入庫と冷蔵室１０からの食品の出庫とを判定する。 The entering/leaving determination unit 113 is placed on each shelf 13, 14, 15 recognized by the capacity recognition unit 112 when the passing object detection unit 111 detects an object passing through the opening 10a of the refrigerator compartment 10. Entry of food into refrigerating compartment 10 and exit of refrigerating compartment 10 are determined based on the change in the amount (weight) of the food.

食品情報取得部１１４は、冷蔵室１０の開口部１０ａを通過した物体をカメラ６０によって撮像する。そして、入出庫判定部１１３により、冷蔵室１０への食品の入庫又は冷蔵室からの食品の出庫が判定されたときに、撮像画像から食品の画像部分を抽出する。 The food information acquisition unit 114 uses the camera 60 to capture an image of an object that has passed through the opening 10 a of the refrigerator compartment 10 . Then, when the entry/exit determination unit 113 determines that food has entered or left the refrigerator compartment 10, an image portion of the food is extracted from the captured image.

食品情報取得部１１４は、食品の画像部分に含まれる文字を認識することにより、或いは食品の画像部分の特徴を抽出することにより、入庫又は出庫された食品の食品名、内容量、原産地、賞味期限等の情報を取得する。そして、食品情報取得部１１４は、取得した情報を、入庫と判定された食品（入庫食品）については入庫食品情報１３２に記録し、出庫と判定された食品（出庫食品）については出庫食品情報１３３に記録する。 The food information acquisition unit 114 obtains the food name, content amount, place of origin, and taste of the food that has entered or left the warehouse by recognizing the characters included in the image portion of the food or by extracting the features of the image portion of the food. Acquire information such as the deadline. Then, the food information acquisition unit 114 records the acquired information in the received food information 132 for the food determined to be stored (stored food), and records the retrieved food information 133 for the food determined to be shipped (shipped food). to record.

食品情報管理部１１５は、収容量認識部１１２により認識された冷蔵室１０内の食品の重量、食品情報取得部１１４により記録された入庫食品情報１３２及び出庫食品情報１３３等に基づいて、庫内食品リスト１３１に記録された食品情報を更新する。 The food information management unit 115, based on the weight of the food in the refrigerator compartment 10 recognized by the storage amount recognition unit 112, the incoming food information 132 and the outgoing food information 133 recorded by the food information acquisition unit 114, etc. The food information recorded in the food list 131 is updated.

撮像時点設定部１１６は、開閉センサ１８ａ，１８ｂにより、右ドア１１又は左ドア１２が閉状態から開状態に切り替わった時から、右ドア１１及び左ドア１２が共に閉状態になったことが検出されるまでの間に、カメラ６０により撮像を行う時点を設定する。撮像時点設定部１１６は、冷蔵室１０に入庫される食品が開口部１０ａを通過する時点を想定した第１撮像時点と、冷蔵室１０から出庫された食品が開口部１０ａを通過する時点を想定した第２撮像時点とを設定する。 The imaging timing setting unit 116 detects that both the right door 11 and the left door 12 are closed from the time when the right door 11 or the left door 12 is switched from the closed state to the open state by the open/close sensors 18a and 18b. The point in time at which the camera 60 takes an image is set. The imaging time point setting unit 116 assumes a first imaging time point at which the food entering the refrigerator compartment 10 passes through the opening 10a, and a time point at which the food taken out of the refrigerator compartment 10 passes through the opening 10a. A second imaging time is set.

［３．制御ユニットによる処理］
次に、図６～図１４を参照して、制御ユニット１００により実行される冷蔵室１０に収容された食品の管理に関する処理について説明する。 [3. Processing by control unit]
Next, referring to FIGS. 6 to 14, processing related to management of food stored in refrigerator compartment 10, which is executed by control unit 100, will be described.

図６は、制御ユニット１００により実行される一連の処理の概要を示したフローチャートである。制御ユニット１００は、ステップＳ１で「撮像処理」、ステップＳ２で「重量情報処理」、ステップＳ３で「画像分析処理」、ステップＳ４で「重量センサ補正処理」、ステップＳ５で「庫内食品管理処理」を、それぞれ実行する。以下、各処理の詳細について説明する。 FIG. 6 is a flow chart showing an outline of a series of processes executed by the control unit 100. As shown in FIG. The control unit 100 performs "imaging processing" in step S1, "weight information processing" in step S2, "image analysis processing" in step S3, "weight sensor correction processing" in step S4, and "internal food management processing" in step S5. ”, respectively. Details of each process will be described below.

［３－１．撮像処理］
図７に示したフローチャートに従って、「撮像処理」の実行手順について説明する。「撮像処理」は、通過物体検出部１１１、食品情報取得部１１４、及び撮像時点設定部１１６により実行される。食品情報取得部１１４は、ステップＳ１０で、開閉センサ１８ａ，１８ｂの検出信号により、冷蔵室１０の右ドア１１と左ドア１２の一方が又は両方が閉状態から開状態に切り替わったことを認識した時から、ステップＳ１５で、右ドア１１と左ドア１２の両方が閉状態になったことを認識するまでの間に、第１撮像時点及び第２撮像時点でカメラ６０による撮像を行う。 [3-1. Imaging processing]
The execution procedure of the "imaging process" will be described according to the flowchart shown in FIG. The “imaging process” is executed by the passing object detection unit 111 , the food information acquisition unit 114 and the imaging time point setting unit 116 . In step S10, the food information acquisition unit 114 recognizes that one or both of the right door 11 and the left door 12 of the refrigerator compartment 10 have been switched from the closed state to the open state based on the detection signals of the open/close sensors 18a and 18b. From this time until it is recognized in step S15 that both the right door 11 and the left door 12 are closed, images are captured by the camera 60 at the first image capturing time and the second image capturing time.

食品情報取得部１１４は、ステップＳ１０で、冷蔵室１０の右ドア１１と左ドア１２の一方又は両方が閉状態から開状態に切り替わったことを認識したときに、ステップＳ１０に処理を進める。ステップＳ１１～Ｓ１４は、通過物体検出部１１１及び撮像時点設定部１１６による処理である。本実施形態では、通過物体検出部１１１と撮像時点設定部１１６とを組み合わせた構成により、本発明の撮像時点設定部が構成されている。 When the food information acquiring unit 114 recognizes in step S10 that one or both of the right door 11 and the left door 12 of the refrigerator compartment 10 have been switched from the closed state to the open state, the process proceeds to step S10. Steps S11 to S14 are processes by the passing object detection unit 111 and the imaging time point setting unit 116. FIG. In the present embodiment, the imaging time setting unit of the present invention is configured by combining the passing object detection unit 111 and the imaging time setting unit 116 .

ステップＳ１１で、通過物体検出部１１１は、照度センサ１７ａ，１７ｂ，１７ｃにより冷蔵室１０の上棚１３、中棚１４、下棚１５の各照度（棚により区画された各スペースの照度）を検出する。そして、通過物体検出部１１１は、検出した上棚１３の照度を上基準照度とし、中棚１４の照度を中基準照度とし、下棚１５の照度を下基準照度とする。通過物体検出部１１１は、のデータを記憶部１３０に保存する。 In step S11, the passing object detection unit 111 detects the illuminance of each of the upper shelf 13, the middle shelf 14, and the lower shelf 15 of the refrigerator compartment 10 (the illuminance of each space partitioned by the shelves) using the illuminance sensors 17a, 17b, and 17c. . Then, the passing object detection unit 111 sets the detected illuminance of the upper shelf 13 as the upper reference illuminance, the illuminance of the middle shelf 14 as the middle reference illuminance, and the illuminance of the lower shelf 15 as the lower reference illuminance. The passing object detection unit 111 stores the data in the storage unit 130 .

上基準照度、中基準照度、及び下基準照度は、冷蔵室１０の右ドア１１と左ドア１２の一方又は両方が開けられ、物体（ユーザーの手、食品等）が冷蔵室１０の開口部１０ａを通過する前の状態における各棚１３，１４，１５の照度である。なお、検出照度の誤差や変動を考慮して、上基準照度、中基準照度、及び下基準照度を、各照度センサ１７ａ，１７ｂ，１７ｃの検出照度よりも若干低い照度、或いは若干高い照度に設定してもよい。 In the upper reference illuminance, middle reference illuminance, and lower reference illuminance, one or both of the right door 11 and the left door 12 of the refrigerator compartment 10 are opened, and an object (user's hand, food, etc.) is placed in the opening 10a of the refrigerator compartment 10. is the illuminance of each shelf 13, 14, 15 before passing through. Considering errors and variations in detected illuminance, the upper reference illuminance, middle reference illuminance, and lower reference illuminance are set to illuminances slightly lower or higher than the illuminances detected by the respective illuminance sensors 17a, 17b, and 17c. You may

また、後述するステップＳ１３で使用する上基準照度、中基準照度、及び下基準照度と、ステップＳ１４で使用する上基準照度、中基準照度、及び下基準照度とを、異なる値に設定してもよい。この場合、ステップＳ１３で使用する上基準照度、中基準照度、及び下基準照度は、本発明の第１基準照度に相当し、ステップＳ１４で使用する上基準照度、中基準照度、及び下基準照度は、本発明の第２基準照度に相当する。 Also, the upper reference illuminance, middle reference illuminance, and lower reference illuminance used in step S13, which will be described later, and the upper reference illuminance, middle reference illuminance, and lower reference illuminance used in step S14 may be set to different values. good. In this case, the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance used in step S13 correspond to the first reference illuminance of the present invention, and the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance used in step S14. corresponds to the second reference illuminance of the present invention.

続くステップＳ１２で、通過物体検出部１１１は、照度センサ１７ａ，１７ｂ，１７ｃにより上棚１３、中棚１４、及び下棚１５の照度をそれぞれ検出する。そして、通過物体検出部１１１は、次のステップＳ１３で、検出照度が基準照度よりも所定レベル以上低下した棚があるか否かを判断する。具体的には、通過物体検出部１１１は、以下の（１）～（３）の各条件の成否を判断する。 In subsequent step S12, the passing object detection unit 111 detects the illuminance of the upper shelf 13, the middle shelf 14, and the lower shelf 15 using the illuminance sensors 17a, 17b, and 17c, respectively. Then, in the next step S13, the passing object detection unit 111 determines whether or not there is a shelf whose detected illuminance is lower than the reference illuminance by a predetermined level or more. Specifically, the passing object detection unit 111 determines whether the following conditions (1) to (3) are met.

（１）照度センサ１７ａの検出照度が、「上基準照度」から「上基準照度－α」以下に変化した。
（２）照度センサ１７ｂの検出照度が、「中基準照度」から「中基準照度－α」以下に変化した。
（３）照度センサ１７ｃの検出照度が、「下基準照度」から「下基準照度－α」以下に変化した。 (1) The illuminance detected by the illuminance sensor 17a has changed from "upper reference illuminance" to "upper reference illuminance -α" or less.
(2) The illuminance detected by the illuminance sensor 17b has changed from "medium reference illuminance" to "medium reference illuminance -α" or less.
(3) The illuminance detected by the illuminance sensor 17c has changed from "lower reference illuminance" to "lower reference illuminance -α" or less.

但し、α：物体（食品、使用者の手等）が、上棚１３、中棚１４、又は下棚１５内に進入したときに生じる照度の低下を想定して、実験やコンピュータシミュレーション等によって決定された閾値設定用の定数。なお、αは、上基準照度、中基準照度、及び下基準照度に対して共通な値としてもよく、上基準照度、中基準照度、及び下基準照度に対して個別に異なる値に設定してもよい。 However, α: Determined by experiments, computer simulations, etc., assuming a decrease in illuminance that occurs when an object (food, user's hand, etc.) enters the upper shelf 13, the middle shelf 14, or the lower shelf 15. constant for threshold setting. Note that α may be a common value for the upper reference illuminance, middle reference illuminance, and lower reference illuminance, or may be set to a different value for each of the upper reference illuminance, middle reference illuminance, and lower reference illuminance. good too.

通過物体検出部１１１は、上記（１）～（３）の少なくともいずれか一つが成立したときに、物体が開口部１０ａを通過したと判断する。ここで、上記（１）～（３）の少なくともいずれか一つが成立したときは、ユーザーが、冷蔵室１０に食品を入れるため（入庫）、或いは冷蔵室１０から食品を取り出すため（出庫）、又は冷蔵室１０の食品の位置の変更等を行うために、冷蔵室１０内に手を入れたと想定される。そして、この場合、通過物体検出部１１１は、物体（ユーザーの手、ユーザーの手が掴んでいる食品等）が、冷蔵室１０の開口部１０ａを通過したと判断することができる。 The passing object detection unit 111 determines that an object has passed through the opening 10a when at least one of the above (1) to (3) is satisfied. Here, when at least one of the above (1) to (3) is satisfied, the user puts food in the refrigerating chamber 10 (entering) or takes out food from the refrigerating chamber 10 (out), Alternatively, it is assumed that the user puts his or her hand into the refrigerating compartment 10 in order to change the position of the food in the refrigerating compartment 10 or the like. In this case, the passing object detection unit 111 can determine that an object (the user's hand, food held by the user's hand, etc.) has passed through the opening 10 a of the refrigerator compartment 10 .

そこで、撮像時点設定部１１６は、ステップＳ１３で、通過物体検出部１１１により上記（１）～（３）の少なくともいずれか一つが成立したと判断された時点を、第１撮像時点として設定し、ステップＳ２０に処理を進める。第１撮像時点は、冷蔵室１０に入庫される食品が開口部１０ａを通過する時点を想定して設定された時点である。なお、ステップＳ１３で、通過物体検出部１１１により上記（１）～（３）の少なくともいずれか一つが成立したと判断された時点から所定時間後の時点を、第１撮像時点として設定してもよい。 Therefore, in step S13, the imaging time setting unit 116 sets the time at which the passing object detection unit 111 determines that at least one of the above (1) to (3) is established as the first imaging time, The process proceeds to step S20. The first imaging time point is set assuming the time point when the food stored in the refrigerator compartment 10 passes through the opening 10a. Note that, in step S13, the point of time after a predetermined time from the point of time when the passing object detection unit 111 determines that at least one of the above (1) to (3) is established may be set as the first imaging point of time. good.

一方、上記（１）～（３）のいずれも成立していないときには、撮像時点設定部１１６は、ステップＳ１４に処理を進める。ステップＳ１４は、通過物体検出部１１１及び撮像時点設定部１１６による処理である。通過物体検出部１１１は、検出照度が、「基準照度－β」以下から「基準照度」以上に変化した棚があるか否かを判断する。具体的には、通過物体検出部１１１は、以下の（４）～（６）の各条件の成否を判断する。 On the other hand, when none of the above (1) to (3) is established, the imaging time point setting unit 116 advances the process to step S14. Step S<b>14 is processing by the passing object detection unit 111 and the imaging time point setting unit 116 . The passing object detection unit 111 determines whether or not there is a shelf whose detected illuminance has changed from “reference illuminance−β” or less to “reference illuminance” or more. Specifically, the passing object detection unit 111 determines whether the following conditions (4) to (6) are met.

（４）照度センサ１７ａの検出照度が、「上基準照度－β」以下から「上基準照度」以上に変化した。
（５）照度センサ１７ｂの検出照度が、「中基準照度－β」以下から「中基準照度」以上に変化した。
（６）照度センサ１７ｃの検出照度が、「下基準照度－β」以下から「下基準照度」以上に変化した。 (4) The illuminance detected by the illuminance sensor 17a has changed from below "upper reference illuminance -β" to above "upper reference illuminance".
(5) The illuminance detected by the illuminance sensor 17b has changed from below the "medium reference illuminance -β" to above the "medium reference illuminance".
(6) The illuminance detected by the illuminance sensor 17c has changed from "lower reference illuminance -β" or lower to "lower reference illuminance" or higher.

但し、β：上棚１３、中棚１４、又は下棚１５に進入していた物体（食品、使用者の手等）が、開口部１０ａを通過して冷蔵室１０外に出たときに生じる照度の上昇を想定して、実験やコンピュータシミュレーション等により決定された閾値決定用の定数。なお、βは、上基準照度、中基準照度、及び下基準照度に対して共通に設定してもよいし、上基準照度、中基準照度、及び下基準照度に対して個別に異なる値に設定してもよい。 However, β is the illuminance generated when an object (food, user's hand, etc.) that has entered the upper shelf 13, middle shelf 14, or lower shelf 15 passes through the opening 10a and exits the refrigerator compartment 10. A constant for threshold determination determined by experiments, computer simulations, etc., assuming an increase in Note that β may be set in common for the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance, or may be set to different values for the upper reference illuminance, the middle reference illuminance, and the lower reference illuminance. You may

通過物体検出部１１１は、上記（４）～（６）の少なくともいずれか一つが成立したときに、冷蔵室１０内に存在していた物体（食品、ユーザーの手等）が、冷蔵室１０から出て開口部１０ａを通過したと判断する。ここで、上記（４）～（６）の少なくともいずれか一つが成立したときは、ユーザーが、冷蔵室１０に食品を入れるため（入庫）、冷蔵室１０から食品を取り出すため（出庫）、或いは冷蔵室１０に収容されている食品の位置の変更等を行って、冷蔵室１０内に入れていた手を抜いたと想定される。そして、この場合、通過物体検出部１１１は、物体（ユーザーの手、ユーザーの手が掴んでいる食品等）が、冷蔵室１０の開口部１０ａを通過したと判断することができる。 Passing object detection unit 111 determines whether an object (food, user's hand, etc.) that was in refrigerating compartment 10 when at least one of the above (4) to (6) is satisfied is It is determined that the vehicle has exited and passed through the opening 10a. Here, when at least one of the above (4) to (6) is established, the user puts food in the refrigerating chamber 10 (entering), takes out food from the refrigerating chamber 10 (out), or It is assumed that the position of the food stored in the refrigerating chamber 10 has been changed, and the hands that were put in the refrigerating chamber 10 have been cut. In this case, the passing object detection unit 111 can determine that an object (the user's hand, food held by the user's hand, etc.) has passed through the opening 10 a of the refrigerator compartment 10 .

そこで、撮像時点設定部１１６は、ステップＳ１４で、通過物体検出部１１１により上記（４）～（６）の少なくともいずれか一つが成立したと判断された時点を、第２撮像時点として設定し、ステップＳ２２に処理を進める。第２撮像時点は、冷蔵室１０から出庫される食品が開口部１０ａを通過する時点を想定して設定された時点である。なお、ステップＳ１４で、ステップＳ１４で、通過物体検出部１１１により上記（４）～（６）の少なくともいずれか一つが成立したと判断された時点から所定時間後の時点を、第２撮像時点として設定してもよい。 Therefore, in step S14, the imaging time point setting unit 116 sets the time point at which the passing object detection unit 111 determines that at least one of (4) to (6) is established as the second imaging time point, The process proceeds to step S22. The second imaging time point is set assuming the time point when the food delivered from the refrigerator compartment 10 passes through the opening 10a. Note that in step S14, the point of time after a predetermined time from the point of time when at least one of the above (4) to (6) is determined by the passing object detection unit 111 to be the second imaging point of time. May be set.

一方、上記（４）～（６）のいずれも成立していないときには、通過物体検出部１１１はステップＳ１５に処理を進める。ステップＳ１５で、通過物体検出部１１１は、開閉センサ１８ａ，１８ｂの検出信号から、冷蔵室１０の右ドア１１と左ドア１２が共に閉められたか否かを判断する。そして、通過物体検出部１１１は、右ドア１１と左ドア１２が共に閉められたときはステップＳ１５に処理を進めて、「撮像処理」を終了する。一方、右ドア１１と左ドア１２の少なくともいずれか一方が開いているときには、通過物体検出部１１１は、ステップＳ１２に処理を進める。 On the other hand, when none of the above (4) to (6) is satisfied, the passing object detection unit 111 advances the process to step S15. In step S15, the passing object detection unit 111 determines whether both the right door 11 and the left door 12 of the refrigerator compartment 10 are closed based on the detection signals of the open/close sensors 18a and 18b. Then, when both the right door 11 and the left door 12 are closed, the passing object detection unit 111 advances the process to step S15 and ends the "imaging process". On the other hand, when at least one of the right door 11 and the left door 12 is open, the passing object detection unit 111 advances the process to step S12.

次に、ステップＳ２０～Ｓ２１、及びステップＳ２２～Ｓ２３は、食品情報取得部１１４による処理である。食品情報取得部１１４は、ステップＳ２０で、画像処理部１２０を介して、カメラ６０により冷蔵室１０の開口部１０ａを含む範囲を撮像する。続くステップＳ２１で、食品情報取得部１１４は、ステップＳ２０で撮像した画像のデータを「入庫時画像」のデータとして記憶部１３０に保存し、ステップＳ１５に処理を進める。なお、撮像を複数回行って、複数の画像のデータを「入庫時画像」のデータとして記憶部１３０に保存するようにしてもよい。 Next, steps S20 to S21 and steps S22 to S23 are processes by the food information acquisition unit 114. FIG. The food information acquisition unit 114 captures an image of a range including the opening 10a of the refrigerator compartment 10 with the camera 60 via the image processing unit 120 in step S20. In subsequent step S21, the food information acquisition unit 114 stores the data of the image captured in step S20 in the storage unit 130 as data of the "image at the time of warehousing", and proceeds to step S15. It should be noted that the image may be captured a plurality of times and the data of the plurality of images may be stored in the storage unit 130 as the data of the "image at the time of warehousing".

また、ステップＳ２２で、食品情報取得部１１４は、画像処理部１２０を介して、カメラ６０により冷蔵室１０の開口部１０ａを含む範囲を撮像する。続くステップＳ２３で、食品情報取得部１１４は、ステップＳ２２で撮像した画像のデータを「出庫時画像」のデータとして記憶部１３０に保存し、ステップＳ１５に処理を進める。なお、撮像を複数回行って、複数の画像のデータを「出庫時画像」のデータとして記憶部１３０に保存するようにしてもよい。 In step S<b>22 , the food information acquisition unit 114 captures an image of a range including the opening 10 a of the refrigerator compartment 10 with the camera 60 via the image processing unit 120 . In subsequent step S23, the food information acquisition unit 114 stores the data of the image captured in step S22 in the storage unit 130 as data of the "image at the time of leaving the warehouse", and proceeds to step S15. It should be noted that the image may be captured a plurality of times and the data of the plurality of images may be stored in the storage unit 130 as the data of the "picture at the time of leaving the garage".

図７に示した「撮像処理」によって、通過物体検出部１１１により、照度センサ１７ａ，７ｂ，１７ｃにより検出される上棚１３、中棚１４、又は下棚１５の照度の変化に基づいて、冷蔵室１０の開口部１０ａを通過する物体が検出される。 Through the “imaging process” shown in FIG. 7, the passing object detection unit 111 detects the change in the illuminance of the upper shelf 13, the middle shelf 14, or the lower shelf 15 detected by the illuminance sensors 17a, 7b, and 17c. Objects passing through 10 openings 10a are detected.

また、通過物体検出部１１１により、開口部１０ａを通過していずれかの棚１３，１４，１５に入った物体が検出された時点での開口部１０ａ付近の撮像画像である「入庫時画像」が、記憶部１３０に保存される。さらに、通過物体検出部１１１により、いずれかの棚１３，１４，１５から出て開口部１０ａを通過した物体が検出された時点での開口部１０ａ付近の撮像画像である「出庫時画像」が、記憶部１３０に保存される。 Also, the passing object detection unit 111 detects an object that has passed through the opening 10a and entered one of the shelves 13, 14, and 15, and is a captured image of the vicinity of the opening 10a. is stored in the storage unit 130 . Further, the passing object detection unit 111 detects an object exiting from any of the shelves 13, 14, and 15 and passing through the opening 10a. , is stored in the storage unit 130 .

なお、図７のステップＳ１５で、右ドア１１と左ドア１２が閉められたことが検出される前に、ステップ１３において開口部１０ａを通過する物体が複数回検出されたときには、ステップＳ２０～Ｓ２１により、複数の「入庫時画像」の撮像と保存が行われる。そして、後述する「重量情報処理」により入庫が判定された食品の「入庫時画像」について、それぞれ「画像分析処理」が実行される。 Note that if an object passing through the opening 10a is detected a plurality of times in step S13 before it is detected that the right door 11 and the left door 12 are closed in step S15 of FIG. Thus, a plurality of "images at the time of warehousing" are captured and stored. Then, "image analysis processing" is executed for each "image at the time of warehousing" of the food determined to be warehousing by the "weight information processing" to be described later.

同様に、図７のステップＳ１５で、右ドア１１と左ドア１２が閉められたことが検出される前に、ステップＳ１４において開口部１０ａを通過する物体が複数回検出されたときには、ステップＳ２２～Ｓ２３により、複数の「出庫時画像」の撮像と保存が行われる。そして、後述する「重量情報処理」により出庫が判定された食品の「出庫時画像」について、それぞれ「画像分析処理」が実行される。 Similarly, before it is detected that the right door 11 and the left door 12 are closed in step S15 of FIG. Through S23, a plurality of "images at the time of leaving the garage" are captured and stored. Then, an "image analysis process" is executed for each of the "pictures at the time of delivery" of foods determined to be delivered by the "weight information processing" to be described later.

[３－２．重量情報処理］
次に、図８に示したフローチャートに従って、「重量処理」の実行手順について説明する。「重量情報処理」は、入出庫判定部１１３、及び食品情報取得部１１４により実行される。 [3-2. weight information processing]
Next, the execution procedure of the "weight processing" will be described according to the flowchart shown in FIG. “Weight information processing” is executed by the entering/leaving determination unit 113 and the food information acquisition unit 114 .

図８のステップＳ３０～Ｓ３３及びＳ４０は、入出庫判定部１１３による処理である。入出庫判定部１１３は、ステップＳ３０で、収容量認識部１１２により各棚１３，１４，１５の重量を認識して記憶部１３０に保存する。続くステップＳ３１で、通過物体検出部１１１により、図７のステップＳ１３又はステップＳ１４で、冷蔵室１０の開口部１０ａを通過する物体が検出されたとき（冷蔵室１０への物体の出入りがあったとき）に、入出庫判定部１１３は、ステップＳ３２に処理を進める。 Steps S30 to S33 and S40 in FIG. In step S<b>30 , the entering/leaving determination unit 113 recognizes the weight of each shelf 13 , 14 , 15 using the capacity recognition unit 112 and stores the weight in the storage unit 130 . In the subsequent step S31, when an object passing through the opening 10a of the refrigerator compartment 10 is detected by the passing object detection unit 111 in step S13 or step S14 of FIG. time), the entering/leaving determination unit 113 advances the process to step S32.

ステップＳ３２で、入出庫判定部１１３は、収容量認識部１１２により各棚１３，１４，１５の重量を認識する。次のステップＳ３３で、入出庫判定部１１３は、ステップＳ３０で認識した重量に対して、ステップＳ３２で認識した重量が増加した棚があるか否かを判断する。そして、重量が増加した棚があるとき（この場合は、冷蔵室１０に食品が入庫されたと判断できる）は、入出庫判定部１１３はステップＳ３４に処理を進める。 In step S<b>32 , the entering/leaving determination unit 113 recognizes the weight of each shelf 13 , 14 , 15 using the capacity recognition unit 112 . In the next step S33, the entering/leaving determination unit 113 determines whether or not there is a shelf whose weight recognized in step S32 has increased relative to the weight recognized in step S30. Then, when there is a shelf with increased weight (in this case, it can be determined that food has been stored in the refrigerator compartment 10), the entering/leaving determination unit 113 advances the process to step S34.

一方、重量が増加した棚がないときには、入出庫判定部１１３は、ステップ３３からステップＳ４０に処理を進め、ステップＳ３０で認識した重量に対して、ステップＳ３２で認識した重量が減少した棚があるか否かを判断する。そして、重量が減少した棚があるとき（この場合は、冷蔵室１０から食品が出庫したと判断できる）は、入出庫判定部１１３はステップＳ４１に処理を進める。また、重量が増加した棚がないとき（この場合は、冷蔵室１０への食品の入庫及び冷蔵室１０からの食品の出庫がなかったと判断できる）には、入出庫判定部１１３は、ステップＳ３６に処理を進めて「重量情報処理」を終了する。 On the other hand, when there is no shelf whose weight has increased, the entering/leaving determination unit 113 advances the process from step S33 to step S40, and there is a shelf whose weight recognized in step S32 has decreased with respect to the weight recognized in step S30. or not. Then, when there is a shelf whose weight has decreased (in this case, it can be determined that the food has been taken out of the refrigerator compartment 10), the entering/leaving determination unit 113 advances the process to step S41. Further, when there is no shelf with increased weight (in this case, it can be determined that no food has been entered into or taken out of the refrigerator compartment 10), the entry/exit determination unit 113 performs step S36. , and the "weight information processing" ends.

ステップＳ３４～Ｓ３５及びステップＳ４１は、食品情報取得部１１４による処理である。食品情報取得部１１４は、ステップＳ３４で、収容量認識部１１２により認識された各棚１３，１４，１５の左右の重量から、入庫食品の収容位置を推定する。 Steps S34 to S35 and step S41 are processes by the food information acquisition unit 114. FIG. The food information acquisition unit 114 estimates the accommodation position of the stored food from the left and right weights of the shelves 13, 14, and 15 recognized by the accommodation amount recognition unit 112 in step S34.

次のステップＳ３５で、食品情報取得部１１４は、入庫食品情報１３２（図５参照）に、入庫食品の重量と収容位置の情報を記録して、ステップＳ３６に処理を進め、「重量情報処理」を終了する。入庫食品情報１３２のデータは、庫内食品リスト１３１への情報の追加、更新等を行うために記憶部１３０に一時的に保存される。 In the next step S35, the food information acquisition unit 114 records the weight of the stored food and the storage position information in the stored food information 132 (see FIG. 5), advances the process to step S36, and performs "weight information processing". exit. The data of the stored food information 132 is temporarily stored in the storage unit 130 in order to add or update information to the stored food list 131 .

また、ステップＳ４１で、食品情報取得部１１４は、出庫食品情報１３３（図５参照）に、出庫食品の重量の情報を記録してステップＳ３６に処理を進め、「重量情報処理」を終了する。出庫食品情報１３３のデータは、庫内食品リスト１３１への食品情報の追加、更新等を行うために記憶部１３０に一時的に保存される。 In step S41, the food information acquisition unit 114 records the weight information of the delivered food in the delivered food information 133 (see FIG. 5), advances the process to step S36, and ends the "weight information processing". The data of the delivered food information 133 is temporarily stored in the storage unit 130 in order to add or update food information to the stored food list 131 .

［３－３．画像分析処理］
次に、図９、図１０に示したフローチャートに従って、「画像分析処理」の実行手順について説明する。「画像分析処理」は、食品情報取得部１１４により実行される。図９は、冷蔵室１０に入庫された食品について、「入庫時画像」から情報を取得する処理である。また、図１０は、冷蔵室１０から出庫された食品について、「出庫時画像」から情報を取得する処理である。 [3-3. Image analysis processing]
Next, according to the flowcharts shown in FIGS. 9 and 10, the execution procedure of the "image analysis process" will be described. “Image analysis processing” is executed by the food information acquisition unit 114 . FIG. 9 shows processing for acquiring information from the "image at the time of storage" for the food stored in the refrigerator compartment 10. FIG. FIG. 10 shows processing for acquiring information from the "picture at the time of delivery" for the food delivered from the refrigerator compartment 10. FIG.

先ず、図９を参照して、「入庫時画像」に対する「画像分析処理」について説明する。食品情報取得部１１４は、図９のステップＳ５０で、入庫食品の「入庫時画像」に対して、画像処理部１２０により文字抽出処理を実行する。ここで、入庫食品とは、図８のステップＳ３３で、入出庫判定部１１３により冷蔵室１０に入庫されたと判定された食品である。また、入庫食品の「入庫時画像」とは、図８のステップＳ３３で入庫と判定された食品について、図７のステップＳ２０，Ｓ２１で食品情報取得部１１４により撮像及び保存された「入庫時画像」である。 First, with reference to FIG. 9, the "image analysis processing" for the "image at the time of warehousing" will be described. In step S50 of FIG. 9, the food information acquisition unit 114 executes character extraction processing by the image processing unit 120 on the "image at the time of storage" of the stored food. Here, the stored food is food determined to have been stored in the refrigerator compartment 10 by the storage/delivery determining unit 113 in step S33 of FIG. Further, the "image at the time of warehousing" of the food that has been stored means that the "image at the time of warehousing" captured and stored by the food information acquisition unit 114 at steps S20 and S21 in FIG. ”.

続くステップＳ５１で、食品情報取得部１１４は、画像処理部１２０により「入庫時画像」から文字が抽出されたか否かを判断する。そして、食品情報取得部１１４は、文字が抽出されたときはステップＳ５２に処理を進め、文字が抽出されなかったときにはステップＳ６０に処理を進める。 In subsequent step S51, the food information acquisition unit 114 determines whether or not the image processing unit 120 has extracted characters from the "image at the time of warehousing". Then, food information acquisition unit 114 advances the process to step S52 when characters are extracted, and advances the process to step S60 when characters are not extracted.

ステップＳ５２で、食品情報取得部１１４は、画像処理部１２０により抽出された文字の情報を分析する。そして、続くステップＳ５３で、食品情報取得部１１４は、文字の情報から、食品名、賞味期限、産地、内容量等の入庫食品の情報を取得する。次のステップＳ５４で、食品情報取得部１１４は、取得した入庫食品の情報を入庫食品情報１３２に記録して、「画像分析処理」を終了する。 In step S<b>52 , the food information acquisition unit 114 analyzes the character information extracted by the image processing unit 120 . Then, in subsequent step S53, the food information acquisition unit 114 acquires information on the stored food such as the food name, expiration date, production area, and content from the textual information. In the next step S54, the food information acquisition unit 114 records the acquired information of the stored food in the stored food information 132, and ends the "image analysis process".

また、ステップＳ６０で、食品情報取得部１１４は、画像処理部１２０によって、「入庫時画像」から入庫食品の画像部分を抽出する。続くステップＳ６１で、食品情報取得部１１４は、抽出した入庫食品の画像部分と、予め記憶部１３０に保存された種々の食品のサンプル画像１３４（図５参照）との一致率を算出する。 Further, in step S60, the food information acquisition unit 114 uses the image processing unit 120 to extract the image portion of the stored food from the "image at the time of storage". In subsequent step S61, the food information acquisition unit 114 calculates the rate of matching between the extracted image portion of the stored food and sample images 134 (see FIG. 5) of various foods stored in the storage unit 130 in advance.

次のステップＳ６２で、食品情報取得部１１４は、一致率が最も高いサンプル画像１３４の食品名を入庫食品の食品名と推定して取得し、ステップＳ５４に処理を進める。ステップＳ６０～Ｓ６２の処理により、入庫食品の「入庫時画像」から文字が抽出できなかった場合であっても、入庫食品の食品名を推定して入庫食品情報１３２に記録することができる。 In the next step S62, the food information acquisition unit 114 presumes and acquires the food name of the sample image 134 with the highest matching rate as the food name of the stocked food, and advances the process to step S54. Through the processing of steps S60 to S62, even if characters cannot be extracted from the "image at the time of storage" of the stored food, the food name of the stored food can be estimated and recorded in the stored food information 132.

次に、図１０を参照して、「出庫時画像」に対する「画像分析処理」について説明する。食品情報取得部１１４は、図１０のステップＳ７０で、出庫食品の「出庫時画像」に対して、画像処理部１２０により文字抽出処理を実行する。ここで、出庫食品とは、図８のステップＳ４０で、入出庫判定部１１３により冷蔵室１０から出庫されたと判定された食品である。また、出庫食品の「出庫時画像」とは、図８のステップＳ４０で出庫と判定された食品について、図７のステップＳ２２，Ｓ２３で食品情報取得部１１４により撮像及び保存された「出庫時画像」である。 Next, with reference to FIG. 10, the "image analysis processing" for the "image at the time of leaving the garage" will be described. In step S70 of FIG. 10, the food information acquisition unit 114 causes the image processing unit 120 to perform character extraction processing on the "image at the time of delivery" of the food to be delivered. Here, the delivered food is the food determined to have been delivered from the refrigerating compartment 10 by the entering/leaving determination unit 113 in step S40 of FIG. Further, the "image at the time of delivery" of the food to be delivered is the "image at the time of delivery" captured and stored by the food information acquisition unit 114 in steps S22 and S23 in FIG. ”.

続くステップＳ７１で、食品情報取得部１１４は、画像処理部１２０により「出庫時画像」から文字が抽出されたか否かを判断する。そして、食品情報取得部１１４は、文字が抽出されたときはステップＳ７２に処理を進め、文字が抽出されなかったときにはステップＳ８０に処理を進める。 In subsequent step S71, the food information acquisition unit 114 determines whether or not the image processing unit 120 has extracted characters from the "image at the time of leaving the warehouse". Food information acquisition unit 114 advances the process to step S72 when characters are extracted, and advances the process to step S80 when characters are not extracted.

ステップＳ７２で、食品情報取得部１１４は、画像処理部１２０により抽出された文字の情報を分析する。そして、続くステップＳ７３で、食品情報取得部１１４は、文字の情報から、食品名、賞味期限、産地、内容量等の出庫食品の情報を取得する。次のステップＳ７４で、食品情報取得部１１４は、取得した出庫食品の情報を出庫食品情報１３３に記録して、「画像分析処理」を終了する。 In step S<b>72 , the food information acquisition unit 114 analyzes the character information extracted by the image processing unit 120 . Then, in subsequent step S73, the food information acquisition unit 114 acquires the information of the delivered food, such as the food name, expiration date, production area, content amount, etc., from the character information. In the next step S74, the food information acquisition unit 114 records the acquired information of the delivered food in the delivered food information 133, and ends the "image analysis process".

また、ステップＳ８０で、食品情報取得部１１４は、画像処理部１２０によって、「出庫時画像」から出庫食品の画像部分を抽出する。続くステップＳ８１で、食品情報取得部１１４は、抽出した出庫食品の画像部分と、予め記憶部１３０に保存された種々の食品のサンプル画像１３４との一致率を算出する。 Further, in step S80, the food information acquisition unit 114 uses the image processing unit 120 to extract the image portion of the delivered food from the "image at the time of delivery". In subsequent step S<b>81 , the food information acquisition unit 114 calculates the rate of matching between the extracted image portion of the delivered food and the sample images 134 of various foods stored in advance in the storage unit 130 .

次のステップＳ８２で、食品情報取得部１１４は、一致率が最も高いサンプル画像１３４の食品名を出庫食品の食品名と推定して取得し、ステップＳ７４に処理を進める。ステップＳ８０～Ｓ８２の処理により、出庫食品の「出庫時画像」から文字が抽出できなかった場合であっても、出庫食品の食品名を推定して出庫食品情報１３３に記録することができる。 In the next step S82, the food information acquisition unit 114 presumes and acquires the food name of the sample image 134 with the highest matching rate as the food name of the delivered food, and advances the process to step S74. Through the processing of steps S80 to S82, even when characters cannot be extracted from the "image at the time of delivery" of the delivered food, the food name of the delivered food can be estimated and recorded in the delivered food information 133.

図９の画像分析処理は、冷蔵室１０への入庫が判定された場合の入庫時画像を対象として行われ、図１０の画像分析処理は、冷蔵室１０からの出庫が判定された場合の出庫時画像を対象として行われる。そのため、食品ではなく、右ドア１１又は左ドア１２が通過物体検出部１１１により検出されたときには、入庫又は出庫と判定されないため、画像分析処理は行われない（撮像画像は無効となる）。これにより、右ドア１１又は左ドア１２の画像部分から、誤った食品情報が取得されることを防止することができる。 The image analysis processing in FIG. 9 is performed on the image at the time of entering when it is determined that the refrigerator is in the refrigerating chamber 10, and the image analysis processing in FIG. This is done with the time image as the object. Therefore, when the right door 11 or the left door 12 is detected by the passing object detection unit 111 instead of the food, the image analysis processing is not performed (the captured image becomes invalid) because it is not determined to be warehousing or warehousing. This can prevent incorrect food information from being acquired from the image portion of the right door 11 or the left door 12 .

［３－４．重量センサ補正処理］
図１１に示したフローチャートに従って、重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂの検出重量を補正するための「重量センサ校正処理」の実行手順について説明する。「重量センサ補正処理」は、収容量認識部１１２により実行される。「重量センサ補正処理」は、経時変化等によって生じ得る重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂの検出誤差分を修正（校正）するための処理である。 [3-4. Weight sensor correction process]
The execution procedure of the "weight sensor calibration process" for correcting the weights detected by the weight sensors 13a, 13b, 14a, 14b, 15a, 15b will be described according to the flowchart shown in FIG. The “weight sensor correction process” is executed by the accommodation amount recognition unit 112 . The "weight sensor correction process" is a process for correcting (calibrating) detection errors of the weight sensors 13a, 13b, 14a, 14b, 15a, and 15b that may occur due to aging or the like.

図１１のステップＳ９０で、収容量認識部１１２は、入出庫判定部１１３により冷蔵室への食品の入庫ありと判定されたとき（図８のステップＳ３３でＹＥＳ）に、ステップＳ９１に処理を進める。ステップＳ９１で、収容量認識部１１２は、入庫食品情報１３２に入庫食品の内容量の情報が記録（図９のステップＳ５４の処理）されているか否かを判断する。そして、収容量認識部１１２は、入庫食品情報１３２に入庫食品の内容量（図９のステップＳ５３で取得した食品の内容量）の情報が記録されているときはステップＳ９２に処理を進める。 In step S90 of FIG. 11, the capacity recognition unit 112 advances the process to step S91 when the entry/exit determination unit 113 determines that food is stored in the refrigerator compartment (YES in step S33 of FIG. 8). . In step S91, the storage amount recognizing unit 112 determines whether or not the information on the content amount of the stored food is recorded in the stored food information 132 (the process of step S54 in FIG. 9). When the stored food information 132 contains information on the content of the stored food (the content of the food obtained in step S53 in FIG. 9), the storage amount recognition unit 112 advances the process to step S92.

ステップＳ９２で、収容量認識部１１２は、入庫食品情報１３２に記録された入庫食品の重量と内容量との比を算出する。そして、収容量認識部１１２は、算出した比を、入庫食品の重量検出に用いられた重量センサの補正係数に設定する。例えば、入庫食品が上棚１３に入庫され、重量センサ１３ａ，１３ｂによって重量が検出された場合には、収容量認識部１１２は、算出した比を重量センサ１３ａ，１３ｂの検出重量の補正係数として設定する。 In step S<b>92 , the storage amount recognition unit 112 calculates the ratio between the weight of the stored food recorded in the stored food information 132 and the content. Then, the storage amount recognition unit 112 sets the calculated ratio as the correction coefficient of the weight sensor used to detect the weight of the stored food. For example, when stored food is stored on the upper shelf 13 and the weight is detected by the weight sensors 13a and 13b, the storage amount recognition unit 112 sets the calculated ratio as a correction coefficient for the weight detected by the weight sensors 13a and 13b. do.

続くステップＳ９３で、収容量認識部１１２は、補正係数のデータを記憶部１３０に保存し、ステップＳ９４に処理を進めて「重量センサ補正処理」を終了する。以後、収容量認識部１１２は、重量センサ１３ａ，１３ｂの検出重量に補正係数を乗じた値を、検出重量として扱う。同様にして、収容量認識部１１２は、入庫食品が中棚１４に収容されたときは、重量センサ１４ａ，１４ｂの補正係数を設定し、入庫食品が下棚１５に収容されたときは、重量センサ１５ａ，１５ｂの補正係数を設定する。 In the subsequent step S93, the capacity recognition unit 112 saves the data of the correction coefficient in the storage unit 130, advances the process to step S94, and ends the "weight sensor correction process". After that, the capacity recognition unit 112 treats the value obtained by multiplying the weight detected by the weight sensors 13a and 13b by the correction coefficient as the detected weight. Similarly, the storage amount recognition unit 112 sets the correction coefficients of the weight sensors 14a and 14b when the stored food is stored on the middle shelf 14, and when the stored food is stored on the lower shelf 15, the weight Set the correction coefficients of the sensors 15a and 15b.

一方、ステップＳ９１で、入庫食品情報１３２に内容量の情報が記録されていなかった場合には、収容量認識部１１２は、ステップＳ９４に処理を進めて「重量センサ補正処理」を終了する。この場合は、補正係数の算出及び設定は行われない。 On the other hand, if it is determined in step S91 that the content information is not recorded in the stored food information 132, the storage amount recognition unit 112 advances the process to step S94 and ends the "weight sensor correction process". In this case, calculation and setting of correction coefficients are not performed.

［３－５．庫内食品管理処理］
図１２及び図１３に示したフローチャートに従って、冷蔵室１０に収容された食品の情報を管理するための「庫内食品管理処理」の実行手順について説明する。「庫内食品管理処理」は、食品情報管理部１１５により実行される。 [3-5. In-store food management processing]
12 and 13, the execution procedure of the "stored food management process" for managing the information of the food stored in the refrigerator compartment 10 will be described. The “internal food management process” is executed by the food information management unit 115 .

食品情報管理部１１５は、冷蔵室１０に収容された食品の情報を、庫内食品リスト１３１（図５参照）により管理する。庫内食品リスト１３１には、図１４に示したように、冷蔵室１０に入庫された食品に付された番号（１，２，３，…）と、番号が付された各入庫食品の情報として、食品名、重量（初回、現在、喫食量）、入出庫日時（初回入庫、最新出庫、最新入庫）在庫（１：あり、０：なし）、賞味期限、及び産地とが記録されている。食品情報管理部１１５は、食品情報取得部１１４により記録された入庫食品情報１３２及び出庫食品情報１３３に基づいて、庫内食品リスト１３１の生成及び更新を行う。 The food information management unit 115 manages the information of the food stored in the refrigerator compartment 10 by using the internal food list 131 (see FIG. 5). As shown in FIG. 14, the stored food list 131 includes numbers (1, 2, 3, . , food name, weight (first time, current, consumption amount), storage date and time (first storage, latest storage, latest storage) inventory (1: yes, 0: no), expiration date, and production area are recorded. . The food information management unit 115 generates and updates the in-store food list 131 based on the incoming food information 132 and outgoing food information 133 recorded by the food information acquisition unit 114 .

図１２のステップＳ１００で、食品情報管理部１１５は、入出庫判定部１１３により、冷蔵室１０への食品の入庫又は冷蔵室１０からの食品の出庫が判定されたか否かを判断し、入庫又は出庫が判定されたときにステップＳ１０１に処理を進める。ステップＳ１０１で、食品情報管理部１１５は、入庫の判定がなされたか否かを判断し、入庫の判定がなされたときはステップＳ１０２に処理を進める。一方、入庫の判定がなされなかったとき（出庫の判定がなされたとき）には、食品情報管理部１１５は、ステップＳ１１０に処理を進める。 In step S100 of FIG. 12, the food information management unit 115 determines whether or not the entry/exit determination unit 113 has determined whether or not the food has entered the refrigerator compartment 10 or the food has exited from the refrigerator compartment 10. When it is determined that the vehicle is to be delivered, the process proceeds to step S101. In step S101, the food information management unit 115 determines whether or not the determination of warehousing has been made, and when the determination of warehousing has been made, the process proceeds to step S102. On the other hand, when it is determined that the food is not stored (when it is determined that the food is delivered), the food information management unit 115 advances the process to step S110.

ステップＳ１０２で、食品情報管理部１１５は、所定時間以内に冷蔵室１０からの出庫があったか否かを判断する。そして、所定時間以内に冷蔵室１０からの出庫があったときはステップＳ１０３に処理を進め、所定時間以内に冷蔵室１０からの出庫がなかったときにはステップＳ１１１に処理を進める。なお、所定時間以内に冷蔵室１０からの出庫があったことは、庫内食品リスト１３１から認識することができる。また、所定時間は、ユーザーが、冷蔵室１０から出庫した食品の一部を使用して冷蔵室１０に戻す（再入庫）する場合を想定して、例えば、１０分程度に設定される。 In step S102, the food information management unit 115 determines whether or not food has been delivered from the refrigerating compartment 10 within a predetermined period of time. Then, when the refrigerator compartment 10 is taken out within the predetermined time, the process proceeds to step S103, and when the refrigerator compartment 10 is not taken out within the predetermined time, the process proceeds to step S111. Note that it is possible to recognize from the in-chamber food list 131 that food has been taken out of the refrigerator compartment 10 within a predetermined time. Moreover, the predetermined time is set to, for example, about 10 minutes, assuming that the user uses part of the food taken out of the refrigerating compartment 10 and returns it to the refrigerating compartment 10 (re-entry).

ステップＳ１０３で、食品情報管理部１１５は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であるか否かを判断する。ここで、食品情報管理部１１５は、庫内食品リスト１３１に記録された前回出庫された商品の情報と、入庫食品情報１３２に記録された今回入庫された商品と情報とを対比して、食品名、賞味期限、産地等の一致状況から、前回出庫された食品と今回入庫された食品の一致率を算出する。 In step S103, the food information management unit 115 determines whether or not the rate of matching between the previously shipped food and the currently received food is equal to or greater than a predetermined value. Here, the food information management unit 115 compares the information on the previously shipped product recorded in the stored food list 131 with the information on the currently received product recorded in the stored food information 132, and Based on the matching status of name, expiration date, place of origin, etc., the matching rate between the previously shipped food and the currently received food is calculated.

そして、食品情報管理部１１５は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であるときはステップＳ１０４に処理を進め、前回出庫された食品と今回入庫された食品との一致率が所定値未満であるときには、ステップＳ１１２に処理を進める。 When the matching rate between the previously shipped food item and the currently received food item is equal to or greater than a predetermined value, the food information management unit 115 advances the processing to step S104 to is less than the predetermined value, the process proceeds to step S112.

ステップＳ１０４は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であって、前回出庫された食品と今回入庫された食品とが同一物であると判断できる場合の処理である。ステップＳ１０４で、食品情報管理部１１５は、庫内食品リスト１３１において、所定時間以前に出庫した食品の現在重量、最新入庫日時、喫食量（初回入庫時と現在の重量の差）を、入庫食品情報１３２に記録された情報に基づいて更新し、図１３のステップＳ１０５に処理を進める。 In step S104, the matching rate between the previously shipped food and the currently stored food is equal to or higher than a predetermined value, and it can be determined that the previously shipped food and the currently stored food are the same. is. In step S104, the food information management unit 115 stores the current weight of food items that have been delivered before a predetermined time, the latest storage date and time, and the amount of food consumed (difference between the weight at the time of initial storage and the current weight) of the food items that have been stored before a predetermined time. It is updated based on the information recorded in the information 132, and the process proceeds to step S105 in FIG.

ステップＳ１１２は、前記出庫された食品と今回入庫された食品との一致率が所定値未満であって、前回出庫された食品と今回入庫された食品とが異なると判断できる場合の処理である。食品情報管理部１１５は、ステップＳ１１２で、庫内食品リスト１３１において、入庫食品情報１３２に記録された情報に基づいて入庫食品を新規登録し、図１２のステップＳ１０５に処理を進める。 Step S112 is a process when it is possible to determine that the previously shipped food is different from the currently received food because the coincidence rate between the previously shipped food and the currently received food is less than a predetermined value. In step S112, the food information management unit 115 newly registers the stored food in the stored food list 131 based on the information recorded in the stored food information 132, and advances the process to step S105 in FIG.

ステップＳ１１１は、所定時間以内に出庫がなかった場合の処理である。食品情報管理部１１５は、ステップＳ１１１で、庫内食品リスト１３１において、入庫食品情報１３２に記録された情報に基づいて入庫食品を新規登録し、図１２のステップＳ１０５に処理を進める。 Step S111 is processing when there is no delivery within a predetermined time. In step S111, the food information management unit 115 newly registers the stored food in the stored food list 131 based on the information recorded in the stored food information 132, and advances the process to step S105 in FIG.

ステップＳ１１０は、冷蔵室１０から食品が出庫されたと判定された場合の処理である。食品情報管理部１１５は、ステップＳ１１０で、庫内食品リスト１３１において、該当食品（出庫食品）の現在重量を０に更新する。また、食品情報管理部１１５は、庫内食品リスト１３１において、該当食品の喫食量を更新し、出庫食品情報１３３に記録された情報に基づいて最新出庫時刻を更新して、図１３のステップ１０５に処理を進める。 Step S<b>110 is processing when it is determined that the food has been taken out of the refrigerator compartment 10 . In step S110, the food information management unit 115 updates the current weight of the corresponding food (delivery food) to 0 in the food storage list 131. FIG. In addition, the food information management unit 115 updates the consumption amount of the corresponding food in the stored food list 131, updates the latest delivery time based on the information recorded in the delivered food information 133, and updates step 105 in FIG. proceed to

図１３のステップＳ１０５で、食品情報管理部１１５は、ステップＳ１１０の処理により現在重量が０グラムになった食品があるか否かを判断する。そして、食品情報管理部１１５は、現在重量が０グラムになった食品があるときはステップＳ１０５に処理を進め、現在重量が０グラムになった食品が無いときにはステップＳ１２０に処理を進める。 In step S105 of FIG. 13, the food information management unit 115 determines whether or not there is any food whose weight is currently 0 grams as a result of the processing in step S110. Then, the food information management unit 115 advances the process to step S105 when there is food whose weight is currently 0 grams, and advances the process to step S120 when there is no food whose weight is currently 0 grams.

ステップＳ１０６で、食品情報管理部１１５は、庫内食品リスト１３１の該当食品（今回、出庫されたと判定された食品）の情報を、‘在庫なし’（在庫０）に更新して、ステップＳ１０７に処理を進める。また、ステップＳ１２０で、食品情報管理部１１５は、庫内食品リスト１３１の該当食品（今回、入庫したと判定された食品）の情報を、‘在庫あり’（在庫１）に更新して、ステップＳ１０７に処理を進める。 In step S106, the food information management unit 115 updates the information of the corresponding food (the food determined to have been delivered this time) in the in-chamber food list 131 to 'out of stock' (stock 0), and proceeds to step S107. Proceed with processing. Further, in step S120, the food information management unit 115 updates the information of the corresponding food in the in-chamber food list 131 (the food determined to have entered the warehouse this time) to 'in stock' (inventory 1). The process proceeds to S107.

ステップＳ１０７で、食品情報管理部１１５は、入庫食品情報１３２に文字認識による賞味期限の情報が記録されているか否かを判断する。そして、食品情報管理部１１５は、入庫食品情報１３２に賞味期限の情報が記録されているときはステップＳ１０８に処理を進め、賞味期限の情報が記録されていないときにはステップＳ１２１に処理を進める。 In step S<b>107 , the food information management unit 115 determines whether or not the stored food information 132 contains expiration date information based on character recognition. Then, the food information management part 115 advances the processing to step S108 when the information on the expiration date is recorded in the stored food information 132, and advances the processing to step S121 when the information on the expiration date is not recorded.

ステップＳ１０８で、食品情報管理部１１５は、入庫食品情報１３２に記録された賞味期限の情報に基づいて、庫内食品リスト１３１に今回入庫された食品の賞味期限を登録し、ステップＳ１０９に処理を進める。また、ステップＳ１２１で、食品情報管理部１１５は、記憶部１３０に保存された賞味期限リスト１３５を参照して、該当する食品の一般的な賞味期限を検索する。 In step S108, the food information management unit 115 registers the expiration date of the food currently stored in the storage food list 131 based on the expiration date information recorded in the stored food information 132, and proceeds to step S109. proceed. Also, in step S121, the food information management unit 115 refers to the expiration date list 135 stored in the storage unit 130 to search for the general expiration date of the corresponding food.

賞味期限リスト１３５は、図１４に示したように、食品名と食品の賞味期限とを対応付けたリストであり、食品情報管理部１１５は、今回の入庫食品の食品名に対応付けられた賞味期限を検索する。続くステップＳ１２２で、食品情報管理部１１５は、庫内食品リスト１３１の該当食品のデータに賞味期限を登録して、ステップＳ１０９に処理を進める。 As shown in FIG. 14, the expiration date list 135 is a list in which food names and expiration dates of foods are associated with each other. Search for deadlines. In subsequent step S122, the food information management unit 115 registers the best-before date in the data of the corresponding food in the in-fridge food list 131, and advances the process to step S109.

ステップＳ１０９で、食品情報管理部１１５は、更新した庫内食品リスト１３１のデータを、無線通信部１４０により、通信ネットワーク５１０を介して管理サーバー５２０に送信し、「庫内食品管理処理」を終了する。 In step S109, the food information management unit 115 transmits the updated data of the food in the refrigerator list 131 to the management server 520 via the communication network 510 by the wireless communication unit 140, and ends the "food in the refrigerator management process". do.

管理サーバー５２０は、冷蔵庫１から受信した庫内食品リスト１３１のデータを記憶装置（図示しない）に保存し、庫内食品リスト１３１から認識される各商品の喫食状況、賞味期限までの残日数等を、ユーザーの端末装置４００に送信する。これにより、ユーザーは、外出先等においても、端末装置４００により冷蔵庫１に収容された商品の状況を確認することができる。 The management server 520 stores the data of the refrigerator food list 131 received from the refrigerator 1 in a storage device (not shown), and stores the eating status of each product recognized from the refrigerator food list 131, the remaining number of days until the expiration date, etc. is sent to the terminal device 400 of the user. Accordingly, the user can check the status of the products stored in the refrigerator 1 using the terminal device 400 even when the user is away from home.

［４．撮像処理の別実施形態］
次に、図１５に示したフローチャートに従って、「撮像処理」の別実施形態について説明する。図１５に示したフローチャートは、食品情報取得部１１４及び撮像時点設定部１１６により実行される。撮像時点設定部１１６は、冷蔵室１０の右ドア１１又は左ドア１２が開けられてから第１所定時間が経過した時点を第１撮像時点に設定し、冷蔵室１０の右ドア１１及び左ドア１２が閉められた時から第２所定時間前の時点を第２撮像時点に設定する。 [4. Another embodiment of imaging processing]
Next, according to the flowchart shown in FIG. 15, another embodiment of the "imaging process" will be described. The flowchart shown in FIG. 15 is executed by the food information acquisition unit 114 and the imaging time point setting unit 116 . The image capturing time setting unit 116 sets the time when the first predetermined time has elapsed since the right door 11 or the left door 12 of the refrigerator compartment 10 was opened, as the first image capturing time. 12 is closed, and the point of time before the second predetermined time is set as the second imaging point of time.

食品情報取得部１１４は、ステップＳ１３０で、開閉センサ１８ａ，１８ｂの検出信号から、冷蔵室１０の右ドア１１と左ドア１２の一方又は両方が閉状態から開状態に切り替わったことを認識した時から、ステップＳ１３７で、右ドア１１と左ドア１２の両方が閉状態から開状態に切り替わったことを認識するまでの間に、第１撮像時点及び第２撮像時点でカメラ６０による撮像を行う。 When the food information acquisition unit 114 recognizes in step S130 that one or both of the right door 11 and the left door 12 of the refrigerator compartment 10 have been switched from the closed state to the open state from the detection signals of the open/close sensors 18a and 18b. , until it is recognized in step S137 that both the right door 11 and the left door 12 have switched from the closed state to the open state, the camera 60 takes images at the first and second image capturing times.

食品情報取得部１１４は、ステップＳ１３０で、冷蔵室１０の右ドア１１と左ドア１２の一方又は両方が閉状態から開状態に切り替わったことを認識したときに、ステップＳ１３１に処理を進める。ステップＳ１３１～Ｓ１３２は、撮像時点設定部１１６による処理である。 When the food information acquisition unit 114 recognizes in step S130 that one or both of the right door 11 and the left door 12 of the refrigerator compartment 10 have been switched from the closed state to the open state, the process proceeds to step S131. Steps S131 and S132 are processes by the imaging time point setting unit 116. FIG.

撮像時点設定部１１６は、ステップＳ１３１で、第１所定時間をタイムアップまでの計時時間とするタイマをスタートさせる。そして、続くステップＳ１３２で、タイマがタイムアップした時（第１撮像時点になった時）に、ステップＳ１３３に処理を進める。 In step S131, the imaging time point setting unit 116 starts a timer that sets the first predetermined time as the clocking time until the time expires. Then, in subsequent step S132, when the timer times out (when the first imaging time has come), the process proceeds to step S133.

ステップＳ１３３～Ｓ１３８は、食品情報取得部１１４による処理である。食品情報取得部１１４は、ステップＳ１３３で、カメラ６０による撮像を複数回実行し、続くステップＳ１３４で、撮像した画像のデータを「入庫時画像」のデータとして記憶部１３０に保存する。 Steps S133 to S138 are processes by the food information acquisition unit 114. FIG. In step S133, food information acquisition unit 114 performs image capturing by camera 60 a plurality of times, and in subsequent step S134, stores the data of the captured images in storage unit 130 as data of "image at time of warehousing".

続くステップＳ１３５～Ｓ１３７のループにより、食品情報取得部１１４は、ステップＳ１３７で、開閉センサ１８ａ，１８ｂにより、右ドア１１及び左ドア１２が閉められたことが検出されるまで、ステップＳ１３５、Ｓ１３６の処理を繰り返し実行する。食品情報取得部１１４は、ステップＳ１３５で、カメラ６０による撮像を行って撮像時刻を記憶部１３０に記録し、ステップＳ１３６で、撮像した画像のデータを出庫時画像候補のデータとして、記憶部１３０に保存する。これにより、時系列の撮像画像のデータが、記憶部１３０に順次保存される。 Through the subsequent loop of steps S135 to S137, the food information acquisition unit 114 repeats steps S135 and S136 until it is detected by the open/close sensors 18a and 18b that the right door 11 and the left door 12 are closed in step S137. Execute the process repeatedly. The food information acquisition unit 114 captures an image with the camera 60 and records the image capturing time in the storage unit 130 in step S135. save. As a result, the data of the captured images in time series are sequentially stored in the storage unit 130 .

食品情報取得部１１４は、ステップＳ１３７で、開閉センサ１８ａ，１８ｂにより、右ドア１１及び左ドア１２が閉められたことが検出されたときに、ステップＳ１３８に処理を進める。ステップＳ１３８で、食品情報取得部１１４は、記憶部１３０に保存された出庫時画像候補のデータの中から、ステップＳ１３７で右ドア１１及び左ドアが共に閉められた状態であることが検出された時点から、第２所定時間前に撮像された画像データを、出庫時画像として記憶部１３０に保存する。 When the open/close sensors 18a and 18b detect that the right door 11 and the left door 12 are closed in step S137, the food information acquisition unit 114 advances the process to step S138. In step S138, the food information acquisition unit 114 detects that both the right door 11 and the left door are closed in step S137 from the data of the image candidate at the time of leaving stored in the storage unit 130. Image data captured a second predetermined time before the time point is stored in the storage unit 130 as an image at the time of leaving the garage.

撮像時点設定部１１６により第１撮像時点及び第２撮像時点を設定する他の構成として、開口部１０ａを通過する物体を検出する対物センサ８０（図３～図５参照）による物体の検出状況に基づいて、第１撮像時点及び第２撮像時点を設定してもよい。この場合、撮像時点設定部１１６は、対物センサ８０により物体が検出されていない状態から検出された状態に切り替わった時点に基づいて、例えばこの時点から所定時間が経過した時点を第１撮像時点に設定する。また、撮像時点設定部１１６は、その後、対物センサ８０により物体が検出されている状態から物体が検出されていない状態に切りかわった時点に基づいて、例えば、この時点よりも所定時間前の時点を第２撮像時点に設定する。 As another configuration for setting the first imaging time point and the second imaging time point by the imaging time point setting unit 116, an object sensor 80 (see FIGS. 3 to 5) that detects an object passing through the opening 10a detects an object. Based on this, the first imaging time point and the second imaging time point may be set. In this case, the image capturing time point setting unit 116 sets the time point after a predetermined period of time, for example, as the first image capturing time point, based on the time point at which the object sensor 80 switches from the state in which the object is not detected to the state in which the object is detected. set. Further, the imaging time point setting unit 116, based on the time point after which the object sensor 80 switches from the state in which the object is detected to the state in which the object is not detected, sets the time point, for example, a predetermined time before this time point. is set as the second imaging time point.

［５．他の実施形態］
上記実施形態において、通過物体検出部１１１は、照度センサ１７ａ，１７ｂ，１７ｃにより検出される冷蔵室１０内の照度の変化によって、冷蔵室１０の開口部１０ａを通過する物体を検出した。通過物体検出部１１１の他の構成として、図３～図５に示したように、開口部１０ａを検出範囲に含み、開口部１０ａを通過する物体を直接検出する対物センサ８０（反射型又は透過型の光センサ、超音波センサ、静電容量センサ等）を用いてもよい。この場合、対物センサ８０の検出範囲を、開口部１０ａから冷蔵室１０内に向かう方向において、カメラ６０の撮像範囲よりも手前側に設定してもよい。これにより、開口部１０ａを通過する物体が検出された時点から、カメラ６０による撮像が実行されるまでの遅れ時間により、入庫される食品の撮像に失敗することを防止することができる。 [5. Other embodiments]
In the above-described embodiment, the passing object detection unit 111 detects an object passing through the opening 10a of the refrigerating compartment 10 based on changes in illuminance inside the refrigerating compartment 10 detected by the illuminance sensors 17a, 17b, and 17c. As another configuration of the passing object detection unit 111, as shown in FIGS. 3 to 5, the detection range includes the opening 10a, and an objective sensor 80 (reflective or transmissive sensor) that directly detects an object passing through the opening 10a. optical sensors, ultrasonic sensors, capacitive sensors, etc.) may also be used. In this case, the detection range of object sensor 80 may be set to the front side of the imaging range of camera 60 in the direction from opening 10 a into refrigerator compartment 10 . As a result, it is possible to prevent a failure in capturing an image of the stored food due to a delay time from when an object passing through the opening 10a is detected to when the image is captured by the camera 60.例文帳に追加

また、開閉センサ１８ａにより左ドア１２開けられたことが検出されたとき、及び開閉センサ１８ｂにより右ドア１１が開けられたことが検出されたときに、カメラ６０への通電を開始して、カメラ６０による撮像を可能にしてもよい。この構成によれば、左ドア１２と右ドアが閉められているときは、カメラ６０への通電を遮断して節電することができる。また、右ドア又は左ドア１２が開けられたタイミングでカメラ６０への通電を開始することによって、カメラ６０の起動の遅れにより入庫される食品の撮像に失敗することを防止することができる。 When the open/close sensor 18a detects that the left door 12 is opened and when the open/close sensor 18b detects that the right door 11 is opened, the power supply to the camera 60 is started and the camera is turned on. 60 may be enabled. According to this configuration, when the left door 12 and the right door are closed, power supply to the camera 60 is interrupted to save power. In addition, by starting power supply to the camera 60 at the timing when the right door or the left door 12 is opened, it is possible to prevent failure in photographing the stored food due to delay in starting the camera 60.例文帳に追加

また、食品情報取得部１１４は、通過物体検出部１１１により、開口部１０ａを通過する物体が検出された時から所定時間以内に、開閉センサ１８ａにより左ドア１２が開状態から閉状態に切り替わったことが検出されたとき、又は開閉センサ１８ｂにより右ドア１１が開状態から閉状態に切り替わったことが検出されたときには、カメラ６０により撮像された画像データを無効にする構成としてもよい。この構成によれば、左ドア１２又は右ドア１１が閉められる際に、左ドア１２又は右ドア１１が通過物体検出部１１１により検出されてカメラ６０により撮像されたときに、左ドア１２又は右ドア１１の画像から、誤った食品の情報が抽出されることを防止することができる。 In addition, the food information acquisition unit 114 determines that the left door 12 is switched from the open state to the closed state by the opening/closing sensor 18a within a predetermined time after the passing object detection unit 111 detects an object passing through the opening 10a. The image data captured by the camera 60 may be invalidated when the opening/closing sensor 18b detects that the right door 11 has been switched from the open state to the closed state. According to this configuration, when the left door 12 or the right door 11 is detected by the passing object detection unit 111 and captured by the camera 60 when the left door 12 or the right door 11 is closed, the left door 12 or the right door 11 is detected. It is possible to prevent erroneous food information from being extracted from the image of the door 11 .

上記実施形態において、収容量認識部１１２は、重量センサ１３ａ，１３ｂ，１４ａ，１４ｂ，１５ａ，１５ｂによる検出重量に基づいて、冷蔵室１０の各棚１３，１４，１５に収容されている食品の量を認識した。収容量認識部１１２の他の構成として、照明部１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆを点灯させた状態での照度センサ１７ａ，１７ｂ，１７ｃによる検出照度に基づいて、冷蔵室１０の各棚１３，１４，１５に収容されている食品の量を認識してよい。或いは、カメラ６０又は別に配置したカメラによる冷蔵室１０の内部の撮像画像から、食品の画像部分を抽出することによって、冷蔵室１０の各棚１３，１４，１５に収容されている食品の量を認識してもよい。 In the above embodiment, the storage amount recognition unit 112 determines the amount of food stored on each shelf 13, 14, 15 of the refrigerator compartment 10 based on the weight detected by the weight sensors 13a, 13b, 14a, 14b, 15a, 15b. recognized the quantity. As another configuration of the accommodation amount recognition unit 112, each of the refrigerator compartments 10 is detected based on the illuminance detected by the illuminance sensors 17a, 17b, and 17c with the illumination units 16a, 16b, 16c, 16d, 16e, and 16f turned on. The quantity of food items stored on the shelves 13, 14, 15 may be known. Alternatively, the amount of food stored on each shelf 13, 14, 15 of the refrigerating compartment 10 can be calculated by extracting the image portion of the food from the captured image of the inside of the refrigerating compartment 10 by the camera 60 or a camera arranged separately. may recognize.

上記実施形態では、カメラ６０の撮像画像に対する処理を画像処理部１２０により行ったが、画像処理部１２０の機能をＣＰＵ１１０に備えて、ＣＰＵ１１０により撮像画像に対する処理を行ってもよい。 In the above-described embodiment, the image processing unit 120 processes the captured image of the camera 60, but the CPU 110 may be provided with the functions of the image processing unit 120 and the CPU 110 may process the captured image.

上記実施形態では、サンプル画像１３４と賞味期限リスト１３５のデータを、記憶部１３０に保存したが、管理サーバー５２０に保存して、使用時に管理サーバー５２０から冷蔵庫１の制御ユニット１００にダウンロードするようにしてもよい。 In the above embodiment, the data of the sample image 134 and the expiration date list 135 are stored in the storage unit 130, but are stored in the management server 520 and downloaded from the management server 520 to the control unit 100 of the refrigerator 1 when used. may

また、サンプル画像１３４を記憶部１３０又は管理サーバー５２０に保存するとしたが、色や形、大きさなどの各々の食品や収納物の特徴を事前に学習した画像認識プログラムをＣＰＵ１１０に実装しておき、入庫食品の画像部分を画像認識プログラムで処理をして一致率を算出し入庫食品の食品名と推定して取得してもよい。これによってサンプル画像１３４は不要となって記憶部１３０または管理サーバー５２０で保存する記憶容量を小さくすることができ、入庫食品の食品名を推定する認識処理時間も早く処理できる。出庫食品の食品名の推定も上記と同様に処理することができる。 Also, although the sample image 134 is stored in the storage unit 130 or the management server 520, the CPU 110 is equipped with an image recognition program that learns in advance the characteristics of each food and storage item such as color, shape, and size. Alternatively, the image portion of the stocked food may be processed by an image recognition program to calculate the matching rate, and the food name of the stocked food may be estimated and acquired. As a result, the sample image 134 becomes unnecessary, and the storage capacity to be stored in the storage unit 130 or the management server 520 can be reduced, and the recognition processing time for estimating the food name of the stocked food can be shortened. Estimation of the food name of the delivered food can also be processed in the same manner as described above.

上記実施形態では、冷蔵庫１の冷蔵室１０について、入出庫判定部１１３により食品の入庫と出庫を判別して、食品情報取得部１１４により入庫食品及び出庫食品の情報を取得し、食品情報管理部１１５により冷蔵室１０に収容された食品の情報を管理した。切換室２０、冷凍室４０、及び野菜室５０についても、開口部２０ａ，４０ａ，５０ａを通過する物体を検出する通過物体検出部と、収容された食品の量を認識する収容量認識部を備えることにより、食品の入庫と出庫を判定することができる。また、開口部２０ａ，４０ａ，５０ａを含む範囲を撮像するカメラを設けて、撮像画像（入庫時画像及び出庫時画像）から入庫食品及び出庫食品の情報を取得することにより、切換室２０、冷凍室４０、及び野菜室５０に収容された食品の情報を取得して、食品の管理を行うことができる。 In the above-described embodiment, with respect to the refrigerating compartment 10 of the refrigerator 1, the entry/exit determination unit 113 determines whether food is entering or leaving the warehouse, the food information acquisition unit 114 acquires information on the incoming food and the outgoing food, and the food information management unit 115 managed the information of the food stored in the refrigerator compartment 10 . The switchable compartment 20, the freezer compartment 40, and the vegetable compartment 50 are also provided with a passing object detection unit that detects objects passing through the openings 20a, 40a, and 50a, and a storage amount recognition unit that recognizes the amount of food stored. Therefore, it is possible to determine whether the food is received or not. Further, by providing a camera for capturing an image of a range including the openings 20a, 40a, and 50a, and acquiring information on incoming food and outgoing food from captured images (images at the time of entering and leaving the warehouse), switching compartment 20, freezing It is possible to obtain information on the food stored in the room 40 and the vegetable room 50 and manage the food.

以上のように、本発明にかかる冷蔵庫は、収容室に入庫される食品及び収容室から出庫される食品を、収容室を通過する時点を想定して撮像することにより、収容室に入庫される食品及び収容室から出庫される食品の情報をより確実に取得することができるので、冷蔵庫に収容された食品を管理する用途に適用することができる。 As described above, the refrigerator according to the present invention captures images of foods entering and exiting the accommodation chamber, assuming that the foods are passing through the accommodation chamber. Since it is possible to more reliably acquire information on food items and food items to be delivered from storage chambers, the present invention can be applied to managing food items stored in refrigerators.

１ 冷蔵庫
１０ 冷蔵室
１０ａ 開口部
１１ 右ドア
１２ 左ドア
１３ 上棚
１３ 棚
１３ａ、１３ｂ 重量センサ
１４ 中棚
１４ａ、１４ｂ 重量センサ
１５ 下棚
１５ａ、１５ｂ 重量センサ
１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｒ、１６ｆ 照明部
１７ａ、１７ｂ、１７ｃ 照度センサ
１８ａ、１８ｂ 開閉センサ
２０ 切換室
２０ａ 開口部
２２ 開閉センサ
３０ 製氷室
３０ａ 開口部
３２ 開閉センサ
３２ ステップ
３２ 開閉センサ
４０ ステップ
４０ 冷凍室
４０ａ 開口部
４２ 開閉センサ
５０ 野菜室
５０ａ 開口部
５２ 開閉センサ
６０ カメラ
６１ 圧縮機
６２ 冷却ファン
６３ 冷却器
６４ 凝縮器
１００ 制御ユニット
１１０ ＣＰＵ
１１１ 通過物体検出部
１１２ 収容量認識部
１１３ 入出庫判定部
１１４ 食品情報取得部
１１５ 食品情報管理部
１１６ 撮像時点設定部
１２０ 画像処理部
１２１ 画像メモリ
１３０ 記憶部
１３１ 庫内食品リスト
１３２ 入庫食品情報
１３３ 出庫食品情報
１３４ サンプル画像
１３５ 賞味期限リスト
１４０ 無線通信部
１４１ 日時認識部
４００ 端末装置
５００ ゲートウェイ
５１０ 通信ネットワーク
５２０ 管理サーバー
1 refrigerator 10 refrigerating chamber 10a opening 11 right door 12 left door 13 upper shelf 13 shelf 13a, 13b weight sensor 14 middle shelf 14a, 14b weight sensor 15 lower shelf 15a, 15b weight sensor 16a, 16b, 16c, 16d, 16r, 16f Lighting unit 17a, 17b, 17c Illuminance sensor 18a, 18b Opening/closing sensor 20 Switching chamber 20a Opening 22 Opening/closing sensor 30 Ice making chamber 30a Opening 32 Opening/closing sensor 32 Step 32 Opening/closing sensor 40 Step 40 Freezing chamber 40a Opening 42 Opening/closing sensor 50 Vegetable Chamber 50a Opening 52 Opening/closing sensor 60 Camera 61 Compressor 62 Cooling fan 63 Cooler 64 Condenser 100 Control unit 110 CPU
111 Passing object detection unit 112 Storage amount recognition unit 113 Entry/exit determination unit 114 Food information acquisition unit 115 Food information management unit 116 Imaging point setting unit 120 Image processing unit 121 Image memory 130 Storage unit 131 In-store food list 132 Storage food information 133 Delivery food information 134 Sample image 135 Expiration date list 140 Wireless communication unit 141 Date and time recognition unit 400 Terminal device 500 Gateway 510 Communication network 520 Management server

Claims (4)

冷蔵庫であって、
開口部を有する収容室と、
前記収容室に設けられたドアと、
前記ドアの開閉状態を検出する開閉センサと、
前記開口部を含む撮像範囲を撮像するカメラと、
記憶部と、
前記開閉センサにより前記ドアが閉状態から開状態に切り替わったことが検出された時から、その後、前記開閉センサにより前記ドアが開状態から閉状態に切り替わったことが検出されるまでの間に、前記カメラによる撮像を複数回実行し、前記開閉センサにより前記ドアが閉状態から開状態に切り替わったことが検出された時から第１所定時間が経過した第１撮像時点における撮像画像を前記記憶部に保存する食品情報取得部と、
を備える冷蔵庫。 a refrigerator,
a containment chamber having an opening;
a door provided in the containment chamber;
an open/close sensor that detects an open/close state of the door;
a camera for imaging an imaging range including the opening;
a storage unit;
During the period from when the opening/closing sensor detects that the door has been switched from the closed state to the open state until the opening/closing sensor detects that the door has been switched from the open state to the closed state, The image is captured by the camera a plurality of times, and the captured image at the first image capturing time after a first predetermined time has passed since the open/close sensor detects that the door has been switched from the closed state to the open state is stored in the storage unit. a food information acquisition unit stored in
refrigerator. 前記食品情報取得部は、前記第１撮像時点よりも後の、前記開閉センサにより前記ドアが開状態から閉状態に切り替わったことが検出された時点よりも第２所定時間前の第２撮像時点における撮像画像を前記記憶部に保存する
請求項１に記載の冷蔵庫。 The food information acquisition unit is configured to obtain a second image pickup time point which is a second predetermined time before the opening/closing sensor detects that the door has been switched from the open state to the closed state after the first image pickup time point. 2. The refrigerator according to claim 1, wherein the image captured in is stored in said storage unit. 前記食品情報取得部は、前記第１撮像時点を過ぎてから、前記開閉センサにより前記ドアが開状態から閉状態に切り替わったことが検出されるまでの間に、前記カメラによる撮像を繰り返し行って、複数の撮像画像を出庫時画像候補として撮像時刻と共に前記記憶部に保存し、前記開閉センサにより前記ドアが開状態から閉状態に切り替わったことが検出されたときに、複数の前記出庫時画像候補のうち、前記第２撮像時点に撮像された前記出庫時画像候補を、出庫時画像として前記記憶部に保存する
請求項２に記載の冷蔵庫。 The food information acquisition unit repeats image pickup by the camera during a period from the first image pickup point until the open/close sensor detects that the door has been switched from the open state to the closed state. storing a plurality of picked-up images as image candidates at the time of leaving in the storage unit along with the time of imaging; 3. The refrigerator according to claim 2, wherein among the candidates, the image candidate at the time of leaving the warehouse imaged at the time of the second imaging is stored in the storage unit as the image at the time of leaving the warehouse. 前記食品情報取得部は、前記第１撮像時点における撮像画像を入庫時画像として前記記憶部に保存すると共に、前記第２撮像時点における撮像画像を出庫時画像として前記記憶部に保存し、前記入庫時画像及び前記出庫時画像に基づいて、前記収容室に入庫される食品及び前記収容室から出庫される食品の情報を取得する
請求項２又は請求項３に記載の冷蔵庫。 The food information acquisition unit stores the image captured at the first image capturing time as an image at the time of entering in the storage unit, stores the image captured at the time of the second image capturing as an image at the time of leaving in the storage unit, and 4. The refrigerator according to claim 2 or 3, wherein information about food items stored in said storage room and food items delivered from said storage room is obtained based on the time image and the time-of-delivery image.
JP2023081987A 2021-12-27 2023-05-18 refrigerator Pending JP2023099664A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023081987A JP2023099664A (en) 2021-12-27 2023-05-18 refrigerator

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021212788A JP7289084B2 (en) 2017-10-06 2021-12-27 refrigerator
JP2023081987A JP2023099664A (en) 2021-12-27 2023-05-18 refrigerator

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021212788A Division JP7289084B2 (en) 2017-10-06 2021-12-27 refrigerator

Publications (1)

Publication Number Publication Date
JP2023099664A true JP2023099664A (en) 2023-07-13

Family

ID=80352148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023081987A Pending JP2023099664A (en) 2021-12-27 2023-05-18 refrigerator

Country Status (1)

Country Link
JP (1) JP2023099664A (en)

Similar Documents

Publication Publication Date Title
JP7012263B2 (en) refrigerator
JP7012261B2 (en) refrigerator
JP7281755B2 (en) refrigerator
JP7386459B2 (en) refrigerator
JP7340766B2 (en) refrigerator
JP7164296B2 (en) refrigerator
WO2021212993A1 (en) Camera module in refrigeration appliance and method for preventing lens from fogging
US11335010B2 (en) Methods for viewing and tracking stored items
WO2021057769A1 (en) Method for viewing and tracking stored items
WO2021057820A1 (en) Refrigeration appliance and method for tracking stored articles
JP7289084B2 (en) refrigerator
JP7289083B2 (en) refrigerator
JP2023099664A (en) refrigerator
CN116348727B (en) Refrigeration appliance and user identification method
US11800068B1 (en) Refrigerator camera modules and methods for conserving energy at the same
WO2022095995A1 (en) Refrigeration appliance and method for tracking stored articles
WO2024089973A1 (en) Loading/unloading management system, and loading/unloading management method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240521