JP6095551B2 - refrigerator - Google Patents

refrigerator Download PDF

Info

Publication number
JP6095551B2
JP6095551B2 JP2013221557A JP2013221557A JP6095551B2 JP 6095551 B2 JP6095551 B2 JP 6095551B2 JP 2013221557 A JP2013221557 A JP 2013221557A JP 2013221557 A JP2013221557 A JP 2013221557A JP 6095551 B2 JP6095551 B2 JP 6095551B2
Authority
JP
Japan
Prior art keywords
refrigerator
door
storage
inventory information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013221557A
Other languages
Japanese (ja)
Other versions
JP2015081762A (en
Inventor
舞子 柴田
舞子 柴田
永田　滋之
滋之 永田
毅 内田
毅 内田
誠 岡部
誠 岡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013221557A priority Critical patent/JP6095551B2/en
Publication of JP2015081762A publication Critical patent/JP2015081762A/en
Application granted granted Critical
Publication of JP6095551B2 publication Critical patent/JP6095551B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Description

本発明は、冷蔵庫に関するものである。   The present invention relates to a refrigerator.

近年、一般家庭における食生活の多様化に伴い、冷蔵庫には、多種多様な食品が収納、保存されるようになっている。このような背景のもと、冷蔵庫の大容量化が進み、ますます冷蔵庫へ収納、保存される食品は増えている。冷蔵庫内は、常に多くの食品などが収納、保存されている状態にある。このため、ユーザは庫内の収納物を全て把握することは難しく、庫内の収納物を確認するだけのために、冷蔵庫の扉を開閉することもある。これにより、結果的に冷蔵庫の扉の開閉時間及び開閉回数が増え、余分なエネルギーを消費してしまう。また、ユーザが庫内の収納物を把握していないために、消費期限切れにより食品を無駄にしてしまうこともある。このように、ユーザが庫内の収納物を把握できないことを理由として、エネルギーや食品を無駄にしてしまうという問題が生じる。   In recent years, with the diversification of eating habits in general households, various kinds of foods are stored and stored in refrigerators. Against this background, the capacity of refrigerators has been increasing, and more and more foods are stored and stored in refrigerators. The refrigerator is always in a state where many foods are stored and stored. For this reason, it is difficult for the user to grasp all the items stored in the warehouse, and the door of the refrigerator may be opened and closed just to confirm the items stored in the warehouse. As a result, the opening / closing time and the number of opening / closing times of the refrigerator door increase, and extra energy is consumed. Moreover, since the user does not grasp the stored items in the warehouse, the food may be wasted due to expiration of the expiration date. Thus, there arises a problem that energy and food are wasted because the user cannot grasp the contents stored in the storage.

以上のような問題に対して、従来から様々な在庫管理機能が提案されている。特許文献１には、ペンタッチ入力用ペンにより入力された品目、数量、賞味期限、保存場所などの食料品の在庫状況を食料品記憶部に記憶し、食料品記憶部のデータを表示装置に出力する食料品在庫管理装置が開示されている。   Conventionally, various inventory management functions have been proposed for the above problems. In Patent Document 1, the stock status of food items such as items, quantities, expiration dates, and storage locations input by a pen touch input pen is stored in the food storage unit, and the data in the food storage unit is output to the display device. A food inventory management device is disclosed.

特許文献２には、購入品のレシート若しくはバーコードの読取り、又は入力された音声の認識によって、冷蔵庫に格納される食品の情報を登録する在庫管理冷蔵庫が開示されている。   Patent Document 2 discloses an inventory management refrigerator that registers information on food stored in a refrigerator by reading receipts or barcodes of purchased items or recognizing input voices.

特許文献３には、食品画像処理手段が食品の画像を取り込んだのち所定時間内に冷凍冷蔵庫の扉の開閉を検知したときその食品が入庫されたと判定し、冷凍冷蔵庫の扉の開閉を検知したのち所定時間内に食品画像を取り込み、かつその食品が在庫食品情報の中から選択できた場合にはその食品が出庫されたと判定する、冷凍冷蔵庫の食品在庫管理装置が開示されている。   In Patent Document 3, when food image processing means captures an image of food and detects the opening / closing of the door of the refrigerator-freezer within a predetermined time, it is determined that the food has been received, and the opening / closing of the door of the refrigerator-freezer is detected. There is disclosed a food inventory management device for a refrigerator that captures a food image within a predetermined time and determines that the food has been delivered if the food can be selected from inventory food information.

特開２０００−１６３４７８号公報JP 2000-163478 A 特開２００２−１１５９５６号公報Japanese Patent Laid-Open No. 2002-115956 特開平１０−９７５３号公報JP-A-10-9753 特開２０１０−１２１７８４号公報JP 2010-121784 A

しかしながら、特許文献１〜特許文献３に開示された技術では、冷蔵庫内に物品を収納する際に、食料品の情報の入力操作、レシート等の読取り操作、及び撮影開始操作など、在庫情報を登録するための特別な操作をユーザが行う必要がある。庫内の在庫管理を行うためには、冷蔵庫内に収納される全ての物品について上記のような操作を行う必要があるため、ユーザの手間が大きくなってしまうという問題点があった。   However, in the techniques disclosed in Patent Literature 1 to Patent Literature 3, when storing an article in a refrigerator, inventory information is registered, such as an operation for inputting food information, a reading operation for a receipt, and a shooting start operation. The user needs to perform a special operation to do this. In order to perform inventory management in the warehouse, it is necessary to perform the above-described operation for all the articles stored in the refrigerator, which causes a problem that the user's labor is increased.

上記の問題点を解決し得る技術として、特許文献４には、庫内天井の先端及び各棚の先端に取り付けられた撮影手段により直下の棚面及び庫内底面を撮影し、撮影された画像から各棚及び底面に収納された物品の収納位置情報を生成し、撮影が行われるごとに、新たに生成された収納位置情報と記憶手段に記憶されている収納位置情報とを比較して物品の入出庫を判定し、入庫と判定された物品に対して撮影日時情報と収納位置情報とを在庫情報として生成する、冷蔵庫の在庫管理装置が開示されている。   As a technique that can solve the above-mentioned problem, Patent Document 4 discloses a photographed image obtained by photographing the shelf surface directly below and the bottom surface in the cabinet by photographing means attached to the tip of the cabinet ceiling and the tip of each shelf. Storage position information of the articles stored on the shelves and the bottom surface is generated, and each time shooting is performed, the newly generated storage position information is compared with the storage position information stored in the storage means. An inventory management device for a refrigerator is disclosed in which the storage date / time information and the storage position information are generated as inventory information for an article that has been determined to be in / out.

しかしながら、特許文献４に開示された冷蔵庫の在庫管理装置では、庫内天井及び各棚のそれぞれに撮影手段を設置する必要がある。これにより、撮影手段の設置スペースを確保するために庫内の有効な収納スペースが減少してしまったり、複数の撮影手段が必要になるため冷蔵庫の製造コストが増加してしまうという新たな問題点が生じる。   However, in the refrigerator inventory management device disclosed in Patent Document 4, it is necessary to install photographing means on each of the interior ceiling and each shelf. As a result, there is a new problem that the effective storage space in the warehouse is reduced in order to secure the installation space for the photographing means, or the manufacturing cost of the refrigerator is increased because a plurality of photographing means is required. Occurs.

本発明は、上述のような問題点を解決するためになされたものであり、ユーザの手間を軽減しつつ庫内の在庫管理を行うことができ、かつ庫内の有効な収納スペースの減少や製造コストの増加を抑えることができる冷蔵庫を提供することを目的とする。   The present invention has been made in order to solve the above-described problems, and can manage inventory in the warehouse while reducing the labor of the user, and reduce the effective storage space in the warehouse. It aims at providing the refrigerator which can suppress the increase in manufacturing cost.

本発明に係る冷蔵庫は、貯蔵室と、前記貯蔵室内に設けられた棚と、前記貯蔵室を開閉する扉と、前記貯蔵室の開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する撮影手段と、前記貯蔵室内の在庫情報を記憶する記憶部を有し、前記複数の画像に基づいて前記在庫情報を更新する制御装置と、を備え、前記撮影手段は、前記貯蔵室内であって前記棚よりも前記開口部側に、前記開口部が撮影範囲に含まれるように設けられており、前記撮影手段は、前記扉が開状態になると、前記開口部の手前側に突出するものであり、前記制御装置は、前記複数の画像に基づく演算処理を行って前記対象物の進行方向を検出し、前記進行方向に基づいて前記対象物が前記貯蔵室に入庫されたこと又は前記対象物が前記貯蔵室から出庫されたことを判定する入出庫判定を行い、前記入出庫判定の結果に基づいて前記在庫情報を更新することを特徴とするものである。 The refrigerator according to the present invention photographs a storage room, a shelf provided in the storage room, a door that opens and closes the storage room, and an object passing through the opening of the storage room at predetermined time intervals. An imaging unit that generates a plurality of images, and a control unit that has a storage unit that stores the inventory information in the storage chamber and updates the inventory information based on the plurality of images, and the imaging unit Is provided in the storage chamber and closer to the opening than the shelf so that the opening is included in the photographing range, and the photographing means opens the opening when the door is opened. The control device performs a calculation process based on the plurality of images to detect a traveling direction of the target object, and the target object enters the storage chamber based on the traveling direction. It has been received or the object is Perform goods movements determination determining that it has been left from the storehouse chamber, it is characterized in updating the inventory information based on the previous inlet-outlet of the determination result.

本発明によれば、ユーザが対象物を貯蔵室に対して出し入れするだけで、特別な操作を行うことなく在庫情報を更新することができる。したがって、ユーザの手間を軽減しつつ庫内の在庫管理を行うことができる。   According to the present invention, it is possible to update the inventory information without performing a special operation only by the user putting the object in and out of the storage room. Therefore, inventory management in the warehouse can be performed while reducing the time and effort of the user.

また、貯蔵室の開口部を撮影範囲に含む撮影手段を設けることにより、庫内天井及び各棚のそれぞれに撮影手段を設けるまでもなく貯蔵室の在庫管理を行うことができる。したがって、庫内の有効な収納スペースの減少や冷蔵庫の製造コストの増加を抑えることができる。   In addition, by providing an imaging unit including the opening of the storage room in the imaging range, it is possible to perform inventory management of the storage room without providing an imaging unit on each of the ceiling and each shelf. Therefore, the reduction of the effective storage space in a store | warehouse | chamber and the increase in the manufacturing cost of a refrigerator can be suppressed.

本発明の実施の形態１に係る冷蔵庫１の構成を示す正面図である。It is a front view which shows the structure of the refrigerator 1 which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る冷蔵庫１の構成を示す縦断面図である。It is a longitudinal cross-sectional view which shows the structure of the refrigerator 1 which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る冷蔵庫１の扉８を開いた状態を示す縦断面図である。It is a longitudinal cross-sectional view which shows the state which opened the door 8 of the refrigerator 1 which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る冷蔵庫１の庫内カメラ１４で撮影される画像の一例を示す図である。It is a figure which shows an example of the image image | photographed with the warehouse camera 14 of the refrigerator 1 which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る冷蔵庫１の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the refrigerator 1 which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る冷蔵庫１の庫内カメラ１４で撮影された一連の画像の例を時系列で示す図である。It is a figure which shows the example of a series of images image | photographed with the warehouse camera 14 of the refrigerator 1 which concerns on Embodiment 1 of this invention in time series. 本発明の実施の形態１に係る冷蔵庫１の制御装置７で実行される画像演算処理の一例を示す説明図である。It is explanatory drawing which shows an example of the image calculation process performed with the control apparatus 7 of the refrigerator 1 which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る冷蔵庫１の制御装置７で実行される画像演算処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the image calculation process performed with the control apparatus 7 of the refrigerator 1 which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る冷蔵庫１の制御装置７で実行される入出庫判定の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the warehouse determination performed with the control apparatus 7 of the refrigerator 1 which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る冷蔵庫１の表示部３１に表示される画面表示の一例を示す図である。It is a figure which shows an example of the screen display displayed on the display part 31 of the refrigerator 1 which concerns on Embodiment 1 of this invention. 本発明の実施の形態１に係る冷蔵庫１の制御装置７で実行される処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the process performed with the control apparatus 7 of the refrigerator 1 which concerns on Embodiment 1 of this invention. 本発明の実施の形態２に係る冷蔵庫１の構成を示す縦断面図である。It is a longitudinal cross-sectional view which shows the structure of the refrigerator 1 which concerns on Embodiment 2 of this invention. 本発明の実施の形態２に係る冷蔵庫１の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the refrigerator 1 which concerns on Embodiment 2 of this invention. 本発明の実施の形態２において携帯端末の表示部に表示される画面表示の一例を示す図である。It is a figure which shows an example of the screen display displayed on the display part of a portable terminal in Embodiment 2 of this invention. 本発明の実施の形態２において携帯端末の表示部に表示される画面表示の別の例を示す図である。It is a figure which shows another example of the screen display displayed on the display part of a portable terminal in Embodiment 2 of this invention. 本発明の実施の形態３に係る冷蔵庫１の構成を示す縦断面図である。It is a longitudinal cross-sectional view which shows the structure of the refrigerator 1 which concerns on Embodiment 3 of this invention. 図１６に示す冷蔵庫１において野菜室５００の扉５０２を開いた状態を示す図である。It is a figure which shows the state which opened the door 502 of the vegetable compartment 500 in the refrigerator 1 shown in FIG. 本発明の実施の形態３に係る冷蔵庫１の野菜室用カメラ２０で撮影される画像の一例を示す図である。It is a figure which shows an example of the image image | photographed with the vegetable room camera 20 of the refrigerator 1 which concerns on Embodiment 3 of this invention. 本発明の実施の形態３に係る冷蔵庫１の野菜室用カメラ２０近傍の構成を示す拡大図である。It is an enlarged view which shows the structure of the vegetable room camera 20 vicinity of the refrigerator 1 which concerns on Embodiment 3 of this invention.

実施の形態１．
本発明の実施の形態１に係る冷蔵庫について図１〜図１１を用いて説明する。なお、図１〜図１１を含む以下の図面では、各構成部材の寸法の関係や形状等が実際のものとは異なる場合がある。また、明細書中における各構成部材同士の位置関係（例えば、上下関係等）は、原則として、冷蔵庫１を使用可能な状態に設置したときのものである。 Embodiment 1 FIG.
The refrigerator which concerns on Embodiment 1 of this invention is demonstrated using FIGS. In the following drawings including FIG. 1 to FIG. 11, the dimensional relationship and shape of each component may be different from the actual ones. Moreover, the positional relationship (for example, vertical relationship etc.) between each structural member in a specification is a thing when installing the refrigerator 1 in the state which can be used in principle.

（冷蔵庫の構成）
図１は、本実施の形態に係る冷蔵庫１の構成を示す正面図である。図２は、本実施の形態に係る冷蔵庫１の構成を示す縦断面図（側面断面図）である。図１及び図２に示すように、冷蔵庫１は、前面（正面）が開口されて内部に貯蔵空間が形成された断熱箱体９０を有している。断熱箱体９０は、鋼鉄製の外箱と、樹脂製の内箱と、外箱と内箱との間の空間に充填された断熱材と、を有している。断熱箱体９０の内部に形成された貯蔵空間は、１つ又は複数の仕切り部材により、保冷温度帯の異なる複数の貯蔵室に区画されている。本例の冷蔵庫１は、複数の貯蔵室として、最上段に配置された冷蔵室１００と、冷蔵室１００の下方に配置された切替室２００と、切替室２００の側方に隣接して切替室２００と並列に配置された製氷室３００と、切替室２００及び製氷室３００の下方に配置された冷凍室４００と、冷凍室４００の下方に配置された最下段の野菜室５００と、を備えている。切替室２００は、冷凍温度帯（例えば−１８℃程度）、冷蔵温度帯（例えば３℃程度）、チルド温度帯（例えば０℃程度）、ソフト冷凍温度帯（例えば−７℃程度）等の各種温度帯に、保冷温度帯を切り替えることができるようになっている。 (Composition of refrigerator)
FIG. 1 is a front view showing the configuration of the refrigerator 1 according to the present embodiment. FIG. 2 is a longitudinal sectional view (side sectional view) showing the configuration of the refrigerator 1 according to the present embodiment. As shown in FIG.1 and FIG.2, the refrigerator 1 has the heat insulation box 90 by which the front surface (front) was opened and the storage space was formed in the inside. The heat insulation box 90 has a steel outer box, a resin inner box, and a heat insulating material filled in a space between the outer box and the inner box. The storage space formed inside the heat insulating box 90 is partitioned into a plurality of storage chambers having different cold insulation temperature zones by one or a plurality of partition members. The refrigerator 1 of the present example includes a refrigerating room 100 disposed at the top as a plurality of storage rooms, a switching room 200 disposed below the refrigerating room 100, and a switching room adjacent to the side of the switching room 200. 200, an ice making chamber 300 arranged in parallel with 200, a freezing chamber 400 arranged below the switching chamber 200 and the ice making chamber 300, and a bottom vegetable room 500 arranged below the freezing chamber 400. Yes. The switching chamber 200 has various types such as a freezing temperature zone (for example, about −18 ° C.), a refrigeration temperature zone (for example, about 3 ° C.), a chilled temperature zone (for example, about 0 ° C.), and a soft freezing temperature zone (for example, about −7 ° C.). The cold insulation temperature zone can be switched to the temperature zone.

冷蔵室１００の前面に形成された開口部には、当該開口部を開閉する回転式の扉８が設けられている。本例の扉８は両開き式（観音開き式）であり、右扉８ａ及び左扉８ｂにより構成されている。冷蔵庫１の前面となる扉８（例えば、左扉８ｂ）の外側表面には、操作パネル６が設けられている。操作パネル６は、各貯蔵室の保冷温度等の設定を調節するための操作スイッチ（後述する操作部３０）と、各貯蔵室の温度や庫内の在庫情報などを表示する液晶表示部（後述する表示部３１）と、を備えている。また、操作パネル６は、操作部と表示部を兼ねるタッチパネルを備えていてもよい。   The opening formed in the front surface of the refrigerator compartment 100 is provided with a rotary door 8 that opens and closes the opening. The door 8 of this example is a double door type (double door type), and is constituted by a right door 8a and a left door 8b. An operation panel 6 is provided on the outer surface of the door 8 (for example, the left door 8b) serving as the front surface of the refrigerator 1. The operation panel 6 includes an operation switch (an operation unit 30 to be described later) for adjusting settings such as a cold insulation temperature of each storage room, and a liquid crystal display unit (to be described later) that displays the temperature of each storage room, inventory information in the warehouse, and the like. Display unit 31). The operation panel 6 may include a touch panel that serves as both an operation unit and a display unit.

冷蔵室１００以外の各貯蔵室（切替室２００、製氷室３００、冷凍室４００、野菜室５００）は、それぞれ引出し式の扉によって開閉されるようになっている。これらの引出し式の扉は、扉に固定して設けられたフレームを各貯蔵室の左右の内壁面に水平に形成されたレールに対してスライドさせることにより、冷蔵庫１の奥行方向（前後方向）に開閉できるようになっている。野菜室５００には、食品等を内部に収納できる収納ケース５０１が引出し自在に格納されている。収納ケース５０１は、扉のフレームによって支持されており、扉の開閉に連動して前後方向にスライドするようになっている。同様に、切替室２００及び冷凍室４００には、食品等を内部に収納できる収納ケース２０１、４０１がそれぞれ引出し自在に格納されている。各貯蔵室に設けられる収納ケースの数はそれぞれ１つであってもよいが、冷蔵庫１全体の容量を考慮して整理性などが向上する場合には２つ以上であっても構わない。   Each storage room (the switching room 200, the ice making room 300, the freezer room 400, and the vegetable room 500) other than the refrigerator room 100 is opened and closed by a drawer-type door. These drawer-type doors slide in the depth direction (front-rear direction) of the refrigerator 1 by sliding a frame fixed to the door with respect to rails formed horizontally on the left and right inner wall surfaces of each storage room. It can be opened and closed. In the vegetable compartment 500, a storage case 501 capable of storing food and the like is stored in a freely retractable manner. The storage case 501 is supported by a door frame, and slides in the front-rear direction in conjunction with opening and closing of the door. Similarly, in the switching chamber 200 and the freezer compartment 400, storage cases 201 and 401 that can store food and the like are stored in a freely retractable manner. The number of storage cases provided in each storage room may be one, but it may be two or more when the organization and the like are improved in consideration of the capacity of the entire refrigerator 1.

（冷却機構）
冷蔵庫１の背面側には、各貯蔵室内を冷却する冷却手段の例として、圧縮機２と、冷却器３（蒸発器）と、送風ファン４と、風路５と、が設けられている。圧縮機２及び冷却器３は、不図示の凝縮器及び膨張手段と共に、冷凍サイクルを構成するものである。圧縮機２及び冷却器３により作り出された冷気は、送風ファン４によって送風され、冷蔵庫１の背面の風路５を通って冷凍室４００、切替室２００、製氷室３００及び冷蔵室１００に供給される。野菜室５００には、冷蔵室１００からの戻り冷気が冷蔵室用帰還風路（図示せず）を介して供給される。野菜室５００に供給された冷気は、野菜室用帰還風路（図示せず）を通って冷却器３に戻される。各貯蔵室の温度は、各貯蔵室内に設置されたサーミスタ（図示せず）により検知され、あらかじめ設定された温度になるように、風路５に設置されたダンパ（図示せず）の開度、圧縮機２の出力及び送風ファン４の送風量などを調整することで制御される。 (Cooling mechanism)
On the back side of the refrigerator 1, a compressor 2, a cooler 3 (evaporator), a blower fan 4, and an air passage 5 are provided as examples of cooling means for cooling each storage chamber. The compressor 2 and the cooler 3 constitute a refrigeration cycle together with a condenser and expansion means (not shown). The cold air produced by the compressor 2 and the cooler 3 is blown by the blower fan 4 and supplied to the freezing room 400, the switching room 200, the ice making room 300, and the refrigerating room 100 through the air passage 5 on the back surface of the refrigerator 1. The Returned cold air from the refrigerator compartment 100 is supplied to the vegetable compartment 500 via a refrigerator air return passage (not shown). The cold air supplied to the vegetable compartment 500 is returned to the cooler 3 through a vegetable room return air passage (not shown). The temperature of each storage room is detected by a thermistor (not shown) installed in each storage room, and the degree of opening of a damper (not shown) installed in the air passage 5 is set to a preset temperature. It is controlled by adjusting the output of the compressor 2 and the amount of air blown by the blower fan 4.

制御装置７は、ＣＰＵ、記憶部、入出力部、タイマ等を備えたマイコンであり、冷蔵庫１の動作を制御するものである。記憶部には、冷蔵庫１の動作プログラム、後述する冷蔵庫１（例えば冷蔵室１００）内の在庫情報等が格納されている。   The control device 7 is a microcomputer including a CPU, a storage unit, an input / output unit, a timer, and the like, and controls the operation of the refrigerator 1. The storage unit stores an operation program of the refrigerator 1, inventory information in the refrigerator 1 (for example, the refrigerator compartment 100) described later, and the like.

（冷蔵室の構成）
冷蔵室１００は、扉８の開閉状態を検知する扉開閉検知スイッチ９（扉開閉検知手段の一例）と、扉８の庫内側に設けられた１つ又は複数の扉ポケット１０と、冷蔵室１００内を複数段の空間に仕切る１つ又は複数の棚１１と、冷蔵室１００内の下方に設けられたチルドケース１２と、を備えている。冷蔵室１００の天井には、冷蔵室１００内を照明する照明部１３と、庫内カメラ１４（撮影手段の一例）と、が設けられている。 (Structure of the refrigerator compartment)
The refrigerating room 100 includes a door open / close detection switch 9 (an example of a door open / close detecting means) that detects the open / closed state of the door 8, one or a plurality of door pockets 10 provided inside the door 8, and the refrigerating room 100. One or a plurality of shelves 11 that divide the interior into a plurality of spaces, and a chilled case 12 provided below the refrigerator compartment 100 are provided. On the ceiling of the refrigerating room 100, an illumination unit 13 that illuminates the inside of the refrigerating room 100 and an internal camera 14 (an example of a photographing unit) are provided.

（庫内カメラ）
図３は、冷蔵庫１の扉８を開いた状態を示す縦断面図である。図３に示すように、庫内カメラ１４は、扉８を開いたときの冷蔵室１００の開口部付近が撮影可能となるように配置されている。言い換えれば、庫内カメラ１４は、扉８を開いたときの冷蔵室１００の開口部付近が撮影範囲に含まれるように配置されている。本例では、庫内カメラ１４は、冷蔵室１００の天井面のうち、棚１１よりも開口部側（手前側）となる位置に下向きに設けられている。 (Camera inside)
FIG. 3 is a longitudinal sectional view showing a state where the door 8 of the refrigerator 1 is opened. As shown in FIG. 3, the internal camera 14 is arranged so that the vicinity of the opening of the refrigerator compartment 100 when the door 8 is opened can be photographed. In other words, the internal camera 14 is arranged so that the vicinity of the opening of the refrigerator compartment 100 when the door 8 is opened is included in the imaging range. In this example, the in-compartment camera 14 is provided downward on the ceiling surface of the refrigerator compartment 100 at a position that is closer to the opening side (front side) than the shelf 11.

図４は、冷蔵庫１の庫内カメラ１４で撮影される画像の一例を示す図である。図４に示すように、画像の下部には冷蔵室１００の底面の一部が写されており、画像の上部には冷蔵室１００外の一部が写されている。このように、冷蔵室１００の開口部付近を撮影範囲とすることにより、庫内カメラ１４は、冷蔵室１００に入出庫される食品等の対象物を必ず撮影することができるようになっている。   FIG. 4 is a diagram illustrating an example of an image captured by the internal camera 14 of the refrigerator 1. As shown in FIG. 4, a part of the bottom surface of the refrigerator compartment 100 is shown in the lower part of the image, and a part outside the refrigerator compartment 100 is shown in the upper part of the image. As described above, by setting the vicinity of the opening of the refrigerator compartment 100 as an imaging range, the in-compartment camera 14 can always photograph an object such as a food that enters and exits the refrigerator compartment 100. .

（機能ブロック）
図５は、冷蔵庫１の構成を示す機能ブロック図である。図１又は図２に示した構成要素と同一の構成要素には同一の符号を付している。図５に示すように、制御装置７は、例えば、サーミスタ３２から冷蔵室１００内の温度の情報を取得する。制御装置７は、冷蔵室１００内の温度が操作パネル６の操作部３０で設定された設定温度に維持されるように、記憶部にあらかじめ記憶された動作プログラムに従って、圧縮機２、送風ファン４、ダンパ等の運転状態を制御する。また、制御装置７は、扉８の開閉状態を扉開閉検知スイッチ９により検知し、扉８の開閉状態に基づいて照明部１３と庫内カメラ１４を動作させる。すなわち、制御装置７は、扉開閉検知スイッチ９からの出力信号に基づいて扉８が開かれたことを検知すると、照明部１３を点灯させるとともに、庫内カメラ１４を起動させて撮影を開始させる。庫内カメラ１４は、冷蔵室１００の開口部付近をあらかじめ設定された時間間隔で撮影する。また、制御装置７は、扉開閉検知スイッチ９からの出力信号に基づいて扉８が閉じられたことを検知すると、照明部１３を消灯させるとともに、庫内カメラ１４での撮影を終了する。制御装置７は、後述するように、庫内カメラ１４での撮影により得られた複数の画像を取得し、取得した複数の画像に基づく演算処理を行い、さらに入出庫判定を実施する。制御装置７は、入出庫判定の結果に基づいて冷蔵室１００内の在庫情報を更新して記憶し、更新した在庫情報の少なくとも一部を操作パネル６の表示部３１に表示させる。 (Function block)
FIG. 5 is a functional block diagram showing the configuration of the refrigerator 1. The same components as those shown in FIG. 1 or 2 are denoted by the same reference numerals. As illustrated in FIG. 5, the control device 7 acquires information on the temperature in the refrigerator compartment 100 from the thermistor 32, for example. The control device 7 includes the compressor 2 and the blower fan 4 according to an operation program stored in advance in the storage unit so that the temperature in the refrigerator compartment 100 is maintained at the set temperature set by the operation unit 30 of the operation panel 6. Control the operating state of the damper and the like. In addition, the control device 7 detects the open / closed state of the door 8 by the door open / closed detection switch 9 and operates the illumination unit 13 and the internal camera 14 based on the open / closed state of the door 8. That is, when the control device 7 detects that the door 8 is opened based on an output signal from the door opening / closing detection switch 9, the control device 7 turns on the illumination unit 13 and activates the internal camera 14 to start photographing. . The internal camera 14 captures the vicinity of the opening of the refrigerator compartment 100 at a preset time interval. In addition, when the control device 7 detects that the door 8 is closed based on an output signal from the door open / close detection switch 9, the control device 7 turns off the illumination unit 13 and ends the photographing with the internal camera 14. As will be described later, the control device 7 acquires a plurality of images obtained by photographing with the in-compartment camera 14, performs arithmetic processing based on the acquired images, and further performs entry / exit determination. The control device 7 updates and stores the stock information in the refrigerator compartment 100 based on the result of the entry / exit determination, and displays at least a part of the updated stock information on the display unit 31 of the operation panel 6.

（入出庫判定）
図６は、庫内カメラ１４で撮影された一連の画像の例を時系列で示している。図６に示すように、庫内カメラ１４では、あらかじめ設定された時間間隔Δｔ毎に、複数の画像（例えば、静止画像）が得られる。本例では、扉８が開かれたことを検知した直後の時間ｔ０から、扉８が閉じられたことを検知する直前の時間ｔ５まで、時間間隔Δｔ毎に６枚の画像が得られている。制御装置７は、庫内カメラ１４から取得した複数の画像を比較し、画像演算処理を行い、差分をとることにより、動いているものを対象物として抽出する。制御装置７は、複数の画像の差分に基づいて、画像中における対象物の進行方向（進行方向ベクトル）を算出する。制御装置７は、画像中における対象物の進行方向に基づいて、対象物が冷蔵室１００に入庫されたこと、又は対象物が冷蔵室１００から出庫されたことを判定する。例えば、制御装置７は、対象物の進行方向が画像の下方向、すなわち冷蔵室１００の外部から内部に向かう方向であれば、対象物が冷蔵室１００に入庫されたと判定する。また、制御装置７は、対象物の進行方向が画像の上方向、すなわち冷蔵室１００の内部から外部に向かう方向であれば、対象物が冷蔵室１００から出庫されたと判定する。 (Incoming / outgoing judgment)
FIG. 6 shows an example of a series of images taken by the internal camera 14 in time series. As illustrated in FIG. 6, the internal camera 14 obtains a plurality of images (for example, still images) for each preset time interval Δt. In this example, six images are obtained for each time interval Δt from time t0 immediately after detecting that the door 8 is opened to time t5 immediately before detecting that the door 8 is closed. . The control device 7 compares a plurality of images acquired from the in-compartment camera 14, performs image calculation processing, and takes the difference to extract a moving object as an object. The control device 7 calculates the traveling direction (traveling direction vector) of the object in the image based on the difference between the plurality of images. The control device 7 determines that the object has been stored in the refrigerator room 100 or that the object has been output from the refrigerator room 100 based on the traveling direction of the object in the image. For example, the control device 7 determines that the object has been stored in the refrigerator room 100 when the moving direction of the object is the lower direction of the image, that is, the direction from the outside to the inside of the refrigerator room 100. Further, the control device 7 determines that the object has been delivered from the refrigerator compartment 100 when the moving direction of the object is the upward direction of the image, that is, the direction from the inside of the refrigerator compartment 100 to the outside.

（画像演算処理）
画像から進行方向を算出する画像演算処理の一例について説明する。図７は、制御装置７で実行される画像演算処理の一例を示す説明図である。図７の（ａ）列は、時間ｔ０〜時間ｔ５に取得された６枚の画像をそれぞれブロック単位に分割した状態を示している。図７の（ｂ）列は、時間ｔ１〜時間ｔ５の画像のそれぞれにおいて直前（Δｔ前）の画像から変化があったブロックを示している。図７の（ｃ）列は、時間間隔Δｔにおける対象物の進行方向ベクトルを示している。 (Image calculation processing)
An example of image calculation processing for calculating a traveling direction from an image will be described. FIG. 7 is an explanatory diagram showing an example of image calculation processing executed by the control device 7. The column (a) in FIG. 7 shows a state in which six images acquired at time t0 to time t5 are each divided into blocks. The column (b) in FIG. 7 shows blocks that have changed from the immediately preceding image (before Δt) in each of the images from time t1 to time t5. The column (c) in FIG. 7 shows the traveling direction vector of the object in the time interval Δt.

まず制御装置７は、庫内カメラ１４から取得した各画像のそれぞれを複数の小さなブロック毎（例えば、画素単位）に分割し、横方向（ｘ方向）及び縦方向（ｙ方向）の位置を表す座標（ｘ，ｙ）を各ブロックに与える（図７の（ａ）列）。本例では、画像の下方向（冷蔵室１００の外部から内部に向かう方向）を＋ｙ方向（正方向）としている。   First, the control device 7 divides each of the images acquired from the internal camera 14 into a plurality of small blocks (for example, pixel units), and represents the positions in the horizontal direction (x direction) and the vertical direction (y direction). Coordinates (x, y) are given to each block (column (a) in FIG. 7). In this example, the downward direction of the image (the direction from the outside to the inside of the refrigerator compartment 100) is the + y direction (positive direction).

次に、制御装置７は、時間ｔ１〜時間ｔ５の画像のそれぞれにおいて直前（Δｔ前）の画像から例えば輝度等に変化があったブロックを判定する。例えば、時間ｔ１の画像と、その直前の時間ｔ０の画像とにおいて、同一座標のブロック同士の輝度Ｌ（ｘ，ｙ）を比較して差分をとる。その差分があらかじめ設定された閾値以上である場合には、当該ブロックには変化ありと判定する。ここで、制御装置７は、あらかじめ記憶部に記憶された人間の手や腕の色及び形状の特徴点などの情報に基づき、画像中における人の手及び腕を認識することができるようになっている。制御装置７は、時刻ｔ１の画像において、変化ありと判定したブロックで形成される範囲のうち、人の手及び腕を除いた範囲を対象物のブロック（対象物が動いたブロック）として検出する（図７の（ｂ）列における時間ｔ１の画像のうち「▼」（黒塗りの逆三角形）印を付したブロックの範囲）。同様に、時間ｔ２の画像と、その直前の時間ｔ１の画像とを比較し、対象物が動いたブロックを判定する。時間ｔ２の画像では、動きがあったブロックのうち、直前の時間ｔ１の画像で対象物として検出したブロック（時間ｔ１で動いたブロック）を除いたブロックを、対象物が動いたブロックとして検出する（図７の（ｂ）列における時間ｔ２の画像のうち「▼」（黒塗りの逆三角形）印を付したブロックの範囲）。続いて、時間ｔ３以降の全ての画像について同様の処理を行う。   Next, the control device 7 determines a block in which, for example, the luminance has changed from the immediately preceding image (before Δt) in each of the images from time t1 to time t5. For example, the luminance L (x, y) between the blocks having the same coordinates is compared between the image at time t1 and the image at time t0 immediately before the difference. If the difference is greater than or equal to a preset threshold, it is determined that the block has changed. Here, the control device 7 can recognize the human hand and arm in the image based on information such as the feature points of the color and shape of the human hand and arm stored in advance in the storage unit. ing. The control device 7 detects, as an object block (a block in which the object has moved), a range excluding a person's hand and arm from a range formed by blocks determined to have changed in the image at time t1. (A range of blocks marked with “▼” (black inverted triangle) in the image at time t1 in the column (b) of FIG. 7). Similarly, the image at time t2 is compared with the image at time t1 immediately before that to determine the block in which the object has moved. In the image at time t2, among the blocks that have moved, blocks other than the block detected as the object in the immediately preceding image at time t1 (the block that moved at time t1) are detected as the blocks where the object has moved. (A range of blocks marked with “▼” (black inverted triangle) in the image at time t2 in the column (b) of FIG. 7). Subsequently, the same processing is performed for all images after time t3.

ここで、制御装置７は、動いたブロックのうち、隣り合うブロックは同一物体であると認識し、１枚の画像中に複数の物体が認識される場合には、ブロック数が多い方の物体を対象物として認識する。これにより、影などを対象物として誤認してしまうことを防ぐことができる。なお、直接隣り合うブロックだけでなく、人の手（指、手の甲など）を挟んで間接的に隣り合うブロックを同一物体であると認識するようにしてもよい。   Here, the control device 7 recognizes that the adjacent blocks among the moved blocks are the same object, and when a plurality of objects are recognized in one image, the object having the larger number of blocks. Is recognized as an object. Thereby, it can prevent misidentifying a shadow etc. as a target object. In addition, not only directly adjacent blocks but also indirectly adjacent blocks with a human hand (finger, back of hand, etc.) may be recognized as the same object.

次に、制御装置７は、動いたと判定された対象物のブロックの座標から、時間ｔ１〜ｔ２間、時間ｔ２〜ｔ３間、・・・等の各期間における対象物の進行方向ベクトルｖ１、ｖ２、・・・を算出し（図７の（ｃ）列）、全ての進行方向ベクトルｖ１、ｖ２、・・・の和である進行方向ベクトルＶを算出して記憶部に記憶する。制御装置７は、進行方向ベクトルＶのｙ方向成分が＋（正）である場合には対象物が冷蔵室１００に入庫されたと判定し、−（負）である場合には対象物が冷蔵室１００から出庫されたと判定する。進行方向ベクトルＶのｙ方向成分が０である場合には、対象物が入庫も出庫もされていないと判定する。 Next, the control device 7 determines, from the coordinates of the block of the object determined to have moved, the object traveling direction vector v 1 during each period such as the time t1 to t2, the time t2 to t3,. v 2 ,... are calculated (column (c) in FIG. 7), and a traveling direction vector V that is the sum of all the traveling direction vectors v 1 , v 2 ,... is calculated and stored in the storage unit. . The control device 7 determines that the object has been stored in the refrigerator room 100 when the y-direction component of the traveling direction vector V is + (positive), and the object is stored in the refrigerator room when it is − (negative). It is determined that 100 has been issued. When the y direction component of the traveling direction vector V is 0, it is determined that the object has not been entered or exited.

図８は、制御装置７で実行される画像演算処理の流れの一例を示すフローチャートである。なお、図８に示す画像制御処理は、後述する図１１のフローチャートの一部（ステップＳ１１０）で呼び出されるサブルーチンである。制御装置７は、時間ｔ０から時間ｔｎまでΔｔ間隔で撮影されたｎ＋１枚の画像について画像制御処理を実施する。まず、内部変数ｉに１を代入し（ステップＳ１１０１）、時間ｔ１（時間ｔｉ）の画像と時間ｔ０（時間ｔｉ−１）の画像とを比較し（ステップＳ１１０２）、変化ありのブロックを検出する（ステップＳ１１０３）。次に、変化ありのブロックで形成される範囲から、人の手及び腕を検出して除外する（ステップＳ１１０４）。さらに、変化ありのブロックで形成される範囲から、時間ｔ０で動いたブロックを除外し（ステップＳ１１０５）、残りのブロックを時間ｔ１で動いたブロックとして検出する（ステップＳ１１０６）。   FIG. 8 is a flowchart illustrating an example of the flow of image calculation processing executed by the control device 7. Note that the image control process shown in FIG. 8 is a subroutine called in a part (step S110) of the flowchart of FIG. 11 described later. The control device 7 performs image control processing on n + 1 images taken at intervals of Δt from time t0 to time tn. First, 1 is substituted into the internal variable i (step S1101), the image at time t1 (time ti) is compared with the image at time t0 (time ti-1) (step S1102), and a block with change is detected. (Step S1103). Next, human hands and arms are detected and excluded from the range formed by the changed blocks (step S1104). Further, the block moved at time t0 is excluded from the range formed by the changed blocks (step S1105), and the remaining blocks are detected as the blocks moved at time t1 (step S1106).

次に、時間ｔ１で動いたブロックのうち隣り合うブロックは同一物体であると認識した上で、時間ｔ１で動いた物体の数ｍをカウントする（ステップＳ１１０７）。物体数ｍが１である場合（ステップＳ１１０８のｙｅｓ）には、当該物体を対象物とする（ステップＳ１１０９）。物体数ｍが複数である場合（ステップＳ１１１０のｙｅｓ）には、ブロック数が最大の物体を選択し（ステップＳ１１１１）、選択した物体を対象物とする（ステップＳ１１０９）。物体数ｍが０である場合（ステップＳ１１１０のｎｏ）には、対象物がないものとして処理を進める。以上の処理により、時間ｔ１の画像において、動いたと判定された対象物のブロックが特定される。次に、内部変数ｉに１を加算し（ステップＳ１１１２）、ステップＳ１１０２〜Ｓ１１１２の処理を繰り返す。   Next, after recognizing that adjacent blocks among the blocks moved at time t1 are the same object, the number m of objects moved at time t1 is counted (step S1107). When the number m of objects is 1 (yes in step S1108), the object is set as a target (step S1109). When the number of objects m is plural (yes in step S1110), the object having the maximum number of blocks is selected (step S1111), and the selected object is set as the target (step S1109). If the number of objects m is 0 (no in step S1110), the process proceeds assuming that there is no object. With the above processing, the block of the object determined to have moved in the image at time t1 is specified. Next, 1 is added to the internal variable i (step S1112), and the processing of steps S1102 to S1112 is repeated.

ステップＳ１１０２〜Ｓ１１１２の処理をｎ回繰り返すと（ステップＳ１１１３のｙｅｓ）、時間ｔ１から時間ｔｎまでの全ての画像において、動いたと判定された対象物のブロックが特定される。次に、ステップＳ１１１４の処理に移行し、進行方向ベクトルの算出を行う。   When the processes of steps S1102 to S1112 are repeated n times (yes in step S1113), the block of the object determined to have moved is specified in all the images from time t1 to time tn. Next, the process proceeds to step S1114, and the traveling direction vector is calculated.

まず、内部変数ｉに２を代入し（ステップＳ１１１４）、時間ｔ２（時間ｔｉ）の画像と時間ｔ１（時間ｔｉ−１）の画像とのそれぞれにおいて、対象物のブロックの代表点座標（例えば、対象物のブロックの中心座標）ｔ２（ｘ２，ｙ２）及びｔ１（ｘ１，ｙ１）を算出する（ステップＳ１１１５）。次に、算出したそれぞれの代表点座標ｔ２（ｘ２，ｙ２）及びｔ１（ｘ１，ｙ１）に基づき、時間ｔ１から時間ｔ２の間で動いた対象物の進行方向ベクトルｖ２（ｖ２＝（ｘ２−ｘ１，ｙ２−ｙ１））を算出する（ステップＳ１１１６）。以上の処理により、時間ｔ２の画像において、対象物の進行方向ベクトルｖ２が算出される。次に、内部変数ｉに１を加算し（ステップＳ１１１７）、ステップＳ１１１５〜Ｓ１１１７の処理を繰り返す。 First, 2 is substituted for the internal variable i (step S1114), and the representative point coordinates of the block of the target object (for example, in the image at time t2 (time ti-1) and the image at time t1 (time ti-1) (for example, The center coordinates of the object block) t2 (x 2 , y 2 ) and t1 (x 1 , y 1 ) are calculated (step S1115). Next, based on the calculated representative point coordinates t2 (x 2 , y 2 ) and t1 (x 1 , y 1 ), the traveling direction vector v 2 (v 2 = (x 2 −x 1 , y 2 −y 1 )) is calculated (step S1116). By the above process, the image of the time t2, the traveling direction vector v 2 of the object is calculated. Next, 1 is added to the internal variable i (step S1117), and the processing of steps S1115 to S1117 is repeated.

ステップＳ１１１５〜Ｓ１１１７の処理をｎ−１回繰り返すと（ステップＳ１１１８のｙｅｓ）、時間ｔ２から時間ｔｎまでの全ての画像において、対象物の進行方向ベクトルｖｉが算出される。 When the processes in steps S1115 to S1117 are repeated n-1 times (yes in step S1118), the traveling direction vectors v i of the objects are calculated in all the images from time t2 to time tn.

次に、ステップＳ１１１９の処理に移行し、時間ｔ２から時間ｔｎまでの全ての画像における進行方向ベクトルｖｉを足し合わせて、対象物の進行方向ベクトルＶ（Ｖ＝ｖ２＋・・・＋ｖｎ＝（Ｖｘ，Ｖｙ））を算出する。 Then, the process proceeds to the process of step S1119, by adding the traveling direction vector v i in all of the image from the time t2 to the time tn, traveling direction vector V (V = v 2 + ··· + v n of the object = (V x , V y )) is calculated.

図９は、制御装置７で実行される入出庫判定の流れの一例を示すフローチャートである。なお、図９に示す入出庫判定は、後述する図１１のフローチャートの一部（ステップＳ１１２）で呼び出されるサブルーチンである。まず、ステップＳ１２０１では、画像演算処理で算出された進行方向ベクトルＶ＝（Ｖｘ，Ｖｙ）を取得する。進行方向ベクトルＶのｙ方向成分Ｖｙが０より大きい場合（ステップＳ１２０２のｙｅｓ）には、対象物が入庫されたと判定する（ステップＳ１２０３）。進行方向ベクトルＶのｙ方向成分Ｖｙが０より小さい場合（ステップＳ１２０４のｙｅｓ）には、対象物が出庫されたと判定する（ステップＳ１２０５）。進行方向ベクトルＶのｙ方向成分Ｖｙが０である場合（ステップＳ１２０４のｎｏ）には、対象物が入庫も出庫もされていないと判定する（ステップＳ１２０６）。 FIG. 9 is a flowchart illustrating an example of a flow of entering / exiting determination executed by the control device 7. Note that the entry / exit determination shown in FIG. 9 is a subroutine called in a part (step S112) of the flowchart of FIG. First, in step S1201, the traveling direction vector V = (V x , V y ) calculated by the image calculation process is acquired. If the y-direction component V y of the traveling direction vector V is greater than 0 (yes in step S1202), it is determined that the object has been received (step S1203). If the y-direction component V y of the traveling direction vector V is smaller than 0 (yes in step S1204), it is determined that the object has been issued (step S1205). If the y-direction component V y of the traveling direction vector V is 0 (no in step S1204), it is determined that the object has not been entered or exited (step S1206).

（在庫情報管理）
対象物が入庫されたと判定した場合、制御装置７は、対象物の画像と当該画像の撮影日時（すなわち、対象物が入庫された日時）とを在庫情報のレコード（１件分のデータ）として記憶部に記憶する。記憶する画像としては、庫内カメラ１４により撮影された複数の画像のうち、対象物の位置が画像の中心に最も近い画像が選択される。例えば、制御装置７は、複数の画像のうち、対象物の代表点座標と画像全体の中心座標との間の距離が最も近い画像を選択して記憶する。これにより、複数の画像のうちユーザが対象物を認識しやすい画像のみを記憶することができる。 (Inventory information management)
When it is determined that the object has been received, the control device 7 uses the image of the object and the shooting date and time of the image (that is, the date and time when the object was received) as a record of inventory information (data for one case). Store in the storage unit. As an image to be stored, an image in which the position of the object is closest to the center of the image is selected from among a plurality of images taken by the internal camera 14. For example, the control device 7 selects and stores an image having the closest distance between the representative point coordinates of the object and the center coordinates of the entire image among the plurality of images. Thereby, only the image in which the user can easily recognize the object can be stored among the plurality of images.

対象物が出庫されたと判定した場合、制御装置７は、当該対象物に対応するレコードを在庫情報から特定し、そのレコードを在庫情報から削除する。例えば、制御装置７は、対象物の画像と、記憶部に記憶されている在庫情報の画像とを比較し、対象物の画像と同一と認識された画像を含むレコードを在庫情報から削除する。   When it determines with the target object having been delivered, the control apparatus 7 specifies the record corresponding to the said target object from inventory information, and deletes the record from inventory information. For example, the control device 7 compares the image of the object with the image of the inventory information stored in the storage unit, and deletes the record including the image recognized as the same as the image of the object from the inventory information.

なお、在庫情報の各レコードには対象物の入庫先の情報が含まれていないが、本例では庫内カメラ１４が設けられているのが冷蔵室１００のみであるため、在庫情報に含まれる全ての対象物の入庫先は冷蔵室１００である。複数の貯蔵室に庫内カメラが設けられている場合には、開状態となっている扉の情報に基づいて対象物の入庫先を判定し、入庫先の貯蔵室の識別情報を在庫情報の各レコードに含めるようにしてもよい。   Note that each record of the inventory information does not include information on the storage destination of the object. However, in this example, only the refrigerator compartment 100 is provided with the in-compartment camera 14, and thus is included in the inventory information. The storage destination of all objects is the refrigerator compartment 100. When multiple storage rooms are equipped with in-compartment cameras, the storage destination of the object is determined based on the information on the opened door, and the identification information of the storage room at the storage destination is stored in the inventory information. It may be included in each record.

（在庫情報の表示）
図１０は、冷蔵庫１の表示部３１に表示される画面表示の一例を示している。図１０に示すように、表示部３１は、制御装置７の記憶部に在庫情報として記憶されている画像を、撮影日時が古い順（あるいは新しい順）に並べて表示する。撮影日時、又は撮影日時に基づいて算出した保存日数を画像と共に表示してもよい。また、ユーザが操作部３０により任意の画像を選択できるようにし、画像が選択されたときに当該画像の撮影日時又は保存日数などの情報を表示するようにしてもよい。在庫情報の表示に画像を用いることにより、ユーザが在庫品を視覚的に確認できるため、在庫品を認識しやすくすることができる。また、食品の包装、容器、又は蓋などが透明で中身が視認できる場合には、当該食品の使用量及び残量も画像から確認することができる。 (Display inventory information)
FIG. 10 shows an example of a screen display displayed on the display unit 31 of the refrigerator 1. As shown in FIG. 10, the display unit 31 displays the images stored as the inventory information in the storage unit of the control device 7 in the order of shooting date and time (or newest). The shooting date / time or the number of storage days calculated based on the shooting date / time may be displayed together with the image. Alternatively, the user may select an arbitrary image using the operation unit 30, and when an image is selected, information such as the shooting date / time or the number of storage days of the image may be displayed. By using an image for displaying the inventory information, the user can visually confirm the inventory, so that the inventory can be easily recognized. In addition, when the packaging, container, lid, or the like of the food is transparent and the contents can be visually confirmed, the used amount and the remaining amount of the food can also be confirmed from the image.

在庫情報の各レコードに入庫先の貯蔵室の情報が含まれている場合、表示部３１には貯蔵室毎の在庫情報を表示するようにしてもよい。図１０に示す例では、表示部３１には貯蔵室の名称（本例では「冷蔵室」）が表示されるとともに、当該貯蔵室内の在庫品の画像のみが選択的に表示されている。   When each record of the inventory information includes information on the storage room at the warehousing destination, the display unit 31 may display the inventory information for each storage room. In the example shown in FIG. 10, the name of the storage room (in this example, “refrigeration room”) is displayed on the display unit 31, and only the images of the inventory in the storage room are selectively displayed.

（冷蔵庫の処理例）
図１１は、冷蔵庫１の制御装置７で実行される処理の流れの一例を示すフローチャートである。冷蔵庫１の運転中には、図１１に示す処理が所定の時間間隔で繰り返し実行される。制御装置７は、扉開閉検知スイッチ９からの出力信号に基づき扉８が開かれたことを検知すると（ステップＳ１０１のｙｅｓ）、照明部１３を点灯させるとともに（ステップＳ１０２）、庫内カメラ１４を起動させる（ステップＳ１０３）。また、制御装置７は、タイマをリセットしてｔ＝０とする（ステップＳ１０４）。制御装置７は、あらかじめ設定された時間間隔Δｔ（例えば、Δｔ＝１秒）が経過してｔ≧Δｔとなったら（ステップＳ１０５のｙｅｓ）、庫内カメラ１４での撮影を実施する（ステップＳ１０６）。庫内カメラ１４での撮影は、扉８が閉じられるまでの間（ステップＳ１０７のｎｏ）、時間間隔Δｔ毎に実施される。 (Fridge treatment example)
FIG. 11 is a flowchart illustrating an example of a flow of processing executed by the control device 7 of the refrigerator 1. During operation of the refrigerator 1, the process shown in FIG. 11 is repeatedly executed at predetermined time intervals. When the control device 7 detects that the door 8 has been opened based on the output signal from the door opening / closing detection switch 9 (Yes in Step S101), the control device 7 turns on the illumination unit 13 (Step S102) and switches the internal camera 14 on. Start (step S103). Further, the control device 7 resets the timer to t = 0 (step S104). When a preset time interval Δt (for example, Δt = 1 second) elapses and t ≧ Δt is satisfied (yes in step S105), the control device 7 performs photographing with the internal camera 14 (step S106). ). Photographing with the internal camera 14 is carried out every time interval Δt until the door 8 is closed (no in step S107).

制御装置７は、扉開閉検知スイッチ９からの出力信号に基づき扉８が閉じられたことを検知すると（ステップＳ１０７のｙｅｓ）、照明部１３を消灯させるとともに（ステップＳ１０８）、庫内カメラ１４を停止させる（ステップＳ１０９）。   When the control device 7 detects that the door 8 is closed based on the output signal from the door opening / closing detection switch 9 (Yes in Step S107), the control device 7 turns off the illumination unit 13 (Step S108) and turns off the internal camera 14. Stop (step S109).

次に、制御装置７は、庫内カメラ１４で撮影された画像に基づく画像演算処理を実行し（ステップＳ１１０、図８）、その結果から進行方向ベクトルＶを取得し（ステップＳ１１１）、入出庫判定を実施する（ステップＳ１１２、図９）。対象物が入庫されたと判定した場合（ステップＳ１１３のｙｅｓ）、制御装置７は、対象物の画像（例えば、複数の画像から選択された１つの画像）及び撮影日時を在庫情報の新たなレコードとして記憶部に記憶し（ステップＳ１１４）、在庫情報を更新する。また、制御装置７は、更新された在庫情報を表示部３１に表示する（ステップＳ１１５）。   Next, the control device 7 executes image calculation processing based on the image photographed by the internal camera 14 (step S110, FIG. 8), acquires a traveling direction vector V from the result (step S111), and enters and exits the store. The determination is performed (step S112, FIG. 9). When it determines with the target object having been received (yes of step S113), the control apparatus 7 uses the image (for example, one image selected from several images) and imaging | photography date as a new record of inventory information. The information is stored in the storage unit (step S114), and the inventory information is updated. Moreover, the control apparatus 7 displays the updated inventory information on the display part 31 (step S115).

対象物が出庫されたと判定した場合（ステップ１１６のｙｅｓ）、記憶部に記憶されている在庫情報の画像から対象物の画像と同一と認識される画像を検索する（ステップＳ１１７）。対象物の画像と同一と認識される画像が特定された場合には、当該画像を含む在庫情報のレコード（画像及び撮影日時の情報）を削除するとともに、表示部３１の表示からも削除する（ステップＳ１１８）。対象物の画像と同一と認識される画像が特定できなかった場合には、その旨の情報を表示部３１に表示するようにしてもよい。入庫も出庫もされていないと判定した場合には（ステップＳ１１６のｎｏ）、そのまま処理を終了する。   When it is determined that the object has been issued (Yes in step 116), an image recognized as the same as the image of the object is searched from the stock information image stored in the storage unit (step S117). When an image that is recognized to be the same as the image of the object is specified, the inventory information record (image and shooting date / time information) including the image is deleted and also deleted from the display of the display unit 31 ( Step S118). When an image recognized as the same as the image of the object cannot be specified, information to that effect may be displayed on the display unit 31. If it is determined that neither entry nor exit has been performed (no in step S116), the process is terminated.

以上説明したように、本実施の形態に係る冷蔵庫１は、冷蔵室１００（貯蔵室の一例）と、冷蔵室１００を開閉する扉８と、冷蔵室１００の開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する庫内カメラ１４（撮影手段の一例）と、冷蔵室１００内の在庫情報を記憶する記憶部を有し、複数の画像に基づいて在庫情報を更新する制御装置７と、を備え、制御装置７は、複数の画像に基づく演算処理（例えば、図８に示す画像演算処理）を行って対象物の進行方向を検出し、進行方向に基づいて対象物が貯蔵室に入庫されたこと又は対象物が貯蔵室から出庫されたことを判定する入出庫判定（例えば、図９に示す入出庫判定）を行い、入出庫判定の結果に基づいて在庫情報を更新することを特徴とするものである。   As described above, the refrigerator 1 according to the present embodiment has a refrigerator compartment 100 (an example of a storage compartment), a door 8 that opens and closes the refrigerator compartment 100, and an object that passes through the opening of the refrigerator compartment 100 in advance. An in-compartment camera 14 (an example of a photographing unit) that captures images at set time intervals and generates a plurality of images, and a storage unit that stores inventory information in the refrigerator compartment 100, and stores inventory based on the plurality of images. And a control device 7 that updates information. The control device 7 performs a calculation process based on a plurality of images (for example, the image calculation process shown in FIG. 8) to detect the traveling direction of the target object. Based on the result of the entry / exit determination, an entry / exit determination (for example, entry / exit determination shown in FIG. 9) is performed to determine whether the object has entered the storage room or the object has been delivered from the storage room. It is also characterized by updating inventory information It is.

この構成によれば、ユーザが食品等の対象物を貯蔵室に対して出し入れするだけで、情報を登録又は削除するための特別な操作を行うことなく、貯蔵室の在庫情報を更新することができる。これにより、ユーザの手間を軽減しつつ庫内の在庫管理を行うことができるため、冷蔵庫１の利便性が向上する。また、在庫管理を簡単に行うことができるため、死蔵品や使い忘れなどにより食品を無駄にしてしまうことを防ぐことができる。   According to this configuration, the user can update the stock information of the storage room only by taking in and out an object such as food to and from the storage room without performing a special operation for registering or deleting the information. it can. Thereby, since the inventory management in a warehouse can be performed, reducing a user's effort, the convenience of the refrigerator 1 improves. In addition, since inventory management can be easily performed, it is possible to prevent waste of food due to dead items or forgotten use.

また、本実施の形態に係る冷蔵庫１は、扉８の開閉状態を検知する扉開閉検知スイッチ９（扉開閉検知手段の一例）をさらに備え、庫内カメラ１４は、扉開閉検知スイッチ９が扉８の開状態を検知したことに基づいて撮影を開始することを特徴とするものである。   The refrigerator 1 according to the present embodiment further includes a door open / close detection switch 9 (an example of door open / close detection means) that detects the open / closed state of the door 8, and the internal camera 14 has the door open / close detection switch 9 as a door. The photographing is started based on the detection of the open state of No. 8.

この構成によれば、扉８が開かれたことを契機として庫内カメラ１４による撮影が開始されるため、冷蔵室１００に入出庫される対象物をより確実に撮影することができる。また、扉８の開閉状態を検知することによって、対象物の入庫先となる貯蔵室を容易に特定することができる。   According to this configuration, since shooting by the internal camera 14 is started when the door 8 is opened, it is possible to more reliably shoot the object that enters and exits the refrigerator compartment 100. Further, by detecting the open / closed state of the door 8, it is possible to easily identify the storage room that is the storage destination of the object.

また、本実施の形態に係る冷蔵庫１は、制御装置７は、対象物が冷蔵室１００に入庫されたと判定した場合、複数の画像のうち対象物の位置が画像の中心に最も近い画像を、在庫情報に含まれるデータ（レコード）として記憶することを特徴とするものである。   In addition, when the control device 7 determines that the object has been stored in the refrigerator compartment 100, the refrigerator 1 according to the present embodiment displays an image in which the position of the object is the closest to the center of the image among the plurality of images. It is stored as data (record) included in the inventory information.

この構成によれば、複数の画像のうちユーザが対象物を認識しやすい画像のみを記憶することができるため、ユーザによる在庫情報の確認が容易となるとともに、在庫情報のデータ容量を削減することができる。   According to this configuration, it is possible to store only an image from which a user can easily recognize an object among a plurality of images, so that the user can easily check inventory information and reduce the data capacity of the inventory information. Can do.

また、本実施の形態に係る冷蔵庫１は、制御装置７は、対象物が冷蔵室１００から出庫されたと判定した場合、在庫情報から対象物に対応するデータを特定し、当該データを在庫情報から削除することを特徴とするものである。   Moreover, the refrigerator 1 which concerns on this Embodiment specifies the data corresponding to a target object from inventory information, when the control apparatus 7 determines with the target object having been delivered from the refrigerator compartment 100, and the said data is based on inventory information. It is characterized by deleting.

この構成によれば、在庫情報を容易かつ確実に更新することができる。   According to this structure, inventory information can be updated easily and reliably.

また、本実施の形態に係る冷蔵庫１は、扉８の外側表面に設けられた表示部３１を含む報知手段をさらに備え、制御装置７は、報知手段に在庫情報を報知（例えば、表示）させることを特徴とするものである。   The refrigerator 1 according to the present embodiment further includes notification means including a display unit 31 provided on the outer surface of the door 8, and the control device 7 notifies (for example, displays) the inventory information to the notification means. It is characterized by this.

この構成によれば、扉８を開かずに表示部３１によって冷蔵室１００内の在庫情報を確認することができるため、扉８の開閉頻度を低減でき、冷蔵庫１の省エネルギー化を実現できる。   According to this configuration, since the inventory information in the refrigerator compartment 100 can be confirmed by the display unit 31 without opening the door 8, the frequency of opening and closing the door 8 can be reduced, and energy saving of the refrigerator 1 can be realized.

本実施の形態では、特許文献４の在庫管理装置のように各棚面及び庫内底面のそれぞれにおける物品の収納位置情報に基づいて在庫管理を行うのではなく、貯蔵室の開口部を通過する対象物を撮影し、撮影画像に基づいて対象物の進行方向を検出し、入出庫判定を行うことにより在庫管理を行っている。したがって、貯蔵室の開口部を撮影範囲に含む撮影手段を設けることにより、庫内天井及び各棚のそれぞれに撮影手段を設けるまでもなく貯蔵室の在庫管理を行うことができる。したがって、本実施の形態によれば、庫内の有効な収納スペースの減少や冷蔵庫の製造コストの増加を抑えることができる。   In the present embodiment, the inventory management is not performed based on the storage position information of the articles on each shelf surface and the bottom surface in the warehouse as in the inventory management device of Patent Document 4, but passes through the opening of the storage chamber. Inventory management is performed by photographing a target object, detecting a traveling direction of the target object based on the photographed image, and making an entry / exit determination. Therefore, by providing the photographing means including the opening of the storage room in the photographing range, it is possible to carry out inventory management of the storage room without providing photographing means on each of the ceiling and each shelf. Therefore, according to this Embodiment, the reduction of the effective storage space in a store | warehouse | chamber and the increase in the manufacturing cost of a refrigerator can be suppressed.

なお、本例では、庫内カメラ１４が冷蔵室１００の天井面に設けられているが、庫内カメラ１４は冷蔵室１００の他の位置に設けられていてもよい。また、庫内カメラ１４が設けられるのは冷蔵室１００に限られず、他の貯蔵室であってもよい。   In this example, the in-compartment camera 14 is provided on the ceiling surface of the refrigerator compartment 100, but the in-compartment camera 14 may be provided in another position in the refrigerator compartment 100. Further, the storage camera 14 is not limited to the refrigerator compartment 100, and may be another storage room.

実施の形態２．
本発明の実施の形態２に係る冷蔵庫について説明する。図１２は、本実施の形態に係る冷蔵庫１の構成を示す縦断面図である。図１３は、本実施の形態に係る冷蔵庫１の構成を示す機能ブロック図である。なお、実施の形態１と同一の機能及び作用を有する構成要素については、同一の符号を付してその説明を省略する。 Embodiment 2. FIG.
A refrigerator according to Embodiment 2 of the present invention will be described. FIG. 12 is a longitudinal sectional view showing the configuration of the refrigerator 1 according to the present embodiment. FIG. 13 is a functional block diagram showing the configuration of the refrigerator 1 according to the present embodiment. In addition, about the component which has the function and effect | action same as Embodiment 1, the same code | symbol is attached | subjected and the description is abbreviate | omitted.

図１２及び図１３に示すように、本実施の形態に係る冷蔵庫１は、電気通信回線１６と接続可能な通信手段１５を有している。通信手段１５は、例えば冷蔵庫１の上面に設けられており、制御装置７と接続されている。これにより、制御装置７は、電気通信回線１６を介して、タブレット端末４１又は携帯電話４０（スマートフォンを含む）などの携帯端末との間でデータの送受信を行うことができるようになっている。   As shown in FIGS. 12 and 13, refrigerator 1 according to the present embodiment has communication means 15 that can be connected to electric communication line 16. The communication means 15 is provided on the upper surface of the refrigerator 1, for example, and is connected to the control device 7. Thereby, the control apparatus 7 can perform transmission / reception of data between portable terminals, such as the tablet terminal 41 or the mobile telephone 40 (a smart phone is included) now via the telecommunication line 16. FIG.

電気通信回線１６は、電灯線、赤外線、非赤外線、無線、公衆回線、光ケーブル、ＩＳＤＮ、ＡＤＳＬ、インターネット、衛星等のデジタル又はアナログの信号の通信回線を含む。通信手段１５は、デジタル又はアナログの信号を送受信できるインターフェースである。有線による通信を行う場合には、通信手段１５は、例えば、シリアルインターフェース又はドライバを備える。無線による通信を行う場合には、通信手段１５は、例えば、Ｗｉ−Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）などの通信規格に対応した通信モジュールを備える。   The telecommunication line 16 includes a digital or analog signal communication line such as a power line, infrared ray, non-infrared ray, wireless, public line, optical cable, ISDN, ADSL, Internet, satellite and the like. The communication means 15 is an interface that can transmit and receive digital or analog signals. When performing wired communication, the communication unit 15 includes, for example, a serial interface or a driver. When performing wireless communication, the communication unit 15 includes a communication module corresponding to a communication standard such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).

図１４は、携帯端末（例えば、タブレット端末４１）の表示部に表示される画面表示の一例を示している。図１４に示すように、携帯端末の表示部には、制御装置７の記憶部に記憶されている在庫情報の画像が一覧となって表示されている。ユーザは、冷蔵室１００内の在庫情報を知りたいとき、携帯端末を操作して、電気通信回線１６を介して制御装置７に在庫情報の要求を行う。制御装置７は、通信手段１５により携帯端末からの在庫情報の要求を受け取ると、記憶部から在庫情報を読み出し、読み出した在庫情報を通信手段１５により電気通信回線１６を介して携帯端末に送信する。携帯端末側では、受信した在庫情報が、例えば図１４に示したように表示部に表示される。これにより、在庫情報は、冷蔵庫１の表示部３１だけでなく、携帯端末の表示部にも表示される。   FIG. 14 shows an example of a screen display displayed on the display unit of the mobile terminal (for example, the tablet terminal 41). As shown in FIG. 14, the inventory information images stored in the storage unit of the control device 7 are displayed as a list on the display unit of the mobile terminal. When the user wants to know the inventory information in the refrigerator compartment 100, he operates the portable terminal and requests the inventory information from the control device 7 via the telecommunication line 16. When the communication device 15 receives the request for inventory information from the portable terminal, the control device 7 reads the inventory information from the storage unit, and transmits the read inventory information to the portable terminal via the electric communication line 16 by the communication device 15. . On the portable terminal side, the received inventory information is displayed on the display unit as shown in FIG. 14, for example. Thereby, inventory information is displayed not only on the display unit 31 of the refrigerator 1 but also on the display unit of the portable terminal.

図１５は、携帯端末（例えば、タブレット端末４１）の表示部に表示される画面表示の別の例を示している。図１５に示すように、携帯端末の表示部には、制御装置７の記憶部に記憶されている在庫情報が、アイコン化された画像（アイコン画像）の一覧となって表示されている。アイコン画像とは、食品の種類を表す簡略化された画像である。本例において、制御装置７は、庫内カメラ１４により撮影された画像に基づいて画像演算処理及び入出庫判定を実行する。入出庫判定において対象物が入庫されたと判定した場合、制御装置７は、対象物の画像と撮影日時とを在庫情報のレコードとして記憶するとともに、撮影された画像内の対象物と、あらかじめ記憶部に記憶された食品の種類毎の形状及び色等の特徴点の情報とを比較し、対象物と一致する食品の種類を判定する。判定した食品の種類の情報は、在庫情報のレコードの一部として対象物と対応付けて記憶される。また、制御装置７の記憶部には、食品の種類毎にあらかじめ設定されたアイコン画像が記憶されている。制御装置７は、携帯端末からの情報の要求を受け取ると、携帯端末に対し、例えば在庫情報のうち各対象物の撮影画像以外の情報と、各対象物に対応付けられたアイコン画像とを通信手段１５に送信させる。携帯端末側では、受信した在庫情報が、例えば図１５に示したようにアイコン画像の一覧として表示部に表示される。アイコン画像を用いて在庫情報を表示することにより、電気通信回線１６を介して送信する情報量を、撮影画像そのものを送信するのに比べて小さくすることができる。また、外出先など他人のいるところで在庫情報を確認するとき、アイコン画像を用いて在庫情報を表示することにより、撮影画像を表示するのに比べてプライバシーを守ることができる。なお、食品の種類毎に設定されたアイコン画像は、あらかじめ携帯端末側に記憶されていてもよい。この場合、電気通信回線１６を介して送信する情報量をさらに小さくすることができる。   FIG. 15 shows another example of the screen display displayed on the display unit of the mobile terminal (for example, the tablet terminal 41). As shown in FIG. 15, the inventory information stored in the storage unit of the control device 7 is displayed as a list of iconified images (icon images) on the display unit of the mobile terminal. An icon image is a simplified image representing the type of food. In this example, the control device 7 executes image calculation processing and entry / exit determination based on an image taken by the in-compartment camera 14. When it is determined that the object is received in the entry / exit determination, the control device 7 stores the image of the object and the shooting date / time as a record of inventory information, and stores the object in the captured image and the storage unit in advance. The information on the feature points such as the shape and color for each type of food stored in the table is compared, and the type of food that matches the object is determined. The determined food type information is stored in association with the object as part of the inventory information record. Moreover, the icon image preset for every kind of food is memorize | stored in the memory | storage part of the control apparatus 7. FIG. When the control device 7 receives a request for information from the mobile terminal, the control device 7 communicates, for example, information other than the captured image of each target in the inventory information and the icon image associated with each target to the mobile terminal. It is made to transmit to the means 15. On the mobile terminal side, the received inventory information is displayed on the display unit as a list of icon images, for example, as shown in FIG. By displaying the inventory information using the icon image, the amount of information transmitted via the telecommunication line 16 can be reduced compared to transmitting the captured image itself. In addition, when checking inventory information where there is another person such as a place to go, by displaying the inventory information using an icon image, privacy can be protected compared to displaying a photographed image. The icon image set for each type of food may be stored in advance on the mobile terminal side. In this case, the amount of information transmitted via the telecommunication line 16 can be further reduced.

本実施の形態では、冷蔵庫１の表示部３１と携帯端末の表示部との双方に在庫情報を表示できるようになっているが、ユーザは携帯端末を用いて在庫情報を確認することができるため、冷蔵庫１の表示部３１は設けられていなくてもよい。   In the present embodiment, the inventory information can be displayed on both the display unit 31 of the refrigerator 1 and the display unit of the portable terminal, but the user can check the inventory information using the portable terminal. The display unit 31 of the refrigerator 1 may not be provided.

以上説明したように、本実施の形態に係る冷蔵庫１は、電気通信回線１６に接続可能な通信手段１５をさらに備え、制御装置７は、電気通信回線１６に接続可能な携帯端末（例えば、携帯電話４０、タブレット端末４１等）に、前記在庫情報を前記通信手段に送信させることを特徴とするものである。   As described above, the refrigerator 1 according to the present embodiment further includes the communication means 15 that can be connected to the telecommunication line 16, and the control device 7 is a portable terminal that can be connected to the telecommunication line 16 (for example, a portable terminal). The telephone 40, the tablet terminal 41, and the like) transmit the stock information to the communication means.

この構成によれば、携帯端末を所持したユーザは、冷蔵庫１のそばにいなくても、好きな場所で冷蔵室１００の在庫情報を把握することができるため、利便性が向上する。また、携帯端末を所持したユーザは、買い物先などの遠隔地で冷蔵室１００の在庫情報を把握することができるため、食品を重複して購入したり、食品を補充し忘れたりするミスを防ぐことができる。   According to this configuration, even if the user who has the portable terminal is not near the refrigerator 1, the user can grasp the inventory information of the refrigerator compartment 100 at a favorite place, so that convenience is improved. Moreover, since the user who possesses the portable terminal can grasp the inventory information of the refrigerator compartment 100 at a remote place such as a shopping destination, it prevents a mistake in purchasing duplicate foods or forgetting to replenish foods. be able to.

実施の形態３．
本発明の実施の形態３に係る冷蔵庫について説明する。図１６は、本実施の形態に係る冷蔵庫１の構成を示す縦断面図である。なお、実施の形態１又は２と同一の機能及び作用を有する構成要素については、同一の符号を付してその説明を省略する。 Embodiment 3 FIG.
A refrigerator according to Embodiment 3 of the present invention will be described. FIG. 16 is a longitudinal sectional view showing the configuration of the refrigerator 1 according to the present embodiment. In addition, about the component which has the function and effect | action same as Embodiment 1 or 2, the same code | symbol is attached | subjected and the description is abbreviate | omitted.

図１６に示すように、本実施の形態に係る冷蔵庫１は、冷凍室４００を開閉する引出し式の扉４０２と、冷凍室４００内に引出し自在に格納され、扉４０２の開閉と連動して引き出される収納ケース４０１と、野菜室５００を開閉する引出し式の扉５０２と、野菜室５００内に引出し自在に格納され、扉５０２の開閉と連動して引き出される収納ケース５０１と、を備えている。冷凍室４００とその上方の切替室２００及び製氷室３００とを仕切る仕切り部材１７には、冷凍室用カメラ１８が設けられている。野菜室５００とその上方の冷凍室４００とを仕切る仕切り部材１９には、野菜室用カメラ２０が設けられている。冷凍室用カメラ１８は、冷凍室４００の扉４０２が閉じられた状態では、仕切り部材１７の先端部に形成された格納部内に格納されている。扉４０２が開かれると、冷凍室用カメラ１８は手前側に突出するように移動する。同様に、野菜室用カメラ２０は、野菜室５００の扉５０２が閉じられた状態では、仕切り部材１９の先端部に形成された格納部内に格納されており、扉５０２が開かれると手前側に突出するように移動する。野菜室用カメラ２０の構成については後述する。   As shown in FIG. 16, the refrigerator 1 according to the present embodiment includes a drawer-type door 402 that opens and closes the freezer compartment 400, and is retractably stored in the freezer compartment 400, and is pulled out in conjunction with opening and closing of the door 402. A storage case 401, a drawer-type door 502 that opens and closes the vegetable compartment 500, and a storage case 501 that is retractably stored in the vegetable compartment 500 and that is pulled out in conjunction with the opening and closing of the door 502. A freezing room camera 18 is provided in the partition member 17 that partitions the freezing room 400 from the switching room 200 and the ice making room 300 thereabove. A vegetable compartment camera 20 is provided in the partition member 19 that partitions the vegetable compartment 500 and the freezer compartment 400 above it. The freezer room camera 18 is stored in a storage part formed at the tip of the partition member 17 in a state where the door 402 of the freezer room 400 is closed. When the door 402 is opened, the freezer room camera 18 moves so as to protrude forward. Similarly, the vegetable room camera 20 is stored in a storage portion formed at the front end of the partition member 19 in a state where the door 502 of the vegetable room 500 is closed, and when the door 502 is opened, Move so that it protrudes. The configuration of the vegetable room camera 20 will be described later.

図１７は、図１６に示す冷蔵庫１において野菜室５００の扉５０２を開いた状態を示している。図１７に示すように、扉５０２が開かれると、収納ケース５０１が連動して引き出されるとともに、野菜室用カメラ２０が手前側に突出する。これにより、野菜室用カメラ２０は、収納ケース５０１の上面開口部（貯蔵室の開口部の一例）を撮影可能となる。また、制御装置７は、不図示の扉開閉検知スイッチからの出力信号に基づいて、野菜室５００の扉５０２が開かれたことを検知する。   FIG. 17 shows a state where the door 502 of the vegetable compartment 500 is opened in the refrigerator 1 shown in FIG. As shown in FIG. 17, when the door 502 is opened, the storage case 501 is pulled out in conjunction with it, and the vegetable room camera 20 protrudes to the front side. Thereby, the vegetable room camera 20 can photograph the upper surface opening of the storage case 501 (an example of the opening of the storage room). Moreover, the control apparatus 7 detects that the door 502 of the vegetable compartment 500 was opened based on the output signal from a door opening / closing detection switch (not shown).

図１８は、野菜室用カメラ２０で撮影される画像の一例を示す図である。図１８に示すように、画像の下部には、収納ケース５０１の底面の一部と、手前側の内側側面のほぼ全体と、左右の内側側面の一部とが写されている。画像の上部には、収納ケース５０１の外部の一部（例えば、扉５０２の庫内側表面）が写されている。このように、収納ケース５０１の上面開口部付近を撮影範囲とすることにより、野菜室用カメラ２０は、収納ケース５０１に入出庫される食品等の対象物を必ず撮影することができるようになっている。   FIG. 18 is a diagram illustrating an example of an image photographed by the vegetable room camera 20. As shown in FIG. 18, at the bottom of the image, a part of the bottom surface of the storage case 501, almost the entire inner side surface on the near side, and a part of the left and right inner side surfaces are shown. A part of the outside of the storage case 501 (for example, the inner surface of the door 502) is shown in the upper part of the image. As described above, by setting the vicinity of the upper surface opening of the storage case 501 as the imaging range, the vegetable room camera 20 can always shoot an object such as food stored in and out of the storage case 501. ing.

野菜室用カメラ２０で撮影される画像を用いた入出庫判定においては、対象物の進行方向が画像の下方向、すなわち収納ケース５０１の外部から内部に向かう方向であれば、対象物が収納ケース５０１（野菜室５００）に入庫されたと判定し、対象物の進行方向が画像の上方向、すなわち収納ケース５０１の内部から外部に向かう方向であれば、対象物が収納ケース５０１（野菜室５００）から出庫されたと判定する。   In entry / exit determination using an image taken by the vegetable room camera 20, if the traveling direction of the object is the downward direction of the image, that is, the direction from the outside to the inside of the storage case 501, the object is the storage case. 501 (vegetable room 500) is determined to have been received, and if the moving direction of the object is the upward direction of the image, that is, the direction from the inside of the storage case 501 to the outside, the object is the storage case 501 (vegetable room 500). It is determined that it has been issued from.

野菜室用カメラ２０の構成について説明する。図１９は、野菜室用カメラ２０近傍の構成を示す拡大図である。図１９では、扉５０２を開いている途中の状態を示している。図１９に示すように、仕切り部材１９の先端部には、野菜室用カメラ２０を格納する格納部５０が形成されている。格納部５０の前面側（手前側）には、野菜室用カメラ２０の出入りが可能な開口部が形成されている。格納部５０の開口部は、扉５０２が閉じられると扉５０２によって閉塞される。野菜室用カメラ２０は、格納部５０内に水平に設けられた支持レール２１によって、所定の可動範囲で前後方向にスライド可能に支持されている。野菜室用カメラ２０が背面側（奥側）の可動端に位置しているとき、野菜室用カメラ２０は格納部５０内に格納される。野菜室用カメラ２０が手前側の可動端に移動すると、野菜室用カメラ２０は、格納部５０の開口端、すなわち仕切り部材１９の先端部よりも手前側に突出する。図１９に示す状態では、野菜室用カメラ２０は手前側の可動端付近に位置している。野菜室用カメラ２０の手前側の先端部には、金属部２２が設けられている。扉５０２の庫内側には、金属部２２に対応する位置にマグネット２３が設けられている。支持レール２１、金属部２２及びマグネット２３等は、扉５０２が開かれたときに野菜室用カメラ２０を手前側に突出させる突出機構を構成する。   The configuration of the vegetable room camera 20 will be described. FIG. 19 is an enlarged view showing a configuration in the vicinity of the vegetable room camera 20. FIG. 19 shows a state where the door 502 is being opened. As shown in FIG. 19, a storage portion 50 for storing the vegetable room camera 20 is formed at the tip of the partition member 19. On the front side (front side) of the storage unit 50, an opening through which the vegetable room camera 20 can enter and exit is formed. The opening of the storage unit 50 is closed by the door 502 when the door 502 is closed. The vegetable room camera 20 is supported by a support rail 21 provided horizontally in the storage unit 50 so as to be slidable in the front-rear direction within a predetermined movable range. When the vegetable room camera 20 is located at the movable end on the back side (back side), the vegetable room camera 20 is stored in the storage unit 50. When the vegetable room camera 20 moves to the movable end on the near side, the vegetable room camera 20 protrudes to the near side from the opening end of the storage unit 50, that is, the tip end of the partition member 19. In the state shown in FIG. 19, the vegetable room camera 20 is located near the movable end on the near side. A metal part 22 is provided at the front end of the vegetable room camera 20. A magnet 23 is provided on the inner side of the door 502 at a position corresponding to the metal part 22. The support rail 21, the metal part 22, the magnet 23, and the like constitute a projecting mechanism that projects the vegetable room camera 20 to the front side when the door 502 is opened.

扉５０２が閉じられているときには、野菜室用カメラ２０は奥側の可動端付近に位置しており、扉５０２と干渉せずに格納部５０内に格納される。このとき、扉５０２に設けられたマグネット２３と野菜室用カメラ２０の金属部２２とが接触し、磁力により互いに吸着するようになっている。扉５０２が開かれると、野菜室用カメラ２０は、マグネット２３と金属部２２との吸着により扉５０２と連動して引き出され、手前側の可動端に移動する。扉５０２がさらに開かれると、マグネット２３と金属部２２とが離れ、野菜室用カメラ２０は手前側の可動端に止まる。このとき、野菜室用カメラ２０は、扉開口部の手前側に突出しているため、収納ケース５０１の上面開口部付近が撮影可能となる。扉５０２が閉じられると、野菜室用カメラ２０は、扉５０２によって押し込まれて奥側の可動端付近に戻り、格納部５０内に格納される。   When the door 502 is closed, the vegetable room camera 20 is located in the vicinity of the movable end on the back side, and is stored in the storage unit 50 without interfering with the door 502. At this time, the magnet 23 provided on the door 502 and the metal part 22 of the vegetable room camera 20 come into contact with each other and are attracted to each other by magnetic force. When the door 502 is opened, the vegetable room camera 20 is pulled out in conjunction with the door 502 by the adsorption of the magnet 23 and the metal part 22 and moves to the movable end on the near side. When the door 502 is further opened, the magnet 23 and the metal part 22 are separated, and the vegetable room camera 20 stops at the movable end on the near side. At this time, since the vegetable room camera 20 protrudes toward the front side of the door opening, the vicinity of the upper surface opening of the storage case 501 can be photographed. When the door 502 is closed, the vegetable room camera 20 is pushed in by the door 502 and returns to the vicinity of the movable end on the back side, and is stored in the storage unit 50.

このような構成により、野菜室用カメラ２０は、扉５０２が閉じられているときには、扉５０２や収納ケース５０１に干渉することなく格納部５０内に格納することができる。また、野菜室用カメラ２０は、扉５０２が開かれたときには、扉開口部の手前側に突出することにより収納ケース５０１の上面開口部付近の画像を撮影することができる。   With such a configuration, the vegetable room camera 20 can be stored in the storage unit 50 without interfering with the door 502 or the storage case 501 when the door 502 is closed. In addition, the vegetable room camera 20 can take an image of the vicinity of the top opening of the storage case 501 by projecting to the near side of the door opening when the door 502 is opened.

ここでは野菜室用カメラ２０について説明したが、冷凍室用カメラ１８も野菜室用カメラ２０と同様の構成を有している。また、野菜室５００及び冷凍室４００だけでなく、他の貯蔵室にも同様のカメラが設けられるようにしてもよい。   Although the vegetable room camera 20 has been described here, the freezer room camera 18 has the same configuration as the vegetable room camera 20. Moreover, you may make it the same camera be provided not only in the vegetable compartment 500 and the freezer compartment 400 but in another store room.

その他の実施の形態．
本発明は、上記実施の形態に限らず種々の変形が可能である。
例えば、上記実施の形態では、報知手段として、在庫情報を視覚的に表示する冷蔵庫の表示部及び携帯端末の表示部を例に挙げたが、報知手段は、在庫情報を音声出力により報知する音声出力部であってもよい。音声出力部は、冷蔵庫に設けられていてもよいし、携帯端末に設けられていてもよい。 Other embodiments.
The present invention is not limited to the above embodiment, and various modifications can be made.
For example, in the above-described embodiment, the display unit of the refrigerator that visually displays the inventory information and the display unit of the mobile terminal are exemplified as the notification unit. However, the notification unit is a voice that notifies the inventory information by voice output. It may be an output unit. The audio output unit may be provided in the refrigerator or may be provided in the mobile terminal.

また、上記の各実施の形態や変形例は、互いに組み合わせて実施することが可能である。   In addition, the above embodiments and modifications can be implemented in combination with each other.

１ 冷蔵庫、２ 圧縮機、３ 冷却器、４ 送風ファン、５ 風路、６ 操作パネル、７ 制御装置、８ 扉、８ａ 右扉、８ｂ 左扉、９ 扉開閉検知スイッチ、１０ 扉ポケット、１１ 棚、１２ チルドケース、１３ 照明部、１４ 庫内カメラ、１５ 通信手段、１６ 電気通信回線、１７、１９ 仕切り部材、１８ 冷凍室用カメラ、２０ 野菜室用カメラ、２１ 支持レール、２２ 金属部、２３ マグネット、３０ 操作部、３１ 表示部、３２ サーミスタ、４０ 携帯電話、４１ タブレット端末、５０ 格納部、９０ 断熱箱体、１００ 冷蔵室、２００ 切替室、２０１、４０１、５０１ 収納ケース、３００ 製氷室、４００ 冷凍室、４０１、５０１ 収納ケース、４０２、５０２ 扉、５００ 野菜室。   DESCRIPTION OF SYMBOLS 1 Refrigerator, 2 Compressor, 3 Cooler, 4 Blower, 5 Air path, 6 Operation panel, 7 Control device, 8 Door, 8a Right door, 8b Left door, 9 Door open / close detection switch, 10 Door pocket, 11 Shelf , 12 chilled case, 13 lighting section, 14 internal camera, 15 communication means, 16 electrical communication line, 17, 19 partition member, 18 freezer room camera, 20 vegetable room camera, 21 support rail, 22 metal part, 23 Magnet, 30 operation unit, 31 display unit, 32 thermistor, 40 mobile phone, 41 tablet terminal, 50 storage unit, 90 heat insulation box, 100 refrigerator compartment, 200 switching room, 201, 401, 501 storage case, 300 ice making room, 400 Freezer room, 401, 501 Storage case, 402, 502 Door, 500 Vegetable room.

Claims (8)

貯蔵室と、
前記貯蔵室内に設けられた棚と、
前記貯蔵室を開閉する扉と、
前記貯蔵室の開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する撮影手段と、
前記貯蔵室内の在庫情報を記憶する記憶部を有し、前記複数の画像に基づいて前記在庫情報を更新する制御装置と、を備え、
前記撮影手段は、前記貯蔵室内であって前記棚よりも前記開口部側に、前記開口部が撮影範囲に含まれるように設けられており、
前記撮影手段は、前記扉が開状態になると、前記開口部の手前側に突出するものであり、
前記制御装置は、前記複数の画像に基づく演算処理を行って前記対象物の進行方向を検出し、前記進行方向に基づいて前記対象物が前記貯蔵室に入庫されたこと又は前記対象物が前記貯蔵室から出庫されたことを判定する入出庫判定を行い、前記入出庫判定の結果に基づいて前記在庫情報を更新することを特徴とする冷蔵庫。 A storage room;
A shelf provided in the storage chamber;
A door for opening and closing the storage room;
Imaging means for imaging a target passing through the opening of the storage room at a preset time interval to generate a plurality of images;
A storage unit that stores inventory information in the storage chamber, and a controller that updates the inventory information based on the plurality of images,
The photographing means is provided in the storage chamber and closer to the opening than the shelf so that the opening is included in the photographing range.
When the door is in an open state, the photographing means protrudes to the near side of the opening,
The control device performs a calculation process based on the plurality of images to detect a traveling direction of the object, and the object is stored in the storage room based on the traveling direction or the object is The refrigerator which performs the entering / exiting determination which determines having been delivered from the storage room, and updates the said inventory information based on the result of the said entering / exiting determination. 貯蔵室と、
前記貯蔵室とその上方とを仕切る仕切り部材と、
前記貯蔵室を開閉する引出し式の扉と、
前記貯蔵室内に引出し自在に格納され、前記扉と連動して前記貯蔵室の開口部から引き出される収納ケースと、
前記収納ケースの上面開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する撮影手段と、
前記貯蔵室内の在庫情報を記憶する記憶部を有し、前記複数の画像に基づいて前記在庫情報を更新する制御装置と、を備え、
前記撮影手段は、前記仕切り部材の先端部に設けられており、
前記撮影手段は、前記扉が開状態になると、前記開口部の手前側に突出するものであり、
前記制御装置は、前記複数の画像に基づく演算処理を行って前記対象物の進行方向を検出し、前記進行方向に基づいて前記対象物が前記貯蔵室に入庫されたこと又は前記対象物が前記貯蔵室から出庫されたことを判定する入出庫判定を行い、前記入出庫判定の結果に基づいて前記在庫情報を更新することを特徴とする冷蔵庫。 A storage room;
A partition member for partitioning the storage chamber and its upper side;
A drawer-type door that opens and closes the storage room;
A storage case that is retractably stored in the storage chamber and that is pulled out from the opening of the storage chamber in conjunction with the door;
Photographing means for photographing a target object passing through the upper surface opening of the storage case at a preset time interval and generating a plurality of images;
A storage unit that stores inventory information in the storage chamber, and a controller that updates the inventory information based on the plurality of images,
The photographing means is provided at the tip of the partition member,
When the door is in an open state, the photographing means protrudes to the near side of the opening,
The control device performs a calculation process based on the plurality of images to detect a traveling direction of the object, and the object is stored in the storage room based on the traveling direction or the object is The refrigerator which performs the entering / exiting determination which determines having been delivered from the storage room, and updates the said inventory information based on the result of the said entering / exiting determination. 前記扉の開閉状態を検知する扉開閉検知手段をさらに備え、
前記撮影手段は、前記扉開閉検知手段が前記扉の開状態を検知したことに基づいて撮影を開始することを特徴とする請求項１又は請求項２に記載の冷蔵庫。 Door opening / closing detection means for detecting the opening / closing state of the door;
The imaging means, a refrigerator according to claim 1 or claim 2 wherein the door opening and closing detecting means, characterized in that to start the photographing, based to the detection of the open state of the door. 前記制御装置は、前記対象物が前記貯蔵室に入庫されたと判定した場合、前記複数の画像のうち前記対象物の位置が画像の中心に最も近い画像を、前記在庫情報に含まれるデータとして記憶することを特徴とする請求項１〜請求項３のいずれか一項に記載の冷蔵庫。 When it is determined that the object has been stored in the storage room, the control device stores, as data included in the inventory information, an image in which the position of the object is closest to the center of the image among the plurality of images. The refrigerator as described in any one of Claims 1-3 characterized by the above-mentioned. 前記制御装置は、前記対象物が前記貯蔵室から出庫されたと判定した場合、前記在庫情報から前記対象物に対応するデータを特定し、当該データを前記在庫情報から削除することを特徴とする請求項１〜請求項４のいずれか一項に記載の冷蔵庫。 The said control apparatus specifies the data corresponding to the said object from the said inventory information, and deletes the said data from the said inventory information, when it determines with the said object having been delivered from the said storage room. The refrigerator as described in any one of Claims 1-4 . 前記扉の外側表面に設けられた表示部を含む報知手段をさらに備え、
前記制御装置は、前記報知手段に前記在庫情報を報知させることを特徴とする請求項１〜請求項５のいずれか一項に記載の冷蔵庫。 Further comprising a notification means including a display portion provided on the outer surface of the door;
The said control apparatus makes the said alerting | reporting means alert | report the said inventory information, The refrigerator as described in any one of Claims 1-5 characterized by the above-mentioned. 前記制御装置は、前記入出庫判定において前記対象物の種類を判定し、前記種類毎に設定されたアイコン画像を前記在庫情報として前記報知手段に表示させることを特徴とする請求項６に記載の冷蔵庫。 The controller determines the type of the object before inlet-outlet determination, according the set icon image for each of the types in claim 6, characterized in that to be displayed on the notification unit as the inventory information refrigerator. 電気通信回線に接続可能な通信手段をさらに備え、
前記制御装置は、前記電気通信回線に接続可能な携帯端末に、前記在庫情報を前記通信手段に送信させることを特徴とする請求項１〜請求項７のいずれか一項に記載の冷蔵庫。 A communication means connectable to the telecommunication line;
The refrigerator according to any one of claims 1 to 7 , wherein the control device causes a portable terminal connectable to the telecommunication line to transmit the inventory information to the communication unit.
JP2013221557A 2013-10-24 2013-10-24 refrigerator Active JP6095551B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013221557A JP6095551B2 (en) 2013-10-24 2013-10-24 refrigerator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013221557A JP6095551B2 (en) 2013-10-24 2013-10-24 refrigerator

Publications (2)

Publication Number Publication Date
JP2015081762A JP2015081762A (en) 2015-04-27
JP6095551B2 true JP6095551B2 (en) 2017-03-15

Family

ID=53012449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013221557A Active JP6095551B2 (en) 2013-10-24 2013-10-24 refrigerator

Country Status (1)

Country Link
JP (1) JP6095551B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110631311A (en) * 2018-06-21 2019-12-31 东芝生活电器株式会社 Refrigerator with a door
TWI759875B (en) * 2020-09-22 2022-04-01 台灣松下電器股份有限公司 Object warehouse management system
US11512896B2 (en) 2020-09-03 2022-11-29 Haier Us Appliance Solutions, Inc. Refrigerator appliance having a movable camera

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6550696B2 (en) * 2014-07-18 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Judgment apparatus and judgment method
JP6818407B2 (en) * 2015-12-10 2021-01-20 三菱電機株式会社 Refrigerator, image management system and program in the refrigerator
JP6745872B2 (en) * 2016-04-15 2020-08-26 三菱電機株式会社 Refrigerator and network system including the same
JP6938116B2 (en) * 2016-05-30 2021-09-22 シャープ株式会社 Inventory management device and inventory management method
WO2018020541A1 (en) * 2016-07-25 2018-02-01 三菱電機株式会社 Refrigerator, network system provided with same, living circumstances reporting method and living circumstance reporting program
JP2018035983A (en) * 2016-08-30 2018-03-08 シャープ株式会社 Food storage compartment and system for imaging inside of compartment
JP6778949B2 (en) * 2016-09-14 2020-11-04 アクア株式会社 Storage management system
JP7012263B2 (en) * 2017-10-06 2022-01-28 パナソニックＩｐマネジメント株式会社 refrigerator
JP6967725B2 (en) * 2017-10-06 2021-11-17 パナソニックＩｐマネジメント株式会社 Refrigerator and refrigerator control method
JP7289083B2 (en) * 2017-10-06 2023-06-09 パナソニックＩｐマネジメント株式会社 refrigerator
JP7012261B2 (en) * 2017-10-06 2022-01-28 パナソニックＩｐマネジメント株式会社 refrigerator
JP7289084B2 (en) * 2017-10-06 2023-06-09 パナソニックＩｐマネジメント株式会社 refrigerator
JP7012262B2 (en) * 2017-10-06 2022-01-28 パナソニックＩｐマネジメント株式会社 refrigerator
JP7164296B2 (en) * 2017-12-04 2022-11-01 東芝ライフスタイル株式会社 refrigerator
JP7132044B2 (en) * 2018-09-11 2022-09-06 東芝ライフスタイル株式会社 Refrigerator entry/exit management system and refrigerator
CN111238115B (en) * 2018-11-29 2022-09-09 博西华电器（江苏）有限公司 Refrigerator with a door
JP7101130B2 (en) * 2019-01-22 2022-07-14 日立グローバルライフソリューションズ株式会社 Remote control device for refrigerator, control method and program of remote control device for refrigerator
DE102019204309A1 (en) * 2019-03-28 2020-10-01 BSH Hausgeräte GmbH Household refrigeration appliance with a digital camera and method for operating a household appliance comprising a digital camera
CN111767759A (en) * 2019-04-01 2020-10-13 青岛海尔智能技术研发有限公司 System, method, device and storage medium for food material identification
WO2020202767A1 (en) * 2019-04-05 2020-10-08 株式会社ワコム Information processing system
JP2021117920A (en) * 2020-01-29 2021-08-10 株式会社コマイ Storage device
JP7182139B2 (en) * 2020-09-03 2022-12-02 パナソニックＩｐマネジメント株式会社 Food detection device and food management system
US20240135715A1 (en) 2021-02-25 2024-04-25 Panasonic Intellectual Property Management Co., Ltd. Storage-retrieval management device, storage-retrieval management system, and storage-retrieval management method
WO2022181573A1 (en) * 2021-02-25 2022-09-01 パナソニックＩｐマネジメント株式会社 Warehousing and shipping management device, warehousing and shipping management system, and warehousing and shipping management method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0545041A (en) * 1991-08-09 1993-02-23 Sharp Corp Device for controlling storage space in freezer-refrigerator
JPH109753A (en) * 1996-06-26 1998-01-16 Matsushita Refrig Co Ltd Food inventory control device for refrigerator-freezer
JP3639408B2 (en) * 1997-05-21 2005-04-20 株式会社日立製作所 Storehouse
JP2001317858A (en) * 2000-05-09 2001-11-16 Matsushita Refrig Co Ltd Refrigerator
JP2002267337A (en) * 2001-03-12 2002-09-18 Matsushita Refrig Co Ltd Food material control device for refrigerator
JP2003042626A (en) * 2001-07-26 2003-02-13 Toshiba Corp Refrigerator
JP4205036B2 (en) * 2004-10-04 2009-01-07 日本電信電話株式会社 Article management system, method and program
JP2009250480A (en) * 2008-04-03 2009-10-29 Mitsubishi Electric Corp Storage and refrigerator
JP2010121784A (en) * 2008-11-17 2010-06-03 Toshiba Corp Stock management device of refrigerator
JP2012251722A (en) * 2011-06-03 2012-12-20 Panasonic Corp Refrigerator
JP2013050300A (en) * 2012-10-19 2013-03-14 Toshiba Corp Refrigerator

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110631311A (en) * 2018-06-21 2019-12-31 东芝生活电器株式会社 Refrigerator with a door
US11512896B2 (en) 2020-09-03 2022-11-29 Haier Us Appliance Solutions, Inc. Refrigerator appliance having a movable camera
TWI759875B (en) * 2020-09-22 2022-04-01 台灣松下電器股份有限公司 Object warehouse management system

Also Published As

Publication number Publication date
JP2015081762A (en) 2015-04-27

Similar Documents

Publication Publication Date Title
JP6095551B2 (en) refrigerator
JP2019174106A (en) System, and method
JP6229142B2 (en) Refrigerator and refrigerator system
JP6296908B2 (en) Refrigerator and network system
JP6138372B2 (en) Article information transmission / reception method, apparatus, program, and recording medium
KR102023013B1 (en) Refrigerator and operating method thereof
US20120099255A1 (en) Refrigerator
JP2015068525A (en) Refrigerator
JP2018124053A (en) refrigerator
CN114270124B (en) Method for viewing and tracking stored items
JP2014206320A (en) Refrigerator
JP2019100633A (en) refrigerator
JP2014206321A (en) Refrigerator
JP6167331B2 (en) Refrigerator and refrigerator system
JP6221049B2 (en) refrigerator
JP6167327B2 (en) refrigerator
JP6167329B2 (en) refrigerator
JP2014206318A (en) Refrigerator
JP2014206319A (en) Refrigerator
JP2020128854A (en) refrigerator
TWI787765B (en) refrigerator
JP7067312B2 (en) Refrigerator system
JP2011208902A (en) Refrigerator
JP6145702B2 (en) refrigerator

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161206

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170214

R150 Certificate of patent or registration of utility model

Ref document number: 6095551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250