JP7132044B2 - 冷蔵庫の入出庫管理システム、および冷蔵庫 - Google Patents
冷蔵庫の入出庫管理システム、および冷蔵庫 Download PDFInfo
- Publication number
- JP7132044B2 JP7132044B2 JP2018169959A JP2018169959A JP7132044B2 JP 7132044 B2 JP7132044 B2 JP 7132044B2 JP 2018169959 A JP2018169959 A JP 2018169959A JP 2018169959 A JP2018169959 A JP 2018169959A JP 7132044 B2 JP7132044 B2 JP 7132044B2
- Authority
- JP
- Japan
- Prior art keywords
- refrigerator
- unit
- image
- detection unit
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
- F25D2400/36—Visual displays
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Devices That Are Associated With Refrigeration Equipment (AREA)
Description
[1.全体構成]
図1から図17を参照し、第1の実施形態について説明する。まず、入出庫管理システム1の全体構成について説明する。図1は、入出庫管理システム1の全体構成を示す。入出庫管理システム1は、例えば、各家庭に設置された冷蔵庫100と、冷蔵庫100のユーザが使用する端末機器200と、サーバ装置300とを含む。サーバ装置300は、例えばクラウドサーバであり、ネットワークNWを介して冷蔵庫100および端末機器200と通信可能である。ネットワークNWは、例えば、インターネットやWAN(Wide Area Network)、各家庭内のLAN(Local Area Network)などを含む。ネットワークNWにおける一部または全部の通信は、無線で実現されてもよい。以下、入出庫管理システム1に含まれる各装置について詳しく説明する。
まず、冷蔵庫100について説明する。
図2は、本実施形態の冷蔵庫100を示す。図2中の(a)は、冷蔵室111Aの扉120が開かれた状態を示す。図2中の(b)は、冷蔵室111Aの扉120が閉じられた状態を示す。冷蔵庫100は、例えば、冷蔵庫本体110、複数の扉120、開閉検知スイッチ130、複数のセンサ140、表示装置150、操作部160、無線送信部170、および制御装置180を備えている。
図1に戻り、端末機器200について説明する。端末機器200は、例えば、冷蔵庫100のユーザが所有する端末機器であり、スマートフォンやタブレット端末のような携帯端末機器、またはパーソナルコンピュータなどである。端末機器200は、表示装置210と、操作部220とを有する。
次に、サーバ装置300について説明する。
図3は、入出庫管理システム1のシステム構成を示す。サーバ装置300は、例えば、情報取得部310、検知部320、選択部330、入出庫管理部340、情報生成部350、情報出力部360、訂正受付部370、第1追加学習部380、第2追加学習部390、および記憶部STを有する。これら機能部(情報取得部310、検知部320、選択部330、入出庫管理部340、情報生成部350、情報出力部360、訂正受付部370、第1追加学習部380、および第2追加学習部390)の一部または全部は、CPU(Central Processing Unit)またはGPU(Graphics Processing Unit)などのハードウェアプロセッサが記憶部STに格納されたプログラム(ソフトウェア)を実行することにより実現される。ただし、これらの機能部のうち一部または全部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。
図16は、入出庫管理システム1の実行段階の処理の流れを示すフローチャートである。まず、冷蔵庫100の制御装置180は、開閉検知スイッチ130の検出結果に基づき、冷蔵庫100の扉が開かれたことを検知する(S101)。次に、制御装置180は、カメラ140による撮影を行い(S102)、撮影が行われる毎に撮影された画像IMをサーバ装置300に送信する(S103)。
図17は、入出庫管理システム1の訂正処理の流れを示すフローチャートである。本フローは、端末機器200からサーバ装置300に対して、在庫情報の閲覧が要求された場合の例を示す。またこの例では、説明を簡単にするため、訂正すべき誤りが1つのみ存在する場合を取り上げている。
次に、第1の実施形態の第1変形例について説明する。本変形例の入出庫管理システム1は、第1学習モデル410AがRNNで構成された点で、第1の実施形態とは異なる。なお以下に説明する以外の構成は、第1の実施形態と同様である。
次に、第1の実施形態の第2変形例について説明する。本変形例の入出庫管理システム1は、選択部330がニューラルネットワークではない所定のアルゴリズムにより実現された点で、第1の実施形態とは異なる。なお以下に説明する以外の構成は、第1の実施形態と同様である。
次に、図19を参照し、第2の実施形態について説明する。第2の実施形態は、第1の実施形態でサーバ装置300に設けられた機能部が冷蔵庫100に設けられた点で第1の実施形態とは異なる。なお以下に説明する以外の構成は、第1の実施形態と同様である。
Claims (9)
- 冷蔵庫に設けられたカメラにより撮影された画像が入力されると入出庫の判定結果を出力するように学習された第1学習モデルを用いて、前記カメラにより撮影された画像に基づき前記冷蔵庫の入出庫を判定する検知部と、
前記冷蔵庫と前記冷蔵庫のユーザが使用する端末機器とのうち少なくとも一方の表示画面に、前記検知部の判定内容と前記カメラにより撮影された画像とを対応付けて表示させる情報を生成する情報生成部と、
前記表示画面に表示された前記画像と前記検知部の判定内容との対応関係に誤りがある場合、前記冷蔵庫または前記端末機器に対するユーザの操作に基づいて前記誤りの訂正を受け付ける訂正受付部と、
を備え、
前記訂正受付部は、前記表示画面に表示された前記画像と対応付けられて表示された前記検知部の判定内容に誤りがある場合、前記検知部の判定内容の訂正を受け付ける、
冷蔵庫の入出庫管理システム。 - 前記第1学習モデルは、時系列で連続する2つ以上の画像の入力を反映させて入出庫の判定結果を出力するように学習されており、
前記検知部は、前記カメラにより撮影された時系列で連続する2つ以上の画像を前記第1学習モデルに入力することで前記冷蔵庫の入出庫を判定する、
請求項1に記載の冷蔵庫の入出庫管理システム。 - 冷蔵庫に設けられたカメラにより撮影された画像が入力されると入出庫の判定結果を出力するように学習された第1学習モデルを用いて、前記カメラにより撮影された画像に基づき前記冷蔵庫の入出庫を判定する検知部と、
前記冷蔵庫と前記冷蔵庫のユーザが使用する端末機器とのうち少なくとも一方の表示画面に、前記検知部の判定内容と前記カメラにより撮影された画像とを対応付けて表示させる情報を生成する情報生成部と、
前記表示画面に表示された前記画像と前記検知部の判定内容との対応関係に誤りがある場合、前記冷蔵庫または前記端末機器に対するユーザの操作に基づいて前記誤りの訂正を受け付ける訂正受付部と、
前記訂正受付部により受け付けられた情報に基づき、前記第1学習モデルを追加学習させる第1追加学習部と、
を備え、
前記第1追加学習部は、追加学習させた前記第1学習モデルに検定用データセットを入力し、前記検定用データセットが入力された場合における前記第1学習モデルの判定結果の精度が所定の条件を満たす場合に、追加学習させた内容を前記第1学習モデルに反映させる、
冷蔵庫の入出庫管理システム。 - 冷蔵庫に設けられたカメラにより撮影された画像が入力されると入出庫の判定結果を出力するように学習された第1学習モデルを用いて、前記カメラにより撮影された画像に基づき前記冷蔵庫の入出庫を判定する検知部と、
前記冷蔵庫と前記冷蔵庫のユーザが使用する端末機器とのうち少なくとも一方の表示画面に、前記検知部の判定内容と前記カメラにより撮影された画像とを対応付けて表示させる情報を生成する情報生成部と、
前記第1学習モデルに入力された複数の画像のなかから前記検知部の判定内容と対応付けられるのに適した画像を選択する選択部と、
を備えた冷蔵庫の入出庫管理システム。 - 前記選択部は、画像が入力されると前記検知部の判定内容と対応付けられる画像としての適性に関する判定結果を出力するように学習された第2学習モデルを用いて、前記第1学習モデルに入力された複数の画像のなかから前記検知部の判定内容と対応付けられる画像を選択する、
請求項4に記載の冷蔵庫の入出庫管理システム。 - 前記情報生成部は、前記冷蔵庫と前記端末機器とのうち少なくとも一方の表示画面に、前記検知部の判定内容と前記選択部により選択された画像とを対応付けて表示させる情報を生成する、
請求項5に記載の冷蔵庫の入出庫管理システム。 - 前記選択部により選択され前記検知部の判定内容と対応付けられて前記表示画面に表示された前記画像が適切でない場合、前記カメラにより撮影された別の1つ以上の画像を前記表示画面に表示させ、前記検知部の判定内容と対応付けられる画像の訂正を受け付ける訂正受付部をさらに備えた、
請求項6に記載の冷蔵庫の入出庫管理システム。 - 前記選択部により選択された画像に関する訂正が前記訂正受付部により受け付けられた場合、前記訂正受付部により受け付けられた情報に基づき、前記第2学習モデルを追加学習させる第2追加学習部をさらに備えた、
請求項7に記載の冷蔵庫の入出庫管理システム。 - 前記カメラと、
請求項1から請求項8のいずれか1項に記載の入出庫管理システムと、
を備えた冷蔵庫。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018169959A JP7132044B2 (ja) | 2018-09-11 | 2018-09-11 | 冷蔵庫の入出庫管理システム、および冷蔵庫 |
CN201910629613.4A CN110887336B (zh) | 2018-09-11 | 2019-07-12 | 冰箱的物品拿放管理***及冰箱 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018169959A JP7132044B2 (ja) | 2018-09-11 | 2018-09-11 | 冷蔵庫の入出庫管理システム、および冷蔵庫 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020041761A JP2020041761A (ja) | 2020-03-19 |
JP7132044B2 true JP7132044B2 (ja) | 2022-09-06 |
Family
ID=69745842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018169959A Active JP7132044B2 (ja) | 2018-09-11 | 2018-09-11 | 冷蔵庫の入出庫管理システム、および冷蔵庫 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7132044B2 (ja) |
CN (1) | CN110887336B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114568888B (zh) * | 2022-04-13 | 2023-09-12 | 江苏新安电器股份有限公司 | 一种防结冰的自动控湿冰柜 |
WO2024089973A1 (ja) * | 2022-10-27 | 2024-05-02 | パナソニックIpマネジメント株式会社 | 入出庫管理システム、及び、入出庫管理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015081762A (ja) | 2013-10-24 | 2015-04-27 | 三菱電機株式会社 | 冷蔵庫 |
JP2015152211A (ja) | 2014-02-13 | 2015-08-24 | 三菱電機株式会社 | 庫内管理装置及び方法 |
JP2017215067A (ja) | 2016-05-30 | 2017-12-07 | シャープ株式会社 | 在庫管理装置および在庫管理方法 |
JP2019095172A (ja) | 2017-11-24 | 2019-06-20 | ゴレッツ ヨランタ | 冷蔵庫システム及び食材管理システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201806212U (zh) * | 2010-06-17 | 2011-04-27 | 龙奕铭 | 旋转式多用智能储物柜 |
CN106980811A (zh) * | 2016-10-21 | 2017-07-25 | 商汤集团有限公司 | 人脸表情识别方法和人脸表情识别装置 |
CN107123131B (zh) * | 2017-04-10 | 2020-04-17 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的运动目标检测方法 |
CN107862694A (zh) * | 2017-12-19 | 2018-03-30 | 济南大象信息技术有限公司 | 一种基于深度学习的手足口病检测*** |
-
2018
- 2018-09-11 JP JP2018169959A patent/JP7132044B2/ja active Active
-
2019
- 2019-07-12 CN CN201910629613.4A patent/CN110887336B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015081762A (ja) | 2013-10-24 | 2015-04-27 | 三菱電機株式会社 | 冷蔵庫 |
JP2015152211A (ja) | 2014-02-13 | 2015-08-24 | 三菱電機株式会社 | 庫内管理装置及び方法 |
JP2017215067A (ja) | 2016-05-30 | 2017-12-07 | シャープ株式会社 | 在庫管理装置および在庫管理方法 |
JP2019095172A (ja) | 2017-11-24 | 2019-06-20 | ゴレッツ ヨランタ | 冷蔵庫システム及び食材管理システム |
Also Published As
Publication number | Publication date |
---|---|
CN110887336A (zh) | 2020-03-17 |
JP2020041761A (ja) | 2020-03-19 |
CN110887336B (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009052B (zh) | 一种图像识别的方法、图像识别模型训练的方法及装置 | |
Fong et al. | Finding an accurate early forecasting model from small dataset: A case of 2019-ncov novel coronavirus outbreak | |
US10922609B2 (en) | Semi-supervised learning via deep label propagation | |
US11908239B2 (en) | Image recognition network model training method, image recognition method and apparatus | |
US11551103B2 (en) | Data-driven activity prediction | |
JP5464277B2 (ja) | 生体認証装置、生体認証プログラム及び方法 | |
US8428310B2 (en) | Pattern classification system and method for collective learning | |
JP6572537B2 (ja) | 認証装置、方法及びプログラム | |
CN107077545A (zh) | 用于主动认证的***和方法 | |
JP7132044B2 (ja) | 冷蔵庫の入出庫管理システム、および冷蔵庫 | |
US11475218B2 (en) | Apparatus and method for providing sentence based on user input | |
US20200380338A1 (en) | Information processing system, inference method, attack detection method, inference execution program and attack detection program | |
CN106971401A (zh) | 多目标跟踪装置和方法 | |
US11645836B1 (en) | Adversarial detection using discriminator model of generative adversarial network architecture | |
Sreeja | A weighted pattern matching approach for classification of imbalanced data with a fireworks-based algorithm for feature selection | |
JP2018010626A (ja) | 情報処理装置、情報処理方法 | |
CN117425902A (zh) | 减轻对于模型的同时预测和优化的对抗性攻击 | |
Fong et al. | Gesture recognition from data streams of human motion sensor using accelerated PSO swarm search feature selection algorithm | |
US20200380315A1 (en) | Computer vision classifier using item micromodels | |
CN110580055B (zh) | 动作轨迹识别方法及移动终端 | |
WO2020168451A1 (zh) | 睡眠预测方法、装置、存储介质及电子设备 | |
JP2016099716A (ja) | システム、識別装置、識別モデル生成装置、情報処理方法及びプログラム | |
US10832060B2 (en) | Resident activity recognition system and method thereof | |
KR20200037657A (ko) | 냉장고, 서버 및 냉장고의 객체 인식 방법 | |
US20230353524A1 (en) | Engaging unknowns in response to interactions with knowns |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200918 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220825 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7132044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |