KR20210002590A - 냉장고 및 냉장고 시스템 - Google Patents

냉장고 및 냉장고 시스템 Download PDF

Info

Publication number
KR20210002590A
KR20210002590A KR1020207033450A KR20207033450A KR20210002590A KR 20210002590 A KR20210002590 A KR 20210002590A KR 1020207033450 A KR1020207033450 A KR 1020207033450A KR 20207033450 A KR20207033450 A KR 20207033450A KR 20210002590 A KR20210002590 A KR 20210002590A
Authority
KR
South Korea
Prior art keywords
food
image
camera
shelf
storage
Prior art date
Application number
KR1020207033450A
Other languages
English (en)
Other versions
KR102569605B1 (ko
Inventor
츠요시 우치다
사토시 미네자와
에이지 니이쿠라
요코 이노우에
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20210002590A publication Critical patent/KR20210002590A/ko
Application granted granted Critical
Publication of KR102569605B1 publication Critical patent/KR102569605B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D11/00—Self-contained movable devices, e.g. domestic refrigerators
    • F25D11/02—Self-contained movable devices, e.g. domestic refrigerators with cooling compartments at different temperatures
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F25D23/028—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00129—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2323/00—General constructional features not provided for in other groups of this subclass
    • F25D2323/02—Details of doors or covers not otherwise covered
    • F25D2323/021—French doors
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D25/00—Charging, supporting, and discharging the articles to be cooled
    • F25D25/02—Charging, supporting, and discharging the articles to be cooled by shelves
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D25/00—Charging, supporting, and discharging the articles to be cooled
    • F25D25/04—Charging, supporting, and discharging the articles to be cooled by conveyors
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Devices That Are Associated With Refrigeration Equipment (AREA)

Abstract

수납 상태 변화의 검출 정밀도의 저하를 억제하고, 또한 복수 시점(視點)에서 촬영된 저장실 내의 화상을 냉장고의 외부에 송신할 때의 통신 부하의 경감을 도모하는 것이 가능한 냉장고 시스템을 제공한다. 이를 위해, 냉장고 시스템은, 저장실 내의 화상을 촬영하는 카메라(2)와, 카메라를 적어도 상하 방향으로 이동시키는 카메라 이동 장치(20)와, 카메라가 촬영한 화상을 본체의 외부에 송신하는 통신 장치(31)와, 카메라가 촬영한 화상에 기초하여 각 선반의 식품 수납 상태의 변화를 검출하는 변화 검출 장치(33)를 구비한다. 카메라는, 각 선반에 대해 제 1 시점(視點)과 제 2 시점(視點)에서 촬영한다. 변화 검출 장치는, 제 1 시점에서 촬영된 화상에 기초하여 각 선반의 식품 수납 상태의 변화를 검출한다. 통신 장치는, 식품 수납 상태의 변화가 검출된 선반에 대해서, 제 1 시점 및 제 2 시점에서 촬영된 화상의 양쪽을 본체의 외부에 송신한다.

Description

냉장고 시스템
이 발명은, 냉장고 시스템에 관한 것이다.
냉장고 내의 화상을 검지하는 카메라를 구비한 냉장고에 있어서, 이동 범위의 상단부터 하단으로, 미리 정해진 일정한 속도로 카메라를 이동시키면서 촬영을 행하고, 상이한 시점(時點)에서 촬영한 화상의 상위를 검출함과 더불어, 촬영된 화상을 통신 회선을 통해서 단말 장치에 송신하는 것이 알려져 있다(예를 들면, 특허문헌 1 참조).
일본 특허공개 2016-148503호 공보
그러나, 특허문헌 1에 나타나는 냉장고에 있어서는, 일정한 속도로 카메라를 이동시키면서 촬영한 복수의 화상을 통신 회선을 통해서 송신함으로써, 송신 데이터량이 커져, 통신 부하가 증대해 버린다. 또, 이동 중의 카메라가 촬영하는 타이밍에 따라서는, 저장실 내의 선반 상의 식품이 크게 왜곡되어 버리거나 선반의 안쪽에 있는 식품이 바로 앞의 식품 또는 선반에 가리어질 가능성이 있다. 이 때문에, 얻어진 화상에서는 상이한 시점(時點)에서의 상위, 즉, 저장실 내의 식품 수납 상태의 변화의 검출 정밀도가 저하되어 버릴 염려가 있다.
이 발명은, 이와 같은 과제를 해결하기 위해서 이루어진 것이다. 그 목적은, 저장실 내의 식품 수납 상태의 변화의 검출 정밀도의 저하를 억제할 수 있음과 더불어, 복수 시점에서 촬영된 저장실 내의 화상을 냉장고의 외부에 송신할 때의 통신 부하의 경감을 도모하는 것이 가능한 냉장고 시스템을 얻는 것에 있다.
이 발명에 따른 냉장고 시스템은, 식품을 수납하는 저장실이 형성된 본체와, 상기 저장실 내에 마련되어, 상기 식품이 탑재되는 1 이상의 선반과, 상기 저장실의 일측을 개폐하는 문과, 상기 문의 내측의 면에 마련되어, 상기 저장실 내의 화상을 촬영하는 카메라와, 상기 카메라를 적어도 상하 방향으로 이동시키는 카메라 이동 장치와, 상기 카메라가 촬영한 화상을 상기 본체의 외부에 송신하는 통신 장치와, 상기 통신 장치가 상기 본체의 외부에 송신한 화상을 표시 가능한 단말 장치와, 상기 카메라가 촬영한 화상에 기초하여, 상기 선반의 각각에 대한 식품 수납 상태의 변화를 검출하는 변화 검출 장치를 구비하고, 상기 카메라는, 상기 선반의 각각에 대해, 제 1 시점(視點)과 상기 제 1 시점과는 상이한 1 이상의 제 2 시점(視點)에서 촬영하고, 상기 변화 검출 장치는, 상기 제 1 시점에서 촬영된 화상에 기초하여, 각각의 상기 선반의 식품 수납 상태의 변화를 검출하고, 상기 통신 장치는, 식품 수납 상태의 변화를 상기 변화 검출 장치가 검출한 상기 선반에 대해서, 상기 제 1 시점에서 촬영된 화상과 상기 제 2 시점에서 촬영된 화상의 양쪽을 상기 본체의 외부에 송신한다.
이 발명에 따른 냉장고 시스템에 의하면, 저장실 내의 식품 수납 상태의 변화의 검출 정밀도의 저하를 억제할 수 있음과 더불어, 복수 시점에서 촬영된 저장실 내의 화상을 냉장고의 외부에 송신할 때의 통신 부하의 경감을 도모하는 것이 가능하다는 효과를 발휘한다.
도 1은 이 발명의 실시형태 1에 따른 냉장고 시스템이 구비하는 냉장고의 정면도이다.
도 2는 이 발명의 실시형태 1에 따른 냉장고의 단면도이다.
도 3은 이 발명의 실시형태 1에 따른 냉장고의 카메라 이동 장치의 사시도이다.
도 4는 이 발명의 실시형태 1에 따른 카메라 이동 장치의 주요부를 투시하여 나타내는 확대 사시도이다.
도 5는 이 발명의 실시형태 1에 따른 카메라 이동 장치의 다른 예의 주요부를 투시하여 나타내는 확대 사시도이다.
도 6은 이 발명의 실시형태 1에 따른 카메라 이동 장치의 최하부에서의 움직임을 설명하는 도면이다.
도 7은 이 발명의 실시형태 1에 따른 카메라 이동 장치의 최하부에서의 움직임을 설명하는 도면이다.
도 8은 이 발명의 실시형태 1에 따른 카메라 이동 장치의 최하부에서의 움직임을 설명하는 도면이다.
도 9는 이 발명의 실시형태 1에 따른 냉장고의 카메라의 촬영 위치의 일례를 나타내는 주요부 단면도이다.
도 10은 이 발명의 실시형태 1에 따른 카메라가 촬영한 저장실 내의 화상의 일례를 나타내는 도면이다.
도 11은 이 발명의 실시형태 1에 따른 카메라가 촬영한 저장실 내의 화상의 일례를 나타내는 도면이다.
도 12는 이 발명의 실시형태 1에 따른 카메라가 촬영한 저장실 내의 화상의 일례를 나타내는 도면이다.
도 13은 이 발명의 실시형태 1에 따른 카메라가 촬영한 저장실 내의 화상의 일례를 나타내는 도면이다.
도 14는 이 발명의 실시형태 1에 따른 카메라가 촬영한 저장실 내의 화상의 일례를 나타내는 도면이다.
도 15는 이 발명의 실시형태 1에 따른 냉장고 시스템의 구성을 나타내는 블럭도이다.
도 16은 이 발명의 실시형태 1에 따른 냉장고 시스템의 전체 구성을 나타내는 도면이다.
도 17은 이 발명의 실시형태 1에 따른 냉장고의 식품 화상 데이터베이스에 기억되는 내용의 일례를 나타내는 도면이다.
도 18은 이 발명의 실시형태 1에 따른 냉장고 시스템의 단말 장치의 표시예를 나타내는 도면이다.
도 19는 이 발명의 실시형태 1에 따른 냉장고 시스템의 단말 장치의 표시예를 나타내는 도면이다.
도 20은 이 발명의 실시형태 1에 따른 냉장고 시스템의 단말 장치의 표시예를 나타내는 도면이다.
도 21은 이 발명의 실시형태 1에 따른 냉장고 시스템의 단말 장치의 표시예를 나타내는 도면이다.
도 22는 이 발명의 실시형태 1에 따른 냉장고 시스템의 동작예를 나타내는 순서도이다.
도 23은 이 발명의 실시형태 1에 따른 냉장고 시스템의 구성의 다른 예를 나타내는 블럭도이다.
도 24는 이 발명의 실시형태 1에 따른 냉장고의 카메라 이동 장치의 다른 예를 나타내는 사시도이다.
도 25는 이 발명의 실시형태 2에 따른 냉장고의 단면도이다.
도 26은 이 발명의 실시형태 2에 따른 냉장고 시스템의 구성을 나타내는 블럭도이다.
이 발명을 실시하기 위한 형태에 대해 첨부의 도면을 참조하면서 설명한다. 각 도면에 있어서, 동일 또는 상당하는 부분에는 동일한 부호를 붙이고, 중복되는 설명은 적절히 간략화 또는 생략한다. 한편, 본 발명은 이하의 실시형태로 한정되지 않고, 본 발명의 취지를 일탈하지 않는 범위에서 여러 가지 변형하는 것이 가능하다.
실시형태 1.
도 1 내지 도 24는, 이 발명의 실시형태 1에 관련한 것이다. 도 1은 냉장고 시스템이 구비하는 냉장고의 정면도이다. 도 2는 냉장고의 단면도이다. 도 3은 냉장고의 카메라 이동 장치의 사시도이다. 도 4는 카메라 이동 장치의 주요부를 투시하여 나타내는 확대 사시도이다. 도 5는 카메라 이동 장치의 다른 예의 주요부를 투시하여 나타내는 확대 사시도이다. 도 6 내지 도 8은 카메라 이동 장치의 최하부에서의 움직임을 설명하는 도면이다. 도 9는 냉장고의 카메라의 촬영 위치의 일례를 나타내는 주요부 단면도이다. 도 10 내지 도 14는 카메라가 촬영한 저장실 내의 화상의 일례를 나타내는 도면이다. 도 15는 냉장고 시스템의 구성을 나타내는 블럭도이다. 도 16은 냉장고 시스템의 전체 구성을 나타내는 도면이다. 도 17은 냉장고의 식품 화상 데이터베이스에 기억되는 내용의 일례를 나타내는 도면이다. 도 18 내지 도 21은 냉장고 시스템의 단말 장치의 표시예를 나타내는 도면이다. 도 22는 냉장고 시스템의 동작예를 나타내는 순서도이다. 도 23은 냉장고 시스템의 구성의 다른 예를 나타내는 블럭도이다. 그리고, 도 24는 냉장고의 카메라 이동 장치의 다른 예를 나타내는 사시도이다.
한편, 각 도면에서는 각 구성 부재의 치수의 관계나 형상 등이 실제의 것과는 상이한 경우가 있다. 또, 명세서 중에 있어서의 각 구성 부재끼리의 위치 관계(예를 들면, 상하 관계 등)는, 원칙으로서, 냉동 냉장고를 사용 가능한 상태에 설치했을 때의 것이다.
이 발명의 실시형태 1에 따른 냉장고 시스템은, 도 1에 나타내는 냉장고 본체(1000)를 구비하고 있다. 이 실시형태 1에 있어서는, 냉장고 본체(1000)에는, 냉장실(100), 제빙실(200), 전환실(300), 냉동실(400) 및 야채실(500)이 형성되어 있다. 이들의 냉장실(100), 제빙실(200), 전환실(300), 냉동실(400) 및 야채실(500)은, 식품을 수납하는 저장실이다.
이들의 저장실은, 도 1에 나타내는 바와 같이, 위부터 냉장실(100), 제빙실(200) 및 전환실(300), 냉동실(400), 야채실(500)의 순으로 배치되어 있다. 제빙실(200)과 전환실(300)은, 동일한 상하 위치에 있어서 좌우로 나란히 배치되어 있다. 냉장실(100)의 전면에는, 냉장실(100)을 개폐하는 냉장실 문(101)이 마련되어 있다. 냉장실 문(101)은, 저장실의 일측을 개폐하는 문의 일례이다. 또, 제빙실(200), 전환실(300), 냉동실(400) 및 야채실(500)은, 각각의 전면에 마련된 문과 함께, 냉장고 본체(1000)의 바로 앞측으로 끌어낼 수 있도록 구성되어 있다.
냉장실 문(101)의 전면에는, 조작 패널(1)이 마련되어 있다. 조작 패널(1)은, 패널 표시부(1a)를 구비하고 있다. 패널 표시부(1a)는, 정보를 표시 가능한 본체 표시부이다. 패널 표시부(1a)에는, 예를 들면, 각 저장실의 설정 온도 및 현재의 온도 등의 고(庫) 내 정보를 표시 가능하다. 패널 표시부(1a)는, 예를 들면 액정 디스플레이 등을 구비하고 있다. 조작 패널(1)은, 예를 들면 터치 패널, 버튼, 스위치 등의 조작부를 구비하고 있다. 유저는, 조작 패널(1)의 조작부를 조작하는 것에 의해, 필요한 정보를 입력할 수 있도록 되어 있다. 한편, 조작 패널(1)의 설치 위치는, 냉장실(100)의 문에 한하는 것은 아니고, 다른 저장실의 문, 냉장고 본체(1000)의 측면 등이어도 된다.
도 2에 나타내는 바와 같이, 냉장실(100)은, 전면측(동 도면을 향해 좌측)이 냉장실 문(101)에 의해 막혀 있다. 한편, 도 2에 나타내는 단면도는, 도 1 중의 단면 A-A'에 의하는 것이다. 냉장실(100)의 내부에는, 1 이상의 냉장실 선반(102)이 마련되어 있다. 여기에서는, 냉장실 선반(102)이 복수 마련되어 있는 경우를 예로 들고 있다. 냉장실(100)의 내부는, 이들의 냉장실 선반(102)에 의해, 상하 방향으로 복수의 공간(선반)으로 구획되어 있다. 냉장실 선반(102) 위에는, 식품이 탑재된다. 이와 같이 하여, 저장실인 냉장실(100) 내에는, 식품이 탑재되는 1 이상의 선반이 마련되어 있다.
각각의 냉장실 선반(102)는, 선반 지지부(103)에 의해, 냉장실(100) 내의 미리 정해진 위치에서 지지되어 있다. 선반 지지부(103)는, 냉장실(100)의 측벽 내면으로부터 냉장실(100)의 내측으로 돌출되어 형성되어 있다. 한편, 냉장실 선반(102)의 상하 위치를 변경할 수 있도록 선반 지지부(103)를 구성해도 된다.
최하단의 냉장실 선반(102)의 하측의 공간은, 칠드실(110)이다. 칠드실(110)의 내부에는, 칠드 케이스(111)가 설치되어 있다. 칠드 케이스(111)는, 레일 등의 안내 부재(도시하지 않음)를 따라, 전방으로 끌어낼 수 있다. 또, 냉장실 문(101)의 내측의 면에는, 도어 포켓(104)이 마련되어 있다. 이 도어 포켓(104)에도 식품을 탑재, 수납할 수 있다.
냉장실 문(101)의 내측의 면에는, 카메라(2)가 설치되어 있다. 카메라(2)는, 냉장실 문(101)측으로부터 저장실(여기에서는 냉장실(100))의 내부의 화상을 촬영하고, 저장실 화상으로서 출력한다. 이 발명의 실시형태 1에 따른 냉장고 본체(1000)는, 카메라 이동 장치(20)를 구비하고 있다. 카메라 이동 장치(20)는, 카메라(2)를 상하 방향으로 이동시키는 장치이다. 카메라 이동 장치(20)는, 냉장실 문(101)의 내측의 면에 마련되어 있다.
카메라 이동 장치(20)는, 카메라(2)를 가동 범위 내에서 상하 방향으로 이동시킨다. 가동 범위는, 미리 설정된 범위이다. 여기에서는, 가동 범위의 상단은, 냉장실(100) 내의 상단부이다. 또, 가동 범위의 하단은, 가장 아래에 있는 도어 포켓(104)의 바로 위의 위치이다.
다음으로, 도 3 내지 도 5를 참조하면서, 카메라 이동 장치(20)의 구성에 대해서 설명한다. 카메라 이동 장치(20)는, 도 3 및 도 4에 나타내는 바와 같이, 스텝 모터(21), 웜 기어(22), 피니언(23), 랙(24), 가이드부(25) 및 카메라 지지부(28)를 구비하고 있다. 카메라(2)는, 카메라 지지부(28)에 고정되어 있다. 가이드부(25)는, 냉장실 문(101)에 고정되어 있다. 카메라 지지부(28)는, 가이드부(25)에 대해서 이동 가능하다. 가이드부(25)는, 적어도 전술한 가동 범위에 걸쳐서 상하 방향을 따라 배치되어 있다. 가이드부(25)는, 전술한 가동 범위에 걸친 카메라(2) 및 카메라 지지부(28)의 이동을 안내한다.
도 4에 나타내는 바와 같이, 카메라 지지부(28)에는, 스텝 모터(21), 웜 기어(22) 및 피니언(23)이 장착되어 있다. 가이드부(25)에는, 랙(24)이 장착되어 있다. 랙(24)는, 전술한 가동 범위에 걸쳐서 상하 방향을 따라 배치되어 있다. 또, 가이드부(25)에는, 홈부(29)가 형성되어 있다. 홈부(29)는, 전술한 가동 범위에 걸쳐서 배치되어 있다.
스텝 모터(21)는, 카메라(2)의 이동을 구동한다. 스텝 모터(21)의 구동축에는, 웜 기어(22)가 고정되어 있다. 피니언(23)은, 대(大)기어와 소(小)기어가 일체로 구성되어 있다. 피니언(23)의 대기어와 소기어는 회전축이 동일해지도록 고정되어 있다. 피니언(23)의 대기어는, 웜 기어(22)와 서로 맞물려 있다. 피니언(23)의 소기어는, 랙(24)과 서로 맞물려 있다.
스텝 모터(21)에 의해 웜 기어(22)를 회전시키면, 피니언(23)이 회전한다. 랙(24)과 서로 맞물린 상태의 피니언(23)이 회전함으로써, 피니언(23)의 회전축이 랙(24)을 따라 직선 형상으로 이동한다. 피니언(23)의 회전축은, 카메라 지지부(28)에 회전 가능하게 지지되어 있다. 따라서, 이와 같은 랙 앤드 피니언 기구에 의해, 카메라 이동 장치(20)는, 스텝 모터(21)의 회전 운동을 가이드부(25)에 대한 카메라 지지부(28)의 직선 운전으로 변환하여, 냉장실 문(101)에 대해서 카메라(2)를 상하 방향으로 이동시킨다.
한편, 카메라(2)의 이동량은 스텝 모터(21)의 회전량에 비례한다. 그리고, 스텝 모터(21)의 회전량은, 스텝수를 이용하여 제어할 수 있다. 따라서, 카메라 이동 장치(20)는, 스텝 모터(21)의 스텝수를 이용하여 카메라(2)의 이동량을 제어할 수 있다.
도 5에 나타내는 것은, 카메라 이동 장치(20)의 구성의 다른 예이다. 이 다른 예에서는, 이송 나사(feed screw) 기구에 의해 카메라(2)를 이동시킨다. 이 다른 예에서는, 카메라 이동 장치(20)는, 스텝 모터(21), 웜 기어(22), 웜 휠(26), 이송 나사(27) 및 카메라 지지부(28)를 구비하고 있다.
스텝 모터(21)의 구동축에는, 웜 기어(22)가 고정되어 있다. 웜 기어(22)에는, 웜 휠(26)이 서로 맞물려 있다. 웜 휠(26)에는, 회전축이 동일해지도록 이송 나사(27)가 연결되어 있다. 이송 나사(27)는, 전술의 가동 범위에 걸쳐서 상하 방향을 따라 배치되어 있다. 이송 나사(27)에는, 카메라 지지부(28)가 장착되어 있다. 카메라 지지부(28)에는, 이송 나사(27)의 나사산과 계합(係合)하는 암나사가 깎여져 있다. 카메라 지지부(28)에는, 카메라(2)가 고정되어 있다.
스텝 모터(21)에 의해 웜 기어(22)를 회전시키면, 웜 휠(26) 및 이송 나사(27)가 회전한다. 이송 나사(27)가 회전함으로써, 나사 작용에 의해 카메라 지지부(28)가 이송 나사(27)의 회전축을 따라 직선 형상으로 이동한다. 이와 같은 이송 나사 기구에 의해, 카메라 이동 장치(20)는, 스텝 모터(21)의 회전 운동을 카메라 지지부(28)의 직선 운전으로 변환하여, 냉장실 문(101)에 대해서 카메라(2)를 상하 방향으로 이동시킨다.
다음으로, 도 6 내지 도 8을 참조하면서, 카메라 이동 장치(20)의 전술한 가동 범위의 하단 부분의 구성, 및, 카메라 이동 장치(20)가 카메라(2)를 전술한 가동 범위의 하단으로 이동시켰을 때의 동작에 대해서 설명한다. 전술한 바와 같이, 가이드부(25)에는 홈부(29)가 전술의 가동 범위에 걸쳐서 형성되어 있다. 이들의 도면에 나타내는 바와 같이, 이 홈부(29)는, 전술한 가동 범위의 하단 부분에 있어서, 상하 방향으로부터 냉장실 문(101)측의 방향으로 매끄럽게 굽어 있다. 이 밖의 부분에서는, 홈부(29)는 상하 방향을 따르고 있다.
홈부(29) 내에는, 카메라 지지부(28)에 형성된 도시하지 않은 돌기부가 삽입되어 있다. 이 돌기부는 피니언(23)보다도 냉장실 문(101)측에 배치되어 있다. 랙(24) 상을 피니언(23)이 회전했을 때, 카메라 지지부(28)의 돌기부가 홈부(29) 내에 규제된 상태에서 홈부(29) 내를 이동함으로써, 카메라 지지부(28)의 방향, 즉, 카메라(2)의 방향을 결정할 수 있다.
도 6에 나타내는 바와 같이, 홈부(29)가 상하 방향을 따르고 있는 부분에서는, 카메라 지지부(28)가 이동해도 카메라(2)의 방향은 냉장실 문(101)과는 반대측의 상태가 유지된다. 카메라(2)가 하강을 계속하여 카메라 지지부(28)의 돌기부가 홈부(29)의 커브에 접어들면, 카메라 지지부(28)의 피니언(23)은 그대로 하강을 계속하고자 하는 데 비해, 카메라 지지부(28)의 돌기부는, 홈부(29)에 안내되어 하강을 중지하고 냉장실 문(101)측으로 이동을 시작한다. 이 때문에, 도 7에 나타내는 바와 같이 카메라 지지부(28)가 기울기 시작하고, 카메라(2)가 아래로 향하기 시작한다.
그리고, 카메라(2)가 전술한 가동 범위의 하단에 오면, 도 8에 나타내는 바와 같이, 카메라(2)는 바로 아래를 향한다. 전술한 바와 같이, 가동 범위의 하단은 도어 포켓(104)의 바로 위의 위치이다. 이 때문에, 가동 범위의 하단에 있는 카메라(2)는, 도어 포켓(104)의 내부를 상방에서 촬영할 수 있다. 이와 같이, 카메라 이동 장치(20)는, 도어 포켓(104)의 내부를 상방에서 촬영할 수 있는 위치 및 방향으로 카메라(2)를 이동 가능하다.
카메라(2)는, 예를 들면, 냉장실 문(101)이 개폐되었을 때에 냉장실(100) 내를 촬영한다. 냉장실 문(101)이 개폐되면, 냉장실(100) 내의 식품이 출납되고, 냉장실(100) 내의 수납 상태가 변화될 가능성이 있기 때문이다. 냉장고 본체(1000)는, 문의 개폐를 검지 가능한 센서를 구비하고 있다. 이 센서는, 예를 들면, 일반적인 마그넷 방식의 센서이다. 즉, 이 센서는, 예를 들면, 냉장실 문(101)에 매설된 자석의 근접을, 냉장고 본체(1000)측에 설치된 한 쌍의 리드 스위치에 의해 검출한다. 카메라(2)는, 예를 들면, 열려 있던 냉장실 문(101)이 닫혀진 것을 검지한 후, 냉장실(100) 내가 조명되고 있는 동안에 촬영을 행한다.
이 카메라(2)에 의한 냉장실(100) 내의 촬영은, 카메라 이동 장치(20)에 의한 카메라(2)의 이동과 연계하여 행해진다. 다음으로, 카메라(2)와 카메라 이동 장치(20)의 연계한 촬영 동작에 대해서 설명한다. 냉장실(100) 내의 촬영을 행할 때, 카메라 이동 장치(20)는, 전술의 가동 범위의 일단부터 타단까지 카메라(2)를 이동시킨다. 그리고, 카메라(2)는, 이 이동 중에 있어서 특정의 위치를 통과할 때에 촬영을 행한다. 또는, 카메라 이동 장치(20)는, 전술의 가동 범위의 일단부터 타단까지 카메라(2)를 이동시킬 때에, 특정의 위치에서 카메라(2)를 정지시키고, 카메라(2)는, 이 정지 중에 촬영을 행하도록 해도 된다.
예를 들면, 카메라 이동 장치(20)는, 카메라(2)를 전술의 가동 범위의 상단부터 하단까지 아래 방향으로 이동시킨다. 그리고, 이 이동 중에 있어서는, 카메라(2)는, 전술한 선반의 각각에 대해, 예를 들면 도 9에 나타내는 바와 같이, 복수의 시점(視點)에서 촬영한다. 카메라(2)가 촬영을 행하는 복수의 시점(視點)은, 제 1 시점(視點)과 제 2 시점(視點)으로 구분된다. 제 1 시점은 기본적으로 각 선반당 1개만 설정된다. 제 2 시점은, 제 1 시점과는 상이한 시점(視點)이다. 제 2 시점은, 각 선반당 1 이상 설정된다.
이와 같이 하여, 카메라(2)가 전술의 가동 범위의 하단에까지 도달하면, 전술한 바와 같이, 도어 포켓(104)의 내부를 상방에서 촬영할 수 있는 위치 및 방향으로 카메라(2)가 온다. 그리고, 이 위치에서 정지하고 있는 동안에 카메라(2)는 화상을 촬영한다. 이때에 카메라(2)가 촬영한 화상은, 최하부의 도어 포켓(104)의 수납 상황을 나타내는 것이다.
이상과 같이 하여, 카메라(2)는, 냉장실(100) 내의 선반의 각각에 대해, 제 1 시점과 이 제 1 시점과는 상이한 1 이상의 제 2 시점에서 촬영한다. 또, 이 실시형태 1에서는, 카메라(2)는, 도어 포켓(104)의 내부를 상방에서 촬영한다. 한편, 카메라 이동 장치(20)는, 카메라(2)를 전술의 가동 범위의 하단부터 상단까지 카메라(2)를 위 방향으로 이동시켜도 된다.
도 10에 나타내는 것은, 냉장실(100) 내의 선반을 전술한 제 1 시점에서 카메라(2)로 촬영한 화상의 일례이다. 이 예에서는, 제 1 시점은, 선반을 정면에서 보는 시점(視點)이다. 또, 도 11 내지 도 14에 나타내는 것은, 냉장실(100) 내의 선반을 전술한 제 2 시점에서 카메라(2)로 촬영한 화상의 일례이다. 도 11은, 제 2 시점 중의 하나가 선반을 내려다보는 시점(視點)인 경우의 예이다. 이 예에서는, 제 2 시점은, 전술한 제 1 시점인 선반의 정면보다도 상방에 위치하고 있다. 도 12는, 제 2 시점 중의 하나가 선반을 약간 내려다보는 시점인 경우의 예이다. 이 예에서는, 제 2 시점은, 전술한 제 1 시점인 선반의 정면보다도 상방에서, 또한, 도 11의 내려다보는 시점(視點)보다 하방에 위치하고 있다. 도 14는, 제 2 시점 중의 하나가 선반을 올려다보는 시점(視點)인 경우의 예이다. 이 예에서는, 제 2 시점은, 전술한 제 1 시점인 선반의 정면보다도 하방에 위치하고 있다. 그리고, 도 13은, 제 2 시점 중의 하나가 선반을 약간 올려다보는 시점(視點)인 경우의 예이다. 이 예에서는, 제 2 시점은, 전술한 제 1 시점인 선반의 정면보다도 하방에서, 또한, 도 14가 올려다보는 시점(視點)보다 상방에 위치하고 있다.
이 실시형태 1에서는, 카메라 이동 장치(20)는, 전술의 가동 범위 내에 있어서의 카메라(2)의 위치를 스텝 모터(21)의 스텝수를 이용하여 제어한다. 즉, 카메라 이동 장치(20)는, 카메라(2)가 촬영을 행하는 위치를, 스텝 모터(21)의 스텝수를 계수(計數)함으로써 특정한다.
여기에서, 냉장실 선반(102)의 위치가 고정되어 있어 변경할 수 없는 경우, 카메라(2)가 촬영하는 전술한 제 1 시점 및 제 2 시점도 고정할 수 있다. 따라서, 예를 들면, 카메라(2)는, 전술한 제 1 시점 및 제 2 시점이 되는 위치에 대한 정보, 예를 들면 스텝 모터(21)의 스텝수를 미리 기억해 둔다. 그리고, 스텝 모터(21)의 스텝수가, 미리 기억하고 있던 값이 되었을 때에 카메라(2)는 촬영을 행한다.
또, 냉장실 선반(102)의 위치를 변경 가능한 경우는, 다음과 같이 하여 현재의 냉장실 선반(102)의 위치를 특정하고, 카메라(2)가 촬영을 행하는 위치를 결정하는 것이 생각된다. 우선, 첫번째의 예는, 선반 지지부(103)에 냉장실 선반(102)의 위치를 검출하는 수단을 마련하는 방법이다. 냉장실 선반(102)의 위치를 검출하는 수단으로서는, 구체적으로 예를 들면, 마이크로 스위치 등을 이용하는 것이 생각된다. 이 경우, 냉장실 선반(102)을 선반 지지부(103)의 적절한 위치에 배치했을 때에, 당해 냉장실 선반(102)에 의해 눌리도록 마이크로 스위치를 설치해 둔다. 그리고, 어떤 마이크로 스위치가 눌려 있는지에 따라, 냉장실 선반(102)의 위치를 검출할 수 있다.
두번째의 예는, 카메라(2)가 촬영한 화상을 이용하여 냉장실 선반(102)의 위치를 특정하는 방법이다. 이 방법에서는, 우선, 최초로 카메라 이동 장치(20)에 의해 전술의 가동 범위의 전체로 카메라(2)를 이동시키면서, 카메라(2)로 화상을 촬영한다. 이때의 촬영 위치는, 최종적으로 카메라(2)로 촬영 가능한 냉장실(100)의 전체 범위를 망라할 수 있으면, 특별히 한정되지 않는다. 그리고, 이렇게 하여 촬영한 화상을 해석하고, 현재의 냉장실 선반(102)의 위치를 특정할 수 있다.
한편, 카메라 이동 장치(20)는, 냉장실 문(101)의 개폐를 검지하는 센서가 냉장실 문(101)의 닫힘 동작을 검지한 경우에, 전술의 가동 범위의 일단에 카메라(2)를 이동시켜 스텝 모터(21)의 제로점 보정을 행하도록 하면 된다. 즉, 센서가 냉장실 문(101)의 닫힘 동작을 검지한 경우, 카메라 이동 장치(20)는, 최초로 카메라(2)를 전술의 가동 범위의 예를 들면 상단으로 이동시킨다. 그리고, 카메라 이동 장치(20)는, 스텝 모터(21)의 스텝수의 계수값를 0으로 한다. 이와 같이 함으로써, 스텝 모터(21)의 스텝수와 실제의 카메라(2)의 위치의 어긋남을 수정할 수 있다.
다시 도 2를 참조하면서 설명을 계속한다. 냉장고 본체(1000)는, 제어 기판(1001)을 구비하고 있다. 제어 기판(1001)은, 예를 들면, 냉장고 본체(1000)의 배면측의 상부에 수용되어 있다. 제어 기판(1001)에는, 냉장고 본체(1000)의 동작에 필요한 각종의 제어를 실시하기 위한 제어 회로 등이 구비되어 있다. 제어 기판(1001)은, 예를 들면 마이크로컴퓨터를 구비하고 있고, 즉, 프로세서 및 메모리를 구비하고 있다. 제어 기판(1001)은, 메모리에 기억된 프로그램을 프로세서가 실행하는 것에 의해, 미리 설정된 처리를 실행하고, 냉장고 본체(1000)를 제어한다.
이 발명의 실시형태 1에 따른 냉장고 시스템은, 이상과 같이 구성된 냉장고 본체(1000)를 우선 구비하고 있다. 또, 이 냉장고 시스템은, 화상 서버(3)를 더 구비하고 있다. 화상 서버(3)는, 저장실 화상의 보존, 관리 및 외부로의 송신을 행하기 위한 것이다. 화상 서버(3)는, 냉장고 본체(1000)가 설치된 주택 내(이하, 간단히 「주택 내」라고 함)이고, 또한, 냉장고 본체(1000)의 저장실의 외측에 설치된다. 도 1 및 도 2에 나타내는 것은, 화상 서버(3)를 냉장고 본체(1000)의 천정부의 외면부에 배치한 예이다. 한편, 화상 서버(3)의 설치 위치는, 냉장고 본체(1000)의 천정부에 한정되지 않는다. 화상 서버(3)를, 냉장고 본체(1000)의 저장실의 밖이면, 냉장고 본체(1000)의 측면, 배면 또는 저장실의 문에 설치해도 된다. 또, 제어 기판(1001)에 화상 서버(3)를 실장해도 된다.
화상 서버(3)는, 전술한 제어 기판(1001)과 마찬가지로 예를 들면 마이크로컴퓨터를 구비하고 있고, 즉, 프로세서 및 메모리를 구비하고 있다. 또, 화상 서버(3)는, 도 15에 나타내는 바와 같이, 화상 처리 장치(32), 변화 검출 장치(33), 재고 관리 장치(34) 및 통신 장치(31)를 구비하고 있다. 이들 각 부의 기능은, 예를 들면, 화상 서버(3)의 마이크로컴퓨터에 있어서, 메모리에 기억된 프로그램을 프로세서가 실행하고, 미리 설정된 처리를 행함으로써 실현된다. 한편, 화상 서버(3)는, 예를 들면, 제어 기판(1001)과 접속되고, 제어 기판(1001)으로부터 전력의 공급을 받아 동작한다.
화상 처리 장치(32)는, 카메라(2)로부터 출력된 저장실 화상을 기억한다. 전술한 바와 같이, 냉장실 문(101)의 개폐가 검지되면, 카메라(2)는, 카메라 이동 장치(20)와 연계하여, 냉장실(100) 내의 각각의 선반 및 최하부의 도어 포켓(104)의 수납 상황을 촬영한다. 카메라(2)는, 촬영한 화상을, 화상 처리 장치(32)에 출력한다. 카메라(2)로부터 출력된 화상은, 화상 처리 장치(32)에 입력된다.
따라서, 화상 처리 장치(32)에는, 냉장실 문(101)이 개폐될 때마다(즉, 냉장실(100) 내의 수납 상태가 변화될 가능성이 있을 때마다), 카메라(2)로부터 출력된 화상이 입력되게 된다. 이렇게 하여, 화상 처리 장치(32)에는 항상 최신 상태의 냉장실(100) 내의 화상이 입력된다.
화상 처리 장치(32)는, 입력된 최신의 저장실 화상을 일시적으로 기억한다. 이때, 화상 처리 장치(32)는, 저장실 화상이 화상 처리 장치(32)에 입력된 시각을, 촬영 시각 정보로서 당해 저장실 화상과 함께 일시적으로 기억한다. 한편, 촬영 시각 정보에는, 촬영된 날짜(월일 또는 연월일)의 정보도 포함되어 있다.
단, 화상 처리 장치(32)에 기억되어 있는 저장실 화상에도, 카메라(2)의 렌즈의 특성상의 이유에 의해 약간 왜곡이 생길 가능성이 있다. 또, 냉장실(100) 내의 조명 및 수납 상태에 따라서는, 각 화상 사이에서 밝기에 편차가 있는 경우도 생각된다. 그래서, 필요에 따라, 화상 처리 장치(32)는, 카메라(2)가 촬영한 화상의 밝기 및 왜곡의 한쪽 또는 양쪽을 보정하고 나서 기억해도 된다. 또, 화상 처리 장치(32)는, 보정 후의 각 선반의 화상을 합성하여 냉장실(100)의 전체 화상을 생성해도 된다.
이와 같이 하여, 화상 처리 장치(32)에는, 냉장실(100) 내의 각 선반에 대해서, 적어도, 전술한 제 1 시점에서 촬영된 최신의 화상과, 1 이상의 전술한 제 2 시점에서 촬영된 최신의 화상이 기억된다.
변화 검출 장치(33)는, 화상 처리 장치(32)에 기억되어 있는 전술한 제 1 시점에서 촬영된 각 선반의 화상을, 화상 처리 장치(32)로부터 취득한다. 그리고, 변화 검출 장치(33)는, 전술한 제 1 시점에서 촬영된 화상에 기초하여, 각각의 선반의 식품 수납 상태의 변화를 검출한다. 예를 들면, 변화 검출 장치(33)는, 전회에 화상 처리 장치(32)로부터 취득한 제 1 시점에서의 화상을 유지하고 있다. 그리고, 이 전회의 화상과 이번에 취득한 화상을 각 선반에 대해 비교함으로써, 각 선반의 식품 수납 상태의 변화를 검출한다. 식품 수납 상태가 변화된 것을 변화 검출 장치(33)가 검출한 선반에 대해서는, 당해 선반을 전술한 제 1 시점에서 촬영한 화상이, 변화 검출 장치(33)로부터 재고 관리 장치(34)로 보내진다.
재고 관리 장치(34)는, 카메라(2)가 촬영한 화상으로부터 개개의 식품의 화상을 추출한다. 그리고, 재고 관리 장치(34)는, 추출한 식품의 화상을, 당해 식품이 놓여진 선반을 고유하게 특정하는 선반 특정 정보와 대응지어 기억한다. 여기에서, 선반 특정 정보는, 예를 들면, 각각의 선반에 위부터 차례로 할당한 번호 등이다.
예를 들면, 재고 관리 장치(34)는, 우선, 카메라(2)에 의해 촬영된 화상으로부터, 개개의 식품의 화상을 추출한다. 다음으로, 재고 관리 장치(34)는, 연속하는 2개의 시점(時點)에 있어서 카메라(2)에 의해 촬영된 화상으로부터 추출된 개개의 식품의 화상을 비교하는 것에 의해, 개개의 식품에 대해 냉장실(100)에 입고되었는지 출고되었는지를 판별한다. 이때, 입고 및 출고의 판별에 이용한 2개의 화상의 촬영 일시로부터, 대략적인 입고 일시 및 출고 일시를 특정할 수 있다. 이렇게 하여, 재고 관리 장치(34)는, 카메라(2)에 의해 촬영된 화상에 기초하여, 개개의 식품의 화상에 대해서, 입고 일시 및 출고 일시를 특정한다.
보다 상세하게는, 재고 관리 장치(34)는, 변화 검출 장치(33)로부터 재고 관리 장치(34)로 보내진 화상으로부터, 개개의 식품의 화상을 추출한다. 즉, 재고 관리 장치(34)는, 식품 수납 상태의 변화를 변화 검출 장치(33)가 검출한 선반에 대해서, 전술한 제 1 시점에서 촬영된 화상으로부터 개개의 식품의 화상을 추출한다. 그리고, 재고 관리 장치(34)는, 추출한 개개의 식품의 화상에 대해 입출고의 유무를 판정한다. 또, 입출고가 있는 경우, 재고 관리 장치(34)는, 입출고가 있던 선반의 선반 특정 정보를 특정한다.
통신 장치(31)는, 외부와 통신 가능한 장치이다. 통신 장치(31)는, 예를 들면 주지의 무선 통신 기술을 이용하여, 냉장고 본체(1000)의 화상 서버(3)와 라우터 장치(7)의 사이에서 정보의 상호 통신을 행한다. 한편, 화상 서버(3)와 라우터 장치(7)의 통신은 무선 방식으로 한정되지 않고, 유선 방식이어도 된다.
도 16에 나타내는 것은, 이 발명의 실시형태 1에 따른 냉장고 시스템의 전체 구성이다. 동 도면에 나타내는 바와 같이, 이 발명의 실시형태 1에 따른 냉장고 시스템은, 단말 장치(10)를 구비하고 있다. 단말 장치(10)는, 통신 장치(31)와 통신 가능하게 마련되어 있다. 단말 장치(10)는, 구체적으로 예를 들면, PC, 스마트폰, 태블릿 단말 등이다. 한편, 단말 장치(10)는, 1 이상 마련되고, 바람직하게는 복수 마련된다.
단말 장치(10)는, 도시하지 않은 단말 표시부를 구비하고 있다. 단말 표시부는, 예를 들면, 액정 디스플레이 등을 구비하고 있다. 또, 단말 표시부를 터치 패널로 구성하고, 정보를 표시함과 더불어, 유저로부터의 조작을 접수할 수 있도록 해도 된다. 단말 장치(10)의 단말 표시부는, 저장실 화상 및 촬영 시각 정보를 포함하는 각종의 정보를 표시 가능하다.
도 16에 나타내는 바와 같이, 냉장고 본체(1000), 화상 서버(3) 및 라우터 장치(7)는, 주택 내에 설치되어 있다. 라우터 장치(7)는, 예를 들면 인터넷(8)을 통해서, 외부 서버(90)와 통신 가능하게 접속되어 있다. 동 도면에서는 외부 서버로서, 인터넷(8)에 접속된 복수의 서버(서버군)로 이루어지는 클라우드 서버를 이용한 경우를 예시하고 있다. 그러나, 외부 서버(90)는 클라우드 서버에 한정되지 않고, 1대의 서버여도 된다. 인터넷(8) 및 외부 서버(90)는, 냉장고 본체(1000)가 설치된 주택 내의 외측인 주택 밖(이하, 간단히 「주택 밖」이라고 함)에 있다.
통신 장치(31)는, 화상 처리 장치(32) 및 재고 관리 장치(34)에 기억되어 있는 화상 및 정보를, 라우터 장치(7) 및 인터넷(8)을 통해서, 주택 밖의 외부 서버(90)로 송신한다. 그리고, 외부 서버(90)는, 수신한 화상 및 정보를 기억한다. 특히, 통신 장치(31)는, 식품 수납 상태의 변화를 변화 검출 장치(33)가 검출한 선반에 대해 촬영된 화상을 외부 서버(90)에 송신한다. 이때, 통신 장치(31)는, 전술한 제 1 시점에서 촬영된 화상과 전술한 제 2 시점에서 촬영된 화상의 양쪽을 외부에 송신한다.
한편, 외부 서버(90)로의 통신이 혼잡하여, 저장실 화상을 1회로 업로드(송신)할 수 없는 경우를 상정하여, 통신 장치(31)로부터 외부 서버(90)로의 저장실 화상의 업로드의 최대 재시도(retry)수를 설정하도록 해도 된다. 그리고, 통신 장치(31)는, 최대 재시도수에 도달한 경우에는, 즉시 업로드하도록 해도 된다.
주택 밖의 단말 장치(10)는, 인터넷(8)을 통해서 외부 서버(90)로 액세스한다. 유저가, 단말 장치(10)에 있어서 냉장고 본체(1000)에 관련한 화상 및 정보의 표시 조작을 행하면, 단말 장치(10)는 송신 요구를 송신한다. 송신 요구를 수신한 외부 서버(90)는, 자신에게 기억되어 있는 화상 및 정보를 단말 장치(10)로 송신한다. 단말 장치(10)는, 외부 서버(90)로부터 인터넷(8)을 통해서 화상 및 정보를 수신한다. 그리고, 단말 장치(10)는, 수신한 냉장고 본체(1000)에 관련한 화상 및 정보를 단말 표시부에 표시한다. 이와 같이, 단말 장치(10)는, 통신 장치(31)가 외부에 송신한 화상을 표시 가능하다.
한편, 단말 장치(10)는, 외부 서버(90)를 통하지 않고, 통신 장치(31)로부터 송신된 냉장고 본체(1000)에 관련한 화상 및 정보를, 라우터 장치(7) 및 인터넷(8)을 통해서 수신해도 된다. 또, 재고 관리 장치(34)가 냉장실(100)로의 입출고가 있었다고 판정한 경우, 통신 장치(31)는, 그 취지를 라우터 장치(7) 및 인터넷(8)을 통해서 단말 장치(10)에 통지해도 된다.
도 17 내지 도 20은, 단말 장치(10)에 표시되는 화면의 예이다. 도 17에 나타내는 것은, 「입출고 타임 라인」의 표시예이다. 전술한 바와 같이, 화상 서버(3)의 재고 관리 장치(34)는, 카메라(2)가 촬영한 냉장실(100) 내의 화상에 기초하여, 입출고 일시, 입출고의 구별, 입출고된 식품의 화상 및 식품이 입출고된 선반의 선반 특정 정보를 기억하고 있다. 입출고 타임 라인은, 이들의 화상 및 정보를 시계열로 나열하여 표시하는 화면이다.
도 18에 나타내는 것은, 「입출고 리스트」의 표시예이다. 이 입출고 리스트도, 입출고 타임 라인과 동일하게, 화상 서버(3)의 재고 관리 장치(34)에 기억되어 있는, 입출고 일시, 입출고의 구별, 입출고된 식품의 화상 및 식품이 입출고된 선반의 선반 특정 정보를 표시한다. 단, 이 입출고 리스트와 입출고 타임 라인에서는, 표시 형식이 상이하다. 이 입출고 리스트는, 입출고 일시, 입출고된 식품의 화상 및 식품이 입출고된 선반의 선반 특정 정보를, 「입고」의 열과 「출고」의 열로 나누어 리스트 형상으로 표시하는 화면이다.
도 19에 나타내는 것은, 「재고 식품 일람」의 표시예이다. 전술한 바와 같이, 화상 서버(3)의 재고 관리 장치(34)는, 카메라(2)가 촬영한 냉장실(100) 내의 화상으로부터, 개개의 식품의 화상을 추출하여 기억하고 있다. 이 재고 식품 일람은, 어느 시각에 있어서 냉장실(100) 내에 수납되어 있는 개개의 식품의 화상을 일람 형식으로 표시하는 화면이다.
도 20에 나타내는 것은, 「재고 식품 일람」의 다른 표시예이다. 이 표시예에서는, 어느 시각에 있어서 냉장실(100) 내에 수납되어 있는 개개의 식품의 화상을, 각각의 선반마다 나누어 일람 형식으로 표시하는 화면이다.
이상과 같이, 식품 화상을 선반 특정 정보와 함께 표시하거나 각각의 선반마다 나누어 식품 화상을 표시하거나 함으로써, 사용자는 목적의 식품을 용이하게 발견할 수 있다.
한편, 단말 장치(10)는, 식품 수납 상태의 변화를 변화 검출 장치(33)가 검출한 선반의 화상을 우선적으로 표시하도록 해도 된다. 구체적으로 예를 들면, 도 20에 나타내는 「재고 식품 일람」의 화면에 있어서, 식품 수납 상태의 변화가 검출된 선반의 화상을, 최상위에 표시하도록 해도 된다.
또, 단말 장치(10)는, 전술한 제 1 시점에서 촬영된 화상 및 1 이상의 전술한 제 2 시점에서 촬영된 화상을 그대로 표시해도 된다. 또, 이때에는, 제 1 시점에서 촬영된 화상 및 1 이상의 제 2 시점에서 촬영된 화상 중 어떤 것을 표시할지 변경 가능하도록 하면 된다. 구체적으로 예를 들면, 어느 시점(視點)에서의 화상이 표시되어 있는 상태에서, 사용자가 터치 패널을 스와이프 조작하면, 당해 스와이프 조작의 방향 및 양에 따라, 표시되는 시점이 변경되도록 하면 된다.
또, 이상의 「입출고 타임 라인」, 「입출고 리스트」 및 「재고 식품 일람」의 각 화면은, 조작 패널(1)의 패널 표시부(1a)에도 표시 가능하다. 또, 패널 표시부(1a)에는, 이들의 화면 외에, 재고 관리 장치(34)에 있어서 관리 및 기억되어 있는 각종의 화상 및 정보, 및, 화상 처리 장치(32)에 기억되어 있는 화상 등을 표시할 수 있도록 해도 된다.
재고 관리 장치(34)는, 카메라(2)가 촬영한 화상으로부터 냉장실(100) 내의 개개의 식품의 화상을 추출할뿐만 아니라, 카메라(2)가 촬영한 화상으로부터 냉장실(100) 내의 개개의 식품의 종류 및 양을 판정해도 된다. 이 판정을 위해, 재고 관리 장치(34)는, 식품 화상 데이터베이스를 미리 기억하고 있다. 식품 화상 데이터베이스는, 식품의 종류의 각각에, 당해 식품의 형상, 크기, 색 및 외장 라벨 중 적어도 어느 하나가 대응지어진 데이터의 집합이다. 이 의미에서, 재고 관리 장치(34)는, 식품의 종류의 각각에, 당해 식품의 형상, 크기, 색 및 외장 라벨 중 적어도 어느 하나를 대응지어 미리 기억하는 식품 정보 기억부를 구비하고 있다.
식품 화상 데이터베이스에 기억되어 있는 정보의 구체예를 도 21을 참조하면서 설명한다. 식품 화상 데이터베이스는, 식품 종류의 각각에 대하여, 당해 식품 종류를 다른 식품 종류와 구별할 수 있는 특징적인 속성을 기억하고 있다. 여기에서는, 당해 식품 종류에 속하는 식품 자체 또는 당해 식품이 들어간 용기의 특징량을, 당해 식품 종류에 대응지어 기억하고 있다. 구체적으로는, 각 식품 종류에 대해서, 형상(윤곽), 장축의 크기, 대표색(RGB값) 및 라벨(문자) 등의 정보를 특징량으로 하고 있다.
한편, 식품 화상 데이터베이스에 기억하는 식품 종류마다의 형상으로서는, 여기에서 예로 든 윤곽 외에, 예를 들면, 당해 식품의 외형에 가장 가까운 기하학적 형상(예를 들면, 원기둥, 사다리꼴 등)으로 해도 된다. 이 경우, 재고 관리 장치(34)에 의한 판정에 있어서는, 예를 들면, 패턴 매칭 등의 수법에 의해 식품 화상 데이터베이스에 기억되어 있는 형상과의 대조(照合)를 행한다. 또, 색에 대해서는, 대표색의 RGB값 외에, 예를 들면 명도, 채도 등의 다른 지표값을 이용하도록 해도 된다.
재고 관리 장치(34)는, 이상과 같은 식품 화상 데이터베이스에 기억되어 있는 정보를 참조하면서, 재고 관리 장치(34)가 보존, 관리하고 있는 화상에 기초하여, 저장실(여기에서는 냉장실(100)) 내의 식품의 종류 및 양을 판정한다. 이 판정에 있어서는, 재고 관리 장치(34)는, 카메라(2)가 촬영한 화상으로부터 추출한 개개의 식품의 화상에 대해서, 식품 화상 데이터베이스에 기억되어 있는 식품의 종류 중, 어떤 식품의 종류의 특징량과 합치하는지를 대조한다.
그리고, 개개의 식품의 화상과 합치하는 식품 화상 데이터베이스에 기억되어 있는 특징량이 있는 경우, 당해 화상의 식품의 종류는, 식품 화상 데이터베이스에 있어서 이 합치한 특징량에 대응지어져 있는 종류라고, 재고 관리 장치(34)는 판정한다. 한편, 식품 화상 데이터베이스에 특징량이 합치하는 데이터가 없는 경우, 당해 화상의 식품의 종류를, 가장 유사한 식품의 종류로 대체하거나, 또는, 당해 화상의 식품은 종류 불명의 수납물로서 크기만을 식별하도록 해도 된다.
이와 같이 하여, 재고 관리 장치(34)는, 카메라(2)가 촬영한 화상으로부터 추출한 식품의 화상과, 식품 화상 데이터베이스에 기억되어 있는 특징량을 비교하는 것에 의해, 냉장실(100) 내에 수납되어 있는 식품에 대해서, 종류 및 그 양을 특정할 수 있다.
다음으로, 이상과 같이 구성된 냉장고 시스템에 있어서, 카메라(2)에 의한 냉장실(100) 내의 촬영과 화상 서버(3)에서의 처리의 흐름의 일례에 대해서, 도 22를 참조하면서 설명한다. 우선, 스텝 S11에 있어서, 제어 기판(1001)의 카메라(2) 및 카메라 이동 장치(20)의 제어 회로는, 열려 있던 냉장실 문(101)이 닫혀진 것이 검지되었는지 여부를 확인한다. 냉장실 문(101)의 개폐가 검지되어 있지 않은 경우, 냉장실 문(101)의 개폐가 검지될 때까지 스텝 S11의 처리를 반복한다. 그리고, 냉장실 문(101)의 개폐가 검지되면, 처리는 스텝 S12로 진행된다.
스텝 S12에 있어서는, 카메라 이동 장치(20)는, 카메라(2)를 이동시킨다. 그리고, 카메라(2)는, 냉장실(100) 내의 각 선반에 있어서, 전술한 제 1 시점에서 화상을 촬영한다. 스텝 S12 후, 처리는 스텝 S13으로 진행된다. 스텝 S13에 있어서는, 스텝 S12에서 촬영된 각 선반에 있어서의 제 1 시점에서의 화상을, 전회 촬영 시의 화상과 비교한다. 계속되는 스텝 S14에 있어서, 변화 검출 장치(33)는, 스텝 S12에서 촬영된 각 선반의 화상과 전회 촬영 시의 화상에서 차이가 있는지 여부를 확인한다. 이들의 화상에 차이가 없는 경우, 처리는 스텝 S11로 되돌아간다.
한편, 스텝 S14에 있어서, 스텝 S12에서 촬영된 각 선반의 화상과 전회 촬영 시의 화상에서 차이가 있는 경우, 처리는 스텝 S15로 진행된다. 스텝 S15에 있어서는, 카메라 이동 장치(20)는 다시 카메라(2)를 이동시켜, 스텝 S12에서 촬영된 화상과 전회 촬영 시의 화상에서 차이가 있다고 판정된 선반에 대해서만, 카메라(2)는, 이번에는 전술한 제 2 시점에서 화상을 촬영한다. 스텝 S15 후, 처리는 스텝 S16으로 진행된다.
스텝 S16에 있어서는, 스텝 S12에서 촬영된 화상과 전회 촬영 시의 화상에서 차이가 있다고 판정된 선반에 대해서, 전술한 제 1 시점에서 촬영된 화상 및 전술한 제 2 시점에서 촬영된 화상으로부터 개개의 식품의 화상을 추출한다. 그리고, 재고 관리 장치(34)는, 추출한 개개의 식품의 화상을 식품 정보 데이터베이스와 대조하여, 식품의 종류를 특정한다.
한편, 앞에 기술한 설명에서는, 재고 관리 장치(34)는, 제 1 시점에서 촬영된 화상으로부터 개개의 식품의 화상을 추출하는 것으로 하고 있었다. 그러나, 이 점에 대해서는, 제 1 시점에서 촬영된 화상뿐만 아니라, 제 2 시점에서 촬영된 화상으로부터도 개개의 식품의 화상을 추출해도 된다. 복수 시점에서의 화상을 사용함으로써, 식품의 종류의 특정 정밀도 향상을 도모할 수 있다. 스텝 S16 후, 처리는 스텝 S17로 진행된다.
스텝 S17에 있어서는, 스텝 S16에서 종류를 특정한 식품에 대해서, 입고, 출고, 이동의 구별을 판정한다. 한편, 여기에서 말하는 이동이란, 상이한 선반 사이에서의 식품의 이동이다. 즉, 이동이라는 것은, 어느 선반으로부터 출고되었다고 판정된 것과 동일한 식품이, 직후에 다른 선반에 입고되었다고 판정되는 것을 가리키고 있다. 스텝 S17의 처리가 완료되면, 처리는 스텝 S11로 되돌아간다.
도 23에 다른 예로서 나타내는 바와 같이, 전술한 식품 화상 데이터베이스인 식품 정보 기억부(91)를 화상 서버(3)(재고 관리 장치(34))가 아니라, 외부 서버(90)에 마련하도록 해도 된다. 그리고, 재고 관리 장치(34)는, 외부 서버(90)의 식품 정보 기억부(91)에 기재된 식품 화상 데이터베이스의 정보를 참조하여, 전술한 제 1 시점에서 촬영된 화상으로부터 냉장실(100) 내의 개개의 식품의 종류 및 양을 판정하도록 해도 된다. 이 구성에 의하면, 외부 서버(90)에 액세스함으로써, 식품 화상 데이터베이스를 수시 갱신할 수 있다.
또, 도 24에 나타내는 바와 같이, 카메라 이동 장치(20)는, 카메라(2)를 수평 방향으로도 이동할 수 있도록 해도 된다. 동 도면에 나타내는 예에서는, 카메라 이동 장치(20)는, 전술의 가동 범위의 상단 및 하단에 있어서, 수평 방향으로 이동 가능하다. 그리고, 카메라 이동 장치(20)는, 수평 방향으로 상이한 위치에 있어서 카메라(2)를 상하 방향으로 이동시킬 수 있다. 이때, 카메라 이동 장치(20)는, 카메라(2)의 수평 방향의 방향을 변경할 수 있도록 해도 된다.
구체적으로 예를 들면, 카메라(2)는, 상승 시에 고(庫) 내 오른쪽 절반과 오른쪽 문 포켓을 촬영하고, 하강 시에 고(庫) 내 왼쪽 절반과 왼쪽 문 포켓을 촬영하고, 상하로 왕복함으로써 문 포켓을 포함하는 냉장실(100) 내의 전체를 촬영한다. 이 구성에 있어서는, 냉장실(100) 내의 전체를 촬영하면, 카메라(2)는 촬영 개시 지점으로 되돌아간다. 이와 같이 함으로써, 문 포켓을 포함하는 냉장실(100) 내의 전체를 광각 렌즈를 사용하지 않고 촬영할 수 있기 때문에, 화상의 해상도를 향상시킴과 더불어 화상의 왜곡을 억제하여, 식품의 화상 인식 정밀도를 향상시킬 수 있다.
한편, 카메라(2) 및 카메라 이동 장치(20)를, 냉장실 문(101)에 대해 착탈 가능하게 해도 된다. 또, 카메라(2) 및 카메라 이동 장치(20)와, 제어 기판(1001) 등의 통신은, 무선 또는 비접촉 방식으로 하면 된다. 이와 같이 함으로써, 카메라(2)의 렌즈 및 카메라 이동 장치(20)의 메인터넌스성을 향상시킬 수 있다.
이상과 같이 구성된 냉장고 시스템은, 저장실 내의 각 선반에 대해서, 수납 상태의 변화를 검출하기 위해서 이용하는 화상을, 제 1 시점에서 촬영한다. 이 제 1 시점은, 화상으로부터 수납 상태의 변화를 검출하는 데 적합한 것으로 할 수 있다. 구체적으로 예를 들면, 제 1 시점은 각 선반의 정면이지만, 이에 한정되지 않는다. 그리고, 제 1 시점에서 촬영한 화상에 의해, 수납 상태의 변화가 검출된 선반에 대해서는, 카메라(2)는, 제 1 시점과는 상이한 제 2 시점에서도 촬영을 행한다. 그리고, 통신 장치(31)는, 수납 상태의 변화가 검출된 선반에 대해서, 제 1 시점과 제 2 시점의 양쪽에서 촬영한 화상을 냉장고 본체(1000)의 외부의 예를 들면 외부 서버(90) 또는 단말 장치(10)에 송신한다.
이 때문에, 카메라(2)에 의한 촬영 횟수를 저감하면서, 제 1 시점을, 화상으로부터 수납 상태의 변화를 검출하는 데 적합한 것으로 함으로써, 저장실 내의 식품 수납 상태의 변화의 검출 정밀도의 저하를 억제할 수 있다. 그리고, 수납 상태의 변화가 검출된 선반에 대해서만, 제 1 시점과 제 2 시점의 양쪽에서 촬영한 화상을 송신함으로써, 단말 장치(10)에서는, 복수 시점에서 촬영된 저장실 내의 화상을 확인할 수 있다. 그리고, 복수 시점에서 촬영된 저장실 내의 화상을 냉장고의 외부에 송신할 때의 통신 부하의 경감을 도모하는 것이 가능하다.
실시형태 2.
도 25 및 도 26은, 이 발명의 실시형태 2에 따른 것이다. 도 25는, 실시형태 1의 도 2에 상당하는 냉장고의 단면도이다. 그리고, 도 26은 냉장고 시스템의 구성을 나타내는 블럭도이다.
이하, 이 실시형태 2에 따른 냉장고 시스템에 대해서, 실시형태 1과의 상위점을 중심으로 설명한다. 설명을 생략한 구성에 대해서는 실시형태 1과 기본적으로 마찬가지이다.
이 실시형태에 따른 냉장고 시스템은, 도 25 및 도 26에 나타내는 바와 같이, 수납량 검출 장치(35), 풍량 변경 장치(41) 및 선반 이동 장치(42)를 구비하고 있다. 수납량 검출 장치(35)는, 재고 관리 장치(34)가 기억하는 선반 특정 정보와 개개의 식품의 화상에 기초하여, 각각의 선반마다에 대해, 식품의 수납량 및 식품의 최대 높이를 검출한다. 여기에서, 식품의 최대 높이란, 1개의 선반에 수납되어 있는 식품의 각각의 높이 중에서 최대인 것을 가리키고 있다.
수납량 검출 장치(35)는, 예를 들면, 재고 관리 장치(34)가 기억하는 식품 화상으로부터, 식품의 위치, 크기, 수 등을 검출한다. 그리고, 이들의 정보로부터, 각각의 선반마다, 식품의 수납량 및 식품의 최대 높이를 구한다. 이때, 전술한 제 1 시점 및 제 2 시점의 복수 시점에서 촬영된 화상도 병용함으로써, 보다 정확하게 식품의 최대 높이 등을 검출할 수 있다.
냉장실(100) 내의 배면부에는, 도시하지 않은 냉각 공기의 분출구가 형성되어 있다. 분출구는, 각 선반에 냉각 공기가 널리 퍼지도록, 각각의 선반에 대응해서 배치되어 있다. 풍량 변경 장치(41)는, 예를 들면, 각각의 선반에 대응하는 분출구에 마련된 댐퍼이다. 풍량 변경 장치(41)의 댐퍼의 개방도를 변경함으로써, 각각의 선반에 공급하는 냉각 공기의 풍량을 개별적으로 조절 가능하다.
풍량 변경 장치(41)는, 수납량 검출 장치(35)에 의해 검출된 각각의 선반마다의 식품의 수납량에 따라, 각각의 선반에 공급하는 냉각 공기의 풍량을 변경한다. 이와 같이 함으로써, 각각의 선반의 수납량에 대응한 풍량 밸런스를 실현할 수 있다. 이 때문에, 냉장실(100)의 전체적으로의 냉각 효율을 향상시켜, 소비 에너지량의 삭감을 도모할 수 있다.
선반 이동 장치(42)는, 냉장실(100) 내의 각 선반을 구성하는 냉장실 선반(102)의 각각을, 상하 방향으로 이동시킨다. 구체적으로 예를 들면, 선반 이동 장치(42)는, 랙 앤드 피니언 기구에 의해, 냉장실 선반(102)을 상하로 이동시킨다.
선반 이동 장치(42)는, 수납량 검출 장치(35)에 의해 검출된 각각의 선반마다의 식품의 수납량 및 식품의 최대 높이에 따라, 각각의 선반의 상하 방향의 위치를 변경한다. 구체적으로 예를 들면, 선반 이동 장치(42)는, 각각의 선반마다의 식품의 수납량에 따라, 수납량이 많은 선반의 공간이 넓어지도록, 선반의 간격 등을 조절한다. 이때, 선반 이동 장치(42)는, 각각의 선반의 공간의 높이가, 당해 선반의 식품의 최대 높이를 하회하는 경우가 없도록, 필요에 따라서 복수의 냉장실 선반(102)의 위치를 동시에 이동시킨다. 이와 같이 함으로써, 각각의 선반의 수납량에 따른 공간을 확보할 수 있으므로, 냉각 효율을 향상시킬 수 있다. 이때, 복수 시점(視點)에서 촬영한 식품 화상에 의해 삼차원적으로 식품의 형상 등을 파악할 수 있기 때문에, 냉장실 선반(102)과 식품의 접촉을 확실히 회피할 수 있다.
이상과 같이 구성된 냉장고 시스템도, 실시형태 1과 마찬가지의 효과를 발휘할 수 있다. 또, 전술한 제 1 시점 및 제 2 시점에서 촬영된 저장실 내의 화상을 활용하여, 각각의 선반의 수납량을 검출함으로써, 보다 정밀도 좋게 각각의 선반의 수납량을 검출할 수 있다.
한편, 카메라(2)를 적외선 카메라로 해서, 열화상을 취득할 수 있도록 해도 된다. 취득한 열화상을 이용하여, 각각의 선반마다에 대해, 수납되어 있는 식품의 냉각 부하를 구할 수 있다. 그리고, 선반마다의 냉각 부하에 따라, 선반 이동 장치(42)에 의해 냉장실 선반(102)을 이동시키거나, 풍량 변경 장치(41)에 의해 각 선반의 풍량을 변경하거나 함으로써, 냉장실(100) 내의 식품을 더 효율적으로 냉각할 수 있다.
이 발명은, 저장실 내의 화상을 촬영하는 카메라를 구비하고, 저장실 내의 화상을 냉장고의 외부에 송신하는 냉장고 시스템에 이용할 수 있다.
1: 조작 패널
1a: 패널 표시부
2: 카메라
3: 화상 서버
7: 라우터 장치
8: 인터넷
10: 단말 장치
20: 카메라 이동 장치
21: 스텝 모터
22: 웜 기어
23: 피니언
24: 랙
25: 가이드부
26: 웜 휠
27: 이송 나사
28: 카메라 지지부
29: 홈부
30: 식품
31: 통신 장치
32: 화상 처리 장치
33: 변화 검출 장치
34: 재고 관리 장치
35: 수납량 검출 장치
41: 풍량 변경 장치
42: 선반 이동 장치
90: 외부 서버
91: 식품 정보 기억부
100: 냉장실
101: 냉장실 문
102: 냉장실 선반
103: 선반 지지부
104: 도어 포켓
110: 칠드실
111: 칠드 케이스
200: 제빙실
300: 전환실
400: 냉동실
500: 야채실
1000: 냉장고 본체
1001: 제어 기판

Claims (16)

  1. 식품을 수납하는 저장실이 형성된 본체와,
    상기 저장실 내에 마련되어, 상기 식품이 탑재되는 1 이상의 선반과,
    상기 저장실의 일측을 개폐하는 문과,
    상기 문의 내측의 면에 마련되어, 상기 저장실 내의 화상을 촬영하는 카메라와,
    상기 카메라를 적어도 상하 방향으로 이동시키는 카메라 이동 장치와,
    상기 카메라가 촬영한 화상을 상기 본체의 외부에 송신하는 통신 장치와,
    상기 통신 장치가 상기 본체의 외부에 송신한 화상을 표시 가능한 단말 장치와,
    상기 카메라가 촬영한 화상에 기초하여, 상기 선반의 각각에 대한 식품 수납 상태의 변화를 검출하는 변화 검출 장치를 구비하고,
    상기 카메라는, 상기 선반의 각각에 대해, 제 1 시점(視點)과 상기 제 1 시점과는 상이한 1 이상의 제 2 시점(視點)에서 촬영하고,
    상기 변화 검출 장치는, 상기 제 1 시점에서 촬영된 화상에 기초하여, 각각의 상기 선반의 식품 수납 상태의 변화를 검출하고,
    상기 통신 장치는, 식품 수납 상태의 변화를 상기 변화 검출 장치가 검출한 상기 선반에 대해서, 상기 제 1 시점에서 촬영된 화상과 상기 제 2 시점에서 촬영된 화상의 양쪽을 상기 본체의 외부에 송신하는 냉장고 시스템.
  2. 제 1 항에 있어서,
    상기 단말 장치는, 상기 제 1 시점에서 촬영된 화상 및 1 이상의 상기 제 2 시점에서 촬영된 화상 중 어떤 것을 표시할지 변경 가능한 냉장고 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 단말 장치는, 식품 수납 상태의 변화를 상기 변화 검출 장치가 검출한 상기 선반의 화상을 우선적으로 표시하는 냉장고 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    각각의 상기 선반마다, 상기 카메라가 촬영한 화상의 밝기 및 왜곡의 한쪽 또는 양쪽을 보정한 후, 합성하여 상기 저장실의 전체 화상을 생성하는 화상 처리 장치를 더 구비한 냉장고 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 카메라가 촬영한 화상으로부터 개개의 상기 식품의 화상을 추출하고, 추출한 상기 식품의 화상을, 당해 식품이 놓여진 상기 선반을 고유하게 특정하는 선반 특정 정보와 대응지어 기억하는 재고 관리 장치를 더 구비한 냉장고 시스템.
  6. 제 5 항에 있어서,
    상기 재고 관리 장치는, 식품 수납 상태의 변화를 상기 변화 검출 장치가 검출한 상기 선반에 대해서, 상기 제 1 시점에서 촬영된 화상으로부터 개개의 상기 식품의 화상을 추출하고, 추출한 개개의 상기 식품의 화상에 대해서, 입출고의 유무를 판정하는 냉장고 시스템.
  7. 제 6 항에 있어서,
    상기 재고 관리 장치는, 상기 식품의 종류에, 당해 식품의 형상, 크기, 색 및 외장 라벨 중 적어도 어느 하나를 대응지어 미리 기억함과 더불어, 당해 기억한 정보를 참조하여, 상기 제 1 시점에서 촬영된 화상으로부터 상기 저장실 내의 개개의 상기 식품의 종류 및 양을 판정하는 냉장고 시스템.
  8. 제 6 항에 있어서,
    상기 통신 장치와 통신 가능하게 마련된 외부 서버를 더 구비하고,
    상기 외부 서버는, 상기 식품의 종류에, 당해 식품의 형상, 크기, 색 및 외장 라벨 중 적어도 어느 하나를 대응지어 미리 기억하고,
    상기 재고 관리 장치는, 상기 외부 서버에 기억된 정보를 참조하여, 상기 제 1 시점에서 촬영된 화상으로부터 상기 저장실 내의 개개의 상기 식품의 종류 및 양을 판정하는 냉장고 시스템.
  9. 제 5 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 통신 장치는, 상기 저장실로의 입출고가 있었다고 상기 재고 관리 장치가 판정한 경우, 그 취지를 상기 단말 장치에 통지하는 냉장고 시스템.
  10. 제 5 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 단말 장치는, 입출고가 있던 상기 식품의 화상과, 입출고의 구별과, 상기 선반 특정 정보를, 시계열로 표시 가능한 냉장고 시스템.
  11. 제 5 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 단말 장치는, 입출고가 있던 상기 식품의 화상과, 입출고의 구별과, 상기 선반 특정 정보를, 입고와 출고로 나누어 표시 가능한 냉장고 시스템.
  12. 제 5 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 단말 장치는, 각각의 상기 선반마다 나누어 수납되어 있는 상기 식품의 화상을 표시 가능한 냉장고 시스템.
  13. 제 5 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 재고 관리 장치가 기억하는 상기 선반 특정 정보와 개개의 상기 식품의 화상에 기초하여, 각각의 상기 선반마다에 대해, 상기 식품의 수납량 및 상기 식품의 최대 높이를 검출하는 수납량 검출 장치를 더 구비한 냉장고 시스템.
  14. 제 13 항에 있어서,
    각각의 상기 선반마다의 상기 식품의 수납량 및 상기 식품의 최대 높이에 따라, 각각의 상기 선반의 상하 방향의 위치를 변경하는 선반 이동 장치를 더 구비한 냉장고 시스템.
  15. 제 13 항 또는 제 14 항에 있어서,
    각각의 상기 선반마다의 상기 식품의 수납량에 따라, 각각의 상기 선반에 공급하는 냉각 공기의 풍량을 변경하는 풍량 변경 장치를 더 구비한 냉장고 시스템.
  16. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 카메라 이동 장치는, 상기 카메라를 수평 방향으로도 이동 가능한 냉장고 시스템.
KR1020207033450A 2018-05-31 2018-05-31 냉장고 및 냉장고 시스템 KR102569605B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/021019 WO2019229949A1 (ja) 2018-05-31 2018-05-31 冷蔵庫システム

Publications (2)

Publication Number Publication Date
KR20210002590A true KR20210002590A (ko) 2021-01-08
KR102569605B1 KR102569605B1 (ko) 2023-08-22

Family

ID=68697900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207033450A KR102569605B1 (ko) 2018-05-31 2018-05-31 냉장고 및 냉장고 시스템

Country Status (6)

Country Link
US (1) US11852405B2 (ko)
EP (1) EP3805673A4 (ko)
JP (1) JP6892014B2 (ko)
KR (1) KR102569605B1 (ko)
CN (1) CN112136014B (ko)
WO (1) WO2019229949A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102619657B1 (ko) * 2018-06-15 2023-12-29 삼성전자주식회사 냉장고와 서버 및 서버의 제어 방법
US11690564B2 (en) 2019-11-22 2023-07-04 MyFitnessPal, Inc. Training plans and workout coaching for activity tracking system
CN114484982B (zh) * 2020-11-12 2024-05-03 海信冰箱有限公司 冰箱及冰箱内的图像处理方法
CN112984950A (zh) * 2021-03-16 2021-06-18 长虹美菱股份有限公司 一种冰箱内搁架的提醒控制方法
CN114877611B (zh) * 2021-03-31 2023-09-29 青岛海尔电冰箱有限公司 提高图像识别准确率的方法、设备及冰箱
CN114885090A (zh) * 2021-04-27 2022-08-09 青岛海尔电冰箱有限公司 冰箱内图像获取方法、冰箱及计算机存储介质
US20240056555A1 (en) * 2022-08-12 2024-02-15 Haier Us Appliance Solutions, Inc. Adjustable camera assembly in a refrigerator appliance

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003083669A (ja) * 2001-09-06 2003-03-19 Nippon Telegr & Teleph Corp <Ntt> 情報家電、食品情報取得システムおよび食品情報取得方法
JP2012007769A (ja) * 2010-06-23 2012-01-12 Panasonic Corp 冷蔵庫
JP2015222138A (ja) * 2014-05-22 2015-12-10 三菱電機株式会社 冷蔵庫及びネットワークシステム
JP2016148503A (ja) 2015-02-05 2016-08-18 日本電産コパル株式会社 冷蔵庫、冷蔵庫管理方法及びプログラム
JP2016183826A (ja) * 2015-03-26 2016-10-20 日本電産コパル株式会社 撮像ユニット及び冷蔵庫
KR20170058581A (ko) * 2015-11-19 2017-05-29 자이로캠주식회사 모바일 메신저로 조회 및 물품 주문 기능을 갖는 냉장고 보관 재료 관리용 디바이스 및 물품 주문 방법과 서비스
JP2017106671A (ja) * 2015-12-10 2017-06-15 三菱電機株式会社 冷蔵庫、冷蔵庫内画像管理システムおよびプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5199778A (en) * 1990-01-19 1993-04-06 Matsushita Refrigeration Company Shelf apparatus for a refrigerator
US20140214547A1 (en) * 2013-01-25 2014-07-31 R4 Technologies, Llc Systems and methods for augmented retail reality
US20140246554A1 (en) * 2013-03-01 2014-09-04 Diane V. Forbus Inclined bottle holding device
US9412086B2 (en) * 2013-03-07 2016-08-09 Bradd A. Morse Apparatus and method for customized product data management
JP6167288B2 (ja) 2013-03-29 2017-07-26 パナソニックＩｐマネジメント株式会社 冷蔵庫
WO2014168265A1 (ko) 2013-04-10 2014-10-16 엘지전자 주식회사 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
DE102013211097A1 (de) 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerät mit einem Kameramodul
US20150002660A1 (en) * 2013-06-28 2015-01-01 Lg Electronics Inc. Electric product
CN103927755A (zh) * 2014-04-23 2014-07-16 东莞市天勤仪器有限公司 多景深图像处理方法
US20160203591A1 (en) * 2015-01-09 2016-07-14 Umm Al-Qura University System and process for monitoring the quality of food in a refrigerator
JP2016196981A (ja) * 2015-04-03 2016-11-24 三菱電機株式会社 庫内管理システムおよび庫内管理方法
JP6570898B2 (ja) * 2015-06-30 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 食材位置提示方法及び冷蔵庫
US10474987B2 (en) * 2015-08-05 2019-11-12 Whirlpool Corporation Object recognition system for an appliance and method for managing household inventory of consumables
JP6324360B2 (ja) * 2015-11-04 2018-05-16 三菱電機株式会社 冷蔵庫及びそれを含むネットワークシステム
US9784497B2 (en) * 2016-02-03 2017-10-10 Multimedia Image Solution Limited Smart refrigerator
CN105928310A (zh) * 2016-06-12 2016-09-07 南京航空航天大学 一种用于智能冰箱内检测食物重量和新鲜度的称重***及其工作方法
US20190005565A1 (en) * 2016-07-22 2019-01-03 Faraday&Future Inc. Method and system for stock-based vehicle navigation
WO2018020541A1 (ja) * 2016-07-25 2018-02-01 三菱電機株式会社 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム
US11016634B2 (en) * 2016-09-01 2021-05-25 Samsung Electronics Co., Ltd. Refrigerator storage system having a display
CN107270627A (zh) * 2017-07-30 2017-10-20 张亚平 智慧节能电冰箱
US20190205821A1 (en) * 2018-01-03 2019-07-04 International Business Machines Corporation Automated identification, status monitoring and notification of stored items
US11283872B1 (en) * 2018-03-12 2022-03-22 United Services Automobile Association Media triggered device control
US11353259B2 (en) * 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof
KR102551358B1 (ko) * 2018-09-21 2023-07-04 삼성전자주식회사 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템
KR20210053097A (ko) * 2019-11-01 2021-05-11 삼성전자주식회사 냉장고 및 이의 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003083669A (ja) * 2001-09-06 2003-03-19 Nippon Telegr & Teleph Corp <Ntt> 情報家電、食品情報取得システムおよび食品情報取得方法
JP2012007769A (ja) * 2010-06-23 2012-01-12 Panasonic Corp 冷蔵庫
JP2015222138A (ja) * 2014-05-22 2015-12-10 三菱電機株式会社 冷蔵庫及びネットワークシステム
JP2016148503A (ja) 2015-02-05 2016-08-18 日本電産コパル株式会社 冷蔵庫、冷蔵庫管理方法及びプログラム
JP2016183826A (ja) * 2015-03-26 2016-10-20 日本電産コパル株式会社 撮像ユニット及び冷蔵庫
KR20170058581A (ko) * 2015-11-19 2017-05-29 자이로캠주식회사 모바일 메신저로 조회 및 물품 주문 기능을 갖는 냉장고 보관 재료 관리용 디바이스 및 물품 주문 방법과 서비스
JP2017106671A (ja) * 2015-12-10 2017-06-15 三菱電機株式会社 冷蔵庫、冷蔵庫内画像管理システムおよびプログラム

Also Published As

Publication number Publication date
JP6892014B2 (ja) 2021-06-18
EP3805673A1 (en) 2021-04-14
KR102569605B1 (ko) 2023-08-22
US20210041159A1 (en) 2021-02-11
CN112136014B (zh) 2022-04-19
CN112136014A (zh) 2020-12-25
EP3805673A4 (en) 2021-06-23
WO2019229949A1 (ja) 2019-12-05
US11852405B2 (en) 2023-12-26
JPWO2019229949A1 (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
JP7092794B2 (ja) 冷蔵庫及び冷蔵庫システム
KR102569605B1 (ko) 냉장고 및 냉장고 시스템
JP7040193B2 (ja) 冷蔵庫システム
US10036587B2 (en) Refrigerator with camera and control method for the same
US9920979B2 (en) Refrigerator and control method for the same
JP2021050909A (ja) 通知方法、システム
JP6323279B2 (ja) 保冷保温庫、及び、その管理システム
JP2015068525A (ja) 冷蔵庫
JP7139709B2 (ja) 冷蔵庫
EP2843336A1 (en) Refrigerator and refrigerator system for monitoring food
JP7263914B2 (ja) 冷蔵庫
CN114484982B (zh) 冰箱及冰箱内的图像处理方法
JP2020128854A (ja) 冷蔵庫

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2023101000248; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20230203

Effective date: 20230515

GRNO Decision to grant (after opposition)
GRNT Written decision to grant