WO2018016054A1 - 冷蔵庫システム - Google Patents

冷蔵庫システム Download PDF

Info

Publication number
WO2018016054A1
WO2018016054A1 PCT/JP2016/071422 JP2016071422W WO2018016054A1 WO 2018016054 A1 WO2018016054 A1 WO 2018016054A1 JP 2016071422 W JP2016071422 W JP 2016071422W WO 2018016054 A1 WO2018016054 A1 WO 2018016054A1
Authority
WO
WIPO (PCT)
Prior art keywords
food information
unit
storage room
food
refrigerator
Prior art date
Application number
PCT/JP2016/071422
Other languages
English (en)
French (fr)
Inventor
毅 内田
永田　滋之
伊藤　敬
喬樹 八木澤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018528167A priority Critical patent/JP6642713B2/ja
Priority to DE112016007082.9T priority patent/DE112016007082T5/de
Priority to AU2016415984A priority patent/AU2016415984B2/en
Priority to KR1020187022588A priority patent/KR20180100636A/ko
Priority to PCT/JP2016/071422 priority patent/WO2018016054A1/ja
Priority to CN201680085906.5A priority patent/CN109477677A/zh
Priority to TW105130411A priority patent/TWI683986B/zh
Publication of WO2018016054A1 publication Critical patent/WO2018016054A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F25D23/028—Details
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/08—Sensors using Radio Frequency Identification [RFID]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Definitions

  • This invention relates to a refrigerator system.
  • a refrigerator main body constituted by an inner box and an outer box and having an open front surface, a storage room configured by partitioning the refrigerator main body, a heat insulating door covering the storage room, and a storage room or a heat insulating door
  • a camera that images the inside of the storage room, and is capable of confirming the food status in the refrigerator imaged by the camera using a display terminal or the like (see, for example, Patent Document 1).
  • a user can input memo information on an image by tracing on the image in the refrigerator output to the display terminal, and can reflect this.
  • the present invention has been made to solve such a problem, and information that cannot be understood only from the storage room image can be easily grasped together with the situation of the storage room, and information that cannot be understood only from the storage room image.
  • a refrigerator system can be obtained in which the user can easily perform input.
  • the refrigerator system includes a refrigerator body having a storage room for storing food, a camera for photographing the inside of the storage room and outputting a storage room image, a terminal display unit, and the refrigerator
  • a terminal device provided to be communicable with the main body, a storage room image storage unit that stores a storage room image output from the camera, and a food information storage unit that stores food information about food stored in the storage room;
  • the food information output unit includes a food information output unit that selects and outputs part or all of the food information stored in the food information storage unit, and a storage room image stored in the storage room image storage unit.
  • a food information adding unit for adding the output food information, and the terminal display unit displays the food information added by the food information adding unit on the storage room image.
  • FIG. 1 It is a figure which shows an example of the display screen of the terminal device with which the refrigerator system which concerns on Embodiment 1 of this invention is provided. It is a figure which shows an example of the display screen of the terminal device with which the refrigerator system which concerns on Embodiment 1 of this invention is provided. It is a flowchart which shows operation
  • FIG. 1 to 8 relate to Embodiment 1 of the present invention
  • FIG. 1 is a front view of a refrigerator provided in the refrigerator system
  • FIG. 2 is a schematic diagram showing the overall configuration of the refrigerator system and the refrigerator compartment.
  • FIGS. 3 to 7 are diagrams illustrating an example of a display screen of a terminal device included in the refrigerator system
  • FIG. 8 is a flowchart illustrating the operation of the refrigerator system.
  • the refrigerator system according to Embodiment 1 of the present invention includes a refrigerator 1000.
  • Refrigerator 1000 is a refrigerator body in the refrigerator system according to Embodiment 1 of the present invention.
  • the refrigerator 1000 includes a refrigerating room 100, an ice making room 200, a switching room 300, a freezing room 400, and a vegetable room 500.
  • the refrigerator compartment 100, the ice making room 200, the switching room 300, the freezing room 400, and the vegetable room 500 are storage rooms for storing food.
  • the refrigerator room 100, the ice making room 200, the switching room 300, the freezer room 400, and the vegetable room 500 are arranged in this order from the top.
  • the ice making chamber 200 and the switching chamber 300 are arranged side by side at the same vertical position.
  • a refrigerator compartment door 101 for opening and closing the refrigerator compartment 100 is provided on the front face of the refrigerator compartment 100.
  • the refrigerator compartment door 101 is an example of a door that opens and closes a storage compartment.
  • the ice making room 200, the switching room 300, the freezer room 400, and the vegetable room 500 are comprised so that it can pull out to the near side of the refrigerator 1000 with the door provided in each front.
  • An operation panel 1 is provided on the front surface, that is, the outer surface side of the refrigerator compartment door 101.
  • the operation panel 1 includes a panel display unit 1a.
  • the panel display unit 1a is a main body display unit capable of displaying information.
  • the panel display unit 1a can display, for example, in-chamber information such as the set temperature of each storage room and the current temperature.
  • the panel display unit 1a includes a liquid crystal display, for example.
  • the operation panel 1 includes operation units such as a touch panel, buttons, and switches. The user can input necessary information by operating the operation unit of the operation panel 1.
  • the installation position of the operation panel 1 is not restricted to the door of the refrigerator compartment 100, The door of another storeroom, the side surface of the refrigerator 1000, etc. may be sufficient.
  • the refrigerator compartment 100 has its front side (left side as viewed in the figure) closed by a refrigerator compartment door 101.
  • the cross-sectional view shown in FIG. 2 is taken along a cross-section A-A ′ in FIG.
  • a plurality of refrigerating room shelf plates 102 are provided inside the refrigerating room 100.
  • the inside of the refrigerator compartment 100 is partitioned into a plurality of spaces (shelves) in the vertical direction by these refrigerator compartment shelf plates 102.
  • the space below the lowermost refrigerator compartment shelf 102 is a chilled chamber 110.
  • a chilled case 111 is installed inside the chilled chamber 110.
  • the chilled case 111 can be pulled forward along a guide member (not shown) such as a rail.
  • a cooling air passage 1010 is formed on the rear side (right side in the drawing) of the refrigerator compartment 100.
  • the inside photographing device 2 is installed on the inner surface of the refrigerator compartment door 101.
  • the in-compartment photographing device 2 is a camera that photographs the inside of a storage room (here, the refrigerator compartment 100) and outputs a storage room image.
  • the in-compartment photographing apparatus 2 has a visual field range from the ceiling surface inside the refrigerator compartment 100 to the chilled room 110. In other words, the storage room image captured and output by the in-compartment photographing apparatus 2 can photograph the inside of the refrigerating room 100 from the same viewpoint as the user viewing the inside of the refrigerating room 100 from the refrigerating room door 101 side.
  • the inside photographing apparatus 2 photographs the inside of the refrigerator compartment 100 when the refrigerator compartment door 101 is opened and closed, for example. This is because when the refrigerator compartment door 101 is opened and closed, food in the refrigerator compartment 100 is taken in and out, and the storage state in the refrigerator compartment 100 may change.
  • the refrigerator 1000 includes a sensor that can detect opening and closing of the door. This sensor is, for example, a general magnet type sensor. That is, for example, the proximity of the magnet embedded in the refrigerator compartment door 101 is detected by a pair of reed switches installed on the refrigerator 1000 main body side. For example, the in-compartment photographing apparatus 2 performs photographing while the inside of the refrigerator compartment 100 is illuminated after detecting that the opened refrigerator compartment door 101 is closed.
  • the in-compartment photographing apparatus 2 is not limited to the inner surface of the refrigerator compartment door 101, and may be installed anywhere as long as it can photograph the stored items such as food placed on the refrigerator compartment shelf plate 102. Further, the number of in-compartment photographing apparatuses 2 is not limited to one, and a plurality of in-compartment photographing apparatuses 2 may be installed. By installing a plurality of in-compartment photographing apparatuses 2, it is possible to suppress blind spots caused by the visual field being blocked by food stored in the refrigerator compartment 100.
  • the refrigerator 1000 includes a control board 1001.
  • a control board 1001 is accommodated in the upper part of the refrigerator 1000, for example, on the back side.
  • the control board 1001 is provided with a control circuit and the like for performing various controls necessary for the operation of the refrigerator 1000.
  • the control board 1001 includes, for example, a microcomputer, and includes a processor and a memory.
  • the control board 1001 controls the refrigerator 1000 by executing a preset process when the processor executes a program stored in the memory.
  • the control board 1001 includes a storage room image management unit 3, a food information addition unit 4, and a wireless communication unit 5.
  • the functions of these units are realized, for example, by executing a preset process by the processor executing a program stored in the memory in the microcomputer of the control board 1001.
  • the storage room image management unit 3 is a storage room image storage unit that stores the storage room image output from the internal photographing apparatus 2. As described above, when opening / closing of the refrigerator compartment door 101 is detected, the in-compartment photographing apparatus 2 photographs the entire inside of the refrigerator compartment 100. The in-compartment imaging device 2 outputs the entire image (storage room image) in the refrigerated room 100 taken to the storage room image management unit 3. The storage room image output from the in-compartment photographing apparatus 2 is input to the storage room image management unit 3. Therefore, the storage room image management unit 3 outputs the storage room image management unit 3 from the in-chamber photographing device 2 every time the refrigerating room door 101 is opened and closed (that is, every time the storage state in the refrigerating room 100 may change). A storage room image is input. Thus, the latest storage room image is always input to the storage room image management unit 3.
  • the storage room image management unit 3 stores the input storage room image. At this time, the storage room image management unit 3 stores the time when the storage room image is input to the storage room image management unit 3 in association with the storage room image as shooting time information.
  • the photographing time information is also referred to as supplementary information of the storage room image.
  • the storage room image management unit 3 stores the storage room images in the order of the shooting time according to the shooting time information. In this way, the storage room image management unit 3 manages the storage room images photographed by the in-compartment photographing device 2.
  • the shooting time information includes information on the date (month or date) when the image was taken.
  • the refrigerator system according to Embodiment 1 of the present invention includes a user terminal 9.
  • the user terminal 9 is a terminal device provided to be able to communicate with the refrigerator 1000 (refrigerator main body).
  • the user terminal 9 is, for example, a PC, a smartphone, a tablet terminal, or the like.
  • the wireless communication unit 5 is provided in the refrigerator 1000.
  • the wireless communication unit 5 performs mutual communication of information between the refrigerator 1000 and the user terminal 9 using, for example, a well-known wireless communication technique.
  • the refrigerator 1000 and the user terminal 9 inside or outside the house can communicate with each other via one or both of a router and the Internet (not shown), for example.
  • One or more user terminals 9 are provided, and preferably a plurality of user terminals 9 are provided.
  • the user terminal 9 includes a user terminal display unit 9a.
  • the user terminal display unit 9a is a terminal display unit that can display information.
  • the user terminal display unit 9a includes, for example, a liquid crystal display.
  • the user terminal display unit 9a may be configured with a touch panel to display information and accept operations from the user. Below, the example which comprised the user terminal display part 9a with the touch panel is demonstrated.
  • the user terminal display unit 9a can display the storage room image stored in the storage room image management unit 3 (storage room image storage unit). That is, the storage room image stored in the storage room image management unit 3 is transmitted from the wireless communication unit 5 to the user terminal 9 via the food information addition unit 4 provided on the control board 1001.
  • the user terminal 9 that has received the storage room image displays the received storage room image on the user terminal display unit 9a.
  • FIG. 3A shows an example of a state in which the normal screen 21 is displayed on the user terminal display unit 9a.
  • a storage room image is displayed.
  • time information 23 is displayed at the bottom of the normal screen 21.
  • the time information 23 is information related to the time when the storage room image was taken.
  • the time information 23 is the photographing time information described above.
  • the shooting time information is managed by the storage room image management unit 3. For this reason, when displaying the time information 23 on the normal screen 21, when the storage room image is transmitted from the refrigerator 1000 to the user terminal 9, the photographing time information of the storage room image is also transmitted. That's fine.
  • the storage room image may be displayed retroactively by, for example, a swipe operation.
  • the user terminal 9 includes a food information output unit 6, a food information storage unit 7, and a food information editing unit 8.
  • the food information storage unit 7 stores food information.
  • the food information is information regarding food stored in the storage room (here, the refrigerator room 100).
  • the food information includes any one of stamp information, date information, and fixed phrase information.
  • Stamp information is information consisting of illustrations or symbols related to food.
  • Date information is information consisting of dates related to food.
  • the date information is, for example, information on one or more dates among the expiration date, the expiration date, the purchase date, and the cooking date of the food.
  • the fixed sentence information is information composed of sentences about food. Specific examples of texts related to foods that are standard text information include messages such as “Please eat this”, “Warm in the range”, “For going out”, “For storage”, etc. Conceivable.
  • the user terminal display unit 9a which is a terminal display unit, can display the food information stored in the food information storage unit 7. That is, the user terminal 9 can display the stamp information, date information, and fixed sentence information stored in the food information storage unit 7 on the user terminal display unit 9a.
  • the food information editing unit 8 is for editing the food information stored in the food information storage unit 7. That is, the user can edit the contents of the stamp information, date information, and fixed phrase information stored in the food information storage unit 7 by using the food information editing unit 8 of the user terminal 9.
  • the food information output unit 6 selects and outputs part or all of the food information stored in the food information storage unit 7.
  • the user terminal display unit 9 a can display the storage room image stored in the storage room image management unit 3 and the food information stored in the food information storage unit 7.
  • Information that the food information output unit 6 selects and outputs from the food information stored in the food information storage unit 7 while checking the storage room image and the food information displayed on the user terminal display unit 9a. Can be specified.
  • FIG. 4 shows an example of designating stamp information to be selected and output from the food information output unit 6 among the food information.
  • FIG. 4A shows an example of a state in which the stamp selection screen 27 is displayed on the user terminal display unit 9a. On the stamp selection screen 27, a stamp list 29 is displayed. In the stamp list 29, stamp information stored in the food information storage unit 7 is displayed as a list. The user can select and specify stamp information output from the food information output unit 6 from the stamp list 29.
  • stamp information displayed in the stamp list 29, that is, stamp information stored in the food information storage unit 7, can be added or deleted.
  • the stamp information can be added by, for example, registering a new stamp acquired by searching on the Internet, distribution from another user, or the like via the food information editing unit 8.
  • FIG. 4B shows an example of a state in which the stamp arrangement screen 28 is displayed on the user terminal display unit 9a.
  • a stamp arrangement screen 28 as shown in FIG. It is displayed on the display unit 9a.
  • a selection stamp 30 and a stamp determination button 31 are displayed with the storage room image as a background.
  • the selected stamp 30 is stamp information designated by the user from the stamp list 29.
  • the user can change the position where the selection stamp 30 is displayed on the stamp arrangement screen 28 and specify the display position of the selection stamp 30 with respect to the storage room image.
  • the display position of the selection stamp 30 may be specified by, for example, moving the selection stamp 30 by a drag operation and further reducing / enlarging it by a pinch-in / pin-out operation.
  • the stamp determination button 31 the designation of stamp information output from the food information output unit 6 and the display position of the stamp information can be determined.
  • FIG. 5 shows an example in which the fixed sentence information selected from the food information output unit 6 and output from the food information is designated.
  • FIG. 5A shows an example of a state in which the fixed sentence selection screen 32 is displayed on the user terminal display unit 9a.
  • a fixed sentence comment list 34 is displayed on the fixed sentence selection screen 32.
  • a fixed sentence comment list 34 is displayed.
  • fixed sentence information stored in the food information storage unit 7 is displayed as a list. The user can select and specify the fixed sentence information output from the food information output unit 6 from the fixed sentence comment list 34.
  • the fixed sentence information displayed in the fixed sentence comment list 34 that is, the fixed sentence information stored in the food information storage unit 7 can be added or deleted.
  • the fixed sentence information can be added by registering a fixed sentence created by the user operating the food information editing unit 8.
  • FIG. 5B shows an example of a state in which the fixed sentence arrangement screen 33 is displayed on the user terminal display unit 9a.
  • the fixed sentence arrangement screen 33 displays a selected fixed sentence comment 35 and a fixed sentence comment determination button 36 with the storage room image as a background.
  • the selected fixed phrase comment 35 is fixed phrase information specified by the user from the fixed phrase comment list 34.
  • the user can change the position where the selected fixed sentence comment 35 is displayed on the fixed sentence arrangement screen 33 and specify the display position of the selected fixed sentence comment 35 with respect to the storage room image.
  • the designation of the display position of the selected fixed phrase comment 35 may be performed, for example, by moving the selected fixed sentence comment 35 by a drag operation. Then, when the user operates the fixed sentence comment determination button 36, it is possible to determine the fixed sentence information output from the food information output unit 6 and the display position of the fixed sentence information.
  • FIG. 6 shows an example in which the user edits the fixed sentence information by the food information editing unit 8.
  • A of FIG. 6 has shown an example of the state which displayed the fixed phrase edit screen 37 on the user terminal display part 9a.
  • a fixed sentence edit input pad 39 is displayed on the fixed sentence edit screen 37.
  • the fixed phrase information can be edited by the food information editing unit 8 in the user terminal 9 and frequently used information can be stored in the food information storage unit 7 in advance. Moreover, it is also possible to edit based on the contents of the selected fixed phrase comment 35 specified through the screens shown in FIGS.
  • the editing start operation of the selected fixed sentence comment 35 is performed in (b) of FIG. 5 (for example, double tap of the selected fixed sentence comment 35, etc.)
  • the fixed sentence editing screen 37 of (a) of FIG. 6 is displayed. .
  • the user can perform editing such as adding additional explanation based on the contents of the selected fixed sentence comment 35 by operating the standard sentence editing input pad 39.
  • the edited sentence display screen 38 shown in FIG. 6B is displayed on the user terminal display unit 9a.
  • an edited comment 40 is displayed on the edited sentence display screen 38.
  • FIG. 7 shows an example of designating date information to be selected and output from the food information output unit 6 among the food information.
  • FIG. 7A shows an example of a state in which the date input screen 41 is displayed on the user terminal display unit 9a. On the date input screen 41, a date type selection column 43 and a date selection column 44 are displayed. In the date type selection field 43, the types of dates stored as date information in the food information storage unit 7 are displayed as a list. The user can select and specify the type of date information output by the food information output unit 6 from the date type selection column 43.
  • the date type selection column 43 displays the expiration date, date of creation (cooking date), and date of purchase (purchase date). Then, the user can select a specific date of the type of date selected in the date type selection field 43 by using the date selection field 44.
  • date information displayed in the date type selection column 43 that is, the date information stored in the food information storage unit 7 can be added or deleted.
  • the user can operate the food information editing unit 8 to add the expiration date, the scheduled disposal date, etc. as a new date type.
  • FIG. 7B shows an example of a state in which the date arrangement screen 42 is displayed on the user terminal display unit 9a.
  • a date arrangement screen 42 as shown in FIG. 7B is displayed on the user terminal. It is displayed on the part 9a.
  • a selection date balloon 45 and a date balloon determination button 46 are displayed with the storage room image as a background.
  • the selection date balloon 45 is date information designated by the user from the date type selection column 43 and the date selection column 44.
  • the user can change the position where the selection date balloon 45 is displayed on the date arrangement screen 42 and specify the display position of the selection date balloon 45 with respect to the storage room image.
  • the designation of the display position of the selection date balloon 45 may be performed, for example, by moving the selection date balloon 45 by a drag operation.
  • the date balloon determination button 46 When the user operates the date balloon determination button 46, the designation of date information output from the food information output unit 6 and the display position of the date information can be determined.
  • the food information output unit 6 selects and outputs part or all of the food information stored in the food information storage unit 7.
  • the food information output by the food information output unit 6 is transmitted from the user terminal 9 to the refrigerator 1000.
  • the food information transmitted to the refrigerator 1000 is received by the wireless communication unit 5.
  • the food information addition unit 4 provided on the control board 1001 of the refrigerator 1000 adds the food information received by the wireless communication unit 5 to the storage room image stored in the storage room image management unit 3.
  • the food information received by the wireless communication unit 5 is food information output by the food information output unit 6 selecting and outputting part or all of the food information stored in the food information storage unit 7. Therefore, the food information adding unit 4 adds the food information output by the food information output unit 6 to the storage room image stored in the storage room image management unit 3.
  • the storage room image management unit 3 stores the shooting time information of the storage room image as incidental information of the storage room image together with the storage room image.
  • the food information adding unit 4 may add incidental information (shooting time information) of the storage room image to the storage room image in addition to the food information output from the food information output unit 6.
  • the storage room image to which the food information is added by the food information adding unit 4 is transmitted to the user terminal 9 by the wireless communication unit 5.
  • the user terminal 9 that has received the storage room image with the food information added displays the received storage room image on the user terminal display unit 9a.
  • the food information added to the received storage room image is displayed on the user terminal display unit 9a so as to be superimposed on the storage room image. That is, the user terminal display unit 9a, which is a terminal display unit, displays the food information added by the food information addition unit 4 in a superimposed manner on the storage room image.
  • FIG. 3B shows an example of a state in which the information addition screen 22 is displayed on the user terminal display unit 9a.
  • the information addition screen 22 is a screen on which the food information added by the food information addition unit 4 is displayed superimposed on the storage room image.
  • the present stamp 24a and the skull stamp 24b are displayed superimposed on the storage room image.
  • the present stamp 24a and the skull stamp 24b are collectively referred to as a stamp 24.
  • These stamps 24 are examples of stamp information added by the food information adding unit 4.
  • the present stamp 24a can be used, for example, to convey to the husband that the wife returns late that the present is a dessert prepared as a present.
  • the skull stamp 24b can be used, for example, to make it easier to visually recognize that the food has a near expiration date.
  • the transmission fixed sentence comment 25a and the warning fixed sentence comment 25b are displayed superimposed on the storage room image.
  • the fixed message comment 25a and the warning message comment 25b are collectively referred to as a fixed message comment 25.
  • These fixed sentence comments 25 are an example of fixed sentence information added by the food information adding unit 4.
  • These fixed sentence comments 25 can use the meaning of each stamp 24, for example, to supplement the meaning of those stamps.
  • the expiration date balloon 26a and the cooking date balloon 26b are displayed superimposed on the storage room image.
  • the expiration date balloon 26a and the cooking date balloon 26b are collectively referred to as the date balloon 26.
  • These date balloons 26 are examples of date information added by the food information adding unit 4.
  • the food information output unit 6 selects and outputs part or all of the food information stored in the food information storage unit 7, and the food information output by the food information output unit 6 is displayed on the user terminal.
  • the image is superimposed on the storage room image stored in the storage room image management unit 3 and displayed as a stamp 24, a fixed phrase comment 25, and a date balloon 26.
  • the user terminal display unit 9a of the plurality of user terminals 9 has a stamp 24, a fixed phrase comment 25, and a date balloon superimposed on the storage room image. 26 is displayed.
  • the information addition screen 22 of FIG. 3B on which the storage room image to which the food information about the stored food is added, which cannot be understood only by looking at the normal screen 21 of FIG. It can be shared among multiple users. That is, the plurality of users can easily grasp the food information that cannot be understood only from the storage room image together with the state of the storage room. Further, by providing the food information output unit 6 that selects and outputs part or all of the food information stored in the food information storage unit 7, the user designates the food information output by the food information output unit 6. This makes it possible to input food information that cannot be understood from only the storage room image, and the user can easily input the food information.
  • the purchase date and cooking date of food that only the stored person knows can be known to multiple users.
  • the deadline can be estimated.
  • the storage room image and the food information can be provided to a limited third party other than the owner of the refrigerator 1000, the stock status can be shared among a plurality of users and used as a communication tool.
  • the wireless communication unit 5 transmits not only the user terminal 9 but also the operation panel 1 to the storage room image to which the food information is added by the food information adding unit 4.
  • the operation panel 1 that has received the storage room image to which the food information is added displays the received storage room image on the panel display unit 1a.
  • the food information added to the received storage room image is displayed superimposed on the storage room image. That is, the panel display unit 1a as the main body display unit can also display the food information added by the food information addition unit 4 on the storage room image in the same manner as the user terminal display unit 9a as the terminal display unit. .
  • step S11 when the refrigerator door 101 is opened and closed by the user, the above-described sensor detects the opening and closing of the refrigerator door 101, and the process proceeds from step S11 to step S12.
  • step S12 the in-compartment photographing apparatus 2 photographs the inside of the refrigerator compartment 100 that is a storage room.
  • the photographed image inside the refrigerator compartment 100 is transmitted to the storage room image management unit 3 as a storage room image.
  • the storage room image management unit 3 stores and stores the storage room image taken by the in-compartment photographing apparatus 2 together with the accompanying information (photographing time information).
  • the storage room image management unit 3 transmits the storage room image captured by the in-compartment photographing apparatus 2 and the incidental information (photographing time information) of the storage room image to the food information addition unit 4. To do.
  • step S15 the process proceeds to step S16.
  • step S ⁇ b> 16 the food information adding unit 4 checks whether or not the food information output from the food information output unit 6 exists. When the food information output from the food information output part 6 exists, it progresses to step S17. In step S ⁇ b> 17, the food information adding unit 4 superimposes and stores the food information output from the food information output unit 6 on the storage room image transmitted from the storage room image management unit 3.
  • step S17 the process proceeds to step S18.
  • the food information adding unit 4 transmits the storage room image to the operation panel 1 and the user terminal 9. This transmission is performed via the wireless communication unit 5.
  • the storage room image transmitted in step S18 is a storage room image in which the food information is superimposed in step S17 when step S17 is performed.
  • step S17 is not passed, the storage room image transmitted in step S18 is the storage room image transmitted by the storage room image management unit 3 in step S15.
  • step S19 panel display unit 1a displays the storage room image transmitted in step S18.
  • the user terminal display unit 9a also displays the storage room image transmitted in step S18.
  • the in-compartment photographing apparatus 2 is provided in the refrigerator compartment 100, but may be provided in a storage room other than the refrigerator compartment 100. Moreover, you may install the internal imaging device 2 in a some storage room simultaneously.
  • the vegetable room 500 is a storage room in which vegetables that are easily deteriorated are stored while it is relatively difficult to grasp the state of the inside of the cabinet. Therefore, the storage state can be shared among a plurality of users by installing the in-chamber photographing device 2 in the vegetable room 500, and the plurality of users confirm the storage state to grasp and discard the expiration date of the vegetables. The possibility can be reduced.
  • the in-chamber photographing device 2 in the freezer compartment 400 it is possible to grasp the storage status of frozen meat, rice, etc., which is the main meal, and to purchase frozen foods that must be stored when purchased. The amount can be judged.
  • FIG. FIG. 9 relates to Embodiment 2 of the present invention, and is a diagram schematically showing the overall configuration of the refrigerator system and the configuration of the refrigerator compartment of the refrigerator.
  • the food information output unit, the food information storage unit, and the food information editing unit provided in the terminal device in the configuration of the first embodiment described above are provided in the refrigerator main body. It is.
  • the refrigerator system according to the second embodiment will be described with a focus on differences from the first embodiment.
  • the operation panel 1 of the refrigerator 1000 includes a food information output unit 6, a food information storage unit 7, and a food information editing unit 8 as shown in FIG.
  • the configurations, functions, and the like of the food information output unit 6, the food information storage unit 7, and the food information editing unit 8 are basically the same as those in the first embodiment.
  • the food information output unit 6 is provided in the user terminal 9.
  • the food information selected and output by the food information output unit 6 from the food information stored in the food information storage unit 7 is transmitted from the user terminal 9 to the wireless communication unit 5 of the refrigerator 1000, and wireless communication is performed.
  • the food information received by the unit 5 was input to the food information adding unit 4.
  • the food information output unit 6 is provided on the operation panel 1 of the refrigerator 1000. For this reason, the food information selected and output by the food information output unit 6 is directly input to the food information adding unit 4 without using the wireless communication unit 5.
  • the panel display part 1a which is a main body display is memorize
  • FIG. Food information can be displayed. That is, the panel display unit 1 a displays the normal screen 21, the information addition screen 22, the stamp selection screen 27, the stamp arrangement screen 28, the fixed sentence selection screen 32, the fixed form, which are displayed on the user terminal display unit 9 a in the first embodiment.
  • Each of a sentence arrangement screen 33, a fixed sentence editing screen 37, an edited sentence display screen 38, a date input screen 41 and a date arrangement screen 42 can be displayed.
  • the user confirms the food information stored in the food information storage unit 7 displayed on the panel display unit 1a and the storage room image, while checking the food information stored in the food information storage unit 7 from the food information.
  • the information output unit 6 can select and output information to be selected. Further, the user can edit the food information by the food information editing unit 8 by operating the operation panel 1.
  • Other configurations and operations are the same as those in the first embodiment, and detailed description thereof is omitted.
  • the food information storage unit 7 and the food information output unit 6 have the same effects as those of the first embodiment. Since it is provided in the main body (refrigerator 1000), the food information output by the food information output unit 6 can be input to the food information adding unit 4 without going through the wireless communication unit 5. Therefore, the communication load in the wireless communication unit 5 can be reduced, and communication between the wireless communication unit 5 and each user terminal 9 can be performed smoothly even if the number of user terminals 9 increases.
  • the food information storage unit 7 that constitutes a food information database that may have a large capacity on the main body side of the refrigerator 1000, it is possible to reduce the storage data capacity required for the plurality of user terminals 9. it can. Furthermore, since it is possible to specify the food information to be selected and output by the food information output unit 6 only from the operation panel 1 of the refrigerator 1000, the food information added by the food information adding unit 4 to the storage room image is centralized. It is possible to manage.
  • FIG. FIG. 10 relates to Embodiment 3 of the present invention, and is a diagram schematically showing the overall configuration of the refrigerator system and the configuration of the refrigerator compartment of the refrigerator.
  • Embodiment 3 described here is such that, in the configuration of Embodiment 1 described above, a server device is provided separately from the refrigerator main body and the terminal device, and a food information storage unit is provided in the server device.
  • a server device is provided separately from the refrigerator main body and the terminal device, and a food information storage unit is provided in the server device.
  • the refrigerator system according to the third embodiment will be described focusing on differences from the first embodiment.
  • the refrigerator system according to the third embodiment includes a cloud server 11.
  • the cloud server 11 is provided to be able to communicate with a user terminal 9 that is a terminal device via, for example, the Internet 10 that is a communication network.
  • a cloud server 11 including a plurality of servers (server group) connected to the Internet 10 is used as the server device is illustrated.
  • the server device is not limited to the cloud server 11 and may be a single server.
  • the cloud server 11 includes a food information storage unit 7 and a personal authentication unit 12.
  • the configuration, function, and the like of the food information storage unit 7 are basically the same as those in the first embodiment.
  • the personal authentication unit 12 authenticates whether the user terminal 9 has the authority to connect to the refrigerator 1000. That is, the personal authentication unit 12 of the cloud server 11 stores in advance the terminal device ID of the user terminal 9 that has the authority to connect to the refrigerator 1000 with respect to the ID of the refrigerator 1000.
  • the ID of the refrigerator 1000 is information that can uniquely identify a plurality of refrigerators 1000 connected to the Internet 10.
  • the terminal device ID is information that can uniquely identify a plurality of user terminals 9 connected to the Internet 10.
  • the personal authentication unit 3003 confirms whether or not the portable terminal ID of the user terminal 9 is stored as having authority to connect to the refrigerator 1000 with respect to the refrigerator 1000 of the refrigerator 1000, thereby About 9, the presence or absence of the connection authority to the refrigerator 1000 is authenticated.
  • the cloud server 11 permits the user terminal 9 that has been authenticated by the personal authentication unit 12 to have the authority to connect to the refrigerator 1000 to connect to the refrigerator 1000 via the Internet 10 or the wireless communication unit 5. That is, the cloud server 11 restricts the user terminal 9 that is not authenticated by the personal authentication unit 12 from being authorized to connect to the refrigerator 1000 to connect to the refrigerator 1000 via the Internet 10 or the wireless communication unit 5. To do.
  • the user terminal 9 that has authenticated that the personal authentication unit 12 has the authority to connect to the refrigerator 1000 is connected to the refrigerator 1000 via the wireless communication unit 5 or the like, and the storage room image stored in the storage room image management unit 3. And the storage room image can be displayed on the user terminal display unit 9a.
  • the storage room stored in the storage room image management unit 3 of the refrigerator 1000 is displayed on the user terminal display unit 9 a of the user terminal 9. An image can be displayed.
  • the personal authentication unit 12 determines whether or not the user terminal 9 has the authority to display the storage room image stored in the storage room image management unit 3 on the user terminal display unit 9a of the user terminal 9. In other words, it can be authenticated.
  • the personal authentication unit 12 may be provided in the refrigerator 1000 or the like.
  • the user terminal 9 does not include the food information storage unit 7.
  • the food information output unit 6 and the food information editing unit 8 are provided in the user terminal 9 as in the first embodiment.
  • the food information edited by the user in the food information editing unit 8 of the user terminal 9 is transmitted to the cloud server 11 via the Internet 10.
  • the cloud server 11 stores the received edited food information in the food information storage unit 7 and reflects the edited content of the food information.
  • the user terminal 9 can acquire food information stored in the food information storage unit 7 of the cloud server 11 via the Internet 10 and display it on the user terminal display unit 9a.
  • the food information output unit 6 selects and outputs a designated item from the food information stored in the food information storage unit 7 of the cloud server 11.
  • the food information selected and output by the food information output unit 6 is transmitted from the user terminal 9 to the wireless communication unit 5 and input to the food information addition unit 4.
  • Other configurations and operations are the same as those in the first embodiment, and detailed description thereof is omitted.
  • the refrigerator system of the third embodiment configured as described above can achieve the same effect as that of the first embodiment, and in addition, food information that constitutes a food information database that may have a large capacity.
  • the storage unit 7 in the cloud server 11 it is possible to reduce the storage data capacity necessary for the refrigerator 1000 and the plurality of user terminals 9.
  • the security of the user's refrigerator 1000 can be maintained while maintaining security.
  • the internal situation can be shared with the food information selected and output by the food information output unit 6.
  • the personal authentication unit 12 described above authenticates the authority using the ID.
  • the authentication method is not limited to this.
  • the authority may be authenticated by biometric authentication such as fingerprints, veins, and irises of the eyes, authentication by password, or a combination of these authentication methods.
  • FIG. FIG. 11 relates to Embodiment 4 of the present invention and is a diagram schematically showing the overall configuration of the refrigerator system and the configuration of the refrigerator compartment of the refrigerator.
  • Embodiment 4 described here is such that, in the configuration of Embodiment 3 described above, a server room image management unit and a food information addition unit are also provided in the server device.
  • the refrigerator system according to the fourth embodiment will be described focusing on differences from the third embodiment.
  • the refrigerator system according to the fourth embodiment includes the cloud server 11 as in the third embodiment.
  • the cloud server 11 is communicably connected to a refrigerator 1000 that is a refrigerator main body via, for example, the Internet 10 that is a communication network.
  • the cloud server 11 is also communicably connected to a user terminal 9 that is a terminal device via, for example, the Internet 10 that is also a communication network.
  • the server device is not limited to the cloud server 11 and may be a single server.
  • the cloud server 11 further includes a storage room image management unit 3 and a food information addition unit 4 in addition to the food information storage unit 7 and the personal authentication unit 12.
  • the configurations, functions, and the like of the food information storage unit 7 and the personal authentication unit 12 are basically the same as those in the third embodiment. Further, the configuration, function, and the like of the storage room image management unit 3 and the food information addition unit 4 are basically the same as those in the first embodiment.
  • control board 1001 of the refrigerator 1000 is not provided with the storage room image management unit 3 and the food information addition unit 4.
  • a wireless communication unit 5 is provided on the control board 1001.
  • the storage room image output from the internal photographing device 2 is input to the wireless communication unit 5.
  • the wireless communication unit 5 transmits the input storage room image to the cloud server 11 via the Internet 10.
  • the cloud server 11 receives the storage room image
  • the storage room image management unit 3 provided in the cloud server 11 stores the received storage room image.
  • the food information output unit 6 and the food information editing unit 8 are provided in the user terminal 9 as in the third embodiment.
  • the food information edited by the user in the food information editing unit 8 of the user terminal 9 is transmitted to the cloud server 11 via the Internet 10.
  • the cloud server 11 stores the received edited food information in the food information storage unit 7 and reflects the edited content of the food information.
  • the user terminal 9 can acquire food information stored in the food information storage unit 7 of the cloud server 11 via the Internet 10 and display it on the user terminal display unit 9a.
  • the food information output unit 6 selects and outputs a designated item from the food information stored in the food information storage unit 7 of the cloud server 11.
  • the food information selected and output by the food information output unit 6 is transmitted from the user terminal 9 to the cloud server 11 via the Internet 10.
  • the food information received by the cloud server 11 is input to the food information adding unit 4 provided in the cloud server 11.
  • the food information adding unit 4 adds the food information received by the cloud server 11 to the storage room image stored in the storage room image management unit 3.
  • the storage room image to which food information is added by the food information adding unit 4 is transmitted from the cloud server 11 to the user terminal 9 via the Internet 10.
  • the user terminal 9 that has received the storage room image with the food information added displays the received storage room image on the user terminal display unit 9a.
  • the food information added to the received storage room image is displayed on the user terminal display unit 9a so as to be superimposed on the storage room image.
  • the storage room image to which the food information is added by the food information adding unit 4 is transmitted from the cloud server 11 to the wireless communication unit 5 of the refrigerator 1000 via the Internet 10.
  • the wireless communication unit 5 that has received the storage room image to which the food information is added transmits the received storage room image to the operation panel 1.
  • the operation panel 1 that has received the storage room image to which the food information is added displays the received storage room image on the panel display unit 1a. At this time, the food information added to the received storage room image is displayed on the panel display unit 1a so as to be superimposed on the storage room image.
  • Other configurations and operations are the same as those in the first or third embodiment, and detailed description thereof is omitted.
  • the refrigerator system according to the fourth embodiment configured as described above can achieve the same effects as those of the first or third embodiment, and in addition, can store and manage storage room image data.
  • the room image management unit 3 in the cloud server 11 the storage data capacity necessary for the refrigerator 1000 and the plurality of user terminals 9 can be further reduced.
  • the cloud server 11 with the food information addition unit 4 that performs image processing for adding food information to the storage room image the processing load on the control board 1001 of the refrigerator 1000 can be reduced.
  • the present invention includes a refrigerator main body having a camera that images the inside of a storage room for storing food and outputs a storage room image, and a terminal device that has a terminal display unit and is communicable with the refrigerator main body. Can be used in a refrigerator system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Thermal Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

貯蔵室画像だけからでは分からない情報を、貯蔵室の状況とともに容易に把握でき、かつ、貯蔵室画像だけからでは分からない情報の入力をユーザが容易に行うことができる冷蔵庫システムを提供する。このため、冷蔵庫システムにおいて、食品を収納する貯蔵室の内部を撮影して貯蔵室画像を出力するカメラを有する冷蔵庫本体と、端末表示部を有し冷蔵庫本体と通信可能に設けられた端末装置と、カメラから出力された貯蔵室画像を記憶する貯蔵室画像記憶部と、貯蔵室に収納された食品に関する食品情報を記憶する食品情報記憶部と、食品情報記憶部に記憶された食品情報の一部又は全部を選択して出力する食品情報出力部と、貯蔵室画像記憶部に記憶された貯蔵室画像に、食品情報出力部が出力した食品情報を付加する食品情報付加部と、を備える。端末表示部は、食品情報付加部により付加された食品情報を貯蔵室画像に重ね合わせて表示する。

Description

冷蔵庫システム
　この発明は、冷蔵庫システムに関するものである。
　従来における冷蔵庫システムにおいては、内箱と外箱とより構成され前面が開口した冷蔵庫本体と、冷蔵庫本体を仕切ることで構成される収納室と、収納室を覆う断熱扉と、収納室又は断熱扉に設けられ収納室の内部を撮像するカメラと、を備え、表示端末等によって、カメラが撮像した冷蔵庫内の食品状況を確認することができるものが知られている（例えば、特許文献１参照）。また、この特許文献１に記載されたものでは、ユーザは表示端末に出力された冷蔵庫内の画像上をなぞる事で画像上にメモ情報を入力し、これを反映させることができる。
日本特開２０１５－０７２１０９号公報
　しかしながら、特許文献１に示された従来における冷蔵庫システムにおいては、扉を開けずに冷蔵庫内の状況を確認でき、また、冷蔵庫の貯蔵室内の画像（貯蔵室画像）だけからでは分からない情報をメモ情報として入力して反映させることができるものの、貯蔵室画像だけからでは分からない情報を、ユーザが画像上をなぞることで入力する必要があり、非常に手間がかかる。
　この発明は、このような課題を解決するためになされたもので、貯蔵室画像だけからでは分からない情報を、貯蔵室の状況とともに容易に把握でき、かつ、貯蔵室画像だけからでは分からない情報の入力をユーザが容易に行うことができる冷蔵庫システムを得るものである。
　この発明に係る冷蔵庫システムにおいては、食品を収納する貯蔵室と、前記貯蔵室の内部を撮影して貯蔵室画像を出力するカメラと、を有する冷蔵庫本体と、端末表示部を有し、前記冷蔵庫本体と通信可能に設けられた端末装置と、前記カメラから出力された貯蔵室画像を記憶する貯蔵室画像記憶部と、前記貯蔵室に収納された食品に関する食品情報を記憶する食品情報記憶部と、前記食品情報記憶部に記憶された食品情報の一部又は全部を選択して出力する食品情報出力部と、前記貯蔵室画像記憶部に記憶された貯蔵室画像に、前記食品情報出力部が出力した食品情報を付加する食品情報付加部と、を備え、前記端末表示部は、前記食品情報付加部により付加された食品情報を貯蔵室画像に重ね合わせて表示する構成とする。
　この発明に係る冷蔵庫システムにおいては、貯蔵室画像だけからでは分からない情報を、貯蔵室の状況とともに容易に把握でき、かつ、貯蔵室画像だけからでは分からない情報の入力をユーザが容易に行うことができるという効果を奏する。
この発明の実施の形態１に係る冷蔵庫システムが備える冷蔵庫の正面図である。 この発明の実施の形態１に係る冷蔵庫システムの全体構成と冷蔵庫の冷蔵室の構成とを模式的に示す図である。 この発明の実施の形態１に係る冷蔵庫システムが備える端末装置の表示画面の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムが備える端末装置の表示画面の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムが備える端末装置の表示画面の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムが備える端末装置の表示画面の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムが備える端末装置の表示画面の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムの動作を示すフロー図である。 この発明の実施の形態２に係る冷蔵庫システムの全体構成と冷蔵庫の冷蔵室の構成とを模式的に示す図である。 この発明の実施の形態３に係る冷蔵庫システムの全体構成と冷蔵庫の冷蔵室の構成とを模式的に示す図である。 この発明の実施の形態４に係る冷蔵庫システムの全体構成と冷蔵庫の冷蔵室の構成とを模式的に示す図である。
　この発明を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。なお、本発明は以下の実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。
実施の形態１．
　図１から図８は、この発明の実施の形態１に係るもので、図１は冷蔵庫システムが備える冷蔵庫の正面図、図２は冷蔵庫システムの全体構成と冷蔵庫の冷蔵室の構成とを模式的に示す図、図３から図７は、冷蔵庫システムが備える端末装置の表示画面の一例を示す図、図８は冷蔵庫システムの動作を示すフロー図である。
　この発明の実施の形態１に係る冷蔵庫システムは、冷蔵庫１０００を備えている。冷蔵庫１０００は、この発明の実施の形態１に係る冷蔵庫システムにおける冷蔵庫本体である。この実施の形態１においては、冷蔵庫１０００は、冷蔵室１００、製氷室２００、切替室３００、冷凍室４００及び野菜室５００を備えている。これらの冷蔵室１００、製氷室２００、切替室３００、冷凍室４００及び野菜室５００は、食品を収納する貯蔵室である。
　図１に示すように、上から冷蔵室１００、製氷室２００及び切替室３００、冷凍室４００、野菜室５００の順で配置されている。製氷室２００と切替室３００とは、同じ上下位置において左右に並んで配置されている。冷蔵室１００の前面には、冷蔵室１００を開閉する冷蔵室扉１０１が設けられている。冷蔵室扉１０１は、貯蔵室を開閉する扉の一例である。また、製氷室２００、切替室３００、冷凍室４００及び野菜室５００は、それぞれの前面に設けられた扉と共に、冷蔵庫１０００の手前側に引き出すことができるように構成されている。
　冷蔵室扉１０１の前面すなわち外面側には、操作パネル１が設けられている。操作パネル１は、パネル表示部１ａを備えている。パネル表示部１ａは、情報を表示可能な本体表示部である。パネル表示部１ａには、例えば、各貯蔵室の設定温度及び現在の温度等の庫内情報を表示可能である。パネル表示部１ａは、例えば液晶ディスプレイ等を備えている。操作パネル１は、例えばタッチパネル、ボタン、スイッチ等の操作部を備えている。ユーザは、操作パネル１の操作部を操作することにより、必要な情報を入力することができるようになっている。なお、操作パネル１の設置位置は、冷蔵室１００の扉に限るものではなく、他の貯蔵室の扉、冷蔵庫１０００の側面等であってもよい。
　図２に示すように、冷蔵室１００は、前面側（図に向かって左側）を冷蔵室扉１０１によって塞がれている。なお、図２に示す断面図は、図１中の断面Ａ－Ａ’によるものである。冷蔵室１００の内部には、複数の冷蔵室棚板１０２が設けられている。冷蔵室１００の内部は、これらの冷蔵室棚板１０２によって、上下方向に複数の空間（棚）に仕切られている。最下段の冷蔵室棚板１０２の下側の空間は、チルド室１１０である。チルド室１１０の内部には、チルドケース１１１が設置されている。チルドケース１１１は、レール等の案内部材（図示せず）に沿って、前方へ引き出すことができる。また、冷蔵室１００の背面側（図に向かって右側）には、冷却風路１０１０が形成されている。
　冷蔵室扉１０１の内側の面には、庫内撮影装置２が設置されている。庫内撮影装置２は、貯蔵室（ここでは冷蔵室１００）の内部を撮影して貯蔵室画像を出力するカメラである。庫内撮影装置２は、冷蔵室１００の内部の天井面からチルド室１１０までを視野範囲としている。すなわち、庫内撮影装置２が撮影して出力する貯蔵室画像は、冷蔵室扉１０１側から冷蔵室１００の内部を見たユーザと同じ視点から、冷蔵室１００の内部を撮影することができる。
　庫内撮影装置２は、例えば、冷蔵室扉１０１が開閉された時に冷蔵室１００内を撮影する。冷蔵室扉１０１が開閉されると、冷蔵室１００内の食品が出し入れされ、冷蔵室１００内の収納状態が変化する可能性があるためである。冷蔵庫１０００は、扉の開閉を検知可能なセンサを備えている。このセンサは、例えば、一般的なマグネット方式のセンサである。すなわち、例えば、冷蔵室扉１０１に埋め込まれた磁石の近接を、冷蔵庫１０００本体側に設置された一対のリードスイッチによって検出する。庫内撮影装置２は、例えば、開かれていた冷蔵室扉１０１が閉じられたことを検知した後、冷蔵室１００内が照明されている間に撮影を行う。
　なお、庫内撮影装置２は、冷蔵室扉１０１の内側の面に限らず、冷蔵室棚板１０２に載置される食品等の収納物を撮影できる位置であればどこに設置してもよい。また、庫内撮影装置２の設置数は１つに限られず、庫内撮影装置２を複数設置してもよい。庫内撮影装置２を複数設置することで、冷蔵室１００内に収納された食品等により視野が遮られて死角が生じることを抑制することができる。
　冷蔵庫１０００は、制御基板１００１を備えている。冷蔵庫１０００の例えば背面側の上部には、制御基板１００１が収容されている。制御基板１００１には、冷蔵庫１０００の動作に必要な各種の制御を実施するための制御回路等が備えられている。制御基板１００１は、例えばマイクロコンピュータを備えており、プロセッサ及びメモリを備えている。制御基板１００１は、メモリに記憶されたプログラムをプロセッサが実行することにより、予め設定された処理を実行し、冷蔵庫１０００を制御する。
　制御基板１００１には、貯蔵室画像管理部３、食品情報付加部４及び無線通信部５が備えられている。これらの各部の機能は、例えば、制御基板１００１のマイクロコンピュータにおいて、メモリに記憶されたプログラムをプロセッサが実行することにより、予め設定された処理を実行することにより実現される。
　貯蔵室画像管理部３は、庫内撮影装置２から出力された貯蔵室画像を記憶する貯蔵室画像記憶部である。前述したように、冷蔵室扉１０１の開閉が検知されると、庫内撮影装置２は、冷蔵室１００内の全体を撮影する。庫内撮影装置２は、撮影した冷蔵室１００内の全体画像（貯蔵室画像）を、貯蔵室画像管理部３に出力する。庫内撮影装置２から出力された貯蔵室画像は、貯蔵室画像管理部３に入力される。したがって、貯蔵室画像管理部３には、冷蔵室扉１０１が開閉される毎（すなわち、冷蔵室１００内の収納状態が変化する可能性がある毎）に、庫内撮影装置２から出力された貯蔵室画像が入力されることになる。こうして、貯蔵室画像管理部３には常に最新の状態の貯蔵室画像が入力される。
　貯蔵室画像管理部３は、入力された貯蔵室画像を記憶する。この際、貯蔵室画像管理部３は、貯蔵室画像が貯蔵室画像管理部３に入力された時刻を、撮影時刻情報として当該貯蔵室画像に関連付けて記憶する。なお、以降においては、撮影時刻情報を貯蔵室画像の付帯情報とも呼ぶ。そして、貯蔵室画像管理部３は、貯蔵室画像を撮影時刻情報により撮影時刻順に並び換えて記憶する。このようにして、貯蔵室画像管理部３は、庫内撮影装置２により撮影された貯蔵室画像を管理している。なお、撮影時刻情報には、撮影された日にち（月日又は年月日）の情報も含まれている。
　この発明の実施の形態１に係る冷蔵庫システムは、ユーザ端末９を備えている。ユーザ端末９は、冷蔵庫１０００（冷蔵庫本体）と通信可能に設けられた端末装置である。ユーザ端末９は、具体的に例えば、ＰＣ、スマートフォン、タブレット端末等である。
　冷蔵庫１０００とユーザ端末９との間での通信を実現するため、冷蔵庫１０００には無線通信部５が設けられている。無線通信部５は、例えば周知の無線通信技術を用いて、冷蔵庫１０００とユーザ端末９との間で、情報の相互通信を行う。このようにして、冷蔵庫１０００と宅内又は宅外のユーザ端末９とは、例えば図示しないルーター及びインターネットの一方又は両方を経由して相互に通信することが可能である。なお、ユーザ端末９は、１以上設けられ、望ましくは複数設けられる。
　ユーザ端末９は、ユーザ端末表示部９ａを備えている。ユーザ端末表示部９ａは、情報を表示可能な端末表示部である。ユーザ端末表示部９ａは、例えば、液晶ディスプレイ等を備えている。また、ユーザ端末表示部９ａをタッチパネルで構成し、情報を表示するとともに、ユーザからの操作を受け付けることができるようにしてもよい。以下においては、ユーザ端末表示部９ａをタッチパネルで構成した例について説明する。
　このユーザ端末表示部９ａは、貯蔵室画像管理部３（貯蔵室画像記憶部）に記憶された貯蔵室画像を表示可能である。すなわち、貯蔵室画像管理部３に記憶された貯蔵室画像は、制御基板１００１に設けられた食品情報付加部４を経て、無線通信部５からユーザ端末９へと送信される。貯蔵室画像を受信したユーザ端末９は、この受信した貯蔵室画像をユーザ端末表示部９ａに表示する。
　図３の（ａ）に示すのは、ユーザ端末表示部９ａに通常画面２１を表示した状態の一例である。通常画面２１では、貯蔵室画像が表示されている。さらにこの図３（ａ）に示す例では、通常画面２１の下部に時刻情報２３が表示されている。この時刻情報２３には、当該貯蔵室画像が撮影された時刻に関する情報である。時刻情報２３は、前述した撮影時刻情報である。撮影時刻情報は、貯蔵室画像管理部３により管理されている。このため、通常画面２１に時刻情報２３を表示する際には、冷蔵庫１０００から貯蔵室画像をユーザ端末９へと送信する際に、当該貯蔵室画像の撮影時刻情報も併せて送信するようにすればよい。
　図３（ａ）に示した通常画面２１では、例えばスワイプ操作等により、時刻を遡って貯蔵室画像を表示できるようにしてもよい。このようにすることで、ユーザは、扉開閉時毎の冷蔵室１００内の状況を時間を遡って確認することが可能となり、時々刻々の収納食品の種類、収納量等を容易に把握することができる。
　ユーザ端末９は、食品情報出力部６、食品情報記憶部７及び食品情報編集部８を備えている。食品情報記憶部７は、食品情報を記憶している。食品情報とは、貯蔵室（ここでは冷蔵室１００）に収納された食品に関する情報である。食品情報には、スタンプ情報、日付情報及び定型文情報のいずれかが含まれている。スタンプ情報とは、食品に関するイラスト又は記号からなる情報である。
　日付情報とは、食品に関する日付からなる情報である。日付情報には、具体的に例えば、食品の賞味期限、消費期限、購入日、調理日のうちの１以上の日付の情報である。定型文情報とは、食品に関する文章からなる情報である。定型文情報である食品に関する文章としては、具体的に例えば、「これ食べてね」、「レンジで温めてね」、「外出用」、「保存用」等のメッセージ及び用途を示す文章等が考えられる。
　端末表示部であるユーザ端末表示部９ａは、食品情報記憶部７に記憶された食品情報を表示可能である。すなわち、ユーザ端末９は、食品情報記憶部７に記憶されているスタンプ情報、日付情報、定型文情報を、ユーザ端末表示部９ａに表示することができる。
　食品情報編集部８は、食品情報記憶部７が記憶する食品情報を編集するためのものである。すなわち、ユーザは、ユーザ端末９の食品情報編集部８を用いることで、食品情報記憶部７に記憶されているスタンプ情報、日付情報、定型文情報の内容を編集することができる。
　食品情報出力部６は、食品情報記憶部７に記憶された食品情報の一部又は全部を選択して出力する。前述したように、ユーザ端末表示部９ａには、貯蔵室画像管理部３に記憶された貯蔵室画像と、食品情報記憶部７に記憶された食品情報とを表示することができる。ユーザは、ユーザ端末表示部９ａに表示された貯蔵室画像及び食品情報を確認しながら、食品情報記憶部７に記憶された食品情報のうちから、食品情報出力部６が選択して出力する情報を指定することができる。
　この食品情報出力部６が選択して出力する食品情報の指定の具体例について、図４から図７を参照しながら説明する。まず、図４に、食品情報のうち食品情報出力部６から選択して出力するスタンプ情報を指定する場合の例を示す。図４の（ａ）に示すのは、ユーザ端末表示部９ａにスタンプ選択画面２７を表示した状態の一例である。スタンプ選択画面２７には、スタンプ一覧２９が表示されている。このスタンプ一覧２９には、食品情報記憶部７に記憶されているスタンプ情報が一覧となって表示される。ユーザは、食品情報出力部６が出力するスタンプ情報を、スタンプ一覧２９から選択して指定することができる。
　なお、スタンプ一覧２９に表示されるスタンプ情報、すなわち、食品情報記憶部７に記憶されるスタンプ情報は、追加又は削除することが可能である。スタンプ情報の追加は、例えば、インターネットでの検索、他のユーザからの配信等により取得した新たなスタンプを、食品情報編集部８を介して登録することにより行うことができる。
　図４の（ｂ）に示すのは、ユーザ端末表示部９ａにスタンプ配置画面２８を表示した状態の一例である。図４の（ａ）に示したスタンプ選択画面２７に表示されたスタンプ一覧２９からユーザが所望するスタンプ情報を指定すると、例えば、図４の（ｂ）に示すようなスタンプ配置画面２８がユーザ端末表示部９ａに表示される。スタンプ配置画面２８には、貯蔵室画像を背景として、選択スタンプ３０とスタンプ決定ボタン３１とが表示されている。
　選択スタンプ３０は、スタンプ一覧２９からユーザが指定したスタンプ情報である。ユーザは、スタンプ配置画面２８において選択スタンプ３０が表示される位置を変更して、貯蔵室画像に対する選択スタンプ３０の表示位置を指定することができる。選択スタンプ３０の表示位置の指定は、例えば、選択スタンプ３０をドラッグ操作で移動し、さらに、ピンチイン／ピンアウト操作により縮小／拡大することにより行うことができるようにしてもよい。そして、ユーザがスタンプ決定ボタン３１を操作すると、食品情報出力部６から出力するスタンプ情報の指定と当該スタンプ情報の表示位置とを決定することができる。
　図５は、食品情報のうち食品情報出力部６から選択して出力する定型文情報を指定する場合の例を示すものである。図５の（ａ）に示すのは、ユーザ端末表示部９ａに定型文選択画面３２を表示した状態の一例である。定型文選択画面３２には、定型文コメント一覧３４が表示されている。定型文コメント一覧３４が表示されている。この定型文コメント一覧３４には、食品情報記憶部７に記憶されている定型文情報が一覧となって表示される。ユーザは、食品情報出力部６が出力する定型文情報を、定型文コメント一覧３４から選択して指定することができる。
　なお、定型文コメント一覧３４に表示される定型文情報、すなわち、食品情報記憶部７に記憶される定型文情報は、追加又は削除することが可能である。定型文情報の追加は、例えば、ユーザが食品情報編集部８を操作して作成した定型文を登録することにより行うことができる。
　図５の（ｂ）に示すのは、ユーザ端末表示部９ａに定型文配置画面３３を表示した状態の一例である。図５の（ａ）に示した定型文選択画面３２に表示された定型文コメント一覧３４からユーザが所望する定型文情報を指定すると、例えば、図５の（ｂ）に示すような定型文配置画面３３がユーザ端末表示部９ａに表示される。定型文配置画面３３には、貯蔵室画像を背景として、選択定型文コメント３５と定型文コメント決定ボタン３６とが表示されている。
　選択定型文コメント３５は、定型文コメント一覧３４からユーザが指定した定型文情報である。ユーザは、定型文配置画面３３において選択定型文コメント３５が表示される位置を変更して、貯蔵室画像に対する選択定型文コメント３５の表示位置を指定することができる。選択定型文コメント３５の表示位置の指定は、例えば、選択定型文コメント３５をドラッグ操作で移動することにより行うことができるようにしてもよい。そして、ユーザが定型文コメント決定ボタン３６を操作すると、食品情報出力部６から出力する定型文情報の指定と当該定型文情報の表示位置とを決定することができる。
　ここで、前述したように、ユーザは、食品情報編集部８により定型文情報を含む食品情報を編集することができる。図６に示すのは、ユーザが食品情報編集部８により定型文情報を編集する例である。図６の（ａ）は、ユーザ端末表示部９ａに定型文編集画面３７を表示した状態の一例を示している。定型文編集画面３７には、定型文編集入力パッド３９が表示されている。
　定型文情報は、ユーザ端末９において食品情報編集部８によって編集し、よく使用するものを食品情報記憶部７に予め記憶することが可能である。また、図５の（ａ）及び（ｂ）に示す画面を経て指定した選択定型文コメント３５の内容を元にして編集することも可能である。図５の（ｂ）で選択定型文コメント３５の編集開始操作（例えば、選択定型文コメント３５をダブルタップする等）を行うと、図６の（ａ）の定型文編集画面３７が表示される。定型文編集画面３７においては、ユーザは、定型文編集入力パッド３９を操作し、選択定型文コメント３５の内容を元にして、例えばさらに補足説明を追加する等の編集を行うことができる。
　編集を完了すると、ユーザ端末表示部９ａには図６の（ｂ）の編集文表示画面３８が表示される。編集文表示画面３８には、編集後コメント４０が表示されている。このように、一時的に長文のコメントを付加したい場合には、食品情報記憶部７に予め記憶されている定型文情報を元にして、容易に長文のコメントを作成することができる。
　図７は、食品情報のうち食品情報出力部６から選択して出力する日付情報を指定する場合の例を示している。図７の（ａ）に示すのは、ユーザ端末表示部９ａに日付入力画面４１を表示した状態の一例である。日付入力画面４１には、日付種類選択欄４３及び日付選択欄４４が表示されている。日付種類選択欄４３には、食品情報記憶部７に日付情報として記憶されている日付の種類が一覧となって表示される。ユーザは、食品情報出力部６が出力する日付情報の種類を、日付種類選択欄４３から選択して指定することができる。この図７（ａ）に示す例では、日付種類選択欄４３には、消費期限、作った日（調理日）及び買った日（購入日）が表示されている。そして、ユーザは、日付選択欄４４により、日付種類選択欄４３で選択した種類の日付の具体的な年月日を選決することができる。
　なお、日付種類選択欄４３に表示される日付情報、すなわち、食品情報記憶部７に記憶される日付情報は、追加又は削除することが可能である。具体的に例えば、ユーザが食品情報編集部８を操作して賞味期限、廃棄予定日等を新たな日付の種類として追加することができる。
　図７の（ｂ）に示すのは、ユーザ端末表示部９ａに日付配置画面４２を表示した状態の一例である。図７の（ａ）に示した日付種類選択欄４３及び日付選択欄４４によりユーザが所望する日付情報を指定すると、例えば、図７の（ｂ）に示すような日付配置画面４２がユーザ端末表示部９ａに表示される。日付配置画面４２には、貯蔵室画像を背景として、選択日付バルーン４５と日付バルーン決定ボタン４６とが表示されている。
　選択日付バルーン４５は、日付種類選択欄４３及び日付選択欄４４からユーザが指定した日付情報である。ユーザは、日付配置画面４２において選択日付バルーン４５が表示される位置を変更して、貯蔵室画像に対する選択日付バルーン４５の表示位置を指定することができる。選択日付バルーン４５の表示位置の指定は、例えば、選択日付バルーン４５をドラッグ操作で移動することにより行うことができるようにしてもよい。そして、ユーザが日付バルーン決定ボタン４６を操作すると、食品情報出力部６から出力する日付情報の指定と当該日付情報の表示位置とを決定することができる。
　再び図２を参照しながら、説明を続ける。以上のようにして、食品情報出力部６は、食品情報記憶部７に記憶された食品情報の一部又は全部を選択して出力する。食品情報出力部６が出力した食品情報は、ユーザ端末９から冷蔵庫１０００へと送信される。冷蔵庫１０００へと送信された食品情報は、無線通信部５により受信される。冷蔵庫１０００の制御基板１００１に設けられた食品情報付加部４は、貯蔵室画像管理部３に記憶された貯蔵室画像に、無線通信部５が受信した食品情報を付加する。
　ここで、無線通信部５が受信した食品情報は、食品情報記憶部７に記憶された食品情報の一部又は全部を食品情報出力部６が選択して出力した食品情報である。したがって、食品情報付加部４は、貯蔵室画像管理部３に記憶された貯蔵室画像に、食品情報出力部６が出力した食品情報を付加している。
　また、前述したように、貯蔵室画像管理部３には、貯蔵室画像とともに、当該貯蔵室画像の撮影時刻情報が、当該貯蔵室画像の付帯情報として記憶されている。そして、食品情報付加部４は、食品情報出力部６から出力された食品情報に加えて、貯蔵室画像の付帯情報（撮影時刻情報）を、貯蔵室画像に付加してもよい。
　食品情報付加部４により食品情報が付加された貯蔵室画像は、無線通信部５によりユーザ端末９へと送信される。食品情報が付加された貯蔵室画像を受信したユーザ端末９は、この受信した貯蔵室画像をユーザ端末表示部９ａに表示する。この際、ユーザ端末表示部９ａには、受信した貯蔵室画像に付加された食品情報が、当該貯蔵室画像に重ね合わせて表示される。すなわち、端末表示部であるユーザ端末表示部９ａは、食品情報付加部４により付加された食品情報を貯蔵室画像に重ね合わせて表示する。
　図３の（ｂ）に示すのは、ユーザ端末表示部９ａに情報付加画面２２を表示した状態の一例である。情報付加画面２２は、食品情報付加部４により付加された食品情報を貯蔵室画像に重ね合わせて表示した画面である。この図３（ｂ）に示す例では、プレゼントスタンプ２４ａ及びドクロスタンプ２４ｂが、貯蔵室画像に重ね合わされて表示されている。以下においては、プレゼントスタンプ２４ａ及びドクロスタンプ２４ｂを総称してスタンプ２４と呼ぶ。これらのスタンプ２４は、食品情報付加部４により付加されたスタンプ情報の一例である。
　なお、プレゼントスタンプ２４ａは、例えば、奥様が遅く帰ってくる旦那様に向けて、プレゼントして用意したデザート等であることを伝えるために使用することができる。また、ドクロスタンプ２４ｂは、例えば、当該食品の賞味期限が近いことを視覚的に分かりやすくするために使用することができる。
　また、図３（ｂ）に示す例では、伝達定型文コメント２５ａ及び警告定型文コメント２５ｂが貯蔵室画像に重ね合わされて表示されている。以下においては、伝達定型文コメント２５ａ及び警告定型文コメント２５ｂを総称して定型文コメント２５と呼ぶ。これらの定型文コメント２５は、食品情報付加部４により付加された定型文情報の一例である。これらの定型文コメント２５は、例えば、それぞれのスタンプ２４の意味を、それらのスタンプの意味を補足するために使用することができる。
　さらに、図３（ｂ）に示す例では、賞味期限バルーン２６ａ及び調理日バルーン２６ｂが貯蔵室画像に重ね合わされて表示されている。以下においては、賞味期限バルーン２６ａ及び調理日バルーン２６ｂを総称して日付バルーン２６と呼ぶ。これらの日付バルーン２６は、食品情報付加部４により付加された日付情報の一例である。
　以上のようにして、食品情報記憶部７に記憶されている食品情報の一部又は全部を食品情報出力部６が選択して出力し食品情報出力部６が出力した食品情報は、ユーザ端末表示部９ａにおいて、貯蔵室画像管理部３に記憶された貯蔵室画像に重ね合わされて、スタンプ２４、定型文コメント２５及び日付バルーン２６として表示される。この際、当該冷蔵庫システムが複数のユーザ端末９を備えていれば、複数のユーザ端末９のそれぞれのユーザ端末表示部９ａに、貯蔵室画像と重ね合わされたスタンプ２４、定型文コメント２５及び日付バルーン２６が表示される。
　このため、図３（ａ）の通常画面２１を見るだけでは分からない、収納食品に関する食品情報が付加された貯蔵室画像が表示された図３（ｂ）の情報付加画面２２を、家族等の複数ユーザ間で共有することができる。すなわち、複数のユーザは、貯蔵室画像だけからでは分からない食品情報を、貯蔵室の状況とともに容易に把握できる。また、食品情報記憶部７に記憶された食品情報の一部又は全部を選択して出力する食品情報出力部６を備えたことで、ユーザは、食品情報出力部６が出力する食品情報を指定するだけで貯蔵室画像だけからでは分からない食品情報を入力することができ、ユーザが食品情報を入力容易に行うことができる。
　したがって、例えば貯蔵室画像に表示されている食品を自分が食べていいのか、買い置きはあるのか、又は、あっても新しく買って帰ったほうがいいのか等の判断をすることができる。そして、買い忘れ、重複買い、消費忘れによる廃棄等の食品ロスを防ぐことが可能となる。
　また、複数ユーザ間で賞味期限や、消費期限を共有して消費を促せるだけでなく、保管した本人しかわからない食品の購入日、調理日も複数のユーザに周知できるので、本人以外でも可食期限を推定することができる。さらに、貯蔵室画像及び食品情報を、冷蔵庫１０００の所有者以外の限定された第三者にも提供できるため、複数のユーザ間で在庫状況を共有し、コミュニケーションツールとしても利用することができる。
　なお、この実施の形態１においては、無線通信部５は、食品情報付加部４により食品情報が付加された貯蔵室画像をユーザ端末９のみならず、操作パネル１へも送信している。食品情報が付加された貯蔵室画像を受信した操作パネル１は、この受信した貯蔵室画像をパネル表示部１ａに表示する。この際、パネル表示部１ａには、には、受信した貯蔵室画像に付加された食品情報が、当該貯蔵室画像に重ね合わせて表示される。すなわち、本体表示部であるパネル表示部１ａも、端末表示部であるユーザ端末表示部９ａと同じく、食品情報付加部４により付加された食品情報を貯蔵室画像に重ね合わせて表示することができる。
　次に、以上のように構成された冷蔵庫システムの動作の流れの一例を、図８を参照しながら説明する。まず、ユーザにより冷蔵室扉１０１が開閉されると、前述したセンサが冷蔵室扉１０１の開閉を検知し、ステップＳ１１からステップＳ１２へと進む。
　ステップＳ１２においては、庫内撮影装置２は、貯蔵室である冷蔵室１００の内部を撮影する。続くステップＳ１３において、撮影した冷蔵室１００の内部の画像を、貯蔵室画像として貯蔵室画像管理部３に送信する。続くステップＳ１４において、貯蔵室画像管理部３は、庫内撮影装置２が撮影した貯蔵室画像を、付帯情報（撮影時刻情報）とともに記憶し保存する。そして、続くステップＳ１５において、貯蔵室画像管理部３は、庫内撮影装置２が撮影した貯蔵室画像と、当該貯蔵室画像の付帯情報（撮影時刻情報）とを、食品情報付加部４に送信する。
　ステップＳ１５の後はステップＳ１６へと進む。ステップＳ１６においては、食品情報付加部４は、食品情報出力部６から出力された食品情報が存在するか否かを確認する。食品情報出力部６から出力された食品情報が存在する場合は、ステップＳ１７へと進む。ステップＳ１７においては、食品情報付加部４は、食品情報出力部６から出力された食品情報を、貯蔵室画像管理部３から送信された貯蔵室画像に重ね合わせて保存する。
　ステップＳ１７の後はステップＳ１８へと進む。一方、ステップＳ１６で、食品情報出力部６から出力された食品情報が存在しない場合は、ステップＳ１７を経ずに、ステップＳ１６からステップＳ１８へと進む。ステップＳ１８においては、食品情報付加部４は、貯蔵室画像を、操作パネル１及びユーザ端末９へと送信する。この送信は、無線通信部５を経由して行われる。このステップＳ１８で送信される貯蔵室画像は、ステップＳ１７を経た場合には、ステップＳ１７で食品情報が重ね合わされた貯蔵室画像である。一方、ステップＳ１７を経ない場合には、ステップＳ１８で送信される貯蔵室画像は、ステップＳ１５で貯蔵室画像管理部３が送信した貯蔵室画像そのままである。
　続くステップＳ１９においては、パネル表示部１ａは、ステップＳ１８で送信された貯蔵室画像を表示する。また、ユーザ端末表示部９ａも、ステップＳ１８で送信された貯蔵室画像を表示する。ステップＳ１９が終了すると、ステップＳ１１と戻り、以上で説明した各ステップの動作が繰り返される。
　なお、以上においては、庫内撮影装置２を冷蔵室１００に設けたが、冷蔵室１００以外の貯蔵室に設けてもよい。また、庫内撮影装置２を、複数の貯蔵室に同時に設置してもよい。例えば、野菜室５００は、比較的庫内状況を把握しにくい上に、劣化しやすい野菜が収納される貯蔵室である。したがって、野菜室５００に庫内撮影装置２を設置することで、複数のユーザ間で収納状況を共有でき、複数のユーザが収納状況を確認することで、野菜の消費期限等を把握し廃棄する可能性を低くすることができる。また冷凍室４００に庫内撮影装置２を設置することで、食事のメインとなる冷凍した肉、ご飯等の収納状況を把握できるとともに、購入した場合には必ず収納しなければならない冷凍食品の買い物量を判断することが可能となる。
実施の形態２．
　図９は、この発明の実施の形態２に係るもので、冷蔵庫システムの全体構成と冷蔵庫の冷蔵室の構成とを模式的に示す図である。
　ここで説明する実施の形態２は、前述した実施の形態１の構成では端末装置に設けられていた食品情報出力部、食品情報記憶部及び食品情報編集部を、冷蔵庫本体に設けるようにしたものである。以下、この実施の形態２に係る冷蔵庫システムについて、実施の形態１との相違点を中心に説明する。
　この実施の形態２に係る冷蔵庫システムにおいては、図９に示すように、冷蔵庫１０００の操作パネル１は、食品情報出力部６、食品情報記憶部７及び食品情報編集部８を備えている。食品情報出力部６、食品情報記憶部７及び食品情報編集部８それぞれの構成、機能等は、実施の形態１と基本的に同じである。ただし、実施の形態１では、食品情報出力部６はユーザ端末９に設けられていた。このため、食品情報記憶部７に記憶された食品情報のうちから食品情報出力部６が選択して出力した食品情報は、ユーザ端末９から冷蔵庫１０００の無線通信部５へと送信され、無線通信部５で受信した食品情報を食品情報付加部４へと入力していた。
　これに対し、この実施の形態２においては、食品情報出力部６は冷蔵庫１０００の操作パネル１に設けられている。このため、食品情報出力部６が選択して出力した食品情報は、無線通信部５を介することなく、直接に食品情報付加部４へ入力されるようになっている。
　また、この実施の形態２においては、本体表示であるパネル表示部１ａは、貯蔵室画像管理部３（貯蔵室画像記憶部）に記憶された貯蔵室画像と、食品情報記憶部７に記憶された食品情報とを表示可能である。すなわち、パネル表示部１ａは、実施の形態１でユーザ端末表示部９ａに表示していた、通常画面２１、情報付加画面２２、スタンプ選択画面２７、スタンプ配置画面２８、定型文選択画面３２、定型文配置画面３３、定型文編集画面３７、編集文表示画面３８、日付入力画面４１及び日付配置画面４２の各画面を表示可能である。
　したがって、ユーザは、パネル表示部１ａに表示された食品情報記憶部７に記憶された食品情報と貯蔵室画像とを確認しながら、食品情報記憶部７に記憶された食品情報のうちから、食品情報出力部６が選択して出力する情報を指定することができる。また、ユーザは、操作パネル１を操作して、食品情報編集部８により食品情報を編集することができる。
　なお、他の構成及び動作については実施の形態１と同様であって、その詳細説明は省略する。
　以上のように構成された実施の形態２に係る冷蔵庫システムにおいては、実施の形態１と同様の効果を奏することができるのに加えて、食品情報記憶部７及び食品情報出力部６が、冷蔵庫本体（冷蔵庫１０００）に設けられているため、食品情報出力部６が出力した食品情報を無線通信部５を介することなく食品情報付加部４に入力することができる。したがって、無線通信部５における通信負荷を減少させ、ユーザ端末９の数が多くなっても無線通信部５と各ユーザ端末９との間の通信を円滑に行うことができる。
　また、容量が大きくなる可能性のある食品情報データベースを構成する食品情報記憶部７を、冷蔵庫１０００の本体側に設けることで、複数のユーザ端末９で必要な記憶データ容量を少量化することができる。さらに、食品情報出力部６が選択して出力する食品情報の指定を、冷蔵庫１０００の操作パネル１からだけ行えるようになるため、食品情報付加部４が貯蔵室画像に付加する食品情報を一元的に管理することが可能である。
実施の形態３．
　図１０は、この発明の実施の形態３に係るもので、冷蔵庫システムの全体構成と冷蔵庫の冷蔵室の構成とを模式的に示す図である。
　ここで説明する実施の形態３は、前述した実施の形態１の構成において、冷蔵庫本体及び端末装置とは別にサーバ装置を設け、サーバ装置に食品情報記憶部を設けるようにしたものである。以下、この実施の形態３に係る冷蔵庫システムについて、実施の形態１との相違点を中心に説明する。
　この実施の形態３に係る冷蔵庫システムは、クラウドサーバ１１を備えている。クラウドサーバ１１は、通信ネットワークである例えばインターネット１０を介して、端末装置であるユーザ端末９と通信可能に設けられている。なお、ここではサーバ装置として、インターネット１０に接続された複数のサーバ（サーバ群）からなるクラウドサーバ１１を用いた場合を例示している。しかしながら、サーバ装置はクラウドサーバ１１に限られず、１台のサーバであってもよい。
　クラウドサーバ１１は、食品情報記憶部７と個人認証部１２とを備えている。食品情報記憶部７の構成、機能等は、実施の形態１と基本的に同じである。個人認証部１２は、ユーザ端末９について冷蔵庫１０００への接続権限の有無を認証する。すなわち、クラウドサーバ１１の個人認証部１２は、冷蔵庫１０００のＩＤに対して、当該冷蔵庫１０００への接続権限を有するユーザ端末９の端末装置ＩＤを予め記憶している。
　ここで、冷蔵庫１０００のＩＤとは、インターネット１０に接続された複数の冷蔵庫１０００を一意に識別可能な情報である。また、端末装置ＩＤとは、インターネット１０に接続された複数のユーザ端末９を一意に識別可能な情報である。そして、個人認証手段３００３は、ユーザ端末９の携帯端末ＩＤが、冷蔵庫１０００の冷蔵庫１０００に対して当該冷蔵庫１０００への接続権限を有するものとして記憶されているか否かを確認することで、ユーザ端末９について冷蔵庫１０００への接続権限の有無を認証する。
　クラウドサーバ１１は、個人認証部１２により冷蔵庫１０００への接続権限を有することを認証したユーザ端末９が、インターネット１０又は無線通信部５を介して冷蔵庫１０００へと接続することを許可する。すなわち、クラウドサーバ１１は、個人認証部１２により冷蔵庫１０００への接続権限を有することが認証されていないユーザ端末９が、インターネット１０又は無線通信部５を介して冷蔵庫１０００へと接続することを制限する。
　個人認証部１２が冷蔵庫１０００への接続権限を有することを認証したユーザ端末９は、無線通信部５等を介して冷蔵庫１０００に接続し、貯蔵室画像管理部３に記憶されている貯蔵室画像を取得して、貯蔵室画像をユーザ端末表示部９ａに表示することができる。このように、ユーザ端末９が冷蔵庫１０００への接続権限を有していると、当該ユーザ端末９のユーザ端末表示部９ａに、当該冷蔵庫１０００の貯蔵室画像管理部３に記憶されている貯蔵室画像を表示することができる。
　したがって、個人認証部１２は、ユーザ端末９が、当該ユーザ端末９のユーザ端末表示部９ａに、貯蔵室画像管理部３に記憶された貯蔵室画像を表示する権限を有しているか否かを認証するものであると言い換えることができる。なお、実施の形態１及び実施の形態２においても、例えば、冷蔵庫１０００等に個人認証部１２を備えるようにしてもよい。
　この実施の形態３においては、ユーザ端末９は、食品情報記憶部７を備えていない。一方、食品情報出力部６及び食品情報編集部８は、実施の形態１と同じくユーザ端末９に設けられている。ユーザがユーザ端末９の食品情報編集部８で編集した食品情報は、インターネット１０を介してクラウドサーバ１１へと送信される。クラウドサーバ１１は、受信した編集後の食品情報を食品情報記憶部７に記憶させて、食品情報の編集内容を反映させる。
　また、ユーザ端末９は、インターネット１０を介してクラウドサーバ１１の食品情報記憶部７に記憶されている食品情報を取得してユーザ端末表示部９ａに表示することができる。ユーザは、ユーザ端末表示部９ａに表示された貯蔵室画像及び食品情報を確認しながら、食品情報記憶部７に記憶された食品情報のうちから、食品情報出力部６が選択して出力する情報を指定することができる。
　食品情報出力部６は、クラウドサーバ１１の食品情報記憶部７に記憶された食品情報のうちから、指定されたものを選択して出力する。そして、食品情報出力部６が選択して出力した食品情報は、ユーザ端末９から無線通信部５へと送信され、食品情報付加部４に入力される。なお、他の構成及び動作については実施の形態１と同様であって、その詳細説明は省略する。
　以上のように構成された実施の形態３の冷蔵庫システムは、実施の形態１と同様の効果を奏することができるのに加えて、容量が大きくなる可能性のある食品情報データベースを構成する食品情報記憶部７を、クラウドサーバ１１に設けることで、冷蔵庫１０００及び複数のユーザ端末９で必要な記憶データ容量を少量化することができる。
　さらに冷蔵庫１０００を所有するユーザ本人以外のユーザが所持するユーザ端末９の端末装置ＩＤをクラウドサーバ１１の個人認証部１２に登録しておけば、セキュリティを維持した上で、ユーザの冷蔵庫１０００の庫内状況を、食品情報出力部６が選択出力した食品情報とともに共有することが可能となる。また、例えば、スーパーマーケット等の買い物先において、貯蔵室内の食品の在庫状態を容易に確認することが可能となるため、家族同士で同じ食材を重複して買ったり、買い忘れたりすること等を防ぐことができる。
　なお、以上で説明した個人認証部１２はＩＤを用いて権限を認証するものであった。認証方法については、これに限定されない。ＩＤの他に、例えば、指紋、静脈、目の虹彩等の生体認証、又は、パスワードによる認証、もしくは、これらの認証方法の組み合わせによって、権限を認証するようにしてもよい。
実施の形態４．
　図１１は、この発明の実施の形態４に係るもので、冷蔵庫システムの全体構成と冷蔵庫の冷蔵室の構成とを模式的に示す図である。
　ここで説明する実施の形態４は、前述した実施の形態３の構成において、サーバ装置に貯蔵室画像管理部及び食品情報付加部も設けるようにしたものである。以下、この実施の形態４に係る冷蔵庫システムについて、実施の形態３との相違点を中心に説明する。
　この実施の形態４に係る冷蔵庫システムは、実施の形態３と同じくクラウドサーバ１１を備えている。クラウドサーバ１１は、通信ネットワークである例えばインターネット１０を介して、冷蔵庫本体である冷蔵庫１０００と通信可能に接続されている。また、クラウドサーバ１１は、同じく通信ネットワークである例えばインターネット１０を介して、端末装置であるユーザ端末９とも通信可能に接続されている。なお、実施の形態３と同様に、サーバ装置はクラウドサーバ１１に限られず、１台のサーバであってもよい。
　クラウドサーバ１１は、食品情報記憶部７と個人認証部１２に加えて、さらに、貯蔵室画像管理部３及び食品情報付加部４を備えている。食品情報記憶部７及び個人認証部１２の構成、機能等は、実施の形態３と基本的に同じである。また、貯蔵室画像管理部３及び食品情報付加部４の構成、機能等は、実施の形態１と基本的に同じである。
　この実施の形態４においては、冷蔵庫１０００の制御基板１００１には、貯蔵室画像管理部３及び食品情報付加部４を設けられていない。制御基板１００１には、無線通信部５が設けられている。庫内撮影装置２から出力された貯蔵室画像は、無線通信部５に入力される。無線通信部５は、入力された貯蔵室画像を、インターネット１０を介してクラウドサーバ１１へと送信する。クラウドサーバ１１が貯蔵室画像を受信すると、受信した貯蔵室画像をクラウドサーバ１１に設けられた貯蔵室画像管理部３が記憶する。
　食品情報出力部６及び食品情報編集部８は、実施の形態３と同じくユーザ端末９に設けられている。ユーザがユーザ端末９の食品情報編集部８で編集した食品情報は、インターネット１０を介してクラウドサーバ１１へと送信される。クラウドサーバ１１は、受信した編集後の食品情報を食品情報記憶部７に記憶させて、食品情報の編集内容を反映させる。
　また、ユーザ端末９は、インターネット１０を介してクラウドサーバ１１の食品情報記憶部７に記憶されている食品情報を取得してユーザ端末表示部９ａに表示することができる。ユーザは、ユーザ端末表示部９ａに表示された貯蔵室画像及び食品情報を確認しながら、食品情報記憶部７に記憶された食品情報のうちから、食品情報出力部６が選択して出力する情報を指定することができる。
　食品情報出力部６は、クラウドサーバ１１の食品情報記憶部７に記憶された食品情報のうちから、指定されたものを選択して出力する。そして、食品情報出力部６が選択して出力した食品情報は、ユーザ端末９からインターネット１０を介してクラウドサーバ１１へと送信される。クラウドサーバ１１が受信した食品情報は、クラウドサーバ１１に設けられた食品情報付加部４に入力される。食品情報付加部４は、貯蔵室画像管理部３に記憶された貯蔵室画像に、クラウドサーバ１１が受信した食品情報を付加する。
　食品情報付加部４により食品情報が付加された貯蔵室画像は、クラウドサーバ１１からインターネット１０を介してユーザ端末９へと送信される。食品情報が付加された貯蔵室画像を受信したユーザ端末９は、この受信した貯蔵室画像をユーザ端末表示部９ａに表示する。この際、ユーザ端末表示部９ａには、受信した貯蔵室画像に付加された食品情報が、当該貯蔵室画像に重ね合わせて表示される。
　また、食品情報付加部４により食品情報が付加された貯蔵室画像は、クラウドサーバ１１からインターネット１０を介して冷蔵庫１０００の無線通信部５へも送信される。食品情報が付加された貯蔵室画像を受信した無線通信部５は、この受信した貯蔵室画像を操作パネル１へと送信する。食品情報が付加された貯蔵室画像を受信した操作パネル１は、この受信した貯蔵室画像をパネル表示部１ａに表示する。この際、パネル表示部１ａには、受信した貯蔵室画像に付加された食品情報が、当該貯蔵室画像に重ね合わせて表示される。なお、他の構成及び動作については実施の形態１又は実施の形態３と同様であって、その詳細説明は省略する。
　以上のように構成された実施の形態４の冷蔵庫システムは、実施の形態１又は実施の形態３と同様の効果を奏することができるのに加えて、貯蔵室画像のデータを記憶、管理する貯蔵室画像管理部３を、クラウドサーバ１１に設けることで、冷蔵庫１０００及び複数のユーザ端末９で必要な記憶データ容量をさらに少量化することができる。また、貯蔵室画像に食品情報を付加する画像処理等を行う食品情報付加部４をクラウドサーバ１１に設けることで、冷蔵庫１０００の制御基板１００１における処理負荷を軽減するこができる。
　この発明は、食品を収納する貯蔵室の内部を撮影して貯蔵室画像を出力するカメラを有する冷蔵庫本体と、端末表示部を有し冷蔵庫本体と通信可能に設けられた端末装置と、を備えた冷蔵庫システムに利用できる。
　　１　　操作パネル
　　１ａ　パネル表示部
　　２　　庫内撮影装置
　　３　　貯蔵室画像管理部
　　４　　食品情報付加部
　　５　　無線通信部
　　６　　食品情報出力部
　　７　　食品情報記憶部
　　８　　食品情報編集部
　　９　　ユーザ端末
　　９ａ　ユーザ端末表示部
　１０　　インターネット
　１１　　クラウドサーバ
　１２　　個人認証部
　２１　　通常画面
　２２　　情報付加画面
　２３　　時刻情報
　２４　　スタンプ
　２４ａ　プレゼントスタンプ
　２４ｂ　ドクロスタンプ
　２５　　定型文コメント
　２５ａ　伝達定型文コメント
　２５ｂ　警告定型文コメント
　２６　　日付バルーン
　２６ａ　賞味期限バルーン
　２６ｂ　調理日バルーン
　２７　　スタンプ選択画面
　２８　　スタンプ配置画面
　２９　　スタンプ一覧
　３０　　選択スタンプ
　３１　　スタンプ決定ボタン
　３２　　定型文選択画面
　３３　　定型文配置画面
　３４　　定型文コメント一覧
　３５　　選択定型文コメント
　３６　　定型文コメント決定ボタン
　３７　　定型文編集画面
　３８　　編集文表示画面
　３９　　定型文編集入力パッド
　４０　　編集後コメント
　４１　　日付入力画面
　４２　　日付配置画面
　４３　　日付種類選択欄
　４４　　日付選択欄
　４５　　選択日付バルーン
　４６　　日付バルーン決定ボタン
１００　　冷蔵室
１０１　　冷蔵室扉
１０２　　冷蔵室棚板
１１０　　チルド室
１１１　　チルドケース
２００　　製氷室
３００　　切替室
４００　　冷凍室
５００　　野菜室
１０００　冷蔵庫
１００１　制御基板
１０１０　冷却風路

Claims (11)

  1. 　食品を収納する貯蔵室と、前記貯蔵室の内部を撮影して貯蔵室画像を出力するカメラと、を有する冷蔵庫本体と、
    　端末表示部を有し、前記冷蔵庫本体と通信可能に設けられた端末装置と、
    　前記カメラから出力された貯蔵室画像を記憶する貯蔵室画像記憶部と、
    　前記貯蔵室に収納された食品に関する食品情報を記憶する食品情報記憶部と、
    　前記食品情報記憶部に記憶された食品情報の一部又は全部を選択して出力する食品情報出力部と、
    　前記貯蔵室画像記憶部に記憶された貯蔵室画像に、前記食品情報出力部が出力した食品情報を付加する食品情報付加部と、を備え、
    　前記端末表示部は、前記食品情報付加部により付加された食品情報を貯蔵室画像に重ね合わせて表示する冷蔵庫システム。
  2. 　前記貯蔵室画像記憶部及び前記食品情報付加部は、前記冷蔵庫本体に設けられた請求項１に記載の冷蔵庫システム。
  3. 　前記冷蔵庫本体は、
    　前記貯蔵室を開閉する扉と、
    　前記扉の外面側に設けられ、情報を表示可能な本体表示部と、をさらに備え、
    　前記食品情報記憶部及び前記食品情報出力部は、前記冷蔵庫本体に設けられ、
    　前記本体表示部は、前記貯蔵室画像記憶部に記憶された貯蔵室画像と、前記食品情報記憶部に記憶された食品情報とを表示可能である請求項２に記載の冷蔵庫システム。
  4. 　前記食品情報記憶部及び前記食品情報出力部は、前記端末装置に設けられ、
    　前記端末表示部は、前記貯蔵室画像記憶部に記憶された貯蔵室画像と、前記食品情報記憶部に記憶された食品情報とを表示可能である請求項２に記載の冷蔵庫システム。
  5. 　前記端末装置と通信可能に設けられたサーバ装置を備え、
    　前記食品情報記憶部は、前記サーバ装置に設けられ、
    　前記食品情報出力部は、前記端末装置に設けられ、
    　前記端末表示部は、前記貯蔵室画像記憶部に記憶された貯蔵室画像と、前記食品情報記憶部に記憶された食品情報とを表示可能である請求項２に記載の冷蔵庫システム。
  6. 　前記冷蔵庫本体及び前記端末装置と通信可能に設けられたサーバ装置を備え、
    　前記貯蔵室画像記憶部、前記食品情報付加部及び前記食品情報記憶部は、前記サーバ装置に設けられ、
    　前記食品情報出力部は、前記端末装置に設けられ、
    　前記端末表示部は、前記貯蔵室画像記憶部に記憶された貯蔵室画像と、前記食品情報記憶部に記憶された食品情報とを表示可能である請求項１に記載の冷蔵庫システム。
  7. 　前記食品情報記憶部が記憶する食品情報には、食品に関するイラスト又は記号からなるスタンプ情報が含まれる請求項１から請求項６のいずれか一項に記載の冷蔵庫システム。
  8. 　前記食品情報記憶部が記憶する食品情報には、食品に関する日付からなる日付情報が含まれる請求項１から請求項７のいずれか一項に記載の冷蔵庫システム。
  9. 　前記食品情報記憶部が記憶する食品情報には、食品に関する文章からなる定型文情報が含まれる請求項１から請求項８のいずれか一項に記載の冷蔵庫システム。
  10. 　前記食品情報記憶部が記憶する食品情報を編集する食品情報編集部をさらに備えた請求項１から請求項９のいずれか一項に記載の冷蔵庫システム。
  11. 　前記端末装置が、当該端末装置の前記端末表示部に、前記貯蔵室画像記憶部に記憶された貯蔵室画像を表示する権限を有しているか否かを認証する認証部をさらに備えた請求項１から請求項１０のいずれか一項に記載の冷蔵庫システム。
PCT/JP2016/071422 2016-07-21 2016-07-21 冷蔵庫システム WO2018016054A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2018528167A JP6642713B2 (ja) 2016-07-21 2016-07-21 冷蔵庫システム
DE112016007082.9T DE112016007082T5 (de) 2016-07-21 2016-07-21 Kühlgerätsystem
AU2016415984A AU2016415984B2 (en) 2016-07-21 2016-07-21 Refrigerator system
KR1020187022588A KR20180100636A (ko) 2016-07-21 2016-07-21 냉장고 시스템
PCT/JP2016/071422 WO2018016054A1 (ja) 2016-07-21 2016-07-21 冷蔵庫システム
CN201680085906.5A CN109477677A (zh) 2016-07-21 2016-07-21 冰箱***
TW105130411A TWI683986B (zh) 2016-07-21 2016-09-21 冰箱系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/071422 WO2018016054A1 (ja) 2016-07-21 2016-07-21 冷蔵庫システム

Publications (1)

Publication Number Publication Date
WO2018016054A1 true WO2018016054A1 (ja) 2018-01-25

Family

ID=60992414

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/071422 WO2018016054A1 (ja) 2016-07-21 2016-07-21 冷蔵庫システム

Country Status (7)

Country Link
JP (1) JP6642713B2 (ja)
KR (1) KR20180100636A (ja)
CN (1) CN109477677A (ja)
AU (1) AU2016415984B2 (ja)
DE (1) DE112016007082T5 (ja)
TW (1) TWI683986B (ja)
WO (1) WO2018016054A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111457667A (zh) * 2019-01-22 2020-07-28 日立环球生活方案株式会社 冰箱远程控制装置及其控制方法以及存储介质
WO2022158023A1 (ja) * 2021-01-22 2022-07-28 日立グローバルライフソリューションズ株式会社 冷蔵庫
JP2022112693A (ja) * 2021-01-22 2022-08-03 日立グローバルライフソリューションズ株式会社 冷蔵庫
WO2022180950A1 (ja) * 2021-02-25 2022-09-01 パナソニックＩｐマネジメント株式会社 プログラム、端末装置、及び端末装置の制御方法
WO2022180951A1 (ja) * 2021-02-25 2022-09-01 パナソニックＩｐマネジメント株式会社 プログラム、端末装置、及び端末装置の制御方法
US11521391B2 (en) * 2018-06-15 2022-12-06 Samsung Electronics Co., Ltd. Refrigerator, server and method of controlling thereof
EP3504613B1 (en) * 2016-09-01 2024-01-03 Samsung Electronics Co., Ltd. A refrigerator storage system having a display

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210060856A (ko) * 2019-11-19 2021-05-27 엘지전자 주식회사 냉장고
KR102273192B1 (ko) * 2020-01-03 2021-07-05 엘지전자 주식회사 인공 지능 냉장고 및 그의 동작 방법
CN113154788A (zh) * 2020-01-23 2021-07-23 日立环球生活方案株式会社 冰箱管理装置、管理装置以及计算机可读介质
JP7425621B2 (ja) * 2020-02-13 2024-01-31 東芝ライフスタイル株式会社 情報表示装置
CN113899155A (zh) * 2021-10-08 2022-01-07 珠海格力电器股份有限公司 一种冰箱内物品的展示方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002156181A (ja) * 2000-11-16 2002-05-31 Yozan Inc 冷蔵庫
JP2005216005A (ja) * 2004-01-29 2005-08-11 Tsukuba Multimedia:Kk ウェブカメラ買物システム
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
JP2013162800A (ja) * 2013-05-16 2013-08-22 Casio Computer Co Ltd 通信装置並びにプログラム
US20140169640A1 (en) * 2012-09-28 2014-06-19 Lg Electronics Inc. Electric product
JP2015072109A (ja) * 2013-03-29 2015-04-16 パナソニックＩｐマネジメント株式会社 冷蔵庫
JP2015222138A (ja) * 2014-05-22 2015-12-10 三菱電機株式会社 冷蔵庫及びネットワークシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL147812A0 (en) * 2001-03-16 2002-08-14 N S T Neurosurvival Technologi Method for targeting chemical compounds to cells and pharmaceutical compositions used therein
KR101203257B1 (ko) * 2005-12-12 2012-11-20 엘지전자 주식회사 사용자 지향 표시기능을 지닌 냉장고
CN100538616C (zh) * 2006-11-10 2009-09-09 海尔集团公司 具有动画显示操作的冰箱
JP2010190521A (ja) * 2009-02-19 2010-09-02 Sanyo Electric Co Ltd 集中監視装置
KR101517083B1 (ko) * 2009-05-11 2015-05-15 엘지전자 주식회사 냉장고를 제어하는 휴대 단말기 및 그 동작 방법
CN103234323B (zh) * 2012-07-27 2018-09-25 博西华电器（江苏）有限公司 智能冰箱、包含该智能冰箱的冰箱***及其控制方法
US20140214547A1 (en) * 2013-01-25 2014-07-31 R4 Technologies, Llc Systems and methods for augmented retail reality
CN105605881B (zh) * 2013-04-23 2020-01-21 Lg电子株式会社 冰箱及其控制方法
KR102024595B1 (ko) * 2013-04-25 2019-09-24 엘지전자 주식회사 냉장고 및 그 제어방법
DE102013211096A1 (de) * 2013-06-14 2014-12-18 BSH Bosch und Siemens Hausgeräte GmbH Kältegerätesystem
US20150002660A1 (en) * 2013-06-28 2015-01-01 Lg Electronics Inc. Electric product
JP6092049B2 (ja) * 2013-08-28 2017-03-08 東芝ライフスタイル株式会社 撮像システム及び撮像装置
EP2843337A1 (en) * 2013-09-03 2015-03-04 Panasonic Corporation Refrigerator and refrigerator system for monitoring food
JP6298983B2 (ja) * 2013-09-27 2018-03-28 パナソニックＩｐマネジメント株式会社 在庫管理システム
JP6296908B2 (ja) * 2014-06-09 2018-03-20 三菱電機株式会社 冷蔵庫及びネットワークシステム
TWI573973B (zh) * 2014-10-14 2017-03-11 Smart refrigerator and its refrigerated display method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002156181A (ja) * 2000-11-16 2002-05-31 Yozan Inc 冷蔵庫
JP2005216005A (ja) * 2004-01-29 2005-08-11 Tsukuba Multimedia:Kk ウェブカメラ買物システム
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
US20140169640A1 (en) * 2012-09-28 2014-06-19 Lg Electronics Inc. Electric product
JP2015072109A (ja) * 2013-03-29 2015-04-16 パナソニックＩｐマネジメント株式会社 冷蔵庫
JP2013162800A (ja) * 2013-05-16 2013-08-22 Casio Computer Co Ltd 通信装置並びにプログラム
JP2015222138A (ja) * 2014-05-22 2015-12-10 三菱電機株式会社 冷蔵庫及びネットワークシステム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3504613B1 (en) * 2016-09-01 2024-01-03 Samsung Electronics Co., Ltd. A refrigerator storage system having a display
US11521391B2 (en) * 2018-06-15 2022-12-06 Samsung Electronics Co., Ltd. Refrigerator, server and method of controlling thereof
CN111457667A (zh) * 2019-01-22 2020-07-28 日立环球生活方案株式会社 冰箱远程控制装置及其控制方法以及存储介质
WO2022158023A1 (ja) * 2021-01-22 2022-07-28 日立グローバルライフソリューションズ株式会社 冷蔵庫
JP2022112693A (ja) * 2021-01-22 2022-08-03 日立グローバルライフソリューションズ株式会社 冷蔵庫
JP7436402B2 (ja) 2021-01-22 2024-02-21 日立グローバルライフソリューションズ株式会社 冷蔵庫
WO2022180950A1 (ja) * 2021-02-25 2022-09-01 パナソニックＩｐマネジメント株式会社 プログラム、端末装置、及び端末装置の制御方法
WO2022180951A1 (ja) * 2021-02-25 2022-09-01 パナソニックＩｐマネジメント株式会社 プログラム、端末装置、及び端末装置の制御方法
JP2022130059A (ja) * 2021-02-25 2022-09-06 パナソニックＩｐマネジメント株式会社 プログラム、端末装置、及び端末装置の制御方法
JP2022130060A (ja) * 2021-02-25 2022-09-06 パナソニックＩｐマネジメント株式会社 プログラム、端末装置、及び端末装置の制御方法
JP7407383B2 (ja) 2021-02-25 2024-01-04 パナソニックＩｐマネジメント株式会社 プログラム、端末装置、及び端末装置の制御方法

Also Published As

Publication number Publication date
TW201804119A (zh) 2018-02-01
AU2016415984B2 (en) 2019-10-31
TWI683986B (zh) 2020-02-01
AU2016415984A1 (en) 2018-07-26
JP6642713B2 (ja) 2020-02-12
JPWO2018016054A1 (ja) 2018-11-08
DE112016007082T5 (de) 2019-04-04
KR20180100636A (ko) 2018-09-11
CN109477677A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
WO2018016054A1 (ja) 冷蔵庫システム
JP6229142B2 (ja) 冷蔵庫及び冷蔵庫システム
JP2019174106A (ja) システム、方法
US20120099255A1 (en) Refrigerator
JP6303127B2 (ja) 冷蔵庫
JP6167331B2 (ja) 冷蔵庫及び冷蔵庫システム
JP6167330B2 (ja) 冷蔵庫及び冷蔵庫システム
JP6167327B2 (ja) 冷蔵庫
JP6167289B2 (ja) 冷蔵庫及びその冷蔵庫システム
JP6361014B2 (ja) 冷蔵庫及び冷蔵庫システム
JP6167288B2 (ja) 冷蔵庫
TWI638126B (zh) 冰箱系統
JP6874501B2 (ja) 冷蔵庫システム及び冷蔵庫
JP2017142059A (ja) 冷蔵庫
JP6167329B2 (ja) 冷蔵庫
JP6145701B2 (ja) 冷蔵庫
JP6114916B2 (ja) 冷蔵庫
JP7454534B2 (ja) 注文支援プログラム
KR20080029042A (ko) 냉장고
JP6145702B2 (ja) 冷蔵庫

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018528167

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2016415984

Country of ref document: AU

Date of ref document: 20160721

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20187022588

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020187022588

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16909529

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16909529

Country of ref document: EP

Kind code of ref document: A1