WO2018020541A1 - 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム - Google Patents
冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム Download PDFInfo
- Publication number
- WO2018020541A1 WO2018020541A1 PCT/JP2016/071697 JP2016071697W WO2018020541A1 WO 2018020541 A1 WO2018020541 A1 WO 2018020541A1 JP 2016071697 W JP2016071697 W JP 2016071697W WO 2018020541 A1 WO2018020541 A1 WO 2018020541A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- food
- user
- refrigerator
- image
- information
- Prior art date
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D23/00—General constructional features
Definitions
- the present invention relates to a refrigerator having a communication function, a network system including a refrigerator, a notification method of a living condition of a user of the refrigerator, and a notification program of a living condition that causes a computer to execute a notification method.
- a wireless tag is attached to food, and based on the information sent from the wireless tag and the temperature information sent from the temperature sensor in the refrigerator, based on the storage period-storage temperature-quality tolerance (TTT) theory, Discloses a technique for estimating quality degradation characteristics.
- TTT storage period-storage temperature-quality tolerance
- Patent Document 2 transmits image data obtained by photographing inside and outside a warehouse to a mobile phone (mobile terminal) via a server, and monitors inside and outside the warehouse from a remote place. Describes a refrigerator as a storage for goods.
- JP 2006-317109 A for example, paragraphs 0027-0042, FIG. 5
- JP 2007-046833 A for example, paragraphs 0021-0025, FIG. 1
- Patent Document 1 requires a dedicated device such as a reader and lighter for a wireless tag attached to food in order to obtain information indicating the usage status of the refrigerator. There is a problem that increases.
- the refrigerator described in Patent Document 2 does not require a dedicated device such as a reader and a writer, transmits image data inside and outside the refrigerator to the user's portable terminal, and displays the inside and outside of the refrigerator on the display unit of the user's portable terminal. Images can be displayed.
- this refrigerator has a problem that it cannot make a determination based on the usage status of the refrigerator (for example, a determination regarding a user's life status).
- both patent documents 1 and 2 describe the technique which alert
- This invention is made
- the person other than the 1st user of a refrigerator shows the living condition of the 1st user of the refrigerator acquired from the image information of the food preserve
- the refrigerator which concerns on 1 aspect of this invention is equipped with the storage room which accommodates food, and the communication part which communicates, It is a refrigerator used by a 1st user, Comprising: The imaging device which acquires the image in the said storage room, An image management unit that extracts a food image from the image acquired by the imaging device; and a food status detection unit that detects a change in the status of the food stored in the storage chamber from the food image in a certain period; A usage status acquisition unit that acquires first information indicating a usage status of the refrigerator by the first user from a change in the status of the food detected by the food status detection unit; and the first information from the first information.
- the second information indicating the living situation is transmitted to the second user via the communication unit.
- the is a life management unit notifies the terminal device to be used.
- a network system includes the refrigerator, and the terminal device connected to the refrigerator so as to be communicable and used by the second user.
- a method for informing a living situation a step of acquiring an image in the storage room by photographing the storage room of a refrigerator used by a first user, and a food image from the acquired image. Extracting a change in the status of the food stored in the storage chamber from the food image in a certain period, and detecting the change in the status of the food detected by the first user.
- acquiring the first information indicating the usage status of the refrigerator and determining from the first information that the first user's living status should be notified to a second user different from the first user And informing the terminal device used by the second user of the second information indicating the living situation.
- the 1st information which shows the usage condition of the refrigerator by the 1st user from the change of the situation of the food detected from the food image is acquired, and the living situation of the 1st user is given to the 2nd user from the 1st information.
- the second information indicating the living situation can be notified to the terminal device (another user terminal) used by the second user. For this reason, the 2nd user who received the 2nd information which shows the living situation of the 1st user can take appropriate measures with respect to the 1st user.
- FIG. 3 is a block diagram schematically showing a configuration of a control system of the refrigerator according to Embodiment 1.
- FIG. 3 is a flowchart showing the operation of the refrigerator according to the first embodiment.
- (A)-(d) is a figure which shows the example of the accompanying information of the picked-up image of the refrigerator compartment of the refrigerator which concerns on Embodiment 1, the food image extracted from the picked-up image, and a food image.
- FIG. (A) And (b) is a figure which shows the example of the display screen in a portable terminal of the food image extracted from the picked-up image of the refrigerator compartment of the refrigerator which concerns on Embodiment 1.
- FIG. It is a figure which shows an example of the display screen in a portable terminal of the food image extracted from the picked-up image of the refrigerator compartment of the refrigerator which concerns on Embodiment 1.
- FIG. (A) And (b) is a schematic diagram for demonstrating the time change detection method of the food image in the change detection part of the refrigerator which concerns on Embodiment 1.
- FIG. (A) And (b) is a figure which shows the example of the display screen in the portable terminal of the food image of the refrigerator which concerns on Embodiment 1.
- FIG. 10 is a flowchart for explaining the operation of the refrigerator according to the second embodiment. It is sectional drawing which shows schematic structure (cross-sectional structure which cuts FIG. 1 in line segment II-II) of the refrigerator compartment of the refrigerator which concerns on Embodiment 3 of this invention.
- FIG. It is a block diagram which shows roughly the structure of the control system of the refrigerator which concerns on Embodiment 3.
- FIG. It is a figure which shows the example of the schedule display screen (1-month display) in the operation panel (schedule setting part) of the refrigerator which concerns on Embodiment 3.
- FIG. It is a figure which shows the example of the schedule display screen (1 week display) in the operation panel (schedule setting part) of the refrigerator which concerns on Embodiment 3.
- FIG. It is a figure which shows the example of the schedule display screen (1 day display) in the operation panel (schedule setting part) of the refrigerator which concerns on Embodiment 3.
- FIG. It is a figure which shows the whole structure of the in-home system and the outside system to which the network system provided with the refrigerator which concerns on Embodiment 4 of this invention was applied.
- FIG. 1 is a front view showing a schematic structure of a refrigerator 1 according to Embodiment 1 of the present invention.
- the refrigerator 1 according to Embodiment 1 includes a plurality of storage rooms for storing food.
- the plurality of storage rooms include, for example, a refrigerator room 11, an ice making room 12, a switching room 13, a freezing room 14, and a vegetable room 15.
- the refrigerator compartment 11, the ice making room 12, the switching room 13, the freezer compartment 14, and the vegetable compartment 15 are arranged in this order from the top. Further, the ice making chamber 12 and the switching chamber 13 are arranged side by side in the horizontal direction.
- the refrigerator 1 includes a cooling device that cools the storage chamber.
- the cooling device includes, for example, a refrigeration cycle circuit having a compressor, a condenser, an expansion valve, and an evaporator.
- the plurality of storage rooms are cooled by a refrigeration cycle circuit.
- FIG. 1 is also referred to in the second embodiment (FIG. 10) and the third embodiment (FIG. 14).
- Refrigerator 1 is described as refrigerators 2, 3, and 4 in the second, third, and fourth embodiments, respectively.
- An operation panel 21 having a display unit (display screen) as a display device may be provided on the front surface (front surface) of the door (refrigeration chamber door) 20 of the refrigerator compartment 11.
- the operation panel 21 has, for example, a touch panel that receives user input.
- the installation position of the operation panel 21 is not limited to the door 20 of the refrigerator compartment 11, and may be installed at other positions such as the outer surface of the door of another storage room or the side surface of the refrigerator 1.
- FIG. 1 shows an example of a refrigerator to which the present invention is applicable, but the refrigerator to which the present invention is applicable is not limited to that shown in FIG.
- FIG. 2 is a cross-sectional view showing a schematic structure of the refrigerator compartment 11 of the refrigerator 1 according to Embodiment 1 (cross-sectional structure taken along line II-II in FIG. 1).
- the refrigerator 1 has a door 20 that opens and closes an opening on the front side (left side in FIG. 2) of the refrigerator compartment 11.
- the refrigerator compartment 11 is partitioned into a plurality of spaces by a plurality of shelf boards (shelves) 16 arranged inside.
- the space below the lowermost shelf 16 is a chilled chamber 17.
- a chilled case 18 that can be drawn forward (leftward in FIG. 2) along a guide member (not shown) such as a rail is installed inside the chilled chamber 17.
- a cooling air passage 19 is provided on the back side of the refrigerator compartment 11 (on the right side in FIG. 2) as a passage for guiding the air cooled by the refrigeration cycle circuit to the storage compartment.
- the main body of the refrigerator 1 in contact with the door 20 is provided with an opening / closing detection unit 22 as an opening / closing detection device that detects opening / closing of the door 20.
- the open / close detection unit 22 is, for example, a magnet-type device that detects the proximity of a magnet (permanent magnet) embedded in the door 20 by a pair of reed switches installed in the main body of the refrigerator 1.
- the open / close detection unit 22 may be a detection device that employs another detection method such as a mechanical switch or an optical switch.
- the refrigerator 1 also includes a control board 110 having a control circuit (control unit) for operating the refrigerator 1.
- the control board 110 is provided on the back surface of the refrigerator 1, for example.
- the photographing device 27 is installed on the inner surface of the door 20.
- the imaging device 27 can capture the inside of the refrigerator compartment 11 from the door 20 side, which is the same side as the user's viewpoint, with the visual field range from the ceiling surface of the refrigerator compartment 11 to the chilled chamber 17. It has a configuration.
- the installation position of the photographing device 27 is not limited to the inner surface of the door 20.
- the imaging device 27 may be installed at any position as long as it can capture a wide range of storage items such as foods placed on the shelf board 16. Further, in consideration of the fact that the shelf plate 16 blocks the field of view, a plurality of photographing devices 27 may be installed in order to photograph more stored items. Further, the photographing device 27 may be provided at a position for photographing a storage room other than the refrigerator compartment 11.
- the refrigerator 1 includes a control board 110 having a control circuit for operating the refrigerator 1.
- the control board 110 is attached to the back surface of the refrigerator 1, for example.
- FIG. 3 is a block diagram schematically showing the configuration of the control system of the refrigerator 1 according to the first embodiment.
- the control system of the refrigerator 1 includes, for example, an operation panel 21, an open / close detection unit 22 that detects an open state and a closed state of the door 20, and a mobile terminal (terminal device) as an external device.
- the communication unit 23 as a communication device capable of performing wired or wireless communication, a storage unit 24 such as a semiconductor memory for storing information, a time providing unit 25 for providing time information, and the overall operation of the refrigerator 1
- the control part 100 which controls this is provided.
- control system of the refrigerator 1 includes, for example, a compressor drive circuit 31 that drives a compressor (compressor) 32 that constitutes a part of the refrigeration cycle circuit, and a fan (motor) 34 that flows air into the storage chamber of the refrigerator 1. And a fan driving circuit 33 to be driven.
- the circuit that is the main part of the control system of the refrigerator 1 can be provided on the control board 110. However, a part of the circuit of FIG. 3 may be provided on another control board (not shown).
- the communication unit 23 includes a communication module such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
- the refrigerator 1 uses the communication unit 23, for example, via at least one of a router (a broadband router 506 shown in FIG. 19 described later) and the Internet (the Internet 601 shown in FIG. 19 described later), It is possible to communicate with a terminal device such as a smartphone, a mobile tablet, a mobile phone, a personal computer, or the like that exists inside or outside the house.
- This terminal device is, for example, a terminal device (hereinafter also referred to as “first user terminal”) used by a user of the refrigerator 1 (hereinafter also referred to as “first user” or “managed person”) and a user other than the first user.
- a terminal device hereinafter also referred to as “second user terminal” or “another user terminal”
- second user used by a third party user
- the control unit 100 of the refrigerator 1 transmits information for displaying various information related to the refrigerator 1 on either or both of the display unit of the first user terminal and the display unit 71 of the second user device 70. Can do.
- the time information provided by the time providing unit 25 can include not only the hour, minute, and second but also the date (month / day or year / month / day).
- the time providing unit 25 may be, for example, a clock or a time receiving device that receives a time signal transmitted by a time signal provider.
- the control unit 100 may be configured by an electric circuit, or may be configured by a processor as an information processing apparatus that executes a program as software stored in the storage unit 24.
- the function of the control unit 100 is realized by executing a program stored in the storage unit 24.
- the function of the control unit 100 can be realized by a program (informing method or informing program for living conditions) executed by the processor in the refrigerator 1 (or 2 to 4).
- the function of the control unit 100 can also be realized by a program (living status notification method or notification program) executed by a computer (which may be a server on a network) that can communicate with the refrigerator 1.
- the living situation notification program uses the refrigerator 1 (or 2 to 4) including a storage room 11 for storing food, a communication unit 23 for communication, and a photographing device 27 for acquiring images in the storage room 11.
- a first user's life situation notification program which is obtained by causing the photographing device 27 to photograph the inside of the storage room 11 of the refrigerator 1 (or 2 to 4) and acquiring an image in the storage room 11 From the process of extracting the food image from the captured image, the process of detecting the change in the status of the food stored in the storage chamber 11 from the food image in a certain period, and the change in the status of the detected food, the first A process for obtaining first information indicating the usage status of the refrigerator 1 (or 2 to 4) by the user, and a situation in which the living status of the first user should be notified to the second user different from the first user from the first information It is In such a case, the computer (the information processing device such as the control unit 100 or an external computer or a server on the network) is caused to execute processing for informing
- the control unit 100 includes an image management unit 101, a change detection unit 102, a deterioration detection unit 103, a usage status acquisition unit 104, and a life management unit 105.
- the control unit 100 may include a main control unit (not shown) that controls the overall operation of the control unit 100.
- the change detection part 102 and the deterioration detection part 103 comprise the food condition detection part 103a.
- the storage unit 24 is shown as a separate configuration from the image management unit 101, but the storage unit 24 is a part of the image management unit 101 (or a part of the control unit 100). It may be a part of another configuration.
- the storage unit 24 may be a storage device connected to the outside of the refrigerator 1 or a storage device connected to be communicable via a network (for example, a server).
- the image management unit 101 is connected to the imaging device 27, the change detection unit 102, and the communication unit 23.
- the image management unit 101 receives an entire image (image data) in the refrigerator compartment 11 acquired by photographing in the refrigerator compartment 11 by the photographing device 27 and receives the received whole image (hereinafter referred to as “store”).
- the image of the food part (food image) is extracted from the “inner image” or “storage room image”.
- the image management unit 101 adds time information (for example, shooting time information) to the food image extracted from the acquired whole image as supplementary information, and stores the storage unit (the storage unit 24 and the storage unit 24 in the image management unit 101). It may be a different storage unit or may be the storage unit 24).
- the image management unit 101 may store the food images rearranged in time series based on the time information.
- the image management unit 101 gives the food image and accompanying information (which may include time information and entry / exit identification information) to the change detection unit 102 and the communication unit 23.
- the change detection unit 102 is connected to the image management unit 101, the deterioration detection unit 103, and the communication unit 23.
- the change detection unit 102 receives the food image and supplementary information from the image management unit 101, detects a change in the color and size of the food image (corresponding to the color and size of the actual food), and detects the change.
- the storage unit may be a storage unit different from the storage unit 24 or may be the storage unit 24.
- the change detection unit 102 provides information indicating the temporal change in the color and size of the detected food image to the deterioration detection unit 103 and the communication unit 23.
- the deterioration detection unit 103 is connected to the change detection unit 102, the usage status acquisition unit 104, and the communication unit 23.
- the deterioration detection unit 103 receives the time change of the color and size of the food image from the change detection unit 102, detects (estimates) the deterioration state of the food based on the time change, and obtains the use state of the detection result of the deterioration state To the unit 104 and the communication unit 23. Therefore, the food condition detection unit 103a including the change detection unit 102 and the deterioration detection unit 103 can detect the storage state of the stored food from the food image extracted from the storage room image.
- the usage status acquisition unit 104 is connected to the deterioration detection unit 103, the life management unit 105, and the communication unit 23 of the food status detection unit 103a.
- the use state acquisition unit 104 receives the deterioration state of the food in units of food images as the storage state of the food stored in the refrigerator compartment 11 from the deterioration detection unit 103, and from the information indicating the deterioration state, for example, “Current Short-term use status such as “The stored food has not deteriorated”, or “Deteriorated food has been left for several days” in combination with time information such as date or date. Detect (estimate) long-term usage.
- the usage status acquisition unit 104 detects the usage status by the first user of the refrigerator 1 based on the deterioration state of the food in the storage room, and also indicates information indicating this usage status (hereinafter also referred to as “first information”). ) Is given to the life management unit 105.
- the life management unit 105 is connected to the usage status acquisition unit 104 and the communication unit 23.
- the life management unit 105 receives first information indicating the usage status of the first user based on the deterioration state of the food from the usage status acquisition unit 104, and information indicating the first user's lifestyle status (hereinafter, “ Also referred to as “second information”).
- the second information indicating the living state of the first user is, for example, the tendency of the first user to stay at home or away from the home of the first user, or the frequency at which the first user goes shopping.
- the life management part 105 is the information (notification information required) which should be alert
- the communication unit 23 is connected to the image management unit 101, the change detection unit 102, the deterioration detection unit 103, the usage status acquisition unit 104, and the life management unit 105, and is connected to the second user terminal 70 wirelessly or by wire.
- the communication unit 23 receives the food image and supplementary information from the image management unit 101, receives information indicating the time change of the color and size of the food image from the change detection unit 102, and indicates the deterioration state of the food from the deterioration detection unit 103.
- Receive information receive first information indicating the usage status of the first user from the usage status acquisition unit 104, and send information (second information) to be notified to the second user in the lifestyle status from the life management unit 105. receive.
- Each information can be transmitted to the 2nd user terminal 70 which 2nd users other than the 1st user who uses refrigerator 1 use by wireless communication, for example.
- the second user terminal 70 that is the transmission destination of the second information may be registered in advance in the storage unit in the refrigerator 1 or in a server as a management device on the network, for example, by the first user or the like. Good.
- the second user terminal 70 is connected to the communication unit 23 so as to be capable of wireless communication.
- the second user terminal 70 transmits the food image and supplementary information transmitted from the communication unit 23, information indicating the color and size change of the food image, information indicating the deterioration state of the food, the first user's refrigerator 1 Information to be notified to the second user among the first information indicating the usage status and the second information indicating the living status can be received, and the received content can be displayed on the display unit 71 of the second user terminal 70.
- FIG. 4 is a flowchart for explaining an operation performed each time the door 20 of the refrigerator 1 is opened and closed.
- step S11 the photographing device 27 photographs the inside of the refrigerator compartment 11 (step S12).
- the imaging device 27 performs imaging while the illumination in the refrigerator compartment 11 is turned on. This is because when the opening / closing of the door 20 is detected, the food in the refrigerator compartment 11 may have been put in and out.
- the imaging device 27 provides the image management unit 101 with the storage room image (preferably the image of the entire storage room) in the refrigerator compartment 11 obtained by imaging (step S13). Therefore, the image management unit 101 receives the storage room image from the imaging device 27 every time the door 20 is opened and closed (that is, every time the storage state in the refrigerator compartment 11 may change).
- the current (latest) door 20 opening / closing is referred to as “current door opening / closing”
- the previous (one-time previous) door 20 opening / closing is referred to as “previous door opening / closing”.
- the image management unit 101 stores the storage room image (image data) received from the imaging device 27 at the previous opening / closing of the door (for example, in the storage unit 24), and the storage received from the imaging device 27 at the current opening / closing of the door.
- the room image is newly saved (for example, in the storage unit 24).
- the image management part 101 extracts the image of the change part of a store room image as a food image by calculating the difference of the store room image at the time of the last door opening and closing, and the store room image at the time of this door opening and closing. (Step S14). That is, the image of the changed portion of the storage room image is an image of food that has been received or delivered.
- beer is placed on the shelf 16 of the refrigerator compartment 11, and in the storage room image when the door is opened and closed this time, the shelf where no beer is placed in the same place.
- the food image of beer is extracted based on the difference between the two storage room images.
- the image management unit 101 adds time information that is the current time (or time when the image was taken) as supplementary information to the food image extracted in this way,
- the incidental information is rearranged in a time series based on the time information and stored (step S15).
- the image management unit 101 determines whether the food is in or out. Specifically, when the food image is extracted, the image management unit 101 analyzes a portion changed due to the difference, for example, an edge change amount obtained by edge processing, and a storage room image at the time of photographing. The food image is compared with the prestored storage state image in the empty state (the state where no food is stored in the refrigerator compartment 11), and the food in / out is determined. Then, the image management unit 101 adds and stores the determination result (entry / exit identification information) of warehousing or evacuation to the incidental information of the food image.
- the determination result entity / exit identification information
- the image management unit 101 gives the food image and the accompanying information (time information and entry / exit identification information) to the change detection unit 102 and the communication unit 23 (step S16).
- the change detection unit 102 receives the food image and the supplementary information from the image management unit 101, and detects and stores the time change of the color and size of the food image, which will be described later.
- a series of operations from acquiring the storage room image of the refrigerator compartment 11 in steps S12 to S17 to giving the food image and the supplementary information to the food condition detection unit 103a is detected by opening and closing of the door 20 in step S11. It is carried out every time.
- 5 (a) to 5 (d) show captured images 81a to 81d of the refrigerator compartment 11 of the refrigerator 1 according to the first embodiment, food images 82b, 82c, 82d1, and 82d2 extracted from the captured images, and food images It is a figure which shows the example of incidental information 83d1, 84d1, 83d2, 84d2.
- 5 (a) to 5 (d) when the door 20 is opened and closed, the storage room image which is the shooting data acquired by the shooting by the shooting device 27 and sent to the image management unit 101 and the storage room image are extracted.
- a food image as image data and its accompanying information time information and entry / exit identification information
- FIG. 5A shows a storage room image 81a that is acquired by photographing by the photographing device 27 and transmitted to the image management unit 101 at time A.
- FIG. At time A the door 20 has been opened and closed, but no food is received or delivered. Since there is no change in the storage room image at time A and before that, the image management unit 101 does not generate a difference image (food image).
- FIG. 5B shows a storage room image 81b that is acquired by photographing by the photographing device 27 and sent to the image management unit 101 at time B after time A, and a food image 82b extracted from the storage room image 81b.
- the accompanying information 83b and 84b are shown.
- beer which is a canned beverage
- the image management unit 101 extracts the food image (beer) 82b based on the difference between the storage room image at the time A and the storage room image at the time B, and includes the supplementary information together with the food image based on the determination result of entering or leaving.
- the time information “time B” 83b and the entry / exit identification information 84b “departure” are stored.
- FIG. 5 (c) shows a storage room image 81c acquired by photographing by the photographing device 27 and transmitted to the image management unit 101 at time C after time B, and a food image 82c extracted from the storage room image 81c. And its accompanying information 83c and 84c.
- the image management unit 101 extracts the food image (salad) 82c based on the difference between the storage room image at time B and the storage room image at time C, and includes the supplementary information together with the food image based on the determination result of entering or leaving.
- the time information “time C” 83c and the warehousing / departure identification information 84c “departure” are stored.
- FIG. 5D illustrates a storage room image 81d that is captured by the imaging device 27 and transmitted to the image management unit 101 at time D after time C, and food images 82d1 and 82d2 extracted from the storage room image 81d. And the accompanying information 83d1, 84d1, 83d2, and 84d2.
- the milk in the paper pack is stored on the uppermost refrigerator compartment shelf in the refrigerator compartment 11, and the cake is received on the lower refrigerator compartment shelf.
- the image management unit 101 extracts food images (milk and cake) 82d1 and 82d2 based on the difference between the storage room image at time C and the storage room image at time D, and the determination result of entering or leaving (in this case, On the basis of “receipt” for both milk and cake, the time information “time D” 83d1, 83d2 and the entry / exit identification information 84d1, 84d2 of “entry” are stored together with the food image.
- the image management unit 101 since the image management unit 101 stores the food image together with the time information and the warehousing / departure identification information, the image management unit 101 can grasp the warehousing time of the food and detect the deterioration state based on the warehousing time. Can do. That is, the image management unit 101 grasps food (stock food) stored in the refrigerator compartment 11 as an image and holds information necessary for detecting the deterioration state of the stock food.
- the image data stored by the image management unit 101 includes the food image (changed portion of the storage room image) extracted based on the difference from the previous image data, and the latest storage room image (refrigerated) serving as a reference for the difference. Only the whole image of the room 11) may be used. That is, after extracting the food image, the image management unit 101 may store only the latest storage room image and delete other storage room images.
- the image management unit 101 reduces the amount of stored image data, the memory capacity of the storage unit and the data communication load can be reduced. Further, the photographing by the photographing device 27, the extraction of the food image in the image management unit 101, and the storage of the image data are performed only when the door 20 is opened and closed (when there is a possibility that the food has been put in and out). Alternatively, only data necessary for managing the food stored in the refrigerator compartment 11 is stored. For this reason, it is possible to acquire the storage state and the deterioration state of the food in the refrigerator compartment 11 with the minimum necessary operations (photographing, image processing and storage).
- the storage state of food means information indicating which food is stored in the refrigerator compartment 11 at which time.
- the deterioration state of food means information indicating how much the deterioration of food has progressed (for example, whether or not it is necessary to consume the food at an early stage).
- the image management unit 101 divides the food image data stored together with the stored supplementary information (time information and storage / entry identification information) in time series or storage / departure, via the communication unit 23. And it can output to the display part 71 of the 2nd user terminal 70 which not only the 1st user terminal which the 1st user who uses the refrigerator 1 uses but 2nd users other than a 1st user uses.
- a second user (for example, a family or a living person of the first user who uses the refrigerator 1) is housed in the refrigerator compartment 11 by viewing the display screen of the display unit 71 of the second user terminal 70. You can grasp the food.
- FIG. 6A and 6 (b) are diagrams illustrating an example of a display screen on a mobile terminal of a food image extracted from a photographed image of the refrigerator 1 according to the first embodiment.
- the display screen timeline display screen
- FIG. 6A the food image 42 extracted from the storage room image each time the door 20 is opened and closed, the time information 43 attached to the food image 42, and the input information.
- the shipping identification information 44 is displayed side by side in time series.
- food images 42 are arranged in the center of the screen from the top (in order from the latest shooting time information as time information), time information 43 on the left side of each food image, and entry / exit identification information 44 on the right side. Is displayed.
- a target storage room in this example, the refrigerating room 11
- its set temperature and the current time are also displayed.
- the display screen (incoming / outgoing list display screen) shown in FIG. 6B is divided into left and right fields for warehousing and warehousing, and food images and time information are displayed in chronological order in each field (list display). is doing.
- the food images whose entry / exit identification information 54 is “Receive” and the time information (that is, the entry time) 53 are displayed side by side in order from the latest entry time 53.
- the food images 52 whose entry / exit identification information 54 is “exit” and the time information (that is, the exit time) 53 are displayed side by side in order from the latest exit time 53.
- the current remaining amount of the food can be acquired from the history of loading and unloading of the target food.
- a family member or a helper confirms the display unit 71 of the other user terminal 70 at a remote place, for example, a shopping destination, so that excessive purchase of food or purchase of food is performed. It becomes possible to prevent forgetting.
- FIG. 7 is a diagram illustrating another example of the display screen on the mobile terminal of the food image extracted from the photographed image of the refrigerator 1 according to the first embodiment.
- the image management unit 101 uses the stored food image (that is, the food image extracted every time the door 20 is opened / closed) and the time information and the warehousing / departure identification information as incidental information at a certain time.
- the food image stored in (the entry / exit identification information is not “exit”) is specified.
- a list of stock food images is displayed as a stock food list display screen 62 via the communication unit 23.
- the food images are arranged from the top in order of the warehousing time based on the time information.
- the display unit 71 of the second user terminal 70 is referred to as an “entrance / exit timeline” in FIG. 6A, an “entry / exit list” in FIG. 6B, and an “inventory food list” in FIG.
- an “entrance / exit timeline” in FIG. 6A an “entrance / exit timeline” in FIG. 6A
- an “entry / exit list” in FIG. 6B an “inventory food list” in FIG.
- any one of these may be displayed at all times, or may be displayed in response to a first user operation (for example, touching the touch panel). Also good.
- the food image display screen may be switched by operating a button linked to each display screen, or may be switched by a horizontal swipe operation.
- the target storage room in this example, the refrigerator room 11
- its set temperature in this example, the current time
- the measured temperature of the storage room may be displayed.
- step S ⁇ b> 17 shown in FIG. 4 the time of the color and size of the food image received by the change detection unit 102 from the image management unit 101 (that is, the food image extracted from the storage room image every time the door 20 is opened and closed).
- the change is detected (for example, stored in the storage unit 24) and saved.
- the food stored in the refrigerator compartment 11 gradually deteriorates, and particularly changes in the color of food or the size (or shape) of food.
- fresh foods such as meat and fish change color to brown due to oxidation (methation).
- broccoli gradually fades from bright green color to increase the yellow part, and when it further deteriorates, it changes to grayish brown due to decay or mold.
- Leafy vegetables such as spinach are deflated or shrunken by transpiration, and the size also changes.
- the change detection unit 102 detects and stores a time change in the color and size of the received food image. Based on the temporal change in the color and size of the food image stored in the change detection unit 102, the deterioration detection unit 103 detects (estimates) the deterioration state.
- the change detection unit 102 detects and stores the a * value, the b * value, and the L * value (for example, in the storage unit 24).
- the color index is not limited to the L * a * b * color system, but the RGB color system or Munsell table, which is a color system in which the primary colors are R (red), G (green), and B (blue). Even if another color system such as a color system is used, a color change (red fading, yellow increase, etc.) and a brightness change can be quantified.
- the change detection unit 102 may store the change in color distribution in a storage unit (for example, the storage unit 24).
- the change detection unit 102 stores a large number of color samples in advance in a storage unit (for example, the storage unit 24) as a database, and compares the color detected from the food image received from the image management unit 101 with the color sample. Then, the similarity is calculated. Then, the entire food image is classified for each color corresponding to the most similar color sample, and the area occupancy for each color is calculated.
- FIGS. 8A and 8B are diagrams illustrating an example of a time change of the food image in the change detection unit 102.
- FIG. FIG. 8A shows a food image at the time of receipt of food (meat) and a color distribution detected based on the food image.
- FIG. 8B shows a food image after a sufficient time (T time) for the food to oxidize and a color distribution detected based on the food image. T is a value of 0 or more.
- T is a value of 0 or more.
- the area occupancy (vertical axis) for each color (horizontal axis) corresponding to the color sample in the food image is shown by a bar graph.
- the change detection unit 102 calculates and stores data of the color distribution of the newly received food image.
- the change detection unit 102 stores, for example, a projection area, a perimeter, a length of the longest axis, and the like as an index for detecting a change in size. Further, the change detection unit 102 may extract a pattern from the outline shape of the food and store the pattern. Here, the change detection unit 102 detects and stores changes in the color and size of the food image. However, only the change in color or only the change in size may be detected and stored.
- the deterioration detection unit 103 detects the deterioration state of the food based on the temporal change in the color and size detected and stored by the change detection unit 102.
- the detection of the food deterioration state by the deterioration detection unit 103 is preferably performed not at every opening / closing of the door 20 but at every predetermined time.
- the state of deterioration of food varies depending on the type of food (meat, fish, vegetables, etc.). Therefore, it is desirable that the deterioration detection unit 103 determines the deterioration state of the food using a determination criterion suitable for the type of food. However, the deterioration detection unit 103 may determine the deterioration state of the food using the same determination criterion regardless of the type of food. Therefore, the deterioration detection unit 103 makes a determination based on a plurality of indexes for one food image, and determines that “it is necessary to consume at an early stage” when at least one index exceeds a reference value.
- the deterioration detection unit 103 uses at least one of the a * value, the b * value, and the L * value stored in the change detection unit 102.
- the reference value it is determined that the food corresponding to the food image needs to be consumed at an early stage.
- the color of the food is oxidized due to oxidation in FIG. It changes dark (actually brown), and the area occupancy of the dark color increases. Brown is the color that metmyoglobin exhibits upon oxidation or methation.
- the reference value is registered in advance in the deterioration detection unit 103 for each color that reflects the deterioration.
- the deterioration detection unit 103 determines that at least one of the area occupancy rates of a plurality of colors registered in advance (for example, colors corresponding to a plurality of color samples such as No. 10 and No. 20) exceeds a reference value. In addition, it is determined that the food corresponding to the food image “there is a possibility that the food has deteriorated”.
- the deterioration state can be determined based on a change in the size of the food included in the food image.
- the change detection unit 102 for example, the projected area, the peripheral length, or the length of the longest axis
- the deterioration detection unit 103 determines whether the size of the food is When the rate of decrease from the time of warehousing exceeds the reference value, it can be determined that the food needs to be consumed early.
- the deterioration detection unit 103 performs pattern matching between the food contour shape pattern at the time of warehousing and the food contour shape pattern at the time of detection. If the error exceeds the reference time, it may be determined that the food needs to be consumed early.
- the deterioration detection unit 103 determines a deterioration state for each food image stored in the change detection unit 102.
- the display unit 71 of the second user terminal 70 displays the detection result of the deterioration state by the deterioration detection unit 103 together with the food image stored by the image management unit 101.
- FIGS. 9A and 9B are diagrams showing display examples of the deterioration state of food on the mobile terminal.
- An alert here, an exclamation point
- the display unit 71 of the second user terminal 70 is a food that should be consumed at an early stage. I can understand that there is. That is, it becomes obvious at a glance which food should be consumed early among the plurality of foods stored in the refrigerator compartment 11. As a result, it is possible to suppress wastefully discarding food due to the expiration of the expiration date or the expiration date.
- an alert is superimposed on the food image.
- the present invention is not limited to such an example, and based on the detection result of the deterioration detection unit 103, the food to be consumed early is displayed. Any other display may be used as long as it can inform one user or the second user.
- the display unit 71 of the second user terminal 70 also displays a food image indicating a change in color or size of the food image detected by the change detection unit 102, as schematically shown in FIG. 9B. May be.
- a food image indicating a change in color or size of the food image detected by the change detection unit 102
- FIG. 9B May be.
- the food change display screen 64 which displays the change of a magnitude
- the 1st user and the 2nd user can grasp
- the deterioration detection unit 103 detects the deterioration state of the food based on changes in the color and size of each food image stored in the change detection unit 102 at regular intervals, and based on the detection result, Predicting the time when one user or the second user should consume food (notifying time to the first user or the second user) and displaying an alert on the display unit of the mobile terminal when the predicted time is reached. desirable.
- the use status acquisition unit 104 determines the storage state of the food stored in the refrigerator compartment 11, that is, the first user storing the food from the information on the deterioration state of the food image unit transmitted from the deterioration detection unit 103. Detect (acquire) usage status. Specifically, if there is no deterioration in the currently stored food, it is detected that the food is always replaced and stored properly, and there is a movement of the food as a whole. The usage situation that the existence of the food is forgotten if the food has deteriorated, and the usage situation that the refrigerator compartment 11 itself is not used if many foods have been left for several days with deterioration. Is detected.
- the life management unit 105 receives the first information indicating the usage status of the first user detected by the usage status acquisition unit 104, and detects the living status based on the first information indicating the usage status. For example, if food is constantly being replaced, if the first user frequently goes shopping and eats at home, or if the presence of a particular food in the storage room is forgotten, simply In addition to forgetting the existence, it is also possible to detect a life in which the food is not used, that is, a living situation in which there is a possibility of having an unbalanced diet. Further, when a situation in which the refrigerator compartment 11 itself is not used is detected as the usage situation, there is a possibility that the first user has been out for a long period of time or that some safety problem has occurred. is assumed.
- the life management unit 105 classifies information determined to be notified to the second user from the detected second information indicating the life status of the first user.
- information determined to be notified to the second user there is no problem at all in the living situation where the food in the storage room is always replaced and the first user is assumed to be shopping and eating properly.
- eating habits related information that the eating habits may be biased, or a usage situation in which the refrigerator compartment 11 itself is not used is determined as a situation related to health problems or crimes of the first user.
- it notifies to the 2nd user terminal 70 which the 2nd user different from the 1st user who uses the refrigerator 1 has via the communication part 23 as safety related information.
- conditions for determining that the second user should be notified in the second information indicating the detected life status of the first user are set in advance.
- a threshold value for determining whether to notify the second user is set in advance. If it is made to cancel
- the second information indicating the life situation acquired by the life management unit 105 and notified to the second user is not limited to the safety related information.
- the second information to be notified is, for example, when a food change in the storage room occurs during a trip or during work or school on a weekday daytime (at a time when no one should be at home)
- the crime prevention related information may be notified to the second user.
- the second user can promptly report to the police or security company, and can prevent crimes.
- a usage warning can be notified to the second user as dietary related information.
- Such notification is useful information for parents or wife who manage the health status of a single child or a husband who lives alone from a remote location.
- the second user who owns the second user terminal 70 may be a second user who has been authenticated in advance.
- the above-mentioned dietary information is personal information, it is assumed that it will not be a big problem in terms of security even if it is disclosed to unspecified third parties.
- the safety related information or the crime prevention related information includes the health information of the first user or the home or absence information of the first user, a helper or the like when the first user is an elderly person
- the 2nd user terminal 70 which can receive the 2nd information which shows the living situation of the 1st user beforehand is set up beforehand. Note that an authentication method for the second user who owns the second user terminal 70 will be described in a fourth embodiment.
- the food image is extracted and managed from the image in the refrigerator compartment 11 photographed by the photographing device 27, and the second user terminal
- the display unit 71 displays a food image and information related to the deterioration of the food (for example, information indicating the deterioration state). Therefore, not only the first user but also the second user can grasp the food stored in the refrigerator compartment 11 even in a remote place (for example, a shopping destination), and can grasp the food to be consumed particularly quickly among them. it can.
- the second user can be encouraged to consume the food by the expiration date, and wasteful disposal of the food can be suppressed.
- waste of space and energy due to leaving food in the refrigerator compartment 11 for a long period of time can be reduced.
- the food stock status or deterioration state can be confirmed on the mobile terminal, so that the temperature rise in the refrigerator compartment 11 due to the opening and closing of the door 20 is suppressed, and the power consumption is reduced. can do.
- the first user and the second user can easily determine how long a certain food has been stored in the refrigerator compartment 11.
- the purchase of food can be determined in consideration of the expiration date or expiration date of the stock food.
- the food image is stored together with the loading / unloading identification information and time information, and the deterioration state of the food is detected based on the information. Therefore, the food image is changed and the time elapsed since the loading is taken into consideration. Can be detected with high accuracy.
- the imaging device 27 captures a storage room image, and the image management unit 101 extracts a food image from the storage room image, so that the food in the refrigerator compartment 11 may change. Information is updated every time Therefore, the 1st user and the 2nd user can know stock food and its deterioration state more correctly.
- the deterioration detection unit 103 detects the deterioration state of the food based on the change in the color and / or size (or both) of the food image, the detection accuracy of deterioration such as oxidation (methanization) and spoilage is increased. Can do.
- the 2nd information which shows the living condition of the 1st user who owns the refrigerator 1 can be detected from the stock condition or the deterioration state of the foodstuffs in the refrigerator compartment 11, and the 1st user's safety relation is detected as the living condition.
- Information, crime prevention related information, eating habits related information or the like is notified to a limited second user. For this reason, it is possible to confirm the safety status of elderly parents, the crime prevention status of an answering house, the health status of a family living away from a remote location, etc., and it is possible to take appropriate countermeasures for each. It is done.
- the image management unit 101 identifies food warehousing or warehousing, but in addition to food warehousing and warehousing, food movement in the refrigerator compartment 11 is identified. Also good.
- Food movement is identified by the following method, for example. That is, as described above, the image management unit 101 obtains a difference image between the storage room images at the previous and current door opening and closing times. Furthermore, it is determined by matching processing whether there is a difference image of the storage room image at the time of opening and closing the previous door and the previous time and the difference image of the storage room image at the time of opening and closing the door of the previous time and this time. . As a result of the matching process, if any of the difference images of the storage room images at the previous and previous door opening / closing coincides with the difference images of the storage room images at the previous and current door opening / closing, the food is refrigerated. It is determined that it has moved in the chamber 11.
- the deterioration detection unit 103 calculates the elapsed time from the receipt of the food (that is, the inventory period), the inventory period before the food is moved in the refrigerator compartment 11 is also included, so that the deterioration state of the food can be detected.
- the accuracy of notification to two users can be improved.
- various information images of the refrigerator compartment 11 or extracted food images, changes in color and size of food images over time, food deterioration states, first user information indicating the usage status of the first user).
- first user information indicating the usage status of the first user.
- the life management unit 105 the life status is detected in the second information indicating the detected life status of the first user.
- the various types of information may be transmitted to the second user terminal 70 only when it is determined that the situation should be notified to the second user. Thereby, useless transmission can be prevented and the burden on the second user can be reduced.
- the photographing device 27 is provided in the refrigerator compartment 11, but it may be provided in a storage room other than the refrigerator compartment 11, or may be installed in a plurality of storage rooms simultaneously.
- the photographing device 27 is installed in the vegetable room 15 in which vegetables that have a relatively short purchase cycle and are likely to deteriorate, the frequency of shopping can be grasped in a shorter period of time as the occurrence of deterioration or the living situation.
- it is additionally provided in the freezer compartment 14, it is possible to detect the use status of frozen meat or rice and frozen food as dietary related information.
- FIG. 10 is a cross-sectional view showing a schematic structure (a cross-sectional structure taken along line II-II in FIG. 1) of refrigerator compartment 11 of refrigerator 2 according to Embodiment 2 of the present invention.
- FIG. 10 components that are the same as or correspond to the components shown in FIG. 2 are assigned the same reference numerals as those shown in FIG.
- FIG. 11 is a block diagram schematically showing the configuration of the control system of the refrigerator 2 according to the second embodiment.
- the same reference numerals as those shown in FIG. 3 are given to the same or corresponding elements as those shown in FIG.
- the refrigerator 2 according to the second embodiment is different from the refrigerator 1 according to the first embodiment in that the control unit 200 includes a food information storage unit 106 and a food identification unit 107. Is different.
- the control unit 200 is provided on the control board 210, for example.
- the food information storage unit 106 and the storage unit 24 may be separate storage devices, or may be different storage areas of the same storage device.
- the food information storage unit 106 may be a storage area of an information storage unit of an external device (for example, a server) that can communicate via a network.
- the food identification unit 107 is connected to the image management unit 101, the change detection unit 102, and the food information storage unit 106.
- the food identification unit 107 receives the food image extracted by the image management unit 101, and identifies the food (for example, the type and amount of food) stored in the storage room (here, the refrigerator room 11).
- the food identification unit 107 refers to information stored in the food information storage unit 106 in order to identify the type of food.
- the food identification unit 107 adds identification information (information about the type and amount of food) indicating the identification result to each supplementary information (time information and entry / exit identification information) of the food image received from the image management unit 101.
- the change detection unit 102 is provided with the food image and the incidental information to which the identification information is added.
- the food information storage unit 106 is connected to the food identification unit 107.
- the food information storage unit 106 has, for each type of food, a characteristic attribute for distinguishing the type of food from other types of food (for example, at least one of the shape, size, color, and exterior label of the food) Is stored as reference information associated with the type of food.
- FIG. 12 is a diagram showing an example of the specific information (food image database) stored in the food information storage unit 106.
- the food information storage unit 106 stores the characteristic amount of the food itself belonging to the type of food or the characteristic amount of the container containing the food in association with the type of food.
- the food information storage unit 106 features information such as a shape (contour), a major axis size, a representative color (red green blue (RGB) value), and a label (character) for each type of food. I remember it as a quantity.
- the food identification unit 107 collates the food shape of the acquired food image with the food shape stored in the food information storage unit 106, for example, by a method such as pattern matching. Moreover, you may make it the food identification part 107 use other index values, such as brightness or a saturation, for example other than the RGB value of a representative color about the color of a food image.
- control unit 200 may be configured by an electric circuit, or may be configured by a processor as an information processing device that executes a program as software stored in the storage unit 24.
- control unit 200 is configured by a processor, the function of the control unit 200 is realized by executing a program stored in the storage unit 24.
- FIG. 13 is a flowchart for explaining an operation performed each time the door 20 of the refrigerator 2 is opened and closed.
- steps that are the same as or correspond to the steps shown in FIG. 4 (Embodiment 1) are assigned the same step numbers as the step numbers shown in FIG.
- the image management unit 101 calculates the difference between the storage room images when the door 20 is opened / closed last time and this time.
- the image is extracted as a food image, the time information when the extraction is performed, and the food image is determined based on the time of the extraction, and the food identification information is stored in the image management unit 101 as supplementary information together with the food image.
- Step S15 the operation is the same as that of the first embodiment shown in FIG.
- the image management unit 101 transmits the extracted food image and the accompanying information to the change detecting unit 102.
- the image management unit 101 uses the extracted food image and the accompanying information as the food. It gives to the identification part 107 (step S21).
- the food identification unit 107 refers to the information stored in the food information storage unit 106 (for example, the information shown in FIG. 12), and based on the food image received from the image management unit 101, the storage room (here, The type and amount of food stored in the refrigerator compartment 11) are identified (step S22). In this identification, the food identification unit 107 selects the feature value of which food type among the types of food stored in the food information storage unit 106 for each food image extracted by the image management unit 101. Check for a match.
- the food identification unit 107 It is determined that the type of food in the image extracted by the management unit 101 is a type associated with the matched feature amount. If there is no feature amount (feature type feature amount stored in the food information storage unit 106) that matches the extracted food image in the food information storage unit 106, the food identification unit 107 The food type of the image extracted by the management unit 101 may be replaced with the most similar food type, or the food of this image may be configured to identify only the size as a stored item of unknown type. Good.
- the food identification unit 107 indicates the type and amount of the food identified in this way in the food image received from the image management unit 101 and the incidental information (time information and entry / exit identification information) for each food image. Information is added as incidental information (step S23), and the food image and incidental information are given to the change detection unit 102 as in the case of the first embodiment (step S24).
- the change is made in the same manner as in the first embodiment, based on the food image and incidental information (time information, information indicating the type and amount of food, and entry / exit identification information) received from the food identification unit 107.
- the detection unit 102 detects and stores temporal changes in the color and size of the food image.
- the deterioration detection unit 103 uses a uniform judgment criterion regardless of the type of food. A deterioration state was detected. That is, the deterioration detection unit 103 makes a determination based on a plurality of indices for one food image, and if the at least one index exceeds a predetermined reference value, the target food is “consumed early”. It is necessary ”.
- the deterioration state of food varies depending on the type of food (meat, fish, vegetables, etc.).
- meat and fish which are the same fresh food, are generally cooked, even if the color changes from red to brown due to oxidation (metoization), even if the fish eaten raw as sashimi is severely degraded
- metalization oxidation
- the leafy vegetables are deflated or shrunk by transpiration and become smaller, but the size of what is in the container, such as milk or dressing, does not change no matter how much it deteriorates.
- the deterioration detection unit 103 detects the deterioration state of the food
- the criterion for judging deterioration reflecting the information indicating the type and amount of the food identified by the food identification unit 107 is used. The value has been changed. Thereby, the detection accuracy of the deterioration state of food can be improved.
- the reference value for judging deterioration is registered in advance, but the reference value is changed depending on the type of food, and it is the same by methodization or decay
- the reference value for the color change is set larger than that of the fish whose color changes (for example, tuna).
- the same food for example, thin sliced meat that can be photographed almost entirely, and block meat that can only photograph the surface, even if the area occupancy that has changed color due to methodization or spoilage is the same, the block meat also undergoes internal deterioration Therefore, the deterioration can be detected in advance by setting the reference value to be small by reflecting the information indicating the amount.
- the change in size over time reflects information indicating the type of food, and the food contained in the container is excluded from the criteria for judging deterioration, thereby improving the detection accuracy of the food deterioration state. be able to.
- the detection accuracy of the deterioration state of the food in the deterioration detection unit 103 is reflected by reflecting the information indicating the type and amount of the food. Will improve. Therefore, based on the deterioration state of the food, the first information indicating the usage status of the refrigerator compartment 11 detected by the usage status acquisition unit 104 and the life status of the first user detected by the life management unit 105 are displayed. The precision of the 2nd information to show can be improved.
- the life management unit 105 first It is determined that a health or safety problem has occurred in the user, and the safety related information is notified to the second user terminal 70 used by the second user via the communication unit 23.
- the deteriorated food is a seasoning or a luxury product that is used only in a specific dish, it is highly likely that the first user has forgotten to use it, so the urgency is reduced, It is possible to suppress useless notification.
- FIG. 14 is a cross-sectional view showing a schematic structure (a cross-sectional structure taken along line II-II in FIG. 1) of refrigerator compartment 11 of refrigerator 3 according to Embodiment 3 of the present invention. 14, components that are the same as or correspond to the components shown in FIGS. 2 and 10 are given the same reference numerals as those shown in FIGS.
- FIG. 15 is a block diagram schematically showing the configuration of the control system of the refrigerator 3 according to the third embodiment. 15, components that are the same as or correspond to the components shown in FIGS. 3 and 11 are given the same reference numerals as those shown in FIGS.
- the refrigerator 3 according to the third embodiment is different from the refrigerator 2 according to the second embodiment in that a schedule management unit 108 and a schedule setting unit 109 are provided. More specifically, the refrigerator 3 according to the third embodiment is a user who actually uses the refrigerator 3 for an operation panel 21a as an operation unit or an operation display unit installed on the door 20 of the refrigerator compartment 11.
- a schedule setting unit 109 capable of inputting and displaying a schedule that is an action plan of the first user is built in, and is input to the control board 310 as a control device attached to the back of the refrigerator 3 by the schedule setting unit 109. This is different from the refrigerator 2 according to the second embodiment in that a schedule management unit 108 that manages the performed schedule is implemented.
- the operation panel 21a is, for example, a touch panel having an image display function and an information input function.
- the schedule setting unit 109 has, for example, a schedule input button displayed on the operation panel 21a.
- the schedule input button of the schedule setting unit 109 may be a display unit (touch panel) of the first user's mobile terminal that can communicate with the refrigerator 3.
- the schedule management unit 108 can display information useful for the schedule management of the first user on the operation panel 21a using the input schedule.
- the first user of the refrigerator 3 schedules whether the resident of the residence where the refrigerator 3 is installed (that is, the first user of the refrigerator 3) is at home or away from the operation panel 21a (scheduled presence or absence).
- the first user's life pattern for example, a pattern such as wake-up time, bedtime, work time, home time, meal time, etc.
- the first user's shopping pattern for example, a pattern of shopping cycles in one week, supplement to the refrigerator
- Schedule information such as the type and amount of food to be made).
- the schedule information is displayed on the operation panel 21a as shown in FIGS.
- the schedule information of the first user of the refrigerator 3 is managed in the refrigerator 3.
- a server on the network a cloud server 602 in FIG. 19 to be described later
- the schedule management unit 108 is connected to the schedule setting unit 109 and the life management unit 105 in the operation panel 21a, and receives schedule information of the first user of the refrigerator 3 input to the schedule setting unit 109 from the operation panel 21a.
- the schedule information is displayed on the schedule setting unit 109 in a predetermined format (shown in FIGS. 16 to 18 to be described later) and given to the life management unit 105.
- 16 to 18 are diagrams showing examples of a schedule display screen showing schedule information set by the schedule setting unit 109 of the refrigerator 3 according to the third embodiment. 16 to 18 show examples of screens in which the schedule information of the input first user is managed by the schedule management unit 108 and is displayed again on the operation panel 21a. 16 shows an example of a schedule display for one month, FIG. 17 shows an example of a schedule display for one week, and FIG. 18 shows an example of a schedule display for one day.
- the first user of the refrigerator 3 is a family of four people, that is, the father “Taro” (TARO), the mother “Hanako” (HANAKO), the eldest daughter “Kazumi” (TOMOMI), and the eldest son “Kazuo” (KAZUO). ).
- TARO father “Taro”
- HANAKO mother “Hanako”
- TOMOMI eldest daughter
- KAZUO eldest son “Kazuo”
- the scheduled mark 91a “all” (ALL) indicates that the entire family has a schedule
- the scheduled mark 91b “thick” (TA) indicates that “Taro” has a schedule
- the scheduled mark 91c “flower” “(HANA) indicates that there is a plan for" Hanako "
- a scheduled mark 91d” Wa indicates that there is a plan for" Kazumi "
- a scheduled mark 91e” One “(KAZU) indicates” “Ichio” shows that there is a plan.
- a schedule content mark 92 (92a to 92g) is shown in the one week schedule display of FIG.
- the schedule content mark 92a indicates that the trip is scheduled
- the schedule content mark 92b indicates that the trip is scheduled
- the schedule content mark 92c indicates that the golf is scheduled
- the schedule content mark 92d is
- the schedule content mark 92e indicates that there is a plan for swimming (learning)
- the schedule content mark 92f indicates that there is a plan for piano (learning)
- the schedule content mark 92g indicates soccer ( It shows that there is a schedule of learning.
- the current time 93 the outing period scheduled in the normal period (that is, the period in which a regularly repeated action pattern exists)
- Time periods 94a, 94b, outing periods 95a, 95b and a sleeping period 96 scheduled in a period other than the normal period (that is, a period in which there is no regularly repeated action pattern) are shown.
- the outing period 95a scheduled in a period other than the normal period indicates that there is (or has been) a business trip
- the outing period 95b scheduled in a period other than the normal period has a plan to eat out. (Or was there).
- the outing period 94a scheduled in the normal period indicates that there is (or was) a work schedule
- the outing period 94b scheduled in the normal period indicates that the school is scheduled (or was). Show.
- the life management unit 105 uses the refrigerator 3 based on the usage status of the refrigerator compartment 11 acquired from the storage status or the deterioration status of the food in the storage chamber.
- the second information indicating the life status of one user is detected (acquired).
- the life management unit 105 indicates the living state of the first user.
- the determination as to whether or not the second information is information to be notified to the second user is erroneous (that is, an appropriate determination cannot be made).
- the refrigerator It is not necessary to notify safety-related information to a second user different from the first user who uses 3.
- the expiry date of a luxury item such as cake is approaching, if it is determined taking into consideration the type of food, it is a luxury item and there is no urgency, so the second user is notified. do not have to.
- the schedule management unit 108 manages the schedule information of the first user input by the operation panel 21a (that is, the schedule setting unit 109 of the operation panel 21a),
- the schedule setting unit 109 displays a schedule on the operation panel 21 a and gives schedule information indicating the schedule to the life management unit 105.
- the life management unit 105 in the third embodiment adds to the first information indicating the use state detected based on the deterioration state of the food in the use state acquisition unit 104 described in the first and second embodiments. It is possible to detect and manage the second information indicating the living status of the first user reflecting the schedule information of the first user.
- unnecessary safety-related information can be prevented from being notified to a second user such as a family living in a distant place.
- December 25 shown in the daily schedule display of FIG. 18 is not in the normal period in addition to the outing time zones 94a and 94b scheduled in the normal period.
- the usage status acquisition unit 104 detects a situation where a food item whose expiration date is approaching, such as sashimi or cake, is not used, the life management unit 105 is the first tonight.
- the second user By reflecting the schedule information that all users (all family members) are eating out, the second user, who is a family living in the neighborhood, is notified that there is food in the refrigerator 3 that is about to expire. Can be used by the second user. In this way, wasteful disposal of food can be prevented.
- the life management unit 105 uses the first user's schedule information to indicate the second user's life situation. Since it is determined whether or not the information is information to be notified to the second user, it is based on notification of the second information of information that does not need to be notified to the second user (that is, excessive notification of the second information). It is possible to prevent communication loss and food loss due to notification failure (that is, insufficient notification) of the second information that needs to be notified to the second user.
- the continuous storage pattern of the foodstuff in a storage room the pattern of a 1st user's shopping, etc. It can be assumed. For example, when the deterioration state of the food progresses as it approaches the weekend, and the weekday daytime schedule is almost filled with the outing periods 94a and 94b scheduled in the normal period shown in FIG. It is assumed that the household has a shopping pattern in which food is bought at the weekend.
- the life management unit 105 sends a second user (for example, an electrical store with a long-standing transaction, or a service representative of the electrical store) to the second user different from the first user who uses the refrigerator 3.
- the second information indicating the living status of the first user can be notified.
- the transmission destination of the schedule information may be the deterioration detection unit 5 or the usage status acquisition unit 104 arranged in a stage preceding the life management unit 105.
- the schedule information can be reflected in the detection of the living condition of the first user, and particularly when the schedule information is sent to the deterioration detection unit 103, the deterioration state of the generated food is It is possible to determine in advance whether it is accidental or inevitable due to a change in the schedule of the first user. For this reason, the 2nd information which shows the 1st user's living condition can be appropriately notified to the 2nd user via communications department 23.
- FIG. 19 is a diagram illustrating a schematic configuration of a network system according to the fourth embodiment.
- the same components as those described in the first to third embodiments are denoted by the same reference numerals as those used in the first to third embodiments.
- the network system according to the fourth embodiment includes a home system 500 and an outside system 600 that can communicate with the home system 500 via the Internet.
- Home system 500 includes refrigerator 4.
- the refrigerator 4 is any one of the refrigerators 1, 2, and 3 of the first, second, and third embodiments.
- the in-home system 500 includes home appliances such as a refrigerator 4, a room air conditioner, a water heater, an IH (Induction Heating) cooking heater, and a microwave oven. These home appliances and power measuring device 503 are connected to the system power source 501 by the electric lamp line 502, and power is supplied from the system power source 501.
- the in-home system 500 includes a power measurement device 503 and a power measurement terminal 504 for measuring the power supplied from the system power source 501 to each home appliance through the power line 502, a home controller 505, a broadband router 506, and a communication device.
- Device communication unit 515 Device communication unit 515.
- the power measuring device 503 measures the power supplied to each home appliance (that is, the power consumption of each home appliance) and the total power supplied from the system power source 501 to the entire home appliance and the power measuring device 503. Measurement results (history) can be saved.
- the power measuring device 503 measures the supplied power using a power measuring terminal 504 such as a CT (Current Transformer).
- Each of the home appliance and the power measuring device 503 is provided with a device communication unit 515 for communicating with the home controller 505 via a communication network.
- the communication network is, for example, a wired or wireless LAN (local area network).
- the home appliances such as the refrigerator 4 and the power measuring device 503 can bidirectionally communicate with the in-home controller 505 via the respective device communication units 515 in a wired or wireless manner.
- the apparatus communication part 515 connected to the refrigerator 4 plays the same role as the communication part 23 as a communication apparatus demonstrated by Embodiment 1-3. Therefore, when the communication unit 23 of the refrigerator 4 can directly communicate with the home controller 505 by wire or wireless, it is not necessary to include the device communication unit 515 for the refrigerator 4.
- the device communication unit 515 When the device communication unit 515 has a function of performing wired communication, the device communication unit 515 includes a wired communication module such as a serial interface or a driver, for example. When the device communication unit 515 has a wireless communication function, the device communication unit 515 includes a wireless communication module such as Wi-Fi (registered trademark) or Bluetooth (registered trademark). Note that the device communication unit 515 may be included in each of the home appliance and the power measurement device 503 or may be provided outside the home appliance and the power measurement device 503.
- Wi-Fi registered trademark
- Bluetooth registered trademark
- the home controller 505 can acquire information on the power consumption of the home appliance and the power supplied to the system power source 501 measured by the power measuring device 503 from the power measuring device 503 via the communication network. Further, the home controller 505 can acquire information on the operating state of the home appliance via the communication network. Then, the home controller 505 manages the acquired power consumption, supply power, and operating state information, and if necessary, controls change instructions (for example, operating state change instructions) to the home appliance via the communication network. ) Can be transmitted.
- change instructions for example, operating state change instructions
- the home controller 505 is connected to the Internet 601 of the outside system 600 via the broadband router 506.
- the Internet 601 is connected to a cloud server 602 in which various power information and environmental information such as weather forecasts are stored.
- the Internet 601 is also connected to the second user terminal 70.
- the second user terminal 70 is a device used by a second user different from the first user of the refrigerator 4 as described in the first embodiment.
- the second user terminal 70 is, for example, a smart phone, a mobile tablet, a second user (a manager such as a family member, a relative, a friend, an acquaintance, a security company, a public institution, or a care company) that has been given usage rights.
- a device having a communication function such as a mobile phone or a personal computer.
- the cloud server 602 is an external server that is communicably connected to the refrigerator 4 and the second user terminal 70 via the Internet 601. It is desirable that the cloud server 602 includes a personal authentication unit 603 that authenticates the second user terminal 70 with or without connection authority to the refrigerator 4.
- the cloud server 602 stores in advance a portable terminal ID of the second user terminal 70 having the authority to connect to the refrigerator 4 with respect to the ID (identifier) of the refrigerator 4 in a built-in or externally connected storage unit.
- the ID of the refrigerator 4 is information that can uniquely identify each of the plurality of refrigerators that can be connected to the Internet 601.
- the mobile terminal ID is information that can uniquely identify each of a plurality of mobile terminals connected to the Internet 601.
- the personal authentication unit 603 determines whether or not the portable terminal ID of the second user terminal 70 is stored as having authority to connect to the refrigerator 4 with respect to the refrigerator 4 (at the registered second user terminal). By checking whether or not there is an authority to connect to the refrigerator 4 with respect to the second user terminal 70.
- the cloud server 602 as an external server connects (communications) the second user terminal 70 that has been authenticated by the personal authentication unit 603 to have the authority to connect to the refrigerator 4 to the refrigerator 4 via the Internet 601. to approve. That is, the cloud server 602 prohibits a mobile terminal that is not authenticated to have authority to connect to the refrigerator 4 by the personal authentication unit 603 from connecting to the refrigerator 4 via the Internet 601.
- the home controller 505 obtains the power consumption of the home appliance or the power supplied from the system power source 501 from the power measuring device 503 in the home system 500, and obtains information on the operating state or the surrounding environment from the home appliance. Further, the home controller 505 is connected to the Internet 601 via the broadband router 506, and can obtain various power information or various environment information from the cloud server 602.
- the in-home controller 505 of the in-home system 500 can obtain the power supply / demand situation regarding the area where the in-home system 500 is installed as power information from the cloud server 602 of the outside system 600.
- the in-home controller 505 can transmit a power saving instruction to a home electric appliance with particularly high power consumption.
- a power saving instruction to a home electric appliance with particularly high power consumption.
- an increase in the set temperature can be instructed from the home controller 505.
- the second user terminal 70 can be connected to the refrigerator 4 directly or indirectly via the Internet 601 and via the home controller 505. At this time, only the second user terminal 70 that is authenticated by the personal authentication unit 603 of the cloud server 602 to be authorized to connect to the refrigerator 4 is permitted to connect to the refrigerator 4.
- the portable terminal ID of the second user terminal 70 is registered, the life status of the first user of the refrigerator 4 is shown while maintaining security.
- the second information can be shared. Further, not only the first user but also the second user can check the stock status of the food in the storage room of the refrigerator 4 at a shopping destination such as a supermarket. Or forgetting to buy necessary food.
- all or part of the reference information referred to by the food identification unit may be stored in the cloud server 602 that is an external server.
- the reference information of the food information storage unit (configuration 106 in FIG. 11) in the cloud server 602
- huge data regarding the type of food is shared with users other than the first user and the second user, for example. Is possible.
- the personal authentication unit 603 described above authenticates the connection authority using the ID
- the authentication method is not limited to this.
- the personal authentication unit 603 replaces the authentication using the ID or in addition to the authentication using the ID, for example, biometric authentication such as a fingerprint, a vein, and an iris of the eye, or authentication using a password, or these authentication methods.
- the connection authority may be authenticated by a combination of.
- the second terminal device 70 used by the second user is Whether or not it is a portable terminal of a person who has authority to communicate with the refrigerator can be strictly authenticated. For this reason, it can prevent reliably that the usage condition of a refrigerator and the 1st user's living condition which are personal information of a 1st user leak to the person who does not have authority.
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
第1ユーザによって使用される冷蔵庫(1)は、食品を収納する貯蔵室と、通信を行う通信部(23)と、貯蔵室内の画像を取得する撮影装置(27)と、撮影装置(27)によって取得された貯蔵室画像から食品画像を抽出する画像管理部(101)と、ある期間における食品画像から、貯蔵室内に収納されている食品の状況の変化を検出する食品状況検出部(103a)と、食品状況検出部(103a)によって検出された食品の状況の変化から、第1ユーザによる冷蔵庫(1)の使用状況を示す第1情報を取得する使用状況取得部(104)と、第1情報から第1ユーザの生活状況が第1ユーザとは異なる第2ユーザに報知されるべき状況であると判断した場合に、通信部(23)を介して生活状況を示す第2情報を第2ユーザが使用する端末装置(70)に報知する生活管理部(105)とを備える。
Description
本発明は、通信機能を備えた冷蔵庫、冷蔵庫を含むネットワークシステム、冷蔵庫のユーザの生活状況の報知方法、及びコンピュータに報知方法を実行させる生活状況の報知プログラムに関する。
近年、日本において、全人口に占める高齢者(65歳以上の者)の割合が増加している。また、1世帯を構成する人の数が少なくなっており、1人世帯(1人暮らし)が増加する傾向にある。このため、1人暮らしの高齢者の安否の確認及び介護の要否の確認が必要になっている。ところで、人の生活状況は、その人(ユーザ)の冷蔵庫の使用状況から、推測することが可能である。その理由は、冷蔵庫の使用状況は、冷蔵庫のユーザの生活の一部である食生活と密接に関係しているからである。
特許文献1は、食品に無線タグを取り付け、無線タグから送られる情報と冷蔵庫内の温度センサから送られる温度情報とに基づいて、保存可能期間-保存温度-品質耐性(TTT)理論から、食品の品質劣化特性を推定する技術を開示している。
また、特許文献2は、庫内及び庫外を撮影することによって得られた画像データを、サーバを介して携帯電話機(携帯端末)に送信し、遠隔地から庫内及び庫外を監視することを可能にした物品保存庫としての冷蔵庫を記載している。
しかしながら、特許文献1に記載された技術では、冷蔵庫の使用状況を示す情報を取得するために食品に貼付された無線タグ用のリーダー及びライターなどの専用の装置が必要であり、システム全体のコストが増加するという課題がある。
特許文献2に記載された冷蔵庫は、リーダー及びライターなどの専用の装置を必要とせず、冷蔵庫の内外の画像データをユーザの携帯端末に送信して、ユーザの携帯端末の表示部に冷蔵庫の内外の画像を表示させることができる。しかし、この冷蔵庫は、冷蔵庫の使用状況に基づく判断(例えば、ユーザの生活状況に関する判断)をすることはできない、という課題があった。
さらに、特許文献1及び2のいずれも、ユーザ以外の者(第三者)である他のユーザが使用する端末装置(第2ユーザ端末)に冷蔵庫のユーザの生活状況を報知する技術を記載していない。
本発明は、上記課題を解決するためになされたものであり、貯蔵室内に保存されている食品の画像情報から取得された冷蔵庫の第1ユーザの生活状況を、冷蔵庫の第1ユーザ以外の者である第2ユーザが使用する端末装置に報知することが可能な冷蔵庫、それを備えたネットワークシステム、冷蔵庫のユーザの生活状況の報知方法、及びコンピュータに報知方法を実行させる生活状況の報知プログラムを提供することを目的とする。
本発明の一態様に係る冷蔵庫は、食品を収納する貯蔵室と、通信を行う通信部とを備え、第1ユーザによって使用される冷蔵庫であって、前記貯蔵室内の画像を取得する撮影装置と、前記撮影装置によって取得された前記画像から食品画像を抽出する画像管理部と、ある期間における前記食品画像から、前記貯蔵室内に収納されている食品の状況の変化を検出する食品状況検出部と、前記食品状況検出部によって検出された前記食品の状況の変化から、前記第1ユーザによる前記冷蔵庫の使用状況を示す第1情報を取得する使用状況取得部と、前記第1情報から前記第1ユーザの生活状況が前記第1ユーザとは異なる第2ユーザに報知されるべき状況であると判断した場合に、前記通信部を介して前記生活状況を示す第2情報を前記第2ユーザが使用する端末装置に報知する生活管理部とを備えている。
本発明の他の態様に係るネットワークシステムは、前記冷蔵庫と、前記冷蔵庫と通信可能に接続され、前記第2ユーザが使用する前記端末装置とを備えている。
本発明の他の態様に係る生活状況の報知方法は、第1ユーザによって使用される冷蔵庫の貯蔵室内を撮影することによって前記貯蔵室内の画像を取得するステップと、取得された前記画像から食品画像を抽出するステップと、ある期間における前記食品画像から、前記貯蔵室内に収納されている食品の状況の変化を検出するステップと、検出された前記食品の状況の変化から、前記第1ユーザによる前記冷蔵庫の使用状況を示す第1情報を取得するステップと、前記第1情報から前記第1ユーザの生活状況が前記第1ユーザとは異なる第2ユーザに報知されるべき状況であると判断した場合に、前記生活状況を示す第2情報を前記第2ユーザが使用する端末装置に報知するステップとを有する。
本発明によれば、食品画像から検出された食品の状況の変化から第1ユーザによる冷蔵庫の使用状況を示す第1情報を取得し、第1情報から第1ユーザの生活状況が第2ユーザに報知されるべき状況であると判断した場合に、生活状況を示す第2情報を第2ユーザが使用する端末装置(別ユーザ端末)に報知することができる。このため、第1ユーザの生活状況を示す第2情報を受け取った第2ユーザは、第1ユーザに対する適切な対処を講じることができる。
《1》実施の形態1
《1-1》構成
図1は、本発明の実施の形態1に係る冷蔵庫1の概略構造を示す正面図である。図1に示されるように、実施の形態1に係る冷蔵庫1は、食品を収納するための複数の貯蔵室を備えている。複数の貯蔵室は、例えば、冷蔵室11、製氷室12、切替室13、冷凍室14、及び野菜室15を含む。図1に示される例では、上から冷蔵室11、製氷室12と切替室13、冷凍室14、及び野菜室15が、この順で配置されている。また、製氷室12と切替室13とは、水平方向の左右に並んで配置されている。冷蔵庫1は、貯蔵室を冷却する冷却装置を備えている。冷却装置は、例えば、圧縮機、凝縮器、膨張弁、及び蒸発器を有する冷凍サイクル回路を備えている。複数の貯蔵室は、冷凍サイクル回路によって冷却される。なお、図1は、実施の形態2(図10)及び実施の形態3(図14)においても参照される。冷蔵庫1は、実施の形態2、3、及び4において、冷蔵庫2、3、及び4とそれぞれ表記される。
《1-1》構成
図1は、本発明の実施の形態1に係る冷蔵庫1の概略構造を示す正面図である。図1に示されるように、実施の形態1に係る冷蔵庫1は、食品を収納するための複数の貯蔵室を備えている。複数の貯蔵室は、例えば、冷蔵室11、製氷室12、切替室13、冷凍室14、及び野菜室15を含む。図1に示される例では、上から冷蔵室11、製氷室12と切替室13、冷凍室14、及び野菜室15が、この順で配置されている。また、製氷室12と切替室13とは、水平方向の左右に並んで配置されている。冷蔵庫1は、貯蔵室を冷却する冷却装置を備えている。冷却装置は、例えば、圧縮機、凝縮器、膨張弁、及び蒸発器を有する冷凍サイクル回路を備えている。複数の貯蔵室は、冷凍サイクル回路によって冷却される。なお、図1は、実施の形態2(図10)及び実施の形態3(図14)においても参照される。冷蔵庫1は、実施の形態2、3、及び4において、冷蔵庫2、3、及び4とそれぞれ表記される。
冷蔵室11の扉(冷蔵室扉)20の前面(正面)には、表示装置としての表示部(表示画面)を有する操作パネル21が備えられてもよい。操作パネル21の表示画面には、各貯蔵室の設定温度及び現在温度などの冷蔵庫1に関する情報である貯蔵室情報(庫内情報)を表示させることができる。操作パネル21は、例えば、ユーザの入力を受け付けるタッチパネルを有している。操作パネル21の設置位置は、冷蔵室11の扉20に限るものではなく、他の貯蔵室の扉の外面又は冷蔵庫1の側面などのような他の位置に設置されてもよい。また、製氷室12、切替室13、冷凍室14、及び野菜室15は、例えば、それらの前面に備えられた扉と共に、冷蔵庫1の手前側にスライドさせて引き出すことができるように構成されている。図1は、本発明が適用可能な冷蔵庫の一例を示しているが、本発明が適用可能な冷蔵庫は、図1に示されるものに限定されない。
図2は、実施の形態1に係る冷蔵庫1の冷蔵室11の概略構造(図1を線分II-IIで切る断面構造)を示す断面図である。図2に示されるように、冷蔵庫1は、冷蔵室11の前面側(図2における左側)の開口部を開閉する扉20を有している。冷蔵室11は、内部に配置された複数の棚板(棚)16によって、複数の空間に仕切られている。最下段の棚板16の下側の空間は、チルド室17である。チルド室17の内部には、レールなどの案内部材(図示せず)に沿って、前方(図2における左方向)へ引き出すことができるチルドケース18が設置されている。また、冷蔵室11の背面側(図2における右側)には、冷凍サイクル回路によって冷却された空気を貯蔵室に導く通路としての冷却風路19が設けられている。
扉20と接する冷蔵庫1の本体には、扉20の開閉を検出する開閉検出装置としての開閉検出部22が備えられている。開閉検出部22は、例えば、扉20に埋め込まれたマグネット(永久磁石)の近接を、冷蔵庫1の本体に設置された1対のリードスイッチが検出するマグネット方式の装置である。ただし、開閉検出部22は、機械式のスイッチ又は光学式のスイッチなどのような他の検出方式を採用する検出装置であってもよい。
また、冷蔵庫1は、冷蔵庫1を動作させるための制御回路(制御部)を有する制御基板110を備えている。制御基板110は、例えば、冷蔵庫1の背面に備えられる。
扉20の内側の面には、撮影装置27が設置されている。図2の例では、撮影装置27は、冷蔵室11の天井面からチルド室17までを視野範囲とし、ユーザの視点と同じ側である扉20側から冷蔵室11内を撮影することが可能な構成となっている。なお、撮影装置27の設置位置は、扉20の内面に限られない。撮影装置27は、棚板16上に載置される食品等の収納物を広範囲に撮影できる位置であれば、どの位置に設置されてもよい。また、棚板16に視野を遮られることを考慮して、より多くの収納物を撮影できるようにするため、複数の撮影装置27を設置してもよい。また、撮影装置27は、冷蔵室11以外の貯蔵室を撮影する位置に備えてもよい。
また、冷蔵庫1は、冷蔵庫1を動作させるための制御回路を有する制御基板110を備えている。制御基板110は、例えば、冷蔵庫1の背面に取り付けられる。
図3は、実施の形態1に係る冷蔵庫1の制御系の構成を概略的に示すブロック図である。図3に示されるように、冷蔵庫1の制御系は、例えば、操作パネル21と、扉20の開状態及び閉状態を検出する開閉検出部22と、外部装置としての携帯端末(端末装置)と有線又は無線で通信することができる通信装置としての通信部23と、情報を記憶する半導体メモリなどのような記憶部24と、時刻情報を提供する時刻提供部25と、冷蔵庫1の全体の動作を制御する制御部100とを備えている。また、冷蔵庫1の制御系は、例えば、冷凍サイクル回路の一部を構成する圧縮機(コンプレッサ)32を駆動させるコンプレッサ駆動回路31と、冷蔵庫1の貯蔵室内に空気を流すファン(モータ)34を駆動させるファン駆動回路33とを備えている。冷蔵庫1の制御系の主要部である回路は、制御基板110に備えることができる。ただし、図3の回路の一部を、他の制御基板(図示せず)に備えてもよい。
通信部23は、例えば、Wi-Fi(登録商標)又はBluetooth(登録商標)などの通信モジュールを具備している。冷蔵庫1は、通信部23を用いることによって、例えば、ルータ(後述の図19に示されるブロードバンドルータ506)及びインターネット(後述の図19に示されるインターネット601)のうちの少なくとも一方を経由して、宅内又は宅外に存在する、スマートフォン、携帯タブレット、携帯電話、パーソナルコンピュータなどのような端末装置と通信することができる。この端末装置は、例えば、冷蔵庫1のユーザ(以下「第1ユーザ」又は「被管理者」とも言う)が使用する端末装置(以下「第1ユーザ端末」とも言う)と、第1ユーザ以外の第三者であるユーザ(以下「第2ユーザ」又は「管理者」とも言う)が使用する端末装置(以下「第2ユーザ端末」又は「別ユーザ端末」とも言う)70とを含む。冷蔵庫1の制御部100は、冷蔵庫1に関する各種情報を、第1ユーザ端末の表示部と第2ユーザ装置70の表示部71とのいずれかに又は両方に表示させるための情報の送信を行うことができる。
時刻提供部25が提供する時刻情報は、時、分、秒だけでなく、日にち(月日又は年月日)の情報も含むことができる。時刻提供部25は、例えば、時計、又は、時刻信号の提供者が送信する時刻信号を受信する時刻受信装置であってもよい。
制御部100は、電気回路によって構成されてもよく、又は、記憶部24に記憶されているソフトウェアとしてのプログラムを実行する情報処理装置としてのプロセッサによって構成されてもよい。制御部100がプロセッサで構成される場合には、制御部100の機能は、記憶部24に記憶されているプログラムを実行することによって、実現される。このように、制御部100の機能は、冷蔵庫1(又は2~4)内のプロセッサによって実行されるプログラム(生活状況の報知方法又は報知プログラム)によって実現可能である。また、制御部100の機能は、冷蔵庫1と通信可能なコンピュータ(ネットワーク上のサーバであってもよい)によって実行されるプログラム(生活状況の報知方法又は報知プログラム)によっても実現可能である。生活状況の報知プログラムは、食品を収納する貯蔵室11と、通信を行う通信部23と、貯蔵室11内の画像を取得する撮影装置27とを備えた冷蔵庫1(又は2~4)を使用する第1ユーザの生活状況の報知プログラムであって、撮影装置27によって冷蔵庫1(又は2~4)の貯蔵室11内を撮影させることによって貯蔵室11内の画像を取得する処理と、取得された画像から食品画像を抽出する処理と、ある期間における食品画像から、貯蔵室11内に収納されている食品の状況の変化を検出する処理と、検出された食品の状況の変化から、第1ユーザによる冷蔵庫1(又は2~4)の使用状況を示す第1情報を取得する処理と、第1情報から第1ユーザの生活状況が第1ユーザとは異なる第2ユーザに報知されるべき状況であると判断した場合に、生活状況を示す第2情報を第2ユーザが使用する端末装置に報知する処理と、をコンピュータ(制御部100又は外部のコンピュータ又はネットワーク上のサーバなどの情報処理装置)に実行させることができる。
図3に示されるように、制御部100は、画像管理部101と、変化検出部102と、劣化検出部103と、使用状況取得部104と、生活管理部105とを有している。また、制御部100は、制御部100の全体の動作を制御する主制御部(図示せず)を含んでもよい。また、変化検出部102と劣化検出部103とは、食品状況検出部103aを構成する。また、図3において、記憶部24は、画像管理部101と別個の構成として示されているが、記憶部24は、画像管理部101の一部(又は制御部100の一部)であってもよく、他の構成の一部であってもよい。例えば、記憶部24は、冷蔵庫1の外部に接続された記憶装置又はネットワークを経由して通信可能に接続された装置(例えば、サーバ)の記憶装置であってもよい。
画像管理部101は、撮影装置27、変化検出部102、及び通信部23と接続されている。画像管理部101は、例えば、扉20の開閉時に、撮影装置27による冷蔵室11内の撮影によって取得された冷蔵室11内の全体画像(画像データ)を受け取り、受信した全体画像(以下「庫内画像」又は「貯蔵室画像」とも言う)から食品部分の画像(食品画像)を抽出する。さらに、画像管理部101は、取得された全体画像から抽出された食品画像に時刻情報(例えば、撮影時刻情報)を付帯情報として追加して、画像管理部101内の記憶部(記憶部24と異なる記憶部であってもよく、又は、記憶部24であってもよい)に保存する。画像管理部101は、時刻情報に基づいて食品画像を時系列に並び換えて保存してもよい。画像管理部101は、食品画像及び付帯情報(時刻情報及び入出庫識別情報を含んでもよい)を変化検出部102及び通信部23に与える。
変化検出部102は、画像管理部101、劣化検出部103、及び通信部23と接続されている。変化検出部102は、画像管理部101から食品画像及び付帯情報を受け取り、食品画像の色及び大きさ(実際の食品の色及び大きさに対応する)の時間変化を検出して変化検出部102内の記憶部(記憶部24と異なる記憶部であってもよく、又は、記憶部24であってもよい)に保存する。また、変化検出部102は、検出した食品画像の色及び大きさの時間変化を示す情報を、劣化検出部103及び通信部23に与える。
劣化検出部103は、変化検出部102、使用状況取得部104、及び通信部23と接続されている。劣化検出部103は、変化検出部102から食品画像の色及び大きさの時間変化を受け取り、その時間変化に基づいて食品の劣化状態を検出(推定)し、劣化状態の検出結果を使用状況取得部104及び通信部23に与える。したがって、変化検出部102及び劣化検出部103を有する食品状況検出部103aは、貯蔵室画像から抽出された食品画像から、収納された食品の保管状態を検出することができる。
使用状況取得部104は、食品状況検出部103aの劣化検出部103、生活管理部105、及び通信部23と接続されている。使用状況取得部104は、劣化検出部103から、冷蔵室11内に収納された食品の保管状態として、食品画像単位の食品の劣化状態を受け取り、この劣化状態を示す情報から、例えば、「現在収納されている食品は劣化していない。」などの短期的な使用状況、又は、月日若しくは年月日などの時刻情報と組み合わせて「劣化した食品が数日間放置されている。」などの長期的な使用状況を検出(推定)する。このように、使用状況取得部104は、貯蔵室内における食品の劣化状態に基いて、冷蔵庫1の第1ユーザによる使用状況を検出し、この使用状況を示す情報(以下「第1情報」とも言う)を生活管理部105に与える。
生活管理部105は、使用状況取得部104及び通信部23と接続されている。生活管理部105は、使用状況取得部104から、食品の劣化状態に基づく第1ユーザの使用状況の示す第1情報を受け取り、この第1情報から第1ユーザの生活状況を示す情報(以下「第2情報」とも言う)を取得する。第1ユーザの生活状況を示す第2情報は、例えば、第1ユーザの自宅における第1ユーザの在宅若しくは不在の傾向、又は、第1ユーザが買い物に行く頻度などである。また、生活管理部105は、生活状況を示す第2情報の中で、第2ユーザ端末70に報知すべきである情報(要報知情報)、例えば、冷蔵庫1の第1ユーザの安否に関する情報、又は、第1ユーザ宅の防犯に関する情報などを分類し、報知すべき生活状況を示す第2情報として通信部23に送る。
通信部23は、画像管理部101、変化検出部102、劣化検出部103、使用状況取得部104、及び生活管理部105と接続され、また、第2ユーザ端末70とは無線又は有線で接続される。通信部23は、画像管理部101から食品画像及び付帯情報を受け取り、変化検出部102から食品画像の色及び大きさの時間変化を示す情報を受け取り、劣化検出部103から食品の劣化状態を示す情報を受け取り、使用状況取得部104から第1ユーザの使用状況を示す第1情報を受け取り、生活管理部105から生活状況の中の第2ユーザに報知すべきである情報(第2情報)を受け取る。それぞれの情報は、例えば、無線通信によって、冷蔵庫1を使用する第1ユーザ以外の第2ユーザが使用する第2ユーザ端末70に送信することができる。なお、第2情報の送信先である第2ユーザ端末70は、例えば、第1ユーザなどによって、冷蔵庫1内の記憶部に、又は、ネットワーク上の管理装置としてのサーバに予め登録されていてもよい。
第2ユーザ端末70は、通信部23と無線通信可能に接続されている。第2ユーザ端末70は、通信部23から送信された、食品画像及び付帯情報、食品画像の色及び大きさの時間変化を示す情報、食品の劣化状態を示す情報、第1ユーザの冷蔵庫1の使用状況を示す第1情報、及び生活状況を示す第2情報の中で第2ユーザに報知すべき情報を受信し、受信内容を第2ユーザ端末70の表示部71に表示させることができる。
《1-2》動作
次に、実施の形態1に係る冷蔵庫1の動作の一例について、図2から図4を参照して説明する。図4は、冷蔵庫1の扉20が開閉される毎に行われる動作を説明するためのフローチャートである。
次に、実施の形態1に係る冷蔵庫1の動作の一例について、図2から図4を参照して説明する。図4は、冷蔵庫1の扉20が開閉される毎に行われる動作を説明するためのフローチャートである。
図4に示される動作は、扉20の開閉によって開始される。扉20の開閉が開閉検出部22によって検出されると(ステップS11においてYES)、撮影装置27が、冷蔵室11内を撮影する(ステップS12)。撮影装置27は、例えば、扉20が閉じられた後、冷蔵室11内の照明が点灯している間に撮影を行う。これは、扉20の開閉が検出されると、冷蔵室11内の食品が出し入れされた可能性があるためである。
撮影装置27は、撮影によって得られた冷蔵室11内の貯蔵室画像(望ましくは、貯蔵室全体の画像)を、画像管理部101に与える(ステップS13)。したがって、画像管理部101は、扉20が開閉される毎(すなわち、冷蔵室11内の収納状態が変化する可能性がある毎)に、撮影装置27から貯蔵室画像を受け取る。以下の説明では、今回(最新)の扉20の開閉時を「今回の扉開閉時」と称し、前回(1回前)の扉20の開閉時を「前回の扉開閉時」と称する。
画像管理部101は、前回の扉開閉時に撮影装置27から受け取った貯蔵室画像(画像データ)を(例えば、記憶部24に)保存しており、今回の扉開閉時に撮影装置27から受け取った貯蔵室画像を(例えば、記憶部24に)新たに保存する。そして、画像管理部101は、前回の扉開閉時の貯蔵室画像と今回の扉開閉時の貯蔵室画像との差分を演算することにより、貯蔵室画像の変化部分の画像を食品画像として抽出する(ステップS14)。つまり、貯蔵室画像の変化部分の画像とは、入庫又は出庫された食品の画像である。
例えば、前回の扉開閉時の貯蔵室画像では、冷蔵室11の棚板16にビールが置かれており、今回の扉開閉時の貯蔵室画像では、同じ場所にビールが置かれていない棚板16のみである場合には、2つの貯蔵室画像の差分により、ビールの食品画像が抽出される。
画像管理部101は、このようにして抽出した食品画像に、その抽出を行った時点での現在時刻(又は、撮影を行った時刻)である時刻情報を付帯情報として追加し、これら食品画像及び付帯情報を、時刻情報に基づいて時系列に並び換えて保存する(ステップS15)。
このとき、画像管理部101は、食品の入庫又は出庫の判断を行う。具体的には、画像管理部101は、食品画像を抽出する際に、差分により変化した部分を分析し、例えば、エッジ処理して得られたエッジの変化量、及び、撮影時の貯蔵室画像と食品画像と予め記憶した空状態(冷蔵室11内に食品が全く収容されていない状態)の貯蔵室画像との比較により、食品の入庫又は出庫を判断する。そして、画像管理部101は、入庫又は出庫の判断結果(入出庫識別情報)を食品画像の付帯情報に追加して保存する。
さらに、画像管理部101は、食品画像及び付帯情報(時刻情報及び入出庫識別情報)を、変化検出部102及び通信部23に与える(ステップS16)。
続くステップS17では、変化検出部102が、画像管理部101から食品画像及び付帯情報を受け取り、食品画像の色及び大きさの時間変化を検出して保存するが、これについては後述する。ステップS12からS17の、冷蔵室11の貯蔵室画像を取得してから、食品画像及び付帯情報を食品状況検出部103aに与えるまでの一連の動作は、ステップS11にて扉20の開閉が検出される度に実施される。
図5(a)から(d)は、実施の形態1に係る冷蔵庫1の冷蔵室11の撮影画像81a~81d、撮影画像から抽出された食品画像82b,82c,82d1,82d2、及び食品画像の付帯情報83d1,84d1,83d2,84d2の例を示す図である。図5(a)から(d)には、扉20の開閉時に、撮影装置27による撮影によって取得されて画像管理部101に送られる撮影データである貯蔵室画像と、貯蔵室画像から抽出された画像データである食品画像と、その付帯情報(時刻情報及び入出庫識別情報)とが示されている。
図5(a)は、時刻Aにおいて、撮影装置27の撮影で取得されて画像管理部101に送信される貯蔵室画像81aを示す。時刻Aでは、扉20は開閉されたが、食品の入庫及び出庫は行われていない。時刻Aとそれ以前とでは、貯蔵室画像に変化がないため、画像管理部101は、差分画像(食品画像)を生成しない。
図5(b)は、時刻Aの後の時刻Bにおいて、撮影装置27の撮影によって取得されて画像管理部101に送られる貯蔵室画像81bと、貯蔵室画像81bから抽出された食品画像82bと、その付帯情報83b,84bとを示す。時刻Bでは、冷蔵室11の最上段の冷蔵室棚板から缶飲料であるビールが出庫している。画像管理部101は、時刻Aの貯蔵室画像と時刻Bの貯蔵室画像との差分により食品画像(ビール)82bを抽出し、また、入庫又は出庫の判断結果に基づき、食品画像と共に、付帯情報である時刻情報「時刻B」83b及び「出庫」という入出庫識別情報84bを保存する。
図5(c)は、時刻Bの後の時刻Cにおいて、撮影装置27の撮影によって取得されて画像管理部101に送信される貯蔵室画像81cと、貯蔵室画像81cから抽出された食品画像82cと、その付帯情報83c,84cとを示す。時刻Cでは、冷蔵室11の最下段の冷蔵室棚板から容器内の食品であるサラダが出庫している。画像管理部101は、時刻Bの貯蔵室画像と時刻Cの貯蔵室画像との差分により食品画像(サラダ)82cを抽出し、また、入庫又は出庫の判断結果に基づき、食品画像と共に、付帯情報である時刻情報「時刻C」83c及び「出庫」という入出庫識別情報84cを保存する。
図5(d)は、時刻Cの後の時刻Dにおいて、撮影装置27で撮影されて画像管理部101に送信される貯蔵室画像81dと、貯蔵室画像81dから抽出された食品画像82d1,82d2と、その付帯情報83d1,84d1,83d2,84d2とを示す。時刻Dでは、冷蔵室11の最上段の冷蔵室棚板上に紙パックの牛乳が入庫し、さらに、最下段の冷蔵室棚板上にケーキが入庫している。画像管理部101は、時刻Cの貯蔵室画像と時刻Dの貯蔵室画像との差分により食品画像(牛乳及びケーキ)82d1,82d2を抽出し、また、入庫又は出庫の判断結果(この場合は、牛乳、ケーキともに「入庫」)に基づき、食品画像と共に、付帯情報である時刻情報「時刻D」83d1,83d2及び「入庫」という入出庫識別情報84d1,84d2を保存する。
このように、画像管理部101は、食品画像を、時刻情報及び入出庫識別情報と共に保存しているため、食品の入庫時刻を把握することができ、入庫時刻に基づいて劣化状態を検出することができる。すなわち、画像管理部101は、冷蔵室11に収納されている食品(在庫食品)を画像として把握すると共に、在庫食品の劣化状態の検出に必要な情報を保持している。
ここで、画像管理部101が保存する画像データは、前回の画像データとの差分によって抽出された食品画像(貯蔵室画像の変化部分)と、その差分の基準となる最新の貯蔵室画像(冷蔵室11の全体画像)のみであってもよい。すなわち、画像管理部101は、食品画像を抽出した後、最新の貯蔵室画像のみを保存し、それ以外の貯蔵室画像を消去してもよい。
このように、画像管理部101は、保存される画像データ量を低減しているため、記憶部のメモリ容量及びデータの通信負荷を低減することができる。また、撮影装置27による撮影、画像管理部101における食品画像の抽出及び画像データの保存は、扉20が開閉されたとき(食品が入出庫された可能性があるとき)に限定して行われてもよく、冷蔵室11内に収納された食品を管理する上で必要なデータのみを保存している。そのため、必要最小限の動作(撮影、画像処理及び保存)で、冷蔵室11内の食品の収納状態及び劣化状態を取得することができる。
ここで、食品の収納状態とは、冷蔵室11内に、どの時点でどの食品が収納されているか示す情報を言う。また、食品の劣化状態とは、食品の劣化がどの程度まで進んだか(例えば、早期に消費する必要があるか否か)を示す情報を言う。
画像管理部101は、保存されている付帯情報(時刻情報及び入出庫識別情報)と共に保存されている食品画像のデータを、時系列に、あるいは、入庫又は出庫に分けて、通信部23を経由して、冷蔵庫1を使用する第1ユーザが使用する第1ユーザ端末だけでなく、第1ユーザ以外の第2ユーザが使用する第2ユーザ端末70の表示部71に出力することができる。第2ユーザ(例えば、冷蔵庫1を使用する第1ユーザの家族又は同居人など)は、第2ユーザ端末70の表示部71の表示画面を視認することにより、冷蔵室11内に収納されている食品を把握することができる。
図6(a)及び(b)は、実施の形態1に係る冷蔵庫1の撮影画像から抽出された食品画像の、携帯端末における表示画面の一例を示す図である。図6(a)に示される表示画面(タイムライン表示画面)では、扉20が開閉される毎に貯蔵室画像から抽出された食品画像42と、その食品画像42に付帯する時刻情報43及び入出庫識別情報44とが、時系列に並べて表示されている。この例では、画面中央に食品画像42が上から並べられており(時刻情報としての撮影時刻情報が新しいものから順に)、それぞれの食品画像の左側に時刻情報43、右側に入出庫識別情報44が表示されている。また、画面上側には対象とする貯蔵室(この例では、冷蔵室11)とその設定温度、及び現在時刻も表示されている。
図6(a)に示されるタイムライン表示画面では、消費期限又は賞味期限の目視による確認を、画面を上から下に(対象とする食品について時間を遡って)検索して行うことが可能である。このため、食生活関連情報として、食品の消費期限又は賞味期限を報知して消費を促すことにより、食費を無駄に廃棄することを防止することができる。
図6(b)に示される表示画面(入出庫リスト表示画面)は、入庫と出庫とで左右の欄に分けて、それぞれの欄に食品画像と時刻情報とを時系列に表示(リスト表示)している。すなわち、左側の欄には、入出庫識別情報54が「入庫」となっている食品画像及びその時刻情報(すなわち入庫時刻)53を、入庫時刻53が新しいものから順に上から並べて表示している。右側の欄には、入出庫識別情報54が「出庫」となっている食品画像52及びその時刻情報(すなわち出庫時刻)53を、出庫時刻53が新しいものから順に並べて表示している。
図6(b)に示される入出庫リスト表示画面では、対象とする食品の入庫及び出庫の履歴から、その食品の現在の残量を取得することができるので、食生活関連情報として、別ユーザ端末70に食品の残量を報知することにより、遠隔地、例えば、買い物先において、家族又はヘルパーが別ユーザ端末70の表示部71を確認することにより、食品の買い過ぎ、又は、食品の買い忘れを防止することが可能となる。
図7は、実施の形態1に係る冷蔵庫1の撮影画像から抽出された食品画像の、携帯端末における表示画面の別の例を示す図である。画像管理部101は、保存されている食品画像(すなわち、扉20の開閉毎に抽出された食品画像)と、その付帯情報である時刻情報及び入出庫識別情報とから、ある時点で冷蔵室11内に収納されている(入出庫識別情報が「出庫」ではない)食品画像を特定する。そして、通信部23を経由して、図7に示されるように、在庫食品画像の一覧を、在庫食品一覧表示画面62として表示する。なお、図7の例では、図6(a)及び(b)とは異なり、時刻情報を基に、入庫時刻が古いものから順に食品画像が上から並べられている。
図7に示される在庫食品一覧表示画面62では、ある時点での在庫食品画像の一覧が表示されるため、図6(b)に示されるリスト表示よりもさらに明確に、食生活関連情報として食品の残量一覧が報知される。このため、冷蔵室11内にどの食品が収納されているかを把握することができ、食品の買い過ぎ、及び、食品の買い忘れを防止することができるという効果が一層期待できる。また、入庫時刻が古いものから順に、上から食品画像が並べられているので、古い食品、すなわち「早期に消費する必要がある」食品を発見しやすくなり、消費期限切れによる食品の廃棄を抑制することが可能となる。
なお、第2ユーザ端末70の表示部71には、図6(a)の「入出庫タイムライン」、図6(b)の「入出庫リスト」、及び図7の「在庫食品一覧」という、3つの種類の食品画像表示画面を説明したが、これらのいずれかを常時、表示するようにしてもよいし、第1ユーザの操作(例えば、タッチパネルに触れる等)に応じて表示するようにしてもよい。また、食品画像表示画面の切換は、それぞれの表示画面へリンクするボタンの操作によって切り換えてもよいし、水平方向のスワイプ動作などによって切り換えてもよい。
また、第2ユーザ端末70の表示部71の画面上側には、対象とする貯蔵室(この例では、冷蔵室11)とその設定温度、及び現在時刻が表示されているが、設定温度の他に、貯蔵室の測定温度を表示してもよい。
次に、変化検出部102及び劣化検出部103の処理について説明する。図4に示されるステップS17では、変化検出部102が、画像管理部101から受け取った食品画像(すなわち、扉20の開閉毎に貯蔵室画像から抽出された食品画像)の色及び大きさの時間変化を検出して(例えば、記憶部24に)保存する。
冷蔵室11に収納されている食品は徐々に劣化し、特に、食品の色又は食品の大きさ(或いは形状)に変化が現れる。例えば、肉及び魚などの生鮮食品は、酸化(メト化)により色が褐色に変化する。野菜について言えば、ブロッコリーは、明るい緑色が徐々に退色して黄色の部分が多くなり、劣化がさらに進行すると腐敗又はカビにより灰褐色に変化する。ホウレン草などの葉物野菜は、蒸散によって萎れ又は縮みが発生して、大きさも変化する。
そこで、変化検出部102は、画像管理部101から食品画像を受け取る毎に、受け取った食品画像の色及び大きさの時間変化を検出して保存する。変化検出部102に保存された食品画像の色及び大きさの時間変化に基づいて、劣化検出部103が劣化状態の検出(推定)を行う。
食品の色の変化を検出するための指標として、例えば、一般的な色指標であるL*a*b*表色系を用いる場合、上述した生鮮食品の酸化はa*値の減少(赤の退色)、ブロッコリーの退色はL*値又はb*値の増加(明るさの増加及び黄色の増加)、腐敗はL*値の減少(明るさの減少)として数値化される。そのため、変化検出部102は、画像管理部101から食品画像を受け取る毎に、a*値、b*値、及びL*値を検出して(例えば、記憶部24に)保存する。
また、色指標はL*a*b*表色系に限られず、原色をR(赤)、G(緑)、B(青)とする表色系であるRGB表色系、又は、マンセル表色系等のような他の表色系を用いても、色の変化(赤の退色、黄色の増加等)及び明るさの変化を数値化することができる。
変化検出部102は、色分布の変化を記憶部(例えば、記憶部24)に保存してもよい。この場合、変化検出部102は、予め多数のカラーサンプルをデータベースとして記憶部(例えば、記憶部24)に保存しており、画像管理部101から受け取った食品画像から検出した色をカラーサンプルと比較して類似度を算出する。そして、食品画像全体を、最も類似しているカラーサンプルに対応する色毎に分類して、色毎の面積占有率を算出する。
図8(a)及び(b)は、変化検出部102における食品画像の時間変化の一例を示す図である。図8(a)には、食品(肉)の入庫時の食品画像と、その食品画像に基づいて検出した色分布を示す。図8(b)は、食品が酸化するのに十分な時間(T時間)が経過した後の食品画像と、その食品画像に基づいて検出した色分布を示す。Tは、0以上の値である。図8(a)及び(b)では、食品画像における、カラーサンプルに対応する色毎(横軸)の面積占有率(縦軸)を棒グラフで示している。変化検出部102は、画像管理部101から食品画像を受信する毎に、新たに受け取った食品画像の色分布のデータを算出して保存する。
また、変化検出部102は、大きさの変化を検出する指標として、例えば、投影面積、周囲長、及び最長軸の長さなどを保存する。また、変化検出部102は、食品の輪郭形状からパターンを抽出し、そのパターンを保存してもよい。ここでは、変化検出部102は、食品画像の色及び大きさの変化を検出して保存するが、色の変化のみ、又は、大きさの変化のみを検出して保存するようにしてもよい。
このようにして、変化検出部102が検出して保存した色及び大きさの時間変化に基づいて、劣化検出部103が食品の劣化状態を検出する。劣化検出部103による食品劣化状態の検出は、扉20の開閉毎ではなく、一定時間毎に行うことが好ましい。
食品の劣化の状態は、食品の種別(肉、魚又は野菜等)によって異なる。したがって、劣化検出部103は、食品の種別に適した判断基準を用いて、食品の劣化状態の判断を行うことが望ましい。ただし、劣化検出部103は、食品の種別は問わずに、同じ判断基準を用いて食品の劣化状態の判断を行ってもよい。そのため、劣化検出部103は、1つの食品画像について複数の指標に基づく判断を行い、少なくとも1つの指標が基準値を超えた場合には、「早期に消費する必要がある」と判断する。
例えば、色指標としてL*a*b*表色系を用いる場合には、劣化検出部103は、変化検出部102に保存したa*値、b*値、及びL*値のうちの少なくとも1つが基準値を超えた場合に、当該食品画像に対応する食品について「早期に消費する必要がある」と判断する。
また、図8(a)及び(b)に示される色分布を用いる場合には、変化検出部102が保持する色分布(カラーサンプルに対応する色毎の面積占有率)の変化に基づいて、特定の色の面積占有率が基準値を超えた場合に、例えば、対象の食品画像に対応する食品について「早期に消費する必要がある」と判断する。
図8(a)及び(b)に示される例では、食品の入庫時の図8(a)と比較して、T時間後の図8(b)では、酸化によって食品(肉)の色が濃く(実際には褐色に)変化しており、また、濃い色の面積占有率が大きくなっている。褐色は、酸化すなわちメト化によってメトミオグロビンが呈する色である。
そこで、例えば、「メト化が進むと10番のカラーサンプルに対応する色が増加する」、「腐敗が進むと20番のカラーサンプルに対応する色が増加する」等の知識(情報)に基づき、劣化検出部103に、劣化を反映する色毎に基準値を予め登録しておく。
そして、劣化検出部103は、予め登録された複数の色(例えば、10番、20番等の複数のカラーサンプルに対応する色)の面積占有率のうちの少なくとも1つが基準値を超えた場合に、この食品画像に対応する食品について「食品の劣化が進んでいる可能性がある」と判断する。
また、食品は劣化によって萎れ又は縮みを呈するため、食品画像に含まれている食品の大きさの変化に基づいて、劣化状態を判断することもできる。この場合、変化検出部102が検出して保存した食品の大きさ(例えば、投影面積、周囲長、又は最長軸の長さ等)の変化に基づき、劣化検出部103が、食品の大きさの入庫時からの減少率が基準値を超えた場合には、その食品について「早期に消費する必要がある」と判断することができる。
あるいは、変化検出部102が検出して保存した食品の輪郭形状のパターンに基づき、劣化検出部103が、入庫時の食品の輪郭形状のパターンと検出時の食品の輪郭形状のパターンとのパターンマッチングを行い、その誤差が基準時を超えた場合に、その食品について「早期に消費する必要がある」と判断してもよい。
また、図8(a)及び(b)を参照して説明した色分布に基づく判断において、カラーサンプルに対応する色毎の面積占有率を求める代わりに、絶対的な面積値を求めれば、色の変化と同時に大きさの変化も反映させた判断が可能になる。
劣化検出部103は、変化検出部102に保存された各食品画像について、それぞれ劣化状態の判断を行う。第2ユーザ端末70の表示部71には、画像管理部101によって保存された食品画像と共に、劣化検出部103による劣化状態の検出結果が表示される。
図9(a)及び(b)は、携帯端末における食品の劣化状態の表示例を示す図である。図9(a)に示される表示例では、図7で説明した在庫食品一覧表示画面62に表示される食品画像のうち、劣化検出部103が「早期に消費する必要がある」と判断した食品画像に、アラート(ここでは、感嘆符)を重ねて表示している。これにより、第1ユーザが使用する端末装置だけでなく、第2ユーザ端末70の表示部71を見た第2ユーザも、アラートが表示された食品画像の食品が、早期に消費すべき食品であることを把握することができる。すなわち、冷蔵室11内に収納された複数の食品のうち、どの食品を早期に消費すべきかが一目瞭然になる。その結果、消費期限又は賞味期限の経過により食品を無駄に破棄することを抑制することができる。
したがって、例えば、冷蔵室11内に消費期限又は賞味期限が経過した食品が収納されていて、第1ユーザ、又は、第2ユーザ(例えば、第1ユーザのヘルパー若しくは第1ユーザの家族など)が買い物先においてその食品を購入するかどうか迷った際に、冷蔵室11内の収納状況だけでなく、目的とする食品の消費期限又は賞味期限も確認することができる。このため、冷蔵庫1に収納されているが、消費期限が過ぎていて使用することができない食品を、買い忘れることを防止することが可能となる。
図9(a)に示される表示例では、食品画像にアラートを重ねて示しているが、このような例に限らず、劣化検出部103の検出結果に基づき、早期に消費すべき食品を第1ユーザ又は第2ユーザに知らせることができれば、他の表示であってもよい。
第2ユーザ端末70の表示部71には、また、図9(b)に模式的に示されるように、変化検出部102によって検出した食品画像の色又は大きさの変化を示す食品画像を表示してもよい。この場合、例えば、図7に示されるような在庫食品一覧表示画面63上で1つの食品画像を選択する(例えば、指を画面に接触させて選択する)と、その食品画像の時間毎の色又は大きさの変化を表示する食品変化表示画面64が表示される(図9(b)では、食品として生肉を想定しているため、チルド室を表示例としている)。これにより、第1ユーザ及び第2ユーザは、食品の劣化状態を画像により把握することができる。
なお、扉20が長期間に亘って開閉されない場合も想定される。そのため、例えば、扉20の開閉の最新の時点では、食品の劣化の兆候(例えば、褐色への変化)が僅かであっても、時間の経過により食品の劣化が進行する可能性がある。そこで、劣化検出部103は、一定時間毎に、変化検出部102に保存されている各食品画像の色及び大きさの変化に基づいて食品の劣化状態を検出し、その検出結果に基づいて第1ユーザ又は第2ユーザに食品の消費を促すべき時刻(第1ユーザ又は第2ユーザへの報知時刻)を予測し、予測時刻に達した段階で携帯端末の表示部にアラートを表示することが望ましい。
次に、使用状況取得部104及び生活管理部105の処理について説明する。
使用状況取得部104は、劣化検出部103から送信された、食品画像単位の劣化状態の情報から、冷蔵室11内に収納された食品の保管状態、すなわち、その食品を保管する第1ユーザの使用状況を検出(取得)する。具体的には、現在保管されている食品に全く劣化が見られなければ、食品は常に入れ換えられ適切に保管されているという使用状況が検出され、全体的に食品の移動はあるものの、特定の食品が劣化していれば、その食品の存在が忘れられているという使用状況、さらに、多くの食品が劣化したまま数日間放置されていれば、冷蔵室11そのものが使用されていないという使用状況が検出される。
次に、生活管理部105では、使用状況取得部104において検出された第1ユーザの使用状況を示す第1情報を受け取り、その使用状況を示す第1情報に基づいて生活状況を検出する。例えば、食品が常に入れ換えられていれば、第1ユーザが頻繁に買い物に行き、家で食事をしているという生活状況、貯蔵室内に特定の食品の存在が忘れられている場合には、単に存在を忘れているという以外に、その食品を使用しない生活、すなわち偏った食生活を行っている可能性があるという生活状況も検出することができる。また、使用状況として、冷蔵室11そのものが使用されていないという状況が検出される場合には、第1ユーザが長期間外出しているか、あるいは何か安否上の問題が発生したという可能性も想定される。
また、生活管理部105では、検出した第1ユーザの生活状況を示す第2情報の中で、第2ユーザに報知すべきであると判断された情報を分類する。上記の例では、貯蔵室内の食品が常に入れ換えられ、第1ユーザが買い物及び食事のいずれをも適切に行っていると想定される生活状況では全く問題ない。しかし、食生活が偏っている可能性があるという食生活関連情報、又は、特に冷蔵室11そのものが使用されていない使用状況を、第1ユーザの健康上の問題又は犯罪に関連した状況と判断した場合には、通信部23を介して、冷蔵庫1を使用する第1ユーザとは異なる第2ユーザの保有する第2ユーザ端末70に安否関連情報として報知する。
ここで、生活管理部105において、検出した第1ユーザの生活状況を示す第2情報の中で、第2ユーザに報知すべきであると判断する条件は、予め設定されている。上記の冷蔵室11が全く使用されていない状況が、何時間以上継続したならば、第2ユーザに報知するかを決定する閾値を予め設定し、旅行などで留守にする場合には、その閾値を解除するようにすれば、無駄な報知を防ぎ、適切なタイミングで第2ユーザに安否関連情報を報知することができ、第2のユーザは第1のユーザに対する適切な対処を行うことが可能である。
また、生活管理部105において取得され、第2ユーザに報知される生活状況を示す第2情報は、安否関連情報に限られない。例えば、報知される第2情報は、例えば、旅行中又は仕事又は学校のある平日の昼間等において(家に誰もいないはずの時間帯に)、貯蔵室内の食品の入れ換えが発生した場合に、第1ユーザ以外の想定外の人物による使用を考慮に入れて、防犯関連情報を第2ユーザに報知してもよい。この場合には、第2ユーザによって、警察又はセキュリティ会社への迅速な通報が可能であり、犯罪を未然に防ぐことが可能になる。さらに、貯蔵室内に、劣化した食品が放置されている状況に対して、第1ユーザが気づかない状況も考慮して、使用の警告を食生活関連情報として第2ユーザに報知することもできる。このような報知は、1人暮らしの子供又は単身赴任の夫の健康状態を、遠隔地から管理する親又は妻にとって役立つ情報である。
また、第2ユーザ端末70を保有する第2ユーザは、予め認証された第2ユーザであってもよい。上記食生活関連情報は個人情報ではあるが、不特定の第三者に開示してもセキュリティ上は、大きな問題にはならないと想定される。しかし、安否関連情報又は防犯関連情報は、第1ユーザの健康情報又は第1ユーザの在宅又は不在情報を含むため、家族又は近親者、また、第1ユーザが高齢者である場合にはヘルパー等を含めて、第1ユーザの生活状況を示す第2情報を受信することができる第2ユーザ端末70を予め設定しておく。なお、第2ユーザ端末70を保有する第2ユーザの認証方法については、実施の形態4で説明する。
《1-3》効果
以上説明したように、実施の形態1に係る冷蔵庫1によれば、撮影装置27により撮影した冷蔵室11内の画像から食品画像を抽出して管理し、第2ユーザ端末70の表示部71に、食品画像と、食品の劣化に関する情報(例えば、劣化状態を示す情報)とを共に表示する。そのため、第1ユーザだけでなく第2ユーザも、遠隔地(例えば、買い物先)でも冷蔵室11に収納されている食品を把握し、その中で特に早期に消費すべき食品を把握することができる。
以上説明したように、実施の形態1に係る冷蔵庫1によれば、撮影装置27により撮影した冷蔵室11内の画像から食品画像を抽出して管理し、第2ユーザ端末70の表示部71に、食品画像と、食品の劣化に関する情報(例えば、劣化状態を示す情報)とを共に表示する。そのため、第1ユーザだけでなく第2ユーザも、遠隔地(例えば、買い物先)でも冷蔵室11に収納されている食品を把握し、その中で特に早期に消費すべき食品を把握することができる。
その結果、第2ユーザに食品を消費期限までに消費することを促し、食品の無駄な廃棄を抑制することができる。また、冷蔵室11内に食品を長期間放置することによるスペース及びエネルギーの無駄を低減することができる。また、扉20を閉じた状態でも、携帯端末にて食品の在庫状況又は劣化状態を確認することができるため、扉20の開閉による冷蔵室11内の温度上昇を抑制し、電力消費量を低減することができる。
また、携帯端末に、食品画像と共に入出庫識別情報及び時刻情報を表示することにより、第1ユーザ及び第2ユーザは、ある食品が冷蔵室11内にどの程度の期間収納されているかを容易に把握することができ、特に買い物先から確認した場合には、在庫食品の消費期限又は賞味期限も考慮したうえで、食品の購入を判断することができる。
また、食品画像を入出庫識別情報及び時刻情報と共に保存し、これらに基づいて食品の劣化状態を検出するようにしたため、食品画像の変化及び入庫してからの時間経過等を考慮して、食品の劣化状態を高い精度で検出することができる。
また、扉20が開閉される毎に撮影装置27が貯蔵室画像を撮影し、画像管理部101が貯蔵室画像から食品画像を抽出するようにしたため、冷蔵室11内の食品に変化がある可能性がある毎に情報が更新される。そのため、第1ユーザ及び第2ユーザは在庫食品とその劣化状態をより正確に知ることができる。
また、劣化検出部103が、食品画像の色又は大きさ(又はその両方)の変化に基づいて食品の劣化状態を検出するため、酸化(メト化)及び腐敗等の劣化の検出精度を高めることができる。
さらに、冷蔵室11内における食品の在庫状況又は劣化状態から、冷蔵庫1を所有する第1ユーザの生活状況を示す第2情報を検出することができ、その生活状況として、第1ユーザの安否関連情報、防犯関連情報、又は食生活関連情報などが限られた第2ユーザに報知される。このため、高齢の両親の安否状況、又は、留守宅の防犯状況、離れて暮らす家族の健康状況などを遠隔地から確認することができ、それぞれ適切な対処方法を講じることができるという効果が得られる。
《1-4》変形例
上記の説明では、画像管理部101が食品の入庫又は出庫を識別したが、食品の入庫及び出庫に加えて、冷蔵室11内における食品の移動を識別するようにしてもよい。
上記の説明では、画像管理部101が食品の入庫又は出庫を識別したが、食品の入庫及び出庫に加えて、冷蔵室11内における食品の移動を識別するようにしてもよい。
食品の移動は、例えば、以下の方法で識別する。すなわち、画像管理部101が、上述したように前回及び今回の扉開閉時における貯蔵室画像の差分画像を得る。さらに、前々回及び前回の扉開閉時における貯蔵室画像の差分画像の中に、前回及び今回の扉開閉時における貯蔵室画像の差分画像と一致するものがあるか否かを、マッチング処理により判断する。マッチング処理の結果、前々回及び前回の扉開閉時における貯蔵室画像の差分画像の中に、前回及び今回の扉開閉時における貯蔵室画像の差分画像と一致するものがある場合には、食品が冷蔵室11内で移動したものと判断する。
劣化検出部103が食品の入庫からの経過時間(すなわち在庫期間)を計算する際に、食品が冷蔵室11内で移動する前の在庫期間も算入することで、食品の劣化状態の検出及び第2ユーザへの報知の精度を向上することができる。
また、上記の説明では、各種の情報(冷蔵室11の画像又は抽出された食品画像、食品画像の色及び大きさの時間変化、食品の劣化状態、第1ユーザの使用状況を示す第1情報)を、通信部23を介して第2ユーザ端末70に送信される場合を説明したが、生活管理部105において、検出した第1ユーザの生活状況を示す第2情報の中で、生活状況が第2ユーザに報知すべき状況であると判断された場合にのみ、上記各種の情報を第2ユーザ端末70に送信してもよい。これにより無駄な送信を防ぐことができ、第2ユーザへの負担を軽減することができる。
なお、上記の説明では、撮影装置27を冷蔵室11に設けたが、冷蔵室11以外の貯蔵室に設けてもよく、複数の貯蔵室に同時に設置してもよい。例えば、比較的購入のサイクルが短く劣化しやすい野菜が収納される野菜室15に、撮影装置27を設置すれば、より短期間で劣化の発生又は生活状況として買い物の頻度を把握することができ、また、冷凍室14にも追加して設ければ、食生活関連情報として、冷凍した肉又はご飯、及び冷凍食品の使用状況も検出することが可能となる。
《2》実施の形態2
《2-1》構成
図10は、本発明の実施の形態2に係る冷蔵庫2の冷蔵室11の概略構造(図1を線分II-IIで切る断面構造)を示す断面図である。図10において、図2に示される構成要素と同一又は対応する構成要素には、図2に示される符号と同じ符号が付される。図11は、実施の形態2に係る冷蔵庫2の制御系の構成を概略的に示すブロック図である。図11において、図3に示される構成要素と同一又は対応する構成要素には、図3に示される符号と同じ符号が付される。
《2-1》構成
図10は、本発明の実施の形態2に係る冷蔵庫2の冷蔵室11の概略構造(図1を線分II-IIで切る断面構造)を示す断面図である。図10において、図2に示される構成要素と同一又は対応する構成要素には、図2に示される符号と同じ符号が付される。図11は、実施の形態2に係る冷蔵庫2の制御系の構成を概略的に示すブロック図である。図11において、図3に示される構成要素と同一又は対応する構成要素には、図3に示される符号と同じ符号が付される。
図10及び図11に示されるように、実施の形態2に係る冷蔵庫2は、制御部200が食品情報記憶部106及び食品識別部107を備えた点において、実施の形態1に係る冷蔵庫1と相違する。制御部200は、例えば、制御基板210に備えられる。食品情報記憶部106と記憶部24とは、別個の記憶装置であってもよく、又は、同じ記憶装置の異なる記憶領域であってもよい。また、食品情報記憶部106は、ネットワークを経由して通信可能な外部装置(例えば、サーバ)の情報記憶部の記憶領域であってもよい。
図11に示されるように、食品識別部107は、画像管理部101、変化検出部102、及び食品情報記憶部106と接続されている。食品識別部107は、画像管理部101において抽出された食品画像を受け取り、貯蔵室(ここでは、冷蔵室11)内に収納されている食品(例えば、食品の種類及び量)を識別する。食品識別部107は、食品の種類を識別するために、食品情報記憶部106に記憶されている情報を参照する。食品識別部107は、画像管理部101から受け取った、食品画像のそれぞれの付帯情報(時刻情報及び入出庫識別情報)に、識別結果を示す識別情報(食品の種類及び量に関する情報)を付加し、食品画像と、識別情報が付加された付帯情報とを、変化検出部102に与える。
食品情報記憶部106は、食品識別部107と接続されている。食品情報記憶部106は、食品の種類のそれぞれについて、食品の種類を他の食品の種類と区別するための特徴的な属性(例えば、食品の形状、大きさ、色、及び外装ラベルの少なくとも1つ)を、食品の種類に対応付けた参照情報として記憶している。
図12は、食品情報記憶部106に記憶されている、具体的な情報の一例(食品画像データベース)を示す図である。ここでは、食品情報記憶部106は、食品の種類に属する食品自体の特徴量、又は、食品が入った容器の特徴量を、食品の種類に対応付けて記憶している。具体的には、食品情報記憶部106は、食品の種類毎に、形状(輪郭)、長軸の大きさ、代表色(赤緑青(RGB)値)、及びラベル(文字)などの情報を特徴量として記憶している。
なお、食品情報記憶部106に保存する食品の種類毎の形状としては、輪郭に代えて、食品の外形に最も近い幾何学的形状(例えば、円柱、台形など)を用いてもよい。この場合、食品識別部107は、例えば、パターンマッチングなどの手法により、取得された食品画像の食品形状と、食品情報記憶部106に記憶されている食品形状との照合を行う。また、食品識別部107は、食品画像の色について、代表色のRGB値の他に、例えば、明度又は彩度などの他の指標値を用いるようにしてもよい。
また、制御部200は、電気回路によって構成されてもよく、又は、記憶部24に記憶されているソフトウェアとしてのプログラムを実行する情報処理装置としてのプロセッサによって構成されてもよい。制御部200がプロセッサで構成される場合には、制御部200の機能は、記憶部24に記憶されているプログラムを実行することによって、実現される。
《2-2》動作
次に、実施の形態2に係る冷蔵庫2の動作の一例について、図10から図13を参照して説明する。図13は、冷蔵庫2の扉20が開閉される毎に行われる動作を説明するためのフローチャートである。図13において、図4(実施の形態1)に示されるステップと同一又は対応するステップには、図4に示されるステップ番号と同じステップ番号が付される。
次に、実施の形態2に係る冷蔵庫2の動作の一例について、図10から図13を参照して説明する。図13は、冷蔵庫2の扉20が開閉される毎に行われる動作を説明するためのフローチャートである。図13において、図4(実施の形態1)に示されるステップと同一又は対応するステップには、図4に示されるステップ番号と同じステップ番号が付される。
図13に示される動作において、扉20の開閉から開始し、画像管理部101が、前回と今回の扉20の開閉時の貯蔵室画像の差分を演算することにより、貯蔵室画像の変化部分の画像を食品画像として抽出し、この抽出を行った時刻情報、及びその食品画像から食品の入庫又は出庫を判断し、食品画像と共に、入出庫識別情報を、付帯情報として画像管理部101に保存する(ステップS15)までは、図4に示される実施の形態1の動作と同一である。実施の形態1では、画像管理部101は、抽出した食品画像と付帯情報を変化検出部102に送信したが、実施の形態2では、画像管理部101は、抽出した食品画像と付帯情報を食品識別部107に与える(ステップS21)。
食品識別部107は、食品情報記憶部106に記憶されている情報(例えば、図12に示される情報)を参照しながら、画像管理部101から受け取った食品画像に基づいて、貯蔵室(ここでは、冷蔵室11)内に収納されている食品の種類及び量を識別する(ステップS22)。この識別においては、食品識別部107は、画像管理部101により抽出された個々の食品の画像について、食品情報記憶部106に記憶されている食品の種類のうち、どの食品の種類の特徴量と合致するかを照合する。
そして、食品情報記憶部106に、抽出された食品の画像に合致する特徴量(食品情報記憶部106に記憶されている食品の種類の特徴量)が存在する場合、食品識別部107は、画像管理部101により抽出された画像の食品の種類が、合致した特徴量に対応付けられている種類であると、判断する。なお、食品情報記憶部106に、抽出された食品の画像に合致する特徴量(食品情報記憶部106に記憶されている食品の種類の特徴量)が存在しない場合、食品識別部107は、画像管理部101により抽出された画像の食品の種類を、最も類似する食品の種類で代替するか、あるいは、この画像の食品は種類不明の収納物として大きさだけを識別するように構成されてもよい。
食品識別部107は、画像管理部101から受け取った食品画像、及び、それぞれの食品画像についての付帯情報(時刻情報及び入出庫識別情報)に、このようにして識別した食品の種類及び量を示す情報を付帯情報として追加し(ステップS23)、実施の形態1の場合と同様に、食品画像及び付帯情報を変化検出部102に与える(ステップS24)。
続くステップS24では、食品識別部107から受け取った、食品画像及び付帯情報(時刻情報、食品の種類及び量を示す情報及び入出庫識別情報)をもとに、実施の形態1と同様に、変化検出部102が、食品画像の色及び大きさの時間変化を検出して保存する。
ここで、実施の形態1では、変化検出部102が検出した色及び大きさの時間変化に基づいて、劣化検出部103が、食品の種別は問わずに、一律な判断基準を用いて食品の劣化状態を検出していた。すなわち、劣化検出部103は、1つの食品画像について複数の指標に基づく判断を行い、少なくとも1つの指標が、決められた基準値を超えた場合には、対象の食品は、「早期に消費する必要がある」と判断する。
しかし、食品の劣化状態は、食品の種類(肉、魚又は野菜等)によって差異がある。例えば、同じ生鮮食品である肉と魚において、同じように酸化(メト化)によって色が赤から褐色に変化しても、刺身として生で食べる魚には厳しい劣化でも、一般的に加熱調理する肉には問題ないレベルの劣化であり、また野菜又は果物においても、ブロッコリーでは、明るい緑色が退色して黄色になるが、みかんでは、緑が黄色になるのは、熟れて食べ頃になっていることを示すこともある。さらに、大きさについては、葉物野菜は蒸散によって萎れ又は縮みが発生して小さくなるが、牛乳又はドレッシング等、容器に入っているものは、いくら劣化しても大きさは変化しない。
そこで、実施の形態2では、劣化検出部103が食品の劣化状態を検出する際に、食品識別部107にて識別された、食品の種類及び量を示す情報を反映し、劣化を判断する基準値を変更している。これにより、食品の劣化状態の検出精度を向上させることができる。
例えば、図8(a)及び(b)に示される色分布を用いる場合には、「メト化が進むと10番のカラーサンプルに対応する色が増加する」、「腐敗が進むと20番のカラーサンプルに対応する色が増加する」等の知見に基づいて、劣化を判断する基準値を予め登録しておくが、食品の種類によってそれぞれ基準値を変更し、メト化又は腐敗により同じように色が変化する魚(例えば、マグロ)より、色変化の基準値を大きく設定する。
また、同じ食品、例えば、ほぼ全体が撮影できる薄切り肉と、表面しか撮影できないブロック肉では、メト化又は腐敗によって色が変化している面積占有率が同じでも、ブロック肉は内部の劣化も進行している可能性があるため、その量を示す情報を反映して、基準値を小さく設定することにより、劣化を事前に検出することができる。
また、大きさの時間的変化については、食品の種類を示す情報を反映し、容器に入っている食品については、劣化の判断基準から除外することにより、食品の劣化状態の検出精度を向上することができる。
《2-3》効果
以上説明したように、実施の形態2に係る冷蔵庫2によれば、食品の種類及び量を示す情報を反映することにより、劣化検出部103における食品の劣化状態の検出精度が向上する。このため、食品の劣化状態をもとに、使用状況取得部104にて検出される冷蔵室11の使用状況を示す第1情報及び生活管理部105にて検出される第1ユーザの生活状況を示す第2情報の精度を向上させることができる。
以上説明したように、実施の形態2に係る冷蔵庫2によれば、食品の種類及び量を示す情報を反映することにより、劣化検出部103における食品の劣化状態の検出精度が向上する。このため、食品の劣化状態をもとに、使用状況取得部104にて検出される冷蔵室11の使用状況を示す第1情報及び生活管理部105にて検出される第1ユーザの生活状況を示す第2情報の精度を向上させることができる。
例えば、劣化した食品が放置されている状況が検出された場合においても、その食品が、牛乳又は卵のように日常的に使用される種類のものであれば、生活管理部105は、第1ユーザに健康上又は安否上の問題が発生したと判断し、通信部23を介して第2ユーザが使用する第2ユーザ端末70に安否関連情報を報知する。一方、劣化した食品が、特定の料理でしか使用されない調味料又は嗜好品などである場合には、第1ユーザが単に使用を忘れて放置している可能性が高いので、緊急度を下げ、無駄な報知を抑制することが可能となる。
《3》実施の形態3
《3-1》構成
図14は、本発明の実施の形態3に係る冷蔵庫3の冷蔵室11の概略構造(図1を線分II-IIで切る断面構造)を示す断面図である。図14において、図2及び図10に示される構成要素と同一又は対応する構成要素には、図2及び図10に示される符号と同じ符号が付される。図15は、実施の形態3に係る冷蔵庫3の制御系の構成を概略的に示すブロック図である。図15において、図3及び図11に示される構成要素と同一又は対応する構成要素には、図3及び図11に示される符号と同じ符号が付される。
《3-1》構成
図14は、本発明の実施の形態3に係る冷蔵庫3の冷蔵室11の概略構造(図1を線分II-IIで切る断面構造)を示す断面図である。図14において、図2及び図10に示される構成要素と同一又は対応する構成要素には、図2及び図10に示される符号と同じ符号が付される。図15は、実施の形態3に係る冷蔵庫3の制御系の構成を概略的に示すブロック図である。図15において、図3及び図11に示される構成要素と同一又は対応する構成要素には、図3及び図11に示される符号と同じ符号が付される。
図14及び図15に示されるように、実施の形態3に係る冷蔵庫3は、スケジュール管理部108及びスケジュール設定部109を備えた点において、実施の形態2に係る冷蔵庫2と相違する。より具体的に言えば、実施の形態3に係る冷蔵庫3は、冷蔵室11の扉20に設置された操作部又は操作表示部としての操作パネル21aに、冷蔵庫3を実際に使用するユーザである第1ユーザの行動計画であるスケジュールを、入力及び表示可能なスケジュール設定部109が内蔵され、また、冷蔵庫3の背面に取り付けられている制御装置としての制御基板310に、スケジュール設定部109で入力されたスケジュールを管理するスケジュール管理部108が実装されている点において、実施の形態2に係る冷蔵庫2と相違する。操作パネル21aは、例えば、画像表示機能と情報入力機能とを有するタッチパネルである。スケジュール設定部109は、例えば、操作パネル21aに表示されたスケジュール入力ボタンを有する。スケジュール設定部109のスケジュール入力ボタンは、冷蔵庫3と通信可能な、第1ユーザの携帯端末の表示部(タッチパネル)であってもよい。スケジュール管理部108は、入力されたスケジュールを用いて、操作パネル21aに、第1ユーザのスケジュール管理に有用な情報を表示させることができる。
冷蔵庫3の第1ユーザは、操作パネル21aから、冷蔵庫3が設置される住居の居住者(すなわち、冷蔵庫3の第1ユーザ)がその住居に在宅中か不在中かの予定(在否予定)、第1ユーザの生活パターン(例えば、起床時刻、就寝時刻、出勤時刻、帰宅時刻、食事時刻などのパターン)、第1ユーザの買い物パターン(例えば、1週間における買い物の周期のパターン、冷蔵庫に補充される食品の種類及び量のパターン)のようなスケジュール情報を入力する。スケジュール情報は、後述する図16から図18に示されるように、操作パネル21aに表示される。なお、実施の形態3に係る冷蔵庫3においては、冷蔵庫3の第1ユーザのスケジュール情報は、冷蔵庫3において管理される。ただし、冷蔵庫3の制御部300における機能の一部を、ネットワーク上のサーバ(後述する図19におけるクラウドサーバ602)に実行させることも可能である。
スケジュール管理部108は、操作パネル21a内のスケジュール設定部109及び生活管理部105と接続されており、操作パネル21aからスケジュール設定部109に入力された、冷蔵庫3の第1ユーザのスケジュール情報を受け取って、このスケジュール情報をスケジュール設定部109に所定の形式(後述する図16から図18に示される)で表示させるとともに、生活管理部105に与える。
図16から図18は、実施の形態3に係る冷蔵庫3のスケジュール設定部109によって設定されたスケジュール情報を示すスケジュール表示画面の例を示す図である。図16から図18は、入力された第1ユーザのスケジュール情報を、スケジュール管理部108にて管理し、操作パネル21aに改めて表示させた画面の例を示す。図16は、1ヶ月間のスケジュール表示の例を示し、図17は、1週間のスケジュール表示の例を示し、図18は、1日のスケジュール表示の例を示す。
実施の形態3において、冷蔵庫3の第1ユーザは、4人家族、すなわち、父「太郎」(TARO)、母「花子」(HANAKO)、長女「和美」(TOMOMI)、長男「一夫」(KAZUO)である。図16の1ヶ月間のスケジュール表示には、予定有りマーク91(91a~91e)が示されている。予定有りマーク91a“全”(ALL)は、家族全員に予定があることを示し、予定有りマーク91b“太”(TA)は「太郎」に予定があることを示し、予定有りマーク91c“花”(HANA)は「花子」に予定があることを示し、予定有りマーク91d“和”(TOMO)は「和美」に予定があることを示し、予定有りマーク91e“一”(KAZU)は「一夫」に予定があることを示している。
また、図17の1週間のスケジュール表示には、予定内容マーク92(92a~92g)が示されている。例として、予定内容マーク92aは旅行の予定があることを示し、予定内容マーク92bは出張の予定があることを示し、予定内容マーク92cはゴルフの予定があることを示し、予定内容マーク92dは外食の予定があることを示し、予定内容マーク92eは水泳(習い事)の予定があることを示し、予定内容マーク92fはピアノ(習い事)の予定があることを示し、予定内容マーク92gはサッカー(習い事)の予定があることを示している。
また、図18の1日のスケジュール表示(横軸は1日の時刻)には、現在時刻93、平常期間(すなわち、規則的に繰り返される行動パターンが存在する期間)において予定された外出期間(時間帯)94a,94b、平常期間以外の期間(すなわち、規則的に繰り返される行動パターンが存在しない期間)において予定された外出期間95a,95b、就寝期間96が示されている。例として、平常期間以外の期間において予定された外出期間95aは、出張の予定がある(又はあった)ことを示し、平常期間以外の期間において予定された外出期間95bは、外食の予定がある(又はあった)ことを示す。また、平常期間において予定された外出期間94aは、仕事の予定がある(又はあった)ことを示し、平常期間において予定された外出期間94bは、学校の予定がある(又はあった)ことを示している。
《3-2》動作
次に、実施の形態3に係る冷蔵庫3の動作の一例について、図14及び図16を参照して実施の形態1及び2との相違点を中心に説明する。
次に、実施の形態3に係る冷蔵庫3の動作の一例について、図14及び図16を参照して実施の形態1及び2との相違点を中心に説明する。
実施の形態1及び2の説明において説明したように、生活管理部105は、貯蔵室内の食品の収納状況又は劣化状態から取得された冷蔵室11の使用状況に基づいて、冷蔵庫3を使用する第1ユーザの生活状況を示す第2情報を検出(取得)している。しかし、冷蔵庫の貯蔵室内の食品の状況からだけでは、冷蔵庫3の第1ユーザの習慣又は突発的な予定変更などを知ることはできず、生活管理部105は、第1ユーザの生活状況を示す第2情報が第2ユーザに報知すべき情報であるか否かの判断を誤る(すなわち、適切な判断をすることができない)可能性がある。
例えば、牛乳及び卵のように日常的に使用される食品が、劣化した状態のまま貯蔵室内に放置されていた場合においても、第1ユーザに長期的な旅行の予定が入っていれば、冷蔵庫3を使用する第1ユーザとは異なる第2ユーザに、安否関連情報を報知する必要はない。また、ケーキなどの嗜好品の消費期限が迫っていることが検出された場合は、食品の種類を考慮に入れて判断した場合は、嗜好品であり緊急性がないため、第2ユーザに報知する必要はない。
そこで、実施の形態3では、図14に示されるように、操作パネル21a(すなわち、操作パネル21aのスケジュール設定部109)によって入力された第1ユーザのスケジュール情報をスケジュール管理部108が管理し、スケジュール設定部109によって操作パネル21aにスケジュールを表示するとともに、このスケジュールを示すスケジュール情報を生活管理部105に与える。このため、実施の形態3における生活管理部105は、実施の形態1及び2で説明した、使用状況取得部104にて食品の劣化状態に基づいて検出される使用状況を示す第1情報に加え、第1ユーザのスケジュール情報を反映して第1ユーザの生活状況を示す第2情報を検出し、管理することが可能である。
具体的なスケジュール情報の反映方法として、図16から図18に示される第1ユーザのスケジュールに対して、まず数日単位の制御例としては、図16の1ヶ月間のスケジュール表示と、図17の1週間のスケジュール表示とから、12月19日から12月21日までの間は、旅行により第1ユーザの全員(家族全員)が不在であり、貯蔵室内の収納食品が劣化しても放置されることが確実である。このため、食品の劣化状態から、使用状況取得部104において冷蔵室11が全く使用されていないような状況が検出された場合であっても、生活管理部105は、旅行中で不在であるというスケジュール情報を反映することにより、遠方に住んでいる家族等の第2ユーザに、不必要な安否関連情報を報知しないことが可能である。
また、1日単位のスケジュール情報を反映する例としては、図18の1日のスケジュール表示に示される12月25日は、平常期間において予定された外出時間帯94a、94bに加え、平常期間以外の期間において予定された外出期間95a,95bがあり、ほぼ1日中第1ユーザの全員が自宅にいない不在状態である。さらに、出張95a及び外食95bの予定により、夕食を家で摂る者がいないことが想定される。このような状況で、使用状況取得部104において、消費期限が迫っている食品、例えば、刺身又はケーキなどが使用されていない状況が検出された場合に、生活管理部105が、今夜は第1ユーザ全員(家族全員)が外食であるというスケジュール情報を反映することにより、近所に住む家族等である第2ユーザに、期限が迫っている食品が冷蔵庫3内に有ることを報知して、それらの食品を第2ユーザに使用してもらうことができる。このようにして、食品の無駄な廃棄を防ぐことが可能となる。
《3-3》効果
以上説明したように、実施の形態3に係る冷蔵庫3によれば、生活管理部105は、第1ユーザのスケジュール情報を用いて、第1ユーザの生活状況を示す第2情報が、第2ユーザに報知すべき情報であるか否かの判断を行うので、第2ユーザに報知する必要のない情報の第2情報の報知(すなわち、第2情報の過剰な報知)による通信ロス、及び、第2ユーザに報知する必要のある第2情報の報知漏れ(すなわち、報知不足)による食品ロスを防ぐことができる。
以上説明したように、実施の形態3に係る冷蔵庫3によれば、生活管理部105は、第1ユーザのスケジュール情報を用いて、第1ユーザの生活状況を示す第2情報が、第2ユーザに報知すべき情報であるか否かの判断を行うので、第2ユーザに報知する必要のない情報の第2情報の報知(すなわち、第2情報の過剰な報知)による通信ロス、及び、第2ユーザに報知する必要のある第2情報の報知漏れ(すなわち、報知不足)による食品ロスを防ぐことができる。
また、食品の劣化状態と第1ユーザのスケジュール情報とに基づいて第1ユーザの生活状況を検出する場合、貯蔵室における食品の継続的な収納パターン、又は、第1ユーザの買い物のパターン等も想定することが可能となる。例えば、食品の劣化状態が週末に近づくほど進行し、平日の昼間のスケジュールが、図18に示される平常期間において予定された外出期間94a,94bでほぼ埋まっている場合、第1ユーザは共働き家庭であり、週末に食品をまとめ買いする買い物パターンを持つ家庭であることが想定される。このとき、特に、平常期間以外の期間において予定されるスケジュール情報が入力されることなく、劣化状態に変化が生じた場合には、食品そのものの劣化以外に、冷蔵庫3の故障の可能性が想定される。このため、生活管理部105は、冷蔵庫3を使用する第1ユーザとは異なる第2ユーザ(例えば、長年の取引きのある電器店、又は、その電器店のサービス担当者)に、冷蔵庫3の第1ユーザの生活状況を示す第2情報を報知することができる。
図15では、操作パネル21aのスケジュール設定部109で入力され、スケジュール管理部108にて整理された第1ユーザのスケジュール情報を、生活状況を検出する際に反映させるために、生活管理部105に送る形態が示されている。しかし、スケジュール情報の送信先は、生活管理部105より前段に配置されている劣化検出部5又は使用状況取得部104であってもよい。いずれの場合であっても、第1ユーザの生活状況の検出にスケジュール情報を反映することができるうえ、特にスケジュール情報を劣化検出部103に送った場合には、発生した食品の劣化状態が、偶発的なものなのか、第1ユーザのスケジュール変更に伴う必然的なものなのか等を事前に判断することができる。このため、第1ユーザの生活状況を示す第2情報を、通信部23を経由して第2ユーザに適切に報知することができる。
《4》実施の形態4
本発明の実施の形態4においては、実施の形態1から3に係る冷蔵庫のいずれかを含むネットワークシステムを説明する。図19は、実施の形態4に係るネットワークシステムの概略構成を示す図である。図19において、実施の形態1から3で説明された構成要素と同一の構成要素には、実施の形態1から3で用いられた符号と同じ符号が付される。図19に示されるように、実施の形態4に係るネットワークシステムは、宅内システム500と、インターネットによって宅内システム500と通信を行うことができる宅外システム600とを有している。宅内システム500は、冷蔵庫4を有する。冷蔵庫4は、実施の形態1,2,及び3の冷蔵庫1,2,及び3のいずれかである。
本発明の実施の形態4においては、実施の形態1から3に係る冷蔵庫のいずれかを含むネットワークシステムを説明する。図19は、実施の形態4に係るネットワークシステムの概略構成を示す図である。図19において、実施の形態1から3で説明された構成要素と同一の構成要素には、実施の形態1から3で用いられた符号と同じ符号が付される。図19に示されるように、実施の形態4に係るネットワークシステムは、宅内システム500と、インターネットによって宅内システム500と通信を行うことができる宅外システム600とを有している。宅内システム500は、冷蔵庫4を有する。冷蔵庫4は、実施の形態1,2,及び3の冷蔵庫1,2,及び3のいずれかである。
図19に示されるように、宅内システム500は、冷蔵庫4、ルームエアコン、給湯器、IH(Induction Heating)クッキングヒータ、電子レンジなどのような家電機器を有している。これらの家電機器及び電力計測装置503は、電灯線502によって系統電源501と接続され、系統電源501から電力が供給される。宅内システム500は、系統電源501から電灯線502を通して各家電機器に供給される電力を計測するための電力計測装置503及び電力計測端子504と、宅内コントローラ505と、ブロードバンドルータ506と、通信装置としての機器通信部515とを有している。
電力計測装置503は、各家電機器に供給される電力(すなわち、各家電機器の消費電力)、並びに、系統電源501から家電機器全体及び電力計測装置503に供給される全電力を計測し、この計測の結果(履歴)を保存することができる。電力計測装置503は、例えば、CT(Current Transformer)などの電力計測端子504によって供給電力を測定する。
家電機器及び電力計測装置503のそれぞれには、通信ネットワークを介して、宅内コントローラ505と通信するための機器通信部515が備えられている。通信ネットワークは、例えば、有線又は無線のLAN(ローカルエリアネットワーク)である。冷蔵庫4などのような家電機器及び電力計測装置503は、それぞれの機器通信部515を介して、宅内コントローラ505と有線又は無線で双方向通信することができる。なお、冷蔵庫4に接続された機器通信部515は、実施の形態1から3で説明された、通信装置としての通信部23と同一の役割を果たす。したがって、冷蔵庫4の通信部23が宅内コントローラ505と直接、有線又は無線で通信可能である場合には、冷蔵庫4についての機器通信部515を備える必要はない。
機器通信部515が有線で通信する機能を有する場合には、機器通信部515は、例えば、シリアルインターフェース又はドライバなどの有線通信モジュールを具備している。機器通信部515が無線で通信する機能を有する場合には、機器通信部515は、Wi-Fi(登録商標)又はBluetooth(登録商標)などの無線通信モジュールを具備している。なお、機器通信部515は、家電機器及び電力計測装置503のそれぞれに内蔵されていてもよいし、家電機器及び電力計測装置503の外部に備えられてもよい。
宅内コントローラ505は、電力計測装置503が計測した家電機器の消費電力及び系統電源501の供給電力の情報を、通信ネットワークを介して電力計測装置503から取得することができる。また、宅内コントローラ505は、家電機器の運転状態の情報を、通信ネットワークを介して取得することができる。そして、宅内コントローラ505は、取得した消費電力及び供給電力並びに運転状態の情報を管理し、必要に応じて、家電機器に対して通信ネットワークを介して制御変更指示(例えば、運転状態の変更の指示)を送信することも可能な構成となっている。
また、宅内コントローラ505は、ブロードバンドルータ506を経由して、宅外システム600のインターネット601に接続される。
インターネット601は、各種電力情報及び天気予報などの環境情報が格納されているクラウドサーバ602に接続される。また、インターネット601は、第2ユーザ端末70にも接続される。第2ユーザ端末70は、実施の形態1で説明したものと同様、冷蔵庫4の第1ユーザと異なる第2ユーザが使用する装置である。第2ユーザ端末70は、例えば、第2ユーザ(家族、親戚、友人、知人、警備会社、公共機関、又は介護会社のような管理者)に使用権限が与えられている、スマートフォン、携帯タブレット、携帯電話、パーソナルコンピュータなどのような通信機能を備えた装置である。
クラウドサーバ602は、インターネット601を介して冷蔵庫4及び第2ユーザ端末70と通信可能に接続された外部サーバである。クラウドサーバ602は、第2ユーザ端末70について冷蔵庫4への接続権限の有無を認証する個人認証部603を備えていることが望ましい。
例えば、クラウドサーバ602は、内蔵する又は外部接続された記憶部に、冷蔵庫4のID(識別子)に対して、冷蔵庫4への接続権限を有する第2ユーザ端末70の携帯端末IDを予め記憶している。ここで、冷蔵庫4のIDとは、インターネット601に接続され得る複数の冷蔵庫の各々を一意に識別可能な情報である。また、携帯端末IDとは、インターネット601に接続された複数の携帯端末の各々を一意に識別可能な情報である。
そして、個人認証部603は、第2ユーザ端末70の携帯端末IDが、冷蔵庫4に対して冷蔵庫4への接続権限を有するものとして記憶されているか否か(登録された第2ユーザの端末であるか否か)を確認することで、第2ユーザ端末70について冷蔵庫4への接続権限の有無を認証する。
外部サーバであるクラウドサーバ602は、個人認証部603により冷蔵庫4への接続権限を有することを認証した第2ユーザ端末70が、インターネット601を介して冷蔵庫4へと接続する(通信する)ことを許可する。すなわち、クラウドサーバ602は、個人認証部603により冷蔵庫4への接続権限を有することが認証されていない携帯端末が、インターネット601を介して冷蔵庫4へと接続することを禁止する。
宅内コントローラ505は、宅内システム500において電力計測装置503から家電機器の消費電力又は系統電源501の供給電力を入手し、また、家電機器から運転状態又は周囲環境の情報を入手する。さらに、宅内コントローラ505は、ブロードバンドルータ506を経由してインターネット601に接続しており、クラウドサーバ602から各種の電力情報又は各種の環境情報を入手することが可能である。
例えば、宅内システム500の宅内コントローラ505は、宅外システム600のクラウドサーバ602から電力情報として宅内システム500が設置されている地域に関する電力の需給状況を入手することができる。そして、地域の消費電力が供給電力の上限値に迫っている場合には、宅内コントローラ505は、特に消費電力の大きい家電機器に対して節電指示を送信することができる。また、そのような場合に、冷蔵庫4については、貯蔵室の設定温度と実際の温度履歴とから冷却過剰と判断された場合に、宅内コントローラ505から設定温度の上昇を指示することができる。
また、第2ユーザ端末70は、インターネット601を経由し、宅内コントローラ505を介して直接的又は間接的に冷蔵庫4に接続することもできる。この際、クラウドサーバ602の個人認証部603により、冷蔵庫4への接続権限を有することが認証された第2ユーザ端末70のみが、冷蔵庫4への接続を許可される。
したがって、例えば、家族又はヘルパーが管理者である場合には、第2ユーザ端末70の携帯端末IDを登録しておけば、セキュリティを維持したうえで、冷蔵庫4の第1ユーザの生活状況を示す第2情報を共有することが可能となる。また、第1ユーザだけでなく、第2ユーザも、スーパーマーケットなどのような買い物先において、冷蔵庫4の貯蔵室内の食品の在庫状態を確認することが可能となるため、同じ食品を重複して買ったり、必要な食品を買い忘れたりすることを防ぐことができる。
実施の形態4においては、食品識別部(図11における構成107)が参照する参照情報の全部又は一部を、外部サーバであるクラウドサーバ602に保存するようにしてもよい。食品情報記憶部(図11における構成106)の参照情報をクラウドサーバ602に保存するようにすることで、食品の種類に関する膨大なデータを、例えば、第1ユーザ及び第2ユーザ以外のユーザと共有することが可能である。
なお、以上で説明した個人認証部603はIDを用いて接続権限を認証するものであったが、認証方法は、これに限定されない。個人認証部603は、IDを用いた認証に代えて又はIDを用いた認証に加えて、例えば、指紋、静脈、目の虹彩などの生体認証、又は、パスワードによる認証、又は、これらの認証方法の組み合わせによって、接続権限を認証してもよい。
以上説明したように、実施の形態4に係るネットワークシステムによれば、実施の形態1から3に係る冷蔵庫1から3によって得られる効果に加えて、第2ユーザが使用する第2端末装置70が、冷蔵庫と通信する権限を有する者の携帯端末であるかどうかを、厳密に認証することができる。このため、第1ユーザの個人情報である、冷蔵庫の使用状況及び第1ユーザの生活状況が、権限を有していない者に漏れることを確実に防止することができる。
1,2,3,4 冷蔵庫、 11 冷蔵室、 12 製氷室、 13 切替室、 14 冷凍室、 15 野菜室、 16 冷蔵室棚板、 17 チルド室、 18 チルドケース、 19 冷却風路、 20 扉、 21,21a 操作パネル、 22 開閉検出部、 23 通信部、 24 記憶部、 25 時刻提供部、 27 撮影装置、 62 在庫食品一覧表示画面、 70 第2ユーザ端末(別ユーザ端末、端末装置)、 71 表示部、 91,91a~91e 予定有りマーク、 92,92a~92g 予定内容マーク、 93 現在時刻、 94,94a,94b 平常期間以外の予定による外出時間帯、 95,95a,95b 平常期間の予定による外出時間帯、 96 就寝時間帯、 100,200,300 制御部、 101 画像管理部、 102 変化検出部、 103 劣化検出部、 103a 食品状況検出部、 104 使用状況取得部、 105 生活管理部、 106 食品情報記憶部、 107 食品識別部、 108 スケジュール管理部、 109 スケジュール設定部、 110,210,310 制御基板、 500 宅内システム、 501 系統電源、 502 電灯線、 503 電力計測装置、 504 電力計測端子、 505 宅内コントローラ、 506 ブロードバンドルータ、 515 機器通信部、 600 宅外システム、 601 インターネット、 602 クラウドサーバ、 603 個人認証部。
Claims (16)
- 食品を収納する貯蔵室と、通信を行う通信部とを備え、第1ユーザによって使用される冷蔵庫であって、
前記貯蔵室内の画像を取得する撮影装置と、
前記撮影装置によって取得された前記画像から食品画像を抽出する画像管理部と、
ある期間における前記食品画像から、前記貯蔵室内に収納されている食品の状況の変化を検出する食品状況検出部と、
前記食品状況検出部によって検出された前記食品の状況の変化から、前記第1ユーザによる前記冷蔵庫の使用状況を示す第1情報を取得する使用状況取得部と、
前記第1情報から前記第1ユーザの生活状況が前記第1ユーザとは異なる第2ユーザに報知されるべき状況であると判断した場合に、前記通信部を介して前記生活状況を示す第2情報を前記第2ユーザが使用する端末装置に報知する生活管理部と、
を備えた冷蔵庫。 - 情報を記憶する記憶部と、
時刻情報を提供する時刻提供部と、
をさらに備え、
前記画像管理部は、前記時刻提供部から時刻情報を取得し、前記食品画像と前記時刻情報とを関連付けて前記記憶部に記憶させる
請求項1に記載の冷蔵庫。 - 前記食品状況検出部は、
前記食品画像の時間変化を検出する変化検出部と、
前記変化検出部によって検出された前記食品画像の時間変化から食品の劣化状態を検出する劣化検出部と、
を備える請求項1に記載の冷蔵庫。 - 前記変化検出部は、前記食品画像の色及び大きさの時間変化を検出する
請求項3に記載の冷蔵庫。 - 前記食品画像に対応する食品の種類及び量を識別する食品識別部をさらに備え、
前記使用状況取得部は、前記食品識別部によって識別された前記食品の種類及び量に基づいて、前記第1ユーザの使用状況を検出する
請求項1から4のいずれか1項に記載の冷蔵庫。 - 食品の種類に、前記食品の形状、大きさ、色、及び外装ラベルの少なくとも1つを対応付けて予め記憶する食品情報記憶部をさらに備え、
前記食品識別部は、前記食品情報記憶部に記憶されている情報を参照して、前記食品画像に対応する食品の種類及び量を識別する
請求項5に記載の冷蔵庫。 - 前記第1ユーザのスケジュールを管理するスケジュール管理部をさらに備え、
前記生活管理部は、前記使用状況取得部によって取得された前記第1情報と前記スケジュール管理部によって受け取られた前記第1ユーザのスケジュール情報とから、前記第1ユーザの生活状況が前記第2ユーザに報知されるべき状況であるか否かを判断する
請求項1から6のいずれか1項に記載の冷蔵庫。 - 前記生活管理部は、前記食品の保管状態又は前記第1ユーザの使用状況に変化がないと判断される状況が、予め決められた期間以上継続したと識別された際に、前記通信部を介して前記端末装置に安否関連情報を報知する
請求項1から7のいずれか1項に記載の冷蔵庫。 - 前記生活管理部は、前記第1ユーザが不在であるにもかかわらず、前記食品の保管状態又は前記第1ユーザの使用状況に変化があると想定される状況が、少なくとも1回発生したと識別された場合、前記通信部を介して前記端末装置に防犯関連情報を報知する
請求項7に記載の冷蔵庫。 - 前記生活管理部は、
前記第1ユーザの生活状況として、前記食品の保管状態又は前記第1ユーザの使用状況に、所定の特徴があると識別された際に、
前記通信部を介して前記端末装置に食生活関連情報を報知する
請求項1から7のいずれか1項に記載の冷蔵庫。 - 請求項1から10のいずれか1項に記載の冷蔵庫と、
前記冷蔵庫と通信可能に接続され、前記第2ユーザが使用する前記端末装置と、
を備えたネットワークシステム。 - インターネットを介して、前記冷蔵庫及び前記端末装置と通信可能に接続されたサーバをさらに備え、
前記サーバは、前記端末装置が前記冷蔵庫との通信が許可された端末であることを認証する個人認証部を有する
請求項11に記載のネットワークシステム。 - 前記サーバは、
食品の種類に、前記食品の形状、大きさ、色、及び外装ラベルの少なくとも1つを対応付けて予め記憶し、
前記貯蔵室内の食品の種類及び量に基づいて、前記第1ユーザの使用状況を示す前記第1情報を取得する
請求項12に記載のネットワークシステム。 - 前記サーバは、
前記第1ユーザのスケジュールを管理し、
前記第1ユーザによる前記冷蔵庫の使用状況を示す第1情報と前記第1ユーザのスケジュール情報とから、前記第1ユーザの生活状況が前記第2ユーザに報知されるべき状況であるか否かを判断する
請求項12又は13に記載のネットワークシステム。 - 冷蔵庫を使用する第1ユーザの生活状況の報知方法であって、
前記冷蔵庫の貯蔵室内を撮影することによって前記貯蔵室内の画像を取得するステップと、
取得された前記画像から食品画像を抽出するステップと、
ある期間における前記食品画像から、前記貯蔵室内に収納されている食品の状況の変化を検出するステップと、
検出された前記食品の状況の変化から、前記第1ユーザによる前記冷蔵庫の使用状況を示す第1情報を取得するステップと、
前記第1情報から前記第1ユーザの生活状況が前記第1ユーザとは異なる第2ユーザに報知されるべき状況であると判断した場合に、前記生活状況を示す第2情報を前記第2ユーザが使用する端末装置に報知するステップと、
を有する生活状況の報知方法。 - 食品を収納する貯蔵室と、通信を行う通信部と、前記貯蔵室内の画像を取得する撮影装置とを備えた冷蔵庫を使用する第1ユーザの生活状況の報知プログラムであって、
前記撮影装置によって前記冷蔵庫の貯蔵室内を撮影させることによって前記貯蔵室内の画像を取得する処理と、
取得された前記画像から食品画像を抽出する処理と、
ある期間における前記食品画像から、前記貯蔵室内に収納されている食品の状況の変化を検出する処理と、
検出された前記食品の状況の変化から、前記第1ユーザによる前記冷蔵庫の使用状況を示す第1情報を取得する処理と、
前記第1情報から前記第1ユーザの生活状況が前記第1ユーザとは異なる第2ユーザに報知されるべき状況であると判断した場合に、前記生活状況を示す第2情報を前記第2ユーザが使用する端末装置に報知する処理と、
をコンピュータに実行させる生活状況の報知プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018530207A JP6576560B2 (ja) | 2016-07-25 | 2016-07-25 | 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム |
PCT/JP2016/071697 WO2018020541A1 (ja) | 2016-07-25 | 2016-07-25 | 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム |
TW105127212A TWI751977B (zh) | 2016-07-25 | 2016-08-25 | 冰箱、具有該冰箱之網路系統、生活狀況之通報方法以及生活狀況之通報程式 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/071697 WO2018020541A1 (ja) | 2016-07-25 | 2016-07-25 | 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018020541A1 true WO2018020541A1 (ja) | 2018-02-01 |
Family
ID=61015747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/071697 WO2018020541A1 (ja) | 2016-07-25 | 2016-07-25 | 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6576560B2 (ja) |
TW (1) | TWI751977B (ja) |
WO (1) | WO2018020541A1 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019229949A1 (ja) * | 2018-05-31 | 2019-12-05 | 三菱電機株式会社 | 冷蔵庫システム |
CN111709913A (zh) * | 2020-05-21 | 2020-09-25 | 四川虹美智能科技有限公司 | 冰箱内变质食品检测方法、装置及*** |
WO2020096235A3 (ko) * | 2018-11-05 | 2020-10-15 | 삼성전자주식회사 | 식품 관리 시스템, 서버 장치 및 냉장고 |
WO2020245965A1 (ja) * | 2019-06-06 | 2020-12-10 | 三菱電機株式会社 | 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム |
CN114294897A (zh) * | 2021-04-19 | 2022-04-08 | 海信视像科技股份有限公司 | 冰箱及食材图标显示方法 |
US11335010B2 (en) | 2019-08-15 | 2022-05-17 | Haier Us Appliance Solutions, Inc. | Methods for viewing and tracking stored items |
WO2023007895A1 (ja) * | 2021-07-30 | 2023-02-02 | アイリスオーヤマ株式会社 | 冷蔵庫 |
WO2023162312A1 (ja) * | 2022-02-22 | 2023-08-31 | 日立グローバルライフソリューションズ株式会社 | 画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法 |
WO2023166916A1 (ja) * | 2022-03-02 | 2023-09-07 | パナソニックIpマネジメント株式会社 | 物品管理システム、物品管理方法及びプログラム |
WO2024116537A1 (ja) * | 2022-11-29 | 2024-06-06 | 日立グローバルライフソリューションズ株式会社 | 分類装置及び貯蔵庫 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001357475A (ja) * | 2000-06-12 | 2001-12-26 | Art Data:Kk | 安否確認システム及びこのシステムを用いた付帯サービスシステム |
JP2003030421A (ja) * | 2001-07-13 | 2003-01-31 | Seiko Epson Corp | 生活支援システム及び生活支援方法 |
JP2005326113A (ja) * | 2004-05-17 | 2005-11-24 | Matsushita Electric Ind Co Ltd | 保管庫とそのプログラム |
JP2015081762A (ja) * | 2013-10-24 | 2015-04-27 | 三菱電機株式会社 | 冷蔵庫 |
JP2016057022A (ja) * | 2014-09-11 | 2016-04-21 | 株式会社東芝 | 食材管理システム |
JP2016080232A (ja) * | 2014-10-15 | 2016-05-16 | 三菱電機株式会社 | 冷蔵庫及びそれを備えたネットワークシステム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004286355A (ja) * | 2003-03-24 | 2004-10-14 | Matsushita Electric Ind Co Ltd | 冷蔵庫 |
US8558703B2 (en) * | 2010-05-07 | 2013-10-15 | Mikael Edlund | Method for monitoring an individual |
JP2015068525A (ja) * | 2013-09-27 | 2015-04-13 | 三菱電機株式会社 | 冷蔵庫 |
JP2015145732A (ja) * | 2014-01-31 | 2015-08-13 | 三菱電機株式会社 | 冷凍冷蔵庫 |
JP6305122B2 (ja) * | 2014-03-10 | 2018-04-04 | 三菱電機株式会社 | 冷蔵庫及び冷蔵庫を備えたネットワークシステム |
CN105184719A (zh) * | 2015-08-28 | 2015-12-23 | 小米科技有限责任公司 | 食品监控方法及装置 |
CN105513052B (zh) * | 2015-11-26 | 2018-01-12 | 四川长虹电器股份有限公司 | 一种冰箱内食物存量及变质信息探知***及方法 |
-
2016
- 2016-07-25 WO PCT/JP2016/071697 patent/WO2018020541A1/ja active Application Filing
- 2016-07-25 JP JP2018530207A patent/JP6576560B2/ja active Active
- 2016-08-25 TW TW105127212A patent/TWI751977B/zh active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001357475A (ja) * | 2000-06-12 | 2001-12-26 | Art Data:Kk | 安否確認システム及びこのシステムを用いた付帯サービスシステム |
JP2003030421A (ja) * | 2001-07-13 | 2003-01-31 | Seiko Epson Corp | 生活支援システム及び生活支援方法 |
JP2005326113A (ja) * | 2004-05-17 | 2005-11-24 | Matsushita Electric Ind Co Ltd | 保管庫とそのプログラム |
JP2015081762A (ja) * | 2013-10-24 | 2015-04-27 | 三菱電機株式会社 | 冷蔵庫 |
JP2016057022A (ja) * | 2014-09-11 | 2016-04-21 | 株式会社東芝 | 食材管理システム |
JP2016080232A (ja) * | 2014-10-15 | 2016-05-16 | 三菱電機株式会社 | 冷蔵庫及びそれを備えたネットワークシステム |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2019229949A1 (ja) * | 2018-05-31 | 2021-01-07 | 三菱電機株式会社 | 冷蔵庫及び冷蔵庫システム |
WO2019229949A1 (ja) * | 2018-05-31 | 2019-12-05 | 三菱電機株式会社 | 冷蔵庫システム |
WO2020096235A3 (ko) * | 2018-11-05 | 2020-10-15 | 삼성전자주식회사 | 식품 관리 시스템, 서버 장치 및 냉장고 |
JP7270730B2 (ja) | 2019-06-06 | 2023-05-10 | 三菱電機株式会社 | 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム |
WO2020245965A1 (ja) * | 2019-06-06 | 2020-12-10 | 三菱電機株式会社 | 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム |
JPWO2020245965A1 (ja) * | 2019-06-06 | 2021-10-14 | 三菱電機株式会社 | 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム |
US11335010B2 (en) | 2019-08-15 | 2022-05-17 | Haier Us Appliance Solutions, Inc. | Methods for viewing and tracking stored items |
CN111709913B (zh) * | 2020-05-21 | 2023-04-18 | 四川虹美智能科技有限公司 | 冰箱内变质食品检测方法、装置及*** |
CN111709913A (zh) * | 2020-05-21 | 2020-09-25 | 四川虹美智能科技有限公司 | 冰箱内变质食品检测方法、装置及*** |
CN114294897A (zh) * | 2021-04-19 | 2022-04-08 | 海信视像科技股份有限公司 | 冰箱及食材图标显示方法 |
WO2023007895A1 (ja) * | 2021-07-30 | 2023-02-02 | アイリスオーヤマ株式会社 | 冷蔵庫 |
WO2023162312A1 (ja) * | 2022-02-22 | 2023-08-31 | 日立グローバルライフソリューションズ株式会社 | 画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法 |
WO2023166916A1 (ja) * | 2022-03-02 | 2023-09-07 | パナソニックIpマネジメント株式会社 | 物品管理システム、物品管理方法及びプログラム |
WO2024116537A1 (ja) * | 2022-11-29 | 2024-06-06 | 日立グローバルライフソリューションズ株式会社 | 分類装置及び貯蔵庫 |
Also Published As
Publication number | Publication date |
---|---|
TWI751977B (zh) | 2022-01-11 |
JP6576560B2 (ja) | 2019-09-18 |
TW201804860A (zh) | 2018-02-01 |
JPWO2018020541A1 (ja) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6576560B2 (ja) | 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム | |
JP6324360B2 (ja) | 冷蔵庫及びそれを含むネットワークシステム | |
JP6745872B2 (ja) | 冷蔵庫及びそれを含むネットワークシステム | |
KR102003149B1 (ko) | 정보 생성 방법 및 디바이스 | |
JP6336816B2 (ja) | 冷蔵庫 | |
US7673464B2 (en) | Method and apparatus for temperature based placement of an item within a storage unit | |
US20180197135A1 (en) | Apparatus and System For Remote Sensing, Monitoring, Analysis and Alerting of Environmental Attributes | |
JP6447334B2 (ja) | 冷蔵庫及びネットワークシステム | |
CN106642969A (zh) | 冰箱的食物管理方法及冰箱 | |
JP2016130609A (ja) | 冷蔵庫 | |
JP6410550B2 (ja) | 冷蔵庫及びそれを備えたネットワークシステム | |
WO2019029442A1 (zh) | 共享冰箱的物品存放方法与共享冰箱 | |
JP2006317109A (ja) | 冷蔵庫 | |
JP2023083476A (ja) | プログラム | |
JP6335847B2 (ja) | 冷蔵庫 | |
CN109631453B (zh) | 冰箱 | |
JP7467897B2 (ja) | 食材管理システム | |
JP2018112402A (ja) | 冷蔵庫 | |
CN113154788A (zh) | 冰箱管理装置、管理装置以及计算机可读介质 | |
WO2021210132A1 (ja) | 冷蔵庫 | |
WO2021014930A1 (ja) | 情報機器、制御方法 | |
JP2021018633A (ja) | システム | |
WO2024004569A1 (ja) | タグ、制御方法、および、制御システム | |
JP7266004B2 (ja) | 管理装置 | |
KR20180006719A (ko) | 바코드인식을 통해 유통기한과 칼로리 안내 기능을 갖는 다기능 주방용 디스플레이장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2018530207 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16910445 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16910445 Country of ref document: EP Kind code of ref document: A1 |