KR20200106473A - Refrigerator and Controlling Method for the same - Google Patents
Refrigerator and Controlling Method for the same Download PDFInfo
- Publication number
- KR20200106473A KR20200106473A KR1020200110323A KR20200110323A KR20200106473A KR 20200106473 A KR20200106473 A KR 20200106473A KR 1020200110323 A KR1020200110323 A KR 1020200110323A KR 20200110323 A KR20200110323 A KR 20200110323A KR 20200106473 A KR20200106473 A KR 20200106473A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- drawer
- door
- area
- refrigerator
- Prior art date
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
- F25D29/005—Mounting of control devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D11/00—Self-contained movable devices, e.g. domestic refrigerators
- F25D11/02—Self-contained movable devices, e.g. domestic refrigerators with cooling compartments at different temperatures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
- F25D2400/36—Visual displays
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2500/00—Problems to be solved
- F25D2500/06—Stock management
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/02—Sensors detecting door opening
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/06—Sensors detecting the presence of a product
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
Description
본 발명은 냉장고 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 사용자가 도어를 개방하지 않더라도 냉장고에 저장된 식품에 관한 정보를 제공할 수 있는 냉장고 및 그 제어 방법에 관한 것이다.The present invention relates to a refrigerator and a control method thereof, and more particularly, to a refrigerator capable of providing information on food stored in the refrigerator even if a user does not open a door, and a control method thereof.
일반적으로 냉장고는 냉동 사이클의 구동에 따라 발생된 냉기를 공급하는 장치로서, 식품을 저온의 상태로 보관하기 위한 장치이다. 종래의 냉장고의 경우, 단순히 식품을 저온의 상태로 보관하기 위한 기능만을 수행할 수 있었다. 그러나, 근래에 들어서는 식품 보관 기능 외에 추가적인 기능의 필요성이 증가되고 있다.In general, a refrigerator is a device for supplying cold air generated by driving of a refrigeration cycle, and is a device for storing food in a low-temperature state. In the case of a conventional refrigerator, only the function of storing food in a low temperature state could be performed. However, in recent years, the need for additional functions in addition to the food storage function is increasing.
냉장고는 일정 수납물을 수납하여 보관하는 장치로서, 내부를 확인하기 위해서는 냉장고 도어를 열어서 확인하는 수밖에 없다. 또한 사용자가 시장이나 마트에서 물건을 사려고 할 때에 냉장고에 보관된 식품의 양과 종류에 대해서 파악하지 못하는 경우에 동일한 식품을 중복해서 사거나, 필요한 식품을 사지 못하는 불편함이 있었다. A refrigerator is a device that accommodates and stores certain items. In order to check the interior, the refrigerator door must be opened to check the inside. In addition, when a user attempts to buy a product at a market or a mart, if he cannot grasp the amount and type of food stored in the refrigerator, there is an inconvenience of purchasing the same food repeatedly or not purchasing the necessary food.
종래 기술인 일본특허공보 특허제3450907호와, 특허공개공보 특개2004-183987에 따르면 카메라가 도어에 설치되어 냉장고의 고내를 촬영하는 기술이 개시되어 있다. 또한 일본특허공개공보 특개2001-294308호에 따르면 카메라가 고내, 드로워 내부, 도어에 각각 설치되어 있는 기술이 개시되어 있다.According to the prior art Japanese Patent Application Publication No. 3450907 and Japanese Patent Application Publication No. 2004-183987, a camera is installed in a door to photograph the inside of a refrigerator. In addition, Japanese Patent Laid-Open Publication No. 2001-294308 discloses a technology in which a camera is installed in a cabinet, a drawer, and a door, respectively.
그러나 검토한 종래 기술에 따르면 냉장고 고내에 설치된 카메라의 촬영범위가 제한적이기 때문에 다양한 저장 영역을 촬영하기 위해서는 복수 개의 카메라를 사용해야 한다는 문제가 있다.However, according to the reviewed prior art, there is a problem in that a plurality of cameras must be used in order to photograph various storage areas because the camera installed in the refrigerator has a limited shooting range.
따라서 고내에 설치한 카메라의 수를 줄이는 반면에, 카메라에 촬영된 영역의 범위를 증가시켜 카메라의 촬영 효율성을 향상시키는 것이 필요하다.Therefore, while reducing the number of cameras installed in the storage, it is necessary to increase the range of an area photographed by the camera to improve the shooting efficiency of the camera.
또한 종래 기술에 따르면 드로워 내부에 대한 영상을 획득하는 데에 여러가지 문제가 있었다. 예를 들어 원하는 시점에 촬영된 사진을 획득하는 구체적인 방법이나, 카메라에 발생되는 결로에 대한 고민, 카메라에 의한 소비 전력 개선을 위한 고민 등이 구체적으로 이루어지지 않았다.In addition, according to the prior art, there are various problems in obtaining an image of the inside of the drawer. For example, a specific method of acquiring a picture taken at a desired point in time, a concern about condensation generated in the camera, and a concern for improving power consumption by the camera have not been made in detail.
구체적으로, 종래 기술에 따르면 고내에 드로워를 포함하는 복수 개의 저장 영역이 있는 경우, 각 영역의 특수성과 위치 관계를 고려하여 사용자에게 최적의 정보를 제공하기 위한 구체성이 결여되는 문제가 있었다. Specifically, according to the prior art, when there are a plurality of storage areas including drawers in the storage, there is a problem of lack of specificity for providing optimal information to a user in consideration of the specificity and positional relationship of each area.
본 발명은 기본적으로 전술한 문제를 해결하고자 함을 목적으로 한다.The present invention basically aims to solve the above-described problem.
본 발명의 실시예를 통하여, 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 사용자가 냉장고 도어를 개방하지 않더라도 냉장고에 보관된 식품에 관한 정보를 제공하는 냉장고의 저장실 표시 장치 및 그 제어 방법을 제공하는 것이다.In order to solve the above problems, the present invention provides an apparatus for displaying a storage compartment of a refrigerator and a control method thereof that provides information on food stored in the refrigerator even if the user does not open the refrigerator door. To provide.
또한, 본 발명의 실시예를 통하여, 저장실 내의 복수 개의 저장 영역 각각에 보관된 식품에 관한 정보를 사용자가 직관적으로 인식할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.In addition, through an embodiment of the present invention, it is intended to provide a refrigerator through which a user can intuitively recognize information on food stored in each of a plurality of storage areas in a storage room, and a control method thereof.
또한, 본 발명의 실시예를 통하여, 복수 개의 저장 영역 사이의 위치 관계를 사용자가 직관적으로 인식할 수 있고, 사용자의 시각적인 관점과 실질적으로 일치하는 보관된 식품 정보를 제공할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다. In addition, through an embodiment of the present invention, a user can intuitively recognize the positional relationship between a plurality of storage areas, and a refrigerator capable of providing stored food information substantially consistent with the user's visual point of view, and its We want to provide a control method.
또한, 본 발명의 실시예를 통하여, 카메라의 구동 시점과 카메라의 촬영 시점을 도어의 개방 및/또는 도어의 회전 각도와 연동시켜, 카메라로 인한 소비 전력을 감소시키고 최적의 시점에서 카메라를 통한 식품 저장 정보를 획득할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.In addition, through an embodiment of the present invention, by linking the driving time of the camera and the shooting time of the camera with the opening of the door and/or the rotation angle of the door, power consumption due to the camera is reduced, and food through the camera at the optimal time point. An object of the present invention is to provide a refrigerator capable of acquiring storage information and a control method thereof.
또한, 본 발명의 실시예를 통하여, 결로에 의해서 카메라에서 촬영된 사진의 품질이 저하되는 것을 방지하고자 한다.In addition, through an embodiment of the present invention, it is intended to prevent the quality of a picture taken by a camera from deteriorating due to condensation.
또한 본 발명의 실시예를 통하여 사용자에게 냉장고에 저장된 식품에 대한 최신 정보를 제공할 수 있다.Also, through an embodiment of the present invention, the latest information on food stored in the refrigerator may be provided to the user.
또한, 본 발명의 실시예를 통하여, 사용자에게 디스플레이되는 사진의 영역을 관리자 또는 사용자가 직접 보정할 수 있도록 하여, 최적의 상태의 식품 저장 정보를 사용자에게 제공하고자 한다. In addition, through an embodiment of the present invention, it is intended to provide the user with food storage information in an optimal state by allowing the administrator or the user to directly correct the area of the picture displayed to the user.
또한, 본 발명의 실시예를 통하여, 고정된 본체에 카메라를 설치하여 카메라가 흔들리는 것을 방지하여 최적의 식품 저장 정보를 사용자에게 제공할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.In addition, through an embodiment of the present invention, by installing a camera in a fixed body to prevent the camera from shaking, to provide a refrigerator capable of providing optimal food storage information to a user and a control method thereof.
또한, 본 발명의 실시예를 통하여, 드로워의 상태 정보를 소프트웨어적으로 파악하여 구성을 단순화하면서도 드로워 내의 식품 저장 정보를 효과적으로 파악하여 제공할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.In addition, through an embodiment of the present invention, it is intended to provide a refrigerator and a control method thereof capable of effectively grasping and providing food storage information in a drawer while simplifying the configuration by grasping the state information of a drawer through software.
또한, 본 발명의 실시예를 통하여, 하나의 카메라를 통한 연속 촬영으로 드로워를 포함하는 저장실 내부의 복수 개의 저장 영역 각각에 대한 최신의 식품 저장 정보를 제공할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다. In addition, through an embodiment of the present invention, a refrigerator capable of providing the latest food storage information for each of a plurality of storage areas inside a storage room including a drawer by continuous shooting through one camera and a control method thereof is provided. I want to.
또한, 본 발명의 실시예를 통하여, 드로워의 내부 공간과 적어도 일부가 상하로 중첩되는 다른 저장 영역 또는 상기 드로워의 내부 공간과 적어도 일부가 상하로 중첩되는 다른 드로워 내부 공간에 저장되는 식품 저장 정보를 하나의 카메라를 이용하여 제공할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.In addition, through an embodiment of the present invention, food stored in another storage area in which the inner space of the drawer and at least part overlap vertically or in another drawer inner space in which the inner space of the drawer and at least part overlap vertically. An attempt is made to provide a refrigerator that can provide storage information using a single camera and a control method thereof.
또한 본 발명의 실시예를 통하여 결로에 의해서 카메라에서 촬영된 사진의 품질이 저하되는 것을 방지할 수 있다.In addition, through an embodiment of the present invention, it is possible to prevent the quality of a picture taken by the camera from deteriorating due to condensation.
또한 본 발명의 실시예를 통하여 고내에 설치하는 카메라를 한 대로 제한해서 냉장고에 소요되는 비용을 절감할 수 있는 냉장고를 제공할 수 있다.In addition, according to an exemplary embodiment of the present invention, a refrigerator capable of reducing the cost of the refrigerator may be provided by limiting the number of cameras installed in the storage to one.
또한, 본 발명의 실시예를 통하여, 카메라로 인한 소비 전력 상승을 효과적으로 방지할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다. In addition, through an embodiment of the present invention, it is intended to provide a refrigerator and a control method thereof that can effectively prevent an increase in power consumption due to a camera.
또한, 본 발명의 실시예를 통하여, 제어부와 메모리부의 부하를 최소화할 수 있고 연속 촬영되는 사진들을 효과적이고 효율적으로 처리할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다. In addition, through an embodiment of the present invention, it is intended to provide a refrigerator and a control method thereof that can minimize the load of the control unit and the memory unit and can effectively and efficiently process continuously photographed pictures.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실; 상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어; 상기 저장실에 고정되도록 구비되어, 상기 저장실 내의 식품 정보를 업데이트하기 위하여 상기 저장실 내부를 촬영하는 카메라; 상기 도어의 개폐를 감지하는 도어 스위치; 상기 도어의 개방 각도를 감지하는 도어 센서; 그리고 상기 도어 스위치의 감지 결과에 따라, 상기 카메라의 대기모드와 촬영을 시작하기 위한 구동모드 사이의 전환시점을 판단하고, 상기 도어 센서의 감지 결과에 따라, 촬영된 사진들 중 업데이트를 위한 유효 사진을 선택하는 기준 시점을 결정하는 제어부를 포함하는 냉장고가 제공될 수 있다. In order to achieve the above object, according to an embodiment of the present invention, a storage compartment formed by a fixed heat insulating wall and provided with an opening in a main body of a refrigerator; A door rotatably provided in the main body to open and close the opening; A camera that is provided to be fixed to the storage compartment and photographs the inside of the storage compartment to update food information in the storage compartment; A door switch for sensing opening and closing of the door; A door sensor detecting an opening angle of the door; And, according to the detection result of the door switch, the time point of switching between the standby mode of the camera and the driving mode for starting the photographing is determined, and according to the detection result of the door sensor, a valid photo for updating among the photographed photos A refrigerator may be provided that includes a controller that determines a reference time point for selecting.
상기 제어부는, 상기 도어 스위치에서 상기 도어의 개방을 감지하면, 상기 대기모드에서 구동모드로 전환시키고, 상기 도어 스위치에서 상기 도어의 폐쇄를 감지하면, 상기 구동모드에서 대기모드로 전환시킬 수 있다. When the door switch detects the opening of the door, the control unit may switch from the standby mode to the driving mode, and when the door switch detects the closing of the door, the control unit may switch from the driving mode to the standby mode.
상기 제어부는, 상기 대기모드에서 상기 카메라로 인가되는 전류값의 크기에서, 상기 구동모드로 전환시, 단계적으로 인가되는 전류값을 상승시킬 수 있다. 따라서, 구동모드로 전환된 후 인가되는 전류값이 상승되어 소정의 전류값이 되면 비로소 촬영이 시작될 수 있다. The control unit may increase the current value applied stepwise when switching to the driving mode from the magnitude of the current value applied to the camera in the standby mode. Accordingly, when the current value applied after switching to the driving mode increases and reaches a predetermined current value, the photographing can be started.
상기 도어 센서는 상기 도어의 개방 시작 후 기설정된 각도(기설정 열림 각도)로 개방되는 것 및/또는 도어의 폐쇄 시작 후 기설정된 각도(기설정 폐쇄 각도)까지 폐쇄되는 것을 감지하도록 구비될 수 있다. The door sensor may be provided to detect that the door is opened at a preset angle (preset opening angle) after the opening of the door and/or is closed to a preset angle (preset closing angle) after the door starts to close. .
상기 제어부는, 상기 도어 센서가 상기 기설정 열림 각도를 감지한 시점 전에 촬영된 사진은 유효 사진으로 취급하지 않음이 바람직하다. 상기 제어부는, 상기 도어 센서가 상기 기설정 폐쇄 각도를 감지한 시점 후에 촬영된 사진은 유효 사진으로 취급하지 않음이 바람직하다. 즉, 연속으로 사진이 촬영될 수 있지만, 유효하지 않은 사진은 제어부나 메모리에서 저장할 필요가 없다. 왜냐하면 유효하지 않은 사진이라 함은 최신 식품 저장 정보 내지는 식품 업그레이드에 대한 정보를 대변하지 않기 때문이다. It is preferable that the control unit does not treat a picture taken before a point in time when the door sensor detects the preset opening angle as a valid picture. It is preferable that the control unit does not treat a picture taken after a point in time when the door sensor detects the preset closing angle as a valid picture. That is, pictures can be taken continuously, but invalid pictures do not need to be stored in the control unit or memory. This is because invalid photos do not represent the latest food storage information or food upgrade information.
상기 제어부는, 상기 도어 센서가 상기 기설정 열림 각도를 감지한 시점 이후 그리고 상기 기설정 폐쇄 각도를 감지한 시점 이전 사이에 촬영된 사진은 유효 사진으로 취급함이 바람직하다. 여기서의 유효 사진은 식품 저장 정보 내지는 식품 업그레이드에 대한 정보를 대변할 수 있다. 따라서 제어부나 메모리에서 필요한 경우 저장, 처리 및 가공하는 것이 가능하다. 그러나, 이러한 유효 사진 모두가 업그레이드에 필요한 사진이 아닐 수 있다. 그러므로 유효 사진들 중 특정 시점에 촬영된 사진이 업그레이드에 필요할 수 있다. It is preferable that the control unit treats a picture taken between a time point when the door sensor detects the preset opening angle and before the time point when the preset closing angle is detected as a valid picture. The valid photo here may represent information on food storage information or food upgrades. Therefore, it is possible to store, process, and process if necessary in the control unit or memory. However, not all of these valid photos may be required for the upgrade. Therefore, among valid photos, a photo taken at a specific point in time may be required for upgrade.
상기 구동모드로 전환된 후, 소정의 지연시간이 소요된 후 촬영이 시작됨이 바람직하다. 이러한 지연시간으로 인해 대기모드에서 소모되는 전력을 현저히 낮출 수 있다. 따라서, 기본적으로 대기모드에 소요되는 시간이 현저히 많기 때문에 전체적으로 냉장고에서의 소모 전력을 현저히 낮출 수 있다. After switching to the driving mode, it is preferable to start shooting after a predetermined delay time has elapsed. Due to this delay time, the power consumed in the standby mode can be significantly reduced. Therefore, basically, since the time required for the standby mode is remarkably large, the overall power consumption in the refrigerator can be significantly reduced.
상기 대기모드에서 상기 구동모드로 전환 시, 상기 소정의 지연시간 동안 상기 카메라에 인가되는 전류값이 단계적으로 상승됨이 바람직하다. When switching from the standby mode to the driving mode, it is preferable that the current value applied to the camera increases stepwise during the predetermined delay time.
상기 구동모드에서 상기 카메라는 연속 촬영하도록 제어됨이 바람직하다. In the driving mode, the camera is preferably controlled to shoot continuously.
상기 저장실 내에 구비되는 드로워를 더 포함하고, 상기 카메라는, 상기 저장실 내의 상기 드로워의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 저장실 내의 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하도록, 상기 저장실의 천정에 고정됨이 바람직하다. Further comprising a drawer provided in the storage compartment, the camera, the food is stored in an area (first area) in which food is stored in an outer space of the drawer in the storage room and in a space inside the drawer in the storage room It is preferable that it is fixed to the ceiling of the storage room so that the area (the second area) is captured together.
상기 드로워에는 마커가 구비되고, 상기 제어부는 연속 촬영되는 사진에서의 마커 위치를 감지하여, 상기 드로워의 인출 정도, 인출 여부, 이동 방향, 정지 상태 또는 이동 상태 중 적어도 어느 하나를 포함하는 드로워의 상태 정보를 판단할 수 있다. 따라서, 하드웨어적으로 드로워의 상태 정보를 파악하지 않고, 마커라는 인식표가 촬영되는 사진을 소프트웨어적으로 처리하여 드로워의 상태 정보를 판단할 수 있다. The drawer is provided with a marker, and the control unit detects the marker position in the continuously photographed picture, and includes at least one of a drawing degree of the drawer, a drawing or not, a moving direction, a stopped state, or a moving state The status information of the lower can be determined. Accordingly, the state information of the drawer can be determined by software processing the picture on which the identification mark as a marker is taken, without grasping the state information of the drawer by hardware.
상기 제어부는, 상기 드로워의 상태 정보를 통해 상기 제2영역을 업데이트하기 위한 유효 사진을 결정함이 바람직하다. 상기 제어부는, 상기 도어 센서의 기설정 폐쇄 각도의 감지를 통해 상기 제1영역을 업데이트하기 위한 유효 사진을 결정함이 바람직하다. It is preferable that the control unit determines a valid photo for updating the second area based on the state information of the drawer. Preferably, the control unit determines a valid photo for updating the first area through detection of a preset closing angle of the door sensor.
상기 카메라는, 카메라 렌즈와 몸체를 포함하는 카메라 모듈; 상기 카메라 모듈을 수용하고, 상기 카메라 렌즈의 전방에 소정 이격거리를 갖고 위치되는 투명창이 구비되는 케이스; 그리고 상기 투명창의 내측에서 상기 투명창에 열을 가하는 히터를 포함할 수 있다. 그리고, 상기 카메라를 상기 저장실의 천정 또는 인너 케이스의 천정에 고정 설치하기 위한 카메라 하우징이 구비될 수 있다. The camera includes a camera module including a camera lens and a body; A case accommodating the camera module and having a transparent window positioned in front of the camera lens at a predetermined distance; And it may include a heater that applies heat to the transparent window from the inside of the transparent window. In addition, a camera housing for fixing the camera to the ceiling of the storage room or the ceiling of the inner case may be provided.
상기 히터는 상기 투명창에 직접 면접촉되는 직사각형 형상일 수 있다. The heater may have a rectangular shape in direct surface contact with the transparent window.
상기 냉장고에 전원이 인가되면, 상기 히터는 항상 구동됨이 바람직하다. When power is applied to the refrigerator, it is preferable that the heater is always driven.
상기 대기모드에서 상기 구동모드로 전환 시, 촬영을 시작하기 위해, 상기 카메라 모듈에 인가되는 전류값은 단계적으로 상승됨이 바람직하다. When switching from the standby mode to the driving mode, it is preferable that the current value applied to the camera module is increased step by step to start photographing.
상기 도어 스위치에서 상기 도어의 개방이 감지되면, 촬영을 시작하기 위해, 상기 카메라 모듈에 인가되는 전류값은 단계적으로 상승됨이 바람직하다. When the door switch detects the opening of the door, it is preferable that the current value applied to the camera module is increased step by step to start photographing.
상기 제어부는, 상기 도어 스위치에서 도어의 개방을 감지하면, 상기 도어 센서에 전원을 인가하고, 상기 도어 스위치에서 도어의 폐쇄를 감지하면, 상기 도어 센서에 전원을 차단함이 바람직하다. It is preferable that the control unit applies power to the door sensor when the door switch detects the opening of the door, and cuts off power to the door sensor when the door switch detects the closing of the door.
상기 저장실의 좌우에서 각각 개방 및 폐쇄하는 좌측 도어와 우측 도어를 포함하고, 상기 좌측 도어와 우측 도어 각각에 대응하여 상기 도어 스위치와 도어 센서가 좌우에 각각 구비될 수 있다. It includes a left door and a right door that open and close from the left and right sides of the storage compartment, respectively, and the door switch and the door sensor may be provided on the left and right corresponding to each of the left door and the right door.
상기 도어 스위치들 중 적어도 어느 하나가 도어의 개방을 감지하면, 상기 제어부는, 상기 카메라를 대기 모드에서 구동 모드로 전환시킴이 바람직하다. When at least one of the door switches detects the opening of the door, it is preferable that the controller switches the camera from the standby mode to the driving mode.
따라서, 어느 하나의 도어만 개방되더라도 카메라가 제1영역, 제2영역 그리고 제3영역을 포함하는 복수 개의 영역을 촬영할 수 있다. 그러나, 만약 좌측 도어만 열리는 경우에는 제2영역의 오른쪽 부분은 사진에 제대로 나타나지 않을 수 있다. 그러므로, 이 경우에는 필요한 경우 제2영역 중 왼쪽 부분, 즉 왼쪽 드로워에 대한 정보나 왼쪽 멀티수납칸에 대한 정보 등만 업데이트될 수 있다. 물론, 선반 영역이나 제1영역은 효과적으로 촬영될 수 있으므로, 제1영역에 대한 정보도 업데이트될 수 있을 것이다. Accordingly, even if only one door is opened, the camera can capture a plurality of areas including the first area, the second area, and the third area. However, if only the left door is opened, the right part of the second area may not appear properly in the picture. Therefore, in this case, only the left portion of the second area, that is, information on the left drawer or information on the left multi-storage compartment, may be updated if necessary. Of course, since the shelf area or the first area can be effectively photographed, information on the first area may be updated.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실; 상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어; 상기 저장실 내에 구비되는 드로워; 상기 저장실 내의 상기 드로워의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 저장실 내의 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하도록, 상기 저장실의 천정에 고정되도록 구비되는 카메라; 그리고 상기 제1영역과 제2영역이 함께 촬영된 사진의 촬영 시점을 통하여, 상기 사진에서 상기 제1영역에 대한 부분(제1영역 사진)과 제2영역에 대한 부분(제2영역 사진)을 분리하여, 개별적으로 구분 및 저장하는 제어부를 포함할 수 있다. In order to achieve the above object, according to an embodiment of the present invention, a storage compartment formed by a fixed heat insulating wall and provided with an opening in a main body of a refrigerator; A door rotatably provided in the main body to open and close the opening; A drawer provided in the storage room; The ceiling of the storage room so as to photograph an area in which food is stored in the outer space of the drawer in the storage room (a first area) and an area in which food is stored in the inner space of the drawer in the storage room (a second area) A camera provided to be fixed to the camera; And, through the photographing point of the picture in which the first area and the second area are taken together, a portion of the first area (a picture of the first area) and a portion of the second area (a picture of the second area) are Separately, it may include a control unit that separates and stores individually.
여기서, 상기 제어부는 메모리나 저장부를 포함하는 것이라 할 수 있다. 따라서, 상기 제어부는 저장하는 수단이나 저장수단을 제어하는 수단이라 할 수 있다. Here, the control unit may be said to include a memory or a storage unit. Accordingly, the control unit may be referred to as a storage means or a means for controlling the storage means.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실; 상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어; 상기 저장실 내에 구비되는 드로워; 상기 저장실 내의 상기 드로워의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 저장실 내의 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하도록, 상기 저장실의 천정에 고정되도록 구비되는 카메라; 상기 제1영역과 제2영역이 함께 촬영된 사진의 촬영 시점을 통하여, 상기 사진에서 상기 제1영역에 대한 부분(제1영역 사진)과 제2영역에 대한 부분(제2영역 사진)을 분리하여, 개별적으로 구분 및 저장하는 제어부; 그리고 상기 제1영역 사진과 제2영역 사진을 서로 구분되도록 표시하는 디스플레이를 포함하는 냉장고를 제공할 수 있다. In order to achieve the above object, according to an embodiment of the present invention, a storage compartment formed by a fixed heat insulating wall and provided with an opening in a main body of a refrigerator; A door rotatably provided in the main body to open and close the opening; A drawer provided in the storage room; The ceiling of the storage room so as to photograph an area in which food is stored in the outer space of the drawer in the storage room (a first area) and an area in which food is stored in the inner space of the drawer in the storage room (a second area) A camera provided to be fixed to the camera; Separation of a part for the first area (photo of the first area) and a part for the second area (photo of the second area) in the photo through the time point of the photo in which the first area and the second area are taken together Thus, a control unit for individually classifying and storing; In addition, it is possible to provide a refrigerator including a display that displays the first region picture and the second region picture to be distinguished from each other.
여기서, 상기 제어부는 메모리나 저장부를 포함하는 것이라 할 수 있다. 따라서, 상기 제어부는 저장하는 수단이나 저장수단을 제어하는 수단이라 할 수 있다. Here, the control unit may be said to include a memory or a storage unit. Accordingly, the control unit may be referred to as a storage means or a means for controlling the storage means.
상기 냉장고에는 상기 디스플레이가 제공되지 않을 수 있다. 이 경우, 상기 제1영역 사진과 제2영역 사진은 외부 단말기에 디스플레이될 수 있다. 따라서, 상기 제어부는 제1영역 사진과 제2영역 사진이 외부 단말기에 서로 구분되어 표시될 수 있도록 사진 정보를 상기 외부 단말기로 전송하도록 제어할 수 있다. The display may not be provided in the refrigerator. In this case, the first region picture and the second region picture may be displayed on an external terminal. Accordingly, the controller may control to transmit photo information to the external terminal so that the first region picture and the second region picture can be displayed separately from each other on the external terminal.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실; 상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어; 상기 저장실 내에 구비되는 드로워; 상기 저장실 내의 상기 드로워의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 저장실 내의 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하도록, 상기 저장실의 천정에 고정되도록 구비되는 카메라; 그리고 상기 도어가 개방 후 닫히는 특정 시점에서 촬영된 사진에서 상기 제1영역에 대한 부분(제1영역 사진)을 분리하고, 상기 드로워가 인출 후 인입되는 특정 시점에서 촬영된 사진에서 상기 제2영역에 대한 부분(제2영역 사진)을 분리하여, 상기 제1영역 사진과 제2영역 사진을 서로 개별적으로 분리, 구분, 저장 및 업데이트하는 제어부를 포함함을 특징으로 하는 냉장고가 제공될 수 있다. In order to achieve the above object, according to an embodiment of the present invention, a storage compartment formed by a fixed heat insulating wall and provided with an opening in a main body of a refrigerator; A door rotatably provided in the main body to open and close the opening; A drawer provided in the storage room; The ceiling of the storage room so as to photograph an area in which food is stored in the outer space of the drawer in the storage room (a first area) and an area in which food is stored in the inner space of the drawer in the storage room (a second area) A camera provided to be fixed to the camera; The second area in the picture taken at a specific point in time when the drawer is drawn in and then drawn in is separated from the picture taken at a specific point in time when the door is opened and closed. A refrigerator may be provided, comprising: a controller configured to separate, separate, store, and update the first region photograph and the second region photograph separately from each other by separating a portion (second region photograph) of the image.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 저장실; 상기 저장실에 이동가능하게 마련되며, 마커가 구비되는 드로워; 상기 드로워의 외부에서 상기 드로워를 촬영하는 카메라; 그리고 상기 카메라를 통해 연속 촬영된 사진에서 상기 마커의 위치를 감지하여, 상기 드로워의 인출 정도, 인출 여부, 이동 방향, 정지 상태 또는 이동 상태 중 적어도 어느 하나를 포함하는 드로워의 상태 정보를 판단하는 제어부;를 포함하는 것을 특징으로 하는 냉장고가 제공될 수 있다. 상기 마커는 상기 드로워와 일체로 이동되기 때문에, 마커의 위치를 통해서 상기 드로워의 상태 정보를 파악할 수 있다. In order to realize the above object, according to an embodiment of the present invention, there is provided a storage compartment; A drawer provided to be movable in the storage compartment and provided with a marker; A camera that photographs the drawer from outside the drawer; And, by detecting the position of the marker in the photographs continuously taken through the camera, the drawer status information including at least one of the draw degree, the draw or not, the moving direction, the stationary state, or the moving state is determined. A refrigerator comprising a; Since the marker moves integrally with the drawer, state information of the drawer can be grasped through the position of the marker.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 저장실; 상기 저장실 하부에 이동가능하게 마련되며, 마커가 구비되는 드로워; 상기 저장실의 천정에 고정되도록 구비되어, 드로워의 외부에서 상기 드로워를 내부를 촬영하도록 구비되는 카메라; 그리고 상기 카메라를 통해 연속 촬영된 사진에서 상기 마커의 위치를 감지하여, 상기 드로워의 인출 정도, 인출 여부, 이동 방향, 정지 상태 또는 이동 상태 중 적어도 어느 하나를 포함하는 드로워의 상태 정보를 판단하는 제어부;를 포함하는 것을 특징으로 하는 냉장고가 제공될 수 있다. In order to realize the above object, according to an embodiment of the present invention, there is provided a storage compartment; A drawer provided to be movable under the storage compartment and provided with a marker; A camera provided so as to be fixed to the ceiling of the storage room and provided to photograph the inside of the drawer from the outside of the drawer; And, by detecting the position of the marker in the photographs continuously taken through the camera, the drawer status information including at least one of the draw degree, the draw or not, the moving direction, the stationary state, or the moving state is determined. A refrigerator comprising a;
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실; 상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어; 상기 저장실 내에 구비되는 드로워; 상기 저장실 내에 구비되며, 상기 드로워의 상측에 위치되는 적어도 하나의 선반; 그리고 상기 드로워의 외측 상부 공간에 상기 선반에 의해서 식품이 저장되는 영역(제1영역) 그리고 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 상기 저장실 내에서 함께 촬영하도록, 상기 선반의 전단과 상기 개구부 사이의 상기 저장실의 천정에 고정되도록 구비되는 카메라;를 포함하는 냉장고가 제공될 수 있다. In order to achieve the above object, according to an embodiment of the present invention, a storage compartment formed by a fixed heat insulating wall and provided with an opening in a main body of a refrigerator; A door rotatably provided in the main body to open and close the opening; A drawer provided in the storage room; At least one shelf provided in the storage compartment and positioned above the drawer; And the area in which food is stored by the shelf (first area) in the outer upper space of the drawer and the area (second area) in which food is stored in the inner space of the drawer are photographed together in the storage room, A refrigerator including a camera provided to be fixed to the ceiling of the storage compartment between the front end of the shelf and the opening may be provided.
전술한 본 발명의 일 실시예들은 서로 모순되거나 배타적이지 않는 한 각각의 특징들이 서로 복합적으로 구현될 수 있을 것이다. In the embodiments of the present invention described above, each feature may be implemented in combination with each other unless contradictory or exclusive.
본 발명에 따르면, 사용자가 냉장고에 저장된 식품에 관한 정보를 얻기 위해 도어를 개방할 필요가 없어서, 저장실에 수용된 냉기가 누설되는 것을 막을 수 있다. 따라서 불필요한 냉기 손실을 막아서 냉장고의 에너지 효율을 향상시킬 수 있다.According to the present invention, it is not necessary for the user to open the door to obtain information on the food stored in the refrigerator, so that leakage of cold air contained in the storage compartment can be prevented. Therefore, energy efficiency of the refrigerator can be improved by preventing unnecessary loss of cold air.
또한 본 발명에서는 사용자에게 냉장고에 저장된 식품에 관한 최신 정보를 제공할 수 있기 때문에, 사용자에게 제공되는 식품 정보에 대한 신뢰도가 향상될 수 있다.In addition, in the present invention, since the latest information on food stored in the refrigerator can be provided to the user, reliability of the food information provided to the user can be improved.
또한 본 발명에서는 하나의 카메라에 의해서 다양한 위치에 보관된 식품에 관한 정보를 제공할 수 있기 때문에, 하나의 카메라를 설치하기 위한 구조만이 부가될 뿐이어서, 설계가 용이하게 이루어질 수 있다. 특히 카메라 사용으로 인해 발생되는 비용을 줄일 수 있다.In addition, in the present invention, since information on food stored in various locations can be provided by one camera, only a structure for installing one camera is added, so that design can be made easily. In particular, it is possible to reduce the cost incurred by using the camera.
본 발명에 따르면, 냉장고에 설치된 카메라에 이슬 맺힘이 방지되어서, 카메라에서 촬영되는 사진이 안정적으로 사용자에게 제공될 수 있다. According to the present invention, condensation is prevented on the camera installed in the refrigerator, so that a picture taken by the camera can be stably provided to the user.
본 발명 따르면, 개인이 원격으로 현재 냉장고 내부 상황을 파악할 수 있고, 외부 사업자로부터 개인에게 필요한 식품 관련 정보를 제공받을 수 있다.According to the present invention, an individual can remotely grasp the current internal situation of a refrigerator and can receive food-related information necessary for the individual from an external business operator.
그리고 본 발명에 따르면 드로워의 내부에 대해서 카메라에 의해서 촬영된 영상이 사용자가 냉장고를 사용할 때에 실제로 보는 모습과 유사한 형태의 화면을 제공할 수 있다.In addition, according to the present invention, an image captured by a camera can be provided with a screen similar to the image a user actually sees when using the refrigerator.
또한 본 발명에 따르면, 공간 배치상 중첩되기 때문에 한 번에 볼 수 없는 위치를 하나의 화면에 평면적인 이미지로 사용자에게 제공할 수 있다.In addition, according to the present invention, a location that cannot be viewed at a time can be provided to a user as a flat image on a single screen because they are overlapped due to spatial arrangement.
도 1은 본 발명에 따른 냉장고의 정면도.
도 2는 도 1에서 도어가 개방된 도면.
도 3은 저장실의 바닥에 배치되는 제3영역을 도시한 도면.
도 4는 본 발명에 따른 일 실시예의 제어 블록도.
도 5는 카메라의 화각을 설명한 도면.
도 6은 도 5의 측단면도.
도 7은 도 6의 상태에서 카메라에 찍힌 화면.
도 8은 카메라의 위치 선정을 설명한 도면.
도 9는 냉장고의 요부를 도시한 단면도.
도 10은 도어 센서의 작동 방식을 설명한 도면.
도 11은 좌측 힌지부와 우측 힌지부를 구체적으로 도시한 도면.
도 12는 사용자에게 제공되는 화면.
도 13은 카메라에서 촬영된 사진을 조정하는 방식을 설명한 도면.
도 14는 카메라를 도시한 사시도.
도 15는 카메라의 요부를 도시한 도면.
도 16은 도 14의 단면도.
도 17은 히터의 배치를 설명한 도면.
도 18은 카메라가 냉장고에 상하 방향으로 틀어져서 장착된 상태에서 촬영된 사진을 설명한 도면.
도 19는 카메라가 냉장고에 수평 방향으로 틀어진 상태에서 촬영된 사진을 설명한 도면.
도 20은 카메라 하우징이 조립된 상태를 도시한 도면.
도 21은 제1하우징의 정면도.
도 22는 제2하우징의 정면도.
도 23은 제1하우징에 카메라가 설치된 상태를 도시한 정면도.
도 24는 도 23의 측단면도.
도 25는 카메라 하우징가 인너 케이스에 설치된 상태의 단면을 도시한 도면.
도 26은 본 발명에서 카메라의 소모 전력을 비교한 표.
도 27은 공급되는 대기 전류와 구동 전류를 비교한 도면.
도 28과 도 29는 카메라의 사진 촬영 시작 시점 및 카메라의 연속 촬영에 대해 설명한 도면.
도 30은 드로워 감지부의 일 실시예를 도시한 도면.
도 31은 도 30의 드로워 감지부에서 드로워의 이동을 감지하는 방식을 설명한 도면.
도 32는 드로워에 마커 표시된 상태를 도시한 도면.
도 33(a)는 좌우측 드로워가 인출된 상태를 촬영한 사진을 도시한 도면.
도 33(b)는 좌측 드로워는 인입되고, 우측 드로워는 인출된 상태를 도시한 도면.
도 34는 본 발명의 일 실시예에 따른 냉장고 동작 방법을 설명하기 위한 흐름도.
도 35는 본 발명의 일 실시예에 따른 마커 인식 및 추적 방법을 설명하기 위한 흐름도.
도 36은 본 발명의 일 실시예에 따른 드로워의 인출입 시점 감지를 위한 마커를 설명하기 도면.
도 37은 본 발명의 일 실시예에 따른 마커의 모양을 설명하기 위한 도면.
도 38은 본 발명의 일 실시예에 따른 서랍 닫힘 동작의 감지 방법을 설명하기 위한 흐름도.
도 39는 본 발명의 일 실시예에 따른 드로워 닫힘 동작의 완료 감지시 수행되는 냉장고의 동작을 설명하기 위한 흐름도.
도 40은 본 발명의 일 실시 예에 따른 특정 시점에 촬영된 냉장고 내부 특정 영역의 이미지를 제어하는 방법을 설명하기 위한 흐름도.
도 41은 마커의 다양한 형태를 도시한 도면.
도 42는 마커 위치 인식 방법을 설명한 도면.
도 43은 드로워가 개방된 정도를 도시한 도면.
도 44는 마커의 이동을 설명한 도면.
도 45는 본 발명의 일 실시예에 따른 제어 흐름도.
도 46은 도 45의 변형례를 설명한 제어 흐름도.
도 47은 도 46의 다른 변형례를 설명한 제어 흐름도.
도 48은 도 45의 다른 변형례를 설명한 제어 흐름도.
도 49는 도 45를 다르게 변형한 변형례.
도 50은 본 발명의 다른 실시예에 따른 제어 흐름도.
도 51은 저장실을 개폐하기 위해 두 개의 도어와, 두 개의 드로워가 구비된 상태에서 이미지를 업데이트하는 과정에 대해서 설명한 도면.
도 52는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램(ladder diagram).
도 53은 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램.
도 54는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램.
도 55는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램.
도 56은 카메라의 히터의 작동을 설명한 도면.
도 57은 카메라의 투명창에 온도별로 발생되는 결로에 관한 실험 결과를 설명한 도면.
도 58은 투명창의 단면도.
도 59와 도 60은 카메라가 인너 케이스에 설치되는 구조를 간략하게 도시한 도면.
도 61은 본 발명이 적용가능한 다른 형태의 냉장고를 도시한 도면.
도 62는 도 61에 따른 냉장고로부터 사용자에게 제공되는 화면.
도 63은 도 61에 따른 냉장고에서 카메라에서 촬영된 사진을 조정하는 방식을 설명한 도면.1 is a front view of a refrigerator according to the present invention.
Figure 2 is a view in which the door is opened in Figure 1;
3 is a view showing a third area disposed on the floor of the storage room.
4 is a control block diagram of an embodiment according to the present invention.
5 is a view for explaining the angle of view of the camera.
Figure 6 is a side cross-sectional view of Figure 5;
7 is a screen taken by the camera in the state of FIG. 6.
8 is a diagram for explaining selection of a camera position.
9 is a cross-sectional view showing a main part of the refrigerator.
10 is a diagram illustrating an operation method of a door sensor.
11 is a diagram showing in detail a left hinge portion and a right hinge portion.
12 is a screen provided to a user.
13 is a view for explaining a method of adjusting a picture taken by a camera.
14 is a perspective view showing a camera.
15 is a view showing a main part of the camera.
16 is a cross-sectional view of FIG. 14;
Fig. 17 is a diagram explaining the arrangement of heaters.
18 is a view for explaining a picture taken while the camera is mounted in a refrigerator in a vertical direction.
19 is a view for explaining a picture taken while the camera is turned horizontally in a refrigerator.
20 is a view showing a state in which the camera housing is assembled.
21 is a front view of the first housing.
22 is a front view of the second housing.
23 is a front view showing a state in which the camera is installed in the first housing.
24 is a side cross-sectional view of FIG. 23;
25 is a view showing a cross-section of the camera housing installed in the inner case.
26 is a table comparing power consumption of cameras in the present invention.
Fig. 27 is a diagram comparing supplied standby current and driving current.
28 and 29 are views for explaining the start time of photographing by the camera and continuous shooting by the camera.
30 is a diagram showing an embodiment of a drawer sensing unit.
FIG. 31 is a diagram illustrating a method of detecting a movement of a drawer in the drawer detection unit of FIG. 30;
Fig. 32 is a diagram showing a state where a marker is displayed on a drawer.
Figure 33 (a) is a view showing a picture taken in a state in which the left and right drawers are withdrawn.
Fig. 33(b) is a diagram showing a state in which the left drawer is pulled in and the right drawer is pulled out.
34 is a flowchart illustrating a method of operating a refrigerator according to an embodiment of the present invention.
35 is a flowchart illustrating a marker recognition and tracking method according to an embodiment of the present invention.
36 is a view for explaining a marker for detecting a drawer's withdrawal/intrusive time point according to an embodiment of the present invention.
37 is a view for explaining the shape of a marker according to an embodiment of the present invention.
38 is a flowchart illustrating a method of detecting a drawer closing operation according to an embodiment of the present invention.
39 is a flowchart illustrating an operation of a refrigerator performed upon detection of completion of a drawer closing operation according to an embodiment of the present invention.
40 is a flowchart illustrating a method of controlling an image of a specific area inside a refrigerator photographed at a specific point in time according to an embodiment of the present invention.
41 is a diagram showing various types of markers.
42 is a diagram explaining a method of recognizing a marker position.
43 is a view showing the degree to which the drawer is opened.
Fig. 44 is a diagram explaining movement of a marker.
45 is a control flowchart according to an embodiment of the present invention.
46 is a control flowchart for explaining a modification example of FIG. 45;
47 is a control flowchart for explaining another modified example of FIG. 46;
48 is a control flowchart for explaining another modified example of FIG. 45;
49 is a modified example in which FIG. 45 is modified differently.
50 is a control flowchart according to another embodiment of the present invention.
51 is a view for explaining a process of updating an image in a state in which two doors and two drawers are provided to open and close a storage room.
52 is a ladder diagram illustrating a method of operating a refrigerator according to another embodiment of the present invention.
53 is a ladder diagram illustrating a method of operating a refrigerator according to still another embodiment of the present invention.
54 is a ladder diagram illustrating a method of operating a refrigerator according to another embodiment of the present invention.
55 is a ladder diagram illustrating a method of operating a refrigerator according to another embodiment of the present invention.
56 is a view for explaining the operation of the heater of the camera.
57 is a view for explaining an experiment result of condensation generated by temperature in a transparent window of a camera.
58 is a cross-sectional view of a transparent window.
59 and 60 are views schematically showing a structure in which a camera is installed in an inner case.
61 is a view showing another type of refrigerator to which the present invention is applicable.
62 is a screen provided to a user from the refrigerator according to FIG. 61;
FIG. 63 is a diagram for describing a method of adjusting a picture taken by a camera in the refrigerator according to FIG. 61;
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.It will now be described with reference to the accompanying drawings a preferred embodiment of the present invention that can specifically realize the above object.
도 1은 본 발명에 따른 냉장고의 정면도이고, 도 2는 도 1에서 도어가 개방된 도면이다. 이하 도 1 및 도 2를 참조해서 설명한다.1 is a front view of a refrigerator according to the present invention, and FIG. 2 is a view in which a door is opened in FIG. 1. Hereinafter, it will be described with reference to FIGS. 1 and 2.
본 발명에 따른 냉장고는 식품이 저장되는 저장실인 냉동실과 냉장실이 상/하로 구획되어 냉동실이 냉장실의 상측에 배치되는 탑 마운트 타입(Top Mount-Type)과, 냉동실과 냉장실이 좌/우측으로 구획된 사이드 바이 사이드 타입(Side By Side-Type)의 냉장고에도 동일하게 적용가능하다. The refrigerator according to the present invention includes a top mount-type in which a freezer compartment and a refrigerator compartment in which food is stored are divided up/down so that the freezer compartment is disposed on the upper side of the refrigerator compartment, and the freezer compartment and the refrigerator compartment are divided into left/right sides. The same applies to side-by-side-type refrigerators.
다만 본 실시예에서는 설명의 편의상 냉동실과 냉장실이 상/하로 구획되고 냉동실이 냉장실의 하측에 배치되는 바텀 프리져 타입(Bottom Freezer-Type)을 중심으로 설명한다.However, in this embodiment, for convenience of explanation, a bottom freezer-type in which the freezing chamber and the refrigerating chamber are divided up/down and the freezing chamber is disposed below the refrigerating chamber will be described.
냉장고의 본체는 외부에서 사용자가 보았을 때에 전체적인 외관을 형성하는 아우터 케이스(10)와 내부에 식품이 보관되는 저장실(22)을 형성하는 인너 케이스(12)를 포함한다. 상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이에는 소정의 공간이 형성되어 냉기가 순환되는 통로 등이 형성될 수 있다. 한편 상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이에는 단열재가 충진되어서 상기 저장실(22)의 내부가 외부에 비해서 상대적으로 저온을 유지할 수 있다.The main body of the refrigerator includes an
또한 상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이 공간에 형성된 기계실(미도시)에는 냉매를 순환시켜 냉기를 발생시키는 냉매사이클장치가 설치된다. 냉매사이클장치를 이용해 냉장고 내부를 저온으로 유지하여 보관하는 식품류의 신선도를 유지될 수 있다. 냉매사이클장치는 냉매를 압축하는 압축기, 액체상태의 냉매를 기체상태로 상변환시켜 외부와 열교환이 이루어지게 하는 증발기(미도시) 등을 포함한다.In addition, in a machine room (not shown) formed in a space between the
냉장고에는 저장실을 개폐하는 도어(20, 30)가 구비된다. 이때 도어는 각각 냉동실 도어(30) 및 상기 냉장실 도어(20)를 포함할 수 있고, 각각의 도어는 그 일단이 힌지에 의해서 냉장고의 본체에 회동가능하게 설치된다. 상기 냉동실 도어(30) 및 상기 냉장실 도어(20)는 복수 개로 이루어질 수 있다. 즉 도 2에 도시된 바와 같이, 상기 냉장실 도어(20) 및 상기 냉동실 도어(30)는 전방을 향해서 냉장고의 양 모서리를 중심으로 개방되는 형태로 설치될 수 있다. The refrigerator is provided with
상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이에는 발포제가 충진되어서, 외부와 상기 저장실(22)의 사이에는 단열될 수 있다. A foaming agent is filled between the
상기 저장실(22)은 상기 인너 케이스(12)와 상기 도어(20)에 의해서 외부로부터 단열된 공간을 이룬다. 상기 저장실(22)은 상기 도어(20)가 상기 저장실(22)을 밀폐하게 되면, 외부로부터 격리되어 단열되는 공간을 형성할 수 있다.다시 말하면, 상기 저장실(22)은 도어(20)에 의한 단열벽 그리고 케이스(10, 12)에 의한 단열벽을 통해 외부와 격리되는 공간이라 할 수 있다. The
상기 저장실(22) 내에는 기계실에서 공급되는 냉기가 곳곳으로 유동가능해서, 상기 저장실(22) 내에 보관되는 식품이 저온 상태를 유지할 수 있다.In the
상기 인너 케이스(12)는 상기 저장실(22)의 바닥에 베리어(60)를 구성할 수 있다. 상기 저장실(22)의 하단에는 베리어(Barrier)(60)가 설치되어, 상기 냉동실과 상기 냉장실을 구분할 수 있다. 상기 베리어(60)는 소정의 두께로 이루어져, 상기 인너 케이스(12)에 형성될 수 있다. 상기 베리어(60)는 수평방향으로 연장될 수 있다.The
상기 저장실(22)에는 상측에 식품이 거치되는 선반(40)을 포함할 수 있다. 이때 상기 선반(40)은 복수 개가 마련되고, 각각의 선반(40)에는 식품이 거치될 수 있다. 상기 선반(40)은 상기 저장실의 내부를 수평 방향으로 구획할 수 있다.The
상기 저장실(22)에는 인입 또는 인출이 가능한 드로워(50)가 설치된다. 상기 드로워(50)에는 식품 등이 수용되어 보관된다. 상기 드로워(40)는 상기 저장실(22) 내에 좌우측으로 두 개가 배치되는 것이 가능하다. 사용자는 좌측에 배치되는 드로워에 접근하기 위해서는 상기 저장실(22)의 좌측 도어를 개방할 수 있다. 반면에 사용자가 우측에 배치되는 드로워에 접근하기 위해서는 상기 저장실(22)의 우측 도어를 개방할 수 있다. In the
상기 베리어(60)에는 식품이 저장되는 공간이 형성될 수 있다. 상기 베리어(60)는 상기 도어에 마련되지 않고, 상기 인너 케이스(12)에 마련되기 때문에, 도어의 회전에 따라 이동되지 않고 고정된 상태가 유지된다. 따라서 사용자가 안정적으로 식품을 수납하거나 인출할 수 있다. A space in which food is stored may be formed in the
상기 저장실(22) 내에는 상기 선반(40)의 상측에 위치하는 공간, 상기 드로워(50)에 의해서 형성되는 공간, 상기 베리어(60)에 형성되는 공간 등으로 구분되어서, 식품이 저장되는 공간이 복수 개로 구획될 수 있다.The
이때 각각의 공간은 하나의 저장실(storage compartment)(22)의 내부에 배치되는 저장 공간으로, 상기 저장실(22)에 공급되는 냉기가 각각의 공간으로 이동될 수 있다. 즉 각각의 공간은 서로 냉기가 이동될 수 있을 정도로 구획되기 때문에, 앞에서 서술한 저장실과는 서로 다른 의미를 가지게 된다. At this time, each space is a storage space disposed inside one
특히 각각의 공간은 단열되는 공간을 이루는 저장실과는 달리, 하나의 저장실 내에서 온도 차이는 존재할 수 있지만 서로 단열되는 공간을 이루지는 않는다.In particular, unlike a storage room in which each space is an insulated space, a temperature difference may exist within one storage room, but the spaces are not insulated from each other.
하나의 저장실에 공급되는 냉기는 다른 저장실로 자유롭게 이동하지는 않지만, 하나의 저장실에 공급되는 냉기는 하나의 저장실 내부에 설치되는 각각의 구획되는 공간으로 자유롭게 이동할 수 있다. 즉 상기 선반(40)의 상측에 위치하는 냉기는 상기 드로워(50)에 의해서 형성되는 공간으로 이동가능하다.The cold air supplied to one storage room does not move freely to another storage room, but the cold air supplied to one storage room can freely move to each partitioned space installed inside one storage room. That is, the cold air located on the upper side of the
또한 본 발명은 상기 저장실(22) 내부의 사진을 촬영하는 하나의 카메라(70)를 포함할 수 있다. 이때 상기 카메라(70)는 고정된 위치를 유지하도록 마련되어서, 동일한 부분을 촬영하는 것이 가능하다. In addition, the present invention may include one
특히 상기 카메라(70)는 상기 인너 케이스(12)의 상측벽에 아래를 향하도록 설치되어서, 상기 저장실(22)에 저장된 식품에 대한 사진을 촬영할 수 있다. 촬영된 사진의 모습은 사용자가 내려다본 형태, 즉 실제 냉장고를 사용할 때에 사용자가 바라보는 형태의 모습을 가질 수 있다.In particular, the
특히 상기 카메라(70)는 상기 드로워가 완전히 열린 상태에 있을 때에 드로워 내부에 대응되는 위치에 설치되어, 촬영된 사진은 사용자가 드로워 내부를 위에서 바라본 것과 유사한 화면을 제공할 수 있다.In particular, the
이때 상기 저장실(22)은 상기 선반(40)에 식품이 거치되는 제1영역(42), 상기 드로워(50)의 내측 공간에 의해서 정의되는 제2영역(52)을 포함할 수 있다. 또한 제1영역과 제2영역과는 다른 저장 공간인, 상기 드로워(50)가 인출되면 상기 제2영역(52)에 중첩되는 제3영역(62)을 포함할 수 있다. 이 부분에 대해서는 이후에 보다 상세하게 설명한다.In this case, the
상기 제1영역(42), 상기 제2영역(52)은 상기 저장실(22) 내에서 전체적으로 높낮이를 달리할 수 있다. 즉 상기 제1영역(42), 상기 제2영역(52)의 순서로 낮아질 수 있다. The
상기 카메라(70)에서 촬영된 사진이나 냉장고에 관한 다양한 정보는 냉장고의 전면에 마련되는 디스플레이(14)를 통해서 사용자에게 제공될 수 있다. 또한 사용자는 상기 디스플레이(14)를 통해서 냉장고에 관한 제어를 수행할 수 있다. A picture taken by the
상기 저장실(22)에 공급되는 냉기는 상기 제1영역(42), 상기 제2영역(52)으로 이동될 수 있고, 각각의 영역에 위치하는 냉기는 다른 영역으로도 이동될 수 있다.The cold air supplied to the
도 3은 저장실의 바닥에 배치되는 제3영역을 도시한 도면이다. 이하 도 3을 참조해서 설명한다.3 is a diagram illustrating a third area disposed on the floor of the storage room. Hereinafter, it demonstrates with reference to FIG.
상기 베리어(60)에는 함몰된 부분을 마련해서, 해당 부분에 식품이 저장될 수 있고, 이러한 영역을 상기 제3영역(62)이라고 칭할 수 있다. 상기 제3영역(62)는 상기 베리어(60)에 형성되는 공간이다.The
이때 상기 제3영역은 제1영역, 제2영역과는 다른 위치에 배치되는 저장 공간으로 사용자에게 식품 저장을 위한 또 다른 공간을 제공할 수 있다.In this case, the third area is a storage space disposed at a location different from the first area and the second area, and may provide another space for storing food to the user.
상기 제3영역(62)에는 달걀과 같은 사용빈도가 높은 식품이 저장되는 것이 가능한데, 이를 위해서 상기 제3영역(62)을 개폐하는 커버(68)를 구비하는 것이 가능하다. 이때 상기 커버(68)는 투명한 재질로 이루어져서, 상기 카메라(70)가 상측에서 촬영을 할 때에 상기 커버(68)가 가리더라도, 상기 제3영역(62)에 저장된 식품을 촬영할 수 있는 것이 바람직하다.In the
한편 상기 베리어(60)의 상측에는 상기 드로워(50)가 배치되게 된다. 따라서 상기 드로워(50)가 선반의 하부 공간으로 인입된 상태에서는 상기 제3영역(62)에 사용자가 접근할 수 있다. Meanwhile, the
반면에 상기 드로워(50)가 선반의 하부 공간으로부터 인출된 상태에서는 상기 제3영역(62)의 상측에 상기 드로워(50)가 배치되게 되고, 사용자는 상기 제3영역(62)에 접근할 수 없다. On the other hand, when the
즉 상기 드로워(50)가 사용자를 향해서 인출된 상태에는 상기 드로워(50)와 상기 제3영역(62)이 서로 중첩되게 된다. 이때, 사용자가 상기 드로워(50)를 내려다 보게 되면, 사용자에게 상기 제3영역(62)은 보여지지 않고, 상기 드로워(50)의 내부가 보여질 수 있다.That is, when the
반면에 상기 드로워(50)가 사용자를 향해서 인출되지 않은 상태에는, 상기 드로워(50)와 상기 제3영역(62)이 서로 중첩되지 않도록 배치된다. 사용자가 상기 제3영역(62)을 내려다 보게 되면, 상기 드로워(50)의 내부는 사용자에게 보여지지 않고, 상기 제3영역(62)만이 도시될 수 있다.On the other hand, when the
상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)은 상기 저장실(22) 내에서 전체적으로 높낮이를 달리할 수 있다. 즉 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)의 순서로 낮아질 수 있다. The
상기 저장실(22)에 공급되는 냉기는 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)으로 이동될 수 있고, 각각의 영역에 위치하는 냉기는 다른 영역으로도 이동될 수 있다.The cold air supplied to the
즉 상기 카메라(70)에 의해서 촬영되는 영역은 상기 저장실(22) 내부의 복수 개의 저장공간이 될 수 있다. 상기 카메라(70)는 하나의 저장실(22) 내부에 관한 사진을 촬영하지만, 하나의 사진의 내부에는 복수 개의 구획된 저장 공간에 관한 정보가 포함될 수 있다.That is, an area photographed by the
이때 상기 카메라(70)는 복수 개의 저장 공간이 한 장의 사진에 담기도록 사진을 촬영할 수 있다. 특히 한 장의 사진에는 촬영되는 시간에 따라 다른 저장공간이 촬영되는 것이 가능하다. In this case, the
예를 들어 고정된 형태로 배치된 카메라는, 사진이 촬영되는 시점과 상기 도어 또는 상기 드로워의 위치의 관계에 따라 제1영역과 제2영역을 촬영하거나, 제2영역과 제3영역을 선택적으로 촬영하는 것이 가능하다. 이에 대한 상세 내용은 후술한다.For example, a camera arranged in a fixed form captures a first area and a second area, or selectively selects a second area and a third area according to the relationship between the point at which a picture is taken and the position of the door or the drawer. It is possible to shoot with. Details about this will be described later.
도 4a는 본 발명에 따른 일 실시예의 제어 블록도이다. 이하 도 4a를 참조해서 설명한다.4A is a control block diagram of an embodiment according to the present invention. Hereinafter, it demonstrates with reference to FIG. 4A.
본 발명은 상기 카메라(70)에 의해서 촬영된 하나의 사진을 복수 개의 이미지로 나누어 관리하는 제어부(100)를 포함할 수 있다. 이때 이미지는 상기 제어부(100)에 의해서 가공 또는 보정된 사진의 일부분을 의미하는 것이 가능하다. The present invention may include a
상기 제어부(100)는 상기 카메라(70)에서 사진을 촬영하도록 명령할 수 있고, 상기 카메라(70)에서 촬영된 사진을 전송받을 수 있다. The
또한 상기 제어부(100)는 나누어진 이미지의 일부를 상기 디스플레이(14)에 제공해서, 사용자에게 상기 저장실(22)에 저장된 식품에 관한 최신 정보를 제공할 수 있다. 이때 상기 디스플레이(14)는 냉장고의 전면에 설치되는 것도 가능하고, 냉장고로부터 분리된 별도의 장치를 이루는 것도 가능하다. 즉 사용자는 핸드폰과 같은 외부 통신 단말기를 통해서 상기 저장실(22)에 관한 이미지를 전송받고, 정보를 획득하는 것이 가능하다.In addition, the
이때 상기 제어부(100)는 상기 카메라(70)에 의해서 찍힌 사진을 각각의 영역별로 구획하고, 복수 개의 독립된 이미지로 구분해서 상기 디스플레이(14)에 제공할 수 있다. 이때 상기 제어부(100)에 의해서 선택되는 사진은 사용자가 마지막으로 상기 저장실(22)에 접근해서, 저장실에서 식품을 인출하거나 식품을 입고한 최근 저장실 상태에 관한 정보를 포함할 수 있다.In this case, the
본 발명의 실시예는 상기 도어(20)가 상기 저장실(22)을 개폐하는지 감지할 수 있는 도어 스위치(110)를 포함할 수 있다. 이때 상기 도어 스위치(110)는 상기 아우터 케이스(10)에 마련되어서, 상기 아우터 케이스(10)에 상기 도어(20)가 접촉하게 되면 상기 도어(20)가 상기 저장실(22)을 밀폐하는 것으로 감지할 수 있다. 또한 상기 아우터 케이스(10)에 상기 도어(20)가 접촉하지 않으면, 상기 도어(20)가 상기 저장실(22)을 개방하는 것으로 감지할 수 있다. An embodiment of the present invention may include a
또한 본 발명의 실시예는 상기 도어(20)의 회전각을 감지하는 도어 센서(120)를 포함할 수 있다. 이때 상기 도어 센서(120)는 상기 도어(20)의 회전 방향 및 상기 도어(20)의 회전 각도를 감지할 수 있다. 예를 들어, 상기 도어(20)가 일정 각도 이상 회전하게 되면 상기 도어 센서(120)에 변화가 발생해서, 상기 도어 센서(120)에서 상기 도어(20)가 일정 각도 이상 회전된 것을 감지할 수 있다. 또한 상기 도어(20)가 특정 방향으로 회전되면 방향에 따라 발생되는 펄스의 변화를 감지해서 상기 도어(20)의 회전 방향을 감지하는 것이 가능하다. 물론 상기 도어 센서(120)는 상술한 방식 이외에 다양한 형태로 변형될 수 있다. In addition, an embodiment of the present invention may include a
이 외에도 상기 도어 센서(120)는 발광부와 수광부를 구비해서 발광부에서 조사되는 빛이 수광부로 전달되는지 여부를 판단해서, 상기 도어(20)의 회전 각도를 감지하는 것도 가능하다.In addition, the
특히 상기 도어 센서(120)는 상기 도어 스위치(110)에서 상기 도어(20)가 상기 저장실(22)을 개방한 것으로 판단되는 경우에 한해서 구동될 수 있다.In particular, the
한편 상기 도어 센서(120)에서 상기 도어(20)가 특정 각도로 회전되었다고 판단하면 상기 카메라(70)에서 사진을 촬영하는 것도 가능하다. 이 경우에는 상기 도어 스위치(110)에서 상기 도어(20)의 개방이 감지되더라도 상기 카메라(70)가 사진 촬영을 바로 시작하는 것이 아니라, 상기 도어 센서(120)에서 특정 각도에 도달한 경우에 사진을 촬영하게 된다.Meanwhile, if the
상기 카메라(70)는 촬영을 시작하게 되면, 소정 시간 간격으로 계속해서 사진을 촬영하는 것도 가능하다. 물론 상기 도어 센서(120)에서 상기 도어(20)가 일정 각도 만큼 개방된 것으로 판단하면 상기 카메라(70)에서는 한 장의 사진이 아닌, 사진 촬영 중지 명령이 제공될 때까지 계속 사진을 촬영하는 것이 가능하다. When the
상기 제어부(100)는 상기 드로워(50)의 인출 또는 인입 여부를 감지하는 드로워 감지부(130)를 포함할 수 있다. 이때 상기 드로워 감지부(130)는 상기 카메라(70)에서 촬영된 사진이 상기 제어부(100) 내에서 영상을 판독하는 부분을 의미할 수 있다. 상기 드로워 감지부(130)는 상기 드로워(50)의 이동은 물론, 상기 드로워(50)의 이동 방향까지 감지하는 것이 가능하다.The
특히 상기 드로워 감지부(130)는 소프트웨어에 의해서 구현될 수도 있다. 상기 드로워 감지부(130)는 상기 카메라(70)에서 촬영된 사진에서 촬영된 정보를 이용해서, 상기 드로워(50)의 위치를 감지할 수 있다.In particular, the
상기 드로워(50)에는 마커라는 인식표시를 구비해서, 상기 마커가 촬영된 사진을 통하여 상기 드로워(50)가 특정 구간으로 진입했는지, 진입했다면 정지했는지, 정지 후에는 이동 방향이 전환되는 지에 관한 정보를 알 수 있다. 상기 마커에 대해서는 추후에 구체적으로 다시 설명한다.The
상기 마커는 상기 드로워에 표시되어 있기 때문에, 상기 드로워(50)와 동일한 움직임을 가진다. 따라서 드로워의 이동을 감지하기 위한 별도의 센서를 구비하지 않고, 상기 카메라(70)에서 촬영된 사진의 정보를 이용해서 상기 드로워(50)의 이동에 대한 다양한 정보를 획득할 수 있다.Since the marker is marked on the drawer, it has the same movement as the
상기 카메라(70)에서 찍힌 사진은 저장부(18)에 저장될 수 있다. 이때 상기 저장부(18)는 냉장고에 마련될 수도 있고, 냉장고와는 별도의 다른 장치에 마련될 수 있다. 이때 상기 저장부(18)는 상기 디스플레이(14)와 함께 냉장고에 배치되거나, 상기 디스플레이(14)와 함께 냉장고와는 다른 장치, 냉장고와 네트워크에 연결된 서버 또는 냉장고와 네트워크에 연결된 단말기에 구비될 수 있다.The photo taken by the
이때 상기 저장부(18)는 상기 카메라(70)에서 찍힌 모든 사진을 저장하지 않을 수 있다. 예를 들어, 상기 저장부(18)는 상기 제어부(100)에서 특정 사진을 선택하라는 명령이 발생하지 않은 경우에는, 앞에서 찍혀서 저장된 사진을 삭제하고 현재 촬영된 사진을 저장하는 것이 가능하다(First In, First Out). 상기 저장부(18)는 상기 카메라(70)에서 찍힌 사진 중 일부만 저장해서, 저장 용량을 줄일 수 있다.In this case, the
도 4b는 본 발명에 따른 일 실시예의 변형된 형태의 제어 블록도이다. 이하 도 4b를 참조해서 설명한다.4B is a control block diagram of a modified form of an embodiment according to the present invention. Hereinafter, it demonstrates with reference to FIG. 4B.
도 4b에서는 도 4a와는 달리 상기 드로워 감지부(130)가 상기 카메라(70)에서 촬영된 사진에서 획득된 정보를 이용하지 않고, 별도로 상기 드로워(50)의 이동을 감지할 수 있다.In FIG. 4B, unlike FIG. 4A, the
예를 들어, 상기 드로워 감지부(130)는 복수 개의 홀 센서와 같은 형태로 이루어질 수 있다. 복수 개의 홀 센서가 상기 드로워(50)의 이동 경로에 설치될 수 있다. 상기 드로워(50)가 이동되는 경우에는 복수 개의 홀 센서가 각각 변화되는 것을 감지해서, 상기 드로워(50)의 위치 및 이동 방향을 감지할 수 있다.For example, the
상기 드로워 감지부(130)에서 드로워의 이동을 감지해서, 상기 카메라(70)에서 사진을 촬영할 때에 상기 카메라(70)가 찍은 사진에 상기 드로워의 내부 모습이 담기는 시점을 파악할 수 있다. 즉 상기 드로워 감지부(130)는 상기 카메라가 촬영한 사진에 상기 드로워 내부에 저장된 물품에 관한 정보가 표현될 수 있는 시점을 감지할 수 있다.The
상기 드로워 감지부(130)는 상기 드로워의 이동을 감지해서, 사용자가 상기 드로워를 사용한 후에 최신 상태라고 판단하는 시점을 감지할 수 있다. 즉 상기 드로워 감지부(130)는 상기 카메라가 촬영한 사진에 사용자가 상기 드로워의 사용을 마친 최신 정보를 포함하는 시점을 감지할 수 있다. 즉, 물품의 입출고의 완료 시점 또는 물품 업데이트의 종료 시점을 간접적으로 파악할 수 있다.The
도 5는 카메라의 화각을 설명한 도면이다. 이하 도 5를 참조해서 설명한다.5 is a view for explaining the angle of view of the camera. Hereinafter, it demonstrates with reference to FIG.
도 5에서는 설명의 편의를 위해서 상기 드로워(50)는 인출되어서 상기 카메라(70)가 상기 제2영역(52)을 촬영할 수 있고, 선반은 생략한 도면이다.In FIG. 5, for convenience of explanation, the
상기 카메라(70)는 상기 인너 케이스(12)의 상측벽에 상기 인너 케이스(12)의 후방 벽을 향해서 기울어지도록 배치될 수 있다.The
한편 상기 카메라(70)에서 촬영된 사진은 상기 저장실(22)의 폭 방향에 따른 수평 화각(angle of view)과 전후 방향에 따른 수직 화각(angle of view)을 가질 수 있다. Meanwhile, a picture taken by the
이때 상기 카메라(70)에 따른 수평 화각은 두 개의 드로워(50)가 인출된 상태에서 두 개의 드로워(50)의 내측 공간 즉 상기 제2영역(52)에 저장된 식품이 보일 수 있도록 마련되는 것이 바람직하다. At this time, the horizontal angle of view according to the
또한 상기 카메라(70)에 따른 수평 화각의 범위는 상기 선반(40)의 좌우 양단이 적어도 일부 포함되도록 하는 것도 가능하다. 상기 선반(40)의 상측에 거치된 식품에 관한 정보를 획득하려면, 상기 카메라(70)에서 상기 선반(40)의 양단까지 촬영하는 것이 바람직하기 때문이다.In addition, the range of the horizontal angle of view according to the
상기 카메라(70)의 화각이 변화됨에 따라 사진에서 도시되는 상기 저장실 내부의 범위가 변화된다.As the angle of view of the
도 6은 도 5의 측단면도이며, 도 7은 도 6의 상태에서 카메라에 찍힌 화면을 도시한다. 이하 도 6 내지 도 7을 참조해서 설명한다.6 is a side cross-sectional view of FIG. 5, and FIG. 7 shows a screen taken by a camera in the state of FIG. 6. Hereinafter, it will be described with reference to FIGS. 6 to 7.
상기 인너 케이스(12)에는 상기 저장실(22)에 사용자가 접근할 수 있도록 전방에 개구부(14)가 형성된다. 상기 개구부(14)를 통해서 사용자는 상기 저장실(22)로 식품을 넣거나, 상기 저장실(22)로부터 식품을 꺼낼 수 있다. 상기 도어(20)는 상기 개구부(14)를 개폐할 수 있다.An
상기 카메라(70)는 상기 드로워의 외부에 설치되어, 상기 드로워가 이동되거나 정지되는 동안 사진을 촬영해서 상기 드로워의 열림 상태, 닫힘 상태, 이동 상태에 대한 사진을 촬영할 수 있다. 즉 상기 카메라(70)가 연속 촬영을 하면 상기 카메라(70)가 촬영한 사진에는 촬영 시점에 따라 상기 드로워의 위치가 변화된 상태의 모습이 표현될 수 있다.The
또한 상기 카메라(70)는 상기 저장실(22)의 내부 물품의 최근 입출고 상태를 포함하는 화면을 사용자에게 제공할 수 있다.In addition, the
상기 카메라(70)는 상기 개구부(14)와 상기 선반(40)의 전단 사이의 범위(l) 내에 설치되는 것이 바람직하다. 선반(40)이 복수 개인 경우 전단들 중 가장 전방에 위치되는 전단과 상기 개구부(14) 사이의 영역(l, 도 8 참조)에 설치됨이 바람직하다. 즉, 이러한 영역에 해당되는 저장실의 천정에 설치되는 것이 바람직하다. 상기 카메라(70)는 상기 제1영역 및 상기 제2영역(52) 또는 상기 제1영역과 상기 제3영역(62)에 대한 사진을 선택적으로 촬영해야 하기 때문에, 상기 선반(40)의 전단 보다 상기 인너 케이스(12)의 후벽으로 이동될 수 없다.The
도 6에서는 상기 카메라(70)의 수직 화각을 도시하는데, 수직 화각의 일단(전단)은 상기 드로워(50)가 열린 상태에서 상기 드로워(50)의 전단부까지 촬영할 수 있도록 배치되는 것이 바람직하다. 아울러, 수직 화각의 타단(후단)은 가장 최상측의 선반의 후단까지 촬영할 수 있도록 배치되는 것이 바람직하다.6 shows the vertical angle of view of the
상기 카메라(70)의 수직 화각의 범위에 상기 드로워(50)에 의한 상기 제2영역(52)까지 포함되기 때문에, 상기 카메라(70)에 의해서 사용자는 상기 제2영역(52)에 대한 정보를 획득할 수 있다.Since the
도 7에서와 같이 상기 카메라(70)에서는 한 장의 사진으로 상기 제1영역(42) 및 상기 제2영역(52)에 대한 사진을 촬영할 수 있다. 이때 상기 카메라(70)는 좌우측에 배치된 두 개의 상기 드로워(50)에 대한 사진을 촬영할 수 있다. 아울러, 복수 개의 선반이 구비되는 경우, 복수 개의 선반으로 구획되는 제1영역(42)과 제2영역(52)을 함께 촬영할 수 있음을 알 수 있다. As shown in FIG. 7, the
상기 카메라(70)는 상기 저장실(22) 내부에 설치되어서, 상기 저장실(22) 내부에 관한 정보를 포함하는 사진을 촬영할 수 있다. 상기 카메라(70)는 상기 저장실 내부에 설치되기 때문에, 이동되지 않는다. 즉, 일반적으로 항상 고정되는 본체의 저장실에 고정되게 설치되기 때문에, 카메라 자체가 이동하지 않는다. 따라서 상기 카메라(70)에서 사진을 촬영할 때에 상기 카메라(70)는 항상 정지된 상태이다.The
상기 카메라(70)에 의해서 촬영되는 사진은 상기 제1영역(42)과 상기 제2영역(52)을 포함하거나, 상기 제1영역(42)과 상기 제3영역(62)을 포함한다. The picture taken by the
상기 카메라(70)가 상기 제1영역(42)과 상기 제2영역(52)을 포함하는 사진을 촬영하게 되면, 사용자는 해당 사진을 통해서 상기 선반(40)의 상측에 저장되는 식품과 상기 드로워(50)의 내부에 저장되는 식품에 대한 정보를 획득할 수 있다. When the
반면에 상기 카메라(70)가 상기 제1영역(42)과 상기 제3영역(62)을 포함하는 사진을 촬영하게 되면, 사용자는 해당 사진을 통해서 상기 선반(40)의 상측에 저장되는 식품과 상기 베리어(60)에 저장되는 식품에 대한 정보를 획득할 수 있다. On the other hand, when the
상기 카메라(70)는 하나의 저장실(22) 내부를 촬영하고 촬영된 사진을 전송하며, 상기 제어부(100)는 복수 개의 저장 공간 정보를 획득할 수 있다.The
상기 카메라(70)는 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)의 상측에 배치되어서, 아래쪽을 내려다보면서 사진을 촬영한다.The
도 8은 카메라의 위치 선정을 설명한 도면이다. 이하 도 8을 참조해서 설명한다.8 is a diagram for explaining selection of a camera position. Hereinafter, it demonstrates with reference to FIG.
도 8에 도시된 바와 같이, 상기 카메라는 L1, L2, L3, L4의 위치에 장착되는 것이 가능하다. As shown in FIG. 8, the camera may be mounted at positions L1, L2, L3, and L4.
L1은 상기 저장실(22)의 외부로, 상기 아우터 케이스(10)에 의해 구획되는 외부 공간이다. 카메라가 L1의 위치에 설치되게 되면, 사용자가 도어를 개방한 상태에서 상기 저장실(22)에 접근하면서 냉장고를 사용하게 되는데, 사용자에 의해서 카메라가 가려진다는 문제가 발생할 수 있다. L1 is an external space divided by the
상기 공개된 일본 특허에서 개시한 바와 같이, 카메라를 냉장고의 고외에 설치하여 저장실 내부를 촬영하고자 할 경우, 사용자에 의한 영상 간섭이 너무 크고, 특히 드로워가 가려져 드로워의 움직임을 추적할 수 없어 본 발명의 실시예에서 하고자 하는 드로워 내부 영상과 드로워의 움직임 상태를 함께 파악하는 것은 불가능하였다. 아울러, L1 위치는 도어에 카메라가 위치되는 것을 의미할 수 있다. 이 경우 상기 도어는 이동되는 구성이기 때문에 촬영 시 카메라가 이동될 수 있다. 따라서, 안정적이고 선명한 사진을 얻는 것이 매우 어렵다고 할 수 있다.As disclosed in the above published Japanese patent, when a camera is installed outside the refrigerator to take a picture inside the storage room, the image interference by the user is too great, and in particular, the drawer is covered so that the movement of the drawer cannot be tracked. In the embodiment of the present invention, it was impossible to grasp the internal image of the drawer and the motion state of the drawer. In addition, the L1 position may mean that the camera is located on the door. In this case, since the door is moved, the camera may be moved during photographing. Therefore, it can be said that it is very difficult to obtain a stable and clear picture.
L2는 상기 저장실(22)의 내부이고, 상기 저장실(22)의 상측벽, 즉 천장을 의미한다. 본 발명의 실시예에서 카메라가 설치되는 위치에 해당하는데, 사용자에 의해서 가려지는 문제가 발생하지 않는다. 또한 상기 저장실(22)의 상측벽은 상기 인너 케이스(12)에 해당되기 때문에 카메라에 전기를 공급하기 위한 전선을 배치하는 데에 편리하다. 그리고, 인너 케이스(12)는 일반적으로 항상 고정되는 구성이므로, 카메라가 고정되는 구성에 안정적으로 장착될 수 있다.L2 is the interior of the
L3는 상기 저장실(22)의 내부이고, 상기 저장실(22)의 측벽이다. 이때 카메라는 상기 저장실(22)의 일측에서 상기 저장실(22)의 타측을 향해서 사진을 촬영할 수 있게 기울어지도록 설치된다. 카메라가 상기 저장실(22)의 최상단이 아니라, 상기 저장실(22)의 높이를 기준으로 중간에 배치되려면, 상기 인너 케이스(12)의 측벽에 설치될 수 밖에 없다.L3 is the interior of the
카메라가 일측벽에 설치되면, 카메라 렌즈가 타측벽을 향하도록 설치될 수 밖에 없고, 따라서 상기 저장실(22)의 내부의 모습이 좌우측 거리 차이로 인해서 비대칭적인 영상이 획득된다는 문제가 있다.When the camera is installed on one side wall, the camera lens is inevitably installed to face the other side wall, and therefore, there is a problem that an asymmetric image is obtained due to the difference between the left and right distances of the interior of the
L4는 상기 저장실(22)의 내부이고, 상기 선반(40)의 일단을 의미한다. 카메라가 상기 저장실(22)의 높이를 기준으로 배치되려면, 특정 구조물에 의해서 지지되어야 하는데, 이 경우에 카메라는 상기 선반(40)의 일단에 고정될 수 있다.L4 is the interior of the
이 경우에는 상기 드로워(50)와 카메라의 거리가 L2에 비해서 짧기 때문에, L2의 상태에 비해 큰 화각을 가지는 카메라를 사용해야 한다는 문제가 있다. 또한 얻어지는 사진의 왜곡도가 심해진다는 문제도 발생하게 된다. 이외에도 상기 선반(40)에 카메라에 공급되는 전선을 설치하는 등의 외관상 사용자에게 불편을 발생시키는 다양한 문제를 발생시킬 수 있다. 그리고, 상기 선반(40)은 일반적으로 이동 가능한 구성이다. 따라서, 식품을 선반에 놓을 때 카메라 자체가 흔들리는 문제가 발생될 수도 있다.In this case, since the distance between the
본 발명의 실시예에 적용되는 카메라는 화각 120도이고, VGA급으로, 20fps의 성능을 제공하는 것이 가능하다. The camera applied to the embodiment of the present invention has a field of view of 120 degrees, is a VGA class, and is capable of providing a performance of 20 fps.
도 9는 냉장고의 요부를 도시한 단면도이다. 이하 도 9를 참조해서 설명한다. 9 is a cross-sectional view showing a main part of the refrigerator. Hereinafter, it demonstrates with reference to FIG.
상기 도어(20)의 내측에는 식품을 저장할 수 있는 바스켓(21)이 구비될 수 있다. 상기 바스켓(21)은 상기 도어(20)가 상기 저장실(22)을 바라보는 면에 설치될 수 있다.A
상기 카메라(70)가 촬영한 사진에 상기 바스켓(21)이 도시된다는 문제가 있을 수 있다. 따라서 본 발명의 실시예에서는 상기 도어 센서(120)를 통해서 상기 도어(20)가 일정 각도(θ) 이상 회전되었는지를 감지해서, 상기 카메라(70)를 통해서 사진을 촬영할 수 있다. 물론 상기 도어 센서(120)에서 감지된 시점에 인접한 시점에 촬영된 사진을 선택하도록, 해당 시점에 관한 정보를 상기 도어 센서(120)에서 상기 제어부(100)에 전달하는 것도 가능하다. There may be a problem that the
예를 들어 일정 각도(θ)는 60도에서 80도인 것이 가능하다. 물론 각도는 냉장고의 용량이나 도어의 크기 또는 바스켓(21)의 전후 길이에 따라 다양하게 변화될 수 있다.For example, it is possible for a certain angle θ to be between 60 degrees and 80 degrees. Of course, the angle may vary in various ways depending on the capacity of the refrigerator, the size of the door, or the length of the
이때 일정 각도(θ)는 상기 카메라(70)가 사진을 촬영할 때에 해당 사진에 상기 바스켓(21)이 나타나지 않을 수 있는 각도를 의미할 수 있고, 이러한 일정 각도(θ)는 상기 바스켓(21)의 좌우 폭과 전후 의 길이에 따라 달라질 수 있다. In this case, a certain angle θ may mean an angle at which the
상기 도어(20)의 개폐여부를 감지하는 도어 스위치(110)는 냉장고의 상측에 설치될 수 있다. 이때 상기 도어 스위치(110)는 상기 도어(20)에 의해서 눌려지면 상기 도어(20)가 상기 저장실을 밀폐한다고 감지하고, 상기 도어(20)에 의해 눌려지지 않으면 상기 도어(20)가 상기 저장실을 개방한다고 감지할 수 있다.A
좌측 도어(20)를 냉장고에 회동가능하게 설치하는 좌측 힌지부(300)가 구비되고, 우측 도어(20)를 냉장고에 회동가능하게 설치하는 우측 힌지부(320)가 구비될 수 있다. 상기 좌측 힌지부(300)와 상기 우측 힌지부(320)는 상기 도어(20)가 회동가능한 회전축이 마련되어 상기 도어(20)에 결합되는 부분과, 상기 아우터 케이스(10)에 설치되는 부분과, 두 개의 부분을 연결하는 연결부로 구분될 수 있다. 즉, 도어 결합부(300c, 302c), 아우터 케이스 결합부(300a, 320a) 그리고 이들을 연결하는 연결부(300b, 320b)로 구분될 수 있다.A
상기 좌측 힌지부(300)에는 상기 좌측 도어(20)의 회전을 감지하는 좌측 도어 센서(120L)이 설치될 수 있다.A
상기 우측 힌지부(320)에는 상기 우측 도어(20)의 회전을 감지하는 우측 도어 센서(120R)이 설치될 수 있다. A
상기 좌측 도어 센서(120L)과 상기 우측 도어 센서(120R)은 각각의 도어의 회전 각도를 독립적으로 감지할 수 있다. The
도 10은 도어 센서의 작동 방식을 설명한 도면이다. 이하 도 10을 참조해서 설명한다. 10 is a diagram illustrating an operation method of a door sensor. Hereinafter, it demonstrates with reference to FIG.
상기 도어 센서(120)는 빛을 조사하는 발광부(122)와 상기 발광부(122)에서 조사된 빛을 수신하는 수광부(124)를 포함할 수 있다.The
상기 발광부(122)에서 조사된 빛이 상기 도어(20)의 상면을 통해서 반사가 되어서 상기 수광부(124)에 전달될 수 있다. 이 경우 빛의 반사가 안정적으로 이루어질 수 있도록 반사가 잘 이루어지는 재질로 구성되는 것도 가능하다.The light irradiated from the
상기 발광부(122)에서 조사된 빛이 상기 수광부(124)로 전달되면, 상기 도어(20)가 상기 도어 센서(120)가 설치된 각도 보다 작은 각도 만큼 회전된 것으로 감지할 수 있다. 즉 상기 도어(20)가 일정 각도(θ)보다 작은 각도로 회전된 상태이거나, 상기 저장실(22)을 밀폐한 상태에서 회전되지 않은 것을 의미할 수 있다.When the light irradiated from the
반면에 상기 발광부(122)에서 조사된 빛이 상기 수광부(124)로 전달되지 않으면, 상기 도어(20)가 상기 도어 센서(120)가 설치된 각도 보다 큰 각도 만큼 회전된 것으로 감지할 수 있다. 즉 상기 도어(20)가 일정 각도(θ)보다 큰 상태로 회전되어 사용자가 상기 저장실(22)에 접근이 가능한 상태를 의미할 수 있다. On the other hand, if the light irradiated from the
이를 위해서, 도 9에 도시된 바와 같이, 좌측 힌지부(300)와 우측 힌지부(320)는 본체의 아우터 케이스(10)의 최상면과 도어(20)의 최상면 걸쳐 장착될 수 있다. 따라서, 도어(20)가 회전 중심(302, 322)를 기준으로 회전함에 따라 도어의 최상면 또는 도어의 상면 중 일부분(예를 들어 단차지는 부분)이 수광부 기능을 수행할 수 있다. 물론, 좌측 도어 센서(120L)과 우측 도어 센서(120R)은 각각의 연결부(300b, 320b)에 설치되어 발광부 기능을 수행할 수 있다. 이러한, 센서(120L, 120R)와 도어 사이의 위치 관계로 인해, 센서(120L, 120R)은 도어가 열리면서 일정 각도(θ) 이상 열리는 시점과 도어가 닫히면서 일정 각도(θ)로 닫히는 시점을 파악할 수 있다.To this end, as shown in FIG. 9, the
도 11은 좌측 힌지부와 우측 힌지부를 구체적으로 도시한 도면이다. 도 11에서는 설명의 편의를 위해서 냉장고의 다른 구성요소는 생략했다. 이하 도 11을 참조해서 설명한다. 11 is a view showing in detail the left hinge portion and the right hinge portion. In FIG. 11, other components of the refrigerator are omitted for convenience of description. Hereinafter, it demonstrates with reference to FIG.
상기 도어 센서는 상기 도어의 회전을 감지하기 위해서 상기 인너 케이스의 전면, 즉 상기 개구부보다 전방(즉 사용자가 서 있는 위치)에 배치될 수 있다.The door sensor may be disposed in front of the inner case, that is, in front of the opening (ie, a position where the user is standing) in order to detect the rotation of the door.
상기 좌측 힌지부(300)에는 상기 좌측 도어(20)의 회전을 감지하기 위한 좌측 도어 센서(120L)가 설치될 수 있다. A
상기 우측 힌지부(320)에는 상기 우측 도어(20)의 회전을 감지하기 위한 우측 도어 센서(120R)가 설치될 수 있다.A
상기 좌측 도어 센서 또는 상기 우측 도어 센서는 상기 개구부와 상기 각각의 힌지부의 각각의 회전 중심의 사이 영역에 배치될 수 있다. 즉, 각 힌지부의 연결부(300b, 320b)에 배치될 수 있다. The left door sensor or the right door sensor may be disposed in a region between the opening and the rotation center of each of the hinge parts. That is, it may be disposed on the
상기 도어 센서(120)는 전기를 공급받거나, 외부에 신호를 전달하기 위해서 커넥터(c)와 와이어(wire)에 의해서 다른 구성요소와 연결될 수 있다. 이때 상기 도어 센서(120)는 상술한 제어부(100)에 연결되어서 획득한 신호 정보를 제공할 수 있다. The
상기 좌측 힌지부(300)는 상기 좌측 도어(20)가 회전되는 회전 중심(302)을 구비할 수 있다. 이때 상기 좌측 도어 센서(120L)는 상기 회전 중심(302)에 대해서 우측에 배치될 수 있다. 상기 회전 중심(302)으로부터 우측 공간은 좌측 도어(20)의 회전 각도에 따라 상기 좌측 도어(20) 특히 좌측 도어(20)의 상면이 상기 좌측 도어 센서(120L)의 하부에 위치하거나 위치하지 않을 수 있는 공간이다. 따라서, 상기 좌측 도어 센서(120L)는 상기 좌측 힌지부(300)의 연결부(300b)에 위치됨이 바람직하다. 이를 통해서 도어의 사이즈나 바스켓 사이즈가 달라지는 경우, 상기 일정 각도(θ)를 탄력적으로 가변시킬 수 있게 된다. 즉, 연결부(300b)의 우측 공간을 용이하게 가변시킬 수 있고, 이에 따라 상기 연결부(300b)에서의 좌측 도어 센서(120L)의 위치를 용이하게 가변시킬 수 있기 때문이다. The
상기 좌측 도어 센서(120L)에 연결되는 와이어(w)는 상기 회전 중심(302)를 통해서 연결될 수 있다. 또한 와이어(w)는 상기 아우터 케이스(10)를 통해서 냉장고 본체와 연결되는 것이 가능하다. The wire w connected to the
상기 우측 힌지부(320)는 상기 우측 도어(20)가 회전되는 회전 중심(322)을 구비할 수 있다. 이때 상기 우측 도어 센서(120R)는 상기 회전 중심(322)에 대해서 좌측에 배치될 수 있다. 상기 회전 중심(322)로부터 좌측 공간은 우측 도어(20)의 회전 각도에 따라 상기 우측 도어(20)가 상기 우측 도어 센서(120R)의 하부에 위치하거나 위치하지 않을 수 있는 공간이다. 따라서, 마찬가지 이유로, 우측 도어 센서(120R)는 우측 힌지부(320)의 연결부(320b)에 설치됨이 바람직할 것이다.The
상기 도어 센서(120)에서 감지된 시점은 상기 저장실(22) 내부의 각각의 영역, 구체적으로는 상기 제1영역(42) 또는 상기 제3영역(62)에 대한 사진의 캡쳐 시점이 될 수 있다. 즉 상기 도어 센서(120)에서 감지된 시점은 상기 드로워(50)의 외부 저장 공간을 촬영한 사진의 캡쳐 시점을 의미할 수 있다.The point of time sensed by the
한편 상기 도어 센서(120)는 빛을 조사하고 수신하기 때문에 상기 도어 센서(120)는 빛을 하방으로 조사하게 된다. 하방으로 조사된 빛은 상기 도어(20)에 의해서 다시 상측으로 반사된다.Meanwhile, since the
상기 도어 센서(120)와 상기 도어(20)는 상기 도어 센서(120)에서 충분한 양의 빛을 수신할 수 있도록 짧은 간격을 유지할 수 있다. 이때 상기 도어 센서(120)와 상기 도어(20)의 수직 간격은 최대 20mm를 유지하는 것도 가능하다.The
도 12는 사용자에게 제공되는 화면의 일례들이다. 이하 도 12를 참조해서 설명한다. 12 is an example of a screen provided to a user. Hereinafter, it demonstrates with reference to FIG.
도 12a에서는 제1영역(42), 제2영역(52) 및 제3영역(62)이 모두 사용자에게 제공되는 형태이고, 도 12b는 제2영역(52)과 제3영역(62)이 사용자에게 제공되는 형태이며, 도 12c는 제1영역(42)과 제2영역(52)이 사용자에게 제공되는 형태이다. In FIG. 12A, the
우선 도 12a를 기준으로 설명한다. First, it will be described with reference to FIG. 12A.
상기 카메라(70)에서 촬영된 한 장의 사진은 상기 제1영역(42)을 도시하는 제1이미지와, 상기 제2영역(52)을 도시하는 제2이미지 및 상기 제3영역(62)을 도시하는 제3이미지로 구분될 수 있다. 즉 한 장의 사진 또는 복수 개의 사진은 영역별로 구분될 수 있다. 이때 상기 제1이미지, 상기 제2이미지, 상기 제3이미지는 각각 촬영된 한 장의 사진으로부터 해당 영역을 도시하는 범위로 잘려진(cut)된 형태를 의미할 수 있다.One picture taken by the
이렇게 구분된 사진은 도 12a에서와 같이 독립적으로 사용자에게 제공될 수 있다. 즉 해당 영역에 대한 사진이 개별적으로 사용자에게 제공되어서 사용자는 해당 영역에 저장된 식품에 대한 정보를 쉽게 획득할 수 있다. The divided pictures may be independently provided to the user as shown in FIG. 12A. That is, photos of the corresponding area are individually provided to the user, so that the user can easily obtain information on food stored in the corresponding area.
상기 디스플레이(14)는 복수 개의 저장 영역이 프레임 내에 도시될 수 있도록 배치할 수 있다.The
즉 하나의 사각 프레임의 상측에는 상기 제2영역(52)을 도시하는 제2이미지가 좌측과 우측에 각각 배치되고, 사각 프레임의 하측에는 상기 제3영역(62)을 도시하는 제3이미지가 좌측과 우측에 각각 배치된다.That is, a second image showing the
복수 개의 영역들이 상기 디스플레이(14)에 하나의 프레임에 동일한 폭을 가지는 이미지로 배치될 수 있다. 이를 위해서 상기 제어부는 촬영된 사진을 자르고, 크기를 보정해서 상기 디스플레이(14)에 제공할 수 있다. 이때 보정된 이미지는 프레임의 대응되는 위치에서 도시되게 된다. A plurality of regions may be arranged as an image having the same width in one frame on the
상기 디스플레이에 제공되는 이미지 중 적어도 일부는 동일한 폭을 가지도록 보정되어서, 사용자가 실제 냉장고 도어를 연 상태에서 저장실을 바라본 것과 유사한 느낌을 갖게 하는 것으로 평면적 배열 효과를 가질 수 있다.At least some of the images provided on the display are corrected to have the same width, so that the user has a feeling similar to the view of the storage room while the refrigerator door is actually opened, thereby having a planar arrangement effect.
상기 디스플레이(14)는 두 개의 중첩된 영역을 하나의 화면을 통해서 제공해서, 실제 사용자가 한 번에 볼 수 없는 상태의 식품 정보를 제공할 수 있다. The
특히 상기 제2이미지와 상기 제3이미지는 드로워가 인출된 상태에서는 중첩되도록 배치되는 공간이기 때문에 드로워가 인출된 상태에서는 사용자는 두 개의 저장공간의 정보를 동시에 획득할 수 없다. 그러나 상기 디스플레이(14)는 두 개의 저장 공간 정보를 동시에 제공할 수 있다.In particular, since the second image and the third image are spaces arranged to overlap when the drawer is fetched, the user cannot obtain information on the two storage spaces at the same time when the drawer is fetched. However, the
상기 제어부(100)는 각각의 이미지를 개별적으로 업데이트(교체)해서 사용자에게 각각의 영역에 수용된 식품의 종류에 관한 정보를 제공할 수 있다. The
예를 들어, 상기 카메라에 의해서 촬영된 사진을 통해서 제2이미지에 해당하는 부분은 업그레이드되고, 제3이미지에 해당하는 부분은 업그레이드될 필요가 없는 경우에는, 제2이미지만 교체될 수 있다.For example, if a portion corresponding to the second image is upgraded through a picture taken by the camera, and the portion corresponding to the third image does not need to be upgraded, only the second image may be replaced.
이와는 반대로, 상기 카메라에 의해서 촬영된 사진을 통해서 제3이미지에 해당되는 부분은 업그레이드되고, 제2이미지에 해당하는 부분은 업그레이드될 필요가 없는 경우에는, 제3이미지만 교체될 수 있다.On the contrary, when the part corresponding to the third image is upgraded through the picture taken by the camera, and the part corresponding to the second image does not need to be upgraded, only the third image may be replaced.
하나의 프레임에 제2이미지와 제3이미지가 서로 독립적으로, 다른 이미지에 무관하게 업그레이드되는 것이 가능하다.In one frame, the second image and the third image may be upgraded independently of each other and independent of other images.
그리고 좌우측에 배치되는 두 개의 제2이미지 중에서 좌측에 배치되는 제2이미지만 업그레이드되거나, 우측에 배치되는 제2이미지만 업그레이드되는 것도 가능하다. 이때 제3이미지도 좌측과 우측에 개별적으로 업그레이드되는 것도 가능하다.In addition, of the two second images disposed on the left and right, only the second image disposed on the left may be upgraded, or only the second image disposed on the right may be upgraded. At this time, it is also possible to upgrade the third image individually on the left and right.
즉 상기 디스플레이(14)는 복수 개의 이미지가 제공되는 프레임을 제공해서, 사용자에게 저장실에 저장된 물품에 관한 정보를 제공하되, 복수 개의 이미지가 다른 이미지와 무관하게 개별적으로 업그레이드되는 것이 가능하다. 특히 제2이미지와 제3이미지는 서로 다른 사진에서 선택되는 이미지이기 때문에, 상기 제어부는 해당 사진이 어떤 영역을 표현하는지를 판단해서, 각각의 이미지를 업그레이드하는 것이 가능하다.That is, the
이때 상기 제2이미지와 상기 제3이미지는 동일하거나 실질적으로 유사한 크기의 폭을 가지는 것이 가능하다. 즉 사진에서 획득된 제2이미지와 제3이미지에 해당되는 부분은 상기 제어부의 보정에 의해서 폭이 동일한 크기로 변환되어 상기 디스플레이에 제공되는 것이 가능하다.In this case, the second image and the third image may have the same or substantially similar widths. That is, the portions corresponding to the second image and the third image acquired from the photo may be converted to the same size by the correction of the control unit and provided to the display.
상기 제2이미지와 상기 제3이미지의 크기가 다른 경우에는 해당 사진에서 상기 제2이미지와 상기 제3이미지의 픽셀수, 즉 픽셀에 따른 크기를 다르게 선택하는 것도 가능하다. 그렇지 않으면, 상기 제2이미지와 상기 제3이미지를 동일한 픽셀수로 선택하고 상기 디스플레이(14)에 표현될 때에는 다른 크기를 가지도록 상기 제어부에서 보정하는 것도 가능하다.When the sizes of the second image and the third image are different, the number of pixels of the second image and the third image, that is, the size of each pixel may be differently selected in the corresponding photo. Otherwise, the second image and the third image may be selected with the same number of pixels and corrected by the controller to have different sizes when displayed on the
상기 제2이미지와 상기 제3이미지를 상하로 배치해서 상하 배열의 평면감을 가지도록 하는 것이 가능하다. 원래 상기 제2이미지에 의해서 도시되는 영역은 상기 제3이미지에 의해서 도시되는 영역의 상측에 배치된다. 따라서 사용자는 디스플레이에 의해서 제공되는 이미지를 직관적으로 인지할 수 있어서, 이미지가 제공하는 정보를 쉽게 파악할 수 있다.By arranging the second image and the third image vertically, it is possible to have a flat feeling of the vertical arrangement. The area originally shown by the second image is disposed above the area shown by the third image. Accordingly, the user can intuitively recognize the image provided by the display, and thus can easily grasp the information provided by the image.
물론 상기 디스플레이(14)는 상기 제1이미지와 상기 제3이미지가 동시에 대체된 화면을 사용자에게 제공할 수 있다. 이와는 달리 상기 제1이미지와 상기 제3이미지는 그대로인 상태에서, 제2이미지만 대체된 화면을 사용자에게 제공할 수 있다.Of course, the
도 12a에 도시된 냉장실 선반은 상기 제1영역(42)을 의미하고, 야채실은 상기 제2영역(52)을 의미하며, 멀티수납코너는 상기 제3영역(62)을 의미할 수 있다. 물론 사용자의 선호도나 이미지 제공자의 편의에 따라 다양한 배치와, 다양한 형태로 변형되는 것도 가능하다. The refrigerator compartment shelf illustrated in FIG. 12A may refer to the
한편 도 12a의 화면은 냉장고에 설치된 디스플레이(14)에도 제공될 수 있지만, 냉장고가 아닌 별도의 외부 장치 예를 들어 스마트폰과 같은 외부 단말 장치에도 제공될 수 있다. 따라서 사용자는 집에서 외출을 한 상태에서 냉장고에 저장된 식품에 대한 정보를 얻을 수 있고, 이를 이용해서 쇼핑에 활용할 수 있다. 따라서 사용자는 도어를 개방하지 않더라도, 냉장고에 저장된 식품의 종류를 파악할 수 있다. 사용자에게 제공되는 화면은 하나의 저장실을 복수 개의 저장 영역으로 구분되어 디스플레이될 수 있다. 따라서 사용자는 하나의 저장실에 각각의 위치에 저장된 식품을 서로 위치별로 분류된 정보를 쉽게 획득할 수 있다.Meanwhile, the screen of FIG. 12A may be provided to the
이때 야채실에 도시되는 이미지는 상기 드로워(50)을 인출했을 때, 상하로는 상기 드로워(50)의 전단부터 상기 선반(40)의 전단까지의 영역을 도시한다. 상기 멀티수납코너에 도시되는 이미지는 상기 도어(20)에 의해서 가려지지 않은 상태에서, 상기 드로워(50)가 인입된 경우에 중첩되는 부분의 영역을 도시한다. 상기 선반에는 사용자에게 상기 선반(40)의 상측의 영역을 도시한다.At this time, the image shown in the vegetable room shows a region from the front end of the
본 발명의 일실시예에서는 사용자에게 제공되는 화면이 하나의 저장실을 그대로 도시하는 것이 아니라, 서로 분리된 각각의 부분에 분리된 이미지를 배치하기 때문에 사용자가 정보를 쉽게 획득할 수 있다. 다시 말하면, 도 7에서 도시된 사진을 그대로 이용하는 것이 아니라, 하나의 사진에서 각각의 영역을 분리하여 독립적 그리고 개별적으로 이용하는 것이라 할 수 있다.In an exemplary embodiment of the present invention, since the screen provided to the user does not show a single storage room as it is, the user can easily obtain information because separate images are arranged in separate portions from each other. In other words, rather than using the picture shown in FIG. 7 as it is, it can be said that each area is separated from one picture and used independently and individually.
도 12b와 같이 도 12a와 다른 형태의 화면이 제공될 수 있다. 이 경우에는 상기 카메라(70)에서 상기 제2영역(52)과 상기 제3영역(62)을 포함하는 사진을 촬영하는 것이 가능하다. 그렇지 않으면, 상기 카메라(70)에서 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62) 모두를 포함하는 사진을 촬영하더라도, 사용자에게는 두 개의 영역에 해당하는 이미지만을 제공하는 것이 가능하다.As shown in FIG. 12B, a screen having a different shape from that of FIG. 12A may be provided. In this case, it is possible to take a picture including the
도 12c와 같이 또 다른 형태의 화면이 제공될 수 있다. 이 경우에는 상기 카메라(70)에서 상기 제1영역(42)과 상기 제2영역(52)을 포함하는 사진을 촬영하는 것이 가능하다. 그렇지 않으면, 상기 카메라(70)에서 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62) 모두를 포함하는 사진을 촬영하더라도, 사용자에게는 두 개의 영역에 해당하는 이미지만을 제공하는 것이 가능하다.As shown in FIG. 12C, another type of screen may be provided. In this case, the
즉, 본 발명의 일실시예에 따르면, 3개의 영역을 모두 촬영한 후에 관련 이미지를 사용자에게 제공하는 것도 가능하다. 그러나 도 12b와 도 12c에 도시된 것처럼 적어도 드로워의 내부 저장 영역, 즉 제2영역에 해당하는 이미지와 제2영역이 아닌 다른 영역에 해당하는 이미지를 사용자에게 함께 제공하는 것이 가능하다.That is, according to an embodiment of the present invention, it is possible to provide a related image to a user after all three areas are captured. However, as shown in FIGS. 12B and 12C, it is possible to provide a user with at least an image corresponding to the drawer's internal storage area, that is, a second area and an image other than the second area.
도 13은 카메라에서 촬영된 사진을 조정하는 방식을 설명한 도면이다. 이하 도 13을 참조해서 설명한다.13 is a diagram illustrating a method of adjusting a picture taken by a camera. Hereinafter, it demonstrates with reference to FIG.
도 13은 상기 디스플레이(14)에 표시되는 화면의 일례일 수 있다. 물론 냉장고에 디스플레이가 구비되지 않는다면, 도 13은 냉장고를 제조할 때에 작업자의 별도 디스플레이 장치에 표시되는 화면을 의미할 수 있다. 또한 사용자의 핸드폰에 표시되는 화면일 수 있다.13 may be an example of a screen displayed on the
상기 카메라(70)가 설치된 상태에서는 조립 공차로 인해서, 상기 카메라(70)가 원하는 위치에 정확하게 설치되지 않을 수도 있다.When the
따라서 본 발명의 실시예에서는 작업자 또는 사용자가 상기 카메라(70)에서 촬영하는 사진 또는 영상을 통해서 각각의 영역을 구획하는 조정선(15)를 변화시키는 것이 가능하다.Therefore, in the embodiment of the present invention, it is possible to change the
조정선(15)은 수직 조정선과 수평 조정선을 포함할 수 있다. 수직 조정선은 이미지의 중앙 또는 양 끝단에 배치될 수 있다. 사용자는 화면에 도시된 버튼을 통해서 수직 조정선을 상하로 이동시키고, 수평 조정선을 좌우로 이동시켜서, 상기 디스플레이(14)에 제공되는 이미지가 잘려지는 부분을 선정할 수 있다.The
한편 상기 조정선(15)의 이동 가능한 범위를 한정하는 한계선(16)도 도시될 수 있다. 이때 상기 한계선(16)은 수직 조정선을 중심으로 좌우로 소정 간격을 가지도록 배치되는 것이 가능하다. 또한 상기 한계선(16)은 수평 조정선을 중심으로 상하로 소정 간격을 가지도록 배치되는 것이 가능하다.Meanwhile, a
상기 한계선(16)을 구비해서, 상기 조정선(15)의 이동에도 불구하고 원하는 정도의 이미지가 획득되지 않으면 불량으로 판단하고 상기 카메라(70)의 설치 위치를 조정할 수 있다.With the
도 13과 같이 상기 저장실에 두 개의 드로워가 구비되는 형태에서는 수직 조정선은 두 개의 드로워의 사이에 배치되는 것이 가능하다.As shown in FIG. 13, in a form in which two drawers are provided in the storage compartment, a vertical adjustment line may be disposed between the two drawers.
그리고 수평 조정선은 상기 선반의 전단에 배치되는 것이 가능하다.And the horizontal adjustment line may be disposed at the front end of the shelf.
수평 조정선과 수직 조정선의 이동이 완료된 상태에서는, 상기 수평 조정선과 상기 수직 조정선의 교차점의 좌측 하단은 제2영역 또는 제3영역의 좌측부위에 대한 이미지를 구성할 수 있다. 이때 해당 이미지는 수평 방향으로는 상기 수평 조정선으로부터 특정 개수의 픽셀까지일 수 있고, 수직 방향으로는 상기 수직 조정선으로부터 특정 개수의 픽셀까지일 수 있다.In a state in which the horizontal adjustment line and the vertical adjustment line are completely moved, the lower left of the intersection of the horizontal adjustment line and the vertical adjustment line may constitute an image of the second region or the left portion of the third region. In this case, the image may range from the horizontal adjustment line to a specific number of pixels in the horizontal direction, and may range from the vertical adjustment line to a specific number of pixels in the vertical direction.
상기 수평 조정선과 상기 수직 조정선의 교차점의 우측 하단은 제2영역 또는 제3영역의 우측부위에 대한 이미지를 구성할 수 있다. 이때 해당 이미지는 수평 방향으로는 상기 수평 조정선으로부터 특정 개수의 픽셀까지일 수 있고, 수직 방향으로는 상기 수직 조정선으로부터 특정 개수의 픽셀까지일 수 있다.The lower right of the intersection of the horizontal adjustment line and the vertical adjustment line may constitute an image of the second region or the right portion of the third region. In this case, the image may range from the horizontal adjustment line to a specific number of pixels in the horizontal direction, and may range from the vertical adjustment line to a specific number of pixels in the vertical direction.
상기 수평 조정선의 상측은 상기 제1영역의 이미지를 구성할 수 있다. 이때 해당 이미지는 수직 방향으로는 상기 수평 조정선으로부터 특정 개수의 픽셀까지일 수 있다.An upper side of the horizontal adjustment line may constitute an image of the first region. In this case, the image may be in a vertical direction from the horizontal adjustment line to a specific number of pixels.
한편 도 13에서와 같이 야채칸에 해당되는 제3영역의 좌우측 사진을 별도로 도시해서, 드로워에 해당되는 부분의 사진 획득 여부를 확인하는 것도 가능하다.Meanwhile, as shown in FIG. 13, it is possible to separately show left and right photos of the third area corresponding to the vegetable compartment, and confirm whether or not a photo of the part corresponding to the drawer is acquired.
사용자 또는 작업자에 의한 조정이 완료되면 입력 완료 버튼을 클릭해서, 상기 조정선(15)의 이동이 완료되었음을 입력할 수 있다. 따라서, 카메라의 설치 오차가 작은 경우에는, 촬영된 사진에서 각각의 영역을 구분하는 수직선 및/또는 수평선의 위치를 조정할 수 있게 된다. 이를 통해, 특정 영역에 해당되는 부분들이 명확히 표시될 수 있게 된다. 물론, 상하로 구획되거나 좌우로 구획되는 영역들이 다수 개인 경우 전술한 수평 조정선이나 수직 조정선은 복수 개 구비될 수도 있을 것이다.When the adjustment by the user or the operator is completed, by clicking the input completion button, it is possible to input that the movement of the
도 14는 카메라를 도시한 사시도이고, 도 15는 카메라의 요부를 도시한 도면이며, 도 16은 도 14의 단면도이다. 이하 도 14 내지 도 16을 참조해서 설명한다.14 is a perspective view showing a camera, FIG. 15 is a view showing a main part of the camera, and FIG. 16 is a cross-sectional view of FIG. 14. Hereinafter, a description will be given with reference to FIGS. 14 to 16.
상기 카메라(70)는 카메라 렌즈(71a) 및 몸체(71b)를 포함하는 카메라 모듈(71)과, 상기 카메라 모듈(71)이 수용되는 케이스(73, 74)를 포함할 수 있다. The
상기 카메라 모듈(71)에는 상기 카메라 렌즈(71a)를 통과한 영상 정보를 디지털 신호로 전환하는 이미지 센서 등을 포함할 수 있다.The
상기 케이스는 제1케이스(73)와, 상기 제1케이스(73)에 결합되어 내부에 소정 공간을 형성하는 제2케이스(74)를 포함할 수 있다. 상기 제1케이스(73)와 상기 제2케이스(74)의 내부에는 상기 카메라 몸체(71b)와 카메라 렌즈(71a)가 수용될 수 있다. 상기 제1케이스(73)와 상기 제2케이스(74)의 사이에는 내부로 습기 또는 먼지가 유입되지 않도록 별도의 실링 부재에 의해서 결합도가 유지되는 것이 가능하다.The case may include a
상기 카메라 몸체(71b)와 카메라 렌즈(71a)는 상기 제1케이스(73) 및 상기 제2케이스(74)에 의해서 형성되는 공간에 삽입되기 때문에, 상기 인너 케이스(12)와 상기 아우터 케이스(10)의 사이에 충진되는 발포제와 접촉하지 않게 된다. 또한 상기 카메라 모듈(71)은 상기 저장실(22)에 수용된 냉기와 직접 접촉하지 않고, 보호될 수 있다. Since the
상기 제1케이스(73)에는 상기 카메라 렌즈(71a)의 전단에 설치되는 투명창(80)과, 상기 투명창(80)에 열을 제공하는 히터(84)가 구비될 수 있다. 상기 투명창(80)은 투명한 재질로 이루어지는 것이 바람직하다. The
상기 히터(84)에 의해서 제공된 열에 의해서 상기 투명창(80)에 이슬이 맺히지 않도록 할 수 있다. It is possible to prevent dew from forming on the
만약 이슬 맺힘 현상을 방지하기 위해서 상기 카메라 렌즈(71a)에 상기 히터(84)를 설치하게 되면 상기 카메라 렌즈(71a)가 변형될 수 있다. 그러한 변형에 의한 수차 발생 및 영구적 손상이 발생할 가능성이 높아지기 때문에, 본 발명의 실시예에서는 상기 투명창(80)을 상기 카메라 렌지(71a)에 직접 접촉시키지 않는다.If the
상기 투명창(80)의 재질로는 플라스틱이나 유리 모두 카메라 영상 취득 입장에서는 적용이 가능하지만, 플라스틱이 열 전도율이 떨어진다. 따라서 상기 투명창(80)으로 플라스틱을 사용하게 되면 유리를 사용하는 것보다 소비 전력이 증가될 수 있다. 따라서 상기 투명창(80)은 유리 재질로 이루어져, 소비 전력을 줄이는 것이 바람직하다. As the material of the
열 전도율이 커지면 상기 히터(84)에 의해서 공급되는 열이 상기 투명창(80)에서 상기 히터(84)에 직접 접촉하지 않는 부분까지 쉽게 전도될 수 있다. 예를 들어, 열 전도율이 낮아지면 상기 히터(84)에 인접한 부분은 온도가 높은 반면에, 상기 히터(84)에서 멀어지는 부분에는 온도가 낮아지기 때문에 결로를 방지하기 어렵다. 또한 더 많은 열에너지가 상기 히터(84)에 의해서 공급되어야 하기 때문에 에너지 효율이 떨어지게 된다.When the thermal conductivity increases, heat supplied by the
한편 상기 히터(84)는 상기 투명창(80)에 직접 면접촉을 하기 때문에 열 전달 효율이 향상될 수 있다. Meanwhile, since the
상기 히터(84)는 상기 투명창(80)이 상기 저장실(22)에 노출되는 면의 반대편에 배치되어서, 상기 히터(84)에서 발생되는 열이 상기 투명창(80)을 거치지 않고, 상기 저장실(22)로 공급되는 것을 방지할 수 있다. The
특히 상기 히터(84)는 열을 발생시키는 열선 코일을 포함하는 것이 가능하고, 상기 열선 코일은 상기 투명창(80)에 면접촉을 할 수 있다. In particular, the
또한 상기 투명창(80)과 상기 카메라 렌즈(71a)는 소정의 간격(g)를 두도록 마련됨이 바람직하다. 이는 상기 투명창(80)에 열이 공급되어 발생될 수 있는 변형이나, 조립 공차를 고려하기 위함이다.In addition, it is preferable that the
또한 상기 카메라(70)는 외부에서 공급되는 전기를 공급받고, 획득된 사진에 관한 신호를 전송하는 케이블(79)을 포함할 수 있다. 상기 케이블(79)은 상기 카메라 모듈(71)을 외부의 구성요소와 전기적으로 연결할 수 있다.In addition, the
한편 상기 케이스에는 상기 카메라(70)을 다른 구성요소에 고정할 수 있는 제1안착편(75)이 마련된다. 이때 상기 제1안착편(75)은 상기 제1케이스(73) 또는 상기 제2케이스(74) 중 어느 곳에 마련되어서 무관하다.Meanwhile, the case is provided with a
상기 제1안착편(75)은 소정 면적을 가지는 면을 포함해서, 상기 카메라(70)를 원하는 설치 위치에 원하는 각도의 기울기를 가지도록 배치할 수 있다.The
상기 제1안착편(75)은 상기 카메라(70)의 양측에 마련되어서, 상기 카메라(70)는 외부 구성요소에 의해서 좌우측이 고정될 수 있다.The
상기 제2케이스(74)에는 소정 면적을 가지고 단차지도록 형성된 제2안착편(76)이 형성될 수 있다. 상기 제2안착편(76)은 상기 제1안착편(75)과 다른 부분에 마련되어서, 상기 제1안착편(75)과 마찬가지로 상기 카메라(70)가 다른 구성요소에 특정 위치에 소정 각도로 안정적으로 결합될 수 있도록 한다. 따라서, 상기 카메라(70)는 상기 제1안착편(75)과 제2안착편(76)을 통해 다른 구성요소에 대해서 3점 이상의 지지점으로 소정 각도로 갖도록 고정될 수 있다. 상기 카메라(70)의 지지구조에 대한 상세한 사항은 후술한다.A
상기 카메라(70)는 해상도는 VGA Resolution급을 적용할 수 있고, 해상도는 영상 데이터 전송 속도와 처리 시간을 고려하여 VGA(640x480), 30만화소 급이 사용될 수 있다. For the
상기 카메라(70)의 Interface는 USB Type이며 5V, 500mA USB 전원을 이용해서 구동될 수 있다. The interface of the
또한 상기 카메라(70)에 공급되는 전류값은 대기 모드 시에는 87mA, 동작 모드시에는 187mA (히터는 67mA)일 수 있다. 따라서, 공급되는 전류값에 비례하는 소비 전력을 소모할 수 있다. 이때 상기 카메라(70)의 동작은 대기 모드와 동작 모드로 구분되며, 상기 투명창(80)의 표면에 결로 현상을 방지하기 위해 상기 히터(84)에는 상시 전원을 인가되는 것이 가능하다. In addition, the current value supplied to the
한편 상기 카메라(70)는 정격 전압이 인가되면 대기 모드로 동작하다가, 상기 도어 스위치(110)에서 상기 도어(20)가 개방된 것으로 감지되면 동작 모드로 전환되어 사진을 촬영할 수 있다. 즉, 냉장고에 전원이 인가되면 상기 카메라는 대기 모드로 동작을 하며, 상기 도어 스위치(110)에서 상기 도어(20)가 개방된 것으로 감지되면, 사진 촬영을 위한 동작 모드로 전환될 수 있다.Meanwhile, when the rated voltage is applied, the
도 17은 히터의 배치를 설명한 도면이다. 이하 도 17을 참조해서 설명한다.17 is a diagram illustrating an arrangement of a heater. Hereinafter, it demonstrates with reference to FIG.
상기 카메라(70)는 촬영각이 수평 화각은 115°, 수직 화각은 95°, 대각 화각은 145°을 이룰 수 있다. 즉 상기 카메라(70)는 수평 화각이 수직 화각보다 크게 배치하는 것이 가능하다. 이러한 배치를 통해서 상기 저장실(22)의 폭 방향 길이(도 17에서 수평 방향)가 상기 저장실(22)의 전후 방향 길이(도 17에서 수직 방향)보다 긴 경우에 상기 저장실(22)에 관한 식품 정보를 제공할 수 있는 사진을 획득할 수 있다.The
한편 상기 히터(84)는 상기 투명창(80)의 외곽선을 따라 형성되는 것이 가능하다. 이때 상기 히터(84)는 상기 카메라(70)의 화각을 가리지 않도록 사각형을 이루도록 배치될 수 있다. Meanwhile, the
또한 상기 히터(84)가 사각형의 형상을 가지면, 상기 투명창(80)에 상대적으로 넓은 면적으로 열을 공급할 수 있기 때문에, 상기 히터(84)에 대한 에너지 효율이 향상될 수 있다.In addition, when the
특히 도 16과 같이 상기 카메라 렌즈(71a)와 상기 투명창(80) 사이에 간극(g)가 마련된 경우에는 도 17과 같이 상기 투명창(80)에 대한 화각이 직사각형의 형태를 이루게 된다. 만일 간극(g)가 없고, 상기 투명창(80)과 상기 카메라 렌즈(71a)가 맞닿아 있다면, 상기 히터(84)는 상기 투명창(80)의 일면에 접촉하기 때문에, 상기 카메라 렌즈(71a)의 직경과 동일하거나 큰 길이의 변을 가지는 정사각형 형태로 마련될 수 있다. In particular, when a gap g is provided between the
그러나 상술한 바와 같이, 간극(g)이 존재하고, 수직 화각과 수평 화각이 서로 상이하기 때문에, 상기 히터(84)는 어느 한 변이 다른 한 변의 길이보다 긴 직사각형의 형태를 이루는 것이 바람직하다. However, as described above, since the gap g exists and the vertical angle of view and the horizontal angle of view are different from each other, the
도 18은 카메라가 냉장고에 상하 방향(전후 방향)으로 틀어져서 장착된 상태에서 촬영된 사진을 설명한 도면이고, 도 19는 카메라가 냉장고에 수평 방향(좌우 방향)으로 틀어진 상태에서 촬영된 사진을 설명한 도면이다. 이하 도 18 및 도 19를 참조해서 설명한다.FIG. 18 is a diagram illustrating a picture taken while the camera is mounted in a vertical direction (front-to-back direction) on a refrigerator, and FIG. 19 is a diagram illustrating a picture taken when the camera is rotated in a horizontal direction (left-right direction) It is a drawing. Hereinafter, it will be described with reference to FIGS. 18 and 19.
도 18a는 카메라가 상측으로 5도 만큼 상측으로 돌아간 상태이고, 도 18b는 원하는 위치에 설치된 것이며, 도 18c는 하측으로 5도 만큼 돌아간 상태이다. 도 18에 도시된 정도의 사진은 사용자에게 저장실에 저장된 식품에 관한 정보를 제공할 수 있지만, 더 큰 각도로 틀어지게 된다면 사용자에게 원하는 정보를 제공할 수 없다.FIG. 18A shows the camera turned upward by 5 degrees, FIG. 18B is installed at a desired position, and FIG. 18C shows the camera turned downward by 5 degrees. The picture of the degree shown in FIG. 18 may provide information on food stored in the storage room to the user, but if it is twisted at a larger angle, desired information cannot be provided to the user.
*도 19a는 카메라가 좌측으로 4도 만큼 돌아간 상태이고, 도 19b는 카메라가 좌측으로 2도 만큼 돌아간 상태이며, 도 19c는 카메라가 원하는 위치에 설치된 상태이다. * FIG. 19A shows the camera turned to the left by 4 degrees, FIG. 19B shows the camera turned to the left by 2 degrees, and FIG. 19C shows the camera installed at a desired position.
도 18에서와 같이 상하 방향으로 카메라가 돌아가도록 설치된 사진과 비교했을 때에 도 19에서와 같이 카메라가 수평 방향으로 원하는 각도에 설치되지 않은 사진은 상대적으로 크게 왜곡된 화면을 제공하게 된다. When compared to a picture installed so that the camera rotates in the vertical direction as shown in FIG. 18, a picture in which the camera is not installed at a desired angle in the horizontal direction as shown in FIG. 19 provides a relatively largely distorted screen.
도 18 및 도 19에서 볼 수 있듯이 카메라의 설치 각도는 미세한 차이이더라도, 촬영되는 사진의 왜곡을 크게 가져올 수 있기 때문에, 카메라의 설치 각도에 조립 공차가 가능하면 적게 발생하도록 관리하는 것이 필요하다. 물론, 미세한 오차는 도 13을 통해 설명된 조정선을 통해서 조정될 수 있어, 최적의 사진을 제공할 수 있게 된다.As can be seen in FIGS. 18 and 19, even though the camera's installation angle is a small difference, it is necessary to manage the installation angle so that the assembly tolerance is as small as possible because it can bring about a large distortion of the photographed picture. Of course, a minute error can be adjusted through the adjustment line described with reference to FIG. 13, so that an optimal picture can be provided.
도 20은 카메라 하우징이 조립된 상태를 도시한 도면이고, 도 21은 제1하우징의 정면도이고, 도 22는 제2하우징의 정면도이며, 도 23은 제1하우징에 카메라가 설치된 상태를 도시한 정면도이고, 도 24는 도 23의 측단면도, 도 25는 카메라 하우징이 인너 케이스에 설치된 상태의 단면을 도시한 도면이다. 이하 도 20 내지 도 25를 참조해서 설명한다.FIG. 20 is a view showing an assembled state of the camera housing, FIG. 21 is a front view of the first housing, FIG. 22 is a front view of the second housing, and FIG. 23 is a front view showing a state in which the camera is installed in the first housing 24 is a side cross-sectional view of FIG. 23, and FIG. 25 is a cross-sectional view illustrating a state in which the camera housing is installed in the inner case. Hereinafter, a description will be given with reference to FIGS. 20 to 25.
상기 카메라(70)를 상기 인너 케이스(12)에 설치하기 위해서 카메라 하우징을 구비할 수 있다. 즉, 도 14에 도시된 카메라를 수용하고, 상기 카메라를 저장실의 천정에 고정시키기 위한 카메라 하우징을 구비할 수 있다.In order to install the
상기 카메라 하우징은 상기 인너 케이스(12)의 천정의 하면에 결합되는 제1하우징(400), 상기 인너 케이스(12)의 천정의 상면에 결합되는 제2하우징(410), 상기 제1하우징(400)에 결합되는 제3하우징(420) 및 제4하우징(430)를 포함할 수 있다. 여기서, 상기 제1하우징(400)은 저장실의 천정 상면에 결합된다고 할 수 있다.The camera housing includes a
상기 제3하우징(420)는 상기 카메라(70)의 투명창(80)을 제외한 다른 부분이 상기 저장실(22)에 직접 노출되지 않도록 상기 카메라(70)의 전방을 폐쇄할 수 있다. 즉 상기 제3하우징(420)는 상기 카메라(70)의 전면을 가리는 커버의 기능을 수행할 수 있다. 이때 상기 제3하우징(420)와 상기 제4하우징(430)는 하나의 구성요소로 이루어지는 것도 가능하다. 물론, 상기 제4하우징(430)은 상기 제3하우징(320)과 제1하우징(400) 사이에 개재되는 데코 하우징일 수 있다.The
상기 제1하우징(400)에는 상기 카메라(70)가 조립되어서, 상기 카메라(70)의 좌우측 기울어짐 정도(수평방향 기울어짐 정도)와 전후측 기울어짐 정도(수직방향 기울어짐 정도)를 관리할 수 있다. The
도 21에 도시된 바와 같이, 상기 제1하우징(400)은 상기 카메라(70)의 상기 제1안착편(75)이 안착되는 제1안착부(402)를 구비할 수 있다. 이때 상기 제1안착부(402)는 두 개가 마련되어서 상기 좌우의 제1안착편(75)이 각각 체결될 수 있다.As illustrated in FIG. 21, the
상기 제1안착편(75)은 상기 카메라(70)의 좌우측에 소정 각도로 기울어지도록 마련되어서, 상기 카메라(70)가 상기 인너 케이스(12)에 설치된 상태에서 원하는 각도로 기울어지도록 배치할 수 있다.The
상기 제1안착부(402)에는 체결공(404)이 마련되어서, 상기 제1안착편(75)과 상기 제1안착부(402)는 스크류에 의해서 고정되는 것이 가능하다. 상기 제1안착부(402)는 수평 방향으로 서로 다른 높이에 배치되도록 마련되어서, 상기 카메라(70)를 안정적으로 고정할 수 있다.A
상기 제1하우징(400)은 상기 카메라(70)의 상기 제2안착편(76)이 안착될 수 있는 제2안착부(408)를 구비할 수 있다. 이때 상기 제2안착부(408)도 소정의 면적을 가지도록 형성되어서, 상기 제2안착편(76)과 면접촉을 하면서 상기 카메라(70)의 기울어진 정도를 고정할 수 있다.The
즉 상기 카메라(70)는 상기 제1하우징(400)와 복수 개의 면에 의해서 접촉하면서 결합되어서, 상기 카메라(70)가 원하는 각도로 기울어지도록 고정하는 기능을 수행할 수 있다. 다시 말하면, 3개소 이상의 지지점을 갖도록 고정됨과 동시에 상기 제1하우징(400)에 대해서 소정 각도를 갖도록 지지될 수 있다. 물론 수평 각도는 상기 제1하우징(400)과 나란하도록 고정될 수 있고, 수직 각도가 소정 각도가 되도록 고정될 수 있다.That is, the
상기 제1하우징(400)은 상기 제2하우징(410)와 스크류에 의해서 결합될 수 있도록 체결공(406)을 구비할 수 있다.The
도 22에 도시된 바와 같이, 상기 제2하우징(410)는 상기 인너 케이스(12)의 천정의 상면에 면접촉될 수 있는 접촉면(416)을 구비한다. 이때 상기 접촉면(416)은 전체적으로 사각형의 형태를 이루면서 넓게 분포되어서, 상기 제2하우징(410)가 상기 인너 케이스(12)의 천정의 상면에 안정적으로 안착될 수 있다.따라서, 상기 제2하우징(410)의 접촉면(416)의 인너 케이스(12)의 천정과 나란한 면을 갖게 된다. 이를 통해 카메라의 설치 각도에 대한 기준선 또는 기준면이 상기 인너 케이스(12)의 천정면과 동일하도록 할 수 있다.As shown in FIG. 22, the
상기 제2하우징(410)는 상기 카메라(70)의 케이블(79)이 수용될 수 있는 수용 공간(412)을 구비할 수 있다. 상기 수용 공간(412)의 일측에는 관통공(418)이 형성되어서, 냉장고의 다른 구성요소로부터 연결되는 전선이 상기 수용 공간(412)으로 노출될 수 있다. 이때 상기 수용 공간(412)에서 냉장고의 다른 구성요소로부터 연결되는 전선과 상기 케이블(79)과 연결될 수 있다. 따라서 상기 카메라(70)에는 상기 케이블(79)을 통해서 전기가 공급될 수 있고, 상기 카메라(70)에서 촬영된 사진에 대한 신호가 다른 구성요소로 전달될 수 있다.The
상기 제2하우징(410)에는 상기 제1하우징(400)에 결합되는 체결부(414)가 구비될 수 있다. 상기 체결부(414)는 상기 체결공(406)과 스크류에 의해서 결합될 수 있다. 상기 체결부(414)는 상기 체결공(406)과 결합될 때에 조립에 의한 오차가 발생하지 않는 것이 바람직하다. 따라서 상기 체결공(406)과 면접촉이 되도록 소정 높이 만큼 돌출되도록 형성되는 것도 가능하다.The
도 23 및 도 24에 도시된 것처럼, 상기 카메라(70)가 상기 제1하우징(400)에 조립되면 상기 카메라(70)는 설정된 각도 만큼 경사진 형태로 배치될 수 있다. 도 24에 도시된 처럼, 상기 제1하우징(400)의 일측면(400a)은 상기 인너 케이스(12)에 접촉될 수 있도록 평면을 이루는 형상이다. 상기 카메라(70)는 상기 제1하우징(400)의 일측면(400a)과 대비했을 때에, 소정 각도로 경사져 있다. 그리고 상기 일측면(400a)는 제2하우징(410)의 접촉면(416)과 나란하도록 상기 인터 케이스(12)의 천정 하면에 결합된다. 따라서, 카메라(70)을 제1하우징(400)에 결합하고, 상기 제1하우징(400)을 제2하우징(420)에 결합함에 따라 상기 저장실의 천정면에 대한 상기 카메라(70)의 설치 각도의 오차를 현저히 줄일 수 있다.As illustrated in FIGS. 23 and 24, when the
도 25를 참조하면 상기 제2하우징(410)는 상기 인너 케이스(12)의 상부, 즉 상기 인너 케이스(12)와 상기 아우터 케이스(10)의 사이 공간에 발포액이 충진되는 공간에 노출되도록 배치된다. 상기 제2하우징(410)는 상기 저장실(22)의 외부에 배치되지만, 상기 아우터 케이스(10)에 의해서 구획되는 공간에 배치되게 된다. 상기 제2하우징(410)는 상기 인너 케이스(12)에 접착되어 위치가 가고정된 후에, 상기 인너 케이스(12)와 상기 아우터 케이스(10)의 사이에 충진되는 발포액에 의해서 최종적으로 고정될 수 있다.Referring to FIG. 25, the
상기 인너 케이스(12)를 사이에 두고, 상기 제1하우징(400)는 상기 제2하우징(410)에 결합될 수 있다. 상기 제2하우징(410)가 상기 인너 케이스(12)의 특정 위치에 고정된 상태에서, 상기 제1하우징(400)가 상기 제2하우징(410)에 결합되기 때문에 상기 카메라(70)의 위치가 고정될 수 있다.With the
상기 제1하우징(400)에 상기 카메라(70)가 특정 각도로 기울어진 상태에서, 상기 제3하우징(420)와 상기 제4하우징(430)가 상기 제2하우징(410)에 결합될 수 있다. 상술한 바와 같이, 상기 제3하우징(420)와 상기 제4하우징(430)는 하나의 구성요소로 이루어져서, 상기 제1하우징(400)에 상기 제3하우징(420)의 기능을 수행하는 구성요소만 결합되는 것도 가능하다.When the
상기 제3하우징(420)는 상기 카메라(70)의 상기 투명창(80)만이 상기 저장실(22)로 노출되도록 하고, 다른 부분은 노출되지 않도록 할 수 있다. 따라서 상기 카메라(70)가 상기 저장실(22)에 존재하는 수분이나 먼지, 냉기 등에 의해서 영향을 받는 것을 방지할 수 있다.The
카메라의 하우징의 구조와 상기 인너 케이스에 대한 카메라 하우징의 설치 방향, 설치 형태 등은 상기 투명창(80)에 발생되는 결로 현상을 줄이기 위한 기술적 의미를 또한 가진다. 관련된 구체적인 설명은 추후에 한다. The structure of the camera housing and the installation direction and installation form of the camera housing with respect to the inner case also have a technical meaning for reducing condensation occurring in the
도 26은 본 발명에서 카메라의 소모 전력을 비교한 표이고, 도 27은 공급되는 대기 전류와 구동 전류를 비교한 도면이다. 도 26a는 비교례에서 카메라에 전류가 공급되는 상태를 도시하고, 도 27b는 본 발명에서 카메라에 전류가 공급되는 상태를 도시한다. 이하 도 26 및 도 27을 참조해서 설명한다.26 is a table comparing power consumption of cameras in the present invention, and FIG. 27 is a diagram illustrating a comparison of supplied standby current and driving current. 26A illustrates a state in which current is supplied to the camera in the comparative example, and FIG. 27B illustrates a state in which current is supplied to the camera in the present invention. Hereinafter, a description will be given with reference to FIGS. 26 and 27.
비교례에서는 상기 카메라(70)에 대기 전류가 70mA가 공급되다가, 도어가 개방되는 시점에 50mA가 추가로 공급되어서 상기 카메라(70)에 구동 전류 120mA가 공급된다. 비교례에서는 상기 카메라(70)에서 1일에 25회 개방되면 1달에 253Wh가 소모되고, 1일에 50회 개방되면 1달에 254Wh가 소모되는 결과가 발생한다.In the comparative example, 70mA of standby current is supplied to the
반면에 본 발명의 실시예에서는 상기 카메라(70)에 대기 전류가 20mA가 공급되다가, 도어가 개방되는 시점에 100mA가 추가로 공급되어서 상기 카메라(70)에 구동 전류 120mA가 공급될 수 있다. 상기 카메라(70)에서 1일에 25회 개방되면 1달에 74Wh가 소모되고, 1일에 50회 개방되면 1달에 76Wh가 소모되는 결과가 발생한다.On the other hand, in an embodiment of the present invention, a standby current of 20 mA is supplied to the
두 개의 실험 결과를 비교해보면, 대기 전류를 낮추는 것에 의해서 상기 카메라(70)에서 소모되는 전력을 대략 70% 감소시킬 수 있음을 알 수 있다. 따라서 구동 전류가 동일하다는 전제하에 대기 전류를 낮추는 것에 의해서 상기 카메라(70)에서 소모되는 전력을 크게 감소시킬 수 있다는 것이 확인되었다. 왜냐하면, 24시간 연속으로 냉장고가 운전될 때 도어가 개방되는 시간은 상대적으로 매우 짧기 때문이다. 따라서, 작동 모드에서 촬영을 위해 필요한 전류값이 일정하다고 할 때, 대기 모드에서 카메라에 인가되는 전류값을 낮출수록 소비 전류를 줄일 수 있게 된다.Comparing the two experimental results, it can be seen that the power consumed by the
대기 전류를 낮추게 되면 도 27에 도시된 바와 같이, 상기 카메라(70)에 구동 전류가 공급되는 시점이 늦어지게 된다. 왜냐하면, 대기 전류값과 구동 전류값의 차이로 인해, 딜레이 타임이 증가될 수 밖에 없기 때문이다. 다시 말하면, 대기 모드에서 구동 모드로 전환되면, 곧바로 사진 촬영이 수행되지 않고 소정의 딜레이 타임이 경과되어 사진이 촬영될 수 밖에 없다. When the standby current is lowered, as shown in FIG. 27, the timing at which the driving current is supplied to the
따라서 상기 카메라(70)에서 실제로 사진이 촬영되는 시점이 늦어지게 된다. 상기 카메라(70)에 사진을 촬영하라는 명령이 전달된 시점과 실제 상기 카메라(70)에서 사진을 촬영하는 시점에 차이가 크면 실제로 상기 카메라(70)에서 촬영된 사진은 사용자에게 식품 정보를 바람직하게 제공하지 못할 수 있다.Accordingly, the timing at which the
다시 말해서 대기 전류는 낮으면 낮을수록 상기 카메라(70)에서 소모되는 전력이 줄어든다는 장점이 있지만, 상기 카메라(70)를 구동하기 위한 구동 전류로 상승시키는 데에 딜레이 타임이 길어질 수 있다. 따라서 사용자가 원하는 시점에 사진을 촬영할 수 있는 데에 경과되는 통상의 시간을 산출해서, 해당 시간 보다는 딜레이 타임이 줄어들도록 대기 전류값을 선택하는 것이 바람직하다. 이러한 이유로, 본 발명의 실시예에 따르면, 대기 전류값에서 구동 전류값으로 단계적으로 인가되는 전류를 상승시키는 것이 바람직하다. 즉, 충분한 딜레이 타임을 갖고 상대적으로 낮은 대기 전류값에서 상대적으로 높은 구동 전류값으로 인가되는 전류값 단계적으로 증가시킬 수 있다. 즉, 전류값의 급격한 상승을 방지할 수 있다. 따라서, 소비 전력을 낮춤과 동시에 카메라의 안정성을 도모할 수 있다.In other words, the lower the standby current is, the lower the power consumed by the
따라서 본 발명의 실시예에서는 도 28 및 도 29에서와 같이, 상기 카메라(70)를 상기 도어(20)가 개방되는 시점에 구동을 시작하도록 제어한다. 즉, 도어 스위치를 통해 도어가 개방되는 것으로 판단하면, 대기 모드에서 구동 모드로 전환한다. 그러나, 카메라가 촬영하는 사진 중에서 유효한 사진은 도어가 개방되는 시점에서 적어도 소정 시간이 경과된 이후이다. 왜냐하면, 도어가 열리고 사용자가 식품을 업데이트 하는 데에도 물리적으로 몇 초 이상 걸릴 수 밖에 없기 때문이다.즉 딜레이 타임이 길어지더라도 충분히 원하는 시점에 사진을 획득할 수 있다. 따라서, 본 실시예에서는 카메라의 대기 모드에서 구동 모드로의 전환 시점은 도어 스위치의 감지 결과에 의해서 수행된다고 할 수 있다. 그리고, 유효한 사진을 선택하는 기준 시점은 도어 센서의 감지 결과에 의해서 수행된다고 할 수 있다. Accordingly, in the embodiment of the present invention, as shown in FIGS. 28 and 29, the
도 28은 카메라의 사진 촬영 시작 시점 및 카메라의 연속 촬영에 대해 설명한 도면이다. 이하 도 28을 참조해서 설명한다.28 is a diagram illustrating a start point of photographing by the camera and continuous photographing by the camera. Hereinafter, it demonstrates with reference to FIG.
한편 본 발명에서는 도 4에 도시된 것처럼, 상기 도어 스위치를 포함할 수 있다. 상기 도어 스위치(110)에서 상기 저장실(22)의 개방이 감지되면, 상기 카메라(70)에서 사진을 촬영하는 것을 시작하도록 상기 제어부(100)에서 명령할 수 있다. 즉 상기 도어(20)가 이동 또는 회전되어 상기 저장실(22)이 개방되면 상기 카메라(70)에서 사진 촬영을 시작할 수 있다.Meanwhile, in the present invention, as shown in FIG. 4, the door switch may be included. When the
반면에 상기 도어 스위치(110)에서 상기 저장실(22)의 밀폐가 감지되면, 상기 카메라(70)에서 사진을 촬영하는 것을 중단하도록 상기 제어부(100)에서 명령할 수 있다. 즉 상기 도어(20)가 이동 또는 회전되어 상기 저장실(22)이 밀폐되면 상기 카메라(70)에서 사진 촬영을 종료할 수 있다.On the other hand, when the
도 28에 도시된 것처럼, 냉장고에 외부 전원에 의한 전기가 공급되면, 상기 카메라(70)에서 대기 전류가 공급된다(S1). 이때 상기 카메라(70)는 대기 모드로 구동되는 상태일 수 있다. 대기 모드에서는 상기 카메라(70)는 사진을 촬영하지는 않는다.As shown in FIG. 28, when electricity by external power is supplied to the refrigerator, a standby current is supplied from the camera 70 (S1). At this time, the
상기 도어 스위치(110)에서 상기 도어(20)의 개방이 감지될 수 있다(S10).Opening of the
상기 도어(20)가 상기 저장실(22)을 개방한다고 판단되면, 상기 카메라(70)는 사진 촬영을 시작할 수 있다(S14). 특히 상기 카메라(70)는 소정 시간 간격으로 연속적으로 사진을 촬영할 수 있다.When it is determined that the
이때 상기 카메라(70)에는 대기 모드에서 공급되던 전류보다 큰 전류가 공급되기 때문에, 상기 카메라(70)는 구동 모드로 수행될 수 있다. 상기 카메라(70)를 구동하기 위해 대기 전류보다 큰 전류, 구동 전류가 공급되기 위해서는 소정의 시간, 즉 딜레이 타임이 발생할 수 밖에 없다. 즉 상기 카메라(70)에 공급되는 전류의 크기가 커지려면 실제로 일정 시간이 필요하기 때문이다. 상기 카메라(70)에 구동 모드 수행을 위한 전류가 공급된 후에 소정 시간의 딜레이 타임이 경과해야 한 후에, 상기 카메라(70)에는 구동 전류가 공급되어서 상기 카메라(70)는 사진을 비로소 촬영할 수 있다. At this time, since a current larger than the current supplied in the standby mode is supplied to the
상기 카메라(70)는 상기 도어(20)가 개방되는 시점부터 촬영을 위한 구동 모드로 전환되기 때문에, 사진이 촬영되는 시작 시점이 빨라서, 특정 시점에 사진을 촬영하지 못할 위험이 줄어든다. 만약 촬영을 원하는 시점 이전까지 대기 전류를 공급하다가, 원하는 시점에 전류값을 상승시킨다면 딜레이 타임으로 인해서 사진의 촬영 시점이 지연되기 때문이다. Since the
또한 상기 카메라(70)에서 1초에 촬영하는 사진의 장수를 줄일 수 있다. 상기 카메라(70)에서 1초에 30장의 사진을 촬영한다고 가정하면, 사진이 촬영되는 시간 간격 즉 1/30초 동안에 상기 저장실(22) 내부의 변화가 발생할 가능성은 극히 작기 때문이다. 상기 저장실(22)의 내부는 사용자의 동작에 의해서 변화될 수 있는데, 일반적인 사람은 상기 저장실(22)에 대해서 1/30초 동안 행위를 종료할 가능성은 적기 때문이다. 즉 상기 카메라(70)에서 촬영되는 시간 간격을 상대적으로 증가시킬 수 있다. 따라서 상대적으로 저가의 상기 카메라(70)를 사용할 수 있어서, 냉장고의 원가가 절감될 수 있다.In addition, the number of photos taken in one second by the
상기 카메라(70)에 의해서 촬영된 사진은 상기 저장부(18)에 저장될 수 있다(S16). 또한 상기 카메라(70)에서 1초 동안에 촬영되는 사진의 개수가 줄어들면 상기 저장부(18)에 저장되는 사진의 장수도 줄어들게 되어서, 상기 저장부(18)를 보다 효율적으로 운용할 수 있다.The picture taken by the
한편 상기 도어 센서(120)에서 상기 도어(20)가 특정 각도로 회전되는지를 감지할 수 있다(S18). Meanwhile, the
만약 상기 도어 센서(120)에서 상기 도어(20)가 회전되는지가 감지되지 않으면, 상기 저장부(18)에 저장된 사진 중에서 소정 시간 이전의 사진은 삭제할 수 있다(S90). 즉 사용자에게 제공하기 위해서 가공되지 않는 사진은 삭제해서, 상기 저장부(18)의 용량이 커지는 것을 방지할 수 있다.If the
반면에 상기 도어 센서(120)에서 상기 도어(20)가 특정 각도로 회전되었다고 판단하면, 해당 시점에 촬영된 사진을 선택한다(S92). 이때 선택된 사진은 유효사진으로서 상기 제어부(100)에 의해서 가공되어서 사용자에게 제공될 수 있다. 예를 들어, 상기 제어부(100)에 의해서 가공된 사진은 상기 디스플레이(14)에 전달될 수 있다.On the other hand, if the
사용자가 상기 저장실(22)에 접근하기 위해서, 상기 도어(20)를 회전시키는 동작을 수행하는 데에는 일정 시간이 필요하다. 해당 시간 동안 상기 카메라(70)의 딜레이 타임이 경과되기 때문에, 상기 도어(20)가 특정 각도에 회전된 시점에 사진이 촬영될 수 있다. 따라서 상기 제어부(100)는 원하는 시점에 사진을 선택할 수 있다. In order for the user to access the
만약 상기 도어 센서(120)가 감지한 시점에 상기 카메라(70)에서 사진을 촬영하도록 대기 모드에서 구동 모드로 전환된다면, 해당 시점보다 딜레이 타임이 경과된 후의 저장실 상태를 촬영할 수 밖에 없다는 문제가 있을 수 있다.If the
한편 상기 도어(20)가 개방된 시점에 상기 카메라(70)에서 촬영을 시작하기 때문에, 상기 카메라(70)에 상대적으로 적은 크기의 대기 전류가 공급되는 것이 가능하다. 대기 전류가 적게 공급되면, 구동 전류가 공급되기까지 딜레이 타임이 커지게 되지만, 상술한 제어 흐름에서는 상기 카메라(70)에서 일찍 촬영을 시작하기 때문에 원하는 시점에 사진을 촬영하지 못하는 문제는 발생하지 않는다.Meanwhile, since the
도 29는 카메라의 사진 촬영 시작 시점 및 카메라의 연속 촬영에 대해 설명한 도면이다. 이하 도 29를 참조해서 설명한다.29 is a diagram illustrating a start point of photographing by the camera and continuous photographing by the camera. Hereinafter, it demonstrates with reference to FIG.
도 29는 도 28과 달리, 상기 도어(20)의 회전 상태에 따라 사진 선택 시점이 정해지는 것이 아니라, 상기 드로워(50)의 상태에 따라 사진 선택 시점이 정해진다는 차이가 있다. 이외의 부분은 동일하고, 동일한 부분에 대해서는 설명의 편의를 위해서 생략한다. 그러나, 드로워(50)의 조작은 도어(20)의 개방을 전제로 한다고 할 수 있다. 특정 사진을 선택하는 기준 시점은 도어 센서의 판단에 의해 결정될 수 있고, 특정 사진 내에서 특정 영역에 대한 사진을 선택하는 기준 시점은 도어 센서의 판단과 드로워 감지부(130)의 판단에 의해 결정될 수 있을 것이다. 따라서, 어느 경우나 유효 사진의 기준 시점이 결정되기 위해서는 도어 센서의 판단 결과를 필요로 하게 된다.In FIG. 29, unlike FIG. 28, a photo selection time point is not determined according to a rotation state of the
상기 드로워(50)에 식품을 저장하거나, 상기 드로워(50)에 저장된 식품을 외부로 반출하기 위해서, 사용자는 상기 드로워(50)를 인출할 수 있다. 이때 사용자는 상기 드로워(50)를 사용하기 위해서 상기 드로워(50)를 충분한 길이 만큼 인출할 수 있다.In order to store food in the
사용자가 상기 드로워(50)에 대한 사용을 완료한 후에, 상기 드로워(50)를 밀어 넣을 수 있다. 이러한 상태가 발생되는 시점은 S19에서 기재된 특정 상태를 의미할 수 있다.After the user has finished using the
상기 카메라(70)는 상기 도어 스위치(110)에서 상기 도어(20)가 개방된 시점부터 촬영을 시작하기 때문에, 상기 드로워(50)가 특정 상태에 놓여지게 된다면, 해당 시점에 촬영된 사진을 선택해서 사용자에게 제공될 수 있다(S92).Since the
상기 도어(20)가 개방되면 상기 카메라(70)에서 사진이 촬영되고, 사진이 촬영되는 시점 즉, 상기 도어(20)가 개방되는 시점부터 상기 드로워(50)의 움직임이 감시될 수 있다. When the
도 30은 드로워 감지부의 일 실시예를 도시한 도면이고, 도 31은 도 30의 드로워 감지부에서 드로워의 이동을 감지하는 방식을 설명한 도면이다. 이하 도 30 및 도 31을 참조해서 설명한다.FIG. 30 is a diagram illustrating an embodiment of a drawer sensing unit, and FIG. 31 is a diagram illustrating a method of detecting movement of a drawer in the drawer sensing unit of FIG. 30. It will be described below with reference to FIGS. 30 and 31.
도 30을 참조하면, 상기 드로워 감지부(130)를 상기 제어부(100)에 구비하는 것이 아니라, 별도의 구성요소로 구현하는 것도 가능하다. Referring to FIG. 30, the
상기 드로워 감지부(130)는 한 개의 발광부와 두 개의 수광부를 구비하는 것이 가능하다. 즉 한 개의 발광부로부터 조사된 빛이 두 개의 수광부에 입사되는 시점을 분석해서, 상기 드로워(50)의 이동 방향을 감지할 수 있다.The
상기 드로워(50)에는 복수 개의 슬릿(134)를 연속적으로 배치해서, 상기 드로워 감지부(130)의 발광부에서 조사되는 빛이 상기 슬릿(134)에 입사되면 반사되지 않도록 할 수 있다. 따라서 두 개의 수광부에 빛이 순차적으로 입사될 수 있도록 할 수 있다. A plurality of
도 31에서 x축은 시간을 의미하고, y축은 두 개의 수광부(Photo TR1, Photo TR2)에서 빛이 수신될 때의 신호를 의미한다. 즉 도 31a에서는 Photo TR1에서 Photo TR2보다 먼저 빛이 수신되고, 도 31b에서는 Photo TR2에서 Photo TR2보다 먼저 빛이 수신된다. In FIG. 31, the x-axis represents time, and the y-axis represents a signal when light is received from two light receiving units (Photo TR1 and Photo TR2). That is, in FIG. 31A, light is received from Photo TR1 before Photo TR2, and in FIG. 31B, light is received from Photo TR2 before Photo TR2.
도 31b에서는 사용자가 상기 드로워(50)를 사용하기 위해서 인출하는 이동 상태를 의미하고, 도 31a에서는 사용자가 상기 드로워(50)의 사용을 마치고 상기 드로워(50)를 원래 위치로 인입시키는 상태를 의미할 수 있다. In FIG. 31B, it means a moving state in which the user withdraws to use the
따라서 상기 드로워 감지부(130)에서 도 31a와 같이 신호를 감지하면, 상기 제어부(100)는 카메라(70)에서 촬영된 사진을 획득할 시점이라고 판단하고, 해당 시점에서 상기 드로워(50)의 내부, 즉 상기 제3영역에 해당하는 사진으로 선택할 수 있다. 즉, 드로워 감지부(130)의 감지 또는 판단 결과에 따라 제3영역에 해당하는 사진의 획득 시점이 결정될 수 있다. 물론, 이때 획득된 사진에서 제3영역에 해당하는 부분 다른 영역에 해당하는 부분과는 독립적 그리고 개별적으로 선택, 분리 및 업데이트될 수 있다. Therefore, when the
도 32는 드로워에 마커 표시된 상태를 도시한 도면이다. 이하 도 32를 참조해서 설명한다. 32 is a diagram illustrating a state in which a marker is displayed on a drawer. Hereinafter, it demonstrates with reference to FIG.
도 30 및 도 31과는 달리, 별도의 기계 또는 전자적 장치를 이용하지 않더라도, 상기 드로워(50)에 특정한 표시인 마커(marker)를 이용해서 상기 드로워(50)의 이동을 감지할 수 있다.Unlike FIGS. 30 and 31, even if a separate mechanical or electronic device is not used, movement of the
상기 드로워(50)에는 다양한 형태의 마커(흑백의 색깔을 가지는 무늬)가 마련될 수 있다. 상기 카메라(70)는 촬영된 사진을 통해서 상기 마커의 이동을 분석해서, 상기 드로워(50)의 이동 여부 및 이동 방향을 판독할 수 있다. 이때 상기 마커의 분석은 상기 제어부(100)의 상기 드로워 감지부(130)에서 이루어지는 것이 가능하다. 즉, 상기 드로워 감지부(130)에서는 연속적으로 촬영되는 사진들에서의 마커의 이동을 분석하여 드로워(50)의 상태를 판단할 수 있다. 따라서, 드러워 감지부(130)의 감지 또는 판단 결과에 따라 제3영역에 해당하는 사진의 획득 시점이 결정될 수 있다. 물론, 이때 획득된 사진에서 제3영역에 해당하는 부분 다른 영역에 해당하는 부분과는 독립적 그리고 개별적으로 선택, 분리 및 업데이트될 수 있다.Various types of markers (patterns having black and white colors) may be provided on the
도 32에서는 마커가 카메라의 형상을 간략화한 이미지와, '스마트 센서'라는 글자를 포함하고 있다. 한편 상기 마커은 다양한 형태의 무늬를 포함할 수 있고, 흑백이 서로 교차되는 형태로 마련되어서, 상기 카메라(70)에서 인식가능하도록 할수 있다. In FIG. 32, the marker includes a simplified image of the shape of the camera and the word'smart sensor'. Meanwhile, the marker may include various types of patterns, and may be provided in a form in which black and white cross each other, so that the
이때 마커는 상기 카메라(70)에서 인식이 가능하도록, 상기 드로워(50)의 전면 상측에 표시되는 것이 가능하다. In this case, the marker may be displayed on the front upper side of the
도 33(a)는 좌우측 드로워가 인출된 상태를 촬영한 사진을 도시한 도면이고, 도 33(b)는 좌측 드로워는 인입되고, 우측 드로워는 인출된 상태를 도시한 도면이다. 이하 도 33(a) 및 도 33(b)를 참조해서 설명한다.FIG. 33(a) is a view showing a photograph of a state in which the left and right drawers are withdrawn, and FIG. 33(b) is a diagram illustrating a state in which the left drawer is pulled in and the right drawer is pulled out. Hereinafter, description will be made with reference to Figs. 33(a) and 33(b).
도 33에서 상기 마커는 상기 드로워(50)의 상측의 중앙에 마련되고, 물결 형태의 무늬를 이루는 예가 도시되어 있다.In FIG. 33, the marker is provided in the center of the upper side of the
상기 카메라(70)에 의해서 촬영된 한 장의 사진에는 상기 제1영역(42)이 표현될 수 있다. 또한 한 장의 사진에는 상기 제2영역(52) 또는 상기 제3영역(62) 중에 하나가 도시될 수 있다. The
즉 도 33(a)에서와 같이 좌우측 드로워가 인출된 상태에서 촬영된 사진에는 좌우측에 배치된 상기 제1영역(42)과 좌우측에 배치된 상기 제2영역(52)이 도시된다.That is, as shown in FIG. 33(a), the
반면에 도 33(b)에서와 같이 우측 드로워만 인출된 상태에서 촬영된 사진에는 좌우측에 배치된 상기 제1영역(42)과 좌측의 제3영역(62) 및 우측의 제2영역(52)이 도시될 수 있다.On the other hand, as shown in Fig. 33(b), in the picture taken with only the right drawer drawn out, the
즉 상기 드로워(50)가 인출되면 사진에서 상기 제3영역(62)은 도시되지 않고 상기 제2영역이 도시된다. 반면에 상기 드로워(50)가 인입되면 사진에서 상기 제2영역(52)은 도시되지 않고 상기 제3영역(62)이 도시된다.That is, when the
상기 카메라(70)는 동일한 위치에서 사진을 촬영한다. 상기 드로워(50)는 이동될 수 있고, 따라서 상기 드로워(50)의 위치에 따라 상기 카메라(70)에서 획득되는 사진은 다양한 영역에 대한 사진을 촬영할 수 있다.The
한편 도 33(b)에 도시된 바와 같이, 좌측에 구비되는 상기 드로워(50)가 상기 선반(40)의 하부 공간으로 완전히 인입되면, 마커는 상기 카메라(70)에 의해서 인식되지 못한다. 즉 상기 카메라(70)에 의해서 찍힌 사진에는 마커가 도시되어 있지 않다.On the other hand, as shown in FIG. 33(b), when the
도 34 내지 도 40을 통해서 마커를 이용해서 드로워의 이동을 감지하는 방법에 대해서 설명한다.A method of detecting the movement of a drawer using a marker will be described with reference to FIGS. 34 to 40.
도 34는 본 발명의 일 실시예에 따른 냉장고 동작 방법을 설명하기 위한 흐름도이다. 34 is a flowchart illustrating a method of operating a refrigerator according to an embodiment of the present invention.
도 34를 참조하면, 상기 도어 스위치(110)에서 상기 도어(20)의 개방이 감지되면, 상기 카메라(70)는 사진 촬영을 시작하고(S2101), 제어부(100)는 마커 인식 동작 및 마커 추적 동작을 개시한다(S2103).Referring to FIG. 34, when the
이하에서는, 도면 부호 S2101 단계 및 S2103 단계를 보다 상세하게 설명하기 위하여, 도 35를 참조하여 설명한다.Hereinafter, steps S2101 and S2103 will be described in more detail with reference to FIG. 35.
도 35은 본 발명의 일 실시예에 따른 마커 인식 및 추적 방법을 설명하기 위한 흐름도이다.35 is a flowchart illustrating a marker recognition and tracking method according to an embodiment of the present invention.
도 35을 참조하면, 상기 도어(20)가 개방되면 상기 카메라(70)는 사진을 촬영을 시작한다(S2301).Referring to FIG. 35, when the
상기 제어부(100)는 상기 카메라(70)를 제어하여 드로워(50)의 내부 사진을 획득한다(S2303).The
이어서, 제어부(100)는 획득된 사진을 처리하여(S2305), 획득된 사진에서 미리 정해진 마커가 인식되는지 여부를 판단한다(S2307).Subsequently, the
제어부(100)는 미리 정해진 마커의 인식 여부를 판단하기 위하여, 획득된 사진으로부터 인식되는 마커가 미리 저장된 마커과 동일한지 비교할 수 있다.In order to determine whether a predetermined marker is recognized, the
미리 정해진 마커은 사업자 또는 사용자에 의하여 결정될 수 있으며, 사전에 저장부(18) 등에 저장될 수 있다.The predetermined marker may be determined by a business operator or a user, and may be stored in the
마커는 카메라로부터 촬영된 사진에서 검색이 가능한 영역에 형성될 수 있다. 이하에서, 도 36 및 도 37을 참조하여, 제어부(100)에서 인식 및 추적이 가능한 마커에 대하여 상세하게 설명한다.The marker may be formed in a searchable area in a picture taken from the camera. Hereinafter, markers that can be recognized and tracked by the
도 36은 본 발명의 일 실시예에 따른 드로워의 인출입 시점 감지를 위한 마커를 설명하기 도면이다.36 is a diagram for explaining a marker for detecting a drawer withdrawal point according to an embodiment of the present invention.
도 36의 (a)를 참조하면, 마커(marker)는 상기 드로워(50)가 열리기 시작하는 시점부터 카메라(70)에 의해 검색이 가능한 영역에 형성될 수 있다. 예를 들어, 카메라(70)가 냉장고의 상단에 위치하여, 드로워(50)의 평면을 촬영할 수 있는 경우, 마커는 드로워(50) 상단의 전단부에 위치할 수 있다. 또한, 카메라(70)의 시야는 드로워(50)가 완전히 닫힌 상태로부터 드로워(50)이 완전히 열린 상태까지 촬영할 수 있을 정도로 설치될 수 있다.Referring to (a) of FIG. 36, a marker may be formed in a searchable area by the
마커가 드로워(50)의 상단에 위치하는 경우는, 드로워(50) 내부의 저장물 정리가 완료된 후 드로워(50)가 닫히는 시점에 드로워(50)의 상단에 방해물이 없는 경우를 예정하고 있으며, 이에 한정될 것은 아니다.When the marker is located at the top of the
도 36의 (b)를 참조하면, 카메라(70)의 시점에서 드로워(50)가 수납되는 드로워칸(54) 및 드로워(50)을 바라볼 때, 카메라(70)는 드로워(50)가 열리기 시작하는 상태로부터 드로워(50)가 완전히 열린 상태까지 모든 범위에서, 마커가 포함된 드로워(50)의 내부를 촬영할 수 있다.Referring to FIG. 36B, when looking at the
도 37은 본 발명의 일 실시예에 따른 마커의 모양을 설명하기 위한 도면이다.37 is a diagram for describing a shape of a marker according to an embodiment of the present invention.
도 37을 참조하면, 마커는 두 가지 색상의 동일한 모양이 교차하여 반복되는 형태로 형성될 수 있다.Referring to FIG. 37, the marker may be formed in a form in which the same shape of two colors crosses and repeats.
도 37의 (a)를 참조하면, 마커는 흰 색의 정사각형과 검은 색의 정사각형이 교대로 반복된 띠 복수 개가 교차하여 나열된 형태로 형성될 수 있다.Referring to FIG. 37A, the marker may be formed in a form in which a plurality of bands in which a white square and a black square are alternately repeated are intersected and arranged.
도 37의 (b)를 참조하면, 마커는 흰 색의 기울어진 사각형과 검은 색의 기울어진 사각형이 교대로 반복된 띠 복수 개가 교차하여 나열된 형태로도 형성될 수 있다.Referring to FIG. 37B, the marker may be formed in a form in which a plurality of bands in which a white inclined rectangle and a black inclined rectangle are alternately repeated cross each other to be arranged.
이와 같이, 반복되는 형태의 마커는 카메라 촬영 범위로부터 마커의 일부가 가려지는 경우에도 제어부(100)에서 마커 인식 및 추적이 가능하다는 장점이 있다. 다만, 마커는 반복되는 형태에 한정될 것은 아니고, 복수의 색상으로 한정될 것도 아니다. 마커는 앞서 설명한 바와 같이, 드로워(50) 등의 이동성이 있는 냉장고 내부 구성의 이동 여부를 인식할 수 있을 정도의 형태로 족하다.As described above, the repetitive marker has an advantage that the
다시, 도 35를 참조하면, 미리 정해진 마커가 인식된 경우, 제어부(100)는 인식된 마커의 이동을 감지한다(S2311). 제어부(100)는 지속적으로 또는 주기적으로 획득된 사진을 분석 처리하여, 인식된 마커가 이동하는지 또는 정지하는지를 판단할 수 있다. 예컨대, 제어부(100)는 드로워(50)의 열림 동작이 지속 또는 완료되거나, 드로워(50)의 닫힘 동작이 개시, 지속 또는 완료되는 경우에, 마커의 이동 또는 정지 여부를 판단할 수 있다.Again, referring to FIG. 35, when a predetermined marker is recognized, the
또는, 미리 정해진 마커가 인식되지 않는 경우, 제어부(100)는 마커 인식에 실패하였음을 사용자에게 알린다(S2309).Alternatively, if the predetermined marker is not recognized, the
예컨대, 마커에 방해물이 위치하는 경우, 카메라가 마커가 포함된 사진을 획득하지 못하거나, 제어부(100)가 획득된 사진으로부터 마커를 인식할 수 없을 수 있다. 이러한 경우, 제어부(100)는 마커 인식에 실패하였음을 알리는 정보, 방해물 제거 등 마커 인식에 성공하기 위한 방법을 알리는 정보 등을 디스플레이(14) 등을 통해 사용자에게 알릴 수 있다.For example, when an obstacle is positioned on the marker, the camera may not be able to acquire a picture including the marker, or the
이어서, 제어부(100)는 마커 인식에 실패한 경우, 카메라를 통해 새롭게 획득된 사진을 처리하여 미리 정해진 마커를 인식하는 단계를 반복하여 수행할 수 있다.Subsequently, if the marker recognition fails, the
다시 도 34를 참조하면, 마커 인식 후, 드로워 닫힘 동작이 감지되면(S2105), 제어부(100)는 해당 시점에 촬영된 사진을 통해 드로워 내부(상기 제3영역(62))를 포함하는 최종 사진을 획득한다(S2107). 이때, 제어부(100)가 획득하는 드로워 내부의 최종 사진에는, 드로워 닫힘 동작이 감지되기 직전의 드로워 내부의 모습 또는 드로워 닫힘 동작이 감지된 직후의 드로워 내부의 모습일 수 있으며, 이에 한정되는 것은 아니다.Referring back to FIG. 34, after recognizing the marker, when a drawer closing operation is detected (S2105), the
드로워 닫힘 동작의 감지 여부는 도 38를 참조하여 설명한다.Whether the drawer closing operation is detected will be described with reference to FIG. 38.
도 38는 본 발명의 일 실시예에 따른 드로워 닫힘 동작의 감지 방법을 설명하기 위한 흐름도이다.38 is a flowchart illustrating a method of detecting a drawer closing operation according to an embodiment of the present invention.
도 38를 참조하면, 제어부(100)는 드로워(50)의 열림 동작 종료가 감지되었는지 여부를 판단한다(S2501). 예컨대, 제어부(100)는 앞서 획득된 드로워(50)의 사진으로부터 마커을 인식하고, 마커의 움직임을 추적하여, 마커의 이동을 멈추었음을 감지하는 경우에, 드로워(50)의 열림 동작이 종료되었음을 감지할 수 있다. Referring to FIG. 38, the
이어서, 제어부(100)는 드로워(50)의 닫힘 동작 개시가 감지되었는지 여부를 판단한다(S2503). 예컨대, 제어부(100)는 마커가 이동을 멈추었다가 반대 방향으로 다시 이동을 시작하는 경우에, 드로워(50)의 닫힘 동작이 개시되었음을 감지할 수 있다. Subsequently, the
한편, 본 발명의 또 다른 실시예와 관련된 드로워 닫힘 동작을 감지한 제어부(100)의 동작에 대하여 도 39를 참조하여 설명한다.Meanwhile, an operation of the
도 39는 본 발명의 일 실시예에 따른 드로워 닫힘 동작의 완료 감지시 수행되는 냉장고의 동작을 설명하기 위한 흐름도이다.39 is a flowchart illustrating an operation of a refrigerator performed upon detection of completion of a drawer closing operation according to an embodiment of the present invention.
제어부(100)는 드로워 닫힘 동작 종료가 감지된 경우(S2701), 마커 인식을 통한 최종 사진 획득에 성공하였는지 여부를 판단한다(S2703).When the end of the drawer closing operation is detected (S2701), the
제어부(100)는 상기 드로워 감지부(130)의 영상 처리를 통해 드로워(50)의 닫힘 동작이 종료되었음을 감지할 수 있다.The
제어부(100)는 방해물 등에 의하여 마커가 정상적으로 인식되지 않은 결과, 최종 사진 획득에 실패한 경우, 마커 인식에 실패하였음을 사용자에게 알린다(S2705).As a result of the marker not being normally recognized due to an obstacle or the like, the
제어부(100)는 디스플레이(14) 등을 통하여 사용자에게 마커 인식에 실패하였다는 정보를 알려줄 수 있다. 이는 사용자로 하여금 방해물을 제거하도록 안내하고, 정상적인 마커 인식과 최종 이미지 획득을 위하여 드로워을 인출입하도록 유도할 수 있다.The
다시 도 34를 참조하면, 제어부(100)는 디스플레이(14) 등을 이용하여 최종 이미지를 표시한다(S2109). 이때 사용자에게 제공되는 형태는 획득된 최종 사진에서 제3영역(62)에 해당되는 부분만을 발췌한 부분일 수 있다. 다음은 도 40을 참조하여, 본 발명의 또 다른 실시 예에 따른 최종 이미지 제어에 대하여 설명한다.Referring back to FIG. 34, the
도 40은 본 발명의 일 실시 예에 따른 특정 시점에 촬영된 냉장고 내부 특정 영역의 이미지를 제어하는 방법을 설명하기 위한 흐름도이다.40 is a flowchart illustrating a method of controlling an image of a specific area inside a refrigerator photographed at a specific point in time according to an embodiment of the present invention.
도 40을 참조하면, 제어부(100)는 최종 사진을 획득하여(S2901), 최종 사진 중에 원하는 영역에 해당하는 이미지를 잘라낼 수 있다. 그리고 획득된 최종 이미지를 저장부(18)에 저장한다(S2903).Referring to FIG. 40, the
이어서, 제어부(100)는, 사용자의 입력 등을 통해서 최종 이미지 표시를 위한 사용자 입력을 수신하는지 여부를 판단한다(S2905).Subsequently, the
예컨대, 최종 사진 획득시, 제어부(100)는 터치 스크린으로 구성된 디스플레이(14)에 최종 사진 획득 성공을 알리는 정보와 함께 아이콘 형태의 사용자 입력부를 형성할 수 있으며, 해당 아이콘이 선택되는지 여부에 따라 사용자 입력 수신 여부를 판단할 수 있다. 사용자 입력부는 터치 스크린에 형성된 아이콘 이외에도 앞서 설명한 바와 같이 물리 키 등을 포함할 수 있으며, 이에 한정되지 않는다.For example, when obtaining a final photo, the
이어서, 제어부(100)는 최종 사진에서 가공된 최종 이미지 표시를 위한 사용자 입력을 수신한 경우, 최종 이미지를 표시한다(S2907). 제어부(100)는 디스플레이(14)를 이용하여 최종 이미지를 표시할 수 있다. 이러한 최종 이미지의 표시는 기존의 이미지를 대체하여 표시하는 것이라 할 수 있다. 따라서, 최종 이미지의 업데이트라 할 수 있다.Subsequently, when receiving a user input for displaying the final image processed from the final photo, the
물론, 이러한 최종 이미지의 업데이트는 사용자의 입력과 무관하게 자동적으로 수행될 수도 있을 것이다. Of course, the update of the final image may be performed automatically regardless of the user's input.
이와 같은 본 발명의 실시 예에 따르면, 냉장고는 드로워 등에 미리 형성된 마커을 인식하여 드로워 등의 이동 여부를 감지할 수 있다. 또한, 냉장고는 내부에 설치된 카메라를 이용하여 드로워 등에 보관된 저장물의 최종 상태를 이미지 형태로 획득할 수 있다. 이때, 냉장고는 드로워 등에 형성된 마커을 이용하여, 드로워 등의 최종 저장 상태를 획득할 수 있는 최적의 시점을 결정할 수 있다.According to such an embodiment of the present invention, the refrigerator may detect whether the drawer or the like is moved by recognizing a marker previously formed on the drawer or the like. In addition, the refrigerator may acquire a final state of a storage object stored in a drawer or the like in the form of an image using a camera installed therein. In this case, the refrigerator may determine an optimal time point at which a final storage state of the drawer can be obtained using a marker formed on the drawer or the like.
이하, 카메라의 설치위치 및 그에 따라 획득가능한 사진에 관해서 설명한다.Hereinafter, an installation location of the camera and a photograph obtainable therefrom will be described.
본 발명의 실시예는 상기 드로워(50)의 바깥, 즉 상기 저장실(22)에 카메라(70)를 설치하여 드로워(50) 내부와 드로워(50)를 형성하는 드로워 몸체(즉, 전후측벽, 양측벽의 상부 등을 포함)의 이동 경로까지를 포함하는 사진을 연속적으로 촬영해서 드로워 내부 물품 보관 상태 뿐만 아니라 드로워의 이동상태를 동시에 인식할 수 있다. 물론 카메라(70)에서 촬영되는 사진은 드로워(50)의 상측 공간, 즉 제1영역(42)에 해당되는 부분까지 함께 촬영된다.An embodiment of the present invention is a drawer body (ie, a drawer 50) forming a
기본적으로 카메라에서 촬영되는 사진은 드로워의 개폐 동작과 드로워가 이동하는 경로를 모두 포함할 수 있어야 한다. 따라서 카메라는 드로워의 외부에서 드로워의 개폐 및 이동 경로를 촬영할 수 있는 위치에 설치되어야 한다. 즉, 카메라는 적어도 드로워가 닫힌상태와 완전히 개방된 상태를 모두 하나의 사진으로 촬영 가능한 위치에 설치되는 것이 바람직하다. Basically, the picture taken by the camera should be able to include both the opening and closing motion of the drawer and the path the drawer moves. Therefore, the camera must be installed in a position that can take a picture of the drawer's opening and closing and movement path from the outside of the drawer. That is, it is preferable that the camera is installed at least in a position in which the drawer is closed and completely opened as a single picture.
더 나아가, 카메라(70)는 상기 드로워 영역 뿐만 아니라 저장실의 또 다른 저장영역, 예를 들어 선반에 의해 분할되어 식품 또는 물품이 보관되고 있는 선반 영역까지 한 번의 촬영으로 하나의 사진에 모두 포함되게 하여 하나의 카메라로 드로워영역을 포함한 다른 저장영역, 즉 복수 개의 저장영역을 커버하도록 구성할 수 있다.Furthermore, the
이를 위해 상기 드로워(50)는 냉장고 저장실 내의 저면에 형성되는 것이 바람직하다. 상기 드로워(50)는 전면벽(front wall)과 두 개의 양측벽(side walls), 후면벽(rear wall)과 바닥면(bottom wall)과 상부의 개구로 이루어질 수 있다. 상기 카메라(70)는 상기 드로워(50)에 대해 적어도 드로워 내부의 일부와 드로워가 완전 개방된 상태의 드로워의 전면벽 상부가 노출될 수 있도록 드로워 상부에 마련해야 한다. To this end, the
그리고, 특정 무늬로 이루어진 인쇄부(Marker)를 상기 카메라에 노출되는 드로워의 전면벽 또는 양측벽 상면의 어느 위치에 형성 또는 부착시킨다. In addition, a print part (Marker) made of a specific pattern is formed or attached to a position on the front wall or the upper surface of both side walls of the drawer exposed to the camera.
이때, 카메라(70)는 정해진 위치에 고정되기 때문에, 상기 드로워(50)의 인쇄부의 위치가 상대적으로 변하도록 구성할 필요가 있다. 즉, 상기 카메라(70)는 제어부로부터 구동 명령을 받으면 일정 속도로 연속 촬영을 하게 되고, 촬영된 고내 영상들을 순차적으로 제어부(100)에 전송하게 된다. 제어부(100)는 카메라(70)로부터 전송 받은 고내 물품 보관에 관한 사진으로부터 상기 인쇄부의 위치를 추적하여 드로워의 개방 상태는 물론 드로워의 이동 등에 관한 정보를 판단하게 되는 것이다.At this time, since the
상기 카메라가 촬영할 수 있는 범위는 카메라의 화각에 의해 결정될 수 있으며, 이는 수직 방향에 대한 촬영 범위를 의미하는 수직 화각과 수평방향에 대한 촬영 범위를 결정하는 수평 화각으로 이루어진다. The range in which the camera can shoot may be determined by the angle of view of the camera, which is composed of a vertical angle of view, which means a range for a vertical direction, and a horizontal angle of view, which determines a range for a horizontal direction.
상기 카메라(70)의 수직 화각의 일단은 적어도 상기 드로워가 완전 개방된 상태에서의 드로워 전면벽을 포함하여야 하며, 타단은 드로워 닫힘 상태에서 드로워 전면벽 또는 양측벽 상면에 위치하고 있는 인쇄부가 드러나지 않는 것을 확인할 수 있는 부분까지, 일례로 드로워 상부 개구를 덮고 있는 드로워 상측의 전면 일부까지는 포함하도록 결정되어야 한다. One end of the vertical angle of view of the
이때 하나의 카메라로 드로워 내부영역과 더불어 또 다른 저장공간을 동시에 인식하는 것도 가능하다. 본 발명의 또 다른 실시예는 드로워가 닫힌 상태의 드로워 전면벽과 상기 저장실의 전면 개구부 사이에 상기 드로워가 열린 상태에서 적어도 일부가 중첩되는 부분인 저장실 바닥면에 별도의 수납공간(이하 저장실 바닥 수납칸)을 구성할 수 있다. 이러한 경우에는 상기 카메라(70)의 수직 화각이 드로워 완전 개방과 드로워 완전 닫힘 상태를 포함하는 촬영 범위에서도 드로워 내부 영역을 포함한 또 다른 저장공간(바닥 수납칸)을 함께 인식할 수 있도록 구성할 수도 있다.At this time, it is possible to simultaneously recognize another storage space as well as the drawer's internal area with one camera. Another embodiment of the present invention is a separate storage space on the bottom of the storage compartment (hereinafter, at least partially overlapped with the drawer in the open state) between the drawer front wall in the closed state and the front opening of the storage compartment. Storage compartment floor storage compartment) can be configured. In this case, the vertical angle of view of the
한편, 상기 카메라(70)의 수직 화각에 대한 본 발명의 또 다른 실시예는 드로워 내부 영역과 상기 선반 영역을 동시에 촬영할 수 있다. 따라서 상하로 일정 간격을 두고 배치되어 있는 복수 개의 선반들 중 어느 한 부분까지를 포함할 수 있도록 수직 화각의 타단 범위를 결정할 수 있다. 카메라 수직각이 선반영역을 포함하도록 함에 있어서, 바람직한 일례는 상기 복수 개의 선반들 중에서 가장 최상단의 선반의 일부까지를 포함하게 할 수 있으며, 더욱 바람직하게는 적어도 상기 저장실 최상단에 배치되어 있는 최상단 선반의 후단부까지를 포함하도록 하는 것이다. On the other hand, another embodiment of the present invention regarding the vertical angle of view of the
이러한 실시예들에 의하면, 하나의 카메라에 의해 드로워 내부영역을 포함한 적어도 두 개의 저장공간의 물품 보관 상태를 하나의 카메라로 촬영한 하나의 사진 으로 확인가능하게 되는 것이다.According to these embodiments, it is possible to check the storage state of articles in at least two storage spaces including the drawer inner area by one camera with one picture taken with one camera.
이를 위해 저장실 저부에 형성된 드로워에 대해 카메라의 바람직한 설치 위치가 필요한데, 본원 발명의 발명자들은 우선 본 발명의 출원 시점에 공개된 자료를 통해 개시되거나 알려 진 카메라 설치 위치에 대해서 검토를 실시하였다. 냉장고 저장실 외부의 도어 상단에 설치하여 저장실 내부를 촬영 할 수 있는지를 검토하였다. To this end, a preferred installation position of the camera is required for the drawer formed at the bottom of the storage chamber, and the inventors of the present invention first reviewed the camera installation position disclosed or known through the data published at the time of filing of the present invention. It was installed on the top of the door outside the storage compartment of the refrigerator to examine whether it was possible to photograph the interior of the storage compartment.
저장실 외부(도어)에 카메라를 설치할 경우, 카메라가 항상 외부 온도에 노출되어 있어 카메라 주변에 결로가 형성되지 않아 별도의 결로 방지 구조가 불필요하다는 장점이 있다. 그러나, 드로워 내부와 저장실 내의 저장공간에 사용자가 물품을 수납하는 작업은 항상 도어를 개방한 상태에서 이루어지기 때문에 도어에 장착되어 있는 카메라로 저장실 내부를 촬영하는 것은 곤란하였다. 특히, 본 발명의 일 취지는 드로워 외부에서 드로워의 움직임 상태 뿐만 아니라 드로워 내부의 물품 보관 상태를 얻고자 하는 것이다. 그런데 드로워에서의 사용자 작업은 항상 도어가 열린 상태이며, 도어가 닫힌 상태에서는 드로워 또한 닫혀 있는 상태가 되므로, 본 발명의 일 취지에는 전혀 부합되지 않는다. When the camera is installed outside the storage room (door), there is an advantage that a separate condensation prevention structure is unnecessary because condensation is not formed around the camera because the camera is always exposed to external temperature. However, it is difficult to photograph the inside of the storage room with a camera mounted on the door because the operation of storing items in the drawer and in the storage space in the storage room by the user is always performed with the door open. In particular, it is an object of the present invention to obtain not only the movement state of the drawer from the outside of the drawer but also the state of storage of the article inside the drawer. However, the user's work in the drawer is always in a state where the door is open, and when the door is closed, the drawer is also in a closed state, so it does not meet the spirit of the present invention.
따라서, 본 발명의 일 취지인 적어도 드로워 내부와 드로워의 움직임 상태를 촬영하기 위해서는 냉장고 고외가 아닌 고내, 즉 촬영하고자 하는 드로워가 존재하는 본체 저장실에서 상기 저장실을 촬영할 수 있도록 배치하는 것이 바람직하다.Therefore, in order to photograph at least the inside of the drawer and the movement state of the drawer, which is an object of the present invention, it is preferable to arrange the storage room so that the storage room can be photographed in the main storage room in which the drawer to be photographed exists, not outside the refrigerator. Do.
한편, 본 발명의 일 취지에 맞추어, 상기 카메라를 드로워 상부에 위치하는 선반들 중에서 어느 하나의 하부에서 카메라 방향을 본체 저장실의 개구부측을 향하도록 하여 설치할 경우, 우선 선반영역의 촬영은 불가능하고 선반에 카메라를 구동할 수 있는 구동부 설치와 배선이 곤란하며, 드로워의 이동경로를 모두 담아 내기 위해서는 광각의 카메라를 사용해야 하므로 촬영된 영상에 왜곡현상이 커지는 문제가 있을 수 있다.On the other hand, in accordance with the gist of the present invention, if the camera is installed so that the camera is directed toward the opening side of the main storage compartment from the bottom of one of the shelves located above the drawer, first, photographing of the shelf area is impossible. It is difficult to install and wire a driving unit capable of driving the camera on the shelf, and since a wide-angle camera must be used to capture all the movement paths of the drawer, there may be a problem of increasing distortion in the captured image.
본 발명의 발명자들은 드로워가 노출될 수 있는 범위에서의 저장실 측벽에 카메라를 설치할 경우 냉장고 저장실 좌우 방향으로 카메라로부터의 거리 차이로 인한 비대칭 영상 때문에 드로워 내부의 물품 보관 상태를 보이는 이미지에 왜곡이 심하다는 것을 알 수 있었다. 따라서 이러한 사용자의 만족도가 크게 떨어질 수 있음을 알 수 있었다.The inventors of the present invention believe that when a camera is installed on the side wall of the storage compartment in the range where the drawer can be exposed, distortion is caused in the image showing the storage state of the drawer because of the asymmetric image due to the difference in distance from the camera in the left and right directions of the refrigerator storage compartment. I could see that it was severe. Therefore, it was found that the satisfaction of these users could be greatly reduced.
무엇보다도 본 발명의 일 취지는 별도의 센서 없이도 드로워의 이동상태를 추적하여 드로워의 열림/닫힘 상태와 그 정도를 감지하고자 하는 것인데 상기 비대칭 영상에는 드로워 전면벽 또는 양측벽 상면에 위치한 인쇄부(Marker)가 상대적으로 확대된 상태(영상 왜곡)로 촬영될 수 있다. 따라서 하나의 이미지를 구성하는 전체 크기에 대해 상기 마커 부분이 차지하는 크기(픽셀크기)가 커져 상대적으로 위치 변경이 잘 드러나지 못할 수 있다. 또한 마커 위치의 변화 여부를 판단하기 위해 처리해야 할 범위가 커져 영상 처리 시간이 커질 수 있으므로 연속으로 전송되는 영상을 놓치거나 처리하지 못하는 경우도 발생할 수도 있다. Above all, one purpose of the present invention is to track the movement state of the drawer without a separate sensor to detect the open/closed state and the degree of the drawer. In the asymmetric image, printing located on the front wall of the drawer or on the upper surfaces of both side walls It may be photographed in a state in which the marker is relatively enlarged (image distortion). Accordingly, the size (pixel size) occupied by the marker portion with respect to the entire size constituting one image may be increased, so that the position change may not be relatively well revealed. In addition, since the range to be processed to determine whether the marker position is changed may increase, the image processing time may increase. Therefore, there may be cases in which consecutively transmitted images are missed or cannot be processed.
따라서, 본 발명의 출원 시점에 이미 알려진 저장실 측벽이나 모서리에 카메라를 설치하는 것은 본원 발명의 취지에 부합되지 못함을 알 수 있었다.Accordingly, it was found that installing a camera on a side wall or corner of a storage room known at the time of filing the present invention did not meet the spirit of the present invention.
본 발명의 일 실시예는 상기 카메라를 상기 드로워 상부 개구면에 대응되는 저장실 상부벽에 설치하되, 상기 드로워가 닫힘 상태와 상기 드로워가 완전히 개방된 상태가 투영된 상기 저장실의 상부면의 범위 내에 설치하고, 상기 카메라의 방향은 저장실의 후벽측을 향해 저장실 내부를 향하되, 상기 카메라의 초점은 저장실의 후벽면의 어느 한 지점을 향하도록 일정 각도 기울여 설치하였다. 이로써, 앞서 상술한 본 발명의 카메라의 수직각에 대한 실시예들에 대해 왜곡 현상이 최소화된 영상을 얻을 수 있었다.In one embodiment of the present invention, the camera is installed on the upper wall of the storage compartment corresponding to the upper opening surface of the drawer, and the state in which the drawer is closed and the state in which the drawer is fully open are projected on the upper surface of the storage compartment. The camera was installed within the range, and the camera was installed at a certain angle so as to face the interior of the storage compartment toward the rear wall side of the storage compartment, and the focus of the camera toward a point on the rear wall of the storage compartment. As a result, it was possible to obtain an image in which distortion is minimized for the above-described embodiments of the vertical angle of the camera of the present invention.
상기 카메라의 위치를 정함에 있어서, 본 발명의 다른 실시예는 냉장고 저장실 상부벽에 설치하되, 상기 저장실의 전면 개구부에서 상기 저장실에 상하로 배치된 선반들 중에서 최상단 선반의 전단부가 상기 저장실 상부벽에 투영되는 위치 사이에 위치시키는 것이다. 또한 상기 상기 카메라의 방향은 저장실의 후벽측을 향해 저장실 내부를 향하되, 상기 카메라의 초점은 저장실의 후벽면의 어느 한 지점을 향하도록 일정 각도 기울여 설치하는 것이다.In determining the position of the camera, another embodiment of the present invention is installed on the upper wall of the storage compartment of the refrigerator, and the front end of the uppermost shelf among the shelves arranged up and down in the storage compartment at the front opening of the storage compartment is located on the upper wall of the storage compartment. It is to place it between the projected positions. In addition, the direction of the camera is toward the rear wall side of the storage room and the inside of the storage room, and the focus of the camera is installed at a certain angle to face a point on the rear wall of the storage room.
상기 카메라는 상기 저장실 상부의 중앙부에 위치하는 것이 바람직하고, 이에 대응하도록 상기 드로워 전면벽 또는 양측벽 상면에 위치되는 인쇄부는 상기 드로워의 전면벽의 상면에 설치되는 것이 바람직하다. 더욱 바람직하게는 상기 저장실 상부면에 설치되어 있는 카메라 위치에 하방으로 대응되는 드로워 전면벽 상면 부근을 제안한다.The camera is preferably located in the center of the upper portion of the storage chamber, and to correspond thereto, the printing unit located on the drawer front wall or both side walls is preferably installed on the upper surface of the front wall of the drawer. More preferably, the vicinity of the upper surface of the drawer front wall corresponding downward to the camera position installed on the upper surface of the storage chamber is proposed.
하나의 저장실의 개구부를 한 개 이상의 도어들, 즉 좌우측 도어로 개폐하는 냉장고에 있어서는 상기 좌우측 도어의 경계가 되는 위치의 저장실 상면부(천정면)에 상기 카메라를 설치하고, 좌우 각각 존재하는 드로워일 경우 인쇄부는 좌우 경계부에 가까운 부분에 위치시킨다. 즉, 저장실 내부를 바라보는 입장에서 좌측 드로워는 전면벽 우측 상면 또는 우측 측벽 상면 끝단에, 우측 드로워는 전면벽 좌측 상면 또는 좌측 측벽 상면 끝단에 위치하는 것이 바람직하다. 다시 말하면, 카메라의 수직 하부에 근접하는 위치에 인쇄부들이 형성됨이 바람직하다. 왜냐하면, 수직 하부에서 좌우로 멀어질수록 인쇄부의 왜곡 발생 우려가 높기 때문이다. 이러한 예가 도 41b에 도시되어 있다.In a refrigerator that opens and closes the opening of one storage room with one or more doors, that is, the left and right doors, the camera is installed on the upper surface (ceiling surface) of the storage compartment at the boundary between the left and right doors, and drawers exist on the left and right respectively. In this case, the printing unit is located near the left and right borders. In other words, it is preferable that the left drawer is located at the top right or right sidewall top end of the front wall, and the right drawer is located at the top left side or left sidewall top end of the front wall. In other words, it is preferable that the printing portions are formed at a position close to the vertical bottom of the camera. This is because, as the distance from the vertical lower part to the left and right increases, the possibility of distortion of the printing unit increases. This example is shown in Fig. 41B.
이때, 상기 좌우측 드로워의 전면벽 상면 양측이나 양측면 상면 끝단에 모두 인쇄부를 설치할 경우, 좌우측 도어에 의해 개폐되는 저장실에 사용되는 드로워들은 좌우측 위치에 관계없이 공통으로 사용될 수 있어 드로워의 사용에 있어 효율성을 높일 수 있다.At this time, if printing units are installed on both the upper surface of the front wall of the left and right drawers or at the upper ends of both sides, the drawers used in the storage compartment opened and closed by the left and right doors can be used in common regardless of the position of the left and right sides. Can increase efficiency.
상술한 바와 같이 본 발명에 의한 카메라 위치와 인쇄부 위치에 따르면, 고정된 카메라의 촬영 범위 안에 드로워가 닫힌 상태에서부터 열림 상태가 될 때까지의 이동경로 모두가 포함되므로, 별도의 센서장치 없이 드로워의 개폐상태 뿐만 아니라 개폐 정도 그리고 드로워의 정지 또는 이동 까지를 감지할 수 있음과 동시에 드로워 내부의 물품의 보관상태를 하나의 카메라에 의해 감지 또는 확인할 수 있게 되는 것이다.As described above, according to the camera position and the printing unit position according to the present invention, all the movement paths from the drawer to the open state are included within the shooting range of the fixed camera. It is possible to detect not only the opening and closing state of the lower, but also the degree of opening and closing, and the stop or movement of the drawer, and at the same time, the storage state of the items inside the drawer can be detected or confirmed by a single camera.
또한, 드로워 내부영역 이외에 저장실 바닥면에 설치된 바닥 수납칸의 물품 보관 상태도 드로워가 닫힌 상태에서 확인할 수 있으므로 하나의 카메라로 복수개의 저장영역을 인식할 수 있게 되는 것이다.In addition, since the storage status of the items in the floor storage bin installed on the floor of the storage room other than the drawer inner area can be checked while the drawer is closed, a plurality of storage areas can be recognized with one camera.
*그리고, 상기 카메라의 화각이 선반영역까지 확대할 경우에는 드로워내부영역은 물론, 저장실 바닥 수납칸과 선방영역까지 하나의 카메라로 3가지 저장영역을 선택적으로 인식할 수 있게 된다.In addition, when the angle of view of the camera extends to the shelf area, three storage areas can be selectively recognized with one camera, not only the drawer interior area, but also the storage compartment at the bottom of the storage room and the front area.
한편, 저장실 상부면에 설치되어 있는 카메라와 드로워 상부에 형성 또는 부착된 인쇄부가 상하로 대략 일렬로 배열(Alignment)되어 있기 때문에, 상기 카메라로 촬영되어 전송된 고내에 대한 전체 이미지에서 인쇄부 부분의 왜곡이 거의 없으며, 인쇄부가 차지하는 공간이 상대적으로 최소화할 수 있어 이미지 처리를 통해 인쇄부의 위치를 추적하고 판단하는 시간을 최소화할 수 있게 된다.On the other hand, since the camera installed on the upper surface of the storage room and the printing parts formed or attached to the upper side of the drawer are arranged in a roughly vertical line, the printing part in the entire image of the storage room that was photographed and transmitted by the camera There is almost no distortion, and the space occupied by the printing unit can be relatively minimized, so the time to track and determine the position of the printing unit through image processing can be minimized.
이하 드로워에 형성된 마커 추적 인식 방법에 대해 설명한다.Hereinafter, a method of recognizing a marker trace formed on a drawer will be described.
카메라에 노출되는 드로워 몸체의 특정 부분에 영상 판독에 의해 인식할 수 있는 인쇄부(marker 또는 Printing paper)를 설치할 수 있다. 상기 Marker부의 위치를 추적하여 드로워의 열림/닫힘 정도, 열림과 닫힘 상태를 감지할 수 있다. 상기 Marker부가 상기 드로워의 이동경로 상에서 닫힘 위치에서 완전 개방 위치까지 카메라에 노출될 수 있도록 구성하여, 상기 Marker부의 위치에 의해서 드로워의 개폐 상태를 판단할 수 있다. 즉 연속 촬영되는 사진들 내에서 마커의 위치 변화를 통해서, 드로워의 다양한 상태 정보를 판단할 수 있다.A printing unit (marker or printing paper) that can be recognized by reading an image may be installed on a specific part of the drawer body exposed to the camera. By tracking the position of the marker unit, the degree of opening/closing of the drawer and the opening and closing state of the drawer may be detected. The marker unit is configured to be exposed to the camera from the closed position to the fully open position on the movement path of the drawer, and the open/close state of the drawer may be determined based on the position of the marker unit. That is, it is possible to determine various state information of the drawer through the change in the position of the marker in the continuously photographed pictures.
인쇄부(Marker) 구조는 상술한 바와 같이 드로워의 이동상황 또는 개폐상태를 추적하여 인식하기 위하여 특정 형태의 무늬로 이루어질 수 있다. 이때 인쇄부는 카메라에 노출된 드로워 상부면의 다양한 위치에 배치될 수 있다.As described above, the structure of the Marker may be formed of a specific pattern in order to track and recognize the movement status or opening/closing status of the drawer. In this case, the printing unit may be disposed at various positions on the upper surface of the drawer exposed to the camera.
상기 인쇄부는 드로워의 전면벽 상단이나 드로워의 양측벽의 상단에서 드로워의 최대 열림 부분의 경계가 될 수 있는 부분에 설치되는 것이 바람직하다.It is preferable that the printing unit be installed at the top of the front wall of the drawer or at the top of both side walls of the drawer at a portion that can be a boundary between the maximum open portion of the drawer.
상기 인쇄부의 무늬 형태는 일정 크기의 일정 모양을 갖는 무늬가 서로 대비되는 색으로 반복되어 이루어진 패턴으로 형성되는 것이 가능하며, 상기 모양은 사각형, 삼각형, 원형, 물결형상 등 다양한 형태로 이루어질 수 있다.The pattern shape of the printing unit may be formed as a pattern in which patterns having a predetermined shape of a predetermined size are repeated in a contrasting color, and the shape may be formed in various shapes such as a square, a triangle, a circle, and a wave shape.
이러한 인쇄부는 냉장고의 전체적인 미감을 떨어지게 할 수 있는 우려가 있을 수 있어 사용자에 따라 거부감을 가질 수 있다. 따라서, 사용자가 느끼는 미감에 거부감이 없도록 패턴의 반복을 최소화할 필요가 있고 나아가서는 사용자에게 미감을 어필할 수 있는 형태의 인쇄부를 고려할 수 있다.Such a printing unit may have a fear of deteriorating the overall aesthetics of the refrigerator, and thus may have a sense of rejection depending on the user. Therefore, it is necessary to minimize the repetition of the pattern so that there is no objection to the aesthetic sense that the user feels, and furthermore, a printing unit in a form that can appeal to the user can be considered.
그러나, 이러한 디자인적 측면의 제한은 단순히 디자인 문제로 국한되는 것이 아니고, 드로워의 위치를 정확히 인식 못하게 되는 경우를 발생하게 된다. 즉, 드로워의 인쇄부의 인식률에 영향을 주게 되어 궁극적으로는 드로워의 위치를 정확히 감지하지 못하게 되는 결과를 초래할 수 있게 된다.However, the limitation of the design aspect is not limited to a simple design problem, and there are cases in which the position of the drawer cannot be accurately recognized. That is, it affects the recognition rate of the print unit of the drawer, and ultimately, the position of the drawer cannot be accurately detected.
즉, 인쇄부의 크기를 대폭 줄여야 하는 디자인적 요소를 감안하면, 일정한 형상의 무늬로 대비되는 색을 가지고 수차례 반복하지 못하고, 2회~4회 정도만 반복하는 정도를 선택할 수 있다. 이러한 경우에는 고내를 촬영한 영상을 처리하는 제어부가 전체 이미지에서 인쇄부(마커)의 경계를 정확히 인식하지 못하게 될 수 있다.That is, in consideration of the design factor requiring a large reduction in the size of the printing unit, it is possible to select a degree of repeating only two to four times, not repeating several times with a contrasting color with a pattern of a certain shape. In this case, the control unit processing the image photographed inside the container may not accurately recognize the boundary of the printing unit (marker) in the entire image.
따라서, 이러한 문제점을 해결하기 위한 본 발명의 바람직한 실시예에 따르면, 통상 드로워는 밝은 색이나 투명 또는 반투명으로 이루어지므로 이에 대비되는 색을 선정하는 것이 가능하다. 도 41a를 참조하면, 그리고 드로워의 이동방향(전후 진행)에 대해 수직 방향의 길이(L1)가 드로워 이동방향의 길이(L2)보다 길게 설정할 수 있다. 그리고 수직 방향으로 일정 길이를 가지는 제1색상부를 형성하되, 상기 드로워 진행방향에 대해 상기 제1색상부 전방 또는 후방에 대략 동일 두께로 상기 제1색상부와 대비되는 색 또는 드로워와 동일한 색상으로 이루어진 제2색상부를 형성하고, 연속적으로 상기 제1색상부와 동일한 색으로 대략 동일한 두께로 동일 길이로 반복 형성한다. 즉 제1색상부와 제2색상부를 서로 순차적으로 배치하는 것이 가능하다. 이때, 제1색상부, 제2색상부, 제1색상부로 배치된 마커의 외곽 사이즈에서 드로워 방향의 길이(L2)보다 수직 방향의 길이(L1)가 더 크게 하는 것이 더 바람직하다.Accordingly, according to a preferred embodiment of the present invention for solving such a problem, since the drawer is usually made of a bright color, transparent or translucent, it is possible to select a color contrasting thereto. Referring to FIG. 41A, the length L1 in the vertical direction with respect to the movement direction (forward and backward) of the drawer may be set to be longer than the length L2 in the drawer movement direction. In addition, a first color part having a predetermined length is formed in a vertical direction, and a color contrasting with the first color part or the same color as the drawer with approximately the same thickness in front or rear of the first color part with respect to the direction in which the drawer proceeds. A second color part made of is formed, and it is continuously repeatedly formed with the same color as the first color part with substantially the same thickness and the same length. That is, it is possible to sequentially arrange the first color part and the second color part with each other. In this case, it is more preferable that the length L1 in the vertical direction is larger than the length L2 in the drawer direction in the outer sizes of the markers arranged as the first color part, the second color part, and the first color part.
본 발명의 또 다른 마커 형태에 의하면, 도 41b에서와 같이 상기 전후단의 제1색상부의 양끝단이 서로 연결되어 상기 제2색상부를 감싸는 형태도 가능하다. 앞에서 보이는 마커 형태의 제3실시예는 바로 이러한 구조를 보이는 예가 될 수 있다.According to another marker form of the present invention, as shown in FIG. 41B, both ends of the first color part at the front and rear ends may be connected to each other to surround the second color part. The third embodiment of the marker type shown above can be an example showing this structure.
즉, 본 발명에서 제시하는 바람직한 마커의 실시예는 드로워 이동방향에 대해 수직방향의 길이(L1)가 드로워 이동방향의 길이(L2)보다 크게 형성하되, 드로워와 경계되는 부분(특히 드로워 진행방향에 대해)에 드로워와 대비되는 색(어두운 색)을 형성시키고, 그 가운데는 어두운 색에 대비되는 밝은 색 부분을 포함하도록 하는 것이다.That is, the preferred embodiment of the marker presented in the present invention is that the length (L1) in the vertical direction with respect to the drawer movement direction is formed larger than the length (L2) in the drawer movement direction, but the portion bordering the drawer (especially For the direction of progression of the lower), a color contrasting with the drawer (dark color) is formed, and the center of which contains a light color part that contrasts with the dark color.
이렇게 인쇄부를 구성하면, 작은 크기로 구성할 수 있기 때문에 사용자의 미감에 대한 요구사항을 충족시킬 수 있을 뿐만 아니라 카메라로 촬영된 하나의 전체 이미지에서 인쇄부 부분의 크기가 상대적으로 작게 된다. 따라서 인쇄부의 위치 변화를 감지하기 위한 영상 처리 영역이 그만큼 작아져 영상 처리 속도를 향상시킬 수 있게 된다. 이는 연속으로 촬영되어 전송되는 영상 촬영 속도에 제어부의 영상 처리속도가 부합하는데 유리하게 작용되어, 정확한 시점에 영상을 획득하는 정확성이 더욱 향상되게 된다. 일례로, 연속 촬영되는 사진들에서 처리되어야 하는 부분의 크기가 크다면 제어부의 부하가 많이 걸린다. 따라서, 매우 고가의 제어부를 사용하여야 한다. 그러나, 처리되어야 하는 부분의 크기가 작다면, 제어부의 부하를 줄일 수 있다. 따라서, 저가의 제어부를 사용하더라도 효과적으로 영상을 처리할 수 있게 된다.When the printing unit is configured in this way, since the printing unit can be configured in a small size, it is possible to meet the requirements of the user's aesthetic sense, and the size of the printing unit part is relatively small in the entire image captured by the camera. Accordingly, the image processing area for detecting the position change of the printing unit is reduced by that amount, so that the image processing speed can be improved. This is advantageous in that the image processing speed of the control unit matches the image capturing speed that is continuously photographed and transmitted, so that the accuracy of obtaining an image at an accurate time point is further improved. For example, if the size of a portion to be processed in consecutive photographs is large, the load on the controller is high. Therefore, it is necessary to use a very expensive control unit. However, if the size of the portion to be processed is small, the load on the control unit can be reduced. Therefore, even if an inexpensive control unit is used, an image can be effectively processed.
한편, 도 41b에 도시된 바와 같이, 마커를 보고 사용자가 직관적으로 이의 용도를 파악할 수 있도록 상기 마커는 문자, 기호 또는 문양을 포함함이 바람직할 것이다. Meanwhile, as shown in FIG. 41B, it is preferable that the marker includes a character, a symbol, or a pattern so that the user can intuitively grasp the purpose of the marker by looking at the marker.
이하 드로워의 마커 좌표 인식과 카메라 영상 처리 방법에 대해 설명한다.Hereinafter, a method of recognizing marker coordinates of a drawer and processing a camera image will be described.
도 42는 마커 위치 인식 방법을 설명한 도면이다. 이하 도 42를 참조해서 드로워의 마커 위치 인식 방법에 대해 설명한다. 42 is a diagram illustrating a method of recognizing a marker position. Hereinafter, a method of recognizing a marker position of a drawer will be described with reference to FIG. 42.
사용자가 드로워 내부에 물품을 새로이 수납(입고)하거나 출고하고자 할때, 사용자는 먼저 도어를 오픈하게 된다. 도어가 저장실의 전면에서 분리되면 도어 스위치가 감지하고, 제어부는 상기 도어 스위치의 신호를 받아 고내에 설치되어 있는 대기 중에 있는 카메라를 구동하게 된다. 제어부의 구동명령을 받은 카메라는 대기전압 상태가 아닌 카메라 구동 전압을 인가하면, 카메라를 구동 준비를 마치고 연속 촬영을 개시하게 된다.When a user wants to newly store (stock) or release an item inside the drawer, the user first opens the door. When the door is separated from the front of the storage room, the door switch detects it, and the control unit drives the camera in standby installed in the storage room by receiving a signal from the door switch. When the camera receiving the driving command from the controller applies a camera driving voltage other than the standby voltage, the camera is ready to be driven and continuous shooting is started.
사용자는 이어서 냉장고 저장실에 장착되어 있는 드로워의 전면벽의 손잡이를 잡고 드로워을 잡아 당겨 드로워를 개방하려 할 것이다. 이때, 상기 카메라는 연속 촬영을 하고 있으므로 드로워의 열림 상태를 일정 간격으로 촬영하여 상기 제어부로 영상을 보내게 된다.The user will then try to open the drawer by holding the handle on the front wall of the drawer installed in the refrigerator storage compartment and pulling the drawer. At this time, since the camera is continuously photographing, the open state of the drawer is photographed at regular intervals and an image is transmitted to the controller.
한편, 상기 드로워의 일 부분 중에서 상기 카메라에 노출되는 부위에는 일정 형태의 마커가 형성되어 있으며, 상기 카메라에서 보내진 영상을 받은 제어부는 전체 이미지를 일정 픽셀로 나누어 일정한 간격으로 좌표값을 부여하고, 상기 이미지의 좌표상에 상기 마커의 좌표를 분석하게 된다.On the other hand, a marker of a certain shape is formed on a part of the drawer exposed to the camera, and the controller receiving the image sent from the camera divides the entire image into certain pixels and assigns coordinate values at certain intervals, The coordinates of the marker are analyzed on the coordinates of the image.
따라서, 드로워가 닫힌 상태에서 촬영된 영상이 제어부로 보내지면, 해당 이미지 마커 부분이 노출되지 않게 될 것이고, 이때의 마커 좌표는 0의 좌표를 갖게 되는 것이다. Therefore, when an image captured while the drawer is closed is sent to the control unit, the corresponding image marker portion will not be exposed, and the marker coordinate at this time will have a coordinate of 0.
사용자가 닫힌 상태의 드로워를 열게 되면 마커가 노출된 상태에서 카메라가 촬영하게 되고, 카메라는 마커가 포함된 사진을 촬영할 수 있다. 이 영상이 제어부로 보내지면 제어부는 전체 이미지 상에서 마커의 좌표값을 인식하고 이전 위치와 비교하게 된다. 예를 들어 도 42의 'A' 지점은 마커의 좌표값이 '0'에서 일정 좌표값 예로써 '50'으로 바뀌게 되면, 제어부를 좌표값이 변경된 것으로부터 드로워가 이동하고 있는 것으로 판단할 수 있다. 특히, '0'에서 변화 되었을 경우에는 드로워가 이제 막 열리기 시작한 것으로 판단할 수 있다.When the user opens the drawer in the closed state, the camera takes a picture while the marker is exposed, and the camera can take a picture including the marker. When this image is sent to the controller, the controller recognizes the coordinate value of the marker on the entire image and compares it with the previous position. For example, at point'A' of FIG. 42, when the coordinate value of the marker changes from '0' to '50' as a certain coordinate value, for example, the control unit can determine that the drawer is moving from the change in the coordinate value. have. In particular, if it changes from '0', it can be judged that the drawer has just begun to open.
사용자가 계속해서 드로워를 개방하면, 제어부는 상기와 같이 일련의 과정을 거쳐 드로워가 이동하고 있으며, 좌표값이 더 큰 값으로 변하는 것으로부터 드로워가 열리고 있다는 것으로 판단할 수 있다.If the user continues to open the drawer, the controller may determine that the drawer is being opened because the drawer is moving through a series of processes as described above, and the coordinate value changes to a larger value.
사용자가 드로워를 완전 개방된 상태까지 열게 되면, 제어부는 좌표값이 더 이상 변화가 없음을 인식하고 드로워가 완전 개방되었거나, 또는 드로워가 열려 정지되어 있다고 판단하게 된다. 예를 들어, 도 42의 'B'의 지점은 마커의 좌표값이 '90'에서 '90'으로 변하지 않은 지점이므로 '드로워가 정지된 상태'로 인식하거나 '드로워가 완전히 개방 상태'로 판단할 수 있다. When the user opens the drawer to the fully open state, the control unit recognizes that the coordinate value is no longer changed and determines that the drawer is completely open or that the drawer is open and stopped. For example, the point'B' in FIG. 42 is a point where the coordinate value of the marker has not changed from '90' to '90', so it is recognized as'the drawer is stopped' or'the drawer is completely open'. I can judge.
통상 드로워가 열린 후에, 완전 개방되었거나 일부 개방되었거나 상관없이, 정지된 상태가 되면 사용자가 드로워에 대해 어떤 작업을 행하고 있는 것으로 판단할 수 있다. 이렇게 드로워가 정지된 상태에서도 카메라는 계속해서 고내 영상을 촬영하여 제어부에 보내고 제어부는 마커의 좌표에 변화가 있는지를 감시하게 된다. Normally, after the drawer is opened, whether it is completely open or partially opened, when the drawer is in a stopped state, it can be determined that the user is doing some work on the drawer. Even when the drawer is stopped in this way, the camera continuously captures the image of the interior and sends it to the control unit, and the control unit monitors whether there is a change in the coordinates of the marker.
사용자가 드로워에 물품을 입고하거나 드로워로부터 물품을 빼내는 행위가 완료되면, 사용자는 다시 드로워를 닫게 되고, 이때 카메라에 촬영된 영상으로부터 제어부에서 전체 이미지에 대한 마커 좌표값이 변동된 것을 확인하게 되어 드로워가 다시 움직이고 있다고 판단한다. 예를 들어, 도 42의 'C' 지점은 마커의 좌표값이 '90'에서 '70'으로 변화되는 지점이고 좌표값의 크기가 축소되는 방향으로 변화 된 것으로부터 드로워가 이제 막 닫히기 시작한 것으로 사용자가 드로워에 대해 작업을 완료한 직후라고 판단할 수 있게 된다.When the user puts the item into the drawer or removes the item from the drawer, the user closes the drawer again, and the control unit confirms that the marker coordinate value for the entire image has changed from the image captured by the camera. It is determined that the drawer is moving again. For example, point'C' in FIG. 42 is a point where the coordinate value of the marker changes from '90' to '70', and the drawer has just started to close from the change in the direction in which the size of the coordinate value is reduced. It can be determined that the user is just after completing the work on the drawer.
동일한 방법으로 마커의 좌표값이 '0', 즉 마커가 이미지로부터 인식되지 않게 되면, 드로워가 완전히 닫힌 상태가 되었다고 판단하게 된다.In the same way, when the coordinate value of the marker is '0', that is, the marker is not recognized from the image, it is determined that the drawer is completely closed.
카메라가 촬영한 영상으로부터 제어부가 한 개의 전체 사진의 좌표에 의해 마커 위치를 파악하여, 드로워의 이동과 정지상태, 드로워의 닫힘과 열림, 드로워의 개방 정도, 드로워가 열리기 시작하는지, 드로워가 닫히기 시작하는 지등에 대해 추적하고 판단하는 방법을 설명하였다.From the image captured by the camera, the control unit determines the marker position based on the coordinates of one whole picture, and the drawer moves and stops, the drawer closes and opens, the degree of opening the drawer, and whether the drawer starts to open. Explained how to track and judge whether the drawer starts to close.
이하, 드로워의 마커 위치에 따른 카메라 영상 처리 및 원하는 영상 획득 방법에 대해서 설명한다. 상기 드로워의 이동 상태로부터 드로워의 내부 영상을 어떻게 처리하고 획득하는가에 대한 구체적인 방법, 특히 사용자가 드로워에 대한 작업을 마무리한 직후라고 판단되는 시점의 영상을 얻는 방법에 대해 설명한다.Hereinafter, a method of processing a camera image according to a marker position of a drawer and a method of obtaining a desired image will be described. A detailed method of how to process and acquire an internal image of a drawer from the movement state of the drawer, in particular, a method of obtaining an image at a point in time that is determined to be immediately after the user finishes the work on the drawer.
드로워의 마커 좌표가 '0'에 그 이상으로 변하여 드로워가 열리는 방향으로 이동하는 과정이라고 판단될 때에는 카메라에서 촬영되어 제어부로 보내진 고내 영상에 대해 제어부는 좌표 변화만을 감지하고, 상기 전체 사진을 임시 버퍼에서 버퍼링하고 사진에 구획된 각 저장 영역에 대해 아무런 처리를 하지 않는다.When it is determined that the drawer's marker coordinate changes to '0' and moves in the direction in which the drawer is opened, the controller detects only the change in coordinates for the image in the room that is captured by the camera and sent to the controller, and takes the entire picture. It buffers in a temporary buffer and does nothing for each storage area partitioned in the photo.
드로워가 계속 열려 완전 개방상태에 이르거나 일정 정도 개방되어 정지상태가 되면, 사용자가 드로워에 대해 작업을 행하는 상황이 진행된다. 상기 제어부는 마커의 좌표가 변화없다는 것으로부터 이러한 상태를 판단하게 되고, 이때부터 전송되는 영상에 대해 전체 이미지에서 각각 구획된 저장영역에서 드로워영역에 해당되는 이미지를 드로워 임시 버퍼로 이동하여 저장한다. 즉, 상기 그림에서 'D'지점에 해당되는 구간에서는 제어부는 고내 전체 사진 중 드로워 영역으로 구획된 부분에서 필요한 부분을 잘라내어 드로워 영역에 대한 임시 버퍼로 이동시키는데 이를 '드로워 내부 영상 refresh 구간'이라고 정의한다. When the drawer is continuously opened to reach a fully open state or is opened to a certain degree and is stopped, a situation in which the user works on the drawer proceeds. The control unit determines this state from the fact that the coordinates of the marker have not changed, and from this time on, for the transmitted image, draw an image corresponding to the draw area from each partitioned storage area in the entire image and move it to a temporary buffer and store it. do. In other words, in the section corresponding to point'D' in the above figure, the control unit cuts out the necessary part from the portion of the whole room divided by the drawer area and moves it to the temporary buffer for the drawer area. It is defined as'.
다시 말해, 드로워가 열리고 있는 구간과 드로워가 정지 상태에 있는 구간에서의 이미지 처리 방법이 다르다는 것이다. 그 이유는 사용자의 드로워에 대한 작업 행위는 드로워가 정지 상태에서 이루어질 것임을 반영했기 때문이다. 이로 인해 드로워가 이동하는 구간에서는 좌표 변화를 추적하기 위한 영상 처리 시간이 그만큼 빨라 질 수 있게 되어 데이터 처리의 효율성을 기할 수 있다.In other words, the image processing method is different in the section in which the drawer is open and the section in which the drawer is stationary. The reason is that the user's work on the drawer reflects that the drawer will be stopped. As a result, in the section in which the drawer moves, the image processing time for tracking the change in coordinates can be accelerated by that much, thereby increasing the efficiency of data processing.
한편, 드로워가 정지 상태에서 다시 닫히기 시작하면, 제어부는 좌표값이 더 작은 값으로 변화하는 것으로부터 사용자가 작업을 완료한 직후라고 판단하고, 그 시점에서 상기 드로워 내부 영상에 대한 임시 버퍼에서 임시적으로 버퍼링되고 있는 이미지 중에서 가장 최근 이미지를 선택하여 저장하게 된다. 즉, 사용자가 작업을 완료한 직후의 드로워 내부 영역의 이미지를 캡처하게 된다. On the other hand, when the drawer starts to close again from the stop state, the control unit determines that the coordinate value changes to a smaller value, so that it is immediately after the user has completed the task, and at that point, in the temporary buffer for the drawer internal image. Among the temporarily buffered images, the most recent image is selected and stored. That is, the image of the inner area of the drawer is captured immediately after the user completes the work.
이렇게 캡처(저장)된 가장 최신의 드로워영역의 물품 보관 상태에 대한 이미지는 제어부에 온라인 또는 직접 연결되어 있는 디스플레이의 해당 영역의 이미지를 교체하거나, 네트웍 서버로 전송하게 된다. 그리고, 상기 네트웍 서버로 전송되어 저장되어 있는 최신 이미지를 사용자가 원할 때 수시로 냉장고에 설치되어 있는 디스플레이 또는 상기 네트웍 서버와 연결되는 모바일 단말기를 통해 확인할 수 있게 제공된다.The image of the storage state of the most recent drawer area captured (stored) in this way replaces the image of the corresponding area of the display that is online or directly connected to the control unit, or is transmitted to the network server. In addition, the latest image transmitted to and stored in the network server is provided so that the user can check the latest image through a display installed in a refrigerator or a mobile terminal connected to the network server whenever desired.
다음으로, 드로워가 촬영된 사진 전체에 대해 마커의 위치를 검색하는 것이 아니라, 특정 구간을 선택해서 마커의 위치를 검색하는 방법에 대해서 설명한다. Next, a description will be given of a method of searching for the position of the marker by selecting a specific section, rather than searching the position of the marker for the entire picture taken by the drawer.
즉 드로워 영역에 대한 검색 범위(Search Range)를 설정하는 것이 가능하다. 드로워의 이동경로 상에서 드로워의 개방 정도를 구간별로 구분하여 각 구간에서 마커를 추적하는 방법을 달리할 수 있다. 이에 의해서 카메라에서 촬영되어 전송된 사진의 처리(분석) 시간을 단축시켜, 영상 처리 속도와 카메라 촬영 속도와 맞추는 것이 가능하다.That is, it is possible to set the search range for the drawer area. A method of tracking a marker in each section can be different by dividing the degree of opening of the drawer by section on the movement path of the drawer. Accordingly, it is possible to shorten the processing (analysis) time of a picture taken and transmitted by the camera, and match the image processing speed and the camera shooting speed.
일반적으로 냉장고에 사용 중인 드로워는 드로워를 완전히 개방한 상태라 하더라도 저장실로부터 드로워가 분리되어 외부로 떨어져 나갈 정도로 드로워의 전체가 인출되지 못한다. 즉 드로워가 통상적으로 인출 가능한 거리, 통상 개방 거리는 드로워 전체 깊이(드로워 이동방향에 대한 드로워 전후 길이)의 약 50% 정도가 인출되게 되는 것이 일반적이다.In general, drawers used in refrigerators cannot be fully withdrawn so that the drawers are separated from the storage compartment and fall to the outside even if the drawers are completely opened. In other words, the drawer is usually drawn out about 50% of the total depth of the drawer (the length before and after the drawer with respect to the drawer moving direction).
상기 드로워 인출거리는 제어부가 처리하는 전체 이미지에서 드로워 마커의 좌표를 부여해야 하는 영역으로 결정될 수 있다. 이 경우 제어부에서는 드로워가 인출되는 시점부터 드로워의 위치를 파악할 수 있다. 특히 드로워의 마커 좌표의 변화를 감지하기 위해서 상기 제어부가 상기 드로워 인출거리에 해당되는 크기가 처리해야 하는 데이터 크기가 된다. 또한, 좌표의 변화를 감지하기 위하여 제어부는 2개의 영상을 동시에 비교해서 판단해야 하고, 이러한 과정의 처리 시간은 상기 카메라에서 촬영하는 속도에 대응할 수 있어야 하는 부담이 발생될 수 있다.The drawer withdrawal distance may be determined as an area to which coordinates of a drawer marker should be assigned in the entire image processed by the controller. In this case, the control unit can determine the position of the drawer from the point at which the drawer is withdrawn. In particular, in order to detect a change in the marker coordinates of the drawer, the size corresponding to the drawer withdrawal distance by the control unit becomes the data size to be processed. In addition, in order to detect a change in coordinates, the control unit must compare two images at the same time and determine, and the processing time of this process may cause a burden to be able to correspond to the speed at which the camera shoots.
상기 카메라에서 고내를 촬영하는 속도(사진을 촬영하는 시간 간격)는 제어부가 전송된 영상으로부터 판단하고 처리하는 속도와 대략 매칭되도록 카메라의 촬영 속도가 결정하는 것이 바람직하다. It is preferable that the camera's shooting speed is determined so that the speed at which the camera shoots the inside of the room (the time interval at which a photo is taken) is approximately matched with the speed at which the controller determines and processes the transmitted image.
이런 방식을 따르게 되면 카메라에서 촬영된 사진에 대해서 지체없이 마커의 위치를 파악하고, 결국 드로워의 위치를 판단할 수 있다. 그리고 제어부가 고내에 대한 전체 사진에서 각 저장공간 별로 구획되어 있는 영역별 이미지를 처리하면서, 상기 카메라에서 연속으로 보내오는 새로운 영상을 이미지화하여 처리하는데는 무리가 없게 된다. 즉, 전체 이미지로부터 도어가 열림 상태인지 드로워가 열림상태인지에 따라 해당 영역별 이미지를 잘라 각 영역별 임시 버퍼로 이동하는 등의 처리를 하는데 카메라에서 찰영한 모든 영상에 대해 놓치지 않고 처리가 가능하게 되는 것이다.If this method is followed, the position of the marker can be determined without delay with respect to the picture taken by the camera, and eventually the position of the drawer can be determined. In addition, it is not unreasonable for the controller to image and process new images continuously sent from the camera while processing the images for each area divided for each storage space from the entire picture of the interior. In other words, depending on whether the door is open or the drawer is open from the entire image, the image for each area is cut and moved to a temporary buffer for each area, but all images captured by the camera can be processed without missing. It is done.
그러나, 위에서 설명한 크기만큼의 두 개의 이미지(이전 이미지와 현재 이미지)에 대한 데이터를 처리해야 하므로 제어부의 처리 능력이 커져야 하므로, 이런 조건에 맞추어 제어부의 처리용량을 키우면 프로세서 단가가 급격히 상승하게 될 수 있다. 또한 드로워가 열리지 않았을 때의 이미지 처리를 위해서는 처리 능력이 지나치게 크게 되어 효율적인 부품 선택이 이루어지지 않게 되는 문제가 발생하게 된다. However, since data for two images (previous image and current image) of the size described above must be processed, the processing power of the control unit must be increased. Therefore, increasing the processing capacity of the control unit in accordance with these conditions can lead to a rapid increase in processor cost. have. In addition, for image processing when the drawer is not opened, the processing power is excessively increased, which causes a problem in that efficient component selection is not made.
이러한 문제를 해결하기 위해 본 발명의 발명자들은 드로워의 인출거리가 완전 개방이 아닐 경우, 즉 일정 거리만큼 드로워가 개방된 상태에서는 드로워 내부를 충분히 파악하는데 실질적으로 어렵다는 점에서 착안하여, 상기 드로워의 인출 거리에 따라 드로워 영역에 해당되는 이미지를 단계별로 분리하여 데이터 처리를 달리하는 방법을 제공한다.In order to solve this problem, the inventors of the present invention focused on the fact that it is practically difficult to sufficiently grasp the inside of the drawer when the drawer withdrawal distance is not completely open, that is, when the drawer is opened by a certain distance. It provides a method of differently processing data by separating the image corresponding to the drawer area in stages according to the draw distance of the drawer.
도 43은 드로워가 개방된 정도를 도시한 것이다. 도 43a는 드로워가 최대로 개방된 상태, 즉 드로워 전체 길이의 약 50%가 개방된 것이고, 도 43b는 드로워가 전체 길이의 약 30%가 개방된 것이며, 도 43c는 드로워가 전체 길이의 약 10%가 개방된 상태이다. 43 shows the degree to which the drawer is opened. 43A shows the drawer is opened to the maximum, that is, about 50% of the total length of the drawer is open, and FIG. 43B shows that the drawer is opened at about 30% of the total length. About 10% of its length is open.
예를 들어 도 43c에서와 같이 사용자가 드로워를 드로워 전체 전후방향 길이에 대해 약 10% 정도만을 개방한 상태에서는 드로워 내부에 보관 되어 있는 물품을 충분히 파악할 수 없는 정도가 되며, 도 43b약 30% 정도를 개방했을 때 비로소 드로워 내부의 물품 보관 상태를 어느 정도 파악할 수 있게 되어, 이러한 상태는 드로워가 열린 상태로 인식할 정도가 되는 것이다.For example, as shown in FIG. 43C, when the user draws the drawer and opens only about 10% of the total length in the front and rear direction, the item stored inside the drawer cannot be sufficiently grasped. When the drawer is opened about 30%, it becomes possible to grasp the storage state of the items inside the drawer to some extent, and this state is enough to recognize the drawer as an open state.
도 43a와 같이 드로워가 최대 개방이 될 때는 전체의 약 50% 정도가 인출이 되는데 이때는 완전 개방 상태로 드로워 내부의 물품을 충분히 파악할 수 있게 된다. 다시 말해서, 상기 약 30% ~ 50% 정도의 열림 상태가 되어야 사용자가 드로워에 대해 물품을 수납 또는 반출 작업이 가능한 정도가 되는 것으로 이러한 구간을 드로워가 실질적으로 열린 상태로 볼 수 있는 것이다.As shown in FIG. 43A, when the drawer is opened to the maximum, about 50% of the entire drawer is withdrawn. In this case, it is possible to sufficiently grasp the items inside the drawer in a completely open state. In other words, when the drawer is in an open state of about 30% to 50%, the user can store or take out the item for the drawer. This section can be viewed as a substantially open state.
이러한 점에서 착안하여, 상기 드로워 인출거리가 30% 이내는 '드로워가 열리지 않은 상태'로 판단하고, 30% 이상은 '드로워가 열린 상태'로 구분하여 영상 처리를 다르게 함으로써, 제어부가 처리해야 할 데이터 로드를 대폭 감소시킬 수 있다. In view of this, if the drawer withdrawal distance is less than 30%, it is determined as'the drawer is not open', and if more than 30% is classified as'the drawer is open', the image processing is different, so that the controller It can drastically reduce the data load that needs to be processed.
제어부는 카메라가 촬영한 영상을 이미지화 하여 드로워 이동 궤적에 해당되는 이미지 크기를 정하고, 상기 정해진 드로워 이동 영역에서 상기 드로워가 약 30% 정도 인출되는 시점 또는 거리까지의 픽셀 크기를 정하여 이미지 구간을 구획한다. The control unit converts the image captured by the camera to determine the image size corresponding to the drawer movement trajectory, and determines the pixel size from the predetermined drawer movement area to the point or distance at which the drawer is drawn by about 30%. Compartment.
즉 도 43a부터 도 43b에 해당하는 범위까지 드로워가 인출되었을 때에 제어부에서는 마커의 좌표의 이동을 판단할 수 있다. 이 경우 도 43a부터 도 43c에 해당하는 범위까지 마커의 좌표의 이동을 판단하는 경우에 비해서 필요로 하는 제어부의 부하가 줄어들게 된다.That is, when the drawer is drawn in the range corresponding to FIGS. 43A to 43B, the controller may determine the movement of the coordinates of the marker. In this case, compared to the case of determining the movement of the coordinates of the marker in the range corresponding to FIGS. 43A to 43C, the load on the control unit required is reduced.
드로워가 닫힌 상태에서 30% 인출되는 구간에서는 마커의 위치가 30%에 해당되는 거리 만큼의 픽셀의 위치에 도달했는지 여부만을 판단한다. 다시 말해 이전 사진의 마커 좌표와 현재 사진의 마커 좌표를 비교(마커의 위치 변화를 판단하기 위한 전제 조건)는 수행하지 않고 단순히 마커의 위치가 일정 픽셀 범위 내에 있는지만을 판단하고 전체 이미지를 임시 버퍼링하게 된다. In the section in which the drawer is closed by 30%, it is determined only whether the position of the marker reaches the position of the pixel by the distance corresponding to 30%. In other words, it does not compare the marker coordinates of the previous photo and the marker coordinates of the current photo (a prerequisite for determining the position change of the marker), but simply determines whether the marker position is within a certain pixel range, and temporarily buffers the entire image. Is done.
이는 상기 구간에서는 두 개의 사진 데이터를 비교하는 처리할 필요가 없이 하나의 사진 데이터만을 처리하기 때문에 제어부의 데이터 처리 능력이 커야 할 필요가 없으며, 카메라 촬영 속도에 원할 하게 대응할 수 있게 된다.In this section, since there is no need to compare two photo data and only one photo data is processed, the data processing capability of the controller does not need to be large, and it is possible to smoothly respond to the camera shooting speed.
한편, 상기 드로워가 30% 수준을 넘어서 그 이상 열렸을 경우, 즉 제어부가 처리하는 사진에서 마커가 특정 픽셀 이상의 위치에 도달되었을 때부터는 드로워의 정지 상태를 판단하기 위해 두 개의 사진(직전에 촬영된 사진과 그 이후에 촬영된 사진)을 비교하는 것에 의해서 마커의 좌표값을 판단할 수 있다. On the other hand, when the drawer exceeds 30% level and is opened more than that, i.e., when the marker reaches a position of a specific pixel or more in the picture processed by the control unit, two pictures (right before taken) to determine the drawer's stop status. It is possible to determine the coordinate value of the marker by comparing the picture taken with the picture taken after that.
이렇게 검색 구간을 한정하면, 검색 구간을 한정하지 않은 것에 비해서 사진의 크기가 약 2/5 크기 수준이 된다. 나아가 처리되어야 할 두 개의 사진에 해당되는 사진의 크기가 그렇지 않은 경우의 한 장의 사진에 비해서도 약 4/5 수준이 되기 때문에, 제어부에서 처리해야 하는 데이터는 한 장의 전체 사진에 비해서 작아지거나 실질적으로 동일한 수준이 될 수 있다. When the search section is limited in this way, the size of the picture is about 2/5 of the size of the picture, compared to that of not limiting the search section. Furthermore, since the size of the picture corresponding to the two pictures to be processed is about 4/5 of the size of the other picture, the data to be processed by the control unit is smaller than or substantially the same as the whole picture. Level can be.
따라서, 두 개의 사진의 좌표 변화값을 추적하기 위한 데이터 처리 속도가 카메라가 촬영하는 속도에 대응할 수 있게 되므로 카메라에서 촬영되는 영상 모두에 대해 놓치지 않고 데이터 처리(좌표 추적이나 감시)가 가능하므로, 제어부의 처리 용량을 더 이상 키우지 않은 상태에서도 처리 속도의 시간 지체 현상을 방지할 수 있게 되므로 정확한 시점에 원하는 영상을 획득할 수 있게 되는 것이다.Therefore, since the data processing speed for tracking the coordinate change values of the two photos can correspond to the speed at which the camera is photographed, data processing (coordinate tracking or monitoring) is possible without missing all images captured by the camera. It is possible to prevent a delay in processing speed even when the processing capacity of the device is not increased any more, so that a desired image can be obtained at an accurate time.
결론적으로 말하면, 도 44에서와 같이 카메라로 촬영된 사진으로부터 드로워가 인출가능한 거리 중 일부를 제1구간과 제2구간으로 나누는 것이 가능하다.In conclusion, as shown in FIG. 44, it is possible to divide a part of the distance that the drawer can withdraw from the picture taken with the camera into a first section and a second section.
제1구간에서는 촬영된 사진의 픽셀에 대한 마커의 위치를 판단할 수 있다. 이때 제1구간은 마커의 좌표값을 비교하지 않고, 한 장의 사진에서 마커가 어떤 픽셀 위치에 있는지를 판단할 수 있다.In the first section, it is possible to determine the position of the marker with respect to the pixel of the photographed picture. In this case, the first section may determine at which pixel position the marker is located in a single picture without comparing the coordinate values of the markers.
한편 제1구간에서는 드로워가 실제로는 개방되었다고 하더라도, 사용자가 드로워에 물품을 인출하거나 반입하기가 어렵기 때문에 드로워가 실질적으로 닫힌 상태라고 구분하는 것도 가능하다.On the other hand, in the first section, even if the drawer is actually open, it is difficult for the user to withdraw or carry the item into the drawer, so it is possible to classify the drawer as a substantially closed state.
제2구간은 연속 촬영된 두 개의 사진에 도시된 마커의 좌표값을 비교하는 '좌표 검색 범위(Search Range)'로 설정할 수 있다. 제2구간에서는 2개의 사진을 비교하기 때문에 마커의 좌표 변화를 감지할 수 있다. 예를 들어서, 2개의 연속된 사진에서 마커가 동일한 위치라면 2개의 사진이 촬영된 시간 동안 드로워가 정지된 것으로 판단할 수 있다. 2개의 연속된 사진에서 마커의 위치가 변화되었다면 2개의 사진이 촬영된 시간 동안 드로워가 이동된 것으로 판단할 수 있다. 이때 마커의 위치 변화 방향에 따라 드로워가 닫히는 방향으로 이동되는지 또는 드로워가 열리는 방향으로 이동되는지를 판단할 수 있다. The second section may be set as a'coordinate search range' for comparing coordinate values of markers shown in two consecutively photographed pictures. In the second section, since two pictures are compared, a change in the coordinates of the marker can be detected. For example, if the markers are at the same position in two consecutive photos, it may be determined that the drawer is stopped during the time when the two photos are taken. If the position of the marker is changed in two consecutive pictures, it can be determined that the drawer has moved during the time when the two pictures are taken. In this case, it may be determined whether the drawer is moved in a direction in which the drawer is closed or in a direction in which the drawer is opened according to the direction of change in the position of the marker.
제2구간에서는 사용자가 드로워에 물품을 인출하거나 반입할 정도의 개구가 사용자에게 노출되기 때문에 실질적으로 드로워가 열린 상태라고 구분하는 것도 가능하다. In the second section, the drawer can be classified as an open state because the opening is exposed to the user to allow the user to withdraw or carry the item into the drawer.
도 45는 본 발명의 일 실시예에 따른 제어 흐름도이다. 이하 도 45를 참조해서 설명한다.45 is a control flowchart according to an embodiment of the present invention. Hereinafter, it demonstrates with reference to FIG. 45.
상기 도어(20)가 상기 저장실(22)을 개방한다고 판단한다(S10). 이때 상기 도어 스위치(110)에 의해서 상기 도어(20)의 개폐가 감지될 수 있다.It is determined that the
상기 도어(20)가 개방되면, 상기 도어 센서(120)가 구동될 수 있다. 즉 상기 도어 센서(120)에서 상기 도어(20)가 일정 각(θ) 이상 회전되는 지를 감지할 수 있다. 즉 상기 도어 센서(120)는 상기 도어(20)가 개방되지 않으면 작동하지 않다가, 상기 도어(20)가 개방되면 작동이 시작될 수 있다.When the
또한 상기 도어(20)가 개방되면, 상기 카메라(70)가 동작되어 사진 촬영을 시작할 수 있다(S14). 이때 상기 카메라(70)는 소정 시간 간격, 예를 들어 1초에 10장 등의 사진을 촬영하는 것이 가능하다.In addition, when the
상기 카메라(70)에 의해서 찍힌 사진은 상기 저장부(18)에 저장된다(S16). 이때 상기 카메라(70)에 의해서 복수 장의 사진이 찍히면 최근에 찍힌 사진은 저장되고, 그 전에 찍힌 사진은 상기 저장부(18)의 용량 제한으로 인해서 삭제되는 것도 가능하다. The picture taken by the
한편 상기 드로워 감지부(130)에 의해서 상기 드로워(50)가 열리는 지를 감지할 수 있다(S20). 상기 드로워 감지부(130)는 상기 드로워(50)가 상기 선반(40)의 하부 공간으로부터 인출되는 것을 감지할 수 있다. Meanwhile, it may be detected whether the
그리고 상기 드로워 감지부(130)에 의해서 상기 드로워(50)가 닫히는 지를 감지되면, 그 시각에 찍힌 사진 또는 그 시각에 가장 인접한 때에 찍힌 사진을 최종 사진(드로워 열린 상태)로 선택한다(S40). 상기 카메라(70)는 1초에 정해진 개수의 사진을 촬영하기 때문에, 상기 드로워(50)가 닫히기 시작하는 시점에 정확히 사진이 촬영되지 않는 것도 가능하다. 다만, 상기 드로워 감지부(130)가 상기 카메라(70)에서 촬영된 사진에 표현된 마커의 이동을 분석하는 것에 의해서 상기 드로워(50)의 이동을 판단하면, 닫힌다고 판단한 시점에 사진을 선택하는 것이 가능하다.And when the
상기 제어부(100)는 상기 최종 사진을 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)으로 구분한다(S42). 이때 상기 제어부(100)는 상기 조정선(15)을 기준으로 픽셀의 개수를 특정해서 각각의 영역을 구분하고, 각각의 영역에 대한 최종 이미지를 획득하는 것이 가능하다. The
상술한 바와 같이 상기 드로워(50)가 인출되면 상기 제2영역(52)과 상기 제3영역(62)은 서로 중첩되는 부분이기 때문이다. As described above, when the
한편 S20에서 상기 드로워(50)가 인출되었다는 정보를 얻었기 때문에, 상기 제어부(100)에서 제2이미지를 얻은 것으로 판단할 수 있다.Meanwhile, since information indicating that the
그리고 상기 제2영역(52)에 대한 정보를 업데이트할 수 있다(S46). 상기 제어부(100)는 상기 제2영역(52)을 도시하는 제2이미지를 상기 디스플레이(14)에 전송해서, 해당 부분을 최종 사진에 근거하도록 변경할 수 있다.In addition, information on the
반면에 S30에서 상기 드로워(50)가 닫히지 시작하지 않는다고 판단하면, S14에서와 같이 다시 사진을 촬영할 수 있다. On the other hand, if it is determined in S30 that the
S30에서 상기 드로워(50)가 닫히지 않는 상태는 사용자가 상기 제2영역(52)에 대한 액세스를 종료하지 않은 것으로 볼 수 있다. 즉 사용자는 상기 드로워(50)를 정지시킨 상태에서 상기 제2영역(52)에 새로운 식품을 저장하거나, 저장된 식품을 상기 제2영역(52)으로부터 꺼낼 수 있다. The state in which the
반면에 상기 드로워(50)가 닫히는 상태는 사용자가 상기 제2영역(52)에 대한 액세스를 종료하고, 상기 드로워(50)를 상기 선반(40)의 하부 공간으로 인입시킨다고 예측할 수 있다.On the other hand, when the
한편 S20에서 상기 드로워(50)가 열리지 않은 상태에서, 상기 도어(20)가 닫히기 직전 인지를 판단할 수 있다(S60).Meanwhile, in a state in which the
이때 상기 도어(20)가 닫히기 직전 인지 여부는 상기 도어 센서(120)에서 감지될 수 있다.At this time, whether the
사용자는 상기 저장실(22)에 대한 액세스를 종료하면 상기 도어(20)를 닫고, 상기 저장실(22)을 밀폐하게 된다. 즉 사용자는 상기 도어(20)가 상기 개구부(14)를 개방하도록 한 상태에서 상기 저장실(22)에 새로운 식품을 저장하거나, 저장된 식품을 상기 저장실(22)로부터 꺼낼 수 있다.When the user ends the access to the
만약 사용자가 상기 도어(20)를 닫게 되면, 사용자가 상기 저장실에 대한 접근을 종료하고, 다시 상기 도어(20)가 개방되기 전까지는 그 상태에서 식품이 저장된 상태를 유지하는 것으로 판단할 수 있다.If the user closes the
S60에서 상기 도어(20)가 닫히기 직전이라고 판단하면, 상기 제어부(100)는 그 시각에 찍힌 사진 또는 그 시각에 가장 인접한 때에 찍힌 사진을 최종 사진(드로워 닫힌 상태)로 선택한다(S70). 즉 상기 제어부(100)는 상기 카메라(70)의 사진 촬영이 종료된 시점 또는 그 시점에 인접한 시점에 찍힌 사진을 최종 사진으로 선택할 수 있다.If it is determined in S60 that the
상기 제어부(100)는 상기 최종 사진을 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)으로 구분한다(S72). 이때 상기 최종 사진에는 상기 제1영역(42)을 도시하는 제1이미지를 포함할 수 있다. 상기 제1영역(42)에 저장된 식품에 대한 최신 상태는 사용자가 상기 저장실(22)에 대한 접근을 종료한 상태이기 때문이다. 따라서 이때 획득된 제1이미지를 통해서 사용자는 상기 제1영역(42)에 대한 정확한 식품 정보를 획득할 수 있다. The
한편 S60에서 상기 드로워(50)가 인입되었다는 정보를 얻었기 때문에, 상기 제어부에서 제1이미지와 제3이미지를 얻은 것으로 판단할 수 있다. 상술한 바와 같이 상기 드로워(50)가 인출되면 상기 제2영역(52)과 상기 제3영역(62)은 서로 중첩되는 부분이이지만, 상기 제1영역과 상기 제3영역은 서로 중첩되지 않고 함께 촬영이 가능한 위치이기 때문이다.Meanwhile, since information indicating that the
그리고 상기 제1영역(42) 및 상기 제3영역(62)에 대한 정보를 업데이트할 수 있다(S76). 상기 제어부(100)는 상기 제1영역(42)을 도시하는 제1이미지와 상기 제3영역(62)을 도시하는 제3이미지를 상기 디스플레이(14)에 전송해서, 해당 부분을 최종 사진에 근거하도록 변경할 수 있다.In addition, information on the
한편 도면에는 도시되지 않았지만, 상기 도어(20)가 상기 저장실(22)을 밀폐하도록 회전되어, 상기 저장실(22)을 닫으면 상기 카메라(70)의 구동을 중지하는 것이 가능하다. 이때 상기 도어 스위치(110)에서 상기 도어(20)가 상기 저장실(22)을 밀폐하는지를 감지할 수 있다.On the other hand, although not shown in the drawing, the
즉 본 발명에서는 사용자가 사용을 종료한 시점을 고려해서, 해당 시점에서 획득된 사진을 가공해서 사용자에게 해당 영역에 저장된 식품에 대한 정보를 제공하게 된다. 따라서 사용자는 상기 저장실(22)에 저장된 식품에 대한 정확한 정보를 얻을 수 있다. That is, in the present invention, in consideration of the point in time when the user ends the use, the photograph obtained at the point in time is processed to provide the user with information on the food stored in the corresponding area. Accordingly, the user can obtain accurate information on the food stored in the
한편 상기 도어 센서(120), 상기 도어 스위치(110) 및 상기 드로워 감지부(130)는 좌우측에 각각 두 개씩 설치가 될 수 있다. 이러한 경우에 좌우측 도어, 좌우측 드로워에 대한 개별 정보를 획득할 수 있다. 물론 상기 드로워 감지부(130)가 촬영된 사진에서 마커의 분석을 통해서 드로워의 이동을 감지한다면, 상기 드로워 감지부(130)는 한 개인 반면에, 마커가 2개의 드로워에 각각 설치되는 것이 가능하다.Meanwhile, the
따라서 이러한 정보를 기반으로, 좌측 도어만 개방된 경우에는 한 장의 사진의 좌측 부분만을 업데이트하는 것이 가능하다. 반면에 우측 도어만 개방된 경우에는 한 장의 사진의 우측 부분만을 업데이트 하는 것이 가능하다.Therefore, based on this information, when only the left door is opened, it is possible to update only the left part of one picture. On the other hand, if only the right door is open, it is possible to update only the right part of one picture.
물론 좌측 도어와 우측 도어가 함께 개방된 경우에는 상술한 조건을 만족한다면, 한 장의 사진의 좌측 부분과 우측 부분을 함께 업데이트해서 상기 디스플레이(14)에 제공하는 것도 가능하다. Of course, when the left door and the right door are opened together, if the above-described conditions are satisfied, it is possible to update the left part and the right part of a single picture together and provide it to the
도 46은 도 45의 변형례를 설명한 제어 흐름도이다. 이하 도 46을 참조해서 설명한다. 46 is a control flowchart illustrating a modification example of FIG. 45. Hereinafter, it demonstrates with reference to FIG.
도 46의 변형례에서는 S60가 S62와 S64로 구체적으로 구분된 형태이고, 차이가 되는 부분에 대해서만 구체적으로 설명한다. In the modified example of FIG. 46, S60 is a form specifically divided into S62 and S64, and only the differences will be described in detail.
즉 상기 도어(20)가 닫히기 직전인지 여부는 상기 도어(20) 닫히는 방향으로 회전되는지를 판단하는 단계(S62)와 상기 도어(20)가 일정 각도(θ) 이상 회전되는지로 구체적으로 판단할 수 있다. That is, whether the
다시 말해서, 상기 도어(20)가 닫히는 방향으로 회전되고(S60), 상기 도어가 일정 각 이하로 회전되면(S64), 상기 카메라(70)에 의한 사진 촬영을 종료할 수 있다.In other words, when the
상기 카메라(70)에서 촬영되는 사진에서 상기 저장실(22)에 저장된 식품에 관한 정보를 얻기 위해서는, 상기 도어(20)는 물론 상기 도어(20)에 설치된 바스켓 등의 간섭이 발생하면 안된다. 따라서 상기 도어(20)가 닫히기 직전이라는 표현은, 상기 카메라(70)에서 촬영된 사진에 상기 도어(20) 및 기타 구성요소가 표현되지 않는 상태를 의미하는 것도 가능하다. In order to obtain information on the food stored in the
도 47은 도 46의 다른 변형례를 설명한 제어 흐름도이다. 이하 도 47을 참조해서 설명하되, 도 46과의 차이만을 설명한다.47 is a control flowchart illustrating another modified example of FIG. 46. Hereinafter, with reference to FIG. 47, only the difference from FIG. 46 will be described.
도 47에 따른 다른 변형례는 도 46과 달리, 상기 도어(20)의 회전 방향을 판단하지 않는다. In the other modified example according to FIG. 47, unlike FIG. 46, the rotation direction of the
S12에서 도어가 일정각 이상 회전되었다고 판단하면, 상기 도어(20)는 해당되는 순간에 열리는 방향으로 회전된다. 따라서 통상적으로 사용자가 상기 도어(20)를 다시 회전시켜서, 상기 도어(20)가 일정각 만큼 회전된 상태에 도달하면 사용자가 상기 도어(20)를 닫는 경우에 해당될 수 있다. If it is determined in S12 that the door has been rotated by a predetermined angle or more, the
따라서 다른 변형례에서는 도 46에서의 S62를 생략하고, S20에서 드로워가 열리지 않았다고 판단하면, 도어가 일정각 이하로 회전되었는지 여부를 판단하는 S64를 바로 수행하게 된다.Accordingly, in another modification, if S62 in FIG. 46 is omitted and it is determined that the drawer is not opened in S20, S64 to determine whether the door has been rotated below a certain angle is immediately performed.
도 48은 도 45의 다른 변형례를 설명한 제어 흐름도이다. 이하 도 48을 참조해서 설명한다.48 is a control flowchart illustrating another modified example of FIG. 45. Hereinafter, it demonstrates with reference to FIG.
도 48에서는 상기 드로워(50)의 이동을 마커에 의해서 감지하는 제어 흐름을 설명한다. 설명의 편의상 중복되는 부분은 생략하고, 차이가 되는 부분에 대해서만 설명한다. In FIG. 48, a control flow for detecting movement of the
전체적으로 S20과 S30이 S22, S24, S26의 단계로 구체적으로 구분될 수 있다.Overall, S20 and S30 may be specifically divided into steps S22, S24, and S26.
S16에서 같이 사진이 상기 저장부(18)에 저장된 후에, 상기 카메라(70)에서 마커가 인식되는 지를 판단한다(S22).After the picture is stored in the
상기 카메라(70)는 상기 인너 케이스(12)의 상측에서 하측을 향해서 사진을 촬영하기 때문에, 상기 카메라(70)에서 마커가 보이지 않는 경우도 발생할 수 있다. 즉 상기 선반(40)의 전단에서 상기 드로워(50)의 손잡이 부분이 가려지는 경우에, 즉 상기 드로워(50)가 전혀 인출되지 않은 상태에서는 마커가 인식되지 않을 수 있다.Since the
상기 카메라(70)에 찍힌 사진에서 마커가 인식되면, 마커가 정지되는 지를 판단할 수 있다(S24). 이때 상술한 바와 같이 한 장의 사진에서 마커의 이동 경로를 파악한 후에 제1구간과 제2구간으로 구분해서, 제2구간에서만 마커의 이동을 판단하는 것도 가능하다. When a marker is recognized in the picture taken by the
상기 카메라(70)는 복수 장의 사진을 소정 시간 간격으로 촬영하기 때문에, 해당 사진을 비교하면서 분석하면 마커의 이동 여부를 판단할 수 있다. 마커은 상기 드로워(50)에 표시되기 때문에, 마커이 이동되면 상기 드로워(50)도 이동되는 것으로 판단할 수 있다.Since the
그리고 마커이 상기 드로워(50)가 닫힌 상태의 위치부터 일정 거리 이상 이동했는지를 판단할 수 있다(S26). In addition, it may be determined whether the marker has moved more than a predetermined distance from the position in which the
만약 마커이 일정 거리 이상 이동하지 않았다면, 상기 드로워(50)가 충분히 개방되지 않은 상태이기 때문에 상기 제2영역(52)에 대한 적당한 이미지를 획득할 수 없다. 예를 들어 상기 드로워(50)가 1/3만 인출된 상태에서 찍힌 사진에서는 상기 드로워(50)의 내측 공간이 충분히 도시되지 않고, 해당 사진에서 획득된 이미지로는 사용자는 상기 제2영역(52)에 대한 정보를 얻을 수 없기 때문이다. 이때 일정 거리는 마커의 이동을 판단하기 위한 검색 구간(search range)에 마커가 진입했는지 여부로 판단할 수 있다.If the marker has not moved more than a certain distance, since the
마커이 일정 거리 이상 이동했다고 판단하면 사용자가 상기 제2영역(52)에 대한 접근을 종료하고, 상기 제2영역(52)에 대한 사용을 마쳤다고 볼 수 있다. If it is determined that the marker has moved more than a certain distance, it can be considered that the user has finished accessing the
따라서 세 가지 조건이 만족하는 상태의 시각 또는 그 시각에 인접한 시각에서 획득된 사진은 상기 제2영역(52)에 저장된 식품에 관한 정보를 포함할 수 있다. Accordingly, a photograph obtained at a time when the three conditions are satisfied or at a time adjacent to the time may include information on food stored in the
도 49는 도 45를 다르게 변형한 변형례를 도시한 도면이다. 이하 도 49를 참조해서 설명한다. 49 is a diagram illustrating a modified example in which FIG. 45 is modified differently. Hereinafter, it demonstrates with reference to FIG.
도 49에서는 도 45와 달리, 상기 도어 스위치(110)에서 상기 도어(20)가 개방되는 시점에 즉시 상기 카메라가 구동되지 않는다는 차이가 있다. In FIG. 49, unlike FIG. 45, there is a difference in that the camera is not immediately driven when the
상기 도어 스위치(110)에서 상기 도어(20)가 개방된 것으로 판단되면, 상기 도어 센서(120)가 구동된다.When the
그리고 상기 도어 센서(120)에서 상기 도어(20)가 일정각 이상 회전되었는지를 판단한다(S12). 이때 상기 도어(20)가 일정각 이상 회전되지 않은 상태에서는 상기 카메라(70)는 사진을 촬영하지 않는다. Then, the
상기 도어(20)가 일정 각도 이상 회전되면, 상기 카메라(70)는 사진을 촬영한다(S14). 이때 상기 카메라(70)는 소정 시간 간격, 예를 들어 1초에 10장 등의 사진을 촬영하는 것이 가능하다.When the
이때 찍힌 사진은 상기 제1영역(42)에 대한 제1이미지를 포함한다. 한편 상기 도어(20)가 일정 각도(θ) 이상 회전되었기 때문에 사진에는 상기 도어(20)에 설치된 바스켓 등의 간섭이 발생하지 않을 수 있다. 즉 사진에는 상기 도어(20)에 설치된 바스켓의 모습이 나타나지 않을 수 있다.The photograph taken at this time includes a first image of the
나아가 S60에서 상기 도어 센서(120)에서 상기 도어(20)가 닫히기 직전인지를 감지할 수 있다. 이때 상기 도어(20)가 닫히기 직전이라는 의미는, 상기 도어(20)가 닫히는 방향으로 회전되면서, 상기 도어(20)가 일정각 이하로 회전된 상태를 의미할 수 있다.Furthermore, in S60, the
상기 도어(20)가 닫히기 직전까지 상기 카메라(70)는 사진을 촬영하고, 사진 촬영을 중지할 수 있다(S49). 도 45에서는 상기 도어(20)가 닫혀서, 상기 도어 스위치(110)가 눌려지는 순간 부근까지 상기 카메라(70)는 사진을 촬영한다. 그러나 변형례에서는 상기 도어(20)가 상기 도어 센서(120)에 의해서 일정각까지 회전되면, 상기 카메라(70)는 사진 촬영을 중지하게 된다. 이때 일정각은 상기 카메라(70)에서 촬영된 사진에 상기 도어(20)는 물론, 상기 도어(20)에 설치된 바스켓 등에 의한 간섭이 발생하지 않도록 하는 각도를 의미하는 것이 가능하다.Until just before the
도 50은 본 발명의 다른 실시예에 따른 제어 흐름도이다. 이하 도 50을 참조해서 설명한다. 도 50의 제어 흐름은 상기 도어 스위치(110)에 의해서 상기 도어(20)가 개방된 것으로 판단되면 소정 시간을 간격으로 계속 수행되는 것이 가능하다. 50 is a control flow diagram according to another embodiment of the present invention. Hereinafter, it demonstrates with reference to FIG. When it is determined that the
우선 상기 도어 센서(120)에 의해서 상기 도어(20)가 일정 각도(θ) 이상 개방되는지를 판단한다(S100).First, it is determined whether the
상기 도어(20)가 일정 각도 이상 개방되면, 상기 도어(20)에 간섭이 발생하지 않는 것으로 판단하고, 상기 카메라(70)는 사진 촬영을 한다(S110). 이때 상기 카메라(70)는 한 장의 사진을 촬영하는 것이 가능하다. When the
그리고 상기 드로워(50)가 제1설정 거리 이상 인출되었는지를 판단한다(S120). 이때 상기 제1설정 거리는 상기 카메라(70)에서 사진을 촬영했을 때에 상기 제2영역(52)에 대한 식품 정보가 충분히 획득가능한 거리를 의미할 수 있다. 예를 들어, 상기 제1설정 거리는 상기 드로워(50)의 전체 길이의 2/3 또는 1/2를 의미하는 것도 가능하다. Then, it is determined whether the
상기 드로워(50)의 인출 거리는 상기 드로워 감지부(130)에 의해서 감지될 수 있다.The draw distance of the
한편 상기 드로워(50)가 상기 제1설정 거리 이상 인출되었다고 판단하면, 상기 제어부(100)는 사진을 영역별로 구획해서, 복수 개의 이미지로 구분할 수 있다(S122). On the other hand, if it is determined that the
상기 드로워(50)가 인출된 상태에서 획득된 사진이기 때문에, 해당 사진에서는 제1이미지와 제2이미지가 획득될 수 있다. Since the picture is obtained while the
상기 제어부(100)는 제1이미지와 제2이미지를 업데이트할 수 있다(S124).The
반면에 S120에서 상기 드로워(50)가 상기 제1설정 거리 이상 인출되지 않았다고 판단하면, 상기 드로워(50)가 제2설정 거리 이하로 인출되었는지를 판단할 수 있다(S130). On the other hand, if it is determined in S120 that the
이때 상기 제2설정 거리는 상기 카메라(70)에서 사진을 촬영했을 때에 상기 제3영역(62)에 대한 식품 정보가 충분히 획득가능한 거리를 의미할 수 있다. 예를 들어, 상기 제2설정 거리는 상기 드로워(50)의 전체 길이의 1/3을 의미하는 것도 가능하다. 물론 상기 제2설정 거리는 '0'으로 선택해서, 상기 드로워(50)가 상기 선반의 하부 공간으로 완전히 인입된 상태를 선택하는 것도 가능하다. In this case, the second set distance may mean a distance at which food information on the
한편 상기 드로워(50)가 상기 제2설정 거리 이하 인출되었다고 판단하면, 상기 제어부(100)는 사진을 영역별로 구획해서, 복수 개의 이미지로 구분할 수 있다(S132). On the other hand, if it is determined that the
상기 드로워(50)가 인출된 상태에서 획득된 사진이기 때문에, 해당 사진에서는 제1이미지와 제3이미지가 획득될 수 있다. Since the picture is obtained while the
상기 제어부(100)는 제1이미지와 제3이미지를 업데이트할 수 있다(S134).The
도 50에 따른 본 발명의 다른 실시예에서는 상기 도어(20)가 개방되면 제어가 반복되고, 상기 도어(20)가 상기 저장실(22)을 밀폐하면 완전히 종료된다. 종료된 상태에서는 더 이상 이미지에 대한 업데이트가 발생되지 않기 때문에, 상기 저장실(22)에 저장된 식품에 대한 최종 이미지가 획득될 수 있다In another embodiment of the present invention according to FIG. 50, when the
도 51은 저장실을 개폐하기 위해 두 개의 도어와, 두 개의 드로워가 구비된 상태에서 이미지를 업데이트하는 과정에 대해서 설명한 도면이다. 이하 도 51을 참조해서 설명한다.51 is a view for explaining a process of updating an image in a state in which two doors and two drawers are provided to open and close the storage compartment. Hereinafter, it demonstrates with reference to FIG.
상술한 실시예에서 중복되는 내용에 대해서는 간략하게 설명한다. The overlapping content in the above-described embodiment will be briefly described.
냉장고에 전기가 공급되면, 좌측 및 우측에 각각 설치된 상기 도어 스위치(110)에서 좌측 도어 또는 우측 도어가 열리는지 개별적으로 판단될 수 있다(S302, S303). When electricity is supplied to the refrigerator, it may be individually determined whether the left door or the right door is opened by the door switches 110 respectively installed on the left and right sides (S302 and S303).
좌측 도어나 우측 도어 중 어느 하나가 개방된 것으로 상기 도어 스위치(110)에서 판단하면(S303), 상기 카메라(70)는 사진 촬영을 시작한다(S304).If the
좌측 도어와 우측 도어 중 어느 하나가 개방된 것은 물론, 좌측 도어와 우측 도어서 시간 간격을 두거나 동시에 모두 개방되더라도 상기 카메라(70)는 사진 촬영을 할 수 있다. 왜냐하면, 어느 하나의 도어 스위치를 통해서 도어가 개방된다고 판단되면, 고내에는 조명이 켜지기 때문이다.The
좌측에 배치된 드로워가 130mm보다 많이 인출되면(S310), 좌측 드로워에 관련된 영상을 캡쳐한다(S312). 좌측 드로워에 관련된 영상은 촬영된 사진 중에 좌측 드로워에 해당되는 부분을 의미할 수 있고, 촬영된 전체 사진을 의미할 수 있다.When the drawer disposed on the left is drawn out more than 130mm (S310), an image related to the left drawer is captured (S312). The image related to the left drawer may refer to a part corresponding to the left drawer among the photographed photos, and may refer to the entire photographed.
이때 130mm는 냉장고 제조자 또는 사용자에 의해서 변화될 수 있지만, 사용자가 드로워를 인출해서, 드로워 내부에 저장 공간에 접근가능한 정도의 인출거리를 의미할 수 있다.At this time, 130mm may be changed by the refrigerator manufacturer or the user, but may mean a withdrawal distance such that the user can withdraw the drawer and access the storage space inside the drawer.
만약 좌측 드로워가 130mm보다 적게 인출되면(S310), 상기 카메라(70)에서 촬영된 직전 영상을 유지한다(S310).If the left drawer is drawn out less than 130 mm (S310), the image immediately before photographed by the
그리고 좌측 도어 센서에서 좌측 도어의 개방 각도를 감지한다. 이때 좌측 도어가 80도보다 작은 각도로 개방된다면, 좌측 드로워가 인출된 상태의 하부 공간에 마련되는 좌측 멀티 수납 공간에 대한 영상을 캡쳐한다(S332).And the left door sensor detects the opening angle of the left door. At this time, if the left door is opened at an angle less than 80 degrees, an image of the left multi-storage space provided in the lower space in which the left drawer is drawn is captured (S332).
이때 80도는 좌측 도어와 좌측 도어에 설치된 여러 구조물이 상기 카메라(70)에서 수납 공간을 촬영할 때에 간섭하지 않을 정도의 각도를 의미할 수 있다. 냉장고의 구체적인 구조나 크기에 따라 80도는 변화되는 것이 가능하다.In this case, 80 degrees may mean an angle such that various structures installed in the left door and the left door do not interfere when photographing the storage space by the
만약 좌측 도어가 80도보다 큰 각도로 개방되면, 상기 카메라(70)에 의해서 촬영된 직전 영상을 유지하는 것이 가능하다(S336).If the left door is opened at an angle greater than 80 degrees, it is possible to maintain the image immediately before photographed by the camera 70 (S336).
그리고 좌측 도어가 닫히는 것이 상기 도어 스위치(110)에서 감지되는 것이 가능하다(S334). In addition, closing of the left door may be detected by the door switch 110 (S334).
한편 우측 드로워와 우측 도어에 대해서도 좌측 드로워와 좌측 도어에서 설명한 것과 동일한 형태의 제어 흐름이 구현되는 것이 가능하다. 즉 S320~S324, S340~S346에서는 상술한 내용이 동일하게 적용되기 때문에 구체적인 설명을 생략한다.Meanwhile, for the right drawer and the right door, it is possible to implement the same type of control flow as described for the left drawer and the left door. That is, in S320 to S324 and S340 to S346, since the above-described contents are the same, a detailed description is omitted.
좌측 도어와 우측 도어가 닫히게 되면, 위에서 캡쳐된 영상을 제어부(100)에서 가공해서, 가공된 이미지를 디스플레이(14)에 표시하는 것이 가능하다(S350). 이때 디스플레이는 냉장고에 설치된 디스플레이인 것이 가능하다.When the left door and the right door are closed, the image captured above is processed by the
그리고 카메라는 사진 촬영을 중지할 수 있다(S352).Then, the camera may stop taking a picture (S352).
한편 냉장고는 와이파이(wifi)에 연결되어 통신이 가능한지를 판단하고(S354), 통신이 가능하다면 외부 서버에 이미지를 전송할 수 있다(S356).Meanwhile, the refrigerator may be connected to Wi-Fi to determine whether communication is possible (S354), and if communication is possible, may transmit an image to an external server (S356).
서버에서는 사용자가 사용하는 단말기의 어플리케이션에 동기화되는지를 판단하고(S358), 동기화된다면 이미지를 단말기의 디스플레이(14)에 표시하는 것이 가능하다. The server determines whether or not the application of the terminal used by the user is synchronized (S358), and if it is synchronized, the image can be displayed on the
따라서 사용자는 냉장고의 앞에 있지 않더라도, 사용자 단말기를 통해서 냉장고에 저장된 물품에 대한 정보를 제공받을 수 있다.Accordingly, even if the user is not in front of the refrigerator, information on the items stored in the refrigerator can be provided through the user terminal.
만약 냉장고가 와이파이에 연결되지 않아 외부와 통신이 불가한 상태이거나, 단말기의 어플리케이션에 동기화가 되어 있지 않다면, 사용자 단말기의 디스플레이(14)에는 직전 이미지를 유지하고, 사용자에게 직전 이미지를 제공하는 것이 바람직하다. If the refrigerator is not connected to Wi-Fi and communication with the outside is not possible, or if the application of the terminal is not synchronized, it is desirable to maintain the previous image on the
이하, 사진을 촬영하고, 원하는 시점에 사진을 획득하기 위해서 구비된 구성요소에 대해 개략적으로 설명한다.Hereinafter, components provided to take a picture and acquire a picture at a desired point in time will be schematically described.
도어 스위치가 사용자가 도어를 열기 시작한 것을 감지하면, 제어부는 카메라를 구동하여 고내를 촬영하기 시작한다. 카메라는 초당 일정 프레임으로 연속해서 촬영을 하게 되는데, 사용자의 도어를 여는 행위는 냉장고 내에서 원하는 물품을 인출하거나 새로운 물품을 냉장고 내에 저장하기 위한 것을 의미하기 때문에 냉장고 내를 연속으로 촬영함으로써 냉장고 저장실 내의 저장 공간의 상태에 변화가 있는지를 감시할 수 있다.When the door switch detects that the user has started opening the door, the controller starts to take a picture of the interior by driving the camera. The camera continuously shoots at a certain frame per second.Because the act of opening the door of the user means to withdraw a desired item from within the refrigerator or to store a new item in the refrigerator, the inside of the refrigerator is continuously photographed. You can monitor whether there is any change in the state of the storage space.
상기 저장실은 각종 선반, 드로워 또는 바스켓 등으로 분리되어 각각 저장 공간을 형성하게 되며, 물품이나 용기 등의 형태나 내용에 따라 저장 공간에 보관되고 저장된다.The storage rooms are separated into various shelves, drawers, baskets, etc. to form storage spaces, respectively, and are stored and stored in the storage space according to the shape or content of items or containers.
상기 카메라는 저장 공간에 대하여 선반에 의해 구분되는 선반영역과 드로워 영역 그리고 기타 저장영역으로 구분하여 감시할 수 있다. 이를 통해, 사용자가 인출 또는 입고 동작을 완료한 직후 상기 영역에서의 물품 보관 상태를 사용자가 체크 할 수 있도록 하고자 한다. 만약 드로워가 두 개가 구비되고, 기타 저장영역이 두 개가 양측에 평행하게 구비되는 경우에는, 상기 카메라를 통해 두 개의 드로워, 두 개의 기타 저장영역 각각을 사용자가 체크할 수 있는 정보를 제공할 수 있다. The camera may monitor the storage space by dividing it into a shelf area divided by a shelf, a drawer area, and other storage areas. Through this, it is intended to enable the user to check the storage state of the goods in the area immediately after the user completes the withdrawal or warehousing operation. If two drawers are provided and two other storage areas are provided in parallel on both sides, the camera will provide information for the user to check each of the two drawers and the two other storage areas. I can.
본 발명의 일 실시예는 상기 기타 저장영역을 상기 저장실 바닥에 형성되고, 상기 드로워 저장영역의 앞에 위치되어 드로워가 열릴 경우 적어도 일부가 중첩되는 수납공간으로 정하고, 이를 감시 대상에 포함시키는 것을 제시한다. According to an embodiment of the present invention, the other storage area is formed on the bottom of the storage compartment, is located in front of the drawer storage area, and when the drawer is opened, at least part of the storage area is set as a storage space, which is included in the monitoring target. present.
상기 도어 스위치가 상기 도어의 개방을 감지하면 제어부는 냉장고 힌지 어셈블리에 구성되어 있는 도어 센서를 온(on)하여 도어의 회전에 따른 이동을 감지하게 된다. 상기 도어 센서는 항상 온(on)되어 있는 것도 가능하지만, 상기 도어 스위치에서 도어가 개방된 경우에 한해서 상기 도어 센서가 온(on)되는 것도 가능하다.When the door switch detects the opening of the door, the control unit turns on a door sensor configured in the hinge assembly of the refrigerator to detect movement according to the rotation of the door. The door sensor may be always turned on, but the door sensor may be turned on only when the door is opened by the door switch.
도어가 일정 각도 이상 개방이 되면, 제어부는 사용자가 저장실에 접근해서 물품을 반입 또는 반출할 수 있을 정도로 실질적으로 도어가 열린 상태라고 판단하고 선반영역의 보관상태를 업그레이드할 대상으로 결정한다.When the door is opened by a certain angle or more, the control unit determines that the door is substantially open so that the user can access the storage room and carry in or take out items, and determine the storage state of the shelf area as a target to be upgraded.
또한, 상기 드로워 감지부에서 상기 드로워가 열림 정도를 감지하여 드로워가 열렸을 경우에는 드로워영역의 보관 상태를 업그레이드 할 대상으로 결정하고, 드로워가 열리지 않았을 때에는 상기 수납영역을 업그레이드 할 대상으로 결정한다.In addition, the drawer detection unit detects the degree of opening of the drawer, and when the drawer is opened, the storage state of the drawer area is determined as a target to be upgraded, and when the drawer is not opened, the storage area is upgraded. To decide.
본 발명의 일 실시예의 도어 센서는 도어가 열리고 닫히는 과정에서 일정 각도를 경과하고 있을 때를 감지하여 관련 정보를 제어부에 보내게 된다. 여기서, 상기 도어센서는 도어의 회전 방향 즉, 닫히는 방향인지 열리는 방향인지에 대해서도 감지할 수 있다.The door sensor according to an exemplary embodiment of the present invention detects when a certain angle has elapsed in the process of opening and closing the door and sends related information to the control unit. Here, the door sensor may also detect whether the door is rotated in a closing direction or an open direction.
본 발명의 실시예에서는 도어 스위치의 온(on)신호가 감지되면, 제어부는 도어 센서를 온(on)시키고, 도어 센서는 도어가 일정각도를 지나칠 때를 감지하여 이에 해당하는 시점을 제어부로 보내게 된다. 제어부는 이때 도어가 열린 상태로 판단하게 된다. 구체적으로 이때 도어는 일정 각도 만큼 회전되어 개방된 상태이다.In an embodiment of the present invention, when an on signal of a door switch is detected, the control unit turns on the door sensor, and the door sensor detects when the door passes a certain angle and sends the corresponding time point to the control unit. It becomes. At this time, the control unit determines that the door is open. Specifically, the door is opened by rotating by a certain angle at this time.
한편 도어가 열린 상태에서 사용자의 물품의 인출 또는 입고 행위를 마치면 개방되어 있던 도어를 닫게 되고, 상기 도어가 도어 센서를 지나쳤을 때 도어 센서는 신호를 제어부로 보내고, 제어부는 이 신호로부터 사용자가 물품의 입출고 행위를 마치고 도어가 닫히기 직전이라고 판단하게 된다. 구체적으로 이때 도어는 일정 각도 만큼 회전되어 개방되어 있지만, 닫히도록 회전이 되는 상태이다.On the other hand, when the user's withdrawal or warehousing behavior is completed while the door is open, the opened door is closed. When the door passes the door sensor, the door sensor sends a signal to the control unit, and the control unit sends a signal to the control unit. It is judged that it is just before the door is closed after the operation of entering/exiting. Specifically, the door is opened by rotating by a certain angle at this time, but is in a state in which it is rotated to close.
도어의 개폐 과정에서 카메라로부터 고내의 영상을 촬영하고, 사용자가 물품의 입출고 행위를 마친 직후에 촬영된 영상으로 업그레이드(upgrade)를 하는 과정에 대해 본원 발명의 일 실시예를 들어 구체적으로 설명한다.An exemplary embodiment of the present invention will be described in detail with respect to the process of photographing an image of the interior from the camera during the door opening and closing process and upgrading the image to the image taken immediately after the user finishes entering/exiting goods.
도어가 닫혀 있는 상태에서 냉장고 도어 스위치가 온(on)되면, 제어부는 카메라와 도어 센서를 온(on)시킨다. 카메라는 대기 모드에서 구동 모드로 전환되는 것을 의미하고, 도어 센서는 도어의 열림 각도를 판단할 수 있는 상태로 전환되는 것을 의미할 수 있다.When the refrigerator door switch is turned on while the door is closed, the controller turns on the camera and the door sensor. The camera may mean switching from a standby mode to a driving mode, and the door sensor may mean switching to a state capable of determining the opening angle of the door.
상기 카메라는 일정 시간당 정해진 속도로 냉장고 고내를 연속으로 촬영할 수 있다. 촬영된 영상은 제어부로 보내지고, 상기 제어부는 전송된 영상을 고내 전체를 포함하는 이미지로써 임시적으로 버퍼링한다. The camera may continuously photograph the inside of the refrigerator at a predetermined speed per predetermined time. The captured image is sent to the controller, and the controller temporarily buffers the transmitted image as an image including the entire interior.
본 명세서에서 사용된 영상[Picture(or photograph)]과 이미지(Image)는 서로 구분되어서 사용될 수 있다.An image [Picture (or photograph)] and an image used in the present specification may be used separately from each other.
구체적으로 영상(Picture 또는 photograph)는 카메라에서 촬영된 후 바로 전송된 로 데이터(raw data)를 의미이며, 이미지(Image)는 상기 로 데이터(raw data)인 영상(picture 또는 photograph)가 제어부에 의해 버퍼링되거나 보정 처리 또는 전송되는 data를 의미할 수 있다.Specifically, an image (picture or photograph) refers to raw data that is immediately transmitted after being photographed by a camera, and an image is an image (picture or photograph) that is the raw data by the control unit. It may mean buffered, corrected, or transmitted data.
상기 도어 스위치가 온(on)되고, 도어가 일정 각도 개방되어 제어부가 도어가 열린 상태라고 판단되면, 제어부는 드로워의 열림 상태에 따라 상기 전체 이미지가 어떤 영역에 대한 물품의 보관 상태를 담고 있는지를 결정하게 된다.When the door switch is turned on and the door is opened at a certain angle and the control unit determines that the door is open, the control unit determines which area the entire image contains the storage state of the item according to the drawer's open state. To decide.
예를 들어, 드로워가 열린 상태일 경우에는 상기 제어부는 상기 저장된 전체 이미지가 냉장고 선반 상부에 저장되는 영역(선반영역)과, 드로워 내부에 저장되는 드로워저장영역(드로워영역)에 대한 물품의 보관상태를 담고 있는 것으로 판단한다. 반면에, 상기 드로워가 닫혀 있는 상태라고 판단되면, 제어부는 상기 저장된 전체 이미지가 냉장고 선반영역과 드로워 앞단에 형성되어 드로워의 개방에 의해 중첩되는 영역인 상기 수납공간 내부 영역(수납영역)의 물품 보관 상태를 담고 있는 것으로 판단한다.For example, when the drawer is in an open state, the control unit includes an area (shelf area) in which the entire stored image is stored on a refrigerator shelf, and a drawer storage area (drawer area) that is stored inside the drawer. It is judged that it contains the storage condition of the item. On the other hand, if it is determined that the drawer is in a closed state, the control unit includes an area inside the storage space (storage area) that is an area where the entire stored image is formed on the refrigerator shelf area and the front end of the drawer and overlaps by opening the drawer. It is judged that it contains the storage status of the goods.
여기서, 상기 카메라에 의해 촬영되어 전송된 냉장고 저장실의 전체에 관한 사진은 3가지의 서로 다른 저장 공간으로 구획되어 있으며, 상기 선반영역은 항상 포함되어 있고, 상기 드로워영역과 상기 수납영역은 상기 드로워의 개폐 상태에 따라 선택적으로 포함되게 된다. 상기 드로워영역과 상기 수납영역은 사진 내에서 서로 공존하지는 않게 된다. Here, a picture of the entire refrigerator storage room taken and transmitted by the camera is divided into three different storage spaces, the shelf area is always included, and the drawer area and the storage area are It is selectively included according to the opening and closing state of the lower. The drawer area and the storage area do not coexist with each other in the photo.
따라서, 상기 카메라에서 전송된 하나의 전체 사진은 적어도 두 개의 영역을 포함하고 있으며, 이중 하나는 선반영역이고, 나머지 부분이 어떠한 저장 영역에 해당되는지는 드로워 개폐 상태에 의해 결정되는 것이다.Accordingly, one entire picture transmitted from the camera includes at least two areas, one of which is a shelf area, and which storage area the remaining part corresponds to is determined by the drawer open/close state.
본 발명은 하나의 카메라로 드로워 내부 공간과 그외의 또 다른 저장 공간 등 적어도 드로워의 내부를 포함한 두 개의 서로 다른 공간을 촬영하여 물품의 최근 입출고 상태를 사용자에게 전달하고자 하는 것이므로, 상기 드로워영역과 선반영역만을 고정적으로 촬영하여 업그레이드(upgrade)하는 방법도 본원 발명의 또 다른 실시 예가 될 수 있으며, 상기 드로워영역과 상기 수납공간만을 고정적으로 촬영하는 것도 본 발명의 일 실시 예가 될 수 있다. In the present invention, the drawer is intended to transmit the latest in/out status of the item to the user by photographing two different spaces including at least the inside of the drawer, such as the drawer's inner space and another storage space, with one camera. Another embodiment of the present invention may be a method of performing an upgrade by fixing only the area and the shelf area, and fixing only the drawer area and the storage space may be an embodiment of the present invention. .
한편, 냉장고에서 하나의 독립된 단열 공간을 구성하는 상기 저장실에 관한 하나의 전체 사진을 상기 저장실 내의 저장영역들로 구획하는 것은 상기 저장실을 개폐하는 도어의 개수에 의해 결정될 수 있다. 예를 들어, 상기 저장실을 하나의 도어로 개폐하는 냉장고에서는 상기 촬영되는 저장영역은 크게 2가지 또는 3가지로 구분될 수 있고, 상기 저장실을 두 개의 좌우측 도어로 개폐하게 될 경우는 상기 저장영역은 크게 4가지 또는 6가지로 구분될 수 있다.On the other hand, the division of a whole picture of the storage compartment constituting one independent insulating space in the refrigerator into storage areas in the storage compartment may be determined by the number of doors opening and closing the storage compartment. For example, in a refrigerator that opens and closes the storage room with a single door, the storage area to be photographed can be divided into two or three types. When the storage room is opened and closed with two left and right doors, the storage area is It can be largely divided into 4 or 6 types.
이때, 상기 드로워영역과 수납영역은 좌우측으로 구획하여 상기 전체 사진에 각각 2개의 구획된 영역으로 관리될 수 있으며, 선반영역은 하나의 영역으로 통합하여 관리할 수도 있다. 이럴 경우 상기 전체 사진 내에 구획된 부분은 모두 5가지로 구성될 수도 있다. In this case, the drawer area and the storage area may be divided into left and right sides and managed as two divided areas in the entire picture, and the shelf area may be combined and managed as one area. In this case, all of the partitioned parts in the whole picture may be composed of five.
이는 선반영역은 좌우 도어를 마주하는 저장공간이 서로 연결되어 있다. 선반영역에는 물품이나 식품 또는 야채 등이 좌우측에 걸쳐 보관되는 경우도 발생할 수 있다. 걸쳐서 보관되면 물품이 좌우 도어 중에서 어느 한쪽 도어만 개방하여 인출하거나 입고될 수 있기 때문에, 비록 좌우 도어 중 한쪽 도어만 열렸다 하더라도 촬영된 전체 이미지에서 선반 영역 전체를 통합하여 최신 데이터(data)로 교체해 줄 필요가 있기 때문이다. 이러한 점을 고려해서, 좌우 도어 중 어느 하나만이 개방되더라도, 선반 영역은 전체가 업데이트되는 것이 가능하다. In this shelf area, the storage spaces facing the left and right doors are connected to each other. In the shelf area, there may be cases where items, foods, or vegetables are stored across the left and right sides. If stored across the shelf, items can be withdrawn or received by opening only one of the left and right doors, so even if only one of the left and right doors is opened, the entire shelf area is integrated and replaced with the latest data. Because there is a need. In consideration of this point, even if only one of the left and right doors is opened, the entire shelf area can be updated.
이를 더 상세히 설명하면, 도어가 열림 상태에서 드로워가 열린 것으로 판단되면, 제어부는 전송된 전체 사진으로부터 선반영역과 드로워영역을 분리하여 임시적으로 버퍼링한다. 그리고, 사용자가 드로워영역 또는/과 선반영역에서 물품 입출고 행위를 마치고, 드로워를 닫을려고 했을 때, 즉 드로워가 열린 후 정지된 상태에서 움직이기 시작했을 때, 임시 버퍼링된 영상 중에서 가장 최근에 촬영된 영상에서 드로워영역 내의 필요한 부분을 캡처(capture or cut)하여 최근 드로워영역의 보관 상태의 이미지로써 저장부에 저장한다. 이와 함께, 냉장고 디스플레이에 표시된 냉장고 고내 영상에서 드로워영역에 대해 상기 캡처된 이미지를 최근 영상으로 교체하여 업그레이드(upgrade)한다. 그리고, 이와 더불어 제어부는 상기 캡처된 드로워영역의 이미지를 네트웍으로 연결되어 있는 서버시스템으로 송부한다. In more detail, if it is determined that the drawer is opened while the door is open, the control unit separates the shelf area and the drawer area from the transmitted whole picture and temporarily buffers it. And, when the user finishes the act of putting in/out items in the drawer area or/and the shelf area, and attempts to close the drawer, that is, when the drawer is opened and then starts moving from a standstill, the most recent temporary buffered video The required part in the drawer area is captured (captured or cut) from the image taken in the image and stored as an image of the latest drawer area in the storage unit. In addition, the captured image of the drawer area in the image inside the refrigerator displayed on the refrigerator display is replaced with the latest image to be upgraded. In addition, the control unit transmits the captured image of the drawer area to the server system connected to the network.
한편, 상기 도어가 열림 상태에서 드로워의 열림이 감지되지 않아 닫혀 있는 것으로 판단되면, 제어부는 전송된 영상의 전체 사진이 상기 선반영역과 상기 수납영역을 포함하고 있는 것으로 판단한다. 따라서, 상기 전체 사진으로부터 선반영역과 수납영역을 분리하여 임시적으로 버퍼링한다. On the other hand, if it is determined that the drawer is closed because the drawer is not opened in the open state, the control unit determines that the entire picture of the transmitted image includes the shelf area and the storage area. Accordingly, the shelf area and the storage area are separated from the entire picture and temporarily buffered.
사용자가 수납영역 및/또는 선반영역에서 물품을 입고, 출고하는 작업을 완료하고 도어를 닫으면, 상기 도어 센서는 도어가 지정된 각도를 지나칠 때를 감지하여 제어부에 신호를 송출한다. 제어부는 상기 도어 센서로부터 송신된 신호에 의해 도어가 닫히기 직전(도어 등의 방해물에 의해서 사진이 가려지기 직전이라고 표현될 수 있다)이라고 판단하고, 임시 버퍼링된 영상 중에서 가장 최근의 촬영된 영상에서 수납영역 내의 필요한 부분을 캡처하여 상기 수납영역의 최근 보관 상태의 이미지로써 메모리에 저장한다. 이와 함께, 디스플레이에 표시된 냉장고 고내 영상에서 수납영역에 대해 상기 캡처된 이미지를 교체하여 upgrade한다. When the user completes the work of putting in and leaving the goods in the storage area and/or the shelf area and closing the door, the door sensor detects when the door passes a specified angle and transmits a signal to the control unit. The control unit determines that the door is just before the door is closed by the signal transmitted from the door sensor (it can be expressed as just before the picture is covered by an obstruction such as a door), and is received from the most recently captured image among the temporary buffered images. The required portion of the area is captured and stored in the memory as an image of the latest storage state of the storage area. In addition, the image in the refrigerator compartment displayed on the display is upgraded by replacing the captured image for the storage area.
이때 업그레이드는 기존 이미지에서 최신 이미지로 대체되는 것을 의미할 수 있다. 그리고, 이와 더불어 제어부는 상기 캡처된 드로워영역의 이미지를 네트웍으로 연결되어 있는 서버시스템으로 송부한다.In this case, the upgrade may mean that the existing image is replaced with the latest image. In addition, the control unit transmits the captured image of the drawer area to the server system connected to the network.
한편, 드로워가 열림 상태이거나 닫힘 상태이거나, 선반 영역은 도어가 닫히기 직전이라고 판단되는 시점에 버퍼링되고 있는 이미지 중에서 가장 최근 이미지를 캡처하여 메모리에 선반영역의 최근 물품 보관 상태로써 저장된다.On the other hand, the drawer is in an open state or in a closed state, or the shelf area is stored as a storage state of the latest items in the shelf area by capturing the most recent image from the images being buffered at a time when it is determined that the door is just before closing.
상기 캡쳐된 이미지(최근 선반영역 이미지, 최근 드로워영역의 이미지 또는 최근 수납영역 이미지 중 어느 하나 또는 이들 모두)에 의해 냉장고 디스플레이의 표시된 이미지를 교체하거나 서버시스템으로의 전송 또는 냉장고와 통신으로 연결되어 있는 사용자의 모바일 장치로의 전송은 상기 캡처된 이미지를 상기 냉장고 메모리에 저장하면서 동시에 진행할 수도 있으며, 사용자가 요구가 있을 때 한꺼번에 이루어지거나, 개별 영역별로 사용자의 요구 신호에 의해 이루어질 수도 있다.The displayed image on the refrigerator display is replaced by the captured image (a recent shelf area image, a recent drawer area image, or a recent storage area image, or both), or transmitted to a server system or communicated with the refrigerator. The transmission of the user to the mobile device of the existing user may be performed simultaneously while storing the captured image in the refrigerator memory, and may be performed at once when the user requests it, or may be performed by a user request signal for each individual area.
여기서, 카메라로부터 전송된 하나의 영상은 제어부에 의해 하나의 이미지로 버퍼링될 수 있다. 상기 하나의 이미지는 도어가 열린 상태에 촬영된 것이라고 판단되면, 드로워 개폐 상태에 따라 상기 하나의 이미지에서 드로워영역을 포함하는지, 수납영역을 포함하는지가 판단될 수 있다. 그러한 판단이 되면서 해당되는 이미지를 추출하여 별도의 임시 버퍼에 각각 버퍼링된다. Here, one image transmitted from the camera may be buffered as one image by the controller. If it is determined that the one image is taken while the door is open, it may be determined whether the drawer area or the storage area is included in the one image according to the drawer opening/closing state. When such a determination is made, the corresponding images are extracted and buffered in separate temporary buffers, respectively.
하나의 이미지가 드로워가 닫히기 시작하는 시점에 촬영된 것이라고 판단되면, 상기 임시 버퍼링되고 있는 이미지 중에서 가장 최근 이미지를 메모리에 저장하고, 다시 사용자에 의한 새로운 입출고 행위가 완료되면 최근 이미지로 교체되게 된다. 또한, 도어가 닫히기 직전이라고 판단되면, 상기 임시 버퍼링 되고 있는 수납영역의 이미지 중에서 가장 최근 이미지를 메모리에 저장한다. If it is determined that one image was taken at the point when the drawer starts to close, the most recent image among the temporary buffered images is stored in the memory, and when a new input/output operation by the user is completed, the latest image is replaced. . Also, if it is determined that the door is just before closing, the most recent image among the images of the temporary buffered storage area is stored in the memory.
한편, 상기 선반영역은 버퍼링되고 있는 전체 이미지 중에서 도어가 닫히기 직전 가장 최근 이미지에서 선반영역만을 추출하여 메모리에 저장할 수 있고, 별도의 선반영역 용으로 임시 버퍼를 준비하여 선반영역만을 추출하여 버퍼링해 갈 수도 있다.On the other hand, the shelf area can be stored in the memory by extracting only the shelf area from the most recent image immediately before the door is closed among all images being buffered, and a temporary buffer is prepared for a separate shelf area to extract and buffer only the shelf area. May be.
이하에서는, 도 52 내지 도 55를 참조하여, 앞서 설명한 다양한 방법에 의해 획득된 가장 최근의 냉장고 내부 이미지가 개인의 이동 단말기 또는 사업자 서버로 전송되어 활용되는 다양한 실시 예에 대하여 설명한다. Hereinafter, with reference to FIGS. 52 to 55, various embodiments in which the most recent image inside the refrigerator obtained by the various methods described above are transmitted to and utilized by a personal mobile terminal or a business server will be described.
도 52는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램(ladder diagram)이다.52 is a ladder diagram for explaining a method of operating a refrigerator according to another embodiment of the present invention.
도 52를 참조하면, 제어부(100)는 도 34를 참조하여 설명한 바와 같은 단계를 거쳐 냉장고 내부 특정 영역의 최종 사진이 획득되었다고 판단되는 경우(S1101), 보정 처리된 최종 이미지를 이벤트 형식으로 단말기(2)에 전송한다(S1103). 단말기(2)는 스마트폰, PDA(Personal Digital Assistant), 태블릿 PC(Tablet PC) 등을 포함할 수 있으며, 이에 한정되는 것은 아니다. 이때. 제어부(100)는 냉장고 내부의 최종 이미지 뿐만 아니라, 이하에서 설명하는 최종 이미지와 관련된 각종 정보 역시 단말기(2)에 전송할 수 있다.Referring to FIG. 52, when it is determined that the final photo of a specific area inside the refrigerator has been obtained through the steps described with reference to FIG. 34 (S1101), the terminal (S1101) converts the corrected final image into an event format. Transfer to 2) (S1103). The
이때, 제어부(100)는 최종 사진을 통해서 최종 이미지가 획득되는 즉시, 최종 이미지를 단말기(2)에 전송할 수도 있고, 획득된 최종 이미지를 저장부(18)에 저장한 후, 미리 정해진 주기에 따라 이벤트 형식으로 저장된 이미지를 단말기(2)에 전송할 수도 있으며, 이에 한정되는 것은 아니다.At this time, the
이어서, 단말기(2)는 사용자 선택에 따라 수신된 최종 이미지를 표시한다(S1105). 예컨대, 단말기(2)는 사용자 선택에 따라 냉장고 내부 이미지를 수신 및 표시할 수 있는 애플리케이션을 실행할 수도 있고, 멀티미디어 서비스를 수행하여 수신된 냉장고 내부 이미지를 표시할 수도 있다.Subsequently, the
이와 같은 본 발명의 실시 예에 따르면, 사용자가 직접 냉장고 내부를 들여다보지 않더라도, 이동 단말기를 이용하여 냉장고 내부 이미지를 확인할 수 있으므로, 원격으로 현재의 냉장고 내부 상황을 파악할 수 있는 실익이 있다.According to the exemplary embodiment of the present invention, even if the user does not directly look inside the refrigerator, the image inside the refrigerator can be checked using the mobile terminal, so that there is a practical advantage in that the current internal situation of the refrigerator can be recognized remotely.
도 53은 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.53 is a ladder diagram illustrating a method of operating a refrigerator according to another embodiment of the present invention.
도 53을 참조하면, 제어부(100)는 앞서 설명한 바와 같이 냉장고 내부 특정 영역의 최종 사진이 획득되었다고 판단되는 경우(S1301), 최종 사진을 영역별로 구분해서 이미지를 생성한 후에, 획득된 최종 이미지가 저장부(18)에 저장되도록 제어한다(S1303).Referring to FIG. 53, when it is determined that the final photo of a specific area inside the refrigerator has been obtained as described above (S1301), after generating an image by dividing the final photo by area, the obtained final image is It controls to be stored in the storage unit 18 (S1303).
이어서, 단말기(2)는 현재의 냉장고 내부 이미지 즉, 냉장고 특정 영역의 최종 이미지 표시를 위한 사용자 입력이 수신되면(S1305), 냉장고에, 최종 이미지 요청 명령(request)을 전송한다(S1307).Subsequently, when a user input for displaying the current internal image of the refrigerator, that is, a final image of a specific area of the refrigerator is received (S1305), the
그리고, 제어부(100)는 최종 이미지 요청 명령(request)에 대한 응답(response)으로 저장부(18)에 저장된 이미지 중에서 가장 최근에 촬영 및 저장된 냉장고 내부 이미지가 단말기(2)에 전송되도록, 통신부(270)를 제어한다(S1309).In addition, the
이와 같은 본 발명의 실시 예에 따르면, 사용자가 필요한 경우에 한하여 이동 단말기와 냉장고 간의 통신이 수행됨으로써, 보다 효율적이고 경제적일 수 있다. 이하에서는 요청(request)에 대한 응답(response)으로 이미지 등이 전송되는 경우만을 설명하나, 도 35를 참조하여 설명한 바와 같은 이벤트(event) 형식으로 이미지 등이 전송되는 경우 역시 포함되는 것이며, 이에 한정되는 것은 아니다.According to the embodiment of the present invention, communication between the mobile terminal and the refrigerator is performed only when the user needs it, so that it can be more efficient and economical. Hereinafter, only a case in which an image is transmitted as a response to a request is described, but the case in which an image is transmitted in an event format as described with reference to FIG. 35 is also included, and is limited thereto. It does not become.
도 54는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.54 is a ladder diagram illustrating a method of operating a refrigerator according to another embodiment of the present invention.
도 54를 참조하면, 제어부(100)는 앞서 설명한 바와 같이 냉장고 내부 특정 영역의 최종 사진이 획득되었다고 판단되는 경우(S1501), 최종 사진으로부터 획득된 최종 이미지가 저장부(18)에 저장되도록 제어한다(S1503).Referring to FIG. 54, when it is determined that a final picture of a specific area inside the refrigerator is obtained as described above (S1501), the
이어서, 마켓 서버(3)와 같은 사업자 서버가 현재의 냉장고 내부 이미지 표시를 위한 사용자 입력을 수신하면(S1505), 마켓 서버(3)는 냉장고에 최종 이미지 요청 명령(request)을 전송한다(S1507). 이때, 마켓 서버(3)는 사용자 입력이 없이, 미리 정해진 주기에 따라 냉장고에 최종 이미지 요청 명령(request)을 전송할 수도 있다.Subsequently, when a business server such as the
그리고, 제어부(100)는 이미지 요청 명령(request)에 대한 응답(response)으로 저장부(18)에 저장된 이미지 중에서 가장 최근에 촬영 및 저장된 냉장고 내부 최종 이미지가 마켓 서버(3)에 전송되도록 한다(S1509).In addition, the
냉장고 내부의 최종 이미지를 수신한 마켓 서버(3)는 최종 이미지를 분석한다(S1511). 마켓 서버(3)는 최종 이미지를 분석하여, 해당 냉장고에 현재 저장된 저장물, 현재 저장되어 있지 않은 저장물을 알아내고, 과거 해당 냉장고에 저장되어 있었으나, 현재 저장되어 있지 않은 저장물 등을 분석하는 등 서비스 제공에 필요한 정보를 추출할 수 있다.Upon receiving the final image inside the refrigerator, the
마켓 서버(3)는 최종 이미지 분석을 통해 추출한 부족한 물품 리스트를 해당 냉장고에 전송한다(S1513).The
도 55는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.55 is a ladder diagram illustrating a method of operating a refrigerator according to another embodiment of the present invention.
도 55를 참조하면, 제어부(100)는 앞서 설명한 바와 같이 냉장고 내부 특정 영역의 최종 사진이 획득되었다고 판단되는 경우(S1701), 최종 사진으로부터 보정된 최종 이미지가 저장부(18)에 저장되도록 제어한다(S1703).Referring to FIG. 55, when it is determined that the final picture of a specific area inside the refrigerator is acquired as described above (S1701), the
이어서, 방송국 서버(4)와 같은 사업자 서버가 냉장고 내부의 최종 이미지 표시를 위한 사용자 입력을 수신하면(S1705), 방송국 서버(4)는 냉장고에 최종 이미지 요청 명령(request)을 전송한다(S1707). 이때, 방송국 서버(4)는 사용자 입력이 없이, 미리 정해진 주기에 따라 냉장고에 최종 이미지 요청 명령(request)을 전송할 수도 있다.Subsequently, when a business server such as the broadcasting station server 4 receives a user input for displaying the final image inside the refrigerator (S1705), the broadcasting station server 4 transmits a final image request command to the refrigerator (S1707). . In this case, the broadcasting station server 4 may transmit a final image request command to the refrigerator according to a predetermined period without user input.
그리고, 제어부(100)는 최종 이미지 요청 명령(request)에 대한 응답(response)으로 저장부(18)에 저장된 이미지 중에서 가장 최근에 촬영 및 저장된 냉장고 내부의 최종 이미지가 방송국 서버(4)에 전송되도록 제어한다(S1709).In addition, the
최종 이미지를 수신한 방송국 서버(4)는 최종 이미지를 분석한다(S1711). 방송국 서버(4)는 최종 이미지를 분석하여, 해당 냉장고에 현재 저장된 저장물을 알아내고, 현재 저장된 저장물을 이용하여 만들 수 있는 요리 등을 분석하는 등 서비스 제공에 필요한 정보를 추출할 수 있다.Upon receiving the final image, the broadcasting station server 4 analyzes the final image (S1711). The broadcasting station server 4 analyzes the final image, finds out a storage object currently stored in a corresponding refrigerator, and extracts information necessary for service provision, such as analyzing dishes that can be made using the currently stored storage object.
방송국 서버(4)는 최종 이미지 분석을 통해 현재 저장된 저장물을 이용하여 만들 수 있는 요리의 레시피 정보 등을 해당 냉장고에 전송한다(S1713).The broadcasting station server 4 transmits recipe information of a dish that can be made using the currently stored storage material to the corresponding refrigerator through final image analysis (S1713).
제어부(100)는 방송국 서버(4)로부터 수신된 현재 저장된 저장물을 이용하여 만들 수 있는 요리의 레시피 정보 등을 냉장고에 설치된 디스플레이(14)에 표시한다(S1715)The
이와 같은 본 발명의 실시 예에 따르면, 관련 사업자가 가정 또는 기업에 위치한 냉장고 내부 상황을 정확하게 파악하여, 해당 가정 또는 기업에 적합한 냉장고 관련 서비스를 제공할 수 있는 실익이 있다.According to such an embodiment of the present invention, there is a practical advantage in that a related business operator can accurately identify the internal situation of a refrigerator located at a home or a business, and provide a refrigerator-related service suitable for a corresponding home or business.
도 56은 카메라의 히터의 작동을 설명한 도면이고, 도 57은 카메라의 투명창에 온도별로 발생되는 결로에 관한 실험 결과를 설명한 도면이다. 이하 도 56을 참조해서 설명한다. 도 56에서는 도 14 내지 도 17에서 설명된 형태의 히터를 기준으로 설명한다.FIG. 56 is a diagram illustrating an operation of a heater of a camera, and FIG. 57 is a diagram illustrating an experiment result of condensation generated by temperature in a transparent window of a camera. Hereinafter, it demonstrates with reference to FIG. In FIG. 56, the heater of the type described in FIGS. 14 to 17 will be described.
도 56(a)는 상기 히터(84)에 단속적으로 전원이 공급되어서 단속적으로 가동되는 형태의 그래프이고, 도 56(b)는 상기 히터(84)가 지속적으로 전원이 공급되어서 계속 가동되는 형태의 그래프이다. Figure 56 (a) is a graph of a form in which power is intermittently supplied to the
도 56(a)는 상기 투명창(80)의 온도를 평소 제어하지 않고 상기 저장실(22) 온도와 같이 평형상태로 유지하다가, 냉장고 카메라 촬영 필요 시점에 순간 높은 전력을 인가하는 방식이다. 특히 사진 촬영을 하는 직전에 상기 히터(84)를 작동해서 상기 투명창(80)에 발생된 결로를 제거할 수 있다.56(a) shows a method in which the temperature of the
상기 도어(20)가 열리면서, 상기 투명창(80)이 상기 도어(20)를 통해서 들어온 따뜻한 외기에 포함된 수분에 접촉할 수 있다. 이때 상기 투명창(80)은 외기에 비해서 상대적으로 온도가 낮기 때문에, 외기에 포함된 수분이 상기 투명창(80)에서 응결되면서, 결로현상이 발생된다. As the
이런 결로 현상으로 발생된 이슬을 제거하기 위해서, 상기 히터(84)가 순간적으로 구동된다면, 실제 상기 투명창(80)의 이슬이 제거될 때까지 시간이 필요하다는 문제가 있을 수 있다. 따라서 촬영이 필요한 시점이 이슬이 제거되는 시점보다 빠르다면 상기 투명창(80)에 이슬이 맺혀있을 수 있다는 문제가 발생할 수 있다. In order to remove the dew generated by the condensation phenomenon, if the
반면에 도 56(b)는 상기 히터(84)가 계속 구동되어서, 상기 투명창(80)에 열이 공급되는 방식이다. 상기 투명창(80)의 온도는 항상 결로 발생 온도 이상으로 유지하기 때문에 상기 투명창(80)에 항상 결로가 발생되지 않는다. 따라서 상기 도어(20)가 개방되어 상기 투명창(80)이 외기에 접촉하더라도 외기에 포함된 수분이 상기 투명창(80)에 이슬로 맺히지는 않게 된다. 따라서 순간적으로 상기 카메라(70)가 사진을 촬영해야하는 시점에 상기 투명창(80)에 이슬이 맺혀있는 것을 방지할 수 있다. On the other hand, FIG. 56(b) shows a method in which the
상기 히터(84)를 구동함에 있어서, 결로에 의한 영상품질 문제를 없도록 하는 점과, 상기 히터(84)의 소비전력으로 인해서 냉장고의 소비전력이 급격히 증가하지 않도록 해야 한다. 또한 상기 히터(84)에 의해서 공급되는 열로 인해서 고내 온도에 영향을 주지 않도록 해야 한다는 점도 고려하는 것이 바람직하다.In driving the
본 발명자들은 히터의 소비전력을 최소화하고 냉장고 고내에 영향을 주지 않기 위해서는 히터를 오프(off)하는 시간을 크게 하여 운전하는 것이 필요할 것으로 보았다. 그러나, 히터의 오프(off)하는 시간을 길게 설정하면, 결로가 발생할 것임을 우려하여, 카메라 투명창에 목표 온도를 설정하고, 냉장고 외기 온도 섭씨 32도, 상대습도 85% 조건(이슬점 온도는 대략 섭씨 29도~30도 수준이 되는 조건)에서 실험했다(도 57 참조). 도 57a에서 y축은 투명창에 발생되는 결로량을 의미하고, 57b에서 y축은 현재 수증기량 대비 해당 온도에서 실제로 발생되는 결로량의 백분율을 의미한다.The inventors of the present invention considered that it is necessary to operate with a longer time to turn off the heater in order to minimize the power consumption of the heater and not affect the refrigerator compartment. However, if you set the time to turn off the heater for a long time, you are concerned that condensation will occur, so you set the target temperature on the transparent window of the camera, and the outside temperature of the refrigerator is 32 degrees Celsius and 85% relative humidity (the dew point temperature is approximately degrees Celsius). The experiment was conducted under conditions of 29 degrees to 30 degrees) (see FIG. 57). In FIG. 57A, the y-axis indicates the amount of condensation generated in the transparent window, and in 57b, the y-axis indicates the percentage of the amount of condensation actually generated at a corresponding temperature compared to the current amount of water vapor.
반복된 실험에서 도출된 히터의 온/오프(on/off) 운전 주기는 고내의 특수한 온도 조건 하에서는, 카메라에서 촬영된 사진의 영상 품질에 악화시킬 수 있었다. The on/off operation cycle of the heater derived from repeated experiments could deteriorate the image quality of pictures taken by the camera under special temperature conditions inside the chamber.
히터의 적절한 온/오프(on/off) 주기를 찾는다 하더라도, 히터가 off되는 시간 동안에 사용자의 냉장고 사용 패턴은 예측할 수 없을 정도로 다양할 수 있다. Even if an appropriate on/off period of the heater is found, a user's refrigerator usage pattern during the time when the heater is turned off may be unpredictably varied.
예를 들어 사용자가 냉장고 도어를 장시간 동안 열어 놓았을 경우, 카메라 커버 글래스(Cover Glass)(커버 글래스는 상술한 투명창을 의미할 수도 있고, 카메라 렌즈의 앞단에 놓여지는 다양한 형태의 창을 의미할 수 있다) 표면에 많은 량의 결로가 생기게 된다. 이러한 경우에 히터를 작동시켜 커버 글래스를 가열하더라도 증발에는 많은 시간이 소요되기 때문에, 해당 시점에 촬영을 하면 영상 품질에 문제가 있다. E또한 이미 발생된 이슬을 커버 글래스로부터 증발시키는 데에는 많은 시간은 물론 많은 전력이 소모되었다.For example, when the user has opened the refrigerator door for a long time, the camera cover glass (Cover glass may mean the above-described transparent window, or various types of windows placed on the front end of the camera lens). There is a lot of condensation on the surface. In this case, even if the cover glass is heated by operating the heater, since evaporation takes a lot of time, there is a problem in image quality when photographing at that time. E Also, it took a lot of time as well as a lot of power to evaporate the already generated dew from the cover glass.
또한 저장실이 냉장실일 경우, 고내 온도가 통상 섭씨 0도에서 7도 사이로 유지되고, 내부 체적 또한 커버 글래스 표면적에 보다 크다. 히터에 의해서 공급되는 열은 저장실 내부의 냉기로 많은 부분이 누출될 수밖에 없다. 따라서 커버 글래스에 생성된 이슬을 증발시키기 위해서는 짧은 시간 동안 많은 양의 열이 가해져야 한다. 그러한 열을 짧은 시간 동안 집중적으로 공급하기 위해서는 용량이 큰 히터를 사용하고, 순간 사용 전력이 크게 증가하기 때문에 전력 사정이 좋지 않은 상태에서는 다양한 문제가 발생될 수 있다. In addition, when the storage compartment is a refrigerating compartment, the interior temperature is usually maintained between 0°C and 7°C, and the internal volume is also larger than the cover glass surface area. Heat supplied by the heater is inevitably leaked out of the cold air inside the storage compartment. Therefore, in order to evaporate the dew generated on the cover glass, a large amount of heat must be applied for a short time. In order to intensively supply such heat for a short period of time, a heater having a large capacity is used, and the instantaneous power used is greatly increased. Therefore, various problems may occur in a poor power condition.
따라서, 커버 글래스에 일정 이상의 결로량이 처음부터 지속적으로 발생되지 않게 하는 것이 바람직하고, 본 발명에서는 상기 히터를 온/오프(on/off) 주기 없이 상시 운전을 하도록 전원을 인가하는 것을 특징으로 한다.Therefore, it is desirable to prevent the amount of condensation above a certain level from being continuously generated in the cover glass from the beginning, and in the present invention, power is applied so that the heater is constantly operated without an on/off cycle.
상기 히터에 전원을 상시 인가하는 방법은 냉장고에 전원이 인가되면 바로 상기 카메라 히터에 해당 전원을 인가되게 구성할 수도 있고, 냉장고 제어부를 통해 저장실이 정상 운전 동안에 히터에 상시 전원을 인가하도록 제어할 수도 있다. The method of constantly applying power to the heater may be configured to apply the power to the camera heater immediately when power is applied to the refrigerator, or control the storage compartment to always apply power to the heater during normal operation through the refrigerator control unit. have.
이어서, 커버 글래스의 가열온도에 대해 설명한다. 온도 대별로 얻은 영상 샘플을 토대로 품질 평가를 해 본 결과 상기 커버 글래스의 중심 부분의 온도가 대략 이슬점 온도에 대해 ½ 인 온도까지는 샘플 영상의 품질에 큰 문제가 없다는 것을 확인할 수 있었다. 영상 품질에 문제가 없다는 것은 촬영된 사진을 통해서 저장실에 저장된 물품의 종류 및 수량을 파악할 수 있을 정도를 의미할 수 있다.Next, the heating temperature of the cover glass will be described. As a result of performing quality evaluation based on the image samples obtained for each temperature range, it was confirmed that there was no significant problem in the quality of the sample image until the temperature of the center portion of the cover glass was approximately ½ of the dew point temperature. No problem in image quality may mean a degree to be able to grasp the type and quantity of items stored in the storage room through the photographed photos.
특히 도 57b의 제(3)지점인 13.5도에서 얻은 영상 샘플의 품질은 적용가능한 수준이었다. 물론 커버 글래스의 가열 온도를 이슬점 이상의 온도로 유지하는 것도 가능하지만, Cover Glass의 가열온도가 약 섭씨 13도에서 약 30도 사이가 유지되도록 히터에 전력을 공급할 수 있다.In particular, the quality of the image sample obtained at 13.5 degrees, point (3) of FIG. 57B, was at an applicable level. Of course, it is possible to maintain the heating temperature of the cover glass above the dew point, but power can be supplied to the heater so that the heating temperature of the cover glass is maintained between about 13 degrees Celsius and about 30 degrees Celsius.
한편 실험 결과를 통해서커버 글래스의 가열온도는 동일한 인가전력이 공급되는 조건에서는 커버 글래스의 외곽 크기에 따라 차이가 있으며, 커버 글래스의 두께에는 큰 차이가 없었다. 따라서, 동일한 커버 글래스 크기에서 이슬점 온도의 1/2수준에서 영상품질은 만족하였으므로, 이를 하한점으로 하되, 히터의 소비전력(인가전력) 차원에서 적절한 상한점을 두고 선택하는 것이 바람직하다.Meanwhile, according to the experimental results, the heating temperature of the cover glass differs depending on the outer size of the cover glass under the condition that the same applied power is supplied, and there was no significant difference in the thickness of the cover glass. Therefore, since the image quality was satisfied at the level of 1/2 of the dew point temperature in the same cover glass size, it is preferable to set this as a lower limit, but to select an appropriate upper limit in terms of power consumption (applied power) of the heater.
커버 글래스를 가열할 때에 이슬점 온도(29.2도) 근처에서의 인가전력이 0.45W이고, 이슬점 온도의 약 0.58배 수준(섭씨 17.1도)에서의 인가전력이 0.27W였다. 따라서, 이슬점 온도의 0.5 ~ 0.7 범위에서는 소모 전력도 대략 0.5 배이기 때문에 소비전력 감소에 큰 효과를 볼 수 있었다.When heating the cover glass, the applied power near the dew point temperature (29.2 degrees) was 0.45 W, and the applied power at about 0.58 times the dew point temperature (17.1 degrees Celsius) was 0.27 W. Therefore, in the range of 0.5 to 0.7 of the dew point temperature, the power consumption is also approximately 0.5 times, so that a great effect in reducing power consumption can be seen.
통상 가변될 수 있는 외기 조건에서 이슬점 온도의 중간 대역이 대략 섭씨 12 도 내지 17도로 결정될 수 있다. 따라서, 상기 히터에는 상기 투명창의 중앙 부분의 온도가 대략 섭씨 12 도 내지 17도로 유지하기 위한 전류값이 인가됨이 바람직하다. In general, the intermediate band of the dew point temperature may be determined to be approximately 12 degrees to 17 degrees Celsius under variable ambient conditions. Therefore, it is preferable that a current value is applied to the heater to maintain the temperature of the central portion of the transparent window at approximately 12 to 17 degrees Celsius.
즉 본 발명에서는 커버 글래스의 온도를 이슬점이 아닌, 이슬점보다 낮은 온도로 유지해서 히터에 의해서 소모되는 전력을 감소하는 효과를 얻을 수 있다.That is, in the present invention, it is possible to obtain an effect of reducing the power consumed by the heater by maintaining the temperature of the cover glass at a temperature lower than the dew point, not the dew point.
도 58은 투명창의 단면도이다. 이하 도 58을 참조해서 설명한다.58 is a cross-sectional view of a transparent window. Hereinafter, it demonstrates with reference to FIG.
상기 투명창(80)은 친수코팅된 것이 가능하다. 이때 상기 투명창(80)은 상술한 커버(90)를 의미할 수 있다.The
상기 투명창(80)에 순간적으로 이슬이 맺히더라도, 도 58에서와 같이 친수코팅으로 인해서 물의 접촉각(α)가 15도 이내로 형성될 수 있다. 친수코팅이 되면 해당 표면에 대한 물의 표면 장력이 작아지게 된다. 따라서 물이 상기 투명창(80)의 표면에 넓게 펴질 수 있기 때문이다. 따라서, 투명창과 저장실의 천정면 사이의 각도가 대략 10도 내지 20도 사이가 되도록, 상기 카메라가 저장실의 천정면에 고정될 수 있다.Even if dew momentarily forms on the
따라서 상기 투명창(80)에 맺힌 물로 인해서 촬영된 사진에 대한 왜곡을 최소화하는 것이 가능하다. 또한 친수코팅은 한 번 제작된 이후에 추가적인 전기를 공급하는 등의 제어를 할 필요가 없기 때문에, 에너지 효율 측면에서 장점을 가질 수 있다.Therefore, it is possible to minimize distortion of the photographed picture due to water condensed on the
도 59와 도 60은 카메라가 인너 케이스에 설치되는 구조를 간략하게 도시한 도면이다. 참고로 도 59a와 도 60a는 저장실의 측면을 바라본 도면이고, 도 59b와 도 60b는 인너 케이스의 상측으로 올려다본 도면이다. 이하 도 59 및 도 60을 참조해서 설명한다. 이러한 실시예들을 통해서 외부 공기가 커버(90)에 이르는 경로를 우회시켜 커버(90)에서 응축이 발생되는 것을 최소화할 수 있다. 59 and 60 are views schematically showing a structure in which a camera is installed in an inner case. For reference, FIGS. 59A and 60A are views as viewed from the side of the storage compartment, and FIGS. 59B and 60B are views as viewed from the upper side of the inner case. Hereinafter, a description will be given with reference to FIGS. 59 and 60. Through these embodiments, it is possible to minimize the occurrence of condensation in the
상기 카메라(70)는 상기 인너 케이스(12)의 천정으로부터 하측으로 돌출된 돌출부(500)에 설치될 수 있다. 이때 상기 돌출부(500)는 상기 인너 케이스(12)의 다른 부분에 비해서 하방을 향해서 튀어나와 있는 부분을 의미할 수 있다. 이러한 돌출부(500)는 전술한 카메라 하우징들을 통해 구현될 수도 있다.The
이때 도 59에 도시된 바와 같이, 상기 카메라(70)는 상기 돌출부(500) 내에서, 상기 저장실(22)의 내측벽을 바라보도록 설치된다. 커버(90)를 통해서 상기 카메라(70)는 상기 저장실(22) 내부의 사진을 촬영할 수 있다. 따라서 상기 커버(90)는 상기 돌출부(500)에서 상기 저장실(22)의 후벽을 바라보는 위치에 배치된다.In this case, as shown in FIG. 59, the
이때 상기 커버(90)에 외기에 포함된 수분이 접촉하면서 냉각되어 이슬이 발생하게 된다. At this time, the
그러나 상기 커버(90)는 상기 저장실(22)의 후벽을 바라보도록 배치되기 때문에, 외기가 상기 커버(90)에 도달하는 경로가 길어질 수 있다. However, since the
즉 상기 도어(20)를 통과하는 외기가 상기 저장실(22)을 통과해서 상기 커버(90)에 접촉하기 위해서는 도 59b와 같은 경로를 통해야 하는데, 이때 외기는 상기 저장실(22)의 냉기와 접촉하면서 포함하고 있던 수분 중 일부가 다른 부분에서 응결될 수 있다. 따라서 외기는 상기 저장실(22) 내에서 수분의 양이 점차 줄어들면서 상기 커버(90)에 도달될 수 있다.That is, in order for the outside air passing through the
즉 상기 도어(20)가 열려있더라도 상기 저장실(22) 내부는 상기 저장실(22) 외부에 비해서 저온을 유지하고, 즉시 외기와 동일한 온도로 바뀌지는 않기 때문에 외기가 상기 저장실(22)로 진입하면서 열교환이 이루어진다. That is, even if the
다시 말해서, 상기 커버(90)가 상대적으로 외기와 접촉하기 어려운 위치에 배치된다면 상기 커버(90)에 발생되는 이슬의 양이 줄어들 수 있고, 이슬이 발생되는 시점이 늦어질 수 있다. In other words, if the
먼저, 외기는 고내로 진입하면서 돌출부(500)의 전방면(501)에 접하게 된다. 이때, 전방면(501)에 접하는 외기는 돌출부의 좌우로 경로가 변경되면서 고내로 더욱 진입한다. 이러한 외기는 돌출부(500)의 측면(502)에 접하면서 커버(90)로 도달될 수 있다. 따라서, 커버(90)로 도달되기 전에 많은 양의 수분이 응축될 수 있다.First, the outside air comes into contact with the
또한, 돌출부(500)의 전방면(501)에 접하는 외기는 하강하여 돌출부의 하면(503)을 타고 상승할 수 있다. 따라서, 전방면(501)과 하면(503)으로 이동하면서 많은 양의 수분이 응축될 수 있다. In addition, the outside air in contact with the
아울러, 상기 커버(90)는 전방면(501), 측면(502) 그리고 하면(503)으로 둘러싸인 형태에서 기울어지게 장착된다. 따라서, 외기의 경로와 커버(90)가 수직을 이루지 않게 된다. 따라서, 외기가 커버(90)에 도달하여 급격하게 응축되는 것 또한 방지될 수 있다. In addition, the
특히 상기 돌출부(500)의 폭, 특히 전방면(5010)의 좌우 폭은 상기 카메라(70)의 폭보다 넓은 것이 가능하다. In particular, the width of the
도 60에 도시된 실시예는 도 59에 도시된 실시예와 매우 유사하다. 다만, 카메라가 수직 하부를 바라보도록 장착된 것이 다르다고 할 수 있다. 따라서, 도 59에 도시된 예와 동일한 효과를 가져올 수 있다.The embodiment shown in FIG. 60 is very similar to the embodiment shown in FIG. 59. However, it can be said that the camera is mounted so as to face the vertical lower part. Therefore, the same effect as the example shown in FIG. 59 can be obtained.
또한 상기 돌출부(500)는 후방면(504)을 포함할 수 있다. 상기 전방면(501)의 상하 길이가 상기 후방면(504)의 상하 길이보다 큰 것이 바람직하다. 즉, 상기 전방면(501)이 상기 인너 케이스(12)의 하방으로 더 많이 돌출되어 있는 것이 가능하다.In addition, the
따라서 외기가 상기 커버(90)에 도달하기 위해서는, 수평 방향으로는 상기 돌출부(500)의 폭에 의해서 경로가 길어지고, 수직 방향으로는 상기 돌출부(500)의 돌출된 높이 차이에 의해서 경로가 길어지게 된다.Therefore, in order for the outside air to reach the
이러한 돌출부(500)의 구조 또는 카메라를 장착하는 구조를 통해 커버(90)에서의 응축 방지는 카메라의 설치 위치와 매우 관련이 있다. 즉, 저장실의 천정에서 수직 하부에서 수직에서 소정 각도 후방으로 기울어지는 각도 범위로 카메라를 설치할 수 있기 때문이다. 따라서, 저장실 내에서 저장실 내의 전체 영역을 효과적으로 촬영하면서 외기의 유입 경로를 효과적으로 우회시킬 수 있다. Condensation prevention in the
종래 기술에서는 카메라를 본체 저장실의 측벽이나 본체 외부 상단, 도어 또는 도어 상부에 장착하는 기술을 개시한 것들이 있다. In the prior art, there have been disclosed techniques for mounting a camera on a side wall of a main body storage compartment, an upper part outside the main body, a door or an upper part of the door.
종래 기술은 저장실 측벽에 카메라를 장착하는 경우에는 측벽에 카메라를 수용할 수 있는 함몰부를 마련하고, 함몰부에 카메라를 장착하는 기술이 있다. 즉 카메라는 저장실의 내부로 돌출되지 않도록 하고 있다. 이는 저장실의 선반이나 물품을 인출할 때에 사용자에게 불편을 주지 않기 위한 구성이라고 추측된다.In the prior art, when a camera is mounted on a side wall of a storage room, there is a technology in which a depression for accommodating the camera is provided on the side wall and the camera is mounted on the depression. In other words, the camera does not protrude into the interior of the storage room. This is presumed to be a configuration for not causing inconvenience to the user when taking out shelves or items in the storage room.
그러나 본 발명에서는 카메라가 상기 인너 케이스(12)의 천장에 설치되어서 사용자가 상기 저장실(22)을 사용할 때에 방해를 받지는 않는다. 왜냐하면 사용자가 물품을 저장실로부터 인출하고자 할 때, 물품이나 선반의 이동 경로에 카메라가 위치하지 않기 때문에 카메라와 충돌될 이유가 없기 때문이다.However, in the present invention, the camera is installed on the ceiling of the
나아가 본 발명에서는 상기 카메라(70)의 커버(90)가 후방을 바라보도록 배치되어서, 외기가 상기 커버(90)에 도달하는 경로를 연장시킬 수 있다.Further, in the present invention, the
도 59a에서는 상기 커버(90)가 후방을 바라보도록 배치되면서, 상기 돌출부(500)가 하방으로 돌출되어서, 외기가 상기 커버(90)에 도달하기 위해서는 3차원적인 이동 경로를 가지게 되어, 외기의 이동 경로가 길어지게 된다.In FIG. 59A, while the
도 60a에서는 상기 커버(90)가 하방을 바라보도록 배치되지만, 상기 돌출부(500)에 개구부에 수평하게 배치되는 전방면(504), 상기 전방면(504)의 양단에 상기 전방면(504)에 대해서 수직하게 배치되는 측면(508)가 설치된다. 이때 상기 전방면(504)와 상기 측면(508)는 상기 돌출부(500)로부터 하방으로 더 튀어나오도록 설치되어, 외기가 상기 커버(90)에 도달하는 경로가 길어지도록 할 수 있다. In FIG. 60A, the
즉 저장실 개구측에 외부에서 유입되는 고온의 공기가 카메라의 커버(90)에 일직선으로 바로 도달하여 접촉되지 못하고, 상기 돌출부(500)를 따라 좌우 그리고 하방으로 우회하여 도달한다. 따라서 외기는 고내의 냉기와 열교환되어 온도가 낮아지면서 포화수증기량이 작아지므로 함유하고 있는 수증기가 결로되어 고내 냉기와 섞여 없어진다. 최종적으로 상기 커버(90)에 도달되었을 때에는 줄어든 수증기량을 가지고 있기 때문에 상기 커버(90)를 가열하고 있는 히터에 의해 충분히 증발될 수 있게 된다.That is, the high-temperature air introduced from the outside to the opening side of the storage compartment directly reaches the
따라서 상기 히터(84)에 제공되어야 하는 전력이 줄어들게 되어, 냉장고 전체적으로 소모되는 소비 전력이 개선되는 효과를 얻을 수 있다. Accordingly, power to be provided to the
도 59 또는 도 60에 도시된 실시예에서는 내부에 저장실(a storage compartment)이 형성된 본체 (a cabinet)와; 상기 저장실은 전면에 개구부(an access opening)와, 단열물질로 이루어진 상부벽, 하부벽, 양측벽, 그리고 후벽으로 이루어지고, 복수의 선반에 의해 구획되는 선반영역과, 적어도 하나 이상의 드로어를 갖는 드로어 영역을 포함하여 구성되고; 상기 저장실 전면에 밀착되어 상기 저장실을 개폐하는 적어도 하나 이상으로 도어(at least one of doors)와; 상기 저장실의 개구부와 상기 저장실에 설치되는 선반의 전단부(a front edge of the shelves) 사이의 상기 저장실 상부벽에 설치되는 카메라 장치(a camera device)를 포함하고; In the embodiment shown in Fig. 59 or 60, a body (a cabinet) having a storage compartment formed therein; The storage compartment is a drawer having an access opening in the front side, an upper wall, a lower wall, both side walls, and a rear wall made of an insulating material, and having a shelf area divided by a plurality of shelves, and at least one drawer Consists of areas; At least one of doors in close contact with the front of the storage compartment to open and close the storage compartment; And a camera device installed on an upper wall of the storage compartment between the opening of the storage compartment and a front edge of the shelves installed in the storage compartment;
상기 카메라장치는 카메라렌즈를 포함한 카메라 구동에 필요한 전기적 부품을 수용하고, 상기 렌즈와 일정 간격을 가지고 형성되는 카메라창(a camera window)이 형성된 카메라 모듈부(a camera module part)와, 상기 카메라 모듈부를 내부의 정해진 위치에 안착시켜 고정시키는 카메라 하우징부(a camera housing part)를 포함 하여 구성되고; The camera device accommodates electrical components necessary for driving a camera including a camera lens, a camera module part having a camera window formed at a predetermined distance from the lens, and the camera module It is configured to include a camera housing part (a camera housing part) for mounting and fixing the part at a predetermined position inside;
상기 카메라 하우징부는 상기 저장실 상부벽에 접하는 고정면 (a fixing surface), 상기 저장실의 개구측에 형성되는 전면(a front surface)과, 상기 전면과 후면을 연결하는 양측면(side surfaces)과, 상기 카메라 모듈부의 카메라창이 노출되도록 개구(an opening)가 형성되어 있는 상면(a top surface)을 포함 하여 구성되고, 상기 카메라 하우징부의 전면은 상기 카메라 하우징부의 상면에 형성된 개구 보다 더 높게 형성되는 냉장고를 제공할 수 있다. The camera housing unit includes a fixing surface in contact with the upper wall of the storage compartment, a front surface formed on the opening side of the storage compartment, side surfaces connecting the front and rear surfaces, and the camera It is configured to include a top surface in which an opening is formed so that the camera window of the module unit is exposed, and the front of the camera housing unit is provided with a refrigerator that is formed higher than the opening formed in the top surface of the camera housing unit. I can.
상기 카메라 하우징부의 상면은 상기 저장실의 상부벽면에 대하여 상기 저장실의 개구의 반대 방향을 향해 일정 각도 기울어져 있는 것이 가능하다.The upper surface of the camera housing part may be inclined at an angle with respect to the upper wall surface of the storage compartment in a direction opposite to the opening of the storage compartment.
상기 카메라 하우징부는 상기 저장실의 후벽 측에 상기 전면과 반대 위치에 후면을 더 형성하고, 상기 전면의 높이는 상기 후면의 높이보다 더 높게 형성될 수 있다.The camera housing unit may further form a rear surface at a position opposite to the front surface on a rear wall side of the storage compartment, and a height of the front surface may be formed higher than a height of the rear surface.
상기 카메라하우징부 상면의 개구는 상기 카메라하우징부의 측면보다 낮은 위치에 형성될 수 있다.The opening of the upper surface of the camera housing may be formed at a lower position than the side of the camera housing.
상기 저장실의 상부벽의 내측으로 함몰된 공간 (a recessed space)에 대응되도록 함몰부 (a recessed portion)을 갖는 하우징장착부(a housing installation part)를 더 포함하여 될 수 있다.It may further include a housing installation part (a housing installation part) having a recessed portion (a recessed portion) so as to correspond to a recessed space (a recessed space) in the upper wall of the storage chamber.
상기 하우징장착부는 냉장고 단열재 충진과 함께 저장실 상부벽에 장착되고, 상기 카메라 하우징부는 상기 하우징장착부에 고정될 수 있다.The housing mounting part may be mounted on an upper wall of the storage compartment together with a refrigerator insulation material, and the camera housing part may be fixed to the housing mounting part.
상기 카메라 하우징부에 고정된 상기 카메라 모듈부는 상기 하우징장착부에 형성된 함몰부에 수용될 수 있다.The camera module portion fixed to the camera housing portion may be accommodated in a depression formed in the housing mounting portion.
상기 하우징장착부의 함몰부에 수용되는 상기 카메라모듈부는 상기 하우징 장착부 내면과 간격을 갖도록 상기 카메라 하우징부에 고정될 수 있다.The camera module part accommodated in the recessed part of the housing mounting part may be fixed to the camera housing part so as to have a gap with the inner surface of the housing mounting part.
상기 카메라하우징부의 전면과 양측면은 상기 카메라 하우징 상면의 개구 위치보다 더 높게 형성될 수 있다.The front and both side surfaces of the camera housing may be formed higher than the opening position of the upper surface of the camera housing.
상기 카메라하우징부의 상면은 상기 저장실의 개구측이 상기 저장실의 후벽측보다 상기 저장실 상부벽면으로부터 더 멀리 형성될 수 있다.The upper surface of the camera housing may be formed at an opening side of the storage compartment farther from an upper wall surface of the storage compartment than from a rear wall side of the storage compartment.
상기 카메라 모듈부는 카메라창이 형성되는 전면부 (a front portion)과 그 반대편의 후면부(a rear portion)을 가지고, 상기 전면부와 후면부 중 적어도 한쪽에는 적어도 하나의 평평한 면(a flat surface)이 형성될 수 있다.The camera module unit has a front portion on which a camera window is formed and an opposite rear portion, and at least one flat surface is formed on at least one of the front and rear portions. I can.
상기 카메라 하우징부의 내측에는 상기 카메라 모듈부가 수용되는 수용부(a receiving portion)가 형성되고, 상기 수용부에는 상기 저장실의 상부벽면에 대하여 일정 각도 기울어져 상기 카메라 모듈부에 형성된 평평한 면이 놓이게 되는 안착부 (a seating part)를 포함할 수 있다.A receiving portion is formed inside the camera housing unit, and a flat surface formed on the camera module unit is placed on the receiving unit at a certain angle with respect to the upper wall surface of the storage chamber. May contain a seating part.
상기 하우징장착부의 함몰부에는 상기 저장실의 상부벽면에 대하여 일정각도 기울어져 상기 카메라 모듈부에 형성된 평평한 면이 놓이게 되는 안착부(a seating part)를 포함할 수 있다.The recessed portion of the housing mounting portion may include a seating part in which a flat surface formed on the camera module portion is placed at an angle with respect to the upper wall surface of the storage chamber.
상기 카메라 모듈부의 전면부의 카메라창 주변에 평평한 면(a flat surface)을 형성하고, 상기 평평한 면은 상기 카메라 렌즈 중심부의 높이와 대략 동일하게 형성할 수 있다.A flat surface may be formed around the camera window of the front part of the camera module, and the flat surface may be formed substantially equal to the height of the center of the camera lens.
도 61은 본 발명이 적용가능한 다른 형태의 냉장고를 도시한 도면이다. 이하 도 61을 참조해서 설명한다.61 is a diagram showing another type of refrigerator to which the present invention is applicable. Hereinafter, it demonstrates with reference to FIG.
도 61의 냉장고는 양문형 냉장고로, 좌우측이 서로 다른 저장실을 이루는 형태이다. 즉 좌측의 저장실은 냉동실이고, 우측의 저장실은 냉동실이고, 좌측의 저장실은 냉장실을 구성하는 것이 가능하다.The refrigerator of FIG. 61 is a double-door refrigerator, and the left and right sides form different storage compartments. That is, the storage compartment on the left is a freezing compartment, the storage compartment on the right is a freezing compartment, and the storage compartment on the left may constitute a refrigeration compartment.
상기 저장실(22)의 천정에는 상기 저장실(22)의 하부를 향하도록 카메라(70)가 설치될 수 있다. A
그리고 상기 저장실(22)에는 물품을 수납할 수 있고, 인출입이 가능한 드로워(50)가 설치될 수 있다. In addition, a
다른 내용은 앞에서 설명한 냉장고와 동일하기 때문에 생략한다. Other details are omitted because they are the same as the refrigerator described above.
도 62는 도 61에 따른 냉장고로부터 사용자에게 제공되는 화면이다. 이하 도 62를 참조해서 설명한다.62 is a screen provided to a user from the refrigerator according to FIG. 61. Hereinafter, it demonstrates with reference to FIG.
사용자에게는 상기 드로워(50, 51)에 저장된 물품에 관한 이미지와 상기 선반(40)의 상측에 저장된 물품에 관한 이미지가 제공될 수 있다. 냉장고에서는 하나의 드로워(50)가 구비될 수 있다. 따라서 도 62에서도 하나의 드로워에 관한 이미지가 제공될 수 있다. 그러나 도 61에 도시된 바왁 kx이 상하로 두 개의 드로워(50, 51)가 구비될 수 있다. 이 경우, 각각의 드로워 내부에 관한 이미지가 제공되는 것도 가능하다.The user may be provided with images of articles stored in the
도 2를 통해 설명된 예에서는 드로워가 좌우로 각각 구비되는 형태이다. 그러나, 도 62에서는 상하로 드로워가 각각 구비되는 형태일 수 있다. 따라서, 드로워 영역이 두 개일 수 있으며, 상부 드로워(51)에 비해 하부 드로워(50)가 전방으로 돌출된 형태일 수 있다. 이 경우 각각의 드로워(50, 51)에서도 마찬가지로 마커가 구비될 수 있다.In the example described with reference to FIG. 2, drawers are provided on the left and right sides, respectively. However, in FIG. 62, drawers may be provided in the vertical direction. Accordingly, there may be two drawer regions, and the
이를 통해서, 하나의 카메라를 통해 복수 개의 선반 영역, 복수 개의 드로워 영역에 저장된 식품 정보를 용이하게 파악할 수 있게 된다. Through this, it is possible to easily identify food information stored in a plurality of shelf areas and a plurality of drawer areas through a single camera.
사용자 화면에 제공되는 이미지를 업그레이드하는 방식 등에 대해서는 상술한 냉장고와 동일하기 때문에 생략한다. A method of upgrading an image provided on a user screen is omitted because it is the same as that of the above-described refrigerator.
도 63은 도 61에 따른 냉장고에서 카메라에서 촬영된 사진을 조정하는 방식을 설명한 도면이다. 이하 도 63을 참조해서 설명한다.FIG. 63 is a diagram illustrating a method of adjusting a picture taken by a camera in the refrigerator according to FIG. 61. Hereinafter, it demonstrates with reference to FIG. 63.
통상적으로 드로워가 하나만 제공되거나 상하로 각각 배치되기 때문에, 도 61의 형태의 냉장고에서는 하나의 수평 조정선(15)이 마련될 수 있다. 물론, 두 개의 드로워를 각각 구분하기 위하여 두 개의 수평 조정선이 마련될 수도 있다. 아울러, 평행하게 배치되는 두 개의 수직 조정선을 배치해서 조정선의 위치를 조정하는 것도 가능하다. 물론 도 63에 도시된 것과는 달리 수직 조정선을 사용하지 않고, 수평 조정선만을 이용해서 원하는 이미지를 선택하는 것도 가능하다.In general, since only one drawer is provided or arranged vertically, one
사용자에게는 상기 조정선(15)을 이동시키는 한계 범위를 표시하는 한계선(16)이 제공될 수 있는데, 이때 상기 한계선(16)은 소정 간격을 가지면서 평행하게 배치되는 것이 가능하다. The user may be provided with a
이러한 조정선(15)을 통한 오차의 보정은 전술한 실시예와 동일 또는 유사하다고 할 수 있다. The correction of the error through the
본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.The present invention is not limited to the above-described embodiments, and as can be seen from the appended claims, modifications may be made by those of ordinary skill in the field to which the present invention belongs, and such modifications are within the scope of the present invention.
10: 아우터 케이스
12: 인너 케이스
20: 도어
40: 선반
42: 제1영역
50: 드로워
52: 제2영역
60: 베리어
62: 제3영역
70: 카메라
100: 제어부10: outer case 12: inner case
20: door 40: shelf
42: first area 50: drawer
52: second area 60: barrier
62: third area 70: camera
100: control unit
Claims (21)
상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어;
상기 저장실에 고정되도록 구비되어, 상기 저장실 내의 식품 정보를 업데이트하기 위하여 상기 저장실 내부를 촬영하는 카메라;
상기 도어의 개폐를 감지하는 도어 스위치; 및
상기 도어 스위치의 감지 결과에 따라, 상기 카메라의 촬영이 시작되는 구동모드에서 상기 카메라에 의해 촬영된 사진 또는 영상을 표시하는 디스플레이;를 포함하는 냉장고. A storage compartment formed by a fixed insulating wall and provided with an opening in the main body of the refrigerator;
A door rotatably provided in the main body to open and close the opening;
A camera that is provided to be fixed to the storage compartment and photographs the inside of the storage compartment to update food information in the storage compartment;
A door switch for sensing opening and closing of the door; And
And a display configured to display a picture or image taken by the camera in a driving mode in which photographing of the camera starts according to a detection result of the door switch.
상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어;
상기 저장실에 고정되도록 구비되어, 상기 저장실 내의 식품 정보를 업데이트하기 위하여 상기 저장실 내부를 촬영하는 카메라;
상기 도어의 개방 각도를 감지하는 도어 센서; 및
상기 도어 센서의 감지 결과에 따라, 촬영된 사진들 중 업데이트를 위한 유효 사진을 표시하는 디스플레이;를 포함하는 냉장고. A storage compartment formed by a fixed insulating wall and provided with an opening in the main body of the refrigerator;
A door rotatably provided in the main body to open and close the opening;
A camera that is provided to be fixed to the storage compartment and photographs the inside of the storage compartment to update food information in the storage compartment;
A door sensor detecting an opening angle of the door; And
And a display configured to display a valid photo for updating among captured photos according to a detection result of the door sensor.
상기 도어 스위치에서 상기 도어의 개방을 감지하면, 상기 카메라는 대기모드에서 상기 구동모드로 전환됨을 특징으로 하는 냉장고.The method of claim 1,
And when the door switch detects the opening of the door, the camera switches from a standby mode to the driving mode.
상기 도어 스위치에서 상기 도어의 폐쇄를 감지하면, 상기 카메라는 상기 구동모드에서 대기모드로 전환됨을 특징으로 하는 냉장고. The method of claim 2,
And when the door switch detects that the door is closed, the camera switches from the driving mode to a standby mode.
상기 도어 센서는 상기 도어의 개방 시작 후 기설정된 각도(기설정 열림 각도)로 개방되는 것 및/또는 도어의 폐쇄 시작 후 기설정된 각도(기설정 폐쇄 각도)까지 폐쇄되는 것을 감지하도록 구비됨을 특징으로 하는 냉장고.The method of claim 2,
The door sensor is characterized in that it is provided to detect that the door is opened at a preset angle (preset opening angle) after the opening of the door and/or is closed to a preset angle (preset closing angle) after the door is closed. Refrigerator.
상기 디스플레이는 상기 도어 센서가 상기 기설정 열림 각도를 감지한 시점 전에 촬영된 사진은 표시하지 않음을 특징으로 하는 냉장고. The method of claim 5,
Wherein the display does not display a picture taken before a point in time when the door sensor detects the preset opening angle.
상기 디스플레이는 상기 도어 센서가 상기 기설정 폐쇄 각도를 감지한 시점 후에 촬영된 사진은 표시하지 않음을 특징으로 하는 냉장고. The method of claim 5,
And the display does not display a picture taken after a point in time when the door sensor detects the preset closing angle.
상기 디스플레이는 상기 도어 센서가 상기 기설정 열림 각도를 감지한 시점 이후 그리고 상기 기설정 폐쇄 각도를 감지한 시점 이전 사이에 촬영된 사진은 표시하지 않음을 특징으로 하는 냉장고.The method of claim 5,
And the display does not display a picture taken between a time point when the door sensor detects the preset opening angle and before a time point when the preset closing angle is detected.
상기 구동모드로 전환된 후, 소정의 지연시간이 소요된 후 촬영이 시작됨을 특징으로 하는 냉장고.The method according to any one of claims 1, 3 and 4,
The refrigerator, characterized in that, after the conversion to the driving mode, a predetermined delay time elapses, and then photographing is started.
상기 구동모드로의 전환 시, 상기 소정의 지연시간 동안 상기 카메라에 인가되는 전류 값이 단계적으로 상승됨을 특징으로 하는 냉장고. The method of claim 9,
When switching to the driving mode, a value of a current applied to the camera increases stepwise during the predetermined delay time.
상기 구동모드에서 상기 카메라는 연속 촬영하는 것을 특징으로 하는 냉장고.The method of claim 9,
The refrigerator, characterized in that the camera continuously photographs in the driving mode.
상기 저장실 내에 구비되는 드로워를 더 포함하고,
상기 카메라는, 상기 저장실 내의 상기 드로워의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 저장실 내의 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하도록, 상기 저장실의 천정에 고정됨을 특징으로 하는 냉장고. The method of claim 1,
Further comprising a drawer provided in the storage room,
The camera, so as to photograph an area (a first area) in which food is stored in an outer space of the drawer in the storage room and an area (a second area) in which food is stored in an inner space of the drawer in the storage room, A refrigerator, characterized in that fixed to the ceiling of the storage compartment.
상기 저장실 내에 구비되는 드로워를 더 포함하고,
상기 카메라는, 상기 저장실 내의 상기 드로워의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 저장실 내의 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하도록, 상기 저장실의 천정에 고정됨을 특징으로 하는 냉장고.The method of claim 2,
Further comprising a drawer provided in the storage room,
The camera, so as to photograph an area (a first area) in which food is stored in an outer space of the drawer in the storage room and an area (a second area) in which food is stored in an inner space of the drawer in the storage room, A refrigerator, characterized in that fixed to the ceiling of the storage compartment.
상기 드로워에는 마커가 구비되고, 상기 촬영되는 사진에서의 마커 위치를 감지하여, 상기 드로워의 인출 정도, 인출 여부, 이동 방향, 정지 상태 또는 이동 상태 중 적어도 어느 하나를 포함하는 드로워의 상태 정보를 판단함을 특징으로 하는 냉장고. The method of claim 12 or 13,
The drawer is provided with a marker, and a state of the drawer including at least one of a drawing degree of the drawer, a drawing out state, a moving direction, a stop state, or a moving state by detecting the marker position in the photographed picture A refrigerator characterized in that the information is judged.
상기 디스플레이는 상기 드로워의 상태 정보를 통해 상기 제2영역을 업데이트하기 위한 유효 사진을 표시하는 냉장고. The method of claim 12 or 13,
The display displays a valid photo for updating the second area through status information of the drawer.
상기 디스플레이는 상기 도어 센서의 기설정 폐쇄 각도의 감지를 통해 결정된 상기 제1영역을 업데이트하기 위한 유효 사진을 표시하는 냉장고. The method of claim 13,
The display displays a valid photo for updating the first region determined through detection of a preset closing angle by the door sensor.
상기 카메라는,
카메라 렌즈와 몸체를 포함하는 카메라 모듈;
상기 카메라 모듈을 수용하고, 상기 카메라 렌즈의 전방에 소정 이격거리를 갖고 위치되는 투명창이 구비되는 케이스; 그리고
상기 투명창의 내측에서 상기 투명창에 열을 가하는 히터를 포함함을 특징으로 하는 냉장고. The method according to any one of claims 1 to 8,
The camera,
A camera module including a camera lens and a body;
A case accommodating the camera module and having a transparent window positioned in front of the camera lens at a predetermined distance; And
And a heater for applying heat to the transparent window from the inside of the transparent window.
상기 히터는 상기 투명창에 직접 면접촉되는 직사각형 형상임을 특징으로 하는 냉장고.The method of claim 17,
The heater is a refrigerator, characterized in that the rectangular shape in direct surface contact with the transparent window.
상기 냉장고에 전원이 인가되면, 상기 히터는 항상 구동됨을 특징으로 하는 냉장고.The method of claim 17,
When power is applied to the refrigerator, the heater is always driven.
상기 저장실의 좌우에서 각각 개방 및 폐쇄하는 좌측 도어와 우측 도어를 포함하고, 상기 좌측 도어와 우측 도어 각각에 대응하여 상기 도어 스위치가 각각 구비됨을 특징으로 하는 냉장고. The method according to any one of claims 1, 3 and 4,
And a left door and a right door that open and close from the left and right sides of the storage compartment, respectively, and each of the door switches is provided in correspondence with the left door and the right door.
상기 도어 스위치들 중 적어도 어느 하나가 도어의 개방을 감지하면, 상기 카메라는 대기 모드 에서 구동 모드로 전환됨을 특징으로 하는 냉장고. The method of claim 20,
And when at least one of the door switches detects opening of the door, the camera is switched from a standby mode to a driving mode.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200110323A KR102417850B1 (en) | 2014-04-15 | 2020-08-31 | Refrigerator and Controlling Method for the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140045069A KR102152400B1 (en) | 2014-04-15 | 2014-04-15 | Refrigerator and Controlling Method for the same |
KR1020200110323A KR102417850B1 (en) | 2014-04-15 | 2020-08-31 | Refrigerator and Controlling Method for the same |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140045069A Division KR102152400B1 (en) | 2013-10-18 | 2014-04-15 | Refrigerator and Controlling Method for the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200106473A true KR20200106473A (en) | 2020-09-14 |
KR102417850B1 KR102417850B1 (en) | 2022-07-05 |
Family
ID=82402227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200110323A KR102417850B1 (en) | 2014-04-15 | 2020-08-31 | Refrigerator and Controlling Method for the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102417850B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024080607A1 (en) * | 2022-10-12 | 2024-04-18 | 삼성전자주식회사 | Refrigerator and controlling method thereof |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003042626A (en) * | 2001-07-26 | 2003-02-13 | Toshiba Corp | Refrigerator |
JP2003207258A (en) * | 2002-01-16 | 2003-07-25 | Toshiba Corp | Refrigerator |
JP2003207245A (en) * | 2002-01-17 | 2003-07-25 | Lg Electronics Inc | Cold air control device and method of refrigerator |
JP2004183987A (en) * | 2002-12-04 | 2004-07-02 | Hitachi Home & Life Solutions Inc | Refrigerator |
KR20120117464A (en) * | 2011-04-15 | 2012-10-24 | 엘지전자 주식회사 | A refrigerator and a control method the same |
JP2012251722A (en) * | 2011-06-03 | 2012-12-20 | Panasonic Corp | Refrigerator |
-
2020
- 2020-08-31 KR KR1020200110323A patent/KR102417850B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003042626A (en) * | 2001-07-26 | 2003-02-13 | Toshiba Corp | Refrigerator |
JP2003207258A (en) * | 2002-01-16 | 2003-07-25 | Toshiba Corp | Refrigerator |
JP2003207245A (en) * | 2002-01-17 | 2003-07-25 | Lg Electronics Inc | Cold air control device and method of refrigerator |
JP2004183987A (en) * | 2002-12-04 | 2004-07-02 | Hitachi Home & Life Solutions Inc | Refrigerator |
KR20120117464A (en) * | 2011-04-15 | 2012-10-24 | 엘지전자 주식회사 | A refrigerator and a control method the same |
JP2012251722A (en) * | 2011-06-03 | 2012-12-20 | Panasonic Corp | Refrigerator |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024080607A1 (en) * | 2022-10-12 | 2024-04-18 | 삼성전자주식회사 | Refrigerator and controlling method thereof |
Also Published As
Publication number | Publication date |
---|---|
KR102417850B1 (en) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2995889B1 (en) | Refrigerator and control method for the same | |
EP2998671B1 (en) | Refrigerator and control method for the same | |
KR101678444B1 (en) | Refrigerator and Controlling Method for the same | |
KR102152400B1 (en) | Refrigerator and Controlling Method for the same | |
KR102347134B1 (en) | Refrigerator and Controlling Method for the same | |
KR102152399B1 (en) | Refrigerator and Controlling Method for the same | |
KR20240073841A (en) | Refrigerator and Controlling Method for the same | |
KR20150127013A (en) | Refrigerator and Controlling Method for the same | |
KR102417850B1 (en) | Refrigerator and Controlling Method for the same | |
KR102232657B1 (en) | Refrigerator and Controlling Method for the same | |
KR101662087B1 (en) | Refrigerator and Controlling Method for the same | |
KR102377310B1 (en) | Refrigerator and Controlling Method for the same | |
KR102231593B1 (en) | Refrigerator and Controlling Method for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |