KR20190090290A - Refrigerator with displaying image by identifying goods and method of displaying thereof - Google Patents
Refrigerator with displaying image by identifying goods and method of displaying thereof Download PDFInfo
- Publication number
- KR20190090290A KR20190090290A KR1020180008992A KR20180008992A KR20190090290A KR 20190090290 A KR20190090290 A KR 20190090290A KR 1020180008992 A KR1020180008992 A KR 1020180008992A KR 20180008992 A KR20180008992 A KR 20180008992A KR 20190090290 A KR20190090290 A KR 20190090290A
- Authority
- KR
- South Korea
- Prior art keywords
- product
- image
- information
- storage space
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000004891 communication Methods 0.000 claims description 35
- 238000003709 image segmentation Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 7
- 239000000047 product Substances 0.000 description 272
- 230000008569 process Effects 0.000 description 28
- 238000002372 labelling Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 235000013305 food Nutrition 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 241000227653 Lycopersicon Species 0.000 description 6
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 6
- 239000007795 chemical reaction product Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 235000013336 milk Nutrition 0.000 description 3
- 239000008267 milk Substances 0.000 description 3
- 210000004080 milk Anatomy 0.000 description 3
- 238000005057 refrigeration Methods 0.000 description 3
- 235000014121 butter Nutrition 0.000 description 2
- 239000006227 byproduct Substances 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 235000012206 bottled water Nutrition 0.000 description 1
- 235000013351 cheese Nutrition 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 230000004941 influx Effects 0.000 description 1
- 235000021109 kimchi Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- G06K9/20—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
- F25D2400/36—Visual displays
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2500/00—Problems to be solved
- F25D2500/06—Stock management
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/02—Sensors detecting door opening
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/06—Sensors detecting the presence of a product
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/16—Sensors measuring the temperature of products
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
Description
본 발명은 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법에 관한 기술이다.The present invention relates to a refrigerator and a method for identifying a product and outputting a divided image.
다양한 종류의 저장물의 온도를 낮은 온도로 유지하거나 혹은 냉각시키기 위한 장치인 냉장고는 하나 이상의 분리된 공간으로 구성된 저장실을 포함한다. 냉장고는 다양한 크기의 제품들을 수납하고 이를 보관하기 위해 적어도 다수의 제품들이 상하좌우로 중첩되어 수납될 수 있는 보관공간을 둘 이상 포함한다. A refrigerator, which is a device for maintaining or cooling the temperature of various kinds of storage at a low temperature, includes a storage compartment made up of one or more separate spaces. The refrigerator includes at least two storage spaces in which at least a plurality of products can be stacked vertically, horizontally and vertically in order to store products of various sizes and store them.
한편, 냉장고의 보관공간은 중첩된 제품들이 수납됨으로 인해 사용자가 내부에 어떤 제품이 수납되었는지를 확인하기 어려운 부분이 문제였다. 종래에는 냉장고의 도어에 카메라를 배치하여 내부를 촬영하는 기술이 공개번호 10-2017- 0027246 로 제시된 바 있다. 도 1에서 보다 상세히 살펴본다. On the other hand, the storage space of the refrigerator was a problem where it was difficult to check which products were housed in the interior of the refrigerator due to the storage of the overlapped products. In the related art, a technique of arranging a camera on a door of a refrigerator to photograph the inside of the refrigerator has been disclosed in Japanese Laid-Open Patent Publication No. 10-2017- 0027246. This will be described in more detail with reference to FIG.
도 1은 종래 냉장고 내를 촬영하는 카메라가 부착된 냉장고가 카메라를 제어하는 과정을 보여주는 도면이다. 1 is a view showing a process of controlling a camera by a refrigerator having a camera for photographing a conventional refrigerator.
도 1은 종래 도어의 측면에 카메라가 부착된 냉장고의 촬영 동작을 보여주는 도면이다. 도어가 오픈된 후(S1) 닫히면(S3) 카메라를 온 시키고(S4), 일정 시간 경과 후 고내등을 온 시켜(S6) 카메라를 조작하여(S7), 카메라 촬영을 수행하는(S8) 일련의 과정을 진행한다. 그런데, 카메라 촬영을 수행하는 것은 냉장고의 일측면에서 시작하는 것인데, 이는 냉장고의 뒷면에 배치되는 제품을 확인할 수 없다는 문제가 있다. 1 is a view showing a photographing operation of a refrigerator to which a camera is attached on a side of a conventional door. After the door is opened (S1), the camera is turned on (S3), the camera is turned on (S4), the light is turned on after a predetermined time is passed (S6), the camera is operated (S7) . However, the camera shooting is started from one side of the refrigerator, which has a problem that the product placed on the back side of the refrigerator can not be confirmed.
특히, 사용자는 고내에 다양하게 적층된 제품들을 확인해야 하는데, 종래 기술과 같이 도어에 배치된 카메라로는 전면에 배치된 제품만을 확인할 수 밖에 없는 문제가 있다. 이는 다중 적층으로 인한 문제를 단순히 카메라만으로 해결할 수 없음을 의미한다. Particularly, the user has to check various products stacked in the ceiling. However, there is a problem that only the products arranged on the front side can be checked by a camera disposed on the door as in the prior art. This means that the problems caused by multiple stacking can not be solved simply by the camera.
다만, 고내 배치하는 카메라의 수를 늘릴 경우, 제조 원가가 상승한다는 문제도 있으므로, 카메라의 수를 늘리지 않거나 최소한으로 증가시키면서도 고내 수납 제품들을 식별하여 쉽게 확인할 수 있는 방안이 필요하다. However, there is a problem that the manufacturing cost increases when the number of the cameras arranged in the high-end is increased. Therefore, it is necessary to identify the high-end storage products easily without increasing or minimizing the number of cameras.
본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 냉장고에 수납되는 제품을 누적하여 촬영하여 이미지를 저장하여 일부 제품이 다른 제품으로 인해 가려지는 경우라도 고내 제품의 상태를 외부에서 확인할 수 있는 방법 및 장치를 제공하고자 한다. The present invention has been made to solve the above-mentioned problems and it is an object of the present invention to provide a method and an apparatus capable of checking the state of a high-end product from the outside even when a product stored in a refrigerator is cumulatively captured and an image is stored, ≪ / RTI >
또한, 본 명세서에서는 각 제품에 대한 정보를 저장하여 제품에 대한 정보를 보다 쉽게 확인하는 방법 및 장치를 제공하고자 한다. Also, in the present specification, a method and an apparatus for storing information on each product to more easily confirm information on the product are provided.
또한, 본 명세서에서는 냉장고에 입고되거나 반출되는 제품의 정보를 추적하는 방법 및 장치를 제공하고자 한다. Also, in this specification, it is intended to provide a method and apparatus for tracking information of a product to be put into or taken out of a refrigerator.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description and more clearly understood by the embodiments of the present invention. It will also be readily apparent that the objects and advantages of the invention may be realized and attained by means of the instrumentalities and combinations particularly pointed out in the appended claims.
본 발명의 일 실시예에 의하면 냉장고의 제어부가 보관공간에 수납된 제품을 촬영하는 카메라부가 촬영한 캡쳐 이미지로부터 제품별로 이미지를 분리하여 저장하는 냉장고 및 이를 구현하는 방법을 포함한다.According to an embodiment of the present invention, the control unit of the refrigerator includes a refrigerator that separates and stores an image for each product from a captured image captured by a camera unit that captures a product stored in a storage space, and a method of implementing the refrigerator.
본 발명의 일 실시예에 의하면 냉장고의 제어부는 제품별로 분리한 분리한 제품의 이미지 및 상기 이미지에 대응하는 메타 정보를 데이터베이스부에 저장하는 냉장고 및 이를 구현하는 방법을 포함한다. According to an embodiment of the present invention, the control unit of the refrigerator includes a refrigerator for storing an image of a separated product and meta information corresponding to the image in a database, and a method for implementing the refrigerator.
본 발명의 일 실시예에 의하면 냉장고의 디스플레이부는 제품의 이미지와 상기 메타 정보를 출력하고 상기 메타 정보를 수정하거나 추가하거나 검색하는 입력을 수신하는 냉장고 및 이를 구현하는 방법을 포함한다.According to an embodiment of the present invention, a display unit of a refrigerator includes a refrigerator for receiving an input for outputting an image of the product and the meta information and correcting, adding or searching for the meta information and a method for implementing the same.
본 발명의 일 실시예에 의하면 냉장고는 보관공간 또는 상기 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부 또는 보관공간의 도어의 개폐를 감지하는 도어 감지부 중 어느 하나 이상을 포함하며, 이들 무게 센싱부 또는 도어 감지부가 보관공간 내 제품의 입고 또는 반출을 센싱하면 카메라부는 보관공간 또는 보관공간 내의 선반 단위로 캡쳐 이미지를 생성하는 냉장고 및 According to an embodiment of the present invention, the refrigerator includes at least one of a storage space or a weight sensing unit that senses the weight of the shelf in the storage space, or a door sensing unit that senses opening and closing of a door of the storage space. When the door or the door sensing unit senses the goods receipt or the take-out of the product in the storage space, the camera unit includes a refrigerator for generating a captured image in shelf units in a storage space or a storage space,
본 발명의 일 실시예에 의하면 냉장고는 보관공간 내의 제품의 온도 정보를 센싱하는 온도 센싱부 또는 제품의 뎁스 정보를 생성하는 뎁스 카메라부를 더 포함하며 제어부는 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하고, 객체별 뎁스 정보 또는 온도 정보를 추출하여 객체별 경계를 설정하여 제품별 이미지를 산출하는 냉장고 및 이를 구현하는 방법을 포함한다.According to an embodiment of the present invention, the refrigerator further includes a temperature sensing unit for sensing temperature information of the product in the storage space or a depth camera unit for generating depth information of the product, and the control unit performs image segmentation in the captured image, And extracting the depth information or the temperature information for each object to set an object-specific boundary to calculate an image for each product, and a method for implementing the refrigerator.
본 발명을 적용할 경우 냉장고에 수납되는 제품을 누적하여 촬영하여 이미지를 저장하여 일부 제품이 다른 제품으로 인해 가려지는 경우라도 고내 제품의 상태를 외부에서 확인할 수 있다. When the present invention is applied, products housed in a refrigerator can be cumulatively photographed and an image can be stored so that the state of the in-home product can be confirmed even when some products are covered by other products.
또한, 본 발명을 적용할 경우 각 제품에 대한 메타 정보를 저장하여 제품에 대한 정보를 보다 쉽게 냉장고의 외부에서 확인할 수 있다.In addition, when the present invention is applied, meta information about each product can be stored, so that information about the product can be more easily confirmed from the outside of the refrigerator.
또한, 본 명세서에서는 냉장고에 입고되거나 반출되는 제품의 정보를 추적하여 사용자에게 이를 알림으로써 고내 제품의 신선도를 관리할 수 있다. Also, in this specification, the freshness of the in-store product can be managed by notifying the user of the information of the goods to be put in or out of the refrigerator.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다. The effects of the present invention are not limited to the effects described above, and those skilled in the art of the present invention can easily derive the various effects of the present invention in the constitution of the present invention.
도 1은 종래 냉장고 내를 촬영하는 카메라가 부착된 냉장고가 카메라를 제어하는 과정을 보여주는 도면이다.
도 2는 본 발명의 일 실시예가 적용되는 수납 제품을 식별하는 냉장고를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 냉장고가 내부의 제품에 대한 정보를 제공하기 위한 구성요소를 보여주는 도면이다.
도 4는 본 발명의 일 실시예로, 고내 제품에 대한 이미지를 획득하여 저장하는 과정을 보여주는 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 도 4의 과정을 보다 상세히 도시한 도면이다.
도 6은 본 발명의 일 실시예에 의한 데이터베이스부(190)에 저장되는 정보의 종류를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 고내 이미지를 촬영하여 제품 수납에 변화가 발생한 경우 이를 반영하는 실시예를 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 단말기와 같은 통신 장치의 구성을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 스마트폰이 고내 제품을 표시한 도면이다.
도 10은 본 발명의 일 실시예에 의한 식료품이 중첩된 경우에 대한 이미지 추출 과정을 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 의한 메타 정보를 출력하는 실시예를 보여주는 도면이다.
도 12는 본 발명의 일 실시예에 의한 캡쳐 이미지 테이블 및 제품 이미지 테이블의 구성을 보여주는 도면이다.
도 13은 본 발명의 일 실시예에 의한 카메라부가 제품의 반입 또는 반출 혹은 이동이 발생한 보관공간이나 선반에 대해 이미지를 캡쳐하는 과정을 보여주는 도면이다.1 is a view showing a process of controlling a camera by a refrigerator having a camera for photographing a conventional refrigerator.
2 is a view showing a refrigerator for identifying a storage product to which an embodiment of the present invention is applied.
FIG. 3 is a view illustrating components of a refrigerator according to an exemplary embodiment of the present invention to provide information on an internal product. Referring to FIG.
4 is a diagram illustrating a process of acquiring and storing an image of a high-end product according to an exemplary embodiment of the present invention.
FIG. 5 is a detailed diagram illustrating the process of FIG. 4 according to an embodiment of the present invention.
FIG. 6 is a view showing types of information stored in the
FIG. 7 is a view illustrating an embodiment in which a change in storage of a product is taken by taking an in-built image according to an embodiment of the present invention.
8 is a diagram illustrating a configuration of a communication device such as a terminal according to an embodiment of the present invention.
9 is a diagram illustrating a smartphone according to an exemplary embodiment of the present invention.
FIG. 10 is a diagram illustrating an image extraction process in a case where foodstuffs are overlapped according to an embodiment of the present invention.
11 is a diagram illustrating an embodiment of outputting meta information according to an embodiment of the present invention.
12 is a diagram illustrating a configuration of a captured image table and a product image table according to an embodiment of the present invention.
FIG. 13 is a diagram illustrating a process of capturing an image with respect to a storage space or a shelf in which a camera attachment product is brought in, taken out, or moved according to an exemplary embodiment of the present invention.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings so that those skilled in the art can easily carry out the present invention. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification. Further, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In the drawings, like reference numerals are used to denote like elements throughout the drawings, even if they are shown on different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In describing the components of the present invention, the terms first, second, A, B, (a), (b), and the like can be used. These terms are intended to distinguish the components from other components, and the terms do not limit the nature, order, order, or number of the components. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected or connected to the other component, Quot; intervening "or that each component may be" connected, "" coupled, "or " connected" through other components.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다. The present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. As shown in FIG.
본 명세서에서 저장물의 냉장 혹은 냉동을 위한 장치로 냉장고를 중심으로 설명하며, 이는 통상의 음식을 저장하는 냉장고와 김치 냉장고, 음료 냉장고, 가정용 냉장고, 업소용 냉장고, 그리고 냉동고 만으로 구성된 냉동장치 등 다양한 냉장 및 냉동 기능을 주로 하는 장치들을 모두 포함한다. 뿐만 아니라, 화장품 냉장고와 같이 음식이 아닌 저장물을 냉장하는 장치에도 적용되며, 또한, 고정식이 아닌 이동식, 예를 들어 대형 냉장 트레일러에 설치된 냉장장치 역시 본 명세서에서 언급하는 실시예에 포함된다.Herein, the refrigerator will be mainly described as an apparatus for refrigeration or freezing the stored food. The refrigerator includes a refrigerator for storing ordinary food, a refrigerator including a Kimchi refrigerator, a beverage refrigerator, a household refrigerator, a commercial refrigerator, It includes all the devices mainly for the refrigeration function. In addition, the present invention is also applied to a device for refrigerating a non-food storage such as a cosmetics refrigerator, and a refrigerating device installed in a portable type, for example, a large refrigerated trailer instead of a fixed type.
도 2는 본 발명의 일 실시예가 적용되는 수납 제품을 식별하는 냉장고를 보여주는 도면이다. 10은 냉장고(100)가 닫힌 상태의 외관이며, 20은 냉장고(100)가 열린 상태의 외관이다. 냉장고(100)를 구성하는 다수의 도어(21, 31, 41, 51) 중 어느 하나의 도어(21)가 개폐를 관리하는 공간은 다수의 구분된 보관공간들(23, 24)로 나뉘어질 수 있으며, 각 보관공간들(23, 24)은 독립적으로 온도가 제어될 수 있다. 물론, 하나의 도어에 의해 개폐되는 공간들에 대해 동일하게 온도가 제어될 수도 있다. 그리고 각 보관공간들은 다시 내부에 선반으로 구분될 수 있다. 2 is a view showing a refrigerator for identifying a storage product to which an embodiment of the present invention is applied. 10 is an appearance of the
냉장고(100)에는 정보를 표시하거나, 혹은 냉장고(100)의 내부를 보여주는 디스플레이부(110)를 더 포함할 수 있다. 디스플레이부(110)는 특정한 도어(31)의 전면에 배치될 수도 있고, 또한 냉장고(100)의 측면에 배치될 수도 있다. 디스플레이부(110)는 냉장고 내부를 확인할 수 있는 투명 디스플레이 패널을 포함할 수 있다. 또한, 디스플레이부(110)는 냉장고 내부의 이미지를 표시하는 디스플레이 패널을 포함할 수 있다. The
또한, 도 2에는 미도시되었으나 각각의 보관공간들(23, 24)의 벽면 또는 후면에도 카메라가 배치될 수 있다. 이는 중첩하여 적층된 제품들을 확인하기 위한 것이다. Although not shown in FIG. 2, the camera may be disposed on the wall surface or the rear surface of each of the
한편, 여러 면에 카메라가 부착되는 경우라 하여도, 중첩하여 수납된 제품들을 모두 확인할 수 없다. 따라서, 고내 촬영된 이미지 정보들을 이용하여 비교 및 분석 후 변경된 부분에 대한 이미지를 추출하는 기술이 필요하다. 이에 도 2의 냉장고의 세부적인 구성을 살펴보면 다음과 같다.On the other hand, even if a camera is attached to various surfaces, it is impossible to confirm all the products stored in a superimposed manner. Therefore, there is a need for a technique for extracting images of changed portions after comparison and analysis using image information captured in the still image. The detailed configuration of the refrigerator of FIG. 2 will be described below.
도 3은 본 발명의 일 실시예에 의한 냉장고가 내부의 제품에 대한 정보를 제공하기 위한 구성요소를 보여주는 도면이다. FIG. 3 is a view illustrating components of a refrigerator according to an exemplary embodiment of the present invention to provide information on an internal product. Referring to FIG.
디스플레이부(110)는 보관공간 내의 제품들을 이미지로 표시하거나 각 제품의 설명을 표시하는 기능을 제공한다.The
카메라부(120)는 보관공간에 수납된 제품을 촬영한다. 보관공간을 촬영하여 수납 또는 입고되는 제품의 종류와 크기를 식별한다. 이때, 제어부(150)는 입고된 제품이 앞서 입고되었던 제품인지를 데이터베이스부(190)에서 확인할 수 있다. The
데이터베이스부(190)는 입고된 제품에 대해 카메라부(120)가 촬영한 이미지를 누적하여 저장한다. 이 과정에서 카메라부(120)가 다양한 각도에서 촬영한 이미지가 데이터베이스부(190)에서 누적하여 저장될 수 있다. 또한, 데이터베이스부(190)는 카메라부(120)가 다수일 경우, 어느 위치에 배치된 카메라부가 촬영했는지에 대한 정보, 해당 제품이 어느 보관공간 혹은 보관공간을 세분화시킨 선반 중 어느 선반에 배치되었는지에 대한 정보를 함께 저장할 수 있다. The
데이터베이스부(190)는 카메라부(120)가 촬영한 캡쳐 이미지를 저장하며, 또한 제어부(150)가 캡쳐 이미지에서 제품별로 분리한 제품의 이미지를 저장한다. 또한 데이터베이스부(190)는 각각의 캡쳐 이미지 또는 제품의 이미지에 대응하는 메타 정보를 함께 저장한다. The
메타 정보란, 제품의 명칭, 제품의 카테고리, 제품이 입고된 시간, 제품의 사용 가능 기한, 제품에 적용되는 알람 시간, 제품이 보관공간 내에 배치된 위치 정보 중 어느 하나 이상을 포함할 수 있다. 명칭은 사용자가 라벨링을 하는 경우 이를 명칭으로 할 수 있다. The meta information may include at least one of the name of the product, the category of the product, the time at which the product was received, the usable time limit of the product, the alarm time applied to the product, and the location information of the product in the storage space. The name can be a name when the user performs labeling.
입고된 시간은 제품이 입고된 시간을 의미한다. 입고된 시간은 제품이 최초로 냉장고에 입고된 시간 혹은 가장 최근에 입고된 시간 중 어느 하나 이상이 될 수 있다. 제품이 냉장고에서 자주 반출되고 입고되고 제어부(150)에 의해 해당 제품이 동일한 제품인 것으로 식별된 경우, 해당 제품의 반출 및 입고 시간이 누적하여 저장될 수 있다.The time of arrival means the time of arrival of the product. The time of arrival can be at least one of the time the product was first placed in the refrigerator or the time most recently received. If the product is often taken out and placed in the refrigerator, and the
또한, 해당 제품의 사용 가능 기한 혹은 제품에 적용되는 알람 시간 등도 메타 정보가 될 수 있다. 이는 사용자가 직접 입력하거나 선택할 수 있다. 예를 들어, 사용자는 후술할 도 9와 같이 출력된 제품별 이미지에 대해 사용 가능 기한 정보를 입력할 수 있다. In addition, meta information can also be an expiration date of the product or an alarm time applied to the product. This can be manually entered or selected by the user. For example, the user can input usable time information on the output image of the product as shown in FIG. 9 which will be described later.
그리고 해당 제품을 사용하기 위해 알람 시간도 설정할 수 있다. 뿐만 아니라 제어부(150)는 해당 제품이 배치된 위치 정보도 저장할 수 있는데, 이 과정에서 제품의 누적된 위치 정보들을 데이터베이스부(190)에 저장하고 이를 출력할 수 있다. You can also set the alarm time to use the product. In addition, the
뿐만 아니라, 무게 센싱부(130)가 각 선반 혹은 각 보관공간에서 센싱한 정보 역시 데이터베이스부(190)에 저장되어 고내에서 제1선반에서 제2선반으로 이동하는 등 위치 이동이 발생하는 경우 각 선반 별로 무게의 변화를 통해 제품 식별의 정확도를 높일 수 있다. In addition, information sensed by the
이외에도 제품별 이미지를 분리함에 있어 정확도를 높이기 위해 뎁스 카메라부(141) 및 온도 센싱부(143)를 더 포함할 수 있다. 온도 센싱부(143)는 보관공간 내의 제품의 온도 정보를 센싱하며 뎁스 카메라부(141)는 제품의 뎁스 정보를 생성한다. In addition, the apparatus may further include a
하나의 제품은 온도가 동일하거나 유사할 수 있다. 그리고 하나의 제품은 동일한 뎁스 정보를 가지거나 혹은 일정하게 증가하거나 줄어드는 뎁스 정보를 가질 수 있다. 따라서, 제어부(150)가 캡쳐된 이미지에서 특정한 제품의 이미지를 추출함에 있어서 해당 제품의 온도나 뎁스 정보를 이용하여 정확도를 높일 수 있다. One product may have the same or similar temperature. And one product may have the same depth information or may have depth information that is constantly increased or decreased. Accordingly, in extracting a specific product image from the captured image, the
제어부(150)는 전술한 구성요소들을 제어하며 각 구성요소들이 제공한 정보들을 이용하여 제품의 정보를 표시하거나 출력하거나 혹은 외부의 기기에서 통신을 통해 정보를 출력할 수 있도록 통신부(160) 등을 제어할 수 있다. The
또한 제어부(150)는 카메라부(120)가 촬영한 이미지 또는 데이터베이스부(190)에 저장된 정보에 기반하여 각 제품에 대한 메타 정보를 생성한다. 메타 정보란 해당 제품의 명칭, 입고 시간, 추정된 무게 등을 포함할 수 있다. 뿐만 아니라 통신부(160)가 수신한 각 제품별 유통기한 등도 제어부(150)가 생성할 수 있다. The
통신부(160)는 제품의 메타 정보를 생성하는데 필요한 정보를 외부 서버에서 수신하거나, 혹은 외부의 스마트폰 등에서 고내 정보를 확인 요청할 경우 제품의 정보들을 전송하는 기능 등을 할 수 있다. 예를 들어, 제품의 이미지와 메타 정보를 통신 장치(300)에게 전송하고 통신 장치(300)로부터 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신할 수 있다. The
도어 감지부(170)는 도어의 개폐를 감지하여 제품의 유입을 확인할 수 있도록 한다. 이 과정에서 사용자가 도어를 단순히 열고 닫은 경우를 확인할 수 있도록 도어 감지부(170)는 보관공간의 경계 지점에서 사용자의 신체가 보관공간 내에 진입하였는지를 감지할 수도 있다.The
압축기(180)는 냉장고 및 냉동고에 냉력을 제공한다., 새로운 제품이 냉장고에 수납될 경우 제어부(150)의 설정에 기반하여 압축기(180)는 냉장고에 냉력을 제공할 수 있다. 또한 제어부(150)가 외부에 소정의 제품 정보를 출력한 후 외부에서 냉장고(100)의 동작을 지시한 경우, 이에 기반하여 압축기(180)가 동작할 수 있다. The
데이터베이스부(190)는 입고된 제품의 이미지를 저장한다. 다양한 각도에서 촬영된 이미지를 저장하므로 추후 제어부(150)가 새로 입고된 제품을 식별함에 있어서 데이터베이스부(190)에 저장된 후보 이미지를 검색할 수 있다. The
각각의 구성요소에 기반한 동작을 살펴본다. Let's look at the behavior based on each component.
도 4는 본 발명의 일 실시예로, 고내 제품에 대한 이미지를 획득하여 저장하는 과정을 보여주는 과정을 보여주는 도면이다. 고내 제품은 새로 입고될 수도 있고, 고내에서 위치가 변경될 수 있다. 4 is a diagram illustrating a process of acquiring and storing an image of a high-end product according to an exemplary embodiment of the present invention. High-end products may be new or may be repositioned in the interior.
고내 제품이 입고 또는 반출되거나 위치가 변경되었음이 직접(무게 센싱부(130)) 또는 간접(도어 감지부(170)적으로 확인되면 고내 장착된 카메라부(120)로부터 이미지를 획득한다(S201). 획득한 이미지는 보관공간 혹은 선반 단위 혹은 카메라별로 구별지을 수 있다. 그 결과, 데이터베이스부(190)에 저장된 기존의 이미지(보관공간의 이미지, 혹은 선반의 이미지 혹은 해당 카메라부(120)가 촬영하는 공간의 범위 내의 이미지)와 비교하는 이미지 매칭과정을 제어부(150)가 수행한다(S202). (Image sensing unit 130) or indirectly (door sensing unit 170), it acquires an image from the built-in camera unit 120 (S201) The image of the storage space or the image of the shelf stored in the
이후, 매칭 과정에서 제어부(150)는 개별 제품에 대한 이미지를 추출한다(S203). 이 과정에서 기존에 데이터베이스부(190)에 저장된 제품에 대한 개별 이미지 역시 참조할 수 있다. 하나의 제품에 대해 구별되도록 추출된 이미지는 라벨링, 저장 이력, 혹은 고내 이동 경로 등의 메타 정보를 추가하여 데이터베이스부(190)에 저장한다. 이 정보는 이후 해당 제품이 고내에서 위치가 이동할 경우, 혹은 반출되거나, 혹은 반입될 경우에 참조하는 정보로 이용될 수 있다. Thereafter, in the matching process, the
특히, 개별 이미지를 추출한 결과 일부가 가려지는 등 제품의 완전한 이미지를 제어부(150)가 획득하지 못할 경우, 제어부(150)는 분리된 제품의 불완전한 이미지와 데이터베이스부(190)에 저장된 해당 제품의 과거 이미지를 비교한다. 제어부(150)는 분리된 불완전한 이미지가 저장된 이미지의 일부에 해당하는 것으로 확인한 경우, 분리된 불완전한 이미지에 과거 데이터베이스부(150)에 저장한 이미지를 결합하여 조정된 이미지(보다 완전한 이미지)를 생성할 수 있다. In particular, when the
도 4의 실시예를 적용할 경우, 제어부(150)는 카메라부(120)를 통해 습득되는 이미지들에 대해 비교하고, 변경된 부분에 대한 이미지 추출을 통하여 최초의 캡쳐된 이미지에서 각 제품(식료품)의 이미지를 분리할 수 있다. 그리고 분리된 이미지를 누적하여 저장하고 이를 외부에 표시함으로써 다층으로 적재되어 가려진 식료품에 대해서도 사용자가 확인이 가능하도록 한다.4, the
도 3 내지 도 4에서 살펴본 실시예 또는 후술할 실시예를 적용할 경우, 냉장고에 장착된 카메라를 통하여 냉장고 개폐 없이 고내 식료품에 대한 이미지를 저장 및 제공할 수 있다. 특히 냉장고 도어에 카메라가 장착되어 촬영된 이미지를 보여주는 기존 방식으로는 저장실에 식료품이 안쪽부터 다층으로 적재될 경우 바깥쪽 식료품(식자재, 반찬통)에 의해 가려져 안쪽 제품에 대한 이미지 제공이 불가한 경우가 발생 할 수 있다. When the embodiments shown in FIGS. 3 to 4 or the following embodiments are applied, an image of a high-priced food product can be stored and provided through a camera mounted on the refrigerator without opening and closing the refrigerator. In particular, in the conventional method of displaying images taken with a camera mounted on the door of a refrigerator, when the foodstuff is stacked from the inside to the multi-layered foodstuff in the storage room, it is not possible to provide an image for the inner product because it is covered by the outer foodstuff May occur.
반면, 본 발명에서는 촬영된 이미지를 누적적으로 저장하고 비교하여, 변경된 이미지를 추출하고, 추출된 이미지를 누적하여 제공함으로써, 제품이 이동하거나 혹은 가려진 경우에도 이전에 저장된 이미지를 이용하여 사용자에게 하나의 완성된 제품의 이미지를 보여줄 수 있다. On the other hand, according to the present invention, captured images are cumulatively stored and compared to extract changed images, and the extracted images are cumulatively provided, so that even when a product is moved or hidden, Of the finished product.
뿐만 아니라, 사용자가 이미지를 선택/선별 가능하도록 디스플레이부(110)에 출력하여 추출된 제품의 이미지에 대해 라벨링 및 적재 시간과 같은 메타 정보를 저장하여 추후 검색 혹은 고내 제품을 모니터링할 수 있도록 하여 식품 관리가 가능하도록 한다. In addition, the user can output the selected image to the
도 5는 본 발명의 일 실시예에 의한 도 4의 과정을 보다 상세히 도시한 도면이다. FIG. 5 is a detailed diagram illustrating the process of FIG. 4 according to an embodiment of the present invention.
고내 제품이 입고 또는 반출되거나 위치가 변경되었음이 직접(무게 센싱부(130)) 또는 간접(도어 감지부(170)적으로 확인되면 고내 장착된 카메라부(120)로부터 이미지를 획득한다(S211). 획득한 이미지는 보관공간 혹은 선반 단위 혹은 카메라별로 구별지을 수 있다. (Image sensing unit 130) or indirectly (door sensing unit 170), it acquires an image from the built-in camera unit 120 (S211) The acquired images can be sorted by storage space, shelf unit, or camera.
예를 들어, 하나의 카메라가 하나 이상의 보관공간을 촬영할 수 있다. 또는 하나의 카메라가 하나의 선반 만을 촬영할 수도 있다. 카메라가 회전 혹은 이동이 가능한 경우, 각각의 위치나 여러 방향에 대해 촬영한 이미지가 다수 획득될 수 있다. For example, one camera can capture one or more storage spaces. Or one camera may shoot only one shelf. When the camera can be rotated or moved, a plurality of images photographed for each position or in various directions can be obtained.
그리고 제어부(150)는 앞서 카메라가 동일한 보관공간 또는 동일한 선반, 또는 동일한 위치나 동일한 방향에서 촬영하여 데이터베이스부(190)에 저장된 이미지들과 S211에서 획득한 이미지들을 매칭한다(S212). 매칭이란 두 개의 이미지를 비교하여 이전 이미지와 같은지 다른지를 확인하는 것을 의미한다. 고내 이미지가 완전히 동일할 경우에는 기존 이미지와 새로이 획득한 이미지가 동일하므로 데이터베이스부(190) 내에 기존 이미지를 유지한다(S214).In step S212, the
도면에 미도시되었으나, 이전의 이미지와 현재 이미지가 거의 동일한 경우(예를 들어 약간의 위치 변경으로 미리 설정된 작은 개수의 픽셀들에 있어서 차이가 발생한 경우)에는 새로 획득한 이미지를 저장하고 종료할 수 있다. Although not shown in the drawing, if a previous image and a current image are substantially the same (for example, a difference occurs in a preset small number of pixels due to a slight change in position), the newly acquired image can be stored and terminated have.
반면, 비교 결과 미리 설정된 픽셀의 차이의 허용값을 넘어서 상이한 이미지로 제어부(150)가 판단한 경우, 변화된 이미지(부분 이미지)를 추출한다(S215). 그리고 제어부(150)는 추출된 이미지에 라벨링을 추가하거나, 혹은 추출된 이미지에 대한 이력 정보와 같은 메타 정보를 데이터베이스부(190)에 저장한다. On the other hand, if the
이 과정에서 제어부(150)는 해당 제품이 이전에 데이터베이스부(190)에 저장되었던 제품에 대한 개별 이미지와 비교하여 동일한 제품으로 판단된 경우(제품의 이동 혹은 동일 제품이 새로 입고된 경우 등) 해당 개벌 이미지에 대응하여 설정되었던 라벨링 정보를 저장할 수 있다. In this process, when the corresponding product is compared with an individual image of the product previously stored in the
또한, 제어부(150)는 해당 제품의 포장지 혹은 표면에 쓰여진 문자를 판독하여 이를 라벨링으로 사용할 수 있다. 또한, 제어부(150)는 데이터베이스부(190)에 저장된 참조 이미지를 이용하여 해당 제품을 추정할 수도 있다. 예를 들어 데이터베이스부(190)에 저장된 다양한 과일 이미지를 이용하여 새로 입고된 제품에 대한 라벨링을 선택할 수 있다. Also, the
또한 이력 정보는 제품이 고내에서 이동한 정보를 포함하는데, 최초로 입고된 시점에 대한 정보뿐만 아니라, 제1선반에 배치된 후 1시간 동안 반출되었다가 제2선반으로 입고된 경우, 이러한 이동 정보가 이력 정보로 저장될 수 있다. 또한, 무게센싱부(130)를 이용하여 해당 제품의 무게를 구별할 수 있을 경우 무게 정보도 함께 메타 정보로 저장할 수 있다.In addition, the history information includes information on the movement of the product within the warehouse. In addition to the information on the first arrival time, when the warehouse is moved to the first shelf for one hour and then put on the second shelf, And can be stored as history information. In addition, when the weight of the corresponding product can be distinguished by using the
즉, 제품별로 추출된 이미지들에 대한 매칭을 통하여 해당 제품이 반출된 후 입고되는데 걸린 시간을 이용하여 해당 제품이 외부에 방치되었던 시간에 대한 정보도 제공할 수 있다. 특히 신선도가 중요한 제품의 경우, 예를 들어 우유가 냉장고에서 외부로 반출된 후, 동일한 제품이 다시 입고된 경우, 그 시간을 계산하여 우유의 신선도를 제어부(150)가 확인할 수 있다. That is, it is possible to provide information on the time when the product is left on the outside using the time taken for goods to be taken out after matching the images extracted for each product. Especially, in case of a product whose freshness is important, for example, when milk is taken out to the outside from the refrigerator and then the same product is re-introduced, the
이때, 동일한 제품인지 아니면 외관만 같고 전혀 다른 제품이 입고되었는지를 확인하기 위해 제어부(150)는 이전 제품의 무게 정보와 새로 입고된 무게 정보를 비교할 수도 있다. 무게 정보는 고내 제품들의 반입 및 반출 과정에서 개별 제품의 무게를 추정할 수 있다. At this time, the
예를 들어 제1선반에 A, B, C라는 제품이 배치되었고 총 1.9 kg인 것으로 무게 정보가 데이터베이스부(190)에 저장될 수 있다. 이후 A 라는 제품이 반출되면서 제1선반의 무게가 1.3kg 이면 B, C 제품의 무게는 1.3 kg이고 A라는 제품의 무게는 600g 인 것으로 데이터베이스부(190)에 저장할 수 있다. 이후 A와 유사한 이미지의 제품이 입고되었는데, 만약 무게가 600g 이거나 이보다 줄어들면 제어부(150)는 동일한 제품으로 식별한다. For example, the products A, B, and C are placed on the first shelf and the weight information is 1.9 kg in total, and the weight information can be stored in the
반면, 무게가 증가하며 해당 제품의 메타 정보가 무게가 증가하기 어려운 제품(우유, 치즈 등)인 경우에는 새로운 제품이 반입된 것으로 제어부(150)가 메타 정보를 변경하거나 새로운 제품으로 데이터베이스부(190)에 저장할 수 있다. On the other hand, when the weight increases and the meta information of the product is a product (milk, cheese, etc.) which is difficult to increase in weight, the
이후 제어부(150)는 추출된 이미지, 즉 제품에 대한 개별 이미지를 데이터베이스부(190)에 추가로 저장한다(S217). 물론, 저장과정에서 S211 과정에서 획득한 이미지 역시 데이터베이스부(190)에 저장하여 다음 번에 제품의 입고 또는 반출이 발생하는 경우에 비교할 수 있다. Thereafter, the
도 5의 과정을 정리하면 다음과 같다. 카메라부(120)가 새로 획득한 이미지와 기존 이미지를 제어부(150)가 비교한다. 비교 방식으로는 픽셀 위치 및 RGB 색상 정보 등 이미지 내의 차이점을 확인하는 프로세스를 적용할 수 있다. 비교 결과 변경된 사항이 발생 시 변경된 이미지 부분을 추출하고 해당 추출 이미지에 제어부(150)가 자동으로 라벨링하거나 혹은 사용자가 원하는 라벨링 기입 및 적재 시간 등의 이력을 저장하고, 추출 이미지를 추가 저장할 수 있다. The process of FIG. 5 is summarized as follows. The
촬영된 이미지에서 제품별로 이미지 부분을 추출한 경우, 냉장고(100)의 디스플레이부(110)에 새로운 제품이 입고되었음을 표시하며 사용자로부터 소정의 정보(명칭, 고내 저장 기간, 알람 등)를 입력받을 수 있다. 또는 냉장고(100)의 통신부(160)가 전송한 정보를 출력하는 스마트폰을 통해 사용자가 고내 제품에 대한 라벨링을 수행할 수 있다. When the image portion is extracted for each product in the photographed image, the
기존에 카메라를 이용해서 고내 이미지를 촬영할 경우, 냉장고 내 제품의 다층 적재로 인해 카메라로부터 멀리 배치된 제품들이 가려진 경우는 표시할 수 없는 문제가 있었다. 그러나 본 발명의 실시예를 적용할 경우, 제품의 이미지가 지속적으로 누적되므로, 어느 한 시점에서 제품이 다른 제품에 의해 가려지는 경우라 하여도 해당 제품의 일부 이미지만으로도 식별할 수 있다. 이에 대해 보다 상세히 살펴본다.Conventionally, there has been a problem in that when a still image is photographed using a camera, products placed far away from the camera due to multi-layer stacking of products in the refrigerator can not be displayed. However, when the embodiment of the present invention is applied, the image of the product is constantly accumulated, so even if the product is hidden by another product at a certain point in time, it is possible to identify even a part of the product of the product. This will be described in more detail.
도 5의 과정에서 제어부(150)는 카메라부(120)가 촬영한 캡쳐 이미지와 데이터베이스부(190)에 저장된 캡쳐 이미지를 비교하여 상이한 경우(S212), 캡쳐 이미지에서 보관공간에 배치된 제품별로 이미지를 분리하여 제품별로 이미지를 식별할 수 있도록 한다. 5, the
도 5의 과정을 구현할 경우, 촬영된 이미지들에 대한 비교 및 변경 부분(식료품)에 대한 이미지를 추출하고, 누적된 추출 이미지를 제공함으로써 다층으로 적재되어 가려진 식료품에 대한 이미지도 냉장고 외부 또는 통신장치 등에서 표시 가능하도록 하며, 추출 이미지에 대한 라벨링 및 적재 시간 이력을 저장함으로써 해당 식료품 관리가 가능하도록 한다.5, an image of a food item that is stacked in a multi-layered manner by providing a cumulative extracted image is extracted from the comparison and change parts (foodstuffs) of the taken images, And store the labeling and loading time histories of the extracted images so that the corresponding food items can be managed.
도 6은 본 발명의 일 실시예에 의한 데이터베이스부(190)에 저장되는 정보의 종류를 보여주는 도면이다.FIG. 6 is a view showing types of information stored in the
데이터베이스부(190)는 카메라부(120)가 획득하는 이미지(보관공간별, 선반별, 혹은 특수한 위치나 방향 별로 획득된 전체 이미지)와 해당 이미지가 촬영된 시간, 혹은 이미지에 매칭되는 보관공간의 정보, 선반의 정보 혹은 위치나 방향에 대한 정보를 저장하는 캡쳐이미지 테이블(191)을 포함한다. The
이 과정에서 각 보관공간에 대한 메타 정보 또는 선반에 대한 메타정보 등이 함께 저장될 수 있다. 예를 들어, 해당 공간의 무게가 측정된 경우 무게 정보를 저장하여 제어부(150)가 추후 이미지 비교 시 참조할 수 있다. In this process, meta information about each storage space or meta information about the shelf can be stored together. For example, when the weight of the space is measured, the weight information may be stored, and the
또한, 데이터베이스부(190)는 카메라부(120)가 획득한 이미지에서 제품별로 구분한 제품별 이미지를 저장하는 제품이미지 테이블(193)을 포함한다. 제품에 대해서는 시리얼 번호와 제품에 대한 카테고리(과일, 캔 등), 해당 제품이 입고된 시간, 혹은 입고 후 진행된 시간, 해당 제품의 유통 기한, 혹은 제품에 대한 라벨링 등이 함께 저장될 수 있다. In addition, the
이 과정에서 제품의 부피 정보 역시 제품 이미지 테이블(193)에 저장될 수 있으며, 이를 위해 고내 제품들의 뎁스 정보를 생성하는 뎁스 카메라가 고내 포함될 수 있다. In this process, the volume information of the product can also be stored in the product image table 193, and a depth camera for generating the depth information of the in-store products can be included therein.
또한, 데이터베이스부(190)는 제품이력테이블(195)을 더 포함할 수 있는데, 해당 제품이 반출 후 재입고되었음이 확인된 경우, 해당 제품이 어느 위치에 배치되었고 그의 무게 정보가 변화하였거나 혹은 온도 정보가 변화한 것에 대한 이력 정보를 누적하여 저장할 수 있다. 온도의 변화를 확인하기 적외선 카메라가 더 포함될 수 있다. In addition, the
도 7은 본 발명의 일 실시예에 의한 고내 이미지를 촬영하여 제품 수납에 변화가 발생한 경우 이를 반영하는 실시예를 보여주는 도면이다. FIG. 7 is a view illustrating an embodiment in which a change in storage of a product is taken by taking an in-built image according to an embodiment of the present invention.
221는 어느 한 시점에서의 고내 제품들의 제품 이미지 및 메타 정보들이 표시됨을 보여준다. 221에서 제품 별로 사각형이 표시되는 것은 제품의 이미지를 저장하는 단위가 될 수 있다. 또한, 제품 별로 표시된 사각형은 사용자가 해당 제품을 선택할 수 있는 범위를 표시할 수 있다. 221 shows that the product image and meta information of the in-house products at a certain point in time are displayed. In 221, a square is displayed for each product, which can be a unit for storing an image of the product. In addition, the rectangles displayed for each product can indicate the range in which the user can select the product.
예를 들어, "water(0.72)"라 표시된 사각형은 전체 이미지에서 생수병을 선택할 수 있는 범위를 표시하는 것을 일 실시예로 한다. 또한, 이러한 사각형은 제어부(150)가 캡쳐 이미지에서 생수병으로 식별한 제품 이미지를 다른 실시예로 한다. For example, a rectangle labeled "water (0.72) " represents an example of a range in which bottles can be selected from the entire image. In addition, such a quadrangle is another embodiment of the product image identified by the
221은 고내 다양한 제품들이 배치되었으며, 각 제품의 라벨이 배치되었음을 보여준다. 라벨 부근의 숫자는 해당 제품이 입고된 시간 혹은 제품에 대한 온도, 제품에 대한 무게 등 제품에 대한 다양한 메타 정보가 표시될 수 있음을 보여준다. 221 shows the placement of various products in the warehouse and the placement of each product label. The number in the vicinity of the label indicates that various meta information about the product such as the time when the product was shipped, the temperature for the product, and the weight for the product can be displayed.
222는 221과 같이 배치된 상태에서 새로운 제품이 입고된 후 캡쳐 이미지에서 새로운 제품의 이미지가 확인된 경우이다. 제어부(150)는 221과 222의 두 개의 캡쳐 이미지를 비교한 다음, 223이 지시하는 제품이 새로 적재되어 이미지 변화가 발생한 것을 확인한다. 제어부(150)는 새로 적재된 제품(223)의 이미지를 캡쳐 이미지에서 추출하여 제품 이미지 테이블(193)에 저장한다. 몰론 223이 포함된 전체 캡쳐 이미지 역시 캡쳐 이미지 테이블(191)에 저장한다. 222 is a case where an image of a new product is confirmed in a captured image after a new product is placed in a state of being arranged as 221. The
새로 추가된 제품에 대한 이미지는 냉장고의 디스플레이부(110) 또는 냉장고의 통신부(160)와 정보를 송수신하는 스마트폰/테블릿(단말기) 등의 통신 장치에 출력되며, 사용자가 해당 제품에 대해 별도의 라벨링을 입력하거나 이 제품을 언제까지 사용해야 한다는 알람 정보와 같은 메타 정보를 입력할 수 있으며, 입력된 정보 역시 제품 이미지 테이블(193)에 저장될 수 있다. The image of the newly added product is output to a communication device such as a smart phone / tablet (terminal) that transmits / receives information to / from the
또한, 사용자는 냉장고의 디스플레이부(110) 또는 단말기와 같은 통신 장치의 터치 화면을 통해 추출된 제품 이미지들을 개별적으로 움직이며 물품을 찾을 수 있다. In addition, the user can move the extracted product images individually through the touch screen of the communication unit such as the
도 7을 정리하면 다음과 같다. 냉장고에 설치된 카메라부(120)를 이용하여 냉장고 내 촬영 이미지 보여주고, 또한 촬영된 이미지 중에서 제품별 이미지를 식별하여 표시하며, 사용자의 입력 또는 제어부(150)가 자동으로 식별한 정보들에 기반하여 라벨링 및 메타 정보를 저장할 수 있다. 7 is summarized as follows. And displays images photographed in the refrigerator using the
제어부(150)는 캡쳐 이미지 테이블(191)에 저장된 기존 이미지와 새로 카메라부(120)에 의해 획득된 이미지를 비교하여, 변경된 부분에 대한 이미지를 추출한 후, 별도로 제품 이미지로 저장한다. 그리고 추출된 이미지를 전체 냉장고 내 통합 이미지에 추가함으로써 추후 터치 및 드래그 등의 행위를 통하여 제품 이미지를 개별적으로 선택 및 선별하여 다층으로 적재되어 보이지 않는 물품에 대해서도 이미지를 통해 움직이며 찾아볼 수 있다. The
도 7의 221 또는 222와 같이 캡쳐 이미지에서 제품 이미지가 식별되도록 표시된 이미지는 냉장고(100)의 디스플레이부(110) 혹은 단말기와 같은 통신 장치의 화면에 출력되고, 사용자는 터치를 통해 특정 이미지를 선택하여 이에 대해 표시하고자 하는 내용으로 라벨링을 저장할 수 있으며, 이 과정에서 적재시간과 저장 경과 시간 등의 정보도 함께 저장할 수 있다.An image displayed to identify the product image in the captured image, such as 221 or 222 in FIG. 7, is output to the screen of the communication unit such as the
도 8은 본 발명의 일 실시예에 의한 단말기와 같은 통신 장치의 구성을 보여주는 도면이다. 8 is a diagram illustrating a configuration of a communication device such as a terminal according to an embodiment of the present invention.
통신장치(300)는 스마트폰, 태블릿 컴퓨터 등 냉장고(100)의 통신부(160)과 정보를 송수신하는 기기를 의미한다. 도 8의 구성요소는 통신 장치(300)가 냉장고(100) 내에 배치된 제품을 표시하고 여기에 제품별 정보를 입력하기 위한 기능을 제공하는데 필요한 구성요소들을 제시한다. 따라서, 통신 장치(300)가 다른 기능을 제공하기 위해 추가적인 구성요소를 더 포함할 수 있다. The
제어부(350)는 소정의 애플리케이션을 실행시켜 해당 애플리케이션이 냉장고(100) 내의 제품을 출력할 수 있도록 제어한다. 디스플레이부(310)는 통신부(360)가 수신한 고내 제품들의 이미지를 출력한다. 또한 고내 제품들에 대한 메타 정보가 포함된 경우, 메타 정보 역시 출력할 수 있다. 출력 방식은 도 7에서 살펴본 바와 같이 전체 캡쳐 이미지 상에 제품 이미지의 주변으로 사각형이 표시되어 라벨링된 실시예가 될 수 있다. The
통신 장치(300)의 디스플레이부(310)는 터치 입력이 가능하므로, 사용자는 표시된 제품 이미지를 터치하거나 드래그할 수 있다. 예를 들어, 고내 카메라가 4면에 배치된 경우 전후좌우면에서 촬영한 이미지를 조합하여 하나의 제품의 전체 이미지(혹은 일부 이미지)를 표시할 수 있고, 사용자는 이를 드래그하여 제품의 뒷면을 확인할 수 있다. Since the
이미지 저장부(330)는 제품 이미지 또는 캡쳐 이미지를 저장할 수 있다. 또한 각 제품에 대한 메타 정보들 역시 이미지 저장부(330)에 저장할 수 있다.The
도 9는 본 발명의 일 실시예에 의한 스마트폰이 고내 제품을 표시한 도면이다. 냉장고(100)의 통신부(160)는 제품의 이미지와 메타 정보를 통신 장치(300)에게 전송하고 통신 장치(300)로부터 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신할 수 있다.9 is a diagram illustrating a smartphone according to an exemplary embodiment of the present invention. The
앞서 도 7에 제시된 이미지 중에서 사용자의 편의를 위해 선반 별로 제품들의 이미지 및 이에 대응하는 메타 정보를 출력할 수 있다. 예를 들어, 도 7의 221에서 첫번째 선반(1st Shelf)에 배치된 3개의 제품이 도 9의 디스플레이부(310)에 출력되었다. 여기서 사용자는 각 제품 이미지의 아래에 배치된 화살표를 이용하여 사용자가 드래그 입력을 시도하면, 해당 제품의 후면 혹은 측면을 볼 수 있다. 이는 냉장고 내에 다수의 카메라가 배치된 경우, 카메라 위치별로 제품을 식별할 수 있기 때문이다. The image of the products and the corresponding meta information can be outputted for the user's convenience in the images shown in FIG. For example, in FIG. 7, the three products placed on the first shelf (221) in FIG. 7 were output to the
또한, 디스플레이부(310) 하단부에는 각 선반별(2nd Shelf 또는 3rd Shelf)로 제품 이미지를 확인할 수 있도록 선반을 선택할 수 있도록 한다. 이는 선반 별로 제품을 확인하기에 제품의 이미지가 작을 수 있으므로, 이를 확대하여 표시할 수 있다. 그리고 사용자가 해당 제품의 라벨링을 추가하거나 변경할 경우 제품 이미지로 표시된 사각형 (혹은 다른 형상의 윤곽선)을 터치하여 글자를 입력할 수 있다.In addition, a shelf can be selected at the lower end of the
도 9의 도면은 통신 냉장고 디스플레이나 단말기를 통하여 라벨링 내용에 대한 텍스트 검색 및 음성 명령을 통해 관련 식품의 이미지를 검색하거나 적재 정보에 따라 검색 및 정렬하여 표시할 수 있다. 도 9의 화면은 스마트폰 외에도 냉장고(100)에 배치된 디스플레이부(110) 역시 전체 캡쳐 이미지를 그대로 표시하거나 혹은 어느 하나의 선반을 중심으로 제품 이미지를 출력할 수 있다.The figure of FIG. 9 can retrieve an image of a related food through a text search and a voice command for labeling contents through a communication refrigerator display or a terminal, or search and sort according to loading information. 9, the
특히, 도 9의 실시예와 같이 통신장치의 디스플레이부(310) 또는 냉장고의 디스플레이부(110)는 제어부(150) 및 카메라부(120)에 의해 추출된 개별 제품의 이미지를 기반으로 저장되고 이들이 각각 분리되어 개별 제품의 이미지로 표시된다. 그리고 표시된 제품 이미지에 대해 디스플레이부(310, 110) 상에서 터치를 통해 선택하거나 드래그 동작(drag gesture)을 취함으로써, 제품 이미지에 대한 선별 및 선반별로 디스플레이되는 제품의 표시 혹은 이미지의 이동이 가능하여 물품 관리를 위해 분류 가능할 수 있도록 한다.9, the
도 7 내지 도 9에서 살펴본 바와 같이, 고내 카메라에 의해 추출된 이미지에 대한 라벨링 및 적재 정보를 출력하여, 사용자는 고내 제품들을 확인할 수 있으며, 그 결과 식료품을 관리할 수 있다. 특히 개별 추출된 제품별 이미지의 메타 정보로 저장한 정보들은 텍스트 및 음성 명령 등의 검색 방법을 통해 찾거나 정렬(저장 시간)된 형태로 출력될 수 있으므로, 유통기한이 임박한 식료품을 관리할 수 있다.As shown in FIGS. 7 to 9, the labeling and loading information of the image extracted by the in-camera can be output, and the user can confirm the in-store products and manage the foodstuffs as a result. In particular, the information stored as the meta information of the image of each individual extracted product can be outputted in the form of searching (sorting) or sorting (storage time) by a search method such as text and voice command, so that the foodstuff having an expiration date can be managed .
그 결과, 냉장고 개폐를 하지 않고도 내부에 장착된 카메라부(120)를 통하여 촬영 가능 범위의 이미지들에 대해 안쪽에 가려진 식료품을 포함하여 모든 이미지에 대한 표시할 수 있다. 각 이미지를 통한 식료품에 대해 라벨링 및 저장 이력을 통해 물품 관리가 가능해진다. As a result, it is possible to display all the images including the grocery hidden inside the images of the photographable range through the
도 10은 본 발명의 일 실시예에 의한 식료품이 중첩된 경우에 대한 이미지 추출 과정을 보여주는 도면이다. 이는 데이터베이스부(190)에 별도의 개별 이미지가 없거나, 혹은 위치 변동 등으로 인해 새로운 이미지가 생성된 경우, 이미지 내에서 개별 이미지를 추출하는 과정을 살펴본다. FIG. 10 is a diagram illustrating an image extraction process in a case where foodstuffs are overlapped according to an embodiment of the present invention. The process of extracting individual images in an image when no separate individual image is present in the
도 10은 최초 이미지에서 중첩된 제품의 이미지(객체)가 있을 시 이미지 세그먼테이션(image segmentation) 방법을 통해 각 제품 별 이미지 추출을 하는 과정을 보여준다. 제어부(150)는 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하고, 객체별 뎁스 정보 또는 온도 정보를 추출하여 객체별 경계를 설정하여 제품별 이미지를 산출하여 제품별 이미지를 산출함에 있어서 정확도를 높일 수 있다. 상세한 과정을 살펴본다. FIG. 10 shows a process of extracting an image for each product through an image segmentation method when there is an image (object) of a product nested in the original image. The
제어부(150)는 캡쳐 이미지에서 이미지 세그먼테이션을 수행한다(S221). 이미지 세그먼테이션은 배경과 물체를 분할하여 나뉘어진 영역 내에서 유사성이 있거나 유사한 영역을 하나의 물체로 판단하는 것을 의미한다. 특히, 고내 배치되는 제품은 이미지 세그먼테이션을 하는데 필요한 부가 정보를 획득할 수 있다. The
일 실시예로, 최초에 캡쳐한 이미지에서 중첩된 객체가 있을 시 이미지 세그먼테이션을 통해 각 객체 별 이미지 추출이 가능해진다. 예를 들어, 제어부(150)는 이미지 세그먼테이션에 대응하는 뎁스 정보 또는 온도 정보를 추출한다(S222). In one embodiment, when there is an overlapping object in the initially captured image, it is possible to extract an image for each object through image segmentation. For example, the
예를 들어 이미지 세그먼테이션한 결과 1차적으로 물체들이 분류된 후, 각 물체에 대한 뎁스 정보 또는 온도 정보 중 어느 하나 이상을 조합하여 1차적으로 분류된 물체들이 하나의 구별되는 제품으로 확인할 수 있는지를 제어부(150)가 판단한다. For example, after objects are firstly classified as a result of image segmentation, it is determined whether or not primarily classified objects can be identified as one distinct product by combining at least one of depth information and temperature information for each object. (150).
그리고 판단 결과 뎁스 정보나 온도 정보에 의해서도 분류된 물체가 단일한 제품인지를 제어부(150)가 정확도를 높여 판단할 수 있다. 그 결과 제어부(150)는 객체별 경계를 설정하고(S223), 해당 객체에 대한 제1제품 이미지를 산출한다(S224). 이후 외부에서 입력된 정보에 기반하여 제1제품 이미지와 동일하거나 혹은 변형된 제2제품이미지를 생성한다(S225). As a result of the determination, the
외부에서 입력된 정보란, 사용자가 입력한 라벨링 정보에 따라 제1제품 이미지에서 불필요한 픽셀 등을 제거하여 제2제품 이미지를 생성하는 것을 일 실시예로 한다. 예를 들어 토마토라고 입력한 라벨링을 제어부(150)가 확인하고, 제1제품 이미지와 데이터베이스부(190)에 저장된 토마토의 다양한 이미지를 비교하여 불필요한 픽셀을 제거할 수 있다. In an exemplary embodiment of the present invention, the second product image is generated by removing unnecessary pixels from the first product image according to the labeling information input by the user. For example, the
이외에도 이미지 세그먼테이션 과정에서 이전에 저장되었던 제품의 이미지를 참조할 수 있다. 이미지 세그먼테이션 과정에서 추출된 제품의 일부 이미지가, 과거에 저장했던 제품의 이미지와 부분 일치할 경우, 이의 전체 이미지를 과거 저장했던 제품의 이미지로 변경할 수 있다. 물론, 이 과정에서 과거 저장했던 제품의 이미지가 마지막으로 확인된 시점을 확인할 수 있다. 캡쳐 이미지 내에서 이동이 없었던 경우, 캡쳐 이미지의 최신 업데이트 시점을 참고하거나, 해당 캡쳐 이미지와 동일한 캡쳐 이미지가 촬영되었던 시점 등에 대한 정보를 참고할 수 있다.In addition, images of previously stored products can be referenced during the image segmentation process. If the partial image of the product extracted during the image segmentation process partially matches the image of the product stored in the past, the entire image thereof can be changed to the image of the product that has been stored in the past. Of course, in this process, you can see when the image of the last saved product was last seen. In the case where there is no movement within the captured image, information on the latest update point of the captured image, a point in time when the captured image identical to the captured image is captured, and the like can be referred to.
도 11은 본 발명의 일 실시예에 의한 메타 정보를 출력하는 실시예를 보여주는 도면이다. 디스플레이부는 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력할 수 있다. 예를 들어 도 11에 표시된 바와 같이 디스플레이부(110a)는 정보를 출력하면서 또한 외부로부터 터치 입력을 수신할 수 있다. 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력할 수 있다. 11 is a diagram illustrating an embodiment of outputting meta information according to an embodiment of the present invention. The display unit may output an interface for receiving search information of a product stored in the storage space or information indicating an output method. For example, as shown in FIG. 11, the
"Search Word"에 검색하고자 하는 수납 제품으로 "Tomato apple fruit"와 같이 검색하고자 하는 제품을 나열할 수 있다. 그리고 입고된 날짜 혹은 시간을 "Enter Date or Time"의 하단의 입력단에 입력할 수 있다. 또한, 디스플레이 방식으로 "Display Type" 하단에 "Sort by Shelf"를 선택할 수 있다. You can list the products you want to search, such as "Tomato apple fruit" as the storage item you want to search in "Search Word". You can enter the date or time of receipt in the input field at the bottom of "Enter Date or Time". You can also select "Sort by Shelf" at the bottom of "Display Type" as the display method.
사용자가 정보를 입력한 후, "Display"라는 버튼을 누르면 제어부(150)는 검색정보에 해당하는 제품의 이미지를 출력 방식을 지시하는 정보에 따라 디스플레이부(110b)에서 출력할 수 있다. 110b와 같이 고내 제품들 중에서 토마토에 해당하는 제품의 이미지가 선반 별로 출력된다. 이때, 각 제품이 배치된 위치(선반)도 좌측에 "1st Shelf" 또는 "2nd Shelf"로 표시될 수 있다. After the user inputs the information, if the user presses the button "Display ", the
또한, 첫번째 선반의 토마토는 "6:30 Dinner"라 표시되는데, 이는 사용자가 별도로 설정한 알람 정보가 표시된 것을 의미한다. Also, tomatoes on the first shelf are displayed as "6:30 Dinner", which means that alarm information set by the user is displayed separately.
앞서 살펴본 바와 같이 메타 정보에는 사용 가능 기한 또는 상기 알람 시간이 포함될 수 있다. 따라서, 제어부는 메타 정보 중에서 7용 가능 기한 또는 알람 시간과 현재 시간과의 차이가 미리 설정된 기준 이하인 경우 디스플레이부(110b)에서 제품의 이미지 및 제품의 메타 정보를 출력하여 사용자로 하여금 해당 제품을 사용하도록 유도하여 고내 제품을 사용하지 않고 폐기하는 문제를 해결할 수 있다. As described above, the meta information may include an expiration date or the alarm time. Accordingly, when the difference between the available time limit or the alarm time and the current time is less than or equal to a preset reference value, the control unit outputs the image of the product and the meta information of the product on the
도 11의 검색 및 출력은 통신 장치(300)를 통해서도 가능하다. 냉장고(100)의 통신부(160)와 통신 장치(300)가 정보를 송수신하여 앞서 도 9에서 살펴본 바와 같이 사용자가 외부에서 통신 장치(300)를 이용하여 고내 제품을 확인할 수 있다. The retrieval and the output of Fig. 11 are also possible through the
앞서 각 제품별로 분리하여 추출된 이미지(식료품)에 대해 디스플레이부에서 제품에 대한 메타 정보(라벨링 및 시간 이력)를 저장 및 표시하도록 설정하여 식료품 관리가 가능할 수 있다. 특히, 디스플레이부(110, 31)에서 텍스트 입력 등의 조작을 통해 라벨링을 제품별로 설정하여 데이터베이스부(190)에 저장할 수 있다. The display unit may store and display meta information (labeling and time history) of the product on the image (foodstuff) extracted separately for each product, so that the foodstuffs management can be possible. In particular, the labeling may be set for each product on the
그리고 저장된 메타 정보(라벨링)에 대한 텍스트 검색 또는 음성 검색을 통하여 이미지 검색을 가능하게 하며, 식료품의 위치를 표시할 수 있으며, 입고된 시간 또는 적재 시간과, 저장 경과 시간을 표시하고 다양한 방식으로 정렬할 수 있다. It enables image search through text search or voice search for stored meta information (labeling), displays the location of grocery items, displays the arrival time or loading time, and storage elapsed time and displays it in various ways can do.
특히, 110a에 표시된 바와 같이, 본 발명을 적용할 경우, 추출되어 분리된 이미지에 대한 적재 이력(시간, 날짜) 및 저장 경과 시간 등의 정보를 제공하여 해당 정보에 따른 정렬 및 분류 등을 통해 고내 제품 특히 식료품 관리가 가능하다.In particular, as shown in 110a, when the present invention is applied, information such as a loading history (time, date) and storage elapsed time for an extracted and separated image is provided, and the information is sorted It is possible to manage the products, especially the foodstuffs.
도 12는 본 발명의 일 실시예에 의한 캡쳐 이미지 테이블 및 제품 이미지 테이블의 구성을 보여주는 도면이다. 12 is a diagram illustrating a configuration of a captured image table and a product image table according to an embodiment of the present invention.
도 7의 221은 하나의 보관 공간 내에 3개의 선반을 가지고 있다. 이러한 구성이 도 12의 191a에 표시된다. CaptureId는 챕쳐한 이미지의 식별 정보이며, 선반 별로 이미지 파일을 별도로 저장한 실시예를 보여준다. ImageFile은 캡쳐 이미지 파일을 의미한다. 7, 221 has three shelves in one storage space. This configuration is shown at 191a in Fig. The CaptureId is identification information of the image to be referred to, and shows an embodiment in which an image file is stored separately for each shelf. ImageFile refers to a captured image file.
Position은 캡쳐한 이미지가 어느 보관공간인지(LeftTop, LeftBottom, RightTop, RightBottom 등)를 표시하며 Shelf는 해당 보관공간 내에서의 선반의 위치를 지시하는 정보이다. CaptureTime은 이미지가 캡쳐된 시간을 보여준다. 191a에서 두번째 선반의 캡쳐 시간이 상이한데, 두번째 선반에 제품의 반입 또는 반출 등으로 인한 변화가 있었음을 보여준다. Position indicates which storage space the captured image is in (LeftTop, LeftBottom, RightTop, RightBottom, etc.) and Shelf is information indicating the position of the shelf in the storage space. CaptureTime shows the time the image was captured. At 191a, the capture times for the second shelf were different, showing that there was a change in the second shelf due to product import or export.
도 12에서 Cap01.jpg는 도 7의 221의 첫번째 선반의 이미지 파일을, Cap02.jpg는 도 7의 221의 두번째 선반의 이미지 파일을, Cap03.jpg는 도 7의 221의 세번째 선반의 이미지 파일을 지시한다. 물론 선반이 아닌 보관공간 전체로 221과 같은 이미지 파일이 저장될 수도 있다.In Fig. 12, Cap01.jpg represents the image file of the
193a는 제품별 이미지에 대한 정보를 보여준다. id는 제품별 고유 식별 정보를 의미한다. Label은 제품의 명칭으로 사용자가 라벨링한 정보이다. ImageFile은 제품의 이미지파일로, 앞서 캡쳐된 이미지에서 해당 제품의 이미지를 분리하여 저장한 이미지 파일을 일 실시예로 한다. 193a shows information about product-specific images. id is unique identification information for each product. A label is the name of the product and is user-labeled information. The ImageFile is an image file of the product, and an image file in which an image of the product is separated from the captured image is stored as an example.
category는 제품의 카테고리를 의미한다(소스, 채소, 유제품 등), enteringtime은 고내 입고된 시간을 의미한다. 최초 입고된 시간으로 저장될 수도 있다. 또는 가장 최근에 입고된 시간으로도 저장될 수 있다. Position과 Shelf는 각각 제품이 배치된 보관공간과 선반을 의미한다. Alarm은 해당 제품에 대해 사용자에게 알람이 필요한 시간에 대한 정보이다. category is the category of product (source, vegetable, dairy product, etc.), and enteringtime is the time of arrival in the house. Or may be stored as the first time of arrival. Or may be stored as the most recently received time. Position and shelf mean shelf space and storage space, respectively. An alarm is information about a time when an alarm is required for a user for the product.
linked는 해당 제품과 연관된 다른 제품을 보여준다. "001"이라는 식별 정보로 "tabasco"가 설정되었고, 이의 링크된 제품은 "002"인 "tomato"라는 것이 확인된다. 이는 사용자가 어떤 제품에 대해 검색하거나 반출할 때 사용자에게 연관된 제품을 출력하여 표시하는 기능을 제공한다. 아울러 CaptureId는 제품의 이미지가 포함되었던 캡쳐 이미지에 대한 식별정보를 의미한다. linked shows other products associated with the product. It is confirmed that "tabasco" is set as the identification information "001", and the linked product is "tomato" having "002". This provides the ability for the user to output and display the associated product when the user searches for or exports the product. The CaptureId is identification information of the captured image in which the image of the product is included.
193a에서 category, label, Alarm 등을 제외하고 제품의 위치나 무게 등이 변경될 경우 id와 enteringtime, position, shelf 정보를 누적하면 제품 이력 테이블(195)을 구성할 수 있다. 따라서, 매번 캡쳐한 이미지에서 특정 제품의 이미지가 다른 제품에 의해 가려진 경우에도 해당 제품의 이전에 저장되었던 이미지를 추출하여 복원할 수 있으며, 이를 표시할 수 있다. If the position, weight, and the like of the product are changed except the category, label, and alarm at 193a, the product history table 195 can be configured by accumulating id, enteringtime, position, and shelf information. Therefore, even if an image of a specific product is obscured by another product in the captured image, the previously stored image of the product can be extracted and restored and displayed.
도 12에서 데이터베이스부(190)는 제1보관공간에 수납된 제1제품을 식별하는 식별정보(예를 들어 id 001)와 제1보관공간 또는 제2보관공간에 수납된 제2제품을 식별하는 식별정보(id 002)를 저장하고, 제1제품의 식별정보와 제2제품의 식별정보의 링크 정보를 저장할 수 있다. 도 12의 193a의 linked 항목이 이의 실시예이다. In FIG. 12, the
특히, 동일 식료품이 냉장고 내에 반복적으로 입출고 시 기존 누적 이미지들에 대한 매칭을 통하여 동일 제품에 대한 이미지를 보다 완벽하게 제공할 수 있으며, 해당 식료품이 냉장고를 벗어나 외부에 방치된 시간에 대한 이력도 함께 제공하여 사용자가 제품의 상태를 추적할 수 있도록 한다. In particular, when the same food product is repeatedly input and output in the refrigerator, the images for the same product can be more completely provided through matching with the existing accumulated images, and the history of the time when the food product is left outside the refrigerator To allow the user to track the status of the product.
일 실시예로, 도 7에서 버터로 인식된 제품이 반출된 후 3시간 이상 지날 경우, 사용자에게 버터가 외부에 방치되었음을 냉장고(100)의 디스플레이부(110)에서 출력할 수 있다. In an embodiment, when the product recognized as butter is delivered for more than three hours in FIG. 7, the user can output from the
도 13은 본 발명의 일 실시예에 의한 카메라부가 제품의 반입 또는 반출 혹은 이동이 발생한 보관공간이나 선반에 대해 이미지를 캡쳐하는 과정을 보여주는 도면이다. FIG. 13 is a diagram illustrating a process of capturing an image with respect to a storage space or a shelf in which a camera attachment product is brought in, taken out, or moved according to an exemplary embodiment of the present invention.
앞서 살펴본 바와 같이, 냉장고(100)는 보관공간 또는 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부(130) 또는 보관공간의 도어의 개폐를 감지하는 도어 감지부(170) 중 어느 하나 이상을 포함한다. As described above, the
제어부(150)의 제어에 의해, 무게 센싱부(130) 또는 도어 감지부(170)가 보관공간 내 제품의 입고 또는 반출을 센싱한다(S231). 보다 상세히, 도어 감지부(170)는 도어의 개폐를 감지하여 도어가 오픈되고 닫힌 후 무게 센싱부(130)에서 센싱한 정보를 확인할 수 있다. 예를 들어, 무게 센싱부(130)는 도어가 오픈된 후, 고내 보관공간이나 선반의 무게를 누적하여 저장하고, 무게의 변화가 발생했는지를 센싱한다. Under the control of the
이 과정에서 동일한 선반 내에서도 제품이 이동할 경우, 일시적으로 무게가 줄어들거나(사용자가 들었을 경우) 무게가 증가(사용자가 밀거나 옮기는 과정에서 하방으로 힘이 발생함)할 수 있다. 따라서, 무게 센싱부(130)는 선반이나 보관공간 내에서 무게가 증가하거나 감소하는 것을 센싱한다. 그 결과 무게가 이전에 센싱하여 저장했던 무게 정보와 상이하게 된 경우 보관공간 내에 제품이 입고되거나 반출된 것으로 확인할 수 있다. 제어부(150)는 센싱한 정보의 정확도를 판단하여 특정한 보관공간 또는 특정 선반에서 제품의 반출 또는 반입이 확인되면(S232), 카메라부(120)는 해당 기 보관공간 또는 보관공간 내의 선반 단위로 캡쳐 이미지를 생성한다(S233)In this process, if the product moves even within the same shelf, the weight may temporarily decrease (if the user hears it) or the weight may increase (force downward when the user pushes or moves). Accordingly, the
정확도란, 무게의 변화가 매우 작은 경우에는 해당 공간에서 제품의 유입이 없는 것으로 판단하는 것을 의미한다. 또한, 선반 별로 무게를 센싱하는 경우, 제1선반에서 무게가 300g 감소하고, 제2선반에서 무게가 300g 증가한 경우, 사진 캡쳐시 300g의 제품이 이동하였을 가능성에 기반하여 제품 이미지를 분리할 수 있다. Accuracy means that when the weight change is very small, it is judged that there is no influx of the product in the space. In addition, when sensing weight by shelf, the product image can be separated based on the possibility that 300g of the product moved when the weight of the shelf is reduced by 300g and the weight of the second shelf is increased by 300g .
본 발명을 적용할 경우, 고 내 촬영 이미지들에 대한 이미지 정보(RGB 픽셀 값) 및 특징점을 기반으로 이미지 비교 및 변경 이미지를 추출할 수 있다. 특히, 추출된 이미지들을 냉장고 내 위치에 따라 누적 표시 함으로써, 고 내 식료품 영상 이미지를 냉장고 디스플레이 및 단말기를 통해 그대로 보여줄 수 있으며, 각 식료품 이미지에 대해 선택/선별이 가능하도록 UX를 제공(터치)할 수 있으며, 특히 고 내에 다층으로 제품들이 적재된 경우에 면적이 큰 식료품에 의해 가려진 물품에 대해서도 과거 누적된 이미지를 결합하여 외부에서 사용자가 확인할 수 있다. When the present invention is applied, image comparison and change images can be extracted based on the image information (RGB pixel values) and feature points for the captured images. In particular, by displaying the extracted images in a cumulative manner according to the position in the refrigerator, it is possible to directly display the image of the food product in the refrigerator through the refrigerator display and the terminal, and to provide (touch) UX to enable selection / selection of each food image In particular, in the case where the products are stacked in a multi-layered structure, it is possible for the user to check the images accumulated in the foodstuffs having a large area by combining the images accumulated in the past.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다. It is to be understood that the present invention is not limited to such embodiments and that all the elements within the scope of the present invention are not limited to these embodiments, As shown in FIG. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. The codes and code segments constituting the computer program may be easily deduced by those skilled in the art. Such a computer program can be stored in a computer-readable storage medium, readable and executed by a computer, thereby realizing an embodiment of the present invention. The storage medium of the computer program includes a magnetic recording medium, an optical recording medium, and a storage medium including a semiconductor recording element. Also, a computer program embodying the present invention includes a program module that is transmitted in real time through an external device.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. It is therefore to be understood that such changes and modifications are intended to be included within the scope of the present invention unless they depart from the scope of the present invention.
100: 냉장고
110: 디스플레이부
120: 카메라부
130: 무게센싱부
141: 뎁스 카메라부
143: 온도 센싱부
150: 제어부
170: 도어 감지부
180: 압축기
190: 데이터베이스부100: refrigerator 110: display unit
120: camera unit 130: weight sensing unit
141: Depth camera unit 143: Temperature sensing unit
150: control unit 170: door detection unit
180: compressor 190: database part
Claims (18)
상기 보관공간에 수납된 제품을 촬영하는 카메라부;
상기 카메라가 촬영한 캡쳐 이미지에서 상기 보관공간에 배치된 제품별로 이미지를 분리하는 제어부;
상기 제어부가 분리한 제품의 이미지 및 상기 이미지에 대응하는 메타 정보를 저장하는 데이터베이스부; 및
상기 제품의 이미지와 상기 메타 정보를 출력하고 상기 메타 정보를 수정하거나 추가하거나 검색하는 입력을 수신하는 디스플레이부를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
One or more delimited storage spaces;
A camera unit for photographing a product stored in the storage space;
A controller for separating an image for each product placed in the storage space in a captured image taken by the camera;
A database unit for storing an image of the product separated by the control unit and meta information corresponding to the image; And
And a display unit for outputting an image of the product and the meta information and receiving an input for modifying, adding or searching for the meta information.
상기 제어부는 상기 분리된 이미지와 상기 데이터베이스부에 저장된 이미지를 비교하여, 상기 분리된 이미지가 상기 저장된 이미지의 일부에 해당하는 경우 상기 분리된 이미지에 상기 저장된 이미지를 결합하여 조정된 이미지를 생성하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
The method of claim 1, wherein
Wherein the control unit compares the separated image with the image stored in the database unit and combines the stored image with the separated image to generate an adjusted image when the separated image corresponds to a part of the stored image. A refrigerator that identifies a product and outputs separated images.
상기 메타 정보는 상기 제품의 명칭, 상기 제품의 카테고리, 상기 제품이 입고된 시간, 상기 제품의 사용 가능 기한, 상기 제품에 적용되는 알람 시간, 상기 제품이 상기 보관공간 내에 배치된 위치 정보 중 어느 하나 이상을 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
The method of claim 1, wherein
Wherein the meta information includes at least one of a name of the product, a category of the product, a time at which the product is received, an expiration date of the product, an alarm time applied to the product, And outputting the separated image.
상기 디스플레이부는 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력하며,
상기 제어부는 상기 검색정보에 해당하는 제품의 이미지를 상기 출력 방식을 지시하는 정보에 따라 상기 디스플레이부에서 출력하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
The method of claim 3,
The display unit outputs an interface for receiving search information or information indicating an output method of a product stored in the storage space,
Wherein the controller outputs an image of the product corresponding to the retrieval information, which is output from the display unit according to information indicating the output method, by identifying the product.
상기 메타 정보 중에서 상기 사용 가능 기한 또는 상기 알람 시간과 현재 시간과의 차이가 미리 설정된 기준 이하인 경우 상기 제어부는 상기 디스플레이부에서 상기 제품의 이미지 및 상기 제품의 메타 정보를 출력하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
The method of claim 3,
When the difference between the usable time limit or the alarm time and the current time is less than a preset reference value, the control unit displays the image of the product and the meta information of the product on the display unit, A refrigerator for outputting the image.
상기 데이터베이스부는
제1보관공간에 수납된 제1제품을 식별하는 식별정보;
상기 제1보관공간 또는 제2보관공간에 수납된 제2제품을 식별하는 식별정보; 및
상기 제1제품의 식별정보와 상기 제2제품의 식별정보의 링크 정보를 저장하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
The method according to claim 1,
The database unit
Identification information for identifying the first product stored in the first storage space;
Identification information for identifying a second product accommodated in the first storage space or the second storage space; And
And stores the link information of the identification information of the first product and the identification information of the second product.
상기 제품의 이미지와 상기 메타 정보를 통신 장치에게 전송하고 상기 통신 장치로부터 상기 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신하는 통신부를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
The method according to claim 1,
Further comprising a communication unit that transmits the image of the product and the meta information to the communication device and receives information indicating the search information or the output method of the product stored in the storage space from the communication device, A refrigerator that outputs images.
상기 냉장고는 상기 보관공간 또는 상기 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부 또는 상기 보관공간의 도어의 개폐를 감지하는 도어 감지부 중 어느 하나 이상을 포함하며,
상기 무게 센싱부 또는 상기 도어 감지부가 상기 보관공간 내 제품의 입고 또는 반출을 센싱하면 상기 카메라부는 상기 보관공간 또는 상기 보관공간 내의 선반 단위로 캡쳐 이미지를 생성하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
The method according to claim 1,
Wherein the refrigerator includes at least one of a weight sensing unit for sensing the weight of the shelf in the storage space or the storage space or a door sensing unit for sensing the opening and closing of the door of the storage space,
Wherein when the weight sensing unit or the door sensing unit senses an arrival or an exit of a product in the storage space, the camera unit generates a captured image in units of shelves in the storage space or the storage space, The refrigerator.
상기 냉장고는 상기 보관공간 내의 제품의 온도 정보를 센싱하는 온도 센싱부 또는 상기 제품의 뎁스 정보를 생성하는 뎁스 카메라부를 더 포함하며,
상기 제어부는 상기 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하고, 상기 객체별 뎁스 정보 또는 온도 정보를 추출하여 상기 객체별 경계를 설정하여 제품별 이미지를 산출하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
The method according to claim 1,
The refrigerator further includes a temperature sensing unit for sensing temperature information of the product in the storage space or a depth camera unit for generating depth information of the product,
Wherein the control unit identifies an object by performing image segmentation in the captured image, extracts depth information or temperature information for each object, and sets an object-by-object boundary to calculate an image for each product, Output refrigerator.
상기 제어부는 상기 카메라부가 촬영한 캡쳐 이미지와 상기 데이터베이스부에 저장된 캡쳐 이미지를 비교하여 상이한 경우, 상기 캡쳐 이미지에서 상기 보관공간에 배치된 제품별로 이미지를 분리하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
The method of claim 1, wherein
Wherein the control unit compares the captured image captured by the camera unit and the captured image stored in the database unit, and separates the image for each product placed in the storage space in the captured image, The refrigerator.
냉장고의 제어부가 상기 카메라가 촬영한 캡쳐 이미지에서 상기 보관공간에 배치된 제품별로 이미지를 분리하는 단계;
상기 제어부가 상기 분리한 제품의 이미지 및 상기 이미지에 대응하는 메타 정보를 냉장고의 데이터베이스부에 저장하는 단계; 및
상기 냉장고의 디스플레이부가 상기 제품의 이미지와 상기 메타 정보를 출력하고 상기 메타 정보를 수정하거나 추가하거나 검색하는 입력을 수신하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
Photographing a product housed in one or more separate storage spaces of a camera unit of a refrigerator;
The controller of the refrigerator separating an image for each product placed in the storage space in a captured image taken by the camera;
Storing the image of the separated product and the meta information corresponding to the image in the database unit of the refrigerator; And
Wherein the display of the refrigerator outputs an image of the product and the meta information and receives an input to modify, add or retrieve the meta information.
상기 분리하는 단계는
상기 제어부가 상기 분리된 이미지와 상기 데이터베이스부에 저장된 이미지를 비교하는 단계; 및
상기 분리된 이미지가 상기 저장된 이미지의 일부에 해당하는 경우 상기 제어부가 상기 분리된 이미지에 상기 저장된 이미지를 결합하여 조정된 이미지를 생성하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
The method of claim 11, wherein
The separating step
Comparing the separated image with an image stored in the database unit; And
And combining the stored image with the separated image to generate an adjusted image when the separated image corresponds to a part of the stored image. .
상기 메타 정보는 상기 제품의 명칭, 상기 제품의 카테고리, 상기 제품이 입고된 시간, 상기 제품의 사용 가능 기한, 상기 제품에 적용되는 알람 시간, 상기 제품이 상기 보관공간 내에 배치된 위치 정보 중 어느 하나 이상을 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
The method of claim 11, wherein
Wherein the meta information includes at least one of a name of the product, a category of the product, a time at which the product is received, an expiration date of the product, an alarm time applied to the product, A method for identifying a product and outputting a divided image, comprising:
상기 디스플레이부가 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력하는 단계; 및
상기 제어부가 상기 검색정보에 해당하는 제품의 이미지를 상기 출력 방식을 지시하는 정보에 따라 상기 디스플레이부를 제어하여 출력하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
14. The method of claim 13,
Outputting an interface for receiving search information or information indicating an output method of the product stored in the storage space; And
And controlling the display unit to output an image of a product corresponding to the search information according to information indicating the output method, and outputting the separated image.
상기 메타 정보 중에서 상기 사용 가능 기한 또는 상기 알람 시간과 현재 시간과의 차이가 미리 설정된 기준 이하인 경우 상기 제어부가 상기 디스플레이부에서 상기 제품의 이미지 및 상기 제품의 메타 정보를 출력하는 단계를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
14. The method of claim 13,
Further comprising the step of the controller outputting the image of the product and the meta information of the product on the display unit when the difference between the usable time limit or the alarm time and the current time is less than a preset reference, A method of identifying a product and outputting a divided image.
통신부가 상기 제품의 이미지와 상기 메타 정보를 통신 장치에게 전송하는 단계; 및
상기 통신부가 상기 통신 장치로부터 상기 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신하는 단계를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
12. The method of claim 11,
The communication unit transmitting the image of the product and the meta information to the communication device; And
Further comprising the step of the communication unit receiving information indicating the search information or the output method of the product housed in the storage space from the communication device.
상기 냉장고는 상기 보관공간 또는 상기 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부 또는 상기 보관공간의 도어의 개폐를 감지하는 도어 감지부 중 어느 하나 이상을 포함하며,
상기 무게 센싱부 또는 상기 도어 감지부가 상기 보관공간 내 제품의 입고 또는 반출을 센싱하는 단계;
상기 카메라부가 상기 보관공간 또는 상기 보관공간 내의 선반 단위로 캡쳐 이미지를 생성하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
12. The method of claim 11,
Wherein the refrigerator includes at least one of a weight sensing unit for sensing the weight of the shelf in the storage space or the storage space or a door sensing unit for sensing the opening and closing of the door of the storage space,
The weight sensing unit or the door sensing unit sensing a goods receipt or an export of the product in the storage space;
Wherein the camera unit is configured to generate a captured image in units of shelves in the storage space or in the storage space.
상기 냉장고는 상기 보관공간 내의 제품의 온도 정보를 센싱하는 온도 센싱부 또는 상기 제품의 뎁스 정보를 생성하는 뎁스 카메라부를 더 포함하며,
상기 이미지를 분리하는 단계는
상기 제어부가 상기 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하는 단계; 및
상기 제어부가 상기 객체별 뎁스 정보 또는 상기 온도 정보를 추출하여 상기 객체별 경계를 설정하여 제품별 이미지를 산출하는 단계를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
12. The method of claim 11,
The refrigerator further includes a temperature sensing unit for sensing temperature information of the product in the storage space or a depth camera unit for generating depth information of the product,
The step of separating the image
The control unit performing image segmentation on the captured image to identify the object; And
Further comprising the step of the control unit extracting the depth information or the temperature information for each object and setting an object-specific boundary to calculate an image for each product.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180008992A KR102017980B1 (en) | 2018-01-24 | 2018-01-24 | Refrigerator with displaying image by identifying goods using artificial intelligence and method of displaying thereof |
PCT/KR2018/014369 WO2019146894A1 (en) | 2018-01-24 | 2018-11-21 | Refrigerator and method for identifying product and outputting distinct images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180008992A KR102017980B1 (en) | 2018-01-24 | 2018-01-24 | Refrigerator with displaying image by identifying goods using artificial intelligence and method of displaying thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190090290A true KR20190090290A (en) | 2019-08-01 |
KR102017980B1 KR102017980B1 (en) | 2019-09-03 |
Family
ID=67395685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180008992A KR102017980B1 (en) | 2018-01-24 | 2018-01-24 | Refrigerator with displaying image by identifying goods using artificial intelligence and method of displaying thereof |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102017980B1 (en) |
WO (1) | WO2019146894A1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021080175A1 (en) * | 2019-10-21 | 2021-04-29 | 옴니스랩스 주식회사 | Content processing method |
KR102338337B1 (en) * | 2020-08-10 | 2021-12-09 | 엘지전자 주식회사 | Method and appratus for managing items stored in refrigerator |
WO2022215771A1 (en) * | 2021-04-07 | 2022-10-13 | 엘지전자 주식회사 | Refrigerator |
WO2022231021A1 (en) * | 2021-04-27 | 2022-11-03 | 엘지전자 주식회사 | Refrigerator |
US12046030B2 (en) | 2021-04-27 | 2024-07-23 | Lg Electronics Inc. | Refrigerator |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120117464A (en) * | 2011-04-15 | 2012-10-24 | 엘지전자 주식회사 | A refrigerator and a control method the same |
KR20150127560A (en) * | 2015-10-28 | 2015-11-17 | 엘지전자 주식회사 | Refrigerator and Controlling Method for the same |
KR20170038378A (en) * | 2015-09-30 | 2017-04-07 | 삼성전자주식회사 | Electronic device for processing image and method for controlling thereof |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160029980A (en) * | 2014-09-05 | 2016-03-16 | 주식회사 디맨드 | Method for ordering ingredient automatically using customised healthy menu information, and terminal and computer-readable recording media using the same |
KR101868825B1 (en) * | 2016-05-25 | 2018-06-19 | 나정환 | Smart storage device |
-
2018
- 2018-01-24 KR KR1020180008992A patent/KR102017980B1/en active IP Right Grant
- 2018-11-21 WO PCT/KR2018/014369 patent/WO2019146894A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120117464A (en) * | 2011-04-15 | 2012-10-24 | 엘지전자 주식회사 | A refrigerator and a control method the same |
KR20170038378A (en) * | 2015-09-30 | 2017-04-07 | 삼성전자주식회사 | Electronic device for processing image and method for controlling thereof |
KR20150127560A (en) * | 2015-10-28 | 2015-11-17 | 엘지전자 주식회사 | Refrigerator and Controlling Method for the same |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021080175A1 (en) * | 2019-10-21 | 2021-04-29 | 옴니스랩스 주식회사 | Content processing method |
US12014034B2 (en) | 2019-10-21 | 2024-06-18 | Omnis Labs Company | Content processing method |
KR102338337B1 (en) * | 2020-08-10 | 2021-12-09 | 엘지전자 주식회사 | Method and appratus for managing items stored in refrigerator |
WO2022215771A1 (en) * | 2021-04-07 | 2022-10-13 | 엘지전자 주식회사 | Refrigerator |
US11525627B2 (en) | 2021-04-07 | 2022-12-13 | Lg Electronics Inc. | Refrigerator |
WO2022231021A1 (en) * | 2021-04-27 | 2022-11-03 | 엘지전자 주식회사 | Refrigerator |
US12046030B2 (en) | 2021-04-27 | 2024-07-23 | Lg Electronics Inc. | Refrigerator |
Also Published As
Publication number | Publication date |
---|---|
KR102017980B1 (en) | 2019-09-03 |
WO2019146894A1 (en) | 2019-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20190090290A (en) | Refrigerator with displaying image by identifying goods and method of displaying thereof | |
EP2985553B1 (en) | Method for managing storage product in refrigerator using image recognition, and refrigerator for same | |
JP6877734B2 (en) | Inventory management device for goods storage | |
KR102217024B1 (en) | Refrigerator, controlling method thereof and system | |
US11506448B2 (en) | Method and device for managing food in refrigerator | |
JP6570898B2 (en) | Ingredient position presentation method and refrigerator | |
US20160138859A1 (en) | Refrigeration appliance system | |
CN107477971A (en) | A kind of management method and equipment to food in refrigerator | |
US20220284684A1 (en) | Augmented reality feedback of inventory for an appliance | |
CN109219823B (en) | Method and device for capturing objects stored in a storage space | |
US20200041200A1 (en) | Artificial intelligence refrigerator | |
EP3852038B1 (en) | Food management system, server apparatus, and refrigerator | |
US11335010B2 (en) | Methods for viewing and tracking stored items | |
JP7164296B2 (en) | refrigerator | |
KR20120118376A (en) | Controlling method of a refrigerator | |
KR20210137592A (en) | How to manage refrigerators and items in refrigerators | |
CN109767557A (en) | Container system | |
CN103714843A (en) | Electric product and method of controlling the same | |
KR20140088325A (en) | Refrigerator | |
WO2021091481A1 (en) | System for object identification and content quantity estimation through use of thermal and visible spectrum images | |
WO2024073237A1 (en) | Methods and apparatus for machine learning system for edge computer vision and active reality | |
CN110969763A (en) | Horizontal refrigeration equipment and purchase, sales and storage management and use method thereof | |
KR102017979B1 (en) | Refrigerator with controlling operation based on thermal capacity of goods using artificial intelligence and method of controlling thereof | |
KR20180020214A (en) | Object recognition for storage structures | |
JP7282260B2 (en) | refrigerator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |