KR20190090290A - 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법 - Google Patents

Abstract

본 발명은 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법에 관한 것으로, 본 발명의 일 실시예에 의하면 냉장고의 제어부가 보관공간에 수납된 제품을 촬영하는 카메라부가 촬영한 캡쳐 이미지로부터 제품별로 이미지를 분리하여 저장하는 냉장고 및 이를 구현하는 방법을 포함한다.

Description

제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법{REFRIGERATOR WITH DISPLAYING IMAGE BY IDENTIFYING GOODS AND METHOD OF DISPLAYING THEREOF}

본 발명은 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법에 관한 기술이다.

다양한 종류의 저장물의 온도를 낮은 온도로 유지하거나 혹은 냉각시키기 위한 장치인 냉장고는 하나 이상의 분리된 공간으로 구성된 저장실을 포함한다. 냉장고는 다양한 크기의 제품들을 수납하고 이를 보관하기 위해 적어도 다수의 제품들이 상하좌우로 중첩되어 수납될 수 있는 보관공간을 둘 이상 포함한다.

한편, 냉장고의 보관공간은 중첩된 제품들이 수납됨으로 인해 사용자가 내부에 어떤 제품이 수납되었는지를 확인하기 어려운 부분이 문제였다. 종래에는 냉장고의 도어에 카메라를 배치하여 내부를 촬영하는 기술이 공개번호 10-2017- 0027246 로 제시된 바 있다. 도 1에서 보다 상세히 살펴본다.

도 1은 종래 냉장고 내를 촬영하는 카메라가 부착된 냉장고가 카메라를 제어하는 과정을 보여주는 도면이다.

도 1은 종래 도어의 측면에 카메라가 부착된 냉장고의 촬영 동작을 보여주는 도면이다. 도어가 오픈된 후(S1) 닫히면(S3) 카메라를 온 시키고(S4), 일정 시간 경과 후 고내등을 온 시켜(S6) 카메라를 조작하여(S7), 카메라 촬영을 수행하는(S8) 일련의 과정을 진행한다. 그런데, 카메라 촬영을 수행하는 것은 냉장고의 일측면에서 시작하는 것인데, 이는 냉장고의 뒷면에 배치되는 제품을 확인할 수 없다는 문제가 있다.

특히, 사용자는 고내에 다양하게 적층된 제품들을 확인해야 하는데, 종래 기술과 같이 도어에 배치된 카메라로는 전면에 배치된 제품만을 확인할 수 밖에 없는 문제가 있다. 이는 다중 적층으로 인한 문제를 단순히 카메라만으로 해결할 수 없음을 의미한다.

다만, 고내 배치하는 카메라의 수를 늘릴 경우, 제조 원가가 상승한다는 문제도 있으므로, 카메라의 수를 늘리지 않거나 최소한으로 증가시키면서도 고내 수납 제품들을 식별하여 쉽게 확인할 수 있는 방안이 필요하다.

본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 냉장고에 수납되는 제품을 누적하여 촬영하여 이미지를 저장하여 일부 제품이 다른 제품으로 인해 가려지는 경우라도 고내 제품의 상태를 외부에서 확인할 수 있는 방법 및 장치를 제공하고자 한다.

또한, 본 명세서에서는 각 제품에 대한 정보를 저장하여 제품에 대한 정보를 보다 쉽게 확인하는 방법 및 장치를 제공하고자 한다.

또한, 본 명세서에서는 냉장고에 입고되거나 반출되는 제품의 정보를 추적하는 방법 및 장치를 제공하고자 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 일 실시예에 의하면 냉장고의 제어부가 보관공간에 수납된 제품을 촬영하는 카메라부가 촬영한 캡쳐 이미지로부터 제품별로 이미지를 분리하여 저장하는 냉장고 및 이를 구현하는 방법을 포함한다.

본 발명의 일 실시예에 의하면 냉장고의 제어부는 제품별로 분리한 분리한 제품의 이미지 및 상기 이미지에 대응하는 메타 정보를 데이터베이스부에 저장하는 냉장고 및 이를 구현하는 방법을 포함한다.

본 발명의 일 실시예에 의하면 냉장고의 디스플레이부는 제품의 이미지와 상기 메타 정보를 출력하고 상기 메타 정보를 수정하거나 추가하거나 검색하는 입력을 수신하는 냉장고 및 이를 구현하는 방법을 포함한다.

본 발명의 일 실시예에 의하면 냉장고는 보관공간 또는 상기 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부 또는 보관공간의 도어의 개폐를 감지하는 도어 감지부 중 어느 하나 이상을 포함하며, 이들 무게 센싱부 또는 도어 감지부가 보관공간 내 제품의 입고 또는 반출을 센싱하면 카메라부는 보관공간 또는 보관공간 내의 선반 단위로 캡쳐 이미지를 생성하는 냉장고 및

본 발명의 일 실시예에 의하면 냉장고는 보관공간 내의 제품의 온도 정보를 센싱하는 온도 센싱부 또는 제품의 뎁스 정보를 생성하는 뎁스 카메라부를 더 포함하며 제어부는 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하고, 객체별 뎁스 정보 또는 온도 정보를 추출하여 객체별 경계를 설정하여 제품별 이미지를 산출하는 냉장고 및 이를 구현하는 방법을 포함한다.

본 발명을 적용할 경우 냉장고에 수납되는 제품을 누적하여 촬영하여 이미지를 저장하여 일부 제품이 다른 제품으로 인해 가려지는 경우라도 고내 제품의 상태를 외부에서 확인할 수 있다.

또한, 본 발명을 적용할 경우 각 제품에 대한 메타 정보를 저장하여 제품에 대한 정보를 보다 쉽게 냉장고의 외부에서 확인할 수 있다.

또한, 본 명세서에서는 냉장고에 입고되거나 반출되는 제품의 정보를 추적하여 사용자에게 이를 알림으로써 고내 제품의 신선도를 관리할 수 있다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.

도 1은 종래 냉장고 내를 촬영하는 카메라가 부착된 냉장고가 카메라를 제어하는 과정을 보여주는 도면이다.
도 2는 본 발명의 일 실시예가 적용되는 수납 제품을 식별하는 냉장고를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 냉장고가 내부의 제품에 대한 정보를 제공하기 위한 구성요소를 보여주는 도면이다.
도 4는 본 발명의 일 실시예로, 고내 제품에 대한 이미지를 획득하여 저장하는 과정을 보여주는 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 도 4의 과정을 보다 상세히 도시한 도면이다.
도 6은 본 발명의 일 실시예에 의한 데이터베이스부(190)에 저장되는 정보의 종류를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 고내 이미지를 촬영하여 제품 수납에 변화가 발생한 경우 이를 반영하는 실시예를 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 단말기와 같은 통신 장치의 구성을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 스마트폰이 고내 제품을 표시한 도면이다.
도 10은 본 발명의 일 실시예에 의한 식료품이 중첩된 경우에 대한 이미지 추출 과정을 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 의한 메타 정보를 출력하는 실시예를 보여주는 도면이다.
도 12는 본 발명의 일 실시예에 의한 캡쳐 이미지 테이블 및 제품 이미지 테이블의 구성을 보여주는 도면이다.
도 13은 본 발명의 일 실시예에 의한 카메라부가 제품의 반입 또는 반출 혹은 이동이 발생한 보관공간이나 선반에 대해 이미지를 캡쳐하는 과정을 보여주는 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.

본 명세서에서 저장물의 냉장 혹은 냉동을 위한 장치로 냉장고를 중심으로 설명하며, 이는 통상의 음식을 저장하는 냉장고와 김치 냉장고, 음료 냉장고, 가정용 냉장고, 업소용 냉장고, 그리고 냉동고 만으로 구성된 냉동장치 등 다양한 냉장 및 냉동 기능을 주로 하는 장치들을 모두 포함한다. 뿐만 아니라, 화장품 냉장고와 같이 음식이 아닌 저장물을 냉장하는 장치에도 적용되며, 또한, 고정식이 아닌 이동식, 예를 들어 대형 냉장 트레일러에 설치된 냉장장치 역시 본 명세서에서 언급하는 실시예에 포함된다.

도 2는 본 발명의 일 실시예가 적용되는 수납 제품을 식별하는 냉장고를 보여주는 도면이다. 10은 냉장고(100)가 닫힌 상태의 외관이며, 20은 냉장고(100)가 열린 상태의 외관이다. 냉장고(100)를 구성하는 다수의 도어(21, 31, 41, 51) 중 어느 하나의 도어(21)가 개폐를 관리하는 공간은 다수의 구분된 보관공간들(23, 24)로 나뉘어질 수 있으며, 각 보관공간들(23, 24)은 독립적으로 온도가 제어될 수 있다. 물론, 하나의 도어에 의해 개폐되는 공간들에 대해 동일하게 온도가 제어될 수도 있다. 그리고 각 보관공간들은 다시 내부에 선반으로 구분될 수 있다.

냉장고(100)에는 정보를 표시하거나, 혹은 냉장고(100)의 내부를 보여주는 디스플레이부(110)를 더 포함할 수 있다. 디스플레이부(110)는 특정한 도어(31)의 전면에 배치될 수도 있고, 또한 냉장고(100)의 측면에 배치될 수도 있다. 디스플레이부(110)는 냉장고 내부를 확인할 수 있는 투명 디스플레이 패널을 포함할 수 있다. 또한, 디스플레이부(110)는 냉장고 내부의 이미지를 표시하는 디스플레이 패널을 포함할 수 있다.

또한, 도 2에는 미도시되었으나 각각의 보관공간들(23, 24)의 벽면 또는 후면에도 카메라가 배치될 수 있다. 이는 중첩하여 적층된 제품들을 확인하기 위한 것이다.

한편, 여러 면에 카메라가 부착되는 경우라 하여도, 중첩하여 수납된 제품들을 모두 확인할 수 없다. 따라서, 고내 촬영된 이미지 정보들을 이용하여 비교 및 분석 후 변경된 부분에 대한 이미지를 추출하는 기술이 필요하다. 이에 도 2의 냉장고의 세부적인 구성을 살펴보면 다음과 같다.

도 3은 본 발명의 일 실시예에 의한 냉장고가 내부의 제품에 대한 정보를 제공하기 위한 구성요소를 보여주는 도면이다.

디스플레이부(110)는 보관공간 내의 제품들을 이미지로 표시하거나 각 제품의 설명을 표시하는 기능을 제공한다.

카메라부(120)는 보관공간에 수납된 제품을 촬영한다. 보관공간을 촬영하여 수납 또는 입고되는 제품의 종류와 크기를 식별한다. 이때, 제어부(150)는 입고된 제품이 앞서 입고되었던 제품인지를 데이터베이스부(190)에서 확인할 수 있다.

데이터베이스부(190)는 입고된 제품에 대해 카메라부(120)가 촬영한 이미지를 누적하여 저장한다. 이 과정에서 카메라부(120)가 다양한 각도에서 촬영한 이미지가 데이터베이스부(190)에서 누적하여 저장될 수 있다. 또한, 데이터베이스부(190)는 카메라부(120)가 다수일 경우, 어느 위치에 배치된 카메라부가 촬영했는지에 대한 정보, 해당 제품이 어느 보관공간 혹은 보관공간을 세분화시킨 선반 중 어느 선반에 배치되었는지에 대한 정보를 함께 저장할 수 있다.

데이터베이스부(190)는 카메라부(120)가 촬영한 캡쳐 이미지를 저장하며, 또한 제어부(150)가 캡쳐 이미지에서 제품별로 분리한 제품의 이미지를 저장한다. 또한 데이터베이스부(190)는 각각의 캡쳐 이미지 또는 제품의 이미지에 대응하는 메타 정보를 함께 저장한다.

메타 정보란, 제품의 명칭, 제품의 카테고리, 제품이 입고된 시간, 제품의 사용 가능 기한, 제품에 적용되는 알람 시간, 제품이 보관공간 내에 배치된 위치 정보 중 어느 하나 이상을 포함할 수 있다. 명칭은 사용자가 라벨링을 하는 경우 이를 명칭으로 할 수 있다.

입고된 시간은 제품이 입고된 시간을 의미한다. 입고된 시간은 제품이 최초로 냉장고에 입고된 시간 혹은 가장 최근에 입고된 시간 중 어느 하나 이상이 될 수 있다. 제품이 냉장고에서 자주 반출되고 입고되고 제어부(150)에 의해 해당 제품이 동일한 제품인 것으로 식별된 경우, 해당 제품의 반출 및 입고 시간이 누적하여 저장될 수 있다.

또한, 해당 제품의 사용 가능 기한 혹은 제품에 적용되는 알람 시간 등도 메타 정보가 될 수 있다. 이는 사용자가 직접 입력하거나 선택할 수 있다. 예를 들어, 사용자는 후술할 도 9와 같이 출력된 제품별 이미지에 대해 사용 가능 기한 정보를 입력할 수 있다.

그리고 해당 제품을 사용하기 위해 알람 시간도 설정할 수 있다. 뿐만 아니라 제어부(150)는 해당 제품이 배치된 위치 정보도 저장할 수 있는데, 이 과정에서 제품의 누적된 위치 정보들을 데이터베이스부(190)에 저장하고 이를 출력할 수 있다.

뿐만 아니라, 무게 센싱부(130)가 각 선반 혹은 각 보관공간에서 센싱한 정보 역시 데이터베이스부(190)에 저장되어 고내에서 제1선반에서 제2선반으로 이동하는 등 위치 이동이 발생하는 경우 각 선반 별로 무게의 변화를 통해 제품 식별의 정확도를 높일 수 있다.

이외에도 제품별 이미지를 분리함에 있어 정확도를 높이기 위해 뎁스 카메라부(141) 및 온도 센싱부(143)를 더 포함할 수 있다. 온도 센싱부(143)는 보관공간 내의 제품의 온도 정보를 센싱하며 뎁스 카메라부(141)는 제품의 뎁스 정보를 생성한다.

하나의 제품은 온도가 동일하거나 유사할 수 있다. 그리고 하나의 제품은 동일한 뎁스 정보를 가지거나 혹은 일정하게 증가하거나 줄어드는 뎁스 정보를 가질 수 있다. 따라서, 제어부(150)가 캡쳐된 이미지에서 특정한 제품의 이미지를 추출함에 있어서 해당 제품의 온도나 뎁스 정보를 이용하여 정확도를 높일 수 있다.

제어부(150)는 전술한 구성요소들을 제어하며 각 구성요소들이 제공한 정보들을 이용하여 제품의 정보를 표시하거나 출력하거나 혹은 외부의 기기에서 통신을 통해 정보를 출력할 수 있도록 통신부(160) 등을 제어할 수 있다.

또한 제어부(150)는 카메라부(120)가 촬영한 이미지 또는 데이터베이스부(190)에 저장된 정보에 기반하여 각 제품에 대한 메타 정보를 생성한다. 메타 정보란 해당 제품의 명칭, 입고 시간, 추정된 무게 등을 포함할 수 있다. 뿐만 아니라 통신부(160)가 수신한 각 제품별 유통기한 등도 제어부(150)가 생성할 수 있다.

통신부(160)는 제품의 메타 정보를 생성하는데 필요한 정보를 외부 서버에서 수신하거나, 혹은 외부의 스마트폰 등에서 고내 정보를 확인 요청할 경우 제품의 정보들을 전송하는 기능 등을 할 수 있다. 예를 들어, 제품의 이미지와 메타 정보를 통신 장치(300)에게 전송하고 통신 장치(300)로부터 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신할 수 있다.

도어 감지부(170)는 도어의 개폐를 감지하여 제품의 유입을 확인할 수 있도록 한다. 이 과정에서 사용자가 도어를 단순히 열고 닫은 경우를 확인할 수 있도록 도어 감지부(170)는 보관공간의 경계 지점에서 사용자의 신체가 보관공간 내에 진입하였는지를 감지할 수도 있다.

압축기(180)는 냉장고 및 냉동고에 냉력을 제공한다., 새로운 제품이 냉장고에 수납될 경우 제어부(150)의 설정에 기반하여 압축기(180)는 냉장고에 냉력을 제공할 수 있다. 또한 제어부(150)가 외부에 소정의 제품 정보를 출력한 후 외부에서 냉장고(100)의 동작을 지시한 경우, 이에 기반하여 압축기(180)가 동작할 수 있다.

데이터베이스부(190)는 입고된 제품의 이미지를 저장한다. 다양한 각도에서 촬영된 이미지를 저장하므로 추후 제어부(150)가 새로 입고된 제품을 식별함에 있어서 데이터베이스부(190)에 저장된 후보 이미지를 검색할 수 있다.

각각의 구성요소에 기반한 동작을 살펴본다.

도 4는 본 발명의 일 실시예로, 고내 제품에 대한 이미지를 획득하여 저장하는 과정을 보여주는 과정을 보여주는 도면이다. 고내 제품은 새로 입고될 수도 있고, 고내에서 위치가 변경될 수 있다.

고내 제품이 입고 또는 반출되거나 위치가 변경되었음이 직접(무게 센싱부(130)) 또는 간접(도어 감지부(170)적으로 확인되면 고내 장착된 카메라부(120)로부터 이미지를 획득한다(S201). 획득한 이미지는 보관공간 혹은 선반 단위 혹은 카메라별로 구별지을 수 있다. 그 결과, 데이터베이스부(190)에 저장된 기존의 이미지(보관공간의 이미지, 혹은 선반의 이미지 혹은 해당 카메라부(120)가 촬영하는 공간의 범위 내의 이미지)와 비교하는 이미지 매칭과정을 제어부(150)가 수행한다(S202).

이후, 매칭 과정에서 제어부(150)는 개별 제품에 대한 이미지를 추출한다(S203). 이 과정에서 기존에 데이터베이스부(190)에 저장된 제품에 대한 개별 이미지 역시 참조할 수 있다. 하나의 제품에 대해 구별되도록 추출된 이미지는 라벨링, 저장 이력, 혹은 고내 이동 경로 등의 메타 정보를 추가하여 데이터베이스부(190)에 저장한다. 이 정보는 이후 해당 제품이 고내에서 위치가 이동할 경우, 혹은 반출되거나, 혹은 반입될 경우에 참조하는 정보로 이용될 수 있다.

특히, 개별 이미지를 추출한 결과 일부가 가려지는 등 제품의 완전한 이미지를 제어부(150)가 획득하지 못할 경우, 제어부(150)는 분리된 제품의 불완전한 이미지와 데이터베이스부(190)에 저장된 해당 제품의 과거 이미지를 비교한다. 제어부(150)는 분리된 불완전한 이미지가 저장된 이미지의 일부에 해당하는 것으로 확인한 경우, 분리된 불완전한 이미지에 과거 데이터베이스부(150)에 저장한 이미지를 결합하여 조정된 이미지(보다 완전한 이미지)를 생성할 수 있다.

도 4의 실시예를 적용할 경우, 제어부(150)는 카메라부(120)를 통해 습득되는 이미지들에 대해 비교하고, 변경된 부분에 대한 이미지 추출을 통하여 최초의 캡쳐된 이미지에서 각 제품(식료품)의 이미지를 분리할 수 있다. 그리고 분리된 이미지를 누적하여 저장하고 이를 외부에 표시함으로써 다층으로 적재되어 가려진 식료품에 대해서도 사용자가 확인이 가능하도록 한다.

도 3 내지 도 4에서 살펴본 실시예 또는 후술할 실시예를 적용할 경우, 냉장고에 장착된 카메라를 통하여 냉장고 개폐 없이 고내 식료품에 대한 이미지를 저장 및 제공할 수 있다. 특히 냉장고 도어에 카메라가 장착되어 촬영된 이미지를 보여주는 기존 방식으로는 저장실에 식료품이 안쪽부터 다층으로 적재될 경우 바깥쪽 식료품(식자재, 반찬통)에 의해 가려져 안쪽 제품에 대한 이미지 제공이 불가한 경우가 발생 할 수 있다.

반면, 본 발명에서는 촬영된 이미지를 누적적으로 저장하고 비교하여, 변경된 이미지를 추출하고, 추출된 이미지를 누적하여 제공함으로써, 제품이 이동하거나 혹은 가려진 경우에도 이전에 저장된 이미지를 이용하여 사용자에게 하나의 완성된 제품의 이미지를 보여줄 수 있다.

뿐만 아니라, 사용자가 이미지를 선택/선별 가능하도록 디스플레이부(110)에 출력하여 추출된 제품의 이미지에 대해 라벨링 및 적재 시간과 같은 메타 정보를 저장하여 추후 검색 혹은 고내 제품을 모니터링할 수 있도록 하여 식품 관리가 가능하도록 한다.

도 5는 본 발명의 일 실시예에 의한 도 4의 과정을 보다 상세히 도시한 도면이다.

고내 제품이 입고 또는 반출되거나 위치가 변경되었음이 직접(무게 센싱부(130)) 또는 간접(도어 감지부(170)적으로 확인되면 고내 장착된 카메라부(120)로부터 이미지를 획득한다(S211). 획득한 이미지는 보관공간 혹은 선반 단위 혹은 카메라별로 구별지을 수 있다.

예를 들어, 하나의 카메라가 하나 이상의 보관공간을 촬영할 수 있다. 또는 하나의 카메라가 하나의 선반 만을 촬영할 수도 있다. 카메라가 회전 혹은 이동이 가능한 경우, 각각의 위치나 여러 방향에 대해 촬영한 이미지가 다수 획득될 수 있다.

그리고 제어부(150)는 앞서 카메라가 동일한 보관공간 또는 동일한 선반, 또는 동일한 위치나 동일한 방향에서 촬영하여 데이터베이스부(190)에 저장된 이미지들과 S211에서 획득한 이미지들을 매칭한다(S212). 매칭이란 두 개의 이미지를 비교하여 이전 이미지와 같은지 다른지를 확인하는 것을 의미한다. 고내 이미지가 완전히 동일할 경우에는 기존 이미지와 새로이 획득한 이미지가 동일하므로 데이터베이스부(190) 내에 기존 이미지를 유지한다(S214).

도면에 미도시되었으나, 이전의 이미지와 현재 이미지가 거의 동일한 경우(예를 들어 약간의 위치 변경으로 미리 설정된 작은 개수의 픽셀들에 있어서 차이가 발생한 경우)에는 새로 획득한 이미지를 저장하고 종료할 수 있다.

반면, 비교 결과 미리 설정된 픽셀의 차이의 허용값을 넘어서 상이한 이미지로 제어부(150)가 판단한 경우, 변화된 이미지(부분 이미지)를 추출한다(S215). 그리고 제어부(150)는 추출된 이미지에 라벨링을 추가하거나, 혹은 추출된 이미지에 대한 이력 정보와 같은 메타 정보를 데이터베이스부(190)에 저장한다.

이 과정에서 제어부(150)는 해당 제품이 이전에 데이터베이스부(190)에 저장되었던 제품에 대한 개별 이미지와 비교하여 동일한 제품으로 판단된 경우(제품의 이동 혹은 동일 제품이 새로 입고된 경우 등) 해당 개벌 이미지에 대응하여 설정되었던 라벨링 정보를 저장할 수 있다.

또한, 제어부(150)는 해당 제품의 포장지 혹은 표면에 쓰여진 문자를 판독하여 이를 라벨링으로 사용할 수 있다. 또한, 제어부(150)는 데이터베이스부(190)에 저장된 참조 이미지를 이용하여 해당 제품을 추정할 수도 있다. 예를 들어 데이터베이스부(190)에 저장된 다양한 과일 이미지를 이용하여 새로 입고된 제품에 대한 라벨링을 선택할 수 있다.

또한 이력 정보는 제품이 고내에서 이동한 정보를 포함하는데, 최초로 입고된 시점에 대한 정보뿐만 아니라, 제1선반에 배치된 후 1시간 동안 반출되었다가 제2선반으로 입고된 경우, 이러한 이동 정보가 이력 정보로 저장될 수 있다. 또한, 무게센싱부(130)를 이용하여 해당 제품의 무게를 구별할 수 있을 경우 무게 정보도 함께 메타 정보로 저장할 수 있다.

즉, 제품별로 추출된 이미지들에 대한 매칭을 통하여 해당 제품이 반출된 후 입고되는데 걸린 시간을 이용하여 해당 제품이 외부에 방치되었던 시간에 대한 정보도 제공할 수 있다. 특히 신선도가 중요한 제품의 경우, 예를 들어 우유가 냉장고에서 외부로 반출된 후, 동일한 제품이 다시 입고된 경우, 그 시간을 계산하여 우유의 신선도를 제어부(150)가 확인할 수 있다.

이때, 동일한 제품인지 아니면 외관만 같고 전혀 다른 제품이 입고되었는지를 확인하기 위해 제어부(150)는 이전 제품의 무게 정보와 새로 입고된 무게 정보를 비교할 수도 있다. 무게 정보는 고내 제품들의 반입 및 반출 과정에서 개별 제품의 무게를 추정할 수 있다.

예를 들어 제1선반에 A, B, C라는 제품이 배치되었고 총 1.9 kg인 것으로 무게 정보가 데이터베이스부(190)에 저장될 수 있다. 이후 A 라는 제품이 반출되면서 제1선반의 무게가 1.3kg 이면 B, C 제품의 무게는 1.3 kg이고 A라는 제품의 무게는 600g 인 것으로 데이터베이스부(190)에 저장할 수 있다. 이후 A와 유사한 이미지의 제품이 입고되었는데, 만약 무게가 600g 이거나 이보다 줄어들면 제어부(150)는 동일한 제품으로 식별한다.

반면, 무게가 증가하며 해당 제품의 메타 정보가 무게가 증가하기 어려운 제품(우유, 치즈 등)인 경우에는 새로운 제품이 반입된 것으로 제어부(150)가 메타 정보를 변경하거나 새로운 제품으로 데이터베이스부(190)에 저장할 수 있다.

이후 제어부(150)는 추출된 이미지, 즉 제품에 대한 개별 이미지를 데이터베이스부(190)에 추가로 저장한다(S217). 물론, 저장과정에서 S211 과정에서 획득한 이미지 역시 데이터베이스부(190)에 저장하여 다음 번에 제품의 입고 또는 반출이 발생하는 경우에 비교할 수 있다.

도 5의 과정을 정리하면 다음과 같다. 카메라부(120)가 새로 획득한 이미지와 기존 이미지를 제어부(150)가 비교한다. 비교 방식으로는 픽셀 위치 및 RGB 색상 정보 등 이미지 내의 차이점을 확인하는 프로세스를 적용할 수 있다. 비교 결과 변경된 사항이 발생 시 변경된 이미지 부분을 추출하고 해당 추출 이미지에 제어부(150)가 자동으로 라벨링하거나 혹은 사용자가 원하는 라벨링 기입 및 적재 시간 등의 이력을 저장하고, 추출 이미지를 추가 저장할 수 있다.

촬영된 이미지에서 제품별로 이미지 부분을 추출한 경우, 냉장고(100)의 디스플레이부(110)에 새로운 제품이 입고되었음을 표시하며 사용자로부터 소정의 정보(명칭, 고내 저장 기간, 알람 등)를 입력받을 수 있다. 또는 냉장고(100)의 통신부(160)가 전송한 정보를 출력하는 스마트폰을 통해 사용자가 고내 제품에 대한 라벨링을 수행할 수 있다.

기존에 카메라를 이용해서 고내 이미지를 촬영할 경우, 냉장고 내 제품의 다층 적재로 인해 카메라로부터 멀리 배치된 제품들이 가려진 경우는 표시할 수 없는 문제가 있었다. 그러나 본 발명의 실시예를 적용할 경우, 제품의 이미지가 지속적으로 누적되므로, 어느 한 시점에서 제품이 다른 제품에 의해 가려지는 경우라 하여도 해당 제품의 일부 이미지만으로도 식별할 수 있다. 이에 대해 보다 상세히 살펴본다.

도 5의 과정에서 제어부(150)는 카메라부(120)가 촬영한 캡쳐 이미지와 데이터베이스부(190)에 저장된 캡쳐 이미지를 비교하여 상이한 경우(S212), 캡쳐 이미지에서 보관공간에 배치된 제품별로 이미지를 분리하여 제품별로 이미지를 식별할 수 있도록 한다.

도 5의 과정을 구현할 경우, 촬영된 이미지들에 대한 비교 및 변경 부분(식료품)에 대한 이미지를 추출하고, 누적된 추출 이미지를 제공함으로써 다층으로 적재되어 가려진 식료품에 대한 이미지도 냉장고 외부 또는 통신장치 등에서 표시 가능하도록 하며, 추출 이미지에 대한 라벨링 및 적재 시간 이력을 저장함으로써 해당 식료품 관리가 가능하도록 한다.

도 6은 본 발명의 일 실시예에 의한 데이터베이스부(190)에 저장되는 정보의 종류를 보여주는 도면이다.

데이터베이스부(190)는 카메라부(120)가 획득하는 이미지(보관공간별, 선반별, 혹은 특수한 위치나 방향 별로 획득된 전체 이미지)와 해당 이미지가 촬영된 시간, 혹은 이미지에 매칭되는 보관공간의 정보, 선반의 정보 혹은 위치나 방향에 대한 정보를 저장하는 캡쳐이미지 테이블(191)을 포함한다.

이 과정에서 각 보관공간에 대한 메타 정보 또는 선반에 대한 메타정보 등이 함께 저장될 수 있다. 예를 들어, 해당 공간의 무게가 측정된 경우 무게 정보를 저장하여 제어부(150)가 추후 이미지 비교 시 참조할 수 있다.

또한, 데이터베이스부(190)는 카메라부(120)가 획득한 이미지에서 제품별로 구분한 제품별 이미지를 저장하는 제품이미지 테이블(193)을 포함한다. 제품에 대해서는 시리얼 번호와 제품에 대한 카테고리(과일, 캔 등), 해당 제품이 입고된 시간, 혹은 입고 후 진행된 시간, 해당 제품의 유통 기한, 혹은 제품에 대한 라벨링 등이 함께 저장될 수 있다.

이 과정에서 제품의 부피 정보 역시 제품 이미지 테이블(193)에 저장될 수 있으며, 이를 위해 고내 제품들의 뎁스 정보를 생성하는 뎁스 카메라가 고내 포함될 수 있다.

또한, 데이터베이스부(190)는 제품이력테이블(195)을 더 포함할 수 있는데, 해당 제품이 반출 후 재입고되었음이 확인된 경우, 해당 제품이 어느 위치에 배치되었고 그의 무게 정보가 변화하였거나 혹은 온도 정보가 변화한 것에 대한 이력 정보를 누적하여 저장할 수 있다. 온도의 변화를 확인하기 적외선 카메라가 더 포함될 수 있다.

도 7은 본 발명의 일 실시예에 의한 고내 이미지를 촬영하여 제품 수납에 변화가 발생한 경우 이를 반영하는 실시예를 보여주는 도면이다.

221는 어느 한 시점에서의 고내 제품들의 제품 이미지 및 메타 정보들이 표시됨을 보여준다. 221에서 제품 별로 사각형이 표시되는 것은 제품의 이미지를 저장하는 단위가 될 수 있다. 또한, 제품 별로 표시된 사각형은 사용자가 해당 제품을 선택할 수 있는 범위를 표시할 수 있다.

예를 들어, "water(0.72)"라 표시된 사각형은 전체 이미지에서 생수병을 선택할 수 있는 범위를 표시하는 것을 일 실시예로 한다. 또한, 이러한 사각형은 제어부(150)가 캡쳐 이미지에서 생수병으로 식별한 제품 이미지를 다른 실시예로 한다.

221은 고내 다양한 제품들이 배치되었으며, 각 제품의 라벨이 배치되었음을 보여준다. 라벨 부근의 숫자는 해당 제품이 입고된 시간 혹은 제품에 대한 온도, 제품에 대한 무게 등 제품에 대한 다양한 메타 정보가 표시될 수 있음을 보여준다.

222는 221과 같이 배치된 상태에서 새로운 제품이 입고된 후 캡쳐 이미지에서 새로운 제품의 이미지가 확인된 경우이다. 제어부(150)는 221과 222의 두 개의 캡쳐 이미지를 비교한 다음, 223이 지시하는 제품이 새로 적재되어 이미지 변화가 발생한 것을 확인한다. 제어부(150)는 새로 적재된 제품(223)의 이미지를 캡쳐 이미지에서 추출하여 제품 이미지 테이블(193)에 저장한다. 몰론 223이 포함된 전체 캡쳐 이미지 역시 캡쳐 이미지 테이블(191)에 저장한다.

새로 추가된 제품에 대한 이미지는 냉장고의 디스플레이부(110) 또는 냉장고의 통신부(160)와 정보를 송수신하는 스마트폰/테블릿(단말기) 등의 통신 장치에 출력되며, 사용자가 해당 제품에 대해 별도의 라벨링을 입력하거나 이 제품을 언제까지 사용해야 한다는 알람 정보와 같은 메타 정보를 입력할 수 있으며, 입력된 정보 역시 제품 이미지 테이블(193)에 저장될 수 있다.

또한, 사용자는 냉장고의 디스플레이부(110) 또는 단말기와 같은 통신 장치의 터치 화면을 통해 추출된 제품 이미지들을 개별적으로 움직이며 물품을 찾을 수 있다.

도 7을 정리하면 다음과 같다. 냉장고에 설치된 카메라부(120)를 이용하여 냉장고 내 촬영 이미지 보여주고, 또한 촬영된 이미지 중에서 제품별 이미지를 식별하여 표시하며, 사용자의 입력 또는 제어부(150)가 자동으로 식별한 정보들에 기반하여 라벨링 및 메타 정보를 저장할 수 있다.

제어부(150)는 캡쳐 이미지 테이블(191)에 저장된 기존 이미지와 새로 카메라부(120)에 의해 획득된 이미지를 비교하여, 변경된 부분에 대한 이미지를 추출한 후, 별도로 제품 이미지로 저장한다. 그리고 추출된 이미지를 전체 냉장고 내 통합 이미지에 추가함으로써 추후 터치 및 드래그 등의 행위를 통하여 제품 이미지를 개별적으로 선택 및 선별하여 다층으로 적재되어 보이지 않는 물품에 대해서도 이미지를 통해 움직이며 찾아볼 수 있다.

도 7의 221 또는 222와 같이 캡쳐 이미지에서 제품 이미지가 식별되도록 표시된 이미지는 냉장고(100)의 디스플레이부(110) 혹은 단말기와 같은 통신 장치의 화면에 출력되고, 사용자는 터치를 통해 특정 이미지를 선택하여 이에 대해 표시하고자 하는 내용으로 라벨링을 저장할 수 있으며, 이 과정에서 적재시간과 저장 경과 시간 등의 정보도 함께 저장할 수 있다.

도 8은 본 발명의 일 실시예에 의한 단말기와 같은 통신 장치의 구성을 보여주는 도면이다.

통신장치(300)는 스마트폰, 태블릿 컴퓨터 등 냉장고(100)의 통신부(160)과 정보를 송수신하는 기기를 의미한다. 도 8의 구성요소는 통신 장치(300)가 냉장고(100) 내에 배치된 제품을 표시하고 여기에 제품별 정보를 입력하기 위한 기능을 제공하는데 필요한 구성요소들을 제시한다. 따라서, 통신 장치(300)가 다른 기능을 제공하기 위해 추가적인 구성요소를 더 포함할 수 있다.

제어부(350)는 소정의 애플리케이션을 실행시켜 해당 애플리케이션이 냉장고(100) 내의 제품을 출력할 수 있도록 제어한다. 디스플레이부(310)는 통신부(360)가 수신한 고내 제품들의 이미지를 출력한다. 또한 고내 제품들에 대한 메타 정보가 포함된 경우, 메타 정보 역시 출력할 수 있다. 출력 방식은 도 7에서 살펴본 바와 같이 전체 캡쳐 이미지 상에 제품 이미지의 주변으로 사각형이 표시되어 라벨링된 실시예가 될 수 있다.

통신 장치(300)의 디스플레이부(310)는 터치 입력이 가능하므로, 사용자는 표시된 제품 이미지를 터치하거나 드래그할 수 있다. 예를 들어, 고내 카메라가 4면에 배치된 경우 전후좌우면에서 촬영한 이미지를 조합하여 하나의 제품의 전체 이미지(혹은 일부 이미지)를 표시할 수 있고, 사용자는 이를 드래그하여 제품의 뒷면을 확인할 수 있다.

이미지 저장부(330)는 제품 이미지 또는 캡쳐 이미지를 저장할 수 있다. 또한 각 제품에 대한 메타 정보들 역시 이미지 저장부(330)에 저장할 수 있다.

도 9는 본 발명의 일 실시예에 의한 스마트폰이 고내 제품을 표시한 도면이다. 냉장고(100)의 통신부(160)는 제품의 이미지와 메타 정보를 통신 장치(300)에게 전송하고 통신 장치(300)로부터 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신할 수 있다.

앞서 도 7에 제시된 이미지 중에서 사용자의 편의를 위해 선반 별로 제품들의 이미지 및 이에 대응하는 메타 정보를 출력할 수 있다. 예를 들어, 도 7의 221에서 첫번째 선반(1st Shelf)에 배치된 3개의 제품이 도 9의 디스플레이부(310)에 출력되었다. 여기서 사용자는 각 제품 이미지의 아래에 배치된 화살표를 이용하여 사용자가 드래그 입력을 시도하면, 해당 제품의 후면 혹은 측면을 볼 수 있다. 이는 냉장고 내에 다수의 카메라가 배치된 경우, 카메라 위치별로 제품을 식별할 수 있기 때문이다.

또한, 디스플레이부(310) 하단부에는 각 선반별(2nd Shelf 또는 3rd Shelf)로 제품 이미지를 확인할 수 있도록 선반을 선택할 수 있도록 한다. 이는 선반 별로 제품을 확인하기에 제품의 이미지가 작을 수 있으므로, 이를 확대하여 표시할 수 있다. 그리고 사용자가 해당 제품의 라벨링을 추가하거나 변경할 경우 제품 이미지로 표시된 사각형 (혹은 다른 형상의 윤곽선)을 터치하여 글자를 입력할 수 있다.

도 9의 도면은 통신 냉장고 디스플레이나 단말기를 통하여 라벨링 내용에 대한 텍스트 검색 및 음성 명령을 통해 관련 식품의 이미지를 검색하거나 적재 정보에 따라 검색 및 정렬하여 표시할 수 있다. 도 9의 화면은 스마트폰 외에도 냉장고(100)에 배치된 디스플레이부(110) 역시 전체 캡쳐 이미지를 그대로 표시하거나 혹은 어느 하나의 선반을 중심으로 제품 이미지를 출력할 수 있다.

특히, 도 9의 실시예와 같이 통신장치의 디스플레이부(310) 또는 냉장고의 디스플레이부(110)는 제어부(150) 및 카메라부(120)에 의해 추출된 개별 제품의 이미지를 기반으로 저장되고 이들이 각각 분리되어 개별 제품의 이미지로 표시된다. 그리고 표시된 제품 이미지에 대해 디스플레이부(310, 110) 상에서 터치를 통해 선택하거나 드래그 동작(drag gesture)을 취함으로써, 제품 이미지에 대한 선별 및 선반별로 디스플레이되는 제품의 표시 혹은 이미지의 이동이 가능하여 물품 관리를 위해 분류 가능할 수 있도록 한다.

도 7 내지 도 9에서 살펴본 바와 같이, 고내 카메라에 의해 추출된 이미지에 대한 라벨링 및 적재 정보를 출력하여, 사용자는 고내 제품들을 확인할 수 있으며, 그 결과 식료품을 관리할 수 있다. 특히 개별 추출된 제품별 이미지의 메타 정보로 저장한 정보들은 텍스트 및 음성 명령 등의 검색 방법을 통해 찾거나 정렬(저장 시간)된 형태로 출력될 수 있으므로, 유통기한이 임박한 식료품을 관리할 수 있다.

그 결과, 냉장고 개폐를 하지 않고도 내부에 장착된 카메라부(120)를 통하여 촬영 가능 범위의 이미지들에 대해 안쪽에 가려진 식료품을 포함하여 모든 이미지에 대한 표시할 수 있다. 각 이미지를 통한 식료품에 대해 라벨링 및 저장 이력을 통해 물품 관리가 가능해진다.

도 10은 본 발명의 일 실시예에 의한 식료품이 중첩된 경우에 대한 이미지 추출 과정을 보여주는 도면이다. 이는 데이터베이스부(190)에 별도의 개별 이미지가 없거나, 혹은 위치 변동 등으로 인해 새로운 이미지가 생성된 경우, 이미지 내에서 개별 이미지를 추출하는 과정을 살펴본다.

도 10은 최초 이미지에서 중첩된 제품의 이미지(객체)가 있을 시 이미지 세그먼테이션(image segmentation) 방법을 통해 각 제품 별 이미지 추출을 하는 과정을 보여준다. 제어부(150)는 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하고, 객체별 뎁스 정보 또는 온도 정보를 추출하여 객체별 경계를 설정하여 제품별 이미지를 산출하여 제품별 이미지를 산출함에 있어서 정확도를 높일 수 있다. 상세한 과정을 살펴본다.

제어부(150)는 캡쳐 이미지에서 이미지 세그먼테이션을 수행한다(S221). 이미지 세그먼테이션은 배경과 물체를 분할하여 나뉘어진 영역 내에서 유사성이 있거나 유사한 영역을 하나의 물체로 판단하는 것을 의미한다. 특히, 고내 배치되는 제품은 이미지 세그먼테이션을 하는데 필요한 부가 정보를 획득할 수 있다.

일 실시예로, 최초에 캡쳐한 이미지에서 중첩된 객체가 있을 시 이미지 세그먼테이션을 통해 각 객체 별 이미지 추출이 가능해진다. 예를 들어, 제어부(150)는 이미지 세그먼테이션에 대응하는 뎁스 정보 또는 온도 정보를 추출한다(S222).

예를 들어 이미지 세그먼테이션한 결과 1차적으로 물체들이 분류된 후, 각 물체에 대한 뎁스 정보 또는 온도 정보 중 어느 하나 이상을 조합하여 1차적으로 분류된 물체들이 하나의 구별되는 제품으로 확인할 수 있는지를 제어부(150)가 판단한다.

그리고 판단 결과 뎁스 정보나 온도 정보에 의해서도 분류된 물체가 단일한 제품인지를 제어부(150)가 정확도를 높여 판단할 수 있다. 그 결과 제어부(150)는 객체별 경계를 설정하고(S223), 해당 객체에 대한 제1제품 이미지를 산출한다(S224). 이후 외부에서 입력된 정보에 기반하여 제1제품 이미지와 동일하거나 혹은 변형된 제2제품이미지를 생성한다(S225).

외부에서 입력된 정보란, 사용자가 입력한 라벨링 정보에 따라 제1제품 이미지에서 불필요한 픽셀 등을 제거하여 제2제품 이미지를 생성하는 것을 일 실시예로 한다. 예를 들어 토마토라고 입력한 라벨링을 제어부(150)가 확인하고, 제1제품 이미지와 데이터베이스부(190)에 저장된 토마토의 다양한 이미지를 비교하여 불필요한 픽셀을 제거할 수 있다.

이외에도 이미지 세그먼테이션 과정에서 이전에 저장되었던 제품의 이미지를 참조할 수 있다. 이미지 세그먼테이션 과정에서 추출된 제품의 일부 이미지가, 과거에 저장했던 제품의 이미지와 부분 일치할 경우, 이의 전체 이미지를 과거 저장했던 제품의 이미지로 변경할 수 있다. 물론, 이 과정에서 과거 저장했던 제품의 이미지가 마지막으로 확인된 시점을 확인할 수 있다. 캡쳐 이미지 내에서 이동이 없었던 경우, 캡쳐 이미지의 최신 업데이트 시점을 참고하거나, 해당 캡쳐 이미지와 동일한 캡쳐 이미지가 촬영되었던 시점 등에 대한 정보를 참고할 수 있다.

도 11은 본 발명의 일 실시예에 의한 메타 정보를 출력하는 실시예를 보여주는 도면이다. 디스플레이부는 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력할 수 있다. 예를 들어 도 11에 표시된 바와 같이 디스플레이부(110a)는 정보를 출력하면서 또한 외부로부터 터치 입력을 수신할 수 있다. 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력할 수 있다.

"Search Word"에 검색하고자 하는 수납 제품으로 "Tomato apple fruit"와 같이 검색하고자 하는 제품을 나열할 수 있다. 그리고 입고된 날짜 혹은 시간을 "Enter Date or Time"의 하단의 입력단에 입력할 수 있다. 또한, 디스플레이 방식으로 "Display Type" 하단에 "Sort by Shelf"를 선택할 수 있다.

사용자가 정보를 입력한 후, "Display"라는 버튼을 누르면 제어부(150)는 검색정보에 해당하는 제품의 이미지를 출력 방식을 지시하는 정보에 따라 디스플레이부(110b)에서 출력할 수 있다. 110b와 같이 고내 제품들 중에서 토마토에 해당하는 제품의 이미지가 선반 별로 출력된다. 이때, 각 제품이 배치된 위치(선반)도 좌측에 "1st Shelf" 또는 "2nd Shelf"로 표시될 수 있다.

또한, 첫번째 선반의 토마토는 "6:30 Dinner"라 표시되는데, 이는 사용자가 별도로 설정한 알람 정보가 표시된 것을 의미한다.

앞서 살펴본 바와 같이 메타 정보에는 사용 가능 기한 또는 상기 알람 시간이 포함될 수 있다. 따라서, 제어부는 메타 정보 중에서 7용 가능 기한 또는 알람 시간과 현재 시간과의 차이가 미리 설정된 기준 이하인 경우 디스플레이부(110b)에서 제품의 이미지 및 제품의 메타 정보를 출력하여 사용자로 하여금 해당 제품을 사용하도록 유도하여 고내 제품을 사용하지 않고 폐기하는 문제를 해결할 수 있다.

도 11의 검색 및 출력은 통신 장치(300)를 통해서도 가능하다. 냉장고(100)의 통신부(160)와 통신 장치(300)가 정보를 송수신하여 앞서 도 9에서 살펴본 바와 같이 사용자가 외부에서 통신 장치(300)를 이용하여 고내 제품을 확인할 수 있다.

앞서 각 제품별로 분리하여 추출된 이미지(식료품)에 대해 디스플레이부에서 제품에 대한 메타 정보(라벨링 및 시간 이력)를 저장 및 표시하도록 설정하여 식료품 관리가 가능할 수 있다. 특히, 디스플레이부(110, 31)에서 텍스트 입력 등의 조작을 통해 라벨링을 제품별로 설정하여 데이터베이스부(190)에 저장할 수 있다.

그리고 저장된 메타 정보(라벨링)에 대한 텍스트 검색 또는 음성 검색을 통하여 이미지 검색을 가능하게 하며, 식료품의 위치를 표시할 수 있으며, 입고된 시간 또는 적재 시간과, 저장 경과 시간을 표시하고 다양한 방식으로 정렬할 수 있다.

특히, 110a에 표시된 바와 같이, 본 발명을 적용할 경우, 추출되어 분리된 이미지에 대한 적재 이력(시간, 날짜) 및 저장 경과 시간 등의 정보를 제공하여 해당 정보에 따른 정렬 및 분류 등을 통해 고내 제품 특히 식료품 관리가 가능하다.

도 12는 본 발명의 일 실시예에 의한 캡쳐 이미지 테이블 및 제품 이미지 테이블의 구성을 보여주는 도면이다.

도 7의 221은 하나의 보관 공간 내에 3개의 선반을 가지고 있다. 이러한 구성이 도 12의 191a에 표시된다. CaptureId는 챕쳐한 이미지의 식별 정보이며, 선반 별로 이미지 파일을 별도로 저장한 실시예를 보여준다. ImageFile은 캡쳐 이미지 파일을 의미한다.

Position은 캡쳐한 이미지가 어느 보관공간인지(LeftTop, LeftBottom, RightTop, RightBottom 등)를 표시하며 Shelf는 해당 보관공간 내에서의 선반의 위치를 지시하는 정보이다. CaptureTime은 이미지가 캡쳐된 시간을 보여준다. 191a에서 두번째 선반의 캡쳐 시간이 상이한데, 두번째 선반에 제품의 반입 또는 반출 등으로 인한 변화가 있었음을 보여준다.

도 12에서 Cap01.jpg는 도 7의 221의 첫번째 선반의 이미지 파일을, Cap02.jpg는 도 7의 221의 두번째 선반의 이미지 파일을, Cap03.jpg는 도 7의 221의 세번째 선반의 이미지 파일을 지시한다. 물론 선반이 아닌 보관공간 전체로 221과 같은 이미지 파일이 저장될 수도 있다.

193a는 제품별 이미지에 대한 정보를 보여준다. id는 제품별 고유 식별 정보를 의미한다. Label은 제품의 명칭으로 사용자가 라벨링한 정보이다. ImageFile은 제품의 이미지파일로, 앞서 캡쳐된 이미지에서 해당 제품의 이미지를 분리하여 저장한 이미지 파일을 일 실시예로 한다.

category는 제품의 카테고리를 의미한다(소스, 채소, 유제품 등), enteringtime은 고내 입고된 시간을 의미한다. 최초 입고된 시간으로 저장될 수도 있다. 또는 가장 최근에 입고된 시간으로도 저장될 수 있다. Position과 Shelf는 각각 제품이 배치된 보관공간과 선반을 의미한다. Alarm은 해당 제품에 대해 사용자에게 알람이 필요한 시간에 대한 정보이다.

linked는 해당 제품과 연관된 다른 제품을 보여준다. "001"이라는 식별 정보로 "tabasco"가 설정되었고, 이의 링크된 제품은 "002"인 "tomato"라는 것이 확인된다. 이는 사용자가 어떤 제품에 대해 검색하거나 반출할 때 사용자에게 연관된 제품을 출력하여 표시하는 기능을 제공한다. 아울러 CaptureId는 제품의 이미지가 포함되었던 캡쳐 이미지에 대한 식별정보를 의미한다.

193a에서 category, label, Alarm 등을 제외하고 제품의 위치나 무게 등이 변경될 경우 id와 enteringtime, position, shelf 정보를 누적하면 제품 이력 테이블(195)을 구성할 수 있다. 따라서, 매번 캡쳐한 이미지에서 특정 제품의 이미지가 다른 제품에 의해 가려진 경우에도 해당 제품의 이전에 저장되었던 이미지를 추출하여 복원할 수 있으며, 이를 표시할 수 있다.

도 12에서 데이터베이스부(190)는 제1보관공간에 수납된 제1제품을 식별하는 식별정보(예를 들어 id 001)와 제1보관공간 또는 제2보관공간에 수납된 제2제품을 식별하는 식별정보(id 002)를 저장하고, 제1제품의 식별정보와 제2제품의 식별정보의 링크 정보를 저장할 수 있다. 도 12의 193a의 linked 항목이 이의 실시예이다.

특히, 동일 식료품이 냉장고 내에 반복적으로 입출고 시 기존 누적 이미지들에 대한 매칭을 통하여 동일 제품에 대한 이미지를 보다 완벽하게 제공할 수 있으며, 해당 식료품이 냉장고를 벗어나 외부에 방치된 시간에 대한 이력도 함께 제공하여 사용자가 제품의 상태를 추적할 수 있도록 한다.

일 실시예로, 도 7에서 버터로 인식된 제품이 반출된 후 3시간 이상 지날 경우, 사용자에게 버터가 외부에 방치되었음을 냉장고(100)의 디스플레이부(110)에서 출력할 수 있다.

도 13은 본 발명의 일 실시예에 의한 카메라부가 제품의 반입 또는 반출 혹은 이동이 발생한 보관공간이나 선반에 대해 이미지를 캡쳐하는 과정을 보여주는 도면이다.

앞서 살펴본 바와 같이, 냉장고(100)는 보관공간 또는 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부(130) 또는 보관공간의 도어의 개폐를 감지하는 도어 감지부(170) 중 어느 하나 이상을 포함한다.

제어부(150)의 제어에 의해, 무게 센싱부(130) 또는 도어 감지부(170)가 보관공간 내 제품의 입고 또는 반출을 센싱한다(S231). 보다 상세히, 도어 감지부(170)는 도어의 개폐를 감지하여 도어가 오픈되고 닫힌 후 무게 센싱부(130)에서 센싱한 정보를 확인할 수 있다. 예를 들어, 무게 센싱부(130)는 도어가 오픈된 후, 고내 보관공간이나 선반의 무게를 누적하여 저장하고, 무게의 변화가 발생했는지를 센싱한다.

이 과정에서 동일한 선반 내에서도 제품이 이동할 경우, 일시적으로 무게가 줄어들거나(사용자가 들었을 경우) 무게가 증가(사용자가 밀거나 옮기는 과정에서 하방으로 힘이 발생함)할 수 있다. 따라서, 무게 센싱부(130)는 선반이나 보관공간 내에서 무게가 증가하거나 감소하는 것을 센싱한다. 그 결과 무게가 이전에 센싱하여 저장했던 무게 정보와 상이하게 된 경우 보관공간 내에 제품이 입고되거나 반출된 것으로 확인할 수 있다. 제어부(150)는 센싱한 정보의 정확도를 판단하여 특정한 보관공간 또는 특정 선반에서 제품의 반출 또는 반입이 확인되면(S232), 카메라부(120)는 해당 기 보관공간 또는 보관공간 내의 선반 단위로 캡쳐 이미지를 생성한다(S233)

정확도란, 무게의 변화가 매우 작은 경우에는 해당 공간에서 제품의 유입이 없는 것으로 판단하는 것을 의미한다. 또한, 선반 별로 무게를 센싱하는 경우, 제1선반에서 무게가 300g 감소하고, 제2선반에서 무게가 300g 증가한 경우, 사진 캡쳐시 300g의 제품이 이동하였을 가능성에 기반하여 제품 이미지를 분리할 수 있다.

본 발명을 적용할 경우, 고 내 촬영 이미지들에 대한 이미지 정보(RGB 픽셀 값) 및 특징점을 기반으로 이미지 비교 및 변경 이미지를 추출할 수 있다. 특히, 추출된 이미지들을 냉장고 내 위치에 따라 누적 표시 함으로써, 고 내 식료품 영상 이미지를 냉장고 디스플레이 및 단말기를 통해 그대로 보여줄 수 있으며, 각 식료품 이미지에 대해 선택/선별이 가능하도록 UX를 제공(터치)할 수 있으며, 특히 고 내에 다층으로 제품들이 적재된 경우에 면적이 큰 식료품에 의해 가려진 물품에 대해서도 과거 누적된 이미지를 결합하여 외부에서 사용자가 확인할 수 있다.

본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.

이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

100: 냉장고 110: 디스플레이부
120: 카메라부 130: 무게센싱부
141: 뎁스 카메라부 143: 온도 센싱부
150: 제어부 170: 도어 감지부
180: 압축기 190: 데이터베이스부

Claims (18)

1. 하나 이상의 구분된 보관공간;
   상기 보관공간에 수납된 제품을 촬영하는 카메라부;
   상기 카메라가 촬영한 캡쳐 이미지에서 상기 보관공간에 배치된 제품별로 이미지를 분리하는 제어부;
   상기 제어부가 분리한 제품의 이미지 및 상기 이미지에 대응하는 메타 정보를 저장하는 데이터베이스부; 및
   상기 제품의 이미지와 상기 메타 정보를 출력하고 상기 메타 정보를 수정하거나 추가하거나 검색하는 입력을 수신하는 디스플레이부를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
   
2. 제1항에 있어서
   상기 제어부는 상기 분리된 이미지와 상기 데이터베이스부에 저장된 이미지를 비교하여, 상기 분리된 이미지가 상기 저장된 이미지의 일부에 해당하는 경우 상기 분리된 이미지에 상기 저장된 이미지를 결합하여 조정된 이미지를 생성하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
   
3. 제1항에 있어서
   상기 메타 정보는 상기 제품의 명칭, 상기 제품의 카테고리, 상기 제품이 입고된 시간, 상기 제품의 사용 가능 기한, 상기 제품에 적용되는 알람 시간, 상기 제품이 상기 보관공간 내에 배치된 위치 정보 중 어느 하나 이상을 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
   
4. 제3항에 있어서,
   상기 디스플레이부는 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력하며,
   상기 제어부는 상기 검색정보에 해당하는 제품의 이미지를 상기 출력 방식을 지시하는 정보에 따라 상기 디스플레이부에서 출력하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
   
5. 제3항에 있어서,
   상기 메타 정보 중에서 상기 사용 가능 기한 또는 상기 알람 시간과 현재 시간과의 차이가 미리 설정된 기준 이하인 경우 상기 제어부는 상기 디스플레이부에서 상기 제품의 이미지 및 상기 제품의 메타 정보를 출력하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
   
6. 제1항에 있어서,
   상기 데이터베이스부는
   제1보관공간에 수납된 제1제품을 식별하는 식별정보;
   상기 제1보관공간 또는 제2보관공간에 수납된 제2제품을 식별하는 식별정보; 및
   상기 제1제품의 식별정보와 상기 제2제품의 식별정보의 링크 정보를 저장하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
   
7. 제1항에 있어서,
   상기 제품의 이미지와 상기 메타 정보를 통신 장치에게 전송하고 상기 통신 장치로부터 상기 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신하는 통신부를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
   
8. 제1항에 있어서,
   상기 냉장고는 상기 보관공간 또는 상기 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부 또는 상기 보관공간의 도어의 개폐를 감지하는 도어 감지부 중 어느 하나 이상을 포함하며,
   상기 무게 센싱부 또는 상기 도어 감지부가 상기 보관공간 내 제품의 입고 또는 반출을 센싱하면 상기 카메라부는 상기 보관공간 또는 상기 보관공간 내의 선반 단위로 캡쳐 이미지를 생성하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
   
9. 제1항에 있어서,
   상기 냉장고는 상기 보관공간 내의 제품의 온도 정보를 센싱하는 온도 센싱부 또는 상기 제품의 뎁스 정보를 생성하는 뎁스 카메라부를 더 포함하며,
   상기 제어부는 상기 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하고, 상기 객체별 뎁스 정보 또는 온도 정보를 추출하여 상기 객체별 경계를 설정하여 제품별 이미지를 산출하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
   
10. 제1항에 있어서
    상기 제어부는 상기 카메라부가 촬영한 캡쳐 이미지와 상기 데이터베이스부에 저장된 캡쳐 이미지를 비교하여 상이한 경우, 상기 캡쳐 이미지에서 상기 보관공간에 배치된 제품별로 이미지를 분리하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
    
11. 냉장고의 카메라부가 하나 이상의 구분된 보관공간에 수납된 제품을 촬영하는 단계;
    냉장고의 제어부가 상기 카메라가 촬영한 캡쳐 이미지에서 상기 보관공간에 배치된 제품별로 이미지를 분리하는 단계;
    상기 제어부가 상기 분리한 제품의 이미지 및 상기 이미지에 대응하는 메타 정보를 냉장고의 데이터베이스부에 저장하는 단계; 및
    상기 냉장고의 디스플레이부가 상기 제품의 이미지와 상기 메타 정보를 출력하고 상기 메타 정보를 수정하거나 추가하거나 검색하는 입력을 수신하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
    
12. 제11항에 있어서
    상기 분리하는 단계는
    상기 제어부가 상기 분리된 이미지와 상기 데이터베이스부에 저장된 이미지를 비교하는 단계; 및
    상기 분리된 이미지가 상기 저장된 이미지의 일부에 해당하는 경우 상기 제어부가 상기 분리된 이미지에 상기 저장된 이미지를 결합하여 조정된 이미지를 생성하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
    
13. 제11항에 있어서
    상기 메타 정보는 상기 제품의 명칭, 상기 제품의 카테고리, 상기 제품이 입고된 시간, 상기 제품의 사용 가능 기한, 상기 제품에 적용되는 알람 시간, 상기 제품이 상기 보관공간 내에 배치된 위치 정보 중 어느 하나 이상을 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
    
14. 제13항에 있어서,
    상기 디스플레이부가 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력하는 단계; 및
    상기 제어부가 상기 검색정보에 해당하는 제품의 이미지를 상기 출력 방식을 지시하는 정보에 따라 상기 디스플레이부를 제어하여 출력하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
    
15. 제13항에 있어서,
    상기 메타 정보 중에서 상기 사용 가능 기한 또는 상기 알람 시간과 현재 시간과의 차이가 미리 설정된 기준 이하인 경우 상기 제어부가 상기 디스플레이부에서 상기 제품의 이미지 및 상기 제품의 메타 정보를 출력하는 단계를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
    
16. 제11항에 있어서,
    통신부가 상기 제품의 이미지와 상기 메타 정보를 통신 장치에게 전송하는 단계; 및
    상기 통신부가 상기 통신 장치로부터 상기 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신하는 단계를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
    
17. 제11항에 있어서,
    상기 냉장고는 상기 보관공간 또는 상기 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부 또는 상기 보관공간의 도어의 개폐를 감지하는 도어 감지부 중 어느 하나 이상을 포함하며,
    상기 무게 센싱부 또는 상기 도어 감지부가 상기 보관공간 내 제품의 입고 또는 반출을 센싱하는 단계;
    상기 카메라부가 상기 보관공간 또는 상기 보관공간 내의 선반 단위로 캡쳐 이미지를 생성하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
    
18. 제11항에 있어서,
    상기 냉장고는 상기 보관공간 내의 제품의 온도 정보를 센싱하는 온도 센싱부 또는 상기 제품의 뎁스 정보를 생성하는 뎁스 카메라부를 더 포함하며,
    상기 이미지를 분리하는 단계는
    상기 제어부가 상기 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하는 단계; 및
    상기 제어부가 상기 객체별 뎁스 정보 또는 상기 온도 정보를 추출하여 상기 객체별 경계를 설정하여 제품별 이미지를 산출하는 단계를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
    

Images