KR20200045273A - 미러형 증강 현실 표시 시스템 - Google Patents

미러형 증강 현실 표시 시스템 Download PDF

Info

Publication number
KR20200045273A
KR20200045273A KR1020180126139A KR20180126139A KR20200045273A KR 20200045273 A KR20200045273 A KR 20200045273A KR 1020180126139 A KR1020180126139 A KR 1020180126139A KR 20180126139 A KR20180126139 A KR 20180126139A KR 20200045273 A KR20200045273 A KR 20200045273A
Authority
KR
South Korea
Prior art keywords
marker
augmented reality
mirror
reality display
product
Prior art date
Application number
KR1020180126139A
Other languages
English (en)
Other versions
KR102238473B1 (ko
Inventor
양민철
Original Assignee
양민철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양민철 filed Critical 양민철
Priority to KR1020180126139A priority Critical patent/KR102238473B1/ko
Publication of KR20200045273A publication Critical patent/KR20200045273A/ko
Application granted granted Critical
Publication of KR102238473B1 publication Critical patent/KR102238473B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/012—Providing warranty services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 화장품, 약품 및 식품 중 어느 하나에 속하며, 마커를 갖는 대상물; 및 미러형 증강 현실 표시 장치; 를 포함하고, 상기 미러형 증강 현실 표시 장치는, 상기 대상물을 거치하기 위한 거치대; 상기 거치대의 상측에 설치되고, 전면이 거울(Mirror) 기능을 하는 디스플래이 패널; 상기 거치대 또는 상기 디스플레이 패널에 설치되어 사용자의 접근을 감지하는 적외선 센서; 상기 거치대의 상측에 설치되고, 상기 적외선 센서가 사용자의 접근을 감지하면 작동되어 상기 거치대 위를 촬영하는 카메라; 및 상기 카메라가 촬영한 영상에서 상기 대상물의 마커를 찾아 식별하는 제어부; 를 포함하고, 상기 제어부가 상기 마커에 저장된 제품 정보를 이용하여 상기 대상물의 사용 정보를 가상 이미지로 증강(Augmentation)하여 상기 디스플레이 패널에 표시하는 것을 특징으로 하는 미러형 증강 현실 표시 시스템을 제공한다.

Description

미러형 증강 현실 표시 시스템{Mirror Augmented Reality Display System}
본 발명은 미러형 증강 현실 표시 시스템에 관한 것으로, 더욱 상세하게는 화장품, 약품 및 식품 중 어느 하나에 속하는 대상물에 대한 사용 정보를 대상물에 구비된 마커에 저장된 제품 정보를 이용하여 증강 현실 형태로 미러(Mirror) 형태의 디스플레이 패널에 표시되도록 한 미러형 증강 현실 표시 시스템에 관한 것이다.
화장품, 약품 및 식품 등은 각기 유통 기한이 달라서 사용 기간 관리가 쉽지 않다. 예를 들어, 제품이 마음에 들지 않아서 자주 사용하지 않거나 마음에 들지만 아껴서 사용하다가 유통 기한을 넘기게 된다. 또한, 자주 사용하는 제품의 경우 재구매 시기를 놓치는 경우가 발생할 수 있다.
또한, 화장품, 약품 및 식품 중에서 휘발성, 방향성 및 산화성 등이 강해 사용 후 마개를 닿지 않거나 밀폐된 상태를 유지하지 않는 경우 성분이 날아가버리는 문제가 있는 제품이 있다. 예컨대, 화장품의 경우 스킨 로션 또는 향수 등이 있고, 의약품의 경우 물파스와 같은 제품이 있고, 식품의 경우 향신료와 같은 제품이 있다. 통상적으로 이러한 제품을 사용하는 경우 사용 후 마개를 닫는 것을 잊어버리는 경우가 있다.
한편, 일반적으로 화장품은 화장대에 진열하여 사용하고, 약품과 식품은 싱크대나 테이블 등에 진열하여 보관하게 되고, 이러한 화장대, 싱크대 및 테이블에는 사용자를 관찰하기 위해 전면에 거울이 설치되는 경우가 있다. 그러나, 이러한 거울은 사용자를 단순히 비추어 줄 뿐 앞서 설명한 문제들을 해결할 수 있는 수단을 갖지 못한다.
국내등록특허공보 KR10-1596767
본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 화장품, 약품 및 식품 등의 대상물의 사용 기간 관리를 효율적으로 할 수 있도록 하고, 화장품, 약품 및 식품 중에서 휘발성, 방향성 및 산화성 등이 강해 사용 후 마개를 닿지 않거나 밀폐된 상태를 유지하지 않는 경우 성분이 날아가버리는 문제가 있는 제품의 경우 사용 후 마개를 닫는 것을 잊어버린 경우 이를 알려줄 수 있는 미러형 증강 현실 표시 시스템을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 미러형 증강 현실 표시 시스템은, 화장품, 약품 및 식품 중 어느 하나에 속하며, 마커를 갖는 대상물; 및 미러형 증강 현실 표시 장치; 를 포함하고, 상기 미러형 증강 현실 표시 장치는, 상기 대상물을 거치하기 위한 거치대; 상기 거치대의 상측에 설치되고, 전면이 거울(Mirror) 기능을 하는 디스플래이 패널; 상기 거치대 또는 상기 디스플레이 패널에 설치되어 사용자의 접근을 감지하는 적외선 센서; 상기 거치대의 상측에 설치되고, 상기 적외선 센서가 사용자의 접근을 감지하면 작동되어 상기 거치대 위를 촬영하는 카메라; 및 상기 카메라가 촬영한 영상에서 상기 대상물의 마커를 찾아 식별하는 제어부; 를 포함하고, 상기 제어부가 상기 마커에 저장된 제품 정보를 이용하여 상기 대상물의 사용 정보를 가상 이미지로 증강(Augmentation)하여 상기 디스플레이 패널에 표시하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 의하면, 상기 마커는 소비자의 통계적인 평균 사용량 또는 사용자별로 1회 사용시의 사용량을 저장하고, 상기 제어부가 사용자의 사용 패턴을 감안하여 상기 대상물의 내용물이 소진되는 시기를 예상하고, 마커에 저장된 제품 정보에 있는 유통 기한과 비교한 후 유통 기한을 초과할 염려가 있는 대상물은 유통 기한을 디스플레이 패널에 표시하고, 계속하여 사용되지 않는 대상물의 경우, 다른 대체품에 대한 제품 구매 정보를 추가로 디스플레이 패널에 표시할 수 있다.
본 발명의 바람직한 특징에 의하면, 상기 대상물은 바디와 마커를 갖는 마개를 포함하고, 상기 제어부가 상기 마커의 회전을 인식하면, 상기 대상물이 1회 사용된 것으로 판단하여 상기 대상물에 대한 사용 정보를 업데이트할 수 있다.
본 발명의 바람직한 특징에 의하면, 상기 미러형 증강 현실 표시 장치는 온도 센서를 더 포함하고, 상기 제어부는, 마커에 저장된 제품 정보를 이용하여 대상물의 냉장 보관 제품 여부를 확인하고, 냉장 보관 제품인 경우 마개 개봉 후의 시간을 측정하여 일정 시간이 넘은 경우 온도 센서에 의해 측정된 온도가 냉장 온도 이상이면 대상물을 냉장 보관하라는 알람 표시를 가상 이미지로 증강하여 디스플레이 패널에 추가로 표시할 수 있다.
본 발명의 바람직한 특징에 의하면, 상기 대상물은 제1 마커를 갖는 바디와 제2 마커를 갖는 마개를 포함하고, 상기 제어부가 상기 제1 마커와 상기 제2 마커가 일정 거리 이상 이격된 것을 인식하면, 상기 대상물이 1회 사용된 것으로 판단하여 상기 대상물에 대한 사용 정보를 업데이트할 수 있다.
본 발명의 바람직한 특징에 의하면, 상기 대상물은 제1 마커를 갖는 바디와 상기 대상물이 수평 이상으로 눕혀서 사용하는 제품이라는 정보가 저장된 제2 마커를 갖는 마개를 포함하고, 상기 제어부는, 상기 제1 마커와 상기 제2 마커가 일정 거리 이상 이격되고 상기 제1 마커의 위치와 상기 제2 마커의 위치가 역전된 것을 인식하면, 상기 대상물이 1회 사용된 것으로 판단하여 상기 대상물에 대한 사용 정보를 업데이트할 수 있다.
본 발명의 바람직한 특징에 의하면, 상기 제어부는, 제2 마커에 저장된 제품 정보를 이용하여 대상물이 휘발성, 방향성 및 산화성 중 적어도 하나의 특성을 갖는 제품인지를 확인하고, 휘발성, 방향성 및 산화성 중 적어도 하나의 특성을 갖는 제품인 경우 제1 마커와 제2 마커가 일정 거리 이상 이격된 후의 시간을 측정하여 일정 시간이 넘은 경우 마개를 닫으라는 알람 표시를 증강 현실 형태로 디스플레이 패널에 추가로 표시할 수 있다.
본 발명의 바람직한 특징에 의하면, 상기 마커는 ARUCO 식 또는 METAIO 식의 이진 마커인 것을 특징으로 하는 미러형 증강 현실 표시 시스템.
본 발명의 일 실시 예에 따르면, 화장품, 약품 및 식품 중 어느 하나에 속하는 대상물에 대한 사용 정보를 대상물에 구비된 마커에 저장된 제품 정보를 이용하여 증강 현실 형태로 미러 형태의 디스플레이 패널에 표시되도록 하여, 화장품, 약품 및 식품 등의 각기 유통 기한이 다른 대상물의 사용 기간 관리를 효율적으로 할 수 있는 효과가 있다.
또한, 화장품, 약품 및 식품 중에서 휘발성, 방향성 및 산화성 등이 강해 사용 후 마개를 닿지 않거나 밀폐된 상태를 유지하지 않는 경우 성분이 날아가버리는 문제가 있는 제품의 경우 사용 후 마개를 닫는 것을 잊어버린 경우 이를 알려줄 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 의한 미러형 증강 현실 표시 장치를 개략적으로 도시한 구성도이다.
도 2는 본 발명의 미러형 증강 현실 표시 시스템에 적용되는 대상물의 제1 실시 예를 개략적으로 도시한 평면도이다.
도 3은 본 발명의 제1 실시 예에 대한 미러형 증강 현실 표시 시스템의 동작 흐름을 나타낸 플로우 차트이다.
도 4는 본 발명의 미러형 증강 현실 표시 시스템에 적용되는 대상물의 제2 실시 예를 개략적으로 도시한 평면도이다.
도 5는 본 발명의 미러형 증강 현실 표시 시스템에 적용되는 대상물의 제2 실시 예를 바디와 마개를 분리하여 개략적으로 도시한 평면도이다.
도 6은 본 발명의 제2 실시 예에 대한 미러형 증강 현실 표시 시스템의 동작 흐름을 나타낸 플로우 차트이다.
도 7은 본 발명의 제3 실시 예에 대한 미러형 증강 현실 표시 시스템의 동작 흐름을 나타낸 플로우 차트이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 미러형 증강 현실 표시 시스템에 대하여 설명하면 다음과 같다.
도 1은 본 발명의 일 실시 예에 의한 미러형 증강 현실 표시 장치를 개략적으로 도시한 구성도이다.
도 1을 참조하면, 본 실시 예의 미러형 증강 현실 표시 시스템은, 대상물(100, 200) 및 미러형 증강 현실 표시 장치를 포함한다.
대상물(100, 200)은 화장품, 약품 및 식품 중 어느 하나에 속하는 제품이다. 또한, 대상물(100, 200)의 일면에는 식별 가능하게 각각 상이하게 형성되는 마커(101, 201)가 구비된다.
마커(101, 201)는 사전에 제조 회사에서 저장한 제품 정보를 가지고 있어서 상기 미러형 증강 현실 표시 장지가 마커(101, 201)를 식별하면 마커(101, 201)에 저장된 제품 정보를 이용하여 대상물(100, 200)의 사용 정보를 증강 현실 형태로 사용자가 볼 수 있도록 표시한다. 이때, 공지된 AR(Augmented Reality: 증강 현실) 기술을 이용할 수 있다. 공지된 AR기술 이용에 대해 약술하면, 본 실시 예에서, AR의 주요 목적은 캡처된 카메라 프레임의 변화를 분석하고 추적 결과를 기반으로 가상 장면을 카메라의 장면에 맞게 정렬하는 것이며, 이때 마커 기반 접근 방식은 시각적 방식으로 이미지 기반 추적 알고리즘을 사용할 수 있다. 예컨대 본 실시 예에서 마커(101, 201)는 ARUCO 식 또는 METAIO 식의 이진 마커일 수 있으나, 카메라 장면의 실제 평면 개체 사진을 이용하는 등 본 발명이 이에 한정되는 것은 아니다.
본 실시 예의 미러형 증강 현실 표시 장치는 거치대(10), 디스플레이 패널(20), 적외선 센서(70), 카메라(50) 및 제어부(40)를 포함한다. 본 실시 예에서는 대상물(100, 200)을 화장품으로 하고, 상기 미러형 증강 현실 표시 장치는 이러한 화장품을 거치하는 화장대와 같은 형태로 도시하여 설명하고 있지만, 본 발명은 이에 한정되는 것은 아니며, 필요시 대상물과 상기 미러형 증강 현실 표시 장치의 형태가 다양하게 변경될 수 있음은 물론이다.
거치대(10)는 상면에 대상물(100, 200)을 거치하기 위한 것으로서, 대상물(100, 200)이 거치되도록 상면이 평평하게 형성되는 받침대(11)와 이 받침대(11)를 지면에 대해 지지하는 복수의 다리(12)를 포함할 수 있다.
디스플레이 패널(20)은 거치대(10)의 상측에 설치되고, 전방을 향해 디지털 정보를 표시한다. 이러한 디스플레이 패널(20)은 전면이 거울의 기능을 할 수 있도록 구성될 수 있다.
적외선 센서(70)는 거치대(10) 또는 디스플레이 패널(20) 또는 브라켓(30) 중 어느 하나에 전방을 향하도록 설치될 수 있으며, 사용자가 상기 미러형 증강 현실 표시 장치로 접근하는 것을 감지하는 역할을 한다. 이때, 적외선 센서(70)는 배면 모션 인식 장치일 수 있다. 예컨대, 사용자가 상기 미러형 증강 현실 표시 장치에 일정 거리 이내로 다가오면 적외선 센서(70)가 사용자로부터 반사되어 온 적외선 신호를 수신하고, 그 신호의 강도가 일정 기준을 초과하면 사용자가 상기 미러형 증강 현실 표시 장치의 거치대(10)에 거치된 대상물(100, 200)을 사용하게 위해 접근한 것으로 판단하여 제어부(40)가 오프(Off) 상태인 카메라(50)의 상태를 온(On) 상태로 전환시키는 것이다.
카메라(50)는 거치대(10)의 상측에 설치되고, 적외선 센서(70)가 사용자의 접근을 감지하면 작동되어 거치대(10)의 받침대(11) 위를 촬영하는 역할을 한다. 여기서 카메라(50)와 후술하는 온도 센서는 디스플레이 패널(20)의 상측에서 전방으로 연장되는 브라켓(30)의 저면에 설치될 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
제어부(40)는 거치대(10) 또는 디스플레이 패널(20)에 설치될 수 있으며, 카메라(50)가 촬영한 영상에서 대상물(100, 200)의 마커(101, 201)를 찾아 식별하고, 더불어 촬영된 영상에서의 모션을 인식하는 역할을 한다. 즉, 제어부(40)는 카메라(50)를 통해 촬영된 대상물(100, 200)의 이미지를 분석하여 이미지 내에 존재하는 마커(101, 201)를 추적하고, 마커(101, 201)에 저장된 제품 정보를 인식하는 역할을 하는 것이다. 이때, 상기 제품 정보는 예를 들어 기본적인 제품의 성분 및 효능 정보이거나 그 외에 제품의 사용 방법 및 유통 기한 등일 수 있다.
이에 제어부(40)가 마커(101, 201)에 저장된 제품 정보를 이용하여 대상물(100, 200)의 사용 정보를 실사에 가상객체를 혼합한 증강 현실 형태로 디스플레이 패널(20)에 표시하게 된다. 예컨대, 앞서 제어부(40)에서 인식한 마커(101, 201)의 제품 정보로서 제품의 성분 및 효능 정보 등이 표시될 수 있으며, 그 외에 유통 기한이 임박한 대상물(100, 200)의 경우 유통 기한을 추가로 더 알려주거나, 할인 프로모션 정보 등을 더 표시하여 알려줄 수 있다. 이때, 디스플레이 패널(20)에 표시되는 내용은 알려주고자 하는 정보를 가상 이미지로 증강(Augmentation)하여 디스플레이 함으로써 사용자의 흥미를 유발할 수 있다.
이때, 일반적인 소비자의 통계적인 평균 사용량이 마커(101, 201)에 정보로 담겨 있도록 하여 제어부(40)에 의해 파악될 수 있으며, 이러한 정보를 통해 남아 있는 사용 가능한 기간 등을 임의로 계산하여 디스플레이 패널(20)에 더 표시할 수 있다.
한편, 통계적인 평균 사용량이 아니라 사용자별로 1회 사용시의 사용량을 마커(101, 201)에 저장해 둘 수 있다. 이에 아래 식 1을 통해 대상물(100, 200)의 현재 잔여 용량을 제어부(40)가 추정할 수 있다. 예컨대, 대상물(100, 200)인 화장품의 용량이 60ml이고, 사용자가 본인의 1회 사용량을 2ml로 저장해 두면, 하나의 제품으로 30회 사용이 가능하다.
[식 1] 마커에 정보가 저장된 대상물에 담긴 내용물의 구매 용량 - (해당 사용자의 사용 횟수 x 평균 사용량) = 현재 대상물의 잔여 용량
따라서, 제어부(40)는 마커(101, 201)에 저장된 대상물(100, 200)의 사용 정보를 업데이트하다가 상기 화장품의 일 예에서와 같이 30회 사용이 가능한 경우, 20회 이상 사용하여 사용 가능한 횟수가 10회 미만이 되면 이러한 내용을 디스플레이 패널(20)에 함께 표시하여 사용자가 사용 중인 제품이 다 떨어지기 전에 새로운 제품의 구매를 준비할 수 있도록 도와주는 등의 동작이 가능하다.
또한, 제어부(40)는 사용자의 사용 패턴인 사용 빈도와 사용 주기를 감안하여 대상물(100, 200)의 내용물이 소진되는 시기를 예상할 수 있고, 제어부(40)는 이를 마커(101, 201)에 저장된 제품 정보에 있는 유통 기한과 비교한 후, 유통 기한을 초과할 염려가 있는 제품은 유통 기한을 디스플레이 패널(20)에 표시하여 유통 기한 전 사용을 독려하는 정보를 제공하고, 그럼에도 불구하고 계속하여 사용되지 않는 제품은 아껴 쓰는 제품이 아니라 사용자의 만족도가 떨어지는 제품으로 판단될 수 있는바 이에 다른 대체품에 대한 제품 구매 정보를 추가로 디스플레이 패널(20)에 제공할 수 있다.
이와 달리, 유통 기한을 초과하는 것이 아니라, 반대로 소진 예상 시기가 조기 임박한 대상물은 소진 예상 시기에 맞추어 재구매 안내를 해줄 수 있고, 바람직하게는 별도로 마련된 통신망을 통해 제조 회사의 서버 등에 연결하여 해당 대상물과 관련된 할인 프로 모션 정보를 알려주어 유리한 조건에 구매할 수 있는 기회를 사용자에게 제공할 수 있다.
이하, 본 발명의 미러형 증강 현실 표시 시스템을 대상물의 특징에 따라 여러 가지로 분류하여 상세히 설명하기로 한다.
제1 실시 예
도 2는 본 발명의 미러형 증강 현실 표시 시스템에 적용되는 대상물의 제1 실시 예를 개략적으로 도시한 평면도이고, 도 3은 본 발명의 제1 실시 예에 대한 미러형 증강 현실 표시 시스템의 동작 흐름을 나타낸 플로우 차트이다.
도 2 및 도 3을 더 참조하면, 본 실시 예의 대상물은 바디(110)와 마개(120)로 구성되는 제품이고, 마개(120)가 마커(121)를 가질 수 있다. 도 2에서 도면부호 112는 마개(120)를 바디(110)에 결합하기 위한 마개 결합부를 나타낸다.
본 실시 예에 따르면, 제어부(40)가 마커(121)의 회전을 인식하면(S11), 대상물이 1회 사용된 것으로 판단하여 대상물에 대한 사용 정보를 업데이트 한다(S12).
예를 들어, 대상물이 콜드 크림과 같이 마개(120)를 바디(110)로부터 분리해야만 사용할 수 있는 제품인 경우, 마커(121)에는 이러한 마개(120)를 바디(110)로부터 분리해야 제품을 사용할 수 있다는 제품 정보가 저장된다. 이에 사용자가 콜드 크림의 마개(120)를 돌려 열면, 제어부(40)가 마커(121)의 회전을 인식하여 마개(120)가 분리되어 바디(110)를 개봉하는 것으로 판단함으로써 사용자가 콜드 크림을 1회 사용한 것으로 판단할 수 있게 되는 것이다.
이때, 다른 예로서, 본 실시 예의 미러형 증강 현실 표시 장치는 도 1에서와 같이 온도 센서(60)를 더 포함할 수 있다. 제어부(40)는 마커(121)에 저장된 제품 정보를 이용하여 대상물이 개봉 후 냉장 보관되어야 할 제품인지를 확인하고(S13), 대상물이 냉장 보관이 필요한 제품인 경우 사용자가 대상물의 마개를 개봉한 후 그 시간이 일정 시간 이상 지속되었는지를 확인하며(S14), 그 결과 일정 시간 이상 지속된 경우 온도 센서(60)에 의해 측정된 온도가 냉장 온도 이상이면 대상물이 냉장 온도 이상의 실온에 방치되는 것으로 판단하여 대상물을 냉장 보관하라는 알람 표시를 가상 이미지로 증강하여 디스플레이 패널(20)에 추가로 표시할 수 있다(S15).
제2 실시 예
도 4는 본 발명의 미러형 증강 현실 표시 시스템에 적용되는 대상물의 제2 실시 예를 개략적으로 도시한 평면도이고, 도 5는 본 발명의 미러형 증강 현실 표시 시스템에 적용되는 대상물의 제2 실시 예를 바디와 마개를 분리하여 개략적으로 도시한 평면도이고, 도 6은 본 발명의 제2 실시 예에 대한 미러형 증강 현실 표시 시스템의 동작 흐름을 나타낸 플로우 차트이다.
도 4 내지 도 6을 더 참조하면, 본 실시 예의 대상물은 바디(110')와 마개(120')로 구성되는 제품이고, 바디(110')는 제1 마커(111)를 가질 수 있고, 마개(120')는 제2 마커(121')를 가질 수 있다. 도 2에서 도면부호 112'는 마개(120')를 바디(110')에 결합하기 위한 마개 결합부를 나타낸다.
본 실시 예에 따르면, 제어부(40)가 제1 마커(111)와 제2 마커(121')가 일정 거리 이상 이격된 것을 인식하면(S21), 대상물이 1회 사용된 것으로 판단하여 대상물에 대한 사용 정보를 업데이트할 수 있다(S22).
예를 들어, 대상물이 치약인 경우 치약은 마개(120')를 분리한 후 칫솔에 내용물을 짜서 쓰는 제품이므로, 제어부(40)가 제2 마커(121')의 회전을 인식하면 마개(120')가 회전되어 개봉되는 것으로 판단하고 이후 마개(120')를 세면대 등에 놓으면 치약의 바디(110')의 제1 마커(111)와 마개(120')의 제2 마커(121')가 일정 거리 이상 이격된 것으로 인식하여 사용자가 치약을 1회 사용한 것으로 판단할 수 있게 되는 것이다. 이때, 적외선 센서(70)를 이용하여 제1 마커(111)와 제2 마커(121') 간의 거리를 보다 정밀하게 인식할 수 있다.
이때, 다른 예로서, 대상물은 스킨 로션과 같이 휘발성이거나 또는 향수와 같이 방향성이거나 또는 들기름과 같이 산화성일 수 있는데, 간혹 사용자가 이러한 휘발성, 방향성 또는 산화성을 갖는 대상물을 사용할 때 마개(120')를 열고 닫는 것을 잊어버리는 경우가 있다. 대상물이 이러한 휘발성, 방향성 및 산화성 중 적어도 하나의 특성을 갖는 경우 제2 마커(121')에 해당 제품의 특성이 저장된다.
이 경우, 먼저 제어부(40)는 대상물인 제품이 이러한 휘발성, 방향성 및 산화성 중 적어도 하나의 특성을 갖는지의 여부를 확인하고(S23), 대상물이 휘발성, 방향성 및 산화성 중 적어도 하나의 특성을 갖는 경우 마개(120')가 개봉된지 일정 시간이 지난 것을 제1 마커(111)와 제2 마커(121')가 일정 거리 이상 이격된지 얼마나 되었는지로 확인하며(S24), 그 결과 일정 시간이 지속된 경우 마개(120')를 닫으라는 알람 표시를 디스플레이 패널(20)에 증강 현실 형태로 더 표시할 수 있다(S25). 이러한 알람 표시는 마개(120')를 바디(110')에 결합하여 제1 마커(111)와 제2 마커(121')의 거리가 이격되지 않는 것으로 판정되면 사라질 수 있다.
제3 실시 예
도 7은 본 발명의 제3 실시 예에 대한 미러형 증강 현실 표시 시스템의 동작 흐름을 나타낸 플로우 차트이다.
도 7을 더 참조하면, 본 실시 예의 대상물은 앞서 제2 실시 예에서와 같이 바디(110')와 마개(120')로 구성되는 제품이고, 바디(110')는 제1 마커(111)를 가질 수 있고, 마개(120')는 제2 마커(121')를 가질 수 있다. 본 실시 예의 대상물은 사용시 바디(110')를 기울여서 사용하는 제품일 수 있다. 이때, 제1 마커(111)에는 대상물이 수평 이상으로 눕혀서 사용하는 제품이라는 정보가 저장된다.
이때, 제어부(40)가 제1 마커(111)와 제2 마커(121')가 일정 거리 이상 이격되고 제1 마커(111)의 위치가 제2 마커(121')의 위치 보다 높은 것을 인식하면, 대상물이 1회 사용된 것으로 판단하여 대상물에 대한 사용 정보를 업데이트할 수 있다. 이때, 제1 마커(111)와 제2 마커(121')의 위치 정보는 거리 측정에 의한 삼변측량(Trilateration) 방법, 각도 측정에 의한 삼각측량(Triangulation) 방법, 근접 방법 등을 사용할 수 있으며, 본 발명이 이에 한정되는 것은 아니다.
예를 들어, 대상물이 참기름 용기인 경우 마개(120')를 분리하고 바디(110')를 기울여서 내용물을 따라서 쓰는 제품이므로, 제어부(40)가 제2 마커(121')의 회전을 인식하면 마개(120')가 회전되어 개봉되는 것으로 판단하고, 이후 마개(120')를 다른 곳에 두면 참기름 용기의 바디(110')의 제1 마커(111)와 마개(120')의 제2 마커(121')가 일정 거리 이상 이격된 것으로 인식한다(S31).
다음으로, 최초 바디(110')의 제1 마커(111)의 위치가 마개(120')의 제2 위치(121') 보다 낮게 위치해 있다가 참기름을 따르기 위해 바디(110')를 기울여 바디(110')의 제1 마커(111)의 위치가 마개(120')의 제2 마커(121')의 위치 보다 위쪽에 위치하여 제1 마커(111)와 제2 마커(121')의 위치가 역전된 것을 인식하여(S32) 사용자가 참기름을 1회 사용한 것으로 판단할 수 있게 되고, 대상물에 대한 사용 정보를 업데이트할 수 있다(S33.
본 발명은 상술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구 범위에 의해 한정하고자 한다. 따라서, 청구 범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술 분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.
10: 거치대
20: 디스플레이 패널
40: 제어부
50: 카메라
60: 온도 센서
70: 적외선 센서
100, 200: 대상물
110: 바디
111: 제1 마커
120: 마개
121: 제2 마커

Claims (8)

  1. 화장품, 약품 및 식품 중 어느 하나에 속하며, 마커를 갖는 대상물; 및 미러형 증강 현실 표시 장치; 를 포함하고,
    상기 미러형 증강 현실 표시 장치는,
    상기 대상물을 거치하기 위한 거치대;
    상기 거치대의 상측에 설치되고, 전면이 거울(Mirror) 기능을 하는 디스플래이 패널;
    상기 거치대 또는 상기 디스플레이 패널에 설치되어 사용자의 접근을 감지하는 적외선 센서;
    상기 거치대의 상측에 설치되고, 상기 적외선 센서가 사용자의 접근을 감지하면 작동되어 상기 거치대 위를 촬영하는 카메라; 및
    상기 카메라가 촬영한 영상에서 상기 대상물의 마커를 찾아 식별하는 제어부; 를 포함하고,
    상기 제어부가 상기 마커에 저장된 제품 정보를 이용하여 상기 대상물의 사용 정보를 가상 이미지로 증강(Augmentation)하여 상기 디스플레이 패널에 표시하는 것을 특징으로 하는 미러형 증강 현실 표시 시스템.
  2. 제1항에 있어서,
    상기 마커는 소비자의 통계적인 평균 사용량 또는 사용자 별로 1회 사용시의 사용량을 저장하고,
    상기 제어부가 사용자의 사용 패턴을 감안하여 상기 대상물의 내용물이 소진되는 시기를 예상하고, 마커에 저장된 제품 정보에 있는 유통 기한과 비교한 후 유통 기한을 초과할 염려가 있는 대상물은 유통 기한을 디스플레이 패널에 표시하고,
    계속하여 사용되지 않는 대상물의 경우, 다른 대체품에 대한 제품 구매 정보를 추가로 디스플레이 패널에 표시하는 것을 특징으로 하는 미러형 증강 현실 표시 시스템.
  3. 제1항에 있어서,
    상기 대상물은 바디와 마커를 갖는 마개를 포함하고,
    상기 제어부가 상기 마커의 회전을 인식하면, 상기 대상물이 1회 사용된 것으로 판단하여 상기 대상물에 대한 사용 정보를 업데이트하는 것을 특징으로 하는 미러형 증강 현실 표시 시스템.
  4. 제1항 또는 제3항에 있어서,
    상기 미러형 증강 현실 표시 장치는 온도 센서를 더 포함하고,
    상기 제어부는, 마커에 저장된 제품 정보를 이용하여 대상물의 냉장 보관 제품 여부를 확인하고, 냉장 보관 제품인 경우 마개 개봉 후의 시간을 측정하여 일정 시간이 넘은 경우 온도 센서에 의해 측정된 온도가 냉장 온도 이상이면 대상물을 냉장 보관하라는 알람 표시를 가상 이미지로 증강하여 디스플레이 패널에 추가로 표시하는 것을 특징으로 하는 미러형 증강 현실 표시 시스템.
  5. 제1항에 있어서,
    상기 대상물은 제1 마커를 갖는 바디와 제2 마커를 갖는 마개를 포함하고,
    상기 제어부가 상기 제1 마커와 상기 제2 마커가 일정 거리 이상 이격된 것을 인식하면, 상기 대상물이 1회 사용된 것으로 판단하여 상기 대상물에 대한 사용 정보를 업데이트하는 것을 특징으로 하는 미러형 증강 현실 표시 시스템.
  6. 제1항에 있어서,
    상기 대상물은 제1 마커를 갖는 바디와 상기 대상물이 수평 이상으로 눕혀서 사용하는 제품이라는 정보가 저장된 제2 마커를 갖는 마개를 포함하고,
    상기 제어부는, 상기 제1 상기 대상물이 수평 이상으로 눕혀서 사용하는 제품이라는 정보가 제1 마커에도 저장될 수 있으므로 제2 마커로 한정하는 것이 그렇습니다.
    마커와 상기 제2 마커가 일정 거리 이상 이격되고 상기 제1 마커의 위치와 상기 제2 마커의 위치가 역전된 것을 인식하면, 상기 대상물이 1회 사용된 것으로 판단하여 상기 대상물에 대한 사용 정보를 업데이트하는 것을 특징으로 하는 미러형 증강 현실 표시 시스템.
  7. 제5항 또는 제6항에 있어서,
    상기 제어부는, 제2 마커에 저장된 제품 정보를 이용하여 대상물이 휘발성, 방향성 및 산화성 중 적어도 하나의 특성을 갖는 제품인지를 확인하고, 휘발성, 방향성 및 산화성 중 적어도 하나의 특성을 갖는 제품인 경우 제1 마커와 제2 마커가 일정 거리 이상 이격된 후의 시간을 측정하여 일정 시간이 넘은 경우 마개를 닫으라는 알람 표시를 증강 현실 형태로 디스플레이 패널에 추가로 표시하는 것을 특징으로 하는 미러형 증강 현실 표시 시스템.
  8. 제1항에 있어서,
    상기 마커가 ARUCO 식 또는 METAIO 식의 이진 마커인 것을 특징으로 하는 미러형 증강 현실 표시 시스템.
KR1020180126139A 2018-10-22 2018-10-22 미러형 증강 현실 표시 시스템 KR102238473B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180126139A KR102238473B1 (ko) 2018-10-22 2018-10-22 미러형 증강 현실 표시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180126139A KR102238473B1 (ko) 2018-10-22 2018-10-22 미러형 증강 현실 표시 시스템

Publications (2)

Publication Number Publication Date
KR20200045273A true KR20200045273A (ko) 2020-05-04
KR102238473B1 KR102238473B1 (ko) 2021-04-08

Family

ID=70732753

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180126139A KR102238473B1 (ko) 2018-10-22 2018-10-22 미러형 증강 현실 표시 시스템

Country Status (1)

Country Link
KR (1) KR102238473B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090593A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
KR101596767B1 (ko) 2013-02-21 2016-02-23 (주)미디웨어 움직임 감지를 기초로 작동하는 미러 디스플레이 장치 및 그 방법
KR20160093146A (ko) * 2015-01-28 2016-08-08 경북대학교 산학협력단 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR20170042258A (ko) * 2016-11-10 2017-04-18 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101596767B1 (ko) 2013-02-21 2016-02-23 (주)미디웨어 움직임 감지를 기초로 작동하는 미러 디스플레이 장치 및 그 방법
JP2015090593A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
KR20160093146A (ko) * 2015-01-28 2016-08-08 경북대학교 산학협력단 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR20170042258A (ko) * 2016-11-10 2017-04-18 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법

Also Published As

Publication number Publication date
KR102238473B1 (ko) 2021-04-08

Similar Documents

Publication Publication Date Title
US10977926B2 (en) Method for the disinfection and the quality control of the disinfection of the hands of a user and apparatus for carrying out the method
US10346794B2 (en) Item monitoring system and method
RU2523617C2 (ru) Видеодисплей для витрин с продуктами
US9357613B2 (en) Display and lighting arrangement for a fitting room
US8786398B2 (en) Dispenser with use-based content delivery
KR102003691B1 (ko) 소품 등록 시스템
WO2014181324A1 (en) System and method of monitoring retail units
US11298438B1 (en) Intelligent device for hand hygiene and mobile device disinfection
JP2014106628A (ja) 消費者ニーズ分析システム及び消費者ニーズ分析方法
KR20200045273A (ko) 미러형 증강 현실 표시 시스템
US20160275576A1 (en) System and Method for Alerting Servers Using Vibrational Signals
JP2022513897A (ja) 食品廃棄物の検出方法およびシステム
WO2016094969A1 (en) Dispenser for dispensing hand-cleaning agents
US9949576B2 (en) Smart refrigerated counter system
CN213216676U (zh) 一种基于物联网的体温监测洗手液机
CN208506809U (zh) 一种基于大宗交易的物联网服装挑选***
US20230030100A1 (en) Touch-less Automatic Condiment Dispenser
WO2016193973A1 (en) Method and system for monitoring activity of an individual
CN109118294A (zh) 实体店商品展示***及其工作方法
KR102496757B1 (ko) 스마트 거울형 화장품 공급 장치 및 시스템
CN109090808A (zh) 一种智能试妆梳妆镜及方法
US20230076605A1 (en) Container with a brush applicator
TWM481464U (zh) 智能鏡及其顯示方案
CN109143897A (zh) 一种电蚊香自动关闭方法和***
CN114246561A (zh) 健康感测镜和马桶座圈

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant