KR20180003237A - 전자 거울 장치 및 그 제어 방법 - Google Patents

전자 거울 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20180003237A
KR20180003237A KR1020160082810A KR20160082810A KR20180003237A KR 20180003237 A KR20180003237 A KR 20180003237A KR 1020160082810 A KR1020160082810 A KR 1020160082810A KR 20160082810 A KR20160082810 A KR 20160082810A KR 20180003237 A KR20180003237 A KR 20180003237A
Authority
KR
South Korea
Prior art keywords
user
image
display
reference image
recommended
Prior art date
Application number
KR1020160082810A
Other languages
English (en)
Other versions
KR102178566B1 (ko
Inventor
장경식
이정호
차석용
이천구
이정래
이정용
Original Assignee
주식회사 엘지생활건강
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지생활건강 filed Critical 주식회사 엘지생활건강
Priority to KR1020160082810A priority Critical patent/KR102178566B1/ko
Publication of KR20180003237A publication Critical patent/KR20180003237A/ko
Application granted granted Critical
Publication of KR102178566B1 publication Critical patent/KR102178566B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • H04N13/0048—
    • H04N13/02—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Game Theory and Decision Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

거울 및 사용자에게 유용한 정보를 동시에 제공할 수 있는 전자 거울 장치 및 그 제어 방법이 개시된다. 본 발명의 일 측면에 따른 전자 거울 장치는, 거울; 메인 디스플레이 및 서브 디스플레이를 포함하고 상기 거울에 중첩되어 설치는 디스플레이부; 사용자를 촬영하는 고정 설치된 메인 카메라; 및 상기 메인 카메라에서 촬영된 상기 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하고, 상기 촬영 영상의 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하며, 상기 실시간 촬영 영상에 상기 레퍼런스 영상을 합성하는 제어부를 포함한다.

Description

전자 거울 장치 및 그 제어 방법{ELECTRONIC MIRROR APPARATUS AND METHOD FOR CONTROLLING THE SAME}
본 발명은 전자 거울 장치 및 그 제어 방법에 관한 것으로서, 보다 구체적으로 거울처럼 사용자를 비추면서도 영상을 출력할 수 있는 전자 거울 장치 및 그 제어 방법에 관한 것이다.
일반적으로 거울은 사용자가 자신의 신체를 확인할 수 있도록 한 것으로서 오랜 시절부터 주로 여성들의 화장 목적에 사용되었다. 이상과 같은 거울은 은, 청동 등의 표면을 갈아 광을 낸 것을 주로 사용하였으나, 현재는 기술의 발달에 따라 표면이 편평한 유리판 뒷면에 수은을 바르고, 그 위에 습기를 막기 위하여 연단을 칠하여서 반사효율이 좋은 수은 거울이 사용되고 있다.
이러한 종래의 거울은 사용자의 현재 외면과 신체 상태만을 확인할 수 있을 뿐 과거 상태와의 비교가 불가능하여 메이크업 또는 의류의 착용에 있어서 과거와의 대비가 불가능하다. 그리고, 종래의 거울을 이용하여 사용자의 뒷모습을 확인하고자 할 경우에는 별도의 후방 거울을 이용하여 확인해야 하고 후방 거울을 이용하더라도 시야에 제한이 있다. 또한, 종래의 거울은 사용자의 외면만을 단편적으로 보여줄 뿐이다.
본 발명은 거울을 제공하면서 사용자에게 유용한 정보를 동시에 제공할 수 있는 전자 거울 장치 및 그 제어 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 전자 거울 장치는, 거울; 메인 디스플레이 및 서브 디스플레이를 포함하고 상기 거울에 중첩되어 설치는 디스플레이부; 사용자를 촬영하는 고정 설치된 메인 카메라; 및 상기 메인 카메라에서 촬영된 상기 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하고, 상기 촬영 영상의 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하며, 상기 실시간 촬영 영상에 상기 레퍼런스 영상을 합성하는 제어부를 포함한다.
상기 제어부는, 상기 촬영 영상에서 상기 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석하고, 추천 패션 스타일, 추천 헤어 스타일, 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다.
상기 전자 거울 장치는, 상기 사용자의 피부 상태를 분석하는 피부 진단기를 더 포함하고, 상기 제어부는, 상기 피부 진단기의 피부 상태 분석 결과 및 상기 촬영 영상의 분석 결과를 종합하여 메이크업 상태를 분석할 수 있다.
상기 전자 거울 장치는, 상기 사용자의 모션을 인식하는 모션 인식 센서를 더 포함하고, 상기 제어부는, 상기 사용자의 모션 및 상기 촬영 영상을 분석하여 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나를 분석하고, 추천 패션 코디 방법, 추천 헤어 손질 방법, 추천 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다.
상기 전자 거울 장치는, 상기 사용자를 촬영하는 이동 가능한 보조 카메라를 더 포함하고, 상기 제어부는, 상기 보조 카메라 및 상기 메인 카메라의 촬영 영상을 이용하여 상기 사용자의 3차원 파노라마 영상을 생성하여 상기 메인 디스플레이에 출력하고, 상기 3차원 파노라마 영상에 상기 레퍼런스 영상을 합성할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 전자 거울 장치는, 거울; 메인 디스플레이 및 서브 디스플레이를 포함하고 상기 거울에 중첩되어 설치는 디스플레이부; 사용자를 촬영하는 메인 카메라; 상기 사용자의 피부 상태를 분석하는 피부 진단기; 및 상기 메인 카메라에서 촬영된 상기 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하고, 상기 피부 진단기의 피부 상태 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 제어부를 포함한다.
상기 제어부는, 상기 피부 상태 분석 결과에 따라 상기 사용자에게 추천할 제품의 소개 영상을 상기 레퍼런스 영상으로서 검색할 수 있다.
상기 제어부는, 상기 피부 상태 분석 결과에 대응하는 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색하고 그 레퍼런스 영상을 상기 실시간 촬영 영상에 합성할 수 있다.
상기 전자 거울 장치는, 상기 사용자와의 거리를 측정하는 거리 측정 센서를 더 포함하고, 상기 제어부는, 상기 사용자의 실시간 촬영 영상을 상기 사용자와의 거리에 기초하여 일정한 비율로 상기 메인 디스플레이에 출력할 수 있다.
상기 전자 거울 장치는, 통신부; 및 촬영 영상을 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 저장부에 저장된 촬영 영상에서 레퍼런스 영상을 검색하거나, 상기 통신부를 통해 원격 저장소와 통신하여 상기 원격 저장소에서 레퍼런스 영상을 검색할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른, 메인 디스플레이 및 서브 디스플레이를 포함하는 디스플레이부와, 상기 디스플레이부와 중첩 설치되는 거울을 포함하는 전자 거울 장치의 제어 방법은, 카메라로 촬영한 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하는 단계; 상기 촬영 영상의 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 단계; 및 상기 메인 디스플레이에 출력된 실시간 촬영 영상에 상기 레퍼런스 영상을 합성하는 단계를 포함한다.
상기 서브 디스플레이에 출력하는 단계는, 상기 촬영 영상에서 상기 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석하는 단계; 및 추천 패션 스타일, 추천 헤어 스타일, 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 단계를 포함할 수 있다.
상기 제어 방법은, 피부 진단기를 이용하여 상기 사용자의 피부 상태를 분석하는 단계를 더 포함하고, 상기 분석하는 단계는, 상기 피부 진단기의 피부 상태 분석 결과 및 상기 촬영 영상의 분석 결과를 종합하여 메이크업 상태를 분석할 수 있다.
상기 제어 방법은, 상기 사용자의 모션을 인식하는 단계를 더 포함하고, 상기 서브 디스플레이에 출력하는 단계는, 상기 사용자의 모션 및 상기 촬영 영상을 분석하여 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나를 분석하는 단계; 및 추천 패션 코디 방법, 추천 헤어 손질 방법, 추천 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 단계를 포함할 수 있다.
상기 메인 디스플레이에 출력하는 단계는, 상기 전자 거울 장치에 고정된 메인 카메라 및 이동 가능한 보조 카메라를 이용하여 촬영된 촬영 영상으로부터 상기 사용자의 3차원 파노라마 영상을 생성하여 상기 메인 디스플레이에 출력할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른, 메인 디스플레이 및 서브 디스플레이를 포함하는 디스플레이부와, 상기 디스플레이부와 중첩 설치되는 거울을 포함하는 전자 거울 장치의 제어 방법은, 카메라로 촬영한 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하는 단계; 피부 진단기를 이용하여 상기 사용자의 피부 상태를 분석하는 단계; 및 피부 상태 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 단계를 포함한다.
상기 서브 디스플레이에 출력하는 단계는, 상기 피부 상태 분석 결과에 따라 상기 사용자에게 추천할 제품의 소개 영상을 상기 레퍼런스 영상으로서 검색하는 단계를 포함한다.
상기 서브 디스플레이에 출력하는 단계는, 상기 피부 상태 분석 결과에 대응하는 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색하는 단계를 포함하고, 상기 제어 방법은, 상기 레퍼런스 영상을 상기 실시간 촬영 영상에 합성하는 단계를 더 포함할 수 있다.
상기 제어 방법은, 상기 사용자와의 거리를 측정하는 단계를 더 포함하고, 상기 메인 디스플레이에 출력하는 단계는, 상기 사용자의 실시간 촬영 영상을 상기 사용자와의 거리에 기초하여 일정한 비율로 상기 메인 디스플레이에 출력할 수 있다.
본 발명의 전자 거울 장치는 메인 디스플레이에 사용자의 실시간 모습을 보여주고 서브 디스플레이에는 사용자의 현재 모습에 대해 추천할 레퍼런스 영상을 제공함으로써 거울의 기능 및 정보 제공 기능을 동시에 제공할 수 있다.
또한, 본 발명의 전자 거울 장치는, 사용자의 실시간 모습에 레퍼런스 영상을 합성하여 제공함으로써 추천 정보를 실제 체험하지 않고도 미리 가상 체험을 하도록 하여 정보 제공의 만족도를 높인다.
도 1은 본 발명의 일 실시예에 따른 전자 거울 장치의 외관을 개략적으로 나타낸 도면이다.
도 2는 도 1의 전자 거울 장치의 내부 구성을 나타낸 도면이다.
도 3은 본 발명의 다른 실시예에 따른 전자 거울 장치의 외관을 개략적으로 나타낸 도면이다.
도 4는 도 3의 전자 거울 장치의 내부 구성을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 전자 거울 장치와 연동하는 시스템을 나타낸 도면이다.
도 6은 도 5의 전자 거울 장치의 내부 구성을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 전자 거울 장치의 제어 방법을 설명하는 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 전자 거울 장치의 제어 방법을 설명하는 흐름도이다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 본 발명의 일 실시예에 따른 전자 거울 장치의 외관을 개략적으로 나타낸 도면이고, 도 2는 도 1의 전자 거울 장치의 내부 구성을 나타낸 도면이다.
도 1 및 도 2를 참조하면, 본 실시예에 따른 전자 거울 장치(100)는, 거울(110), 센싱부(210), 디스플레이부(220), 저장부(230), 카메라부(240), 조명(250) 및 제어부(260)를 포함한다.
거울(110)은 전자 거울 장치(100)의 전면에 설치된다. 거울(110)은 디스플레이부(220)의 후면에 설치될 수 있고 또는 전면에 설치될 수도 있다. 거울(110)이 디스플레이부(220)의 후면에 설치될 경우 디스플레이부(220)는 투명 디스플레이로 구현될 수 있고, 거울(110)이 디스플레이부(220)의 전면에 설치될 경우 해당 거울(110)은 반사형 편광판 형태로 제작되고 디스플레이부(220)는 이에 대응하는 편광판을 가져, 디스플레이부(220)에서 영상이 출력되지 않는 상태에서는 본연의 거울로서 사용되고, 디스플레이부(220)에서 영상이 출력될 경우 영상을 통과시킨다.
센싱부(210)는, 전자 거울 장치(100)에 설치되어 사용자의 모션을 인식하고, 주변 광량을 측정하며, 사용자와 전자 거울 장치(100) 간의 거리를 측정한다. 이를 위해 센싱부(210)는 모션 인식 센서(161), 광 센서(162) 및 거리 측정 센서(163)를 포함하고, 도 1에 도시된 바와 같이, 센싱부(210)의 각 센서는 전자 거울 장치(100)의 상단에 설치될 수 있으나 여기에 제한되지 않고 사용자와 마주하는 전자 거울 장치(100)의 전면에 설치될 수 있다.
모션 인식 센서(161)는 전자 거울 장치(100)를 이용하는 사용자의 모션을 인식한다. 여기서 사용자의 모션은 예를 들어 패션 코디 모션, 헤어 손질 모션, 또는 메이크업을 하는 모션 등을 포함한다. 패션 코디 모션은 예를 들어, 넥타이를 매는 모션이나, 스카프를 매는 모션 등을 예로 들 수 있고, 헤어 손질 모션은 헤어를 스타일링하는 모션 등을 예로 들 수 있고, 메이크업을 하는 모션은 메이크업을 하는 순서나 패턴 등을 예로 들 수 있다. 광 센서(162)는 전자 거울 장치(100)의 주변의 광량을 측정한다. 거리 측정 센서(163)는 전자 거울 장치(100)와 사용자 간의 거리를 측정한다. 거리 측정 센서(163)는 예를 들어 적외선 센서를 들 수 있다.
디스플레이부(200)는 거울(110)의 전면 또는 후면에 중첩되어 설치될 수 있다. 거울(110)의 전면에 중첩되어 설치되는 디스플레이부(200)는 투명 디스플레이(transparent display)를 이용할 수 있다. 투명 디스플레이는 투과도를 가지는 패널을 사용하여 투명한 유리처럼 보이는 디스플레이로서 see through type인 것이 바람직하나 종류에는 제한이 없다. 거울(110)의 후면에 중첩되어 설치되는 디스플레이부(200)는 백라이트 유닛, 백라이트 유닛 상부에 위치하는 편광판, 그 편광판 상부에 위치하는 액정을 포함할 수 있고, 반사형 편광판 형태로 제작된 거울(110)을 통해 영상을 출력할 수 있고, 영상 출력을 하지 않을 경우 거울(110)이 본연의 거울로서의 기능을 수행하도록 한다.
디스플레이부(200)는 전원 공급시 카메라부(240)에서 실시간으로 촬영된 사용자의 모습을 출력하여 표시한다. 디스플레이부(200)는 LCD(liquid crystal display) 기술 또는 LPD(light emitting polymer display) 기술 등을 사용할 수 있고, 사용자에게 시각적인 출력을 표시한다. 시각적 출력은 텍스트, 그래픽, 비디오와 이들의 조합을 포함할 수 있다. 이러한 디스플레이부(200)는 용량형, 저항형, 적외선형 등의 터치 디스플레이일 수 있다. 터치 디스플레이는 전자 거울 장치(100)와 사용자 사이에 출력 인터페이스 및 입력 인터페이스를 모두 제공한다. 터치 디스플레이에서 출력하는 시각적 출력의 일부 또는 전부는 사용자 인터페이스 대상에 대응할 수 있고, 터치 디스플레이는 사용자 입력을 수용하는 터치 감지면을 형성한다.
디스플레이부(200)는 도 1 및 도 2에 도시된 바와 같이, 메인 디스플레이(130)와 서브 디스플레이(120)를 포함한다. 메인 디스플레이(130)와 서브 디스플레이(120)는 물리적으로 구분되어 독립된 디스플레이일 수도 있고, 또는 하나의 물리적인 디스플레이에서 소프트웨어적으로 처리되어 서로 구분되는 디스플레이일 수도 있다. 메인 디스플레이(130)는 카메라부(240)에서 촬영되는 사용자의 실시간 촬영 영상을 출력한다. 서브 디스플레이(120)는 제어부(260)의 제어에 따라 상기 메인 디스플레이(130)에 출력되는 사용자의 촬영 영상의 분석 결과에 대응하는 레퍼런스 영상을 출력한다. 레퍼런스 영상은, 사용자가 참조할 수 있는 콘텐츠로서, 예를 들어 추천 패션 스타일, 추천 헤어 스타일, 추천 메이크업 스타일 등을 포함하고, 정지 영상 또는 동영상일 수 있다.
저장부(230)는, 고속 랜덤 액세스 메모리 등의 휘발성 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 비휘발성 메모리, 또는 다른 비휘발성 반도체 메모리 장치를 포함할 수 있다. 저장부(230)는 운영 체제, 그래픽 모듈(명령어 세트) 그리고 전자 거울 장치(100)의 동작을 위한 프로그램이 설치될 수 있고, 또한 레퍼런스 영상을 저장할 수 있다. 운영 체제는, 예를 들어, 다윈(Darwin), RTXC, LINUX, UNIX, OS X, WINDOWS 또는 VxWorks, 안드로이드 등과 같은 내장 운영체제일 수 있고, 일반적인 시스템 태스크(task)(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)를 제어 및 관리하는 다양한 소프트웨어 구성요소 및/또는 장치를 포함하고, 다양한 하드웨어와 소프트웨어 구성요소 사이의 통신을 촉진시킨다. 그래픽 모듈은 디스플레이부(220) 상에 그래픽을 제공하고 표시하기 위한 주지의 여러 소프트웨어 구성요소를 포함한다. "그래픽(graphics)"이란 용어는 텍스트, 웹 페이지, 아이콘(예컨대, 소프트 키를 포함하는 사용자 인터페이스 대상), 디지털 이미지, 비디오, 애니메이션 등을 제한 없이 포함하여, 사용자에게 표시될 수 있는 모든 대상을 포함한다.
카메라부(240)는 전자 거울 장치(100)를 이용하는 사용자를 촬영한다. 카메라부(240)는 도 1 및 도 2에 도시된 바와 같이, 메인 카메라(141) 및 서브 카메라(142)를 포함한다. 메인 카메라(141)는 전자 거울 장치(100)의 전면에 고정 설치되어 전자 거울 장치(100)를 이용하는 사용자를 촬영한다. 서브 카메라(142)는 전자 거울 장치(100)에 유선 또는 무선으로 연결되어 이동 가능한 카메라로서, 예를 들어 사용자가 자신의 뒷모습을 보고 싶을 때나 특정 부위를 촬영하고 싶을 때 사용될 수 있고, 또는 360도 파노라마 영상을 구현하는데 사용될 수 있다.
조명(250)은 전자 거울 장치(100)의 전면에 고정 설치되어 빛을 방출한다. 조명(250)의 광량은 센싱부(210)의 광 센서(162)에서 측정된 주변 광량에 따라 제어부(260)에 의해 제어된다. 전자 거울 장치(100)의 주변이 어두운 경우 조명(250)에 의해 빛이 방출되어 사용자의 모습이 촬영될 때 사용자의 모습이 잘 나타나도록 한다.
제어부(260)는 전자 거울 장치(100)의 전반적인 동작을 제어한다. 제어부(260)는 예를 들어 중앙 처리 장치(CPU)로서, 전자 거울 장치(100)에 연관된 동작을 수행하고 명령어들을 수행한다. 예를 들어, 제어부(260)는 저장부(230)로부터 검색된 명령어들을 이용하여, 전자 거울 장치(100)의 컴포넌트 간의 입력 및 출력 데이터의 수신과 조작을 제어할 수 있다. 제어부(260)는, 기본적으로 메인 카메라(141)에서 촬영된 사용자의 실시간 촬영 영상을 상기 메인 디스플레이(141)에 출력하고, 또한 부가적인 추천 서비스를 제공하도록 제어한다.
구체적으로, 제어부(260)는 메인 카메라(141)에서 촬영된 사용자의 실시간 촬영 영상을 분석하고 그 분석 결과에 대응하는 레퍼런스 영상을 저장부(230)에서 검색하여 서브 디스플레이(120)에 출력한다. 레퍼런스 영상은 이전에 사용자가 메인 카메라(141)로 자신의 모습을 촬영하여 저장한 영상일 수 있고, 또는 인터넷에서 검색되어 저장된 영상일 수도 있다. 제어부(260)는 저장부(230)에서 복수의 레퍼런스 영상을 검색하여 서브 디스플레이(120)에 썸네일 형태로 출력하거나 슬라이드 형태로 순차적으로 제공한 후, 사용자가 선택한 영상을 서브 디스플레이(120)의 화면 전부에 출력할 수 있다. 또한 제어부(260)는 메인 디스플레이(130)에 출력 중인 사용자의 실시간 촬영 영상에 상기 레퍼런스 영상을 합성할 수 있다.
제어부(260)는, 사용자의 실시간 촬영 영상에서 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석할 수 있고, 레퍼런스 영상으로서 추천 패션 스타일, 추천 헤어 스타일 또는 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다. 예를 들어, 제어부(260)는 실시간 촬영 영상에서 사용자의 얼굴을 인식하고 사용자의 헤어 상태, 메이크업 상태 등을 분석하여 분석 결과에 대응하는 레퍼런스 영상을 검색할 수 있다. 예를 들어, 제어부(260)는 사용자의 피부 색, 피부 상태에 맞는 헤어 스타일을 추천하거나, 메이크업 스타일을 추천할 수 있고, 또는 현재의 헤어 스타일이나 메이크업 스타일에 맞는 패션 스타일을 추천할 수도 있다.
제어부(260)는, 센싱부(210)의 모션 인식 센서(161)에서 인식한 사용자의 모션에 따라 레퍼런스 영상을 검색하여 추천할 수 있다. 구체적으로, 제어부(260)는 모션 인식 센서(161)에서 인식한 사용자의 모션 및 메인 카메라(141)에서 촬영된 사용자의 실시간 촬영 영상을 통해 사용자의 패션 코디 모션, 헤어 손질 모션, 또는 메이크업을 하는 모션 등을 분석하고, 그 분석 결과에 대응하여 사용자에게 추천할 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다. 패션 코디 모션은 예를 들어, 넥타이를 매는 모션이나, 스카프를 매는 모션 등을 예로 들 수 있고, 헤어 손질 모션은 헤어를 스타일링하는 모션 등을 예로 들 수 있고, 메이크업을 하는 모션은 메이크업을 하는 순서나 패턴 등을 예로 들 수 있다.
제어부(260)는 사용자의 모습을 분석하는데 있어서 메인 카메라(141)와 서브 카메라(142)를 모두 이용할 수 있다. 전술한 바와 같이, 서브 카메라(142)는 이동 가능한 카메라로서, 사용자는 서브 카메라(142)로 자신의 뒷모습을 스캔하듯 촬영을 하고, 제어부(260)는 상기 서브 카메라(142) 및 상기 메인 카메라(141)의 촬영 영상을 이용하여 상기 사용자의 3차원 파노라마 영상을 생성하여 상기 메인 디스플레이(130)에 출력하고, 또한 3차원 파노라마 영상으로 사용자의 패션 상태, 헤어 상태를 더 정확하게 분석할 수 있다. 제어부(260)는 메인 디스플레이(130)에 출력되는 사용자의 실시간 3차원 파노라마 영상에 상기 레퍼런스 영상을 합성할 수 있다.
제어부(260)는 메인 카메라(141)에 의해 촬영되어 메인 디스플레이(130)에 출력되는 사용자의 실시간 촬영 영상의 비율을 센싱부(210)의 거리 측정 센서(163)에서 측정된 전자 거울 장치(100)와 사용자 간의 거리에 따라 일정하게 조정할 수 있다. 즉, 사용자의 키 또는 사용자의 얼굴 크기가 일정하게 메인 디스플레이(130)에 출력되도록 제어한다. 따라서 사용자가 전자 거울 장치(100)에 가까이 있거나 떨어져 있더라도 일정한 비율로 사용자의 모습을 표시하여, 사용자가 보다 정확히 자신의 현재 상태를 볼 수 있도록 한다. 또한 제어부(260)는 거리 측정 센서(163)에서 측정된 전가 거울 장치(100)와 사용자 간의 거리에 따라 오토포커싱(auto-focus) 기능을 제공할 수 있다.
이상의 도 1 및 도 2를 참조하여 설명한 바와 같이, 본 실시예에 따른 전자 거울 장치(100)는 카메라를 이용하여 사용자의 실시간 촬영 영상을 보여주면서 추가적으로 사용자 모습의 분석 결과에 따른 레퍼런스 영상을 제공하여 정보 제공 수단으로서 역할을 한다. 따라서 사용자는 패션, 헤어, 메이크업 등의 전문 컨설턴트로부터 컨설팅을 받는 효과를 얻을 수 있다.
도 3은 본 발명의 다른 실시예에 따른 전자 거울 장치의 외관을 개략적으로 나타낸 도면이고, 도 4는 도 3의 전자 거울 장치의 내부 구성을 나타낸 도면이다. 도 3 및 도 4에서 도 1 및 도 2와 동일한 참조번호의 구성요소는 도 1 및 도 2를 참조하여 설명한 동작 및 기능을 모두 포함한다.
도 3 및 도 4를 참조한 본 실시예에 따른 전자 거울 장치(100)는, 도 1 및 도 2를 참조하여 설명한 전자 거울 장치(100)와 비교하여 피부 진단기(310)를 더 포함한다. 피부 진단기(310)는 전자 거울 장치(100)와 유선 또는 무선으로 연결되어 사용자에 의해 이동 가능하며, 사용자의 피부 상태를 분석한다.
피부 진단기(310)는 사용자의 피부에 가까이 위치하여 사용자의 피부의 유분 상태, 수분 상태, 피부 색, 피부 거칠기, PH 등의 피부 상태를 분석한다. 전자 거울 장치(100)의 제어부(260)는 상기 피부 진단기(310)에서 분석한 사용자의 피부 상태 분석 결과를 이용하여 메이크업 상태를 분석할 수 있다. 또는 제어부(260)는 결과의 정확도를 높이기 위해, 상기 피부 진단기(310)의 피부 상태 분석 결과와 상기 카메라부(240)의 촬영 영상의 분석 결과를 종합하여 사용자의 메이크업 상태를 분석할 수도 있다.
제어부(260)는, 상기 피부 진단기(310)를 통해 분석된 사용자의 메이크업 상태에 기초하여 레퍼런스 영상으로서 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색하고 검색된 레퍼런스 영상을 서브 디스플레이(120)에 출력할 수 있다. 또한 제어부(260)는 서브 디스플레이(120)에 출력되는 레퍼런스 영상을 메인 디스플레이(130)에 출력되는 사용자의 실시간 촬영 영상에 합성할 수도 있다.
또한, 제어부(260)는 상기 피부 진단기(310)를 통해 분석된 사용자의 피부 상태 분석 결과를 서브 디스플레이(120)에 출력할 수 있고, 또한 피부 상태 분석 결과에 따라 상기 사용자에게 추천할 메이크업 제품의 소개 영상을 레퍼런스 영상으로서 검색하여 서브 디스플레이(120)에 출력할 수 있다. 제어부(260)는 검색된 메이크업 제품에 관한 제품 구매 절차를 진행할 수 있다. 제품 구매는 예를 들어 신용카드 결제, 휴대폰 소액 결제 등의 다양한 방법으로 처리할 수 있고, 이를 위해 이하에서 설명하는 통신부(600)를 통해 온라인 결제를 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 전자 거울 장치와 연동하는 시스템을 나타낸 도면이다. 도 5를 참조하면, 전자 거울 장치(100)는 사용자 단말(510) 및 원격 저장소(520)와 통신할 수 있다.
사용자 단말(510)은, 원거리 통신 또는 근거리 통신 기능을 구비한 사용자의 단말로서, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 여기에 제한되지 않고, 통신 기능을 구비한 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기도 포함할 수 있다. 사용자는 사용자 단말(510)에서 촬영한 사진 또는 인터넷 서핑 중 검색한 영상을 레퍼런스 영상으로 저장하여 통신망(530)을 통해 또는 근거리 통신을 통해 전자 거울 장치(100)로 전송하여 전자 거울 장치(100)에 저장할 수 있다.
원격 저장소(520)는, 통신망(530)을 통해 액세스되는 네트워크 부착형(Attached) 저장 장치 또는 별도 사업자에 의해 운영되는 클라우드 저장소를 포함하는 것으로, 전자 거울 장치(100)에서 촬영되어 저장된 영상을 상기 전자 거울 장치(100)로부터 수신하여 저장할 수 있고, 또는 전자 거울 장치(100)의 요청에 따라 내부에 저장된 영상을 레퍼런스 영상으로서 상기 전자 거울 장치(100)로 전송할 수 있다. 또한 원격 저장소(520)는 상기 사용자 단말(510)과 통신망(530)을 통해 통신하여 상기 사용자 단말(510)로부터 레퍼런스 영상으로 활용할 수 있는 영상을 수신하여 저장할 수 있다.
이를 위해 도 6에 도시된 바와 같이 전자 거울 장치(100)는 통신부(600)를 더 포함할 수 있다. 통신부(600)는 블루투스 모듈(610), Wi-Fi 모듈(620) 및 이동 통신 모듈(630)을 포함한다. 블루투스 모듈(610)은 주변의 통신 장치, 즉 사용자 단말(510)과 페어링된 후에, 사용자 단말(510)로부터 레퍼런스 영상을 수신할 수 있다. Wi-Fi 모듈(620)은 무선랜 통신 모듈로서, 주변의 통신 장치, 즉 사용자 단말(510)과 무선랜 기반의 근거리 통신을 수행하여 사용자 단말(510)로부터 레퍼런스 영상을 수신할 수 있다. 이동 통신 모듈(630)은 Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution) 등과 같은 원거리 통신을 수행한다. 이동 통신 모듈(630)은 통신망(530)을 통해 원격 저장소(520)와 통신하여 전자 거울 장치(100)에서 촬영된 영상을 원격 저장소(520)로 전송하거나, 원격 저장소(520)로부터 레퍼런스 영상을 수신할 수 있다.
도 7은 본 발명의 일 실시예에 따른 전자 거울 장치의 제어 방법을 설명하는 흐름도이다.
도 7을 참조하면, 전자 거울 장치(100)는 저장부(230)에 레퍼런스 영상을 저장한다(S701). 전자 거울 장치(100)는 카메라부(240)에서 촬영된 촬영 영상 중 사용자에 의해 선택된 촬영 영상을 저장부(230)에 레퍼런스 영상으로 저장할 수 있다. 또는 전자 거울 장치(100)는 통신부(600)를 통해 사용자 단말(510)과 통신하여 사용자 단말(510)로부터 레퍼런스 영상을 수신하여 저장부(230)에 저장할 수도 있고, 또는 통신부(600)를 통해 원격 저장소(520)와 통신하여 원격 저장소(520)로부터 레퍼런스 영상을 수신하여 저장부(230)에 저장할 수도 있다.
사용자는 전자 거울 장치(100)의 앞에 서서 촬영을 한다. 구체적으로, 전자 거울 장치(100)는 카메라부(240)의 메인 카메라(141)만을 이용하여 사용자를 촬영하거나 또는 메인 카메라(141) 및 서브 카메라(142)를 모두 이용하여 사용자를 촬영하여 메인 디스플레이(130)에 출력할 수 있다(S702). 메인 케메라(141)만을 이용하는 경우 전자 거울 장치(100)에 마주한 사용자의 모습만을 촬영할 수 있고, 메인 카메라(141)와 서브 카메라(142)를 모두 이용할 경우 사용자의 전면 및 후면을 모두 촬영한 3차원 영상을 생성할 수 있다.
전자 거울 장치(100)는 단계 S702에서 촬영한 사용자의 실시간 촬영 영상을 분석하고 그 분석 결과에 대응하는 레퍼런스 영상을 저장부(230)에서 검색한다(S703). 전자 거울 장치(100)는, 사용자의 실시간 촬영 영상에서 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석할 수 있고, 레퍼런스 영상으로서 추천 패션 스타일, 추천 헤어 스타일 또는 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다. 전자 거울 장치(100)는 실시간 촬영 영상에서 사용자의 얼굴을 인식하고 사용자의 헤어 상태, 메이크업 상태 등을 분석할 수 있고, 전신 촬영 영상을 통해 패션 스타일을 분석할 수 있다. 그리고 전자 거울 장치(100)는 사용자의 피부 색, 피부 상태에 맞는 헤어 스타일이나 메이크업 스타일에 관한 레퍼런스 영상을 검색할 수 있고, 또는 현재의 헤어 스타일이나 메이크업 스타일에 맞는 패션 스타일에 관한 레퍼런스 영상을 검색할 수 있다.
전자 거울 장치(100)는 단계 S703에서 검색한 레퍼런스 영상을 서브 디스플레이(120)에 출력한다(S704). 전자 거울 장치(100)는 저장부(230)에서 복수의 레퍼런스 영상을 검색하여 서브 디스플레이(120)에 썸네일 형태로 출력하거나 슬라이드 형태로 순차적으로 출력할 수 있다.
전자 거울 장치(100)는 메인 디스플레이(130)에 출력 중인 사용자의 실시간 촬영 영상에 상기 서브 디스플레이(120)에 출력된 레퍼런스 영상을 합성한다(S705). 전자 거울 장치(100)는 서브 디스플레이(120)에 복수의 레퍼런스 영상을 출력 중인 경우, 복수의 레퍼런스 영상 중 사용자에 의해 선택된 레퍼런스 영상을 메인 디스플레이(130)에 출력 중인 사용자의 실시간 촬영 영상에 합성할 수 있다. 예를 들어, 헤어 스타일을 추천하는 경우 사용자의 실시간 촬영 영상에서 헤어 부분을 레퍼런스 영상의 헤어 스타일로 합성할 수 있다. 전자 거울 장치(100)는 합성한 영상을 메인 디스플레이(130)에 출력하여 사용자가 확인할 수 있도록 한다(S706).
이상의 도 7을 참조하여 설명한 제어 방법에서, 전자 거울 장치(100)는 단계 S703에서 레퍼런스 영상을 검색하기 전에, 센싱부(210)의 모션 인식 센서(161)를 통해 사용자의 모션을 분석할 수 있다. 그리고 전자 거울 장치(100)는 단계 S703에서 상기 사용자의 모션 및 사용자의 실시간 촬영 영상을 통해 사용자의 패션 코디 모션, 헤어 손질 모션, 또는 메이크업을 하는 모션 등을 분석하고, 그 분석 결과에 대응하여 사용자에게 추천할 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색할 수 있다. 패션 코디 모션은 예를 들어, 넥타이를 매는 모션이나, 스카프를 매는 모션 등을 예로 들 수 있고, 헤어 손질 모션은 헤어를 스타일링하는 모션 등을 예로 들 수 있고, 메이크업을 하는 모션은 메이크업을 하는 순서나 패턴 등을 예로 들 수 있다. 또한 전자 거울 장치(100)는 단계 S702 및 단계 S705에서 메인 디스플레이(130)에 출력되는 사용자의 실시간 촬영 영상의 비율을 센싱부(210)의 거리 측정 센서(163)에서 측정된 전자 거울 장치(100)와 사용자 간의 거리에 따라 일정하게 조정할 수 있다. 즉, 사용자의 키 또는 사용자의 얼굴 크기가 일정하게 메인 디스플레이(130)에 출력되도록 제어한다.
도 8은 본 발명의 다른 실시예에 따른 전자 거울 장치의 제어 방법을 설명하는 흐름도이다.
도 8을 참조하면, 전자 거울 장치(100)는 저장부(230)에 레퍼런스 영상을 저장한다(S801). 전자 거울 장치(100)는 카메라부(240)에서 촬영된 촬영 영상 중 사용자에 의해 선택된 촬영 영상을 저장부(230)에 레퍼런스 영상으로 저장할 수 있다. 또는 전자 거울 장치(100)는 통신부(600)를 통해 사용자 단말(510)과 통신하여 사용자 단말(510)로부터 레퍼런스 영상을 수신하여 저장부(230)에 저장할 수도 있고, 또는 통신부(600)를 통해 원격 저장소(520)와 통신하여 원격 저장소(520)로부터 레퍼런스 영상을 수신하여 저장부(230)에 저장할 수도 있다.
사용자는 전자 거울 장치(100)의 앞에 서서 촬영을 한다. 구체적으로, 전자 거울 장치(100)는 카메라부(240)의 메인 카메라(141)만을 이용하여 사용자를 촬영하거나 또는 메인 카메라(141) 및 서브 카메라(142)를 모두 이용하여 사용자를 촬영하여 메인 디스플레이(130)에 출력할 수 있다(S802). 메인 케메라(141)만을 이용하는 경우 전자 거울 장치(100)에 마주한 사용자의 모습만을 촬영할 수 있고, 메인 카메라(141)와 서브 카메라(142)를 모두 이용할 경우 사용자의 전면 및 후면을 모두 촬영한 3차원 영상을 생성할 수 있다.
전자 거울 장치(100)는 피부 진단기(310)를 이용하여 사용자의 피부 상태를 분석한다(S803). 피부 진단기(310)는 사용자의 피부에 가까이 위치하여 사용자의 피부의 유분 상태, 수분 상태, 피부 색, 피부 거칠기, PH 등의 피부 상태를 분석한다.
전자 거울 장치(100)는 단계 S802에서 촬영한 사용자의 실시간 촬영 영상과 단계 S803에서 분석한 피부 상태 분석 결과를 종합 분석하고, 그 분석 결과에 대응하는 레퍼런스 영상을 저장부(230)에서 검색한다(S804). 예를 들어, 전자 거울 장치(100)는 사용자의 메이크업 상태를 분석할 수 있고 그 분석 결과에 따라 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색할 수 있다. 또는 전자 거울 장치(100)는 사용자의 피부 상태에 따라 추천 패션 스타일 또는 추천 헤어 스타일에 관한 레퍼런스 영상을 검색할 수 있다.
전자 거울 장치(100)는 단계 S804에서 검색한 레퍼런스 영상을 서브 디스플레이(120)에 출력한다(S805). 전자 거울 장치(100)는 저장부(230)에서 복수의 레퍼런스 영상을 검색하여 서브 디스플레이(120)에 썸네일 형태로 출력하거나 슬라이드 형태로 순차적으로 출력할 수 있다.
전자 거울 장치(100)는 메인 디스플레이(130)에 출력 중인 사용자의 실시간 촬영 영상에 상기 서브 디스플레이(120)에 출력된 레퍼런스 영상을 합성한다(S806). 전자 거울 장치(100)는 서브 디스플레이(120)에 복수의 레퍼런스 영상을 출력 중인 경우, 복수의 레퍼런스 영상 중 사용자에 의해 선택된 레퍼런스 영상을 메인 디스플레이(130)에 출력 중인 사용자의 실시간 촬영 영상에 합성할 수 있다. 예를 들어, 헤어 스타일을 추천하는 경우 사용자의 실시간 촬영 영상에서 헤어 부분을 레퍼런스 영상의 헤어 스타일로 합성할 수 있다. 전자 거울 장치(100)는 합성한 영상을 메인 디스플레이(130)에 출력하여 사용자가 확인할 수 있도록 한다(S807).
이상의 도 8을 참조하여 설명한 실시예에서, 전자 거울 장치(100)는 레퍼런스 영상을 메인 디스플레이(130)에 출력 중인 실시간 촬영 영상에 합성하는 것으로 설명한다. 이외에도, 전자 거울 장치(100)는 단계 S804에서 사용자의 피부 상태에 맞는 메이크업 제품에 관한 레퍼런스 영상을 검색하여 서브 디스플레이(120)에 출력할 수 있고, 검색된 메이크업 제품에 관한 제품 구매 절차를 진행할 수 있다. 제품 구매는 예를 들어 신용카드 결제, 휴대폰 소액 결제 등의 다양한 방법으로 처리할 수 있다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
210 : 센싱부
220 : 디스플레이부
230 : 저장부
240 : 카메라부
250 : 조명
260 : 제어부
161 : 모션 인식 센서
162 : 광 센서
163 : 거리 측정 센서
310 : 피부 진단기

Claims (19)

  1. 거울;
    메인 디스플레이 및 서브 디스플레이를 포함하고 상기 거울에 중첩되어 설치는 디스플레이부;
    사용자를 촬영하는 고정 설치된 메인 카메라; 및
    상기 메인 카메라에서 촬영된 상기 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하고, 상기 촬영 영상의 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하며, 상기 실시간 촬영 영상에 상기 레퍼런스 영상을 합성하는 제어부를 포함하는 전자 거울 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 촬영 영상에서 상기 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석하고, 추천 패션 스타일, 추천 헤어 스타일, 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 전자 거울 장치.
  3. 제 2 항에 있어서,
    상기 사용자의 피부 상태를 분석하는 피부 진단기를 더 포함하고,
    상기 제어부는,
    상기 피부 진단기의 피부 상태 분석 결과 및 상기 촬영 영상의 분석 결과를 종합하여 메이크업 상태를 분석하는 전자 거울 장치.
  4. 제 1 항에 있어서,
    상기 사용자의 모션을 인식하는 모션 인식 센서를 더 포함하고,
    상기 제어부는,
    상기 사용자의 모션 및 상기 촬영 영상을 분석하여 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나를 분석하고, 추천 패션 코디 방법, 추천 헤어 손질 방법, 추천 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 전자 거울 장치.
  5. 제 1 항에 있어서,
    상기 사용자를 촬영하는 이동 가능한 보조 카메라를 더 포함하고,
    상기 제어부는,
    상기 보조 카메라 및 상기 메인 카메라의 촬영 영상을 이용하여 상기 사용자의 3차원 파노라마 영상을 생성하여 상기 메인 디스플레이에 출력하고, 상기 3차원 파노라마 영상에 상기 레퍼런스 영상을 합성하는 전자 거울 장치.
  6. 거울;
    메인 디스플레이 및 서브 디스플레이를 포함하고 상기 거울에 중첩되어 설치는 디스플레이부;
    사용자를 촬영하는 메인 카메라;
    상기 사용자의 피부 상태를 분석하는 피부 진단기; 및
    상기 메인 카메라에서 촬영된 상기 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하고, 상기 피부 진단기의 피부 상태 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 제어부를 포함하는 전자 거울 장치.
  7. 제 6 항에 있어서,
    상기 제어부는,
    상기 피부 상태 분석 결과에 따라 상기 사용자에게 추천할 제품의 소개 영상을 상기 레퍼런스 영상으로서 검색하는 전자 거울 장치.
  8. 제 6 항에 있어서,
    상기 제어부는,
    상기 피부 상태 분석 결과에 대응하는 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색하고 그 레퍼런스 영상을 상기 실시간 촬영 영상에 합성하는 전자 거울 장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 사용자와의 거리를 측정하는 거리 측정 센서를 더 포함하고,
    상기 제어부는,
    상기 사용자의 실시간 촬영 영상을 상기 사용자와의 거리에 기초하여 일정한 비율로 상기 메인 디스플레이에 출력하는 전자 거울 장치.
  10. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    통신부; 및
    촬영 영상을 저장하는 저장부를 더 포함하고,
    상기 제어부는,
    상기 저장부에 저장된 촬영 영상에서 레퍼런스 영상을 검색하거나, 상기 통신부를 통해 원격 저장소와 통신하여 상기 원격 저장소에서 레퍼런스 영상을 검색하는 전자 거울 장치.
  11. 메인 디스플레이 및 서브 디스플레이를 포함하는 디스플레이부와, 상기 디스플레이부와 중첩 설치되는 거울을 포함하는 전자 거울 장치의 제어 방법에 있어서,
    카메라로 촬영한 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하는 단계;
    상기 촬영 영상의 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 단계; 및
    상기 메인 디스플레이에 출력된 실시간 촬영 영상에 상기 레퍼런스 영상을 합성하는 단계를 포함하는 제어 방법.
  12. 제 11 항에 있어서,
    상기 서브 디스플레이에 출력하는 단계는,
    상기 촬영 영상에서 상기 사용자의 패션 상태, 헤어 상태 또는 메이크업 상태 중 적어도 하나를 분석하는 단계; 및
    추천 패션 스타일, 추천 헤어 스타일, 추천 메이크업 스타일 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 단계를 포함하는 제어 방법.
  13. 제 12 항에 있어서,
    피부 진단기를 이용하여 상기 사용자의 피부 상태를 분석하는 단계를 더 포함하고,
    상기 분석하는 단계는,
    상기 피부 진단기의 피부 상태 분석 결과 및 상기 촬영 영상의 분석 결과를 종합하여 메이크업 상태를 분석하는 제어 방법.
  14. 제 11 항에 있어서,
    상기 사용자의 모션을 인식하는 단계를 더 포함하고,
    상기 서브 디스플레이에 출력하는 단계는,
    상기 사용자의 모션 및 상기 촬영 영상을 분석하여 패션 코디 방법, 헤어 손질 방법 또는 메이크업 방법 중 적어도 하나를 분석하는 단계; 및
    추천 패션 코디 방법, 추천 헤어 손질 방법, 추천 메이크업 방법 중 적어도 하나에 관한 레퍼런스 영상을 검색하는 단계를 포함하는 제어 방법.
  15. 제 11 항에 있어서,
    상기 메인 디스플레이에 출력하는 단계는,
    상기 전자 거울 장치에 고정된 메인 카메라 및 이동 가능한 보조 카메라를 이용하여 촬영된 촬영 영상으로부터 상기 사용자의 3차원 파노라마 영상을 생성하여 상기 메인 디스플레이에 출력하는 제어 방법.
  16. 메인 디스플레이 및 서브 디스플레이를 포함하는 디스플레이부와, 상기 디스플레이부와 중첩 설치되는 거울을 포함하는 전자 거울 장치의 제어 방법에 있어서,
    카메라로 촬영한 사용자의 실시간 촬영 영상을 상기 메인 디스플레이에 출력하는 단계;
    피부 진단기를 이용하여 상기 사용자의 피부 상태를 분석하는 단계; 및
    피부 상태 분석 결과에 대응하는 레퍼런스 영상을 상기 서브 디스플레이에 출력하는 단계를 포함하는 제어 방법.
  17. 제 16 항에 있어서,
    상기 서브 디스플레이에 출력하는 단계는,
    상기 피부 상태 분석 결과에 따라 상기 사용자에게 추천할 제품의 소개 영상을 상기 레퍼런스 영상으로서 검색하는 단계를 포함하는 제어 방법.
  18. 제 16 항에 있어서,
    상기 서브 디스플레이에 출력하는 단계는,
    상기 피부 상태 분석 결과에 대응하는 추천 메이크업 스타일에 관한 레퍼런스 영상을 검색하는 단계를 포함하고,
    상기 제어 방법은,
    상기 레퍼런스 영상을 상기 실시간 촬영 영상에 합성하는 단계를 더 포함하는 제어 방법.
  19. 제 11 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 사용자와의 거리를 측정하는 단계를 더 포함하고,
    상기 메인 디스플레이에 출력하는 단계는,
    상기 사용자의 실시간 촬영 영상을 상기 사용자와의 거리에 기초하여 일정한 비율로 상기 메인 디스플레이에 출력하는 제어 방법.
KR1020160082810A 2016-06-30 2016-06-30 전자 거울 장치 및 그 제어 방법 KR102178566B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160082810A KR102178566B1 (ko) 2016-06-30 2016-06-30 전자 거울 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160082810A KR102178566B1 (ko) 2016-06-30 2016-06-30 전자 거울 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20180003237A true KR20180003237A (ko) 2018-01-09
KR102178566B1 KR102178566B1 (ko) 2020-11-13

Family

ID=61000623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160082810A KR102178566B1 (ko) 2016-06-30 2016-06-30 전자 거울 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102178566B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101979355B1 (ko) * 2018-11-20 2019-05-15 주식회사 카티스 뷰티 큐레이션을 위한 큐레이터 미러 및 그의 제어방법
KR20190097429A (ko) * 2018-02-12 2019-08-21 김치현 스마트 거울
KR20200006669A (ko) * 2018-07-11 2020-01-21 주식회사 신평전자 화장거울
KR20220082126A (ko) * 2020-12-09 2022-06-17 문명일 스마트 미러를 이용하는 피부 진단장치 및 그 구동 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102410404B1 (ko) * 2021-12-17 2022-06-22 (주)딥인사이트 언더 디스플레이 카메라를 이용하는 스마트 거울

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000059262A (ko) * 2000-07-28 2000-10-05 이성환 인터넷 상에서의 실시간 헤어,메이크업과 패션 액세서리디자인 시스템 및 방법
KR200405999Y1 (ko) * 2005-10-28 2006-01-11 김영자 미용실용 다기능 모니터링 장치
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
KR20150102054A (ko) * 2012-12-18 2015-09-04 아이즈매치 리미티드 외형들을 캡처하고 디스플레이하는 디바이스들, 시스템들 및 방법들

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000059262A (ko) * 2000-07-28 2000-10-05 이성환 인터넷 상에서의 실시간 헤어,메이크업과 패션 액세서리디자인 시스템 및 방법
KR200405999Y1 (ko) * 2005-10-28 2006-01-11 김영자 미용실용 다기능 모니터링 장치
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
KR20150102054A (ko) * 2012-12-18 2015-09-04 아이즈매치 리미티드 외형들을 캡처하고 디스플레이하는 디바이스들, 시스템들 및 방법들

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190097429A (ko) * 2018-02-12 2019-08-21 김치현 스마트 거울
KR20200006669A (ko) * 2018-07-11 2020-01-21 주식회사 신평전자 화장거울
KR101979355B1 (ko) * 2018-11-20 2019-05-15 주식회사 카티스 뷰티 큐레이션을 위한 큐레이터 미러 및 그의 제어방법
KR20220082126A (ko) * 2020-12-09 2022-06-17 문명일 스마트 미러를 이용하는 피부 진단장치 및 그 구동 방법

Also Published As

Publication number Publication date
KR102178566B1 (ko) 2020-11-13

Similar Documents

Publication Publication Date Title
KR20180003237A (ko) 전자 거울 장치 및 그 제어 방법
WO2020253657A1 (zh) 视频片段定位方法、装置、计算机设备及存储介质
JP7018084B2 (ja) 肌状態ケアシステム、ユーザークライアントおよび肌状態ケア方法
US11614803B2 (en) Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
CN111787242B (zh) 用于虚拟试衣的方法和装置
US10110868B2 (en) Image processing to determine center of balance in a digital image
WO2015060376A1 (ja) 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法
US20150379770A1 (en) Digital action in response to object interaction
WO2019105411A1 (zh) 信息推荐方法、智能镜子及计算机可读存储介质
WO2022179025A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN108986766A (zh) 信息显示终端以及信息显示方法
US20180268453A1 (en) Composite image generation
WO2017221868A1 (ja) サーバ装置、端末装置、および情報処理方法
US20180350155A1 (en) System for manipulating a 3d simulation of a person by adjusting physical characteristics
WO2024114470A1 (zh) 商品虚拟试用效果展示方法及电子设备
CN110889006A (zh) 推荐方法及装置
KR20190081133A (ko) 미용 어플리케이션 및 미용 정보 추천 방법
KR20220096606A (ko) Ai 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법
KR101749104B1 (ko) 3d 모델을 이용하는 광고 시스템 및 광고 방법
CN116452745A (zh) 手部建模、手部模型处理方法、设备和介质
CN116524088A (zh) 珠宝虚拟试戴方法、装置、计算机设备和存储介质
CN116069159A (zh) 用于显示虚拟形象的方法、装置及介质
CN113301243B (zh) 图像处理方法、交互方法、***、装置、设备和存储介质
CN115239410A (zh) 一种信息处理方法、装置、电子设备及存储介质
KR102234869B1 (ko) 영상과 대응하는 신발 추천 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant