KR20180112100A - 모바일 초분광 카메라 시스템 및 모바일 초분광 카메라 시스템을 이용한 인간 피부 모니터링 - Google Patents

모바일 초분광 카메라 시스템 및 모바일 초분광 카메라 시스템을 이용한 인간 피부 모니터링 Download PDF

Info

Publication number
KR20180112100A
KR20180112100A KR1020187028390A KR20187028390A KR20180112100A KR 20180112100 A KR20180112100 A KR 20180112100A KR 1020187028390 A KR1020187028390 A KR 1020187028390A KR 20187028390 A KR20187028390 A KR 20187028390A KR 20180112100 A KR20180112100 A KR 20180112100A
Authority
KR
South Korea
Prior art keywords
spectral
ultra
mobile
camera system
skin
Prior art date
Application number
KR1020187028390A
Other languages
English (en)
Other versions
KR102146561B1 (ko
Inventor
라자 발라
수라브흐 라빈드란
하미드 라힘 세이크흐
유영준
마이클 올리버 폴리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180112100A publication Critical patent/KR20180112100A/ko
Application granted granted Critical
Publication of KR102146561B1 publication Critical patent/KR102146561B1/ko

Links

Images

Classifications

    • H04N5/2258—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N5/2256—
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A61B2562/046—Arrangements of multiple sensors of the same type in a matrix array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0156—Head-up displays characterised by mechanical features with movable elements with optionally usable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Dermatology (AREA)
  • Optics & Photonics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Biodiversity & Conservation Biology (AREA)

Abstract

모바일 초분광 카메라 시스템이 설명된다. 상기 모바일 초분광 카메라 시스템은: 프로세서 및 디스플레이를 포함하는 모바일 호스트 장치; 상기 프로세서에 결합되고 별개의 스펙트럼 대역들에서 이미지들을 캡처하도록 구성된 복수의 카메라들; 및 상기 프로세서에 결합되고 상기 별개의 스펙트럼 대역들에 조명을 제공하도록 구성된 초분광 플래시 어레이를 포함한다.모바일 초분광 카메라 시스템을 구현하는 방법이 또한 설명된다.

Description

모바일 초분광 카메라 시스템 및 모바일 초분광 카메라 시스템을 이용한 인간 피부 모니터링
본 발명의 실시예는 일반적으로 초분광 카메라에 관한 것이며, 구체적으로, 모바일 초분광 카메라 시스템 및 모바일 초분광 카메라 시스템을 이용한 인간 피부 모니터링에 관한 것이다.
스마트폰 및 태블릿과 같은 대부분의 모바일 장치들은 편리하고, 접근하기 쉽고, 경제적인 방식으로 디지털 사진을 소비자에게 제공하는 내장 카메라를 특징으로 한다.이러한 카메라들은 컬러 필터 어레이들을 이용하는 단일 센서 상에 RGB 이미지를 캡처하고, 전체 해상도의 색보정된 이미지를 복구하기 위해 표준 이미징 파이프라인(imaging pipeline)을 채용한다.대부분의 장치들은 각각의 면에 단일 카메라를 지원한다: 장면 사진용 후방 카메라, 및 인물(셀피(selfie)) 사진용 전방 카메라.
카메라들 중 한 부류는 가시 스펙트럼 이내 및 아마도 그 외부에서 많은(예를 들면, 3 초과의) 광학 대역들(optical bands)을 캡처하기 위해 초분광(hyperspectral)(또는 다중분광(multispectral)) 이미징을 채용한다.그러나, 이러한 초분광 카메라 시스템들은 값이 비싸고 다루기 힘들며, 숙련된 전문가에 의해서만 작동될 수 있다.
인간 피부는 가장 큰 기관이며, 따라서 피부 상태는 전체적인 건강 및 웰빙의 중요한 표지자(marker)이다.통계에 따르면, 전세계 소비자 3명 중 대략 1명은 그들의 피부에 깊이 신경 쓰고 있으며, 건강한 피부를 촉진하는 제품, 식이요법(regimen) 및 생활방식(lifestyle)에 투자할 것이다.양호한 피부 건강을 유지하는 데 중요한 측면은 지속적이고 예방적인 모니터링이다.대부분의 피부 상태들은 시각적으로 및 비침습적으로 검출될 수 있으므로, 디지털 이미징 기술은 피부 모니터링을 위한 매력적인 도구이다.
피부에 도포된 화장품의 검출은 여러 가지 이유로 바람직할 수 있다.첫째, 매일의 메이크업 제거는 만성적 피부 손상을 방지하기 위한 중요한 단계이며; 따라서 모든 메이크업이 얼굴에서 제거되었는지 여부를 검출하기 위한 자동적 방법이 바람직하다.반대로, 자외선 차단제 또는 보습 오일과 같은 보호용 화장품의 적절한 도포를 검출하는 데 동일한 방법이 이용될 수 있다. 마지막으로, 특정 화장품은 피부 모니터링의 첫 번째 작업을 방해할 수 있으며, 따라서 자동적 화장품 검출은 피부 모니터링 시 유용한 점검(check) 역할을 할 수 있다. 여러 가지 기법들이 제안되었는데, 그 모두가 표준 RGB 이미징을 이용하고 제한된 정확도를 나타낸다.
예를 들면, 피부 모니터링 및 피부 상의 화장품의 검출과 같은 애플리케이션에 이용될 수 있는 편리하고 저렴한 폼 팩터(form factor)를 갖는 모바일 초분광 카메라가 필요하다.
도 1은 본 발명의 실시예에 따른, 초분광 카메라를 구현하기 위한 장치의 블록도이다.
도 2는 본 발명의 실시예에 따른, 초분광 카메라를 구현하는 모바일 장치이다.
도 3은 본 발명의 실시예에 따른, 선형 LED 어레이를 갖는 다수의 초분광 카메라들을 구현하는 모바일 장치의 후면이다.
도 4는 본 발명의 실시예에 따른, 원형 LED 어레이를 갖는 다수의 초분광 카메라들을 구현하는 모바일 장치의 후면이다.
도 5는 본 발명의 실시예에 따른, 모바일 장치의 주변에 분포된 LED 어레이를 갖는 다수의 초분광 카메라들을 구현하는 상기 모바일 장치의 후면이다.
도 6은 본 발명의 실시예에 따른, 카메라의 요소들에 의해 생성된 디지털 이미지를 도시하는 도면이다.
도 7은 본 발명의 실시예에 따른, 화소 어레이(pixel array)의 생성을 도시하는 도면이다.
도 8은 본 발명의 실시예에 따른, 단일 카메라를 갖는 초분광 카메라를 구현하는 모바일 장치의 도면이다.
도 9는 본 발명의 실시예에 따른, 모바일 장치의 후면에 다수의 카메라들을 갖는 초분광 카메라를 구현하는 상기 모바일 장치에 사용되는 슬리브(sleeve)를 도시하는 도면이다.
도 10은 본 발명의 실시예에 따른, 도 9의 상기 슬리브의 내부를 도시한다.
도 11은 본 발명의 실시예에 따른, 모바일 장치의 전면(front side)에 다수의 카메라들을 갖는 초분광 카메라 시스템을 구현하는 상기 모바일 장치에 사용되는 슬리브를 도시하는 도면이다.
도 12는 본 발명의 실시예에 따른, 도 11의 상기 슬리브의 내부를 도시한다.
도 13은 본 발명의 실시예에 따른, 초분광 카메라를 구현하는 방법을 도시하는 순서도이다.
도 14는 본 발명의 실시예에 따른, 머리 착용형(head mounted) 장치와 연관된 카메라 위에 렌즈를 인가하기 위한 렌즈 휠(lens wheel)이 있는 커버를 갖는 상기 머리 착용형 장치의 블록도이다.
도 15는 본 발명의 실시예에 따른, 복수의 카메라들을 갖는 초분광 카메라를 구현하는 모바일 장치의 도면이다.
도 16은 본 발명의 실시예에 따른, 복수의 카메라들을 이용하는 초분광 카메라를 갖는 모바일 장치를 구현하는 방법을 도시하는 순서도이다.
도 17은 본 발명의 실시예에 따른, 메인 RGB 카메라 및 제2 카메라를 갖는 초분광 카메라를 구현하는 장치를 도시하는 도면이다.
도 18은 본 발명의 실시예에 따른, 초분광 카메라가 스마트폰에 통합된, 얼굴 피부 상태를 모니터링하는 장치를 도시한다.
도 19는 본 발명의 실시예에 따른, 피부 모니터링을 수행하는 계산 단계들을 도시한다.
도 20은 본 발명의 실시예에 따른, 장치의 사용자에게 피드백을 제공하는 단계를 포함하는 피부 모니터링을 수행하는 계산 단계들을 도시한다.
도 21은 본 발명의 실시예에 따른, 제품 제조자에게 피드백을 제공하는 단계를 포함하는 피부 모니터링을 수행하는 계산 단계들을 도시한다.
도 22는 본 발명의 실시예에 따른, 장치의 디스플레이 상에 상황 분석(contextual analysis)을 제시하도록 초분광 카메라를 갖는 상기 장치를 구현하는 방법을 도시하는 순서도이다.
도 23은 본 발명의 실시예에 따른, 화장품 도포를 분석할 수 있는 모바일 장치를 도시하는 도면이다.
도 24는 본 발명의 실시예에 따른, 화장품 도포를 분석할 수 있는 방법을 도시하는 순서도이다.
모바일 초분광 카메라 시스템이 설명된다. 상기 모바일 초분광 카메라 시스템은: 프로세서 및 디스플레이를 포함하는 모바일 호스트 장치; 상기 프로세서에 결합되고 별개의 스펙트럼 대역들(spectral bands)에서 이미지를 캡처하도록 구성된 복수의 카메라들; 및 상기 프로세서에 결합되고 상기 별개의 스펙트럼 대역들에 조명을 제공하도록 구성된 초분광 플래시 어레이를 포함한다.
다른 실시예에서, 상기 복수의 카메라들은 RGB, UV, NIR, 또는 단색 카메라들 중 적어도 두 대를 포함한다.
다른 실시예에서, 상기 모바일 호스트 장치는 웨이러블 장치이다.
다른 실시예에서, 상기 모바일 호스트 장치는 머리 착용형 디스플레이이다.
다른 모바일 초분광 카메라 시스템은: 프로세서 및 디스플레이를 포함하는 모바일 호스트 장치; 상기 프로세서에 결합되고 별개의 스펙트럼 대역들에서 이미지 및 비디오를 캡처하도록 구성된 카메라; 및 상기 프로세서에 결합되고 별개의 스펙트럼 대역들에 조명을 제공하도록 구성된 초분광 플래시 어레이에 있어서, 상기 초분광 플래시 어레이는 상기 모바일 초분광 카메라 시스템의 표면 상에 분포되어 있는 것인, 상기 초분광 플래시 어레이를 포함한다.
다른 실시예에서, 상기 카메라 또는 상기 초분광 플래시 어레이 중 적어도 하나는 상기 모바일 호스트 장치에 내장된다.
다른 실시예에서, 상기 초분광 플래시 어레이는 백생광, NIR, 또는 UV 광원들을 포함한다.
다른 실시예에서, 상기 모바일 초분광 카메라 시스템은 상기 모바일 초분광 카메라 시스템의 외부에 부착 가능한 필터를 더 포함한다.
다른 실시예에서, 상기 필터는 전화기에 부착되도록 구성된 슬리브(sleeve) 상에 이동 가능한 요소를 포함한다.
다른 실시예에서, 상기 필터는 전화기를 수용하는 머리 착용형 장치에 부착되도록 구성된 커버 상에 이동 가능한 요소를 포함한다.
모바일 초분광 카메라 시스템을 구현하는 방법이 또한 설명된다. 상기 방법은: 프로세서 및 디스플레이를 포함하는 모바일 호스트 장치를 구현하는 단계; 별개의 스펙트럼 대역들에서 이미지를 캡처하도록, 상기 프로세서에 결합되는 복수의 카메라들을 구성하는 단계; 및 별개의 스펙트럼 대역들에 조명을 제공하도록, 상기 프로세서에 결합되는 초분광 플래시 어레이를 구성하는 단계를 포함한다.
다른 실시예에서, 상기 초분광 플래시 어레이는 백색광, NIR, 또는 UV 광원들을 포함한다.
초분광 카메라 시스템을 이용하여 피부를 모니터링하는 다른 방법은: 별개의 스펙트럼 대역들에서 피부 영역들의 이미지들을 캡처하는 단계; 상기 피부 영역들로부터 관심 영역들(regions of interest: ROIs)을 식별하는 단계; 별개의 스펙트럼 대역들에서 상기 이미지들을 공간적으로 정렬하는 단계; 특정 피부 특성에 대해 상기 ROI들을 분석하는 단계에 있어서, 상기 분석 단계는 상황 요인들(contextual factors)을 통합하는(incorporating) 단계를 포함하는 것인, 단계; 및 상기 초분광 카메라 시스템의 디스플레이 상에 상황 분석을 제시하는 단계를 포함한다.
초분광 카메라 시스템을 이용하여 피부를 모니터링하는 다른 방법은: 별개의 스펙트럼 대역들에서 피부 영역들의 이미지 또는 비디오를 캡처하는 단계; 상기 피부 영역으로부터 관심 영역들(ROI들)을 식별하는 단계; 별개의 스펙트럼 대역들에서 상기 이미지 또는 비디오를 공간적으로 정렬하는 단계; 화장품의 존재에 대해 상기 ROI들을 분석하는 단계에 있어서, 상기 분석 단계는 상황 요인들을 통합하는 단계를 포함하는 것인, 단계; 및 상기 초분광 카메라 시스템 상에 상황 분석을 제시하는 단계를 포함한다.
본 명세서는 신규한 것으로 생각되는 본 발명의 하나 이상의 구현들의 특징들을 정의하는 청구항들을 포함하고 있지만, 회로들 및 방법들은 도면들과 함께 설명을 고찰함으로써 보다 잘 이해될 것이다. 다양한 회로들 및 방법들이 개시되어 있지만, 상기 회로들 및 방법들은 단지, 다양한 형태로 체화(embodied)될 수 있는, 발명적 구성들(inventive arrangements)의 예시일 뿐임을 이해해야 할 것이다.
그러므로, 본 명세서 내에 개시된 특정 구조적 및 기능적 세부사항들은 제한적인 것으로 해석되어서는 안 되며, 단지 청구항들에 대한 기초로서 및 본 발명이 속하는 기술분야의 숙련된 자가 실제적으로 적절히 상세한 어떠한 구조에서든지 발명적 구성들을 다양하게 채용하도록 알려주기 위한 대표적인 기초로서 해석되어야 할 것이다. 또한, 본 명세서에서 사용된 용어들 및 어구들은 제한하고자 한 것이 아니라, 회로들 및 방법들에 대한 이해할 수 있는 설명을 제공하고자 한 것이다. 예를 들면, "A, B, 또는 C 중 적어도 하나"와 같은 청구범위 언어(claim language)는 A 단독, B 단독, C 단독, 또는 A, B, 및 C의 어떠한 조합을 의미한다.
하기 시스템들 및 방법들은 별개의 스펙트럼 대역들에서 이미지를 캡처하는 둘 이상의 카메라들에 연결된 모바일 호스트 장치, 사진 촬영 시 별개의 스펙트럼 대역들에서 장면을 조명하기 위한 초분광 플래시 어레이, 및 실시간으로 초분광 이미지 및 분석을 제시하기 위한 디스플레이 및 사용자 인터페이스를 포함하는 모바일 초분광 카메라 시스템을 개시한다. 바람직한 실시예에서, 상기 모바일 장치는 스마트폰이고, 상기 초분광 카메라들 및 플래시 어레이는 상기 장치에 내장된다.하기에서 보다 상세히 설명되는 바와 같이 슬리브(sleeve)로 구현될 수 있는, 초분광 필터들을 포함하는 탈착식(removable) 액세서리 패널, 및/또는 조명을 포함하여, 여러 가지 대안적인 변형들이 개시된다.상기 모바일 초분광 카메라 시스템은 얼굴 미용, 피부 모니터링, 물체 식별, 및 바이오메트릭스(biometrics)를 포함하는 다양한 애플리케이션에 이용될 수 있다.
스마트폰 또는 태블릿과 같은 표준 소비자 장치에 내장되는 모바일 초분광 카메라 시스템은 소비자에게 많은 유익한 애플리케이션들을 제공할 수 있다.예를 들면, 근적외선(near infra-red: NIR) 조명 하에서 캡처된 사람 얼굴의 이미지는 부드럽고 기분 좋은 피부 톤을 생성하고, 이에 따라 RGB 이미지들과 결합되어 셀피(selfie) 이미지를 향상시킬 수 있다.NIR 및 RGB 이미지들의 결합은 또한 향상된 바이오메트릭스 기능을 제공할 수 있다. 자외선(ultra-violet: UV) 광 하에서 촬영한 얼굴 이미지들은 피부 건강 및 노화(aging)를 나타내는 유용한 특징들을 드러낸다. 그러한 기술들을 스마트폰과 같은 통상의 소비자 모바일 장치에 통합하는 것은 초분광 이미징의 능력과, 사용자의 환경, 생활방식, 및 활동들과 같이, 상기 장치에서 이미 이용 가능한 상황 지식(contextual knowledge)을 결합할 수 있는 풍부한 애플리케이션 모음을 가능하게 한다.
먼저 도 1을 참조하면, 초분광 카메라를 구현하기 위한 장치의 블록도가 도시되어 있다. 특히, 장치(100)는 복수의 카메라들(103, 104 및 105)에 결합되는 프로세서 회로(102)를 포함한다. 상기 장치(100)는, 스마트폰, 태블릿 또는 기타 전자 장치와 같이, 하나 이상의 카메라를 이용하여 디지털 이미지를 캡처하도록 적합화된 어떤 유형의 장치든지 될 수 있다. 하기에서 보다 상세히 설명하는 바와 같이, 상기 복수의 카메라들은, 렌즈 또는 기타 이미지 감지 요소와 같은, 디지털 카메라의 요소들을 포함할 수 있으며, 여기서 이미지 처리(image processing)는 상기 프로세서 회로(102)에 의해 수행될 수 있다. 상기 프로세서 회로는 캡처된 이미지를 표시하기 위한, 보다 구체적으로, 피부 모니터링이 가능한 향상된 이미지 품질을 갖는 디지털 이미지를 표시하기 위한 디스플레이(106)에 결합될 수 있다.
상기 프로세서 회로(102)는 또한 이미지의 하나 이상의 프레임들에 관련된 정보, 또는 피부 또는 화장품 분석과 연관된 결과적인 디지털 이미지들을 저장할 수 있는 메모리(108)에 결합될 수 있다. 상기 메모리(108)는, 잘 알려진 바와 같이, 상기 프로세서 회로(102)의 일부로서 구현될 수 있거나, 또는 프로세서의 어떤 캐시 메모리에 부가하여 구현될 수 있다. 상기 프로세서 회로(102)는 또한 입력들을 수신하거나 또는 디지털 이미지의 캡처를 가능하게 하는 다른 요소들에 결합될 수 있다. 예를 들면, 관성 측정 장치(inertial measurement unit: IMU)(112)는 상기 장치(100)의 움직임 또는 방향에 관련된 다양한 정보를 제공할 수 있으며, 반면에 GPS(113)는 상기 장치와 연관된 위치 정보를 제공한다. 상기 프로세서 회로(102)는 입출력(input/output: I/O) 포트(114)를 통해 또는 안테나(118)에 결합된 송수신기(116)를 통해 입력을 수신할 수 있다.
상기 장치(100)는 또한 초분광 카메라의 구현을 가능하게 하는 다른 요소들을 포함할 수 있다. 예를 들면, 광의 상이한 파장들을 갖는 플래시 어레이들의 사용을 가능하게 하기 위해, 플래시 어레이를 수용하기 위한 외부 어댑터(119)가 포함될 수 있다. 상기 장치(100)는 또한 상이한 필터들을 위한 외부 어댑터(120)를 포함할 수 있다.
하기에서 보다 상세히 설명하는 바와 같이, 광을 필터링하기 위해 및 초분광 카메라 시스템을 구현하기 위한 단일 카메라의 사용을 가능하게 하기 위해, 외부 필터가 이용될 수 있다. 상기 장치(100)의 일부인 플래시 어레이(121)가 또한 구현될 수 있으며, 여기서 상기 플래시 어레이의 조명 요소들(lighting elements)은 상기 장치(100)의 상이한 장소들에 걸쳐 분포될 수 있다. 상기 디스플레이와 별도일 수 있거나 또는 상기 디스플레이의 일부이거나 상기 디스플레이에 응답할 수 있는, 사용자 인터페이스(122)가 또한 도시되어 있다.주변 광(ambient light) 검출기(124)가 또한 구현될 수 있다.상기 장치(100)의 상기 프로세서 및 다른 요소들에 전력을 공급하기 위해, 배터리(126)가 구현될 수 있다.
도 2를 참조하면, 초분광 카메라를 구현하는 모바일 장치(200)가 도시되어 있으며, 여기서 상기 모바일 장치는 스마트폰이고 상기 초분광 카메라 시스템은 전방을 향하고 있다(즉, 사용자를 향하고 있다). 상기 모바일 장치(200)는, 예를 들면, 상기 장치(100)의 상기 요소들을 구현할 수 있다. 상기 모바일 장치(200)는 전면(204) 및 후면(206)을 갖는 하우징(202)을 포함한다. 상기 전면에 디스플레이(208)가 제공된다. 하기에서 보다 상세히 설명하는 바와 같이, 하나 이상의 보조 카메라들(210 및 212)이 구현될 수 있다.
사용자가 통화 중에 오디오를 듣거나 또는 상기 디스플레이 상의 정보와 연관된 오디오를 들을 수 있도록 상기 모바일 장치의 상단 근처에 스피커(214)가 또한 제공될 수 있다. 메인 카메라(216)가 또한 상기 카메라의 전면에 제공될 수 있다. 상기 메인 카메라(216)는, 예를 들면, RGB(즉, 적색, 청색, 녹색) 카메라일 수 있으며, 반면에 상기 보조 카메라들(210 및 212)은, 자외선(UV) 또는 비가시 적외선(NIR)과 같이, 광의 다른 주파수들을 이용하여 이미지들을 검출하도록 구현될 수 있다. 전원 버튼(218)은 상기 모바일 장치의 전원을 켜거나 끌 수 있도록 한다.
복수의 LED들(221)을 포함하는 LED 플래시 어레이(220)는 초분광 카메라의 구현 뿐만 아니라 카메라에 의한 이미지의 캡처를 가능하게 한다. 마이크(220), 홈 버튼(222), 다용도 잭(224), 및 복귀 버튼(226)이 상기 장치의 하단에 구현될 수 있다. 상기 모바일 장치(200)의 특정 요소들이 도시되어 있지만, 상기 모바일 장치의 동작을 가능하게 하는 추가적인 또는 상이한 요소들이 구현될 수 있음을 이해해야 할 것이다.
도 3을 참조하면, 선형 LED 어레이를 갖는 초분광 카메라를 구현하는 모바일 장치의 후면이 도시되어 있다. 도 3에 도시한 바와 같이, 도 2의 상기 모바일 장치(200)의 상기 후면(206)은 제1 후방 카메라(302), 제2 후방 카메라(303), 및 LED 어레이(304)를 포함한다. GPS 안테나(306) 및 메인 안테나(308)의 위치는 예시적으로 점선으로 도시되어 있다. 헤드셋 잭(310)이 또한 구현될 수 있다. 볼륨 버튼들과 같은 다양한 다른 버튼들이 필요에 따라 상기 장치에 구현될 수 있다.
도 4에 도시한 바와 같이, 초분광 카메라를 가능하게 하기 위해 모바일 장치의 후면에 원형 LED 어레이(402)가 구현될 수 있다. 유사하게, LED 어레이는, 도 5에 도시한 바와 같이, 상기 장치의 주변에 분포될 수 있다. LED들이 예시적으로 도시되어 있지만, 어떤 유형의 조명 요소들이든지 사용될 수 있음에 주의해야 할 것이다. 또한, 초분광 카메라를 가능하게 하기 위해 상이한 대역들의 광이 상이한 조명 요소들에 의해 방출될 수 있다.
도 6을 참조하면, 블록도는 디지털 이미지가 카메라의 요소들에 의해 생성되는 것을 도시한다. 특히, 도 6의 이미지 검출 회로(601)는 디지털 이미지가 생성될 장면으로부터 광을 수신하도록 결합된 컬러 필터들(602), 및 센서 어레이(604)를 갖는다. 통상의 컬러 필터 어레이들은 전형적으로 적색, 녹색, 청색 필터들을 포함한다. 하기 다양한 구현들은 예시적으로 적색, 녹색, 청색 컬러 필터 어레이들에 관한 것이지만, 구현들은 다른 컬러 필터 어레이들에도 적용될 수 있음에 주의해야 할 것이다.
3색 어레이가 설명되어 있지만, 회로 및 방법들은 4색 필터 어레이에도 적용될 수 있다는 것도 또한 주의해야 할 것이다. 상기 컬러 필터 어레이(602)의 출력은 상기 센서 어레이(604)에 제공된다. 상기 센서 어레이(604)는, 도 7을 참조하여 보다 상세히 설명하는 바와 같이, 결과적인 화소 어레이를 생성하기 위해 매트릭스의 화소를 나타내는 각 블록에 센서를 포함한다. 상기 센서 어레이에 구현되는 통상의 이미지 센서들은 전하 결합 소자(charge coupled device: CCD) 또는 상보형 금속 산화물 반도체(complementary metal oxide semiconductor: CMOS) 소자를 포함한다.
이미지 생성 회로(608)를 포함하는 처리 장치(606)는 장면에서 검출되는 광으로부터 장치가 생성하는 이미지들의 품질을 향상시킨다. 예를 들면, 상기 필터들(602) 및 상기 센서 어레이(604)는 상기 카메라들(103 내지 105) 중 하나에 구현될 수 있으며, 반면에 상기 처리 장치(606)는 상기 처리 회로(102)에 구현될 수 있다. 또한, 상기 처리 장치는 장치의 단일 집적회로 소자 또는 복수의 집적회로 소자들에 구현될 수 있다.
도 7에 도시한 바와 같이, 디지털 카메라와 같은 많은 디지털 이미징 장치들은 컬러 필터들로 덧씌워진 이미지 센서를 이용하여 이미지를 획득하여, 예를 들면, 상기 이미지 센서의 각 센서 화소가 3원색(예를 들면, 적색, 녹색 및 청색) 중 오직 하나 또는 시안색(cyan), 마젠타색(magenta), 황색 및 선택적으로(optionally) 녹색 중 오직 하나만 샘플링하도록 한다.
도 7에 도시한 바와 같이, 상기 컬러 필터들(602)은 상기 2차원 센서 어레이(604)에 의해 검출되는 복합 컬러 채널 어레이를 생성하기 위해 복수의 필터들(702 내지 706)을 포함한다.
도 7의 예에 따르면, 제1 필터(702)는 청색 통과 필터를 포함한다. 즉, 청색에 해당하는 광의 주파수들만 슬래시(forward slash) 패턴으로 표시된 박스들에서 통과될 것이다. 나머지 박스들(패턴 없는 것으로 도시됨)은, 상기 나머지 박스들의 위치에 입사되는, 이미지로부터의 광의 모든 주파수들을 통과시킬 것이다. 유사하게, 제2 필터(704)는 적색에 해당하는 광의 주파수들만 역슬래시(backward slash) 패턴으로 표시된 박스들에서 통과될 수 있도록 하는 적색 통과 필터를 포함한다.
마지막으로, 녹색 통과 필터를 갖는 제3 필터(706)는 녹색에 해당하는 광의 주파수들만 크로스해치(cross-hatch) 패턴으로 표시된 박스들에서 통과될 수 있도록 할 것이다. 이미지로부터의 광이 샘플링되고, 상기 필터들(702 내지 706)의 복합체는 도 7에 도시한 바와 같은 상기 복합 컬러 채널 어레이를 달성하기 위해 강도값들(intensity values)을 나타내는 컬러 채널들을 제공한다. 즉, 상기 세 필터들(702 내지 706)의 복합체는 상기 매트릭스의 각 박스에서 오직 한 가지 색만 통과될 수 있도록 할 것이다.
따라서, 상기 센서 어레이(604)에 의해 검출되며 통상 컬러 필터 어레이(color filter array: CFA) 서브-샘플링된 이미지라고도 칭하는, 결과적인 화소 어레이는 이미지와 연관된 매트릭스를 포함하며, 여기서 상기 매트릭스의 각 화소는 오직 단일 색 구성요소로만 표시된다. 도 7에 도시한 바와 같은 색 구성요소들의 특정 배열은 통상 베이어(Bayer) CFA 패턴으로 칭해진다.
도 8을 참조하면, 단일 카메라를 갖는 초분광 카메라를 구현하는 모바일 장치의 도면이 도시되어 있다. 보다 구체적으로, 예를 들면, 탈착식(detachable) 필터일 수 있는, 필터(802)는 상기 카메라(302)의 렌즈 위에 배치될 수 있다. 상이한 필터들을 사용함으로써 상이한 광이 통과될 수 있으므로, 상기 필터 사용 시 적어도 제4 광학 대역이 캡처될 수 있다. 예를 들면, 상기 카메라는 RGB 카메라일 수 있지만, 광학 필터 사용 시 제4 광학 대역을 캡처할 수 있다. 단일 카메라만 사용되기 때문에, 상이한 광학 대역들과 연관된 상이한 이미지들은 순차적으로 캡처될 수 있다.
도 9를 참조하면, 도면은 후면에 다중 카메라를 갖는 초분광 카메라 시스템을 구현하는 모바일 장치에 사용되는 슬리브를 도시하며, 여기서 도 9의 상기 슬리브의 내부는 도 10에 도시되어 있다. 도 9에 도시한 바와 같이, 상기 장치(200)에 탈착 가능하고 회전 휠을 포함하는, 통상 커버 또는 케이스로도 알려진, 슬리브(902)가 상기 카메라(302) 위에 배치될 수 있고, 개구(904)가 상기 플래시 어레이(304)에 제공될 수 있다. 보다 구체적으로, 회전 필터 휠(906)은, 각각이 상기 카메라의 렌즈와 정렬될 수 있는, 복수의 필터들(908)을 포함한다. 필터(910)는, 투명한 유리 또는 플라스틱 물질일 수 있는, 애퍼처(aperture)(912)와 정렬되어, 광이 상기 애퍼처를 통해 입사하고 상기 슬리브의 선택된 필터를 통과하여 상기 카메라의 렌즈로 전달될 수 있도록 한다. 도시한 바와 같이 이동 가능한 휠을 제공함으로써, 상기 장치를 위한 필터 부착기(filter attachment)를 물리적으로 제거 및 교체할 필요 없이 상이한 필터들이 선택될 수 있다. 제2 애퍼처(914)가 상기 카메라(303)의 렌즈에 제공된다. 상기 카메라(303)는 RGB 카메라일 수 있지만, 반면에 상기 카메라(302)는 상기 필터 휠(906)의 선택된 필터에 기반하여 결정될 것이다.
상기 슬리브의 내부를 도시하는 도 10에서 볼 수 있는 바와 같이, 원하는 렌즈의 선택을 위해 상기 휠이 회전될 수 있도록, 상기 휠은 상기 개구(1002)를 통해 연장된다.
도 11 및 도 12를 참조하면, 도면들은 모바일 장치의 전면에 다수의 카메라들을 이용하는 초분광 카메라 시스템을 구현하는 모바일 장치에 사용되는 슬리브를 도시한다. 상기 장치의 뒤쪽에 끼워 맞춰지는 도 9의 상기 슬리브(902)와 달리, 도 11에 도시한 슬리브(1102)는 상기 장치의 앞쪽에 끼워 맞춰지며, 여기서 필터 휠(1104)은 선택된 필터가 상기 카메라(216)의 렌즈와 정렬될 수 있도록 이동 가능하고, 개구(1106)는 상기 슬리브가 전화기에 부착되는 경우 상기 화면(208)에 대한 액세스를 가능하게 한다. 제2 개구(1108)는 상기 카메라들(210 및 212)에 대한 액세스를 가능하게 한다. 상기한 바와 같이, 상기 카메라들(210 및 212)은 RGB 카메라 및 NIR 카메라일 수 있으며, 반면에 상기 필터 휠(1104)의 필터는 특정 유형의 카메라를 구현하도록 선택될 수 있다.
도 13을 참조하면, 순서도는 초분광 카메라를 구현하는 방법을 도시한다. 특히, 블록(1302)에서, 프로세서 및 디스플레이를 포함하는 모바일 호스트 장치가 구현된다. 블록(1304)에서, 하나 이상의 카메라들은 별개의 스펙트럼 대역들에서 이미지들 및 비디오를 캡처하도록 구성된다. 블록(1306)에서, 초분광 플래시 어레이는 상기 모바일 초분광 카메라 시스템의 표면 상에 분포된다.블록(1308)에서, 상기 초분광 플래시 어레이는 별개의 스펙트럼 대역들에 조명을 제공하도록 구성된다. 즉, 도 9 내지 도 12를 참조하여 상기한 바와 같이, 상기 초분광 플래시는 원하는 스펙트럼 대역을 획득하기 위해 제2의, 비-RGB 카메라와 함께 사용된다.
도 14를 참조하면, 카메라 위에 필터를 인가하기 위한 필터 휠이 있는 커버를 갖는 머리 착용형 장치(head mounted device: HMD)가 도시되어 있다. 특히, 상기 HMD(1402)는 스마트폰과 같은 모바일 장치(1404)를 수용하도록 구성된다. 상기 모바일 장치(1404)는 도 1 내지 도 8에서 상기한 바와 같이 구현될 수 있거나, 또는 다른 어떤 적절한 장치일 수 있다.
일 실시예에서, 상기 모바일 초분광 카메라 시스템은, 예를 들면, 삼성 기어 VR과 같은 HMD에 삽입되거나, 또는 상기 초분광 카메라 시스템의 상이한 부분들이 상기 HMD 및 상기 HMD에 삽입되는 상기 스마트폰에 구현될 수 있다. 상기 HMD는 상기 카메라 시스템 상의 하나 이상의 초분광 카메라들과 정렬되는 상이한 초분광 필터들을 선택할 수 있도록 하기 위한 필터 휠(1408)을 갖는 슬리브 또는 커버(1406)를 포함할 수 있다. 대안적인 실시예에서, 상기 초분광 플래시 어레이는 상기 카메라 시스템 상에 배치되는 대신에 상기 HMD 상에 배치될 수 있다.
도 15를 참조하면, 복수의 카메라들을 갖는 초분광 카메라를 구현하는 모바일 장치의 도면이 도시되어 있다. 도 15의 장치(1500)에 따르면, 예를 들면, RGB 카메라일 수 있는 메인 카메라(302)의 일면에 제2 카메라(1502)가 제공되고, 상기 카메라(302)의 타면에 제3 카메라(1504)가 제공된다. 상기 초분광 카메라 시스템의 상기 카메라들 중 적어도 하나는 종래에 소비자 모바일 장치들에서 사용되는 바와 같은 RGB 카메라이다.추가적인 카메라들은 상기 RGB 카메라로부터의 광학 정보를 넘어서는 광학 정보를 제공하는 별개의, 아마도 중첩되는 스펙트럼 대역들에서 이미지들을 캡처한다.
일 실시예에서, 하나의 카메라는 단색 카메라와 함께 UV 필터를 사용하여 근자외선(320 nm 내지 400 nm) 스펙트럼에서의 이미지들을 캡처한다.다른 구현에서, 단색 카메라와 함께 NIR 장파 통과(long-pass) 필터를 사용하여 근적외선 또는 NIR(700 nm 내지 1000 nm) 범위에서 이미지들이 캡처된다.또한, 상기 이미지 센서의 상단에 배치된 컬러 필터 어레이를 사용하여, 다수의 스펙트럼 대역들이 단일 카메라에서 캡처될 수 있다.예를 들면, 표준 RGB 필터들과는 구별되는, 가시 스펙트럼 내에서 협대역 투과(narrowband transmission)를 나타내는 4개의 필터들이 있는 컬러 필터 어레이가 채용될 수 있다.
각 카메라의 사양, 즉, 센서 크기, 공간 해상도, 시야, 초점 거리는 상기 초분광 카메라에 의해 지원될 애플리케이션 세트에 기반하여 설계된다.예를 들면, 얼굴 피부 분석은 야간 투시(night vision) 애플리케이션보다 더 높은 센서 해상도 및 더 좁은 시야를 갖는 카메라를 요구할 것이다.또한, 상기 카메라들은 상기 모바일 호스트 장치 내에서, 선형 및 직사각형 어레이들을 포함하는, 다양한 기하학적 구성들로 배열될 수 있다.
촬영되는 물체에 제어되고 스펙트럼적으로 선택적인 조명을 제공하기 위해, 본 발명은 또한 상기 스마트폰 내에 적절한 기하학적 구성으로 내장되는 초분광 플래시 어레이의 사용을 알려 준다.상기 어레이는 원하는 파장 대역들에서 장면을 조명하기 위한 하나 이상의 플래시 광원들을 포함한다.상기 광원들에 LED 기술이 이용될 수 있다.전방을 향하는 구성에서, 도 2에 도시한 바와 같이, 최소한의 그림자로 균일한 조명을 제공하도록, 균일하게 이격된 광원들의 어레이가 상기 스마트폰의 에지 주위에 배치된다.후방을 향하는 구성에 대해서는, 상기 초분광 플래시 어레이가, 도 3 및 도 4에 각각 도시한 바와 같이, 선형 또는 원형의 기하 구조로 배치될 수 있다. 상기 초분광 플래시 어레이에서의 상기 광원들은 주어진 작업에 필요한 스펙트럼 특성을 나타내도록 선택된다.또한, 이들은 애플리케이션 및 주변 환경에 맞도록 동적으로 프로그래밍될 수 있다.예를 들면, 백색광, NIR, 및 UV 광원들을 포함하는 구성에서, 상기 UV 및 백색 광원들만 얼굴 피부 모니터링의 작업을 위해 트리거링될 수 있으며, 반면에 상기 NIR 광원만 야간 투시 또는 바이오메트릭 애플리케이션을 위해 트리거링될 수 있다.다양한 프로그램 가능한 패턴들로 광원들을 순차적으로 트리거링하는 것도 고안할 수 있다.
상기 모바일 호스트 장치는, 병렬적으로 또는 순차적으로 발생할 수 있는, 상기 초분광 플래시 어레이의 트리거링과 카메라 캡처를 조정한다.또한, 상기 장치 내의 계산 프로세서는, 화이트 밸런스, 컬러 디모자이킹(color demosaicing), 색 보정, 노이즈 감소, 및 이미지 등록을 포함하여, 필요한 이미징 동작들을 수행한다.전술한 실시예들은 상기 초분광 카메라를 호스팅하는 데 스마트폰을 사용하는 것을 알려 주고 있지만, 다른 호스트 장치들에는 태블릿, 웨어러블 장치, 및 로봇 장치가 포함된다.
전술한 바와 같이, 통상 상기 초분광 카메라 시스템에 내장되는 상기 광학 필터들은 탈착식 액세서리 패널에 수납될 수 있다. 그러한 시나리오에서, 상이한 필터들을 포함하는 상이한 액세서리 패널들은 상이한 애플리케이션들을 위해 상기 카메라 시스템에 부착될 수 있다. 예를 들면, 얼굴 피부 모니터링 애플리케이션은 UV 필터 및 광학 편광자가 있는 액세서리 패널을 필요로 할 것이다. 야간 투시(night vision) 애플리케이션을 위해, 사용자는 NIR 필터를 갖는 패널을 부착할 수 있다. 일부 구현들에서, 상기한 바와 같이 필터 휠을 갖는 슬리브가 사용될 수 있다. 일 실시예에서, 상기 초분광 카메라들 및 상기 초분광 플래시 어레이는 상기 모바일 호스트 장치에 내장된다. 다른 실시예에서, 상기 초분광 카메라들 및 상기 초분광 플래시 어레이는 물리적으로는 상기 모바일 호스트 장치와 분리되지만, 논리적 및 전자적으로는 상기 모바일 호스트 장치와 결합된다.
이제 도 16을 참조하면, 순서도는 복수의 카메라들을 갖는 초분광 카메라를 구현하는 모바일 장치를 구현하는 방법을 도시한다.블록(1602)에서, 프로세서 및 디스플레이를 포함하는 모바일 호스트 장치가 구현된다. 블록(1604)에서, 복수의 카메라들은 별개의 스펙트럼 대역들에서 이미지들을 캡처하도록 구성된다. 블록(1606)에서, 초분광 플래시 어레이는 별개의 스펙트럼 대역들에 조명을 제공하도록 구성된다. 블록(1608)에서, 상기 초분광 플래시 어레이는 작업(task), 주변 조건, 또는 상황(context)에 기반하여 트리거링된다. 두 대 이상의 카메라들과 함께 초분광 플래시를 구현함으로써, 초분광 카메라는 스마트폰과 같은 모바일 장치에 쉽게 구현될 수 있다. 예를 들면, 도 17에 도시한 바와 같이, 상기 원형 LED 어레이(402)는, 예를 들면, RGB 카메라로 구현될 수 있는 상기 메인 카메라(302)를 위한 백색광, 또는 UV 카메라일 수 있는 보조 카메라(1702)를 위한 자외선과 같이, 상이한 광 주파수의 플래시를 제공할 수 있다.
상기 시스템 및 방법들은 모바일 초분광 카메라를 사용하여 두 가지 관련된 애플리케이션들을 처리할 수 있게 한다.제1 애플리케이션은, 기미(sun spots), 여드름, 주름, 습진 등과 같이, 주의를 요하는 피부 상태의 정확하고 지속적인 모니터링이다.제2 애플리케이션은 인간 피부에 도포된 화장품의 자동적이고 신뢰할 수 있는 검출이다. 얼굴 피부 상태를 모니터링하기 위한 실시예는 초분광 카메라를 소비자 스마트폰에 통합시키는 것을 구성한다. 상기 소비자는 상기 모바일 초분광 카메라로 주기적으로, 예를 들면, 매일 또는 매주, 셀피 이미지 또는 비디오를 촬영한다.상기 이미지들은, 예를 들면, 피부 유형, 환경 온도, 습도, 및 UV 지수와 같은 상황 정보를 이용하여 분석된다.상기 분석의 결과는 피부 품질 점수(skin quality score), 시각화 맵(visualization map), 생활방식, 또는 제품 추천을 통해 제시된다.상기 분석은, 사용자가 그/그녀의 피부 관리 목표 및 진도를 추적할 수 있도록, 지속적인 피드백으로 제시된다.
이제 도 18을 참조하면, 초분광 카메라가 스마트폰에 통합된, 얼굴 피부 상태를 모니터링하는 장치가 도시되어 있다. 상기 모바일 장치의 상기 디스플레이(208)에 도시한 바와 같이, 제1 이미지는 RGB 카메라로 촬영될 수 있으며, 반면에 제2 이미지는 피부 분석을 위한 영역들을 보여줄 수 있도록 UV 카메라로 촬영될 수 있다. 도 18에 도시한 바와 같이, 상기 제2 이미지는 눈 근처의 주름 영역들(1802 및 1804) 또는 다른 피부 흠들(blemishes)(1806 및 1808)과 같은, 결함들 또는 흠들을 갖는 영역들을 포함한다. 피부 분석을 원하는 사용자는, 향상된 피부 관리에 대한 제안을 설명하는 출력이 상기 사용자에게 제공될 수 있도록, 상기 모바일 장치에 정보를 제공할 수 있다. 예로서, 피부 생물학(skin biology), 환경, 생활방식, 전문가 상담, 및 또래 집단 통계를 포함하는, 일부 개인적 상황이 제공될 수 있다. 상기 출력은 정확한 피부 분석, 지속적인 피드백, 및 제품/생활방식 추천을 포함할 수 있다.
이제 도 19를 참조하면, 피부 모니터링을 수행하기 위한 계산 단계들이 도시되어 있다. 도 19는 피부 모니터링을 수행하는 데 필요한 계산 단계들을 상세하게 설명하는 알고리즘적 실시예이다. 제1 단계에서, 랜드마크 위치인식(landmark localization) 및 색상 분할(color segmentation)과 같은 컴퓨터 비전(computer vision) 기법들이 관심 영역들(1904 내지 1906)을 검출하는 데 이용된다.얼굴 분석을 위해, 관심 영역들은 이마, 왼쪽 뺨, 오른쪽 뺨, 코, 및 턱을 포함한다.다음으로, 초분광 대역들로부터의 이미지들은 공간 정렬 회로(1908)에서 공간적으로 정렬된다.다음에, 특정 피부 상태를 결정하기 위해 또는 화장품의 존재를 검출하기 위해, 이미지 분석이 수행된다.피부 분석 회로(1910)에 의한 피부 분석이 가능하도록 이 단계에서 상황 요인들이 통합될 수 있다.예를 들면, 습도는 피부 수분량(skin hydration) 및 피지 함량(sebum content)에 영향을 줄 수 있다. 분석(1912)의 제시는 모바일 인터페이스 상에 제공된다.도 20에 도시한 바와 같이, 피드백 알림(2002)이 상기 장치의 사용자에게 제공된다.
제2 애플리케이션은, 모바일 초분광 카메라를 이용하여 인간 피부 영역들의 이미지/비디오를 캡처하는 것; 상기 인간 피부 영역들로부터 관심 영역들(ROI들)을 식별하는 것; 화장품 도포의 존재/양을 검출하기 위해 상기 ROI들을 분석하는 것; 및 모바일 디스플레이/인터페이스 상에 상황 분석을 실시간으로 제시하는 것을 포함하여, 인간 피부 상의 화장품의 존재/양을 검출하는 것을 가능하게 한다. 화장품의 제품 제조자에게 피드백을 제공하는 단계를 포함하는, 피부 모니터링을 수행하기 위한 계산 단계들이 도 21에 도시되어 있다.
도 21은 화장품의 존재 및 양을 검출하기 위한 실시예를 제공한다. 도 21의 단계들은 피부 분석이 화장품 검출 회로(2102)로 대체된 도 20의 단계들과 유사하다.도 21의 실시예에 따르면, 제품 품질 관리가 가능하도록 화장품 제조자에게 피드백을 제공하기 위해, 분석은 오프라인으로 제시된다.
도 22를 참조하면, 순서도는 장치의 디스플레이 상에 상황 분석을 제시하도록 초분광 카메라를 갖는 상기 장치를 구현하는 방법을 도시한다. 블록(2202)에서, 별개의 스펙트럼 대역들에서 피부 영역들의 이미지들이 캡처된다. 블록(2204)에서, 상기 피부 영역들로부터 관심 영역들(ROI들)이 식별된다. 블록(2206)에서, 별개의 스펙트럼 대역들에서 상기 이미지들이 공간적으로 정렬된다. 블록(2208)에서, 특정 피부 특성에 대해 상기 ROI들이 분석되며, 여기서 상기 분석은 상황 요인들을 통합하는 것을 포함한다. 블록(2210)에서, 상황 분석이 상기 모바일 장치의 디스플레이 상에 제시된다. 상기한 바와 같이, 도 22의 상기 방법은 일반적으로 피부 건강 또는 화장품에 관한 것일 수 있다.
본 발명의 하나 이상의 실시예들은 모바일 초분광 카메라를 이용하여 인간 피부 상태를 모니터링하고 인간 피부 상의 화장품을 검출하는 방법들을 개시한다. 도 23에 도시한 바와 같이, 모바일 장치는 화장품의 도포를 분석할 수 있게 한다. 상기 방법들은 초분광 이미지 캡처, 관심 영역들의 검출, 이미지 분석, 및 데이터 제시의 단계들을 포함한다. 예를 들면, 상기 시스템들 및 방법들은 화장품이 도포되었어야 하는 영역들에 화장품이 도포되지 않았는지 또는 화장품이 제거되었어야 하는 영역들에서 화장품이 제거되지 않았는지 여부를 검출할 수 있다. 상기 시스템들 및 방법들은 또한 메이크업 도포 추천 또는 메이크업 제품 추천을 제공할 수 있다.
도 24를 참조하면, 순서도는 화장품 도포를 분석할 수 있는 방법을 도시한다.보다 구체적으로, 블록(2402)에서, 별개의 스펙트럼 대역들에서 피부 영역들의 이미지 또는 비디오가 캡처된다. 블록(2404)에서, 상기 피부 영역들로부터 관심 영역들(ROI들)이 식별된다. 블록(2406)에서, 별개의 스펙트럼 대역들에서 상기 이미지 또는 비디오는 공간적으로 정렬된다.블록(2408)에서, 상기 ROI들은 화장품의 존재에 대해 분석되며, 여기서 상기 분석은 상황 요인들을 통합하는 것을 포함한다. 블록(2408)에서, 상황 분석이 모바일 디스플레이 상에 제시된다.
본 발명의 대안적인 실시예들은 다음 변형들을 포함한다: a) 모바일 장치는 스마트폰, 태블릿, 웨어러블, 또는 로봇 장치 중 하나이다; b) 초분광 이미지들은 RGB, NIR, UV 대역들을 포함한다; c) 분석은 정지 이미지(still image) 또는 비디오에 대해 수행된다; d) 피부 영역들은 얼굴, 가슴, 등, 팔, 및 다리를 포함한다; e) 이미지 분석은 스펙트럼 대역들에 걸친 공간적 이미지 정렬을 포함한다; f) 이미지 분석은 피부 특징들의 시간적 정렬 및 추적을 포함한다; g) ROI 분석은 얼굴 랜드마크들에 기반한다; h) 검출되는 화장품은 자외선 차단제, 파운데이션, 오일, 글로스(gloss), 또는 립스틱을 포함한다; i) 분석은 다음의 피부 질감 특징 기술어들(descriptors) 중 하나/이상에 기반한다: 로컬 이진 패턴, 가보(Gabor) 필터, 그레이 레벨(gray-level) 동시발생 매트릭스, 컨볼루션 신경망(convolutional neural network) 특징; j) 색상 분석은 다음의 색상 특징들 중 하나/이상에 기반한다: RGB, HSV, 및 휘도에서의 1차, 2차, 3차 모멘트들(moments); k) 피부 분석은 전면(front-surface) 반사의 정도에 기반한다; l) 이미지 분석은 다음의 기계 학습 기법들 중 하나/이상을 채용한다: 독립 성분 분석, 서포트 벡터 머신(support vector machine), 회귀 트리(regression tree), 컨볼루션 신경망, 점진적 학습(incremental learning); m) 계산 및 분석은 모바일 장치 대(vs) 클라우드에 대해 수행된다; n) 상황 요인들은 환경 온도, 습도, UV 지수, 오염, 수면 습관, 여행 패턴, 맥박을 모니터링하는 웨어러블 바이오-센서로부터의 데이터, 또는 운동을 포함한다.
모바일 장치 상에 피부 분석을 제시하는 것은 수치적 피부 품질; 증강 현실(augmented reality) 시각화, 관심 있는 피부 특징들의 강조; 시간 경과에 따른 변화를 보여주기 위한 애니메이션; 제품 추천; 생활방식 추천; 화장품 도포의 백분율 범위(percentage coverage)에 대한 점수; 피부 상의 화장품 도포의 증강 현실 시각화; 및 원격 스테이션에서 공유되는 피부 분석을 표시하는 것을 포함한다.
그러므로, 다중분광 카메라를 구현하는 새로운 장치들 및 방법들이 설명되었음을 알 수 있다. 본 발명이 속하는 기술분야의 숙련된 자라면 개시된 발명을 포함하는 많은 대안들 및 균등물들이 존재할 수 있음을 알 것이다. 결과적으로, 본 발명은 전술한 실시예들에 의해 제한되어서는 안 되며, 오직 다음의 청구범위에 의해서만 제한되어야 할 것이다.

Claims (22)

  1. 모바일 초분광 카메라 시스템(mobile hyperspectral camera system)에 있어서, 상기 시스템은,
    프로세서 및 디스플레이를 포함하는 모바일 호스트 장치,
    상기 프로세서에 결합되고 별개의 스펙트럼 대역들(distinct spectral bands)에서 이미지들을 캡처하도록 구성된 복수의 카메라들, 및
    상기 프로세서에 결합되고 상기 별개의 스펙트럼 대역들에 조명을 제공하도록 구성된 초분광 플래시 어레이(hyperspectral flash array)를 포함하는, 모바일 초분광 카메라 시스템.
  2. 제1 항에 있어서, 상기 모바일 호스트 장치는 스마트폰, 태블릿, 웨어러블, 또는 로봇 장치인 것인, 모바일 초분광 카메라 시스템.
  3. 제1 항에 있어서, 상기 복수의 카메라들 또는 상기 초분광 플래시 어레이 중 적어도 하나는 상기 모바일 호스트 장치에 내장되는 것인, 모바일 초분광 카메라 시스템.
  4. 제1 항에 있어서, 상기 복수의 카메라들 또는 상기 초분광 플래시 어레이 중 적어도 하나는 상기 모바일 호스트 장치의 외부에 있는 것인, 모바일 초분광 카메라 시스템.
  5. 제1 항에 있어서, 상기 복수의 카메라들 및 상기 초분광 플래시 어레이는 상기 모바일 호스트 장치의 전면(front-face)에 또는 상기 모바일 장치의 후면(rear-face)에 있는 것인, 모바일 초분광 카메라 시스템.
  6. 제1 항에 있어서, 상기 초분광 플래시 어레이는 백색광, NIR, 또는 UV 광원들을 포함하는 것인, 모바일 초분광 카메라 시스템.
  7. 제1 항에 있어서, 상기 초분광 플래시 어레이는 선형, 원형, 또는 주변적(peripheral) 기하구조를 갖는 것인, 모바일 초분광 카메라 시스템.
  8. 제1 항에 있어서, 상기 초분광 플래시 어레이는 작업(task), 주변 상태, 또는 상황(context)에 기반하여 트리거링되는 것인, 모바일 초분광 카메라 시스템.
  9. 제1 항에 있어서, 상기 복수의 카메라들은 이미지들 또는 비디오를 캡처하는 것인, 모바일 초분광 카메라 시스템.
  10. 제1 항에 있어서, 컬러 필터 어레이를 더 포함하고, 상기 컬러 필터 어레이는 상기 복수의 카메라들 중 특정한 하나 위에 있는 것인, 모바일 초분광 카메라 시스템.
  11. 제1 항에 있어서, 탈착식 슬리브(sleeve)를 더 포함하고, 상기 탈착식 슬리브는 복수의 초분광 필터들 또는 복수의 광학 편광자들(optical polarizers) 중 적어도 하나를 포함하며, 상기 복수의 초분광 필터들 및 상기 복수의 광학 편광자들 중 상기 적어도 하나는 상기 복수의 카메라들 중 특정한 하나와 연관되는 것인, 모바일 초분광 카메라 시스템.
  12. 제1 항에 있어서, 상기 모바일 호스트 장치는 별개의 스펙트럼 대역들에서 피부 영역들의 이미지들 또는 비디오를 캡처하고, 상기 피부 영역들로부터 관심 영역들(regions of interest: ROIs)을 식별하는 것인, 모바일 초분광 카메라 시스템.
  13. 모바일 초분광 카메라 시스템에 있어서,
    프로세서 및 디스플레이를 포함하는 모바일 호스트 장치,
    상기 프로세서에 결합되고 별개의 스펙트럼 대역들에서 이미지들 및 비디오를 캡처하도록 구성된 카메라; 및
    상기 프로세서에 결합되고 별개의 스펙트럼 대역들에 조명을 제공하도록 구성된 초분광 플래시 어레이에 있어서, 상기 초분광 플래시 어레이는 상기 모바일 초분광 카메라 시스템의 표면 상에 분포되어 있는 것인, 초분광 플래시 어레이를 포함하는, 모바일 초분광 카메라 시스템.
  14. 제13 항에 있어서, 상기 초분광 플래시 어레이는 선형, 원형, 또는 주변적 기하구조를 갖는 것인, 모바일 초분광 카메라 시스템.
  15. 모바일 초분광 카메라 시스템을 구현하는 방법에 있어서, 상기 방법은:
    프로세서 및 디스플레이를 포함하는 모바일 호스트 장치를 구현하는 단계;
    복수의 카메라들을 상기 프로세서에 결합하는 단계에 있어서, 상기 복수의 카메라들은 별개의 스펙트럼 대역들에서 이미지들을 캡처하도록 구성되는 것인, 단계; 및
    초분광 플래시 어레이를 상기 프로세서에 결합하는 단계에 있어서, 상기 초분광 플래시 어레이는 별개의 스펙트럼 대역들에 조명을 제공하도록 구성되는 것인, 단계를 포함하는, 모바일 초분광 카메라 시스템을 구현하는 방법.
  16. 제15 항에 있어서, 상기 초분광 플래시 어레이는 선형, 원형, 또는 주변적 기하 구조를 갖는 것인, 모바일 초분광 카메라 시스템을 구현하는 방법.
  17. 제15 항에 있어서, 작업, 주변 상태, 또는 상황에 기반하여 상기 초분광 플래시 어레이를 트리거링하는 단계를 더 포함하는, 모바일 초분광 카메라 시스템을 구현하는 방법.
  18. 초분광 카메라 시스템을 이용하여 피부를 모니터링하는 방법에 있어서, 상기 방법은:
    별개의 스펙트럼 대역들에서 피부 영역들의 이미지들을 캡처하는 단계;
    상기 피부 영역들로부터 관심 영역들(ROI들)을 식별하는 단계;
    별개의 스펙트럼 대역들에서 상기 이미지들을 공간적으로 정렬하는 단계;
    특정 피부 특성에 대해 상기 ROI들을 분석하는 단계에 있어서, 상기 분석단계는 상황 요인들(contextual factors)을 통합하는(incorporating) 단계를 포함하는 것인, 단계; 및
    상기 초분광 카메라 시스템의 디스플레이 상에 상황 분석(contextual analysis)을 제시하는 단계를 포함하는, 초분광 카메라 시스템을 이용하여 피부를 모니터링하는 방법.
  19. 제18 항에 있어서, 특정 피부 특성에 대해 상기 ROI들을 분석하는 단계는 특정 피부 상태 또는 화장품의 존재에 대해 상기 ROI들을 분석하는 단계를 포함하는 것인, 초분광 카메라 시스템을 이용하여 피부를 모니터링하는 방법.
  20. 제18 항에 있어서, 상기 상황 요인들은 피부 생물학(skin biology), 환경, 생활방식, 전문가 상담, 또는 또래 집단 통계를 포함하는 것인, 초분광 카메라 시스템을 이용하여 피부를 모니터링하는 방법.
  21. 초분광 카메라 시스템을 이용하여 피부를 모니터링하는 방법에 있어서, 상기 방법은:
    별개의 스펙트럼 대역들에서 피부 영역들의 이미지 또는 비디오를 캡처하는 단계;
    상기 피부 영역들로부터 관심 영역들(ROI들)을 식별하는 단계;
    별개의 스펙트럼 대역들에서 상기 이미지 또는 비디오를 공간적으로 정렬하는 단계;
    화장품의 존재에 대해 상기 ROI들을 분석하는 단계에 있어서, 상기 분석단계는 상황 요인들을 통합하는 단계를 포함하는 것인, 단계; 및
    상기 초분광 카메라 시스템 상에 상황 분석을 제시하는 단계를 포함하는, 초분광 카메라 시스템을 이용하여 피부를 모니터링하는 방법.
  22. 제21 항에 있어서, 화장품의 존재에 대해 상기 ROI들을 분석하는 단계는 화장품이 도포되지 않은 곳을 결정하는 단계를 포함하는 것인, 초분광 카메라 시스템을 이용하여 피부를 모니터링하는 방법.
KR1020187028390A 2016-04-25 2017-03-09 모바일 초분광 카메라 시스템 및 모바일 초분광 카메라 시스템을 이용한 인간 피부 모니터링 KR102146561B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662327338P 2016-04-25 2016-04-25
US201662327342P 2016-04-25 2016-04-25
US62/327,338 2016-04-25
US62/327,342 2016-04-25
US15/397,982 2017-01-04
US15/397,982 US11134848B2 (en) 2016-04-25 2017-01-04 Mobile hyperspectral camera system and human skin monitoring using a mobile hyperspectral camera system
PCT/KR2017/002555 WO2017188589A2 (en) 2016-04-25 2017-03-09 Mobile hyperspectral camera system and human skin monitoring using a mobile hyperspectral camera system

Publications (2)

Publication Number Publication Date
KR20180112100A true KR20180112100A (ko) 2018-10-11
KR102146561B1 KR102146561B1 (ko) 2020-08-20

Family

ID=60089218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187028390A KR102146561B1 (ko) 2016-04-25 2017-03-09 모바일 초분광 카메라 시스템 및 모바일 초분광 카메라 시스템을 이용한 인간 피부 모니터링

Country Status (4)

Country Link
US (1) US11134848B2 (ko)
EP (1) EP3420718B1 (ko)
KR (1) KR102146561B1 (ko)
WO (1) WO2017188589A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11323637B2 (en) 2019-12-05 2022-05-03 Samsung Electronics Co., Ltd. Dual camera module including hyperspectral camera module, apparatuses including dual camera module, and method of operating the same
KR20230096760A (ko) * 2021-12-23 2023-06-30 삼성전자주식회사 자외선 차단 물질을 검출하는 장치 및 이를 포함하는 모바일 디바이스

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179844B2 (en) 2011-11-28 2015-11-10 Aranz Healthcare Limited Handheld skin measuring or monitoring device
GB2526270B (en) * 2014-05-16 2018-08-22 Pre Chasm Res Ltd Examining vehicle glass defects
US10509954B2 (en) * 2016-02-10 2019-12-17 Intel Corporation Method and system of image segmentation refinement for image processing
US10013527B2 (en) 2016-05-02 2018-07-03 Aranz Healthcare Limited Automatically assessing an anatomical surface feature and securely managing information related to the same
CN107438165A (zh) * 2016-05-25 2017-12-05 鸿富锦精密电子(郑州)有限公司 具有自拍辅助功能的电子装置及自拍辅助方法
US11116407B2 (en) * 2016-11-17 2021-09-14 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
US10237461B2 (en) 2017-03-01 2019-03-19 Intel Corporation Dual form factor devices having operative and complementary aligning components
EP4183328A1 (en) 2017-04-04 2023-05-24 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
CN108701363B (zh) * 2017-07-07 2021-06-29 广东虚拟现实科技有限公司 使用多相机识别和追踪对象的方法、设备和***
US20190020411A1 (en) * 2017-07-13 2019-01-17 Qualcomm Incorporated Methods and apparatus for efficient visible light communication (vlc) with reduced data rate
EP3501378A1 (en) * 2017-12-22 2019-06-26 Koninklijke Philips N.V. Mounting device, mounting device template, detection system amd method of use thereof
EP3531092A1 (en) 2018-02-27 2019-08-28 InterDigital CE Patent Holdings Image capture device and method for detecting a material in areas of a scene
KR102525937B1 (ko) * 2018-03-20 2023-04-28 삼성전자주식회사 복수의 광원을 포함하는 전자 장치
US10907796B2 (en) * 2018-04-27 2021-02-02 G & S Innovations, LLC Cooperative light show
WO2019227601A1 (zh) * 2018-05-29 2019-12-05 Pan Xiaoyong 防晒霜涂抹痕迹检测设备及app
CN109363634A (zh) * 2018-10-08 2019-02-22 蔡义文 皮肤的测评方法、装置、手机、计算机设备及存储介质
CN111199171B (zh) * 2018-11-19 2022-09-23 荣耀终端有限公司 一种皱纹检测方法和终端设备
EP3667617A1 (en) * 2018-12-14 2020-06-17 Koninklijke Philips N.V. Imaging system and imaging method
CN109949320B (zh) * 2019-03-20 2020-12-11 哈尔滨工业大学 基于熵与互信息的高光谱图像超像元分割方法
WO2020234653A1 (en) 2019-05-20 2020-11-26 Aranz Healthcare Limited Automated or partially automated anatomical surface assessment methods, devices and systems
US11442281B2 (en) * 2019-11-18 2022-09-13 Google Llc Systems and devices for controlling camera privacy in wearable devices
CN110798602B (zh) * 2019-11-29 2022-08-19 维沃移动通信有限公司 摄像模组、电子设备、拍摄控制方法及装置
CN112911094A (zh) * 2019-12-04 2021-06-04 索尼半导体解决方案公司 电子设备
FR3104873B1 (fr) * 2019-12-16 2023-05-26 Tangram Image Sensor Terminal communiquant avec imageur perfectionné
US20210201008A1 (en) * 2019-12-31 2021-07-01 L'oreal High-resolution and hyperspectral imaging of skin
JPWO2021186979A1 (ko) * 2020-03-18 2021-09-23
KR20220100365A (ko) 2021-01-08 2022-07-15 한국전자통신연구원 신경망을 이용한 초분광 이미징 시스템
US20220257173A1 (en) * 2021-02-17 2022-08-18 Optum Technology, Inc. Extended-reality skin-condition-development prediction and visualization
US11480470B2 (en) * 2021-03-15 2022-10-25 Kenneth James Hintz Imaging sensor calibration
WO2023275809A1 (en) * 2021-06-30 2023-01-05 Baracoda Imaging systems and methods of use thereof
EP4297393A1 (en) * 2022-06-21 2023-12-27 Nokia Technologies Oy Object-dependent image illumination

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140293091A1 (en) * 2012-05-21 2014-10-02 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US20150044098A1 (en) * 2012-01-30 2015-02-12 Scanadu Incorporated Hyperspectral imaging systems, units, and methods

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050270528A1 (en) 1999-04-09 2005-12-08 Frank Geshwind Hyper-spectral imaging methods and devices
WO2004055756A1 (ja) 2002-12-18 2004-07-01 Fujitsu Limited 秘密鍵を用いた耐タンパ楕円曲線暗号処理
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8369650B2 (en) 2003-09-30 2013-02-05 DigitalOptics Corporation Europe Limited Image defect map creation using batches of digital images
US8154612B2 (en) 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
WO2007103795A1 (en) 2006-03-02 2007-09-13 Johnson & Johnson Consumer Companies, Inc. Method for demonstrating pre-emergent pimples
US8849380B2 (en) 2007-11-26 2014-09-30 Canfield Scientific Inc. Multi-spectral tissue imaging
WO2010012448A2 (en) 2008-07-30 2010-02-04 Fotonation Ireland Limited Automatic face and skin beautification using face detection
US8406859B2 (en) * 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
DE102008048409A1 (de) 2008-09-23 2010-03-25 Megasun Invest Ag Verfahren und Vorrichtung zur Haarentfernung
US9602793B2 (en) 2009-12-09 2017-03-21 Imagination Technologies Limited Skin tone detection in a digital camera
JP5701005B2 (ja) 2010-10-15 2015-04-15 キヤノン株式会社 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
FR2985064B1 (fr) 2011-12-23 2016-02-26 Oreal Procede pour delivrer un conseil cosmetique
US8908904B2 (en) 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
WO2013136403A1 (ja) 2012-03-15 2013-09-19 パナソニック株式会社 画像処理装置、集積回路、プログラム、撮像装置、表示装置
RU2616653C2 (ru) 2012-06-05 2017-04-18 Хайпермед Имэджинг, Инк. Способы и устройство для соосного формирования изображения с множеством длин волн
JP2014030070A (ja) 2012-07-31 2014-02-13 Hitachi Ltd 監視カメラ制御装置
EP2906158A4 (en) 2012-10-12 2016-06-01 Syneron Beauty Ltd METHOD AND SYSTEM FOR COSMETIC SKIN TREATMENT PROCESS FOR HOME USE
US20140213909A1 (en) 2013-01-31 2014-07-31 Xerox Corporation Control-based inversion for estimating a biological parameter vector for a biophysics model from diffused reflectance data
US9619883B2 (en) * 2013-03-15 2017-04-11 Hypermed Imaging, Inc. Systems and methods for evaluating hyperspectral imaging data using a two layer media model of human tissue
US20140316235A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Skin imaging and applications
CN105393252B (zh) 2013-04-18 2019-04-19 数字标记公司 生理数据采集和分析
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
KR102052553B1 (ko) 2013-05-14 2019-12-05 삼성전자주식회사 이미징 시스템 및 그것의 자동초점 방법
WO2014189613A1 (en) 2013-05-24 2014-11-27 Intel Corporation Skin tone tuned image enhancement
US10182757B2 (en) 2013-07-22 2019-01-22 The Rockefeller University System and method for optical detection of skin disease
JP6077960B2 (ja) 2013-07-24 2017-02-08 日本電子株式会社 球面収差補正装置、球面収差補正方法、および荷電粒子線装置
US20150032092A1 (en) 2013-07-26 2015-01-29 Yossef Ori ADANNY Image-based cosmetic skin treatment system
US9245196B2 (en) 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor
CN107205624B (zh) * 2014-10-29 2019-08-06 光谱Md公司 用于组织分类的反射式多光谱时间分辨光学成像方法和装备
WO2016094439A1 (en) 2014-12-08 2016-06-16 Munoz Luis Daniel Device, system and methods for assessing tissue structures, pathology, and healing
US10395300B2 (en) * 2015-12-21 2019-08-27 International Business Machines Corporation Method system and medium for personalized expert cosmetics recommendation using hyperspectral imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150044098A1 (en) * 2012-01-30 2015-02-12 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
US20140293091A1 (en) * 2012-05-21 2014-10-02 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11323637B2 (en) 2019-12-05 2022-05-03 Samsung Electronics Co., Ltd. Dual camera module including hyperspectral camera module, apparatuses including dual camera module, and method of operating the same
US11678034B2 (en) 2019-12-05 2023-06-13 Samsung Electronics Co., Ltd. Dual camera module including hyperspectral camera module, apparatuses including dual camera module, and method of operating the same
US11689786B2 (en) 2019-12-05 2023-06-27 Samsung Electronics Co., Ltd. Dual camera module including hyperspectral camera module, apparatuses including dual camera module, and method of operating the same
KR20230096760A (ko) * 2021-12-23 2023-06-30 삼성전자주식회사 자외선 차단 물질을 검출하는 장치 및 이를 포함하는 모바일 디바이스

Also Published As

Publication number Publication date
EP3420718B1 (en) 2022-02-16
WO2017188589A2 (en) 2017-11-02
EP3420718A4 (en) 2019-04-03
US11134848B2 (en) 2021-10-05
KR102146561B1 (ko) 2020-08-20
EP3420718A2 (en) 2019-01-02
WO2017188589A3 (en) 2018-08-23
US20170303790A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
KR102146561B1 (ko) 모바일 초분광 카메라 시스템 및 모바일 초분광 카메라 시스템을 이용한 인간 피부 모니터링
US10568517B2 (en) Viewing and processing multispectral images
US7477767B2 (en) Systems and methods for analyzing skin conditions of people using digital images
US8884242B2 (en) Method and system for analyzing physical conditions using digital images
CN109814719B (zh) 一种基于穿戴眼镜的显示信息的方法与设备
CN107426470A (zh) 相机模组和电子装置
CN205449295U (zh) 装置附件
WO2013036612A2 (en) Systems, devices, and methods for providing products and consultations
US20240187737A1 (en) Panoramic image capture for multispectral sensor
WO2007035829A2 (en) Systems and methods for analyzing skin conditions of people using digital images
CN113259553A (zh) 一种移动显示装置
KR101880448B1 (ko) 제스처 인식기능을 갖는 디지털 미러
CN214675342U (zh) 一种移动显示装置
CN114376491A (zh) 内窥镜成像装置及其方法、***以及电子设备
US20180137342A1 (en) Skin analyzer
WO2021075215A1 (ja) 皮膚外用剤の塗布支援を行うための方法およびシステム
WO2022185596A1 (ja) 推定システム、推定方法およびプログラム
CN115278055B (zh) 拍摄方法、拍摄装置及电子设备
KR102667267B1 (ko) 영상 획득 장치 및 이를 포함하는 전자 장치
CN214231268U (zh) 内窥镜成像装置和电子设备
US20240062388A1 (en) Regional spatial enhancement of rgb-ir image
US20230217120A1 (en) Systems, methods and computer programs for a microscope system and for determining a transformation function
US20180020144A1 (en) Skin analyzer
CN115278055A (zh) 拍摄方法、拍摄装置及电子设备
KR20110003005U (ko) 고객에게 적절한 개인용 케어 제품을 추천하기 위한 획득 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant