KR20210019826A - Ar 글래스 장치 및 그 동작 방법 - Google Patents

Ar 글래스 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20210019826A
KR20210019826A KR1020190098927A KR20190098927A KR20210019826A KR 20210019826 A KR20210019826 A KR 20210019826A KR 1020190098927 A KR1020190098927 A KR 1020190098927A KR 20190098927 A KR20190098927 A KR 20190098927A KR 20210019826 A KR20210019826 A KR 20210019826A
Authority
KR
South Korea
Prior art keywords
camera
interest
glass device
preview image
motion
Prior art date
Application number
KR1020190098927A
Other languages
English (en)
Inventor
이원우
구본곤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190098927A priority Critical patent/KR20210019826A/ko
Priority to US16/940,662 priority patent/US11490022B2/en
Publication of KR20210019826A publication Critical patent/KR20210019826A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H04N5/2353—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/23293—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

AR 글래스 장치 및 그 동작 방법이 제공된다. 본 개시에 따른 AR 글래스 장치의 동작 방법은, 상기 AR 글래스 장치의 카메라를 통해 프리뷰 영상을 획득하는 동작, 상기 AR 글래스 장치를 착용한 사용자의 시선의 방향을 추적하는 동작, 상기 추적된 시선 방향에 기초하여 상기 프리뷰 영상에서 적어도 하나의 관심 객체를 결정하는 동작, 상기 적어도 하나의 관심 객체의 움직임을 추적하여 상기 관심 객체의 움직임을 나타내는 로컬 모션 정보를 획득하는 동작, 상기 AR 글래스 장치의 움직임을 측정하는 동작, 상기 측정된 AR 글래스 장치의 움직임에 기초하여 상기 프리뷰 영상 내에 포함된 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득하는 동작, 상기 로컬 모션 정보 및 상기 글로벌 모션 정보에 기초하여, 상기 카메라의 노출 정도를 조절하는 동작 및 상기 노출 정도가 조절된 카메라를 통해 상기 AR 글래스 장치의 전방을 촬영하는 동작을 포함할 수 있다.

Description

AR 글래스 장치 및 그 동작 방법{AR GLASS APPARATUS AND OPERATING METHOD THEREOF}
본 발명은 AR 글래스 장치 및 그 동작 방법에 관한 것으로, 보다 상세하게는 촬영된 영상 내 사용자의 관심 객체 및 배경 영역의 움직임에 관한 정보, AR 글래스 장치의 움직임에 관한 정보 및 사용자의 시선 방향에 관한 정보에 기초하여, 영상을 촬영하는 카메라의 노출 정도를 조절할 수 있는 AR 글래스 장치 및 그 동작 방법에 관한 것이다.
최근 기술의 발전에 따라, 신체에 착용 가능한 다양한 형태의 웨어러블 장치가 나오고 있다. 그중 AR 글래스(Augmented Reality glass, AR glass) 장치는 사용자의 머리에 착용하는 웨어러블 장치로써, 디스플레이를 통해 시각적 정보를 제공함으로써 사용자에게 증강 현실 서비스를 제공할 수 있다.
종래의 AR 글래스 장치들은 카메라를 이용한 촬영 시 사용자의 의식적 또는 무의식적 움직임으로 인한 모션 블러(motion blur)와 같은 화질 저하의 문제점을 갖는다. 이와 같은 영상의 질적 저하는 영상 촬영 이외에도 AR 글래스 장치가 사용되는 영상 기반 객체 인식 및 SLAM(Simultaneous Localization and Mapping)과 같은 공간 매핑 기능의 수행에 대한 성능 저하를 일으킬 수 있어 문제 된다.
본 개시는 촬영된 영상 내 사용자의 관심 객체의 움직임 및 배경 영역의 움직임에 관한 정보에 기초하여 영상을 촬영하는 카메라의 노출 정도를 조절함으로써 영상의 화질 저하를 방지할 수 있는 AR 글래스 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 상기 AR 글래스 장치의 카메라를 통해 프리뷰 영상을 획득하는 동작, 상기 AR 글래스 장치를 착용한 사용자의 시선의 방향을 추적하는 동작, 상기 추적된 시선 방향에 기초하여 상기 프리뷰 영상에서 적어도 하나의 관심 객체를 결정하는 동작, 상기 적어도 하나의 관심 객체의 움직임을 추적하여, 상기 관심 객체의 움직임을 나타내는 로컬 모션 정보를 획득하는 동작, 상기 AR 글래스 장치의 움직임을 측정하는 동작, 상기 측정된 AR 글래스 장치의 움직임에 기초하여, 상기 프리뷰 영상 내에 포함된 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득하는 동작, 상기 로컬 모션 정보 및 상기 글로벌 모션 정보에 기초하여, 상기 카메라의 노출 정도를 조절하는 동작 및 상기 노출 정도가 조절된 카메라를 통해 상기 AR 글래스 장치의 전방을 촬영하는 동작을 포함하는 AR 글래스 장치의 동작 방법을 제공할 수 있다.
또한, 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제2 측면은, 카메라, 모션 센서 및 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는 상기 AR 글래스 장치의 카메라를 통해 프리뷰 영상을 획득하고, 상기 AR 글래스 장치를 착용한 사용자의 시선의 방향을 추적하고, 상기 추적된 시선 방향에 기초하여 상기 프리뷰 영상에서 적어도 하나의 관심 객체를 결정하고, 상기 적어도 하나의 관심 객체의 움직임을 추적하여, 상기 관심 객체의 움직임을 나타내는 로컬 모션 정보를 획득하고, 상기 모션 센서를 통해 상기 AR 글래스 장치의 움직임을 측정하고, 상기 측정된 AR 글래스 장치의 움직임에 기초하여, 상기 프리뷰 영상 내에 포함된 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득하고, 상기 로컬 모션 정보 및 상기 글로벌 모션 정보에 기초하여, 상기 카메라의 노출 정도를 조절하고, 상기 노출 정도가 조절된 카메라를 통해 상기 AR 글래스 장치의 전방을 촬영하는 AR 글래스 장치를 제공할 수 있다.
또한, 본 개시의 제3 측면은, 상기 AR 글래스 장치의 카메라를 통해 프리뷰 영상을 획득하는 동작, 상기 AR 글래스 장치를 착용한 사용자의 시선의 방향을 추적하는 동작, 상기 추적된 시선 방향에 기초하여 상기 프리뷰 영상에서 적어도 하나의 관심 객체를 결정하는 동작, 상기 적어도 하나의 관심 객체의 움직임을 추적하여, 상기 관심 객체의 움직임을 나타내는 로컬 모션 정보를 획득하는 동작, 상기 AR 글래스 장치의 움직임을 측정하는 동작, 상기 측정된 AR 글래스 장치의 움직임에 기초하여, 상기 프리뷰 영상 내에 포함된 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득하는 동작, 상기 로컬 모션 정보 및 상기 글로벌 모션 정보에 기초하여, 상기 카메라의 노출 정도를 조절하는 동작 및 상기 노출 정도가 조절된 카메라를 통해 상기 AR 글래스 장치의 전방을 촬영하는 동작을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.
본 개시에 의하면, 촬영된 영상 내 사용자의 관심 객체의 움직임 및 배경 영역의 움직임에 관한 정보에 기초하여 영상을 촬영하는 카메라의 노출 정도를 조절함으로써 영상의 화질 저하를 방지할 수 있는 AR 글래스 장치 및 그 동작 방법을 제공할 수 있는 효과가 있다.
도 1은 일부 실시예에 따른 AR 글래스 장치의 사용 환경을 나타낸 도면이다.
도 2는 종래의 AR 글래스 장치가 카메라의 노출 정도를 조절하는 방법을 나타낸 도면이다.
도 3은 일부 실시예에 따른 AR 글래스 장치가 카메라의 노출 정도를 조절하는 방법을 나타낸 도면이다.
도 4는 일부 실시예 따른 AR 글래스 장치가 카메라의 노출 정도를 조절하는 방법을 순서대로 나타낸 흐름도이다.
도 5는 일부 실시예 따른 AR 글래스 장치가 사용자의 시선 방향에 기초하여 관심 객체를 식별하는 방법을 나타낸 도면이다.
도 6은 일부 실시예 따른 AR 글래스 장치가 영상 내 관심 객체 및 배경 영역을 결정하는 방법을 나타낸 도면이다.
도 7은 일부 실시예 따른 AR 글래스 장치가 로컬 모션 정보 및 글로벌 모션 정보를 획득하는 방법을 나타낸 도면이다.
도 8은 일부 실시예 따른 AR 글래스 장치가 카메라의 노출 정도를 조절하기 위한 제어 명령을 생성하는 방법을 순서대로 나타낸 흐름도이다.
도 9는 일부 실시예 따른 AR 글래스 장치가 복수의 관심 객체에 대한 카메라의 노출 정도의 조절을 통해 HDR 영상을 획득하는 방법을 순서대로 나타낸 흐름도이다.
도 10은 일부 실시예 따른 AR 글래스 장치가 복수의 관심 객체에 대한 카메라의 노출 정도의 조절을 통해 HDR 영상을 획득하는 방법을 나타낸 도면이다.
도 11은 일부 실시예 따른 AR 글래스 장치의 구성을 나타낸 블록도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 일부 실시예에 따른 AR 글래스 장치의 사용 환경을 나타낸 도면이다.
도 1을 참조하면, 일부 실시예에 따른 AR 글래스 장치(1000)는 안경과 동일한 방식으로 사용자(11)의 머리에 착용 될 수 있다.
AR 글래스 장치(1000)는 디스플레이(1002)를 통해 AR 글래스 장치(1000)를 착용한 사용자(11)에게 시각적 정보를 전달할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 디스플레이(1002)를 통해 AR 글래스 장치(1000)의 제어를 위한 사용자 인터페이스, AR 글래스 장치(1000)의 상태 표시를 위한 사용자 인터페이스 등을 표시할 수 있다.
AR 글래스 장치(1000)의 디스플레이(1002)는, 예를 들어, 광학적 투시(optical see-through)가 가능한 반 반사 곡면 거울(curved mirror) 방식, 도광(light guide) 방식 또는 도파로(waveguide) 방식 중 적어도 하나의 방식을 사용할 수 있다. AR 글래스 장치(1000)는 광학적 투시가 가능한 디스플레이(1002)를 통해 입체적 이미지에 관한 정보를 전달함으로써, 사용자(11)에게 증강 현실의 경험을 제공할 수 있다.
AR 글래스 장치(1000)는 카메라(1003)를 통해 AR 글래스 장치(1000)의 전방에 위치한 적어도 하나의 객체를 포함하는 프리뷰(preview) 영상을 촬영할 수 있다. 도 1에서 AR 글래스 장치(1000)의 카메라(1003)는 AR 글래스 장치(1000)의 전면 중앙에 위치하고 있는 것으로 도시되어 있으나, 카메라(1003)의 위치가 반드시 이에 한정되는 것은 아니다.
AR 글래스 장치(1000)는, 예를 들어, 카메라(1003)를 통해 촬영된 프리뷰 영상을 분석하여, 영상에 포함된 적어도 하나의 객체를 검출할 수 있다.
카메라(1003)는, 예를 들어, RGB 이미지와 깊이(depth) 정보를 획득할 수 있는 RGB-Depth 카메라일 수 있다. 카메라(1003)는, 다른 예로, RGB 이미지를 획득할 수 있는 RGB 획득 모듈과 깊이 정보를 획득할 수 있는 깊이 획득 모듈을 포함할 수 있다. 카메라(1003)를 통해 촬영된 RGB 이미지 및 깊이 정보를 획득한 AR 글래스 장치(1000)는 카메라 좌표계(camera coordinate system)를 기준으로 영상에 포함된 적어도 하나의 객체의 3차원 위치를 획득할 수 있다.
AR 글래스 장치(1000)는 획득된 3차원 위치를 영상 좌표계(Image Coordinate System) 상의 2차원 위치로 변환할 수 있다.
카메라를 통해 획득한 RGB 이미지 및 깊이 정보를 사용하여 영상에 포함된 객체를 검출하고, 검출된 객체의 3차원 위치를 획득하는 것은 영상 처리 분야에서 통용되는 기술로서, 상기 실시예의 RGB 이미지 및 깊이 정보를 사용한 영상 분석 원리에 관한 자세한 설명은 생략하기로 한다.
도 1의 (a)를 참조하면, 일부 실시예에 따른 AR 글래스 장치(1000)가 카메라(1003)를 통해 촬영된 프리뷰 영상을 구성하는 N-1 번째 프레임의 이미지가 도시되어있다. AR 글래스 장치(1000)가 촬영하는 프리뷰 영상은, 예를 들어, AR 글래스 장치(1000)의 전방에 위치한 제1 객체(101) 및 제2 객체(103)를 포함할 수 있다.
AR 글래스 장치(1000)는 사용자(11)의 시선의 방향을 추적할 수 있다. 사용자(11)는, 예를 들어, AR 글래스 장치(1000)를 착용한 상태에서 AR 글래스 장치(1000)의 전방에 위치한 임의의 객체 또는 영역을 응시할 수 있다. AR 글래스 장치(1000)는 임의의 객체 또는 영역을 응시하고 있는 사용자(11)의 시선의 방향을 추적할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 사용자(11)의 시선의 방향이 특정 객체 또는 영역을 향하는 지속 시간, 횟수 또는 빈도 중 적어도 하나에 기초하여 사용자(11)가 특정 객체 또는 영역을 응시하고 있는 것으로 판단할 수 있다.
AR 글래스 장치(1000)는 사용자(11)의 시선 방향에 대한 추적 결과에 기초하여, 카메라(1003)를 통해 촬영된 프리뷰 영상에서 적어도 하나의 관심 객체를 결정할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 사용자(11)의 시선 방향에 대한 추적 결과에 기초하여, 사용자(11)가 응시하고 있는 적어도 하나의 객체를 식별할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 카메라(1003)를 통해 촬영된 프리뷰 영상에서 사용자(11)의 시선 방향에 대응되는 영역에 대한 영상 분석을 수행할 수 있다. AR 글래스 장치(1000)는 영상 분석 결과에 기초하여, 카메라(1003)를 통해 촬영된 프리뷰 영상에서 적어도 하나의 관심 객체를 결정할 수 있다.
즉, AR 글래스 장치(1000)는 카메라(1003)를 통해 촬영된 프리뷰 영상 및 사용자(11)의 시선 방향에 대한 추적 결과를 비교하여, 프리뷰 영상 내에서 사용자(11)가 응시하고 있는 적어도 하나의 객체의 위치 및 형태를 식별할 수 있다.
AR 글래스 장치(1000)는 사용자(11)가 응시하고 있는 적어도 하나의 객체에 대한 식별 결과에 기초하여, 카메라(1003)를 통해 촬영된 프리뷰 영상에서 적어도 하나의 관심 객체를 결정할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 사용자(11)가 기 설정된 시간 내에 두 개 이상의 객체를 응시한 것으로 판단될 경우, 사용자(11)가 응시하고 있는 두 개 이상의 객체에 대한 식별 결과에 기초하여, 카메라(1003)를 통해 촬영된 프리뷰 영상에서 두 개 이상의 관심 객체를 결정할 수 있다.
AR 글래스 장치(1000)는, 다른 예로, 사용자(11)가 두 개 이상의 객체를 각각 기 설정된 횟수 이상 응시한 것으로 판단될 경우, 사용자(11)가 응시하고 있는 두 개 이상의 객체에 대한 식별 결과에 기초하여, 카메라(1003)를 통해 촬영된 프리뷰 영상에서 두 개 이상의 관심 객체를 결정할 수 있다.
다시 도 1의 (a)를 참조하면, AR 글래스 장치(1000)는, 예를 들어, 사용자(11)의 시선 방향에 대한 추적 결과에 기초하여, 프리뷰 영상 내에서 사용자(11)가 응시하고 있는 제1 객체(101) 및 제2 객체(103)를 관심 객체로 결정할 수 있다.
AR 글래스 장치(1000)는 결정된 적어도 하나의 관심 객체의 움직임을 추적하여, 관심 객체의 움직임을 나타내는 로컬 모션 정보를 획득할 수 있다.
본 개시에서, 로컬 모션 정보는 객체의 이동에 따른 프레임 간 관심 객체의 위치 변화에 관한 정보일 수 있다. 즉, 로컬 모션 정보는 시간의 흐름에 따른 영상 내 관심 객체의 움직임에 관한 정보일 수 있다.
로컬 모션 정보는, 예를 들어, 영상 내 관심 객체의 개수, 각 관심 객체의 이동 방향, 이동 속도 또는 움직임 벡터에 관한 정보 중 적어도 하나를 포함할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 프리뷰 영상의 프레임 별로 관심 객체의 위치 변화를 추적하고, 위치 변화의 추적 결과에 기초하여 로컬 모션 정보를 획득할 수 있다.
도 1의 (b)를 참조하면, 일부 실시예에 따른 AR 글래스 장치(1000)가 카메라(1003)를 통해 촬영된 프리뷰 영상을 구성하는 N 번째 프레임의 이미지가 도시되어있다. N 번째 프레임의 이미지는, 예를 들어, AR 글래스 장치(1000)를 착용한 사용자(11)의 머리가 일정 방향으로 회전함과 동시에, 관심 객체로 결정된 제1 객체(101) 및 제2 객체(103)의 공간상 위치가 변화함에 따라, N-1 번째 프레임의 이미지와 서로 달라질 수 있다.
도 1의 (a)의 N-1 번째 프레임 및 도 1의 (b)의 N 번째 프레임을 서로 비교하면, 관심 객체로 결정된 제1 객체(101) 및 제2 객체(103)의 공간상 위치가 변화함에 따라, 프리뷰 영상 내에서의 제1 객체(101) 및 제2 객체(103)의 위치 또한 변화됨을 알 수 있다.
한편, 도 1의 (a)의 N-1 번째 프레임 및 도 1의 (b)의 N 번째 프레임을 서로 비교하면, AR 글래스 장치(1000)를 착용한 사용자(11)의 머리가 일정 방향으로 회전함에 따라, 프리뷰 영상 내에 포함된 배경의 위치 또한 변화됨을 알 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 카메라(1003)를 통해 촬영된 프리뷰 영상의 N-1 번째 프레임 및 N 번째 프레임에서 제1 객체(101) 및 제2 객체(103)의 위치 변화를 추적하고, 위치 변화의 추적 결과에 기초하여 제1 객체(101) 및 제2 객체(103)의 움직임을 나타내는 로컬 모션 정보를 획득할 수 있다.
한편, AR 글래스 장치(1000)는 모션 센서를 통해 AR 글래스 장치(1000)의 움직임을 측정할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 모션 센서를 통해 AR 글래스 장치(1000)의 위치, 방향, 속도 또는 가속도 중 적어도 하나를 측정할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 측정된 AR 글래스 장치(1000)의 움직임에 기초하여, 카메라(1003)를 통해 촬영된 프리뷰 영상 내에 포함된 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득할 수 있다.
본 개시에서, 글로벌 모션 정보는 AR 글래스 장치(1000)를 착용한 사용자(11)의 머리의 움직임에 따른 프레임 간 배경 영역의 위치 변화에 관한 정보일 수 있다. 즉, 로컬 모션 정보는 시간의 흐름에 따른 영상 내 배경 영역의 움직임에 관한 정보일 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 글로벌 모션 정보를 획득하기 위하여, 카메라(1003)를 통해 촬영된 프리뷰 영상에 포함된 배경 영역을 결정할 수 있다.
배경 영역은, 예를 들어, 카메라(1003)를 통해 촬영된 영상에 관심 객체가 포함될 경우, 촬영된 영상의 전체 영역 중 관심 객체에 대응하는 영역을 제외한 나머지 영역일 수 있다.
배경 영역은, 다른 예로, 카메라(1003)를 통해 촬영된 영상에 관심 객체가 포함되지 않을 경우, 촬영된 영상의 전체 영역과 동일한 영역일 수 있다.
글로벌 모션 정보는, 예를 들어, 영상 내 관심 배경 영역의 이동 방향, 이동 속도 또는 움직임 벡터에 관한 정보 중 적어도 하나를 포함할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, AR 글래스 장치(1000)의 움직임 측정 결과에 기초하여 배경 영역의 움직임을 추적할 수 있다. AR 글래스 장치(1000)는 카메라(1003)를 통해 촬영된 프리뷰 영상 내 배경 영역의 움직임에 대한 영상 분석을 수행할 수 있다. AR 글래스 장치(1000)는 배경 영역의 움직임에 대한 영상 분석 결과 및 AR 글래스 장치(1000)의 움직임 측정 결과에 기초하여 글로벌 모션 정보를 획득할 수 있다.
AR 글래스 장치(1000)는 로컬 모션 정보 또는 글로벌 모션 정보 중 적어도 하나에 기초하여, AR 글래스 장치(1000)의 전방을 촬영하는 카메라(1003)의 노출 정도를 조절할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 로컬 모션 정보 및 글로벌 모션 정보에 기초하여, AR 글래스 장치(1000)의 전방을 촬영하는 카메라(1003)의 노출 정도를 조절할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 획득한 글로벌 모션 정보에 기초하여, AR 글래스 장치(1000)의 움직임이 영상에 미치는 영향을 보상할 수 있다. 즉, AR 글래스 장치(1000)는 글로벌 모션 정보에 기초하여 관심 객체의 움직임을 나타내는 로컬 모션 정보에 대한 보정을 수행할 수 있다.
AR 글래스 장치(1000)의 움직임에 의한 영향이 제거된 로컬 모션 정보에 기초하여, AR 글래스 장치(1000)는 현재 프리뷰 영상 내에서 이동하는 관심 객체를 선명하게 촬영하기 위한 카메라(1003)의 적정 노출 정도를 결정할 수 있다. AR 글래스 장치(1000)는 카메라(1003)의 노출 정도를 결정된 노출 정도로 조절할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, AR 글래스 장치(1000)의 전방을 촬영하는 카메라(1003)의 ISO 값, 셔터 스피드 또는 조리개 값 중 적어도 하나를 조절할 수 있다.
카메라(1003)의 ISO 값, 셔터 스피드 및 조리개 값이 촬영된 영상에 미치는 영향은 복합적이므로, AR 글래스 장치(1000)는, 예를 들어, 카메라(1003)의 ISO 값, 셔터 스피드 또는 조리개 값 각각의 사용 가능 범위를 결정하고, 결정된 각 사용 가능 범위로부터의 최적화를 통해 카메라(1003)의 ISO 값, 셔터 스피드 또는 조리개 값 중 적어도 하나를 조절할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 결정된 관심 객체의 프리뷰 영상 내 깊이에 기초하여, 카메라(1003)의 노출 정도를 조절하기 위한 조리개 값의 사용 가능 범위를 결정할 수 있다.
AR 글래스 장치(1000)는, 다른 예로, 결정된 관심 객체의 프리뷰 영상 내 이동 속도에 기초하여, 카메라(1003)의 노출 정도를 조절하기 위한 셔터 스피드의 사용 가능 범위를 결정할 수 있다.
AR 글래스 장치(1000)는, 다른 예로, 결정된 관심 객체의 영상 내 조도에 기초하여, 카메라(1003)의 노출 정도를 조절하기 위한 ISO 값의 사용 가능 범위를 결정할 수 있다.
AR 글래스 장치(1000)는 결정된 셔터 스피드 범위, ISO 값 범위 및 조리개 값 범위에 기초하여, 카메라(1003)의 ISO 값, 셔터 스피드 또는 조리개 값 중 적어도 하나를 조절하기 위한 제어 명령을 생성할 수 있다.
AR 글래스 장치(1000)는 노출 정도가 조절된 카메라(1003)를 통해 AR 글래스 장치(1000)의 전방을 촬영할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 노출 정도가 조절된 카메라(1003)를 통해 AR 글래스 장치(1000)의 전방에 대한 정지 영상을 촬영할 수 있다.
정지 영상을 촬영하는 AR 글래스 장치(1000)는, 예를 들어, 카메라(1003)를 통해 촬영한 프리뷰(preview) 영상을 구성하는 N-1 번째 프레임의 이미지 및 N 번째 프레임의 이미지로부터 로컬 모션 정보 및 글로벌 모션 정보를 획득할 수 있다.
AR 글래스 장치(1000)는 획득된 로컬 모션 정보 및 글로벌 모션 정보에 기초하여 카메라(1003)의 노출 정도를 조절할 수 있다. AR 글래스 장치(1000)는 노출 정도가 조절된 카메라(1003)를 통해, AR 글래스 장치(1000)의 전방에 대한 정지 영상을 촬영할 수 있다.
AR 글래스 장치(1000)는, 다른 예로, 노출 정도가 조절된 카메라(1003)를 통해 AR 글래스 장치(1000)의 전방에 대한 동영상을 촬영할 수 있다.
동영상을 촬영하는 AR 글래스 장치(1000)는, 예를 들어, 카메라(1003)를 통해 촬영한 프리뷰 영상을 구성하는 N-1 번째 프레임의 이미지 및 N 번째 프레임의 이미지로부터 로컬 모션 정보 및 글로벌 모션 정보를 획득할 수 있다.
AR 글래스 장치(1000)는 획득된 로컬 모션 정보 및 글로벌 모션 정보에 기초하여 카메라(1003)의 노출 정도를 조절할 수 있다. AR 글래스 장치(1000)는 노출 정도가 조절된 카메라(1003)를 통해, AR 글래스 장치(1000)의 전방에 대한 동영상을 촬영을 시작할 수 있다.
동영상을 촬영하는 동안, AR 글래스 장치(1000)는 촬영된 동영상을 구성하는 복수의 프레임으로부터 로컬 모션 정보 및 글로벌 모션 정보를 실시간으로 획득할 수 있다. AR 글래스 장치(1000)는 촬영된 동영상으로부터 획득되는 로컬 모션 정보 및 글로벌 모션 정보에 기초하여 카메라(1003)의 노출 정도를 실시간으로 조절할 수 있다.
이하에서는 도 2 및 도 3의 실시예를 통해, 종래의 AR 글래스 장치 및 본 개시의 일부 실시예에 따른 AR 글래스 장치의 카메라 노출 정도 조절 방법 간 차이점에 대해 살펴본다.
도 2는 종래의 AR 글래스 장치가 카메라의 노출 정도를 조절하는 방법을 나타낸 도면이다.
도 2를 참조하면, 종래의 AR 글래스 장치는 일반적으로 AR 글래스 장치와 제1 객체(101) 및 제2 객체(103)가 이동하는 동안 영상의 배경을 기준으로 카메라의 노출 정도를 조절한다. 이처럼 종래의 AR 글래스 장치는 사용자가 관심을 가지는 객체의 포함 여부와 관계없이 영상의 배경을 기준으로 카메라의 노출 정도를 조절하므로, 영상 내 제1 객체(101) 및 제2 객체(103)의 형태 및 색상 등이 정확하게 나타나지 않는 문제점이 있다.
종래의 AR 글래스 장치는, 예를 들어, 상대적으로 어두운 환경에서 촬영되는 영상 내 배경의 조도를 기준으로 카메라의 노출 정도를 조절할 수 있다. 도 2의 (a) 및 (b)를 참조하면, 종래의 AR 글래스 장치가 상대적으로 어두운 환경에서 촬영되는 영상 내 배경의 조도를 기준으로 카메라의 노출 정도를 높임에 따라, 영상 내 객체에 대한 과다 노출이 발생하는 일 예가 도시되어 있다. 과다 노출이 발생함에 따라, 영상 내 제1 객체(101) 및 제2 객체(103)의 형태 또는 색상 중 적어도 하나는 실제와 다르게 표시될 수 있다.
종래의 AR 글래스 장치는, 다른 예로, 상대적으로 밝은 환경에서 촬영되는 영상 내 배경의 조도를 기준으로 카메라의 노출 정도를 조절할 수 있다. 도 2의 (c) 및 (d)를 참조하면, 종래의 AR 글래스 장치가 상대적으로 밝은 환경에서 촬영되는 영상 내 배경의 조도를 기준으로 카메라의 노출 정도를 낮춤에 따라, 영상 내 객체에 대한 과소 노출이 발생하는 일 예가 도시되어 있다. 과소 노출이 발생함에 따라, 영상 내 제1 객체(101) 및 제2 객체(103)의 형태 또는 색상 중 적어도 하나는 실제와 다르게 표시될 수 있다.
즉, 종래의 AR 글래스 장치는 영상의 배경을 기준으로 카메라의 노출 정도를 조절하는 것이 일반적이며, 결국 영상 내에서 사용자가 관심을 가지는 객체의 화질이 저하될 수 있는 문제점이 있다.
도 3은 일부 실시예에 따른 AR 글래스 장치가 카메라의 노출 정도를 조절하는 방법을 나타낸 도면이다.
일부 실시예에 따른 AR 글래스 장치(1000)는 AR 글래스 장치(1000)와 제1 객체(101) 및 제2 객체(103)가 이동하는 동안, 사용자(11)의 시선 방향에 대한 추적 결과에 기초하여 제1 객체(101) 및 제2 객체(103)를 관심 객체로 결정할 수 있다.
AR 글래스 장치(1000)는 관심 객체인 제1 객체(101) 및 제2 객체(103)가 이동하는 동안, 관심 객체에 대한 로컬 모션 정보 등에 기초하여 카메라(1003)의 노출 정도를 조절함으로써, 영상 내 제1 객체(101) 및 제2 객체(103)의 형태 및 색상 등을 정확하게 나타낼 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 상대적으로 어두운 환경에서 촬영되는 영상 내의 관심 객체를 기준으로 카메라(1003)의 노출 정도를 조절할 수 있다. 도 3의 (a) 및 (c)를 참조하면, AR 글래스 장치(1000)는 상대적으로 어두운 환경에서 촬영되는 제1 객체(101) 및 제2 객체(103)를 기준으로 카메라(1003)의 노출 정도를 높임에 따라, 관심 객체에 대한 적정 노출을 통해 영상을 촬영할 수 있다.
AR 글래스 장치(1000)는, 다른 예로, 상대적으로 밝은 환경에서 촬영되는 영상 내의 관심 객체를 기준으로 카메라(1003)의 노출 정도를 조절할 수 있다. 도 3의 (b) 및 (c)를 참조하면, AR 글래스 장치(1000)는 상대적으로 밝은 환경에서 촬영되는 제1 객체(101) 및 제2 객체(103)를 기준으로 카메라(1003)의 노출 정도를 낮춤에 따라, 관심 객체에 대한 적정 노출을 통해 영상을 촬영할 수 있다.
즉, 본 개시의 AR 글래스 장치(1000)는, 종래의 AR 글래스 장치와 달리, 사용자가 관심을 가지고 있는 개체를 기준으로 카메라(1003)의 노출 정도를 조절함으로써, 영상 내에서 사용자가 관심을 가지는 객체에 대한 화질 저하를 방지할 수 있는 장점을 갖는다.
도 4는 일부 실시예 따른 AR 글래스 장치가 카메라의 노출 정도를 조절하는 방법을 순서대로 나타낸 흐름도이다.
도 4를 참조하면, S400 단계에서, AR 글래스 장치(1000)는 AR 글래스 장치(1000)의 카메라를 통해 프리뷰 영상을 획득할 수 있다.
S401 단계에서, AR 글래스 장치(1000)는 AR 글래스 장치(1000)를 착용한 사용자(11)의 시선의 방향을 추적할 수 있다.
S402 단계에서, AR 글래스 장치(1000)는 추적된 시선 방향에 기초하여, 프리뷰 영상에서 적어도 하나의 관심 객체를 결정할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 프리뷰 영상에서 추적된 시선 방향에 대응되는 영역에 대한 영상 분석에 기초하여, 프리뷰 영상 내에서 관심 객체를 결정할 수 있다.
S403 단계에서, AR 글래스 장치(1000)는 결정된 적어도 하나의 관심 객체의 움직임을 추적하여, 관심 객체의 움직임을 나타내는 로컬 모션 정보를 획득할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 프리뷰 영상의 프레임 별 관심 객체의 위치 변화를 추적하고, 위치 변화의 추적 결과에 기초하여 로컬 모션 정보를 획득할 수 있다.
S404 단계에서, AR 글래스 장치(1000)는 모션 센서를 통해 AR 글래스 장치(1000)의 움직임을 측정할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 모션 센서(1005)를 제어하여 AR 글래스 장치(1000)의 위치, 방향, 속도 또는 가속도 중 적어도 하나를 측정할 수 있다.
S405 단계에서, AR 글래스 장치(1000)는 측정된 AR 글래스 장치(1000)의 움직임에 기초하여, 프리뷰 영상 내에 포함된 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 프리뷰 영상에 포함된 배경 영역을 결정하고, AR 글래스 장치(1000)의 움직임 측정 결과에 기초하여 배경 영역의 움직임을 추적할 수 있다. AR 글래스 장치(1000)는 배경 영역의 움직임 추적 결과에 기초하여 글로벌 모션 정보를 획득할 수 있다.
S406 단계에서, AR 글래스 장치(1000)는 획득된 로컬 모션 정보 및 글로벌 모션 정보에 기초하여, AR 글래스 장치(1000)의 전방을 촬영하는 카메라(1003)의 노출 정도를 조절할 수 있다. AR 글래스 장치(1000)는, 예를 들어, AR 글래스 장치(1000)의 전방을 촬영하는 카메라(1003)의 노출 정도를 조절하기 위해, 카메라(1003)의 ISO 값, 셔터 스피드 또는 조리개 값 중 적어도 하나를 조절할 수 있다.
S407 단계에서, AR 글래스 장치(1000)는 노출 정도가 조절된 카메라(1003)를 통해 AR 글래스 장치(1000)의 전방을 촬영할 수 있다.
도 5는 일부 실시예 따른 AR 글래스 장치가 사용자의 시선 방향에 기초하여 관심 객체를 식별하는 방법을 나타낸 도면이다.
일 실시예에 따른 AR 글래스 장치(1000)는 카메라(1003)를 통해 촬영된 프리뷰 영상의 전체 영역 중 사용자(11)의 시선 방향에 대응되는 영역에 대한 영상 분석에 기초하여 관심 객체를 결정할 수 있다.
도 5의 (a)를 참조하면, AR 글래스 장치(1000)는 프리뷰 영상의 전체 영역 중 사용자(11)의 시선 방향에 대응되는 영역을 결정할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 프리뷰 영상의 전체 영역을 소정의 면적을 갖는 블록 단위로 분할할 수 있다. AR 글래스 장치(1000)는 분할된 블록 중 사용자(11)의 시선 방향에 대응되는 블록을 관심 객체에 대응되는 영역(501)으로 결정할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 별도의 광원을 통해 생성된 광을 사용자(11)의 눈에 투사하는 방식을 사용하여 사용자(11)의 시선의 방향을 결정할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 사용자(11)의 시선의 방향을 결정하기 위한 적외선 광원 및 광 감지 센서를 더 포함할 수 있다. AR 글래스 장치(1000)는 적외선 광원에 의해 발생된 광을 사용자(11)의 눈에 투사하고, 광 감지 센서를 통해 사용자(11)의 눈의 각막으로부터 반사되는 광의 광량을 측정하여 광의 반사 각도를 결정할 수 있다. AR 글래스 장치(1000)는 결정된 광의 반사 각도에 기초하여 사용자(11)의 시선의 방향을 결정할 수 있다.
AR 글래스 장치(1000)는, 다른 예로, 사용자(11)의 시선의 방향을 결정하기 위한 근적외선 광원 및 시선 방향 추적용 카메라를 더 포함할 수 있다. AR 글래스 장치(1000)는 근적외선 광원에 의해 발생된 광을 사용자(11)의 눈에 투사하고, 시선 방향 추적용 카메라를 사용하여 사용자(11)의 눈동자의 위치 및 사용자(11)의 눈에 맺히는 광의 위치를 식별할 수 있다. AR 글래스 장치(1000)는 식별된 사용자(11)의 눈동자 및 사용자(11)의 눈에 맺히는 광 사이의 상대적인 위치에 기초하여 사용자(11)의 시선의 방향을 결정할 수 있다.
상기에서는 AR 글래스 장치(1000)가 사용자(11)의 시선의 방향을 결정하기 위해 별도의 광원을 통해 생성된 광을 사용자(11)의 눈에 투사하는 방식을 사용하는 실시예에 대해 설명하였으나, AR 글래스 장치(1000)가 시선 추적을 위해 사용하는 방식이 반드시 이에 한정되는 것은 아니다.
도 5의 (b)를 참조하면, AR 글래스 장치(1000)는 관심 객체에 대응되는 영역(501)에 객체가 포함되어있는지 여부를 판단할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 카메라(1003)를 통해 촬영된 프리뷰 영상으로부터 획득되는 프레임 별 이미지 간 비교 결과에 기초하여, 프레임 별 이미지에 포함된 객체를 추출할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 카메라(1003)를 통해 촬영된 프리뷰 영상의 프레임 별 RGB 이미지의 색상을 비교하여 색상 차를 획득하고, 획득된 색상 차에 기초하여 프레임 별 이미지에서 객체를 추출할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 관심 객체에 대응되는 영역(501) 및 영상에 대한 분석을 통한 객체 검출 결과를 비교하여, 관심 객체에 대응되는 영역(501)에 객체의 적어도 일부가 포함되어있는지 여부를 판단할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 관심 객체에 대응되는 영역(501)에 일부 영역이 포함되어있는 제1 객체(101)를 관심 객체로 결정할 수 있다.
도 6은 일부 실시예 따른 AR 글래스 장치가 영상 내 관심 객체 및 배경 영역을 결정하는 방법을 나타낸 도면이다.
일 실시예에 따른 AR 글래스 장치(1000)는 프리뷰 영상의 전체 영역 중 사용자(11)의 시선 방향에 대응되는 영역에 대한 영상 분석에 기초하여 관심 객체를 결정할 수 있다.
도 6의 (a)를 참조하면, AR 글래스 장치(1000)가 관심 객체로 결정한 제1 객체(101)가 음영으로 표시되어있다. AR 글래스 장치(1000)는 관심 객체인 제1 객체(101)의 움직임을 추적하여 제1 객체(101)의 움직임을 나타내는 로컬 모션 정보를 획득할 수 있다.
한편, AR 글래스 장치(1000)는, 예를 들어, 프리뷰 영상의 전체 영역 중 관심 객체에 대응되는 영역을 제외한 나머지 영역을 배경 영역으로 결정할 수 있다.
도 6의 (b)를 참조하면, AR 글래스 장치(1000)가 관심 객체로 결정한 제1 객체(101)에 대응되는 영역을 제외한 나머지 영역인 배경 영역(111)이 음영으로 표시되어 있다. AR 글래스 장치(1000)는 배경 영역(111)의 움직임을 추적하여 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득할 수 있다.
한편, AR 글래스 장치(1000)는, 다른 예로, 프리뷰 영상의 전체 영역에 대하여 관심 객체인 제1 객체(101)가 차지하는 영역의 비율에 기초하여, 촬영된 영상의 전체 영역을 배경 영역으로 결정할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 프리뷰 영상의 전체 영역에 대하여 관심 객체인 제1 객체(101)가 차지하는 영역의 비율이 미리 설정된 임계 비율 이하일 경우, 프리뷰 영상의 전체 영역을 배경 영역으로 결정할 수 있다.
AR 글래스 장치(1000)는 영상의 전체 영역을 배경 영역으로 결정한 경우, 프리뷰 영상의 전체 영역의 움직임을 추적하여 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득할 수 있다.
도 7은 일부 실시예 따른 AR 글래스 장치가 로컬 모션 정보 및 글로벌 모션 정보를 획득하는 방법을 나타낸 도면이다.
도 7의 (a)를 참조하면, 일부 실시예에 따른 AR 글래스 장치(1000)가 카메라(1003)를 통해 촬영한 프리뷰 영상을 구성하는 N-1 번째 프레임의 이미지가 도시되어있다. N-1 번째 프레임의 이미지는, 예를 들어, 관심 객체로 결정된 제1 객체(101)를 포함할 수 있다.
도 7의 (b)를 참조하면, 일부 실시예에 따른 AR 글래스 장치(1000)가 카메라(1003)를 통해 촬영한 프리뷰 영상을 구성하는 N 번째 프레임의 이미지가 도시되어있다. N 번째 프레임의 이미지는, 예를 들어, AR 글래스 장치(1000)를 착용한 사용자(11)의 머리가 일정 방향으로 회전하고, 관심 객체로 결정된 제1 객체(101) 공간상 위치가 변화함에 따라, N-1 번째 프레임의 이미지와 서로 달라질 수 있다.
즉, 도 7의 (a) 및 도 7의 (b)를 비교하면, 관심 객체로 결정된 제1 객체(101)가 공간 상에서 이동함에 따라 영상 내 제1 객체(101)의 위치는 우측 하단으로 이동하였으며, AR 글래스 장치(1000)를 착용한 사용자(11)의 머리가 우측 방향으로 회전함에 따라 배경 영역에 해당하는 벽의 위치는 좌측으로 이동하였음을 알 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 프리뷰 영상의 N-1 번째 프레임 및 N 번째 프레임에서 제1 객체(101)의 위치 변화를 추적하고, 위치 변화의 추적 결과에 기초하여 제1 객체(101)의 움직임을 나타내는 로컬 모션 정보를 획득할 수 있다.
도 7의 (c)를 참조하면, AR 글래스 장치(1000)는 시간의 흐름에 따른 프리뷰 영상 내 제1 객체(101)의 위치 변화를 감지하여, 제1 객체(101)의 움직임에 관한 로컬 모션 정보를 획득할 수 있다. 제1 객체(101)의 움직임에 관한 로컬 모션 정보는, 예를 들어, 영상 내 제1 객체(101)의 이동 방향, 이동 속도 및 움직임 벡터(701)에 관한 정보를 포함할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 프리뷰 영상의 N-1 번째 프레임 및 N 번째 프레임에서 배경 영역의 위치 변화를 추적하고, 위치 변화의 추적 결과에 기초하여 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득할 수 있다.
도 7의 (d)를 참조하면, AR 글래스 장치(1000)는 시간의 흐름에 따른 프리뷰 영상 내 배경 영역의 위치 변화를 감지하여, 배경 영역의 움직임에 관한 글로벌 모션 정보를 획득할 수 있다. 배경 영역의 움직임에 관한 글로벌 모션 정보는, 예를 들어, 배경 영역의 이동 방향, 이동 속도 및 움직임 벡터(703)에 관한 정보를 포함할 수 있다.
도 8은 일부 실시예 따른 AR 글래스 장치가 카메라의 노출 정도를 조절하기 위한 제어 명령을 생성하는 방법을 순서대로 나타낸 흐름도이다.
도 8을 참조하면, 일부 실시예에 따른 AR 글래스 장치(1000)는, S801 단계에서, 카메라(1003)를 통해 촬영된 프리뷰 영상 내의 관심 객체에 대한 노출 정도를 식별할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 카메라(1003)를 통해 촬영된 프리뷰 영상을 분석하여, 프리뷰 영상 내의 관심 객체에 대한 측광 정보를 획득할 수 있다. AR 글래스 장치(1000)는 프리뷰 영상 내 일부 영역을 차지하는 관심 객체에 대한 측광을 통해 측광 정보를 생성할 수 있다. AR 글래스 장치(1000)는 생성된 관심 객체에 대한 측광 정보에 기초하여, 카메라(1003)의 관심 객체에 대한 현재의 노출 정도를 식별할 수 있다.
S802 단계에서, AR 글래스 장치(1000)는 조도 센서를 통해 측정된 AR 글래스 장치(1000)의 주변의 조도 및 관심 객체에 대한 노출 정도에 기초하여 셔터 스피드 범위를 결정할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 조도 센서를 통해 측정된 AR 글래스 장치(1000)의 주변의 조도 및 관심 객체에 대한 노출 정도를 비교하여, 관심 객체의 이동 속도에 적합한 셔터 스피드 범위를 결정할 수 있다.
결정된 셔터 스피드 범위는, 조도 센서를 통해 측정된 AR 글래스 장치(1000)의 주변의 조도에 대응하여, 관심 객체의 형태 및 색상이 명확하게 드러날 수 있도록 노출 정도를 조절함과 동시에, 관심 객체에 대한 모션 블러의 발생을 방지할 수 있는 복수의 셔터 스피드를 포함할 수 있다.
S803 단계에서, AR 글래스 장치(1000)는 결정된 셔터 스피드 범위에 기초하여 ISO 값 범위를 결정할 수 있다. 결정된 ISO 값 범위는, 예를 들어, 조도 센서를 통해 측정된 AR 글래스 장치(1000)의 주변의 조도 및 결정된 셔터 스피드 범위 내에서 영상의 노이즈를 소정의 임계치 이하로 줄일 수 있는 복수의 ISO 값을 포함할 수 있다.
S804 단계에서, AR 글래스 장치(1000)는 프리뷰 영상 내의 관심 객체의 깊이를 식별할 수 있다. S805 단계에서, AR 글래스 장치(1000)는 결정된 깊이에 기초하여 조리개 값 범위를 결정할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 프리뷰 영상 내의 복수의 관심 객체가 포함될 경우, 서로 다른 깊이를 갖는 복수의 관심 객체에 대한 피사계 심도(depth if filed)를 결정할 수 있다. 피사계 심도는 카메라(1003)가 선명한 영상을 찍을 수 있는, 카메라(1003)로부터 가장 가까운 곳에 위치한 관심 객체 및 가장 먼 곳에 위치한 관심 객체 사이의 거리를 의미한다. AR 글래스 장치(1000)는 결정된 피사계 심도에 기초하여 조리개 값 범위를 결정할 수 있다.
결정된 조리개 값 범위는, 예를 들어, 관심 객체에 대한 블러의 발생을 방지할 수 있는 복수의 조리개 값을 포함할 수 있다.
S806 단계에서, AR 글래스 장치(1000)는 결정된 셔터 스피드 범위, ISO 값 범위 및 조리개 값 범위에 기초하여, 카메라(1003)의 ISO 값, 셔터 스피드 또는 조리개 값 중 적어도 하나를 조절하기 위한 제어 명령을 생성할 수 있다.
도 9는 일부 실시예 따른 AR 글래스 장치가 복수의 관심 객체에 대한 카메라의 노출 정도의 조절을 통해 HDR 영상을 획득하는 방법을 순서대로 나타낸 흐름도이다.
도 9를 참조하면, 일부 실시예에 따른 AR 글래스 장치(1000)는, S901 단계에서, 추적된 사용자의 시선 방향에 기초하여, 카메라(1003)를 통해 촬영된 프리뷰 영상에서 복수의 관심 객체를 결정할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 카메라(1003)를 통해 촬영된 프리뷰 영상 및 사용자(11)의 시선 방향에 대한 추적 결과를 비교하여, 프리뷰 영상 내에서 사용자(11)가 응시하고 있는 복수의 객체의 위치 및 형태를 식별할 수 있다.
AR 글래스 장치(1000)는 사용자(11)가 응시하고 있는 복수의 객체에 대한 식별 결과에 기초하여, 카메라(1003)를 통해 촬영된 프리뷰 영상에서 복수의 관심 객체를 결정할 수 있다.
S902 단계에서, AR 글래스 장치(1000)는 각 관심 객체에 대한 로컬 모션 정보 및 글로벌 모션 정보를 결정하여 각 관심 객체 별로 카메라(1003)의 노출 정도를 조절할 수 있다.
S903 단계에서, AR 글래스 장치(1000)는 복수의 관심 객체에 대하여 다중 노출 촬영을 수행할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 각 관심 객체 별로 카메라(1003)의 노출 정도를 조절하고, 조절된 카메라(1003)의 노출 정도에 기초하여 각 관심 영역 별로 서로 다른 노출 정도를 적용하여 다중 노출 촬영을 수행할 수 있다.
S904 단계에서, AR 글래스 장치(1000)는 촬영된 다중 노출 영상을 합성할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 촬영된 다중 노출 영상을 합성하여 새로운 영상을 생성할 수 있다.
도 10은 일부 실시예 따른 AR 글래스 장치가 복수의 관심 객체에 대한 카메라의 노출 정도의 조절을 통해 HDR 영상을 획득하는 방법을 나타낸 도면이다.
일부 실시예에 따른 AR 글래스 장치(1000)는, 프리뷰 영상에 복수의 관심 객체가 포함될 경우, 각 객체에 대하여 카메라(1003)의 노출 정도를 조절하는 다중 노출 촬영을 수행하고, 촬영된 영상들을 합성하여 새로운 영상을 획득할 수 있다.
도 10의 (a)를 참조하면, AR 글래스 장치(1000)가 촬영하는 영상은, 예를 들어, AR 글래스 장치(1000)의 전방에 위치한 제1 객체(101) 및 제2 객체(103)를 포함할 수 있다.
AR 글래스 장치(1000)는 사용자(11)가 응시하고 있는 적어도 하나의 객체에 대한 식별 결과에 기초하여, 카메라(1003)를 통해 촬영된 프리뷰 영상에서 적어도 하나의 관심 객체를 결정할 수 있다. AR 글래스 장치(1000)는, 예를 들어, 사용자(11)의 시선 방향에 대한 추적 결과에 기초하여, 프리뷰 영상 내에서 사용자(11)가 응시하고 있는 제1 객체(101) 및 제2 객체(103)를 관심 객체로 결정할 수 있다.
AR 글래스 장치(1000)는 제1 객체(101) 및 제2 객체(103)의 위치 변화를 추적하고, 추적 결과에 기초하여 제1 객체(101) 및 제2 객체(103)의 움직임을 나타내는 로컬 모션 정보를 획득할 수 있다. AR 글래스 장치(1000)가 획득한 로컬 모션 정보는, 예를 들어, 제1 객체(101) 및 제2 객체(103)의 이동 방향, 이동 속도 및 움직임 벡터에 관한 정보를 포함할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 프리뷰 영상의 전체 영역 중 관심 객체로 결정된 제1 객체(101) 및 제2 객체(103)에 대응되는 영역을 제외한 나머지 영역을 배경 영역으로 결정할 수 있다.
AR 글래스 장치(1000)는 배경 영역의 움직임에 대한 영상 분석 결과 및 AR 글래스 장치(1000)의 움직임 측정 결과에 기초하여 글로벌 모션 정보를 획득할 수 있다. AR 글래스 장치(1000)가 획득한 글로벌 모션 정보는, 예를 들어, 배경 영역의 이동 방향, 이동 속도 및 움직임 벡터에 관한 정보를 포함할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 제1 객체(101) 및 제2 객체(103)의 움직임을 나타내는 로컬 모션 정보 및 배경 영역의 움직임을 나타내는 글로벌 모션 정보에 기초하여, 제1 객체(101), 제2 객체(103) 및 배경 영역 각각에 대하여 카메라(1003)의 노출 정도를 조절한 다중 노출 촬영을 수행할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 획득된 로컬 모션 정보에 기초하여, 제1 객체(101)만을 고려하여 카메라(1003)의 노출 정도를 조절할 수 있다. 즉, AR 글래스 장치(1000)는 제1 객체(101)에 대하여 노출 정도가 조절된 카메라(1003)를 사용하여 제1 객체(101), 제2 객체(103) 및 배경 영역이 모두 포함된 영상을 촬영할 수 있다.
도 10의 (c)를 참조하면, AR 글래스 장치(1000)가 제1 객체(101)에 대해 노출 정도가 조절된 카메라(1003)를 사용하여 촬영한 제1 프레임 이미지가 도시되어 있다. 제1 프레임 이미지는 제1 객체(101)에 대하여 적정한 노출 정도를 가지도록 조절된 카메라(1003)를 통해 촬영된 것이므로, 제1 프레임 이미지에서 제2 객체(103)의 형태 및 색상은 제1 객체(101)의 형태 및 색상에 비하여 상대적으로 불명확하게 표시될 수 있다.
또한, AR 글래스 장치(1000)는, 예를 들어, 획득된 로컬 모션 정보에 기초하여, 제2 객체(103)만을 고려하여 카메라(1003)의 노출 정도를 조절할 수 있다. 즉, AR 글래스 장치(1000)는 제2 객체(103)에 대하여 노출 정도가 조절된 카메라(1003)를 사용하여 제1 객체(101), 제2 객체(103) 및 배경 영역이 모두 포함된 영상을 촬영할 수 있다.
도 10의 (b)를 참조하면, AR 글래스 장치(1000)가 제2 객체(103)에 대해 노출 정도가 조절된 카메라(1003)를 사용하여 촬영한 제2 프레임 이미지가 도시되어 있다. 제2 프레임 이미지는 제2 객체(103)에 대하여 적정한 노출 정도를 가지도록 조절된 카메라(1003)를 통해 촬영된 것이므로, 제2 프레임 이미지에서 제1 객체(101)의 형태 및 색상은 제2 객체(103)의 형태 및 색상에 비하여 상대적으로 불명확하게 표시될 수 있다.
또한, AR 글래스 장치(1000)는, 예를 들어, 획득된 글로벌 모션 정보에 기초하여, 배경 영역만을 고려하여 카메라(1003)의 노출 정도를 조절할 수 있다. 즉, AR 글래스 장치(1000)는 배경 영역에 대하여 노출 정도가 조절된 카메라(1003)를 사용하여 제1 객체(101), 제2 객체(103) 및 배경 영역이 모두 포함된 영상을 촬영할 수 있다.
도 10의 (d)를 참조하면, AR 글래스 장치(1000)가 배경 영역에 대해 노출 정도가 조절된 카메라(1003)를 사용하여 촬영한 제3 프레임 이미지가 도시되어 있다. 제3 프레임 이미지는 배경 영역에 대하여 적정한 노출 정도를 가지도록 조절된 카메라(1003)를 통해 촬영된 것이므로, 제3 프레임 이미지에서 제1 객체(101) 및 제2 객체(103)의 형태 및 색상은 각각 제1 프레임 이미지 및 제2 프레임 이미지에서의 형태 및 색상에 비하여 상대적으로 불명확하게 표시될 수 있다.
다중 노출 촬영을 수행하여 제1 프레임 이미지 내지 제3 프레임 이미지를 획득한 AR 글래스 장치(1000)는 촬영된 프레임 이미지들을 합성하여 새로운 프레임 이미지를 획득할 수 있다.
AR 글래스 장치(1000)는, 예를 들어, 제1 프레임 이미지 내지 제3 프레임 이미지의 모든 영역을 합성하여 새로운 이미지를 획득할 수 있다. AR 글래스 장치(1000)는, 다른 예로, 제1 프레임 이미지 및 제2 프레임 이미지의 각 관심 객체에 대응되는 영역을 분리하고, 분리된 각 영역을 제3 프레임 이미지의 배경 영역에 합성하여 새로운 이미지를 획득할 수도 있다. 즉, AR 글래스 장치(1000)는 제1 객체(101), 제2 객체(103) 및 배경 영역 각각에 대한 적정 노출을 통해 촬영된 영상들을 합성함으로써, 제1 객체(101), 제2 객체(103) 및 배경 영역이 모두 선명하게 표시되는 영상을 획득할 수 있다.
도 11은 일부 실시예 따른 AR 글래스 장치의 구성을 나타낸 블록도이다.
도 11을 참조하면, 일부 실시예에 따른 AR 글래스 장치(1000)는 프로세서(1001), 디스플레이(1002), 카메라(1003), 통신부(1004), 모션 센서(1005), 조도 센서(1006) 및 메모리(1007)를 포함할 수 있다.
프로세서(1001)는 디스플레이(1002)를 제어하여 AR 글래스 장치(1000)에서 처리되는 정보를 표시할 수 있다. 프로세서(1001)는, 예를 들어, 디스플레이(1002)를 제어하여 AR 글래스 장치(1000)의 제어를 위한 사용자 인터페이스, AR 글래스 장치(1000)의 상태 표시를 위한 사용자 인터페이스 등을 표시할 수 있다.
프로세서(1001)는 AR 글래스 장치(1000)의 카메라(1003)를 통해 프리뷰 영상을 획득할 수 있다.
프로세서(1001)는 AR 글래스 장치(1000)를 착용한 사용자의 시선의 방향을 추적할 수 있다.
프로세서(1001)는 추적된 시선 방향에 기초하여, 프리뷰 영상에서 적어도 하나의 관심 객체를 결정할 수 있다. 프로세서(1001)는, 예를 들어, 프리뷰 영상에서 추적된 시선 방향에 대응되는 영역에 대한 영상 분석에 기초하여, 프리뷰 영상 내에서 관심 객체를 결정할 수 있다.
프로세서(1001)는 적어도 하나의 관심 객체의 움직임을 추적하여, 관심 객체의 움직임을 나타내는 로컬 모션 정보를 획득할 수 있다. 프로세서(1001)는, 예를 들어, 프리뷰 영상의 프레임 별 관심 객체의 위치 변화를 추적하고, 위치 변화의 추적 결과에 기초하여 로컬 모션 정보를 획득할 수 있다.
프로세서(1001)는 모션 센서(1005)를 제어하여 AR 글래스 장치(1000)의 움직임을 측정할 수 있다. 프로세서(1001)는, 예를 들어, 모션 센서(1005)를 제어하여 AR 글래스 장치(1000)의 위치, 방향, 속도 또는 가속도 중 적어도 하나를 측정할 수 있다.
프로세서(1001)는 측정된 AR 글래스 장치(1000)의 움직임에 기초하여, 프리뷰 영상 내에 포함된 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득할 수 있다. 프로세서(1001)는, 예를 들어, 프리뷰 영상에 포함된 배경 영역을 결정하고, AR 글래스 장치(1000)의 움직임 측정 결과에 기초하여 배경 영역의 움직임을 추적할 수 있다. AR 글래스 장치(1000)는 배경 영역의 움직임 추적 결과에 기초하여 글로벌 모션 정보를 획득할 수 있다.
프로세서(1001)는 획득된 로컬 모션 정보 및 글로벌 모션 정보에 기초하여 AR 글래스 장치(1000)의 전방을 촬영하는 카메라(1003)의 노출 정도를 조절할 수 있다.
프로세서(1001)는 조도 센서(1006)를 통해 AR 글래스 장치(1000)의 주변의 조도를 측정할 수 있다. 프로세서(1001)는 측정된 AR 글래스 장치(1000)의 주변의 조도에 기초하여 AR 글래스 장치(1000)의 전방을 촬영하는 카메라(1003)의 노출 정도를 조절할 수 있다.
프로세서(1001)는, 예를 들어, AR 글래스 장치(1000)의 전방을 촬영하는 카메라(1003)의 노출 정도를 조절하기 위해, 카메라(1003)의 ISO 값, 셔터 스피드 또는 조리개 값 중 적어도 하나를 조절할 수 있다.
프로세서(1001)는, 예를 들어, 프리뷰 영상 내의 관심 객체의 조도를 식별할 수 있다. 프로세서(1001)는 조도 센서(1006)를 통해 측정된 AR 글래스 장치(1000)의 주변의 조도 및 식별된 관심 객체의 조도를 비교하여 셔터 스피드 범위를 결정할 수 있다. 프로세서(1001)는 결정된 셔터 스피드 범위에 기초하여 ISO 값 범위를 결정할 수 있다.
프로세서(1001)는, 예를 들어, 프리뷰 영상 내의 관심 객체의 깊이를 식별하고, 결정된 깊이에 기초하여 조리개 값 범위를 결정할 수 있다.
프로세서(1001)는 결정된 셔터 스피드 범위, ISO 값 범위 및 조리개 값 범위에 기초하여, 카메라(1003)의 ISO 값, 셔터 스피드 또는 조리개 값 중 적어도 하나를 조절하기 위한 제어 명령을 생성할 수 있다. 프로세서(1001)는 생성된 제어 명령을 카메라(1003)에 전달할 수 있다.
프로세서(1001)는 노출 정도가 조절된 카메라(1003)를 제어하여 AR 글래스 장치(1000)의 전방을 촬영할 수 있다.
통신부(1004)는 외부 장치와의 통신을 위한 하나 이상의 통신 모듈을 포함할 수 있다. 통신부(1004)는, 예를 들어, 근거리 통신부, 이동 통신부를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말 또는 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
메모리(1007)는 AR 글래스 장치(1000)의 동작을 제어하기 위한 프로그램을 저장할 수 있다. 메모리(1007)는 AR 글래스 장치(1000)의 동작을 제어하기 위한 적어도 하나의 인스트럭션을 포함할 수 있다. 메모리(1007)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류될 수 있다.
메모리(1007)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크 또는 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술 분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. AR(Augmented Reality) 글래스 장치의 동작 방법에 있어서,
    상기 AR 글래스 장치의 카메라를 통해 프리뷰 영상을 획득하는 동작;
    상기 AR 글래스 장치를 착용한 사용자의 시선의 방향을 추적하는 동작;
    상기 추적된 시선 방향에 기초하여 상기 프리뷰 영상에서 적어도 하나의 관심 객체를 결정하는 동작;
    상기 적어도 하나의 관심 객체의 움직임을 추적하여, 상기 관심 객체의 움직임을 나타내는 로컬 모션 정보를 획득하는 동작;
    상기 AR 글래스 장치의 움직임을 측정하는 동작;
    상기 측정된 AR 글래스 장치의 움직임에 기초하여, 상기 프리뷰 영상 내에 포함된 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득하는 동작;
    상기 로컬 모션 정보 및 상기 글로벌 모션 정보에 기초하여, 상기 카메라의 노출 정도를 조절하는 동작; 및
    상기 노출 정도가 조절된 카메라를 통해 상기 AR 글래스 장치의 전방을 촬영하는 동작;
    을 포함하는, 방법.
  2. 제1항에 있어서,
    상기 AR 글래스 장치의 조도 센서를 이용하여, 상기 AR 글래스 장치의 주변의 조도를 측정하는 동작; 및
    측정된 상기 조도에 기초하여 상기 카메라의 노출 정도를 조절하는 동작;을 더 포함하는, 방법
  3. 제2항에 있어서,
    상기 적어도 하나의 관심 객체를 결정하는 동작은
    상기 촬영된 프리뷰 영상에서 상기 추적된 시선 방향에 대응되는 영역에 대한 영상 분석에 기초하여, 상기 촬영된 프리뷰 영상 내에서 상기 관심 객체를 결정하는 동작을 포함하는, 방법.
  4. 제2항에 있어서,
    상기 로컬 모션 정보를 획득하는 동작은
    상기 프리뷰 영상의 프레임 별 상기 관심 객체의 위치 변화를 추적하는 동작; 및
    상기 위치 변화의 추적 결과에 기초하여 상기 로컬 모션 정보를 획득하는 동작;을 포함하는, 방법.
  5. 제4항에 있어서,
    상기 글로벌 모션 정보를 획득하는 동작은
    상기 촬영된 프리뷰 영상에 포함된 상기 배경 영역을 결정하는 동작;
    상기 AR 글래스 장치의 움직임 측정 결과에 기초하여 상기 배경 영역의 움직임을 추적하는 동작; 및
    상기 배경 영역의 움직임 추적 결과에 기초하여 상기 글로벌 모션 정보를 획득하는 동작을 포함하는, 방법.
  6. 제5항에 있어서,
    상기 AR 글래스 장치의 움직임을 측정하는 동작은
    상기 AR 글래스 장치의 위치, 방향, 속도 또는 가속도 중 적어도 하나를 측정하는 것인, 방법.
  7. 제6항에 있어서,
    상기 카메라의 노출 정도를 조절하는 동작은
    상기 카메라의 ISO 값, 셔터 스피드 또는 조리개 값 중 적어도 하나를 조절하는 것인, 방법.
  8. 제7항에 있어서,
    상기 카메라의 노출 정도를 조절하는 동작은
    상기 촬영된 프리뷰 영상 내의 상기 관심 객체의 조도를 식별하는 동작;
    상기 조도 센서를 통해 측정된 상기 AR 글래스 장치의 주변의 조도 및 상기 식별된 관심 객체의 조도를 비교하여 셔터 스피드 범위를 결정하는 동작; 및
    결정된 상기 셔터 스피드 범위에 기초하여 ISO 값 범위를 결정하는 동작;을 포함하는, 방법.
  9. 제8항에 있어서,
    상기 카메라의 노출 정도를 조절하는 동작은
    상기 촬영된 프리뷰 영상 내의 상기 관심 객체의 깊이(depth)를 식별하는 동작; 및
    상기 결정된 깊이에 기초하여 조리개 값 범위를 결정하는 동작;을 더 포함하는, 방법.
  10. 제9항에 있어서,
    상기 카메라의 노출 정도를 조절하는 동작은
    결정된 상기 셔터 스피드 범위, 상기 ISO 값 범위 및 상기 조리개 값 범위에 기초하여, 상기 카메라의 ISO 값, 셔터 스피드 또는 조리개 값 중 적어도 하나를 조절하기 위한 제어 명령을 생성하는 동작을 포함하는, 방법.
  11. AR 글래스 장치에 있어서,
    카메라;
    모션 센서; 및
    적어도 하나의 프로세서;를 포함하며,
    상기 적어도 하나의 프로세서는
    상기 AR 글래스 장치의 카메라를 통해 프리뷰 영상을 획득하고, 상기 AR 글래스를 착용한 사용자의 시선의 방향을 추적하고, 상기 추적된 시선 방향에 기초하여 상기 프리뷰 영상에서 적어도 하나의 관심 객체를 결정하고, 상기 적어도 하나의 관심 객체의 움직임을 추적하여, 상기 관심 객체의 움직임을 나타내는 로컬 모션 정보를 획득하고, 상기 모션 센서를 통해 상기 AR 글래스 장치의 움직임을 측정하고, 상기 측정된 AR 글래스 장치의 움직임에 기초하여, 상기 프리뷰 영상 내에 포함된 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득하고, 상기 로컬 모션 정보 및 상기 글로벌 모션 정보에 기초하여, 상기 카메라의 노출 정도를 조절하고, 상기 노출 정도가 조절된 카메라를 통해 상기 AR 글래스 장치의 전방을 촬영하는, AR 글래스 장치.
  12. 제11항에 있어서,
    상기 AR 글래스 장치는 조도 센서를 더 포함하고,
    상기 적어도 하나의 프로세서는
    상기 조도 센서를 이용하여, 상기 AR 글래스 장치의 주변의 조도를 측정하고, 측정된 상기 조도에 기초하여 상기 카메라의 노출 정도를 조절하는, AR 글래스 장치.
  13. 제12항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 프리뷰 영상에서 상기 추적된 시선 방향에 대응되는 영역에 대한 영상 분석에 기초하여, 상기 프리뷰 영상 내에서 상기 관심 객체를 결정하는, AR 글래스 장치.
  14. 제12항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 프리뷰 영상의 프레임 별 상기 관심 객체의 위치 변화를 추적하고, 상기 위치 변화의 추적 결과에 기초하여 상기 로컬 모션 정보를 획득하는, AR 글래스 장치.
  15. 제14항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 프리뷰 영상에 포함된 상기 배경 영역을 결정하고, 상기 AR 글래스 장치의 움직임 측정 결과에 기초하여 상기 배경 영역의 움직임을 추적하고, 상기 배경 영역의 움직임 추적 결과에 기초하여 상기 글로벌 모션 정보를 획득하는, AR 글래스 장치.
  16. 제15항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 모션 센서를 통해 상기 AR 글래스 장치의 위치, 방향, 속도 또는 가속도 중 적어도 하나를 측정하는, AR 글래스 장치.
  17. 제16항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 카메라의 ISO 값, 셔터 스피드 또는 조리개 값 중 적어도 하나를 조절하여 상기 카메라의 노출 정도를 조절하는, AR 글래스 장치.
  18. 제17항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 프리뷰 영상 내의 상기 관심 객체의 조도를 식별하고, 상기 조도 센서를 통해 측정된 상기 AR 글래스 장치의 주변의 조도 및 상기 식별된 관심 객체의 조도를 비교하여 셔터 스피드 범위를 결정하고, 결정된 상기 셔터 스피드 범위에 기초하여 ISO 값 범위를 결정하여 상기 카메라의 노출 정도를 조절하는, AR 글래스 장치.
  19. 제18항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 프리뷰 영상 내의 상기 관심 객체의 깊이(depth)를 식별하고, 상기 결정된 깊이에 기초하여 조리개 값 범위를 결정하는, AR 글래스 장치.
  20. 상기 AR 글래스 장치의 카메라를 통해 프리뷰 영상을 획득하는 동작;
    상기 AR 글래스 장치를 착용한 사용자의 시선의 방향을 추적하는 동작;
    상기 추적된 시선 방향에 기초하여 상기 프리뷰 영상에서 적어도 하나의 관심 객체를 결정하는 동작;
    상기 적어도 하나의 관심 객체의 움직임을 추적하여, 상기 관심 객체의 움직임을 나타내는 로컬 모션 정보를 획득하는 동작;
    상기 AR 글래스 장치의 움직임을 측정하는 동작;
    상기 측정된 AR 글래스 장치의 움직임에 기초하여, 상기 프리뷰 영상 내에 포함된 배경 영역의 움직임을 나타내는 글로벌 모션 정보를 획득하는 동작; 및
    상기 로컬 모션 정보 및 상기 글로벌 모션 정보에 기초하여, 상기 카메라의 노출 정도를 조절하는 동작; 및
    상기 노출 정도가 조절된 카메라를 통해 상기 AR 글래스 장치의 전방을 촬영하는 동작;을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020190098927A 2019-08-13 2019-08-13 Ar 글래스 장치 및 그 동작 방법 KR20210019826A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190098927A KR20210019826A (ko) 2019-08-13 2019-08-13 Ar 글래스 장치 및 그 동작 방법
US16/940,662 US11490022B2 (en) 2019-08-13 2020-07-28 AR glass apparatus and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190098927A KR20210019826A (ko) 2019-08-13 2019-08-13 Ar 글래스 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20210019826A true KR20210019826A (ko) 2021-02-23

Family

ID=74567673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190098927A KR20210019826A (ko) 2019-08-13 2019-08-13 Ar 글래스 장치 및 그 동작 방법

Country Status (2)

Country Link
US (1) US11490022B2 (ko)
KR (1) KR20210019826A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220120266A (ko) 2021-02-23 2022-08-30 한남대학교 산학협력단 Ar 스마트 글래스 시스템
WO2022250229A1 (ko) * 2021-05-24 2022-12-01 한국과학기술연구원 응시 깊이 정보 추정 장치 및 방법
KR20230020101A (ko) 2021-08-03 2023-02-10 주식회사 엘지유플러스 Ar 글래스 시스템 및 이에 포함되는 사용자 단말기 및 그들의 제어방법
WO2023132459A1 (ko) * 2022-01-10 2023-07-13 삼성전자 주식회사 Ar 객체를 표시하는 전자 장치 및 그 방법
KR20240074499A (ko) 2022-11-21 2024-05-28 가온그룹 주식회사 Xr 디바이스의 시점 기반 콘텐츠 재생 보정 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792531B2 (en) * 2019-09-27 2023-10-17 Apple Inc. Gaze-based exposure
CN114363599A (zh) * 2022-02-24 2022-04-15 北京蜂巢世纪科技有限公司 基于电子变焦的追焦距方法、***、终端及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US20070248330A1 (en) 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
US8482620B2 (en) * 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation
TWI390970B (zh) * 2009-07-22 2013-03-21 Altek Corp Use motion detection to adjust the digital camera's shooting settings
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8379934B2 (en) * 2011-02-04 2013-02-19 Eastman Kodak Company Estimating subject motion between image frames
JP2015111746A (ja) * 2012-04-09 2015-06-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US9131150B1 (en) 2014-06-06 2015-09-08 Amazon Technologies, Inc. Automatic exposure control and illumination for head tracking
US10213105B2 (en) * 2014-12-11 2019-02-26 AdHawk Microsystems Eye-tracking system and method therefor
EP3046319A1 (en) * 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion
US10514755B2 (en) * 2015-05-08 2019-12-24 Lg Electronics Inc. Glasses-type terminal and control method therefor
JP6572004B2 (ja) * 2015-06-18 2019-09-04 オリンパス株式会社 露出制御装置および露出制御方法
WO2018005985A1 (en) 2016-06-30 2018-01-04 Thalmic Labs Inc. Image capture systems, devices, and methods that autofocus based on eye-tracking
EP3676656A4 (en) * 2018-01-18 2020-11-25 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR ADDING CONTENT WITH EXTENDED REALITY

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220120266A (ko) 2021-02-23 2022-08-30 한남대학교 산학협력단 Ar 스마트 글래스 시스템
WO2022250229A1 (ko) * 2021-05-24 2022-12-01 한국과학기술연구원 응시 깊이 정보 추정 장치 및 방법
KR20230020101A (ko) 2021-08-03 2023-02-10 주식회사 엘지유플러스 Ar 글래스 시스템 및 이에 포함되는 사용자 단말기 및 그들의 제어방법
WO2023132459A1 (ko) * 2022-01-10 2023-07-13 삼성전자 주식회사 Ar 객체를 표시하는 전자 장치 및 그 방법
KR20240074499A (ko) 2022-11-21 2024-05-28 가온그룹 주식회사 Xr 디바이스의 시점 기반 콘텐츠 재생 보정 방법

Also Published As

Publication number Publication date
US11490022B2 (en) 2022-11-01
US20210051260A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
KR20210019826A (ko) Ar 글래스 장치 및 그 동작 방법
US11073908B2 (en) Eye-tracking enabled wearable devices
US10943409B2 (en) Information processing apparatus, information processing method, and program for correcting display information drawn in a plurality of buffers
US10650533B2 (en) Apparatus and method for estimating eye gaze location
CN109557669B (zh) 头戴显示设备的图像漂移量的确定方法及头戴显示设备
JP2019506768A (ja) レンジゲート式デプスカメラ部品
US9345391B2 (en) Control device, endoscope apparatus, aperture control method, and information storage medium
JP2018004950A (ja) 映像表示システム、映像表示方法、映像表示プログラム
CN108833795B (zh) 一种图像获取设备的对焦方法及装置
US11557020B2 (en) Eye tracking method and apparatus
US9959841B2 (en) Image presentation control methods and image presentation control apparatuses
WO2021034527A1 (en) Pupil assessment using modulated on-axis illumination
CN111127537A (zh) 用于检测头戴式装置中的阴影的方法和装置
US12003691B1 (en) Camera focus adjustment
Fisunov et al. Head-mounted eye tracker based on android smartphone

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal