KR20240070172A - 황반변성 환자를 위한 프로그램 및 이를 적용한 ar 안경 - Google Patents

황반변성 환자를 위한 프로그램 및 이를 적용한 ar 안경 Download PDF

Info

Publication number
KR20240070172A
KR20240070172A KR1020220151680A KR20220151680A KR20240070172A KR 20240070172 A KR20240070172 A KR 20240070172A KR 1020220151680 A KR1020220151680 A KR 1020220151680A KR 20220151680 A KR20220151680 A KR 20220151680A KR 20240070172 A KR20240070172 A KR 20240070172A
Authority
KR
South Korea
Prior art keywords
hand
blind spot
image
glasses
macular degeneration
Prior art date
Application number
KR1020220151680A
Other languages
English (en)
Inventor
김현수
장완수
Original Assignee
김현수
장완수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김현수, 장완수 filed Critical 김현수
Priority to KR1020220151680A priority Critical patent/KR20240070172A/ko
Publication of KR20240070172A publication Critical patent/KR20240070172A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

황반변성 환자를 위한 프로그램 및 이를 적용한 AR 안경을 개시한다.
본 실시예는 황반변성이 있는 사용자가 AR 안경을 착용한 후 황반변성이 발생한 블라인드 스팟에 대응하는 영역에 대해 제스처로 지정하면 구비된 카메라로 획득한 영상을 광학 투과 디스플레이에 출력하도록 하는 황반변성 환자를 위한 프로그램 및 이를 적용한 AR 안경을 제공한다.

Description

황반변성 환자를 위한 프로그램 및 이를 적용한 AR 안경{Computer-Readable Recording Medium with Program for Age-related Macular Degeneration Patient and AR Glasses thereof}
본 발명의 일 실시예는 황반변성 환자를 위한 프로그램 및 이를 적용한 AR 안경에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
착용 가능 헤드업 디스플레이는 사용자의 머리 상에 착용되고, 그렇게 착용될 때, 사용자의 머리의 위치 또는 배향에 관계 없이 사용자의 눈들 중 적어도 하나의 볼 수 있는 영역 내에 적어도 하나의 전자 디스플레이를 고정시키는 전자 디바이스이다. 착용 가능 헤드업 디스플레이는 사용자가 표시된 콘텐츠를 보는 것을 가능하게 할 뿐만 아니라 사용자가 사용자의 외부 환경을 볼 수 있는 것을 방해하지 않는 머리 장착 디스플레이이다. 착용 가능 헤드업 디스플레이의 "디스플레이" 구성 요소는 사용자가 사용자의 외부 환경을 볼 수 있는 것을 완전히 차단하지 않도록 투명하거나 사용자의 시계의 주변에 있다. 착용 가능 헤드업 디스플레이의 예들은: 두서너 가지만 예를 들면, Google Glass, Optinvent Ora, Epson Moverio 및 Sony Glasstron을 포함한다.
대부분의 착용 가능 헤드업 디스플레이의 설계의 과제는 충분한 시각 품질로 표시된 콘텐츠를 여전히 제공하면서, 안면 착용 장치의 부피를 최소화하는 것이다. 사용자의 외부 환경을 보는 사용자의 능력을 제한하지 않고 사용자에게 고품질 이미지를 제공할 수 있는 보다 심미적으로 어필하는 설계의 착용 가능 헤드업 디스플레이에 대한 관련 분야에서의 요구가 있다.
광중합체는 광에 노출될 때, 광중합체의 물리적 특성들 중 하나 이상을 변경하는 재료이다. 변경은 구조적 및/또는 화학적을 포함한 상이한 방식으로 밝혀질 수 있다. 광중합체 재료는 홀로그램이 기록되는 필름 또는 매체로서 홀로그래피에 흔히 사용된다. 예를 들어, 광중합체 필름은 표면 부조 패턴이 광중합체 필름 내에/상에 형성되게 하도록 특정 간섭 패턴의 광으로 제어 가능하게 노출될/조명될 수 있으며, 표면 부조 패턴은 조명 광의 간섭 패턴에 순응한다. 광중합체 필름은 광중합체 재료 그 자체만을 포함할 수 있거나, 광중합체 필름은 트리아세테이트 및/또는 폴리아미드 및/또는 폴리이미드 및/또는 폴리카보네이트와 같은 기질, 및/또는 고정되거나 제거 가능한 보호 커버층 중 임의의 것 또는 모두 상에 또는 이들 사이에 수용되는 광중합체를 포함할 수 있다. DuPont HRF 광중합체 필름, Polygrama Inc.에서의 Darol™ 광중합체, 또는 Bayer AG에서의 Bayfol HX 필름과 같은 광중합체 필름의 많은 예가 오늘날 관련 분야에서 이용 가능하다.
전형적 하나의 안경 또는 선글라스는 2개의 렌즈를 포함하며, 렌즈들 중 각각의 하나는 안경/선글라스가 사용자의 머리 상에 착용될 때, 사용자의 각각의 눈 앞에 위치된다. 일부 대안적인 설계에서, 단일의 가늘고 긴 렌즈가 2개의 별개의 렌즈 대신에 사용될 수 있으며, 단일의 가늘고 긴 렌즈는 안경/선글라스가 사용자의 머리 상에 착용될 때, 사용자의 양 눈 앞에 걸쳐 이어진다. 하나의 안경의 렌즈들은 전형적으로 무색이고 광학적으로 투명한 반면에, 하나의 선글라스의 렌즈들은 전형적으로 렌즈들을 통과하는 광이 부분적으로 감쇠하도록 일부 방식으로 채색되거나 착색된다. 그러나 본 명세서의 나머지 및 첨부된 청구항들 전체에 걸쳐, "안경" 및 "선글라스"란 용어들은 특정 문맥이 달리 요구하지 않는다면, 실질적으로 상호 교환 가능하게 사용된다.
안경 렌즈는 유리, 또는 폴리카보네이트, CR-39, Hivex 또는 Trive와 같은 비유리(예를 들어, 플라스틱) 재료로 형성될 수 있다. 안경 렌즈는 본질적으로 영향을 받지 않는 광을 투과시키거나 안경 렌즈를 통과하는 이미지에 (확대와 같은) 포괄적 기능을 제공하는 비처방 렌즈일 수 있다. 대안적으로, 안경 렌즈는 투과된 광에 특정한 하나 이상의 광학 기능을 부여함으로써 사용자의 시력의 결함을 보정하는 (통상적으로 사용자 특정한) 처방 렌즈일 수 있다. 일반적으로, 안경 렌즈는 한 렌즈 (또는 한 렌즈 "블랭크(blank)")로서 시작하고 처방이 렌즈의 외향면 및/또는 내향면 중 어느 하나 또는 둘 다 상의 곡률을 의도적으로 형상화함으로써 선택적으로 적용될 수 있다. 렌즈의 내향면(즉, 착용될 때, 사용자의 눈에 가장 근접한 표면)의 곡률을 형상화함으로써 처방이 적용되는 것이, 안경의 외향 심미학이 상이한 처방을 갖는 상이한 사용자에 걸쳐 실질적으로 동질화되게 남는 것을 가능하게 하므로, 가장 통상적이다.
본 실시예는 황반변성이 있는 사용자가 AR 안경을 착용한 후 황반변성이 발생한 블라인드 스팟에 대응하는 영역에 대해 제스처로 지정하면 구비된 카메라로 획득한 영상을 광학 투과 디스플레이에 출력하도록 하는 황반변성 환자를 위한 프로그램 및 이를 적용한 AR 안경을 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 프로세서 및 메모리를 구비하는 데이터 처리기기에서, 상기 메모리에 저장되며 상기 프로세서에 의해 실행되는 프로그램은, 블라인드 스팟 설정부에서 AR 안경의 광학 렌즈를 이용하여 획득된 월드 이미지 또는 내부 프로세서를 이용하여 획득된 비디오 투과 이미지(Video See-through Image) 상에 블라인드 스팟(Blind Spot)을 설정하는 과정; 영상 처리부에서 상기 AR 안경에 구비된 카메라를 이용하여 획득한 외부 영상이 광학 투과 디스플레이(Optical See-through Display) 상의 상기 블라인드 스팟에 대응하는 영역에 출력하는 과정;을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램을 제공한다.
본 실시예의 다른 측면에 의하면, 외부 영상을 촬영하는 카메라; 메모리; 프로세서; 상기 메모리에 저장되며 AR 안경의 광학 렌즈를 이용하여 획득된 월드 이미지(광학 이미지) 또는 상기 프로세서를 이용하여 획득된 비디오 투과 이미지(Video See-through Image) 상에 블라인드 스팟(Blind Spot)을 설정하고, 상기 카메라를 이용하여 획득한 외부 영상이 광학 투과 디스플레이(Optical See-through Display) 상의 상기 블라인드 스팟에 대응하는 영역에 출력하는 프로그램;을 포함하며, 상기 프로세서는 상기 프로그램을 실행시키는 것을 특징으로 하는 AR 안경을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 황반변성이 있는 사용자가 AR 안경을 착용한 후 황반변성이 발생한 블라인드 스팟에 대응하는 영역에 대해 제스처로 지정하면 구비된 카메라로 획득한 영상을 광학 투과 디스플레이에 출력할 수 있는 효과가 있다.
도 1a,1b는 본 실시예에 따른 AR 안경을 나타낸 도면이다.
도 2는 본 실시예에 따른 원격 처리 장치를 나타낸 도면이다.
도 3은 본 실시예에 따른 AR 안경을 이용하여 획득한 이미지를 나타낸 도면이다.
도 4는 본 실시예에 따른 시각 장애에 따라 보여지는 형태를 나타낸 도면이다.
도 5는 본 실시예에 따른 황반변성으로 블라인드 스팟을 선택하기 위한 화면을 나타낸 도면이다.
도 6은 본 실시예에 따른 황반변성으로 블라인드 스팟의 범위를 정의하는 방법을 설명하기 위한 도면이다.
도 7은 제1 실시예에 따른 제스처 입력을 나타낸 도면이다.
도 8은 제1 실시예에 따른 블라인드 스팟의 경계를 드로잉하는 제스처를 나타낸 도면이다.
도 9는 제1 실시예에 따른 월드 이미지의 좌표 인식을 나타낸 도면이다.
도 10은 제1 실시예에 따른 블라인드 스팟의 경계 좌표 인식 방법을 나타낸 도면이다.
도 11은 제2 실시예에 따른 암슬러 격자를 이용한 좌표 인식을 나타낸 도면이다.
도 12는 제2 실시예에 따른 블라인드 스팟의 경계 좌표 인식 방법을 나타낸 도면이다.
도 13은 제3 실시예에 따른 월드 이미지 및 암슬러 격자를 이용한 좌표 인식을 나타낸 도면이다.
도 14는 본 실시예에 따른 머신러닝을 이용한 손떨림을 보정을 나타낸 도면이다.
도 15는 본 실시예에 따른 머신러닝을 이용한 손떨림을 보정 방법을 나타낸 도면이다.
도 16은 본 실시예에 따른 탭핑 제스처 입력을 나타낸 도면이다.
도 17은 본 실시예에 따른 탭핑 제스처 입력에 따른 동작 방법을 나타낸 도면이다.
도 18은 본 실시예에 따른 전문 측정 장비를 이용하여 황반변성을 촬영한 결과를 나타낸 도면이다.
도 19는 본 실시예에 따른 전문 측정 장비를 이용하여 황반변성을 촬영한 결과에서의 황반변성 윤곽 이미지를 나타낸 도면이다.
도 20은 본 실시예에 따른 전문 측정 장비를 이용하여 황반변성을 촬영한 결과를 AR 안경의 이미지 플레인 상에 매칭하는 개념을 나타낸 도면이다.
도 21은 본 실시예에 따른 전문 측정 장비를 이용하여 황반변성을 촬영한 결과를 AR 안경에 매칭하는 방법을 나타낸 도면이다.
도 22는 본 실시예에 따른 이동 제스처 입력에 따른 동작을 나타낸 도면이다.
도 23은 본 실시예에 따른 핀칭 제스처 입력에 따른 동작을 나타낸 도면이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1a,1b는 본 실시예에 따른 AR 안경을 나타낸 도면이다.
AR 안경(100)은 구비된 카메라(110)를 이용하여 촬영한 영상을 광학 투과 디스플레이(Optical See-through Display)(120)에 매핑하여 출력하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비한다.
AR 안경(100)은 각종 기기 또는 유무선 네트워크와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치이다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서상에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.
본 실시예에 따른 AR 안경(100)은 하나 이상의 카메라(110), 광학 투과 디스플레이(120), 버튼(Input Button)(130), 프로세서(140)를 포함한다. AR 안경(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
하나 이상의 카메라(110)는 안경 각각에 하나씩 형성된다. 광학 투과 디스플레이(120)는 안경알 내측에 형성된다. 버튼(130)은 AR 안경(100)의 안경테의 일측에 형성된다. 프로세서(140)는 AR 안경(100)의 안경테의 내측에 형성되는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 외부에 구현될 수 있다.
블라인드 스팟 설정 프로그램(150)은 AR 안경(100)의 내부 메모리 또는 스토리지 내에 탑재되어 구동되는 프로그램을 의미한다. 블라인드 스팟 설정 프로그램(150)은 AR 안경(100)에 임베디드(Embedded) 형태로 탑재되는 것이 바람직하지만 반드시 이에 한정되는 것은 아니다.
본 실시예에 따른 블라인드 스팟 설정 프로그램(150)은 제스처 인식부(152), 블라인드 스팟 설정부(154), 영상 처리부(156)를 포함한다. 블라인드 스팟 설정 프로그램(150)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
블라인드 스팟 설정 프로그램(150)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 1b에 도시된 블라인드 스팟 설정 프로그램(150)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
제스처 인식부(152)는 블라인드 스팟을 설정하기 위한 핸드 제스처를 인식한다. 제스처 인식부(152)는 사용자의 손이 카메라(110) 앞에 위치하는 경우, 손을 감지한 손 인식 결과(510)를 비디오 투과 이미지(310)로 광학 투과 디스플레이(120) 상에 출력한다. 제스처 인식부(152)는 손 인식 결과(510)에 대응하는 핸드 제스처를 인식한 후 핸드 제스처가 기 설정된 복수의 제스처 중 블라인드 스팟을 설정하기 위한 특정 제스처에 대응하는 경우, 블라인드 스팟 설정부(154)가 동작하도록 한다.
제스처 인식부(152)는 인공지능을 이용하여 손을 감지한 후 손이 움직일 때마다 손의 관절 형태를 표시하는 손 인식 결과(510)를 AR 형태로 출력한다. 제스처 인식부(152)는 손 인식 결과(510)가 핀치(Pinch), 탭(Tap), 홀드(Hold), 드래그(Drag), 준비(Ready), 회전(Rotate), 이동(Move), 알파벳(Alphabet), 숫자(Number) 중 어느 하나로 인식되는 경우, 손 인식 결과(510)에 대응하여 특정 제스처로 인식한다.
제스처 인식부(152)는 손을 감지한 손 인식 결과(510)를 생성할 때, GPR(Gaussian Process Regression) 알고리즘을 이용하여 노이즈를 보정하고, HGBR(Histogram-based Gradient Boosting Regression) 알고리즘을 이용하여 손 떨림을 보정한다.
블라인드 스팟 설정부(154)는 AR 안경(100)의 광학 렌즈를 이용하여 획득된 월드 이미지(광학 이미지) 또는 내부 프로세서를 이용하여 획득된 비디오 투과 이미지(310) 상에 블라인드 스팟(Blind Spot)을 설정한다.
제1,2,3실시예에 따른 블라인드 스팟 설정부(154)는 사용자의 손의 움직임에 따른 손 인식 결과(510)가 복수의 기 설정된 핸드 제스처 중 특정 핸드 제스처로 인식되면, 황반변성의 범위를 정의하는 프로세스를 시작한다.
제1 실시예에 따른 블라인드 스팟 설정부(154)는 월드 이미지(광학 이미지) 상에 사용자의 손의 움직임에 따른 손 인식 결과(510)를 적용하고, 손 인식 결과(510)를 기반으로 블라인드 스팟이 발생하는 영역의 경계 설정한다.
제1 실시예에 따른 블라인드 스팟 설정부(154)는 월드 이미지(광학 이미지)를 이용하여 블라인드 스팟이 발생하는 범위를 정의하는 프로세스를 시작할 때, 황반변성이 발생한 눈으로 카메라(110) 앞에 위치하는 손을 바라볼 때, 황반변성이 발생하지 않은 눈으로 손을 바라보는 위치가 달라지므로 소프트웨어적으로 황반변성이 발생하지 않은 눈이 위치한 쪽의 광학 투과 디스플레이(120)에 불투명 컬러가 출력되도록 하여 월드 이미지(광학 이미지)를 차단되도록 한다.
제1 실시예에 따른 블라인드 스팟 설정부(154)는 월드 이미지(광학 이미지)를 이용하여 블라인드 스팟이 발생하는 범위를 정의하는 프로세스를 시작할 때, 카메라(110) 앞에서 움직이는 손의 움직임에 따라 손 인식 결과(510)를 인식한다. 제1 실시예에 따른 블라인드 스팟 설정부(154)는 손 인식 결과에 대응하는 초점 거리를 확인하고, 초점 거리에 대응하는 이미지 포인트에 대응하는 좌표(PI(xi, yi, f0))를 지속적으로 수집하여 황반변성 경계 데이터(MD Boundaries Data)를 생성한다.
제1 실시예에 따른 블라인드 스팟 설정부(154)는 월드 이미지(광학 이미지)를 이용하여 블라인드 스팟이 발생하는 범위를 정의하는 프로세스를 시작할 때, 카메라(110) 앞에서 움직이는 손의 움직임에 따라 손 인식 결과(510)를 인식한다. 제1 실시예에 따른 블라인드 스팟 설정부(154)는 손 인식 결과(510)를 기반으로 월드 이미지(광학 이미지) 상에서 황반변성이 발생한 주변의 영역을 동그라미 형태로 황반변성 경계 데이터로 생성한다.
제2 실시예에 따른 블라인드 스팟 설정부(154)는 비디오 투과 이미지(310)를 이용하여 블라인드 스팟이 발생하는 범위를 정의하는 프로세스를 시작할 때, 월드 이미지(광학 이미지)를 차단한 상태로 광학 투과 디스플레이(120)의 이미지 플레인 상에 암슬러 격자(Amsler Grid)만을 출력한 후 포인팅 디바이스에 의한 명령에 따라 핸드 커서를 이동시켜서 블라인드 스팟의 경계를 정의한다.
제2 실시예에 따른 블라인드 스팟 설정부(154)는 핸드 커서(1110)를 인식하면서 초점 거리에 대응하는 이미지 포인트에 대응하는 좌표(PI(xi, yi, f0))를 지속적으로 수집하여 황반변성 경계 데이터를 생성한다.
제2 실시예에 따른 블라인드 스팟 설정부(154)는 광학 투과 디스플레이(120) 상에 출력된 암슬러 격자 중 일그러져 보이는 영역, 왜곡 발생 영역이 존재하는 경우, 일그러져 보이는 영역, 왜곡 발생 영역의 주변을 사용자가 직접 선택한 핸드 커서(1110)의 위치에 따라 블라인드 스팟으로 정의한다.
제2 실시예에 따른 블라인드 스팟 설정부(154)는 핸드 커서(1110)를 인식하면 초점 거리에 대응하는 이미지 포인트에 대응하는 좌표(PI(xi, yi, f0))를 지속적으로 수집하여 황반변성 경계 데이터를 생성한다.
제2 실시예에 따른 블라인드 스팟 설정부(154)는 스마트폰의 터치 패드, 블루투스 마우스, 스타일러스 펜, 디지털 펜 중 어느 하나의 명령에 따라 핸드 커서(1110)를 원하는 포인트로 이동시킨다.
제3 실시예에 따른 블라인드 스팟 설정부(154)는 비디오 투과 이미지(310)와 월드 이미지(광학 이미지)를 이용하여 블라인드 스팟이 발생하는 범위를 정의하는 프로세스를 시작할 때, 월드 이미지(광학 이미지)를 차단하지 않은 상태로 광학 투과 디스플레이(120)의 이미지 플레인 상에 암슬러 격자를 출력한 후 사용자의 손의 움직임에 따른 손 인식 결과(510)를 기반으로 블라인드 스팟이 발생하는 영역의 경계를 설정한다.
제3 실시예에 따른 블라인드 스팟 설정부(154)는 사물이 존재하지 않는 벽 또는 평면 스크린에 대한 월드 이미지(광학 이미지)를 획득한다.
영상 처리부(156)는 AR 안경(100)에 구비된 카메라(110)를 이용하여 획득한 외부 영상이 광학 투과 디스플레이(120) 상의 블라인드 스팟에 대응하는 영역에 출력한다.
도 2는 본 실시예에 따른 원격 처리 장치를 나타낸 도면이다.
원격 처리 장치(200)는 AR 안경(100)과 통신한다. 원격 처리 장치(200)는 동영상 처리를 위한 USB 또는 Wi-Fi 모듈을 구비한다. 원격 처리 장치(200)는 메시지 전송을 위한 USB, Wi-Fi 모듈 또는 블루투스(Bluetooth) 모듈을 구비한다.
AR 안경(100)의 내부에 프로세서가 미존재하는 경우, 원격 처리 장치(200)에 탑재된 프로세서를 이용하여 AR 안경(100)에 대한 데이터를 처리할 수 있다.
도 3은 본 실시예에 따른 AR 안경을 이용하여 획득한 이미지를 나타낸 도면이다.
AR 안경(100)은 광학 투과 이미지(Optical See-through Image)(320), 비디오 투과 이미지(310)를 획득한다.
AR 안경(100)은 구비된 카메라(110)를 이용하여 획득한 비디오 투과 이미지(310)를 기반으로 대면 대화(face-to-face conversation) 수행이 가능하다. AR 안경(100)은 비디오 투과 이미지(310)를 광학 투과 디스플레이(120) 상에 출력하면서, 대면 대화를 수행할 수 있다.
사용자가 황반변성(Dry/Wet Aged Macular Degeneration) 환자인 경우, 비디오 투과 이미지(310) 내에 블라인드 스팟(Blind Spot), 흐릿한 이미지(Blurry Image), 중심 왜곡(Central Distortion), 시력 상실(Loss of Vision)이 발생한다. 황반변성(Macular Degeneration)은 눈 안쪽 망막 중심부에 위치한 황반부에 변화로 인해 시력장애가 발생하는 질환을 의미한다.
도 4는 본 실시예에 따른 시각 장애에 따라 보여지는 형태를 나타낸 도면이다.
도 4의 (a)에 도시된 바와 같이, 사용자가 건성 황반변성(Dry Aged Macular Degeneration)인 경우, 광학 투과 이미지(320) 상에 블라인드 스팟이 발생한다.
도 4의 (b)에 도시된 바와 같이, 사용자가 맥락막 신혈관 형성(Choroidal Neovascularization) 인 경우, 광학 투과 이미지(320) 상에 이미지 왜곡을 나타낸다.
도 4의 (c)에 도시된 바와 같이, 사용자가 녹내장(Tunnel Vision(Glaucoma))인 경우, 광학 투과 이미지(320) 상에 주변이 어둡게 보이게 된다.
도 5는 본 실시예에 따른 황반변성으로 블라인드 스팟을 선택하기 위한 화면을 나타낸 도면이다.
AR 안경(100)은 광학 투과 이미지(320) 상에 손과 손가락을 출력한다. AR 안경(100)은 비디오 투과 이미지(310) 상에 머신 러닝을 이용한 제스처를 입력한다.
사용자의 손을 AR 안경(100) 앞에 위치시키면, AR 안경(100)은 손을 감지하여 도 5에 도시된 파란 선과 같이 손 인식 결과(510)를 비디오 투과 이미지(310)로 출력한다. AR 안경(100)은 머신 러닝을 이용하여 손 인식 결과(510)에 대응하는 제스처를 인식한다.
다시 말해, AR 안경(100)은 인공지능을 이용하여 손을 감지한 후 손의 관절 형태를 표시하는 손 인식 결과(510)를 AR 형태로 출력한다. AR 안경(100)은 손의 관절 형태를 표시하는 손 인식 결과(510)를 기반으로 사용자의 손 모양에 따른 다양한 핸드 제스처를 인식한다.
AR 안경(100)은 구비된 카메라(110) 앞에서 손이 움직일 때마다 손의 관절 형태를 표시하는 손 인식 결과(510)를 AR 형태로 출력하고, 손 인식 결과(510)를 기반으로 사용자의 손 모양에 따른 다양한 핸드 제스처를 인식한다.
여기서, AR 안경(100)이 손 인식 결과(510)를 기반으로 사용자의 손 모양에 따라 인식하는 핸드 제스처는 기 설정될 수 있다. AR 안경(100)이 손 인식 결과(510)가 핀치(Pinch), 탭(Tap), 홀드(Hold), 드래그(Drag), 준비(Ready), 회전(Rotate), 이동(Move), 알파벳(Alphabet), 숫자(Number)로 인식되는 경우, 각 손 인식 결과(510)에 대응하여 기 설정된 제스처로 인식한다.
AR 안경(100)은 환자 자신이 블라인드 스팟(Blind Spot)을 손과 손가락을 이용하여 선택(칠)하면 블라인드 스팟으로 인식한다. AR 안경(100)은 구비된 카메라(110)를 이용하여 영상을 획득한 후 안경 렌즈 내의 광학 투과 디스플레이(120)에 해당 영상을 출력한다. AR 안경(100)은 사용자가 황반변성으로 블라인드 스팟에 해당하는 영상을 안경 렌즈 내의 광학 투과 디스플레이(120)로 출력한다. AR 안경(100)은 황반변성이 있는 사용자가 직접 블라인드 스팟을 정확하게 선택할 수 있도록 한다.
AR 안경(100)은 사용자가 자기의 손과 손가락을 이용하여 광학 투과 이미지(320)상에서 블라인드 스팟을 선택하면 해당 영역에 대응하는 위치를 입력받는다. AR 안경(100)은 사용자가 자기의 손과 손가락을 이용하여 블라인드 스팟을 가리키면, 해당 위치를 카메라를 이용하여 일정 영역이 완성될 때까지 해당 영역을 특정한다.
AR 안경(100)은 특정된 영역에 대응하는 만큼을 다른 위치에다가 표시하기 위해 프로세싱 영역을 생성한다. AR 안경(100)은 프로세싱 영역만큼의 면적에 해당되는 영상을 별도로 생성한다. AR 안경(100)은 사용자의 손과 손가락이 황반변성으로 안보이는 위치를 특정할 때, 손과 손가락이 사라지는 영역의 경계선을 선택하여 블라인드 스팟의 형태를 결정할 수 있다. AR 안경(100)은 탑재된 프로그램을 이용하여 머신 러닝으로 블라인드 스팟의 형태를 그리는 과정을 일반적인 과정과 구분한다.
AR 안경(100)은 사용자의 손가락 끝으로 블라인드 스팟의 외곽선(윤곽)을 결정한다.
도 6은 본 실시예에 따른 황반변성으로 블라인드 스팟의 범위를 정의하는 방법을 설명하기 위한 도면이다.
AR 안경(100)은 탑재된 황반변성 처방 프로그램 시작한다(S610). 단계 S610에서 AR 안경(100)은 프로그램을 시작한다. AR 안경(100)은 광학 투과 디스플레이(120) 상에 텍스트 또는 이미지 투사한다(S620). AR 안경(100)은 황반변성을 검출하기 위해 버튼 또는 제스처 입력이 존재하는 지의 여부를 확인한다(S630).
단계 S630의 확인 결과, 버튼 또는 제스처가 미입력된 경우, AR 안경(100)은 머신 러닝 또는 버튼 이벤트 검출을 이용하여 제스처 입력 식별한다(S640). 단계 S640에서 AR 안경(100)은 핸드 제스처의 발생을 기다리는 루프를 수행한다.
단계 S630의 확인 결과, 버튼 또는 제스처가 입력된 경우, AR 안경(100)은 황반변성 자기결정 프로그램을 시작하여 황반변성을 검출하기 위한 프로세스를 시작한다(S650).
AR 안경(100)은 황반변성 자기결정 프로그램을 이용하여 블라인드 스팟을 정의할 때 암슬러 격자(Amsler Grid) 또는 월드 이미지(장면)를 이용한다(S660)
단계 S660에서, AR 안경(100)은 블라인드 스팟을 암슬러 격자(Amsler Grid) 또는 월드 이미지를 이용하여 정의한다. AR 안경(100)은 기 설정된 복수의 핸드 제스처를 기다리고 있다가 특정 제스처가 인식되면, 블라인드 스팟을 정의하는 프로세스를 수행한다.
도 6에서는 단계 S610 내지 단계 S660을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 6에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 6에 기재된 본 실시예에 따른 황반변성으로 블라인드 스팟의 범위를 정의하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 황반변성으로 블라인드 스팟의 범위를 정의하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 7은 제1 실시예에 따른 제스처 입력을 나타낸 도면이다.
AR 안경(100)은 지속적으로 손이 움직일 때마다 손의 관절 형태를 표시하는 손 인식 결과(510)를 감지하다가 복수의 기 설정된 핸드 제스처 중 특정 핸드 제스처로 인식되면, 황반변성의 범위를 정의하는 프로세스를 시작한다.
AR 안경(100)은 지속적으로 손이 움직일 때마다 손의 관절 형태를 표시하는 손 인식 결과(510)에 대응하는 핸드 제스처를 감지하다가 버튼(130)이 입력되거나 또는 핸드 제스처 중 황반변성 검출을 시작하는 제스처가 입력되면, 기 설정된 프로세스를 시작한다.
AR 안경(100)은 황반변성의 범위를 정의하는 프로세서를 매번 새롭게 할 수도 있지만, 사용자가 한 번만 수행하더라도 내부 메모리에 황반변성의 범위를 저장하고 있다가 부팅 시 황반변성의 범위를 불러와서 적용할 수 있다.
AR 안경(100)은 제스처 입력(Gesture Input)으로 드로잉(Drawing)을 입력받는다. 다시 말해, AR 안경(100)은 블라인드 스팟의 경계를 드로잉할 수 있도록 하는 제스처를 입력받는다.
비디오 투과 이미지(310)로 머신러닝을 이용한 제스처를 입력받을 때, 핀치(Pinch), 탭(Tap), 홀드(Hold), 드래그(Drag), 준비(Ready), 회전(Rotate), 이동(Move), 알파벳(Alphabet), 숫자(Number) 등으로 제스처를 분류한다.
도 8은 제1 실시예에 따른 블라인드 스팟의 경계를 드로잉하는 제스처를 나타낸 도면이다.
AR 안경(100)은 사용자의 손가락 전체를 인식할 필요 없이, 하나의 손가락만을 인식할 수 있다. AR 안경(100)은 인식된 하나의 손가락에서 손끝 지문이 있는 영역을 칠할 영역으로 인식한다. AR 안경(100)은 손가락의 손끝만 인식이 필요하므로 손가락의 끝단의 일정 영역만 이미지 프로세서에서 대상 영역으로 지정한다.
AR 안경(100)을 착용한 사용자는 카메라(110)에 인식되는 손을 이용하여 도 8에 도시된 바와 같이, 블라인드 스팟의 경계를 드로잉할 수 있다.
도 9는 제1 실시예에 따른 월드 이미지의 좌표 인식을 나타낸 도면이다.
AR 안경(100)을 착용한 사용자가 블라인드 스팟의 경계를 드로잉하면, AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 해당 위치에 대응하는 지점의 이미지 포인트 PI(xi, yi, f0)를 인식한다. AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 이미지 포인트 PI(xi, yi, f0)를 기반으로 황반변성 경계 데이터(MD Boundaries Data)를 PIi=(xi, yi, f0), (x1, y1, f0),....,를 생성한다. AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 월드 이미지 상에서 이미지 포인트 PI(xi, yi, f0)에 대응하는 월드 포인트 PS(xi, yi, zi)를 인식한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 블라인드 스팟을 정의할 때, 비디오 투과 이미지(310)로 리얼 월드 이미지(광학 이미지)를 출력한다. AR 안경(100)은 리얼 월드 이미지(광학 이미지)를 출력한 상태에서 카메라(110) 앞에 손가락을 가까이하면 깊이에 따라 손가락의 굵기가 굵어지고, 카메라(110) 앞에 손가락을 멀리하면 깊이 따라 손가락의 굵기가 얇아진다. AR 안경(100)은 리얼 월드 이미지(광학 이미지)를 이용하여 블라인드 스팟을 정의할 때, 한쪽 눈으로 손가락을 바라볼 때, 나머지 눈으로 손가락을 바라보는 위치가 달라지므로 소프트웨어적으로 반대편 눈의 위치한 광학 투과 디스플레이(120)를 불투명 컬러(월드 이미지(광학 이미지)를 차단)가 되도록 한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 블라인드 스팟을 정의할 때, 황반변성이 발생하지 않은 눈으로 손가락을 바라볼 때, 정확한 측정이 어려우므로, 황반변성이 발생하지 않은 눈 쪽에 위치한 광학 투과 디스플레이(120)를 불투명 컬러(월드 이미지(광학 이미지)를 차단)가 되도록 한다.
AR 안경(100)은 기본적으로 광학 투과 디스플레이(120) 상에 월드 이미지(광학 이미지) 상에 비디오 투과 이미지(310)를 오버레이하는 형태로 출력하나, 선택적으로 월드 이미지(광학 이미지)와 비디오 투과 이미지(310) 중 하나만을 출력할 수 있다.
AR 안경(100)을 착용한 상태로 손 인식 결과(510)를 인식하면 초점 거리에 대응하는 이미지 포인트에 대응하는 좌표(PI(xi, yi, f0))가 산출된다. f가 초점거리를 의미하고, x,y가 좌표를 의미한다.
사용자가 자신의 손을 월드 이미지(광학 이미지) 상에서 움직이는 경우, AR 안경(100)을 착용한 상태로 손 인식 결과(510)를 인식하면 초점 거리에 대응하는 이미지 포인트에 대응하는 좌표(PI(xi, yi, f0))를 지속적으로 수집하여 황반변성 경계 데이터(MD Boundaries Data)를 생성한다.
AR 안경(100)은 사용자의 손 인식 결과(510)를 기반으로 월드 이미지(광학 이미지) 상에서 황반변성이 발생한 주변의 영역을 동그라미 형태로 드로잉하는 것을 기다리면서 황반변성 경계 데이터를 취득한다.
월드 포인트는 제3자 바라봤을 때 좌표값(실제 손가락에 좌표 x y z 좌표)을 의미한다. 이미지 포인트는 이미지 플레인 상에 초점 거리에 대응하는 위치에 형성되는 좌표(월드 포인트 중 이미지 플레인 상의 x y만 취득하고, 초점거리 f는 고정)를 의미한다.
제1 실시예에 따른 AR 안경(100)은 외부를 비추는 월드 이미지(광학 이미지)를 기반으로 블라인드 스팟이 발생하는 곳의 경계를 손 인식 결과(510)를 기반으로 인식된 핸드 제스처로 정의한다.
도 10은 제1 실시예에 따른 블라인드 스팟의 경계 좌표 인식 방법을 나타낸 도면이다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 황반변성이 없는 눈이 존재하는 광학 투과 디스플레이(120)로 월드 이미지(광학 이미지)를 블로킹하기 위한 불투명 컬러를 투사한다(S1010).
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 제스처 입력 이미지를 광학 투과 디스플레이(120)로 투사한다(S1020). AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 황반변성 경계를 드로잉하는 동안 머신 러닝을 이용하여 제스처 입력을 분류한다(S1030). AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 황반변성 경계의 드로잉이 완료되었는지의 여부를 확인한다(S1040).
단계 S1040의 확인 결과, 황반변성 경계의 드로잉이 미완료된 경우, AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 이미지 좌표에서 황반변성 경계 데이터를 계산한다(S1050).
단계 S1040의 확인 결과, 황반변성 경계의 드로잉이 완료된 경우, AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 블라인드 스팟을 결정하기 위해 황반변성 경계 데이터를 분석한다(S1060).
도 10에서는 단계 S1010 내지 단계 S1060을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 10에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 10은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 10에 기재된 본 실시예에 따른 블라인드 스팟의 경계 좌표 인식 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 블라인드 스팟의 경계 좌표 인식 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 11은 제2 실시예에 따른 암슬러 격자를 이용한 좌표 인식을 나타낸 도면이다.
제2 실시예에 따른 AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 사용자가 블라인드 스팟의 경계를 드로잉하면, 해당 위치에 대응하는 지점의 이미지 포인트 PI(xi, yi, f0)를 인식한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 이미지 포인트 PI(xi, yi, f0)를 기반으로 황반변성 경계 데이터를 PIi=(xi, yi, f0), (x1, y1, f0),....,를 생성한다. AR 안경(100)은 외부 뷰를 참조하는 대신 암슬러 격자(Amsler Grid)를 사용한다.
도 11에 도시된 핸드 커서(1110)는 실제 손이 아니고, 연결되어 있는 스마트폰 또는 블루투스 마우스를 이용하여 이미지 플레인 상에서 가상으로 표시되는 커서를 의미한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 기 설정된 복수의 핸드 제스처를 기다리고 있다가 특정 제스처가 인식되면, 블라인드 스팟을 정의하는 프로세스를 수행한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 블라인드 스팟을 정의할 때, 비디오 투과 이미지(310)로 암슬러 격자를 출력한다. 이때, AR 안경(100)은 광학 투과 디스플레이(120) 상에 월드 이미지(광학 이미지)를 출력하지 않고, 암슬러 격자만을 출력한다.
AR 안경(100)을 착용한 상태에서 핸드 커서(1110)를 인식하면서 초점 거리에 대응하는 이미지 포인트에 대응하는 좌표(PI(xi, yi, f0))를 지속적으로 수집하여 황반변성 경계 데이터(MD Boundaries Data)를 생성한다.
AR 안경(100)은 광학 투과 디스플레이(120) 상에 출력된 암슬러 격자 중 일그러져 보이는 영역이 존재하는 경우, 일그러져 보이는 영역을 사용자가 직접 선택하도록 한 핸드 커서(1110)의 위치에 따라 블라인드 스팟으로 정의한다.
AR 안경(100)은 월드 이미지(광학 이미지)를 출력할 필요없이 광학 투과 디스플레이(120)에 출력되는 암슬러 격자 상에서 발생하는 황반변성의 주변 영역을 동그라미 형태로 드로잉하는 것을 기다리면서 황반변성 경계 데이터를 취득한다.
황반변성이 있는 사용자는 AR 안경(100)을 착용한 상태로 광학 투과 디스플레이(120)에 출력된 암슬러 격자를 바라보는 경우, 암슬러 격자가 휘어지고 중앙에 블라인드 스팟이 발생하게 된다.
다시 말해, 황반변성이 발생한 영역 주변에도 왜곡이 발생하면, AR 안경(100)은 암슬러 격자 상에서 핸드 커서(1110)가 움직이는 경우, AR 안경(100)을 착용한 상태로 핸드 커서(1110)를 인식하면 초점 거리에 대응하는 이미지 포인트에 대응하는 좌표(PI(xi, yi, f0))를 지속적으로 수집하여 황반변성 경계 데이터(MD Boundaries Data)를 생성한다.
황반변성이 있는 사용자는 AR 안경(100)을 착용한 상태로 광학 투과 디스플레이(120)에 암슬러 격자가 출력되는 경우, 월드 이미지(광학 이미지)가 보이지 않으므로, 광학 투과 디스플레이(120) 상에 핸드 커서(1110)를 출력한다.
AR 안경(100)은 무선으로 연결된 블루투스 마우스, 스마트폰 터치 스크린 등을 이용하여 핸드 커서(1110)를 이동시킨다. 다시 말해, AR 안경(100)은 이미지 플레인 상에 가상의 커서인 핸드 커서(1110)를 출력한 후 스마트폰의 터치 패드, 블루투스 마우스, 스타일러스 펜, 디지털 펜 등을 포함하는 포인팅 디바이스를 이용해서 핸드 커서(1110)를 원하는 포인트로 이동시킨다.
제2 실시예에 따른 AR 안경(100)은 외부에 비춰지는 월드 이미지(광학 이미지)를 차단한 상태로 암슬러 격자를 이미지 플레인상에 출력한 후 포인팅 디바이스를 이용해서 핸드 커서(1110)를 이동시켜서 블라인드 스팟의 경계를 정의한다.
도 12는 제2 실시예에 따른 블라인드 스팟의 경계 좌표 인식 방법을 나타낸 도면이다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 암슬러 그리드와 핸드 커서(1110)를 광학 투과 디스플레이(120)에 투사한다(S1210). 단계 S1210에서, AR 안경(100)은 월드 이미지를 표시하지 않는다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 포인팅 디바이스 제어에 따라 핸드 커서(1110)를 광학 투과 디스플레이(120) 상에서 이동시킨다(S1220). 단계 S1220에서, AR 안경(100)은 마우스, 디지털 펜, 스타일러스 펜, 터치 스크린을 이용하여 원격 제어로 핸드 커서(1110)를 이동시킨다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 황반변성 경계를 드로잉하는 동안 머신 러닝을 이용하여 핸드 커서(1110)의 입력을 분류한다(S1230). AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 황반변성 경계 드로잉이 완료되었는지의 여부를 확인한다(S1240).
단계 S1240의 확인 결과, 황반변성 경계 드로잉이 완료되지 않은 경우, AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 이미지 좌표에서 황반변성 경계 데이터를 계산한다(S1250).
단계 S1240의 확인 결과, 황반변성 경계 드로잉이 완료된 경우, AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 블라인드 스팟을 결정하기 위해 황반변성 경계 데이터를 분석한다(S1260).
도 12에서는 단계 S1210 내지 단계 S1260을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 12에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 12는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 12에 기재된 본 실시예에 따른 블라인드 스팟의 경계 좌표 인식 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 블라인드 스팟의 경계 좌표 인식 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 13은 제3 실시예에 따른 월드 이미지 및 암슬러 격자를 이용한 좌표 인식을 나타낸 도면이다.
제3 실시예에 따른 AR 안경(100)은 월드 이미지(깨끗한 벽 또는 스크린) 및 암슬러 격자를 함께 출력한다. AR 안경(100)은 월드 이미지 및 암슬러 격자를 함께 출력할 때, 핸드 제스처를 이용하여 황반변성 경계를 지정할 수 있도록 한다. AR 안경(100)은 황반변성 경계에 해당하는 좌표 P0, P1, P2, P3, P4, Pn -1, Pn을 산출한다.
제3 실시예에 따른 AR 안경(100)은 외부에 비춰지는 월드 이미지(광학 이미지)를 차단하지 않은 상태로 암슬러 격자를 이미지 플레인상에 출력한 후 손 인식 결과(510)를 기반으로 인식된 핸드 제스처 또는 포인팅 디바이스를 이용해서 핸드 커서(1110)를 이동시켜서 블라인드 스팟이 발생하는 곳의 경계를 정의한다.
제3 실시예에 따른 AR 안경(100)은 외부에 비춰지는 월드 이미지(광학 이미지)를 차단하지 않기 때문에, AR 안경(100)을 착용한 사용자가 가능한 사물이 없는 깨끗한 벽 또는 평면 스크린(예컨대, 흰바탕)을 바라본 상태에서 암슬러 격자를 이미지 플레인상에 출력하는 것이 바람직하다.
제3 실시예에 따른 AR 안경(100)은 월드 이미지(광학 이미지)와 함께 암슬러 격자가 출력되므로 별도의 포인팅 디바이스를 이용할 필요없이 블라인드 스팟이 발생하는 곳의 경계를 손 인식 결과(510)를 기반으로 인식된 핸드 제스처로 정의한다.
제3 실시예에서 AR 안경(100)을 착용한 사용자는 반드시 사물이 없는 깨끗한 벽 또는 평면 스크린(예컨대, 흰바탕)을 바라볼 필요없이 자신이 원하는 풍경이나 인물을 바라본 상태에서 AR 안경(100) 내의 광학 투과 디스플레이(120) 상에 이미지 플레인상에 암슬러 격자를 출력할 수 있다.
도 14는 본 실시예에 따른 머신러닝을 이용한 손떨림을 보정을 나타낸 도면이다.
AR 안경(100)은 머신러닝을 이용한 손떨림을 보정한다. AR 안경(100)은 GPR(Gaussian Process Regression) 또는 HGBR(Histogram-based Gradient Boosting Regression) 알고리즘을 이용하여 손떨림을 보정한다. 다시 말해, AR 안경(100)은 GPR 또는 HGBR 알고리즘을 이용하여 부드러운 곡선으로 손떨림을 보정한다.
GPR 알고리즘은 노이즈 측정에 적합하며, HGBR 알고리즘은 흔들림 보정에 적합하다.
AR 안경(100)은 구비된 카메라(110)를 이용하여 사용자의 손을 감지한 후 손의 관절 형태를 표시하는 손 인식 결과(510)를 AR 형태로 출력한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 손의 움직임에 따라 손의 관절 형태를 표시하는 손 인식 결과(510)를 기반으로 사용자의 손 모양에 따른 다양한 핸드 제스처를 인식한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 지속적으로 손이 움직일 때마다 손의 관절 형태를 표시하는 손 인식 결과(510)를 감지하다가 복수의 기 설정된 핸드 제스처 중 특정 핸드 제스처로 인식되면, 황반변성의 범위를 정의하는 프로세스를 시작한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 황반변성의 범위를 정의하는 프로세스를 시작한 후 월드 이미지(광학 이미지) 상에서 손 인식 결과(510) 중 손 끝단의 움직임에 따라 이미지 플레인 상의 초점 거리에 대응하는 이미지 포인트에 대응하는 좌표(PI(xi, yi, f0))를 지속적으로 수집하여 황반변성 경계 데이터(MD Boundaries Data)를 생성한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 손 인식 결과(510) 중 손 끝단의 움직임에 따라 황반변성 경계 데이터를 생성할 때, 손의 움직임에 따른 떨림이 발생한다.
AR 안경(100)을 착용한 사용자가 블라인드 스팟의 경계를 정의할 때, 사용자의 상태에 따라 미세한 떨림이 발생하거나 큰 떨림이 발생한다. 따라서, AR 안경(100)은 머신러닝 알고리즘 중 GPR 알고리즘 또는 HGBR 알고리즘을 이용하여 손 떨림을 보정한다.
도 15는 본 실시예에 따른 머신러닝을 이용한 손떨림을 보정 방법을 나타낸 도면이다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 황반변성으로 인한 블라인드 스팟을 결정하기 위해 황반변성 경계 데이터를 분석한다(S1510).
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 GPR 또는 HGBR 알고리즘을 이용하여 이미지 포인트와 관련된 연속값 속성을 예측한다(S1520).
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 황반변성 경계에 해당하는 좌표 Pn이 P0에 기 설정된 임계치 이내로 가깝거나 동일한 위치인 지의 여부를 확인한다(S1530).
단계 S1530에서 좌표 Pn이 P0에 기 설정된 임계치 이내로 가깝거나 동일한 위치가 아닌 경우, AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 닫힌 경로(closed path)로 모양을 지정할 수 없다(S1540).
단계 S1530에서 좌표 Pn이 P0에 기 설정된 임계치 이내로 가깝거나 동일한 위치인 경우, AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 황반변성으로 인한 블라인드 스팟에 대해 닫힌 모양(closed shape)을 결정한다(S1550).
도 15에서는 단계 S1510 내지 단계 S1550을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 15에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 15는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 15에 기재된 본 실시예에 따른 머신러닝을 이용한 손떨림을 보정 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 머신러닝을 이용한 손떨림을 보정 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 16은 본 실시예에 따른 탭핑 제스처 입력을 나타낸 도면이다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 제스처 입력(Gesture Input)으로 탭핑(Tapping)을 입력받는다. 다시 말해, AR 안경(100)은 블라인드 스팟의 비디오 투과 이미지를 출력하기 위해 탭핑 제스처를 입력받는다. AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 논데드 스페이스(non-dead space)에 표시된 이미지로 비디오 투과 이미지를 출력한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 사용자의 손에 대한 비디오 투과 이미지(310)로 머신 러닝을 이용한 제스처를 입력받는다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 제스처 입력으로 드로잉을 입력받는 경우, 사용자의 손에 따라 블라인드 스팟에 대한 경계를 정의한다.
도 17은 본 실시예에 따른 탭핑 제스처 입력에 따른 동작 방법을 나타낸 도면이다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 블라인드 스팟을 결정하기 위해 황반변성 경계 데이터 분석한다(S1710). AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 황반변성 경계에 의해 결정된 황반변성 이미지를 출력한다(S1720). AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 황반변성 이미지 배치가 완료되었는지의 여부를 확인한다(S1730).
단계 S1730의 확인 결과, 황반변성 이미지 배치가 미완료된 경우, AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 탭핑 이벤트에 따라 논데드 스페이스에 황반변성 이미지를 배치한다(S1740).
단계 S1730의 확인 결과, 황반변성 이미지 배치가 완료된 경우, AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 광학 투명 디스플레이에 텍스트 또는 이미지를 투사한다(S1750).
도 17에서는 단계 S1710 내지 단계 S1750을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 17에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 17은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 17에 기재된 본 실시예에 따른 탭핑 제스처 입력에 따른 동작 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 탭핑 제스처 입력에 따른 동작 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 18은 본 실시예에 따른 전문 측정 장비를 이용하여 황반변성을 촬영한 결과를 나타낸 도면이다.
전문 측정 장비는 OCT(Optical Coherence Tomography), FAG(Fluorescein Angiography), ICG(Indocyanine Green Angiography)를 포함한다. 전문 측정 장비를 이용하여 황반변성이 있는 눈을 촬영하는 경우, 도 18에 도시된 바와 같다.
전문 측정 장비를 이용하여 안구 생체 조직의 단층영상 및 횡단면을 검사하는 경우, 안구로 빛을 투과시켜 조직 내에서 반사되는 빛의 시간 차이를 이용해 높은 해상도의 단층 영상을 획득한다.
전문 측정 장비를 이용하여 황반변성 및 당뇨황반부종 등의 질환에서 진단 및 치료경과를 관찰할 수 있다. 전문 측정 장비를 이용하는 경우, 황반변성이 발생한 영역에 대한 GA(Geographic Atrophy) 이미지를 획득하고, 안구의 광학 디스크(Optic Disc), 안구에 전반에 대한 FAF(Fundus Auto-Fluorescence) 이미지를 획득할 수 있다.
전문 측정 장비를 이용하여 측정한 이미지를 AR 안경(100)에 적용 가능한 영상으로 변환한 후 광학 투과 디스플레이(120)에 매핑한다. FAF 이미지는 OCT 장비에서 사용자의 눈을 촬영한 후 변환한 이미지를 의미한다. GA 이미지는 황반변성이 발생한 이미지 영역을 의미한다. 광학 디스크는 안구의 시신경 영역을 의미한다.
FAF 이미지 내에서 황반변성 영역의 윤곽을 측정하면 mm로 출력된다. AR 안경(100)은 병원 장치로부터 GA 이미지를 포함한 FAF 이미지를 수신한 후 자동으로 고정하여 사용자의 눈에 맞추도록 동작한다.
AR 안경(100)은 병원 장치로부터 GA 이미지를 포함한 FAF 이미지를 수신한 후 스케일을 변환하기 위해 먼저, 촬영시 렌즈의 해상도를 기 설정된 해상도 변환 소프트웨어로 처리하여 변환한 후 이미지 플레인 영역에 자동으로 매핑한다.
다시 말해, AR 안경(100)은 측정 장비(OCT, FAG, ICG)로부터 수신한 고해상도의 FAF 이미지(황반변성 발생 영역의 사이즈 mm단위, 해상도)의 스케일을 기 설정된 스케일(해상도, 스크린 사이즈)로 변환한 후 망막의 중심에 매핑한다.
도 19는 본 실시예에 따른 전문 측정 장비를 이용하여 황반변성을 촬영한 결과에서의 황반변성 윤곽 이미지를 나타낸 도면이다.
AR 안경(100)은 전문 측정 장비를 이용한 안구 촬영 영상에서 망막 중심(Foveal Center)을 기준으로 GA 이미지를 배치한다. AR 안경(100)은 FAF 이미지 내의 황반변성이 발생한 영역의 윤곽 이미지를 생성한다.
도 20은 본 실시예에 따른 전문 측정 장비를 이용하여 황반변성을 촬영한 결과를 AR 안경의 이미지 플레인 상에 매칭하는 개념을 나타낸 도면이다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 FAF 이미지를 받아와서 GA 이미지를 플랜 상에 배치한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 병원 장치로부터 FAF 이미지를 수신한다. AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 FAF 이미지 중 황반변성이 발생한 GA 이미지의 스케일을 조정한 후 이미지 플레인에 투사한다. AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 FAF 이미지를 이미지 플레인에 투사할 때, 망막의 중심을 기준으로 FAF 이미지를 매핑한다. 블라인드 스팟과 GA 이미지 내의 황반변성이 발생한 영역이 일치하지 않는 경우, AR 안경(100)은 손 인식 결과(510)에 따라 GA 이미지 내의 황반변성이 발생한 영역을 이동시켜서 블라인드 스팟과 매칭시킬 수 있다.
도 21은 본 실시예에 따른 전문 측정 장비를 이용하여 황반변성을 촬영한 결과를 AR 안경에 매칭하는 방법을 나타낸 도면이다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 블로킹하기 위한 불투명 컬러를 투사하여 반대쪽 디스플레이를 차단한다(S2110). AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 광학 투과 디스플레이(120)에 GA 이미지 투사시킨다(S2120).
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 GA 이미지의 스케일을 조정하여 이미지 플레인(Image Plane) 자동으로 매핑하여 출력한다(S2130). 단계 S2130에서, AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 GA 이미지에 대한 스케일을 조정한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 블라인드 스팟을 결정하기 위해 황반변성 경계 데이터를 분석한다(S2140). 단계 S2140에서, AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 반전 위치를 옮겨서 매칭시킨다.
도 21에서는 단계 S2110 내지 단계 S2140을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 21에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 21은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 21에 기재된 본 실시예에 따른 전문 측정 장비를 이용하여 황반변성을 촬영한 결과를 AR 안경에 매칭하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 전문 측정 장비를 이용하여 황반변성을 촬영한 결과를 AR 안경에 매칭하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 22는 본 실시예에 따른 이동 제스처 입력에 따른 동작을 나타낸 도면이다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 이동 제스처를 입력받는 경우, 비디오 투과 이미지를 블라인드가 아닌 영역으로 이동시킨다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 제스처 입력 또는 황반변성 진단 기기(OCT(Optical Coherence Tomography), FAG(Fluorescein Angiography), ICG(Indocyanine Green Angiography) 등)에 의해 황반변성 이미지를 결정한다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 블라인드 스팟에 대응하는 영역에 황반변성 이미지가 매핑되지 않는 경우, 손 인식 결과(510)에 따라 입력된 이동 제스처에 따라 황반변성 이미지를 특정 위치로 옮길 수 있다.
도 23은 본 실시예에 따른 핀칭 제스처 입력에 따른 동작을 나타낸 도면이다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 핀칭(Pinching) 제스처를 입력받는 경우, 비디오 투과 이미지를 확대 또는 축소해서 출력시킨다.
AR 안경(100)은 탑재된 블라인드 스팟 설정 프로그램(150)을 이용하여 블라인드 스팟에 대응하는 영역에 황반변성 이미지의 사이즈가 일치하지 않는 경우, 손 인식 결과(510)에 따라 입력된 핀칭 제스처에 따라 황반변성 이미지의 사이즈를 확대하거나 축소시킬 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: AR 안경
110: 카메라
120: 광학 투과 디스플레이
130: 버튼
140: 프로세서
200: 원격 처리 장치
310: 비디오 투과 이미지
320: 광학 투과 이미지

Claims (17)

  1. 프로세서 및 메모리를 구비하는 데이터 처리기기에서, 상기 메모리에 저장되며 상기 프로세서에 의해 실행되는 프로그램은,
    블라인드 스팟 설정부에서 AR 안경의 광학 렌즈를 이용하여 획득된 월드 이미지 또는 내부 프로세서를 이용하여 획득된 비디오 투과 이미지(Video See-through Image) 상에 블라인드 스팟(Blind Spot)을 설정하는 과정;
    영상 처리부에서 상기 AR 안경에 구비된 카메라를 이용하여 획득한 외부 영상이 광학 투과 디스플레이(Optical See-through Display) 상의 상기 블라인드 스팟에 대응하는 영역에 출력하는 과정;
    을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
  2. 제1항에 있어서,
    상기 블라인드 스팟을 설정하기 위한 핸드 제스처를 인식하는 제스처 인식부
    를 추가로 포함하며,
    상기 제스처 인식부는 사용자의 손이 상기 카메라 앞에 위치하는 경우, 상기 손을 감지한 손 인식 결과를 상기 비디오 투과 이미지로 상기 광학 투과 디스플레이 상에 출력하며, 상기 손 인식 결과에 대응하는 상기 핸드 제스처를 인식한 후 상기 핸드 제스처가 기 설정된 복수의 제스처 중 상기 블라인드 스팟을 설정하기 위한 특정 제스처에 대응하는 경우, 상기 블라인드 스팟 설정부가 동작하도록 하는 것을 특징으로 하는 컴퓨터프로그램.
  3. 제2항에 있어서,
    상기 제스처 인식부는
    인공지능을 이용하여 상기 손을 감지한 후 상기 손이 움직일 때마다 상기 손의 관절 형태를 표시하는 상기 손 인식 결과를 AR 형태로 출력하며, 상기 손 인식 결과가 핀치(Pinch), 탭(Tap), 홀드(Hold), 드래그(Drag), 준비(Ready), 회전(Rotate), 이동(Move), 알파벳(Alphabet), 숫자(Number) 중 어느 하나로 인식되는 경우, 상기 손 인식 결과에 대응하여 특정 제스처로 인식하는 것을 특징으로 하는 컴퓨터프로그램.
  4. 제2항에 있어서,
    상기 블라인드 스팟 설정부는
    상기 사용자의 상기 손의 움직임에 따른 상기 손 인식 결과가 복수의 기 설정된 핸드 제스처 중 특정 핸드 제스처로 인식되면, 황반변성의 범위를 정의하는 프로세스를 시작하는 것을 특징으로 하는 컴퓨터프로그램.
  5. 제2항에 있어서,
    상기 블라인드 스팟 설정부는
    상기 월드 이미지 상에 상기 사용자의 상기 손의 움직임에 따른 상기 손 인식 결과를 적용하고, 상기 손 인식 결과를 기반으로 상기 블라인드 스팟이 발생하는 영역의 경계 설정하는 것을 특징으로 하는 컴퓨터프로그램.
  6. 제5항에 있어서,
    상기 블라인드 스팟 설정부는
    상기 월드 이미지를 이용하여 블라인드 스팟이 발생하는 범위를 정의하는 프로세스를 시작할 때, 황반변성이 발생한 눈으로 상기 카메라 앞에 위치하는 상기 손을 바라볼 때, 황반변성이 발생하지 않은 눈으로 상기 손을 바라보는 위치가 달라지므로 소프트웨어적으로 상기 황반변성이 발생하지 않은 눈이 위치한 쪽의 상기 광학 투과 디스플레이에 불투명 컬러가 출력되도록 하여 상기 월드 이미지를 차단되도록 하는 것을 특징으로 하는 컴퓨터프로그램.
  7. 제5항에 있어서,
    상기 블라인드 스팟 설정부는
    상기 월드 이미지를 이용하여 블라인드 스팟이 발생하는 범위를 정의하는 프로세스를 시작할 때, 상기 카메라 앞에서 움직이는 상기 손의 움직임에 따라 상기 손 인식 결과를 인식하고, 상기 손 인식 결과에 대응하는 초점 거리를 확인하고, 상기 초점 거리에 대응하는 이미지 포인트에 대응하는 좌표를 지속적으로 수집하여 황반변성 경계 데이터를 생성하는 것을 특징으로 하는 컴퓨터프로그램.
  8. 제5항에 있어서,
    상기 블라인드 스팟 설정부는
    상기 월드 이미지를 이용하여 블라인드 스팟이 발생하는 범위를 정의하는 프로세스를 시작할 때, 상기 카메라 앞에서 움직이는 상기 손의 움직임에 따라 상기 손 인식 결과를 인식하고, 상기 손 인식 결과를 기반으로 상기 월드 이미지 상에서 황반변성이 발생한 주변의 영역을 동그라미 형태로 황반변성 경계 데이터로 생성하는 것을 특징으로 하는 컴퓨터프로그램.
  9. 제1항에 있어서,
    상기 블라인드 스팟 설정부는
    상기 비디오 투과 이미지를 이용하여 블라인드 스팟이 발생하는 범위를 정의하는 프로세스를 시작할 때, 상기 월드 이미지를 차단한 상태로 상기 광학 투과 디스플레이의 이미지 플레인 상에 암슬러 격자(Amsler Grid)만을 출력한 후 포인팅 디바이스에 의한 명령에 따라 핸드 커서를 이동시켜서 상기 블라인드 스팟의 경계를 정의하는 것을 특징으로 하는 컴퓨터프로그램.
  10. 제9항에 있어서,
    상기 블라인드 스팟 설정부는
    상기 핸드 커서를 인식하면서 초점 거리에 대응하는 이미지 포인트에 대응하는 좌표를 지속적으로 수집하여 황반변성 경계 데이터를 생성하는 것을 특징으로 하는 컴퓨터프로그램.
  11. 제9항에 있어서,
    상기 블라인드 스팟 설정부는
    상기 광학 투과 디스플레이 상에 출력된 암슬러 격자 중 일그러져 보이는 영역, 왜곡 발생 영역이 존재하는 경우, 상기 일그러져 보이는 영역, 상기 왜곡 발생 영역의 주변을 사용자가 직접 선택한 상기 핸드 커서의 위치에 따라 상기 블라인드 스팟으로 정의하는 것을 특징으로 하는 컴퓨터프로그램.
  12. 제9항에 있어서,
    상기 블라인드 스팟 설정부는
    상기 핸드 커서를 인식하면 초점 거리에 대응하는 이미지 포인트에 대응하는 좌표를 지속적으로 수집하여 황반변성 경계 데이터를 생성하는 것을 특징으로 하는 컴퓨터프로그램.
  13. 제9항에 있어서,
    상기 블라인드 스팟 설정부는
    스마트폰의 터치 패드, 블루투스 마우스, 스타일러스 펜, 디지털 펜 중 어느 하나의 명령에 따라 상기 핸드 커서를 원하는 포인트로 이동시키는 것을 특징으로 하는 컴퓨터프로그램.
  14. 제1항에 있어서,
    상기 블라인드 스팟 설정부는
    상기 비디오 투과 이미지와 상기 월드 이미지를 이용하여 블라인드 스팟이 발생하는 범위를 정의하는 프로세스를 시작할 때, 상기 월드 이미지를 차단하지 않은 상태로 상기 광학 투과 디스플레이의 이미지 플레인 상에 암슬러 격자를 출력한 후 상기 사용자의 상기 손의 움직임에 따른 상기 손 인식 결과를 기반으로 상기 블라인드 스팟이 발생하는 영역의 경계를 설정하는 것을 특징으로 하는 컴퓨터프로그램.
  15. 제1항에 있어서,
    상기 블라인드 스팟 설정부는
    사물이 존재하지 않는 벽 또는 평면 스크린에 대한 상기 월드 이미지를 획득하는 것을 특징으로 하는 컴퓨터프로그램.
  16. 제2항에 있어서,
    상기 제스처 인식부는,
    상기 손을 감지한 상기 손 인식 결과를 생성할 때, GPR(Gaussian Process Regression) 알고리즘을 이용하여 노이즈를 보정하고, HGBR(Histogram-based Gradient Boosting Regression) 알고리즘을 이용하여 손 떨림을 보정하는 것을 특징으로 하는 컴퓨터프로그램.
  17. 외부 영상을 촬영하는 카메라;
    메모리;
    프로세서;
    상기 메모리에 저장되며 AR 안경의 광학 렌즈를 이용하여 획득된 월드 이미지(광학 이미지) 또는 상기 프로세서를 이용하여 획득된 비디오 투과 이미지(Video See-through Image) 상에 블라인드 스팟(Blind Spot)을 설정하고, 상기 카메라를 이용하여 획득한 외부 영상이 광학 투과 디스플레이(Optical See-through Display) 상의 상기 블라인드 스팟에 대응하는 영역에 출력하는 프로그램;
    을 포함하며, 상기 프로세서는 상기 프로그램을 실행시키는 것을 특징으로 하는 AR 안경.

KR1020220151680A 2022-11-14 2022-11-14 황반변성 환자를 위한 프로그램 및 이를 적용한 ar 안경 KR20240070172A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220151680A KR20240070172A (ko) 2022-11-14 2022-11-14 황반변성 환자를 위한 프로그램 및 이를 적용한 ar 안경

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220151680A KR20240070172A (ko) 2022-11-14 2022-11-14 황반변성 환자를 위한 프로그램 및 이를 적용한 ar 안경

Publications (1)

Publication Number Publication Date
KR20240070172A true KR20240070172A (ko) 2024-05-21

Family

ID=91320468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220151680A KR20240070172A (ko) 2022-11-14 2022-11-14 황반변성 환자를 위한 프로그램 및 이를 적용한 ar 안경

Country Status (1)

Country Link
KR (1) KR20240070172A (ko)

Similar Documents

Publication Publication Date Title
KR102366110B1 (ko) 번쩍임의 광원에의 매핑
JP6074494B2 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
US11119573B2 (en) Pupil modulation as a cognitive control signal
KR100949743B1 (ko) 고글 형태를 갖는 착용형 시선 추적 장치 및 방법
WO2015051751A1 (en) Interactive projection display
WO2018076202A1 (zh) 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
KR101255219B1 (ko) 시선 추적 방법 및 이를 적용한 장치
JP2022538669A (ja) 眼追跡待ち時間向上
WO2015035745A1 (zh) 信息观察方法及信息观察装置
US20240077937A1 (en) Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
JP7081599B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20210378509A1 (en) Pupil assessment using modulated on-axis illumination
US9934583B2 (en) Expectation maximization to determine position of ambient glints
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
KR20240070172A (ko) 황반변성 환자를 위한 프로그램 및 이를 적용한 ar 안경
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
US20230359273A1 (en) Retinal reflection tracking for gaze alignment
US20230309824A1 (en) Accommodation tracking based on retinal-imaging
US20240103616A1 (en) User interfaces for gaze tracking enrollment
US20240118746A1 (en) User interfaces for gaze tracking enrollment
US20240103636A1 (en) Methods for manipulating a virtual object
US20240036330A1 (en) Control device, glasses-type information display device, control method, and control program
US20230324587A1 (en) Glint analysis using multi-zone lens
JP2018120299A (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法