KR20210084965A - 단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템 - Google Patents

단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템 Download PDF

Info

Publication number
KR20210084965A
KR20210084965A KR1020190177520A KR20190177520A KR20210084965A KR 20210084965 A KR20210084965 A KR 20210084965A KR 1020190177520 A KR1020190177520 A KR 1020190177520A KR 20190177520 A KR20190177520 A KR 20190177520A KR 20210084965 A KR20210084965 A KR 20210084965A
Authority
KR
South Korea
Prior art keywords
terminal
information
myopia
user
use environment
Prior art date
Application number
KR1020190177520A
Other languages
English (en)
Other versions
KR102334027B1 (ko
Inventor
안예진
신선영
이재혁
Original Assignee
(주)아이쿱
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아이쿱, 가톨릭대학교 산학협력단 filed Critical (주)아이쿱
Priority to KR1020190177520A priority Critical patent/KR102334027B1/ko
Publication of KR20210084965A publication Critical patent/KR20210084965A/ko
Application granted granted Critical
Publication of KR102334027B1 publication Critical patent/KR102334027B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시예에 따른 단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템은, 단말에서 사용자가 단말을 이용할 때의 사용환경에 따른 단말 사용환경 정보를 생성하여 근시환자를 모니터링하는 방법으로서, 단말의 디스플레이가 활성화된 상태를 나타내는 스크린 온(screen on) 신호를 감지하는 단계; 상기 스크린 온 신호가 감지되는 스크린 온 타임(screen on time) 동안 센서를 이용해 상기 사용환경을 센싱하여 센서 데이터를 획득하는 단계; 상기 획득된 센서 데이터를 기반으로 상기 사용자의 단말 사용환경을 분석해 모니터링한 정보인 상기 단말 사용환경 정보를 생성하는 단계; 상기 생성된 단말 사용환경 정보를 순차적으로 누적 저장하는 단계; 상기 누적 저장된 단말 사용환경 정보를 근시 모니터링 서버로 송신하는 단계; 및 상시 송신된 단말 사용환경 정보에 기초한 예상 근시 진행정보를 상기 근시 모니터링 서버로부터 획득하여 표시하는 단계; 를 포함한다.

Description

단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템{SYSTEM AND METHOD THAT MONITORING MYOPIA PATIENT ACCORDING TO USAGE ENVIRONMENT OF TERMINAL}
본 발명은 단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템에 관한 것이다. 보다 상세하게는, 사용자가 단말을 사용하는 환경과 근시 간의 상관관계를 파악하여 사용자의 근시를 관리하는 모니터링 방법 및 시스템에 관한 것이다.
최근 들어, 정보 통신 기술이 발달함에 따라 이동 통신 단말기의 보급이 급격하게 이루어지고 있다. 여기서 이동 통신 단말기는, 휴대 전화에 인터넷 통신 또는 정보 검색 등과 같은 데이터 통신 기능을 포함하고, 각종 컴퓨터 지원 기능을 추가한 지능형 단말기로, 다양한 어플리케이션(application)을 이용하여 사용자가 원하는 다양한 서비스를 제공할 수 있다.
하지만, 이러한 이동 통신 단말기를 통해 어플리케이션을 실행할 경우, 사용자의 시선은 이동 통신 단말기의 디스플레이 화면에 고정되기 때문에 본인도 모르게 무의식적으로 근거리에서 사용자가 디스플레이 화면을 장시간 동안 응시하는 상태가 지속적이고 반복적으로 일어나게 되며 눈 깜박임이 급격하게 줄어들게 된다. 이처럼, 이동 통신 단말기와 사용자의 눈이 적정한 거리(예를 들면, 휴대 단말기가 스마트폰인 경우 30cm) 이하로 장시간 유지되는 경우 사용자에게 근시(또는 녹내장)가 증가할 수 있다는 문제점이 발생한다. 최근 동아시아 지역에서는 높은 근시 유병률의 통계가 지속적으로 발표되고 있으며, 특히 고도 근시의 경우 망막박리, 망막열공, 망막 밑 신생혈관 생성 등 안과적 질병이 발생할 확률의 위험이 증가하게 된다.
또한, 이동 통신 단말기의 사용 시 이동 통신 단말기의 주변 밝기(노출 조도) 와 단말기 디스플레이에서 출력되는 밝기(디스플레이 조도) 간 차이의 정도나, 이동 통신 단말기의 움직임 정도 즉, 이동 통신 단말기가 얼마나 흔들리는 상황에서 사용되는지 등과 같은 다양한 사용 환경에 따라서 이동 통신 단말기를 이용하는 사용자의 시력에 큰 영향을 미치고 있다. 그러나, 종래에는 사용자의 시력에 다방면으로 영향을 미칠 수 있는 이동 통신 단말기의 다양한 사용 환경을 고려하는 기술이 미비한 실정이다.
또한, 이동 통신 단말기를 이용함에 따른 과도한 눈의 사용으로 인하여, 눈의 피로도가 증가할 뿐만 아니라 눈이 건조해질 수 있으며 눈의 건조함이 증가되면 시야가 흐려지고 시력이 크게 저하되는 문제점이 있다.
더하여, 근래에는 이동 통신 단말기를 통한 디스플레이 위주의 어플리케이션을 사용하는 연령층이 점차로 어려져서 자기 통제력이 약한 유아 또는 어린이들까지 시력 저하가 발생하고 있으므로, 이러한 문제를 해결하기 위한 기술의 도입이 시급한 상황이다.
하지만, 종래와 같이 이동 통신 단말기의 사용 시간에 따라 동작을 단순히 중지하거나 제한하도록 하는 방법은 시력 저하를 감소시키는데 큰 도움이 되지 못하고 있다.
한편, 동일한 시각 조건(viewing conditions)에 서도 각각의 사람들은 자신의 경험에 따라 다르게 느끼게 된다. 예를 들어, 어떤 사람은 특정한 조건 하에서 표시된 텍스트(text)를 쉽게 읽을 수 있어 눈에 큰 피로를 받지 않을 수 있고, 근시 발병과 같은 시력 문제가 유발되지 않을 수 있다. 반면에 다른 사람은 위와 동일한 조건 하에서 동일하게 표시된 텍스트를 읽기 위해 고군분투할 수도 있으며, 이로 인하여 근시와 같은 시력 문제가 유발될 가능성이 높아질 수 있다. 그러나 종래의 시스템에서는 이러한 개별적인 인자가 고려되지 않아 이에 대한 기술 개발이 요구되고 있다.
자세히, 근시(또는 녹내장)의 유발에 따른 시력 문제의 원인으로 이동 통신 단말기와 같은 장치의 사용이 야기되고 있으나, 정확하게 어떠한 사용 환경(예컨대, 낮은 조명, 가까운 리딩 거리, 장시간 고정된 초점, 디스플레이의 과도한 청색광량, 디스플레이의 과한 흔들림 등)에서 사용자 개개인의 근시(또는 녹내장)가 심각해지는지 그 상관관계를 입증할 수 있는 기술이 미흡하므로, 사용자 개개인의 개별적인 인자를 고려하여 근시(또는 녹내장) 예방을 도모할 수 있는 기술 도입이 필요한 실정이다.
10-2015-0098542 A
본 발명은, 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 사용자가 단말을 사용하는 환경을 모니터링하여 사용자의 단말 사용환경과 근시 간의 상관관계를 파악해 사용자의 근시를 관리하는 모니터링 방법 및 시스템을 제공하는데 그 목적이 있다.
자세히, 본 발명은 사용자의 단말 사용환경과 근시 간의 상관관계를 파악하기 위한 기반 데이터를 제공하는 단말의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 사용자가 단말을 사용하는 환경을 모니터링하여 획득되는 기반 데이터를 기초로 사용자의 근시를 유발하는 원인을 찾아내고, 이를 기반으로 사용자별 맞춤 근시예방 교육 및 처방을 제공하는 단말의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템을 제공하는데 그 목적이 있다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템은, 단말에서 사용자가 단말을 이용할 때의 사용환경에 따른 단말 사용환경 정보를 생성하여 근시환자를 모니터링하는 방법으로서, 단말의 디스플레이가 활성화된 상태를 나타내는 스크린 온(screen on) 신호를 감지하는 단계; 상기 스크린 온 신호가 감지되는 스크린 온 타임(screen on time) 동안 센서를 이용해 상기 사용환경을 센싱하여 센서 데이터를 획득하는 단계; 상기 획득된 센서 데이터를 기반으로 상기 사용자의 단말 사용환경을 분석해 모니터링한 정보인 상기 단말 사용환경 정보를 생성하는 단계; 상기 생성된 단말 사용환경 정보를 순차적으로 누적 저장하는 단계; 상기 누적 저장된 단말 사용환경 정보를 근시 모니터링 서버로 송신하는 단계; 및 상시 송신된 단말 사용환경 정보에 기초한 예상 근시 진행정보를 상기 근시 모니터링 서버로부터 획득하여 표시하는 단계; 를 포함한다.
이때, 상기 단말 사용환경 정보는, 상기 센서 데이터를 기반으로 생성되는 단말 사용거리 정보와, 사용시간 정보, 주변조도 정보, 움직임 정보, 초점 고정시간 정보 및 청색광량 정보 중 적어도 하나 이상의 정보를 포함한다.
또한, 상기 센서 데이터를 획득하는 단계는, 상기 단말과 상기 사용자 간의 거리를 측정한 센서 데이터와, 상기 단말의 움직임을 측정한 센서 데이터, 상기 단말의 주변 밝기값을 측정한 센서 데이터, 상기 단말의 디스플레이에서 출력되는 청색광량을 측정한 센서 데이터, 상기 단말에 대한 상기 사용자의 초점 고정 유무 또는 고정된 시간을 측정한 센서 데이터 중 적어도 하나의 센서 데이터를 획득하는 단계를 포함한다.
또한, 상기 단말 사용환경 정보를 생성하는 단계는, 카메라를 이용하여 상기 단말 사용거리 정보를 획득하는 단계를 포함하고, 상기 단말 사용거리 정보를 획득하는 단계는, 상기 카메라의 타입(type)에 대한 그리드(grid)-거리 정보를 획득하는 단계; 상기 카메라로부터 촬영 이미지를 획득하는 단계; 상기 획득된 촬영 이미지에 기초하여 상기 사용자의 얼굴로 분류되는 영역인 사용자 얼굴영역을 검출하는 단계; 상기 검출된 사용자 얼굴영역이 상기 카메라에 기설정된 그리드 상에서 차지하는 면적을 판단한 그리드 점유비율 정보를 획득하는 단계; 및 상기 획득된 그리드 점유비율 정보에 기초하여 상기 그리드-거리 정보에 따른 상기 단말 사용거리 정보를 획득하는 단계를 포함하고, 상기 그리드-거리 정보는, 특정 오브젝트가 상기 카메라의 타입에 대하여 그리드(grid)를 차지하는 면적 비율에 따라 매칭된 상기 특정 오브젝트와 상기 단말 간의 거리에 대한 정보이다.
또한, 상기 예상 근시 진행정보는, 상기 근시 모니터링 서버가 딥러닝 뉴럴 네트워크를 이용하여 상기 단말 사용환경 정보의 각 파라미터와 상기 사용자의 근시 간의 상관관계를 판단하고, 판단된 상기 상관관계를 기반으로 상기 사용자의 근시의 악화 또는 개선을 나타내는 지표이다.
한편, 본 발명의 실시예에 따른 단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템은, 사용자의 단말 사용환경을 센싱하여 센서 데이터를 획득하는 센서부와, 상기 획득된 센서 데이터를 기반으로 상기 사용자의 단말 사용환경을 분석해 모니터링한 정보인 단말 사용환경 정보를 생성하는 제어부와, 상기 생성된 단말 사용환경 정보를 근시 모니터링 서버로 송신하고, 상기 근시 모니터링 서버로부터 상기 단말 사용환경 정보와 상기 사용자의 근시 간의 상관관계를 판단한 정보인 예상 근시 진행정보를 수신하는 통신부와, 상기 수신된 예상 근시 진행정보에 기반한 출력을 수행하는 디스플레이부를 포함하는 단말; 및 상기 단말 사용환경 정보를 수신하는 데이터 수신부와, 상기 예상 근시 진행정보를 송신하는 데이터 송신부와, 상기 수신된 단말 사용환경 정보를 기반으로 딥러닝 뉴럴 네트워크를 이용하여 상기 예상 근시 진행정보를 생성하는 데이터 처리부;를 포함하는 근시 모니터링 서버를 포함한다.
본 발명의 실시예에 따른 단말의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템은, 사용자의 단말 사용환경과 근시 간의 상관관계를 파악하여 이를 기반으로 사용자의 근시를 관리하게 함으로써, 사용자의 개별적인 인자를 고려하여 근시를 유발하는 원인을 찾아낼 수 있고, 이에 기초한 사용자별 맞춤 근시예방 교육 및 처방을 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 단말의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템은, 사용자의 단말 사용환경과 근시 간의 상관관계를 파악하기 위한 기반 데이터를 다양한 방식으로 획득하여 제공함으로써, 사용자의 단말 사용환경과 근시 간의 상관관계를 보다 소상하게 파악할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 단말의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템은, 사용자의 단말 사용환경과 근시 간의 상관관계를 파악한 정보를 제공함으로써, 근시와 관련된 일반적인 통계나 사용자별 통계를 보다 정확하게 도출할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 단말의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템은, 사용자가 단말을 사용할 때 사용자의 얼굴과 단말 간의 거리를 카메라로부터 획득된 촬영 이미지로부터 감지된 사용자 얼굴영역을 기반으로 제공함으로써, 사용자의 단말 사용환경이 포함하는 단말 사용거리 정보를 보다 정확하게 판단할 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 단말의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 단말의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 근시 모니터링 서버의 내부 블록도이다.
도 4는 본 발명의 실시예에 따른 단말에서 단말의 사용환경에 기반한 근시환자 모니터링 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 카메라로부터 획득되는 촬영 이미지를 기반으로 사용자와 단말 간의 거리를 획득하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 카메라로부터 획득되는 촬영 이미지를 기반으로 사용자와 단말 간의 거리를 획득하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 카메라로부터 획득된 촬영 이미지로부터 사용자 얼굴영역을 검출하는 모습의 일례이다.
도 8은 본 발명의 실시예에 따른 카메라로부터 획득된 촬영 이미지로부터 검출된 사용자 얼굴영역의 그리드 점유 비율을 도출하는 모습의 일례이다.
도 9는 본 발명의 실시예에 따른 근시 모니터링 서버에서 단말의 사용환경에 기반한 근시환자 모니터링 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 실시예에 따른 딥러닝 뉴럴 네트워크를 구현하는 복수의 블록으로 이루어진 신경망 구조 중 하나의 블록을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 단말의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템의 개념도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 단말의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템은, 단말(100) 및 근시 모니터링 서버(200)를 포함할 수 있다.
여기서, 도 1의 각 구성요소는, 네트워크(Network)를 통해 연결될 수 있다. 네트워크는 단말(100) 및 근시 모니터링 서버(200) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
- 단말
먼저, 본 발명의 실시예에 따른 단말(100)은, 사용자의 단말(100) 사용환경에 기반한 근시환자 모니터링 서비스를 제공하기 위한 일련의 동작을 수행할 수 있다.
자세히, 단말(100)은, 먼저 단말(100)의 화면에 대한 온/오프(on/off) 여부를 판단할 수 있다. 그리고 단말(100)은, 화면이 온(on) 상태인 경우 사용자가 단말(100)을 이용할 때의 사용환경을 센싱한 정보인 센서 데이터를 획득할 수 있다.
자세히, 단말(100)은, 복수의 센서를 이용하여 후술되는 단말 사용환경 정보를 생성하기 위한 기초 데이터가 되는 센서 데이터를 획득할 수 있다.
또한, 단말(100)은, 획득된 센서 데이터에 기초하여 사용자의 단말 사용환경 정보를 획득할 수 있다.
여기서, 단말 사용환경 정보란, 단말(100)의 사용환경과 근시 간의 상관관계를 도출해 근시에 영향을 미치는 요소를 검출하기 위한 기반 데이터로서, 사용자가 단말(100)을 이용할 때의 사용환경을 센싱한 정보인 센서 데이터를 기반으로 생성되며, 추후 딥러닝 뉴럴 네트워크의 입력 데이터로서 이용될 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.
또한, 단말(100)은, 획득된 단말 사용환경 정보를 시간에 따라 순차적으로 누적하여 저장할 수 있다. 그리고 단말(100)은, 소정의 기간에 대하여 누적 저장되어 있는 단말 사용환경 정보를 근시 모니터링 서버(200)로 송신할 수 있다.
이후, 근시 모니터링 서버(200)로 단말 사용환경 정보를 송신한 단말(100)은, 근시 모니터링 서버(200)로부터 단말 사용환경 정보에 기초한 예상 근시 진행정보를 수신하여 출력할 수 있다.
여기서, 예상 근시 진행정보란, 근시 모니터링 서버(200)가 단말 사용환경 정보를 이용하여 딥러닝을 수행해 획득한 정보로서, 사용자의 단말 사용환경 정보를 딥러닝 뉴럴 네트워크에 입력하여 도출된 단말 사용환경과 근시 간의 상관관계를 기반으로 사용자 근시의 악화 또는 개선 정보를 판단한 정보일 수 있다. 예를 들어, 사용자 근시의 악화 또는 개선 정보는, 사용자 근시의 악화 또는 개선 정도, 상태 및/또는 영향 요인 정보 등을 포함할 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.
한편, 이러한 단말(100)은, 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스를 수행하기 위한 프로그램이 설치된 휴대용 단말(100)인 스마트 폰, 디지털방송용 단말(100)기, 휴대폰, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device) 및 스마트 글라스(smart glass) 등을 포함할 수 있다.
이하, 첨부된 도면을 참조하여 단말(100)을 이루는 각 구성 요소에 대해 상세히 설명하고자 한다.
도 2는 본 발명의 실시예에 따른 단말(100)의 내부 블록도이다.
도 2를 참조하면, 단말(100)은, 통신부(110), 입력부(120), 디스플레이부(130), 터치 스크린(135: touch screen), 센서부(140), 카메라(150), 저장부(160) 및 제어부(170)를 포함할 수 있다.
먼저, 통신부(110)는, 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스를 제공하기 위한 각종 데이터 및/또는 정보 등을 송수신할 수 있다.
실시예에서, 통신부(110)는, 근시 모니터링 서버(200)와 통신하여 근시환자 모니터링 서비스와 관련된 데이터(예컨대, 단말 사용환경 정보 등)를 송수신할 수 있다.
이러한 통신부(110)는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말(100), 임의의 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다.
다음으로, 입력부(120)는, 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스와 관련된 사용자의 입력을 감지할 수 있다.
실시예로, 입력부(120)는, 디바이스 온/오프(device on/off) 버튼을 포함하여 디바이스 온/오프에 대한 입력 즉, 화면에 대한 온/오프(on/off) 입력을 감지할 수 있다.
다음으로, 디스플레이부(130)는, 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.
이러한 디스플레이부(130)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 입력부(120) 및 상기 디스플레이부(130)가 결합되어 터치 스크린(135)으로 구현될 수 있다.
다음으로, 센서부(140)는, 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스를 제공하기 위한 기초 데이터를 획득할 수 있다.
자세히, 센서부(140)는, 사용자의 단말 사용환경 정보를 생성하기 위한 기초 데이터인 센서 데이터를 획득할 수 있다.
실시예에서 이러한 센서부(140)는, 모션측정 센서, 조도(광) 센서, 청색광 측정 센서, 거리측정 센서 및/또는 홍채인식 센서 등을 포함할 수 있다.
보다 상세히, 먼저 모션측정 센서는, 가속도 센서(accelerometer), 자이로스코프 센서(gyroscope sensor) 및/또는 중력 센서(G-sensor) 등을 포함할 수 있으며, 단말(100)의 움직임을 측정한 기초 데이터를 획득할 수 있다.
또한, 조도(광) 센서(light sensor)는, 단말(100) 주변의 밝기값을 센싱하여 단말(100)의 주변 조도를 측정한 기초 데이터를 획득할 수 있다.
또한, 청색광 측정 센서는, 3 자극값 컬러 센서 등을 포함할 수 있으며, 단말(100)의 디스플레이에서 출력되는 청색광량을 측정한 기초 데이터를 획득할 수 있다.
또한, 거리측정 센서는, 근접 센서(proximity sensor), 적외선 센서 및/또는 레이저 센서 등을 포함할 수 있으며, 단말(100)과 사용자 간의 거리를 측정한 기초 데이터를 획득할 수 있다.
또한, 홍채인식 센서는, 사용자의 홍채를 센싱하여 사용자 초점의 고정 유무 및/또는 고정된 시간을 측정한 기초 데이터를 획득할 수 있다.
다음으로, 실시예에서 카메라(150)는, 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스를 제공하기 위한 촬영 이미지를 획득할 수 있다.
자세히, 카메라(150)는, 단말(100)의 전면부 및/또는 후면부에 배치되어 배치된 방향측을 촬영해 영상을 획득할 수 있다. 이때, 특히 본 발명의 실시예에서 카메라(150)는, 단말(100)을 사용 중인 사용자를 촬영한 촬영 이미지를 획득할 수 있다. 그리고 촬영 이미지를 획득한 단말(100)은, 획득된 촬영 이미지를 센서 데이터에 포함하여 추후 단말 사용환경 정보 생성 시 활용할 수 있다.
또한, 이러한 카메라(150)는, 이미지 센서와 영상 처리 모듈을 포함할 수 있다.
자세히, 카메라(150)는, 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.
또한, 카메라(150)는, 영상 처리 모듈을 이용하여 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 제어부(170)에 전달할 수 있다.
다음으로, 저장부(160)는, 본 발명의 실시예에 따른 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스를 제공하기 위한 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
실시예로 저장부(160)는, 센서 데이터, 단말 사용환경 정보 및/또는 그리드(grid)-거리 정보 등을 저장하고 관리할 수 있다.
이러한 저장부(160)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 저장부(160)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
마지막으로, 제어부(170)는, 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스를 제공하기 위하여 전술한 각 구성요소의 전반적인 동작을 컨트롤할 수 있다.
이때, 제어부(170)는, 딥러닝 뉴럴 네트워크(Deep running neural network)와 연동하여 이미지 딥러닝을 수행할 수 있다.
여기서, 실시예에 따라 딥러닝 뉴럴 네트워크는, 단말(100)에 직접 설치되거나, 단말(100)과는 별개의 장치로서 데이터를 수신하여 딥러닝을 수행할 수 있다.
이하 본 발명의 실시예에서는, 딥러닝 뉴럴 네트워크가 단말(100)에 직접 설치되어 이미지 딥러닝을 수행하는 실시예를 기준으로 설명한다.
자세히, 제어부(170)는, 딥러닝 뉴럴 네트워크 구동 프로그램을 저장부(160)로부터 독출할 수 있고, 독출된 구동 프로그램에 구축된 딥러닝 뉴럴 네트워크 시스템에 따라 이미지 딥러닝을 수행할 수 있다.
실시예로, 제어부(170)는, 카메라(150)를 통하여 획득된 촬영 이미지를 구동 프로그램에 구축된 딥러닝 뉴럴 네트워크의 입력 데이터로 입력할 수 있고, 이에 기반한 이미지 딥러닝을 통해 촬영 이미지 상의 사용자 얼굴영역을 출력 데이터로 획득할 수 있다.
이러한 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
- 근시 모니터링 서버
한편, 본 발명의 실시예에 따른 근시 모니터링 서버(200)는, 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스를 위하여 단말 사용환경 정보에 기반한 딥러닝을 수행할 수 있고, 이를 기초로 사용자의 단말(100) 사용환경과 근시 간의 상관관계를 기초로 근시의 악화 또는 개선 정보를 판단한 정보인 예상 근시 진행정보를 제공할 수 있다.
자세히, 근시 모니터링 서버(200)는, 단말(100), 외부의 장치 및/또는 서버로부터 사용자에 대한 근시검사 결과값을 획득할 수 있다. 여기서, 근시검사 결과값이란, 사용자가 수행한 근시검사에 대한 결과 정보일 수 있다.
또한, 근시 모니터링 서버(200)는, 단말(100)로부터 단말 사용환경 정보를 획득할 수 있다.
그리고 근시 모니터링 서버(200)는, 획득된 근시검사 결과값과 단말 사용환경 정보를 기반으로 딥러닝을 수행하여 단말(100) 사용환경과 근시 간의 상관관계를 판단할 수 있다.
예를 들어, 근시 모니터링 서버(200)는, 딥러닝 뉴럴 네트워크를 이용하여 단말 사용환경 정보의 파라미터별로 근시의 진행에 영향을 끼치는 가중치 값을 결정하는 테이블을 생성해 단말(100) 사용환경과 근시 간의 상관관계를 나타낼 수 있다. 또는, 근시 모니터링 서버(200)는, 딥러닝 뉴럴 네트워크를 이용하여 단말 사용환경 정보의 파라미터별로 근시의 진행에 영향을 끼치는 정도를 소정의 기준에 따라 수치로 나타내는 상관관계 값으로 단말(100) 사용환경과 근시 간의 상관관계를 나타낼 수 있다.
또한, 근시 모니터링 서버(200)는, 딥러닝을 통해 판단된 단말(100) 사용환경과 근시 간의 상관관계를 기반으로, 사용자의 단말(100) 사용환경에 따른 사용자 근시의 악화 또는 개선 정보를 제공하는 예상 근시 진행정보를 생성할 수 있다.
도 3은 본 발명의 실시예에 따른 근시 모니터링 서버(200)의 내부 블록도이다.
또한, 도 3을 참조하면 이러한 근시 모니터링 서버(200)는, 데이터 수신부(210), 데이터 송신부(220), 데이터 처리부(230) 및 데이터베이스(240)를 포함할 수 있다.
먼저, 데이터 수신부(210) 및 데이터 송신부(220)는, 단말(100) 및/또는 외부 서버와 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스를 수행하기 위한 각종 데이터를 네트워크를 통해 주고받을 수 있다.
또한, 데이터 처리부(230)는, 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스를 수행하기 위한 일련의 데이터 처리를 수행할 수 있다.
이때, 데이터 처리부(230)는, 딥러닝 뉴럴 네트워크(Deep running neural network)와 연동하여 딥러닝을 수행할 수 있다.
여기서, 실시예에 따라 딥러닝 뉴럴 네트워크는, 근시 모니터링 서버(200)에 직접 설치되거나, 근시 모니터링 서버(200)와는 별개의 장치로서 데이터를 수신하여 딥러닝을 수행할 수 있다.
이하 본 발명의 실시예에서는, 딥러닝 뉴럴 네트워크가 근시 모니터링 서버(200)에 직접 설치되어 딥러닝을 수행하는 실시예를 기준으로 설명한다.
자세히, 데이터 처리부(230)는, 딥러닝 뉴럴 네트워크 구동 프로그램을 데이터베이스(240)로부터 독출할 수 있고, 독출된 구동 프로그램에 구축된 딥러닝 뉴럴 네트워크 시스템에 따라 딥러닝을 수행할 수 있다.
실시예로, 데이터 처리부(230)는, 데이터 수신부(210)를 통하여 획득된 근시검사 결과값 및 단말 사용환경 정보를 구동 프로그램에 구축된 딥러닝 뉴럴 네트워크의 입력 데이터로 입력할 수 있고, 이에 기반한 딥러닝을 통해 사용자의 단말(100) 사용환경과 근시 간의 상관관계를 판단할 수 있으며,이를 기반으로 사용자의 단말 사용환경에 따른 근시의 악화 또는 개선정보를 나타내는 지표인 예상 근시 진행정보를 출력 데이터로 획득할 수 있다.
또한, 이러한 데이터 처리부(230)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
또한, 데이터베이스(240)는, 단말(100)의 사용환경에 따른 근시환자 모니터링 서비스와 관련된 각종 데이터를 저장할 수 있다.
실시예로, 데이터베이스(240)는, 딥러닝 뉴럴 네트워크 구동 프로그램을 저장할 수 있고, 데이터 처리부(230)의 요청에 의하여 제공할 수 있다.
이러한 데이터베이스(240)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 데이터베이스(240)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
- 단말의 사용환경에 따른 근시환자 모니터링 방법
이하, 첨부된 도면을 참조하여 단말(100)의 사용환경을 기반으로 근시환자를 모니터링하는 방법에 대해 상세히 설명하고자 한다.
<단말>
도 4는 본 발명의 실시예에 따른 단말(100)에서 단말(100)의 사용환경에 기반한 근시환자 모니터링 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 단말(100)의 사용환경에 기반한 근시환자 모니터링 서비스를 제공하기 위해 단말(100)은, 먼저 스크린 온(screen on) 신호를 감지할 수 있다. (S101)
자세히, 단말(100)은, 기본적으로 입력부(120)의 디바이스 온/오프 버튼 또는 센서부(140)를 통하여 스크린 오프(screen off) 신호를 감지할 수 있다.
상세히, 단말(100)은, 입력부(120)의 디바이스 온/오프 버튼에 대한 사용자의 입력에 의하여 디바이스가 오프(off) 상태이거나, 단말(100)의 모션측정 센서를 통해 획득된 디바이스의 움직임 또는 진동이 검출되지 않은 경우, 스크린이 오프(off)된 상황을 나타내는 스크린 오프 신호를 감지할 수 있다.
이때, 단말(100)은, 스크린 오프(screen off) 신호가 감지된 경우 대기타임 측정 데이터를 획득할 수 있다.
여기서, 대기타임 측정 데이터란, 단말(100)의 디바이스 온/오프 버튼 또는 센서부(140)를 통하여 획득된 정보를 기반으로 오프 타임(off time) 즉, 단말(100)의 미사용 시간을 측정한 데이터일 수 있다.
그리고 단말(100)은, 획득된 대기타임 측정 데이터를 추후 단말 사용환경 정보를 생성하기 위한 기초 데이터로 활용할 수 있다.
한편, 단말(100)은, 입력부(120)의 디바이스 온/오프 버튼 또는 센서부(140)를 통하여, 디바이스(즉, 단말(100))가 동작하여 단말(100)의 디스플레이부(130)가 활성화된 상태인 스크린이 온(on)된 상황을 나타내는 스크린 온(screen on) 신호를 감지할 수 있다.
자세히, 단말(100)은, 입력부(120)의 디바이스 온/오프 버튼에 대한 사용자의 입력에 의하여 디바이스가 온(on) 상태이거나, 단말(100)의 모션측정 센서를 통해 획득된 디바이스의 움직임 또는 진동이 검출된 경우, 스크린이 온(on)된 상황을 나타내는 스크린 온 신호를 감지할 수 있다.
이때, 스크린 온 신호를 감지한 단말(100)은, 대기타임 측정 데이터 검출을 중지하고, 스크린 온 타임(screen on time) 동안의 센서 데이터를 획득할 수 있다. (S103)
여기서, 센서 데이터란, 사용자가 단말(100)을 이용할 때의 사용환경에 대한 정보를 복수의 센서를 통해 획득한 데이터로서, 사용자의 단말 사용환경 정보를 생성하기 위한 기초 데이터로 활용되는 데이터일 수 있다.
자세히, 단말(100)은, 센서부(140)의 복수의 센서를 통하여 스크린 온 타임 동안의 센서 데이터를 획득할 수 있다.
보다 상세히, 단말(100)은, 모션측정 센서를 통하여 단말(100)의 움직임 및/또는 진동을 측정한 센서 데이터를 획득할 수 있다.
또한, 단말(100)은, 조도(광) 센서를 통하여 단말(100) 주변의 밝기값을 센싱하여 단말(100)의 주변 조도를 측정한 센서 데이터를 획득할 수 있다.
또한, 단말(100)은, 청색광 측정 센서를 통하여 단말(100)의 디스플레이에서 출력되는 청색광량을 측정한 센서 데이터를 획득할 수 있다.
또한, 단말(100)은, 거리측정 센서를 통하여 단말(100)과 사용자 간의 거리를 측정한 센서 데이터를 획득할 수 있다. 예를 들어, 단말(100)은, 거리측정 센서의 근접 센서를 통하여 오브젝트(object, 객체)의 접근을 비접촉으로 검출할 수 있다. 또한 단말(100)은, 거리측정 센서의 적외선 센서를 통하여 적외선(IR)을 방사하고 비상 시간(프로젝션(projection) 및 리턴(return) 시간)을 측정하여 오브젝트와의 거리를 검출할 수 있다. 또한 단말(100)은, 거리측정 센서의 레이저 센서를 통하여 (초)음파를 방사하고 비상 시간(프로젝션 및 리턴 시간)을 측정하여 오브젝트와의 거리를 검출할 수 있다. 이때, 실시예에서 적외선 센서 및/또는 레이저 센서는, TOF(Time Of Flight) 방식으로 구현되어 TOF 카메라(150)와 연동될 수 있다.
또한, 단말(100)은, 홍채인식 센서를 통하여 사용자의 홍채를 센싱하여 사용자 초점의 고정 유무 및/또는 고정된 시간을 측정한 센서 데이터를 획득할 수 있다.
이와 같이, 단말(100)은, 각각에 특화된 데이터를 센싱하는 복수의 센서를 통하여 다양한 단말(100) 사용환경(예컨대, 사용시간, 주변조도, 단말(100)과 사용자 간의 거리, 움직임, 초점 고정시간, 청색광량 등)에 대한 정보를 획득할 수 있고, 이를 통해 사용자의 단말(100) 사용환경을 다각도로 분석할 수 있다.
다음으로, 위와 같이 센서 데이터를 획득한 단말(100)은, 획득된 센서 데이터에 기초하여 단말 사용환경 정보를 생성할 수 있다. (S105)
자세히, 단말(100)은, 센서 데이터를 기초로 사용자의 단말(100) 사용환경을 분석해 모니터링한 정보인 단말 사용환경 정보를 생성할 수 있다.
실시예에서, 단말 사용환경 정보는, 단말(100)에 대한 사용시간 정보, 주변조도 정보, 움직임 정보, 초점 고정시간 정보, 청색광량 정보 및 단말 사용거리 정보 중 적어도 하나 이상을 포함할 수 있다.
보다 상세히, 단말(100)은, 스크린 온 시간(screen on time)을 측정하여 사용자가 단말(100)을 사용한 시간을 측정한 정보인 단말(100)의 사용시간 정보를 획득할 수 있다.
이때 단말(100)은, 입력부(120)의 디바이스 온/오프 버튼 및/또는 센서부(140)를 통하여 스크린 온 시간을 측정할 수 있다. 예컨대, 단말(100)은, 디바이스 온/오프 버튼을 통해 감지된 스크린 온 신호의 감지 시각과 스크린 오프 신호의 감지 시각 간의 차이값을 산출하여 스크린 온 시간을 도출할 수 있다. 다른 예에서, 단말(100)은, 센서부(140)의 모션측정 센서를 통해 획득된 대기타임 측정 데이터에 기반하여 소정의 기준 시각(예컨대, 24시간)과 대기타임 측정 데이터로 산출된 대기 시각 간의 차이값을 산출하여 스크린 온 시간을 도출할 수 있다.
또한, 단말(100)은, 스크린 온 시간 중 사용자 시점 고정시간을 단말(100)의 사용시간 정보로 결정하여, 좀더 정확한 사용자의 단말(100) 사용시간을 파악할 수 있다.
이와 같이, 단말(100)은, 사용자의 단말(100) 사용시간 정보를 모니터링하고 이를 기반으로 사용자의 근시를 관리하게 함으로써, 사용자가 단말(100)을 이용한 시간과 근시와의 상관관계에 기반한 근시환자 모니터링 서비스를 효과적으로 제공할 수 있다.
또한, 단말(100)은, 스크린 온(screen on) 시의 주변 밝기를 측정한 정보인 단말(100)의 주변조도 정보를 획득할 수 있다.
이때, 단말(100)은, 센서부(140)의 조도(광) 센서로부터 단말(100) 주변의 밝기값을 획득하여 주변조도 정보를 생성할 수 있다.
이와 같이, 단말(100)은, 주변조도 정보를 모니터링하고 이를 기반으로 사용자의 근시를 관리하게 함으로써, 사용자가 단말(100)을 이용할 때의 주변 밝기의 정도와 근시와의 상관관계에 기반한 근시환자 모니터링 서비스를 효과적으로 제공할 수 있다.
또한, 단말(100)은, 단말(100)의 움직임 및/또는 진동을 측정한 정보인 단말(100)의 움직임 정보를 획득할 수 있다.
이때, 단말(100)은, 센서부(140)의 모션측정 센서의 센서 데이터를 기반으로 사용자에 의한 단말(100)의 연속적인 움직임 및/또는 진동을 감지하여 움직임 정보를 생성할 수 있다.
이와 같이, 단말(100)은, 단말(100)의 움직임 정보를 모니터링하여 사용자가 움직이거나 흔들리는 환경에서 단말(100)을 이용하는지 판단할 수 있고, 이를 기반으로 사용자의 근시를 관리하여 단말(100)의 흔들림 정도와 근시와의 상관관계에 기반한 근시환자 모니터링 서비스를 효과적으로 제공할 수 있다.
또한, 단말(100)은, 단말(100)의 디스플레이 상에 장시간 고정되어 있는 사용자의 초점에 대하여 초점의 고정시간을 측정한 정보인 초점 고정시간 정보를 획득할 수 있다.
이때, 단말(100)은, 센서부(140)의 홍채인식 센서의 센서 데이터를 기반으로 사용자가 화면을 주시하고 있음을 감지할 수 있으며, 사용자의 초점이 화면 상에 장시간 고정된 경우 해당 시간을 측정하여 초점 고정시간 정보를 생성할 수 있다.
이와 같이, 단말(100)은, 단말(100)에 대한 사용자의 초점 고정시간 정보를 모니터링하고 이를 기반으로 사용자의 근시를 관리하게 함으로써, 단말(100)의 디스플레이에 대한 초점의 고정시간과 근시와의 상관관계에 기반한 근시환자 모니터링 서비스를 효과적으로 제공할 수 있다.
또한, 단말(100)은, 단말(100)의 디스플레이에서 출력되는 청색광의 양을 측정한 정보인 청색광량 정보를 획득할 수 있다.
이때, 단말(100)은, 센서부(140)의 청색광 측정 센서의 센서 데이터를 기반으로 단말(100)의 화면으로부터 출력되는 청색광의 양을 감지하여 청색광령 정보를 생성할 수 있다.
이와 같이, 단말(100)은, 단말(100)의 청색광량 정보를 모니터링하고 이를 기반으로 사용자의 근시를 관리하게 함으로써, 사용자가 주시하는 화면으로부터 출력되는 청색광의 정도와 근시와의 상관관계에 기반한 근시환자 모니터링 서비스를 효과적으로 제공할 수 있다.
또한, 단말(100)은, 단말(100)과 사용자의 얼굴 간의 거리를 측정한 정보인 단말 사용거리 정보단말 사용거리 정보를 획득할 수 있다.
자세히, 단말(100)은, 센서부(140) 및/또는 카메라(150)를 이용하여 이하에서 기술되는 복수의 단말 사용거리 정보의 획득 방식 중 적어도 하나의 방식으로 단말 사용거리 정보를 획득할 수 있다.
먼저, 단말(100)은, 1) 센서부(140)를 통하여 단말 사용거리 정보를 획득할 수 있다. 자세히 단말(100)은, 센서부(140)의 거리측정 센서인 근접 센서, 적외선 센서 및 레이저 센서 중 적어도 어느 하나를 기반으로 비상 시간(프로젝션(projection) 및 리턴(return) 시간)값을 측정하여 단말 사용거리 정보를 획득할 수 있다.
또한, 단말(100)은, 카메라(150)를 통하여 단말 사용거리 정보를 획득할 수 있다. 자세히, 실시예에서 단말(100)은, 단말(100)의 디스플레이를 주시하는 사용자를 용이하게 확인가능한 단말(100) 전면부에 배치된 카메라(150)를 이용하여 단말 사용거리 정보를 획득할 수 있다. 즉, 단말(100)의 제어부는, 단말(100)의 전면부에 거리측정 센서가 없는 경우에도 싱글 카메라만을 통해 단말(100)과 사용자의 거리인 사용거리 정보를 검출할 수 있다.
보다 상세히, 먼저 단말(100)의 전면 카메라(150)가 듀얼(dual) 카메라(150)인 경우 단말(100)은, 2) 스테레오 방식으로 단말 사용거리 정보를 획득할 수 있다. 예를 들어 단말(100)은, 듀얼 카메라(150)를 통해 획득된 사용자측 포인트(예컨대, 감지된 사용자 양안 사이의 중간위치 등) 및 2개의 카메라(150) 각각의 초점 포인트(예컨대, 각 카메라(150)의 렌즈 위치 등)를 기반으로 3각 측정을 수행하여 단말 사용거리 정보를 생성할 수 있다.
다만, 일반적으로 대부분의 단말(100) 전면부에 배치된 카메라(150)는 싱글(single) 카메라(150)로 구현되어 있다.
그러므로 단말(100)은, 단말(100)의 전면 카메라(150)가 싱글 카메라(150)인 경우 3) 카메라(150)가 촬영한 이미지에 대한 오토 포커스(auto focus) 기능을 통하여, 촬영된 이미지의 오브젝트 간 위상차를 기반으로 단말 사용거리 정보를 생성할 수 있다.
또한, 단말(100)은, 단말(100)의 전면 카메라(150)가 싱글 카메라(150)인 경우 4) 카메라(150)의 오토 포커스 측정용 거리측정 센서로부터 비상 시간값 획득하여 단말 사용거리 정보를 생성할 수 있다.
또한, 단말(100)은, 단말(100)의 전면 카메라(150)가 싱글 카메라(150)일 때 해당 카메라(150)가 깊이(depth)를 감지하는 3D 카메라(150)인 TOF(Time Of Flight)인 경우, 5) TOF(Time Of Flight) 카메라(150)의 TOF 센서를 통한 비상 시간값을 획득하여 단말 사용거리 정보를 생성할 수 있다.
또한, 특히 본 발명의 실시예에서 단말(100)은, 단말(100)의 전면 카메라(150)가 싱글 카메라(150)인 경우 6) 카메라(150)를 통해 획득된 촬영 이미지로부터 사용자로 분류되는 면적을 감지하고, 감지된 면적을 기반으로 단말 사용거리 정보를 획득할 수 있다.
도 5 및 6은 본 발명의 실시예에 따른 카메라(150)로부터 획득되는 촬영 이미지를 기반으로 사용자와 단말(100) 간의 거리를 획득하는 방법을 설명하기 위한 도면이다.
도 5 및 6을 참조하면, 본 발명의 실시예에 따른 단말(100)은, 먼저 단말(100)의 전면 카메라(150)의 타입(type)에 대한 그리드(grid)-거리 정보를 획득할 수 있다. (S201)
일반적으로, 카메라(150)는 그 타입(기종)에 따라서 카메라(150)에 기설정되어 있는 그리드(grid)의 크기 등이 서로 다를 수 있다. 그러므로 본 발명의 실시예에서는, 카메라(150) 타입별로 각기 다른 그리드를 고려하여 사용자와 단말(100) 간의 거리를 획득하고자 한다.
즉, 실시예에서 그리드(grid)-거리 정보란, 전체 그리드 면적 대비 오브젝트가 센싱된 그리드 면적 비율에 따라서 기 설정된 해당 오브젝트와 단말(100) 간의 거리 정보일 수 있다. 이때, 단말(100)에 배치된 카메라(150)의 타입(기종)에 따라서 그리드의 개수, 크기 등의 스펙이 다르므로, 그리드-거리 정보는 카메라(150) 타입별로 설정되는 것이 바람직하며, 이러한 카메라(150) 타입별 그리드-거리 정보는 단말(100) 및/또는 근시 모니터링 서버(200)에 저장되어 있을 수 있다.
예를 들어, 그리드-거리 정보는, 도 6의 (2)와 같이 카메라(150) 타입에 매칭된 그리드가 가로 10개 및 세로 10개의 직선으로 구현된 경우, 총 100개의 픽셀 그리드(pixel grid)에 도 6의 (1)과 같이 획득된 촬영 이미지를 도 6의 (3)과 같이 중첩하여, 해당 그리드 상에서 해당 촬영 이미지의 오브젝트가 얼만큼의 면적을 차지하는지에 따라 단말(100)과 해당 오브젝트 간의 거리가 기설정된 정보일 수 있다. 즉, 전체 그리드의 수에서 촬영 이미지의 오브젝트가 차지하는 그리드의 수의 비율에 반비례하여, 오브젝트와 단말(100) 사이의 거리가 산출될 수 있다.
예컨대, 그리드-거리 정보는, 총 100개의 픽셀 그리드 중 0~20% 이상의 픽셀 그리드가 특정 오브젝트로 채워지면 단말(100)과 특정 오브젝트 간의 거리를 최소 100cm, 20%~50% 이상의 픽셀 그리드가 특정 오브젝트로 채워지면 단말(100)과 특정 오브젝트 간의 거리를 최소 50cm, 50%~80% 이상의 픽셀 그리드가 특정 오브젝트로 채워지면 단말(100)과 특정 오브젝트 간의 거리를 최소 20cm, 80%~100% 이상의 픽셀 그리드가 특정 오브젝트로 채워지면 단말(100)과 특정 오브젝트 간의 거리를 최소 0cm로 판단하는 기설정된 정보일 수 있다.
또한, 그리드-거리 정보를 획득한 단말(100)은, 단말(100)의 전면 카메라(150)로부터 촬영 이미지를 획득할 수 있다. (S203)
자세히, 단말(100)은, 도 6의 (1)과 같이 단말(100)의 전면 카메라(150)가 외부의 오브젝트를 촬영하여 생성되는 촬영 이미지를 획득할 수 있다.
그리고 단말(100)은, 획득된 촬영 이미지를 기반으로 사용자 얼굴영역을 검출할 수 있다. (S205)
여기서, 사용자 얼굴영역이란, 촬영 이미지 상에서 사용자의 얼굴을 나타내는 영역을 의미한다.
자세히, 단말(100)은, 이미지 딥러닝(Image deep-learning)을 수행하는 딥러닝 뉴럴 네트워크(deep-learning neural network)를 통하여 촬영 이미지로부터 사용자 얼굴영역을 검출할 수 있다.
여기서, 본 발명의 실시예에 따른 이미지 딥러닝 뉴럴 네트워크는, 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network), R-CNN(Regions with CNN features), Fast R-CNN, Faster R-CNN 및 Mask R-CNN 중 적어도 하나 이상일 수 있다.
다만, 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network)가 실시예에 따른 시맨틱 세그멘테이션(Semantic segmentation)을 수행하는데 효과적이므로, 이하의 설명에서는, 이미지 딥러닝 뉴럴 네트워크를 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network)에 한정하여 설명하기로 한다.
도 7을 참조하면, 실시예에서 단말(100)은, 먼저 획득된 촬영 이미지를 딥러닝 뉴럴 네트워크의 입력 데이터로 하여 특정 오브젝트 즉, 사용자 얼굴의 존재 유무를 감지하는 오브젝트 디텍션(object detection)을 수행할 수 있다.
그리고 단말(100)은, 감지된 사용자 얼굴을 사용자 얼굴영역으로 분류하는 오브젝트 클레시피케이션(object classification)을 수행할 수 있다.
또한, 단말(100)은, 감지된 사용자 얼굴영역을 의미있는 영역으로 판단하고 이에 대한 경계를 검출하는 오브젝트 세그멘테이션(object segmentation)을 수행할 수 있다. 즉 단말(100)은, 임계값(threshold)이나 엣지(edge)에 기반한 단순 구별이 아닌 의미있는 영역의 오브젝트로서 사용자 얼굴영역을 감지할 있다.
그리하여 단말(100)은, 촬영 이미지를 입력 데이터로 하는 딥러닝 뉴럴 네트워크를 통하여 촬영 이미지 상의 사용자 얼굴영역을 검출할 수 있다.
이때, 단말(100)은, 사용자 얼굴로 분류되는 영역이 복수 개일 경우 즉, 여러 명의 얼굴이 감지되는 경우, 가장 큰 면적을 차지하는 얼굴영역을 판단하여 해당 얼굴영역을 기반으로 사용자 얼굴영역을 결정할 수도 있다.
여기서, 본 발명의 실시예는 촬영 이미지 상의 사용자 얼굴영역에 한정하여 단말(100)과 사용자의 얼굴 간의 거리를 기반으로 단말 사용거리 정보를 획득한다고 설명하나, 촬영 이미지 상에서 감지된 사용자의 전체영역(예컨대, 얼굴과 몸체 등)을 기반으로 단말(100)과 사용자 간의 거리를 산출하여 단말 사용거리 정보를 획득하는 등 다양한 실시예 또한 가능할 것이다.
다음으로, 사용자 얼굴영역을 검출한 단말(100)은, 검출된 사용자 얼굴영역에 대한 그리드 점유비율 정보를 획득할 수 있다. (S207)
자세히, 도 8을 참조하면 단말(100)은, 검출된 사용자 얼굴영역과 해당 카메라(150)에 대하여 기설정되어 있는 그리드를 중첩하여, 사용자 얼굴영역이 그리드 상에서 차지하는 면적을 판단한 정보인 그리드 점유비율 정보를 획득할 수 있다.
이처럼 그리드 점유비율 정보를 획득한 단말(100)은, 획득된 그리드 점유비율 정보에 기초하여 그리드-거리 정보에 따른 단말 사용거리 정보를 획득할 수 있다. (S209)
자세히, 단말(100)은, 획득된 그리드 점유비율 정보와 해당 카메라(150)에 대하여 기설정되어 있는 그리드-거리 정보를 기반으로 사용자의 얼굴과 단말(100) 간의 거리를 판단할 수 있다.
예를 들어, 단말(100)은, 그리드 점유비율 정보를 통하여 사용자 얼굴영역이 해당 카메라(150)의 그리드에 대해 80%의 면적을 차지한다고 판단된 경우, 기설정된 그리드-거리 정보(예컨대, 그리드의 50%~80% 이상이 특정 오브젝트로 채워지면 단말(100)과 특정 오브젝트 간의 거리를 최소 20cm 판단하는 정보 등)에 따라서 사용자 얼굴과 단말(100) 간의 거리를 20cm로 판단한 단말 사용거리 정보를 획득할 수 있다.
이처럼, 단말(100)은, 카메라(150)를 통해 획득된 촬영 이미지로부터 사용자의 얼굴로 분류되는 면적을 딥러닝을 통해 감지하고, 감지된 면적을 기반으로 단말 사용거리 정보를 획득함으로써, 촬영 이미지 상의 오브젝트 중 명확히 사람으로 판단되는 오브젝트에 기반하여 거리를 측정할 수 있고, 단말(100)과 사용자 얼굴 간의 거리를 보다 정확하게 판단하여 단말 사용거리 정보를 생성할 수 있다.
또한, 이와 같이 단말(100)은, 단말(100)의 단말 사용거리 정보를 모니터링하고 이를 기반으로 사용자의 근시를 관리하게 함으로써, 사용자가 단말(100)을 사용할 때의 사용자 얼굴과 단말(100) 간의 거리와, 근시 간의 상관관계에 기반한 근시환자 모니터링 서비스를 효과적으로 제공할 수 있다.
다시 도 4로 돌아와서, 위와 같이 센서 데이터를 기반으로 사용시간 정보, 주변조도 정보, 움직임 정보, 초점 고정시간 정보, 청색광량 정보 및 단말 사용거리 정보 중 적어도 하나 이상을 생성한 단말(100)은, 생성된 정보 중 적어도 하나 이상을 포함하는 단말 사용환경 정보를 생성할 수 있다.
다음으로, 단말 사용환경 정보를 생성한 단말(100)은, 생성된 단말 사용환경 정보를 순차적으로 누적하여 저장할 수 있다. (S107)
자세히, 단말(100)은, 단말(100)의 스크린 온 타임(screen on time) 시마다 생성되는 적어도 하나 이상의 단말 사용환경 정보를 시간의 순서에 따라 순차적으로 누적하여 저장부(160)에 저장할 수 있다.
또한, 단말 사용환경 정보를 순차적으로 누적 저장한 단말(100)은, 소정의 기간에 대한 단말 사용환경 정보를 근시 모니터링 서버(200)로 송신할 수 있다. (S109)
자세히, 단말(100)은, 시간순으로 누적되어 저장된 적어도 하나 이상의 단말 사용환경 정보 중, 소정의 기간에 대하여 누적 저장되어 있는 단말 사용환경 정보를 근시 모니터링 서버(200)로 송신할 수 있다.
여기서, 소정의 기간은, 단말(100) 및/또는 근시 모니터링 서버(200)를 통해 설정될 수 있으며, 예컨대 소정의 기간은, 사용자의 제 1 근시검사 시점과 제 2 근시검사 시점 사이의 기간일 수 있다.
이와 같이, 단말(100)은, 소정의 기간에 대하여 누적 저장된 사용자의 단말 사용환경 정보를 제공하여 추후 사용자의 단말 사용환경 정보와 근시 간의 상관관계를 도출하기 위한 근거 데이터를 효과적으로 공급할 수 있다.
다음으로, 소정의 기간에 대한 단말 사용환경 정보를 송신한 단말(100)은, 송신된 단말 사용환경 정보에 기초한 예상 근시 진행정보를 근시 모니터링 서버(200)로부터 수신하여 표시할 수 있다. (S111)
여기서, 예상 근시 진행정보는, 근시 모니터링 서버(200)가 단말 사용환경 정보를 이용하여 딥러닝을 수행해 획득한 정보로서, 사용자의 단말 사용환경 정보를 딥러닝 뉴럴 네트워크에 입력하여 도출된 단말(100) 사용환경과 근시 간의 상관관계에 따라서 사용자 근시의 악화 또는 개선을 나타내는 지표일 수 있다.
자세히, 예상 근시 진행정보는, 단말 사용환경 정보의 각 파라미터(예를 들어, 사용시간 정보 파라미터, 주변조도 정보 파라미터, 움직임 정보 파라미터, 초점 고정시간 정보 파라미터, 청색광량 정보 파라미터 또는 단말 사용거리 정보 파라미터)와 사용자의 근시 간의 상관관계에 따라서 획득된 사용자의 근시 진행상태를 나타내는 정보일 수 있다. 이에 대한 자세한 설명은 이하에서 후술되는 서버에서 단말(100)의 사용환경에 기반한 근시환자 모니터링 서비스를 제공하는 방법의 상세한 설명에서 기술하기로 한다.
즉, 단말(100)은, 근시 모니터링 서버(200)로부터 수신된 예상 근시 진행정보에 기반하여 단말 사용환경 정보의 각 파라미터와 근시 간의 상관관계에 따른 사용자 근시의 악화 또는 개선 정보를 사용자에게 제공할 수 있다.
예를 들어, 단말(100)은, 일 파라미터와 근시 간의 상관관계를 1~10단계에 기준하여 10단계에 가까워질수록 상관관계가 높은 것으로 기설정할 수 있다. 그리고 단말(100)은, 근시 모니터링 서버(200)로부터 수신된 예상 근시 진행정보를 통해 일 파라미터와 근시 간의 상관관계 정도를 나타내는 상관관계 값이 8로 판단된 경우, 해당 일 파라미터와 근시 간의 상관관계를 8단계로 표시하여 사용자에게 제공할 수 있다.
이와 같이, 단말(100)은, 사용자가 단말(100)을 사용하는 환경이 근시에 영향을 미치는 상관관계의 정도를 예상 근시 진행정보에 기반하여 제공함으로써, 사용자별로 측정된 단말 사용환경 정보에 따른 사용자별 맞춤 처방 및 근시예방 교육을 제공할 수 있고, 근시와 관련된 일반적인 통계를 산출하거나, 개인별 통계를 산출하는 등 다양한 방식으로 데이터를 활용할 수 있다.
이상에서는, 단말(100)이 센서 데이터에 기반하여 단말 사용환경 정보를 생성하고, 생성된 단말 사용환경 정보에 기반한 예상 근시 진행정보를 수신하여, 단말 사용환경 정보와 근시 간의 상관관계에 기반한 근시의 악화 또는 개선 정보를 제공하는 실시예에 한정하여 설명하였으나, 다른 실시예에서는, 단말(100)이 센서 데이터에 기반하여 단말 사용환경 정보를 생성하고, 생성된 단말 사용환경 정보에 기반한 예상 녹내장 진행정보를 수신하여, 단말 사용환경 정보와 녹내장 간의 상관관계에 기반한 녹내장의 악화 또는 개선 정보를 제공하는 실시예 또한 가능할 것이다.
<근시 모니터링 서버>
한편, 도 9는 본 발명의 실시예에 따른 근시 모니터링 서버(200)에서 단말(100)의 사용환경에 기반한 근시환자 모니터링 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 단말(100)의 사용환경에 기반한 근시환자 모니터링 서비스를 제공하기 위해 근시 모니터링 서버(200)는, 먼저 사용자의 제 1 근시검사 결과값 및 제 2 근시검사 결과값을 획득할 수 있다. (S301)
여기서, 근시검사 결과값이란, 사용자가 수행한 근시검사에 대한 결과 정보를 의미할 수 있다. 즉, 근시 모니터링 서버(200)는, 사용자가 제 1 시점에 수행한 제 1 근시검사에 대한 결과 정보인 제 1 근시검사 결과값과, 이후 사용자가 제 2 시점에 수행한 제 2 근시검사에 대한 결과 정보인 제 2 근시검사 결과값을 획득할 수 있다.
이때, 근시 모니터링 서버(200)는, 실시예에 따라서 사용자 입력, 외부의 장치 및/또는 서버로부터 제 1 및 2 근시검사 결과값을 획득할 수 있다.
다음으로, 근시 모니터링 서버(200)는, 제 1 근시검사를 수행한 제 1 시점부터 제 2 근시검사를 수행한 제 2 시점까지의 사용자(즉, 피검사자)의 단말 사용환경 정보를 획득할 수 있다. (S303)
자세히, 근시 모니터링 서버(200)는, 단말(100)로부터 단말(100) 상에 시간순으로 누적 저장되어 있는 적어도 하나 이상의 단말 사용환경 정보 중, 소정의 기간인 제 1 시점부터 제 2 시점 기간에 대해 누적 저장되어 있는 단말 사용환경 정보를 수신할 수 있다.
예를 들어, 근시 모니터링 서버(200)는, 단말(100)로부터 제 1 시점부터 제 2 시점 기간에 대하여 누적 저장되어 있는 제 1 단말 사용환경 정보, 제 2 단말 사용환경 정보, …, 제 n 단말 사용환경 정보를 수신할 수 있다.
계속해서, 근시 모니터링 서버(200)는, 획득된 제 1 근시검사 결과값, 제 2 근시검사 결과값 및 단말 사용환경 정보를 기반으로 트레이닝 데이터 세트(training data set)를 생성할 수 있다. (S305)
자세히, 근시 모니터링 서버(200)는, 제 1 근시검사 결과값, 제 2 근시검사 결과값 및 단말 사용환경 정보를 기반으로 생성되는 복수의 학습 데이터로 트레이닝 데이터 세트를 생성할 수 있다.
예를 들어, 트레이닝 데이터 세트는, {제 1 단말 사용환경 정보, 제 1 근시검사 결과값, 제 2 근시검사 결과값}, {제 2 단말 사용환경 정보, 제 1 근시검사 결과값, 제 2 근시검사 결과값}, …, {제 n 단말 사용환경 정보, 제 1 근시검사 결과값, 제 2 근시검사 결과값}을 포함할 수 있다.
다음으로, 근시 모니터링 서버(200)는, 생성된 트레이닝 데이터 세트를 기반으로 딥러닝 뉴럴 네트워크(deep-learning neural network)를 학습시킬 수 있다. (S307)
자세히, 근시 모니터링 서버(200)는, 트레이닝 데이터 세트에 기초하여 사용자의 단말 사용환경 정보와 근시 간의 상관관계를 도출하도록 딥러닝 뉴럴 네트워크를 학습시킬 수 있다.
이때, 실시예에서 근시 모니터링 서버(200)는, 단말 사용환경 정보와 근시 간의 상관관계를 도출하기 위한 딥러닝 뉴럴 네트워크를 레스넷(Resnet, residual net) 구조에 기반하여 학습시킬 수 있다. 이는, 딥러닝 뉴럴 네트워크가 레스넷 구조를 채용하였을 때 1) 학습의 속도가 향상되는 점, 2) 깊은 망을 구현하면서도(예컨대, 100 layer 이상의 망) 깊이에 따른 학습효과를 얻을 수 있는 점 즉, 망을 깊이 구현할수록 성능이 좋아질 수 있는 점, 3) 깊은 망도 쉽게 최적화가 가능하며 늘어난 망의 깊이로 인해 정확도를 개선시킬 수 있는 점과 같은 장점을 실현할 수 있기 때문이다.
도 10은 본 발명의 실시예에 따른 딥러닝 뉴럴 네트워크를 구현하는 복수의 블록으로 이루어진 신경망 구조 중 하나의 블록을 설명하기 위한 도면이다.
예를 들어, 도 10을 참조하면, 레스넷 구조 기반의 딥러닝 뉴럴 네트워크는, 19개의 레지듀얼(residual) 블록으로 구성될 수 있다.
이때, 하나의 레지듀얼 블록은 256개의 3X3 컨볼루션 레이어, 일괄 정규화(batch normalization) 레이어, Relu 활성화 함수 레이어, 256개의 3X3 컨볼루션 레이어, 일괄 정규화(batch normalization) 레이어, 스킵 커넥션, Relu 활성화 함수 레이어 순으로 배치될 수 있다.
여기서, 일괄 정규화(batch normalization) 레이어는, 학습하는 도중에 이전 레이어의 파라미터 변화로 인해 현재 레이어의 입력의 분포가 바뀌는 현상인 공변량 변화(covariate shift)를 방지하기 위한 것이다.
또한, 스킵 커넥션은, 블록 층이 두꺼워지더라도 신경망의 성능이 감소하는 것을 방지하고 블록 층을 더욱 두껍게 하여 전체 신경망 성능을 높일 수 있게 한다. 이때, 스킵 커넥션은, 레지듀얼 블록의 최초 입력 데이터가 두 번째 일괄 정규화(batch normalization) 레이어의 출력과 합하여 두번째 Relu 활성화 함수 레이어에 입력되는 형태일 수 있다.
다시 돌아와서, 근시 모니터링 서버(200)는, 위와 같은 레스넷에 기반한 딥러닝 뉴럴 네트워크를 트레이닝 데이터 세트를 입력 데이터로 하여, 제 1 근시검사 결과값과 제 2 근시검사 결과값 간의 차이에, 단말 사용환경 정보의 각 파라미터가 영향을 미치는 정도를 판단하여 각 파라미터별 근시와의 상관관계 값을 도출하도록 학습시킬 수 있다.
여기서, 상관관계 값은, 단말 사용환경 정보의 일 파라미터와 근시 간의 상관관계 정도를 나타내는 정보로서, 예컨대, 상관관계가 높을수록 큰 수치값, 상관관계가 낮을수록 작은 수치값으로 도출될 수 있다.
예를 들어, 딥러닝 뉴럴 네트워크는, 단말 사용환경 정보의 각 파라미터에 대한 요소별 변형을 수행하여, 각 파라미터와 근시 간의 상관관계 값을 획득할 수 있고, 이를 통해 학습을 수행할 수 있다.
예컨대, 딥러닝 뉴럴 네트워크는, 트레이닝 데이터 세트의 제 1 내지 n 단말 사용환경 정보의 사용시간 정보, 주변조도 정보, 움직임 정보, 초점 고정시간 정보, 청색광량 정보 및 단말 사용거리 정보 파라미터 중, 일 파라미터에 변형을 수행할 수 있다. 그리고 딥러닝 뉴럴 네트워크는, 일 파라미터에 변형을 수행한 경우의 제 1 근시검사 결과값과 제 2 근시검사 결과값 간의 차이에 대한 변화를 측정하여, 해당 일 파라미터와 근시 사이의 상관관계 값을 획득할 수 있고, 이를 기반으로 학습을 수행할 수 있다.
또한, 근시 모니터링 서버(200)는, 이상과 같은 딥러닝 뉴럴 네트워크의 학습 동작을 복수의 타 트레이닝 데이터 세트에 대해서도 반복적으로 수행하여, 사용자의 단말 사용환경 정보와 근시 간의 상관관계를 도출하는 딥러닝 뉴럴 네트워크를 학습시킬 수 있다.
한편, 위와 같이 학습된 딥러닝 뉴럴 네트워크 시스템에 따라 딥러닝을 수행하는 근시 모니터링 서버(200)는, 학습된 딥러닝 뉴럴 네트워크를 이용하여 사용자의 단말 사용환경 정보에 따른 예상 근시 진행정보를 생성하여 단말(100)로 송신할 수 있다. (S309)
여기서, 예상 근시 진행정보는, 딥러닝 뉴럴 네트워크를 이용하여 단말 사용환경 정보의 각 파라미터와 사용자의 근시 간의 상관관계를 판단한 정보로서, 예를 들어 사용시간 정보, 주변조도 정보, 움직임 정보, 초점 고정시간 정보, 청색광량 정보 및/또는 단말 사용거리 정보 각각의 파라미터가 근시에 영향을 미치는 정도를 나타내는 상관관계 값을 기반으로 사용자 근시의 악화 또는 개선 정보를 제공하는 정보일 수 있다.
예컨대, 근시 모니터링 서버(200)는, 제 1 사용자의 제 1 근시검사 결과값, 제 2 근시검사 결과값 및 단말 사용환경 정보에 기반한 트레이닝 데이터 세트를, 학습된 딥러닝 뉴럴 네트워크에 입력하여, 제 1 사용자의 사용시간 정보와 근시 간의 상관관계 값을 3, 제 1 사용자의 주변조도 정보와 근시 간의 상관관계 값을 4, 제 1 사용자의 움직임 정보와 근시 간의 상관관계 값을 5, 제 1 사용자의 초점 고정시간 정보와 근시 간의 상관관계 값을 6, 제 1 사용자의 청색광량 정보와 근시 간의 상관관계 값을 7, 제 1 사용자의 단말 사용거리 정보와 근시 간의 상관관계 값을 8로 도출한 출력 데이터를 획득할 수 있다.
그리고 근시 모니터링 서버(200)는, 딥러닝 뉴럴 네트워크를 통하여 획득된 출력 데이터에 기반하여, 기설정된 기준(예컨대, 수치가 높을수록 근시에 미치는 영향이 큰 것으로 설정 등)에 따라 제 1 사용자의 사용시간 정보가 근시에 영향을 미치는 정도를 3, 제 1 사용자의 주변조도 정보가 근시에 영향을 미치는 정도를 4, 제 1 사용자의 움직임 정보가 근시에 영향을 미치는 정도를 5, 제 1 사용자의 초점 고정시간 정보가 근시에 영향을 미치는 정도를 6, 제 1 사용자의 청색광량 정보가 근시에 영향을 미치는 정도를 7, 제 1 사용자의 단말 사용거리 정보가 근시에 영향을 미치는 정도를 8로 나타내는 예상 근시 진행정보를 생성할 수 있다.
또한, 예상 근로 진행정보를 생성한 근시 모니터링 서버(200)는, 생성된 예상 근로 진행정보를 단말(100)로 송신할 수 있다.
이와 같이, 근시 모니터링 서버(200)는, 사용자의 단말(100) 사용환경이 사용자의 근시에 영향을 미치는 상관관계를 딥러닝을 기반으로 도출하고, 도출된 상관관계를 기반으로 예상 근시 진행정보를 생성해 제공함으로써, 사용자별 맞춤 처방 및 근시예방 교육을 위한 기반 데이터를 제공할 수 있고, 근시와 관련된 일반적인 통계를 산출하거나, 개인별 통계를 산출하는 등의 다양한 방식으로 활용 가능한 데이터를 제공할 수 있다.
이상에서는, 근시 모니터링 서버(200)가 제 1 근시검사 결과값, 제 2 근시검사 결과값 및 단말 사용환경 정보에 기반하여 예상 근시 진행정보 생성하는 실시예에 한정하여 설명하였으나, 다른 실시예에서는, 근시 모니터링 서버(200)가 제 1 녹내장검사 결과값, 제 2 녹내장검사 결과값 및 단말 사용환경 정보에 기반하여 예상 녹내장 진행정보를 생성해 제공할 수도 있다.
또한, 이상의 설명에서는 근시검사 결과값과 단말 사용환경 정보를 기반으로 딥러닝을 이용하여 예상 근시 진행정보를 생성하는 일련의 동작을 근시 모니터링 서버(200)에서 수행한다고 설명하였으나, 실시예에 따라서 상기 일련의 동작의 일부를 단말(100)에서 수행할 수도 있는 등 다양한 실시예가 가능할 것이다.
이상, 본 발명의 실시예에 따른 단말(100)의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템은, 사용자의 단말(100) 사용환경과 근시 간의 상관관계를 파악하여 이를 기반으로 사용자의 근시를 관리하게 함으로써, 사용자의 개별적인 인자를 고려하여 근시를 유발하는 원인을 찾아낼 수 있고, 이에 기초한 사용자별 맞춤 근시예방 교육 및 처방을 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 단말(100)의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템은, 사용자의 단말(100) 사용환경과 근시 간의 상관관계를 파악하기 위한 기반 데이터를 다양한 방식으로 획득하여 제공함으로써, 사용자의 단말(100) 사용환경과 근시 간의 상관관계를 보다 소상하게 파악할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 단말(100)의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템은, 사용자의 단말(100) 사용환경과 근시 간의 상관관계를 파악한 정보를 제공함으로써, 근시와 관련된 일반적인 통계나 사용자별 통계를 보다 정확하게 도출할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 단말(100)의 사용환경에 기반한 근시환자 모니터링 방법 및 시스템은, 사용자가 단말(100)을 사용할 때 사용자의 얼굴과 단말(100) 간의 거리를 카메라(150)로부터 획득된 촬영 이미지로부터 감지된 사용자 얼굴영역을 기반으로 제공함으로써, 사용자의 단말(100) 사용환경이 포함하는 단말 사용거리 정보를 보다 정확하게 판단할 수 있는 효과가 있다.
또한, 이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (6)

  1. 단말에서 사용자가 단말을 이용할 때의 사용환경에 따른 단말 사용환경 정보를 생성하여 근시환자를 모니터링하는 방법으로서,
    단말의 디스플레이가 활성화된 상태를 나타내는 스크린 온(screen on) 신호를 감지하는 단계;
    상기 스크린 온 신호가 감지되는 스크린 온 타임(screen on time) 동안 센서를 이용해 상기 사용환경을 센싱하여 센서 데이터를 획득하는 단계;
    상기 획득된 센서 데이터를 기반으로 상기 사용자의 단말 사용환경을 분석해 모니터링한 정보인 상기 단말 사용환경 정보를 생성하는 단계;
    상기 생성된 단말 사용환경 정보를 순차적으로 누적 저장하는 단계;
    상기 누적 저장된 단말 사용환경 정보를 근시 모니터링 서버로 송신하는 단계; 및
    상시 송신된 단말 사용환경 정보에 기초한 예상 근시 진행정보를 상기 근시 모니터링 서버로부터 획득하여 표시하는 단계; 를 포함하는
    단말의 사용환경에 따른 근시환자 모니터링 방법.
  2. 제 1 항에 있어서,
    상기 단말 사용환경 정보는,
    상기 센서 데이터를 기반으로 생성되는 단말 사용거리 정보와, 사용시간 정보, 주변조도 정보, 움직임 정보, 초점 고정시간 정보 및 청색광량 정보 중 적어도 하나 이상의 정보를 포함하는
    단말의 사용환경에 따른 근시환자 모니터링 방법.
  3. 제 2 항에 있어서,
    상기 센서 데이터를 획득하는 단계는,
    상기 단말과 상기 사용자 간의 거리를 측정한 센서 데이터와, 상기 단말의 움직임을 측정한 센서 데이터, 상기 단말의 주변 밝기값을 측정한 센서 데이터, 상기 단말의 디스플레이에서 출력되는 청색광량을 측정한 센서 데이터, 상기 단말에 대한 상기 사용자의 초점 고정 유무 또는 고정된 시간을 측정한 센서 데이터 중 적어도 하나의 센서 데이터를 획득하는 단계를 포함하는
    단말의 사용환경에 따른 근시환자 모니터링 방법.
  4. 제 2 항에 있어서,
    상기 단말 사용환경 정보를 생성하는 단계는,
    카메라를 이용하여 상기 단말 사용거리 정보를 획득하는 단계를 포함하고,
    상기 단말 사용거리 정보를 획득하는 단계는,
    상기 카메라의 타입(type)에 대한 그리드(grid)-거리 정보를 획득하는 단계;
    상기 카메라로부터 촬영 이미지를 획득하는 단계;
    상기 획득된 촬영 이미지에 기초하여 상기 사용자의 얼굴로 분류되는 영역인 사용자 얼굴영역을 검출하는 단계;
    상기 검출된 사용자 얼굴영역이 상기 카메라에 기설정된 그리드 상에서 차지하는 면적을 판단한 그리드 점유비율 정보를 획득하는 단계; 및
    상기 획득된 그리드 점유비율 정보에 기초하여 상기 그리드-거리 정보에 따른 상기 단말 사용거리 정보를 획득하는 단계를 포함하고,
    상기 그리드-거리 정보는,
    특정 오브젝트가 상기 카메라의 타입에 대하여 그리드(grid)를 차지하는 면적 비율에 따라 매칭된 상기 특정 오브젝트와 상기 단말 간의 거리에 대한 정보인
    단말의 사용환경에 따른 근시환자 모니터링 방법.
  5. 제 1 항에 있어서,
    상기 예상 근시 진행정보는,
    상기 근시 모니터링 서버가 딥러닝 뉴럴 네트워크를 이용하여 상기 단말 사용환경 정보의 각 파라미터와 상기 사용자의 근시 간의 상관관계를 판단하고, 판단된 상기 상관관계를 기반으로 상기 사용자의 근시의 악화 또는 개선을 나타내는 지표인
    단말의 사용환경에 따른 근시환자 모니터링 방법.
  6. 사용자의 단말 사용환경을 센싱하여 센서 데이터를 획득하는 센서부와, 상기 획득된 센서 데이터를 기반으로 상기 사용자의 단말 사용환경을 분석해 모니터링한 정보인 단말 사용환경 정보를 생성하는 제어부와, 상기 생성된 단말 사용환경 정보를 근시 모니터링 서버로 송신하고, 상기 근시 모니터링 서버로부터 상기 단말 사용환경 정보와 상기 사용자의 근시 간의 상관관계를 판단한 정보인 예상 근시 진행정보를 수신하는 통신부와, 상기 수신된 예상 근시 진행정보에 기반한 출력을 수행하는 디스플레이부를 포함하는 단말; 및
    상기 단말 사용환경 정보를 수신하는 데이터 수신부와, 상기 예상 근시 진행정보를 송신하는 데이터 송신부와, 상기 수신된 단말 사용환경 정보를 기반으로 딥러닝 뉴럴 네트워크를 이용하여 상기 예상 근시 진행정보를 생성하는 데이터 처리부;를 포함하는 근시 모니터링 서버를 포함하는
    단말의 사용환경에 따른 근시환자 모니터링 시스템.
KR1020190177520A 2019-12-30 2019-12-30 단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템 KR102334027B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190177520A KR102334027B1 (ko) 2019-12-30 2019-12-30 단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190177520A KR102334027B1 (ko) 2019-12-30 2019-12-30 단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20210084965A true KR20210084965A (ko) 2021-07-08
KR102334027B1 KR102334027B1 (ko) 2021-12-02

Family

ID=76893370

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190177520A KR102334027B1 (ko) 2019-12-30 2019-12-30 단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102334027B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003075717A (ja) * 2001-09-06 2003-03-12 Nikon Corp 距離検出装置
KR20150098542A (ko) 2014-02-20 2015-08-28 삼성전자주식회사 얼굴 파라미터로부터 사용자의 시각적 어려움을 탐지하는 방법 및 그 전자 장치
KR20190098365A (ko) * 2018-02-14 2019-08-22 한국전자통신연구원 학습 기반 서비스 제공 방법 및 장치
JP2019530044A (ja) * 2016-07-04 2019-10-17 シンガポール ヘルス サービシーズ ピーティーイー リミテッド デバイスの使用を監視する装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003075717A (ja) * 2001-09-06 2003-03-12 Nikon Corp 距離検出装置
KR20150098542A (ko) 2014-02-20 2015-08-28 삼성전자주식회사 얼굴 파라미터로부터 사용자의 시각적 어려움을 탐지하는 방법 및 그 전자 장치
JP2019530044A (ja) * 2016-07-04 2019-10-17 シンガポール ヘルス サービシーズ ピーティーイー リミテッド デバイスの使用を監視する装置及び方法
KR20190098365A (ko) * 2018-02-14 2019-08-22 한국전자통신연구원 학습 기반 서비스 제공 방법 및 장치

Also Published As

Publication number Publication date
KR102334027B1 (ko) 2021-12-02

Similar Documents

Publication Publication Date Title
US11099645B2 (en) Apparatus and method for dynamic graphics rendering based on saccade detection
US10209516B2 (en) Display control method for prioritizing information
US20190235624A1 (en) Systems and methods for predictive visual rendering
CN104866105B (zh) 头显设备的眼动和头动交互方法
CN105683812B (zh) 用于头戴式显示器的恶心和发病检测、预测和缓解
US9864429B2 (en) Method for controlling device on the basis of eyeball motion, and device therefor
US20150186725A1 (en) Systems and methods for detecting blood alcohol level
RU2648593C2 (ru) Способ и аппарат управления отображением, электронное устройство
CN105659200A (zh) 用于显示图形用户界面的方法、设备和***
US20190244369A1 (en) Display device and method for image processing
US20210035298A1 (en) Utilization of luminance changes to determine user characteristics
WO2020033073A1 (en) Controlling focal parameters of a head mounted display based on estimated user age
CN108228562A (zh) 蓝牙模块的重命名方法以及电子设备
CN109657432A (zh) 监管儿童使用智能设备的方法、介质、设备及***
US20170059865A1 (en) Eyeglasses wearable device, method of controlling the eyeglasses wearable device and data management server
KR102334027B1 (ko) 단말의 사용환경에 따른 근시환자 모니터링 방법 및 시스템
US20200193007A1 (en) Unlocking method and virtual reality device
US20230239586A1 (en) Eye tracking using efficient image capture and vergence and inter-pupillary distance history
CN114258279A (zh) 使用经调制的同轴照明的瞳孔评估
US20220079484A1 (en) Evaluation device, evaluation method, and medium
JP2023015167A (ja) 評価装置、評価方法、及び評価プログラム
CN114303117A (zh) 使用离轴相机的眼睛跟踪和注视估计
KR20190103570A (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
US12014030B2 (en) System for predictive virtual scenario presentation
US11979657B1 (en) Power efficient object tracking

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant