KR20210041886A - 안구전도를 이용하는 비동기식 눈글 인식 방법 및 장치 - Google Patents

안구전도를 이용하는 비동기식 눈글 인식 방법 및 장치 Download PDF

Info

Publication number
KR20210041886A
KR20210041886A KR1020190124660A KR20190124660A KR20210041886A KR 20210041886 A KR20210041886 A KR 20210041886A KR 1020190124660 A KR1020190124660 A KR 1020190124660A KR 20190124660 A KR20190124660 A KR 20190124660A KR 20210041886 A KR20210041886 A KR 20210041886A
Authority
KR
South Korea
Prior art keywords
eye
user
eyeball
eyes
conduction
Prior art date
Application number
KR1020190124660A
Other languages
English (en)
Other versions
KR102246539B1 (ko
Inventor
장원두
임창환
차호승
Original Assignee
한양대학교 산학협력단
동명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단, 동명대학교산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020190124660A priority Critical patent/KR102246539B1/ko
Publication of KR20210041886A publication Critical patent/KR20210041886A/ko
Application granted granted Critical
Publication of KR102246539B1 publication Critical patent/KR102246539B1/ko

Links

Images

Classifications

    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자가 희망하는 경우, 사용자의 눈글을 인식하는 비동기식 눈글 인식 방법 및 장치가 개시된다. 개시된 안구전도를 이용하는 비동기식 눈글 인식 장치는 사용자의 안구전도 신호를 입력받는 단계; 상기 안구전도 신호 중에서, 수직 안구전도 신호를 이용하여, 상기 사용자의 눈을 감고 있는 상태가 미리 설정된 기준시간동안 유지되는지 여부를 판단하는 단계; 상기 판단 결과에 따라서, 상기 사용자의 눈글 인식 요청을 검출하는 단계; 및 상기 검출 결과에 따라서, 상기 사용자가 눈을 감고 있는 상태에서의 상기 안구전도 신호를 이용하여, 눈글을 인식하는 단계를 포함한다.

Description

안구전도를 이용하는 비동기식 눈글 인식 방법 및 장치{ASYNCHRONOUS EYE-CHARACTER RECOGNITION METHOD AND APPARATUS USING ELECTROMYOGRAM DATA}
본 발명은 안구전도를 이용하는 눈글 인식 방법 및 장치에 관한 것으로서, 더욱 상세하게는 사용자가 희망하는 경우, 비동기식으로 사용자의 눈글을 인식할 수 잇는 비동기식 눈글 인식 방법 및 장치에 관한 것이다.
시선 트래킹 기술은 눈동자의 움직임을 포착해 사용자가 응시하는 지점을 추정하는 기술로, 현재 신경과학, 심리학, 임상과학 연구, 마케팅 조사(웹페이지 및 제품의 사용자 평가), 신경질병 진단 및 안구 마우스 등의 다양한 분야에서 응용되고 있다.
현재 시선 트래킹은 크게 두 가지의 방법으로 이루어지고 있다.
비디오 기반의 시선 트래킹 기술은 얼굴 전면부에 카메라를 부착하고 눈동자의 움직임을 촬영하여 응시 지점을 추정한다. 안구전도(EOG) 시선 트래킹 기술은 눈의 주변부에 전극을 부착하여 안구의 움직임에 따라 발생하는 전기신호를 측정하여 이 전기신호의 크기로 응시 지점을 추정한다.
앞서 말한 비디오 기반의 기술은 사용자가 얼굴 전면부에 카메라를 부착해야 해서 시야의 일부가 가려지거나 고가의 안구인식용 카메라를 필요로 한다는 한계점이 있으며, 눈을 감고 있을 때는 안구의 움직임을 측정할 수 없다. 또한, 안구전도 방식에 비해 상대적으로 고비용이라는 단점이 있다.
반면, 안구전도 방식은 전자에 비해 상대적으로 낮은 정확도를 가지고 있다고 알려져 있지만, 시야를 가리지 않고 눈의 움직임을 측정할 수 있으며 눈을 감고 있을 때에도 안구의 움직임을 측정하는 것이 가능한 장점으로 인해, 사지 마비 환자의 의사소통이나 인간-컴퓨터 상호작용(HCI) 분야에 활용되고 있다.
관련 선행문헌으로 대한민국 등록특허 제10-1929650호 및 제10-1745774호가 있다.
본 발명은, 사용자가 희망하는 경우, 비동기식으로 사용자의 의사를 인식할 수 있는 비동기식 눈글 인식 방법 및 장치를 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 사용자의 안구전도 신호를 입력받는 단계; 상기 안구전도 신호 중에서, 수직 안구전도 신호를 이용하여, 상기 사용자의 눈을 감고 있는 상태가 미리 설정된 기준시간동안 유지되는지 여부를 판단하는 단계; 상기 판단 결과에 따라서, 상기 사용자의 눈글 인식 요청을 검출하는 단계; 및 상기 검출 결과에 따라서, 상기 사용자가 눈을 감고 있는 상태에서의 상기 안구전도 신호를 이용하여, 눈글을 인식하는 단계를 포함하는 안구전도를 이용하는 비동기식 눈글 인식 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 사용자의 안구전도 신호를 입력받는 단계; 상기 안구전도 신호 중에서, 수직 안구전도 신호를 이용하여, 상기 사용자의 눈을 감고 있는 상태가 미리 설정된 기준시간동안 유지되는지 여부를 판단하는 단계; 상기 판단 결과에 따라서, 상기 사용자의 의사 인식 요청을 검출하는 단계; 및 상기 검출 결과에 따라서, 상기 사용자가 눈을 감고 있는 상태에서의 상기 안구전도 신호를 이용하여, 사용자의 의사를 인식하는 단계를 포함하는 안구전도를 이용하는 비동기식 의사 인식 방법가 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 사용자의 안구 주위에 부착되는 안구전도 측정 전극; 수직 안구전도 신호로부터 안구 도약 움직임 및 안구 하강 움직임을 판단하여, 상기 사용자의 눈글 인식 요청을 검출하는 요청 검출부; 및 상기 검출 결과에 따라서, 상기 사용자가 눈을 감고 있는 상태에서의 상기 안구전도 신호를 이용하여, 눈글을 인식하는 눈글 처리부를 포함하는 안구전도를 이용하는 비동기식 눈글 인식 장치가 제공된다.
본 발명의 일실시예에 따르면, 사용자가 안구를 움직여 의사를 표현하고 싶은 의도가 있는 경우에 비동기식으로 사용자의 눈글을 인식할 수 있다.
또한 본 발명의 일실시예에 따르면, 사용자가 의사를 표현하고 싶은 의도가 없는 경우에 발생하는 안구전도 신호에 대해서는, 눈글이 인식되지 않으므로, 사용자의 의사가 보다 정확하게 전달될 수 있다.
도 1은 사용자에게 부착되는 안구전도 측정 전극을 나타내는 도면이다.
도 2는 사용자의 안구 움직임과 수직 안구전도 신호의 관계를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 비동기식 눈글 인식 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 비동기식 눈글 인식 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 구체적 실시예에 따른 눈을 감는 동작 및 눈을 뜨는 동작을 검출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 눈글 인식 결과를 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
안구전도 신호를 이용해 의사를 표현하는 방법으로, 눈글(eye-character)을 인식하는 방법이 있다. 눈글은, 사용자가 시선을 이용하여 나타내는 글씨, 문양 또는 이와 유사한 다른 형상들을 포함하는 개념이다.
그리고 이러한 눈글을 이용해 의사를 표현하는 방법을, 루게릭병 환자와 같은 사지 마비 환자에게 적용하기 위한 연구들이 진행되고 있다. 사지 마비 환자의 경우에도 안구는 움직일 수 있기 때문에, 눈글을 이용해 자신의 의사를 표현할 수 있다.
현재 이러한 눈글 인식 시스템은 동기식으로서, 사용자의 안구전도 신호를 모니터링하는 동안 지속적으로 이루어진다. 따라서, 사용자가 의사를 표현하고자 하는 의도없이 안구를 움직이는 경우, 예컨대 눈을 깜빡인다거나 좌우를 살펴 보는 경우에도 눈글이 인식될 수 있으며, 결국 사용자의 정확한 의사가 전달되기 어렵다.
이에 본 발명은 비동기식으로, 즉 사용자가 의사를 표현하고자 할 때, 사용자의 의사를 인식할 수 있는 방법을 제안한다.
본 발명의 일실시예에 따른 비동기식 의사 인식 방법 또는 눈글 인식 방법은, 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 이러한 컴퓨팅 장치는 PC, 모바일 단말이나 또는 별도의 인식 장치에서 수행될 수도 있다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 사용자에게 부착되는 안구전도 측정 전극을 나타내며, 도 2는 사용자의 안구 움직임과 수직 안구전도 신호의 관계를 나타내는 도면이다.
안구전도는 일반적으로 수평 안구전도와 수직 안구전도로 나뉘어지며, 도 1에 도시된 바와 같이, 수평 안구전도 신호의 측정을 위한 전극(111, 112)과 수직 안구전도 신호의 측정을 위한 전극(113, 114)이 사용자의 안구 주변에 부착된다.
수평 안구전도 신호의 측정을 위한 전극(111, 112)은, 오른쪽 안구와 오른쪽 귀 사이, 그리고 왼쪽 안구와 왼쪽 귀 사이에 부착된다. 그리고 수직 안구전도 측정을 위한 전극(113, 114)은 오른쪽 또는 왼쪽 안구의 위, 아래 각각에 부착될 수 있다.
도 1과 같이 전극이 부착된 상태에서 측정된 수직 안구전도 신호는, 도 2와 같이 나타날 수 있다. 도 2는 사용자가 눈을 깜빡일 때(210, 220), 눈을 감는 동작을 취할 때(230), 눈글을 작성할 때(240), 눈을 뜨는 동작을 취할 때(250)의 수직 안구 전도 신호를 나타낸다.
도 2에 도시된 바와 같이, 사용자가 눈을 깜빡일 경우(210, 220)에는 수직 안구전도 신호의 피크값(211, 221)이 발생한다. 즉, 수직 안구전도 신호에서, 상승하는 슬로프(slope) 성분과 하강하는 슬로프 성분이 연속적으로 발생한다.
이는 눈이 감길 때, 각막과 눈꺼풀의 접촉에 의해 순간적으로 전위가 상승하였다가, 눈이 떠질 때 각막과 눈꺼풀의 연결이 끊어지면서 전위가 다시 하강하기 때문이다. 따라서, 사용자가 눈을 감는 동작(230)을 취한 후 계속 눈을 감고 있는 경우에는 수직 안구전도 신호값이 급격히 증가하기만 할 뿐 급격히 감소하지 않는다. 이후 사용자가 안구를 움직여 눈글을 작성(240)하면, 사용자의 안구 움직임에 따른 수직 안구전도 신호가 발생하며, 사용자가 눈을 뜨는 동작(250)을 취할 경우, 수직 안구전도 신호값이 급격히 감소한다.
이와 같이, 사용자가 눈을 감을 때 발생하는 안구의 도약 움직임과, 사용자가 눈을 뜰 때 발생하는 안구의 하강 움직임에 따른 수직 안구전도 신호에는 급격히 상승하는 슬로프 성분(231)과, 급격히 하강하는 슬로프 성분(251)이 포함되며, 이러한 패턴은 일반적인 눈깜빡임에 따른 수직 안구전도 신호의 패턴(211, 221)과 용이하게 구별될 수 있기 때문에, 본 발명은 사용자가 눈을 감을 때 발생하는 안구의 도약 움직임과, 사용자가 눈을 뜰 때 발생하는 안구의 하강 움직임을 사용자의 의사 예컨대, 눈글의 인식 요청으로 이용한다.
본 발명의 일실시예에 따른 안구전도를 이용하는 비동기식 의사 또는 눈글 인식 방법은, 사용자의 의사 또는 눈글 인식 요청이 검출되면, 사용자가 눈을 감고 있는 동안의 안구전도 신호를 이용하여 사용자의 의사 또는 눈글을 인식한다.
도 3은 본 발명의 일실시예에 따른 비동기식 눈글 인식 장치를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 비동기식 눈글 인식 장치는 안구전도 측정 전극(310), 요청 검출부(320) 및 눈글 처리부(330)를 포함한다.
안구전도 측정 전극(310)은, 수평 안구전도 측정 전극과, 수직 안구전도 측정 전극을 포함하며, 도 1과 같이 사용자의 안구 주변에 부착될 수 있다.
요청 검출부(320)는 수직 안구전도 신호로부터 안구 도약 움직임 및 안구 하강 움직임을 판단하여, 사용자의 눈글 인식 요청을 검출한다. 안구 도약 움직임은, 사용자의 눈을 감는 동작에 따른 안구의 움직임이며, 안구 하강 움직임은 사용자의 눈을 뜨는 동작에 따른 안구의 움직임에 대응한다.
요청 검출부(320)는 안구 도약 움직임이 검출된 이후, 미리 설정된 길이의 시간 윈도우 구간에서 안구 하강 움직임이 발생하는지 판단하는 안구 움직임 판단부를 포함하며, 안구 움직임 판단부의 판단 결과에 기반하여, 사용자의 눈을 감고 있는 상태가 기준시간동안 유지되는지 여부를 판단하고, 사용자의 눈글 인식 요청을 검출하는 상태 인식부를 포함할 수 있다.
일실시예로서, 안구 움직임 판단부는 수직 안구전도 신호의 상승 및 하강 슬로프 성분 중에서, 상승 및 하강이 연속하는 슬로프 성분을 제거하여, 안구 도약 움직임 및 안구 하강 움직임을 검출한다. 상승 및 하강 슬로프 성분은 안구 도약 움직임, 안구 하강 움직임 및 눈깜빡임에 대응되는데, 본 발명의 일실시예에서는 안구 도약 움직임 및 안구 하강 움직임이 사용자의 눈글 인식 요청 검출에 이용되기 때문에, 안구 움직임 판단부는 눈깜빡임에 대응되는, 상승 및 하강이 연속하는 슬로프 성분을 제거한다.
이 때, 안구 움직임 판단부는 상승 및 하강 슬로프 성분의 기울기의 절대값이, 미리 설정된 임계값 이상인 슬로프 성분 중에서, 상승 및 하강이 연속하는 슬로프 성분을 제거할 수 있다.
따라서 본 발명의 일실시예에 따르면, 사용자가 안구를 움직여 의사를 표현하고 싶은 의도가 있는 경우에 비동기식으로 사용자의 눈글을 인식할 수 있다.
또한 본 발명의 일실시예에 따르면, 사용자가 의사를 표현하고 싶은 의도가 없는 경우에 발생하는 안구전도 신호에 대해서는, 눈글이 인식되지 않으므로, 사용자의 의사가 보다 정확하게 전달될 수 있다.
도 4는 본 발명의 일실시예에 따른 비동기식 눈글 인식 방법을 설명하기 위한 도면이다. 도 4에서는 비동기식 눈글 인식 장치의 눈글 인식 방법이 일실시예로서 설명된다.
도 4를 참조하면, 본 발명의 일실시예에 따른 비동기식 눈글 인식 장치는 사용자의 안구전도 신호를 수신 즉, 입력받고(S410), 안구전도 신호 중에서, 수직 안구전도 신호를 이용하여, 사용자의 눈을 감고 있는 상태가 미리 설정된 기준시간동안 유지되는지 여부를 판단(S420)한다. 일실시예로서, 기준시간은 3초에서 5초로 설정될 수 있으며, 사용자의 눈깜빡임 패턴에 따라서 결정될 수 있다.
보다 구체적으로 비동기식 눈글 인식 장치는 단계 S420에서, 수직 안구전도 신호를 이용하여, 사용자의 눈을 감는 동작 및 눈을 뜨는 동작을 검출한다. 전술된 바와 같이, 사용자가 눈을 감거나 뜰 때, 안구가 도약하거나 하강하기 때문에, 수직 안구전도 신호값이 증가 또는 감소하며, 따라서, 비동기식 눈글 인식 장치는 수직 안구전도 신호에서, 상승 및 하강 슬로프 성분을 검출하여, 눈을 감는 동작 및 눈을 뜨는 동작에 대한 후보군을 결정한다.
이러한 후보군에는 눈을 깜빡이는 동작에 대한 상승 및 하강 슬로프 성분이 포함되어 있으며, 비동기식 눈글 인식 장치는 상승 및 하강이 연속하는 슬로프 성분을 후보군에서 제거함으로써, 사용자의 눈을 감는 동작 및 눈을 뜨는 동작을 검출할 수 있다.
이 때, 사용자의 눈을 감는 동작 및 눈을 뜨는 동작에 대한 수직 안구전도 신호값은 급격히 증가하거나 감소하므로, 눈을 감는 동작 및 눈을 뜨는 동작에 대한 슬로프 성분의 기울기는 매우 크며, 따라서, 비동기식 눈글 인식 장치는 상승 및 하강 슬로프 성분의 기울기의 절대값이, 미리 설정된 임계값 이상인 슬로프 성분을 검출함으로써, 후보군을 결정할 수 있다.
또한 비동기식 눈글 인식 장치는 단계 S420에서, 눈을 감는 동작이 검출된 이후, 눈을 뜨는 동작까지의 시간이 기준시간에 대응되는지 여부를 판단하며, 눈을 감는 동작이 검출된 이후, 미리 설정된 길이의 시간 윈도우 구간에서 눈을 뜨는 동작이 검출된 경우, 눈을 감고 있는 상태가 기준시간동안 유지되는 것으로 판단할 수 있다. 즉, 눈을 감는 동작이 검출된 시점 이후, 눈을 뜨는 동작이 미리 설정된 길이의 시간 윈도우 구간에서 검출되는 경우, 비동기식 눈글 인식 장치는 눈을 감고 있는 상태가 기준시간동안 유지되는 것으로 판단할 수 있다.
시간 윈도우는 시간축상에서 눈을 감는 동작이 검출된 시점으로부터 이격되어 위치하며, 시간 윈도우의 길이는 기준시간에 따라 결정될 수 있다. 예컨대, 기준시간이 3초에서 5초인 경우, 시간 윈도우의 길이는 2초 길이이며, 시간 윈도우의 시작점은 눈을 감는 동작이 검출된 시점으로부터 3초만큼 이격된 지점일 수 있다.
또한 시간 윈도우의 시작점은 사용자의 눈깜빡임 패턴에 따라서 결정될 수 있다. 전술된 바와 같이, 기준 시간은 사용자의 눈깜빡임 패턴에 따라서 결정되는데, 예컨대 사용자의 눈깜빡임 패턴이 눈을 오랫동안 감은후 뜨는 패턴인 경우, 기준시간이 짧으면 사용자가 눈글 인식을 의도하지 않더라도, 눈글 인식 요청이 검출될 수 있다. 따라서, 이 경우 기준시간이 늘어날 필요가 있으며, 기준시간이 늘어남에 따라서, 시간 윈도우의 시작점 역시 달라질 필요가 있다.
기준시간이 5초에서 7초로, 3에서 5초인 경우보다 늘어난 경우, 시간 윈도우의 길이는 2초로 동일하지만, 시간 윈도우의 시작점은 눈을 감는 동작이 검출된 시점으로부터 5초만큼 이격된 지점으로 변경되어야 한다.
이후, 비동기식 눈글 인식 장치는 단계 S420의 판단 결과에 따라서, 사용자의 눈글 인식 요청을 검출(S430)한다. 비동기식 눈글 인식 장치는 사용자의 눈을 감고 있는 상태가 기준시간 동안 유지되는 경우, 사용자의 눈글 인식 요청을 검출한다. 예컨대, 사용자가 3초에서 5초 정도 눈을 감고 있는 상태를 유지하고 있는 경우, 비동기식 눈글 인식 장치는 사용자가 눈글 인식을 요청하는 의도가 있는 것으로 인식하여, 사용자의 눈글 인식 요청을 검출한다.
비동기식 눈글 인식 장치는 사용자의 눈을 감고 있는 상태가 기준시간 미만으로 유지되는 경우, 사용자가 눈을 깜빡이는 것으로 인식하며, 사용자의 눈을 감고 있는 상태가 기준시간을 초과하여 유지되는 경우, 사용자가 수면 또는 휴식중인 것으로 인식할 수 있다.
본 발명의 일실시예에 따른 비동기식 눈글 인식 장치는 단계 S430의 검출 결과에 따라서, 사용자가 눈을 감고 있는 상태에서의 안구전도 신호를 이용하여, 눈글을 인식(S440)한다. 즉, 비동기식 눈글 인식 장치는 눈글 인식 요청이 검출된 경우, 사용자가 눈을 감고 있는 상태에서 움직인 안구에 의해 생성된 수평 및 수직 안구전도 신호를 이용하여, 눈글을 인식한다.
비동기식 눈글 인식 장치는 눈글 인식을 위해, DTW, SVM, 딥 러닝 등 다양한 패턴 인식 알고리즘을 이용할 수 있다.
도 5는 본 발명의 구체적 실시예에 따른 눈을 감는 동작 및 눈을 뜨는 동작을 검출하는 방법을 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 비동기식 눈글 인식 장치는 먼저, 수직 안구전도 신호를 전처리(S510)한다.
단계 S510에서, 비동기식 눈글 인식 장치는 미리 설정된 샘플링 주파수에 따라서, 수직 안구전도 신호를 샘플링하며, 메디안 필터(median filter)를 이용하여, 샘플링된 신호를 필터링한다. 그리고 수직 안구전도 신호를 측정하는 두 채널, 즉 2개의 수직 안구전도 측정 전극의 베이스라인(baseline)을 맞춰주기 위해, 필터링된 신호에서 베이스라인을 제거한다.
이후 비동기식 눈글 인식 장치는 전처리된 신호에 대해 탑-햇 변환(top-hat transform)을 적용하고, 전처리된 신호에서 탑-햇 변환된 신호를 제거(S520)한다.
그리고 비동기식 눈글 인식 장치는 단계 S520에서의 처리 신호에 대해 웨이블릿 변환(wavelet transform)을 수행하여, 눈을 감는 동작 및 눈을 뜨는 동작에 대한 후보군 신호를 결정(S530)한다. 웨이블릿 변환을 통해 생성된 함수의 계수값 중 미리 설정된 임계값 이상인 계수값으로부터, 기울기가 큰 상승 및 하강 슬로프 성분을 검출하여, 눈을 감는 동작 및 눈을 뜨는 동작에 대한 후보군을 결정한다.
그리고 비동기식 눈글 인식 장치는 후보군에 포함된 상승 및 하강 슬로프 성분이 존재하는 구간을 세부 조정한 후, 눈깜빡임 동작에 대응되는 슬로프 성분을 후보군에서 제거(S540)함으로써, 최종적으로 수직 안구전도 신호에서, 눈을 감는 동작 및 눈을 뜨는 동작에 대응되는 시점을 검출할 수 있다.
도 6은 본 발명의 일실시예에 따른 눈글 인식 결과를 나타내는 도면으로서, 0부터 9까지의 안구전도 신호로부터 인식한 결과이다. 특히, 도 6(a)는 눈을 뜬 상태에서 획득한 안구전도 신호로부터의 인식 결과이며, 도 6(b)는 본 발명의 일실시예에 따라서 눈을 감은 상태에서 획득한 안구전도 신호로부터의 인식 결과를 나타낸다.
도 6에 도시된 바와 같이, 눈을 감은 상태에서의 눈글 인식 결과가 눈을 뜬 상태에서의 눈글 인식 결과와 큰 차이가 없음을 알 수 있으며, 사용자가 눈을 감은 상태에서도 눈글 인식에 큰 문제가 없음을 알 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 사용자의 안구전도 신호를 입력받는 단계;
    상기 안구전도 신호 중에서, 수직 안구전도 신호를 이용하여, 상기 사용자의 눈을 감고 있는 상태가 미리 설정된 기준시간동안 유지되는지 여부를 판단하는 단계;
    상기 판단 결과에 따라서, 상기 사용자의 눈글 인식 요청을 검출하는 단계; 및
    상기 검출 결과에 따라서, 상기 사용자가 눈을 감고 있는 상태에서의 상기 안구전도 신호를 이용하여, 눈글을 인식하는 단계
    를 포함하는 안구전도를 이용하는 비동기식 눈글 인식 방법.
  2. 제 1항에 있어서,
    상기 눈을 감고 있는 상태가 미리 설정된 시간동안 유지되는지 여부를 판단하는 단계는
    상기 사용자의 눈을 감는 동작 및 눈을 뜨는 동작을 검출하는 단계; 및
    상기 눈을 감는 동작이 검출된 이후, 상기 눈을 뜨는 동작까지의 시간이 상기 기준시간에 대응되는지 여부를 판단하는 단계
    를 포함하는 안구전도를 이용하는 비동기식 눈글 인식 방법.
  3. 제 2항에 있어서,
    상기 눈을 뜨는 동작까지의 시간이 상기 기준시간에 대응되는지 여부를 판단하는 단계는
    상기 눈을 감는 동작이 검출된 이후, 미리 설정된 길이의 시간 윈도우 구간에서 상기 눈을 뜨는 동작이 검출된 경우, 상기 눈을 감고 있는 상태가 상기 기준시간동안 유지되는 것으로 판단하며,
    상기 시간 윈도우의 시작점은
    상기 사용자의 눈깜빡임 패턴에 따라서 결정되는
    안구전도를 이용하는 비동기식 눈글 인식 방법.
  4. 제 2항에 있어서,
    상기 사용자의 눈을 감는 동작 및 눈을 뜨는 동작을 검출하는 단계는
    상기 수직 안구전도 신호에서, 상승 및 하강 슬로프 성분을 검출하여, 상기 눈을 감는 동작 및 눈을 뜨는 동작에 대한 후보군을 결정하는 단계; 및
    상기 후보군에서, 상승 및 하강이 연속하는 슬로프 성분을 제거하는 단계
    를 포함하는 안구전도를 이용하는 비동기식 눈글 인식 방법.
  5. 제 4항에 있어서,
    상기 후보군을 결정하는 단계는
    상기 상승 및 하강 슬로프 성분의 기울기의 절대값이, 미리 설정된 임계값 이상인 슬로프 성분을 검출하는
    안구전도를 이용하는 비동기식 눈글 인식 방법.
  6. 제 1항에 있어서,
    상기 사용자의 눈글 인식 요청을 검출하는 단계는
    상기 사용자의 눈을 감고 있는 상태가 상기 기준시간 미만으로 유지되는 경우, 상기 사용자가 눈을 깜빡이는 것으로 인식하며,
    상기 사용자의 눈을 감고 있는 상태가 상기 기준시간 동안 유지되는 경우, 상기 사용자의 눈글 인식 요청을 검출하며,
    상기 사용자의 눈을 감고 있는 상태가 상기 기준시간을 초과하여 유지되는 경우, 상기 사용자가 수면 또는 휴식중인 것으로 인식하는
    안구전도를 이용하는 비동기식 눈글 인식 방법.
  7. 사용자의 안구전도 신호를 입력받는 단계;
    상기 안구전도 신호 중에서, 수직 안구전도 신호를 이용하여, 상기 사용자의 눈을 감고 있는 상태가 미리 설정된 기준시간동안 유지되는지 여부를 판단하는 단계;
    상기 판단 결과에 따라서, 상기 사용자의 의사 인식 요청을 검출하는 단계; 및
    상기 검출 결과에 따라서, 상기 사용자가 눈을 감고 있는 상태에서의 상기 안구전도 신호를 이용하여, 사용자의 의사를 인식하는 단계
    안구전도를 이용하는 비동기식 의사 인식 방법.
  8. 사용자의 안구 주위에 부착되는 안구전도 측정 전극;
    수직 안구전도 신호로부터 안구 도약 움직임 및 안구 하강 움직임을 판단하여, 상기 사용자의 눈글 인식 요청을 검출하는 요청 검출부; 및
    상기 검출 결과에 따라서, 상기 사용자가 눈을 감고 있는 상태에서의 상기 안구전도 신호를 이용하여, 눈글을 인식하는 눈글 처리부
    를 포함하는 안구전도를 이용하는 비동기식 눈글 인식 장치.
  9. 제 8항에 있어서,
    상기 요청 검출부는
    상기 안구 도약 움직임이 검출된 이후, 미리 설정된 길이의 시간 윈도우 구간에서 상기 안구 하강 움직임이 발생하는지 판단하는 안구 움직임 판단부; 및
    상기 판단 결과에 기반하여, 상기 사용자의 눈을 감고 있는 상태가 기준시간동안 유지되는지 여부를 판단하고, 상기 눈글 인식 요청을 검출하는 상태 인식부
    를 포함하는 안구전도를 이용하는 비동기식 눈글 인식 장치.
  10. 제 9항에 있어서,
    상기 안구 움직임 판단부는
    상기 수직 안구전도 신호의 상승 및 하강 슬로프 성분 중에서, 상승 및 하강이 연속하는 슬로프 성분을 제거하여, 상기 안구 도약 움직임 및 안구 하강 움직임을 검출하는
    안구전도를 이용하는 비동기식 눈글 인식 장치.
  11. 제 10항에 있어서,
    상기 안구 움직임 판단부는
    상기 상승 및 하강 슬로프 성분의 기울기의 절대값이, 미리 설정된 임계값 이상인 슬로프 성분 중에서, 상승 및 하강이 연속하는 슬로프 성분을 제거하는
    안구전도를 이용하는 비동기식 눈글 인식 장치.
KR1020190124660A 2019-10-08 2019-10-08 안구전도를 이용하는 비동기식 눈글 인식 방법 및 장치 KR102246539B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190124660A KR102246539B1 (ko) 2019-10-08 2019-10-08 안구전도를 이용하는 비동기식 눈글 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190124660A KR102246539B1 (ko) 2019-10-08 2019-10-08 안구전도를 이용하는 비동기식 눈글 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210041886A true KR20210041886A (ko) 2021-04-16
KR102246539B1 KR102246539B1 (ko) 2021-04-29

Family

ID=75728114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190124660A KR102246539B1 (ko) 2019-10-08 2019-10-08 안구전도를 이용하는 비동기식 눈글 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102246539B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240076620A (ko) 2022-11-22 2024-05-30 국립부경대학교 산학협력단 뇌파와 안구전도를 사용하는 비동기식 hci 시스템 및 이의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101580397B1 (ko) * 2014-05-27 2015-12-24 전남대학교산학협력단 안구 운동을 사용하는 디바이스의 제어 장치 및 방법
KR101745774B1 (ko) * 2015-03-30 2017-06-12 한양대학교 산학협력단 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101580397B1 (ko) * 2014-05-27 2015-12-24 전남대학교산학협력단 안구 운동을 사용하는 디바이스의 제어 장치 및 방법
KR101745774B1 (ko) * 2015-03-30 2017-06-12 한양대학교 산학협력단 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240076620A (ko) 2022-11-22 2024-05-30 국립부경대학교 산학협력단 뇌파와 안구전도를 사용하는 비동기식 hci 시스템 및 이의 제어 방법

Also Published As

Publication number Publication date
KR102246539B1 (ko) 2021-04-29

Similar Documents

Publication Publication Date Title
Zhang et al. A novel approach to driving fatigue detection using forehead EOG
Lee et al. Real-time “eye-writing” recognition using electrooculogram
Bulling et al. Multimodal recognition of reading activity in transit using body-worn sensors
Nam et al. GOM-Face: GKP, EOG, and EMG-based multimodal interface with application to humanoid robot control
Bulling et al. Robust recognition of reading activity in transit using wearable electrooculography
Bulling et al. Wearable EOG goggles: Seamless sensing and context-awareness in everyday environments
KR101314570B1 (ko) 정밀한 제어를 위한 뇌-기계 인터페이스 장치 및 방법
Baccour et al. Camera-based eye blink detection algorithm for assessing driver drowsiness
Perdiz et al. Emotional state detection based on EMG and EOG biosignals: A short survey
Fogelton et al. Eye blink detection based on motion vectors analysis
KR101963694B1 (ko) 동작 인식 및 제어를 위한 웨어러블 장치 및 이를 이용한 동작 인식 제어 방법
Soltani et al. A practical efficient human computer interface based on saccadic eye movements for people with disabilities
KR101745774B1 (ko) 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템
Barbara et al. EOG-based eye movement detection and gaze estimation for an asynchronous virtual keyboard
Korda et al. Automatic identification of eye movements using the largest lyapunov exponent
Navarro et al. EOG-based wheelchair control
KR102246539B1 (ko) 안구전도를 이용하는 비동기식 눈글 인식 방법 및 장치
Lv et al. Design and implementation of an eye gesture perception system based on electrooculography
Lu et al. A dual model approach to EOG-based human activity recognition
Bœkgaard et al. In the twinkling of an eye: Synchronization of EEG and eye tracking based on blink signatures
Lv et al. An ICA-based spatial filtering approach to saccadic EOG signal recognition
BR102018071412B1 (pt) Dispositivo e método para captar, processar e classificar movimentos oculares, movimentos com a cabeça e atividade cerebral
Noor et al. Eye movement activity that affected the eye signals using electrooculography (EOG) technique
Zacharaki et al. One-class classification of temporal EEG patterns for K-complex extraction
Barbara et al. Comparative performance analysis of a commercial wearable EOG glasses for an asynchronous virtual keyboard

Legal Events

Date Code Title Description
GRNT Written decision to grant