KR102382978B1

KR102382978B1 - 저시력자의 주변상황을 보조하기 위한 방법

Info

Publication number: KR102382978B1
Application number: KR1020200163086A
Authority: KR
Inventors: 정정일
Original assignee: 주식회사 피씨티
Priority date: 2020-11-27
Filing date: 2020-11-27
Publication date: 2022-04-05

Abstract

본 발명은 저시력자의 주변상황을 보조하기 위한 방법에 관한 것으로서, 더욱 상세하게는 저시력자가 착용한 시각보조장치에서 촬영한 이미지에 대하여 서비스서버에서 상기 이미지에 포함된 1 이상의 객체를 식별하여 도출된 객체정보가 상기 저시력자의 사용자단말에서 출력되도록 하고, 저시력자가 봉사자와 같은 타 사용자의 도움을 필요로 하는 경우에 서비스서버가 저시력자 및 상기 타 사용자를 중개하는, 저시력자의 주변상황을 보조하기 위한 방법에 관한 것이다.

Description

저시력자의 주변상황을 보조하기 위한 방법 {Method to Assist Low Vision Person}

시력을 완전히 상실한 시각장애인(전맹) 또는 시력을 일부 상실한 시각장애인(저시력)의 경우, 정안인과 비교하여 일상 생활을 영위하는데 많은 어려움을 겪고 있다. 특히, 야외와 같이 익숙하지 않은 환경에서 시각장애인이 보행하는 등의 다양한 신체적 활동을 수행하는 것은 매우 어려운 일에 해당하며, 따라서, 낯선 환경에 처한 시각장애인은 주변환경에 존재하는 사물들을 인지하는 것이 중요하다.

이에 따라 종래에는 시각장애인이 촬영한 사진을 분석하여, 사진에 포함된 장애물이나 사물을 판별하여 이를 시각장애인에게 제공하는 기술이 개발되었다. 그러나 이와 같은 종래의 기술은 사진에 포함된 객체의 정보만을 제공하고 있기 때문에, 사진에 포함된 객체의 수가 많은 경우에 단순히 객체의 정보만을 시각장애인에게 제공하는 것으로는 시각장애인이 주변환경을 용이하게 인지하기 어려운 문제점이 존재한다.

또한, 시각장애인이 해당 위치에서 특정 위치까지 이동해야 하는 입체적인 상황에서 2차원 이미지에 포함된 객체의 정보를 제공하는 것으로는 도움을 주기 어려운 추가적인 문제점이 존재한다.

따라서, 시각장애인에게 주어진 다양한 상황에서의 문제에 대하여 도움을 줄 수 있는 실질적이고, 효과적인 새로운 방법의 개발이 필요한 상황이다.

본 발명은 저시력자의 주변상황을 보조하기 위한 방법에 관한 것으로서, 더욱 상세하게는 저시력자가 착용한 시각보조장치에서 촬영한 이미지에 대하여 서비스서버에서 상기 이미지에 포함된 1 이상의 객체를 식별하여 도출된 객체정보가 상기 저시력자의 사용자단말에서 출력되도록 하고, 저시력자가 봉사자와 같은 타 사용자의 도움을 필요로 하는 경우에 서비스서버가 저시력자 및 상기 타 사용자를 중개하는, 저시력자의 주변상황을 보조하기 위한 방법을 제공하는 것을 목적으로 한다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 저시력자가 착용하는 시각보조장치, 상기 저시력자의 사용자단말에 설치된 제1어플리케이션 및 상기 제1어플리케이션과 통신을 수행하는 서비스서버를 포함하는 상황보조시스템에서 수행되는 저시력자의 주변상황을 보조하기 위한 방법으로서, 상기 시각보조장치에 의하여, 상기 저시력자의 입력에 따라 상기 시각보조장치의 전면에 배치된 촬영부를 통해 상기 저시력자의 주시 방향에 대한 복수의 이미지를 촬영하고, 상기 복수의 이미지를 상기 제1어플리케이션에 송신하는 이미지촬영단계; 상기 제1어플리케이션에 의하여, 상기 이미지촬영단계를 통해 수신한 복수의 이미지에 대하여 상기 서비스서버에 상기 주시 방향에 존재하는 1 이상의 객체의 식별을 요청하는 객체식별요청단계; 상기 서비스서버에 의하여, 기계학습된 학습모델을 사용하여 상기 객체식별요청단계를 통해 수신한 복수의 이미지에서 1 이상의 객체를 식별하고, 식별된 1 이상의 객체에 대한 객체정보를 상기 제1어플리케이션에 제공하는 객체정보제공단계; 및 상기 제1어플리케이션에 의하여, 상기 객체정보제공단계를 통해 수신한 객체정보를 출력하는 객체정보출력단계;를 포함하는, 저시력자의 주변환경을 보조하기 위한 방법을 제공한다.

본 발명의 일 실시예에서는, 상기 상황보조시스템은 상기 서비스서버와 통신을 수행하는 복수의 타 사용자의 사용자단말에 설치된 제2어플리케이션을 더 포함하고, 상기 제1어플리케이션에 의하여, 상기 저시력자의 입력에 기초하여 상기 이미지촬영단계를 통해 수신한 복수의 이미지 및 상기 저시력자가 상기 저시력자의 사용자단말을 통해 입력한 상황정보를 포함하는 상황원격요청정보를 상기 서비스서버로 송신하는 제1상황요청단계; 상기 서비스서버에 의하여, 상기 제1상황요청단계를 통해 수신한 상황원격요청정보에 기초하여 상황도움콜정보를 도출하고, 상기 상황도움콜정보를 상기 복수의 타 사용자단말 각각에 설치된 제2어플리케이션에 송신하는 상황도움콜정보제공단계; 상기 상황도움콜정보에 대하여 수락입력을 수행한 타 사용자의 사용자단말에 설치된 제2어플리케이션으로부터 상기 타 사용자가 입력한 상황도움정보를 수신하는 상황도움정보수신단계; 상기 상황도움정보수신단계를 통해 수신한 상기 상황도움정보를 상기 제1어플리케이션에 송신하는 상황도움정보송신단계; 및 상기 제1어플리케이션에 의하여, 상기 상황도움정보제공단계를 통해 제공받은 상황도움정보를 출력하는 상황도움정보출력단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 상황도움정보출력단계는, 상기 상황도움정보가 텍스트형태인 경우에 상기 상황도움정보를 Text-to-Speech(TTS) 방식을 사용하여 음성형태로 변환하여 출력할 수 있다.

본 발명의 일 실시예에서는, 상기 제1어플리케이션에 의하여, 상기 상황도움정보출력단계를 통해 상황도움정보가 출력된 후에 평가입력인터페이스를 디스플레이하는 단계; 상기 평가입력인터페이스를 통해 상기 저시력자로부터 상기 상황도움정보에 대한 평가정보를 입력받고, 상기 평가정보를 서비스서버에 송신하는 평가정보제공단계; 및 상기 서비스서버에 의하여, 상기 평가정보제공단계를 통해 수신한 평가정보에 기초하여 리워드 금액을 결정하고, 상기 평가정보 및 상기 결정된 리워드 금액을 상기 상황도움정보를 송신한 제2어플리케이션으로 송신하는 리워드제공단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 상황보조시스템은 상기 서비스서버와 통신을 수행하는 복수의 타 사용자의 사용자단말에 설치된 제2어플리케이션을 더 포함하고, 상기 제1어플리케이션에 의하여, 상기 저시력자의 입력에 기초하여 상기 이미지촬영단계를 통해 수신한 복수의 이미지 및 상기 저시력자가 상기 저시력자의 사용자단말을 통해 입력한 상황정보를 포함하는 상황현장요청정보를 상기 서비스서버로 송신하는 제2상황요청단계; 상기 서비스서버에 의하여, 상기 제2상황요청단계를 통해 수신한 상황현장요청정보에 기초하여 현장방문콜정보를 도출하고, 상기 현장방문콜정보를 상기 저시력자의 사용자단말의 위치로부터 소정의 거리내에 위치한 1 이상의 타 사용자의 사용자단말 각각에 설치된 제2어플리케이션에 제공하는 현장방문콜정보제공단계; 및 상기 현장방문콜정보에 대하여 수락입력을 수행한 타 사용자의 사용자단말에 설치된 제2어플리케이션으로부터 수락정보를 수신하고, 상기 수락정보를 상기 제1어플리케이션에 송신하는 현장방문매칭단계;를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 시각보조장치는 적외선센서부를 포함하여, 적외선센서부에서 측정하는 지면과의 거리에 따라 단차를 판별할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 시각보조장치는 적외선센서부를 체결하는 고정막대의 일 단에는 각도조절부가 체결되어 있어, 상기 각도조절부가 회전함에 따라 적외선센서부가 회전하므로, 지면에 투사되는 적외선의 위치를 조절할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 적외선센서부는 3 이상의 적외선감지모듈을 포함하여, 3 이상의 적외선감지모듈별로 지면의 특정 위치에 따른 거리들을 측정하고, 복수의 거리에 따라 단차를 감지하므로 더욱 효과적으로 지면에 존재하는 단차를 판별할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 시각보조장치는 적외선센서부에서 측정한 복수의 거리들의 평균값과 복수의 거리 사이의 차이값들을 도출하고, 이를 고려하여 단차를 판별하므로, 단차 판별에 대한 정확도가 향상될 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서비스서버는 시각보조장치에서 촬영한 복수의 이미지에 기초하여 저시력자의 주시 방향에 존재하는 1 이상의 객체를 식별하여 객체정보를 제공하므로, 저시력자가 주변에 존재하는 1 이상의 객체를 용이하게 인지할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서비스서버는 저시력자의 요청에 따라 복수의 타 사용자의 사용자단말에 저시력자가 요청한 상황도움콜정보를 제공하여, 상기 상황도움콜정보를 수락한 타 사용자가 입력한 저시력자의 요청에 대한 상황도움정보를 상기 저시력자에게 제공하므로, 저시력자와 봉사자에 해당하는 타 사용자를 매칭하여 타 사용자로 하여금 저시력자에게 원격으로 도움을 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서비스서버는 저시력자의 요청에 따라 저시력자로부터 소정의 거리에 위치한 1 이상의 타 사용자의 사용자단말에 현장방문콜정보를 제공하여, 상기 현장방문콜정보를 수락한 타 사용자가 해당 저시력자의 위치에 방문하여 도움을 제공할 수 있도록 매칭하므로, 방문 도움이 필요한 저시력자에게 효과적으로 도움을 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 저시력자의 사용자단말에 설치된 제1어플리케이션은 객체정보 및 상황도움정보를 Text-to-Speech(TTS) 방식으로 변환하여 음성형태로 제공하므로 효과적으로 저시력자에게 정보를 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서비스서버는 도움을 제공한 타 사용자의 사용자단말에 상기 저시력자의 평가정보에 따라 리워드를 책정하여 제공하므로, 저시력자에게 도움을 제공하고자 하는 타 사용자에 대한 풀(Pool)을 용이하게 확보할 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 시각보조장치를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 적외선센서부와 고정막대가 체결되어 각도조절부의 회전에 따라 적외선센서부가 회전하는 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 저시력자의 주변상황을 보조하기 위한 방법을 수행하는 상황보조시스템에 포함되는 구성요소들을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 저시력자의 주시 방향에 존재하는 1 이상의 객체를 식별하여 저시력자에게 제공하는 단계들을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 1 이상의 객체가 식별된 이미지를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 상황도움콜정보를 수락하여 타 사용자가 상기 저시력자에게 원격으로 도움을 제공하는 단계들을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 저시력자의 사용자단말에서 상황도움정보가 출력되는 화면을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 제1어플리케이션에서 객체정보 및 상황도움정보를 음성형태로 변환하는 과정을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 현장방문콜정보를 수락하여 타 사용자가 상기 저시력자에게 방문하여 도움을 제공하는 단계들을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 도움을 제공받은 저시력자가 제1어플리케이션을 통해 도움에 대한 평가를 수행하는 과정을 개략적으로 도시한다.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

1. 시각보조장치의 기계적인 구성

이하에서는, 주변환경의 단차를 감지하는 방법을 설명하기에 앞서, 주변환경의 단차를 감지하는 방법을 수행하는 시각보조장치의 기계적인 구성에 대하여 우선적으로 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 시각보조장치(1000)를 개략적으로 도시한다.

도 1에 도시된 바와 같이, 저시력자의 주변환경에서의 단차를 감지하는 시각보조장치(1000)로서, 프레임부(1100); 상기 프레임부(1100)의 전면에 배치되어 상기 저시력자의 주시 방향에 따라 전방의 이미지를 촬영하는 촬영부(1200); 상기 프레임부(1100)의 일 측면에 체결되어 상기 저시력자의 주시 방향에 따라 적외선을 투사하여 지면의 특정 위치와의 거리를 산출하는 적외선센서부(1300); 상기 적외선센서부(1300)의 일 측면에 체결되는 제1안경다리부(1410) 및 상기 프레임부(1100)의 타 측면에 체결되는 제2안경다리부(1420)를 포함하는 한 쌍의 안경다리부; 및 상기 제1안경다리부(1410) 및 상기 제2안경다리부(1420)에 체결되는 하우징부(1500);를 포함하고, 상기 하우징부(1500)의 내부 공간에는 상기 시각보조장치(1000)를 제어하는 제어부 및 배터리부가 전기적으로 연결되는 기판부가 배치되고, 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410) 각각에는 제1관통홀(1110), 제2관통홀(1340), 및 제3관통홀(1413)이 형성되어 있고, 상기 제1관통홀(1110), 상기 제2관통홀(1340), 및 상기 제3관통홀(1413)에 삽입되는 고정막대(1700)에 의하여 상기 프레임부(1100)의 일 측면에 상기 적외선센서부(1300) 및 상기 제1안경다리부(1410)가 체결되는 것을 특징으로 할 수 있다.

구체적으로, 상기 시각보조장치(1000)는 안경과 유사한 형태로써, 사용자(저시력자)의 눈 앞에 착용되어, 사용자의 주시 방향에 따른 전방의 객체를 식별하고, 특히 주시 방향에 따라 지면에 형성되어 있는 단차를 판별할 수 있다.

프레임부(1100)는 시각보조장치(1000)의 다양한 구성요소들이 배치되거나, 체결될 수 있도록 하는 구성요소로써, 한 쌍의 렌즈가 체결될 수 있는 한 쌍의 렌즈삽입영역이 형성될 수 있다. 한편, 한 쌍의 렌즈삽입영역은 도 1에서 모서리가 둥근 직사각형 형태로 도시되어 있으나, 이에 한정되지 않고, 렌즈의 다양한 형상에 따라 다양한 형태를 가질 수 있다.

또한 상기 프레임부(1100)의 내부에는 전기적으로 연결될 수 있도록 배선이 구비되어 있어, 상기 프레임부(1100)에 배치되는 구성요소에 전원을 공급하고, 상기 구성요소와 타 구성요소와의 통신이 이루어질 수 있도록 한다.

촬영부(1200)는 프레임부(1100)의 전면에 배치되어, 시각보조장치(1000)를 착용한 저시력자가 촬영 입력을 수행하는 경우에 상기 저시력자의 주시 방향에 따라 전방 이미지를 촬영할 수 있다. 상기 촬영부(1200)에 의해 촬영된 전방 이미지는 전방에 위치한 1 이상의 객체를 판별하기 위하여 사용되거나, 상기 저시력자의 위치 및 주시 방향의 상황을 타 사용자에게 제공하는데 사용되어, 타 사용자로 하여금 상기 저시력자에게 도움을 줄 수도 있다.

한편, 상기 촬영부(1200)는 도 1에서 상기 프레임부(1100)의 전면 중앙 상단에 배치되는 것으로 도시되었으나, 이에 한정되지 않고, 상기 촬영부(1200)는 프레임부(1100)의 전면 어느 곳에 배치될 수 있으며, 또한 상기 촬영부(1200)는 상기 프레임부(1100)의 상면에서 상기 촬영부(1200)의 촬영방향이 상기 저시력자의 주시 방향과 동일한 방향으로 배치될 수도 있다.

적외선센서부(1300)는 주시 방향의 지면에 있는 단차를 판별하기 위하여 지면과의 거리를 측정하기 위한 구성요소로써, 상기 적외선센서부(1300)는 지면에 적외선을 투사하고, 상기 적외선이 반사되어 되돌아오는 양에 따라 지면과의 거리를 측정할 수 있다. 이를 위해 상기 적외선센서부(1300)는 상기 프레임부(1100)의 일 측면에 체결될 수 있다.

또한, 상기 적외선센서부(1300)는 도 1에 도시된 바와 같이, 지면에 수평한 방향으로 고정되어 있는 것이 아니고, 상기 적외선센서부(1300)의 각도는 시각보조장치(1000)를 착용한 저시력자에 의해 조절될 수 있다.

상기 적외선센서부(1300)는 지면의 특정한 단일 위치에 적외선을 투사하여 상기 특정한 단일 위치와의 거리를 측정할 수 있으나, 바람직하게는 상기 적외선센서부(1300)는 3 이상의 적외선감지모듈, 즉, 제1적외선감지모듈(1310), 제2적외선감지모듈(1320), 및 제3적외선감지모듈(1330)을 포함하고, 각각의 적외선감지모듈(1310 내지 1330)은 지면에 대하여 서로 다른 위치에 적외선을 투사함으로써, 상기 적외선센서부(1300)는 3 이상의 지면의 위치와의 거리들을 측정할 수 있다. 이와 같이, 복수의 거리를 측정함으로써 더욱 정확하게 지면의 단차를 판별할 수 있는 효과를 발휘할 수 있다.

한 쌍의 안경다리부는 시각보조장치(1000)가 이를 착용하는 저시력자의 양쪽 귀에 걸쳐질 수 있도록 하며, 상기 한 쌍의 안경다리부는 제1안경다리부(1410) 및 제2안경다리부(1420)를 포함한다. 상기 제1안경다리부(1410)는 상기 적외선센서부(1300)의 일 측면에 체결되며, 이때 상기 적외선센서부(1300)의 타 측면은 상기 프레임부(1100)의 일 측면과 체결될 수 있다. 한편, 상기 제2안경다리부(1420)는 상기 프레임부(1100)의 타 측면에 직접 체결되거나, 혹은 상기 프레임부(1100)의 타 측면에 체결된 초음파센서부(1800)의 일 측면에 체결될 수 있다.

한편, 한 쌍의 안경다리부의 내부에는 전기적으로 연결될 수 있도록 배선이 구비되어 있어, 상기 한 쌍의 안경다리부에 배치되거나 체결되는 구성요소 및 상기 프레임부(1100)에 배치되거나 체결되는 구성요소에 전원을 공급하고, 각 구성요소 간의 통신이 이루어질 수 있도록 한다. 이를 위하여 상기 한 쌍의 안경다리부의 외부면 끝단에는 상기 하우징부(1500)에 배치되는 제어부 및 배터리부와 전기적으로 연결되는 기판부와 전기적으로 연결될 수 있도록 하는 제1연결단자(1411)가 구비될 수 있다. 도 1에서 상기 제1연결단자(1411)는 상기 한 쌍의 안경다리부의 외부면 끝단에 구비되어 있는 것으로 도시되어 있으나, 본 발명의 다른 실시예에서 상기 제1연결단자(1411)는 상기 한 쌍의 안경다리부의 내부면 끝단에 구비될 수도 있다.

또한, 상기 제1안경다리부(1410) 및/또는 상기 제2안경다리부(1420)에는 스피커부(1412)가 배치되고, 상기 스피커부(1412)는 지면에 단차가 존재하는 것으로 판별되는 경우에 도출되는 단차위험정보를 음성형태로 출력하여, 시각보조장치(1000)를 착용한 저시력자가 보행 방향에 단차가 존재하는 것을 인지할 수 있도록 한다.

하우징부(1500)는 상기 시각보조장치(1000)를 제어하는 제어부 및 상기 시각보조장치(1000)에 포함되는 구성요소에 전원을 공급하는 배터리부와 전기적으로 연결되는 기판부가 상기 하우징부(1500)의 내부 공간에 배치됨으로써, 상기 제어부, 상기 배터리부, 및 상기 기판부를 보호할 수 있다.

상기 제어부는 상기 시각보조장치(1000)를 제어하기 위한 명령을 수행하기 위하여 1 이상의 프로세서 및 1 이상의 메모리를 포함할 수 있고, 상기 촬영부(1200) 및 상기 적외선센서부(1300)에서 생성된 정보에 기초하여 지면의 단차를 판별할 수 있다.

한편, 상기 하우징부(1500)의 후면, 즉 저시력자가 상기 시각보조장치(1000)를 착용함에 따라 저시력자의 뒤통수와 접촉하는 부분은 패브릭이나 실리콘 소재와 같이 착용감을 향상시킬 수 있는 소재가 부착될 수 있다. 또한 상기 하우징부(1500)는 한 쌍의 제2연결단자(1510)가 구비되어 있어, 상술한 상기 제1안경다리부(1410) 및 상기 제2안경다리부(1420)에 구비된 한 쌍의 제1연결단자(1411) 각각과 전기적으로 연결됨으로써 상기 기판부와 타 구성요소가 전기적으로 연결될 수 있도록 한다.

또한, 상기 하우징부(1500)의 구성은 제어부, 배터리부, 및 기판부를 보호하기 위한 것은 물론이고, 상기 제어부, 배터리부, 및 기판부가 상기 프레임부(1110) 또는 상기 한 쌍의 안경다리부에 배치되는 경우에 상기 시각보조장치(1000)의 무게중심이 앞으로 형성되어 저시력자가 착용하는데 어려운 문제가 발생할 수 있으므로, 상기 한 쌍의 안경다리부의 끝단에 하우징부(1500)가 연결되도록 하여 무게중심이 앞으로 형성되는 것을 방지할 수 있는 효과를 발휘할 수 있다.

본 발명의 다른 실시예에서 상기 기판부에는 통신부가 추가적으로 전기적으로 연결될 수 있고, 상기 통신부는 저시력자의 사용자단말과 통신을 수행할 수도 있다.

한편, 상기 제1안경다리부(1410)의 측면에는 적외선센서부(1300)가 소정의 각도로 회전하도록 조절할 수 있는 각도조절부(1600)가 배치될 수 있다. 상기 각도조절부(1600)는 후술하는 고정막대(1700)의 일단에 체결됨으로써, 상기 각도조절부(1600)를 저시력자가 회전시키는 경우에 고정막대(1700)에 체결되어 있는 적외선센서부(1300)가 회전되어 지면과 소정의 각도로 적외선을 투사할 수 있도록 한다.

또한, 상기 각도조절부(1600)는 저시력자로 하여금 적외선센서부(1300)가 회전되는 정도를 인지할 수 있도록 하는 각도지시막대(1610) 및 상기 적외선센서부(1300)에서 거리를 측정하도록 하는 제1스위치부(1620)를 포함하며, 이에 대해서는 도 2에서 더욱 상세하게 설명하도록 한다.

초음파센서부(1800)는 상기 프레임부(1100)의 타 측면에 체결되어 상기 저시력자의 주시 방향에 따라 초음파를 투사하여 지면과의 거리를 파악할 수 있도록 한다. 상기 초음파센서부(1800)를 통해 측정된 거리정보는 상기 적외선센서부(1300)에서 측정한 거리정보와 함께 지면의 단차를 판별하기 위한 정보로 사용될 수 있다.

한편, 본 발명의 다른 실시예에서 상기 시각보조장치(1000)는 상기 초음파센서부(1800)를 대체하여 레이저를 투사하여 거리를 측정하는 라이다센서부 등과 같이 적외선센서 방식과는 다른 방식으로 거리를 측정할 수 있는 1 이상의 센서를 사용할 수도 있다.

또한, 본 발명의 또 다른 실시예에서 상기 시각보조장치(1000)는 상기 초음파센서부(1800)를 포함하지 않을 수도 있다. 이와 같은 경우 상기 제2안경다리부(1420)는 직접적으로 상기 프레임부(1100)의 타 측면에 체결될 수 있으며, 이 때 상기 제2안경다리부(1420)는 기존의 초음파센서부(1800)의 너비에 상응하는 끼움부재를 포함하여 'ㄱ'자 형상으로 구성될 수도 있다.

또한, 상기 시각보조장치(1000)는 1 이상의 제2스위치부(1900)를 더 포함할 수 있다. 상기 1 이상의 제2스위치부(1900)는 상기 적외선센서부(1300)에서 거리를 측정하도록 하는 명령을 입력할 수 있는 제1스위치부(1620)와 별도로 상기 시각보조장치(1000)에서의 다양한 명령을 입력할 수 있다. 예를 들어, 저시력자가 상기 제2스위치부(1900)에 대하여 입력을 수행함에 따라 상기 촬영부(1200)는 주시 방향에 대한 전방 이미지를 촬영할 수 있다.

한편, 상기 1 이상의 제2스위치부(1900)는 도 1에 도시된 바와 같이, 상기 프레임부(1100)의 상면 좌측에 배치되는 것으로 한정되는 것이 아니라, 저시력자가 입력을 수행하기 용이한 다양한 위치에 배치될 수도 있다.

이와 같이, 상술한 시각보조장치(1000)를 통해 저시력자는 주시 방향의 지면에 단차가 있는지를 인지할 수 있으며, 시각보조장치(1000)는 적외선센서부(1300)에서 측정한 거리에 따라 지면의 단차를 판별할 수 있으며, 적외선센서부(1300)에서 거리를 효과적으로 측정하기 위하여 적외선센서부(1300)의 각도가 조절되는 구성에 대해서는 도 2에서 자세하게 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 적외선센서부(1300)와 고정막대(1700)가 체결되어 각도조절부(1600)의 회전에 따라 적외선센서부(1300)가 회전하는 구성을 개략적으로 도시한다.

도 2에 도시된 바와 같이, 상기 고정막대(1700)의 일 단에는 각도조절부(1600)가 체결되어, 상기 각도조절부(1600)의 회전 방향에 상응하여 상기 적외선센서부(1300)가 회전하고, 상기 각도조절부(1600)에는 각도지시막대(1610)가 배치되어, 상기 각도조절부(1600)의 회전에 따라 상기 각도지시막대(1610)는 상기 각도조절부(1600)의 회전각도를 지시할 수 있다.

구체적으로, 도 2의 (A)에 도시된 바와 같이, 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410)가 순서대로 체결되기 위하여 상기 시각보조장치(1000)는 고정막대(1700)를 더 포함하고, 상기 고정막대(1700)는 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410) 각각에 형성되어 있는 제1관통홀(1110), 제2관통홀(1340), 및 제3관통홀(1413)에 삽입됨으로써, 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410)가 상호 체결될 수 있다.

상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410)가 상기 고정막대(1700)에 의해 상호 체결됨에 따라, 상기 프레임부(1100)의 일 측면에 구비된 제1접속단자(1121, 1122) 및 상기 적외선센서부(1300)의 일 측면에 구비된 제2접속단자(1351, 1352)가 전기적으로 접촉되고, 상기 적외선센서부(1300)의 타 측면에 구비된 제2접속단자(1351, 1352) 및 상기 제1안경다리부(1410)의 내측면에 구비된 제3접속단자가 전기적으로 접촉될 수 있다.

한편, 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410) 각각은 제1관통홀(1110), 제2관통홀(1340), 및 제3관통홀(1413)이 형성되어 있고, 상기 고정막대(1700)는 상기 제1관통홀(1110), 상기 제2관통홀(1340) 및 상기 제3관통홀(1413)에 삽입되어 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410)가 순서대로 체결될 수 있도록 한다. 또한, 상기 고정막대(1700)의 일 단에는 각도조절부(1600)가 배치되며, 상기 각도조절부(1600)는 상기 적외선센서부(1300)의 회전 각도를 조절하는 것과 동시에 상기 고정막대(1700)가 수평방향으로 움직이는 것을 방지하기 위한 일종의 스토퍼의 역할을 동시에 수행할 수 있다.

또한, 도 2에서는 도시하지 않았으나, 상기 고정막대(1700)의 타 단에는 상기 제1관통홀(1110)의 직경보다 큰 스토퍼가 배치되어, 상기 각도조절부(1600)와 마찬가지로 상기 고정막대(1700)가 수평방향으로 움직이는 것을 방지할 수 있다.

한편, 상기 고정막대(1700)는 상기 프레임부(1100)의 일 측면, 상기 적외선센서부(1300), 및 상기 제1안경다리부(1410)를 체결하는 것 외에도, 도 2의 (B) 및 (C)에 도시된 바와 같이 상기 적외선센서부(1300)가 소정의 각도로 회전될 수 있도록 한다.

구체적으로 도 2의 (B)에 도시된 바와 같이, 상기 적외선센서부(1300)에 구비된 제2관통홀(1340)의 내면은 소정의 잇수를 갖는 기어의 형태로 형성되고, 상기 제2관통홀(1340)이 삽입되는 고정막대(1700)의 특정 위치의 외주면에는 상기 제2관통홀(1340)의 내면에 형성된 기어와 맞물릴 수 있도록 체결홈(1710)이 형성될 수 있다. 따라서 상기 고정막대(1700)의 특정 위치의 외주면과 상기 제2관통홀(1340)의 내면은 상호 맞물려 체결될 수 있고, 따라서 고정막대(1700)의 일 단에 체결되는 각도조절부(1600)의 회전에 따라 고정막대(1700)가 회전하고, 따라서 제2관통홀(1340)이 형성되어 있는 적외선센서부(1300) 또한 회전할 수 있도록 한다.

한편, 도 2의 (C)는 각도조절부(1600)가 회전함에 따라 소정의 각도로 상기 적외선센서부(1300)가 회전하는 상태를 도시한 도면에 해당한다.

상술한 바와 같이, 상기 고정막대(1700)는 상기 적외선센서부(1300)의 제2관통홀(1340)과 체결되고, 상기 고정막대(1700)의 일 단에 체결된 각도조절부(1600)를 상기 저시력자가 회전시킴에 따라 상기 적외선센서부(1300)가 회전할 수 있다. 이와 같이, 저시력자가 상기 각도조절부(1600)를 조절하여 상기 적외선센서부(1300)의 회전각도를 조절할 수 있도록 하여, 상기 적외선센서부(1300)가 지면에 적외선을 투사하기에 용이하도록 할 수 있다.

예를 들어, 저시력자가 자신의 발 근처에 있는 지면의 단차를 인지하고자 하는 경우에 상기 적외선센서부(1300)의 회전각도를 크게(지면과 수직에 가깝도록) 조절할 수 있고, 자신의 위치에서 비교적 먼 지면의 단차를 인지하고자 하는 경우에 상기 적외선센서부(1300)의 회전각도를 줄이도록(지면과 수평에 가깝도록) 조절할 수 있다.

한편, 상기 각도조절부(1600)는 저시력자가 적외선센서부(1300)의 회전각도의 정도를 가늠할 수 있도록 하기 위하여 각도지시막대(1610)가 배치될 수 있다. 상기 각도지시막대(1610)는 상기 적외선센서부(1300)의 정면(적외선을 투사하는 면)과 평행한 방향을 상기 각도조절부(1600)에 배치될 수 있으며, 따라서 각도조절부(1600)를 회전시킴에 따라 각도지시막대(1610)는 기울어지게 되고, 기울어진 각도지시막대(1610)를 저시력자가 촉감 등을 통해 감지함으로써, 상기 적외선센서부(1300)의 기울어진 정도를 가늠할 수 있도록 한다.

상기 도 2의 (C)에서 상기 각도지시막대(1610)는 한 쌍으로 구비되고, 한 쌍의 각도지시막대(1610) 각각은 상기 각도조절부(1600)의 원점에 대칭되는 위치에 배치되어 있으나, 본 발명의 다른 실시예에서 상기 각도지시막대(1610)는 1 개만 배치될 수도 있다.

또한, 상기 각도지시막대(1610)는 적외선센서의 회전각도, 즉 기울어진 정도를 가늠할 수 있도록 하는 것뿐만 아니라, 저시력자가 상기 각도조절부(1600)를 회전시키기에 용이하도록 하는 일종의 손잡이의 역할을 동시에 수행할 수 있다.

따라서, 상기 각도조절부(1600)를 통해 저시력자가 적외선센서부(1300)의 각도를 조절하기 위하여 각도지시막대(1610)를 손잡이로 사용하여 소정의 각도로 상기 적외선센서부(1300)를 회전시키고, 상기 각도조절부(1600)에 구비된 제1스위치부(1620)에 대하여 입력을 수행함에 따라 상기 적외선센서부(1300)에서는 지면에 대한 거리를 측정할 수 있게 된다. 즉, 저시력자는 상기 각도조절부(1600)에 구비된 요소들을 통해 적외선센서부(1300)의 각도를 조절하고 거리를 측정하는 과정들을 용이하게 수행할 수 있는 효과를 발휘할 수 있다.

2. 시각보조장치를 포함하는 상황보조시스템에서 수행되는 저시력자의 주변상황을 보조하기 위한 방법

이하에서는 상술한 시각보조장치(1000)를 포함하는 상황보조시스템에서 수행되는 저시력자의 주변상황을 보조하기 위한 방법에 대하여 상세하게 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 저시력자의 주변상황을 보조하기 위한 방법을 수행하는 상황보조시스템에 포함되는 구성요소들을 개략적으로 도시한다.

도 3에 도시된 바와 같이 상황보조시스템은, 상술한 시각보조장치(1000), 저시력자의 사용자단말(2000)에 설치되는 제1어플리케이션(2100), 서비스서버(3000), 및 타 사용자의 사용자단말(4000)에 설치되는 제2어플리케이션(4100)을 포함한다.

상기 시각보조장치(1000)는 '1. 시각보조장치(1000)의 기계적인 구성'에서 상술한 바와 같이, 저시력자는 상기 시각보조장치(1000)를 착용하여, 상기 시각보조장치(1000)에 포함된 촬영부(1200)를 통해 상기 저시력자의 주시 방향에 따른 복수의 이미지를 촬영하고, 상기 복수의 이미지를 상기 저시력자의 사용자단말(2000)의 제1어플리케이션(2100)으로 송신함으로써, 서비스서버(3000)에서 수행하는 객체 식별 또는 타 사용자와의 매칭을 통한 저시력자의 주변상황을 보조하기 위한 방법이 수행될 수 있다.

상기 제1어플리케이션(2100)은, 상기 시각보조장치(1000)를 착용한 저시력자의 사용자단말(2000)에 설치되어 상기 시각보조장치(1000) 및 상기 서비스서버(3000)와 통신을 수행할 수 있고, 바람직하게는 상기 시각보조장치(1000) 및 상기 저시력자의 사용자단말(2000)의 제1어플리케이션(2100)은 블루투스, 지그비(zigbee) 등과 같은 근거리 무선통신 방식으로 연결되고, 상기 저시력자의 사용자단말(2000)의 제1어플리케이션(2100) 및 상기 서비스서버(3000)는 LTE, 5G 등과 같은 원거리 통신 방식으로 연결될 수 있다.

상기 제1어플리케이션(2100)은 상기 시각보조장치(1000)로부터 수신한 복수의 이미지에 대하여 상기 저시력자로부터 객체 식별, 타 사용자를 통한 도움 등과 같이 도움 요청의 유형에 대한 입력을 수신하기 위한 인터페이스를 제공하고, 서비스서버(3000)로부터 객체정보, 또는 타 사용자에 의해 입력된 상황도움정보를 수신하여 상기 저시력자가 인지하기 편리한 형태로 상기 객체정보, 또는 상기 상황도움정보를 변환하여 출력한다.

또한, 상기 제1어플리케이션(2100)은 저시력자가 타 사용자를 통해 도움을 받은 경우에, 상기 타 사용자의 도움에 대한 평가를 입력할 수 있는 평가입력인터페이스를 디스플레이할 수도 있다.

한편, 본 발명에서 상황보조시스템은 복수의 저시력자 각각에 대하여 주변상황을 보조하기 위한 방법을 제공할 수 있고, 따라서 상기 복수의 저시력자 각각의 사용자단말에는 제1어플리케이션(2100)이 설치되고, 복수의 제1어플리케이션(2100)이 상기 서비스서버(3000)와 통신을 수행할 수 있다.

상기 서비스서버(3000)는 상기 제1어플리케이션(2100)과 통신을 수행하고, 상기 시각보조장치(1000)에서 촬영한 복수의 이미지에 대한 저시력자의 도움 요청을 수신한다. 또한 상기 서비스서버(3000)는 수신한 도움 요청에 따라, 상기 서비스서버(3000) 자체에서 수신한 복수의 이미지에 기초하여 저시력자의 주시 방향에 있는 1 이상의 객체를 식별하여, 식별된 1 이상의 객체에 대한 객체정보를 도출하여 상기 제1어플리케이션(2100)에 제공할 수 있다.

한편, 상기 서비스서버(3000)는 수신한 도움 요청에 따라, 복수의 타 사용자의 사용자단말(4000)에 해당 도움 요청에 대한 콜정보를 제공하여 상기 콜정보를 수락한 타 사용자와 상기 저시력자를 매칭하기 위한 단계들을 수행할 수도 있다.

상기 제2어플리케이션(4100)은, 타 사용자의 사용자단말(4000)에 설치되어 상기 서비스서버(3000)와 통신을 수행할 수 있다. 본 발명에서 상기 타 사용자는 저시력자의 도움 요청에 따라 도움을 제공하고자 하는 주체를 의미하며, 상기 서비스서버(3000)는 복수의 타 사용자의 사용자단말(4000) 각각에 설치된 복수의 제2어플리케이션(4100)과 통신을 수행할 수 있다.

한편, 상기 제2어플리케이션(4100)은 저시력자의 도움 요청의 유형에 따라 서비스서버(3000)를 통해 상황도움콜정보 또는 현장방문콜정보를 제공받을 수 있다. 상기 상황도움콜정보는 상기 저시력자에게 원격으로 도움을 제공하기 위한 콜정보로써 타 사용자는 상기 상황도움콜정보에 대하여 수락하는 경우, 저시력자의 도움 요청에 대한 상황도움정보를 상기 제2어플리케이션(4100)에 입력하는 것으로 저시력자에게 도움을 제공할 수 있다.

반면, 현장방문콜정보는 상기 저시력자에게 방문하여 직접 도움을 제공하기 위한 콜정보로써 타 사용자는 상기 현장방문콜정보에 대하여 수락하는 경우, 상기 제2어플리케이션(4100)은 저시력자의 위치를 포함하는 정보를 출력하여 타 사용자가 상기 저시력자에게 방문하여 도움을 제공할 수 있도록 한다.

이와 같이, 상기 상황보조시스템은 제1어플리케이션(2100)을 통해 저시력자가 입력한 도움 요청의 유형에 따라 저시력자의 주변상황을 보조하기 위한 다양한 방법을 제공할 수 있으며, 도움 요청의 유형에 따른 다양한 방법에 대해서는 이하에서 상세하게 설명하도록 한다.

도 4는 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 저시력자의 주시 방향에 존재하는 1 이상의 객체를 식별하여 저시력자에게 제공하는 단계들을 개략적으로 도시한다.

도 4에 도시된 바와 같이, 저시력자가 착용하는 시각보조장치(1000), 상기 저시력자의 사용자단말(2000)에 설치된 제1어플리케이션(2100) 및 상기 제1어플리케이션(2100)과 통신을 수행하는 서비스서버(3000)를 포함하는 상황보조시스템에서 수행되는 저시력자의 주변상황을 보조하기 위한 방법으로서, 상기 시각보조장치(1000)에 의하여, 상기 저시력자의 입력에 따라 상기 시각보조장치(1000)의 전면에 배치된 촬영부(1200)를 통해 상기 저시력자의 주시 방향에 대한 복수의 이미지를 촬영하고, 상기 복수의 이미지를 상기 제1어플리케이션(2100)에 송신하는 이미지촬영단계(S21 및 S22); 상기 제1어플리케이션(2100)에 의하여, 상기 이미지촬영단계(S21 및 S22)를 통해 수신한 복수의 이미지에 대하여 상기 서비스서버(3000)에 상기 주시 방향에 존재하는 1 이상의 객체의 식별을 요청하는 객체식별요청단계(S24); 상기 서비스서버(3000)에 의하여, 기계학습된 학습모델을 사용하여 상기 객체식별요청단계(S24)를 통해 수신한 복수의 이미지에서 1 이상의 객체를 식별하고, 식별된 1 이상의 객체에 대한 객체정보를 상기 제1어플리케이션(2100)에 제공하는 객체정보제공단계(S25 및 S26); 및 상기 제1어플리케이션(2100)에 의하여, 상기 객체정보제공단계(S25 및 S26)를 통해 수신한 객체정보를 출력하는 객체정보출력단계(S27);를 포함할 수 있다.

구체적으로, 시각보조장치(1000)를 착용한 저시력자는 주변상황에 대한 인지 등과 같이 도움이 필요한 경우에 시각보조장치(1000)의 제2스위치부에 포함된 특정 스위치, 혹은 상기 촬영부(1200)를 동작하도록 하는 별도의 스위치에 대하여 입력을 수행하고, 상기 시각보조장치(1000)는 상기 입력을 수신(S20)할 수 있다.

이에 따라, 상기 시각보조장치(1000)는 상기 촬영부(1200)를 통해 상기 저시력자의 주시 방향에 대한 복수의 이미지를 촬영하고, 촬영한 복수의 이미지를 상기 제1어플리케이션(2100)으로 송신하는 이미지촬영단계(S21 및 S22)를 수행한다.

상기 이미지촬영단계(S21 및 S22)에서는 상기 저시력자의 주시 방향에 대한 단일 이미지를 촬영하여 이를 상기 제1어플리케이션(2100)으로 송신할 수도 있으나, 바람직하게는 상기 서비스서버(3000)에서 주시 방향에 대한 1 이상의 객체의 식별을 용이하게 하고, 도움을 제공하는 타 사용자가 저시력자의 주변상황을 용이하게 인식하기 위하여 복수의 이미지를 촬영하여 상기 제1어플리케이션(2100)으로 송신한다.

한편, 상기 시각보조장치(1000)로부터 복수의 이미지를 수신한 상기 제1어플리케이션(2100)은 저시력자로 하여금 도움 요청에 대한 유형을 입력받기 위한 별도의 인터페이스를 디스플레이하고, 상기 저시력자가 상기 인터페이스를 통해 객체의 식별에 대한 요청을 입력하는 것으로 상기 제1어플리케이션(2100)은 상기 객체 식별요청 입력을 수신(S23)하여, 상기 서비스서버(3000)에 저시력자의 주시 방향에 따른 복수의 이미지에 대한 객체의 식별을 요청하는 객체식별요청단계(S24)를 수행한다.

한편, 상기 서비스서버(3000)는 객체식별요청단계(S24)를 통해 수신한 복수의 이미지에 기초하여 저시력자의 주시 방향의 전방에 위치한 1 이상의 객체를 식별하고, 식별된 1 이상의 객체에 대한 객체정보를 도출하여 상기 제1어플리케이션(2100)으로 송신하는 객체정보제공단계(S25 및 S26)를 수행한다.

상기 객체정보제공단계(S25 및 S26)는, 상기 시각보조장치(1000)의 촬영부(1200)에서 촬영한 저시력자의 주시 방향의 전방에 대한 단일의 이미지를 수신하여 상기 단일의 이미지에 포함된 1 이상의 객체를 식별할 수 있으나, 바람직하게는 상기 객체정보제공단계(S25 및 S26)는 상기 저시력자의 주시 방향의 전방에 위치한 1 이상의 객체를 용이하게 식별하기 위하여, 상기 촬영부(1200)에서 촬영한 복수의 이미지를 사용할 수 있다. 이를 통해, 저시력자의 주시 방향의 전방에 이동 중인 객체가 존재하는 경우, 특정 이미지에는 상기 이동 중인 객체가 명확하게 촬영되지 않을 수 있으므로, 복수의 이미지를 통해 단일 이미지에서는 명확하게 촬영되지 않은 객체까지 식별할 수 있게 된다.

또한, 상기 객체정보제공단계(S25 및 S26)는 상기 서비스서버(3000) 혹은 타 서버에 저장되어 있는 기계학습된 학습모델에 복수의 이미지를 입력하여 출력된 식별된 1 이상의 객체에 기초하여 객체정보를 도출할 수 있다. 한편, 기계학습된 학습모델은 이미지에서 객체들을 식별하기 위하여 합성곱 신경망(Convolutional neural network, CNN) 등 다양한 기계학습 알고리즘을 사용할 수 있다.

한편, 상기 객체정보제공단계(S25 및 S26)를 통해 객체정보를 수신한 상기 제1어플리케이션(2100)은, 상기 저시력자에게 제공하기 위하여 상기 객체정보를 출력하는 객체정보출력단계(S27)를 수행한다. 상기 객체정보출력단계(S27)는 저시력자에게 용이하게 객체정보를 제공하기 위하여 다양한 방법으로 출력될 수 있다. 예를 들어, 상기 객체정보출력단계(S27)는 상기 객체정보를 디스플레이에 시각적 요소로 표시함과 동시에, 상기 객체정보를 음성형태로 변환하여 출력할 수 있다.

이와 같이 상황보조시스템은 저시력자에 입력에 의해 요청된 저시력자의 주시 방향의 전방에 위치한 1 이상의 객체의 식별 요청에 따라 서비스서버(3000)는 시각보조장치(1000)에서 촬영한 복수의 이미지를 사용하여 1 이상의 객체를 식별하여 저시력자에게 제공함으로써, 저시력자가 주시 방향에 위치한 1 이상의 객체에 대한 정보들을 인지할 수 있도록 한다.

도 5는 본 발명의 일 실시예에 따른 1 이상의 객체가 식별된 이미지를 개략적으로 도시한다.

도 5에 도시된 도면은 상기 제1어플리케이션(2100)에서 상기 서비스서버(3000)로부터 수신한 객체정보가 저시력자의 사용자단말(2000)에 디스플레이되는 인터페이스의 일 실시예에 해당한다.

서비스서버(3000)에서 수행하는 객체정보제공단계(S25 및 S26)는 도 5를 예로 들면, 복수의 이미지에 기초하여 나무군집(O1), 주행중인 차량(O2), 및 강아지(O3)의 1 이상의 객체를 식별하고, 식별된 1 이상의 객체에 대한 객체정보를 도출하여 상기 제1어플리케이션(2100)으로 송신한다.

상기 제1어플리케이션(2100)은 객체정보출력단계(S27)를 통해 수신한 객체정보를 다양한 방법으로 출력할 수 있다. 도 5에 도시된 바와 같이, 촬영된 복수의 이미지를 종합하여 특정 이미지를 생성하고, 이를 디스플레이할 수 있다. 디스플레이된 상기 특정 이미지에는 식별된 1 이상의 객체(O1, O2 및 O3)가 하이라이트되어 표시될 수 있다. 식별된 1 이상의 객체(O1, O2 및 O3)는 테두리가 표시되는 것으로 하이라이트 되거나, 저시력자가 용이하게 인지할 수 있도록 식별된 1 이상의 객체(O1, O2 및 O3)의 영역이 주변 영역과 대비될 수 있는 색상으로 변환되는 것으로 하이라이트 될 수 있다.

본 발명의 다른 실시예에서 상기 특정 이미지는 복수의 이미지 가운데 식별된 1 이상의 객체가 명확하게 촬영되어 있는 이미지에 해당할 수도 있다.

한편, 도 5에 도시된 바와 같이, 객체정보가 저시력자의 사용자단말(2000)에 디스플레이되는 인터페이스에는 상기 객체정보를 음성형태로 출력하도록 하는 제1음성출력엘리먼트(E1)를 포함할 수 있다. 상기 제1음성출력엘리먼트(E1)는 저시력자의 입력에 따라 제1어플리케이션(2100)에서 상기 객체정보를 Text to Speech(TTS)를 기반으로 하여 음성형태로 변환하고, 이를 상기 저시력자의 사용자단말(2000)의 스피커를 통해 음성형태로 출력하도록 한다.

따라서 저시력자는 시각적으로 인지하기 어려운 상황에서도 상기 제1음성출력엘리먼트(E1)에 대한 선택입력에 따라 상기 객체정보를 음성형태로 제공받음으로써, 식별된 1 이상의 객체들을 용이하게 인지할 수 있는 효과를 발휘할 수 있다.

본 발명의 다른 실시예에서 상기 제1어플리케이션(2100)은 객체정보출력단계(S27)를 수행하는 경우, 자동적으로 객체정보를 음성형태로 변환하여 출력하고, 해당 인터페이스에 포함된 상기 제1음성출력엘리먼트(E1)를 통해 추가적으로 객체정보를 음성형태로 제공할 수 있다.

도 6은 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 상황도움콜정보를 수락하여 타 사용자가 상기 저시력자에게 원격으로 도움을 제공하는 단계들을 개략적으로 도시한다.

도 6에 도시된 바와 같이, 상기 상황보조시스템은 상기 서비스서버(3000)와 통신을 수행하는 복수의 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)을 더 포함하고, 상기 제1어플리케이션(2100)에 의하여, 상기 저시력자의 입력에 기초하여 상기 이미지촬영단계(S31 및 S32)를 통해 수신한 복수의 이미지 및 상기 저시력자가 상기 저시력자의 사용자단말(2000)을 통해 입력한 상황정보를 포함하는 상황원격요청정보를 상기 서비스서버(3000)로 송신하는 제1상황요청단계(S34); 상기 서비스서버(3000)에 의하여, 상기 제1상황요청단계(S34)를 통해 수신한 상황원격요청정보에 기초하여 상황도움콜정보를 도출하고, 상기 상황도움콜정보를 상기 복수의 타 사용자단말 각각에 설치된 제2어플리케이션(4100)에 송신하는 상황도움콜정보제공단계(S35 및 S36); 상기 상황도움콜정보에 대하여 수락입력을 수행한 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)으로부터 상기 타 사용자가 입력한 상황도움정보를 수신하는 상황도움정보수신단계(S39); 상기 상황도움정보수신단계(S39)를 통해 수신한 상기 상황도움정보를 상기 제1어플리케이션(2100)에 송신하는 상황도움정보송신단계(S40); 및 상기 제1어플리케이션(2100)에 의하여, 상기 상황도움정보제공단계를 통해 제공받은 상황도움정보를 출력하는 상황도움정보출력단계(S41);를 포함할 수 있다.

구체적으로, 도 6에서는 시각보조장치(1000)를 사용하는 저시력자에게 도움을 주고자 하는 복수의 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)을 통해 상기 저시력자의 도움 요청에 대하여 원격으로 답변 등을 제공하기 위한 방법을 도시한다.

도 6에 도시된 시각보조장치(1000)에서 저시력자로부터 촬영부(1200)에 대한 촬영입력을 수신(S30)하는 단계 및 이미지촬영단계(S31 및 S32)는 도 4에 도시된 단계 S20, 단계 S21, 및 단계 S22와 실질적으로 동일하므로, 이에 대한 설명은 생략하도록 한다.

상기 이미지촬영단계(S31 및 S32)를 통해 복수의 이미지를 수신한 상기 제1어플리케이션(2100)은 저시력자로 하여금 도움 요청에 대한 유형을 입력받기 위한 별도의 인터페이스를 디스플레이하고, 상기 저시력자가 상기 인터페이스 상에서 타 사용자를 통해 원격 도움에 대한 요청에 해당하는 상황정보를 입력하는 것으로 상기 제1어플리케이션(2100)은 상기 상황정보 입력을 수신(S33)하여, 상기 서비스서버(3000)에서 타 사용자와 상기 저시력자를 원격으로 매칭하도록 하는 제1상황요청단계(S34)를 수행한다.

더 구체적으로 저시력자가 상기 인터페이스 상에서 입력하는 상황정보는 저시력자가 원격으로 타 사용자로부터 도움을 요청하기 위한 도움 요청의 유형 정보 및 어떤 도움을 받고 싶은지에 대한 도움 내용 정보를 포함할 수 있다. 상기 도움 내용 정보는 저시력자가 상기 저시력자의 사용자단말(2000)을 통해 텍스트 형태로 입력하거나 혹은 저시력자의 음성을 녹음하는 형태로 입력할 수 있다.

한편, 상기 제1어플리케이션(2100)에서 수행하는 제1상황요청단계(S34)는 저시력자로부터 입력받은 상황정보 및 상기 이미지촬영단계(S31 및 S32)를 통해 수신한 복수의 이미지를 포함하는 상황원격요청정보를 상기 서비스서버(3000)로 송신한다.

상기 상황원격요청정보를 수신한 상기 서비스서버(3000)는 상기 상황원격요청정보에 기초하여 상기 상황원격요청정보를 송신한 제1어플리케이션(2100)에 상응하는 저시력자와 복수의 타 사용자 가운데 특정 타 사용자를 매칭하기 위하여 상황도움콜정보를 도출하고, 상기 상황도움콜정보를 상기 서비스서버(3000)와 통신을 수행하는 복수의 타 사용자의 사용자단말(4000) 각각에 설치된 제2어플리케이션(4100)으로 송신하는 상황도움콜정보제공단계(S35 및 S36)를 수행한다.

상기 상황도움콜정보제공단계(S35 및 S36)에서는 타 사용자가 저시력자에게 원격으로 도움을 제공하는 유형에 해당하므로, 저시력자와 타 사용자 사이의 거리에 관계 없이, 상기 상황보조시스템에 포함된 복수의 제2어플리케이션(4100) 모두에 상기 상황도움콜정보를 송신할 수 있다.

본 발명의 다른 실시예에서 상기 상황도움콜정보제공단계(S35 및 S36)는 상기 상황보조시스템에 포함된 복수의 제2어플리케이션(4100) 모두에 상기 상황도움콜정보를 송신할 수 있으나, 바람직하게는 현재 도움 요청에 대한 답변 등의 활동을 수행하고 있지 않은 복수의 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)에 선택적으로 상기 상황도움콜정보를 제공할 수도 있다.

한편, 복수의 제2어플리케이션(4100)은 수신한 상황도움콜정보를 상기 제2어플리케이션(4100)이 설치된 타 사용자의 사용자단말(4000)에 디스플레이하고, 특정 타 사용자는 디스플레이된 상황도움콜정보에 대하여 도움 요청에 대한 수락을 입력함으로써, 해당 제2어플리케이션(4100)은 수락입력을 수신(S37)할 수 있다.

이어서, 수락입력을 수신(S37)한 제2어플리케이션(4100)은 상황도움콜정보에 포함된 해당 저시력자가 입력한 도움 내용 정보에 대한 답변을 입력받을 수 있는 인터페이스를 디스플레이하고, 해당 타 사용자는 상기 인터페이스 상에서 상기 도움 내용 정보에 대한 상황도움정보를 입력함으로써, 상기 제2어플리케이션(4100)은 상기 상황도움정보에 대한 입력을 수신(S38)하고, 상기 상황도움정보를 상기 서비스서버(3000)에 송신한다.

이에 따라 상기 서비스서버(3000)는 상황도움정보수신단계(S39)를 통해 해당 제2어플리케이션(4100)에서 송신한 상황도움정보를 수신하고, 상황도움정보송신단계(S40)를 통해 상기 상황도움정보를 도움을 요청한 해당 제1어플리케이션(2100)에 송신한다. 이와 같이 서비스서버(3000)는 원격으로 도움을 받고자 하는 저시력자와 해당 도움에 대하여 원격으로 답변을 하고자 하는 타 사용자를 매칭시키고, 매칭된 타 사용자가 입력한 도움 요청에 대한 답변에 해당하는 상황도움정보를 수신하고, 이를 해당 저시력자에게 제공함으로써, 저시력자의 도움 요청에 대한 서비스를 제공한다.

한편, 서비스서버(3000)로부터 상황도움정보를 수신한 상기 제1어플리케이션(2100)은 상기 상황도움정보를 다양한 방법으로 출력하는 상황도움정보출력단계(S41)를 수행한다. 구체적으로 상기 상황도움정보출력단계(S41)는 저시력자가 촬영한 복수의 이미지 및 타 사용자가 입력한 상황도움정보를 텍스트 형태를 포함하는 시각적요소로 출력하거나, 상기 상황도움정보를 음성형태로 변환하여 출력할 수도 있다.

이와 같이 상황보조시스템은 저시력자에 입력에 의해 요청된 타 사용자를 통한 원격 도움 요청에 따라 서비스서버(3000)는 해당 저시력자와 도움을 제공하고자 하는 타 사용자를 매칭하고, 매칭된 타 사용자가 입력한 상황도움정보를 상기 저시력자에게 제공함으로써, 저시력자가 필요로 하는 도움 요청에 대한 답변들을 제공받을 수 있도록 한다.

도 7은 본 발명의 일 실시예에 따른 저시력자의 사용자단말(2000)에서 상황도움정보가 출력되는 화면을 개략적으로 도시한다.

도 7에 도시된 바와 같이 상황도움정보출력단계(S41)는 상황도움정보를 포함하는 상황도움인터페이스를 해당 저시력자의 사용자단말(2000)에 디스플레이함으로써, 상기 상황도움정보를 출력할 수 있다.

상기 상황도움인터페이스는 상기 저시력자가 촬영한 복수의 이미지를 표시하는 제1레이어(L1) 및 상황도움정보가 표시되는 제2레이어(L2)를 포함한다. 상기 제1레이어(L1)는 시각보조장치(1000)에서 촬영한 복수의 이미지를 모두 표시하거나, 혹은 상기 복수의 이미지에 대한 대표 이미지만 표시될 수도 있다. 상기 제2레이어에는 타 사용자가 입력한 상황도움정보를 텍스트 형태로 표시한다. 타 사용자가 음성형태로 상황도움정보를 녹음한 경우에, 상기 제1어플리케이션(2100)은 Speech to Text(STT) 방식과 같이 음성인식을 수행하여 음성형태의 상황도움정보를 텍스트 형태로 변환하여 표시할 수도 있다.

한편, 상기 제2레이어(L2)는 제2음성출력엘리먼트(E2)를 포함하고, 상기 제2음성출력엘리먼트(E2)에 대하여 저시력자가 선택 입력을 수행하는 경우에, 상기 제1어플리케이션(2100)은 상황도움정보를 음성형태로 출력할 수 있다. 만약 상기 상황도움정보를 해당 타 사용자가 텍스트 형태로 입력한 경우에 상기 제1어플리케이션(2100)은 TTS 방식을 통해 음성 형태로 변환하여 출력할 수도 있다.

이와 같이 상황보조시스템은 저시력자가 특정 위치에서부터 다른 위치까지 길을 찾고자 하는 경우 등과 같이, 저시력자가 전방에 있는 1 이상의 객체를 인지하더라도 실질적으로 저시력자의 행동에 도움을 줄 수 없는 경우에도, 타 사용자와 저시력자를 매칭시켜 저시력자의 도움 요청에 대한 답변을 제공할 수 있으므로, 저시력자에게 필요한 도움 요청에 대하여 실질적인 답변이나 정보들을 제공할 수 있는 효과를 발휘할 수 있다.

도 8은 본 발명의 일 실시예에 따른 제1어플리케이션(2100)에서 객체정보 및 상황도움정보를 음성형태로 변환하는 과정을 개략적으로 도시한다.

도 8에 도시된 바와 같이, 상기 상황도움정보출력단계(S41)는, 상기 상황도움정보가 텍스트형태인 경우에 상기 상황도움정보를 Text-to-Speech(TTS) 방식을 사용하여 음성형태로 변환하여 출력할 수 있다.

구체적으로, 제1어플리케이션(2100)은 서비스서버(3000)로부터 수신하는 도움 요청의 유형에 따른 정보들, 즉, 객체정보 및 상황도움정보를 음성형태로 변환하여 해당 저시력자의 사용자단말(2000)의 스피커를 통해 출력할 수 있다.

예를 들어, 상기 제1어플리케이션(2100)에서 서비스서버(3000)로부터 도 5에서 식별된 3 개의 객체(O1, O2, 및 O3)에 대한 객체정보를 수신한 경우, 상기 제1어플리케이션(2100)은 상기 객체정보를 음성형태의 객체정보로 변환하여, 각각의 객체를 '나무군집'(O1), '주행중인 차량'(O2), 및 '강아지'(O3)에 해당하는 음성으로 출력하도록 한다.

마찬가지로 상기 제1어플리케이션(2100)에서 서비스서버(3000)로부터 도 7의 제2레이어(L2)에 표시된 텍스트형태의 상황도움정보를 수신한 경우, 상기 제1어플리케이션(2100)은 상기 상황도움정보를 음성형태로 변환하여, 해당 상황도움정보를 '양재역 3번출구 방향으로 두 블록 직진하시면 오른편 건물에 oo카페가 있습니다.'에 해당하는 음성으로 출력하도록 한다.

이와 같이, 상기 제1어플리케이션(2100)은 객체정보 및 텍스트형태의 상황도움정보를 음성형태로 변환하기 위하여 Text-to-Speech(TTS) 기반의 방식을 사용하며, TTS 방식에 대해서는 종래에 구체화된 다양한 기술들을 사용할 수 있다.

따라서 저시력자는 텍스트형태와 같이 시각적 요소로만 제공받는 경우에 인지하기 어려운 정보들을 음성형태로 제공받음으로써, 정보들을 용이하게 인지할 수 있도록 하는 효과를 발휘할 수 있다.

도 9는 본 발명의 일 실시예에 따른 저시력자의 요청에 따라 현장방문콜정보를 수락하여 타 사용자가 상기 저시력자에게 방문하여 도움을 제공하는 단계들을 개략적으로 도시한다.

도 9에 도시된 바와 같이 상기 상황보조시스템은 상기 서비스서버(3000)와 통신을 수행하는 복수의 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)을 더 포함하고, 상기 제1어플리케이션(2100)에 의하여, 상기 저시력자의 입력에 기초하여 상기 이미지촬영단계(S51 및 S52)를 통해 수신한 복수의 이미지 및 상기 저시력자가 상기 저시력자의 사용자단말(2000)을 통해 입력한 상황정보를 포함하는 상황현장요청정보를 상기 서비스서버(3000)로 송신하는 제2상황요청단계(S54); 상기 서비스서버(3000)에 의하여, 상기 제2상황요청단계(S54)를 통해 수신한 상황현장요청정보에 기초하여 현장방문콜정보를 도출하고, 상기 현장방문콜정보를 상기 저시력자의 사용자단말(2000)의 위치로부터 소정의 거리 내에 위치한 1 이상의 타 사용자의 사용자단말(4000) 각각에 설치된 제2어플리케이션(4100)에 제공하는 현장방문콜정보제공단계(S55 및 S56); 및 상기 현장방문콜정보에 대하여 수락입력을 수행한 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)으로부터 수락정보를 수신하고, 상기 수락정보를 상기 제1어플리케이션(2100)에 송신하는 현장방문매칭단계(S58 및 S59);를 포함할 수 있다.

구체적으로, 도 9에서는 시각보조장치(1000)를 사용하는 저시력자에게 도움을 주고자 하는 복수의 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)을 통해 상기 저시력자의 도움 요청에 대하여 현장 방문하여 도움을 주기 위한 방법을 도시한다.

도 9에 도시된 시각보조장치(1000)에서 저시력자로부터 촬영부(1200)에 대한 촬영입력을 수신(S50)하는 단계 및 이미지촬영단계(S51, 및 S52)는 도 4에 도시된 단계 S20, 단계 S21, 및 단계 S22와 실질적으로 동일하므로, 이에 대한 설명은 생략하도록 한다.

상기 이미지촬영단계(S51, 및 S52)를 통해 복수의 이미지를 수신한 상기 제1어플리케이션(2100)은 저시력자로 하여금 도움 요청에 대한 유형을 입력받기 위한 별도의 인터페이스를 디스플레이하고, 상기 저시력자가 상기 인터페이스 상에서 타 사용자가 상기 저시력자가 위치한 현장에 방문하여 도움을 받기 위한 요청에 해당하는 상황정보를 입력하는 것으로 상기 제1어플리케이션(2100)은 상기 상황정보 입력을 수신(S53)하여, 상기 서비스서버(3000)에서 타 사용자와 상기 저시력자를 현장에서 매칭하도록 하는 제2상황요청단계(S54)를 수행한다.

더 구체적으로 저시력자가 상기 인터페이스 상에서 입력하는 상황정보는 타 사용자가 현장에 방문하여 도움을 제공 받기 위한 도움 요청의 유형 정보 및 어떤 도움을 받고 싶은지에 대한 도움 내용 정보를 포함할 수 있다. 상기 도움 내용 정보는 저시력자가 상기 저시력자의 사용자단말(2000)을 통해 텍스트 형태로 입력하거나 혹은 저시력자의 음성을 녹음하는 형태로 입력할 수 있다.

한편, 상기 제1어플리케이션(2100)에서 수행하는 제2상황요청단계(S54)는 저시력자로부터 입력받은 상황정보 및 상기 이미지촬영단계(S51 및 S52)를 통해 수신한 복수의 이미지를 포함하는 상황현장요청정보를 상기 서비스서버(3000)로 송신한다.

상기 상황현장요청정보를 수신한 상기 서비스서버(3000)는 상기 상황현장요청정보에 기초하여 상기 상황현장요청정보를 송신한 제1어플리케이션(2100)에 상응하는 저시력자와 복수의 타 사용자 가운데 특정 타 사용자를 현장에서 매칭하기 위하여 현장방문콜정보를 도출하고, 상기 현장방문콜정보를 상기 서비스서버(3000)와 통신을 수행하는 복수의 타 사용자단말 각각에 설치된 제2어플리케이션(4100)으로 송신하는 현장방문콜정보제공단계(S55 및 S56)를 수행한다.

바람직하게는, 상기 현장방문콜정보제공단계(S55 및 S56)는 저시력자와 타 사용자간의 현장 매칭의 성사 확률을 높이기 위하여, 저시력자의 현재 위치로부터 소정 거리 내에 존재하는 타 사용자의 사용자단말(4000)로 현장방문콜정보를 선택적으로 송신한다. 이를 위해 상기 제2상황요청단계(S54)에서 송신하는 상황현장요청정보에는 해당 저시력자의 사용자단말(2000)에 포함되는 GPS부에서 획득하는 위치정보가 더 포함될 수 있다.

한편, 본 발명의 다른 실시예에서는 상기 저시력자가 타 사용자의 현장 방문을 통해 도움을 받고자 하는 도움 요청의 유형을 입력함으로써, 서비스서버(3000)는 상기 저시력자로부터 소정의 거리내에 위치한 1 이상의 타 사용자의 사용자단말(4000)의 제2어플리케이션(4100) 각각에 현장방문콜정보를 송신하고, 소정의 시간 동안 상기 현장방문콜정보를 수신한 각각의 제2어플리케이션(4100)으로부터 수락정보를 수신하지 못하는 경우에, 앞서 설명한 상황도움콜정보제공단계(S35 및 S36)를 수행함으로써 현장 방문에 대한 매칭이 이루어지지 않는 경우에, 원격 매칭이 이어서 수행될 수도 있다.

한편, 상기 현장방문콜정보를 수신한 복수의 제2어플리케이션(4100) 각각은 수신한 현장방문콜정보를 상기 제2어플리케이션(4100)이 설치된 타 사용자의 사용자단말(4000)에 디스플레이하고, 현장방문콜정보에 대해 수락하고자 하는 특정 타 사용자는 디스플레이된 현장방문콜정보에 대하여 도움 요청에 대한 수락을 입력함으로써, 해당 제2어플리케이션(4100)은 수락입력을 수신(S57)할 수 있다. 현장방문콜정보가 디스플레이되는 화면에는 현장방문콜정보에 포함된 해당 저시력자의 위치가 개략적으로 표시되어, 타 사용자가 현장방문콜정보에 대한 수락 여부를 용이하게 판단할 수 있도록 하며, 수락하는 경우에 해당 저시력자에 구체적인 위치 혹은 연락처가 추가적으로 표시될 수도 있다.

이어서, 수락입력을 수신(S57)한 제2어플리케이션(4100)은 수락정보를 상기 서비스서버(3000)로 송신한다. 이때 상기 수락정보에는 추후 연락을 위하여 수락한 타 사용자의 전화번호, 이름 등의 식별정보가 포함될 수 있다.

상기 서비스서버(3000)는 현장방문매칭단계(S58 및 S59)를 수행하여 해당 제2어플리케이션(4100)에서 송신한 수락정보를 수신하고, 상기 수락정보를 상기 상황현장요청정보를 송신한 제1어플리케이션(2100)에 송신한다. 이와 같이 서비스서버(3000)는 현장 방문을 통해 도움을 받고자 하는 저시력자와 현장 방문하여 도움을 주고자 하는 타 사용자를 매칭함으로써, 저시력자의 도움 요청에 대한 서비스를 제공한다.

한편, 서비스서버(3000)로부터 수락정보를 수신한 상기 제1어플리케이션(2100)은 상기 수락정보를 출력(S60)함으로써, 저시력자가 도움 요청을 수락한 타 사용자의 연락처, 이름 등을 인지하여 타 사용자가 저시력자의 위치로 방문하는 것을 용이하게 할 수 있고, 더 구체적으로는 도착예정시간정보를 추가적으로 출력함으로써, 현장방문에 따른 도움을 받는 과정이 더욱 용이하게 이루어지도록 할 수 있다.

도 10은 본 발명의 일 실시예에 따른 도움을 제공받은 저시력자가 제1어플리케이션(2100)을 통해 도움에 대한 평가를 수행하는 과정을 개략적으로 도시한다.

도 10의 (A)에 도시된 바와 같이, 상기 제1어플리케이션(2100)에 의하여, 상기 상황도움정보출력단계(S41)를 통해 상황도움정보가 출력된 후에 평가입력인터페이스를 디스플레이하는 단계(S70); 상기 평가입력인터페이스를 통해 상기 저시력자로부터 상기 상황도움정보에 대한 평가정보를 입력받고, 상기 평가정보를 서비스서버(3000)에 송신하는 평가정보제공단계(S71); 및 상기 서비스서버(3000)에 의하여, 상기 평가정보제공단계(S71)를 통해 수신한 평가정보에 기초하여 리워드 금액을 결정하고, 상기 평가정보 및 상기 결정된 리워드 금액을 상기 상황도움정보를 송신한 제2어플리케이션(4100)으로 송신하는 리워드제공단계(S72);를 포함할 수 있다.

구체적으로, 저시력자는 상기 제1어플리케이션(2100)을 통해 타 사용자를 통해 원격으로 제공받은 도움에 대하여 평가를 입력하고, 서비스서버(3000)는 저시력자가 입력한 평가에 따라 소정의 리워드를 책정하여 원격을 도움을 제공한 타 사용자에게 제공할 수 있으며, 원격으로 제공받은 도움 뿐만 아니라 타 사용자가 현장에 방문하여 도움을 제공받은 경우에 대해서도 동일하게 평가를 입력하여 소정의 리워드를 제공할 수 있다.

이를 위하여 저시력자의 상기 제1어플리케이션(2100)은 상황도움정보가 출력된 후, 혹은 현장방문에 따라 도움을 제공받은 후에 저시력자의 입력에 따라 상기 저시력자의 사용자단말(2000)에 평가입력인터페이스를 디스플레이(S70) 한다. 상기 평가입력인터페이스에 대해서는 도 10의 (B)에서 상세하게 설명하도록 한다.

이어서, 상기 제1어플리케이션(2100)은 상기 평가입력인터페이스 상에서 저시력자가 입력하는 평가정보를 수신하고, 상기 평가정보를 서비스서버(3000)에 송신하는 평가정보제공단계(S71)를 수행한다. 상기 평가정보에는 도움에 대한 평가내역뿐만 아니라, 평가정보를 입력한 저시력자에 대한 정보 및 평가를 받는 타 사용자에 대한 정보를 더 포함할 수 있다.

마지막으로, 평가정보를 수신한 서비스서버(3000)는 상기 평가정보에 기초하여 리워드 금액을 산출하고, 상기 평가정보 및 상기 산출된 리워드 금액을 도움을 제공한 타 사용자의 사용자단말(4000)에 설치된 제2어플리케이션(4100)으로 송신하는 리워드제공단계(S72)를 수행한다.

바람직하게는 저시력자는 소정의 금액을 상기 상황보조시스템에 소정의 포인트로 충전할 수 있고, 상기 서비스서버(3000)는 해당 저시력자가 충전한 소정의 포인트에서 산출된 리워드 금액만큼을 차감하고, 차감한 리워드 금액을 도움을 제공한 타 사용자에게 제공하는 것으로, 저시력자는 서비스에 대한 비용을 지불함으로써 도움 받는 것에 대한 위화감을 줄일 수 있고, 상기 상황보조시스템은 더욱더 풍부한 타 사용자 풀(pool)을 확보할 수 있는 효과를 발휘할 수 있다.

한편, 도 10의 (B)는 원격으로 도움을 받거나, 현장에 방문하여 도움을 받는 경우에 제1어플리케이션(2100)을 통해 디스플레이되는 평가입력인터페이스들을 도시한다.

도 10의 (B)의 좌측에 도시된 평가입력인터페이스는 도 7에서 도시한 바와 같이, 복수의 이미지를 표시하는 제1레이어(L3) 및 상황도움정보를 표시하는 제2레이어(L4)를 포함하고, 마찬가지로 상기 제2레이어(L4)에는 상황도움정보를 음성 형태로 출력하는 제3음성출력엘리먼트(E3)를 포함한다.

한편, 상기 평가입력인터페이스는 제1평가레이어(L5)를 더 포함한다. 상기 제1평가레이어(L5)에는 상기 제2레이어(L4)에 표시되는 상황도움정보에 대한 평가를 입력하기 위한 요소들이 표시되고, 저시력자는 상기 제1평가레이어(L5) 상에서 상기 상황도움정보에 대한 평가를 입력할 수 있다. 한편, 상기 제1평가레이어(L5)에 포함되는 제4음성출력엘리먼트(E4)에 대한 저시력자의 선택입력에 따라 상기 제1평가레이어(L5)에 표시되는 텍스트 정보가 음성 형태로 출력될 수 있다. 또한 저시력자가 텍스트 등의 시각적 요소로 평가를 하기 어려운 경우에 상기 제1음성입력엘리먼트(E5)를 입력함으로써 음성형태로 평가를 녹음할 수도 있다.

또한 도 10의 (B)의 우측에 도시된 평가입력인터페이스(L6)는 해당 저시력자가 위치한 현장에 방문하여 도움을 제공한 타 사용자에 대한 평가를 입력하기 위한 요소들을 표시한다. 상기 평가입력인터페이스(L6)에 포함되는 제5음성출력엘리먼트(E6)에 대한 저시력자의 선택입력에 따라 상기 평가입력인터페이스(L6)에 표시되는 텍스트 정보가 음성 형태로 출력될 수 있다. 또한 저시력자가 텍스트 등의 시각적 요소로 평가를 하기 어려운 경우에 상기 제2음성입력엘리먼트(E7)를 입력함으로써 음성형태로 현장 방문에 대한 평가를 녹음할 수도 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

저시력자가 착용하는 시각보조장치, 상기 저시력자의 사용자단말에 설치된 제1어플리케이션 및 상기 제1어플리케이션과 통신을 수행하는 서비스서버를 포함하는 상황보조시스템에서 수행되는 저시력자의 주변상황을 보조하기 위한 방법으로서,
상기 시각보조장치에 의하여,
상기 저시력자의 입력에 따라 상기 시각보조장치의 전면에 배치된 촬영부를 통해 상기 저시력자의 주시 방향에 대한 복수의 이미지를 촬영하고, 상기 복수의 이미지를 상기 제1어플리케이션에 송신하는 이미지촬영단계;
상기 제1어플리케이션에 의하여,
상기 이미지촬영단계를 통해 수신한 복수의 이미지에 대하여 상기 서비스서버에 상기 주시 방향에 존재하는 1 이상의 객체의 식별을 요청하는 객체식별요청단계;
상기 서비스서버에 의하여,
기계학습된 학습모델을 사용하여 상기 객체식별요청단계를 통해 수신한 복수의 이미지에서 1 이상의 객체를 식별하고, 식별된 1 이상의 객체에 대한 객체정보를 상기 제1어플리케이션에 제공하는 객체정보제공단계; 및
상기 제1어플리케이션에 의하여,
상기 객체정보제공단계를 통해 수신한 객체정보를 출력하는 객체정보출력단계;를 포함하고,
상기 시각보조장치는,
프레임부;
상기 프레임부의 일 측면에 체결되고, 3 개의 적외선감지모듈을 포함하여 상기 저시력자의 주시 방향에 따라 적외선을 투사하는 것으로 지면의 3 곳의 위치와의 거리를 산출하여 지면의 단차를 판별하는 적외선센서부;
상기 적외선센서부의 일 측면에 체결되는 제1안경다리부 및 상기 프레임부의 타 측면에 체결되는 제2안경다리부를 포함하는 한 쌍의 안경다리부; 및
상기 제1안경다리부 및 상기 제2안경다리부에 체결되는 하우징부;를 포함하고,
상기 하우징부의 내부 공간에는 상기 시각보조장치를 제어하는 제어부 및 배터리부가 전기적으로 연결되는 기판부가 배치되고,
상기 프레임부의 일 측면, 상기 적외선센서부, 및 상기 제1안경다리부 각각에는 제1관통홀, 내면이 소정의 잇수를 갖는 기어의 형태로 형성된 제2관통홀, 및 제3관통홀이 형성되어 있고, 상기 제1관통홀, 상기 제2관통홀, 및 상기 제3관통홀에 삽입되는 고정막대에 의하여 상기 프레임부의 일 측면에 상기 적외선센서부 및 상기 제1안경다리부가 체결되고,
상기 고정막대의 특정 위치의 외주면에는 상기 제2관통홀의 내면에 형성된 기어와 맞물릴 수 있도록 체결홈이 형성되고,
상기 고정막대의 일 단에는 각도조절부가 체결되어, 상기 각도조절부의 회전 방향에 상응하여 상기 고정막대가 회전하고, 상기 고정막대의 회전에 따라 상기 체결홈에 맞물려 있는 상기 제2관통홀이 형성되어 있는 상기 적외선센서부가 회전하고,
상기 각도조절부에는 각도지시막대가 배치되어, 상기 각도조절부의 회전에 따라 상기 각도지시막대는 상기 각도조절부의 회전각도를 지시하는, 저시력자의 주변환경을 보조하기 위한 방법.
청구항 1에 있어서,
상기 상황보조시스템은 상기 서비스서버와 통신을 수행하는 복수의 타 사용자의 사용자단말에 설치된 제2어플리케이션을 더 포함하고,
상기 제1어플리케이션에 의하여,
상기 저시력자의 입력에 기초하여 상기 이미지촬영단계를 통해 수신한 복수의 이미지 및 상기 저시력자가 상기 저시력자의 사용자단말을 통해 입력한 상황정보를 포함하는 상황원격요청정보를 상기 서비스서버로 송신하는 제1상황요청단계;
상기 서비스서버에 의하여,
상기 제1상황요청단계를 통해 수신한 상황원격요청정보에 기초하여 상황도움콜정보를 도출하고, 상기 상황도움콜정보를 상기 복수의 타 사용자의 사용자단말 각각에 설치된 제2어플리케이션에 송신하는 상황도움콜정보제공단계;
상기 상황도움콜정보에 대하여 수락입력을 수행한 타 사용자의 사용자단말에 설치된 제2어플리케이션으로부터 상기 타 사용자가 입력한 상황도움정보를 수신하는 상황도움정보수신단계;
상기 상황도움정보수신단계를 통해 수신한 상기 상황도움정보를 상기 제1어플리케이션에 송신하는 상황도움정보송신단계; 및
상기 제1어플리케이션에 의하여,
상기 상황도움정보송신단계를 통해 제공받은 상황도움정보를 출력하는 상황도움정보출력단계;를 포함하는, 저시력자의 주변환경을 보조하기 위한 방법.
청구항 2에 있어서,
상기 상황도움정보출력단계는,
상기 상황도움정보가 텍스트형태인 경우에 상기 상황도움정보를 Text-to-Speech(TTS) 방식을 사용하여 음성형태로 변환하여 출력하는, 저시력자의 주변환경을 보조하기 위한 방법.
청구항 2에 있어서,
상기 제1어플리케이션에 의하여,
상기 상황도움정보출력단계를 통해 상황도움정보가 출력된 후에 평가입력인터페이스를 디스플레이하는 단계;
상기 평가입력인터페이스를 통해 상기 저시력자로부터 상기 상황도움정보에 대한 평가정보를 입력받고, 상기 평가정보를 서비스서버에 송신하는 평가정보제공단계; 및
상기 서비스서버에 의하여,
상기 평가정보제공단계를 통해 수신한 평가정보에 기초하여 리워드 금액을 결정하고, 상기 평가정보 및 상기 결정된 리워드 금액을 상기 상황도움정보를 송신한 제2어플리케이션으로 송신하는 리워드제공단계;를 포함하는, 저시력자의 주변환경을 보조하기 위한 방법.
청구항 1에 있어서,
상기 상황보조시스템은 상기 서비스서버와 통신을 수행하는 복수의 타 사용자의 사용자단말에 설치된 제2어플리케이션을 더 포함하고,
상기 제1어플리케이션에 의하여,
상기 저시력자의 입력에 기초하여 상기 이미지촬영단계를 통해 수신한 복수의 이미지 및 상기 저시력자가 상기 저시력자의 사용자단말을 통해 입력한 상황정보를 포함하는 상황현장요청정보를 상기 서비스서버로 송신하는 제2상황요청단계;
상기 서비스서버에 의하여,
상기 제2상황요청단계를 통해 수신한 상황현장요청정보에 기초하여 현장방문콜정보를 도출하고, 상기 현장방문콜정보를 상기 저시력자의 사용자단말의 위치로부터 소정의 거리내에 위치한 1 이상의 타 사용자의 사용자단말 각각에 설치된 제2어플리케이션에 제공하는 현장방문콜정보제공단계; 및
상기 현장방문콜정보에 대하여 수락입력을 수행한 타 사용자의 사용자단말에 설치된 제2어플리케이션으로부터 수락정보를 수신하고, 상기 수락정보를 상기 제1어플리케이션에 송신하는 현장방문매칭단계;를 포함하는, 저시력자의 주변환경을 보조하기 위한 방법.