KR20220168213A

KR20220168213A - 시각 장애인의 이동 보조를 위한 스마트 단말 장치

Info

Publication number: KR20220168213A
Application number: KR1020210077390A
Authority: KR
Inventors: 김우찬; 최경묵; 김지윤
Original assignee: 주식회사 뉴엔스; 최경묵; 김지윤
Priority date: 2021-06-15
Filing date: 2021-06-15
Publication date: 2022-12-23
Also published as: KR102530676B1

Abstract

시각 장애인의 이동 보조를 위한 스마트 단말 장치가 개시된다. 본 발명에 따른 스마트 단말 장치는 시각 장애인이 소정의 위험 영역에 진입하지는 않는지, 시각 장애인의 전방에 장애물이 존재하지는 않는지 또는 시각 장애인이 보행 중에 넘어지지는 않는지를 확인한 후 이에 따른 경고 알림음을 출력함으로써, 시각 장애인의 안전한 이동을 보조할 수 있다.

Description

시각 장애인의 이동 보조를 위한 스마트 단말 장치{SMART TERMINAL APPARATUS FOR MOBILITY ASSISTANCE OF THE VISUALLY IMPAIRED}

본 발명은 시각 장애인의 이동 보조를 위한 스마트 단말 장치에 대한 것이다.

보통, 시각 장애인은 시각 장애인을 위한 맹인견을 통해 길을 안내받아 보행하거나, 시각 장애인 전용 지팡이를 사용하여 전방의 장애물을 감지하고 주변 상황을 예측하여 보행할 수 있다.

하지만, 맹인견의 경우에는 비용이 많이 들고 맹인견 사용에 대한 어려움 등이 존재하며, 시각 장애인 전용 지팡이의 경우에는 지팡이가 닿는 부분의 장애물만 감지할 수 있기 때문에, 시각 장애인이 장애물에 대한 다양한 정보를 파악하기 어려워 상해를 입는 경우가 종종 발생하고 있다.

최근에는, 기술의 발달에 따라 시각 장애인들의 안전한 보행을 위한 다양한 연구가 진행 중이고, 이에 따라, 다양한 시각 장애인 전용 제품들이 등장하고 있는 상황이다.

이렇게, 다양한 시각 장애인 전용 제품들이 등장함에 따라, 시각 장애인 전용 제품의 전방에 스마트 단말 장치를 부착해두고, 이 스마트 단말 장치를 통해 시각 장애인이 소정의 위험 영역에 진입하지는 않는지, 시각 장애인의 전방에 장애물이 존재하지는 않는지 또는 시각 장애인이 보행 중에 넘어지지는 않는지 등을 확인한 후 이에 따른 경고 알림음을 출력해 줌으로써, 시각 장애인의 이동 보조를 수행하는 기술의 도입을 고려할 수 있다.

따라서, 시각 장애인의 이동 보조를 위한 스마트 단말 장치와 관련된 기술에 대한 연구가 필요하다.

본 발명은 시각 장애인이 소정의 위험 영역에 진입하지는 않는지, 시각 장애인의 전방에 장애물이 존재하지는 않는지 또는 시각 장애인이 보행 중에 넘어지지는 않는지를 확인한 후 이에 따른 경고 알림음을 출력하는 스마트 단말 장치를 제시함으로써, 시각 장애인의 안전한 이동을 보조하는 것을 목적으로 한다.

본 발명의 일실시예에 따른 시각 장애인의 이동 보조를 위한 스마트 단말 장치는 사전 설정된 복수의 위험 영역들이 지정되어 있는 지도 데이터가 저장되어 있는 지도 데이터 저장부, 사전 설정된 제1 시간 간격으로, 상기 스마트 단말 장치가 상기 복수의 위험 영역들에 진입하는지 여부를 판단하기 위한 위험 영역 판단 이벤트를 발생시키는 위험 영역 판단 이벤트 발생부, 상기 위험 영역 판단 이벤트가 발생되면, 상기 스마트 단말 장치 내에 사전 탑재되어 있는 GPS를 통해 상기 위험 영역 판단 이벤트가 발생된 시점에서의 상기 스마트 단말 장치에 대한 현재 위치 정보를 수집하고, 상기 현재 위치 정보가 상기 지도 데이터에 지정되어 있는 상기 복수의 위험 영역들 중에 하나에 속하는지 여부를 확인함으로써, 상기 스마트 단말 장치가 상기 복수의 위험 영역들에 진입하였는지 여부를 판단하는 판단부 및 상기 스마트 단말 장치가 상기 복수의 위험 영역들 중 어느 하나의 영역에 진입한 것으로 판단되면, 상기 스마트 단말 장치에 사전 구비되어 있는 스피커를 통해 상기 스마트 단말 장치가 위험 영역에 진입한 상태임을 알리는 제1 경고 알림음을 출력하는 제1 경고 알림음 출력부를 포함한다.

본 발명에 따른 스마트 단말 장치는 시각 장애인이 소정의 위험 영역에 진입하지는 않는지, 시각 장애인의 전방에 장애물이 존재하지는 않는지 또는 시각 장애인이 보행 중에 넘어지지는 않는지를 확인한 후 이에 따른 경고 알림음을 출력함으로써, 시각 장애인의 안전한 이동을 보조할 수 있다.

도 1은 본 발명의 일실시예에 따른 시각 장애인의 이동 보조를 위한 스마트 단말 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 시각 장애인의 이동 보조를 위한 스마트 단말 장치의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 시각 장애인의 이동 보조를 위한 스마트 단말 장치의 동작 방법을 도시한 순서도이다.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.

한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.

도 1은 본 발명의 일실시예에 따른 시각 장애인의 이동 보조를 위한 스마트 단말 장치의 구조를 도시한 도면이다.

본 발명에 따른 스마트 단말 장치(110)는 시각 장애인이 착용하고 있는 옷이나, 시각 장애인이 사용하는 지팡이, 휠체어, 보행 보조차 등의 전방에 부착되어 사용될 수 있는 장치로서, 지도 데이터 저장부(111), 위험 영역 판단 이벤트 발생부(112), 판단부(113) 및 제1 경고 알림음 출력부(114)를 포함한다.

지도 데이터 저장부(111)에는 사전 설정된 복수의 위험 영역들이 지정되어 있는 지도 데이터가 저장되어 있다.

위험 영역 판단 이벤트 발생부(112)는 사전 설정된 제1 시간 간격으로, 스마트 단말 장치(110)가 상기 복수의 위험 영역들에 진입하는지 여부를 판단하기 위한 위험 영역 판단 이벤트를 발생시킨다.

판단부(113)는 상기 위험 영역 판단 이벤트가 발생되면, 스마트 단말 장치(110) 내에 사전 탑재되어 있는 GPS를 통해 상기 위험 영역 판단 이벤트가 발생된 시점에서의 스마트 단말 장치(110)에 대한 현재 위치 정보를 수집하고, 상기 현재 위치 정보가 상기 지도 데이터에 지정되어 있는 상기 복수의 위험 영역들 중에 하나에 속하는지 여부를 확인함으로써, 스마트 단말 장치(110)가 상기 복수의 위험 영역들에 진입하였는지 여부를 판단한다.

제1 경고 알림음 출력부(114)는 스마트 단말 장치(110)가 상기 복수의 위험 영역들 중 어느 하나의 영역에 진입한 것으로 판단되면, 스마트 단말 장치(110)에 사전 구비되어 있는 스피커를 통해 스마트 단말 장치(110)가 위험 영역에 진입한 상태임을 알리는 제1 경고 알림음을 출력한다.

예컨대, 상기 사전 설정된 제1 시간을 '3초'라고 하는 경우, 위험 영역 판단 이벤트 발생부(112)는 '3초' 간격으로, 스마트 단말 장치(110)가 상기 복수의 위험 영역들에 진입하는지 여부를 판단하기 위한 위험 영역 판단 이벤트를 발생시킬 수 있다.

이렇게, 위험 영역 판단 이벤트 발생부(112)에 의해, 상기 위험 영역 판단 이벤트가 발생되면, 판단부(113)는 스마트 단말 장치(110) 내에 사전 탑재되어 있는 GPS를 통해 상기 위험 영역 판단 이벤트가 발생된 시점에서의 스마트 단말 장치(110)에 대한 현재 위치 정보를 수집하고, 상기 현재 위치 정보가 상기 지도 데이터에 지정되어 있는 상기 복수의 위험 영역들 중 하나에 속하는지 여부를 확인함으로써, 스마트 단말 장치(110)가 상기 복수의 위험 영역들에 진입하였는지 여부를 판단할 수 있다.

이때, 판단부(113)에 의해, 스마트 단말 장치(110)가 상기 복수의 위험 영역들 중 어느 하나의 영역에 진입한 것으로 판단되면, 제1 경고 알림음 출력부(114)는 스마트 단말 장치(110)에 사전 구비되어 있는 스피커를 통해 스마트 단말 장치(110)가 위험 영역에 진입한 상태임을 알리는 제1 경고 알림음을 출력할 수 있다.

즉, 본 발명에 따른 스마트 단말 장치(110)는 상기 사전 설정된 제1 시간 간격으로, 상기 위험 영역 판단 이벤트를 발생시키고, 상기 위험 영역 판단 이벤트가 발생된 시점에서의 스마트 단말 장치(110)에 대한 현재 위치 정보를 수집하여 상기 현재 위치 정보가 상기 복수의 위험 영역들 중 하나에 속하는지 여부를 판단한 후, 스마트 단말 장치(110)가 상기 복수의 위험 영역들 중 어느 하나의 영역에 진입한 것으로 판단되면, 상기 스피커를 통해 스마트 단말 장치(110)가 위험 영역에 진입한 상태임을 알리는 상기 제1 경고 알림음을 출력함으로써, 사용자에게 현재 위치가 위험 영역임을 알릴 수 있다.

본 발명의 일실시예에 따르면, 스마트 단말 장치(110)는 장애물 판단 이벤트 발생부(115), 장애물 확인부(116), 행벡터 생성부(117), 노름 확인부(118) 및 제2 경고 알림음 출력부(119)를 더 포함할 수 있다.

장애물 판단 이벤트 발생부(115)는 사전 설정된 제2 시간 간격으로, 스마트 단말 장치(110)의 전방에 장애물이 존재하는지 여부를 판단하기 위한 장애물 판단 이벤트를 발생시킨다.

장애물 확인부(116)는 상기 장애물 판단 이벤트가 발생되면, 스마트 단말 장치(110)의 전방에 장애물이 존재하는지 감지하기 위해, 스마트 단말 장치(110)에 세로 방향으로 사전 부착되어 있는 n개(n은 2이상의 자연수임)의 라이다(LiDAR) 센서들 각각을 통해 장애물에 대한 감지 신호가 생성되는지 여부를 확인한다.

여기서, 라이다 센서는 레이저를 목표물에 비춤으로써, 사물을 감지할 수 있는 센서를 의미한다.

행벡터 생성부(117)는 상기 n개의 라이다 센서들 중 장애물에 대한 감지 신호가 생성된 것으로 확인되는 라이다 센서에 대해 1의 코드를 할당하고, 나머지 라이다 센서에 대해 0의 코드를 할당한 후, 상기 n개의 라이다 센서들 각각에 할당된 코드를 행벡터의 성분으로 지정함으로써, n차원의 감지 행벡터를 생성한다.

노름 확인부(118)는 상기 감지 행벡터가 생성되면, 상기 감지 행벡터의 맨해튼 노름(Manhattan Norm)을 연산하고, 상기 감지 행벡터의 맨해튼 노름이 사전 설정된 장애물 판단 기준치를 초과하는지 여부를 확인한다.

여기서, 맨해튼 노름이란 벡터나 행렬의 크기를 나타내는 L1 노름으로, 하기의 수학식 1과 같이 나타낼 수 있다.

여기서,

이 맨해튼 노름,

는 벡터 또는 행렬의 k번째 성분을 의미한다.

제2 경고 알림음 출력부(119)는 상기 감지 행벡터의 맨해튼 노름이 상기 장애물 판단 기준치를 초과하는 것으로 확인되면, 스마트 단말 장치(110)의 전방에 장애물이 존재하는 것으로 판단함으로써, 상기 스피커를 통해 스마트 단말 장치(110)의 전방에 장애물이 존재하고 있음을 알리는 제2 경고 알림음을 출력한다.

이하에서는, 장애물 판단 이벤트 발생부(115), 장애물 확인부(116), 행벡터 생성부(117), 노름 확인부(118) 및 제2 경고 알림음 출력부(119)의 동작을 예를 들어, 상세히 설명하기로 한다.

먼저, 상기 사전 설정된 제2 시간을 '2초'라고 가정하자. 그러면, 장애물 판단 이벤트 발생부(115)는 '2초' 간격으로, 스마트 단말 장치(110)의 전방에 장애물이 존재하는지 여부를 판단하기 위한 장애물 판단 이벤트를 발생시킬 수 있다.

이렇게, 장애물 판단 이벤트 발생부(115)에 의해, 상기 장애물 판단 이벤트가 발생되면, 장애물 확인부(116)는 스마트 단말 장치(110)의 전방에 장애물이 존재하는지 감지하기 위해, 스마트 단말 장치(110)에 세로 방향으로 사전 부착되어 있는 n개의 라이다 센서들 각각을 통해 장애물에 대한 감지 신호가 생성되는지 여부를 확인할 수 있다.

관련해서, n을 '6'이라고 하고, '6개'의 라이다 센서들을 '라이다 센서 1, 라이다 센서 2, 라이다 센서 3, 라이다 센서 4, 라이다 센서 5, 라이다 센서 6'이라고 하는 경우, 장애물 확인부(116)는 스마트 단말 장치(110)에 세로 방향으로 사전 부착되어 있는 '6개'의 라이다 센서들인 '라이다 센서 1, 라이다 센서 2, 라이다 센서 3, 라이다 센서 4, 라이다 센서 5, 라이다 센서 6' 각각을 통해 장애물에 대한 감지 신호가 생성되는지 여부를 확인할 수 있다.

만약, '6개'의 라이다 센서들인 '라이다 센서 1, 라이다 센서 2, 라이다 센서 3, 라이다 센서 4, 라이다 센서 5, 라이다 센서 6' 중 '라이다 센서 1, 라이다 센서 2, 라이다 센서 3, 라이다 센서 4'에서 장애물에 대한 감지 신호가 생성되는 것으로 확인되었다고 하는 경우, 행벡터 생성부(117)는 장애물에 대한 감지 신호가 생성된 것으로 확인되는 라이다 센서들인 '라이다 센서 1, 라이다 센서 2, 라이다 센서 3, 라이다 센서 4' 각각에 대해 1의 코드를 할당하고, 나머지 라이다 센서들인 '라이다 센서 5, 라이다 센서 6' 각각에 대해 0의 코드를 할당할 수 있다.

그 이후, 행벡터 생성부(117)는 '6개'의 라이다 센서들인 '라이다 센서 1, 라이다 센서 2, 라이다 센서 3, 라이다 센서 4, 라이다 센서 5, 라이다 센서 6' 각각에 할당된 코드인 '1, 1, 1, 1, 0, 0'을 행벡터의 성분으로 지정함으로써, 6차원의 감지 행벡터인 '

'을 생성할 수 있다.

이렇게, 행벡터 생성부(117)에 의해, 상기 감지 행벡터가 생성되면, 노름 확인부(118)는 상기 감지 행벡터의 맨해튼 노름을 상기 수학식 1에 따라 '4'와 같이 연산할 수 있다.

그 이후, 노름 확인부(118)는 상기 감지 행벡터의 맨해튼 노름인 '4'가 사전 설정된 장애물 판단 기준치를 초과하는지 여부를 확인할 수 있다.

관련해서, 상기 사전 설정된 장애물 판단 기준치를 '3'이라고 하는 경우, 노름 확인부(118)는 상기 감지 행벡터의 맨해튼 노름인 '4'가 상기 장애물 판단 기준치인 '3'을 초과하는 것으로 확인할 수 있다.

이렇게, 상기 감지 행벡터의 맨해튼 노름인 '4'가 상기 장애물 판단 기준치인 '3'을 초과하는 것으로 확인되면, 제2 경고 알림음 출력부(119)는 스마트 단말 장치(110)의 전방에 장애물이 존재하는 것으로 판단함으로써, 상기 스피커를 통해 스마트 단말 장치(110)의 전방에 장애물이 존재하고 있음을 알리는 제2 경고 알림음을 출력할 수 있다.

본 발명의 일실시예에 따르면, 스마트 단말 장치(110)는 이미지 획득부(120), 객체 검출부(121), 분할 영역 생성부(122), 객체 행렬 생성부(123), 연산 행렬 생성부(124), 영역 선택부(125) 및 회피 안내 출력부(126)를 더 포함할 수 있다.

이미지 획득부(120)는 상기 제2 경고 알림음이 출력되면, 스마트 단말 장치(110)에 사전 구비되어 있는, 전방의 영상을 촬영하는 카메라를 통해 전방의 제1 이미지를 획득한다.

객체 검출부(121)는 상기 제1 이미지가 획득되면, 상기 제1 이미지에서 사전 설정된 객체 인식 모델을 통해 객체를 검출한다.

분할 영역 생성부(122)는 상기 제1 이미지에서 제1 객체가 검출되면, 상기 제1 이미지를 세로 n개와 가로 k(k는 짝수인 자연수임)개의 분할 영역들로 분할함으로써, n x k개의 분할 영역들을 생성한다.

객체 행렬 생성부(123)는 상기 n x k개의 분할 영역들이 생성되면, 상기 n x k개의 분할 영역들에서 상기 제1 객체가 존재하는 영역에 대해 1의 코드를 할당하고, 나머지 영역에 대해 0의 코드를 할당함으로써, 상기 n x k개의 분할 영역들 각각에 할당된 코드를 성분으로 갖는 n x k 크기의 객체 행렬을 생성한다.

연산 행렬 생성부(124)는 상기 객체 행렬이 생성되면, 상기 감지 행벡터와 상기 객체 행렬 간의 행렬 곱을 연산하여 1 x k 크기의 연산 행렬을 생성한다.

영역 선택부(125)는 상기 연산 행렬이 생성되면, 상기 연산 행렬을 기초로, 스마트 단말 장치(110)의 전방의 좌측 영역과 우측 영역 중 장애물이 점유하는 영역이 최소로 확인되는 영역을 회피 영역으로 선택한다.

회피 안내 출력부(126)는 상기 회피 영역이 선택되면, 상기 스피커를 통해 상기 회피 영역으로 회피 이동할 것을 지시하는 안내 음성을 출력한다.

이하에서는, 도 2를 참조하여, 이미지 획득부(120), 객체 검출부(121), 분할 영역 생성부(122), 객체 행렬 생성부(123), 연산 행렬 생성부(124), 영역 선택부(125) 및 회피 안내 출력부(126)의 동작을 예를 들어 상세히 설명하기로 한다.

먼저, 제2 경고 알림음 출력부(119)에 의해 스마트 단말 장치(110)의 전방에 장애물이 존재하고 있음을 알리는 제2 경고 알림음이 출력되었다고 하는 경우, 이미지 획득부(120)는 스마트 단말 장치(110)에 사전 구비되어 있는, 전방의 영상을 촬영하는 카메라를 통해 전방의 제1 이미지를 획득할 수 있다.

이때, 도 2의 도면부호 210에 도시된 그림과 같이, 이미지 획득부(120)로부터 제1 이미지(211)가 획득되었다고 가정하자.

그러면, 객체 검출부(121)는 도 2의 도면부호 220에 도시된 그림과 같이, 제1 이미지(211)에서 상기 객체 인식 모델을 통해 제1 객체(221)를 검출할 수 있다.

이렇게, 객체 검출부(121)에 의해, 제1 이미지(211)에서 제1 객체(221)가 검출되면, 분할 영역 생성부(122)는 제1 이미지(211)를 세로 n개와 가로 k개의 분할 영역들로 분할함으로써, n x k개의 분할 영역들을 생성할 수 있다.

관련해서, 전술한 예와 같이, n을 '6'이라고 하고, k를 '6'이라고 하는 경우, 분할 영역 생성부(122)는 도 2의 도면부호 230에 도시된 그림과 같이, 제1 이미지(211)를 세로 '6개'와 가로 '6개'의 분할 영역들로 분할함으로써, '6 x 6개'의 분할 영역들을 생성할 수 있다.

이렇게, '6 x 6개'의 분할 영역들이 생성되면, 객체 행렬 생성부(123)는 '6 x 6개'의 분할 영역들에서 제1 객체(221)가 존재하는 영역에 대해 1의 코드를 할당하고, 나머지 영역들에 대해 0의 코드를 할당함으로써, 도 2의 도면부호 240에 도시된 그림과 같이, '6 x 6개'의 분할 영역들 각각에 할당된 코드를 성분으로 갖는 '6 x 6' 크기의 객체 행렬(240)을 생성할 수 있다.

그러고 나서, 연산 행렬 생성부(124)는 상기 감지 행벡터와 객체 행렬(240) 간의 행렬 곱을 연산할 수 있다.

이때, 상기 감지 행벡터를 앞서 설명한 예와 같이 '

'이라고 하는 경우, 연산 행렬 생성부(124)는 상기 감지 행벡터와 객체 행렬(240) 간의 행렬 곱을 연산함으로써, '

'이라는 '1 x 6' 크기의 연산 행렬을 생성할 수 있다

이렇게, 연산 행렬 생성부(124)에 의해, '

'이라는 상기 연산 행렬이 생성되면, 영역 선택부(125)는 상기 연산 행렬을 기초로, 스마트 단말 장치(110)의 전방의 좌측 영역과 우측 영역 중 장애물이 점유하는 영역이 최소로 확인되는 영역을 회피 영역으로 선택할 수 있다.

이때, 본 발명의 일실시예에 따르면, 영역 선택부(125)는 행렬 분할부(127), 노름 연산부(128) 및 영역 판별부(129)를 포함할 수 있다.

행렬 분할부(127)는 상기 연산 행렬이 생성되면, 상기 연산 행렬을, 세로 중심축을 기초로 좌측의 1 x k/2 크기의 제1 부분 행렬과 우측의 1 x k/2 크기의 제2 부분 행렬로 분할한다.

노름 연산부(128)는 상기 연산 행렬이 상기 제1 부분 행렬과 상기 제2 부분 행렬로 분할되면, 상기 제1 부분 행렬과 상기 제2 부분 행렬의 맨해튼 노름을 연산한다.

영역 판별부(129)는 상기 제1 부분 행렬의 맨해튼 노름과 상기 제2 부분 행렬의 맨해튼 노름이 연산되면, 상기 제1 부분 행렬의 맨해튼 노름과 상기 제2 부분 행렬의 맨해튼 노름을 서로 비교하여, 상기 제1 부분 행렬의 맨해튼 노름이 상기 제2 부분 행렬의 맨해튼 노름보다 작은 것으로 확인되면, 상기 좌측 영역을 상기 회피 영역으로 선택하고, 상기 제2 부분 행렬의 맨해튼 노름이 상기 제1 부분 행렬의 맨해튼 노름보다 작은 것으로 확인되면, 상기 우측 영역을 상기 회피 영역으로 선택한다.

이하에서는, 행렬 분할부(127), 노름 연산부(128) 및 영역 판별부(129)의 동작을 예를 들어 상세히 설명하기로 한다.

먼저, 전술한 예와 같이, 연산 행렬 생성부(124)에 의해, '

'이라는 '1 x 6' 크기의 연산 행렬이 생성되었다고 가정하자.

그러면, 행렬 분할부(127)는 상기 연산 행렬인 '

'을, 세로 중심축을 기초로 좌측의 '1 x 3' 크기의 제1 부분 행렬인 '

'과 우측의 '1 x 3' 크기의 제2 부분 행렬인 '

'으로 분할할 수 있다.

이렇게, 상기 연산 행렬이 상기 제1 부분 행렬인 '

'과 상기 제2 부분 행렬인 '

'으로 분할되면, 노름 연산부(128)는 상기 제1 부분 행렬의 맨해튼 노름을 상기 수학식 1에 따라 '0'과 같이 연산할 수 있고, 상기 제2 부분 행렬의 맨해튼 노름을 상기 수학식 1에 따라 '9'와 같이 연산할 수 있다.

그러고 나서, 영역 판별부(129)는 상기 제1 부분 행렬의 맨해튼 노름인 '0'과 상기 제2 부분 행렬의 맨해튼 노름인 '9'를 서로 비교하였을 때, 상기 제1 부분 행렬의 맨해튼 노름인 '0'이 상기 제2 부분 행렬의 맨해튼 노름인 '9'보다 작은 것으로 확인할 수 있다. 그러면, 영역 판별부(129)는 스마트 단말 장치(110)의 전방의 좌측 영역을 회피 영역으로 선택할 수 있다.

만약, 상기 제1 부분 행렬의 맨해튼 노름과 상기 제2 부분 행렬의 맨해튼 노름을 서로 비교하였을 때, 상기 제2 부분 행렬의 맨해튼 노름이 상기 제1 부분 행렬의 맨해튼 노름보다 작은 것으로 확인되는 경우라면, 영역 판별부(129)는 스마트 단말 장치(110)의 전방의 우측 영역을 회피 영역으로 선택할 수 있다.

즉, 영역 선택부(125)는 상기 연산 행렬이 생성되면, 상기 연산 행렬을 기초로, 행렬 분할부(127), 노름 연산부(128) 및 영역 판별부(129)를 통해 스마트 단말 장치(110)의 전방의 좌측 영역과 우측 영역 중 장애물이 점유하는 영역이 최소로 확인되는 영역을 상기 회피 영역으로 선택할 수 있다.

이렇게, 영역 판별부(129)에 의해, 상기 좌측 영역이 상기 회피 영역으로 선택되면, 회피 안내 출력부(126)는 상기 스피커를 통해 상기 회피 영역으로 회피 이동할 것을 지시하는 안내 음성을 출력할 수 있다.

이를 통해, 상기 사용자는 우측 영역에 장애물이 존재하고 있다는 것을 파악한 후 좌측 영역으로 장애물을 회피하여 이동할 수 있다.

본 발명의 일실시예에 따르면, 스마트 단말 장치(110)는 도움 요청 출력부(130)를 더 포함할 수 있다.

도움 요청 출력부(130)는 스마트 단말 장치(110) 내에 사전 탑재되어 있는 자이로(Gyro) 센서를 통해 스마트 단말 장치(110)의 움직임을 감지하여 스마트 단말 장치(110)의 움직임에 따른 변위가 사전 설정된 임계치를 초과하는 것으로 확인되는 경우, 스마트 단말 장치(110)의 상기 사용자가 넘어진 것으로 판단한 후, 상기 스피커를 통해 주변에 도움을 요청하기 위한 도움 요청 알림 음성을 출력한다.

예컨대, 상기 사전 설정된 임계치가 'A'라고 가정하자. 이때, 도움 요청 출력부(130)는 스마트 단말 장치(110) 내에 사전 탑재되어 있는 자이로 센서를 통해 스마트 단말 장치(110)의 움직임을 감지하여 스마트 단말 장치(110)의 움직임에 따른 변위가 상기 사전 설정된 임계치인 'A'를 초과하는 것으로 확인되는 경우, 스마트 단말 장치(110)의 사용자가 넘어진 것으로 판단한 후, 상기 스피커를 통해 주변에 도움을 요청하기 위한 도움 요청 알림 음성을 출력할 수 있다.

즉, 스마트 단말 장치(110)는 상기 사용자가 보행 시 갑작스럽게 넘어지거나, 충돌 등이 발생하였을 때, 상기 스피커를 통해 주변에 도움을 요청하기 위한 도움 요청 알림 음성을 출력함으로써, 상기 사용자가 주변의 다른 사람으로부터 빠르게 도움을 받을 수 있도록 지원할 수 있다.

본 발명의 일실시예에 따르면, 스마트 단말 장치(110)는 서버와 통신을 통해서 소정의 보호자의 전자 단말로 스마트 단말 장치(110)의 사용자의 경로 이동 정보나 사고 발생 여부에 대한 정보 등을 제공하는 구성을 더 포함할 수 있다. 이를 통해, 보호자는 스마트 단말 장치(110)의 사용자의 상태를 모니터링하여 사고 발생시 즉시 대처할 수 있다.

또한, 본 발명의 일실시예에 따르면, 스마트 단말 장치(110)는 지형의 고도 정보와 경사도 정보가 포함된 지도 데이터를 이용하여, 사용자가 이동하는 지점의 지형의 경사도가 소정의 기준치를 초과하는 급경사지인 것으로 확인되는 경우, 이에 대한 안내 음성을 스피커를 통해 출력하는 구성도 포함할 수 있다. 이때, 스마트 단말 장치(110)는 사용자가 이동할 때, 카메라를 통해 각 지형의 이미지를 획득한 후 딥러닝 기술을 활용하여 각 지형의 고도 정보와 경사도 정보를 산출한 후 이에 대한 정보를 상기 지도 데이터에 반영함으로써, 상기 지도 데이터에 포함되어 있는 지형의 고도 정보와 경사도 정보를 지속적으로 업데이트할 수 있다.

도 3은 본 발명의 일실시예에 따른 시각 장애인의 이동 보조를 위한 스마트 단말 장치의 동작 방법을 도시한 순서도이다.

단계(S310)에서는 사전 설정된 복수의 위험 영역들이 지정되어 있는 지도 데이터가 저장되어 있는 지도 데이터 저장부를 유지한다.

단계(S320)에서는 사전 설정된 제1 시간 간격으로, 상기 스마트 단말 장치가 상기 복수의 위험 영역들에 진입하는지 여부를 판단하기 위한 위험 영역 판단 이벤트를 발생시킨다.

단계(S330)에서는 상기 위험 영역 판단 이벤트가 발생되면, 상기 스마트 단말 장치 내에 사전 탑재되어 있는 GPS를 통해 상기 위험 영역 판단 이벤트가 발생된 시점에서의 상기 스마트 단말 장치에 대한 현재 위치 정보를 수집하고, 상기 현재 위치 정보가 상기 지도 데이터에 지정되어 있는 상기 복수의 위험 영역들 중에 하나에 속하는지 여부를 확인함으로써, 상기 스마트 단말 장치가 상기 복수의 위험 영역들에 진입하였는지 여부를 판단한다.

단계(S340)에서는 상기 스마트 단말 장치가 상기 복수의 위험 영역들 중 어느 하나의 영역에 진입한 것으로 판단되면, 상기 스마트 단말 장치에 사전 구비되어 있는 스피커를 통해 상기 스마트 단말 장치가 위험 영역에 진입한 상태임을 알리는 제1 경고 알림음을 출력한다.

이때, 본 발명의 일실시예에 따르면, 상기 스마트 단말 장치의 동작 방법은 사전 설정된 제2 시간 간격으로, 상기 스마트 단말 장치의 전방에 장애물이 존재하는지 여부를 판단하기 위한 장애물 판단 이벤트를 발생시키는 단계, 상기 장애물 판단 이벤트가 발생되면, 상기 스마트 단말 장치의 전방에 장애물이 존재하는지 감지하기 위해, 상기 스마트 단말 장치에 세로 방향으로 사전 부착되어 있는 n개(n은 2이상의 자연수임)의 라이다 센서들 각각을 통해 장애물에 대한 감지 신호가 생성되는지 여부를 확인하는 단계, 상기 n개의 라이다 센서들 중 장애물에 대한 감지 신호가 생성된 것으로 확인되는 라이다 센서에 대해 1의 코드를 할당하고, 나머지 라이다 센서에 대해 0의 코드를 할당한 후, 상기 n개의 라이다 센서들 각각에 할당된 코드를 행벡터의 성분으로 지정함으로써, n차원의 감지 행벡터를 생성하는 단계, 상기 감지 행벡터가 생성되면, 상기 감지 행벡터의 맨해튼 노름을 연산하고, 상기 감지 행벡터의 맨해튼 노름이 사전 설정된 장애물 판단 기준치를 초과하는지 여부를 확인하는 단계 및 상기 감지 행벡터의 맨해튼 노름이 상기 장애물 판단 기준치를 초과하는 것으로 확인되면, 상기 스마트 단말 장치의 전방에 장애물이 존재하는 것으로 판단함으로써, 상기 스피커를 통해 상기 스마트 단말 장치의 전방에 장애물이 존재하고 있음을 알리는 제2 경고 알림음을 출력하는 단계를 더 포함할 수 있다.

또한, 본 발명의 일실시예에 따르면, 상기 스마트 단말 장치의 동작 방법은 상기 제2 경고 알림음이 출력되면, 상기 스마트 단말 장치에 사전 구비되어 있는, 전방의 영상을 촬영하는 카메라를 통해 전방의 제1 이미지를 획득하는 단계, 상기 제1 이미지가 획득되면, 상기 제1 이미지에서 사전 설정된 객체 인식 모델을 통해 객체를 검출하는 단계, 상기 제1 이미지에서 제1 객체가 검출되면, 상기 제1 이미지를 세로 n개와 가로 k(k는 짝수인 자연수임)개의 분할 영역들로 분할함으로써, n x k개의 분할 영역들을 생성하는 단계, 상기 n x k개의 분할 영역들이 생성되면, 상기 n x k개의 분할 영역들에서 상기 제1 객체가 존재하는 영역에 대해 1의 코드를 할당하고, 나머지 영역에 대해 0의 코드를 할당함으로써, 상기 n x k개의 분할 영역들 각각에 할당된 코드를 성분으로 갖는 n x k 크기의 객체 행렬을 생성하는 단계, 상기 객체 행렬이 생성되면, 상기 감지 행벡터와 상기 객체 행렬 간의 행렬 곱을 연산하여 1 x k 크기의 연산 행렬을 생성하는 단계, 상기 연산 행렬이 생성되면, 상기 연산 행렬을 기초로, 상기 스마트 단말 장치의 전방의 좌측 영역과 우측 영역 중 장애물이 점유하는 영역이 최소로 확인되는 영역을 회피 영역으로 선택하는 단계 및 상기 회피 영역이 선택되면, 상기 스피커를 통해 상기 회피 영역으로 회피 이동할 것을 지시하는 안내 음성을 출력하는 단계를 더 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 회피 영역으로 선택하는 단계는 상기 연산 행렬이 생성되면, 상기 연산 행렬을, 세로 중심축을 기초로 좌측의 1 x k/2 크기의 제1 부분 행렬과 우측의 1 x k/2 크기의 제2 부분 행렬로 분할하는 단계, 상기 연산 행렬이 상기 제1 부분 행렬과 상기 제2 부분 행렬로 분할되면, 상기 제1 부분 행렬과 상기 제2 부분 행렬의 맨해튼 노름을 연산하는 단계 및 상기 제1 부분 행렬의 맨해튼 노름과 상기 제2 부분 행렬의 맨해튼 노름이 연산되면, 상기 제1 부분 행렬의 맨해튼 노름과 상기 제2 부분 행렬의 맨해튼 노름을 서로 비교하여, 상기 제1 부분 행렬의 맨해튼 노름이 상기 제2 부분 행렬의 맨해튼 노름보다 작은 것으로 확인되면, 상기 좌측 영역을 상기 회피 영역으로 선택하고, 상기 제2 부분 행렬의 맨해튼 노름이 상기 제1 부분 행렬의 맨해튼 노름보다 작은 것으로 확인되면, 상기 우측 영역을 상기 회피 영역으로 선택하는 단계를 포함할 수 있다.

또한, 본 발명의 일실시예에 따르면, 상기 스마트 단말 장치의 동작 방법은 상기 스마트 단말 장치 내에 사전 탑재되어 있는 자이로 센서를 통해 상기 스마트 단말 장치의 움직임을 감지하여 상기 스마트 단말 장치의 움직임에 따른 변위가 사전 설정된 임계치를 초과하는 것으로 확인되는 경우, 상기 스마트 단말 장치의 사용자가 넘어진 것으로 판단한 후, 상기 스피커를 통해 주변에 도움을 요청하기 위한 도움 요청 알림 음성을 출력하는 단계를 더 포함할 수 있다.

이상, 도 3을 참조하여 본 발명의 일실시예에 따른 스마트 단말 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 스마트 단말 장치의 동작 방법은 도 1 내지 2를 이용하여 설명한 스마트 단말 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.

본 발명의 일실시예에 따른 스마트 단말 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.

또한, 본 발명의 일실시예에 따른 스마트 단말 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

110: 스마트 단말 장치
111: 지도 데이터 저장부 112: 위험 영역 판단 이벤트 발생부
113: 판단부 114: 제1 경고 알림음 출력부
115: 장애물 판단 이벤트 발생부 116: 장애물 확인부
117: 행벡터 생성부 118: 노름 확인부
119: 제2 경고 알림음 출력부 120: 이미지 획득부
121: 객체 검출부 122: 분할 영역 생성부
123: 객체 행렬 생성부 124: 연산 행렬 생성부
125: 영역 선택부 126: 회피 안내 출력부
127: 행렬 분할부 128: 노름 연산부
129: 영역 판별부 130: 도움 요청 출력부

Claims

시각 장애인의 이동 보조를 위한 스마트 단말 장치에 있어서,
사전 설정된 복수의 위험 영역들이 지정되어 있는 지도 데이터가 저장되어 있는 지도 데이터 저장부;
사전 설정된 제1 시간 간격으로, 상기 스마트 단말 장치가 상기 복수의 위험 영역들에 진입하는지 여부를 판단하기 위한 위험 영역 판단 이벤트를 발생시키는 위험 영역 판단 이벤트 발생부;
상기 위험 영역 판단 이벤트가 발생되면, 상기 스마트 단말 장치 내에 사전 탑재되어 있는 GPS를 통해 상기 위험 영역 판단 이벤트가 발생된 시점에서의 상기 스마트 단말 장치에 대한 현재 위치 정보를 수집하고, 상기 현재 위치 정보가 상기 지도 데이터에 지정되어 있는 상기 복수의 위험 영역들 중에 하나에 속하는지 여부를 확인함으로써, 상기 스마트 단말 장치가 상기 복수의 위험 영역들에 진입하였는지 여부를 판단하는 판단부; 및
상기 스마트 단말 장치가 상기 복수의 위험 영역들 중 어느 하나의 영역에 진입한 것으로 판단되면, 상기 스마트 단말 장치에 사전 구비되어 있는 스피커를 통해 상기 스마트 단말 장치가 위험 영역에 진입한 상태임을 알리는 제1 경고 알림음을 출력하는 제1 경고 알림음 출력부
를 포함하는 스마트 단말 장치.
제1항에 있어서,
사전 설정된 제2 시간 간격으로, 상기 스마트 단말 장치의 전방에 장애물이 존재하는지 여부를 판단하기 위한 장애물 판단 이벤트를 발생시키는 장애물 판단 이벤트 발생부;
상기 장애물 판단 이벤트가 발생되면, 상기 스마트 단말 장치의 전방에 장애물이 존재하는지 감지하기 위해, 상기 스마트 단말 장치에 세로 방향으로 사전 부착되어 있는 n개(n은 2이상의 자연수임)의 라이다(LiDAR) 센서들 각각을 통해 장애물에 대한 감지 신호가 생성되는지 여부를 확인하는 장애물 확인부;
상기 n개의 라이다 센서들 중 장애물에 대한 감지 신호가 생성된 것으로 확인되는 라이다 센서에 대해 1의 코드를 할당하고, 나머지 라이다 센서에 대해 0의 코드를 할당한 후, 상기 n개의 라이다 센서들 각각에 할당된 코드를 행벡터의 성분으로 지정함으로써, n차원의 감지 행벡터를 생성하는 행벡터 생성부;
상기 감지 행벡터가 생성되면, 상기 감지 행벡터의 맨해튼 노름(Manhattan Norm)을 연산하고, 상기 감지 행벡터의 맨해튼 노름이 사전 설정된 장애물 판단 기준치를 초과하는지 여부를 확인하는 노름 확인부; 및
상기 감지 행벡터의 맨해튼 노름이 상기 장애물 판단 기준치를 초과하는 것으로 확인되면, 상기 스마트 단말 장치의 전방에 장애물이 존재하는 것으로 판단함으로써, 상기 스피커를 통해 상기 스마트 단말 장치의 전방에 장애물이 존재하고 있음을 알리는 제2 경고 알림음을 출력하는 제2 경고 알림음 출력부
를 더 포함하는 스마트 단말 장치.
제2항에 있어서,
상기 제2 경고 알림음이 출력되면, 상기 스마트 단말 장치에 사전 구비되어 있는, 전방의 영상을 촬영하는 카메라를 통해 전방의 제1 이미지를 획득하는 이미지 획득부;
상기 제1 이미지가 획득되면, 상기 제1 이미지에서 사전 설정된 객체 인식 모델을 통해 객체를 검출하는 객체 검출부;
상기 제1 이미지에서 제1 객체가 검출되면, 상기 제1 이미지를 세로 n개와 가로 k(k는 짝수인 자연수임)개의 분할 영역들로 분할함으로써, n x k개의 분할 영역들을 생성하는 분할 영역 생성부;
상기 n x k개의 분할 영역들이 생성되면, 상기 n x k개의 분할 영역들에서 상기 제1 객체가 존재하는 영역에 대해 1의 코드를 할당하고, 나머지 영역에 대해 0의 코드를 할당함으로써, 상기 n x k개의 분할 영역들 각각에 할당된 코드를 성분으로 갖는 n x k 크기의 객체 행렬을 생성하는 객체 행렬 생성부;
상기 객체 행렬이 생성되면, 상기 감지 행벡터와 상기 객체 행렬 간의 행렬 곱을 연산하여 1 x k 크기의 연산 행렬을 생성하는 연산 행렬 생성부;
상기 연산 행렬이 생성되면, 상기 연산 행렬을 기초로, 상기 스마트 단말 장치의 전방의 좌측 영역과 우측 영역 중 장애물이 점유하는 영역이 최소로 확인되는 영역을 회피 영역으로 선택하는 영역 선택부; 및
상기 회피 영역이 선택되면, 상기 스피커를 통해 상기 회피 영역으로 회피 이동할 것을 지시하는 안내 음성을 출력하는 회피 안내 출력부
를 더 포함하는 스마트 단말 장치.
제3항에 있어서,
상기 영역 선택부는
상기 연산 행렬이 생성되면, 상기 연산 행렬을, 세로 중심축을 기초로 좌측의 1 x k/2 크기의 제1 부분 행렬과 우측의 1 x k/2 크기의 제2 부분 행렬로 분할하는 행렬 분할부;
상기 연산 행렬이 상기 제1 부분 행렬과 상기 제2 부분 행렬로 분할되면, 상기 제1 부분 행렬과 상기 제2 부분 행렬의 맨해튼 노름을 연산하는 노름 연산부; 및
상기 제1 부분 행렬의 맨해튼 노름과 상기 제2 부분 행렬의 맨해튼 노름이 연산되면, 상기 제1 부분 행렬의 맨해튼 노름과 상기 제2 부분 행렬의 맨해튼 노름을 서로 비교하여, 상기 제1 부분 행렬의 맨해튼 노름이 상기 제2 부분 행렬의 맨해튼 노름보다 작은 것으로 확인되면, 상기 좌측 영역을 상기 회피 영역으로 선택하고, 상기 제2 부분 행렬의 맨해튼 노름이 상기 제1 부분 행렬의 맨해튼 노름보다 작은 것으로 확인되면, 상기 우측 영역을 상기 회피 영역으로 선택하는 영역 판별부
를 포함하는 스마트 단말 장치.
제1항에 있어서,
상기 스마트 단말 장치 내에 사전 탑재되어 있는 자이로(Gyro) 센서를 통해 상기 스마트 단말 장치의 움직임을 감지하여 상기 스마트 단말 장치의 움직임에 따른 변위가 사전 설정된 임계치를 초과하는 것으로 확인되는 경우, 상기 스마트 단말 장치의 사용자가 넘어진 것으로 판단한 후, 상기 스피커를 통해 주변에 도움을 요청하기 위한 도움 요청 알림 음성을 출력하는 도움 요청 출력부
를 더 포함하는 스마트 단말 장치.