KR20210093793A

KR20210093793A - 시각장애인용 키오스크 장치 및 이의 동작방법

Info

Publication number: KR20210093793A
Application number: KR1020210008035A
Authority: KR
Inventors: 김태익
Original assignee: 김태익
Priority date: 2020-01-20
Filing date: 2021-01-20
Publication date: 2021-07-28
Also published as: KR102430285B1

Abstract

본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치는 사용자의 음성정보를 기초로 시각장애인 유무를 판별한 후, 상기 사용자가 시각장애인일 경우, 사용자의 터치지점 및 상기 터치지점의 터치횟수에 부합하는 적어도 하나 이상의 컨텐츠 정보를 복수 개의 블록 단위로 노출하는 시각장애인용 인터페이스를 실행하는 디스플레이부; 상기 사용자의 터치지점에 위치한 상기 컨텐츠 정보를 음성으로 출력하는 음성 출력부; 상기 사용자의 터치지점이 상기 디스플레이부에 구획된 블록 간에 위치하면 기 설정된 진동을 상기 디스플레이부의 터치패널로 제공하는 진동부; 및 상기 사용자의 터치정보에 따라 상기 디스플레이부, 음성 출력부 및 진동부의 실행동작을 제어하는 정보처리부를 포함한다.

Description

시각장애인용 키오스크 장치 및 이의 동작방법{Kiosk and its operation for the visually impaired}

본 발명은 시각장애인용 키오스크 장치 및 이의 동작방법에 관한 것이다.

터치스크린을 기반으로 만든 모든 키오스크 및 유사제품은 각기 다른 메뉴 구성에 따라 일반인이 확인 가능한 특정한 위치의 터치를 접촉하여 원하는 것을 실행하는 것이다

이로 인하여 시각장애인은 각기 다른 메뉴의 위치를 식별하지 못하기에 터치스크린을 사용하는 방법에 있어 상당히 어려운 점이 있다. 관공서의 입구에 있는 안내용 키오스크나 식당이나 프렌차이즈에 보급되어진 주문형 키오스크 등은 사용할 방법이 없다.

점자형태나 물리적 키등을 통해 일부 키오스크는 시각장애인의 사용에 편의성을 제공하지만 추가적인 비용과 일관적이지 않은 위치와 모양 등으로 사용의 접근성 저하 및 보편적 적용의 어려움이 있다.

등록특허공보 제10-1123212호

본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 시각장애인용 키오스크 장치 및 이의 동작방법을 제공하는 데 그 목적이 있다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치는 사용자의 음성정보를 기초로 시각장애인 유무를 판별한 후, 상기 사용자가 시각장애인일 경우, 사용자의 터치지점 및 상기 터치지점의 터치횟수에 부합하는 적어도 하나 이상의 컨텐츠 정보를 복수 개의 블록 단위로 노출하는 시각장애인용 인터페이스를 실행하는 디스플레이부; 상기 사용자의 터치지점에 위치한 상기 컨텐츠 정보를 음성으로 출력하는 음성 출력부; 상기 사용자의 터치지점이 상기 디스플레이부에 구획된 블록 간에 위치하면 기 설정된 진동을 상기 디스플레이부의 터치패널로 제공하는 진동부; 및 상기 사용자의 터치정보에 따라 상기 디스플레이부, 음성 출력부 및 진동부의 실행동작을 제어하는 정보처리부를 포함한다.

일 실시예에서, 상기 시각장애인용 인터페이스의 블록단위는 제1 사각의 진동노출영역; 상기 진동영역 내에 위치하는 제2 사각의 음성노출영역; 상기 음성노출영역 내에 위치하는 제3 사각의 컨텐츠 표시영역을 포함하고, 상기 제1 사각은 제2 사각 보다 크고, 제2 사각은 제3 사각보다 큰 것을 특징으로 한다.

일 실시예에서, 상기 음성 출력부는 상기 사용자의 터치지점이 상기 제2 사각의 음성노출영역에 위치할 경우, 상기 제3 컨텐츠 표시 영역에 노출된 컨텐츠 정보를 음성으로 출력하는 것을 특징으로 한다.

일 실시예에서, 상기 터치패널에 가해진 충력을 감지하는 충격감지부를 더 포함하고, 상기 정보처리부는 상기 충격감지부로부터 충격감지신호를 수신하면, 상기 디스플레이부에서 실행된 화면이 다음 화면으로 전환되도록 상기 디스플레이부의 동작을 제어하는 것을 특징으로 한다.

일 실시예에서, 상기 정보처리부는 상기 사용자의 터치모션이 설정모션과 동일할 경우, 상기 디스플레이부에서 실행된 화면이 다음 화면으로 전환되도록 상기 디스플레이부의 동작을 제어하는 것을 특징으로 한다.

일 실시예에서, 상기 정보처리부는 상기 디스플레이부의 터치패널로부터 사용자의 터지정보를 전달받으면, 터치좌표에 위치하는 컨텐츠의 텍스트 정보를 음성으로 변화하여 상기 음성 출력부로 제공하는 것을 특징으로 한다.

일 실시예에서, 상기 정보처리부는 사용자의 터치위치가 상기 컨텐츠 표시영역 내에 위치하는 시각적 오브젝트 내에 위치할 경우, 설정 진동값을 상기 진동부로 제공하는 것을 특징으로 한다.

일 실시예에서, 상기 정보처리부는 상기 사용자의 터치위치가 상기 시각적 오브젝트의 윤곽라인으로 이동하면, 상기 설정 진동값이 작거나 또는 커지도록 가변시키고, 상기 시각적 오브젝트는 실제 상품의 크기와 동일한 크기로 상기 디스플레이부에 표시되는 것을 특징으로 한다.

일 실시예에서, 상기 정보처리부는 사용자의 발화정보를 기초로 상기 디스플레이부를 제1 동작모드 및 제2 동작모드 중 어느 하나로 실행되도록 제어하고, 상기 제1 동작모드는 상기 컨텐츠에 대한 시각적 정보를 제공하는 모드이고, 상기 제2 동작모드는 상기 컨텐츠에 대한 시각적 정보, 음성정보, 진동정보를 제공하는 모드인 것을 특징으로 한다.

일 실시예에서, 상기 기 설정된 거리 내에 인체를 감지하는 인체감지부를 더 포함하고, 상기 정보처리부는 상기 인체감지부로부터 인체감지정보를 수신하면, 사용자 신체상태정보에 대한 질의어를 음성출력부로 제공하는 것을 특징으로 한다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치의 동작방법은 기 설정된 거리 내에 인체를 감지하는 단계; 상기 인체가 감지되면, 사용자의 신체상태정보에 대한 질의어를 출력하는 단계; 상기 질의어에 대한 답변을 음성 또는 모션으로 수신한 후, 답변에 대한 사용자 신체상태를 분석하는 단계; 상기 사용자가 시각장애인으로 판단되면, 시각장애인용 인터페이스를 디스플레이부에서 실행하는 단계; 사용자의 터치좌표가 입력되면, 정보처리부에서 상기 터치좌표에 부합하는 음성정보 및/또는 진동정보를 메모리에서 추출하여 음성출력부 및 진동부로 제공하는 단계; 및 상기 디스플레이부에서 기 설정된 입력값이 수신되면, 현재 실행화면을 다음 화면 또는 이전화면으로 전환되도록 제어하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 시각장애인은 간편하게 키오스크에 표시되는 컨텐츠 정보를 음성으로 지원받을 수 있고, 컨텐츠와 컨텐츠의 간의 위치 등을 진동으로 통해 판단할 수 있다.

또한, 시각장애인이 선택한 제품 또는 상품의 실제크기를 가늠하기 위하여 실제 상품(제품)과 동일한 크기의 이미지를 표시하고, 상품(제품) 이미지를 접촉시에 상품이미지의 중심에서 최외각 라인까지 진동을 가변시켜 상품의 실제이미지를 가늠할 수 있는 서비스를 제공받으므로, 종래의 음성정보에 비해 뚜렷한 상품(제품)의 크기를 가늠할 수 있다는 이점을 제공한다.

도 1은 본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치의 장치블록도이다.
도 2는 도 1에 도시된 시각장애인용 키오스크 장치의 초기실행 동작을 설명하기 위한 예시도이다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 시각장애인용 인터페이스의 실행화면을 나타낸 예시도이다.
도 8은 터치패널에 구비된 진동소자를 나타낸 예시도이다.
도 9는 본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치의 동작방법을 설명한 흐름도이다.
도 10은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도이다.

다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나 이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다. 더불어, 본 명세서에서 사용되는 용어 "클라이언트", "유저" 및 "사용자"는 종종 상호교환가능하게 사용될 수 있다. 더불어, 본 명세서에서 사용되는 용어 "컴포넌트" 및 "엘리먼트" 또한 종종 상호교환가능하게 사용될 수 있다.

본 발명에서 언급하는 키오스크 장치는 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹 브라우징, 뱅킹 또는 게임 등의 기능도 수행할 수 있으며, 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수도 있다. 또한 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제될 수 있으므로, 사용자 친화적인 다양한 기능이 수행될 수 있다.

또한, 키오스크 장치는 디지털 사이니지와 결합이 가능할 수 있고, 상술한 디지털 사이니지는 기업들의 마케팅, 광고, 트레이닝 효과 및 고객 경험을 유도할 수 있는 커뮤니케이션 툴(tool)로서, 공항이나, 호텔, 병원 등 공공장소에서 특정한 정보를 제공하는 디지털 영상장치이다.

이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치 및 이의 동작방법을 보다 상세하게 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치의 장치블록도이고, 도 2는 도 1에 도시된 시각장애인용 키오스크 장치의 초기실행 동작을 설명하기 위한 예시도이고, 도 3 내지 도 7은 본 발명의 일 실시예에 따른 시각장애인용 인터페이스의 실행화면을 나타낸 예시도이고, 도 8은 터치패널에 구비된 진동소자를 나타낸 예시도이다.

먼저, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치(100)는 시각장애인이 터치한 지점에 위치한 상품의 카테고리, 상품의 상세정보 및 상품의 형상을 음성 및/또는 진동으로 출력하는 장치일 수 있다.

보다 구체적으로, 본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치(100)는 객체감지부(101), 디스플레이부(110), 네트워크 인터페이스(120), 사용자 인터페이스부(130,) 메모리(140), 진동부(150), 음성출력부(160) 및 정보처리부(170)를 포함한다. 또한, 본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치(100)는 터치패널에 가해진 충력을 감지하는 충격감지부(102)를 더 포함할 수 있다.

먼저, 상기 객체감지부(101)는 광감지, 열감지 또는 초음파를 이용하여 기 설정된 거리내에 위치하는 객체(사람)을 감지하는 구성일 수 있다.

상기 디스플레이부(110)는 사용자가 시각장애인일 경우, 사용자의 터치지점 및 상기 터치지점의 터치횟수에 부합하는 적어도 하나 이상의 컨텐츠 정보를 복수 개의 블록 단위로 노출하는 시각장애인용 인터페이스를 실행하는 구성일 수 있다.

상기 디스플레이부(110)는 터치패널(111), 디스플레이 유닛(112)을 포함한다.

상기 터치패널(111)은 별도의 키보드를 사용하지 않고 스크린에 나타난 문자나 특정 위치에 사람의 손 또는 물체가 닿으면, 그 위치를 파악하여 화면에서 직접 입력 데이터를 받을 수 있는 구성일 수 있다.

상기 터치패널(111)은 사람의 손 또는 물체와 스크린의 접촉을 센싱하고, 센싱한 위치정보(터치좌표)를 파악하여 정보처리부(170)로 전송한다.

다음으로, 디스플레이 유닛(112)은 상기 터치 패널(111)의 후면에 위치하며, 사용자의 터치 입력값(위치정보)에 상응하는 기 설정된 컨텐츠 정보 및 그래픽 정보를 디스플레이한다.

따라서, 디스플레이 유닛(112)은 정보처리부(170)에서 처리된 영상 신호, 데이터 신호, 또는 외부장치 인터페이스에서 수신되는 영상신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성할 수 있다. 디스플레이 유닛(112)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 가능할 수 있다.

상기 디스플레이 유닛(112)은 적어도 하나 이상의 컨텐츠 예컨대, 오브젝트를 디스플레이 한다. 여기서, 오브젝트는 본 발명에 따른 디스플레이 유닛(112)에서 적어도 하나 이상의 기능을 실행하거나 디스플레이할 수 있는 GUI(Graphic User Interface) 유닛이다. 그 예로서, 아이콘 형태의 디스플레이된 파일, 폴더, 애플리케이션, 위젯 등을 포함할 수도 있다.

다음으로, 사용자 인터페이스부(130)는 유선 네트워크와의 접속을 위해, 예를 들어 이더넷(Ethernet) 단자 등을 구비할 수 있다. 또한, 무선 네트워크와의 접속을 위해, 예를 들어 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등을 이용할 수 있다.

또한, 사용자 인터페이스부(120)는 일반인용 인터페이스 및 시각장애인용 인터페이스를 디스플레이부(110)로 제공한다.

상기 시각장애인용 인터페이스는 적어도 하나 이상의 컨텐츠 정보를 복수 개의 블록 단위로 노출하고, 상기 블록단위는 제1 사각의 진동노출영역, 상기 진동영역 내에 위치하는 제2 사각의 음성노출영역 및 상기 음성노출영역 내에 위치하는 제3 사각의 컨텐츠 표시영역을 포함할 수 있다.

여기서, 상기 제1 사각은 제2 사각 보다 크고, 제2 사각은 제3 사각보다 클 수 있다.

또한, 시각장애인용 인터페이스는 블록 단위 이외의 영역에 사용자의 터치정보가 입력되면, 터치된 영역에 대한 음성정보를 출력을 정보처리부(170)로 요청하는 구성일 수 있다.

다음으로, 외부장치 인터페이스부(130)는 외부 장치와 디스플에이부(110)를 접속하는 구성으로, 이를 위해 외부장치 인터페이스부(130)는 A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수도 있다.

또한, 외부장치 인터페이스(130)는 DVD(Digital Versatile Disk), BD(Blu-ray Disc, 블루레이 디스크) 플레이어, 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다. 또한, 외부장치 인터페이스(130)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 메모리(140)로 전달할 수 있다.

상기 메모리(140)는 EEPROM(Electrically Erasable Programmable Read-Only Memory) 등에 의해 구현될 수 있으며, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장하거나, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다. 또한, 메모리(140)는 사용자 인터페이스부(120) 또는 외부장치 인터페이스부(130)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다.

또한, 상기 메모리(140)는 사용자의 터치입력값(위치정보)에 상응하는 기 설정된 컨텐츠 정보 및 그래픽 정보를 저장한다. 상기 기 설정된 컨텐츠 정보는 상품정보, 광고정보, 매뉴얼 정보 등을 포함할 수 있다.

진동부(150)는 사용자의 터치 입력값(위치정보) 및 컨텐츠의 종류에 따른 서로 다른 진동값을 출력하는 구성일 수 있다.

진동부(150)는 복수 개의 진동소자를 포함할 수 있고, 복수 개의 진동소자들은 터치패널(111)의 가장자리에 적어도 하나 이상이 구비될 수 있다.

이때, 상기 복수 개의 진동소자들은 개별적인 진동값을 정보처리부(170)로부터 수신하여 출력할 수 있다.

상기 진동부(150)의 진동값은 사용자 인터페이스 내에 구획된 복수 개의 블록 간에 사용자의 터치정보가 입력될 경우, 진동될 수 있다. 즉, 컨텐츠 간을 구별하기 위한 정보로 활용될 수 있다.

상기 진동값은 시각장애인들에게 컨텐츠 내의 시각적 오브젝트의 크기를 판별하기 위하여 사용될 수 있다.

예컨대, 시각장애인이 디스플레이부(110)에 표시된 실제제품과 동일 크기의 시각적 오브젝트를 터치할 경우, 가변된 진동값을 진동할 수 있다.

보다 상세하게는 시각장애인의 터치지점이 시각적 오브젝트의 중심에서 외각으로 이동할 경우, 진동의 크기는 점점 커지거나 또는 점점 작아질 수 있다.

다음으로, 음성 출력부(160)는 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력받아 음성으로 출력할 수 있다. 또한, 음성 출력부(150)는 다양한 형태의 스피커로 구현될 수 있다.

상기 음성 출력부(160)는 정보처리부(170)에서 변환된 음성정보를 출력할 수 있고, 상기 음성정보는 컨텐츠의 텍스트 정보를 음성으로 변환한 정보일 수 있다.

상기 정보처리부(170)는 상기 사용자의 터치정보에 따라 상기 디스플레이부(110), 음성 출력부(160) 및 진동부의 실행동작을 제어하는 구성일 수 있다.

상기 정보처리부(170)는 충격감지부(102)로부터 충격감지신호를 수신하면, 상기 디스플레이부에서 실행된 화면이 다음 화면으로 전환되도록 상기 디스플레이부의 동작을 제어할 수 있다.

또한, 상기 정보처리부(170)는 상기 사용자의 터치모션(손가락 두 개 이상이 접촉, 손가락 더블 터치, 기 설정된 모션터치 등)이 설정모션과 동일할 경우, 상기 디스플레이부(110)에서 실행된 화면이 다음 화면으로 전환되도록 상기 디스플레이부의 동작을 제어할 수 있다.

또한, 상기 정보처리부(170)는 상기 디스플레이부(110)의 터치패널로부터 사용자의 터지정보를 전달받으면, 터치좌표에 위치하는 컨텐츠의 텍스트 정보를 음성으로 변화하여 상기 음성 출력부로 제공한다.

또한, 상기 정보처리부(170)는 사용자의 터치위치가 상기 컨텐츠 표시영역 내에 위치하는 시각적 오브젝트 내에 위치할 경우, 설정 진동값을 상기 진동부로 제공할 수 있다.

또한, 상기 정보처리부(170)는 상기 사용자의 터치위치가 상기 시각적 오브젝트의 윤곽라인으로 이동하면, 상기 설정 진동값이 작거나 또는 커지도록 가변시키고, 상기 시각적 오브젝트는 실제 상품의 크기와 동일한 크기로 상기 디스플레이부(110)에 표시된다.

또한, 상기 정보처리부(170)는 사용자의 발화정보를 기초로 상기 디스플레이부(110)를 제1 동작모드 및 제2 동작모드 중 어느 하나로 실행되도록 제어하고, 상기 제1 동작모드는 상기 컨텐츠에 대한 시각적 정보를 제공하는 모드이고, 상기 제2 동작모드는 상기 컨텐츠에 대한 시각적 정보, 음성정보, 진동정보를 제공하는 모드일 수 있다.

한편, 정보처리부(170)는 지능형 챗봇 서비스 기능을 지원하며, 지능형 챗봇에 입력된 고객의 상품구매에 대한 발화정보 내의 문장을 형태소 분석 정보를 이용하여 술어부를 인식하고, 인식 결과에 기반하여 요청 메시지의 종류를 구분 및 분석한다. 이때, 형태소 분석을 하기 이전에, 입력문장을 정규화하는 전처리를 시작(즉, 입력문장 정규화는 발화에 존재하는 띄어쓰기 오류 및 철자오류의 제거, 과도한 반복어구의 제거, 분해된 음소의 조합, 이모티콘의 인식과 같은 정규화 과정을 수행함으로써, 다음 단계인 형태소 분석으로 이어지는 오류전파를 사전에 차단하고자 함)한다.

여기서, 띄어쓰기 오류 교정을 하기 위하여 HMM(Hidden Markov Models)기반의 띄어쓰기 모형을 이용할 수 있고, 입력문장의 각 음절이 띄어쓰기 태그(1로 표시)와 붙여쓰기 태그(0으로 표시)를 가진다고 가정하며, 같은 음절/태그 확률을 최대로 하는 태그열을 찾을 수 있다. 또한, 철자 오류 교정 기술도 적용할 수 있는데, 자소단위와 음절단위 규칙을 이용하여 규칙기반 오류 교정을 수행하고, 이는 사용자 입력 발화와 교정 발화로 구성된 학습 말뭉치에서 문자열 수정 규칙을 자동으로 추출하고, 이를 바탕으로 새로운 사용자 입력 발화에 대해 문자열을 수정하게 된다.

이렇게 전처리가 끝나면 형태소 분석 및 품사 부착을 하게 되는데, 형태소 분석 및 품사 부착 기술은 어절 단위 분석 모형과 형태소 단위 분석 모형의 결합을 통하여 형태소 분석을 수행할 수 있다.

이후, 고객의 질의내용 및 질의어 간의 연관성을 분석한 후, 분석 결과와 가장 매칭 또는 유사도가 높은 기 설정된 복수의 질의 시나리오에 대한 답변을 제공한다.

즉, 질의어가 일치하거나 유사도가 기 설정된 기준값 이상인 경우의 시나리오를 챗봇 데이터베이스로부터 검색하여 대응하는 응답을 출력할 수 있다. 이때, 챗봇 데이터베이스는, 검색 기반 모델인 Retrieval-based 모델과, 뉴럴 네트워크 기반의 인공지능 모델인 Generative 모델에 기반할 수 있다.

본 발명에서 지원하는 챗봇 에이전트 서비스는 음성을 통해 구매와 관련된 상담, 검색 및 결제 등을 처리하는 서비스일 수 있다. 또한, 챗봇 에이전트 서비스는 주문내역 조회, 리뷰 등에 부가적인 서비스도 지원한다.

챗봇에 대해서는 다양한 유사 용어가 존재하므로, 본 발명의 일 실시예에 따른 챗봇은, 지능형 가상비서, 가상 개인비서(Virtual Personal Assistant), 지능형 개인비서(Intelligent Personal Assistant), 대화형 에이전트(conversational agent), 가상 동반자(virtual companion), 가상도우미(virtual assistant) 등과 같은 용어로 이용되더라도 본 발명의 챗봇의 범위에 포함될 수 있다.

그리고, 챗봇은 채팅을 나누는 챗앱, 채팅 내용에 따라 정보를 검색하고 서비스를 제공하는 서버, 챗앱과 서버를 중계하는 봇API로 구성될 수 있고, 인공지능 분야의 강화학습 알고리즘을 통한 자연어 처리(NLP)와 자연어 생성(NLG)의 기능을 수행할 수 있다. 챗봇은, 인간이 하는 말과 글을 이해하고 자기가 갖고 있거나 학습한 데이터를 분석해서 인간이 이해할 수 있는 말과 글로 대답할 수 있는데, 이를 위해서는 도형, 문자, 음성 등의 패턴을 인식하여 인간이 쓰는 언어를 처리할 수 있으며, 논리적 추론까지 가능할 수 있다. 또한, 챗봇은, 사용자가 요구하는 정보를 비정형 데이터에서 찾아낼 수도 있고, 현실의 상황을 정보화하고 활용하는 지능화된 서비스를 제공할 수도 있다.

이를 위해, 본 발명에서 개시하는 챗봇은, 기계가 도형, 문자, 음성 등을 식별하는 패턴 인식(Pattern Recognition), 인간이 보통 쓰는 언어를 기계가 인식하도록, 정보검색, 질의응답, 시스템 자동번역, 통역의 기능을 포함하는 자연어처리(Natural Language Processing), 정보 데이터의 뜻을 이해하고, 논리적 추론까지 할 수 있는 시멘틱 웹(Semantic Web), 비정형 텍스트 데이터에서 새롭고 유용한 정보를 찾아내는 텍스트 마이닝(Text Mining), 가상공간에서 현실의 상황을 정보화하고, 이를 활용하여 사용자 중심의 지능화된 서비스를 제공하는 상황인식컴퓨팅(Text Aware Computing)의 기능을 수행할 수 있다.

또한, 본 발명의 일 실시예는, 대화형 에이전트를 사람처럼 느끼게 하는 인터랙션 설계인 의인화(anthropomorphism)를 더 포함할 수 있다. 이때, Computers Are Social Actors(CASA) 관련 연구들을 이용하여 긍정적인 사회적 반응을 끌어내 사람과 에이전트 간 상호작용의 질을 증진시킬 수도 있다.

한편, 정보처리부(170)는 빅데이터를 구축하기 위하여, 저장된 로우 데이터 내에 포함된 비정형(Unstructured) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터 분류를 포함한 전처리를 실시할 수 있고, 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시할 수 있다. 그리고, 분석된 데이터를 시각화하여 출력할 수 있다. 이때, 데이터 마이닝은, 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행할 수 있다. 물론, 이외에도 다양한 마이닝 방법이 존재할 수 있으며, 수집 및 저장되는 빅데이터의 종류나 이후에 요청될 질의(Query)의 종류에 따라 다르게 마이닝될 수도 있다. 이렇게 구축된 빅데이터는, 인공신경망 딥러닝이나 기계학습 등으로 검증과정을 거칠 수도 있다.

이때, 인공 신경망은 CNN(Convolutional neural network) 구조가 이용될 수 있는데, CNN은 컨볼루션 층을 이용한 네트워크 구조로 이미지 처리에 적합하며, 이미지 데이터를 입력하여 이미지 내의 특징을 기반으로 이미지를 분류할 수 있기 때문이다.

또한, 텍스트 마이닝(Text Mining)은 비/반정형 텍스트 데이터에서 자연어처리 기술에 기반하여 유용한 정보를 추출, 가공하는 것을 목적으로 하는 기술이다. 텍스트 마이닝 기술을 통해 방대한 텍스트 뭉치에서 의미 있는 정보를 추출해 내고, 다른 정보와의 연계성을 파악하며, 텍스트가 가진 카테고리를 찾아내거나 단순한 정보 검색 그 이상의 결과를 얻어낼 수 있다. 이를 이용하여, 본 발명의 일 실시예에 따른 안심거래 서비스에서는, 질의로 입력되는 식별자나 자연어를 분석하고, 그 안에 숨겨진 정보를 발굴해 내기 위해 대용량 언어자원과 통계적, 규칙적 알고리즘이 사용될 수 있다.

또한, 수집한 빅데이터인 로우 데이터(Raw Data)를 병렬 및 분산하여 저장하고, 저장된 로우 데이터 내에 포함된 비정형(Unstructured) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하고, 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시하여, 분석된 데이터를 시각화하여 출력할 수 있다.

도 9는 본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치의 동작방법을 설명한 흐름도이다.

도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 시각장애인용 키오스크 장치의 동작방법(S700)은 인체감지부에서 기 설정된 거리 내에 인체를 감지(S710)한다. 상기 인체가 감지되면, 키오스크의 실행화면이 동작되며, 사용자의 신체상태정보에 대한 질의어를 출력(S720)한다.

여기서, 질의어는 사용자의 신체상태정보에 대한 질의어로서, 예컨대, '일반인' 인지 아니면, '시각장애인' 인지에 대한 정보일 수 있다.

즉, 키오스크 장치는 “일반인인가요?” 아니면 “시각장애인인가요?”와 같은 질의어를 제공한다.

이후, 사용자가 상기 질의어에 대한 답변을 음성 또는 터치모션으로 제공하면, 키오스크 장치는 음성 또는 터치모션을 기초로 사용자 신체상태(일반인 또는 시각장애인)를 분석(S730)한다.

사용자가 시각장애인으로 판단되면, 정보처리부에서 시각장애인용 인터페이스가 디스플레이부에서 실행되도록 디스플레이부의 동작을 제어(S740)한다.

이후, 디스플레이부는 시각장애인용 인터페이스를 실행한 후, 기 설정된 매뉴얼에 따라 컨텐츠를 표시한다.

사용자가 디스플레이부의 터치패널을 터치하면, 터치패널은 사용자의 터치좌표를 입력받고, 해당 터치좌표를 정보처리부로 제공한다.

정보처리부는 상기 터치좌표에 부합하는 음성정보 및/또는 진동정보를 메모리에서 추출하여 음성출력부 및 진동부로 제공한다.

이후, 디스플레이부의 터치패널에서 기 설정된 입력값이 수신되면, 현재 실행화면을 다음 화면 또는 이전화면으로 전환되도록 정보처리부가 디스플레이부에서 실행된 시각장애인용 인터페이스의 실행동작을 제어한다.

여기서, 상기 시각장애인용 인터페이스는 적어도 하나 이상의 컨텐츠 정보를 복수 개의 블록 단위로 노출하고, 상기 블록단위는 제1 사각의 진동노출영역, 상기 진동영역 내에 위치하는 제2 사각의 음성노출영역 및 상기 음성노출영역 내에 위치하는 제3 사각의 컨텐츠 표시영역을 포함할 수 있다. 상기 제1 사각은 제2 사각 보다 크고, 제2 사각은 제3 사각보다 큰 것을 특징으로 한다.

또한, 상기 기 설정된 입력값은 충격정보, 기 설정 형상의 터치모션정보 중 어느 하나일 수 있다.

또한, 상기 시각장애인용 인터페이스는 블록 단위 이외의 영역에 사용자의 터치정보가 입력되면, 터치된 영역에 대한 음성정보 및 진동정보를 제공할 수 있다.

따라서, 본 발명에 따르면, 시각장애인은 간편하게 키오스크에 표시되는 컨텐츠 정보를 음성으로 지원받을 수 있고, 컨텐츠와 컨텐츠의 간의 위치 등을 진동으로 통해 판단할 수 있다.

도 10은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.

컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다.

스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다. 또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다.

여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다. 또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다.

여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다. 상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다. 본 명세서에서 사용되는 "구성요소", "시스템" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.

예를 들어, 구성요소는 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

100: 시각장애인용 키오스크 장치
101: 객체감지부
102: 충격감지부
110: 디스플레이부
111: 터치패널
112: 디스플레이 유닛
120: 사용자 인터페이스부
130: 외부장치 인터페이스부
140: 메모리
150: 진동부
160: 음성출력부
170: 정보처리부

Claims

사용자의 음성정보를 기초로 시각장애인 유무를 판별한 후, 상기 사용자가 시각장애인일 경우, 사용자의 터치지점 및 상기 터치지점의 터치횟수에 부합하는 적어도 하나 이상의 컨텐츠 정보를 복수 개의 블록 단위로 노출하는 시각장애인용 인터페이스를 실행하는 디스플레이부; 및
상기 사용자의 터치지점에 위치한 상기 컨텐츠 정보를 음성으로 출력하는 음성 출력부;
상기 사용자의 터치지점이 상기 디스플레이부에 구획된 블록 간에 위치하면 기 설정된 진동을 상기 디스플레이부의 터치패널로 제공하는 진동부; 및
상기 사용자의 터치정보에 따라 상기 디스플레이부, 음성 출력부 및 진동부의 실행동작을 제어하는 정보처리부를 포함하는 시각장애인용 키오스크 장치.
제1항에 있어서,
상기 시각장애인용 인터페이스의 블록단위는
제1 사각의 진동노출영역;
상기 진동영역 내에 위치하는 제2 사각의 음성노출영역;
상기 음성노출영역 내에 위치하는 제3 사각의 컨텐츠 표시영역을 포함하고,
상기 제1 사각은 제2 사각 보다 크고, 제2 사각은 제3 사각보다 큰 것을 특징으로 하는 시각장애인용 키오스크 장치.
제2항에 있어서,
상기 음성 출력부는
상기 사용자의 터치지점이 상기 제2 사각의 음성노출영역에 위치할 경우, 상기 제3 컨텐츠 표시 영역에 노출된 컨텐츠 정보를 음성으로 출력하는 것을 특징으로 하는 시각장애인용 키오스크 장치.
제1항에 있어서,
상기 터치패널에 가해진 충력을 감지하는 충격감지부를 더 포함하고,
상기 정보처리부는
상기 충격감지부로부터 충격감지신호를 수신하면, 상기 디스플레이부에서 실행된 화면이 다음 화면으로 전환되도록 상기 디스플레이부의 동작을 제어하는 것을 특징으로 하는 시각장애인용 키오스크 장치.
제1항에 있어서,
상기 정보처리부는
상기 사용자의 터치모션이 설정모션과 동일할 경우, 상기 디스플레이부에서 실행된 화면이 다음 화면으로 전환되도록 상기 디스플레이부의 동작을 제어하는 것을 특징으로 하는 시각장애인용 키오스크 장치.
제2항에 있어서,
상기 정보처리부는
상기 디스플레이부의 터치패널로부터 사용자의 터지정보를 전달받으면, 터치좌표에 위치하는 컨텐츠의 텍스트 정보를 음성으로 변화하여 상기 음성 출력부로 제공하는 것을 특징으로 하는 시각장애인용 키오스크 장치.
제5항에 있어서,
상기 정보처리부는
사용자의 터치위치가 상기 컨텐츠 표시영역 내에 위치하는 시각적 오브젝트 내에 위치할 경우, 설정 진동값을 상기 진동부로 제공하는 것을 특징으로 하는 시각장애인용 키오스크 장치.
제7항에 있어서,
상기 정보처리부는
상기 사용자의 터치위치가 상기 시각적 오브젝트의 윤곽라인으로 이동하면, 상기 설정 진동값이 작거나 또는 커지도록 가변시키고,
상기 시각적 오브젝트는
실제 상품의 크기와 동일한 크기로 상기 디스플레이부에 표시되는 것을 특징으로 하는 시각장애인용 키오스크 장치.
제1항에 있어서,
상기 정보처리부는
사용자의 발화정보를 기초로 상기 디스플레이부를 제1 동작모드 및 제2 동작모드 중 어느 하나로 실행되도록 제어하고,
상기 제1 동작모드는 상기 컨텐츠에 대한 시각적 정보를 제공하는 모드이고,
상기 제2 동작모드는 상기 컨텐츠에 대한 시각적 정보, 음성정보, 진동정보를 제공하는 모드인 것을 특징으로 하는 시각장애인용 키오스크 장치.
제1항에 있어서,
상기 기 설정된 거리 내에 인체를 감지하는 인체감지부를 더 포함하고,
상기 정보처리부는
상기 인체감지부로부터 인체감지정보를 수신하면, 사용자 신체상태정보에 대한 질의어를 음성출력부로 제공하는 것을 특징으로 하는 시각장애인용 키오스크 장치.
기 설정된 거리 내에 인체를 감지하는 단계;
상기 인체가 감지되면, 사용자의 신체상태정보에 대한 질의어를 출력하는 단계;
상기 질의어에 대한 답변을 음성 또는 모션으로 수신한 후, 답변에 대한 사용자 신체상태를 분석하는 단계;
상기 사용자가 시각장애인으로 판단되면, 시각장애인용 인터페이스를 디스플레이부에서 실행하는 단계;
사용자의 터치좌표가 입력되면, 정보처리부에서 상기 터치좌표에 부합하는 음성정보 및/또는 진동정보를 메모리에서 추출하여 음성출력부 및 진동부로 제공하는 단계; 및
상기 디스플레이부에서 기 설정된 입력값이 수신되면, 현재 실행화면을 다음 화면 또는 이전화면으로 전환되도록 제어하는 단계를 포함하는 것을 특징으로 하는 시각장애인용 키오스크 장치의 동작방법.
제11항에 있어서,
상기 시각장애인용 인터페이스는
적어도 하나 이상의 컨텐츠 정보를 복수 개의 블록 단위로 노출하고,
상기 블록단위는
제1 사각의 진동노출영역;
상기 진동영역 내에 위치하는 제2 사각의 음성노출영역;
상기 음성노출영역 내에 위치하는 제3 사각의 컨텐츠 표시영역을 포함하고,
상기 제1 사각은 제2 사각 보다 크고, 제2 사각은 제3 사각보다 큰 것을 특징으로 하는 시각장애인용 키오스크 장치의 동작방법.
제11항에 있어서,
상기 기 설정된 입력값은
충격정보, 기 설정 형상의 터치모션정보 중 어느 하나인 것을 특징으로 하는 시각장애인용 키오스크 장치의 동작방법.
제11항에 있어서,
상기 시각장애인용 인터페이스는
블록 단위 이외의 영역에 사용자의 터치정보가 입력되면, 터치된 영역에 대한 음성정보를 출력하는 것을 특징으로 하는 시각장애인용 키오스크 장치의 동작방법.