KR100381606B1 - Vxml을 이용한 음성 웹 호스팅 시스템 - Google Patents

Vxml을 이용한 음성 웹 호스팅 시스템 Download PDF

Info

Publication number
KR100381606B1
KR100381606B1 KR10-2000-0044771A KR20000044771A KR100381606B1 KR 100381606 B1 KR100381606 B1 KR 100381606B1 KR 20000044771 A KR20000044771 A KR 20000044771A KR 100381606 B1 KR100381606 B1 KR 100381606B1
Authority
KR
South Korea
Prior art keywords
voice
vxml
server
contents
database
Prior art date
Application number
KR10-2000-0044771A
Other languages
English (en)
Other versions
KR20020011487A (ko
Inventor
최중인
홍준희
Original Assignee
최중인
홍준희
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최중인, 홍준희 filed Critical 최중인
Priority to KR10-2000-0044771A priority Critical patent/KR100381606B1/ko
Publication of KR20020011487A publication Critical patent/KR20020011487A/ko
Application granted granted Critical
Publication of KR100381606B1 publication Critical patent/KR100381606B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 VXML(Voice eXtensible Markup Language)을 이용한 음성 웹 호스팅 시스템에 관한 것으로, 웹 호스팅 시스템에 등록된 각 음성 홈페이지의 내용을 PC 등의 컴퓨터 뿐만 아니라 일반전화기 또는 이동통신 단말기를 통해 접속할 수 있으며, 또한 음성으로 출력 명령을 전달하여 컴퓨터 없이도 일반 ARS(Audio Response System) 서비스처럼 인터넷 음성 홈페이지의 내용을 서비스 받을 수 있으므로 정보 검색이 쉬워지고 다양한 내용의 정보를 얻을 수 있다. 이러한 기능은 ASR(Automatic Speech Recognition) 서버(14) 및 TTS(Text To Speech) 서버(16)와 연결된 VEB 서버(10)의 신호 처리부(12)를 통해 다수의 임의 사용자로부터의 입력신호, 예를 들어 이동통신 단말기, 일반전화기 또는 컴퓨터를 통한 입력신호를 처리함으로써 이루어진다. ASR 서버(14)는 고객의 음성을 인식하여 처리하고, TTS 서버(16)는 입력된 텍스트(text)의 내용을 음성으로 변환한다. 데이터 베이스 서버(20)는 회원의 기초적인 신상자료를 관리하는 회원 데이터 베이스(22)와, 특정 회원이 등록한 자료 파일을 저장하는 음성 파일 데이터 베이스(24)를 포함한다.

Description

VXML을 이용한 음성 웹 호스팅 시스템{VOICE WEB HOSTING SYSTEM USING VXML}
본 발명은 VXML(Voice eXtensible Markup Language)을 이용한 음성 웹 호스팅 시스템에 관한 것으로, 특히 외부로부터 임의의 사용자가 이동통신 단말기, 일반전화기 또는 PC 등의 컴퓨터를 통해 접속하여 음성으로 검색어를 입력하면 해당 선택분야의 파일의 내용을 음성으로 출력하는 서비스를 제공할 수 있도록 된 VXML을 이용한 음성 웹 호스팅 시스템에 관한 것이다.
현재 인터넷 사용인구가 급증하면서 인터넷이 중요한 광고수단 또는 정보의 교류수단으로 되어 있다. 인터넷 사용자, 즉 네티즌들은 인터넷망을 통해 특정 포탈 사이트, 예를 들어 야후(yahoo)나 네이버(naver) 기타 다른 포탈 사이트에 접속하여 원하는 정보를 검색하고 동시에 배너광고 등 여러 광고를 보게 된다.
도 1은 종래의 인터넷 포탈 사이트 시스템의 개략도로서, 도 1에 도시한 바와 같이, 토탈 멀티미디어 정보들을 제공하는 서버(2)에 의해 운영되며, 클라이언트 컴퓨터(4)들을 통해 인터넷망(3)에 연결한 다수의 사용자들에게 다양한 정보들을 제공하고 있다.
그러나, 인터넷 포탈 사이트(1)는 모니터 상의 통상적인 웹브라우저 프로그램에 표시된 하이퍼 텍스트 코드를 사용자가 마우스를 움직여 클릭하거나, 키보드를 통해 입력된 명령을 실행하도록 하고 있다. 즉 종래의 인터넷 포탈 사이트(1)들은 텍스트 인터페이스를 이용한 것으로서, 하이퍼 텍스트 코드에 링크된 다수의 정보 파일들을 웹브라우저 상에 표시하도록 되어 있는 것이다. 따라서 종래의 경우 인터넷에서 정보를 검색하려면 고가의 컴퓨터 시스템과 별도의 통신망을 구축하여야 하는 문제점과 아울러 장소도 제한되는 문제점이 있었다.
한편, 이동통신 단말기를 통하여 인터넷에 접속하여 정보를 검색하는 경우가 있으나, 이는 특정 이동통신회사가 운영하는 사이트에만 가능하며, 이 경우에도 문자 서비스만이 가능할 뿐 음성으로 서비스하는 경우는 현재까지 찾아볼 수 없는 실정이다.
본 발명의 목적은 상기한 바와 같은 종래기술의 문제점을 개선하여 새로운 시스템을 제공하고자 하는 것으로, 음성 홈페이지의 내용을 PC 등의 컴퓨터, 이동통신 단말기 및 일반전화기를 통해 접속하는 특정인에게 음성으로 출력하는 VXML을 이용한 음성 웹 호스팅 시스템을 제공하는 데 있다.
도 1은 종래의 인터넷 포탈 사이트 시스템의 개략도.
도 2는 본 발명에 따른 VXML을 이용한 음성 웹 호스팅 시스템의 개략적인 블록구성도.
도 3은 본 발명에 따른 VXML을 이용한 음성 웹 호스팅 시스템에서 음성 홈페이지의 음성 서비스를 제공하는 과정을 나타낸 흐름도이다.
<도면의 주요부분에 대한 부호의 설명>
10 : VEB 서버 14 : ASR 서버
16 : TTS 서버 20 : 데이터 베이스 서버
상기한 바와 같은 목적을 달성하기 위한 본 발명에 따르면, PC 등의 컴퓨터, 이동통신 단말기 또는 일반전화기를 통해 입력된 신호를 처리하고 장치 전반을 제어하는 음성 웹 서버와; 상기 음성 웹 서버에 접속한 사용자로부터의 음성 홈페이지 검색어를 인식하여 그에 따른 음성 홈페이지의 내용을 처리하는 자동 음성인식 수단과; 상기 사용자로부터의 검색어에 해당하는 음성 홈페이지의 내용이 텍스트인 경우 이를 음성으로 변환하여 출력하는 텍스트 변환 수단과; 해당되는 검색어와 하이퍼링크에 대한 정보, 해당 음성 콘텐츠 및 전화 연결 명령 등에 대한 정보를 규정하는 마크업 언어인 VXML의 형식으로 다수의 음성 홈페이지의 내용이 분류 및 저장된 음성 홈페이지 데이터 베이스와, 회원의 신상 내용이 기록된 회원 데이터 베이스를 포함하는 데이터 베이스 서버를 구비하되; 음성 웹 서버는 VXML 파일의 실행 도중에 하이퍼 링크된 명령어가 입력된 경우, 현재의 VXML 파일의 실생을 중단하고, 링크된 새로운 VXML 파일을 불러들여 실행함으로써, 컴퓨터, 이동통신 단말기, 일반전화기를 통해 상기 음성 웹 서버에 접속한 사용자에게 음성 홈페이지의 내용을 처리하여 음성으로 출력하는 서비스를 제공하는 VXML을 이용한 음성 웹 호스팅 시스템이 제공된다.또한, 본 발명은 상기 음성 홈페이지 데이터 베이스에 특정 음성 홈페이지의 내용이 음성파일과 텍스트파일로 분류되어 저장된 것을 특징으로 한다.
또한, 본 발명은 상기 자동 음성인식 수단이 사용자로부터 입력된 검색어 음성을 음성인식 사전부에 저장된 표준음성 패턴과 비교하여, 일치하는 표준음성 패턴이 있는 경우 그에 해당되는 내용을 음성 홈페이지 데이터 베이스에서 찾아내어 해당 음성 홈페이지의 제공 서비스를 원하는 사용자에게 음성으로 출력하는 것을 특징으로 한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.
도 2는 본 발명에 따른 VXML을 이용한 음성 웹 호스팅 시스템의 개략적인 블록구성도로서, 도 2에 도시한 바와 같이, 음성 웹 호스팅 시스템은 일명 음성 웹 브라우저 엔진이라고도 하는 음성 웹 서버(10)(이하 "VEB 서버"라고 함)와, 데이터 베이스(DB) 서버(20)를 포함한다.
상기 VEB 서버(10)는 ASR(Automatic Speech Recognition) 서버(14) 및 TTS(Text To Speech) 서버(16)와 연결되어 있다. 이 VEB 서버(10)는 신호 처리부(12)를 통해 다수의 임의 사용자로부터의 입력신호, 예를 들어 이동통신 단말기, 일반전화기 또는 컴퓨터를 통한 입력신호를 처리한다.
상기 ASR 서버(14)는 자동 음성인식 서버로서, 고객의 음성을 인식하여 처리하는 일종의 음성인식 수단이다. 이 ASR 서버(14)는 사용자의 음성을 음성인식 사전부(도시 안됨)에 저장된 표준음성 패턴과 비교함으로써, 해당되는 음성 홈페이지 데이터 베이스(24)의 내용을 찾아내어 서비스를 원하는 사용자에게 출력한다.
상기 TTS 서버(16)는 후술하는 음성 홈페이지 데이터 베이스(24)의 내용이 만약 텍스트인 경우에는 그 텍스트의 내용을 사용자의 재생(play)요구 신호에 따라 음성으로 변환하여 출력한다.
상기 데이터 베이스 서버(20)는 회원의 기초적인 신상자료를 관리하는 회원 데이터 베이스(22)와, 특정 회원이 등록한 자료 파일을 저장하는 음성 홈페이지 데이터 베이스(24)를 포함한다. 이 데이터 베이스 서버(20)는 만약 등록된 파일이 텍스트인 경우에는 음성파일로 변환하여 저장할 수도 있고, 또는 텍스트 파일 그대로 저장하여 두고 사용자의 요구에 따라 외부에서 읽어들일 때 상기 TTS 서버(16)를 통해 음성으로 변환하여 출력하도록 할 수도 있다.
또한, 상기한 데이터 베이스 서버(20)에 저장되는 파일은 VXML파일로서, VXML(Voice eXtensible Markup Language)은 해당되는 검색어와 하이퍼링크에 대한 정보, 그리고 해당 음성 콘텐츠 및 전화 연결 명령 등에 대한 정보를 규정하는 마크업 언어이다.
도 3은 본 발명에 따른 VXML을 이용한 음성 웹 호스팅 시스템에서 음성 홈페이지의 음성 서비스를 제공하는 과정을 나타낸 흐름도로서, 도 3에 도시한 바와 같이, 임의의 사용자가 운영자 서버, 즉 VEB 서버(10)에 접속한 경우(S20), VEB 서버는 홈페이지 파일을 음성으로 출력한다(S22). 상기 접속은 PC 등의 컴퓨터를 통한 인터넷 접속 또는 일반전화기나 이동통신 단말기 등으로 행해진다.
이후 VEB 서버(10)는 접속한 사용자에게 서비스 분야를 안내하는 음성을 출력한다(S24).
이후 접속한 사용자로부터 검색어가 입력되었는지 판단하여(S26), 검색어가 입력된 경우에는 음성인식 엔진, 즉 ASR 서버(14)를 통해 해당 검색어를 인식하고(S28), 그 검색어에 해당하는 VXML파일을 실행한다(S30). 실행 과정은 주로 해당 음성 파일 형태의 콘텐츠를 들려 주든가, 아니면 텍스트 형태의 콘텐츠를 TTS 서버(16)를 통해 음성으로 바꾸어 들려 줌으로써 행해진다. 또한 전화 연결 명령인 경우에는 해당 전화번호로 연결시켜 준다.
이후 하이퍼 링크된 명령어가 입력되었는지 판단하여(S32), 만약 하이퍼 링크된 명령어가 입력된 경우에는 현재의 VXML파일의 실행을 중단하고(S34), 링크된 새로운 VXML파일을 불러들여 이를 실행한다(S36).
또한 인터랙티브(interactive)한 기능도 가능하여, 주어진 명령어가 입력될 때까지 다음 명령을 실행하지 않고 있다가 지정된 명령어가 입력될 경우 비로소 다음 명령으로 넘어가도록 할 수도 있다.
이와 같이 본 발명은 VXML파일로 이루어진 음성 웹페이지를 음성 명령어로 브라우징한다.
상기한 바와 같이, 본 발명에 따른 VXML을 이용한 음성 웹 호스팅 시스템에 의하면, 사용자는 다수의 임의 사용자가 컴퓨터 뿐만 아니라 이동통신 단말기나 일반전화기를 통해 음성 홈페이지의 웹 호스팅 서비스를 제공하는 운영자 서버에 접속하여, 음성으로 관심있는 분야의 홈페이지의 내용을 검색하고 안내받을 수 있으므로, 컴퓨터를 통한 인터넷 접속의 제한이 없이 이동통신 단말기 또는 일반전화기로도 인터넷 홈페이지의 내용을 쉽게 검색하여 정보를 얻을 수 있는 효과가 있다.
또한, 본 발명에 따른 VXML을 이용한 음성 웹 호스팅 시스템에 의하면, 시스템에 접속한 사용자로부터 음성명령이 입력될 경우 즉시 음성으로 정보를 제공하므로 원하는 정보에 손쉽게 접근할 수 있는 효과가 있다.
또한 본 발명에 따른 VXML을 이용한 음성 웹 호스팅 시스템에 의하면, 음성만으로 모든 서비스가 이루어지므로 타이핑 등의 별도의 입력수단을 사용할 수 없는 장애인들도 쉽게 이용할 수 있는 효과를 가진 유용한 발명이다.
아울러 본 발명의 바람직한 실시예들은 예시의 목적을 위해 개시된 것이며, 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구의 범위에 속하는 것으로 보아야 할 것이다.

Claims (6)

  1. PC 등의 컴퓨터, 이동통신 단말기 또는 일반전화기를 통해 입력된 신호를 처리하고 장치 전반을 제어하는 음성 웹 서버와, 상기 음성 웹 서버에 접속한 사용자로부터의 음성 홈페이지 검색어를 인식하여 그에 따른 음성 홈페이지의 내용을 처리하는 자동 음성인식 수단과, 상기 사용자로부터의 검색어에 해당하는 음성 홈페이지의 내용이 텍스트인 경우 이를 음성으로 변환하여 출력하는 텍스트 변환 수단과으로 이루어진 VXML을 이용한 음성 웹 호스팅 시스템에 있어서,
    해당되는 검색어와 하이퍼링크에 대한 정보, 해당 음성 콘텐츠 및 전화 연결 명령 등에 대한 정보를 규정하는 마크업 언어인 VXML의 형식으로 다수의 음성 홈페이지의 내용이 분류 및 저장된 음성 홈페이지 데이터 베이스와, 회원의 신상 내용이 기록된 회원 데이터 베이스를 포함하는 데이터 베이스 서버를 구비하되,
    상기 음성 웹 서버는 VXML 파일의 실행 도중에 하이퍼 링크된 명령어가 입력된 경우, 현재의 VXML 파일의 실생을 중단하고, 링크된 새로운 VXML 파일을 불러들여 실행함으로써, 컴퓨터, 이동통신 단말기, 일반전화기를 통해 상기 음성 웹 서버에 접속한 사용자에게 음성 홈페이지의 내용을 처리하여 음성으로 출력하는 서비스를 제공하는 VXML을 이용한 음성 웹 호스팅 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 음성 홈페이지 데이터 베이스에는 특정 음성 홈페이지의 내용이 음성파일 또는 텍스트파일로 분류되어 저장된 것을 특징으로 하는 VXML을 이용한 음성 웹 호스팅 시스템.
  6. 제1항에 있어서, 상기 자동 음성인식 수단은 사용자로부터 입력된 검색어 음성을 음성인식 사전부에 저장된 표준음성 패턴과 비교하여, 일치하는 표준음성 패턴이 있는 경우 그에 해당되는 내용을 음성 홈페이지 데이터 베이스에서 찾아내어 해당 음성 홈페이지의 제공 서비스를 원하는 사용자에게 음성으로 출력하는 것을 특징으로 하는 VXML을 이용한 음성 웹 호스팅 시스템.
KR10-2000-0044771A 2000-08-02 2000-08-02 Vxml을 이용한 음성 웹 호스팅 시스템 KR100381606B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2000-0044771A KR100381606B1 (ko) 2000-08-02 2000-08-02 Vxml을 이용한 음성 웹 호스팅 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0044771A KR100381606B1 (ko) 2000-08-02 2000-08-02 Vxml을 이용한 음성 웹 호스팅 시스템

Publications (2)

Publication Number Publication Date
KR20020011487A KR20020011487A (ko) 2002-02-09
KR100381606B1 true KR100381606B1 (ko) 2003-05-12

Family

ID=19681396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0044771A KR100381606B1 (ko) 2000-08-02 2000-08-02 Vxml을 이용한 음성 웹 호스팅 시스템

Country Status (1)

Country Link
KR (1) KR100381606B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030087831A (ko) * 2002-05-10 2003-11-15 삼성전자주식회사 Vxml 변환과 웹서빙을 제공하는 단말기

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020012364A (ko) * 2000-08-07 2002-02-16 최중인 음성 웹 서버를 이용한 전자상거래 방법
KR100434872B1 (ko) * 2000-11-30 2004-06-07 최중인 모듈화된 구조와 음성웹 방식을 이용한 ars 웹호스팅시스템 및 그 운영 방법
KR20010074228A (ko) * 2001-04-12 2001-08-04 전화성 브이엑스엠엘을 이용한 전화 음성 도메인과 보이스포털
KR20030086046A (ko) * 2002-05-03 2003-11-07 주식회사 케이티 Vxml서버를 이용한 무료전화 안내대 서비스 제공 방법
KR100531215B1 (ko) * 2002-11-14 2005-11-28 김홍진 음성 인식 기술을 이용한 요금부과 및 결재 방법
KR100954959B1 (ko) * 2002-11-25 2010-04-23 주식회사 케이티 지능망을 이용한 온라인 전화퀴즈서비스 제공시스템 및 방법
KR100916313B1 (ko) * 2003-06-27 2009-09-11 주식회사 케이티 기존 전화번호를 이용한 지능망-인터넷 연동 기반안내데스크 서비스 제공 장치 및 방법
KR100629460B1 (ko) * 2004-12-02 2006-09-27 에스케이 텔레콤주식회사 음성 인터페이스를 이용하여 인터넷 커뮤니티 서비스를무선으로 제공하는 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010064061A (ko) * 1999-12-24 2001-07-09 이경목 음성 인식 기능을 갖는 검색 엔진

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010064061A (ko) * 1999-12-24 2001-07-09 이경목 음성 인식 기능을 갖는 검색 엔진

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030087831A (ko) * 2002-05-10 2003-11-15 삼성전자주식회사 Vxml 변환과 웹서빙을 제공하는 단말기

Also Published As

Publication number Publication date
KR20020011487A (ko) 2002-02-09

Similar Documents

Publication Publication Date Title
US7548858B2 (en) System and method for selective audible rendering of data to a user based on user input
US8781840B2 (en) Retrieval and presentation of network service results for mobile device using a multimodal browser
KR100561228B1 (ko) 보이스엑스엠엘 문서를 엑스에이치티엠엘플러스보이스문서로 변환하기 위한 방법 및 이를 이용한 멀티모달서비스 시스템
US7593854B2 (en) Method and system for collecting user-interest information regarding a picture
US7711569B2 (en) Chat information service system
US7406659B2 (en) Smart links
US7216080B2 (en) Natural-language voice-activated personal assistant
GB2383247A (en) Multi-modal picture allowing verbal interaction between a user and the picture
US6732078B1 (en) Audio control method and audio controlled device
KR100237385B1 (ko) 웹 브라우저 상의 음성 인식기 구현방법
KR100381606B1 (ko) Vxml을 이용한 음성 웹 호스팅 시스템
US20050273487A1 (en) Automatic multimodal enabling of existing web content
Pargellis et al. An automatic dialogue generation platform for personalized dialogue applications
JP2001075968A (ja) 情報検索方法及びそれを記録した記録媒体
KR100519748B1 (ko) 연속어 음성 명령을 통한 인터넷 네비게이션 시스템 및 그방법
KR100381605B1 (ko) Ars 음성 웹 호스팅 서비스 시스템 및 그 방법
Gu et al. Spoken Query for Web Search and Navigation.
JP2002163171A (ja) ユーザ支援装置およびシステム
EP1122636A2 (en) System and method for analysis, description and voice-driven interactive input to html forms
US20020070962A1 (en) Web browsing device, a related method and related software module
KR20050040983A (ko) 음성을 이용한 웹 브라우징 시스템 및 제어방법
JP2001092845A (ja) 文書取得方法及び記録媒体
Kondratova Performance and Usability of VoiceXML Application
JP2002358194A (ja) 音声情報提供システム、音声情報提供方法及びそのシステムでの処理をコンピュータに行なわせるためのプログラムを格納した記憶媒体
KR20040063373A (ko) VoiceXML을 이용한 웹페이지 제작방법과 음성웹브라우저

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130401

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180402

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 17