KR101276831B1 - 통신 단말기 및 통신 단말기의 배경화면 설정 방법 - Google Patents

통신 단말기 및 통신 단말기의 배경화면 설정 방법 Download PDF

Info

Publication number
KR101276831B1
KR101276831B1 KR1020060095487A KR20060095487A KR101276831B1 KR 101276831 B1 KR101276831 B1 KR 101276831B1 KR 1020060095487 A KR1020060095487 A KR 1020060095487A KR 20060095487 A KR20060095487 A KR 20060095487A KR 101276831 B1 KR101276831 B1 KR 101276831B1
Authority
KR
South Korea
Prior art keywords
broadcast signal
image
background
background screen
communication terminal
Prior art date
Application number
KR1020060095487A
Other languages
English (en)
Other versions
KR20080029405A (ko
Inventor
전인중
최진영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020060095487A priority Critical patent/KR101276831B1/ko
Publication of KR20080029405A publication Critical patent/KR20080029405A/ko
Application granted granted Critical
Publication of KR101276831B1 publication Critical patent/KR101276831B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H40/00Arrangements specially adapted for receiving broadcast information
    • H04H40/18Arrangements characterised by circuits or components specially adapted for receiving
    • H04H40/27Arrangements characterised by circuits or components specially adapted for receiving specially adapted for broadcast systems covered by groups H04H20/53 - H04H20/95
    • H04H40/36Arrangements characterised by circuits or components specially adapted for receiving specially adapted for broadcast systems covered by groups H04H20/53 - H04H20/95 specially adapted for stereophonic broadcast receiving
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/76Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet
    • H04H60/81Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself
    • H04H60/82Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself the transmission system being the Internet
    • H04H60/83Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself the transmission system being the Internet accessed over telephonic networks
    • H04H60/85Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself the transmission system being the Internet accessed over telephonic networks which are mobile communication networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/76Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet
    • H04H60/81Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself
    • H04H60/90Wireless transmission systems
    • H04H60/91Mobile communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 방송 신호 출력시 배경화면으로 사용될 적어도 하나의 영상 파일을 설정하는 단계와; 방송 신호를 수신하는 단계와; 상기 방송 신호를 출력할 때, 상기 설정된 적어도 하나의 영상 파일을 배경화면으로 표출하는 단계를 포함하여 이루어지는 통신 단말기의 배경화면 설정 방법에 관한 것으로서, 자기만의 개성을 강조하는 젊은층을 위해서 라디오 청취시 단말기에 저장되어 있는 영상들을 배경화면으로 지정 또는 꾸밀 수 있도록 하여 개성 표출을 가능하도록 하는 효과가 있다.
방송 신호, 배경화면, 영상 파일

Description

통신 단말기 및 통신 단말기의 배경화면 설정 방법{Communication Terminal and Method For Setting up Background Picture thereof}
도 1은 본 발명에 따른 통신 단말기의 구성도이다.
도 2는 본 발명에 따른 통신 단말기의 배경화면 설정 방법을 나타낸 일 실시예 흐름도이다.
도 3a 내지 도 3d는 본 발명에 따른 통신 단말기의 배경화면 설정 방법을 나타낸 일 실시예 화면 설명도이다.
<도면의 주요 부분에 대한 부호 설명>
100 : 수신부 110 : 키입력부
120 : 메모리 130 : 음향 출력부
140 : 표시부 150 : 제어부
본 발명은 통신 단말기에 관한 것으로, 보다 상세하게는 오디오 방송 신호 출력시 통신 단말기에 미리 저장된 영상 파일을 배경 화면으로 설정할 수 있는 통신 단말기의 배경화면 설정 방법에 관한 것이다.
새로운 기술의 도입과 서비스에 따른 사회적 파급 효과가 매우 큰 방송 서비스의 특성상 방송기술의 개발과 표준화는 전통적으로 매우 보수적으로 진행되어 왔지만, 디지털 방송 서비스가 본격적으로 보급되기 시작함에 따라, 다양한 방향의 방송 기술 개발이 매우 활발하게 이루어지고 있다.
현재 DMB(Digital Multimedia Broadcasting)는 다양한 기능을 제공한다. 방송 프로그램을 시청하면서 원하는 장면을 캡쳐 또는 예약 녹화도 가능하고, 원래 시청하고 있는 채널과 별도로 또 하나의 채널을 화면속에 띄울 수 있는 PIP(Picture in picture)기능, 방송 시청 중 친구에게 현재 자신이 보고 있는 방송 프로그램명과 방송 시간을 SMS로 바로 전송할 수 있는 시청 권유 기능 등 사용자 편의를 위해 여러 가지 기능을 갖추고 있다.
그러나 상기와 같은 편리한 기능들 외에 아직까지 통신 단말기를 이용한 라디오 청취시에는 불편한 점이 있다. 즉, 라디오 청취시 방송국에서 송출하는 음성 정보과 더불어 정지 영상을 화면에 일정 시간 디스플레이한다. 따라서 사용자는 일방적으로 화면을 일정시간 동안 시청할 수밖에 없었고, 그에 따라 사용자마다 개성을 표현하는데 제약이 따랐고, 화면전환 시간도 미리 정해져 있기 때문에 사용자는 방송국에서 송출하는 방송 정보를 시청할 수밖에 없었다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 라디오 청취시 단말기에 미리 구비된 영상 파일을 배경 화면으로 설정할 수 있는 통신 단말기를 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 통신 단말기는 방송 신호를 수신하는 수신부와; 상기 방송 신호 중 오디오 방송 신호를 출력할 때, 미리 설정된 적어도 하나의 영상 파일을 표출하기 위해 제어하는 제어부; 상기 제어부의 제어에 따라 상기 영상 파일을 화면에 표출하는 표시부를 포함하여 이루어진다.
또한, 본 발명에 따른 통신 단말기의 배경화면 설정 방법은 방송 신호 출력시 배경화면으로 사용될 적어도 하나의 영상 파일을 설정하는 단계와; 방송 신호를 수신하는 단계와; 상기 방송 신호를 출력할 때, 상기 설정된 적어도 하나의 영상 파일을 배경화면으로 표출하는 단계를 포함하여 이루어진다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 통신 단말기의 구성도이다.
수신부(100)는 방송 신호를 수신하고, 상기 방송 신호로부터 영상 및 음향신호를 분리하고, 상기 분리된 영상 및 음향신호를 복호화하여 출력한다.
키입력부(110)는 유저 인터페이스로써, 복수개의 숫자 키와 기능 키를 구비하고, 상기 키들에 대한 키 신호를 제어부(150)로 출력한다.
메모리(120)는 상기 통신 단말기의 전반적인 동작을 제어하는 소정 프로그램과 상기 통신 단말기의 제어동작이 수행될 때 입출력되는 각종 데이터들을 저장한다.
바람직하게, 상기 수신부(100)로부터 수신된 방송 신호를 오디오 방송 신호로 출력할 때 표출할 영상 파일을 저장한다.
음향 출력부(130)는, 상기 통신 단말기에 구비된 스피커로 구성되며, 제어부(150)의 제어에 의해 메모리(120)에 저장된 음향신호를 가청음 상태로 출력한다.
표시부(140)는, 제어부(150)의 제어신호에 따라, 키입력부(110)로부터 키 신호에 상응하는 표시 데이터를 입력받아 표시하고, 상기 이동통신 단말기의 동작 상태와, 다수의 정보를 아이콘 및 문자 형태로 표시한다.
바람직하게, 상기 표시부(140)는 제어부(150)의 제어에 따라 상기 영상 파일을 화면에 표출한다.
제어부(150)는 수신부(100)를 통해 수신한 방송 신호 중 오디오 방송 신호를 출력할 때, 미리 설정된 적어도 하나의 영상 파일을 표출하기 위해 제어한다.
또한, 제어부(150)는 상기 오디오 방송 신호를 출력할 때, 적어도 하나의 영상 뿐만 아니라 표시부(140) 일측에 상기 오디오 방송 신호에서 추출된 텍스트를 출력하도록 제어한다.
도 2는 본 발명에 따른 통신 단말기의 배경화면 설정 방법을 나타낸 일 실시예 흐름도이다.
도 2를 참조하면, 방송 프로그램 정보가 포함된 방송 신호를 수신한다(S200). 상기 방송 신호로부터 영상 및 음향신호를 분리하고, 오디오 방송 신호를 출력한다(S210). 바람직하게, 상기 방송 신호는 오디오 신호인 것으로, 본 발명에서는 방송 신호중 오디오 신호를 이용한다.
이때, 오디오 방송 신호 출력시 영상 파일을 배경 화면으로 출력할 것인지 설정 여부를 판단하고(S220), 판단 결과 미리 설정된 적어도 하나의 영상 파일을 배경 화면으로 표출한다(S230).
한편, 상기 방송 신호를 수신하기 전, 사용자는 방송 신호 출력시 배경화면으로 사용될 적어도 하나의 영상 파일을 설정해 놓는다.
상기 영상 파일은 동영상, 정지영상 중 어느 하나인 것으로, 단말기에 구비된 카메라를 이용하여 촬영한 사진 또는 동영상이거나 웹 서버로부터 다운받은 컨텐츠이다. 또한, 데이터 케이블을 이용하여 PC, 타 단말기로부터 수신한 멀티미디어 컨텐츠로 배경 화면을 꾸밀 수 있다.
한편, 상기 판단 결과 오디오 방송 신호 출력시 배경 화면이 설정이 안 되어 있으면, 종래 기술처럼 서버에서 송출해주는 오디오 방송 신호와 이미지를 출력한다.
바람직하게, 상기 오디오 방송 신호는 사용자가 선택한 라디오 방송 프로그램이다.
또한, 영상 파일을 배경화면으로 출력시 상기 영상 파일이 다수개로 설정된 경우에 해당 영상 파일들을 슬라이드 전환 방식으로 표출한다.
즉, 기존에는 라디오 청취시 서버에서 송출하는 화면을 일정시간 동안 표출하고, 화면 전환 타이밍도 서버에서 결정해서 송출했다. 따라서 사용자는 라디오 청취시 변화가 미약한 화면을 계속해서 보고 있어야만 하기 때문에 라디오 방송에 집중할 수 없었다.
상기 슬라이드 전환 방식은 사용자가 여러 가지 영상을 토대로, 상기 영상이 표출되는 시간과, 전환 시간과, 표출되는 순서를 설정할 수 있다.
상기 표출되는 순서라 함은 통신 단말기에 구비된 카메라를 이용한 디지털 앨범에서 사진 전환 순서로써, 하나의 이미지가 표출된 후 다음 이미지로 전환될때, 토네이도, 물결, 점점 사라짐, 줌, 늘이기 등 디지털 앨범에서의 사진 전환 방식을 응용한 것이다.
그리고, 상기 수신한 방송 신호에서 텍스트를 추출하여 상기 영상 파일이 상기 배경화면으로 표출될 시, 상기 배경 화면의 일측에 상기 방송 신호에서 추출된 텍스트를 표출한다. 좀더 자세히 설명하면, 오디오 방송의 음향을 화면 일측에 텍스트로 변환하면 표출하면, 음향을 듣지 못하더라도 상기 음향에 해당하는 텍스트 정보를 볼 수 있다. 또한, 사용자의 편의성을 증대시키기 위해 오디오 방송 신호를 음소거하고 영상 파일을 표출하되 화면 일측에 상기 방송 신호에서 추출된 텍스트를 표출할 수 있다. 이것은 배경 화면을 정지 영상이 아닌 동영상 또는 멀티미디어 컨텐츠 중 뮤직비디오 또는 영화로 설정하여 상기 뮤직 비디오, 영화 표출시 음향을 출력하고, 화면 일측에는 오디오 방송 신호에서 추출된 텍스트를 출력한다. 사용자는 오디오 방송을 청취하면서 기호에 맞게 설정한 배경 화면을 볼 수 있고, 또한 배경 화면으로 음향이 출력되는 컨텐츠를 시청함과 동시에, 오디오 방송 텍스트 정보도 볼 수 있는 일석이조의 효과가 있다.
이하, 도 3a 내지 도 3d를 통하여 배경화면 설정 방법을 대해 자세히 설명하기로 한다.
도 3a 내지 도 3d는 본 발명에 따른 통신 단말기의 배경화면 설정 방법을 나타낸 일 실시예 화면 설명도이다. 도 3a 내지 도 3d를 참조하면,
도 3a는 방송서비스 메뉴로서, TV 방송, 라디오 방송, 환경설정 등 여러 가지 메뉴가 있다. 사용자가 라디오를 청취하기 위하여 라디오 방송을 선택하면, 여러 라디오 방송 채널이 표시된다(도 3b). 상기 라디오 방송 채널 중 MBC FM 방송을 선택하면, 사용자가 미리 설정한 적어도 하나의 영상 파일이 출력됨과 동시에 스피커를 통해 상기 선택한 방송 채널이 출력된다(도 3c). 이때 화면 일측에 상기 선택한 방송 채널의 텍스트 정보도 함께 출력된다. 바람직하게, 상기 텍스트 정보의 출력 방향은 오른쪽에서 왼쪽이지만, 사용자의 설정에 따라 변경이 가능하다.
영상 파일을 미리 배경 화면을 설정하지 않고, 라디오 청취시 메뉴 키 또는 전용 키를 눌러서 원하는 영상 파일을 배경 화면으로 설정할 수 있다(도 3d). 상기 영상 파일의 슬라이드 전환 방식 또는 단말기에 저장된 멀티디미터 컨텐츠, 방송 자료들을 선택하여 배경 화면으로 설정한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명에 따른 방송용 단말기의 라디오 청취시 배경화면 설정 방법은 자기만의 개성을 강조하는 젊은층을 위해서 라디오 청취시 단말기에 저장되어 있는 영 상들을 배경화면으로 지정 또는 꾸밀 수 있도록 하여 개성 표출을 가능하도록 하는 효과가 있다.

Claims (9)

  1. 방송 신호 출력 시 상기 방송의 배경화면으로 사용될 둘 이상의 영상 파일들을 설정하는 단계;
    방송 신호를 수신하는 단계; 및
    상기 수신된 방송 신호를 출력할 때 상기 설정된 영상 파일들을 상기 수신된 방송의 배경화면으로 표시하되, 상기 설정된 영상 파일들을 슬라이드 전환 방식으로 표시하는 단계;를 포함하여 이루어지는 통신 단말기의 배경화면 설정 방법.
  2. 제 1항에 있어서,
    상기 방송 신호는 오디오 신호인 것을 특징으로 하는 통신 단말기의 배경화면 설정 방법.
  3. 삭제
  4. 제 1항에 있어서,
    상기 수신된 방송 신호에서 텍스트를 추출하는 단계;를 더 포함하여 이루어지는 통신 단말기의 배경화면 설정 방법.
  5. 제 4항에 있어서,
    상기 영상 파일들을 상기 배경화면으로 표시할 때, 상기 배경화면의 일측에 상기 추출된 텍스트를 표시하는 단계;를 더 포함하여 이루어지는 통신 단말기의 배경화면 설정 방법.
  6. 제 1항에 있어서,
    상기 영상 파일은 동영상, 정지영상 중 어느 하나인 것을 특징으로 하는 통신 단말기의 배경화면 설정 방법.
  7. 제 4항에 있어서,
    상기 영상 파일들을 상기 배경화면으로 표시할 때, 상기 수신된 방송 신호를 음소거하고, 상기 배경화면의 일측에 상기 추출된 텍스트를 표시하는 단계;를 더 포함하여 이루어지는 통신 단말기의 배경화면 설정 방법.
  8. 수신되는 방송 신호 출력 시 배경화면으로 사용될 둘 이상의 영상 파일들이 설정된 메모리;
    방송 신호를 수신하는 수신부;
    상기 수신된 방송의 배경화면을 표시하는 표시부; 및
    상기 수신부를 통해 수신된 방송 신호를 출력할 때 상기 메모리에 설정된 영상 파일들을 상기 수신된 방송의 배경화면으로 표시하되, 상기 영상 파일들을 슬라이드 전환 방식으로 표시하도록 제어하는 제어부;를 포함하여 이루어지는 통신 단말기.
  9. 삭제
KR1020060095487A 2006-09-29 2006-09-29 통신 단말기 및 통신 단말기의 배경화면 설정 방법 KR101276831B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060095487A KR101276831B1 (ko) 2006-09-29 2006-09-29 통신 단말기 및 통신 단말기의 배경화면 설정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060095487A KR101276831B1 (ko) 2006-09-29 2006-09-29 통신 단말기 및 통신 단말기의 배경화면 설정 방법

Publications (2)

Publication Number Publication Date
KR20080029405A KR20080029405A (ko) 2008-04-03
KR101276831B1 true KR101276831B1 (ko) 2013-06-18

Family

ID=39531981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060095487A KR101276831B1 (ko) 2006-09-29 2006-09-29 통신 단말기 및 통신 단말기의 배경화면 설정 방법

Country Status (1)

Country Link
KR (1) KR101276831B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101581710B1 (ko) 2015-05-18 2016-01-05 주식회사 앰투앰넷 단말 장치 및 그의 배경화면 변경 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990005954A (ko) * 1997-06-30 1999-01-25 김영환 비디오 컴팩트 디스크 플레이어의 배경화면 재생장치 및 그 제어방법
KR20020029502A (ko) * 2000-10-13 2002-04-19 장윤석 인터넷 라디오 방송을 통한 광고시스템 및 광고방법
KR100609550B1 (ko) 2005-01-06 2006-08-08 엘지전자 주식회사 오디오 데이터를 다른 컨텐츠와 함께 재생하는 방법 및장치
KR20060099966A (ko) * 2005-03-15 2006-09-20 티유미디어 주식회사 이동멀티미디어방송 수신기의 배경화면 디스플레이 시스템및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990005954A (ko) * 1997-06-30 1999-01-25 김영환 비디오 컴팩트 디스크 플레이어의 배경화면 재생장치 및 그 제어방법
KR20020029502A (ko) * 2000-10-13 2002-04-19 장윤석 인터넷 라디오 방송을 통한 광고시스템 및 광고방법
KR100609550B1 (ko) 2005-01-06 2006-08-08 엘지전자 주식회사 오디오 데이터를 다른 컨텐츠와 함께 재생하는 방법 및장치
KR20060099966A (ko) * 2005-03-15 2006-09-20 티유미디어 주식회사 이동멀티미디어방송 수신기의 배경화면 디스플레이 시스템및 그 방법

Also Published As

Publication number Publication date
KR20080029405A (ko) 2008-04-03

Similar Documents

Publication Publication Date Title
KR100754676B1 (ko) 디지털 방송 수신 단말기의 전자 프로그램 가이드 데이터관리 장치 및 방법
JP4292181B2 (ja) 端末機の画像合成装置及び画像合成方法
US8307399B2 (en) Method of providing key frames of video in mobile terminal
EP3217680B1 (en) Mobile telecommunications apparatus for receiving and displaying more than one service
JP4772800B2 (ja) 放送コンテンツ情報提供方法およびそのシステム
WO2010066189A1 (zh) 一种快速浏览节目的方法及装置
KR100617790B1 (ko) 디지털 방송 채널정보 표시 단말기 및 방법
KR100903070B1 (ko) 데이터 재생 장치 및 방법
KR100357322B1 (ko) 디지털 방송 시청 중 정보 서비스 제공 시스템 및 그방법
JP2007013364A (ja) コンテンツ視聴システム及びコンテンツの視聴方法
EP1386238A2 (en) Portable terminal, overlay output method, and program therefor
JP3755817B2 (ja) 携帯端末、出力方法、プログラム、及びその記録媒体
KR101638957B1 (ko) 디스플레이장치 및 그의 방송예약방법
KR101276831B1 (ko) 통신 단말기 및 통신 단말기의 배경화면 설정 방법
KR100713281B1 (ko) 감정 상태에 따른 프로그램 추천 기능을 갖는 영상표시기기및 그 제어방법
CN111182362A (zh) 视频的控制处理方法及装置
US9621837B1 (en) Methods and devices for switching between different TV program accompanying sounds
KR20070058896A (ko) 디지털 멀티미디어 방송 단말기에서 화면 캡쳐 기능을이용한 액자 이미지 생성 방법
CN113946246A (zh) 页面处理方法、装置、电子设备及计算机可读存储介质
KR100334502B1 (ko) 아날로그 방송 시청 중 정보 서비스 제공 시스템 및 그방법
KR100739372B1 (ko) 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및콘텐츠 표출 방법
JP5439535B2 (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム
KR20090006036A (ko) 데이터 재생 장치 및 방법
JP2007074165A (ja) 遠隔操作装置、携帯端末装置及び放送機器の遠隔操作方法
KR100735255B1 (ko) 디지털 오디오 방송을 제공하는 방법과 그에 따른 디지털방송 수신장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160524

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee