KR100848187B1 - 자막기능을 수행하는 서브픽쳐 제공 시스템 및 그 방법, 그서브픽쳐를 재생하기 위한 시스템 및 그 방법 - Google Patents

자막기능을 수행하는 서브픽쳐 제공 시스템 및 그 방법, 그서브픽쳐를 재생하기 위한 시스템 및 그 방법 Download PDF

Info

Publication number
KR100848187B1
KR100848187B1 KR1020050074466A KR20050074466A KR100848187B1 KR 100848187 B1 KR100848187 B1 KR 100848187B1 KR 1020050074466 A KR1020050074466 A KR 1020050074466A KR 20050074466 A KR20050074466 A KR 20050074466A KR 100848187 B1 KR100848187 B1 KR 100848187B1
Authority
KR
South Korea
Prior art keywords
image
subpicture
picture
sub
output
Prior art date
Application number
KR1020050074466A
Other languages
English (en)
Other versions
KR20070019466A (ko
Inventor
도선미
조종원
Original Assignee
도선미
주식회사 지지씨엔티
조종원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도선미, 주식회사 지지씨엔티, 조종원 filed Critical 도선미
Priority to KR1020050074466A priority Critical patent/KR100848187B1/ko
Priority to PCT/KR2006/003158 priority patent/WO2007021103A1/en
Publication of KR20070019466A publication Critical patent/KR20070019466A/ko
Application granted granted Critical
Publication of KR100848187B1 publication Critical patent/KR100848187B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4856End-user interface for client configuration for language selection, e.g. for the menu or subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

본 발명은 영상정보에 부가되어 자막기능을 수행하는 서브픽쳐를 제공하는 시스템 및 그 방법, 그리고 그 제공된 서브픽쳐를 재생하는 시스템 및 그 방법에 관한 것으로, 구체적으로 소정의 유무선단말기를 통하여 출력되는 영상에 부가되어 출력되고, 상기 영상의 자막기능을 수행하는 서브픽쳐(SUB-PICTURE)를 제공하는 서브픽쳐 제공시스템에 있어서, 상기 영상에 부가되어 출력되는 이미지와 상기 영상과 관련하여 상기 이미지가 출력되는 시간을 나타내는 동기정보를 포함하는 서브픽쳐가 저장되는 서브픽쳐 데이터베이스; 및 상기 서브픽쳐 데이터베이스에 저장되어 있는 서브픽쳐 중 상기 영상에 대응되는 서브픽쳐를 추출하여 전송하는 서브픽쳐전송부;를 포함하는 것을 특징으로 하는 서브픽쳐 제공시스템과 그 서브픽쳐 제공방법 및 그 제공된 서브픽쳐를 재생하는 시스템 및 그 방법에 관한 것이다.
본 발명에 따르면 각 단말기의 운영체제의 차이 등에 따라 자막 등이 제대로 출력되지 않는 것을 방지할 수 있고, 글자 이외의 악보, 그림 등도 자막에 표현할 수 있는 장점이 있다.
영상, 자막, 이미지

Description

자막기능을 수행하는 서브픽쳐 제공 시스템 및 그 방법, 그 서브픽쳐를 재생하기 위한 시스템 및 그 방법{System for providing sub-picture functioning as subtitle, method therefor, system and method for playing sub-picture}
도 1은 본 발명의 영상및서브픽쳐재생시스템과 전체 시스템을 설명하기 위한 개략도
도 2는 본 발명의 영상 및 서브픽쳐를 재생하는 방법을 도시한 흐름도
도 3은 본 발명의 서브픽쳐제공시스템의 구성을 도시한 블록도
도 4는 본 발명의 서브픽쳐제공시스템을 통하여 서브픽쳐를 제공하는 방법을 도시한 흐름도
본 발명은 영상정보에 부가되어 자막기능을 수행하는 서브픽쳐를 제공하는 시스템 및 그 방법, 그리고 그 제공된 서브픽쳐를 재생하는 시스템 및 그 방법에 관한 것이다.
최근 통신 기술의 발달로, 컴퓨터 단말기, 디지털 TV, 핸드폰 등 각종 유무선단말기를 통하여 영화, 다큐멘터리 등 각종 영상을 제공하는 서비스가 많이 등장 하고 있다.
이러한 영상들은 사용자가 직접 제공되는 영상의 종류 및 제공되는 시간 등을 선택할 수 있는 VOD(Video On Demand)의 방식으로 제공되기도 하고, IPTV 등과 같이 일정한 시간에 접속한 사용자들에게 일괄적으로 영상을 전송하는 방식으로 제공되기도 한다.
영화나 다큐멘터리 등의 영상에는 일반적으로 배우들의 대사, 해설자의 해설 등의 번역 내용을 알려주거나, 기타 영상과 관련된 정보를 시청자들에게 알려주기 위하여 자막이 사용된다.
이러한 자막은 전송되는 영상정보 자체에 표시될 수도 있으나, 영상과는 별도의 텍스트 파일로 영상을 저장하는 파일과 함께 전송되도록 되어 있는 것이 일반적이었다.
그러나, 텍스트 파일로 전송이 되는 경우 영상 및 자막을 수신하여 출력하는 각 유무선단말기에 설치된 운영체제(OS)에 따라 그 언어, 폰트 등의 형식이 지원되지 않는 경우가 생기고, 이럴 경우 출력되는 자막이 깨져서 제대로 보이지 않는 등의 문제가 발생할 수 있다.
즉, 인터넷 등의 발달로 어느 하나의 업체가 각 나라별로 지역사업소를 설치하지 않더라도 전 세계의 국가에 영상 제공 등의 서비스를 제공할 수 있는데, 각 나라에서 사용되는 컴퓨터, 휴대폰, 디지털TV 등의 사용자 유무선단말기에 주로 지원하는 언어, 폰트 등이 서로 다르므로 텍스트 파일로 자막 등을 제공하는 경우 화면출력에 문제가 될 수 있다.
또한, 일반적으로 영상을 제공하는 시스템에서 자막도 같이 제공하는데, 이럴 경우 여러 언어를 사용하는 사람들에게 동시에 영상을 제공하고자 하는 경우 영상을 제공하는 업자가 모든 언어에 대한 자막을 제작하여야 한다는 부담이 생기는 문제도 있다.
상기한 문제를 해결하기 위해서 본 발명에서는 영상을 제공하는 시스템과 별개의 시스템을 통하여 텍스트 파일이 아닌 이미지 파일 형식의 자막기능을 수행하는 서브픽쳐를 제공하는 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 상기한 문제를 해결하기 위해서 본 발명에서는 상기한 서브픽쳐제공시스템에서 제공하는 서브픽쳐를 수신하여 영상과 함께 재생하는 재생 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위해서 본 발명은 소정의 유무선단말기를 통하여 출력되는 영상에 부가되어 출력되고, 상기 영상의 자막기능을 수행하는 서브픽쳐(SUB-PICTURE)를 제공하는 서브픽쳐 제공시스템에 있어서, 상기 영상에 부가되어 출력되는 이미지와 상기 영상과 관련하여 상기 이미지가 출력되는 시간을 나타내는 동기정보를 포함하는 서브픽쳐가 저장되는 서브픽쳐 데이터베이스; 및 상기 서브픽쳐 데이터베이스에 저장되어 있는 서브픽쳐 중 상기 영상에 대응되는 서브픽쳐를 추출하여 전송하는 서브픽쳐전송부;를 포함하는 것을 특징으로 하는 서브픽쳐 제공시스템을 제공한다.
여기서, 상기 서브픽쳐 제공시스템은 상기 영상을 제공하는 시스템과 별개의 시스템으로 구성되는 것이 바람직하다.
또한, 상기 서브픽쳐는 사용되는 언어별로 저장되며, 상기 서브픽쳐전송부는 상기 유무선단말기의 선택에 따라 해당되는 언어의 서브픽쳐가 전송되도록 하는 것이 바람직하다.
또한, 상기 서브픽쳐에 포함되는 이미지는 글자, 악보, 이모티콘, 그림 중 적어도 하나 이상을 나타내는 이미지인 것이 바람직하다.
또한, 상기 서브픽쳐 제공시스템은 소정의 텍스트를 포함하는 입력정보를 입력받아, 상기 입력정보를 이미지로 변환하고, 상기 변환된 이미지에 상기 동기정보를 부가하여 상기 서브픽쳐를 생성하는 서브픽쳐생성부;를 더 포함하는 것이 바람직하다.
한편, 상기한 목적을 달성하기 위해서 본 발명은 소정의 유무선단말기를 통하여 출력되는 영상에 부가되어 출력되고, 상기 영상의 자막기능을 수행하는 서브픽쳐(SUB-PICTURE)를 제공하는 방법에 있어서,
상기 영상에 부가되어 출력되는 이미지와 상기 영상과 관련하여 상기 이미지가 출력되는 시간을 나타내는 동기정보를 포함하는 서브픽쳐가 저장되는 서브픽쳐 데이터베이스로부터 상기 저장되어 있는 서브픽쳐 중 상기 영상에 대응되는 서브픽쳐를 추출하는 단계; 및 상기 추출된 서브픽쳐를 전송하는 단계;를 포함하는 것을 특징으로 하는 서브픽쳐 제공방법을 제공한다.
한편, 상기한 목적을 달성하기 위해서 본 발명은 소정의 영상정보제공시스템에 접속하여 상기 영상정보제공시스템에서 전송하는 소정의 영상정보를 수신하여 출력하는 영상출력부; 및 상기 영상정보제공시스템과 별개의 시스템을 구성하는 소정의 서브픽쳐제공시스템에 접속하여 상기 영상출력부에 수신되어 출력되는 영상에 부가되어 출력되고, 상기 영상의 자막기능을 수행하며, 상기 영상에 부가되어 출력되는 이미지와 상기 영상과 관련하여 상기 이미지가 출력되는 시간을 나타내는 동기정보를 포함하는 서브픽쳐를 수신하여, 상기 영상출력부에 의해 출력되는 영상에 동기되도록 상기 수신된 서브픽쳐를 출력하는 서브픽쳐출력부;를 포함하는 것을 특징으로 하는 영상 및 서브픽쳐 재생시스템을 제공한다.
여기서, 상기 서브픽쳐출력부는 상기 영상출력부에 의해 출력되는 영상에 동기되어 출력되는 서브픽쳐 이후에 출력될 서브픽쳐를 미리 상기 서브픽쳐 제공시스템에서 수신하여 저장하는 것이 바람직하다.
또한, 상기 서브픽쳐출력부는 사용자로부터 서브픽쳐에 사용될 언어를 입력받고, 상기 입력된 언어에 대응되는 서브픽쳐의 전송을 상기 서브픽쳐 제공시스템에 요청하는 것이 바람직하다.
한편, 상기한 목적을 달성하기 위해서 본 발명은 소정의 영상정보제공시스템에 접속하여 상기 영상정보제공시스템에서 전송하는 소정의 영상정보를 수신하여 출력하는 단계; 상기 영상정보제공시스템과 별개의 시스템을 구성하는 소정의 서브픽쳐제공시스템에 접속하여 상기 영상출력부에 수신되어 출력되는 영상에 부가되어 출력되고, 상기 영상의 자막기능을 수행하며, 상기 영상에 부가되어 출력되는 이미지와 상기 영상과 관련하여 상기 이미지가 출력되는 시간을 나타내는 동기정보를 포함하는 서브픽쳐를 수신하는 단계; 및 상기 영상출력부에 의해 출력되는 영상에 동기되도록 상기 수신된 서브픽쳐를 출력하는 단계;를 포함하는 것을 특징으로 하는 영상 및 서브픽쳐 재생방법을 제공한다.
한편, 상기한 목적을 달성하기 위해서 본 발명은 상기한 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 영상및서브픽쳐재생시스템(100)과 전체 시스템을 설명하기 위한 개략도를 나타낸 것이다.
본 발명의 영상및서브픽쳐재생시스템(100)은 크게 영상출력부(110) 및 서브픽쳐출력부(120)를 포함하여 구성된다.
영상출력부(110)는 소정의 영상정보제공시스템(200)에 접속하여 영상정보제공시스템(200)으로부터 사용자가 보고자 하는 영상을 제공받아 이를 화면상에 출력한다.
영상출력부(110)에서 수행되는 기능은 VOD를 출력하기 위한 일반적인 재생시스템에 의하여 수행되는 기능과 유사하므로 여기서는 구체적인 설명은 생략한다.
서브픽쳐출력부(120)는 영상정보제공시스템(200)과는 별개의 시스템을 구성하는 서브픽쳐제공시스템(300)에 접속하여 영상출력부(110)에 의해 출력되는 영상에 대응되는 서브픽쳐를 수신하여 이를 출력되는 영상과 동기를 맞추어 출력한다.
본 발명에서 서브픽쳐(SUB-PICTURE)란 일반적인 자막기능을 수행하는 부분으로, 종래의 텍스트 형식의 자막과 달리 *.bmp, *.jpg, *.gif 등 이미지 형식으로 작성된 것을 의미한다.
본 발명에서는 텍스트 형식이 아닌 이미지 형식의 파일로 자막기능을 수행할 수 있게 함으로써 종래 사용자 단말기의 운영체제 등에 따라서 글자가 깨지는 등의 문제를 해결할 수 있게 되었으며, 또한 기존의 텍스트로는 표현이 불가능했던 악보, 이모티콘, 그림 등을 이용하여서도 자막의 기능을 수행할 수 있게 되었다.
본 발명에서 서브픽쳐제공시스템(300)을 통하여 제공되는 서브픽쳐는 영상출력부(110)에서 출력되는 영상에 부가되어 자막기능을 수행하는 이미지와 그 이미지가 출력되어야 하는 시간을 나타내는 동기정보가 포함된다.
여기서, 동기정보는 다양한 형식으로 삽입될 수 있다. 예를 들어, 해당되는 영상의 각 화면이 출력되는 시간을 나타내는 타임코드 중 해당되는 이미지가 출력되는 시작점과 종료점의 타임코드를 각 이미지의 동기정보로 사용하는 방식이 가능하다.
서브픽쳐출력부(120)는 자체 내에 서브픽쳐를 제공하는 서브픽쳐제공시스템(300)의 주소를 저장하고 있어서, 영상정보제공시스템(200)으로부터 영상을 전송받을 때 자체적으로 내장된 주소를 이용하여 서브픽쳐제공시스템(300)에 접속하여 전송받는 영상에 대응되는 서브픽쳐를 수신할 수 있다.
또한, 서브픽쳐출력부(120)는 영상정보제공시스템(200) 또는 별도의 서브픽쳐제공시스템의 주소정보를 제공하는 시스템으로부터, 영상정보제공시스템(200)으로부터 전송되는 영상의 서브픽쳐가 저장된 서브픽쳐제공시스템(300)의 주소 정보를 수신하고, 이를 이용하여 서브픽쳐제공시스템(300)에 접속할 수도 있다.
하나의 서브픽쳐제공시스템은 모든 언어의 서브픽쳐를 제공할 수도 있지만, 어느 하나의 언어나 일부의 언어에 관한 서브픽쳐만을 제공하고, 다른 언어는 다른 서브픽쳐제공시스템에 의해 제공되도록 할 수 있다.
예를 들어, A라는 영화의 한국어 번역은 a 서브픽쳐제공시스템이 제공하고, 일본어 번역은 b 서브픽쳐제공시스템이 제공하고, 중국어 번역은 c 서브픽쳐제공시스템이 제공할 수 있다.
이럴 경우 서브픽쳐출력부(120)는 자체적으로 a, b, c 서브픽쳐제공시스템의 주소정보를 모두 가지고 있을 수도 있고, 혹은 영상정보제공시스템(200) 또는 별도의 서브픽쳐제공시스템의 주소정보를 제공하는 시스템으로부터 모든 서브픽쳐제공시스템의 주소를 수신한 후, 사용자가 선택한 언어에 따라 해당되는 언어의 서브픽쳐를 제공하는 서브픽쳐제공시스템(300)에 접속하여 서브픽쳐를 수신할 수도 있다.
또는, 사용자로부터 먼저 언어의 선택을 받은 후 영상정보제공시스템(200) 또는 별도의 서브픽쳐제공시스템의 주소정보를 제공하는 시스템으로부터 해당되는 언어의 서브픽쳐를 제공하는 서브픽쳐제공시스템의 주소를 수신한 후, 이를 이용하여 해당되는 서브픽쳐제공시스템(300)에 접속하여 해당되는 언어의 서브픽쳐를 요청하여 이를 수신할 수도 있다.
이렇게 함으로써 영상을 제공하는 영상정보제공시스템(200)은 자체적으로 번역 등을 할 필요 없이 각 언어로 된 자막기능을 제공하는 서브픽쳐제공시스템(300)과의 연계를 통하여 전 세계를 대상으로 서비스를 제공할 수 있게 되는 장점이 있다.
한편, 본 발명의 영상및서브픽쳐재생시스템(100)은 별개의 영상정보제공시스템(200) 및 서브픽쳐제공시스템(300)으로부터 데이터를 전송받기 때문에 각 시스템으로부터 데이터가 전송되는 경로에 위치한 네트워크의 혼잡도와 각 시스템에 걸리는 부하에 따라 양 시스템에서 전송되는 데이터의 동기가 맞지 않을 가능성이 있다.
일반적으로, 영상정보의 데이터 양이 더 많기 때문에 서브픽쳐의 수신이 지연되는 경우보다는 영상정보의 수신이 지연되는 경우가 더 많을 것이고, 이럴 경우 영상정보의 수신 자체의 문제 때문에 영상의 재생이 지연되는 경우가 발생할 수는 있어도 서브픽쳐의 수신을 기다리기 위해서 수신된 영상이 재생되지 않는 경우는 없을 것이므로 큰 문제가 되지 않을 것이다.
그러나, 경우에 따라서는 출력될 영상이 이미 수신이 되었는데, 해당되는 서브픽쳐의 수신이 지연되어 영상이 재생되지 않거나, 서브픽쳐의 출력 없이 영상만 재생되는 경우가 발생할 수도 있다.
이러한 점을 미연에 방지하기 위해서, 본 발명의 서브픽쳐출력부(120)는 영상출력부에 의해 출력되는 영상에 동기되어 출력되는 서브픽쳐 이후에 출력될 소정 분량의 서브픽쳐를, 예를 들어 10~15초 정도 이후에 출력될 분량 정도를 미리 서브픽쳐제공시스템에서 수신하여 저장하도록 하는 것이 바람직하다.
또한, 위와 같은 스트리밍 방식으로 서브픽쳐를 수신하지 않고, 하나의 영상 전체에 대한 서브픽쳐 전부를 한번에 수신하여 램 등에 저장하는 방식으로 서브픽쳐를 수신할 수도 있다.
한편, 도 1에서는 영상출력부(110)에 의해 출력되는 화면과 서브픽쳐출력부(120)에 의해 출력되는 화면이 별개의 화면으로 구성되도록 도시하였으나, 반드시 이에 한정되지는 않는다.
영상출력부(110)에 의해 출력되는 화면과 서브픽쳐출력부(120)에 의해 출력되는 화면이 별개의 화면으로 구성되도록 하는 경우, 출력되는 화면을 TV 등으로 하는 경우 영상만 출력되고 자막기능을 수행하는 서브픽쳐는 출력되지 않아, 영상 출력을 TV 등을 통하여 되도록 하고, 이를 비디오나 DVD 등으로 녹화하여 불법 복제하는 것을 방지할 수 있는 장점이 있다.
그러나, 본 발명의 보호범위는 반드시 이에 한정되는 것은 아니고, 서브픽쳐출력부(120)에 의해 출력되는 화면이 영상출력부(110)에 의해 출력되는 화면에 겹치도록 할 수도 있다. 화면이 겹치도록 하는 경우 글자 등 의미를 담고 있는 부분 이외의 배경색을 투명색으로 출력되도록 하면 영상을 가리지 않고 서브픽쳐가 출력되도록 할 수 있다.
도 2는 본 발명의 영상 및 서브픽쳐를 재생하는 방법을 도시한 흐름도이다.
먼저, 사용자는 웹브라우저를 통하여 또는 본 발명의 영상및서브픽쳐재생시스템(100)을 통하여 영상 등을 제공하는 서비스업체의 홈페이지에 접속하여 자신이 보고자 하는 영상을 선택한다(201).
이 단계는 VOD의 방식으로 컴퓨터나 모바일폰 등에 영상을 제공하는 경우에는 필수적인 단계가 될 것이나, IPTV 등과 같이 정해진 시간에 정해진 영상물을 제공하는 서비스를 이용하는 경우에는 수행되지 않는 단계가 될 것이다.
다음으로, 사용자는 서브픽쳐로 출력될 언어를 선택한다(202).
언어가 선택되면 서브픽쳐출력부(120)는 자체적으로 보유하는 주소정보에 따라 선택된 언어의 서브픽쳐를 제공하는 서브픽쳐제공시스템(300)에 접속할 수도 있고, 영상정보제공시스템(200) 또는 별도의 서브픽쳐제공시스템의 주소정보를 제공하는 시스템으로부터 선택된 영상의 서브픽쳐가 저장된 서브픽쳐제공시스템(300)의 주소 정보를 수신하고, 이를 이용하여 서브픽쳐제공시스템(300)에 접속할 수도 있음은 이미 살펴본 바와 같다.
또한, 다른 시스템으로부터 주소정보를 수신하는 경우 언어의 선택을 받는 단계와 주소정보를 수신하는 단계는 서로 그 순서가 바뀔 수 있음도 이미 살펴본 바와 같다.
이렇게 영상 및 언어의 선택이 끝나면, 영상출력부(110)는 선택된 영상을 제공하는 영상정보제공시스템(200)에 접속하여 해당되는 영상을 출력하고(203), 서브픽쳐출력부(120)는 해당되는 언어의 서브픽쳐를 제공하는 서브픽쳐제공시스템(300)에 접속하여 서브픽쳐를 수신하여 출력되는 영상에 동기되도록 수신된 서브픽쳐를 출력한다(204).
이 때, 서브픽쳐출력부(120)는 영상출력부에 의해 출력되는 영상에 동기되어 출력되는 서브픽쳐 이후에 출력될 소정 분량의 서브픽쳐를 미리 서브픽쳐제공시스템에서 수신하여 저장할 수 있음은 앞에서 살펴본 바와 같다.
도 3은 본 발명의 서브픽쳐제공시스템(300)의 구성을 도시한 블록도이다.
본 발명의 서브픽쳐제공시스템(300)은 서브픽쳐생성부(310), 서브픽쳐 데이 터베이스(320) 및 서브픽쳐전송부(330)를 포함하여 구성된다.
서브픽쳐생성부(310)는 서브픽쳐를 서브픽쳐제공시스템(300) 자체적으로 생성하는 경우에 필요한 구성요소이며, 서브픽쳐생성부(310) 없이 별도의 시스템을 통하여 생성된 서브픽쳐를 제공받을 수도 있다.
서브픽쳐생성부(310)는 소정의 글자로 구성된 텍스트, 악보, 이모티콘, 그림 등의 자막의 기능을 수행하기 위한 각종정보를 입력받아 이를 이미지로 변환하고, 이 변환된 이미지에 영상과 동기를 맞추기 위한 동기정보를 부가하여 서브픽쳐를 생성한다.
서브픽쳐 데이터베이스(320)는 서브픽쳐생성부(310)를 통하여 생성된 서브픽쳐 또는 별개의 시스템을 통하여 생성된 서브픽쳐를 제공받아 이를 저장한다. 본 발명의 서브픽쳐제공시스템(300)이 동일한 영상에 대하여 복수개의 언어로 된 서브픽쳐를 제공하는 경우 서브픽쳐 데이터베이스(320)에는 각 언어별로 서브픽쳐가 저장된다.
서브픽쳐전송부(330)는 서브픽쳐제공시스템(300)의 접속을 받아 서브픽쳐 데이터베이스(320)에 저장되어 있는 서브픽쳐 중 요청되는 언어의 서브픽쳐를 전송한다.
도 4는 본 발명의 서브픽쳐제공시스템(300)을 통하여 서브픽쳐를 제공하는 방법을 도시한 흐름도이다.
먼저, 서브픽쳐생성부(310)는 소정의 글자로 구성된 텍스트, 악보, 이모티콘, 그림 등의 자막의 기능을 수행하기 위한 각종정보를 입력받아 이를 이미지로 변환하고, 이 변환된 이미지에 영상과 동기를 맞추기 위한 동기정보를 부가하여 서브픽쳐를 생성한다(401). 이 생성된 서브픽쳐는 서브픽쳐 데이터베이스(320)에 저장되게 된다.
서브픽쳐전송부(330)는 영상및서브픽쳐재생시스템(100)의 서브픽쳐출력부(120)로부터 영상에 관한 정보(402)와 서브픽쳐에 사용될 언어에 관한 정보(403)를 수신하면, 서브픽쳐 데이터베이스(320)에서 해당되는 서브픽쳐를 추출하여(404), 접속된 사용자의 영상및서브픽쳐재생시스템(100)에 전송한다(405).
이 때, 서브픽쳐전송부(330)가 서브픽쳐를 전송할 때 영상출력부(110)에 의해 출력되는 영상에 동기되어 출력되는 서브픽쳐 이후에 출력될 소정 분량의 서브픽쳐를 미리 영상및서브픽쳐재생시스템(100)에 전송할 수 있음은 앞에서 살펴본 바와 같다.
본 발명의 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면 이미지 형태로 자막기능이 수행되는 파일이 전송되도록 함으로써 각 단말기의 운영체제의 차이 등에 따라 자막 등이 제대로 출력되지 않는 것을 방지할 수 있고, 글자 이외의 악보, 그림 등도 자막에 표현할 수 있는 장점이 있다.
또한, 영상정보를 제공하는 시스템과 서브픽쳐를 제공하는 시스템을 별개의 시스템으로 구성함으로써 영상을 제공하는 업자가 모든 언어의 서브픽쳐를 제작하여야만 전 세계에 서비스를 제공할 수 있는 제약을 없애는 장점이 있다.

Claims (16)

  1. 소정의 유무선단말기를 통하여 출력되는 영상에 부가되어 출력되고, 상기 영상의 자막기능을 수행하는 서브픽쳐(SUB-PICTURE)를 제공하는 서브픽쳐 제공시스템에 있어서,
    상기 영상에 부가되어 출력되는 이미지와 상기 영상과 관련하여 상기 이미지가 출력되는 시간을 나타내는 동기정보를 포함하는 서브픽쳐가 저장되는 서브픽쳐 데이터베이스; 및
    상기 서브픽쳐 데이터베이스에 저장되어 있는 서브픽쳐 중 상기 영상에 대응되는 서브픽쳐를 추출하여 네트워크를 통해서 상기 단말기에 전송하는 서브픽쳐전송부;를 포함하는 것을 특징으로 하는 서브픽쳐 제공시스템.
  2. 제1항에 있어서, 상기 서브픽쳐 제공시스템은 상기 영상을 제공하는 시스템과 별개의 시스템으로 구성되는 것을 특징으로 하는 서브픽쳐 제공시스템.
  3. 제1항에 있어서, 상기 서브픽쳐는 사용되는 언어별로 저장되며,
    상기 서브픽쳐전송부는 상기 유무선단말기의 선택에 따라 해당되는 언어의 서브픽쳐가 전송되도록 하는 것을 특징으로 하는 서브픽쳐 제공시스템.
  4. 제1항에 있어서, 상기 서브픽쳐에 포함되는 이미지는 글자, 악보, 이모티콘, 그림 중 적어도 하나 이상을 나타내는 이미지인 것을 특징으로 하는 서브픽쳐 제공시스템.
  5. 제1항에 있어서, 상기 서브픽쳐 제공시스템은
    소정의 텍스트를 포함하는 입력정보를 입력받아, 상기 입력정보를 이미지로 변환하고, 상기 변환된 이미지에 상기 동기정보를 부가하여 상기 서브픽쳐를 생성하는 서브픽쳐생성부;를 더 포함하는 것을 특징으로 하는 서브픽쳐 제공시스템.
  6. 소정의 유무선단말기를 통하여 출력되는 영상에 부가되어 출력되고, 상기 영상의 자막기능을 수행하는 서브픽쳐(SUB-PICTURE)를 제공하는 방법에 있어서,
    상기 영상에 부가되어 출력되는 이미지와 상기 영상과 관련하여 상기 이미지가 출력되는 시간을 나타내는 동기정보를 포함하는 서브픽쳐가 저장되는 서브픽쳐 데이터베이스로부터 상기 저장되어 있는 서브픽쳐 중 상기 영상에 대응되는 서브픽쳐를 추출하는 단계; 및
    상기 추출된 서브픽쳐를 네트워크를 통해서 상기 단말기에 전송하는 단계;를 포함하는 것을 특징으로 하는 서브픽쳐 제공방법.
  7. 제6항에 있어서, 상기 서브픽쳐 제공방법은
    상기 영상을 시청하는 사용자가 선택한 언어에 관한 정보를 수신하는 단계;를 더 포함하고,
    상기 데이터베이스에 저장되는 서브픽쳐는 사용되는 언어별로 저장되며,
    상기 서브픽쳐를 추출하는 단계는 상기 사용자가 선택한 언어에 해당되는 서브픽쳐를 추출하는 것을 특징으로 하는 서브픽쳐 제공방법.
  8. 제6항에 있어서, 상기 서브픽쳐에 포함되는 이미지는 글자, 악보, 이모티콘, 그림 중 적어도 하나 이상을 나타내는 이미지인 것을 특징으로 하는 서브픽쳐 제공방법.
  9. 제6항에 있어서, 상기 서브픽쳐 제공방법은
    소정의 텍스트를 포함하는 입력정보를 입력받아, 상기 입력정보를 이미지로 변환하고, 상기 변환된 이미지에 상기 동기정보를 부가하여 상기 서브픽쳐를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 서브픽쳐 제공방법.
  10. 네트워크를 통하여 소정의 영상정보제공시스템에 접속하여 상기 영상정보제공시스템에서 전송하는 소정의 영상정보를 수신하여 출력하는 영상출력부; 및
    상기 영상정보제공시스템과 별개의 시스템을 구성하는 소정의 서브픽쳐제공시스템에 네트워크를 통하여 접속하여 상기 영상출력부에 수신되어 출력되는 영상에 부가되어 출력되고, 상기 영상의 자막기능을 수행하며, 상기 영상에 부가되어 출력되는 이미지와 상기 영상과 관련하여 상기 이미지가 출력되는 시간을 나타내는 동기정보를 포함하는 서브픽쳐를 수신하여, 상기 영상출력부에 의해 출력되는 영상에 동기되도록 상기 수신된 서브픽쳐를 출력하는 서브픽쳐출력부;를 포함하는 것을 특징으로 하는 영상 및 서브픽쳐 재생시스템.
  11. 제10항에 있어서, 상기 서브픽쳐출력부는
    상기 영상출력부에 의해 출력되는 영상에 동기되어 출력되는 서브픽쳐 이후에 출력될 서브픽쳐를 미리 상기 서브픽쳐 제공시스템에서 수신하여 저장하는 것을 특징으로 하는 영상 및 서브픽쳐 재생시스템.
  12. 제10항에 있어서, 상기 서브픽쳐출력부는
    사용자로부터 서브픽쳐에 사용될 언어를 입력받고, 상기 입력된 언어에 대응되는 서브픽쳐의 전송을 상기 서브픽쳐 제공시스템에 요청하는 것을 특징으로 하는 영상 및 서브픽쳐 재생시스템.
  13. 네트워크를 통하여 소정의 영상정보제공시스템에 접속하여 상기 영상정보제공시스템에서 전송하는 소정의 영상정보를 수신하여 출력하는 단계;
    상기 영상정보제공시스템과 별개의 시스템을 구성하는 소정의 서브픽쳐제공시스템에 네트워크를 통하여 접속하여 영상출력부에 수신되어 출력되는 영상에 부가되어 출력되고, 상기 영상의 자막기능을 수행하며, 상기 영상에 부가되어 출력되는 이미지와 상기 영상과 관련하여 상기 이미지가 출력되는 시간을 나타내는 동기정보를 포함하는 서브픽쳐를 수신하는 단계; 및
    상기 영상출력부에 의해 출력되는 영상에 동기되도록 상기 수신된 서브픽쳐를 출력하는 단계;를 포함하는 것을 특징으로 하는 영상 및 서브픽쳐 재생방법.
  14. 제13항에 있어서, 상기 서브픽쳐를 수신하는 단계는
    상기 영상출력부에 의해 출력되는 영상에 동기되어 출력되는 서브픽쳐 이후에 출력될 서브픽쳐를 미리 상기 서브픽쳐 제공시스템에서 수신하여 저장하는 것을 특징으로 하는 영상 및 서브픽쳐 재생방법.
  15. 제13항에 있어서, 상기 영상 및 서브픽쳐 재생방법은
    사용자로부터 서브픽쳐에 사용될 언어를 입력받는 단계; 및
    상기 입력된 언어에 대응되는 서브픽쳐의 전송을 상기 서브픽쳐 제공시스템에 요청하는 단계;를 더 포함하는 것을 특징으로 하는 영상 및 서브픽쳐 재생방법.
  16. 제13항 내지 제15항 중 어느 한 항에 기재된 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020050074466A 2005-08-12 2005-08-12 자막기능을 수행하는 서브픽쳐 제공 시스템 및 그 방법, 그서브픽쳐를 재생하기 위한 시스템 및 그 방법 KR100848187B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050074466A KR100848187B1 (ko) 2005-08-12 2005-08-12 자막기능을 수행하는 서브픽쳐 제공 시스템 및 그 방법, 그서브픽쳐를 재생하기 위한 시스템 및 그 방법
PCT/KR2006/003158 WO2007021103A1 (en) 2005-08-12 2006-08-11 System for providing sub-picture functioning as subtitle, method therefor, system and method for playing sub-picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050074466A KR100848187B1 (ko) 2005-08-12 2005-08-12 자막기능을 수행하는 서브픽쳐 제공 시스템 및 그 방법, 그서브픽쳐를 재생하기 위한 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20070019466A KR20070019466A (ko) 2007-02-15
KR100848187B1 true KR100848187B1 (ko) 2008-07-23

Family

ID=37757738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050074466A KR100848187B1 (ko) 2005-08-12 2005-08-12 자막기능을 수행하는 서브픽쳐 제공 시스템 및 그 방법, 그서브픽쳐를 재생하기 위한 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR100848187B1 (ko)
WO (1) WO2007021103A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123090B2 (en) 2016-08-24 2018-11-06 International Business Machines Corporation Visually representing speech and motion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175113A (ja) * 1997-08-29 1999-03-16 Toshiba Corp 動画表示システム
KR20020063593A (ko) * 2000-11-02 2002-08-03 유겐가이샤 후지야마 디지탈 영상 콘텐츠의 배신 시스템 및 재생 방법 및 그재생 프로그램을 기록한 기록 매체
KR20030060079A (ko) * 2002-01-04 2003-07-12 이철희 문자정보 별도표시 수단을 갖는 영상표시 장치
KR20050032461A (ko) * 2003-10-01 2005-04-07 삼성전자주식회사 텍스트 기반의 자막 정보를 포함하는 저장 매체, 재생장치 및 그 재생 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175113A (ja) * 1997-08-29 1999-03-16 Toshiba Corp 動画表示システム
KR20020063593A (ko) * 2000-11-02 2002-08-03 유겐가이샤 후지야마 디지탈 영상 콘텐츠의 배신 시스템 및 재생 방법 및 그재생 프로그램을 기록한 기록 매체
KR20030060079A (ko) * 2002-01-04 2003-07-12 이철희 문자정보 별도표시 수단을 갖는 영상표시 장치
KR20050032461A (ko) * 2003-10-01 2005-04-07 삼성전자주식회사 텍스트 기반의 자막 정보를 포함하는 저장 매체, 재생장치 및 그 재생 방법

Also Published As

Publication number Publication date
WO2007021103A1 (en) 2007-02-22
KR20070019466A (ko) 2007-02-15

Similar Documents

Publication Publication Date Title
KR100571347B1 (ko) 사용자 선호도 기반의 멀티미디어 컨텐츠 서비스 시스템과방법 및 그 기록 매체
US8732783B2 (en) Apparatus and method for providing additional information using extension subtitles file
US7376338B2 (en) Information storage medium containing multi-language markup document information, apparatus for and method of reproducing the same
KR101161702B1 (ko) 오디오 비디오 데이터 스트림의 자막을 네비게이팅하는 방법 및 장치
TWI332358B (en) Media player apparatus and method thereof
US8161518B2 (en) Contents distribution system and distribution server and display terminal of contents distribution system
US20080150964A1 (en) Method and apparatus for displaying content
JP2005521346A (ja) 多言語のクローズドキャプション
RU2004115389A (ru) Интерактивное видеооборудование и способ наложения титров на изображение с помощью этого оборудования
JP6399725B1 (ja) テキストコンテンツ生成装置、送信装置、受信装置、およびプログラム
JPWO2006048963A1 (ja) 字幕付き静止画コンテンツ作成装置、字幕付き静止画コンテンツ作成プログラム及び字幕付き静止画コンテンツ作成システム
JP2003337644A (ja) 電子機器装置、プログラム、プログラム提供装置及び記録媒体
KR20120005929A (ko) 데이터 구조, 기록 매체, 재생 장치 및 재생 방법, 및 프로그램
KR101396362B1 (ko) 녹화 기기의 상세 정보 제공 방법 및 장치
WO2010119814A1 (ja) データ構造、記録媒体、再生装置および再生方法、並びにプログラム
JPWO2014171473A1 (ja) サーバ装置、クライアント装置、コンテンツ配信方法およびコンピュータプログラム
KR100848187B1 (ko) 자막기능을 수행하는 서브픽쳐 제공 시스템 및 그 방법, 그서브픽쳐를 재생하기 위한 시스템 및 그 방법
US8311803B2 (en) Method and device for providing display of E-manual in a specific language in display device
WO2014196457A1 (ja) 字幕付きコンテンツ再生装置
KR20050031847A (ko) 복수의 재생경로를 가지는 동영상 데이터에 대한 텍스트기반의 자막 정보가 기록된 저장 매체, 재생 장치 및 그재생 방법
JP4882687B2 (ja) 録画番組管理装置
KR100671147B1 (ko) 명장면 체험 서비스 장치 및 그 방법
JPH10271439A (ja) 動画像表示システムおよび動画データ記録方法
JP4834233B2 (ja) 信号処理装置及び方法、記録媒体
EP3554092A1 (en) Video system with improved caption display

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120713

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130717

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee