KR20110118518A - 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체 - Google Patents

주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체 Download PDF

Info

Publication number
KR20110118518A
KR20110118518A KR1020100038163A KR20100038163A KR20110118518A KR 20110118518 A KR20110118518 A KR 20110118518A KR 1020100038163 A KR1020100038163 A KR 1020100038163A KR 20100038163 A KR20100038163 A KR 20100038163A KR 20110118518 A KR20110118518 A KR 20110118518A
Authority
KR
South Korea
Prior art keywords
game image
runner
base
image
baseball
Prior art date
Application number
KR1020100038163A
Other languages
English (en)
Other versions
KR101164895B1 (ko
Inventor
송지을
Original Assignee
송지을
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 송지을 filed Critical 송지을
Priority to KR1020100038163A priority Critical patent/KR101164895B1/ko
Publication of KR20110118518A publication Critical patent/KR20110118518A/ko
Application granted granted Critical
Publication of KR101164895B1 publication Critical patent/KR101164895B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/02—Arrangements for relaying broadcast information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

야구장의 내야를 촬영한 영상으로부터 주자의 관점에서 바라보는 경기 영상을 생성하는 주자관점의 야구경기 영상 생성 장치, 시스템 및 그 방법의 기록매체에 있어서, 베이스 지점을 촬영하는 촬영장치로부터 경기 영상을 수신하되, 경기 영상은 2개의 베이스를 잇는 직선 방향으로 촬영되는 경기영상 수신부; 주자의 이동위치를 수신하는 주자위치 수신부; 및 주자의 이동위치에 따라 경기 영상의 화상크기를 조절하는 경기영상 조절부를 포함 구성을 마련한다.
상기와 같은 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체에 의하여, 야구 경기장의 상황을 주자의 관점에서 바라본 영상으로 생성하여 방송함으로써 시청자들이 주자관점에서 보다 생동감 있는 경기 영상을 시청할 수 있다.

Description

주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체 { A system producing a playing image in runner's views for the baseball game broadcasting and the recording medium thereof }
본 발명은 야구장의 내야를 촬영한 영상으로부터 주자의 관점에서 바라보는 경기 영상을 생성하는 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체에 관한 것이다.
특히, 본 발명은 주자의 이동위치에 따라 카메라의 줌을 조절하거나 경기 영상 자체의 크기를 조절함으로써 경기영상의 화상크기를 조절하는 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체에 관한 것이다.
일반적으로, 스포츠 경기 중계방송이라 함은 운동 경기가 열리는 현장에서 다수의 중계 요원과 중계 장비를 통해 스포츠 경기의 진행 상황을 방송국으로 전송하고, 방송국은 일반 사용자가 보유한 텔레비전, 라디오 등의 방송 수신 장치를 통해 스포츠 경기 진행 상황을 알려주는 것이다.
텔레비전을 통해 스포츠 경기를 중계방송 하는 경우, 스포츠 경기를 중계방송 하는 과정에서 경기장의 크기와 경기 특성으로 인하여 경기장 전체를 여러 대의 카메라를 요소요소에 배치 촬영하여 필요 화면을 방영하고 있다. 따라서 시청자들은 방송사에서 결정한 화면을 선택의 여지 없이 볼 수 밖에 없다.
특히, 실제의 야구 경기를 중계 방송할 때에는 대부분 공이 있는 장소의 부분만을 촬영하여 그 화면만을 중계해준다. 따라서 이러한 화면만으로는 전체적인 선수들의 위치나 움직임을 파악하기 힘들다.
상기와 같은 문제점을 해결하고자 시청자가 원하는 관람시점을 임의로 선택하여 볼 수 있는 기술이 [한국공개특허 제2001-0074508호(2001.08.04.공개), "스포츠 경기의 가상시야를 생성하기 위한 방법 및 장치"](이하 선행기술 1)에 제시되고 있다. 상기 선행기술 1은 스포츠 경기장 주변의 중요위치에 위치된 미리 선택된 다수의 카메라로부터 원 2차원 비디오 데이터를 수신하고, 상기 원 2차원 데이터로부터 각 스포츠 선수 등의 신체상태를 이미지 처리하여 선수 위치정보와 비쥬얼 모델을 생성한다. 이를 이용하여, 시청자가 원하는 가상시야(임의의 선택된 시점에서의 영상)를 생성하고 원격의 시청자에게 가상시야 이미지를 전송하는 기술을 제시하고 있다. 한편, 상기 선행기술 1은 카메라 위치, 범위, 포커스 및, 줌을 변경하고, 스포츠 경기에 대한 처리된 데이터를 저장하기 위해 보조 시스템 등도 포함하고 있다.
한편, 야구 경기의 중계방송은 대부분 제3자적인 관점에서 촬영된 영상들이 방영된다. 즉, 중계방송들은 경기장 밖 관람객 입장에서 바라본 경기를 영상에 담아 방송한다. 그러나 경기장 밖에서 관람객이 경기를 바라보는 것과 경기장 내에서 선수들이 경기를 바라보는 것은 매우 다르다. 경기장 내에의 선수들의 관점에서 경기를 시청한다면 시청자들은 자신이 마치 선수와 된 것과 같은 가상 현실감을 느낄 수 있을 것이다. 따라서 시청자들은 훨씬 박진감 있고 실감나게 영상을 시청할 수 있다.
선수의 관점에서 경기 영상을 보여주려면 선수의 위치를 알아야 한다. 선수들의 움직임을 경기 영상 이미지로부터 트래킹하는 기술은 [한국공개특허 제2007-0083575호(2007.08.24.공개), "이미지 기반 움직임 트래킹"](이하 선행기술 2) 등에 제시되고 있다.
상기 선행기술 1과 2를 응용하여, 선수 관점에서의 경기 영상을 보여줄 수 있을 것이다. 그러나 상기 선행기술 1은 2차원 비디오 데이터로부터 3차원 위치 데이터, 각 선수들의 신체 상태 등을 추출해야 하기 때문에, 많은 컴퓨터 처리작업이 요구된다. 따라서 실시간으로 처리하여 방송하기 어렵거나 고가의 컴퓨팅 장비들을 이용해야 하는 문제점들이 있다.
또한, 선행기술 2는 2차원 비디오 데이터로부터 가상시야 이미지를 생성하는 과정에서 경기장 카메라로부터 수신된 원 비디오의 실제 이미지와 다를 수도 있다. 따라서 시청자는 원하는 시점으로 경기를 시청할 수 있더라도, 경기 영상이 마치 스포츠 전자 게임 영상과 비슷한 문제점이 있다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 야구장의 내야를 촬영한 영상으로부터 간단한 처리만으로 주자의 관점에서 바라보는 경기 영상을 생성하는 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체를 제공하는 것이다.
또한, 본 발명의 목적은 주자의 이동위치에 따라 자동으로 카메라의 줌을 조절하거나 경기 영상 자체의 크기를 조절함으로써 경기영상의 화상크기를 조절하는 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체를 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 야구장의 내야를 촬영한 영상으로부터 주자의 관점에서 바라보는 경기 영상을 생성하는 주자관점의 야구경기 영상 생성 장치에 관한 것으로서, 베이스 지점을 촬영하는 촬영장치로부터 경기 영상을 수신하되, 상기 경기 영상은 2개의 베이스를 잇는 직선 방향으로 촬영되는 경기영상 수신부; 주자의 이동위치를 수신하는 주자위치 수신부; 및 상기 주자의 이동위치에 따라 상기 경기 영상의 화상크기를 조절하는 경기영상 조절부를 포함하는 것을 특징으로 한다.
또, 본 발명은 주자관점의 야구경기 영상 생성 장치에 있어서, 상기 경기영상 조절부는 상기 촬영장치의 줌을 조절하여 상기 경기 영상의 화상크기를 조절하는 것을 특징으로 한다.
또, 본 발명은 주자관점의 야구경기 영상 생성 장치에 있어서, 상기 경기영상 조절부는 다음 [수식 1]에 의해 줌의 비율 Zd을 조절하는 것을 특징으로 한다.
[수식 1]
Figure pat00001
단, Z1과 Z2는 각각 출발 베이스와 도착 베이스에서의 줌의 비율.
D는 출발 베이스와 도착 베이스의 거리.
d는 주자의 이동위치와 도착 베이스 사이의 거리.
또, 본 발명은 주자관점의 야구경기 영상 생성 장치에 있어서, 상기 경기영상 조절부는 상기 경기 영상 자체의 크기를 조절하여 상기 경기 영상의 화상크기를 조절하는 것을 특징으로 한다.
또, 본 발명은 주자관점의 야구경기 영상 생성 장치에 있어서, 상기 경기영상 조절부는 다음 [수식 2]에 의해 줌의 비율 Zd을 조절하는 것을 특징으로 한다.
[수식 2]
Figure pat00002
단, Z1과 Z2는 각각 출발 베이스와 도착 베이스에서의 줌의 비율.
D는 출발 베이스와 도착 베이스의 거리.
d는 주자의 이동위치와 도착 베이스 사이의 거리.
또, 본 발명은 주자관점의 야구경기 영상 생성 장치에 있어서, 상기 경기영상 조절부는 상기 촬영장치에 의해 촬영되는 베이스와 상기 주자의 이동위치의 거리에 반비례하여, 상기 경기 영상의 화상크기를 확대하는 것을 특징으로 한다.
또, 본 발명은 주자관점의 야구경기 영상 생성 장치에 있어서, 상기 경기영상 수신부는 홈베이스에서 1루 베이스, 1루 베이스에서 2루 베이스, 2루 베이스에서 3루 베이스, 및 3루 베이스에서 홈 베이스의 방향으로 촬영되는 경기 영상을 수신하는 것을 특징으로 한다.
또, 본 발명은 주자관점의 야구경기 영상 생성 장치에 있어서, 상기 경기영상 수신부는 홈베이스에서 3루 베이스, 3루 베이스에서 2루 베이스, 2루 베이스에서 1루 베이스의 방향으로 촬영되는 경기 영상을 더 수신하는 것을 특징으로 한다.
또, 본 발명은 주자관점의 야구경기 영상 생성 장치에 있어서, 상기 화상크기 조절부는 수신하는 다수의 경기 영상 중에서 주자가 이동하는 방향의 전후 베이스 방향으로 촬영되는 경기 영상을 선택하여 조절하는 것을 특징으로 한다.
또, 본 발명은 주자관점의 야구경기 영상 생성 장치에 있어서, 상기 경기영상 조절부는 주자의 이동위치와 베이스 위치의 거리차이가 최소 거리 이내이면 상기 베이스 지점을 촬영하는 경기 영상을 선택하여 조절하고, 상기 거리차이가 최소 거리 보다 크면 주자의 이동위치의 이동방향의 베이스 지점을 촬영하는 경기 영상을 선택하여 조절하는 것을 특징으로 한다.
또한, 본 발명은 야구장의 내야를 촬영한 영상으로부터 주자의 관점에서 바라보는 경기 영상을 생성하는 주자관점의 야구경기 영상 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로서, (a) 베이스 지점을 촬영하는 촬영장치로부터 경기 영상을 수신하되, 상기 경기 영상은 2개의 베이스를 잇는 직선 방향으로 촬영되는 단계; (b) 주자의 이동위치를 수신하는 단계; 및 (c) 상기 주자의 이동위치에 따라 상기 경기 영상의 화상크기를 조절하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 주자관점의 야구경기 영상 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서, 상기 (c)단계에서, 상기 촬영장치의 줌을 조절하여 상기 경기 영상의 화상크기를 조절하는 것을 특징으로 한다.
또, 본 발명은 주자관점의 야구경기 영상 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서, 상기 (c)단계에서, 상기 경기 영상 자체의 크기를 조절하여 상기 경기 영상의 화상크기를 조절하는 것을 특징으로 한다.
또, 본 발명은 주자관점의 야구경기 영상 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서, 상기 (c)단계에서, 상기 촬영장치에 의해 촬영되는 베이스와 상기 주자의 이동위치의 거리에 반비례하여, 상기 경기 영상의 화상크기를 확대하는 것을 특징으로 한다.
또한, 본 발명은 야구장의 내야를 촬영한 영상으로부터 주자의 관점에서 바라보는 경기 영상을 생성하는 주자관점의 야구경기 영상 생성 시스템에 관한 것으로서, 베이스 지점을 촬영하여 경기 영상을 송신하되, 2개의 베이스를 잇는 직선 방향으로 촬영되는 다수의 촬영장치; 야구장의 내야를 촬영하는 영상으로부터 선수의 이동위치를 추출하는 위치 추적장치; 및 상기 촬영장치로부터 경기 영상을 수신하고 상기 선수위치 추출장치로부터 주자의 이동위치를 수신하여, 상기 주자의 이동위치에 따라 상기 경기 영상의 화상크기를 조절하는 경기영상 생성장치를 포함하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체에 의하면, 야구 경기장의 상황을 주자의 관점에서 바라본 영상으로 생성하여 방송함으로써 시청자들이 주자관점에서 보다 생동감 있는 경기 영상을 시청할 수 있는 효과가 얻어진다.
또한, 본 발명에 따른 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체에 의하면, 주자의 이동위치에 따라 자동으로 카메라의 줌 또는 경기영상 자체 크기를 조절하여 경기 영상을 생성함으로써 원 경기 영상을 그대로 이용하여 영상 손실을 줄이고 경제적이고 빠르게 처리할 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템 구성의 일례를 도시한 도면이다.
도 2와 3은 본 발명의 일실시예에 따라 야구 경기장에 설치된 카메라의 위치를 예시한 도면이다.
도 4는 본 발명의 제1 실시예에 따른 주자관점의 야구경기 영상 생성 장치의 구성에 대한 블록도이다.
도 5는 본 발명의 제1 실시예에 따른 줌인되는 촬영장치에 의해 촬영된 이미지의 예들을 도시한 도면이다.
도 6은 본 발명의 제1 실시예에 따라 주자의 이동위치에 따라 경기 영상의 화면 크기를 점차 확대하는 일례를 도시한 도면이다.
도 7은 본 발명의 제2 실시예에 따른 주자관점의 야구경기 영상 생성 장치의 구성에 대한 블록도이다.
도 8은 본 발명의 제2 실시예에 따라 원 경기영상에서 일부분을 잘라 이미지를 확대하는 예들을 도시한 도면이다.
도 9는 본 발명의 제2 실시예에 따라 주자의 이동위치에 따라 경기 영상의 화면 크기를 점차 확대하는 일례를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 주자관점의 야구경기 영상 생성 방법을 설명하는 흐름도이다.

* 도면의 주요 부분에 대한 부호의 설명 *
11,12 : 촬영장치 20 : 네트워크
30 : 경기영상 생성장치 31 : 경기영상 수신부
32 : 주자위치 수신부 33 : 경기영상 조절부
34 : 카메라 제어모듈 35 : 경기영상 출력모듈
36 : 영상크기 확대모듈
50 : 위치추적장치 60 : 시청자 단말
81 : 베이스 82 : 주자
90 : 원 경기영상 90a,90b,90c : 원 경기영상의 일부분
91a : 확대된 영상
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템 구성의 일례를 도 1을 참조하여 설명한다.
도 1에서 도시한 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 다수의 촬영장치(11), 경기영상 생성장치(30), 위치추적장치(50), 시청자 단말(60)로 구성된다. 또, 경기영상 생성장치(30)는 방송서버(미도시)를 거쳐 네트워크(20)를 통해 시청자 단말(60)에 경기 중계 영상을 송출한다.
촬영장치(11)는 야구 경기장에 설치되어 카메라(11a~11g) 등으로서, 경기장을 촬영하여 경기 영상을 생성장치(30)에 송출한다. 촬영장치(11)는 기존 방송용 촬영 장치(12)와 별도로 설치되거나 방송용 촬영장치(12)를 이용할 수 있다. 촬영장치(11)는 여러 대로 구성될 수 있다.
도 2에서 보는 바와 같이, 촬영장치(11)는 야구 경기장(80)의 밖에 설치되되, 야구장 내야의 베이스(81a,81b,81c,81d)를 잇는 직선 상에 설치되어 베이스 지점을 초점으로 촬영한다.
제1 카메라(11a)는 홈베이스(81a)에서 1루 베이스(81b)를 잇는 직선 상에 설치되고, 1루 베이스(81b) 지점에 초점을 맞추어 촬영한다. 제2 카메라(11b)는 1루 베이스(81b)에서 2루 베이스(81c)를 잇는 직선 상에 설치되고, 2루 베이스(81c) 지점에 초점을 맞추어 촬영한다. 또, 제3 및 제4 카메라(11c,11d)는 각각 2루 베이스(81c)에서 3루 베이스(81d)와, 3루 베이스(81d)에서 홈베이스(81a)를 잇는 직선 상에 설치되고, 각각 3루 베이스(81d) 지점 및 홈베이스(81a) 지점에 초점을 맞추어 촬영한다.
상기 제1 내지 제4 카메라들은 주자의 진로 방향으로 촬영한다. 즉, 상기 카메라들은 주자의 진로방향인 홈베이스에서 1루 베이스, 1루 베이스에서 2루 베이스, 2루 베이스에서 3루 베이스, 및 3루 베이스에서 홈 베이스의 방향으로 촬영한다.
바람직하게는, 그 주자의 역 진로방향으로도 카메라를 설치한다. 즉, 도 2에서, 제5 카메라(11e)는 2루 베이스(81c)에서 1루 베이스(81b)를 잇는 직선 상에 설치되고, 1루 베이스(81b) 지점에 초점을 맞추어 촬영한다. 또, 제6 및 제7 카메라(11f,11g)는 각각 3루 베이스(81d)에서 2루 베이스(81c)와, 홈베이스(81a)에서 3루 베이스(81d)를 잇는 직선 상에 설치되고, 각각 2루 베이스(81c) 지점 및 3루 베이스(81d) 지점에 초점을 맞추어 촬영한다.
제5 내지 제7 카메라(11e,11f,11g)는 주자가 다음 베이스로 진출하려다 다시 뒤돌아 가는 경우를 촬영하기 위한 카메라들이다. 예를 들면, 주자가 다음 베이스로 진출하였으나 수비수가 타자의 공을 플라이 아웃으로 잡거나 또는 다음 베이스의 수비수가 공을 먼저 잡고 태그 준비를 하고 있는 등의 경우에는 주자는 이전 베이스로 다시 되돌아 와야 한다. 홈베이스(81)로 되돌아 것은 큰 의미가 없으므로, 1루 베이스에서 홈베이스로 촬영하는 카메라는 설치되지 않는 것이 바람직하다.
도 3에서 보는 바와 같이, 촬영장치(11)는 경기장 밖 위에서 아래 방향으로 향하여 베이스(81)를 촬영하되, 베이스(81) 사이에서 뛰는 주자(82) 보다 위쪽 뒤에서 촬영한다. 이로 인해, 주자(82)가 베이스(81) 근처에 도착하기 전에는, 촬영장치(11)가 주자(82)를 촬영하지 않는다. 주자가 베이스(81) 근처에 도착하면 머리부터 차츰 몸통까지 영상에 잡힐 것이다.
위치추적장치(50)는 경기장에서 경기를 하는 선수들의 위치를 추적하는 장치이다. 즉, 경기장 평면상의 선수 이동위치를 추출한다. 특히, 위치추적장치(50)는 주자의 이동위치를 추출한다.
주자의 이동위치 추적은 경기장을 촬영한 영상으로부터 획득할 수 있다. 경기 영상으로부터 선수의 위치를 추출하는 기술은 본 출원인이 출원한 한국특허출원 제10-2009-0094492호(2009.6.23.출원)에 보다 구체적으로 기재되어 있다. 상기 특허출원의 기술을 응용하여 주자의 이동위치를 파악할 수 있다. 또한, 앞서 배경기술에 기재된 선행기술들에서도 선수의 위치를 추출하는 기술들이 본 발명에도 적용될 수 있다.
위치추적장치(50)는 선수의 위치를 표현하는 선수 좌표를 계산하고, 경기장 좌표에 대비하여, 경기장 좌표 상에서의 선수좌표를 실시간으로 계산한다.
경기영상 생성장치(30)는 촬영장치(11)로부터 경기 영상을 전송 받아 주자의 이동위치에 따라 경기 영상의 화상크기를 조절하여 출력한다. 경기영상 생성장치(30)는 위치추적장치(50)로부터 주자의 좌표를 수신하여 이동위치를 계산한다. 또는 계산된 주자의 이동위치를 바로 수신할 수 있다. 특히, 주자의 이동위치는 경기장 모형 상의 위치이므로, 주자가 어느 베이스에서 어느 베이스로 뛰고 있는지, 베이스 사이에서의 위치가 어느 곳인지를 알 수 있다.
바람직하게는, 생성장치(30)는 주자(82)가 베이스(81)에 가까이 다가갈수록 경기 영상의 화상 크기는 커지도록 조절한다. 즉, 경기 영상이 줌인(zoom-in)된다. 이로 인해, 출력되는 영상은 주자(82)가 보는 시야에 의한 화면으로 보여지게 된다.
경기 영상의 화상크기를 조절하는 방식은 촬영장치(11)의 줌을 직접 제어하는 방식과 경기 영상 자체의 화상크기를 조절하는 방식으로 구분된다. 전자 방식에 따르면, 생성장치(30)는 주자(82)가 베이스(81)에 다가갈수록 카메라 등의 줌을 더 확대하도록 촬영장치(11)를 제어한다.
후자 방식에 따르면, 촬영장치(11)는 초점과 줌을 고정한 채 지속적으로 경기 영상을 촬영하고, 생성장치(30)는 촬영된 경기 영상을 수신하여, 주자(82)가 베이스(81)에 다가갈수록 경기 영상 자체를 확대한다.
생성장치(30)에서 출력되는 영상은 방송서버(미도시)에 보내지게 된다. 방송서버는 경기장에 설치된 다른 카메라들의 영상 또는 생성장치(30)에서 출력되는 영상들을 수신하여, 방송 편집자에 의해 그 중 어느 하나의 영상이 선택되어 방송된다.
즉, 경기영상 생성장치(30)는 생성된 경기 영상을 방송서버로부터 송출되는 중계방송 영상으로 선택되어, 방송망 등 네트워크(20)를 통해 시청자 단말(60)에 제공한다. 이때, 경기영상 생성장치(30)는 방송망 외에도 유/무선 통신망, 예를 들면 인터넷망이나 이동통신망 등을 통하여 생성된 경기 영상을 시청자 단말(60)에 제공할 수 있다.
한편, 방송서버가 인터넷 상의 웹, 또는 IPTV, 양방향 TV 등의 매체에 방송을 제공하는 경우, 동시에 다수의 경기 영상을 전송하고, 그 중 일부가 시청자에 의해 선택되어 출력될 수 있다.
또, 시청자 단말(60)은 텔레비전 등 방송 수신기, 또는, 컴퓨터, 노트북, 휴대폰 등과 같은 고정/이동 단말로서, 방송영상을 수신하여 화면에 디스플레이하는 단말이다.
이에 따라, 시청자 단말(60)을 통해 경기중계 영상을 시청하는 시청자는 중계방송 영상 중에서 생성장치(30)에서 생성된 경기 영상을 볼 수 있다. 따라서 시청자는 주자관점에서의 경기 영상을 시청할 수 있으며, 이를 통해 보다 선수 입장에서 느끼는 생동감 있는 경기를 시청할 수 있다.
다음으로, 본 발명의 제1 실시예에 따른 경기영상 생성장치를 도 4를 참조하여 설명한다.
도 4에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 경기영상 생성장치(30)는 경기영상 수신부(31), 주자위치 수신부(32), 및 경기영상 조절부(33)로 구성된다.
경기영상 수신부(31)는 베이스(81) 지점을 촬영하는 촬영장치(11)로부터 경기 영상을 수신한다. 앞서 본 바와 같이, 상기 경기 영상은 2개의 베이스를 잇는 직선 방향으로 촬영한 영상이다.
또한, 경기영상 수신부(31)는 홈베이스에서 1루 베이스, 1루 베이스에서 2루 베이스, 2루 베이스에서 3루 베이스, 및 3루 베이스에서 홈 베이스의 방향으로 촬영되는 경기 영상을 수신한다. 앞서 본 바와 같이, 상기 영상들은 제1 내지 제4 카메라(11a~11d)에 의해 촬영된 경기 영상들이다.
바람직하게는, 경기영상 수신부(31)는 홈베이스에서 3루 베이스, 3루 베이스에서 2루 베이스, 2루 베이스에서 1루 베이스의 방향으로 촬영되는 경기 영상을 더 수신한다. 상기 영상들은 제5 내지 제7 카메라(11e~11g)에 의해 촬영된 경기 영상들이다.
주자위치 수신부(32)는 주자의 이동위치를 수신한다. 위치추적장치(50)에 의해 선수 중 주자의 이동위치 좌표가 구해지고, 주자위치 수신부(32)는 위치추적장치(50)로부터 주자의 이동위치를 수신한다.
다른 실시예로서, 주자위치 수신부(32)는 주자를 촬영한 경기 영상을 수신하고 직접 주자의 이동위치 좌표를 구할 수 있다. 이 경우, 주자위치 수신부(32)는 경기 영상으로부터 선수의 이동위치를 추적하는 모듈(또는 시스템)을 더 포함할 수 있다.
도 5에서 보는 바와 같이, 경기영상 조절부(33)는 주자의 이동위치에 따라 경기 영상의 화상크기를 조절한다. 경기영상 조절부(33)는 촬영장치(11)에 의해 촬영되는 베이스(81)와 상기 주자의 이동위치의 거리에 반비례하여, 상기 경기 영상의 화상크기를 확대한다.
경기영상 조절부(33)는 촬영장치(11)의 줌을 조절하여 상기 경기 영상의 화상크기를 조절한다. 이때, 경기영상 조절부(33)는 카메라 등 촬영장치(11)를 제어할 수 있는 카메라 제어모듈(34)을 별도로 구비하고, 상기 카메라 제어모듈(34)을 제어함으로써 카메라의 줌을 조절한다.
예를 들어, 도 5a는 주자(82)가 1루 베이스(81b)에서 2루 베이스(81c)로 막 출발할 때의 초기 영상이고, 도 5b는 주자(82)가 1루 베이스(81b)에서 출발하여 2루 베이스(81c)에 도착할 때의 마지막 영상이다.
도 6에서 보는 바와 같이, 주자가 1루 베이스(81b)에서 출발하여 2루 베이스(81c)로 이동하면, 도 5a의 화면 크기(1루 베이스에서의 경기 영상의 화면 크기)에서 도 5b의 화면크기(2루 베이스에서의 경기 영상의 화면 크기)로 화면을 점점 확대해 간다.
바람직하게는, 주자의 이동위치에 따른 줌의 비율 Zd은 다음 [수학식 1]에서 보는 바와 같다.
[수학식 1]
Figure pat00003
단, Z1과 Z2는 각각 출발 베이스와 도착 베이스에서의 줌의 비율.
D는 출발 베이스와 도착 베이스의 거리.
d는 주자의 이동위치와 도착 베이스 사이의 거리.
한편, 경기영상 조절부(33)는 수신된 경기영상을 그대로 출력한다. 경기영상 조절부(33)는 경기영상을 출력하기 위한 경기영상 출력모듈(35)을 포함하여 구성된다.
또한, 경기영상 조절부(33)는 수신하는 다수의 경기 영상 중에서 주자(82)가 이동하는 방향의 전후 베이스(81) 방향으로 촬영되는 경기 영상을 선택하여 조절한다. 예를 들어, 주자가 홈베이스(81a)에서 1루 베이스(81b)를 뛸 때에는, 경기영상 조절부(33)는 제1 카메라(11a)로부터 수신되는 경기 영상을 선택하고, 제1 카메라(11a)의 줌을 조절한다.
마찬가지로, 주자가 홈베이스(81a)에서 1루 베이스(81b)에서 2루 베이스(81c), 2루 베이스(81c)에서 3루 베이스(81d), 및 3루 베이스(81d)에서 홈 베이스(81a)의 방향으로 뛰면, 경기영상 조절부(33)는 각각 제2 내지 제4 카메라(11a)로부터 수신되는 경기 영상을 선택하고, 선택한 카메라의 줌을 조절한다.
따라서 주자(82)가 3루타를 쳐서 3루 베이스(81d)까지 진출하면, 1루 베이스(81b) 및 2루 베이스(81c)를 지나는 동안, 경기 영상은 제1 내지 제3 카메라(81a,81b,81c)가 촬영된 영상들이 순차적으로 선택되어 줌비율이 확대된다. 경기영상이 바뀌는 순간은 각각 1루 베이스(81b) 및 2루 베이스(81c)를 돌아 나가는 시점이다.
한편, 경기영상 조절부(33)는 주자의 이동위치와 베이스 위치의 거리차이가 최소 거리 이내이면 상기 베이스 지점을 촬영하는 경기 영상을 선택하여 조절하고, 상기 거리차이가 최소 거리 보다 크면 주자의 이동위치의 이동방향의 베이스 지점을 촬영하는 경기 영상을 선택하여 조절한다.
주자(82)들이 베이스(81)에서 머무는 경우, 주자 관점의 경기 영상을 보여줄 필요 없다. 오히려 주자(82)가 머무는 베이스(81)의 영상을 보내주는 것이 바람직하다. 따라서 주자의 이동위치가 베이스(81)에서 일정한 거리(최소 거리)를 벗어나는 경우, 다음 베이스(81)를 촬영한 경기 영상으로 전환하고, 그 영상의 화면크기를 조절한다.
다음으로, 본 발명의 제2 실시예에 따른 경기영상 생성장치를 도 7을 참조하여 설명한다. 이하에서 제2 실시예가 제1 실시예와 동일한 부분은 생략한다. 따라서 제2 실시예의 설명에서 생략된 부분은 제1 실시예를 참조한다.
도 7에서 보는 바와 같이, 본 발명의 제2 실시예에 따른 경기영상 생성장치(30)는 경기영상 수신부(31), 주자위치 수신부(32), 및 경기영상 조절부(33)로 구성된다.
경기영상 수신부(31)는 베이스(81) 지점을 촬영하는 촬영장치(11)로부터 경기 영상을 수신한다. 이때 경기 영상은 2개의 베이스를 잇는 직선 방향으로 촬영한 영상이되, 경기 영상의 초점은 뒤에 위치한 베이스 지점에 맞추어진다. 특히, 경기 영상의 줌 비율(또는 크기)은 고정된다.
그리고 경기영상 조절부(33)는 상기 경기 영상 자체의 크기를 조절하여 상기 경기 영상의 화상크기를 조절한다. 경기 영상의 크기를 확대하기 위한 영상크기 확대모듈(36)을 별도로 구비하고, 상기 영상크기 확대모듈(36)을 제어함으로써 화면 크기를 조절한다.
예를 들어, 경기영상 수신부(31)는 도 8의 위에 도시된 경기 영상(90)과 같이, 항상 고정된 크기의 영상을 수신한다. 이 경기 영상(90)에서 영상 초점을 중심으로 일부분(90a)을 자르고, 잘려진 경기 영상의 일부분(90a)을 경기영상의 원래 크기로 확대하여 확대된 영상(91a)을 얻는다.
도 9에서 보는 바와 같이, 주자가 1루 베이스(81b)에서 출발하여 2루 베이스(81c)로 이동하면, 원 경기 영상(90) 내의 일부분의 화면 크기를 점차 작게하여 잘라낸후 잘라낸 화면을 원 경기 영상(90)의 크기로 확대한다.
바람직하게는, 주자의 이동위치에 따라 잘라내는 화면의 크기 Zd은 다음 [수학식 2]에서 보는 바와 같다.
[수학식 2]
Figure pat00004
단, Z1은 원 경기영상의 크기.
Z2는 도착 베이스에서의 잘라내는 화면의 크기.
D는 출발 베이스와 도착 베이스의 거리.
d는 주자의 이동위치와 도착 베이스 사이의 거리.
한편, 경기영상 조절부(33)는 확대된 경기영상을 출력한다. 경기영상 조절부(33)는 경기영상을 출력하기 위한 경기영상 출력모듈(35)을 포함하여 구성된다.
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
다음으로, 본 발명의 일실시예에 따른 주자관점의 야구경기 영상 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 대하여 도 7을 참조하여 설명한다. 도 10은 본 발명의 일실시예에 따라 프로그램으로 구현하는 경기중계 보조영상 생성 방법을 설명하는 흐름도이다.
도 10에서 보는 바와 같이, 먼저, 베이스(81) 지점을 촬영하는 촬영장치(11)로부터 경기 영상을 수신한다(S10). 이때, 경기 영상은 2개의 베이스를 잇는 직선 방향으로 촬영한 영상이다. 또, 주자의 이동위치를 수신한다(S20).
그리고 주자의 이동위치에 따라 상기 경기 영상의 화상크기를 조절한다(S30). 즉, 촬영장치에 의해 촬영되는 베이스와 상기 주자의 이동위치의 거리에 반비례하여, 상기 경기 영상의 화상크기를 확대한다.
경기 영상의 화상 크기를 조절하는 방식은 2가지의 실시예가 있다. 첫 번째 실시예는 촬영장치의 줌을 조절하여 상기 경기 영상의 화상크기를 조절한다. 두 번째 실시예는 경기 영상 자체의 크기를 조절하여 상기 경기 영상의 화상크기를 조절한다.
주자관점의 야구경기 영상 생성 방법에 대한 설명 중 생략된 부분은 앞서 설명된 야구경기 영상 생성 생성장치에 대한 설명을 참고한다.
이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 야구장의 내야를 촬영한 영상으로부터 주자의 관점에서 바라보는 경기 영상을 생성하는 주자관점의 야구경기 영상 생성 시스템을 개발하는 데 적용이 가능하다.

Claims (15)

  1. 야구장의 내야를 촬영한 영상으로부터 주자의 관점에서 바라보는 경기 영상을 생성하는 주자관점의 야구경기 영상 생성 장치에 있어서,
    베이스 지점을 촬영하는 촬영장치로부터 경기 영상을 수신하되, 상기 경기 영상은 2개의 베이스를 잇는 직선 방향으로 촬영되는 경기영상 수신부;
    주자의 이동위치를 수신하는 주자위치 수신부; 및
    상기 주자의 이동위치에 따라 상기 경기 영상의 화상크기를 조절하는 경기영상 조절부를 포함하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 장치.
  2. 제1항에 있어서,
    상기 경기영상 조절부는 상기 촬영장치의 줌을 조절하여 상기 경기 영상의 화상크기를 조절하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 장치.
  3. 제2항에 있어서,
    상기 경기영상 조절부는 다음 [수식 1]에 의해 줌의 비율 Zd을 조절하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 장치.
    [수식 1]
    Figure pat00005

    단, Z1과 Z2는 각각 출발 베이스와 도착 베이스에서의 줌의 비율.
    D는 출발 베이스와 도착 베이스의 거리.
    d는 주자의 이동위치와 도착 베이스 사이의 거리.
  4. 제1항에 있어서,
    상기 경기영상 조절부는 상기 경기 영상 자체의 크기를 조절하여 상기 경기 영상의 화상크기를 조절하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 장치.
  5. 제4항에 있어서,
    상기 경기영상 조절부는 다음 [수식 2]에 의해 줌의 비율 Zd을 조절하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 장치.
    [수식 2]
    Figure pat00006

    단, Z1과 Z2는 각각 출발 베이스와 도착 베이스에서의 줌의 비율.
    D는 출발 베이스와 도착 베이스의 거리.
    d는 주자의 이동위치와 도착 베이스 사이의 거리.
  6. 제1항에 있어서,
    상기 경기영상 조절부는 상기 촬영장치에 의해 촬영되는 베이스와 상기 주자의 이동위치의 거리에 반비례하여, 상기 경기 영상의 화상크기를 확대하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 장치.
  7. 제1항에 있어서,
    상기 경기영상 수신부는 홈베이스에서 1루 베이스, 1루 베이스에서 2루 베이스, 2루 베이스에서 3루 베이스, 및 3루 베이스에서 홈 베이스의 방향으로 촬영되는 경기 영상을 수신하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 장치.
  8. 제7항에 있어서,
    상기 경기영상 수신부는 홈베이스에서 3루 베이스, 3루 베이스에서 2루 베이스, 2루 베이스에서 1루 베이스의 방향으로 촬영되는 경기 영상을 더 수신하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 장치.
  9. 제7항에 있어서,
    상기 화상크기 조절부는 수신하는 다수의 경기 영상 중에서 주자가 이동하는 방향의 전후 베이스 방향으로 촬영되는 경기 영상을 선택하여 조절하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 장치.
  10. 제9항에 있어서,
    상기 경기영상 조절부는 주자의 이동위치와 베이스 위치의 거리차이가 최소 거리 이내이면 상기 베이스 지점을 촬영하는 경기 영상을 선택하여 조절하고, 상기 거리차이가 최소 거리 보다 크면 주자의 이동위치의 이동방향의 베이스 지점을 촬영하는 경기 영상을 선택하여 조절하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 장치.
  11. 야구장의 내야를 촬영한 영상으로부터 주자의 관점에서 바라보는 경기 영상을 생성하는 주자관점의 야구경기 영상 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    (a) 베이스 지점을 촬영하는 촬영장치로부터 경기 영상을 수신하되, 상기 경기 영상은 2개의 베이스를 잇는 직선 방향으로 촬영되는 단계;
    (b) 주자의 이동위치를 수신하는 단계; 및
    (c) 상기 주자의 이동위치에 따라 상기 경기 영상의 화상크기를 조절하는 단계를 포함하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  12. 제11항에 있어서,
    상기 (c)단계에서, 상기 촬영장치의 줌을 조절하여 상기 경기 영상의 화상크기를 조절하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  13. 제11항에 있어서,
    상기 (c)단계에서, 상기 경기 영상 자체의 크기를 조절하여 상기 경기 영상의 화상크기를 조절하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 제11항에 있어서,
    상기 (c)단계에서, 상기 촬영장치에 의해 촬영되는 베이스와 상기 주자의 이동위치의 거리에 반비례하여, 상기 경기 영상의 화상크기를 확대하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  15. 야구장의 내야를 촬영한 영상으로부터 주자의 관점에서 바라보는 경기 영상을 생성하는 주자관점의 야구경기 영상 생성 시스템에 있어서,
    베이스 지점을 촬영하여 경기 영상을 송신하되, 2개의 베이스를 잇는 직선 방향으로 촬영되는 다수의 촬영장치;
    야구장의 내야를 촬영하는 영상으로부터 선수의 이동위치를 추출하는 위치 추적장치; 및
    상기 촬영장치로부터 경기 영상을 수신하고 상기 선수위치 추출장치로부터 주자의 이동위치를 수신하여, 상기 주자의 이동위치에 따라 상기 경기 영상의 화상크기를 조절하는 경기영상 생성장치를 포함하는 것을 특징으로 하는 주자관점의 야구경기 영상 생성 시스템.
KR1020100038163A 2010-04-23 2010-04-23 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체 KR101164895B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100038163A KR101164895B1 (ko) 2010-04-23 2010-04-23 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100038163A KR101164895B1 (ko) 2010-04-23 2010-04-23 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체

Publications (2)

Publication Number Publication Date
KR20110118518A true KR20110118518A (ko) 2011-10-31
KR101164895B1 KR101164895B1 (ko) 2012-07-11

Family

ID=45032108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100038163A KR101164895B1 (ko) 2010-04-23 2010-04-23 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체

Country Status (1)

Country Link
KR (1) KR101164895B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101686859B1 (ko) * 2015-08-04 2016-12-16 주식회사 에이요 스포츠 중계 시스템 및 그 중계 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6634967B2 (en) 2000-09-19 2003-10-21 Benjamin S Daniel Baseball umpiring system
US20050179774A1 (en) 2004-02-13 2005-08-18 Whitney Fletcher BASECAM: a system for using a camera within a baseball base
US20050280708A1 (en) 2004-06-18 2005-12-22 Michael Glenn Sports television camera assignment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101686859B1 (ko) * 2015-08-04 2016-12-16 주식회사 에이요 스포츠 중계 시스템 및 그 중계 방법

Also Published As

Publication number Publication date
KR101164895B1 (ko) 2012-07-11

Similar Documents

Publication Publication Date Title
CN109889914B (zh) 视频画面推送方法、装置、计算机设备及存储介质
JP7123523B2 (ja) 自動的にテレビ番組を制作する方法及びシステム
JP6432029B2 (ja) 低コストでテレビ番組を制作する方法及びシステム
US8665374B2 (en) Interactive video insertions, and applications thereof
CN108886583B (zh) 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的***和方法
JP5158889B2 (ja) 画像コンテンツ生成方法及び画像コンテンツ生成装置
JP7132730B2 (ja) 情報処理装置および情報処理方法
JP6385139B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN105765959B (zh) 用于制作视频作品的方法和***
CN105939481A (zh) 一种交互式三维虚拟现实视频节目录播和直播方法
WO2014024475A1 (ja) 映像提供方法、送信装置および受信装置
CN107105315A (zh) 直播方法、主播客户端的直播方法、主播客户端及设备
CN113301351B (zh) 视频播放方法、装置、电子设备及计算机存储介质
JP2010183302A (ja) 映像処理装置、映像処理方法及びプログラム
US9736462B2 (en) Three-dimensional video production system
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2016139898A1 (ja) ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法
KR101291765B1 (ko) 실시간 중계방송을 위한 공 궤적 제공 시스템
CN106296686A (zh) 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法
US11172185B2 (en) Information processing apparatus, information processing method, video processing system, and storage medium
KR101164894B1 (ko) 경기 참여자 관점의 야구공 영상생성 장치, 시스템, 및 그 방법의 기록매체
KR101164895B1 (ko) 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체
KR101215058B1 (ko) 중계방송을 위한 야구 피칭 영상 제공 시스템
US20210258496A1 (en) Image processing device, image processing server, image processing method, and storage medium
JP7282519B2 (ja) 画像処理装置または画像処理サーバー

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150709

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee