KR101738420B1 - 골프영상정보 자동생성 시스템 및 골프영상정보 자동생성방법 - Google Patents

Abstract

본 발명은 단순한 홀인원 확인이나 니어핀 인증 등을 넘어 골프 라운드를 하고 있는 사용자에 대해 골프샷부터 그 골프샷된 볼의 목표지점을 포함하는 영역 상에서의 움직임까지 일련의 과정을 보여주는 영상 정보를 편집하여 골프영상정보를 자동으로 생성함으로써 사용자에게 골프샷에 대한 기념이 될 만한 영상 컨텐츠를 제공할 수 있는 골프영상정보 자동생성 시스템 및 골프영상정보 자동생성방법을 제공하기 위한 것이다.

Description

골프영상정보 자동생성 시스템 및 골프영상정보 자동생성방법{SYSTEM AND METHOD FOR AUTOMATICALLY CREATING IMAGE INFORMATION ON GOLF}

본 발명은 골프영상정보 자동생성 시스템 및 골프영상정보 자동생성방법에 관한 것으로서 더욱 상세하게는, 골프장에서 골프 라운드를 하는 사용자가 골프샷을 하고 타격된 볼이 날아가서 목표지점 쪽에 안착하는 일련의 과정을 효과적으로 영상으로 기록하고 편집하여 해당 사용자에게 골프 라운드에 대한 기념이 될 만한 컨텐츠를 제공하도록 하는 시스템과 그 시스템에 의해 구동되는 프로세스에 관한 것이다.

골프장에서 골프 라운드를 하는 대다수의 골퍼들은 골프 라운드를 하는 과정에서 골프샷 한 볼이 적절하게 그린에 안착되거나, 볼이 그린 상의 홀컵에 매우 근접하게 안착되거나, 때로는 홀인원이나 알바트로스와 같은 놀라운 기록을 경험하기도 한다.

예컨대, 평소 골프 라운드를 할 때 그린 적중률이 낮아서 적절한 온그린을 한 적이 없던 사용자가 Par 3 홀에서 티샷 한 볼이 적절하게 온그린된 경우, 그 사용자에게는 해당 골프샷이 실로 놀라운 경험이 될 것이다.

또한, 동반 라운드를 하는 사람들끼리 Par 3 홀에서 티샷에 의한 볼이 그린 상의 홀컵에 얼마나 근접하여 안착하는지 경쟁을 하는 경우, 즉 니어핀(Near Pin) 경쟁을 하는 경우가 많은데, 그 니어핀 경쟁에서 승자가 되는 경우에도 해당 사용자에게는 실로 놀라운 경험이 될 것이다.

특히, Par 3홀에서 홀인원을 기록하는 경우에는 해당 사용자에게는 평생 잊지 못할 놀라운 경험이 될 것이다.

그러나, 상기한 바와 같이 골프 라운드를 하는 과정에서 골퍼들은 상당히 놀라운 경험들을 하게 되지만, 종래에는 골퍼들이 그와 같은 놀라운 경험을 기록해 놓고 기념할 수 있을 만한 컨텐츠를 만들어서 제공할 수 있는 시스템 등에 관한 기술이 구현되지 않았던 문제점이 있었다.

그런데, 종래 일본공개특허공보 특개2013-248381호 (홀인원 확인 시스템 및 그 카메라), 일본공개특허공보 특개2004-46648호 (홀인원 인증 시스템) 및 일본공개특허공보 특개2008-167245호 (홀인원·니어핀 인정 시스템) 등 다수의 선행기술문헌들에서 그린 쪽에 카메라를 설치해 놓고 티박스에서 골프샷한 것이 홀인되는지 상기 카메라의 촬영 영상을 분석하여 확인함으로써 홀인원이나 니어핀 여부를 판단하도록 하는 기술이 공지되어 있다.

그러나, 상기한 공개공보 등에 개시된 공지기술들은 단순히 사용자가 골프샷한 것이 홀인원 되었는지 등에 대한 확인을 하여 해당 사용자에게 알려주거나 그린 근처에서 홀인원 또는 니어핀과 관련한 촬영 영상을 제공할 뿐, 사용자의 골프샷부터해서 그린 상에서의 볼의 움직임 등의 일련의 과정을 영상으로 기록하여 제공할 수 없으므로 해당 사용자의 골프샷과 그 기록에 대한 기념을 위한 컨텐츠로서는 매우 부족하다는 문제점이 있었다.

본 발명은 단순한 홀인원 확인이나 니어핀 인증 등을 넘어 골프 라운드를 하고 있는 사용자에 대해 골프샷부터 그 골프샷된 볼의 목표지점을 포함하는 영역 상에서의 움직임까지 일련의 과정을 보여주는 영상 정보를 편집하여 골프영상정보를 자동으로 생성함으로써 사용자에게 골프샷에 대한 기념이 될 만한 영상 컨텐츠를 제공할 수 있는 골프영상정보 자동생성 시스템 및 골프영상정보 자동생성방법을 제공하기 위한 것이다.

본 발명의 일 실시예에 따른, 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템은, 촬영 영역 내에서 사용자가 골프샷 하는 것에 대한 영상을 취득하는 제1 촬영유닛; 목표지점을 포함하는 영역을 촬영하는 제2 촬영유닛; 및 상기 제1 촬영유닛 및 제2 촬영유닛으로부터 각각 촬영된 영상을 수집하고, 상기 제1 촬영유닛 및 제2 촬영유닛 각각으로부터 수집된 영상의 추출 구간을 결정하며, 상기 결정된 영상의 추출 구간에 따라 추출된 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상정보 처리장치를 포함한다.

또한 바람직하게는, 상기 제1 촬영유닛은, 골프스윙 하는 사용자의 측면을 촬영하는 제1 카메라와, 상기 골프스윙 하는 사용자의 정면을 촬영하는 제2 카메라 중 적어도 하나를 포함하여 구성되며, 상기 제2 촬영유닛은, 목표지점을 포함하는 영역을 촬영하는 제3 카메라와, 상기 제3 카메라와 다른 시각에서 상기 목표지점을 포함하는 영역을 촬영하는 제4 카메라 중 적어도 하나를 포함하여 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 영상정보 처리장치는, 상기 제1 촬영유닛 및 제2 촬영유닛의 각 카메라로부터 각각 촬영된 영상이 저장되는 저장부; 및 상기 제1 촬영유닛 및 제2 촬영유닛의 각 카메라로부터 각각 촬영된 영상을 수집하여 각 카메라별로 구분하여 상기 저장부에 저장하여 관리하는 영상 관리부와, 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 카메라별 영상에 대해 각각 결정하고, 상기 결정된 영상의 추출 구간에 따라 상기 저장부에 저장된 각 카메라별 영상 각각으로부터 추출된 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상 편집부를 포함하는 정보처리부를 포함하여, 상기 정보처리부는 상기 자동 생성된 골프영상정보를 서버 또는 상기 사용자의 개인 단말기로 전송하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 정보처리부는, 상기 제1 촬영유닛의 영상에 대한 영상 처리를 통해 볼이 타격에 의해 움직이는 것을 감지하며, 해당 영상 내에서 볼이 타격에 의해 움직이는 것을 감지하면 트리거 신호를 발생하는 트리거 처리부를 더 포함하며, 상기 영상 편집부는 상기 트리거 처리부에 의해 트리거 신호가 발생되는 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 카메라별 영상에 대해 각각 결정하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 정보처리부는, 상기 사용자의 골프스윙에 의해 볼이 타격될 때에 외부에서 전송하는 트리거 신호를 수신하며, 상기 영상 편집부는 상기 외부로부터의 트리거 신호 수신 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 카메라별 영상에 대해 각각 결정하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 정보처리부는, 상기 제1 촬영유닛의 영상에 대한 영상 처리를 통해 볼이 타격에 의해 움직이는 것을 감지하며, 해당 영상 내에서 볼이 타격에 의해 움직이는 것을 감지하면 트리거 신호를 발생하는 트리거 처리부와, 상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼을 검출하고 볼이 움직임을 멈춘 시점을 결정하는 볼 트래킹 처리부를 더 포함하며, 상기 영상 편집부는 상기 트리거 처리부에 의해 트리거 신호가 발생되는 시점 및 상기 볼 트래킹 처리부에 의해 결정되는 볼이 움직임을 멈춘 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 카메라별 영상에 대해 각각 결정하도록 구성되는 것을 특징으로 한다.

한편, 본 발명의 다른 일 실시예에 따른, 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템은, 티박스에 설치되어 촬영 영역 내에서 사용자가 골프샷 하는 것에 대한 영상을 취득하며, 상기 골프샷 하는 사용자의 측면을 촬영하는 제1 촬영유닛; 그린을 포함하는 영역을 촬영하는 제2 촬영유닛; 및 상기 제1 촬영유닛 및 제2 촬영유닛으로부터 각각 촬영된 영상을 수집하고, 상기 제1 촬영유닛 및 제2 촬영유닛 각각으로부터 수집된 영상의 추출 구간을 결정하며, 상기 결정된 영상의 추출 구간에 따라 추출된 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상정보 처리장치를 포함한다.

또한 바람직하게는, 상기 영상정보 처리장치는, 상기 제1 촬영유닛 및 제2 촬영유닛으로부터 각각 촬영된 영상이 저장되는 저장부; 및 상기 제1 촬영유닛 및 제2 촬영유닛으로부터 각각 촬영된 영상을 수집하여 각 촬영유닛별로 구분하여 상기 저장부에 저장하여 관리하는 영상 관리부와, 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛별 영상에 대해 각각 결정하고, 상기 결정된 영상의 추출 구간에 따라 상기 저장부에 저장된 각 촬영유닛별 영상 각각으로부터 추출된 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상 편집부를 포함하는 정보처리부를 포함하여, 상기 정보처리부는 상기 자동 생성된 골프영상정보를 서버 또는 상기 사용자의 개인 단말기로 전송하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 정보처리부는, 상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼을 검출하고 볼이 움직임을 멈춘 시점을 결정하는 볼 트래킹 처리부를 더 포함하며, 상기 영상 편집부는 영상의 분석 또는 외부 신호 입력에 의해 트리거 신호가 발생되는 시점 및 상기 볼 트래킹 처리부에 의해 결정되는 볼이 움직임을 멈춘 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛별 영상에 대해 각각 결정하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 정보처리부는, 상기 제2 촬영유닛의 영상으로부터 상기 그린 상의 홀컵 또는 상기 홀컵의 깃대를 인식하여 상기 그린 상의 홀컵의 위치를 실시간으로 감지하는 홀컵위치 감지부와, 상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼의 위치를 트래킹하는 볼 트래킹 처리부를 더 포함하며, 상기 볼 트래킹 처리부는, 상기 홀컵위치 감지부에 의해 감지된 홀컵의 위치와 상기 트래킹된 볼의 위치를 이용하여 홀인원 여부의 판단 및 상기 볼과 상기 홀컵 사이의 거리의 산출 중 적어도 하나를 수행하도록 구성되며, 상기 영상 편집부는, 상기 볼 트래킹 처리부에 의해 홀인원으로 판단된 경우 상기 생성되는 골프영상정보에 홀인원 축하를 위한 컨텐츠를 삽입하고, 상기 볼 트래킹 처리부에 의해 상기 볼과 상기 홀컵 사이의 거리가 산출된 경우 상기 생성되는 골프영상정보에 상기 산출된 볼과 홀컵 사이의 거리를 표시하도록 한 것을 특징으로 한다.

한편, 본 발명의 또 다른 일 실시예에 따른, 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템은, 티박스에 설치되어 촬영 영역 내에서 사용자가 골프샷 하는 것에 대한 영상을 취득하는 티박스 촬영유닛; 페어웨이 상의 일 영역을 촬영하도록 설치되는 페어웨이 촬영유닛; 및 상기 티박스 촬영유닛 및 페어웨이 촬영유닛으로부터 각각 촬영된 영상을 수집하고, 상기 티박스 촬영유닛 및 페어웨이 촬영유닛 각각으로부터 수집된 영상의 추출 구간을 결정하며, 상기 결정된 영상의 추출 구간에 따라 추출된 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상정보 처리장치를 한다.

또한 바람직하게는, 상기 페어웨이 촬영유닛은, 상기 페어웨이 상에 미리 설정해 놓은 목표영역을 촬영하도록 구성되며, 상기 영상정보 처리장치는, 상기 페어웨이 촬영유닛으로부터 수집한 영상을 분석하여 해당 영상에서 볼의 위치를 산출함으로써 골프 라운드 하는 사용자들 각각이 한 골프샷에 대해 볼이 상기 목표영역 내에 안착하였는지 판단하도록 구성되며, 그 판단 결과를 상기 사용자에게 알리거나 서버로 전송하여 기록하도록 하는 것을 특징으로 한다.

또한 바람직하게는, 상기 영상정보 처리장치는, 상기 페어웨이 촬영유닛으로부터 수집한 영상을 분석하여 해당 영상에서 볼의 위치를 산출함으로써, 골프 라운드 하는 사용자들 중 가장 긴 비거리를 기록한 사용자를 판별하거나 상기 비거리에 기초하여 상기 사용자들에 대해 순위를 결정하도록 구성되며, 상기 판별 또는 결정된 결과를 상기 사용자에게 알리거나 서버로 전송하여 기록하도록 하는 것을 특징으로 한다.

한편, 본 발명의 또 다른 일 실시예에 따른, 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템은, 골프장의 특정 홀의 일측에 설치되어 촬영 영역 내에서 사용자가 골프샷 하는 것에 대한 영상을 취득하는 제1 촬영유닛; 상기 특정 홀의 타측에 설치되어 팬-틸트-줌 구동이 가능하고, 미리 설정된 사항에 따라 줌-인, 줌-아웃, 그리고 상하 및 좌우 중 적어도 하나로의 회전에 의한 뷰 변경 중 적어도 한 가지를 수행하여 상기 사용자가 골프샷 함에 따른 영상을 촬영하도록 구성되는 제2 촬영유닛; 및 상기 제1 촬영유닛 및 제2 촬영유닛으로부터 각각 촬영된 영상을 수집하고, 상기 제1 촬영유닛 및 제2 촬영유닛으로부터 수집된 각각의 영상으로부터 추출된 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상정보 처리장치를 포함한다.

또한 바람직하게는, 상기 제2 촬영유닛은, 미리 설정된 제1 배율로 줌-인되어 상기 사용자가 골프샷 하는 것에 대한 영상을 취득하다가 상기 영상정보 처리장치의 트리거 신호 또는 외부에서 입력되는 트리거 신호에 따라 미리 설정된 제2 배율로 줌-아웃되며, 목표지점을 포함하는 영역이 촬영영역 내에 포함되도록 상하 및 좌우 중 적어도 하나로 회전하여 영상을 촬영하도록 구성되며, 상기 영상정보 처리장치는, 상기 제1 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 미리 설정된 구간에 대해 추출한 영상과, 상기 제2 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 상기 줌-인 영상, 상기 줌-아웃 영상 및 상하 및 좌우 중 적어도 하나로 회전하여 촬영한 상기 목표지점을 포함하는 영역의 영상을 포함하도록 추출한 영상을 결합함으로써 상기 골프영상정보를 자동 생성하도록 구성되는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른, 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템의 골프영상정보 자동생성방법은, 적어도 하나의 카메라를 포함하는 제1 촬영유닛에 의해 그 촬영 영역 내에서 사용자가 골프샷 하는 것에 대해 촬영되는 영상을 수집하여 저장부에 저장하는 단계; 적어도 하나의 카메라를 포함하는 제2 촬영유닛에 의해 목표지점을 포함하는 영역에 대해 촬영되는 영상을 수집하여 상기 저장부에 저장하는 단계; 상기 제1 촬영유닛 및 제2 촬영유닛 각각으로부터 수집된 영상의 추출 구간을 결정하는 단계; 및 상기 저장부에 저장된 각 영상으로부터 상기 결정된 영상의 추출 구간에 따라 추출한 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 단계를 포함한다.

또한 바람직하게는, 상기 영상의 추출 구간을 결정하는 단계는, 상기 제1 촬영유닛의 영상에 대한 영상 처리를 통해 볼이 타격에 의해 움직이는 것을 감지함에 따라 트리거 신호가 발생하는 시점 또는 상기 사용자의 골프스윙에 의해 볼이 타격될 때에 외부로부터의 트리거 신호 수신 시점을 결정하는 단계와, 상기 결정된 트리거 신호의 발생시점 또는 수신시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛의 카메라별 영상에 대해 각각 결정하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 영상의 추출 구간을 결정하는 단계는, 상기 제1 촬영유닛의 영상에 대한 영상 처리를 통해 볼이 타격에 의해 움직이는 것을 감지함에 따라 트리거 신호가 발생하는 시점 또는 상기 사용자의 골프스윙에 의해 볼이 타격될 때에 외부로부터의 트리거 신호 수신 시점을 결정하는 단계와, 상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼을 검출하고 볼이 움직임을 멈춘 시점을 결정하는 단계와, 상기 트리거 신호의 발생시점 또는 수신시점 및 상기 볼이 움직임을 멈춘 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛의 카메라별 영상에 대해 각각 결정하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼의 위치를 트래킹하는 단계와, 상기 목표지점의 위치와 상기 트래킹된 볼의 위치를 이용하여 상기 볼과 목표지점 사이의 거리를 산출하는 단계를 더 포함하며, 상기 골프영상정보를 자동 생성하는 단계는, 상기 산출된 볼과 목표지점 사이의 거리 정보를 상기 생성되는 골프영상정보에 표시하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 촬영유닛은 티박스에 설치되어 골프샷 하는 사용자의 측면을 촬영하는 카메라를 포함하도록 구성되며, 상기 영상의 추출 구간을 결정하는 단계는, 상기 제1 촬영유닛의 영상에서 상기 티박스에 설치된 적어도 하나의 티마커를 인식하고 상기 인식된 적어도 하나의 티마커를 기준으로 미리 설정된 크기의 관심영역을 설정하는 단계와, 복수 프레임의 영상에서 상기 설정된 관심영역에 해당하는 영상을 추출하여 차영상 분석에 의해 타격된 볼이 움직이는 것을 감지함에 따라 트리거 신호를 발생시키는 단계와, 상기 트리거 신호가 발생된 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛의 카메라별 영상에 대해 각각 결정하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제2 촬영유닛은 그린을 포함하는 영역을 촬영하는 카메라를 포함하도록 구성되며, 상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼의 위치를 트래킹하는 단계와, 상기 그린 상의 홀컵의 위치와 상기 트래킹된 볼의 위치를 이용하여 홀인원 여부를 판단하거나 상기 볼과 상기 홀컵 사이의 거리를 산출하는 단계를 더 포함하며, 상기 골프영상정보를 자동 생성하는 단계는, 상기 볼 위치의 트래킹 결과 홀인원으로 판단된 경우 상기 생성되는 골프영상정보에 홀인원 축하를 위한 컨텐츠를 삽입하고, 상기 볼 위치의 트래킹 결과 홀인원이 아닌 경우 상기 생성되는 골프영상정보에 상기 산출된 볼과 홀컵 사이의 거리를 표시하는 단계를 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제2 촬영유닛은 그린을 포함하는 영역을 촬영하는 카메라를 포함하도록 구성되며, 골프 라운드하는 각 사용자의 골프샷에 대해 각각 상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼의 위치를 트래킹하는 단계와, 상기 그린 상의 홀컵의 위치와 상기 트래킹된 볼의 위치를 이용하여 상기 골프 라운드하는 각 사용자의 골프샷에 대해 상기 홀컵에 볼이 가장 근접한 경우를 판단하는 단계를 더 포함하며, 상기 골프영상정보를 자동 생성하는 단계는, 상기 홀컵에 볼이 가장 근접한 경우로 판단된 사용자의 골프샷에 대한 골프영상정보에 니어리스트 축하를 위한 컨텐츠를 삽입하는 단계를 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제2 촬영유닛은 그린을 포함하는 영역을 촬영하는 카메라를 포함하도록 구성되며, 상기 제2 촬영유닛의 영상으로부터 상기 그린 상의 홀컵 또는 상기 홀컵의 깃대를 인식하여 상기 그린 상의 홀컵의 위치를 실시간으로 감지하는 단계와, 상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼의 위치를 트래킹하는 단계와, 상기 실시간 감지에 의해 결정되는 상기 홀컵의 위치와 상기 트래킹된 볼의 위치를 이용하여 홀인원 여부의 판단 및 상기 볼과 상기 홀컵 사이의 거리의 산출 중 적어도 하나를 수행하는 단계를 더 포함하며, 상기 골프영상정보를 자동 생성하는 단계는, 상기 홀인원 여부의 판단 또는 상기 볼과 홀컵 사이의 거리 산출 결과를 상기 골프영상정보에 표시하는 단계를 더 포함하는 것을 특징으로 한다.

한편, 본 발명의 다른 일 실시예에 따른, 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템의 골프영상정보 자동생성방법은, 골프장의 특정 홀의 일측에 설치된 제1 촬영유닛에 의해 촬영되는 사용자가 골프샷 하는 것에 대한 영상을 수집하여 저장부에 저장하는 제1 촬영유닛 영상 수집 및 저장 단계; 상기 특정 홀의 타측에 설치되어 팬-틸트-줌 구동이 가능한 제2 촬영유닛에 의해 줌-인, 줌-아웃, 그리고 상하 및 좌우 중 적어도 하나로의 회전에 의한 뷰 변경 중 적어도 한 가지를 수행하여 상기 사용자가 골프샷 함에 따라 촬영되는 영상을 수집하여 상기 저장부에 저장하는 제2 촬영유닛 영상 수집 및 저장 단계; 및 상기 제1 촬영유닛으로부터 추출된 제1 추출영상 및 제2 촬영유닛으로부터 추출된 제2 추출영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 단계를 포함한다.

또한 바람직하게는, 상기 제2 촬영유닛 영상 수집 및 저장 단계는, 상기 제2 촬영유닛에 의해 미리 설정된 제1 배율로 줌-인된 기본 상태에서 상기 사용자가 골프샷 하는 것에 대한 영상이 취득되는 단계와, 영상정보 처리장치의 트리거 신호 또는 외부에서 입력되는 트리거 신호에 따라 상기 제2 촬영유닛이 상기 기본 상태에서 미리 설정된 제2 배율로 줌-아웃하면서 영상을 취득하는 단계와, 상기 제2 촬영유닛이 상하 및 좌우 중 적어도 하나로 회전 구동되고 상기 목표지점의 위치 정보를 인식하여 상기 목표지점을 포함하는 영역에 대한 영상을 취득하는 단계와, 상긱 각각의 취득되는 영상이 상기 영상정보 처리장치에 의해 수집되어 상기 저장부에 저장되는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 골프영상정보를 자동 생성하는 단계는, 상기 제1 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 미리 설정된 구간에 대한 영상을 추출하는 단계와, 상기 제2 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 상기 줌-인 영상, 상기 줌-아웃 영상 및 상하 및 좌우 중 적어도 하나로 회전하여 촬영한 상기 목표지점을 포함하는 영역의 영상을 포함하도록 영상을 추출하는 단계와, 상기 각 추출된 영상을 결합함으로써 또는 상기 각 추출된 영상을 결합하고 그 결합된 영상에 미리 설정된 컨텐츠를 삽입하거나 상기 각 추출된 영상에 대해 미리 설정된 영상 처리를 함으로써 상기 골프영상정보를 자동 생성하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 골프영상정보를 자동 생성하는 단계는, 상기 제1 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 미리 설정된 구간에 대한 영상을 추출하는 단계와, 상기 제2 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 상기 줌-인 영상, 상기 줌-아웃 영상, 상기 상하 및 좌우 중 적어도 하나로 회전하여 촬영한 상기 목표지점을 포함하는 영역의 영상 및 상기 목표지점을 포함하는 영역의 영상에 대해 상기 목표지점의 위치에 따라 결정되는 배율로 줌-인한 영상을 포함하도록 영상을 추출하는 단계와, 상기 각 추출된 영상을 결합함으로써 또는 상기 각 추출된 영상을 결합하고 그 결합된 영상에 미리 설정된 컨텐츠를 삽입하거나 상기 각 추출된 영상에 대해 미리 설정된 영상 처리를 함으로써 상기 골프영상정보를 자동 생성하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 골프영상정보 자동생성 시스템 및 골프영상정보 자동생성방법은 단순한 홀인원 확인이나 니어핀 인증 등을 넘어 골프 라운드를 하고 있는 사용자에 대해 골프샷부터 그 골프샷된 볼의 목표지점을 포함하는 영역 상에서의 움직임까지 일련의 과정을 보여주는 영상 정보를 편집하여 골프영상정보를 자동으로 생성함으로써 사용자에게 골프샷에 대한 기념이 될 만한 영상 컨텐츠를 제공할 수 있는 효과가 있다.

도 1은 본 발명이 일 실시예에 따른 골프영상정보 자동생성 시스템이 골프장의 특정 홀에 설치된 예를 나타낸 도면이다.
도 2는 도 1에 도시된 본 발명이 일 실시예에 따른 골프영상정보 자동생성 시스템의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 골프영상정보 자동생성 시스템에 이용되는 골프영상정보 자동생성방법에 관하여 설명하기 위한 플로우차트이다.
도 4는 본 발명의 일 실시예에 따른 골프영상정보 자동생성 시스템의 제1 카메라에 의해 촬영된 영상의 일 예로서 해당 영상에서 영상 처리를 하는 방법을 설명하기 위한 것이다.
도 5의 (a) 내지 (f)는 제1 카메라에 의해 촬영된 n번째 프레임부터 n+5번째 프레임의 영상을 시계열적으로 나타낸 것으로서 각각의 영상 내에서 볼을 검출한 것에 관하여 나타낸 것이다
도 6의 (a) 내지 (f)는 제1 카메라에 의해 촬영된 m번째 프레임부터 m+5번째 프레임의 영상을 시계열적으로 나타낸 것으로서 각각의 영상 내에서 볼을 검출한 것에 관하여 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 골프영상정보 자동생성 시스템의 제3 카메라에 의해 촬영된 영상의 일 예로서 해당 영상에서 홀컵과 볼 사이의 거리 표시 등 그린 상에서의 사용자에게 제공될 수 있는 골프정보에 대한 표시가 이루어진 예를 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 골프영상정보 자동생성 시스템의 영상정보 처리장치에 의해 각각의 카메라 영상에서 필요한 영상을 추출하여 편집함으로써 골프영상정보를 생성하는 일 예를 나타낸 도면이다.
도 9는 본 발명의 다른 일 실시예에 따른 골프영상정보 자동생성 시스템에 이용되는 골프영상정보 자동생성방법에 관하여 설명하기 위한 플로우차트이다.
도 10은 도 9에 도시된 플로우차트에 따른 골프영상정보 자동생성방법에 의해 각각의 촬영유닛 영상에서 필요한 영상을 추출하여 편집함으로써 골프영상정보를 생성하는 일 예를 나타낸 도면이다.
도 11 내지 도 13은 도 10에서 설명한 편집 영상의 일 예를 시계열적으로 나타낸 도면이다.

본 발명에 따른 골프영상정보 자동생성 시스템 및 골프영상정보 자동생성방법에 관하여 도면을 참조하여 좀 더 구체적으로 설명한다.

먼저, 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 골프영상정보 자동생성 시스템에 관하여 설명한다.

도 1 및 도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 골프영상정보 자동생성 시스템은, 골프장의 일 홀의 일측에 설치되는 제1 촬영유닛(100)과 해당 홀의 반대측에 설치되는 제2 촬영유닛(200), 그리고 상기 제1 촬영유닛(100) 및 제2 촬영유닛(200)과 연결되어 유선 또는 무선으로 통신하면서 각 촬영유닛으로부터 촬영된 영상을 전달받아 영상 분석을 수행하기도 하고 그 전달받은 영상에서 적절한 영상을 추출하여 편집함으로써 사용자에게 제공할 골프영상정보를 자동으로 생성하도록 하는 영상정보 처리장치(500)를 포함하여 구성될 수 있다.

상기 제1 촬영유닛(100) 및 제2 촬영유닛(200)은 각각 하나의 카메라만을 포함할 수도 있고 둘 이상의 카메라를 포함할 수도 있다. 하나의 촬영유닛(100 또는 200)이 둘 이상의 카메라를 포함하는 경우에는 각 카메라가 서로 다른 위치에서 동일한 영역을 촬영하도록 구성됨이 바람직하다.

본 발명에 따른 골프영상정보 자동생성 시스템 및 방법은 사용자가 골프샷을 할 때부터 해당 골프샷에 따른 볼이 목표지점 근처에 도달하여 정지할 때까지의 일련의 과정에 관한 영상을 모두 포함하도록 영상 편집이 자동으로 이루어지기 때문에, 사용자가 한 번의 골프샷으로 스타트 지점에서 목표지점으로 볼을 보내는 경우에 그 활용도가 높다고 할 것이다.

여기서, 상기한 목표지점은 그린 상의 홀컵이 될 수도 있고 그린 근처의 페어웨이 상의 임의의 지점이 될 수도 있다.

본 발명에 따른 골프영상정보 자동생성 시스템은 사용자가 골프샷을 할 때부터 해당 골프샷에 따른 볼이 목표지점 근처에 도달하여 정지할 때까지의 일련의 과정에 관한 영상을 자동으로 생성하기 때문에, Par 3 홀과 같이 티박스에서 골프샷에 의해 볼을 곧바로 그린 위에 안착시킬 수 있는 경우에 특히 적용하기 용이할 뿐만 아니라 홀인원 등이 가능하기 때문에 바람직하다.

도 1에서는 Par 3 홀의 티박스(TB) 영역에 상기한 제1 촬영유닛(100)이 설치되고 그린(G) 근처에 상기한 제2 촬영유닛(200)이 설치되는 경우를 예로서 나타내고 있다.

그리고, 도 1에서는 제1 촬영유닛(100)이 제1 카메라(110) 및 제2 카메라(120)를 포함하고, 제2 촬영유닛(200)이 제3 카메라(210) 및 제4 카메라(220)를 포함하는 경우를 나타내고 있다.

상기 제1 촬영유닛(100)의 제1 카메라(110)는 골프스윙하는 사용자의 측면을 바라보는 화각으로 영상을 촬영하도록 설치되고, 제2 카메라(120)는 골프스윙하는 사용자의 정면을 바라보는 화각으로 영상을 촬영하도록 설치됨이 바람직하다.

상기 제2 촬영유닛(200)은 하나의 카메라를 포함하도록 해도 좋지만, 도 1에 도시된 바와 같이 제3 카메라(210)와 제4 카메라(220) 등의 두 대 이상의 카메라가 설치되는 경우 각 카메라가 그린(G)을 포함하는 영역을 서로 다른 시각에서 바라보는 화각으로 영상을 촬영하도록 설치됨이 바람직하다.

도 1에서 HC는 그린(G) 상의 홀컵을 지칭하고 FL은 홀컵(HC)에 꽂힌 깃대fmf 지칭한다.

한편, 사용자에게 제공될 골프영상정보의 영상 컨텐츠를 더욱 다양한 시각에서 더욱 드라마틱한 고급 영상으로서 생성하기 위해 홀의 중간 지점 근처에, 도 1에 도시된 바와 같이 제3 촬영유닛(310, 320)을 설치하도록 하는 것도 가능하다.

또한, 예컨대 도 1에 도시된 홀이 Par 4 홀이나 Par 5 홀인 경우에는 티박스(TB)에서 골프샷 한 것이 곧바로 그린(G)에 도달하지 못하고 그 중간 지점 쯤에 안착하게 되는 것이 일반적인데, 이때 도 1에 도시된 바와 같이 제3 촬영유닛(310, 320)이 상기한 제2 촬영유닛(210, 220)과 비슷한 기능을 수행하도록 하는 것이 가능하다.

즉, 본 발명에 따른 골프영상정보 자동생성 시스템이 Par 4 홀이나 Part 5 홀에 설치되는 경우, 상기한 목표지점이 그린 상의 홀컵이 아닌 예컨대 페이웨이 상의 목표영역(EV) 상의 한 지점이 될 수 있다.

따라서, 사용자가 티박스(TB)에서 골프샷 한 것이 페어웨이 상의 목표영역(EV)에 얼마나 가깝게 안착하는지를 상기 제3 촬영유닛의 제5 카메라(310) 또는 제6 카메라(320)가 촬영한 영상으로부터 확인할 수 있으며(후술할 영상 내 볼 위치의 산출 및 트래킹에 의해 상기 목표영역 내에 안착되었는지 또는 얼마나 중심에 가깝에 안착되었는지 등의 판별 및 결정이 가능하다), 영상정보 처리장치(500)는 상기 제3 촬영유닛의 촬영 영상을 분석하여 이를 판별할 수 있으며, 그 결과를 사용자에게 알리거나 서버로 그 결과를 전송하여 상기 서버가 그 결과를 기록해 놓을 수 있도록 하는 것이 가능하다.

또한, 상기한 바와 같이 상기 제3 촬영유닛의 영상을 분석하여, 골프 라운드하는 사용자들 각각이 티박스에서 골프샷 한 것에 대해 페어웨이에 미리 준비해 놓은 목표영역(EV)의 중심에 가장 가까이 안착한 순서대로 순위를 정하고, 순위에 따라 정해 놓은 경품을 상기 제3 촬영유닛의 영상 분석 결과에 의해 정해진 순위에 따라 지급하도록 할 수 있다.

또한, 도 1에 도시된 바와 같이 목표영역(EV)을 굳이 정해 놓지 않더라도, 통상 골프장에서 Par 4 홀이나 Par 5 홀에서 이루어지는 롱기스트 게임(Longest Game; 골프 라운드 중인 사용자들간에 티 샷 한 볼이 페어웨이 상에서 가장 긴 비거리를 기록하는 경우의 사용자가 우승하는 게임)의 승자를 상기 제3 촬영유닛의 촬영 영상의 분석을 통해(영상 내 볼의 위치 정보를 파악함으로써) 정확하게 판별할 수 있다.

상기한 목표영역 내의 볼 안착 여부에 대한 판별을 통한 이벤트 당첨 여부 또는 롱기스트 게임의 승자 여부 등을 상기 제3 촬영유닛의 촬영 영상의 분석을 통해 판별 또는 결정할 수 있고, 그 당첨자 또는 승자에게는 골프장 측이 미리 준비해 놓은 경품을 지급하거나, 상기 제1 촬영유닛 및 제3 촬영유닛 각각의 촬영 영상을 이용하여 영상정보 처리장치가 영상 편집을 통해 자동 생성한 골프영상정보를 제공할 수 있다(당첨자 또는 승자 여부를 상기 영상정보 처리장치가 판별 또는 결정함과 함께 자동으로 상기 자동 생성한 골프영상정보를 해당 사용자의 모바일 단말기로 전송하는 등의 처리가 가능하다).

여기서, 본원 청구항 11 내지 13에 기재되어 있는 티박스 촬영유닛 및 페어웨이 촬영유닛은, 상기한 제1 촬영유닛 및 제3 촬영유닛과 각각 동일하다.

한편, 상기한 바와 같은 각 촬영유닛의 카메라는 영상정보 처리장치(500)와 연결되어 서로 통신하면서 각 카메라가 취득하는 영상이 상기 영상정보 처리장치(500)로 전송되어 수집되며, 상기 영상정보 처리장치(500)는 각 카메라로부터 수집한 각각의 영상에서 적절한 영상을 추출하고 그 추출된 영상을 서로 결합하거나 특정 카메라의 영상 내에 다른 카메라의 영상을 서브 영상으로 삽입하는 등의 영상 편집을 수행하여 최종적으로 골프영상정보를 자동생성하도록 구성된다.

상기 영상정보 처리장치(500)는 상기한 바와 같이 골프영상정보를 자동생성하기 위하여 각 촬영유닛의 각 카메라로부터 수집한 각각의 영상으로부터 적절한 영상을 추출하는데, 어떤 구간의 영상을 추출하는 것이 적절한지에 관하여 미리 프로그램되어 있는 정보처리부에 의해 결정되어 적절한 영상을 추출하고 편집하여 상기한 골프영상정보를 생성한다.

즉, 상기 영상정보 처리장치(500)는 각각의 카메라로부터 수집한 영상을 분석하여 적절한 영상의 추출 구간을 결정하고 그 결정된 바에 따라 적절한 영상을 추출하는데, 이와 같은 사항에 대해서는 후술하도록 한다.

한편, 도 2에 도시된 바와 같이, 영상정보 처리장치(500)는 크게 저장부(510)와 정보처리부(520)를 포함하며, 상기 정보처리부(520)는 영상관리부(521), 트리거 처리부(522), 볼 트래킹 처리부(523), 홀컵위치 감지부(524) 및 영상 편집부(525)를 포함하도록 구성될 수 있다.

여기서, 상기한 영상관리부(521), 트리거 처리부(522), 볼 트래킹 처리부(523), 홀컵위치 감지부(524) 및 영상 편집부(525) 등은 각각이 하드웨어나 소프트웨어로 구현될 수 있으며, 상기 정보처리부(520)가 수행하는 각 기능들을 구분하여 나타낸 것일 수도 있다.

상기 저장부(510)는 각 촬영유닛(100, 200 등)의 각 카메라로부터 수집되는 영상이 저장되는 부분이며, 상기 영상관리부(521)는 각 촬영유닛(100, 200 등)의 각 카메라로부터 각각 촬영된 영상들을 수집하여 각 카메라별로 구분하여 상기 저장부(510)에 저장하여 관리한다.

상기 트리거 처리부(522)는 상기 저장부(510)에 저장된 상기 제1 촬영유닛(100)의 제1 카메라(110) 또는 제2 카메라(120)의 영상에 대한 영상 처리를 통해 볼이 타격에 의해 움직이는 것을 감지하며, 해당 영상 내에서 볼이 타격에 의해 움직이는 것을 감지하면 트리거 신호를 발생한다.

상기 트리거 처리부(522)에 의해 '볼이 타격에 의해 움직이는 것을 감지'하는 방식은 여러 프레임의 영상에 대해 서로 다른 두 프레임 영상의 차영상에서 볼을 검출하는 알고리즘에 의해 각 해당 영상 내에서 볼을 검출함으로써 볼의 감지가 가능하게 된다. 이에 대한 좀 더 구체적인 설명은 후술하도록 한다.

한편, 본 발명의 다른 일 실시예에 따른 골프영상정보 자동생성 시스템의 영상정보 처리장치(500)는 상기한 바와 같이 영상 분석을 통해 트리거 신호를 발생하는 트리거 처리부 대신 외부에서 발생되는 트리거 신호를 수신하여 이를 트리거 신호로 활용할 수 있다.

즉, 골프 라운드를 하는 과정에서 이용되는 골프 단말기(MT: 통상 캐디가 소지하고 다니면서 골프 스코어를 입력하여 관리하는 단말기일 수도 있고 각 골퍼가 소지하고 다니는 골프 보조 단말기나 스마트폰과 같은 모바일 단말기일 수도 있다)를 이용하여 어느 한 사용자가 골프샷을 할 때 임팩트 시점에 맞추어서 다른 사용자가 상기 골프 단말기(MT)를 조작하여 샷 신호를 상기 영상정보 처리장치(500)로 전송하면, 상기 영상정보 처리장치(500)는 그 샷 신호를 수신하여 이를 상기한 트리거 신호로 이용할 수 있다. 이에 대한 구체적인 사항 역시 후술하도록 한다.

한편, 상기 볼 트래킹 처리부(523)는 목표지점, 즉 그린 근처에 설치된 제2 촬영유닛(200)에 포함되는 카메라(210 또는 220)의 촬영 영상에 대해 영상 처리를 통한 분석으로 영상 내에서 볼을 검출하여 볼의 위치 정보를 생성함으로써 볼을 트래킹하도록 하는 기능을 수행하는 부분이다.

상기 볼 트래킹 처리부(523)는 볼이 그린 위에 안착하는 등 목표지점 근처에서 볼을 지속적으로 트래킹하여 볼이 움직임을 멈춘 시점을 결정한다.

그리고, 상기 볼 트래킹 처리부(523)는 상기한 바와 같이 영상 분석을 통해 볼의 위치를 지속적으로 트래킹하여 그린 상의 홀컵의 위치와 볼의 위치를 이용하여 홀인원 여부를 판단할 수도 있고, 볼과 홀컵 사이의 거리를 산출할 수도 있다.

한편, 상기 홀컵위치 감지부(524)는 그린 근처에 설치된 제2 촬영유닛(200)에 포함되는 카메라(210 또는 220)의 촬영 영상에 대해 영상 처리를 통한 분석으로 그린 상의 홀컵 위치를 실시간으로 감지하여 홀컵 위치가 변경된 경우 그 변경된 홀컵 위치 정보를 업데이트하도록 하는 기능을 수행한다.

통상 골프장의 각 홀에서는 그린 상의 홀컵 위치가 자주 변경된다. 따라서, 본 발명의 일 실시예에 따른 골프영상정보 자동생성 시스템은 그린 상의 홀컵 위치를 고정된 위치 정보로 가지고 있는 것이 아니라 시스템이 동작할 때마다 또는 미리 설정된 주기로 홀컵 위치를 새롭게 파악하여 업데이트 한다.

상기 홀컵위치 감지부(524)는 그린 근처에서 그린을 포함하는 영역을 촬영하는 카메라로부터 수집한 영상에 대한 미리 설정된 영상 처리를 통해 그린 상의 홀컵 위치를 직접적으로 파악하여 인식할 수도 있고, 홀컵에 꽂힌 깃대를 인식하여 그 깃대의 하단부 위치를 홀컵 위치로서 인식할 수도 있다.

상기 홀컵위치 감지부(524)에 의해 그린 상의 홀컵 위치 정보가 최신 정보로 유지됨으로써 상기한 볼 트래킹 처리부(523)에 의해 홀인원 여부나 니어핀 판단, 홀컵과 볼 사이의 거리 산출 등을 정확하게 할 수 있게 된다.

한편, 상기 영상 편집부(525)는 상기 영상관리부(521)에 의해 관리되고 있는 각 카메라별 영상으로부터 최종적으로 만들어지게 될 골프영상정보의 생성에 필요한 영상을 각각 추출하고 그 추출된 영상들을 서로 결합하거나 특정 추출 영상을 서브 영상으로 다른 추출 영상에 삽입하는 등의 영상 편집이 이루어지는 부분이다.

상기 영상 편집부(525)는 각 카메라별 영상에 대한 영상의 추출 구간을 결정하고 그 결정된 추출 구간에 따라 각 카메라별 영상으로부터 필요한 영상을 추출하는데, 상기한 트리거 처리부(522)에 의해 또는 외부의 골프 단말기에 의해 발생하는 트리거 신호의 시점, 제1 카메라의 영상에서 볼이 더 이상 검출되지 않는 시점, 타격되어 이동하는 볼이 그린 위에서 멈춘 시점 등의 정보를 이용하여 상기한 영상의 추출 구간을 결정한다. 이에 대한 구체적인 사항 역시 후술하도록 한다.

여기서, 상기한 "시점"은 시간 정보일 수도 있고 영상의 프레임 정보일 수도 있다. 예컨대 '트리거 신호의 발생 시점'이라고 하면 트리거 처리부에 의해 트리거 신호가 발생하였을 때의 시간을 의미할 수도 있고 트리거 신호가 발생할 때의 해당 영상 프레임을 의미할 수도 있으며 둘 다를 의미할 수도 있다.

상기한 '볼이 더 이상 검출되지 않는 시점' 역시 마찬가지로 영상 분석을 통해 볼이 검출되지 않을 때의 시간 정보 또는 볼이 검출되지 않을 때의 해당 영상 프레임을 의미할 수 있으며, 상기한 '볼이 그린 위에서 멈춘 시점' 역시 볼 트래킹 과정에서 볼의 움직임이 없을 때의 시간 정보 또는 해당 영상 프레임 정보를 의미할 수 있다.

그리고, 상기한 "추출 구간"은 시간 구간일 수도 있고 프레임 구간일 수도 있다. 예컨대 트리거 시점부터 볼이 더 이상 검출되지 않는 시점까지의 구간이라고 한다면, 트리거가 발생했을 때의 시간과 볼이 더 이상 검출되지 않을 때의 시간 사이의 시간 구간에 대응되는 영상 프레임들을 추출한다는 의미일 수 있으며, 트리거가 발생했을 때의 해당 영상 프레임과 볼이 더 이상 검출되지 않을 때의 해당 영상 프레임 사이의 프레임 구간에 해당하는 영상 프레임들을 추출한다는 의미일 수도 있다.

한편, 도 3을 참조하여 본 발명의 일 실시예에 따른 골프영상정보 자동생성 시스템에 이용되는 골프영상정보 자동생성방법에 관하여 설명한다.

도 3에 도시된 플로우차트에서는, 티박스에서 홀인원이 가능한 Par 3 홀과 같은 홀에서 티박스(TB, 도 1 참조)에 제1 카메라(110, 도 1 참조)와 제2 카메라(120, 도 1 참조)가 설치되어 있고 그린(G) 근처에 제3 카메라(210, 도 1 참조)설치되어 있는 경우에 있어서 영상정보 처리장치(500, 도 1 참조)에 의해 수행되는 골프영상정보 자동생성방법에 관하여 나타내고 있다.

여기서, 상기 제1 카메라는 골프스윙자세를 취하는 사용자의 측면을 바라보는 화각으로 영상을 촬영하며(볼의 진행방향 후방에서 영상을 촬영), 상기 제2 카메라는 골프스윙자세를 취하는 사용자의 정면을 바라보는 화각으로 영상을 촬영한다(볼의 진행방향 측방에서 영상을 촬영).

시스템이 동작하기 시작하면, 티박스 근처에 설치된 제1 카메라 및 제2 카메라가 각각 영상 촬영을 시작하고(S10), 영상관리부(521, 도 2 참조)는 상기 제1 카메라 및 제2 카메라 각각으로부터 촬영된 영상을 수집하여 저장부(510, 도 2 참조)에 저장한다(S12).

사용자가 티박스에서 골프샷 함에 따라 볼을 타격하면, 트리거 처리부(522, 도 2 참조)에 의해 트리거 신호가 발생하거나 외부의 골프 단말기 등으로부터 트리거 신호를 수신한다(S20).

상기한 바와 같이 트리거 신호가 발생하면, 그린 근처에 설치된 제3 카메라는 영상 촬영을 시작하고(S22), 영상관리부는 제3 카메라로부터도 촬영 영상을 수집하여 저장부에 저장한다.

그리고, 상기한 바와 같이 트리거 신호가 발생함에 따라 영상 편집부(525, 도 2 참조)는 트리거 시점을 결정한다(S24).

한편, 트리거 처리부는 저장부에 저장된 제1 카메라의 촬영 영상에 대해 차영상 및 볼 검출 방법 등을 적용하여 영상 내에서 움직이고 있는 볼을 검출한다(S30).

상기 제1 카메라의 촬영 영상은 티박스의 후방 쪽에서 볼 진행방향으로 바라보는 화각으로 촬영되는 영상이므로 볼이 어느 정도 멀리 날아가면 영상 내에서 더 이상 볼을 검출할 수 없게 되는데(S40), 이때 영상 편집부는 상기 제1 카메라의 촬영 영상에서 볼이 더 이상 검출되지 않는 시점, 즉 제1 카메라 영상에서 볼이 사라진 시점을 결정한다(S42).

또는, 상기 영상편집부는 상기한 트리거 시점으로부터 미리 설정된 시간이 경과하면(S40), 그 미리 설정된 시간이 경과한 시점을 볼이 사라진 시점으로서 결정한다(S42).

상기한 바와 같이 제1 카메라의 영상에서 볼이 사라진 것으로 판단되는 경우에는 영상관리부는 제1 카메라 촬영 영상의 수집을 종료한다(S44)(제1 카메라도 촬영을 종료한다).

그리고, 영상정보 처리장치의 볼 트래킹 처리부(523, 도 2 참조)는 그린 영역을 촬영하고 있는 제3 카메라의 촬영 영상에 대해 차영상 및 볼 검출 방법 등을 적용하여 볼을 검출함으로써 볼의 위치를 트래킹한다(S50).

볼 트래킹 처리부에 의해 볼 트래킹이 진행되다가 볼이 더 이상 움직이지 않는 경우, 예컨대 볼이 그린 위에서 구르다가 정지한 경우(S60), 상기 영상 편집부는 볼이 그린 위에서 정지한 시점을 결정한다(S64).

그리고, 상기한 바와 같이 제3 카메라의 영상에서 볼이 정지한 것으로 판단한 경우 영상관리부는 제3 카메라 촬영 영상의 수집을 종료한다(S62)(제3 카메라도 촬영을 종료한다).

이때, 볼 트래킹 처리부는 홀컵의 위치를 미리 알고 있고 영상 분석을 통해 볼의 위치 정보도 알고 있으므로, 홀컵의 위치와 볼의 위치 정보를 이용하여 홀인원인지 여부를 판단할 수 있다(S70).

만약, 홀인원이 발생한 경우, 영상 편집부는 최종적으로 생성되는 골프영상정보에 미리 준비되어 있는 홀인원 축하 컨텐츠를 삽입하도록 한다(S72).

만약, 홀인원이 아닌 경우, 볼 트래킹 처리부는 홀컵과 볼 사이의 거리를 산출하고(S80), 영상 편집부는 최종적으로 생성되는 골프영상정보에 상기 산출된 홀컵과 볼 사이의 거리 정보를 표시한다(S82).

한편, 영상 편집부는 상기한 S24 단계에서 결정한 트리거 시점과, S42 단계에서 결정한 제1 카메라 영상에서 볼이 사라진 시점, 그리고 S64 단계에서 결정한 볼이 그린 위에서 정지한 시점을 이용하여 상기 결정된 각 시점을 기준으로 상기 저장부에 저장된 각 카메라 영상으로부터 각각 영상을 추출하여 그 추출된 영상에 대해 미리 설정된 사항에 따른 편집을 수행하고, 필요한 경우 상기 S72 단계의 홀인원 축하 컨텐츠나 상기 S82 단계의 거리 정보 표시 등을 삽입함으로써 최종적으로 골프영상정보를 생성한다(S100).

상기 도 3에 도시된 플로우차트에 따른 골프영상정보의 자동생성과 관련하여 그 구체적인 예를 도 4 내지 도 8을 참조하여 설명하도록 한다.

도 4는 상기한 제1 카메라에 의해 촬영된 영상(101)의 일 예로서 해당 영상에서 영상 처리를 하는 방법을 설명하기 위한 것이다.

제1 카메라에 의해 촬영된 영상으로부터는 상기한 트리거 시점의 결정 및 볼이 사라진 시점의 결정이 이루어질 필요가 있으며, 이는 제1 카메라에 의해 촬영된 영상에 대한 소정의 영상 처리를 통한 분석에 의해 이루어진다.

영상 처리를 통한 분석을 용이하게 하기 위하여, 도 4에 도시된 바와 같이 티박스에는 항상 준비되어 있는 티마커1 및 2를 이용하여 해당 영상 내에서 티마커 1 및 2를 인식하고 그 인식된 티마커 1 및 2를 포함하는 관심영역(ROI)을 설정하여, 제1 카메라의 촬영 영상 매 프레임마다 상기한 관심영역(ROI)에 해당하는 부분을 추출함으로써 영상 처리에 상기 추출된 관심영역(ROI) 부분을 이용할 수 있다.

최초에 상기한 바와 같이 관심영역(ROI)이 설정되면 골프샷이 진행되는 동안에는 제1 카메라의 모든 프레임의 영상에서 상기 설정된 관심영역(ROI)만을 추출하여 분석함으로써 트리거나 볼의 사라짐 등을 쉽게 판단할 수 있다.

한편, 도 5의 (a) 내지 (f)는 상기한 제1 카메라에 의해 촬영된 n번째 프레임부터 n+5번째 프레임의 영상을 시계열적으로 나타낸 것으로서 각각의 영상 내에서 볼을 검출한 것에 관하여 나타내고 있다(여기서 n은 임의의 자연수임).

도 5의 (a)는 n번째 프레임 영상을, (b)는 n+1번째 프레임 영상을, (c)는 n+2번째 프레임 영상을, (d)는 n+3번째 프레임 영상을, (e)는 n+4번째 프레임 영상을, 그리고 (f)는 n+5번째 프레임 영상을 각각 나타내는데, 각 프레임 영상 내에서 b1, b2, b3, b4, b5 및 b6가 지칭하는 바와 같이 움직이는 볼이 검출될 수 있다.

이와 같은 볼 검출은 차영상 및 볼 검출 방법을 통해 수행될 수 있는데, 예컨대 n번째 프레임 영상과 n+1번째 프레임 영상의 차영상과 이에 대한 정규화 등의 소정의 이미지 전처리를 거치게 되면 영상 내에서 움직임이 있는 부분만 남게 되는데 그 중에는 볼도 포함된다.

볼의 크기, 가로세로비, 직진성 등에 관한 사항을 미리 설정해 놓고, 그 미리 설정된 사항에 따라 차영상에 의해 생성된 영상에서 해당하지 않는 부분들을 제거하는 방식으로 볼을 검출할 수 있다.

예컨대, 차영상을 통해 움직이는 부분인 사용자의 머리 부분이나 몸통, 다리 부분 등, 그리고 골프클럽 부분과 볼 부분이 검출되는데, 사용자의 머리 부분이나 몸통, 다리 부분 등은 미리 설정된 볼의 크기 정보나 가로세로비 정보에 따라 쉽게 제외될 수 있고 골프클럽 부분의 경우 곡선 궤도로 움직일 수밖에 없으므로 직진성에 관한 미리 설정된 사항에 따라 쉽게 제외될 수 있으므로, 이와 같은 방식으로 불필요한 부분들이 모두 제외됨에 따라 볼이 용이하게 검출될 수 있다.

상기한 바와 같은 볼 검출 방법에 따라 도 5의 (a) 내지 (f)에 각각 나타낸 각 프레임 영상상에서 검출된 볼을 표시한 것이 b1 내지 b6이다.

본 발명에 따른 시스템의 영상정보 처리장치의 트리거 처리부가 상기한 볼 검출 방법에 의해 최초로 볼이 검출될 때의 시점이 바로 트리거 시점이 되는 것이다.

도 5의 (a)에 나타낸 제1 카메라 영상의 n번째 프레임 영상에서 볼(b1)이 검출됨에 따라 n번째 프레임을 트리거 시점으로 결정하거나 n번째 프레임 영상에서 볼을 검출한 시간을 트리거 시점으로서 결정할 수 있다.

만약, 트리거 처리부 대신 외부의 트리거 신호를 수신하는 것으로 트리거 시점을 결정하는 경우에는 다른 사용자 또는 캐디가 골프 단말기를 조작하여 트리거 신호를 발생한 시점(해당 시간 또는 해당 시간에서의 프레임)이 트리거 시점이 된다.

트리거 처리부의 영상 처리에 의한 트리거 신호 발생시점과 외부로부터 트리거 신호를 수신함에 따라 결정되는 트리거 시점은 다를 수 있으며 반드시 사용자의 골프스윙에 의해 골프클럽의 헤드가 볼에 임팩트 될 때를 트리거 시점으로 결정하 필요는 없다. 적절한 시점을 트리거 시점으로 하여 그 시점 전후의 미리 설정된 구간 만큼의 영상을 추출하여 영상을 편집하기 때문에 임팩트 시점이 트리거 시점이 되지 않더라도 적절한 골프영상정보의 생성이 가능하기 때문이다.

한편, 도 6의 (a) 내지 (f)는 상기한 제1 카메라에 의해 촬영된 m번째 프레임부터 m+5번째 프레임의 영상을 시계열적으로 나타낸 것으로서 각각의 영상 내에서 볼을 검출한 것에 관하여 나타내고 있다(여기서 m은 임의의 자연수이며 m은 n보다 크다).

도 6의 (a)는 m번째 프레임 영상을, (b)는 m+1번째 프레임 영상을, (c)는 m+2번째 프레임 영상을, (d)는 m+3번째 프레임 영상을, (e)는 m+4번째 프레임 영상을, 그리고 (f)는 m+5번째 프레임 영상을 각각 나타내는데, 각 프레임 영상 내에서 B1, B2, B3, B4 및 B5가 지칭하는 바와 같이 움직이는 볼이 검출될 수 있다 (도 6에서 m+5번째 프레임 영상에서는 볼이 검출되지 않았다).

여기서, 볼을 검출하는 방식은 앞서 도 5를 통해 설명한 바와 같다.

이와 같이 트리거 신호 발생 이후에도 트리거 처리부는 제1 카메라의 영상을 프레임마다 분석하여 볼을 검출하는데, m+5번째 프레임 영상에서 볼이 검출되지 않았기 때문에, 즉 영상 내에서 볼이 사라진 것으로 판단할 수 있으므로 해당 프레임을 볼이 사라진 시점 또는 영상에서 볼이 검출되지 않았을 때의 시간을 볼이 사라진 시점으로 결정할 수 있다.

한편, 도 7은 상기한 제3 카메라에 의해 촬영된 영상(201)의 일 예로서 해당 영상에서 홀컵과 볼 사이의 거리 표시 등 그린 상에서의 사용자에게 제공될 수 있는 골프정보에 대한 표시가 이루어진 예를 나타내고 있다.

도 7에 예시된 제3 카메라의 영상을 통해, 본 발명의 영상정보 처리장치의 볼 트래킹 처리부는 해당 영상 내에서 볼(ba)을 검출(볼 검출 방법은 앞서 설명한 바와 같다)하여 매 프레임 영상마다 볼의 위치 정보를 산출함으로써 볼의 위치를 추적한다.

매 프레임마다 볼(ba)의 위치 정보를 산출할 수 있으므로, 최종적으로 생성되는 골프영상정보에 도 7에 나타낸 바와 같이 볼의 궤적(tr)을 표시하는 것도 가능하다.

또한, 본 발명의 영상정보 처리장치의 홀컵위치 감지부(524, 도 2 참조)는 영상(201) 내에서 그린(g) 상의 홀컵(hc)을 직접적으로 찾거나 홀컵에 꽂힌 깃대(fl)를 찾아서 홀컵 위치를 산출할 수 있다.

홀컵(hc) 또는 깃대(fl)는 그린(g)과 뚜렷하게 구별되는 색상을 가지므로, 제3 카메라의 영상을 HSV 영상으로 변환하여 그 변환 영상에 대한 컬러 분석을 통해 홀컵 또는 깃대를 찾을 수 있다.

깃대를 찾는 경우, 영상 내에서 깃대에 대한 컬러 분포를 통해 깃대가 세워져 있는지 누워 있는지 판단할 수 있으며, 깃대가 누워 있는 경우에는 홀컵 위치를 감지하지 않으며 깃대가 세워져 있는 경우에 그 깃대의 하단 부분을 홀컵 위치로서 특정할 수 있다.

상기한 볼 트래킹 처리부는 영상 내 볼 검출 방법에 의해 볼의 위치 정보를 알고 있고 또한 홀컵위치 감지부를 통해 파악된 홀컵의 위치도 알고 있으므로, 홀컵의 위치 정보와 볼의 위치 정보를 이용하여 볼(ba)이 홀컵(hc)에 홀인되는지 여부를 판단할 수 있음은 물론, 볼(ba)이 정지한 경우 홀컵(hc)과 볼(ba) 사이의 거리도 계산할 수 있다.

본 발명의 영상정보 처리장치의 영상 편집부는 상기한 바와 같이 볼이 홀컵에 홀인되는 경우, 즉 홀인원인 경우 미리 준비된 홀인원 축하 컨텐츠를 골프영상정보에 삽입하여 표시할 수 있으며, 도 7에 도시된 바와 같이 볼(ba)과 홀컵(hc) 사이의 거리가 산출된 경우 그 산출된 거리 정보를 골프영상정보에 표시할 수 있다.

또한, 도 7에 도시된 바와 같이, 파악된 홀컵 위치를 중심으로 동심원(Ra)과 같은 가상 오브젝트를 표시하여 볼(ba)이 홀컵(hc)에 어느 정도 근접하였는지 시각적으로 표시하는 컨텐츠의 삽입도 가능하다.

한편, 도 8에서는 영상 편집부에 의해 각각의 카메라 영상에서 필요한 영상을 추출하여 편집함으로써 골프영상정보를 생성하는 일 예를 나타내고 있다.

도 8에서 IM-1은 제1 카메라의 촬영 영상으로서 영상관리부에 의해 수집되어 저장부에 저장된 영상을 나타내고, IM-2는 제2 카메라의 촬영 영상으로서 영상관리부에 의해 수집되어 저장부에 저장된 영상을 나타내며, IM-3은 제3 카메라의 촬영 영상으로서 영상관리부에 의해 수집되어 저장부에 저장된 영상을 나타내고, IM-G는 각각의 영상에서 추출된 영상이 편집된 영상을 나타낸다.

각각의 영상(IM-1, IM-2, IM-3)에서 골프영상정보를 생성하기 위해 필요한 영상을 추출하기 위해서는 트리거 시점(도 3의 S24단계 참조), 볼이 사라진 시점(도 3의 S42단계 참조) 및 볼이 정지한 시점(도 3의 S64단계 참조)이 각각 결정됨이 바람직한데, 여기서 트리거 시점은 T1, 볼이 사라진 시점은 T2, 그리고 볼이 정지한 시점은 T3라 하기로 한다.

상기한 각각의 시점 중에서 트리거 시점(T1)은 반드시 결정될 필요가 있고, 볼이 사라진 시점(T2) 및 볼이 정지한 시점(T3)은 반드시 결정될 필요 없이 상기 트리거 시점으로부터의 시간 구간 또는 프레임 구간을 미리 설정하여 트리거 시점 이후 미리 설정된 시간 또는 프레임 구간에 해당하는 영상을 추출하는 방식으로 각각의 영상(IM-1, IM-2, IM-3)으로부터 골프영상정보를 생성하기 위해 필요한 영상을 추출하는 것이 가능하다.

그러나, 골퍼마다 비거리도 다르고 타격된 볼이 바위를 맞고 다시 그린 위로 올라오는 등의 여러 가지 돌발변수들 때문에 고정된 영상 추출 구간으로는 볼에 대한 적절한 영상을 담아내기 어렵울 수 있다는 것을 고려한다면, 영상 분석을 통해 각각의 시점을 결정하고 그 결정된 시점에 따라 영상 추출 구간을 결정하는 것이 볼에 대한 적절한 영상을 담아내는데 더 유리할 수 있다. 이하에서는 각 결정된 시점에 따라 영상 추출 구간이 결정되는 경우에 관하여 설명한다.

도 8에 도시된 바와 같이, 제1 카메라의 영상에 대한 분석을 통해 트리거 시점(T1)과 볼이 사라진 시점(T2)이 결정되면, 제1 카메라의 영상(IM-1)에서 트리거 시점(T1) 이전의 미리 설정된 구간(S1-1)에 해당하는 영상과 트리거 시점(T1)부터 볼이 사라진 시점(T2)까지의 구간(S1-2)에 해당하는 영상이 추출될 수 있다.

물론, 볼이 사라진 시점(T2)을 별도로 판단하지 않는 경우에는 트리거 시점(T1)으로부터 미리 설정된 구간을 상기한 S1-2 구간으로서 추출할 수 있다. 볼이 사라진 시점(T2)이 결정된 경우에도 상기한 S1-2 구간을 T1 ~ T2 까지의 구간으로 할 필요는 없고 T1으로부터 T2 시점보다 조금 더 앞선 시점 또는 더 뒤의 시점까지의 구간을 S1-2 구간으로 결정하여 추출할 수 있다.

IM-1 영상에서 S1-1 구간 및 S1-2 구간에 해당하여 추출되는 영상을 E1이라 하기로 한다.

한편, 제2 카메라의 영상으로부터 추출되는 영상은 편집될 골프영상을 어떤 컨텐츠로 구성할 것인가에 따라 다양하게 결정될 수 있다. 제2 카메라의 영상은 사용자를 정면으로 바라보는 화각으로 촬영한 영상이므로 제1 카메라의 영상 또는 제3 카메라의 영상에 서브 영상으로 삽입하여 골프공이 타격되어 날아가는 상황에서 사용자의 표정을 함께 영상에 담아내기 위한 목적으로 추출하는 것일 수 있다.

따라서, 도 8에서 제2 카메라의 영상(IM-2)에 대해 트리거 시점(T1)으로부터 미리 설정된 구간(S2)에 해당하는 영상을 추출할 수 있고, 제2 카메라의 영상(IM-2)으로부터 S2 구간의 추출된 영상을 E2라 하기로 한다.

한편, 도 8에 도시된 바와 같이, 제3 카메라의 영상에 대한 분석을 통해 볼이 정지한 시점(T3)이 결정되면, 제3 카메라의 영상(IM-3)에서 볼이 사라진 시점(T2)으로부터 볼이 정지한 시점(T3)까지의 구간(S3)이 추출될 수 있다.

물론, 볼이 정지한 시점(T3)을 별도로 판단하지 않는 경우에는 트리거 시점(T1)으로부터 미리 설정된 구간 또는 볼이 사라진 시점(T2)으로부터 미리 설정된 구간을 상기한 S3 구간으로서 추출할 수 있다.

제3 카메라의 영상(IM-3)으로부터 S3 구간의 추출된 영상을 E3이라 하기로 한다.

상기한 바와 같이 제1 카메라 영상(IM-1), 제2 카메라 영상(IM-2) 및 제3 카메라 영상(IM-3)으로부터 각각 E1, E2 및 E3의 영상이 추출되면, 이를 이용하여 편집 영상(IM-G)을 만들 수 있다.

즉, 도 8에 도시된 바와 같이, E1 영상과 E3 영상을 결합하고 그 결합된 영상에 E2 영상을 서브 영상으로 삽입하는 방식으로 영상 편집이 이루어질 수 있다.

서브 영상의 경우 오리지날 영상에서 특정 부분, 예컨대 사용자의 상체 부분이나 얼굴 부분만 추출하여 이용할 수도 있고 사용자에 대한 확대 영상을 이용할 수도 있다.

본 발명의 일 실시예에 따른 골프영상정보 자동생성 시스템은, 상기한 E1, E2 및 E3 영상을 편집한 영상에, 도 7에서 설명한 바와 같은 볼의 궤적(tr) 표시, 그린 상의 동심원(Ra) 표시, 홀컵과 볼 사이의 거리 표시, 홀인원 등에 대한 축하 컨텐츠 표시 등을 삽입하거나, 'Nice Shot!', 'Nearest Winner!' 등과 같은 코멘트의 표시 등을 삽입함으로써 최종적인 골프영상정보를 자동으로 생성할 수 있다.

최종적으로 골프영상정보의 생성이 완료되면 영상정보 처리장치(500, 도 1 참조)는 골프장의 운영서버나 별도의 서버로 상기 생성 완료된 골프영상정보를 전송하여 서버에서 저장 관리가 되도록 할 수 있으며, 사용자는 PC나 모바일 단말기를 이용하여 서버에 접속하여 해당 골프영상정보를 내려받기함으로써 자신의 기념적인 골프샷에 대한 골프영상정보를 제공받을 수 있다.

한편, 상기한 도 3 내지 도 8에서는 티박스에 제1 카메라 및 제2 카메라가 설치되고 그린 지역에 제3 카메라가 설치되어 각각으로부터 영상을 수집하여 골프영상정보를 생성하는 경우에 관하여 설명하고 있는데, 본 발명에 따른 골프영상정보 자동생성 시스템 및 방법은 이와 같은 경우에 한정되지 않고 두 대의 카메라를 이용하는 경우는 물론 네 개 이상의 카메라를 이용하는 경우까지 다양하게 구현이 가능하다.

예컨대, 티박스에 제1 카메라가 설치되고 그린 지역에 제3 카메라만 설치된 경우에는, 도 8에서 제2 카메라의 영상(IM-2) 및 그로부터 추출된 영상(E2)에 관한 부분을 제외하고 E1 영상과 E3 영상을 이용하여 골프영상정보를 생성할 수 있다.

또한 예컨대, 티박스에 제1 카메라 및 제2 카메라가 설치되고 그린 지역에 제3 카메라 및 제4 카메라가 설치된 경우에는(도 1 참조), 도 8에서 제4 카메라의 영상으로부터 T1, T2 및 T3 중 적어도 하나의 시점을 기준으로 영상 추출 구간을 결정하고 그 결정된 구간에 따라 영상을 추출하여 편집되는 영상 상에 서브 영상으로 삽입하거나 E3 영상에 결합하는 방식으로 편집이 이루어질 수 있다(제4 카메라의 영상은 제3 카메라와 다른 시각으로 그린 영역을 촬영하고 있으므로 제3 카메라의 영상과 제4 카메라의 영상으로부터 각각 적절한 구간으로 영상을 추출하여 서로 결합할 수 있으며, 제4 카메라의 영상이 홀컵 근처를 확대하여 촬영하는 영상이 되도록 하여 E3 영상 상에 서브 영상으로 삽입하여 처리하는 것도 가능하다).

또한 예컨대, 티박스와 그린 사이에 제3 촬영유닛(제5 카메라 및 제6 카메라, 도 1 참조)이 설치된 경우에는, 적절한 구간으로 제3 촬영유닛의 영상들로부터 영상을 추출하여 도 8에서 E1 영상과 E3 영상 사이에 적절하게 결합시키거나 삽입하는 방식으로 영상 편집이 이루어질 수 있다.

한편, 도 9 내지 도 13을 참조하여 본 발명의 또 다른 일 실시예에 따른 골프영상정보 자동생성 시스템 및 이에 이용되는 골프영상정보 자동생성방법에 관하여 설명한다.

본 발명의 또 다른 일 실시예에 따른 골프영상정보 자동생성 시스템은 골프장의 특정 홀의 일측에 설치되는 제1 촬영유닛과 타측에 설치되는 제2 촬영유닛, 그리고 상기 제1 촬영유닛 및 제2 촬영유닛과 연결되는 영상정보 처리장치를 포함하여 구성된다. 본 실시예에서도 상기한 영상정보 처리장치의 구성 및 기능은 실질적으로 동일하게 적용될 수 있다.

여기서, 상기 제1 촬영유닛은 도 1에 도시된 제1 카메라에 의해 구현될 수도 있고 제2 카메라에 의해 구현될 수도 있으며, 반드시 티박스에 설치되어야 하는 것은 아니며 티박스와 어느 정도 떨어진 거리에 설치될 수도 있다.

상기 제2 촬영유닛은 도 1에 도시된 제3 카메라에 의해 구현될 수도 있고 제4 카메라에 의해 구현될 수도 있으며, 반드시 그린 주변에 설치되어야 하는 것은 아니며 그린과 어느 정도 떨어진 거리에 설치될 수도 있다.

이하, 제1 촬영유닛이라 하면 사용자가 골프샷을 하는 주변에 설치되는 카메라 장치를 의미하고, 제2 촬영유닛이라 하면 목표지점(예컨대, 그린 상의 홀컵) 주변에 설치되는 카메라 장치를 의미하는 것으로 정의한다.

도 9는 본 발명의 다른 일 실시예에 따른 골프영상정보 자동생성 시스템에 이용되는 골프영상정보 자동생성방법에 관하여 설명하기 위한 플로우차트이다.

도 9에 도시된 플로우차트에 따른 골프영상정보 자동생성방법이 적용되는 본 발명에 따른 골프영상정보 자동생성 시스템의 제2 촬영유닛은 팬-틸트-줌(Pan-Tilt-Zoom)이 가능한 PTZ카메라 장치에 의해 구현된다.

상기 PTZ카메라의 팬 기능은 카메라를 좌우로 회전하는 기능이고, 틸트 기능은 카메라를 상하로 회전하는 기능이며, 줌 기능은 영상을 확대 또는 축소하는 기능이다.

시스템이 동작하기 시작하면, 제1 촬영유닛이 사용자가 골프샷 하는 것에 대한 영상 촬영을 시작하고, 제2 촬영유닛 역시 영상 촬영을 시작한다(S210). 이때 제2 촬영유닛은 사용자가 골프샷을 하는 위치(예컨대, 티박스)에서 어느 정도 떨어진 거리(예컨대, 그린 주변)에 설치된 상태에서 사용자가 골프샷을 하는 위치를 바라보고 미리 설정된 제1 배율로 줌-인(Zoom-In) 된 상태로 촬영을 시작한다 (이하 상기 제2 촬영유닛의 사용자가 골프샷을 하는 위치를 바라보고 미리 설정된 제1 배율로 줌-인(Zoom-In) 된 상태를 ‘기본상태’라 하기로 한다).

영상관리부(521, 도 2 참조)는 상기 제1 촬영유닛 및 제2 촬영유닛 각각으로부터 촬영된 영상을 수집하여 저장부(510, 도 2 참조)에 저장한다(S220).

사용자가 티박스에서 골프샷 함에 따라 볼을 타격하면, 트리거 처리부(522, 도 2 참조)에 의해 트리거 신호가 발생하거나 외부의 골프 단말기 등으로부터 트리거 신호를 수신한다(S230). 이와 같이 트리거 신호가 발생하면 영상 편집부(525, 도 2 참조)는 트리거 시점을 결정한다(S232).

또한, 상기한 바와 같이 트리거 신호가 발생하면 제2 촬영유닛은 기본상태에서 촬영을 하다가 미리 설정된 제2 배율로 점점 줌-아웃(Zoom-Out) 하면서 촬영된 영상을 영상정보 처리장치로 전송한다(S310).

상기한 바와 같이 제2 촬영유닛이 점점 줌-아웃을 하다가 상기한 미리 설정된 제2 배율(기본 배율일수도 있고 그 보다 높은 배율일 수도 있다)에 도달하면 줌-아웃을 완료한다(S320).

줌-아웃이 완료된 후, 상기 제2 촬영유닛은 팬-틸팅을 수행하여, 즉 상하로 회전하거니 좌우로 회전하거나 상하좌우로 회전하여 목표지점을 포함하는 소정 영역을 촬영하도록 한다. 즉, 제2 촬영유닛은 그 바라보는 촬영범위 내에 홀컵을 포함하는 그린이 포함될 수 있도록 해당 뷰가 가능하도록 상기 제2 촬영유닛의 팬-틸팅이 구동된다.

여기서, 상기 제2 촬영유닛은 처음부터 미리 설정된 상하 및/또는 좌우 각도로 회전함으로써 상기한 팬-틸팅이 이루어질 수도 있고, 영상정보 처리장치가 상기 제2 촬영유닛으로부터 전송되는 영상을 분석하여 홀컵 위치를 인식하고 상기 제2 촬영유닛에게 회전할 상하 및/또는 좌우 각도 정보를 전달함으로써 상기한 팬-틸팅이 이루어질 수도 있으며, 제2 촬영유닛 자체에 영상분석유닛을 포함하여 자체 영상 분석을 통해 홀컵 위치를 인식하고 그 홀컵 위치를 기준으로 회전 각도 정보를 계산하여 그에 따라 상기한 팬-틸팅이 이루어지는 것도 가능하다.

상기한 바와 같이 제2 촬영유닛의 팬-틸팅이 이루어진 후, 상기 제2 촬영유닛은 그린에 대한 영상을 촬영하여 영상정보 처리장치로 그 촬영된 영상을 전송한다(S340).

한편, 상기 제1 촬영유닛이 티박스의 후방 쪽에서 볼 진행방향으로 바라보는 화각으로 촬영되는 영상인 경우, 타격에 의해 볼이 어느 정도 멀리 날아가면 영상 내에서 더 이상 볼을 검출할 수 없게 되는데, 이때 영상 편집부는 상기 제1 촬영유닛의 촬영 영상에서 볼이 더 이상 검출되지 않는 시점, 즉 제1 촬영유닛 영상에서 볼이 사라진 시점을 결정할 수 있다.

추후 영상편집부는 골프영상정보를 생성할 때 상기한 볼이 사라진 시점을 기준으로 상기 제1 촬영유닛의 영상으로부터 추출할 영상의 추출 구간을 결정할 수 있으며, 또는 상기한 바와 같은 ‘볼이 사라진 시점’을 결정하지 않고 상기한 트리거 시점으로부터 미리 설정된 시간이 경과하면 그 경과된 시간까지의 영상을 상기 제1 촬영유닛의 영상으로부터 추출할 수도 있다. 도 9에서는 후자에 대해 나타내고 있다.

즉, 영상정보 처리장치는, 상기 트리거 신호가 발생한 후 미리 설정된 시간이 경과하였는지 판단하여(S400), 그 미리 설정된 시간이 경과하면 상기 제1 촬영유닛의 촬영 영상 수집을 종료한다(S410)(제1 촬영유닛도 촬영을 종료한다).

그리고, 영상정보 처리장치의 볼 트래킹 처리부(523, 도 2 참조)는 그린 영역을 촬영하고 있는 제2 촬영유닛의 촬영 영상에 대해 차영상 및 볼 검출 방법 등을 적용하여 볼을 검출함으로써 볼의 위치를 트래킹한다(S420).

볼 트래킹 처리부에 의해 볼 트래킹이 진행되다가 볼이 더 이상 움직이지 않는 경우, 예컨대 볼이 그린 위에서 구르다가 정지한 경우(S500), 상기 영상 편집부는 볼이 그린 위에서 정지한 시점을 결정한다(S502).

그리고, 상기한 바와 같이 제2 촬영유닛의 영상에서 볼이 정지한 것으로 판단한 경우 영상관리부는 제2 촬영유닛 촬영 영상의 수집을 종료한다(S350)(제2 촬영유닛도 촬영을 종료한다). 이때 상기 제2 촬영유닛은 줌-인 및 팬-틸팅에 의해 상기한 기본상태로 복귀한다(S360).

볼 트래킹 처리부는 홀컵의 위치를 미리 알고 있고 영상 분석을 통해 볼의 위치 정보도 알고 있으므로, 홀컵의 위치와 볼의 위치 정보를 이용하여 홀인원인지 여부를 판단할 수 있다(S520).

만약, 홀인원이 발생한 경우, 영상 편집부는 최종적으로 생성되는 골프영상정보에 미리 준비되어 있는 홀인원 축하 컨텐츠를 삽입하도록 한다(S521).

만약, 홀인원이 아닌 경우, 볼 트래킹 처리부는 홀컵과 볼 사이의 거리를 산출하고(S540), 영상 편집부는 최종적으로 생성되는 골프영상정보에 상기 산출된 홀컵과 볼 사이의 거리 정보를 표시한다(S550).

한편, 영상 편집부는 상기한 S232 단계에서 결정한 트리거 시점과, S502 단계에서 결정한 볼이 그린 위에서 정지한 시점 등을 이용하여 상기 결정된 각 시점을 기준으로 상기 저장부에 저장된 각 촬영유닛 영상으로부터 각각 영상을 추출하여 그 추출된 영상에 대해 미리 설정된 사항에 따른 편집을 수행하고, 필요한 경우 상기 S521 단계의 홀인원 축하 컨텐츠나 상기 S550 단계의 거리 정보 표시 등을 삽입함으로써 최종적으로 골프영상정보를 생성한다(S600).

상기 도 3에 도시된 플로우차트에 따른 골프영상정보의 자동생성과 관련하여 그 구체적인 예를 도 10 내지 도 13을 참조하여 설명하도록 한다.

도 10은 도 9에 도시된 플로우차트에 따른 골프영상정보 자동생성방법에 의해 각각의 촬영유닛 영상에서 필요한 영상을 추출하여 편집함으로써 골프영상정보를 생성하는 일 예를 나타낸 도면이다.

도 10에서 IM-A는 제1 촬영유닛의 촬영 영상으로서 영상관리부에 의해 수집되어 저장부에 저장된 영상을 나타내고, IM-B는 제2 촬영유닛의 촬영 영상으로서 영상관리부에 의해 수집되어 저장부에 저장된 영상을 나타내며, IM-G는 각각의 영상에서 추출된 영상이 편집된 영상을 나타낸다.

각각의 영상(IM-A, IM-B)에서 골프영상정보를 생성하기 위해 필요한 영상을 추출하기 위해서는 트리거 시점(도 3의 S232단계 참조) 및 볼이 정지한 시점(도 3의 S502단계 참조)이 각각 결정됨이 바람직하며, 도 3에서 설명한 바 있는 볼이 사라진 시점도 경우에 따라 결정될 수 있다.

여기서, 트리거 시점은 T1, 볼이 사라진 시점 또는 트리거 시점으로부터 미리 설정된 구간의 시점은 T2, 그리고 볼이 정지한 시점은 T3이며, T1, T2 및 T3에 관한 사항은 상기한 도 8에서 설명한 바와 같다.

도 10에 도시된 바와 같이, 제1 촬영유닛의 영상(IM-A)에서 트리거 시점(T1) 이전의 미리 설정된 구간(R1-1)에 해당하는 영상과 트리거 시점(T1)부터 T2 시점까지의 구간(R1-2)에 해당하는 영상이 추출될 수 있다.

IM-A 영상에서 R1-1 구간 및 R1-2 구간에 해당하여 추출되는 영상을 ER1이라 하기로 한다.

한편, 도 10에 도시된 바와 같이, 제2 촬영유닛의 영상에 대한 분석을 통해 볼이 정지한 시점(T3)이 결정되면, 제2 촬영유닛의 영상(IM-B)에서 트리거 시점(T1)으로부터 볼이 정지한 시점(T3)까지의 구간(R2)이 추출될 수 있다.

물론, 볼이 정지한 시점(T3)을 별도로 판단하지 않는 경우에는 트리거 시점(T1)으로부터 미리 설정된 구간을 상기한 R2 구간으로서 추출할 수 있다.

여기서, 도 9를 통해 설명한 바와 같이, 제2 촬영유닛의 영상(IM-B)은 기본상태에서 티박스 영역에 대한 줌-인 영상을 나타내다가(Sa), 트리거 시점(T1)부터(또는 그 이전 또는 이후의 미리 설정된 시점일 수도 있다) 줌-아웃 영상을 나타내며(Sb), 줌-아웃이 완료되면 팬-틸팅에 의해 변화된 뷰(홀컵을 포함하는 그린 영역)를 나타내고(Sc), 그 이후에는 동일한 뷰를 유지하거나 해당 뷰를 좀 더 확대하는 등의 영상을 나타낸다(Sd).

도 9의 S420 및 그 이후 단계의 볼 트래킹에 관한 사항은 상기한 Sd 영상을 이용하여 분석함으로써 처리될 수 있다.

제2 촬영유닛의 영상(IM-B)으로부터 R2 구간의 추출된 영상을 ER2라 하기로 하며, 바람직하게는 상기 ER2 영상은 상기한 줌-인 영상(Sa), 줌-아웃 영상(Sb), 팬-틸팅에 의해 변화된 뷰(Sc) 및 그 이후 해당 뷰를 유지하거나 확대한 영상(Sd)을 모두 포함함으로써 최종적으로 편집이 완료된 영상에서 사용자의 골프샷에 따른 골프영상정보가 더욱 드라마틱하게 나타날 수 있다.

상기한 바와 같이 제1 촬영유닛 영상(IM-A) 및 제2 촬영유닛 영상(IM-B)으로부터 각각 ER1 및 ER2의 영상이 추출되면, 이를 이용하여 편집 영상(IM-G)을 만들 수 있다.

상기한 편집 영상(IM-G)에 소정의 컨텐츠 등을 삽입하거나 표시하는 것은 상기한 도 8에서 설명한 바와 동일하므로, 이에 대한 구체적인 설명은 생략하도록 한다.

최종적으로 골프영상정보의 생성이 완료되면 영상정보 처리장치는 골프장의 운영서버나 별도의 서버로 상기 생성 완료된 골프영상정보를 전송하여 서버에서 저장 관리가 되도록 할 수 있으며, 사용자는 PC나 모바일 단말기를 이용하여 서버에 접속하여 해당 골프영상정보를 내려받기함으로써 자신의 기념적인 골프샷에 대한 골프영상정보를 제공받을 수 있다.

한편, 도 11에서는 도 10에서 설명한 ER1 영상 및 ER2 영상의 편집 영상의일 예를 시계열적으로 나타내고 있다.

도 11의 (a) 및 (b)는 제1 촬영유닛으로부터 추출된 ER1 영상의 예이며 영상 내 티박스 영역에서 사용자가 골프샷을 하고 있는 장면을 나타내고 있다.

도 11의 (c)는 제2 촬영유닛으로부터 추출된 ER2 영상의 예이며 티박스(tb) 영역을 줌-인 영상으로 촬영하고 있는 상태를 나타내고 있다.

도 11의 (d)는 영상 내 티박스(tb) 영역이 줌-아웃에 의해 멀어지고 있는 상태를 나타내고 있으며, 도 11의 (e)는 제2 촬영유닛이 팬-틸팅(즉, 상하 및/또는 좌우로 회전)에 의해 카메라 뷰를 변경하고 있는 상태를 나타내고 있고, 도 11의 (f)는 팬-틸팅에 의해 카메라 뷰의 변경이 완료된 상태를 나타내고 있다 (도 11의 (f)의 영상에서 보듯이 제2 촬영유닛은 홀컵(hc)/깃대(fl) 위치를 포함하는 그린(g) 영역이 포함되는 뷰를 갖도록 팬-틸팅이 이루어짐이 바람직하다).

상기한 도 11의 (f) 이후의 영상에서는 그린 위에 볼이 등장하는데(사용자가 타격한 볼이 그린에 도달하기 전에 제2 촬영유닛의 줌-아웃이 이루어져 팬-틸팅되어 그린을 바라보고 있는 것이 바람직하다), 도 12의 (a) 및 (b)는 제2 촬영유닛이 팬-틸팅 되어 뷰가 변경된 상태 그대로 영상을 촬영하고 있는 것을 나타내며, 도 12의 (a)에 나타낸 상태에서 볼이 그린에 도달하여 도 12의 (b)에 나타낸 바와 같이 그린(g) 위에 볼(ba)이 등장하여 그 이동을 멈출 때까지의 영상이 골프영상정보에 포함되는 경우이다.

한편, 도 11의 (f) 이후의 영상에서, 도 13의 (a) 내지 (d)의 영상으로도 연결될 수 있는데, 도 13의 (a) 내지 (d)에서는 제2 촬영유닛이 팬-틸팅 된 후에 미리 설정된 배율로 확대된 영상이 나타나는 경우를 보이고 있다. 즉, 도 13의 (a)는 팬-틸팅에 의해 제2 촬영유닛의 뷰가 변경된 경우를 나타내고, 도 13의 (b), (c) 및 (d)는 홀컵(hc) 위치를 기준으로 미리 설정된 배율로 확대된 상태로 볼(ba)이 등장하여 멈출 때까지의 영상을 나타낸다.

상기한 도 13의 (b) 내지 (d)의 확대된 영상은 제2 촬영유닛이 줌-인 하여 촬영한 영상일 수도 있고, 영상정보 처리장치가 제2 촬영유닛으로부터 전송받은 영상에 대해 미리 설정된 배율로 확대 편집한 영상일 수도 있다.

이상 설명한 바와 같이, 본 발명에 따른 골프영상정보 자동생성 시스템 및 골프영상정보 자동생성방법은 골프장의 특정 홀에서 각각의 영역을 촬영하는 영상들을 수집하여 이를 분석함으로써 편집을 위한 적절한 영상 추출의 기준이 되는 시점을 결정할 수 있고 그로부터 추출한 영상들을 편집함으로써 골프 라운드를 하고 있는 사용자에 대해 골프샷부터 그 골프샷된 볼의 목표지점을 포함하는 영역 상에서의 움직임까지 일련의 과정을 보여주는 영상 정보, 즉 골프영상정보를 자동으로 생성하여 사용자에게 제공할 수 있으며, 그와 같은 골프영상정보를 상당히 드라마틱하게 구성하여 자동 생성할 수 있으므로 골프를 즐기는 사용자에게는 대단히 값진 기념품이 될 수 있는 특장점이 있다.

100: 제1 촬영유닛, 110: 제1 카메라
120: 제2 카메라, 200: 제2 촬영유닛
210: 제3 카메라, 220: 제4 카메라
500: 영상정보 처리장치, 510: 저장부
520: 정보처리부, 521: 영상관리부
522:트리거 처리부, 523: 볼 트래킹 처리부
524: 홀컵위치 감지부, 525: 영상 편집부

Claims (27)

1. 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템으로서,
   촬영 영역 내에서 사용자가 골프샷 하는 것에 대한 영상을 취득하는 적어도 하나의 카메라를 포함하는 제1 촬영유닛;
   목표지점을 포함하는 영역을 촬영하는 적어도 하나의 카메라를 포함하는 제2 촬영유닛; 및
   상기 제1 촬영유닛 및 제2 촬영유닛으로부터 각각 촬영된 영상을 수집하고, 상기 제1 촬영유닛 및 제2 촬영유닛 각각으로부터 수집된 영상의 추출 구간을 결정하며, 상기 결정된 영상의 추출 구간에 따라 추출된 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상정보 처리장치를 포함하며,
   상기 제1 촬영유닛은 티박스에 설치되어 골프샷 하는 사용자의 측면을 촬영하는 카메라를 포함하도록 구성되고,
   상기 영상정보 처리장치는,
   상기 제1 촬영유닛의 영상에서 상기 티박스에 설치된 적어도 하나의 티마커를 인식하고 상기 인식된 적어도 하나의 티마커를 기준으로 미리 설정된 크기의 관심영역을 설정하고, 복수 프레임의 영상에서 상기 설정된 관심영역에 해당하는 영상을 추출하여 차영상 분석에 의해 타격된 볼이 움직이는 것을 감지함에 따라 트리거 신호를 발생시키며, 상기 트리거 신호가 발생된 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛의 카메라별 영상에 대해 각각 결정하도록 구성되는 것을 특징으로 하는 골프영상정보 자동생성 시스템.
2. 제1항에 있어서,
   상기 제1 촬영유닛은,
   골프스윙 하는 사용자의 측면을 촬영하는 제1 카메라와, 상기 골프스윙 하는 사용자의 정면을 촬영하는 제2 카메라 중 적어도 하나를 포함하여 구성되며,
   상기 제2 촬영유닛은,
   목표지점을 포함하는 영역을 촬영하는 제3 카메라와, 상기 제3 카메라와 다른 시각에서 상기 목표지점을 포함하는 영역을 촬영하는 제4 카메라 중 적어도 하나를 포함하여 구성되는 것을 특징으로 하는 골프영상정보 자동생성 시스템.
3. 제2항에 있어서, 상기 영상정보 처리장치는,
   상기 제1 촬영유닛 및 제2 촬영유닛의 각 카메라로부터 각각 촬영된 영상이 저장되는 저장부; 및
   상기 제1 촬영유닛 및 제2 촬영유닛의 각 카메라로부터 각각 촬영된 영상을 수집하여 각 카메라별로 구분하여 상기 저장부에 저장하여 관리하는 영상 관리부와, 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 카메라별 영상에 대해 각각 결정하고, 상기 결정된 영상의 추출 구간에 따라 상기 저장부에 저장된 각 카메라별 영상 각각으로부터 추출된 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상 편집부를 포함하는 정보처리부를 포함하여,
   상기 정보처리부는 상기 자동 생성된 골프영상정보를 서버 또는 상기 사용자의 개인 단말기로 전송하도록 구성되는 것을 특징으로 하는 골프영상정보 자동생성 시스템.
4. 삭제
5. 삭제
6. 제3항에 있어서, 상기 정보처리부는,
   상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼을 검출하고 볼이 움직임을 멈춘 시점을 결정하는 볼 트래킹 처리부를 포함하며,
   상기 영상 편집부는 상기 트리거 신호가 발생되는 시점 및 상기 볼 트래킹 처리부에 의해 결정되는 볼이 움직임을 멈춘 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 카메라별 영상에 대해 각각 결정하도록 구성되는 것을 특징으로 하는 골프영상정보 자동생성 시스템.
7. 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템으로서,
   티박스에 설치되어 촬영 영역 내에서 사용자가 골프샷 하는 것에 대한 영상을 취득하며, 상기 골프샷 하는 사용자의 측면을 촬영하는 제1 촬영유닛;
   그린을 포함하는 영역을 촬영하는 제2 촬영유닛; 및
   상기 제1 촬영유닛 및 제2 촬영유닛으로부터 각각 촬영된 영상을 수집하고, 상기 제1 촬영유닛 및 제2 촬영유닛 각각으로부터 수집된 영상의 추출 구간을 결정하며, 상기 결정된 영상의 추출 구간에 따라 추출된 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상정보 처리장치를 포함하며,
   상기 영상정보 처리장치는,
   상기 제2 촬영유닛의 영상으로부터 상기 그린 상의 홀컵 또는 상기 홀컵의 깃대를 인식하여 상기 그린 상의 홀컵의 위치를 실시간으로 감지하는 홀컵위치 감지부와,
   상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼의 위치를 트래킹하는 볼 트래킹 처리부를 포함하며,
   상기 볼 트래킹 처리부는,
   상기 홀컵위치 감지부에 의해 감지된 홀컵의 위치와 상기 트래킹된 볼의 위치를 이용하여 홀인원 여부의 판단 및 상기 볼과 상기 홀컵 사이의 거리의 산출 중 적어도 하나를 수행하도록 구성되어,
   상기 영상정보 처리장치는 상기 볼 트래킹 처리부에 의해 홀인원으로 판단된 경우 상기 생성되는 골프영상정보에 홀인원 축하를 위한 컨텐츠를 삽입하고, 상기 볼 트래킹 처리부에 의해 상기 볼과 상기 홀컵 사이의 거리가 산출된 경우 상기 생성되는 골프영상정보에 상기 산출된 볼과 홀컵 사이의 거리를 표시하도록 한 것을 특징으로 하는 골프영상정보 자동생성 시스템.
8. 제7항에 있어서, 상기 영상정보 처리장치는,
   상기 제1 촬영유닛 및 제2 촬영유닛으로부터 각각 촬영된 영상이 저장되는 저장부; 및
   상기 제1 촬영유닛 및 제2 촬영유닛으로부터 각각 촬영된 영상을 수집하여 각 촬영유닛별로 구분하여 상기 저장부에 저장하여 관리하는 영상 관리부와, 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛별 영상에 대해 각각 결정하고, 상기 결정된 영상의 추출 구간에 따라 상기 저장부에 저장된 각 촬영유닛별 영상 각각으로부터 추출된 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상 편집부를 포함하는 정보처리부를 포함하여,
   상기 정보처리부는 상기 자동 생성된 골프영상정보를 서버 또는 상기 사용자의 개인 단말기로 전송하도록 구성되는 것을 특징으로 하는 골프영상정보 자동생성 시스템.
9. 제8항에 있어서,
   상기 영상 편집부는 영상의 분석 또는 외부 신호 입력에 의해 트리거 신호가 발생되는 시점 및 상기 볼 트래킹 처리부에 의해 결정되는 볼이 움직임을 멈춘 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛별 영상에 대해 각각 결정하도록 구성되는 것을 특징으로 하는 골프영상정보 자동생성 시스템.
10. 삭제
11. 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템으로서,
    티박스에 설치되어 촬영 영역 내에서 사용자가 골프샷 하는 것에 대한 영상을 취득하는 티박스 촬영유닛;
    페어웨이 상의 일 영역을 촬영하도록 설치되는 페어웨이 촬영유닛; 및
    상기 티박스 촬영유닛 및 페어웨이 촬영유닛으로부터 각각 촬영된 영상을 수집하고, 상기 티박스 촬영유닛 및 페어웨이 촬영유닛 각각으로부터 수집된 영상의 추출 구간을 결정하며, 상기 결정된 영상의 추출 구간에 따라 추출된 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상정보 처리장치를 포함하며,
    상기 영상정보 처리장치는,
    상기 티박스 촬영유닛의 영상에서 상기 티박스에 설치된 적어도 하나의 티마커를 인식하고 상기 인식된 적어도 하나의 티마커를 기준으로 미리 설정된 크기의 관심영역을 설정하고, 복수 프레임의 영상에서 상기 설정된 관심영역에 해당하는 영상을 추출하여 차영상 분석에 의해 타격된 볼이 움직이는 것을 감지함에 따라 트리거 신호를 발생시키며, 상기 트리거 신호가 발생된 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛별 영상에 대해 각각 결정하도록 구성되는 것을 특징으로 하는 골프영상정보 자동생성 시스템.
12. 제11항에 있어서,
    상기 페어웨이 촬영유닛은,
    상기 페어웨이 상에 미리 설정해 놓은 목표영역을 촬영하도록 구성되며,
    상기 영상정보 처리장치는,
    상기 페어웨이 촬영유닛으로부터 수집한 영상을 분석하여 해당 영상에서 볼의 위치를 산출함으로써 골프 라운드 하는 사용자들 각각이 한 골프샷에 대해 볼이 상기 목표영역 내에 안착하였는지 판단하도록 구성되며, 그 판단 결과를 상기 사용자에게 알리거나 서버로 전송하여 기록하도록 하는 것을 특징으로 하는 골프영상정보 자동생성 시스템.
13. 제11항에 있어서, 상기 영상정보 처리장치는,
    상기 페어웨이 촬영유닛으로부터 수집한 영상을 분석하여 해당 영상에서 볼의 위치를 산출함으로써, 골프 라운드 하는 사용자들 중 가장 긴 비거리를 기록한 사용자를 판별하거나 상기 비거리에 기초하여 상기 사용자들에 대해 순위를 결정하도록 구성되며, 상기 판별 또는 결정된 결과를 상기 사용자에게 알리거나 서버로 전송하여 기록하도록 하는 것을 특징으로 하는 골프영상정보 자동생성 시스템.
14. 삭제
15. 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템으로서,
    골프장의 특정 홀의 일측에 설치되어 촬영 영역 내에서 사용자가 골프샷 하는 것에 대한 영상을 취득하는 제1 촬영유닛;
    상기 특정 홀의 타측에 설치되어 팬-틸트-줌 구동이 가능하고, 미리 설정된 사항에 따라 줌-인, 줌-아웃, 그리고 상하 및 좌우 중 적어도 하나로의 회전에 의한 뷰 변경 중 적어도 한 가지를 수행하여 상기 사용자가 골프샷 함에 따른 영상을 촬영하도록 구성되는 제2 촬영유닛; 및
    상기 제1 촬영유닛 및 제2 촬영유닛으로부터 각각 촬영된 영상을 수집하고, 상기 제1 촬영유닛 및 제2 촬영유닛으로부터 수집된 각각의 영상으로부터 추출된 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 영상정보 처리장치를 포함하며,
    상기 제2 촬영유닛은,
    미리 설정된 제1 배율로 줌-인되어 상기 사용자가 골프샷 하는 것에 대한 영상을 취득하다가 상기 영상정보 처리장치의 트리거 신호 또는 외부에서 입력되는 트리거 신호에 따라 미리 설정된 제2 배율로 줌-아웃되며, 목표지점을 포함하는 영역이 촬영영역 내에 포함되도록 상하 및 좌우 중 적어도 하나로 회전하여 영상을 촬영하도록 구성되며,
    상기 영상정보 처리장치는,
    상기 제1 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 미리 설정된 구간에 대해 추출한 영상과, 상기 제2 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 상기 줌-인 영상, 상기 줌-아웃 영상 및 상하 및 좌우 중 적어도 하나로 회전하여 촬영한 상기 목표지점을 포함하는 영역의 영상을 포함하도록 추출한 영상을 결합함으로써 상기 골프영상정보를 자동 생성하도록 구성되는 것을 특징으로 하는 골프영상정보 자동생성 시스템.
16. 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템의 골프영상정보 자동생성방법으로서,
    적어도 하나의 카메라를 포함하는 제1 촬영유닛에 의해 그 촬영 영역 내에서 사용자가 골프샷 하는 것에 대해 촬영되는 영상을 수집하여 저장부에 저장하는 단계;
    적어도 하나의 카메라를 포함하는 제2 촬영유닛에 의해 목표지점을 포함하는 영역에 대해 촬영되는 영상을 수집하여 상기 저장부에 저장하는 단계;
    상기 제1 촬영유닛 및 제2 촬영유닛 각각으로부터 수집된 영상의 추출 구간을 결정하는 단계; 및
    상기 저장부에 저장된 각 영상으로부터 상기 결정된 영상의 추출 구간에 따라 추출한 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 단계를 포함하며,
    상기 제2 촬영유닛은 그린을 포함하는 영역을 촬영하는 카메라를 포함하도록 구성되며,
    상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼의 위치를 트래킹하는 단계와,
    상기 그린 상의 홀컵의 위치와 상기 트래킹된 볼의 위치를 이용하여 홀인원 여부를 판단하거나 상기 볼과 상기 홀컵 사이의 거리를 산출하는 단계를 더 포함하며,
    상기 골프영상정보를 자동 생성하는 단계는,
    상기 볼 위치의 트래킹 결과 홀인원으로 판단된 경우 상기 생성되는 골프영상정보에 홀인원 축하를 위한 컨텐츠를 삽입하고, 상기 볼 위치의 트래킹 결과 홀인원이 아닌 경우 상기 생성되는 골프영상정보에 상기 산출된 볼과 홀컵 사이의 거리를 표시하는 단계를 포함하는 것을 특징으로 하는 골프영상정보 자동생성방법.
17. 제16항에 있어서, 상기 영상의 추출 구간을 결정하는 단계는,
    상기 제1 촬영유닛의 영상에 대한 영상 처리를 통해 볼이 타격에 의해 움직이는 것을 감지함에 따라 트리거 신호가 발생하는 시점 또는 상기 사용자의 골프스윙에 의해 볼이 타격될 때에 외부로부터의 트리거 신호 수신 시점을 결정하는 단계와,
    상기 결정된 트리거 신호의 발생시점 또는 수신시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛의 카메라별 영상에 대해 각각 결정하는 단계를 포함하는 것을 특징으로 하는 골프영상정보 자동생성방법.
18. 제16항에 있어서, 상기 영상의 추출 구간을 결정하는 단계는,
    상기 제1 촬영유닛의 영상에 대한 영상 처리를 통해 볼이 타격에 의해 움직이는 것을 감지함에 따라 트리거 신호가 발생하는 시점 또는 상기 사용자의 골프스윙에 의해 볼이 타격될 때에 외부로부터의 트리거 신호 수신 시점을 결정하는 단계와,
    상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼을 검출하고 볼이 움직임을 멈춘 시점을 결정하는 단계와,
    상기 트리거 신호의 발생시점 또는 수신시점 및 상기 볼이 움직임을 멈춘 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛의 카메라별 영상에 대해 각각 결정하는 단계를 포함하는 것을 특징으로 하는 골프영상정보 자동생성방법.
19. 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템의 골프영상정보 자동생성방법으로서,
    적어도 하나의 카메라를 포함하는 제1 촬영유닛에 의해 그 촬영 영역 내에서 사용자가 골프샷 하는 것에 대해 촬영되는 영상을 수집하여 저장부에 저장하는 단계;
    적어도 하나의 카메라를 포함하는 제2 촬영유닛에 의해 목표지점을 포함하는 영역에 대해 촬영되는 영상을 수집하여 상기 저장부에 저장하는 단계;
    상기 제1 촬영유닛 및 제2 촬영유닛 각각으로부터 수집된 영상의 추출 구간을 결정하는 단계; 및
    상기 저장부에 저장된 각 영상으로부터 상기 결정된 영상의 추출 구간에 따라 추출한 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 단계를 포함하며,
    상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼의 위치를 트래킹하는 단계와,
    상기 목표지점의 위치와 상기 트래킹된 볼의 위치를 이용하여 상기 볼과 목표지점 사이의 거리를 산출하는 단계를 더 포함하며,
    상기 골프영상정보를 자동 생성하는 단계는,
    상기 산출된 볼과 목표지점 사이의 거리 정보를 상기 생성되는 골프영상정보에 표시하는 단계를 포함하는 것을 특징으로 하는 골프영상정보 자동생성방법.
20. 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템의 골프영상정보 자동생성방법으로서,
    적어도 하나의 카메라를 포함하는 제1 촬영유닛에 의해 그 촬영 영역 내에서 사용자가 골프샷 하는 것에 대해 촬영되는 영상을 수집하여 저장부에 저장하는 단계;
    적어도 하나의 카메라를 포함하는 제2 촬영유닛에 의해 목표지점을 포함하는 영역에 대해 촬영되는 영상을 수집하여 상기 저장부에 저장하는 단계;
    상기 제1 촬영유닛 및 제2 촬영유닛 각각으로부터 수집된 영상의 추출 구간을 결정하는 단계; 및
    상기 저장부에 저장된 각 영상으로부터 상기 결정된 영상의 추출 구간에 따라 추출한 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 단계를 포함하며,
    상기 제1 촬영유닛은 티박스에 설치되어 골프샷 하는 사용자의 측면을 촬영하는 카메라를 포함하도록 구성되며,
    상기 영상의 추출 구간을 결정하는 단계는,
    상기 제1 촬영유닛의 영상에서 상기 티박스에 설치된 적어도 하나의 티마커를 인식하고 상기 인식된 적어도 하나의 티마커를 기준으로 미리 설정된 크기의 관심영역을 설정하는 단계와,
    복수 프레임의 영상에서 상기 설정된 관심영역에 해당하는 영상을 추출하여 차영상 분석에 의해 타격된 볼이 움직이는 것을 감지함에 따라 트리거 신호를 발생시키는 단계와,
    상기 트리거 신호가 발생된 시점을 기준으로 상기 골프영상정보의 생성을 위한 영상 추출 구간을 상기 각 촬영유닛의 카메라별 영상에 대해 각각 결정하는 단계를 포함하는 것을 특징으로 하는 골프영상정보 자동생성방법.
21. 삭제
22. 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템의 골프영상정보 자동생성방법으로서,
    적어도 하나의 카메라를 포함하는 제1 촬영유닛에 의해 그 촬영 영역 내에서 사용자가 골프샷 하는 것에 대해 촬영되는 영상을 수집하여 저장부에 저장하는 단계;
    적어도 하나의 카메라를 포함하는 제2 촬영유닛에 의해 목표지점을 포함하는 영역에 대해 촬영되는 영상을 수집하여 상기 저장부에 저장하는 단계;
    상기 제1 촬영유닛 및 제2 촬영유닛 각각으로부터 수집된 영상의 추출 구간을 결정하는 단계; 및
    상기 저장부에 저장된 각 영상으로부터 상기 결정된 영상의 추출 구간에 따라 추출한 각 영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 단계를 포함하며,
    상기 제2 촬영유닛은 그린을 포함하는 영역을 촬영하는 카메라를 포함하도록 구성되며,
    골프 라운드하는 각 사용자의 골프샷에 대해 각각 상기 제2 촬영유닛의 영상에 대한 영상 처리를 통해 볼의 위치를 트래킹하는 단계와,
    상기 그린 상의 홀컵의 위치와 상기 트래킹된 볼의 위치를 이용하여 상기 골프 라운드하는 각 사용자의 골프샷에 대해 상기 홀컵에 볼이 가장 근접한 경우를 판단하는 단계를 더 포함하며,
    상기 골프영상정보를 자동 생성하는 단계는,
    상기 홀컵에 볼이 가장 근접한 경우로 판단된 사용자의 골프샷에 대한 골프영상정보에 니어리스트 축하를 위한 컨텐츠를 삽입하는 단계를 더 포함하는 것을 특징으로 하는 골프영상정보 자동생성방법.
23. 제16항에 있어서,
    상기 제2 촬영유닛의 영상으로부터 상기 그린 상의 홀컵 또는 상기 홀컵의 깃대를 인식하여 상기 그린 상의 홀컵의 위치를 실시간으로 감지하는 단계와,
    상기 실시간 감지에 의해 결정되는 상기 홀컵의 위치와 상기 트래킹된 볼의 위치를 이용하여 홀인원 여부의 판단을 수행하는 단계를 더 포함하며,
    상기 골프영상정보를 자동 생성하는 단계는,
    상기 홀인원 여부의 판단 결과를 상기 골프영상정보에 표시하는 단계를 더 포함하는 것을 특징으로 하는 골프영상정보 자동생성방법.
24. 삭제
25. 골프장에서의 사용자의 골프샷에 따른 골프영상정보를 자동으로 생성하는 시스템의 골프영상정보 자동생성방법으로서,
    골프장의 특정 홀의 일측에 설치된 제1 촬영유닛에 의해 촬영되는 사용자가 골프샷 하는 것에 대한 영상을 수집하여 저장부에 저장하는 제1 촬영유닛 영상 수집 및 저장 단계;
    상기 특정 홀의 타측에 설치되어 팬-틸트-줌 구동이 가능한 제2 촬영유닛에 의해 줌-인, 줌-아웃, 그리고 상하 및 좌우 중 적어도 하나로의 회전에 의한 뷰 변경 중 적어도 한 가지를 수행하여 상기 사용자가 골프샷 함에 따라 촬영되는 영상을 수집하여 상기 저장부에 저장하는 제2 촬영유닛 영상 수집 및 저장 단계; 및
    상기 제1 촬영유닛으로부터 추출된 제1 추출영상 및 제2 촬영유닛으로부터 추출된 제2 추출영상을 미리 설정된 사항에 따라 편집함으로써 상기 골프영상정보를 자동 생성하는 단계를 포함하며,
    상기 제2 촬영유닛 영상 수집 및 저장 단계는,
    상기 제2 촬영유닛에 의해 미리 설정된 제1 배율로 줌-인된 기본 상태에서 상기 사용자가 골프샷 하는 것에 대한 영상이 취득되는 단계와,
    영상정보 처리장치의 트리거 신호 또는 외부에서 입력되는 트리거 신호에 따라 상기 제2 촬영유닛이 상기 기본 상태에서 미리 설정된 제2 배율로 줌-아웃하면서 영상을 취득하는 단계와,
    상기 제2 촬영유닛이 상하 및 좌우 중 적어도 하나로 회전 구동되고 목표지점의 위치 정보를 인식하여 상기 목표지점을 포함하는 영역에 대한 영상을 취득하는 단계와,
    상기 각각의 취득되는 영상이 상기 영상정보 처리장치에 의해 수집되어 상기 저장부에 저장되는 단계를 포함하는 것을 특징으로 하는 골프영상정보 자동생성방법.
26. 제25항에 있어서, 상기 골프영상정보를 자동 생성하는 단계는,
    상기 제1 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 미리 설정된 구간에 대한 영상을 추출하는 단계와,
    상기 제2 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 상기 줌-인 영상, 상기 줌-아웃 영상 및 상하 및 좌우 중 적어도 하나로 회전하여 촬영한 상기 목표지점을 포함하는 영역의 영상을 포함하도록 영상을 추출하는 단계와,
    상기 각 추출된 영상을 결합함으로써 또는 상기 각 추출된 영상을 결합하고 그 결합된 영상에 미리 설정된 컨텐츠를 삽입하거나 상기 각 추출된 영상에 대해 미리 설정된 영상 처리를 함으로써 상기 골프영상정보를 자동 생성하는 단계를 포함하는 것을 특징으로 하는 골프영상정보 자동생성방법.
27. 제25항에 있어서, 상기 골프영상정보를 자동 생성하는 단계는,
    상기 제1 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 미리 설정된 구간에 대한 영상을 추출하는 단계와,
    상기 제2 촬영유닛으로부터 수집한 영상에서 상기 트리거 신호를 기준으로 상기 줌-인 영상, 상기 줌-아웃 영상, 상기 상하 및 좌우 중 적어도 하나로 회전하여 촬영한 상기 목표지점을 포함하는 영역의 영상 및 상기 목표지점을 포함하는 영역의 영상에 대해 상기 목표지점의 위치에 따라 결정되는 배율로 줌-인한 영상을 포함하도록 영상을 추출하는 단계와,
    상기 각 추출된 영상을 결합함으로써 또는 상기 각 추출된 영상을 결합하고 그 결합된 영상에 미리 설정된 컨텐츠를 삽입하거나 상기 각 추출된 영상에 대해 미리 설정된 영상 처리를 함으로써 상기 골프영상정보를 자동 생성하는 단계를 포함하는 것을 특징으로 하는 골프영상정보 자동생성방법.

Images