KR102146358B1 - 볼의 운동에 대한 센싱방법 및 이를 이용한 센싱장치 - Google Patents

Abstract

본 발명은 상기한 바와 같은 종래의 기술의 문제점을 해소하기 위한 것으로서, 가상 스포츠 시뮬레이션 시스템에서 카메라 장치로부터 볼의 운동에 대해 취득된 영상을 클라이언트가 전송받아 처리하는 방식에 있어서 카메라 장치가 넓은 화각영역에서 데이터 처리가 필요한 일부 영역만을 실제촬영영역으로 취득하여 클라이언트로 전송하도록 함으로써 데이터 전송률의 제한 조건 하에서 취득되는 영상의 해상도를 높이면서도 낮은 용량으로 데이터를 취득하여 높은 전송 프레임률로 영상 데이터를 전송할 수 있도록 하는 볼의 운동에 대한 센싱방법 및 이를 이용한 센싱장치를 제공하기 위한 것이다.

Description

볼의 운동에 대한 센싱방법 및 이를 이용한 센싱장치{SENSING METHOD FOR SENSING MOVEMENT OF BALL AND SENSING DEVICE USING THE SAME}

본 발명은 테니스, 스쿼시, 배드민턴, 탁구, 골프, 야구 등과 같은 스포츠에 대한 가상 스포츠 시뮬레이션 시스템에서 플레이어가 실제 볼을 이용하여 플레이할 때 볼의 운동을 센싱하는 센싱장치 및 그 센싱장치의 센싱방법에 관한 것이다.

최근에 스포츠를 손쉽게 즐길 수 있도록 하는 가상 스포츠 시뮬레이션 시스템에 등장하여, 예컨대 골프와 야구의 경우 필드에서 직접 스포츠를 즐기는 것이 매우 제한적인 스포츠에 대한 가상 시뮬레이션 시스템이 널리 대중화되어 있다.

나아가 테니스, 스쿼시, 배드민턴 등과 같은 네트를 사이에 두고 양 플레이어가 서로 볼을 주고 받는 형식의 네트 스포츠에 대한 가상 스포츠 시뮬레이션 시스템도 등장하여 사용자로 하여금 다양한 스포츠를 대중적 문화 공간에서 손쉽게 즐길 수 있도록 하는 추세가 형성되고 있다.

이와 같은 가상 스포츠 시뮬레이션은 기본적으로 플레이어가 볼을 타격하면서 게임이 진행되는데, 플레이어가 타격한 볼에 대한 영상 상에서의 시뮬레이션을 위해서는 운동하는 볼을 효과적으로 센싱할 수 있는 센싱장치가 필요하다.

과거에는 적외선 센서나 레이저 센서 등의 광센싱 방식을 이용하는 경우가 많았으나 이는 광을 조사하고 수광하는 다수의 광센서가 구비되는 구조물을 플레이어의 플레이 공간 상에 설치하여야 한다는 점에서 플레이어의 플레이에 대한 한계를 만들고 현실감있는 플레이를 구현하는데 한계가 있으며 플레이 과정에서 센서의 구조물을 파손하는 경우가 빈번한 문제가 있었고 무엇보다도 센싱의 정확성이 매우 낮은 문제점이 있었다.

이러한 광센싱 방식의 한계와 문제점 때문에 최근에는 운동하는 볼에 대한 영상을 취득하여 그 취득된 영상의 분석을 통해 운동하는 볼의 센싱 정보를 산출하는 이미지 센싱 방식의 센싱장치가 널리 이용되고 있다.

이러한 이미지 센싱 방식은 영상을 분석하여 센싱 정보를 얻기 때문에 상당히 정확한 센싱 정보를 얻을 수 있는 장점이 있으나, 초당 수십 ~ 수백 프레임의 영상 하나하나를 영상처리 하여야 하므로 상당히 높은 데이터 처리 능력을 갖는 카메라 장치와 데이터 처리장치를 갖추어야 한다는 문제점이 있었다.

그런데, 이미지 센싱 방식의 센싱장치는 카메라(스테레오 방식의 경우 복수개의 카메라)를 플레이어의 플레이 상황을 촬영할 수 있는 화각으로 영상을 촬영하여야 하기 때문에 플레이어가 플레이를 하는 공간 상의 천정과 같은 위치에 설치하여야 하고 가상 스포츠 시뮬레이션을 위한 데이터 처리를 하는 클라이언트 시스템은 상기한 플레이 공간 밖에 설치되므로, 카메라와 클라이언트 시스템이 물리적으로 멀리 떨어질 수밖에 없다.

이와 같이 카메라와 클라이언트 시스템이 물리적으로 멀리 떨어져서 구성될 경우 상기 카메라가 취득하는 다수의 영상 데이터를 카메라 자체 내에 구비되는 처리장치에서 처리되도록 하거나, 그 다수의 영상 데이터를 클라이언트 시스템으로 전송하여 클라이언트 시스템에서 처리되도록 하여야 한다.

카메라에 영상 데이터의 처리장치를 구비하는 경우에는 카메라가 취득하는 영상 데이터를 곧바로 처리하여 그 처리된 정보를 클라이언트 시스템으로 전송하기 때문에 빠른 센싱 처리가 가능하다는 장점이 있지만, 클라이언트 시스템에 구비되는 높은 데이터 처리 능력을 갖는 제어부와는 별도로 또 다른 높은 데이터 처리 능력을 갖는 데이터 처리부를 카메라에 구비하여야 하기 때문에 센싱장치의 비용을 상당히 높이는 요인이 되는 큰 문제점이 있다.

카메라가 영상을 취득하고 그 취득된 영상 데이터의 처리를 클라이언트 시스템에서 처리하는 방식의 경우, 상기한 방식의 문제점을 해결할 수 있지만 카메라가 취득하는 영상 데이터를 실시간으로 클라이언트 시스템으로 전송하여야 하는데 전송할 영상 데이터의 용량이 큰 반면 카메라에서 클라이언트로의 데이터 전송의 대역폭에는 한계가 있고 전송할 수 있는 데이터의 전송 프레임률(framerate)에 한계가 있기 때문에 카메라가 촬영하는 촬영 프레임율을 상기한 전송 프레임률이 따라가지 못하는 문제점이 있다.

골프나 야구와 같이 플레이어가 타격을 하는 위치가 일정하게 고정되어 있는 경우에는 영상의 해상도를 높게 하더라도 화각이 좁은 카메라를 사용할 수 있어서 영상 데이터의 용량을 줄일 수 있는 여지가 있지만, 테니스 등과 같은 네트 스포츠의 경우 랠리와 같이 볼을 빠르게 주고 받는 상황을 필수적으로 고려하여야 할 뿐만 아니라 플레이어가 다이나믹하게 이동하면서 예측할 수 없는 다양한 위치에서 볼을 타격하기 때문에 플레이어가 타격하는 볼을 감지하기 위한 카메라의 화각을 가능한 한 넓게 하여야 하고 그에 따라 촬영되는 영상의 해상도도 크게 하여야 하기 때문에 카메라에서 클라이언트로 초당 전송 가능한 데이터의 양이 상당히 줄어들 수밖에 없거나 고가의 센싱장치를 이용하여야 한다는 문제점이 있는 것이다.

본 발명과 관련한 종래의 선행기술문헌으로서, 일본등록특허 제5701707호, 일본등록특허 제5593060호, 일본공개특허 제2017-005388호 등이 개시되어 있다.

본 발명은 상기한 바와 같은 종래의 기술의 문제점을 해소하기 위한 것으로서, 가상 스포츠 시뮬레이션 시스템에서 카메라 장치로부터 볼의 운동에 대해 취득된 영상을 클라이언트가 전송받아 처리하는 방식에 있어서 카메라 장치가 넓은 화각영역에서 데이터 처리가 필요한 일부 영역만을 실제촬영영역으로 취득하여 클라이언트로 전송하도록 함으로써 데이터 전송률의 제한 조건 하에서 취득되는 영상의 해상도를 높이면서도 낮은 용량으로 데이터를 취득하여 높은 전송 프레임률로 영상 데이터를 전송할 수 있도록 하는 볼의 운동에 대한 센싱방법 및 이를 이용한 센싱장치를 제공하기 위한 것이다.

본 발명의 일 실시예에 따른 볼 운동의 센싱방법은, 가상 스포츠 시뮬레이션 시스템에서 카메라 장치로부터 볼의 운동에 대해 취득된 영상을 클라이언트가 전송받아 처리하기 위한 볼 운동의 센싱방법으로서, 카메라제어부가 상기 카메라 장치의 전체 화각영역에서 볼이 발견될 예상 영역으로서 분할설정영역을 설정하는 단계; 상기 카메라 장치가 상기 카메라제어부에 의해 설정된 분할설정영역에 해당하는 영역을 실제촬영영역으로 하여 영상을 취득하는 단계; 상기 전체 화각영역에 대한 상기 실제촬영영역인 분할설정영역의 위치 및 크기에 대한 정보와 상기 취득된 영상을 상기 클라이언트로 전송하는 단계; 및 상기 클라이언트에서 상기 전송받은 영상 상에서 볼을 검출하고 상기 분할설정영역의 위치 또는 크기에 대한 정보를 이용하여 상기 전체 화각영역 상에서의 볼의 위치 정보를 포함하는 센싱 정보를 산출하는 단계를 포함한다.

또한 바람직하게는, 상기 분할설정영역을 설정하는 단계는, 상기 분할설정영역의 위치로서 상기 카메라 장치의 전체 화각영역의 기준점 위치로부터 상기 분할설정영역의 기준점 위치까지의 거리인 촬영 오프셋을 설정하며, 상기 분할설정영역의 크기로서 상기 분할설정영역의 높이 및 너비를 설정하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 분할설정영역을 설정하는 단계는, 상기 가상 스포츠 시뮬레이션 시스템에 이용되는 볼 머신의 위치, 상기 볼 머신이 발사하는 볼의 방향 및 속도, 상기 볼 머신에서 발사되는 볼을 타격하는 플레이어의 플레이 모드, 플레이 진행에 따른 상기 플레이어의 예상 타격 종류, 볼에 대한 트리거 시 감지된 볼의 이동 방향 및 상기 플레이어의 특성 정보 중 적어도 하나를 이용하여 상기 카메라 장치의 전체 화각영역에서 볼이 발견될 영역을 예측하여 상기 분할설정영역으로서 설정하는 것을 특징으로 한다.

또한 바람직하게는, 상기 가상 스포츠 시뮬레이션 시스템에 이용되는 볼 머신이 발사하는 볼의 방향 및 속도, 상기 볼 머신에서 발사되는 볼을 타격하는 플레이어의 플레이 모드, 플레이 진행에 따른 상기 플레이어의 예상 타격 종류, 볼에 대한 트리거 시 감지된 볼의 이동 방향 정보 중 적어도 하나를 이용하여 기 설정된 분할설정영역의 상기 전체 화각영역에 대한 위치 및 크기를 조정 또는 변경하여 설정하는 단계를 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 분할설정영역을 미리 설정하는 단계는, 상기 클라이언트에 의해 진행되는 가상 스포츠 시뮬레이션의 진행 상황에 따라 볼 머신이 발사하는 볼의 방향, 속도 및 구질 중 적어도 하나에 대한 제어 정보로부터 상기 카메라 장치의 전체 화각영역에서 볼이 발견될 영역을 예측하는 단계와, 상기 예측에 따라 결정되는 위치 및 미리 설정된 크기, 또는 상기 예측에 따라 결정되는 위치 및 상기 볼 머신이 발사하는 볼의 방향, 속도 및 구질 중 적어도 하나에 따라 결정한 크기로 상기 분할설정영역을 실제촬영영역으로서 미리 설정하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 클라이언트에 의해 진행되는 가상 스포츠 시뮬레이션에 따른 플레이 형태로서 상기 플레이어로 하여금 특정 타구로 타격하도록 유도하는 다양한 플레이 모드를 제공하며, 상기 분할설정영역을 미리 설정하는 단계는, 상기 각각의 플레이 모드마다 해당 플레이 모드에 대응하도록 상기 분할설정영역의 위치 및 크기에 대한 정보를 미리 설정하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 가상 스포츠 시뮬레이션 시스템에서 볼의 운동에 대한 센싱장치는, 상기 볼을 포함하는 영상을 취득하는 카메라 장치; 및 상기 카메라 장치의 전체 화각영역에서 볼이 발견될 예상 영역으로서 분할설정영역을 설정하여 상기 설정된 분할설정영역에 해당하는 영역을 실제촬영영역으로 하여 영상을 취득하도록 상기 카메라 장치를 제어하며, 상기 전체 화각영역에 대한 상기 실제촬영영역인 분할설정영역의 위치 및 크기에 대한 정보와 상기 취득된 영상을 클라이언트로 전송하도록 하는 카메라제어부를 포함하여, 상기 클라이언트가 상기 분할설정영역에 해당하는 영상 및 상기 분할설정영역의 위치 또는 크기에 대한 정보를 이용하여 상기 전체 화각영역 상에서의 볼의 위치 정보를 포함하는 센싱정보를 산출할 수 있도록 한다.

또한 바람직하게는, 상기 카메라 장치는, 화각을 형성하는 렌즈모듈과, 상기 렌즈모듈을 통해 맺히는 상에 대한 전체 또는 일부 영역을 선택적으로 영상 취득하는 이미지센서와, 상기 이미지센서에 의해 취득되는 영상을 수집하는 그래버를 포함하며, 상기 카메라제어부에 의해 상기 그래버가 영상을 수집하기 전에 상기 이미지센서에 의해 상기 설정된 분할설정영역에 해당하는 영상을 실제촬영영상으로서 취득하는 것을 특징으로 한다.

또한 바람직하게는, 상기 카메라제어부는, 자체에 미리 설정되어 있는 정보 및 상기 클라이언트와 연동되어 상기 클라이언트로부터 전달받은 정보를 이용하여 상기 분할설정영역의 위치 및 크기 정보를 설정하거나 기 설정된 분할설정영역의 위치 및 크기를 조정 또는 변경하여 설정하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 카메라제어부는, 상기 분할설정영역의 위치로서 상기 카메라 장치의 전체 화각영역의 기준점 위치로부터 상기 분할설정영역의 기준점 위치까지의 거리인 촬영 오프셋을 설정하고, 상기 분할설정영역의 크기로서 상기 분할설정영역의 높이 및 너비를 설정하여 상기 카메라 장치의 이미지센서가 전체 화각영역에서 상기 설정된 촬영 오프셋, 상기 분할설정영역의 높이 및 너비에 해당하는 영상을 취득하도록 제어하는 것을 특징으로 한다.

본 발명에 따른 볼의 운동에 대한 센싱방법 및 이를 이용한 센싱장치는, 가상 스포츠 시뮬레이션 시스템에서 카메라 장치로부터 볼의 운동에 대해 취득된 영상을 클라이언트가 전송받아 처리하는 방식에 있어서 카메라 장치가 넓은 화각영역에서 데이터 처리가 필요한 일부 영역만을 실제촬영영역으로 취득하여 클라이언트로 전송하도록 함으로써 데이터 전송률의 제한 조건 하에서 취득되는 영상의 해상도를 높이면서도 낮은 용량으로 데이터를 취득하여 높은 전송 프레임률로 영상 데이터를 전송할 수 있도록 할 뿐만 아니라 전체 화각영역에서 분할된 일부 영역만을 전송하고 그 전송받은 영상 데이터만을 분석하므로 영상 상에서 노이즈를 제거하는 등의 별도의 처리를 할 필요가 없다는 점에서 현저한 효과를 갖는다.

도 1은 본 발명의 일 실시예에 따른 센싱장치가 적용된 가상 테니스 시뮬레이션 시스템으로서 스크린 테니스 시스템이 구현된 예를 나타낸 도면이다.
도 2는 도 1에 도시된 가상 테니스 시뮬레이션 시스템의 구성을 블록도로써 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 볼 운동에 대한 센싱방법을 설명하기 위한 플로우차트이다.
도 4는 본 발명의 일 실시예에 따른 볼 운동에 대한 센싱장치에서 카메라제어부의 제어에 따라 카메라 장치가 취득하고 전송하는 영상, 즉 분할설정영역에 해당하는 실제촬영영역에 관하여 나타낸 도면이다.

본 발명에 따른 볼의 운동에 대한 센싱방법 및 이를 이용한 센싱장치에 대한 구체적인 내용을 도면을 참조하여 설명하도록 한다.

본 발명에 따른 센싱장치 및 그 센싱방법은 골프와 같이 각각의 플레이어가 샷을 하는 스포츠는 물론 별도로 마련된 볼 머신이 플레이어를 향하여 볼을 발사하면 그것을 되받아 치는 형태의 스포츠에 관한 가상의 시뮬레이션 시스템(가상 시뮬레이션 환경에서는 영상 상의 가상의 플레이어와 실제 플레이어가 볼을 주고 받는 형태이고 실제로는 볼을 플레이어 쪽으로 발사하는 볼머신과 플레이어 사이에서 볼을 주고받는 형태로 진행됨)에 이용될 수 있다.

상기한 바와 같은 스포츠의 대표적인 예가 테니스이며, 도 1에서는 본 발명의 일 실시예에 따른 센싱장치가 적용된 가상 테니스 시뮬레이션 시스템으로서 스크린 테니스 시스템이 구현된 예를 나타내고 있다.

그리고 도 2에서는 상기 도 1에 도시된 가상 테니스 시뮬레이션 시스템의 구성을 블록도로써 나타내고 있다.

이하에서는 본 발명의 일 실시예에 따른 센싱장치 및 센싱방법에 대해 가상 테니스 시뮬레이션 시스템에 적용된 예로서 설명하지만, 가상 테니스 시뮬레이션 시스템은 물론 볼을 타격하는 방식으로 진행되는 모든 가상 스포츠 시뮬레이션 시스템에도 동일하게 적용될 수 있다.

도 1 등에서는 가상 테니스 시뮬레이션 시스템에 본 발명에 따른 센싱장치가 적용된 예를 나타내고 있으나, 본 발명에 따른 센싱장치 및 그 센싱방법은 테니스 뿐만 아니라 스쿼시, 배드민턴, 탁구 등과 같은 네트 스포츠에 대한 가상 시뮬레이션 시스템에는 모두 적용될 수 있다. 여기서 "볼"이라 함은 테니스공, 스쿼시공, 탁구동 등은 물론 셔틀콕과 같이 형상이 공과 다른 경우도 모두 포함하는 것으로 정의하도록 한다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 센싱장치가 적용되는 가상 테니스 시뮬레이션 시스템은 소정의 공간에 플레이어 공간부(30)(여기서 네트(32)는 설치될 수도 있고 설치되지 않을 수도 있다), 그리고 플레이어(P)의 전방에 스크린(20)을 구비하고, 상기 스크린(20)의 뒷쪽에는 라켓을 들고 테니스 플레이를 하는 플레이어(P)에게 상기 플레이어(P)가 타격할 수 있도록 볼을 제공하는 볼 머신(400)이 설치되며, 공간의 일측에 상기 스크린(20)에 영상을 투영하는 영상출력부(420)와 플레이어(P)가 볼을 타격하는 것에 대한 영상 데이터를 수집하는 카메라 장치(100)가 설치되어 구성될 수 있다.

상기 카메라 장치(100)는 넓은 화각으로 플레이어(P)의 플레이에 따른 볼의 운동을 효과적으로 검출하고 분석하기 위하여 플레이어(P) 머리 위쪽의 천정 쪽에 설치되어 플레이어 공간부(30)를 아래로 내려다 보는 화각을 갖도록 구성됨이 바람직하다.

상기 볼 머신(400), 카메라 장치(100) 및 영상출력부(420) 등의 장치는 클라이언트(300)와 연결되며, 상기 클라이언트(300)는 상기 카메라 장치(100)로부터 상기 카메라 장치(100)가 촬영하여 수집한 영상 데이터를 통신케이블(wr) 등을 통해 전송받아 처리하며 사용자의 가상 테니스 연습 및 경기를 위한 영상 컨텐츠를 생성하여 상기 영상출력부(420)로 전달하고, 상기 영상출력부(420)는 상기 전달받은 영상 컨텐츠를 스크린(20)에 투영한다. 그리고 상기 클라이언트(300)는 상기 볼 머신(400)의 볼 발사 및 발사되는 볼의 방향, 속도 등의 볼 발사 파라미터의 제어를 수행한다.

상기 볼 머신(100)은 스크린(20)의 뒷쪽에 설치되어 상기 스크린(20)에 형성된 볼 발사홀(22)을 통해 코트바닥부(30) 상의 미리 계산된 위치로 볼(1)을 발사하도록 구성되며, 도 1에 도시된 바와 같이 상기 볼 머신(100)은 다양한 위치로 다양한 속도의 볼(1)을 발사할 수 있도록 발사각 제어 및 발사속도 제어가 가능하도록 구성되는 것이 바람직하다.

그리고 볼 머신(100)에서 발사되는 볼은 스크린(20) 상에 형성되는 볼 발사홀(22)을 통해 플레이어(P) 쪽으로 공급되는데, 상기 볼 발사홀(22)은 스크린(20) 상의 대략 중간 정도의 위치에 구비될 수 있다. 물론 스크린(20) 상의 어느 위치에든 설치될 수 있으나 다양한 궤적의 볼에 대한 (상대방 플레이어의) 리시브를 구현함에 있어서 대략 중간 정도 또는 중간 보다는 다소 낮은 위치가 바람직하다.

상기 스크린(20)에 투영되는 영상은 플레이어(P)가 그 영상을 통해 가상의 테니스 플레이를 즐길 수 있도록 하는 컨텐츠를 포함하며, 사용자가 플레이하는 플레이 공간부의 반대쪽 부분에 대한 가상 환경이 구현되고 가상의 상대방 플레이어 등에 대한 컨텐츠 영상이 포함될 수 있다.

스크린에 투영되는 가상 시뮬레이션 영상에서는 마치 실제 테니스 매치에서 상대방이 플레이하듯, 가상의 상대방 플레이어가 미리 설정된 인공지능에 따라 가상의 볼을 타격하며, 그 타격된 가상의 볼은 영상 상에서 이동하면서 상기 볼 발사홀(22)로 연결되어 상기 가상의 볼의 이동에 대한 영상이 종료됨과 함께 볼 머신(400)이 상기 볼 발사홀(22)을 통해 플레이어(P) 쪽으로 실제 볼(1)을 발사하고, 플레이어(P)는 그 발사되는 볼(1)을 스크린(20)을 향하여 타격하면 카메라 장치(100)가 촬영한 영상을 클라이언트(300)가 분석하여 볼에 대한 볼 운동 모델을 산출하고 그 볼 운동 모델에 기초하여 영상 상에서 가상의 볼이 가상의 플레이어 쪽으로 이동하는 시뮬레이션 영상이 구현되는 것이다.

가상의 플레이어가 그 가상의 볼을 타격하면 다시 영상 상에서 가상의 볼의 이동에 대한 영상이 구현되다가 상기 볼 머신(100)에 의해 볼 발사홀(22)을 통해 볼(1)이 플레이어(P) 쪽으로 다시 공급되며, 이러한 방식으로 플레이어와 영상 상의 가상의 플레이어가 서로 볼을 주고 받을 수 있다(실제로는 플레이어와 볼 머신이 볼을 주고 받는 것이다).

한편, 도 2를 참조하여 도 1에 도시된 바와 같은 가상 테니스 시뮬레이션 시스템을 구성하는 각 구성요소들의 제어 계통에 관하여 설명하도록 한다.

도 2에 도시된 바와 같이 가상 테니스 시뮬레이션 시스템은 클라이언트(300)와 볼 머신(400), 그리고 본 발명의 일 실시예에 따른 센싱장치로서 카메라 장치(100)와 카메라제어부(200)를 포함하여 구성될 수 있다.

상기 클라이언트(300)는 데이터저장부(320), 영상처리부(330), 제어부(310) 등을 포함하여 구비될 수 있으며, 상기 영상처리부(330)에 의해 처리된 영상이 영상출력부를 통해 스크린(20) 상에 투영될 수 있도록 구성될 수 있다.

상기 데이터저장부(320)는 가상 테니스 시뮬레이션 시스템에서 이루어지는 테니스 연습 또는 경기에 관한 배경 영상, 가상의 플레이어에 대한 영상, 타격된 볼 등에 대한 시뮬레이션 영상 등의 처리를 위한 데이터가 저장되는 부분이다. 상기 데이터저장부(320)는 서버(미도시)로부터 전송받은 데이터를 일시적으로 저장하는 저장소 역할을 하는 것으로 구성될 수도 있다.

상기 영상처리부(330)는 가상의 테니스장에 관한 영상, 선수와 심판, 관객 등에 관한 영상 등의 백그라운드 영상과 가상의 상대방 플레이어가 볼을 타격하는 영상, 플레이어가 타격한 볼의 궤적에 대한 시뮬레이션 영상 등 각종 시뮬레이션 관련 영상을 생성한다(테니스가 아닌 다른 스포츠의 경우 해당 스포츠에 대한 영상 및 가상의 플레이어 영상 등을 생성할 수 있다).

한편, 본 발명의 일 실시예에 따른 센싱장치의 카메라 장치(100)는 미리 정해진 범위의 촬영 범위, 즉 화각(FOV)을 가지며 플레이어에 의해 플레이 되는 볼을 포함하는 영상을 연속적으로 촬영하여 수집한다.

상기 카메라 장치(100)는 화각을 형성하는 렌즈모듈(미도시)과, 상기 렌즈모듈을 통해 맺히는 상에 대한 전체 또는 일부 영역을 선택적으로 영상 취득하는 이미지센서(110)와, 상기 이미지센서(110)에 의해 취득되는 영상을 수집하는 그래버(120)를 포함하여 구성될 수 있다.

상기 이미지 센서(110)에 의해 촬영되어 상기 그래버(120)에 의해 수집되는 다수 프레임의 영상은 클라이언트(300)로 전송되고, 클라이언트(300)는 이를 데이터저장부(320)에 저장하면서 제어부(310)에 의해 영상의 분석 및 상기 분석을 통해 영상 내에서 볼을 검출하고 그 검출된 볼의 위치 정보를 산출하는 등 볼의 운동에 대한 센싱 정보를 산출한다.

상기 카메라 장치(100)는 플레이어가 플레이를 하는 플레이 공간 전체를 또는 적어도 항상 볼을 검출할 수 있는 주요 범위를 포함하는 넓은 화각을 갖도록 구성될 수 있는데, 그와 같이 넓은 화각 전체에 대한 영상을 취득할 경우 클라이언트(300)로의 영상 전송의 전송 프레임률(framerate)이 상당히 떨어질 수밖에 없는 문제가 있다는 점은 이미 앞서 설명한 바 있다.

따라서, 본 발명의 일 실시예에 따른 센싱장치는 카메라제어부(200)가 카메라 장치(100)를 제어하여 전체 화각영역 중에서 일부 영역만을 실제촬영영역으로 하여 영상을 취득하도록 제어하도록 함으로써 카메라 장치(100)가 클라이언트(300)로 전송하는 영상 데이터의 용량을 대폭 축소시켜 전송 프레임률을 향상시키도록 한 것을 특징으로 한다.

이와 같은 카메라제어부(200)에 의한 카메라 장치의 제어에 관한 좀 더 구체적인 내용은 후술하도록 한다.

한편, 상기 카메라 장치(100)는 서로 다른 위치에서 동일한 화각으로 각각 의 촬영범위에 따라 영상을 촬영할 수 있도록 둘 이상의 카메라를 포함하여 스테레오 방식(Stereoscopic)으로 두 카메라가 서로 연동되어 구동되는 구성을 갖는 것이 바람직하다. 이때 각각의 카메라가 이미지 센서와 그래버를 포함하도록 구성된다.

이와 같이 둘 이상의 카메라가 스테레오 방식으로 연동되어 구성됨으로써 각각의 카메라가 촬영한 영상(각각의 영상은 2차원 영상임)을 클라이언트(300)가 전송받아 분석함으로써 볼에 대한 3차원 좌표 데이터를 얻을 수 있다.

한편, 클라이언트(300)의 제어부(310)는 카메라 장치(100)의 스테레오 방식에 의한 복수의 카메라 중 하나의 카메라에 의해 취득되어 전송되는 2D 영상을 분석하여 볼 머신(400)에서 발사되는 볼을 특정하고 상기 2D 영상에서 플레이어에 의해 타격된 볼을 찾아 특정함으로써 트리거(Trigger)를 발생시켜 운동하는 볼에 대한 센싱 정보를 산출하는 프로세스를 진행한다.

상기한 운동하는 볼에 대한 센싱 정보의 산출은, 3차원 공간에서 타격되어 운동하는 볼에 대한 볼 운동 모델을 산출하는 것을 포함하며, 카메라 장치(100)의 복수개의 카메라 각각이 취득하는 2D 영상을 이용하여 타격되어 운동하는 볼에 대한 3차원 좌표 정보를 산출하고 상기 산출된 볼의 3차원 좌표 정보를 이용하여 볼 운동 모델을 산출한다.

여기서, 볼의 운동 모델은 타격되어 운동하는 볼의 3차원 공간 상에서의 궤적에 관한 운동 방정식으로 표현되는 것을 의미하며, 도 1에 도시된 바와 같이 본 발명에 따른 시스템에 의한 테니스 연습 또는 경기가 이루어지는 공간에 대해 x축, y축 및 z축의 3차원 좌표계로 정의하여 그 정의된 좌표계에 따라 상기 볼의 운동 모델이 결정될 수 있다.

즉, 상기 볼의 운동 모델은 x축 방향의 운동 방정식, y축 방향의 운동 방정식 및 z축 방향의 운동 방정식으로 정의될 수 있다.

상기한 바와 같은 볼의 운동 모델은 볼이 타격되었을 때의 초기 운동 조건을 산출하는 것이 아니라 실제 플레이어가 플레이하는 공간, 즉 실제 3차원 공간 상에서의 각 좌표축 방향의 운동 방정식에 기초하여 산출하는 볼의 운동 모델로서 실제 볼이 이동하는 모델을 구하는 것이다.

이러한 볼의 운동 모델을 산출함으로써 단순히 볼의 초기 운동 조건을 센싱하여 산출하는 경우보다 더 다양하고 많은 정보의 제공이 가능하고, 특히 가상 테니스 시뮬레이션과 같이 현실과 가상의 세계가 자주 교차하고 더욱 긴밀하게 연결되어야 하는 경우에 있어서는 더욱 적합한 센싱 방식이다.

예컨대, 상기한 볼의 운동 모델 산출이 실제 플레이가 이루어지는 3차원 공간 상에서의 볼 운동 모델이기 때문에 볼이 실제 스크린에 도달하는 위치 등을 쉽게 산출할 수 있으며(볼이 실제로 스크린에 도달하는 것을 감지하는 것이 아니라 실제 볼이 스크린에 도달하지 않더라도 볼 운동 모델이 산출되면 이를 이용하여 스크린 도달 위치를 산출할 수 있다), 스크린 도달 위치의 산출을 통해 실제 볼이 스크린에 도달한 후 그 위치부터 가상의 볼이 시뮬레이션되도록 하는 영상을 구현함으로써 현실과 가상의 세계가 자연스럽게 연결되도록 할 수 있다.

그런데 그러한 과정에서 클라이언트(300)가 볼 운동 모델을 빠르게 산출할 수 있도록 카메라 장치(100)로부터 클라이언트(300)로 영상의 전송이 빠르게 이루어져야 함은 물론 그 전송되는 영상 또한 높은 해상도를 가져야 더욱 정확한 볼 운동 모델을 산출할 수 있다.

이를 위하여 상기한 카메라제어부(200)는, 카메라 장치(100)의 전체 화각영역에서 볼이 발견될 예상 영역으로서 분할설정영역을 설정하여 상기 설정된 분할설정영역에 해당하는 영역을 실제촬영영역으로 하여 영상을 취득하도록 상기 카메라 장치를 제어하며, 상기 전체 화각영역에 대한 상기 실제촬영영역인 분할설정영역의 위치 및 크기에 대한 정보와 상기 취득된 영상을 클라이언트(300)로 전송하도록 할 수 있다.

이에 따라 클라이언트(300)가 상기 분할설정영역에 해당하는 영상 및 상기 분할설정영역의 위치 또는 크기에 대한 정보를 이용하여 전체 화각영역 상에서의 볼의 위치 정보를 포함하는 센싱정보를 산출하도록 할 수 있다.

상기 카메라제어부(200)는 그 자체에 미리 설정되어 있는 정보 및 상기 클라이언트(300)와 연동되어 상기 클라이언트(300)로부터 전달받은 정보(예컨대, 시뮬레이션되는 상태나 시뮬레이션에 의한 가상 경기의 상황 등에 대한 정보)를 이용하여 상기 분할설정영역의 위치 및 크기 정보를 설정하거나 기 설정된 분할설정영역의 위치 및 크기를 조정 또는 변경하여 설정하도록 구성될 수 있다.

상기 카메라제어부(200)는 카메라 장치(100) 내에 포함된 구성요소일 수도 있고 상기 카메라 장치(100)와 별도로 구비되는 구성요소일 수도 있으며, 클라이언트(300)의 제어부(310)가 상기 카메라제어부의 기능을 수행하도록 구성될 수도 있다.

이에 대해서는 도 3 및 도 4를 참조하여 좀 더 구체적으로 설명한다.

도 3은 본 발명의 일 실시예에 따른 볼 운동에 대한 센싱방법을 설명하기 위한 플로우차트를 나타내고 있고, 도 4는 상기한 카메라제어부의 제어에 따라 카메라 장치가 취득하고 전송하는 영상, 즉 분할설정영역에 해당하는 실제촬영영역에 관한 것을 나타내고 있으며, 도 4의 (a) 및 (b)는 스테레오 방식의 두 카메라 각각이 전체 화각영역에서 분할설정영역에 해당하는 실제촬영영역을 취득하는 경우에 관하여 나타낸 것이다.

상기 두 대의 카메라는 동일한 3차원 공간 상의 영역에 대해 각각 분할설정영역이 카메라제어부에 의해 설정되어 촬영이 이루어지게 된다.

도 3 및 도 4에 도시된 플로우차트에 도시된 바와 같이, 먼저 카메라 장치에 대한 캘리브레이션을 통해 카메라 장치의 전체 화각영역(FOV)을 미리 설정하고, 클라이언트에서 가상 스포츠 시뮬레이션의 진행을 시작함에 따라(S300), 카메라제어부가 카메라 장치의 전체 화각영역(FOV)에서 볼이 발견될 예상 영역으로서 분할설정영역(112, 114)을 설정한다(S100).

상기 분할설정영역(112, 114)은 전체 화각영역(FOV)의 일부에 해당하는 영역으로서 카메라제어부에 미리 설정되어 있는 정보 및 클라이언트와 연동되어 상기 클라이언트로부터 전달받은 정보(예컨대, 시뮬레이션되는 상태나 시뮬레이션에 의한 가상 경기의 상황 등에 대한 정보)를 이용하여 전체 화각영역(FOV)에 대한 분할설정영역(112, 114)의 위치 및 크기 정보를 설정하는 것이다.

상기 카메라제어부의 전체 화각영역(FOV)에 대한 분할설정영역(112, 114)의 설정에 따라, 카메라 장치는 상기 설정된 분할설정영역(112, 114)에 해당하는 영역을 실제촬영영역으로 하여 영상을 취득한다(S200).

즉, 카메라 장치의 이미지 센서가 그 화각에 의해 보여지는 전체를 이미지로 생성하는 것이 아니라 그 전체 화각영역 중에서 일부 영역인 분할설정영역 부분만을 실제촬영영역으로 하여 영상을 취득하게 되는 것이다.

카메라 장치는 상기한 분할설정영역(112, 114)의 위치 및 크기에 대한 정보와 취득된 실제촬영영역에 대한 영상을 클라이언트로 전송함으로써(S210), 전체 화각에 대한 영상을 전송할 때보다 더 높은 해상도의 영상을 더 높은 전송 프레임률로 전송할 수 있게 된다.

예컨대 카메라 장치와 클라이언트가 LAN통신을 기반으로 하는 GigE가 1Gbps의 제한조건으로 통신을 하는데, 이 경우 카메라 장치가 전체 화각에 대한 영상을 전송할 경우 해상도가 높을수록 전송 프레임률이 감소하게 되고 클라이언트는 신속한 센싱정보의 산출을 할 수 없게 되는 문제가 발생하는데, 상기한 바와 같이 카메라 장치가 카메라제어부의 제어에 따라 전체 화각영역에서 분할설정영역에 해당하는 부분을 실제촬영영역으로 하여 취득된 영상을 전송하게 됨으로써 카메라 장치가 높은 해상도의 영상을 더 높은 전송 프레임률로 전송할 수 있어서 그와 같은 문제를 완전히 해결할 수 있는 특장점이 있다.

여기서 주목하여야 할 것은, 클라이언트가 분할설정영역의 영상 자체를 full area 영상으로서 분석하는 것이 아니라 분할설정영역의 영상을 전체 화각영역에 해당하는 full area 영상으로서 분석하는 것이다.

즉, 도 4에 도시된 바와 같이, 카메라 장치가 클라이언트로 전송하는 것은 실제촬영영역인 분할설정영역(112, 114)에 해당하는 부분의 영상이지만 클라이언트는 이를 비데이터영역(113, 115) 및 분할설정영역(112, 114)을 포함하는 전체 화각영역(FOV)의 영상으로서 분석하는 것이다. 실제 영상 데이터가 존재하는 부분은 분할설정영역(112, 114) 뿐이므로 비데이터영역(113, 115)에 해당하는 부분은 영상 분석을 할 필요가 없다.

다만, 전체 화각영역의 영상으로서 분석을 하기 때문에 클라이언트는 분할설정영역(112, 114)의 영상뿐 아니라 분할설정영역(112, 114)의 전체 화각영역(FOV)에서의 위치 및 크기 정보도 함께 수신하여 이를 이용하여 영상 분석을 진행하게 된다(S310).

도 4에 도시된 바와 같이, 카메라제어부는 상기한 분할설정영역의 위치로서 카메라 장치의 전체 화각영역(FOV)의 기준점 위치(Po1, Po2)로부터 분할설정영역(112, 114)의 기준점 위치(Ps1, Ps2)까지의 거리인 촬영 오프셋(X1off 및 Y1off, X2off 및 Y2off)을 각각 설정하며, 상기 분할설정영역의 크기로서 분할설정영역(112, 114)의 높이 및 너비(h1 및 21, h2 및 w2)를 설정할 수 있다.

즉, 도 4의 (a)를 제1 카메라의 영상이라고 할 때, 카메라제어부는 전체 화각영역(FOV)의 기준점 위치(Po1)로부터 분할설정영역(112)의 기준점 위치(Ps1)까지의 거리인 촬영 오프셋(x방향 오프셋(X1off) 및 y방향 오프셋(Y1off))을 설정하며, 분할설정영역(112)의 높이 및 너비(h1 및 w1)를 설정함으로써 제1 카메라가 실제촬영하는 영역인 분할설정영역(112)을 설정한다.

그리고 도 4의 (b)를 제2 카메라의 영상이라고 할 때, 카메라제어부는 전체 화각영역(FOV)의 기준점 위치(Po2)로부터 분할설정영역(114)의 기준점 위치(Ps2)까지의 거리인 촬영 오프셋(x방향 오프셋(X2off) 및 y방향 오프셋(Y2off))을 설정하며, 분할설정영역(114)의 높이 및 너비(h2 및 w2)를 설정함으로써 제2 카메라가 실제촬영하는 영역인 분할설정영역(114)을 설정한다.

상기 제1 카메라의 분할설정영역(112)과 제2 카메라의 분할설정영역(114)은 동일한 3차원 공간상의 영역에 해당한다.

클라이언트가 영상 및 상기한 정보를 전송받아 분석을 할 때 먼저 전송받은 영상(분할설정영역에 해당하는 영상) 상에서 볼(Ob)을 검출한다(S320).

볼의 검출은 다른 프레임의 기준 영상을 이용한 차영상 등을 이용한 영상처리기법 등을 통해 검출할 수 있다.

그리고 클라이언트는 상기한 분할설정영역의 위치 또는 크기에 대한 정보를 이용하여 전체 화각영역(FOV) 상에서의 볼(Ob)의 위치 정보를 포함하는 센싱 정보를 산출한다(S330).

도 4에서 보면, 영상(112, 114) 상에서의 검출된 볼(Ob)의 위치는 제1 카메라의 영상의 경우 (x1, y1)이고 제2 카메라의 영상의 경우 (x2, y2)인데, 이는 전체 화각에서의 볼의 위치가 아니므로, 실제 볼의 위치는 제1 카메라 영상의 경우 x-y 좌표가 {(X1off+x1), (Y1off+y1)}이 되고, 제2 카메라 영상의 경우 x-y 좌표가 {(X2off+x2), (Y2off+y2)}가 된다.

상기한 바와 같은 방식으로 볼의 위치 좌표를 구하면, 전체 화각영역에서 볼의 좌표를 구한 것과 동일하게 되는 것이며, 이를 이용하여 클라이언트는 카메라 장치의 full area인 전체 화각영역에서의 볼의 위치 좌표를 산출하고 이런 방식으로 복수개의 볼의 위치 좌표를 얻어서 이를 기반으로 볼의 운동 모델을 산출할 수 있게 된다(S330).

클라이언트는 상기한 바와 같이 센싱 정보를 산출하면, 그 산출된 센싱 정보에 기초하여 가상의 스포츠 영상 상에서 시뮬레이션을 진행할 수 있다(S340).

한편, 카메라제어부는 클라이언트로부터 시뮬레이션 상황 등에 관한 정보를 수신하고(S110), 미리 설정된 사항이나 상기 클라이언트로부터 수신한 정보에 기초하여 분할설정영역의 설정을 변경할 것인지 여부를 결정한다(S120).

즉, 볼이 발견될 영역을 예측하여 이를 기반으로 분할설정영역을 설정하거나 기 설정된 분할설정영역을 조정 또는 변경하는 것이다.

여기서 상기 카메라제어부는 볼 머신의 위치, 상기 볼 머신이 발사하는 볼의 방향 및 속도, 상기 볼 머신에서 발사되는 볼을 타격하는 플레이어의 플레이 모드, 플레이 진행에 따른 상기 플레이어의 예상 타격 종류, 볼에 대한 트리거 시 감지된 볼의 이동 방향 및 상기 플레이어의 특성 정보 중 적어도 하나를 이용하여 전체 화각영역에서 볼이 발견될 영역을 예측하여 분할설정영역을 설정하거나 기 설정된 영역을 조정 또는 변경할 수 있다.

도 1에 도시된 바와 같이 볼 머신의 위치는 고정되어 있으므로 그 볼 머신에서 발사되는 볼이 발견될 위치를 쉽게 예측할 수 있으며, 클라이언트의 제어부가 볼 머신에 발사할 볼의 방향 및 속도를 설정하기 때문에 그로부터 카메라제어부는 어느 위치에서 어느 크기로 분할설정영역을 설정할 경우 볼이 발견될 수 있는지 쉽게 예측할 수 있다.

플레이어는 볼 머신에서 발사되는 볼을 타격하기 때문에 플레이어가 타격한 볼이 발견될 영역 또한 상기한 볼 머신의 위치 및 볼 머신이 발사하는 볼의 방향 및 위치로부터 쉽게 예측할 수 있으며, 클라이언트에 의해 진행되는 가상 스포츠 시뮬레이션의 진행 상황에 따라 볼 머신이 발사하는 볼의 방향, 속도 및 구질 중 적어도 하나에 대한 제어 정보로부터 카메라 장치의 전체 화각영역에서 볼이 발견될 영역을 예측하고, 상기 예측에 따라 결정되는 위치 및 미리 설정된 크기, 또는 상기 예측에 따라 결정되는 위치 및 상기 볼 머신이 발사하는 볼의 방향, 속도 및 구질 중 적어도 하나에 따라 결정한 크기로 분할설정영역을 설정하거나 기 설정된 영역을 변경하여 설정할 수 있는 것이다.

또한, 만약 가상 스포츠 시뮬레이션 시스템에서 다양한 플레이 모드를 제공하는 경우 각각의 플레이 모드의 특성 및 플레이어의 예상 타격 종류 등을 고려하여 분할설정영역의 위치 및 크기를 설정 또는 변경할 수 있다.

예컨대, 가상 테니스 시뮬레이션 시스템의 경우, 플레이어가 서브를 넣는 서브 모드에서는 타구가 높게 형성되고 서브되는 볼의 방향이 정형화되어 있으므로 이를 기준으로 분할설정영역을 설정할 수 있고, 플레이어가 발리를 하는 경우나 스트로크를 하는 경우 등의 발리 모드 또는 스트로크 모드에 있어서도 각각 볼이 이동하는 특성이 어느 정도 정형화되어 있으므로 이러한 정보를 기준으로 분할설정영역을 그에 맞게 설정하거나 설정의 변경이 가능하다.

또한, 볼에 대한 트리거 시 감지된 볼의 이동 방향을 고려하여 분할설정영역을 설정할 수도 있다. 그리고 플레이어가 왼손잡이인지 오른손잡이인지 여부를 플레이 전에 미리 입력받아 이를 기초로 분할설정영역을 설정할 수 있다.

상기한 바와 같이 카메라제어부는 여러 가지 미리 설정 사항들을 고려하여 기 설정된 분할설정영역을 상황에 맞게 적절하게 변경하면서 재설정할 수 있으며(S130), 이러한 능동적이고 가변적인 분할설정영역의 설정에 따라 카메라 장치가 전체 화각영역에 해당하는 영상이 아닌 일부 영상(분할설정영역에 해당하는 영상)만을 촬영하여 클라이언트로 전달하더라도 클라이언트가 마치 전체 화각영역의 영상을 얻어서 분석하여 얻는 정보와 동일한 정보를 얻을 수 있게 되는 것이다.

카메라제어부가 분할설정영역의 설정 변경이 있는지 여부를 판단하는 것에 맞춰 카메라 장치도 실제촬영영역이 변경되었는지 판단하여(S220), 변경이 있는 경우 설정 변경된 분할설정영역에 해당하는 영역을 실제촬영영역으로 하여 영상을 취득하고(S230), 설정 변경된 분할설정영역의 위치 및 크기에 대한 정보와 상기 취득된 영상을 클라이언트로 함께 전송한다(S240).

클라이언트는 상기한 바와 같이 전송받은 영상 및 정보를 이용하여 볼의 검출 및 전체 화각영역에서의 위치 정보 산출과 이를 이용한 센싱 정보의 산출을 하여 시뮬레이션에 적용할 수 있다.

이때 클라이언트는, 도 4의 (a) 및 (b)에 도시된 바와 같이 비데이터영역(113, 114) 부분에 대해서는 전혀 영상 처리를 할 필요가 없기 때문에, 영상에서 노이즈를 제거하는데 드는 시간이나 리소스를 대폭 감소시킬 수 있는 특장점도 있다.

즉, 본 발명에 따른 센싱방법에 따르면, 전체 화각영역의 일부 영역인 분할설정영역을 설정하고 이를 실제촬영영역으로 하여 얻은 영상을 전송하므로 높은 해상도의 영상 취득 및 높은 전송 프레임률로 영상 데이터의 전송이 가능할 뿐만 아니라 영상 처리에 있어서 노이즈를 제거하는데 드는 시간과 리소스를 대폭 축소시킬 수도 있다는 점에서 큰 이점을 갖는다.

100: 카메라 장치, 110: 이미지센서
120: 그래버, 200: 카메라제어부
300: 클라이언트, 310: 제어부
320: 데이터저장부, 330: 영상처리부
400: 볼 머신

Claims (10)

1. 가상 스포츠 시뮬레이션 시스템에서 카메라 장치로부터 볼의 운동에 대해 취득된 영상을 클라이언트가 전송받아 처리하기 위한 볼 운동의 센싱방법으로서,
   카메라제어부가 상기 카메라 장치의 전체 화각영역에서 볼이 발견될 예상 영역으로서 분할설정영역을 설정하되, 상기 분할설정영역의 위치로서 상기 카메라 장치의 전체 화각영역의 기준점 위치로부터 상기 분할설정영역의 기준점 위치까지의 거리인 촬영 오프셋을 설정하며, 상기 분할설정영역의 크기로서 상기 분할설정영역의 높이 및 너비를 설정하는 단계;
   상기 카메라 장치가 상기 카메라제어부에 의해 설정된 분할설정영역에 해당하는 영역을 실제촬영영역으로 하여 영상을 취득하는 단계;
   상기 전체 화각영역에 대한 상기 실제촬영영역인 분할설정영역의 위치로서 상기 촬영 오프셋 정보와, 상기 분할설정영역의 크기로서 높이 및 너비에 대한 정보와, 상기 취득된 분할설정영역에 해당하는 영상을 상기 클라이언트로 전송하는 단계; 및
   상기 클라이언트에서 상기 전송받은 영상 상에서 볼을 검출하고, 상기 분할설정영역의 위치 및 크기에 대한 정보를 이용하여 비데이터영역 및 분할설정영역을 포함하는 전체 화각영역의 영상을 분석하여 상기 검출된 볼의 위치 정보를 포함하는 센싱 정보를 산출하는 단계;
   를 포함하는 볼 운동의 센싱방법.
2. 삭제
3. 제1항에 있어서, 상기 분할설정영역을 설정하는 단계는,
   상기 가상 스포츠 시뮬레이션 시스템에 이용되는 볼 머신의 위치, 상기 볼 머신이 발사하는 볼의 방향 및 속도, 상기 볼 머신에서 발사되는 볼을 타격하는 플레이어의 플레이 모드, 플레이 진행에 따른 상기 플레이어의 예상 타격 종류, 상기 볼 머신이 발사한 볼 또는 상기 플레이어에 의해 타격된 볼에 대한 트리거 시 감지된 볼의 이동 방향 정보 중 적어도 하나를 이용하여 상기 카메라 장치의 전체 화각영역에서 볼이 발견될 영역을 예측하여 상기 분할설정영역으로서 설정하는 것을 특징으로 하는 볼 운동의 센싱방법.
4. 제1항에 있어서,
   상기 가상 스포츠 시뮬레이션 시스템에 이용되는 볼 머신이 발사하는 볼의 방향 및 속도, 상기 볼 머신에서 발사되는 볼을 타격하는 플레이어의 플레이 모드, 플레이 진행에 따른 상기 플레이어의 예상 타격 종류, 상기 볼 머신이 발사한 볼 또는 상기 플레이어에 의해 타격된 볼에 대한 트리거 시 감지된 볼의 이동 방향 정보 중 적어도 하나를 이용하여 기 설정된 분할설정영역의 상기 전체 화각영역에 대한 위치 및 크기를 조정 또는 변경하여 설정하는 단계를 더 포함하는 것을 특징으로 하는 볼 운동의 센싱방법.
5. 제1항에 있어서, 상기 분할설정영역을 설정하는 단계는,
   상기 클라이언트에 의해 진행되는 가상 스포츠 시뮬레이션의 진행 상황에 따라 볼 머신이 발사하는 볼의 방향, 속도 및 구질 중 적어도 하나에 대한 제어 정보로부터 상기 카메라 장치의 전체 화각영역에서 볼이 발견될 영역을 예측하는 단계와,
   상기 예측에 따라 결정되는 위치 및 미리 설정된 크기, 또는 상기 예측에 따라 결정되는 위치 및 상기 볼 머신이 발사하는 볼의 방향, 속도 및 구질 중 적어도 하나에 따라 결정한 크기로 상기 분할설정영역을 실제촬영영역으로서 설정하는 단계를 포함하는 것을 특징으로 하는 볼 운동의 센싱방법.
6. 제1항에 있어서,
   상기 클라이언트에 의해 진행되는 가상 스포츠 시뮬레이션에 따른 플레이 형태로서 플레이어로 하여금 특정 타구로 타격하도록 유도하는 다양한 플레이 모드를 제공하며,
   상기 분할설정영역을 설정하는 단계는,
   상기 각각의 플레이 모드마다 해당 플레이 모드에 대응하도록 상기 분할설정영역의 위치 및 크기에 대한 정보를 미리 설정하는 단계를 포함하는 것을 특징으로 하는 볼 운동의 센싱방법.
7. 가상 스포츠 시뮬레이션 시스템에서 볼의 운동에 대한 센싱장치로서,
   상기 볼을 포함하는 영상을 취득하는 카메라 장치; 및
   상기 카메라 장치의 전체 화각영역에서 볼이 발견될 예상 영역으로서 분할설정영역을 설정하되, 상기 분할설정영역의 위치로서 상기 카메라 장치의 전체 화각영역의 기준점 위치로부터 상기 분할설정영역의 기준점 위치까지의 거리인 촬영 오프셋을 설정하며, 상기 분할설정영역의 크기로서 상기 분할설정영역의 높이 및 너비를 설정하며,
   상기 설정된 분할설정영역에 해당하는 영역을 실제촬영영역으로 하여 영상을 취득하도록 상기 카메라 장치를 제어하며,
   상기 전체 화각영역에 대한 상기 실제촬영영역인 분할설정영역의 위치로서 상기 촬영 오프셋 정보와, 상기 분할설정영역의 크기로서 높이 및 너비에 대한 정보와, 상기 취득된 분할설정영역에 해당하는 영상을 클라이언트로 전송하도록 하는 카메라제어부를 포함하여,
   상기 클라이언트가 상기 분할설정영역에 해당하는 영상 및 상기 분할설정영역의 위치 또는 크기에 대한 정보를 이용하여 상기 전체 화각영역 상에서의 볼의 위치 정보를 포함하는 센싱정보를 산출할 수 있도록 하는 볼의 운동에 대한 센싱장치.
8. 제7항에 있어서, 상기 카메라 장치는,
   화각을 형성하는 렌즈모듈과,
   상기 렌즈모듈을 통해 맺히는 상에 대한 전체 또는 일부 영역을 선택적으로 영상 취득하는 이미지센서와,
   상기 이미지센서에 의해 취득되는 영상을 수집하는 그래버를 포함하며,
   상기 카메라제어부에 의해 상기 그래버가 영상을 수집하기 전에 상기 이미지센서에 의해 상기 설정된 분할설정영역에 해당하는 영상을 실제촬영영상으로서 취득하는 것을 특징으로 하는 볼의 운동에 대한 센싱장치.
9. 제7항에 있어서, 상기 카메라제어부는,
   자체에 미리 설정되어 있는 정보 및 상기 클라이언트와 연동되어 상기 클라이언트로부터 전달받은 정보를 이용하여 상기 분할설정영역의 위치 및 크기 정보를 설정하거나 기 설정된 분할설정영역의 위치 및 크기를 조정 또는 변경하여 설정하도록 구성되는 것을 특징으로 하는 볼의 운동에 대한 센싱장치.
10. 삭제

Images