KR100610689B1 - 3차원 화면에 동영상을 삽입하는 방법 및 이를 위한 기록매체 - Google Patents

Abstract

본 발명은 3D 화면에 동영상을 삽입하는 방법 및 이를 위한 기록 매체에 관한 것으로서, 본 발명에 의한 방법은 서버로부터 동영상 데이터를 수신하는 단계(a); 상기 수신된 동영상 데이터를 재생할 플레이어를 호출하는 단계(b); 상기 플레이어에 의해 캡쳐되는 동영상 이미지를 미리 설정된 시간 간격으로 미리 설정된 동영상 드로잉 메모리 영역에 드로잉하는 단계(c); 상기 동영상 드로잉 메모리 영역에 저장된 이미지 데이터에 대한 텍스쳐를 설정하는 단계(d)-상기 설정되는 텍스쳐 정보는 텍스쳐가 삽입될 3D 화면에서의 좌표 정보를 포함함-; 상기 텍스쳐 설정 정보에 상응하여 동영상 캡쳐 이미지에 해당되는 텍스쳐를 3D 화면에 렌더링하는 단계(e)를 포함한다. 본 발명에 의하면, 서버에서 특별한 전처리 작업을 수행하지 않고 동영상 파일을 전송하더라도 동영상을 3D 화면 내에 삽입할 수 있으며, 다양한 종류의 동영상 광고 데이터를 실시간으로 3D 게임의 특정 영역에 삽입할 수 있는 장점이 있다.

3차원, 동영상, 게임

Description

3차원 화면에 동영상을 삽입하는 방법 및 이를 위한 기록 매체{Method for Inserting Moving Picture into 3-Dimension Screen and Record Medium for the Same}

도 1은 본 발명의 바람직한 일 실시예에 따른 3D 화면에 동영상을 삽입하기 위한 모듈 구성을 도시한 도면.

도 2는 본 발명의 바람직한 일 실시예에 따른 3차원 화면에 동영상 삽입 방법의 전체적인 흐름을 도시한 순서도.

도 3은 본 발명의 바람직한 일 실시예에 따른 3D 엔진의 상세 구성을 도시한 블록도.

도 4는 본 발명의 바람직한 일 실시예에 따른 동영상 삽입 모듈의 상세한 모듈 구성을 도시한 블록도.

도 5는 본 발명의 바람직한 일 실시에에 따른 텍스쳐 설정 과정을 도시한 순서도.

도 6은 본 발명의 바람직한 일 실시에에 따른 텍스쳐 렌더링 과정을 도시한 순서도.

도 7 및 도 8은 동영상 이미지가 3D 화면에 렌더링되는 일례를 도시한 도면.

본 발명은 3D 화면에 동영상 삽입 방법 및 이를 위한 기록 매체에 관한 것으로서, 더욱 상세하게는 3D 게임과 같은 3D로 구현되는 화면에 광고 등의 동영상을 디스플레이하거나 사용자 인터페이스를 동영상 데이터로 구현하는 방법에 관한 것이다.

종래에 있어서, 게임에서의 3D 그래픽은 비행 시뮬레이션 게임 등 극히 제한된 분야에서만 시도되었고 단지 와이어 프레임 정도만을 이용하여 3D 형상을 구현하는 정도였으나, 근래에는 3D 엔진이 발전하고 프로세서의 처리 능력이 향상됨에 따라 화려한 쉐이딩, 텍스쳐링 및 라이트닝이 가능해지고 많은 게임이 3D 그래픽으로 구현되고 있다. 또한, 게임뿐만 아니라 3D 엔진의 발전으로 그래픽을 제공하는 다른 종류의 소프트웨어들도 3차원 그래픽에 의해 구현되는 것이 일반화되고 있다.

3D 그래픽은 2차원 이미지에 질감 등을 부여함으로써 입체적인 그래픽을 제공할 수 있을 뿐만 아니라 사용자의 시야에 따라 다른 장면이 연출될 수 있도록 함으로써 사용자가 현실 세계에서 사물을 보는 것과 같은 효과를 제공할 수 있다.

최근 들어, 게임을 즐기는 사용자들이 급증하면서 게임 내에 광고 또는 기타의 유용한 정보를 삽입하는 시도가 이루어지고 있다. 이와 같은 광고 또는 기타 정보는 텍스트 또는 단순한 이미지 형태로 게임 내에서 제공되기는 하였으나 동영상 의 형태로는 제공되지 않았다.

3D 그래픽은 현실감을 제공할 수 있는 장점이 있기는 하나, 본래 구현되어 있는 3D 오브젝트 외의 다른 이미지 오브젝트들을 유연하게 삽입하기 어려운 문제점이 있다.

특히, 삽입하고자 하는 객체가 동영상일 경우, 서버에서 동영상이 3D 그래픽의 일부로 표현되기 위한 전처리 작업이 이루어지지 않을 경우 동영상이 3D 그래픽에 삽입될 수는 없다.

그리고, 동영상 광고는 계속적으로 업데이트되며 스케줄링 알고리즘에 따라 실시간으로 표시될 필요가 있는 바, 종래의 3D 게임 및 기타의 3D 그래픽 소프트웨어는 서버에서 제공하는 광고 동영상을 실시간으로 3D 그래픽 화면에 삽입할 수 없는 문제점이 있었다.

또한, 광고의 용도로는 물론 사용자 인터페이스도 플래시와 같은 동영상으로 구현하려는 요구가 있기는 하나, 3D 그래픽에서 사용자 인터페이스를 위한 동영상 삽입 역시 어려운 문제점이 있었다.

본 발명에서는 상기한 바와 같은 종래 기술의 문제점을 해결하기 위해, 서버에서 특별한 전처리 작업을 수행하지 않고 동영상 파일을 전송하더라도 동영상을 3D 화면에 삽입하여 디스플레이할 수 있는 방법 및 이를 위한 기록 매체를 제안하고자 한다.

본 발명의 다른 목적은 다양한 종류의 동영상 광고 데이터를 실시간으로 3D 게임의 특정 영역에 삽입할 수 있는 방법 및 이를 위한 기록 매체를 제안하는 것이다.

본 발명의 또 다른 목적은 3D 그래픽 화면의 사용자 인터페이스가 동영상에 의해 구현될 수 있는 방법 및 이를 위한 기록 매체를 제안하는 것이다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 서버로부터 동영상 데이터를 수신하는 단계(a); 상기 수신된 동영상 데이터를 재생할 플레이어를 호출하는 단계(b); 상기 플레이어에 의해 캡쳐되는 동영상의 이미지를 미리 설정된 시간 간격으로 미리 설정된 동영상 드로잉 메모리 영역에 드로잉하는 단계(c); 상기 동영상 드로잉 메모리 영역에 저장된 이미지 데이터에 대한 텍스쳐를 설정하는 단계(d)-상기 설정되는 텍스쳐 정보는 텍스쳐가 삽입될 3D 화면에서의 좌표 정보를 포함함-; 상기 텍스쳐 설정 정보에 상응하여 동영상 캡쳐 이미지에 해당되는 텍스쳐를 3D 화면에 렌더링하는 단계(e)를 포함하는 3D 화면에 동영상을 삽입하는 방법이 제공된다.

상기 동영상 데이터는 광고 데이터 또는 사용자 인터페이스에 삽입될 동영상 데이터를 포함할 수 있으며, 상기 광고 데이터는 미리 설정된 스케줄링 알고리즘에 따라 서버로부터 전송될 수 있다.

상기 단계(c)는, 상기 동영상 플레이어에 특정 프레임의 캡쳐 이미지 드로잉 을 요청하는 단계; 및 상기 동영상 플레이어가 상기 동영상 드로잉 메모리 영역에 요청된 캡쳐 이미지 데이터를 드로잉하는 단계를 포함할 수 있다.

상기 단계(c)는, 상기 동영상 플레이어가 동영상을 재생할 경우 미리 설정된 시간 간격에 상응하는 프레임 이미지를 캡쳐하는 단계를 포함한다.

상기 미리 설정된 시간 간격은 3D 화면이 갱신되는 시간 간격인 것이 바람직하다.

상기 단계(d)는, 텍스쳐 좌표를 설정하는 단계; 3D 화면에 삽입될 텍스쳐를 로드하는 단계; 텍스쳐 스테이지를 생성하는 단계; 및 정점 버퍼를 생성하고 생성된 정점 버퍼를 채우는 단계를 포함할 수 있다.

상기 텍스쳐는 동영상의 특정 프레임 이미지가 드로잉되는 메모리 영역을 지정함으로써 로드되는 것이 바람직하다.

상기 동영상이 플래시 타입의 동영상일 경우, 본 발명은, 상기 렌더링된 동영상의 특정 영역에 사용자 이벤트가 발생할 경우, 사용자 이벤트가 발생한 좌표 정보를 동영상 플레이어에서의 동영상 좌표 정보로 변환하는 단계를 더 포함할 수 있으며, 상기 동영상 플레이어는 상기 동영상 좌표 정보를 수신하여, 해당 좌표에 사용자 이벤트 발생 시의 미리 설정된 프로세스를 수행하는 것이 바람직하다.

본 발명의 다른 측면에 따르면, 3D 화면에 동영상을 삽입하기 위한 명령어들의 프로그램이 유형적으로 구현되어 있으며, 전자 정보 처리 장치 장치에 의해 판독될 수 있는 프로그램을 기록한 기록 매체에 있어서, 서버로부터 동영상이 전송될 경우, 동영상 플레이어를 호출하여 전송된 동영상의 재생을 요청하는 단계(a); 상 기 플레이어와의 통신을 통해 특정 프레임의 동영상의 캡쳐 이미지를 미리 설정된 시간 간격으로 미리 설정된 동영상 드로잉 메모리 영역에 드로잉하는 단계(b); 상기 동영상 드로잉 메모리 영역에 저장된 이미지 데이터에 대한 텍스쳐를 설정하는 단계(c)-상기 설정되는 텍스쳐 정보는 텍스쳐가 삽입될 3D 화면에서의 좌표 정보를 포함함-;를 포함하되, 상기 3D 엔진이 상기 텍스쳐 설정 정보에 상응하여 동영상 캡쳐 이미지에 해당하는 텍스쳐를 3D 화면의 미리 설정된 화면에 렌더링하도록 좌표 변환 매트릭스를 포함하는 렌더링 정보를 설정하는 단계(d)를 수행하는 프로그램을 기록한 기록 매체가 제공된다.

이하에서, 첨부된 도면을 참조하여 본 발명에 의한 3차원 화면에 동영상 삽입 방법 및 이를 위한 기록 매체의 바람직한 실시예를 상세하게 설명한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 3D 화면에 동영상을 삽입하기 위한 모듈 구성을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 동영상 삽입을 위한 모듈 구성은 동영상 플레이어(100), 동영상 드로잉 메모리(102), 동영상 삽입 모듈(104), 3D 엔진(106) 및 3D 월드(108)를 포함할 수 있다.

본 발명은 3D 게임과 같은 3D 화면의 미리 설정된 영역에 동영상 데이터를 삽입하는 방법에 관한 것으로서, 이를 구현하기 위한 도 1에 도시된 각각의 모듈은 소프트웨어에 의해 구현될 수도 있고, 카드 또는 칩과 같이 하드웨어로 구현될 수도 있을 것이고, 도 1의 모듈은 사용자 클라이언트에 설치될 수 있을 것이다.

본 발명에서, 3D 화면에 삽입되는 동영상은 AVI, MEPG, ASF 등과 같은 영화 또는 애니메이션 동영상 파일은 물론 SWF 형태의 플래시 동영상 파일 등을 모두 포함할 수 있을 것이다.

또한, 상술한 동영상 타입뿐만 아니라 문서 파일을 통해 발생하는 애니메이션을 삽입하는 것도 가능하다. 예를 들어, 파워 포인트 문서는 문서 내에 다양한 애니메이션을 설정할 수 있는 바, 이와 같은 문서에서의 애니메이션을 문서 편집 어플리케이션과의 통신을 통해 삽입할 수 있을 것이다.

도 1에서, 동영상 플레이어(100)는 서버(미도시)로부터 제공되는 동영상 파일을 재생하는 기능을 한다. 본 발명에 의하면, 서버는 3D 화면에 삽입될 동영상 데이터를 사용자 클라이언트로 전송하며, 동영상 플레이어(100)는 서버로부터 전송되는 동영상 파일을 재생한다. 서버는 미리 설정된 이벤트 발생 시 실시간으로 동영상 파일을 전송하여 3D 화면에 삽입되도록 하거나, 미리 동영상 파일을 전송하여 사용자 클라이언트에 저장된 파일을 이벤트 발생 시 동영상 플레이어가 재생하여 3D 화면에 삽입되도록 동작할 수도 있을 것이다.

동영상 플레이어(100)는 상술한 다양한 종류의 동영상을 재생하며, 필요에 따라 복수개가 구비될 수 있을 것이다. AVI, MPEG 등의 동영상 파일을 재생하기 위해 마이크로소프트사의 윈도우즈 미디어 플레이어 등이 이용될 수 있으며, SWF 타입의 플래시 데이터를 재생하기 위해 매크로미디어사의 플래시 플레이어가 이용될 수 있다.

동영상 플레이어(100)는 재생된 동영상을 클라이언트의 미리 설정된 메모리 영역에 재생한다. 본 발명의 일 실시예에 따르면, 동영상 플레이어가 캡쳐하는 동영상의 특정 프레임 이미지는 동영상 드로잉(drawing) 메모리에 드로잉된다. 이와 달리, 동영상 플레이어는 프레임 캡쳐 동작을 수행하지 않고 동영상 삽입 모듈(104)이 재생되는 동영상을 특정 프레임을 캡쳐하여 동영상 드로잉 메모리(102)에 드로잉할 수도 있을 것이다. 여기서 드로잉은 동영상 플레이어가 드로잉 함수를 이용하여 프레임 이미지를 동영상 드로잉 메모리에 드로잉을 하는 동작 및 프레임 캡쳐 이미지를 동영상 드로잉 메모리에 저장하는 동작을 모두 포함할 수 있을 것이다. 본 발명의 일 실시예에 따르면, 동영상 드로잉 메모리(102)는 메모리 DC(Device Context)일 수 있다.

동영상 삽입 모듈(104)은 서버로부터 제공되는 동영상 데이터에 대한 동영상 플레이어(100)의 재생 동작을 제어하며 재생된 데이터가 3D 화면에 디스플레이되도록 3D 월드(108)에 제공하는 기능을 한다.

동영상 삽입 모듈(104)은 3D 게임 또는 다른 3D 그래픽 어플리케이션에 포함되는 프로그램 모듈일 수도 있으며, 3D 게임 또는 다른 3D 그래픽 어플리케이션에 동영상 데이터 삽입 동작을 수행하기 위한 별도의 어플리케이션 프로그램일 수도 있다.

동영상 삽입 모듈(104)에 의해 삽입되는 동영상 데이터는, 일례로, 동영상 광고일 수 있다. 정지 화상 광고가 아닌 동영상 광고가 3D 게임의 전광판 등과 같이 미리 설정된 영역에 삽입되어 재생됨으로써 게임 내에서의 광고 효과가 극대화될 수 있을 것이다.

또 다른 예로, 동영상 삽입 모듈에 의해 삽입되는 동영상 데이터는 3D 게임 등에서의 사용자 인터페이스로 삽입될 수 있다. 3D 게임 등에서 사용자 인터페이스는 아이콘 등의 2D 그래픽으로 표현되나, 본 발명에 의하면, 플래시 등으로 제작된 동영상을 사용자 인터페이스 부분에 삽입함으로써 보다 동적이고 화려한 사용자 인터페이스가 제공될 수 있다. 특히, 플래시 동영상은 사용자와의 상호작용이 가능하므로 사용자 인터페이스로 활용하는데 효과적이다.

동영상 삽입 모듈(104)은 동영상 드로잉 메모리(102)에 드로잉되는 특정 프레임의 동영상 이미지 데이터를 텍스쳐(Texture) 형태로 3D 월드(108)에 제공하여 동영상 플레이어에 의해 재생되는 동영상이 3차원 화면의 특정 영역에 삽입될 수 있도록 한다. 동영상 삽입 모듈(104)이 동영상에 대한 텍스쳐를 설정하여 3D 월드에 삽입하는 과정은 별도의 도면을 통해 상세히 설명하기로 한다.

텍스쳐는 3D 화면의 지오메트리상에 매핑되는 2차원 이미지이다. 전술한 바와 같이, 동영상 데이터를 이차원 이미지화하기 위해 동영상 플레이어가 캡쳐된 프레임을 제공할 수도 있으며, 재생되는 동영상에 대해 동영상 삽입 모듈(104)이 캡쳐 동작을 수행할 수도 있을 것이다.

본 발명의 바람직한 실시예에 따르면, 동영상 삽입 모듈(104)이 동영상에 대한 텍스쳐를 제공하는 시기는 3D 월드 데이터가 갱신되는 시기와 동일한 것이 바람직하다. 예를 들어, 3D 월드(108)가 1초에 30번 갱신되는 경우, 동영상에 대한 텍스쳐 데이터도 1초에 30번 제공되어 3D 월드(108)가 갱신될 때마다 동영상에 상응하는 텍스쳐가 3D 월드(108)에 반영되도록 한다.

3D 엔진(106)은 3D 게임과 같은 3D 그래픽 관련 어플리케이션을 구동하고 어플리케이션과 데이터를 관리하며, 효율적인 어플리케이션 제작 및 어플리케이션 구동을 돕는 엔진을 의미한다.

3D 게임의 경우, 3D 엔진은 게임 엔진에 포함될 수 있을 것이다. 3D 엔진은 어플리케이션과의 통신을 통해 3D 그래픽의 렌더링 및 3D 환경에 따른 오브젝트의 물리적인 움직임이 이루어지도록 제어한다.

도 1에는 도시되어 있지 않으나, 효율적인 3D 그래픽 구현을 위해 3D 그래픽 API(Application Program Interface)인 다이렉트엑스(DirectX) 또는 오픈 지엘(openGL) 등이 이용될 수도 있을 것이다.

3D 월드(108)는 3D 엔진 및 3D 엔진과 관련된 3D 어플리케이션에 의해 구현되는 3D 화면이 디스플레이되는 메모리 영역을 의미한다. 3D 월드(108)는 미리 설정된 시간 간격으로 갱신되며, 3D 엔진(106)은 3D 월드에 구현된 3차원 그래픽을 사용자의 디스플레이장치에 렌더링한다. 전술한 바와 같이, 3D 월드에 미리 설정된 영역에는 텍스쳐로 변환된 동영상이 삽입된다.

일반적으로 3D 월드(108)에는 전체적인 3D 화면이 모두 구현되며, 3D 엔진은 구현된 3D 월드 화면 중 사용자의 시야와 관련된 화면만을 사용자 디스플레이 장치에 디스플레이한다.

상술한 모듈 구성에 의해, 서버에서 특별한 처리 작업이 없이 동영상 광고 데이터를 클라이언트에 전송하는 것만으로 동영상 광고가 실시간으로 3D 게임의 특정 영역에 디스플레이될 수 있다. 또한, 보다 동적이고 현실감 있는 사용자 인터페 이스가 플래시 등에 의해 구현될 수 있으며, 사용자 인터페이스 그래픽은 별도의 패치 작업 등이 없어도 용이하게 교체될 수 있다.

도 2는 본 발명의 바람직한 일 실시예에 따른 3차원 화면에 동영상 삽입 방법의 전체적인 흐름을 도시한 순서도이다.

도 2를 참조하면, 우선 서버로부터 동영상 파일을 수신하는 과정이 수행된다(단계 200). 동영상 데이터가 광고일 경우, 서버는 미리 설정된 스케줄링 알고리즘에 따라 다양한 광고 데이터를 전송할 수 있을 것이다.

동영상 파일 수신 정보는 도 1의 동영상 삽입 모듈(104)에 제공되며, 동영상 삽입 모듈(104)은 수신된 동영상 파일에 대한 재생을 동영상 플레이어(100)에 요청한다(단계 202). 동영상 삽입 모듈(104)은 동영상 파일의 타입을 판단하여 해당 동영상 플레이어가 동영상을 재생할 수 있도록 한다(예를 들어, SWF 타입일 경우 매크로미디어사의 플래시 플레이어에 재생 요청).

동영상 삽입 모듈(104)은 동영상 재생 요청 시 동영상을 재생할 메모리 영역 정보를 동영상 플레이어(100)에 제공하며, 동영상 플레이어는 미리 설정된 메모리 영역에 동영상 파일을 재생한다.

동영상이 재생된 후, 미리 설정된 시간 간격으로 동영상의 프레임 이미지를 캡쳐하는 과정이 수행된다(단계 204). 전술한 바와 같이, 동영상 플레이어가 프레임에 대한 캡쳐 데이터를 드로잉 메모리에 저장할 수도 있으며, 동영상 삽입 모듈이 재생되는 동영상 데이터를 캡쳐할 수도 있을 것이다. 특히 플래시 플레이어의 경우, 재생되는 동영상의 특정 프레임 이미지를 draw() 함수 등을 이용하여 메모리 영역에 드로잉하는 것이 가능하다.

전술한 바와 같이, 3D 월드 내에서 캡쳐된 이미지 데이터들이 동영상과 같이 재생되도록 3D 월드의 갱신 시간에 맞추어 동영상의 이미지를 캡쳐하는 것이 바람직하다.

동영상 삽입 모듈(104)은 캡쳐된 이미지에 대해 텍스쳐를 설정하는 과정을 수행한다(단계 206). 동영상 삽입 모듈(104)은 텍스쳐의 좌표를 갖는 정점을 설정하고 텍스쳐에 대한 스테이지 설정과 같은 텍스쳐 설정 작업을 수행한다. 예를 들어, 동영상 삽입 모듈(104)은 3D 화면의 방에 구비된 TV에서 동영상이 재생되도록 하고자 하는 경우, TV를 지오메트리로 하여 텍스쳐가 입혀질 좌표 및 텍스쳐의 색상 등을 설정하는 과정을 수행한다.

동영상 캡쳐 이미지에 상응하는 텍스쳐의 설정이 완료되면, 텍스쳐를 미리 설정된 지오메트리에 렌더링하는 절차가 진행된다(단계 208). 상술한 텍스쳐 설정 절차에서 설정된 정보에 따라 지오메트리에 텍스쳐가 렌더링되며, 렌더링 시 텍스쳐 좌표 인텍스(TCI: Texture Coordinate Index) 좌표를 텍스쳐 좌표로 변환하는 과정이 수행된다. 동영상 캡쳐 이미지는 지오메트리의 형태에 상응하여 렌더링 되며, 예를 들어, TV와 같은 평면일 경우 평면의 이미지로 렌더링되나, 경기장의 휘어진 트랙이 지오메트리일 경우 트랙과 같이 휘어진 형태로 렌더링될 것이다.

도 7 및 도 8은 동영상 이미지가 3D 화면에 렌더링되는 일례를 도시한 도면이다.

도 7 및 도 8에 도시된 바와 같이, 동영상은 TV 또는 트랙과 같이 3D 화면의 특정 영역에 삽입되며, 삽입되는 지오메트리의 형태에 상응하여 평면 또는 곡면의 형태를 가지게 된다.

3D 엔진은 3D 월드에 구현된 3D 그래픽 중 사용자의 시야와 관련된 영역의 그래픽을 사용자 디스플레이 장치에 디스플레이하며, 사용자는 다양한 각도에서 삽입된 동영상을 보는 것이 가능하다(단계 210).

도 2에는 도시되어 있지 않으나, 동영상 데이터가 플래시 데이터일 경우 디스플레이되는 동영상과 사용자와의 상호작용이 가능하다. 플래시 동영상은 액션 스크립트를 포함하고 있으므로, 마우스 이벤트와 같은 특정 사용자 이벤트에 응답하여 미리 설정된 프로세스를 수행한다. 본 발명에 의하면, 이와 같은 플래시 동영상과 사용자와의 상호작용이 3D 게임과 같은 3D 화면 내에서 이루어질 수 있도록 한다.

이를 위해, 3D 엔진 또는 다른 어플리케이션 구동 엔진은 3D 화면에 디스플레이되는 플래시 동영상의 특정 영역에 마우스 이벤트와 같은 사용자 이벤트가 발생할 경우, 해당 영역의 좌표를 플래시 플레이어에서의 좌표로 변화하고 변환된 좌표 정보를 플래시 플레이어에 제공한다.

플래시 플레이어는 수신한 좌표에 사용자 이벤트가 발생할 경우의 미리 설정된 프로세스를 수행하며, 수행되는 프로세스에 의해 달라지는 플래시 동영상은 도 2와 같은 절차에 의해 3D 화면에 디스플레이된다.

따라서, 플래시 동영상은 특히 동영상이 사용자 인터페이스로 삽입되는 경우에 유용하게 활용될 수 있다.

도 3은 본 발명의 바람직한 일 실시예에 따른 3D 엔진의 상세 구성을 도시한 블록도이다.

도 3을 참조하면, 본 발명에 사용되는 3D 엔진은 물리 엔진(300), 인공 지능 엔진(302), 네트워크 엔진(304) 및 렌더링 엔진(306)을 포함할 수 있다.

물리 엔진(300)은 3D 화면에 구현되는 오브젝트(Object)들의 충돌 감지, 특수 효과 등을 표현하는 기능을 하는 엔진이다. 예를 들어, 벽에 부딪혔을 때 더 이상 이동이 불가능하거나 공이 벽에 맞았을 때 탄성력에 의해 튕기는 현상 등은 물리 엔진에 의해 구현되며, 총을 쏘거나 칼을 휘둘렀을 때의 특수 효과 등도 물리 엔진에 의해 구현된다. 물리 엔진은 물리학에 기초하여 제작되며, 가장 기본적으로 이용되는 법칙은 뉴턴의 역학 법칙이다. 3D 게임 등에서 플레이어가 이동할 때에 디스플레이되는 사실적인 움직임은 물리 엔진에 의해 가능해진다.

인공 지능 엔진(302)은 캐릭터 또는 기타의 오브젝트가 미리 설정된 알고리즘에 따라 지능적인 동작을 수행하도록 하는 알고리즘이다. 인공 지능 엔진의 구현을 위해서는 DT(Decison Tree) 기술, FuSM(Fuzzy State Machine) 기술, FSM(Finite State Machine) 기술, 스크립트 랭귀지 또는 규칙 기반 시스템 등이 이용될 수 있을 것이다. 오브젝트가 자동적으로 가장 빠른 경로로 이동하는 동작 또는 게임 내 NPC(Non-Player Character)의 규칙적인 동작 등은 인공 지능 엔진(302)에 의해 구현된다.

네트워크 엔진(304)은 온라인 3D 게임의 경우 주로 이용되며, 네트워크에 접속하지 않고 클라이언트 내에서 3D 화면이 구현되는 경우에는 구비되지 않아도 무 방하다. 네트워크 엔진(304)은 온라인 3D 게임에서 많은 수의 동시 접속자들에 대한 정보를 전달하는 기능을 한다. 동시 접속자들에 대한 정보 전달을 위해 P2P(Peer to Peer), 클라이언트-서버 시스템, 하이브리드 시스템 또는 대용량 분산 서버 시스템 등이 사용된다.

렌더링 엔진(306)은 3차원으로 구성된 오브젝트에 대한 기하학적인 정보를 2차원의 스크린 상의 이미지로 변환하여 사용자 디스플레이 장치에 디스플레이하는 기능을 한다. 본 발명에서 동영상 데이터를 특정 지오메트리에 삽입한 후 디스플레이하는 기능은 렌더링 엔진(306)에 의해 수행된다. 3D 화면의 데이터는 오브젝트의 정점 좌표, 텍스쳐 정점 좌표, 디퓨즈 값 등을 포함하고 있는 바, 렌더링 엔진(306)은 이러한 다양한 정보를 화면에 뿌리는 기능을 수행한다.

렌더링 엔진(306)은 독립적으로 렌더링을 수행할 수도 있으나, 도 3에 도시된 바와 같이, 다이렉트엑스(DirectX), 오픈 지엘(openGL) 등과 같은 3D 그래픽 API(Application Program Interface)와 연동하여 렌더링을 수행할 수도 있다. 3D 그래픽 API를 이용함으로써 보다 빠른 3차원 화면 데이터 처리가 가능하다.

도 4는 본 발명의 바람직한 일 실시예에 따른 동영상 삽입 모듈의 상세한 모듈 구성을 도시한 블록도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 동영상 삽입 모듈(400)은 플레이어 호출 모듈(400), DC(Device Context) 정보 전달 모듈(402), 이미지 로딩 모듈(404), 텍스쳐 설정 모듈(406) 및 이미지 좌표 변환 모듈(408)을 포함할 수 있다.

도 4는 특정 프레임의 이미지를 동영상 플레이어가 동영상 드로잉 메모리에 드로잉하는 경우의 동영상 삽입 모듈의 구성을 도시한 것이다. 그러나, 전술한 바와 같이, 동영상 삽입 모듈이 재생되는 동영상에 대한 캡쳐를 수행할 수도 있으며, 이 경우 도 4에 도시된 모듈 외에 동영상 캡쳐 모듈이 더 포함될 수 있을 것이다.

도 4에서, 플레이어 호출 모듈(400)은 동영상 파일이 서버로부터 수신될 경우 수신된 파일을 재생할 플레이어를 호출하는 기능을 한다. 전술한 바와 같이, 동영상 파일의 타입을 판단하여 타입에 상응하는 동영상 플레이어를 호출하고, 재생할 동영상 파일 정보를 전달한다.

DC(Device Context) 정보 전달 모듈(402)은 호출된 동영상 플레이어에 동영상의 특정 프레임의 이미지 데이터를 드로잉할 메모리 영역 정보 및 이미지 드로잉을 위해 필요한 함수 정보를 제공하는 기능을 한다. 본 발명의 일 실시예에 따르면, DC 정보 전달 모듈(402)은 3D 그래픽 API와의 통신을 통해 DC 정보의 생성을 요청하고 생성된 DC 정보를 동영상 플레이어에 제공한다. 예를 들어, 서버로부터 수신된 동영상이 플래시 타입일 경우, DC 정보 전달 모듈(402)은 3D 그래픽 API에 DC 정보의 생성을 요청한 후, 플래시 플레이어에 메모리 영역, 함수, 이미지를 드로잉할 프레임 정보 등을 제공하여 플래시 플레이어가 동영상 중 특정 프레임의 이미지를 미리 설정된 메모리 영역에 드로잉할 수 있도록 한다. 물론, 특정 프레임 이미지의 일부 영역만을 드로잉하도록 하는 것도 가능할 것이다. 이때 드로잉되는 이미지 파일의 타입은 비트맵인 것이 바람직하다.

이미지 로딩 모듈(404)은 상기 동영상 드로잉 메모리에 드로잉된 이미지를 3D 화면에 삽입하도록 로드하는 기능을 한다. 이와 같은 이미지 로딩 작업은 후술할 텍스트 설정 모듈(406)이 수행할 수도 있으며, 텍스쳐 설정과는 별도로 이미지 로딩이 이루어질 수도 있을 것이다. 전술한 바와 같이, 3D 월드의 갱신 시간에 맞추어 동영상의 이미지가 로딩되는 것이 바람직하다.

텍스쳐 설정 모듈(406)은 로딩된 이미지가 3D 화면의 특정 영역에 삽입되도록 텍스쳐 설정을 수행한다. 텍스쳐 설정 모듈(406)은 텍스쳐가 입혀질 지오메트리 및 텍스쳐의 좌표 등을 설정하여 설정 정보에 따라 텍스쳐 렌더링이 이루어질 수 있도록 한다. 보다 상세한 텍스쳐 설정 절차는 도 5를 참조하여 설명하기로 한다.

이미지 좌표 변환 모듈(408)은 동영상 드로잉 메모리에 드로잉된 이미지 좌표에 대해 변환이 필요한 경우 이미지 변환을 수행하는 기능을 한다. 동영상 이미지는 텍스쳐로 활용되는데, 텍스쳐 좌표계는 0.0 내지 1.0 사이의 실수값을 가지며, 특정 타입의 이미지 파일은 이와 같은 변수로 좌표계가 구현되지 않으므로 필요한 경우 이미지 좌표 변환 작업을 수행한다. 이러한 경우의 이미지 좌표 변환은 공지된 기술이므로 이에 대한 상세하 설명은 생략하기로 한다.

도 5는 본 발명의 바람직한 일 실시에에 따른 텍스쳐 설정 과정을 도시한 순서도이다.

도 5를 참조하면, 우선 텍스쳐의 인터페이스를 설정하는 과정이 수행된다(단계 500). 텍스쳐 인터페이스 설정 과정은 텍스쳐 변수를 선언하는 과정으로서 3D 그래픽 API로 다이렉트엑스가 사용될 경우 C++ 언어에서는 다음과 같이 설정될 수 있을 것이다.

LPDIRECT3DTEXTURE9 texture = NULL

텍스쳐 인터페이스가 설정된 후에는 텍스쳐의 좌표를 설정하는 과정이 수행된다(단계 502). 이때 설정되는 좌표는 텍스쳐가 삽입될 영역의 3차원 좌표 및 텍스쳐 자체의 2차원 좌표가 포함될 수 있다. 이와 같은 좌표는 C++ 언어의 구조체 형식으로 설정될 수 있을 것이며 그 예는 다음과 같다.

struct CUSTOMVERTEX

{

D3DXVECTOR3 position;

D3DCPLPR color;

FLOAT tu, tv;

}

좌표가 설정된 후, 텍스트가 입혀질 지오메트리를 초기화하는 과정이 진행된다(단계 504).

지오메트리 초기화 후 지오메트리에 입혀질 실질적인 텍스쳐를 로드한다(단계 506). 텍스쳐는 파일의 경로를 지정하는 방식 등을 통해 로드될 수 있으나, 본 발명에서는 이미지가 드로잉되는 메모리 영역을 지정함으로써 텍스쳐를 로드하는 것이 바람직하다. 텍스쳐 로드에는 일반적인 D3DXCreateTexture 함수 등이 이용될 수 있을 것이다.

텍스쳐가 로드된 후 텍스쳐 스테이지를 설정하는 과정이 수행된다(단계 508). 텍스쳐 스테이지에서는 텍스쳐 색상의 밝기, 주변 배경과의 밝기 조절 정보 등을 설정한다. 스테이지 설정 시 주변 배경과 동영상 텍스쳐의 색상을 조합하는 모듈레이트(Modulate) 기능이 이용될 수 있다.

스테이지 설정 후, 텍스트가 입혀질 지오메트리에 대한 정점 버퍼를 생성한다(단계 510). 정점 버퍼는 CreateVertexBuffer 함수 등을 이용하여 생성할 수 있을 것이다. 생성된 정점 버퍼에는 텍스쳐의 2차원 u,v 좌표값이 채워진다(단계 512).

도 6은 본 발명의 바람직한 일 실시에에 따른 텍스쳐 렌더링 과정을 도시한 순서도이다.

도 6을 참조하면, 2차원의 텍스쳐를 렌더링하기 위해 후면 버퍼와 Z 버퍼를 클리어하는 과정이 진행된다(단계 600).

후면 버퍼와 Z 버퍼가 클리어되면, 텍스쳐 변환에 사용될 매트릭스를 설정한다(단계 602). 텍스쳐 변환에 사용되는 매트릭스에는 월드 매트릭스, 프로젝션 매트릭스 및 뷰(view) 매트릭스 등이 있다.

변환에 사용될 매트릭스가 설정된 후, 스테이지 설정 정보에 따라 모듈레이트 연산을 통해 색상을 조합하는 과정이 수행된다(단계 604). 일반적으로 텍스쳐에 대해 지정된 색상과 정점에 대해 지정된 색상에 대한 조합이 이루어질 수 있을 것이다.

상기 단계 602에서 설정된 매트릭스를 텍스쳐 좌표 인덱스(TCI) 전달 인자로 사용해서 3차원의 TCI 좌표를 u, v 텍스쳐 좌표로 변환한다(단계 606). 좌표가 변환되면, 정점 버퍼의 내용을 드로잉하는 과정을 수행함으로써 렌더링 작업이 완료 된다(단계 608).

이상에서 설명한 바와 같이, 본 발명에 의한 3차원 화면에 동영상을 삽입하는 방법 및 이를 위한 기록 매체에 따르면, 서버에서 특별한 전처리 작업을 수행하지 않고 동영상 파일을 전송하더라도 동영상을 3D 화면 내에 삽입할 수 있는 장점이 있다.

또한, 본 발명에 의하면, 다양한 종류의 동영상 광고 데이터를 실시간으로 3D 게임의 특정 영역에 삽입할 수 있으며, 사용자 인터페이스도 동영상에 의해 구현될 수 있는 장점이 있다.

Claims (15)

1. 서버로부터 동영상 데이터를 수신하는 단계(a);

   상기 수신된 동영상 데이터를 재생할 플레이어를 호출하는 단계(b);

   상기 플레이어에 의해 캡쳐되는 동영상의 이미지를 미리 설정된 시간 간격으로 미리 설정된 동영상 드로잉 메모리 영역에 드로잉하는 단계(c);

   상기 동영상 드로잉 메모리 영역에 저장된 이미지 데이터에 대한 텍스쳐를 설정하는 단계(d)-상기 설정되는 텍스쳐 정보는 텍스쳐가 삽입될 3D 화면에서의 좌표 정보를 포함함-;

   상기 텍스쳐 설정 정보에 상응하여 동영상 캡쳐 이미지에 해당되는 텍스쳐를 3D 화면에 렌더링하는 단계(e)를 포함하는 것을 특징으로 하는 3D 화면에 동영상을 삽입하는 방법.
2. 제1항에 있어서,

   상기 동영상 데이터는 광고 데이터 또는 사용자 인터페이스에 삽입될 동영상 데이터를 포함하는 것을 특징으로 하는 3D 화면에 동영상을 삽입하는 방법.
3. 제2항에 있어서,

   상기 광고 데이터는 미리 설정된 스케줄링 알고리즘에 따라 서버로부터 전송되는 것을 특징으로 하는 3D 화면에 동영상을 삽입하는 방법.
4. 제1항에 있어서,

   상기 단계(c)는,

   상기 동영상 플레이어에 특정 프레임의 캡쳐 이미지 드로잉을 요청하는 단계; 및

   상기 동영상 플레이어가 상기 동영상 드로잉 메모리 영역에 요청된 캡쳐 이미지 데이터를 드로잉하는 단계를 포함하는 것을 특징으로 하는 3D 화면에 동영상을 삽입하는 방법.
5. 제1항에 있어서,

   상기 단계(c)는,

   상기 동영상 플레이어가 동영상을 재생할 경우 미리 설정된 시간 간격에 상응하는 프레임 이미지를 캡쳐하는 것임을 특징으로 하는 3D 화면에 동영상을 삽입하는 방법.
6. 제1항에 있어서,

   상기 미리 설정된 시간 간격은 3D 화면이 갱신되는 시간 간격인 것을 특징으로 하는 3D 화면에 동영상을 삽입하는 방법.
7. 제1항에 있어서,

   상기 단계(d)는,

   텍스쳐 좌표를 설정하는 단계;

   3D 화면에 삽입될 텍스쳐를 로드하는 단계;

   텍스쳐 스테이지를 생성하는 단계; 및

   정점 버퍼를 생성하고 생성된 정점 버퍼를 채우는 단계를 포함하는 것을 특징으로 하는 3D 화면에 동영상을 삽입하는 방법.
8. 제7항에 있어서,

   상기 텍스쳐는 동영상의 특정 프레임 이미지가 드로잉되는 메모리 영역을 지정함으로써 로드되는 것을 특징으로 하는 3D 화면에 동영상을 삽입하는 방법.
9. 제1항에 있어서,

   상기 동영상이 플래시 타입의 동영상일 경우,

   상기 렌더링된 동영상의 특정 영역에 사용자 이벤트가 발생할 경우, 사용자 이벤트가 발생한 좌표 정보를 동영상 플레이어에서의 동영상 좌표 정보로 변환하는 단계를 더 포함하며,

   상기 동영상 플레이어는 상기 동영상 좌표 정보를 수신하여, 해당 좌표에 사용자 이벤트 발생 시의 미리 설정된 프로세스를 수행하는 것을 특징으로 하는 3D 화면에 동영상을 삽입하는 방법.
10. 3D 화면에 동영상을 삽입하기 위한 명령어들의 프로그램이 유형적으로 구현되어 있으며, 전자 정보 처리 장치 장치에 의해 판독될 수 있는 프로그램을 기록한 기록 매체에 있어서,

    서버로부터 동영상이 전송될 경우, 동영상 플레이어를 호출하여 전송된 동영상의 재생을 요청하는 단계(a);

    상기 플레이어와의 통신을 통해 특정 프레임의 동영상의 캡쳐 이미지를 미리 설정된 시간 간격으로 미리 설정된 동영상 드로잉 메모리 영역에 드로잉하는 단계(b);

    상기 동영상 드로잉 메모리 영역에 저장된 이미지 데이터에 대한 텍스쳐를 설정하는 단계(c)-상기 설정되는 텍스쳐 정보는 텍스쳐가 삽입될 3D 화면에서의 좌표 정보를 포함함-;를 포함하되,

    상기 3D 엔진이 상기 텍스쳐 설정 정보에 상응하여 동영상 캡쳐 이미지에 해당하는 텍스쳐를 3D 화면의 미리 설정된 화면에 렌더링하도록 좌표 변환 매트릭스를 포함하는 렌더링 정보를 설정하는 단계(d)를 수행하는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
11. 제10항에 있어서,

    상기 동영상 데이터는 광고 데이터 또는 사용자 인터페이스에 삽입될 동영상 데이터를 포함하며, 상기 광고 데이터는 미리 설정된 스케줄링 알고리즘에 따라 상기 서버로부터 전송되는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
12. 제10항에 있어서,

    상기 단계(b)는 미리 설정된 시간 간격으로 특정 프레임의 동영상 캡쳐 이미지 드로잉을 상기 동영상 플레이어에 요청하며,

    상기 동영상 플레이어는 미리 설정된 동영상 이미지 드로잉 메모리 영역에 상기 요청된 캡쳐 이미지를 드로잉하는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
13. 제10항에 있어서,

    상기 단계(c)에서 텍스쳐 설정 시 동영상의 특정 프레임 이미지가 드로잉되는 메모리 영역을 지정함으로써 텍스쳐를 로드하는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
14. 제10항에 있어서,

    상기 텍스쳐 설정 정보 및 렌더링 설정 정보에 따라 동영상 캡쳐 이미지에 해당되는 텍스쳐를 3D 화면에 렌더링하는 단계를 더 포함하는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
15. 제14항에 있어서,

    상기 동영상이 플래시 타입의 동영상일 경우,

    상기 렌더링된 동영상의 특정 영역에 사용자 이벤트가 발생할 경우, 사용자 이벤트가 발생한 좌표 정보를 동영상 플레이어에서의 동영상 좌표 정보로 변환하는 단계를 더 포함하며,

    상기 동영상 플레이어는 상기 동영상 좌표 정보를 수신하여, 해당 좌표에 사용자 이벤트 발생 시의 미리 설정된 프로세스를 수행하는 것을 특징으로 하는 프로그램을 기록한 기록 매체.

Images