KR100963744B1

KR100963744B1 - 축구 동영상의 이벤트 학습 및 검출방법

Info

Publication number: KR100963744B1
Application number: KR1020030053218A
Authority: KR
Inventors: 이태연
Original assignee: 엘지전자 주식회사
Priority date: 2003-07-31
Filing date: 2003-07-31
Publication date: 2010-06-14
Also published as: KR20050014559A

Abstract

본 발명은 축구 동영상 멀티미디어에 은닉 마코프 모델을 적용하여 국내 방송 실정에 적합하게 이벤트 발생을 학습시키고 자동으로 검출하는 방법으로서, 축구 동영상의 이벤트 패턴의 학습여부를 판단하는 과정과, 상기 이벤트 패턴을 학습하는 경우 축구 동영상의 각 장면들을 심볼로 변환하는 과정과; 상기 변환된 심볼로부터 관찰 시퀀스를 결정하는 과정과; 상기 결정된 관찰 시퀀스를 이용하여 이벤트 발생 패턴을 은닉 마코프 모델 학습처리 하는 과정을 포함한다. 또한, 본 발명은 축구 동영상의 각 이벤트의 검출 여부를 판단하는 과정과; 상기 이벤트를 검출하는 경우 각 장면들을 심볼로 변환하는 과정과; 상기 변환된 심볼로부터 관찰 시퀀스를 결정하는 과정과, 상기 결정된 관찰 시퀀스를 이용하고, 은닉 마코프 모델 학습처리 결과로부터 결합확률을 검출하는 과정을 수행하여, 국내 동영상 방송 실정의 축구 동영상에 적합하게 이벤트 검출률을 제고하고, 축구 경기의 분석을 용이하게 한다.

Description

축구 동영상의 이벤트 학습 및 검출방법{A DETECTING METHOD AND A TRAINING METHOD OF EVENT FOR SOCCER VIDEO}

도1 은 일반적인 축구 동영상의 이벤트 검출 장치 기능 구성도,

도2 는 본 발명에 의한 축구 동영상 이벤트 학습방법 순서도,

도3 은 본 발명에 의한 축구 동영상 이벤트 검출방법 순서도,

도4 는 축구 동영상 화면의 확대와 축소정도에 의한 심볼 구분 상태도,

도5 는 본 발명 축구 동영상 화면의 필드 위치에 의한 심볼 구분상태도,

도6 은 축구 동영상의 카메라 촬영대상에 의한 저급수준 정보 상태 도시도,

도7 은 2002 피파 월드컵과 2002 부산 아시안 게임 심볼형태 분석값 도시도,

도8 은 본 발명 축구 동영상의 252 심볼 장면형태 분포 도시도,

도9 는 본 발명 축구 동영상의 각 시퀀스에 의한 패턴 분석도,

도10 은 본 발명 축구 동영상의 대표적인 A, B, C 패턴의 일 예 도시도,

도11 은 본 발명 축구 동영상의 각 이벤트 발생 패턴 막대도표 분포도,

도12 는 본 발명 축구 동영상의 이벤트 검출 시스템 구성상태도,

도13 은 본 발명 축구 동영상의 84 가지 심볼형태 분석값 도시도,

도14 는 본 발명 축구 동영상의 108 가지 심볼형태 분석값 도시도,

도15 는 축구 동영상의 84가지 심볼과 108 가지 심볼의 분포상태 도시도,

도16 은 본 발명 축구 동영상의 2002년 피파 월드컵 축구와 2002년 부산 아시안 게임을 실험한 슈팅 이벤트 검출 횟수 분석값 도시도,

도17은 본 발명의 축구 동영상 이벤트 검출방식과 외국실정에 적합한 이벤트 검출방식의 대비도.

** 도면의 주요 부분에 대한 부호 설명 **

10 : 동영상부 20 : 동영상분석부

30 : 디브엘부 40 : 브라우징툴부

50 : 검출부

본 발명은 동영상 멀티미디어로부터 특정 이벤트를 검색하여 출력하는 것으로, 특히, 축구 동영상 멀티미디어에 은닉 마코프 모델(HIDDEN MARKOV MODEL)을 적용하여 국내 방송 실정에 적합하게 이벤트가 발생하는 장면을 학습시키며 자동 검색 출력하는 축구 동영상의 이벤트 학습 및 검출방법에 관한 것이다.

컴퓨터의 관련 기술발달과 급격한 성능향상, 망(NETWORK)의 고속화, 대용량 저장장치 개발 등으로, 사람이 쉽게 인지할 수 있고 신속하게 의사 전달할 수 있는, 동영상(VIDEO)의 멀티미디어(MULTIMEDIA) 정보 사용이 늘어나고 있으며 기록 보존의 정확성에서도 그 중요성이 확인되고 있다.

상기 멀티미디어 신호는, 디지털(DIGITAL) 신호로 효율적 처리 및 관리하며, 데이터 용량이 매우 많으므로, 대용량의 저장장치(STORAGE DEVICE)를 필요로 하고, 상기와 같은 대용량의 멀티미디어 데이터를 관리하기 위한 DVL(DIGITAL VIDEO LIBRARY) 시스템 기술이 개발되고 있으며, 상기와 같은 DVL 기술에 의하여 VOD(VIDEO ON DEMAND) 서비스 등이 제공되고 있다.

상기와 같은 멀티미디어 컨텐츠(CONTENTS) 정보들은, 대용량의 저장장치에 기록저장하며, 필요한 경우, 상기와 같이 멀티미디어 정보가 기록된 대용량의 저장장치로부터 원하는 정보를 신속하고 용이하며 정확하게 검색하기 위하여, 인덱싱(INDEXING)을 하여 저장하고 관리하여야 하며, 상기와 같은 인덱싱을 위하여서는 브라우징 툴(BROWSING TOOL)이나 요약 파일을 만들어야 한다.

그러나, 상기와 같은 인덱싱을 사람이 직접 작업하기에는, 매우 많은 노동력을 필요로 하고, 비용도 많이 들어가지만, 객관적이지 못하고, 정확한 결과를 얻지 못하는 문제가 있다.

특히, 동영상 컨텐츠를 저급 분석, 중급 분석, 고급 분석에 의하여 원하는 장면 또는 샷(SHOT)을 정확하게 자동검색하고 필요한 동영상 멀티미디어 정보를 높은 신속하게 검출하여 출력하는 기술의 개발이 필요하다.

이하, 종래 기술에 의한 축구 동영상의 이벤트 검출방식을 첨부된 도면을 참조하여 설명한다.

종래 기술을 설명하기 위한 것으로, 도1 은 일반적인 축구 동영상의 이벤트 검출 장치 기능 구성도 이다.

상기 첨부된 도1을 참조하면, 동영상부(10)로부터 출력되는 축구 동영상의 멀티미디어 신호는, 동영상 분석부(20)에 인가되어, 저급 및 중급수준의 각 장면 정보로 분할(SEGMENTATION) 되고, 고급 수준의 각 장면정보 형태로 분류(CLASSIFICATION)하여 각각의 이벤트를 검출한다.

상기와 같이 동영상 분석부(20)로부터 저급, 중급 및 고급 수준의 정보로 분석되어 출력되는 각각의 정보들은 디브엘부(30)에 인가되어 저장된다.

상기 디브엘(DVL: DIGITAL VIDEO LIBRARY)부(30)에 연결된 브라우징 툴부(40)는, 상기 저장된 이벤트 정보를 분석하여 원하는 컨텐츠(CONTENTS)를 용이하게 검출하는 제어신호를 검출부(50)에 인가하며, 상기 검출부(50)는 브라우징 툴부(40)로부터 인가되는 제어신호에 의하여 상기 디브엘부(30)의 정보로부터 원하는 이벤트를 검출하여 출력한다.

상기와 같은, 종래 기술에 의한 동영상 멀티미디어 정보 분석 기술은, 일 예로, 원거리 동영상 정보, 근거리 동영상 정보, 재연 동영상 정보, 거의 고정된 배경영역의 동영상 정보 등과 같이, 주로, 저급 및 중급 수준의 동영상 정보를 자동 추출하는 것이다.

일 예로, 축구 스포츠 경기의 동영상 멀티미디어 정보의 경우, 경기장을 원거리에서 촬영한 장면, 근거리 촬영 장면, 재연 장면, 움직임이 거의 없는 관객석 장면등을 검색하고 추출하는 기술은 저급 또는 중급 수준의 기술이 된다.

상기 동영상 신호를 저급 수준으로 분석하여 인덱싱에 사용되는 영상 정보로는, 색 정보, 오브젝트 움직임, 에지 히스토그램(EDGE HISTOGRAM) 등과 같은 정보 가 있다.

상기와 같은 저급 분석정보를 이용하여 화면의 확대와 축소, 필드 위치, 카메라의 촬영대상, 재생속도, 그래픽 정보의 사용 여부 등과 같은 중급 수준의 동영상 정보를 추출할 수 있다.

상기 분석되는 동영상 멀티미디어에는, 일 예로, 일반 흥미위주 동영상, 기록용 동영상, 전쟁 동영상, 스포츠 동영상 등으로 구분되는 영역(DOMAIN)이 있고, 상기 각 영역(DOMAIN)을 분석하기 위하여서는, 영역지식(DOMAIN KNOWLEDGE)이 있어야 하며, 상기 영역지식을 이용하여 해당 컨텐츠를 모델링하는 동시에 고급 수준으로 각 이벤트 장면을 검색하며, 와이프(WIPE) 또는 디졸브(DISSOLVE) 방법에 의한 점진적 장면 변화로 중요한 이벤트를 강조 표현한다.

상기 영상신호를 분석하는 인덱싱(INDEXING) 방법은, 크게 통계적인 방법(STATISTICAL APPROACH)과 슬라이스 방법(SLICE APPROACH)이 있다. 상기 통계적인 방법(STATISTICAL APPROACH)은, 현재 영상프레임과 앞 영상프레임의 차이를 이용하는 것으로, 프레임 단위의 칼라 히스토그램이나 모션(MOTION) 또는 에지(EDGE)를 검출하여 변화량이 두드러지는 부분을 장면(SHOT)의 경계지점으로 인덱싱(INDEXING)하여 찾아내는 방법이다.

그런데, 상기와 같은 통계적인 방법은 스포츠 영상신호와 같이 일정한 장소에서 이루어지면서도 운동량이 많은 장면의 프레임으로부터 인덱싱을 위한 장면(SHOT) 경계를 찾기 어려운 문제가 있다.

상기 슬라이스 방법은 스포츠 영상신호로부터 인덱싱을 위한 장면(SHOT) 경계를 용이하게 찾기 위한 방법으로서, 상기 영상 프레임을 슬라이스(SLICE)로 나누고, 상기 나누어진 슬라이스들의 응집력 차이를 이용하여 장면의 경계지점을 찾아내는 것으로, 드류(M. S. DREW)가 VIDEO DISSOLVE AND WIPE DETECTION VIA SPATIO-TEMPORAL IMAGE OF CHROMATIC HISTOGRAM DIFFERENCES, PROC OF IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, VOL 3, PP 929-932, 2000에서 제안하고, 네고(C. W. NGO)가 DETECTION OF GRADUAL TRANSITIONS THROUGH TEMPORAL SLICE ANALYSIS, PROC OF IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR'99), PP 36-41, 1999에서 제안되었다.

상기 슬라이스 방법은, 프레임 전체의 변화에 치중하지 않는 동시에 부분적인 변화에 민감하지 않으므로, 축구와 같은 동영상 신호의 분석에 좋은 성능을 나타낸다.

특히, 축구와 같은 스포츠 동영상 멀티미디어에서의 고급 수준 동영상 분석을 이벤트(EVENT) 분석이라 하고, 상기 이벤트에는, 일 예로, 골인, 슛팅, 코너킥, 프리킥, 페널티킥, 반칙등이 있다.

상기와 같이 이벤트(EVENT)를 검출하여 인덱싱에 사용되는 정보로는, 캡션정보(CLOSED CAPTION), 블러링(BLURRING) 현상, 볼(BALL)과 선수들과 골대(GOAL POST)를 추적(TRACKING), 상태 천이 다이어그램(STATE TRANSITION DIAGRAM)의 4가지가 있다.

상기 캡션정보는, 기타하시(T. KITAHASHI)가 2000년 9월에 EXTRACTING ACTORS, ACTIONS AND EVENTS FROM SPORTS VIDEO - A FUNDAMENTAL SPPROACH TO STORY TRACKING, PROC OF IEEE INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION(CIPR'00), VOL 4, BARCELONA, SPAIN, SEPT, 2000에서 제안한 것처럼, 멀티미디어 동영상에 추가적인 매체인 캡션 정보를 이용하는 것으로, 일 예로, 미식축구의 경우에 터치다운(TOUCH DOWN) 단어를 검출하여 이벤트의 위치를 알아내는 것이다.

상기 블러링 현상 정보는, 슈(X. XU)가 2002년에 CONTENT-BASED ANALYSIS AND INDEXING OF SPORTS VIDEO, PROC OF SPIE CONFERENCE ON STORAGE AND RETRIVAL FOR MEDIA DATABASE, SAN JOSE, USA, JAN 21-23, 2002에서 제안한 것으로, 슛팅이 일어날 때, 동영상 화면이 갑자기 빠른 공(BALL)을 따라가려 하기 때문에 발생하는 블러링 현상을 검출하는 것으로, 슛팅(SOOTING)과 롱패스(LONG PASS)를 검출하는 것이다.

상기와 같은 블러링 현상에서 마힐드레쓰 제로 크로싱(MARR-HILDRETHS' ZERO CROSSING) 알고리즘을 이용하여 에지(EDGE)를 찾으면 블러링 현상이 발생하는 프레임의 에지 양을 현저히 줄인다.

또한, 상기 볼과 선수들과 골대를 추적하여 정보로 이용하는 것은, 볼(BALL)이 골대를 지날 때 골인이 일어난다는 것과 같은 다양한 이벤트를 검출하는 것으로, 1995년 보비크(A.F. BOBICK)와 1995년 류(B. LIU)와 2001년 퀴안(R. J. QIAN)이 제안한 것으로, 배경과 선수들을 분리하는 객체분리(OBJECT SEGMENTATION)를 통하여 선수들의 움직임을 찾아내고, 배경의 연속되는 모자이크(MOSAIC)로 궤적(TRAJECTORY)을 만들어 경기장에서 각 선수들의 움직임을 추적하는 것이다.

상기 마지막의 상태천이 다이어그램은, 믹리오라티(R. MIGLIORATI)가 2002년에 SEMANTIC INDEXING OF MULTIMEDIA DOCUMENTS, IEEE MULTIMEDIA, VOL 9, NO 2, PP 44-51, APR-JUN, 2002에서 제안 한 것으로, 규칙적인 패턴으로 이벤트가 일어난다는 점을 이용하여 골인과 코너킥과 프리킥을 검출하는 알고리즘이다.

즉, 골인이 발생하기 전, 한쪽 팀이 다른 쪽 팀의 골대를 향하여 공격을 하는 경우, 빠른 움직임으로 카메라에 패닝(PANNING)이나 줌(ZOOM)이 발생하고, 다음 순서로 슛(SHOT) 해서 공(BALL)이 골대(GOAL POST)에 들어가는 장면을 잡기 위하여, 카메라(CAMERA)가 움직이지 않고, 골인이 되면 카메라의 다른 각도에서 촬영한 장면을 보여주거나 슛을 찬 선수의 모습을 글로즈 업(CLOSE UP)하기 때문에 샷 컷(SHOT CUT)이 발생한다.

상기와 같은 일련의 시퀀스로 골인이 발생하는 것을 알아내기 위하여 사용하는 것이 상태천이 다이어그램이다.

그러나, 상기와 같은 종래 기술의 이벤트를 검출하기 위하여 첫 번째, 캡션정보를 이용하는 방안은, 미식축구와 다르게 한국의 현 실정에서, 각 방송국이 축구 스포츠를 중계 또는 방영하는 경우, 캡션(CAPTION) 정보를 제공하지 않으므로, 이용할 수 없는 근본적인 문제가 있다.

상기 두 번째, 블러링 현상을 이용하는 방안은, 슛팅과 롱패스가 발행할 때의 화면의 특징을 사용하기 때문에, 상기 두 가지 이벤트를 구분할 수 있으나, 다른 이벤트는 구분할 수 없다는 문제가 있다.

상기 세 번째, 볼과 선수들과 골대를 추적하는 방안은, 객체분리(OBJECT SEGMENTATION)와 궤적(TRAJECTORY)을 찾기 위한 이미지(IMAGE) 모자이크(MOSAIC)를 만드는데 지나치게 많은 부하(LOAD)를 소모하며, 원거리 장면에서 발생하는 이벤트만을 검출한다는 제한적인 문제가 있다.

또한, 선수들이 서로 겹치는 현상과 볼(BALL)이 검출하기에 너무 작으며 선수들에게 가려진다는 점이 객체 분리를 어렵게 만드는 동시에, 카메라의 움직임이 많은 축구 동영상 멀티미디어는, 객체 분리에서 움직이는 배경과 전경의 객체 분리가 비교적 어렵다는 큰 문제점이 있다.

상기 네 번째, 상태천이 다이어그램 방법은, 고급 수준의 정보분석 방법으로, 상태 천이 그래프(STATE TRANSITION GRAPH)를 사용하여 이벤트가 발생할 때 규칙적인 패턴(PATTERN)이 발생한다고 가정하면 좋은 결과의 이벤트 인덱싱을 검출하여 출력한다.

그러나, 한가지 이벤트(EVENT)의 패턴(PATTERN)에도 다양한 예외 현상이 발생하는 것이 스포츠 동영상 멀티미디어의 특성이며, 상기와 같이 규칙적이지 못한 패턴이 발생하는 축구 동영상으로부터, 종래 기술을 이용하여, 특히, 고급 수준에 의한 축구 동영상 분석으로 각 이벤트를 검출하는 것은, 좋은 결과를 얻지 못하는 문제가 있다.

본 발명은 축구 동영상 멀티미디어로부터 장면 타입(SHOT TYPE)을 분류하고, 은닉 마코프 모델(HIDDEN MARKOV MODEL)을 이용하여 시간적인 흐름에서의 통계적 학습과 모델화에 의하여 예외 현상을 해결하며, 잡음이나 변형을 흡수하며 이벤트를 자동 검출하는 동시에, 한국 방송 실정에 적합한 축구 동영상의 이벤트 학습 및 검출방법을 제공하는 것이 그 목적이다.

상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 축구 동영상의 이벤트 패턴을 학습할 것인지 판단하는 학습1 과정과; 상기 학습1 과정에서 판단하여 이벤트를 학습하는 경우에 각 장면들을 심볼로 변환하는 학습2 과정과; 상기 학습2 과정에서 변환된 심볼로부터 관찰 시퀀스를 결정하는 학습3 과정과; 상기 학습3 과정에서 결정된 관찰 시퀀스를 이용하여 이벤트 발생 패턴을 은닉 마코프 모델 학습처리 하는 학습4 과정으로 이루어진 것을 특징으로 한다.

또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 축구 동영상의 각 이벤트를 검출할 것인지 판단하는 검출1 과정과; 상기 검출1 과정에서 판단하여 이벤트를 검출하는 경우에 각 장면들을 심볼로 변환하는 검출2 과정과; 상기 검출2 과정에서 변환된 심볼로부터 관찰 시퀀스를 결정하는 검출3 과정과; 상기 검출3 과정에서 결정된 관찰 시퀀스를 이용하고, 은닉 마코프 모델 학습처리 결과로부터 결합확률을 검출하는 검출4 과정으로 이루어진 것을 특징으로 한다.

또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 동영상 축구경기의 중요 하이라이트 이벤트를 검출하고 유무선 텔레비전 방송과 멀티미디어 무선통신장비를 통하여 전송하는 것을 특징으로 한다.

이하, 본 발명에 의한 축구 동영상의 이벤트 검출방법을 첨부된 도면을 참조 하여 설명한다.

도 2는 본 발명에 의한 축구 동영상 이벤트 학습방법 순서도이다.
도 2에 도시된 바와같이, 본 발명에 의한 축구 동영상 이벤트 학습방법은, 축구 동영상의 중요 장면(SHOT)을 구분하는 다양한 이벤트(EVENT) 발생 패턴 (PATTERN)의 학습(TRAINING) 여부를 판단하는 과정(S110)과, 상기 과정(S110)에서 이벤트 발생 패턴을 학습하는 경우 각 장면들을 심볼(SYMBOL)로 변환하는 과정(S120)을 수행할 수 있다. 상기 과정(S120)에서는 축구 동영상 장면을 확대축소 정도로 3의 값, 필드위치로 7의 값, 카메라의 촬영대상 값으로 2의 값, 재생속도의 값으로 2의 값, 그래픽 정보의 사용여부 값으로 2의 값을 각각 주어, 252개 장면형태의 심볼로 분석하여 학습한다.
그리고, 본 발명에 의한 축구 동영상 이벤트 학습방법은, 상기 과정(S120)에서 변환된 심볼(SYMBOL)로부터 관찰시퀀스(OBSERVATION SEQUENCE)를 결정하는 과정(S130)을 수행하는데, 상기 관찰시퀀스로 현재 이벤트 장면 심볼, 이전 3개 심볼 및 이후의 3개 심볼을 포함하여 7개의 심볼로 결정한다.
또한, 본 발명에 의한 축구 동영상 이벤트 학습방법은, 상기 과정(S130)에서 결정된 관찰 시퀀스를 이용하여 이벤트 발생 패턴을 은닉 마코프 모델(HMM: HIDDEN MARKOV MODEL) 학습처리 하는 단계를 수행한다. 즉, 상기 과정(S130)에서는 상기 은닉 마코프 모델(HMM)을 바움(BAUM)의 포워드 처리(FORWARD PROCESS)와 백워드 처리(BACKWARD PROCESS)로 학습(TRAINING)하여 계산량을 줄인다.
도 3은 본 발명에 의한 축구 동영상 이벤트 검출방법 순서도이다.

삭제

도 3에 도시된 바와같이, 본 발명에 의한 축구 동영상 이벤트 검출방법은, 축구 동영상의 중요 장면을 구분하는 각각의 이벤트를 검출(DETECT)할 것인지 판단하는 과정(S210)과, 상기 이벤트를 검출하는 경우 각 장면들을 심볼(SYMBOL)로 변환하는 과정(S220)을 수행한다. 상기 과정(S220)에서는 축구 동영상 장면의 확대축소 정도로 3의 값, 필드위치로 7의 값, 카메라의 촬영대상 값으로 2의 값, 재생속도의 값으로 2의 값, 및 그래픽 정보의 사용여부 값으로 2의 값을 각각 주어, 252개 장면형태의 심볼로 분석한다.

삭제

본 발명에 의한 축구 동영상 이벤트 검출방법은, 상기 변환된 심볼로부터 관찰시퀀스를 결정하는 과정(S230)과, 그 결정된 관찰시퀀스를 이용하고, 은닉 마코프 모델(HMM) 학습처리 결과로부터 결합확률을 검출하는 과정(S240)을 수행한다. 상기 과정(S230)에서는 상기 관찰 시퀀스로 현재 이벤트 장면 심볼, 이전 3개 심볼 및 이후의 3개 심볼을 포함하여 7개의 심볼로 결정한다.

삭제

이하, 상기와 같은 구성의 본 발명에 의한 축구 동영상의 이벤트 학습 및 검출방법을 첨부된 도면을 참조하여 상세히 설명한다.

일반적으로 컴퓨터(PC)가 입력되는 신호를 용이하게 처리하기 위하여 변환하는 모델로, 이미 알고있는 또는 확보하고 있는 특정 신호들을 이용하는 결정적 모델(DETERMINISTIC MODEL)과 잡음(NOISE)과 왜곡(DISTORTION)을 효과적으로 해결하는 통계적 모델(STATISTICAL MODEL)의 두 가지가 있다.

상기 통계적 모델로 마코프 모델(MARKOV MODEL)이 있으나, 관찰할 수 있는(OBSERVABLE) 신호에 대한 처리만이 가능하므로, 응용(APPLICATION)에 많은 제한이 있다.

상기와 같은 문제를 해결한 것이, 이중의 추정통계적(STOCHASTIC) 모델인 은닉 마코프 모델(HMM: HIDDEN MARKOV MODEL)이며, 신호의 패턴이 다양한 클래스 사 이에서 패턴의 왜곡과 유사성을 표현할 수 있게 한다.

상기 은닉 마코프 모델(HMM)은, 문제 해결의 정확한 지식을 가지고 있지 못한 경우에도 그 자체의 모델링 능력과 학습 능력으로 적절한 해결책을 제공하며, 잡음(NOISE)과 손실과 왜곡(DISTORTION)을 해소하는 특징이 있다.

상기 축구 동영상에서, 이벤트 전후의 시간 흐름에 따른 중간 레벨의 정보 패턴이 생기므로, 시간별 구간에 따른 변화를 확률적으로 모델링하기 위하여 은닉 마코프 모델을 사용한다.

따라서, 도 1에 도시된 바와같이, 상기와 같이 비디오 등에 의한 것으로 이미 촬영되어 확보된 축구 동영상으로부터 다양하게 발생되는 이벤트 패턴(PATTERN)을 학습하고자 하는 경우(S110), 제어부(미도시)는 각각의 이벤트 장면을 252 심볼(SYMBOL)로 변환한다(S120).

상기 축구 동영상으로부터 발생되는 각 이벤트를 구분하여 심볼로 설정하는 것은, 일 예로, 화면을 원거리(GLOBAL/LONG SHOT)와 근거리(MEDIUM/WOOM-IN SHOT)와 근접(CLOSE-UP SHOT)의 3 개 심볼로 구분하므로 3의 값을 주고, 필드(FIELD)의 위치는, 일 예로, 각 골대(GOAL POST)의 패널티 영역(PENALTY AREA)과 각각의 좌우 코너(CORNER)와 미드필드 영역(MID-FIELD AREA)에 의한 7개 심볼로 구분하므로 7의 값을 준다.

상기와 같이 화면의 확대와 축소정도에 의한 심볼 구분의 실제 태는 도 4에 도시되어 있으며, 필드 위치에 의한 심볼 구분의 실제 상태는 도 5에 도시되어 있다.

또한, 카메라가 촬영하는 대상이 필드(FIELD)인지 선수(PLAYER)인지 관객(AUDIENCE)인지의 3개 심볼로 구분하기 위하여 3의 값을 주고, 재생되는 속도 를 모션벡터(MOTION VECTOR) 또는 점진적 장면 변화(GRADUAL SHOT TRANSITION)의 편집효과(EDITING EFFECT)로 판단하는 것으로, 정상속도의 재생과 늦은 속도로 재생하는 재연장면(REPLAY SHOT)의 2개 심볼로 구분하기 위하여 2의 값을 주며, 그래픽 정보의 사용유무를 2개의 심볼로 구분하기 위하여 2의 값을 각각 준다.

상기 카메라가 촬영하고 있는 대상이 무엇인지를 자동으로 판단하기 위한 것으로, 에지(EDGE)의 강도 도수분포(INTENSITY HISTOGRAM)와, 부분길이(SEGMENT LENGTH)와, 방향의 분포와, 색조(HUE)의 도수분포 등을 사용하고, 그래픽 정보의 사용유무는 에지(EDGE) 정보와 고주파(HIGH FREQUENCY) 분포 정도를 이용한다.

도 6은 카메라 촬영대상을 구분하기 위한 저급 수준 정보와 촬영상태 및 그래픽 정보의 에지 히스토그램 추출상태를 나타내고, 도 7은 2002 피파 월드컵과 2002 부산 아시안 게임의 10 경기를 252 개의 심볼형태로 분석한 값을 나타내며, 도 8은 축구 동영상의 252 심볼값에 의한 장면형태 분포도를 나타낸다.

축구 동영상에서 발생하는 이벤트로는 골(GOAL), 슛팅(SHOOTING), 코너킥(CORNER KICK), 프리킥(FREE KICK), 페널티킥(PENALTY KICK), 반칙(FOUL) 등이있고, 다음 표1은, 10개 축구 동영상 경기로부터 검출한 이벤트의 예를 나타낸다.

(표1)

이벤트	골	슛팅	코너킥	프리킥	페널티킥	반칙
검출값/10게임	20/10	215/10	108/10	215/10	2/10	328/10
평균	2/1	22/1	11/1	22/1	0-2/1	33/1

상기 표1에 의하면, 임의 선정된 10개 축구 경기에서 슈팅 이벤트가 215번 발생하고, 슈팅 이벤트가 발생할 때, 일 예로, 이전의 3개 장면(SHOT), 이벤트가 발생하는 장면 및 이벤트가 일어난 후의 3개 장면을 하나의 관찰 시퀀스로서 결정한다(S130).
도 9에는 축구 동영상의 각 시퀀스에 의한 패턴 분석도가 도시되어 있으며, 도 10에는 축구 동영상의 대표적인 A, B, C 패턴의 일 예가 도시되어 있다.

도 9 및 10에 도시된 것과 같이, 상기 215개의 시퀀스들은, A 패턴, B 패턴, C 패턴 및 다수이면서 소수인 기타 패턴으로 나타나며, 상기 A, B, C 패턴이 전체 이벤트의 80%이상을 차지한다.

상기 도 10에서, 슈팅 이벤트가 발생할 때 나타나는 A 패턴은, 이벤트가 발생하기 전, 코너 영역에서 경기가 중단되었다가 다시 진행되고, 슈팅 후 슈팅한 선수를 클로즈업(CLOSE-UP) 한 장면이 이어지며, 재연(REPLAY) 장면들이 이어지는 패턴이고, 상기 재연 장면의 경우도, 볼이 골대를 향해 날아가는 장면과 골대 앞에서 볼을 차는 장면과 선수의 모습으로 구성된다.

상기 도 10에서 B 패턴은, A 패턴과 유사하지만, 코너킥이 발생한 후 슈팅 이벤트가 발생하는 것으로, 이벤트 후에 슈팅한 선수를 클로즈업하고, 재연장면이 이어진다.

상기 재연장면은 코너킥이 발생하기 전, 골대 앞에서 선수 들 간의 몸싸움을 보여주고, 이어서 코너킥과 이어지는 슈팅 장면을 재연하며, 선수의 모습을 보여주고, 재연장면에 이어서, 경기가 진행되는 모습을 원거리와 근거리에서 볼을 차는 선수 모습을 보여준다.

상기 도 10에서 C 패턴은, 이벤트가 발생하기 전의 패턴이 존재하는데, 골 영역을 원거리에서 촬영하다가, 근거리 장면으로 이어지고, 다시 원거리 장면에서 슈팅이 발생하는 것으로, 상대편 골 영역까지 볼이 패스되고, 공격할 빈틈을 노리다가 슈팅이 이어지는 것을 보여주며, 상기 이벤트가 발생한 후에는, 슈팅한 선수가 클로즈업(CLOSE-UP) 되고, 재연(REPLAY) 장면으로 이어지며, 상기 재연 장면 후에는 경기가 진행되는 모습을 원거리에서 보여준다.

상기와 같은 분석을 통하여, A, B, C 패턴은 슈팅이 발생하기 전에 다양한 공격방법으로 진행되고, 이벤트가 발생 한 후에는 어느 정도 일정한 장면이 발생하고 있음을 보여준다.
도 11은 본 발명에서 축구 동영상의 각 이벤트 발생 패턴 막대도표 분포도로서, 슈팅 이벤트의 각 패턴 분포도를 보여준다.
도 11에서, 축구경기에서 슈팅이 발생하는 패턴은 A, B, C 패턴의 비중이 높으며, 나머지 다수이면서 소수인 패턴은 비중이 아주 작음을 보여준다.

삭제

즉, 상기 슈팅 이벤트가 발생할 때 슈팅 이벤트 전후의 시퀀스에서 A, B, C 패턴의 주된 3 가지 패턴과 그 외의 나머지를 하나의 패턴으로 하여, 총 4가지의 패턴이 존재하지만, 이러한 패턴들에서 예외 현상이 많이 발생하는 것을 볼 수 있다.

그러나, 상기 슈팅 이벤트의 패턴과 유사한 시퀀스로 슈팅 이벤트가 발생하지 않는 경우는 많이 존재하지 않는 다는 것을 알 수 있으며, 시간적인 흐름에서 패턴을 학습하고 모델화하는 방법으로서 패턴의 왜곡과 유사성을 표현할 수 있어 잡음이나 변형을 흡수하면서 빠른 처리가 가능한 특징을 가지는 은닉 마코프 모델을 사용한다(S140).

상기와 같이 축구 동영상의 이벤트 학습이 완료되면, 도 3에 도시된 바와같이, 축구 동영상 이벤트를 검출하는지 판단한다(S210). 상기 판단에서 이벤트를 검출하고자 하는 경우, 제어부는 상기 이벤트 학습처리의 경우와 동일하게 각 장면들을 심볼(SYMBOL)로 변환하고(S220), 상기 이벤트 학습처리의 경우와 동일하게 관찰 시퀀스를 결정한다(S230).

상기와 같이 관찰 시퀀스가 결정되면(S230), 상기 은닉 마코프 모델에 의한 학습처리 결과를 입력하여, 결합확률을 다음 식과 같이 검출한다.

(수학식)

P(O|λ)=P(O₁,O₂,..,O_T|λ)

λ= {A,B,π}

A={aij}, aij = P{qj(t+1)|qi(t)} : 상태천이 확률분포

B={bj(k), bj(k) = P{vk(t)|qj(t)} : 상태J에서 관찰심볼 확률분포

π=(πi}, πi = P{qi(1)} : 초기 상태 확률분포

상기와 같이, 축구 동영상으로부터 이벤트를 학습하고 검출하는 각각의 처리과정을, 첨부된 도 12를 참조하면 좀더 용이하게 알 수 있다.
도 12는 축구 동영상의 이벤트 검출 시시템의 구성 상태도이다.

도 12는 학습과정과 검출과정이 각각의 순서에 의하여 처리되고, 최종적으로 학습과정에서 학습한 결과를 이용하여 검출과정에서 이벤트를 검출하고 있음을 보여준다.
도 13은 본 발명에서 축구 동영상의 84 가지 심볼형태의 분석값 도시한 도면이고, 도 14는 본 발명에서 축구 동영상의 108 가지 심볼형태의 분석값을 나타낸 도면이며, 도 15는 본 발명에서 축구 동영상의 84가지 심볼과 108가지 심볼의 분포상태를 나타낸 도면이다.
상기와 같이 축구 동영상으로부터 각각의 장면을 252가지 심볼(SYMBOL)로 정의하고 있으나, 실제적으로, 카메라의 촬영대상이 관객이거나 벤치인 경우, 장면(SHOT) 형태들을 필드상의 위치정보와 무관하게 하나의 심볼로 정의하고, 선수를 클로즈업하는 장면에서도 필드 상의 위치 정보를 하나의 심볼로 정의하면, 전체의 심볼을 84개 심볼로 정의 할 수 있고, 상기와 같은 심볼의 정의를 첨부된 도 13에서 보여준다.

삭제

또한, 선수를 클로즈업한 장면에서 선수의 위치 정보를 알기 힘들지만, 선수가 골키퍼일 때는 골영역이라는 것을 알아낼 수 있고, 골키퍼가 아니더라도, 앞뒤의 장면에서 현재 클로즈업된 선수의 위치를 알아낼 수 있다.

이러한 방법으로 도 14에 도시된 바와같이, 252 가지 장면의 심볼을 108 가지 장면의 심볼로 정의할 수 있다.

상기와 같이 252 심볼의 경우는, 이용비율이 낮으며, 심볼이 84인 경우와 108 인 경우는 심볼의 이용비율이 높아지면서도 전체적인 분포에는 변함이 없음을 상기 첨부된 도15의 심볼 분포도에서 확인할 수 있다.

즉, 252 심볼(SYMBOL)을 사용하는 경우보다, 84 심볼 또는 108 심볼을 사용하는 경우가, 이벤트 발생 패턴이 단순하여 해당 처리작업이 간편해 지지만, 이벤트 패턴에는 큰 변화가 없음을 알 수 있다.

도 16에는 본 발명을 이용하여 2002년 피파 월드컵 축구와 2002년 부산 아시안게임을 실험한 결과, 슈팅 이벤트 검출 횟수가 도시되어 있다.

종래의 이벤트 검출 방법은 상태 천이 다이어그램을 이용하는 것으로, 스포츠 경기에서 발생하는 예외 현상의 특성을 반영하지 않아, 낮은 검출률을 나타내었으나, 본 발명에서는 은닉 마코프 모델을 사용하여, 국내 방송 실정에 적합한 것으로, 예외 현상을 통계적인 방법으로 학습하므로 시퀀스 인식 문제를 해결하고 검출률을 향상시킨다.
도 17은 본 발명의 축구 동영상 이벤트 검출방식과 외국실정에 적합한 이벤트 검출방식의 대비도이다.

도 17에서는 외국의 실정에 적합한 기존의 이벤트 검출방식과 국내 실정에 적합한 이벤트 검출 방식의 대비 도시도로, 본 발명이 국내 방송 실정에 가장 적합한 방법임을 보여준다.

상기와 같은 본 발명은, 유무선 TV 방송이외에 동영상 통신이 가능한 휴대단말기를 포함하는 다양한 멀디미디어 통신기기에 적용할 수 있다.

특히, 본 발명 기술을, 데이터 전송량에 비례하여 통신요금을 부과하는 멀티미디어 휴대단말기에 적용하는 경우, 전체 축구 경기 내용을 전송하는 대신에 주요 하이라이트 이벤트를 검출하여 전송하므로, 짧은 시간에 축구 경기의 전체 내용을 용이하게 파악하도록 하는 동영상 신호 전송이 가능하다.

따라서, 멀티미디어 휴대단말기와 같은 통신장비를 이용하는 경우, 하이라이트 이벤트 부분만을 검출하여 전송하므로, 전송되는 데이터의 량이 줄어들고, 통신비용을 적게 지불하므로, 무선통신장비의 서비스 품질과 동영상 처리 기술의 신뢰도를 제고하며 시스템의 유용성과 안정성을 향상시킨다.

상술한 바와같이 본 발명은, 은닉 마코프 모델을 사용하여 국내 동영상 방송 실정에 의한 축구 동영상으로부터 이벤트 검출률을 제고하는 산업적 이용효과가 있다.

또한, 축구 동영상으로부터 각각의 이벤트를 높은 비율로 검출하여 제공하므로, 축구 경기의 분석을 용이하게 하는 사용상 편리한 효과가 있다.

또한, 축구경기의 중요 하이라이트 이벤트만을 검출하여 짧은 시간에 감상하므로 시간을 절약하고, 멀티미디어 통신장비에 적용하여 전송할 수 있는 사용상 편리한 효과가 있다.

또한, 전송 데이터 량에 비례하여 통신요금을 부과하는 멀티미디어 무선통신 방식에서, 최소의 비용과 짧은 시간으로 축구 경기 전체 내용을 용이하게 파악할 수 있는 사용상 편리한 효과가 있다.

Claims

축구 동영상의 이벤트 패턴의 학습여부를 판단하는 과정과,

상기 이벤트 패턴을 학습하는 경우 축구 동영상의 각 장면들을 축구 동영상 장면의 확대축소 정도, 필드위치, 카메라의 촬영대상, 재생속도, 그래픽 정보의 사용 여부에 따라 대응되는 장면형태의 심볼로 변환하는 과정과;

상기 변환된 심볼로부터 관찰 시퀀스를 결정하는 과정과;

상기 결정된 관찰 시퀀스를 이용하여 이벤트 발생 패턴을 은닉 마코프 모델 학습처리하는 과정을 포함하는 것을 특징으로 하는 축구 동영상의 이벤트 학습방법.
삭제
제1 항에 있어서, 상기 결정과정은,

상기 관찰 시퀀스로서 현재 이벤트 장면 심볼, 이전 3개 심볼 및 이후 3개의 심볼을 포함하는 것을 특징으로 하는 축구 동영상의 이벤트 학습방법.
제1 항에 있어서, 상기 학습 처리과정은,

은닉 마코프 모델을 바움의 포워드 처리와 백워드 처리로 학습하여 계산량을 줄이는 것을 특징으로 하는 축구 동영상의 이벤트 학습방법.
축구 동영상의 각 이벤트의 검출 여부를 판단하는 과정과;

상기 이벤트를 검출하는 경우 각 장면들을 동영상 장면의 확대축소 정도, 필드위치, 카메라의 촬영대상, 재생속도 및 그래픽 정보의 사용여부를 반영하여 대응되는 장면형태의 심볼로 변환하는 과정과;

상기 변환된 심볼로부터 관찰 시퀀스를 결정하는 과정과,

상기 결정된 관찰 시퀀스를 이용하고, 은닉 마코프 모델 학습처리 결과로부터 결합확률을 검출하는 과정을 포함하는 것을 특징으로 하는 축구 동영상의 이벤트 검출방법.
삭제
제5 항에 있어서, 상기 결정과정은,

관찰시퀀스로 현재 이벤트 장면 심볼, 이전 3개 심볼 및 이후 3개 심볼을 포함하는 것을 특징으로 하는 축구 동영상의 이벤트 검출방법.
제5 항에 있어서, 상기 검출과정은,

은닉 마코프 모델 학습처리결과로부터 결합확률을 검출하는 것을 특징으로 하는 축구 동영상의 이벤트 검출방법.
삭제
삭제