KR100810345B1

KR100810345B1 - 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법

Info

Publication number: KR100810345B1
Application number: KR1020060073300A
Authority: KR
Inventors: 권재훈; 박정록; 주영훈; 오윤제; 김창익; 안일구; 고재승
Original assignee: 삼성전자주식회사; 한국정보통신대학교 산학협력단
Priority date: 2006-08-03
Filing date: 2006-08-03
Publication date: 2008-03-04
Also published as: US8692852B2; US20080030515A1; KR20080012463A

Abstract

본 발명은 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법에 관한 것으로, 운동경기 비디오에 존재하는 카메라 샷의 종류를 판정하는 과정과, 상기 판정 결과, 원거리 샷으로 판정되면 상기 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하고, 상기 결정된 관심 영역을 확대하여 상기 이동형 단말에 디스플레이하는 과정, 및 상기 판정 결과, 비 원거리 샷으로 판정되면, 상기 영상 프레임 전체를 상기 이동형 단말에 디스플레이하는 과정을 포함하며, 보다 나은 이해를 제공해주는 효율적인 영상의 시청이 가능한 이점이 있다.

이동형 단말, 운동경기, 축구경기, 관심영역, 확대 재생

Description

멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법{AN INTELLIGENT VIDEO DISPLAY METHOD FOR MULTIMEDIA MOBILE DEVICES}

도 1은 일반적인 운동경기 비디오에 존재하는 세 가지 종류의 샷 타입을 예시한 일실시예 예시도.

도 2는 본 발명의 실시예에 따른 운동경기 비디오에서의 지능적 디스플레이 방법을 예시한 동작 흐름도.

도 3은 본 발명의 실시예에 따른 그라운드 색 구분 과정의 경기 장면을 예시한 일실시예 예시도.

도 4는 종래 기술과 본 발명의 실시예에 따른 그라운드 블록 맵에 존재하는 작은 홀을 채운 후의 화면을 예시한 일실시예 예시도.

도 5는 본 발명의 실시예에 따른 운동경기 비디오 처리 과정에서 LGS를 이용하여 원거리 샷과 비 원거리 샷으로 구분하는 방법을 예시한 일실시예 예시도.

도 6은 본 발명의 실시예에 따른 운동경기 비디오 처리 과정의 이진화 영상 및 영역 채색 기법을 통해 검출한 물체의 최소 경계 사각형을 나타내는 일실시예 예시도.

도 7은 본 발명의 실시예에 따른 공 찾기 방법을 나타내는 일실시예 예시도.

도 8은 본 발명의 실시예에 따른 운동경기 비디오 처리 과정에서 ROI 창의 위치 결정 과정을 나타내는 일실시예 예시도.

도 9는 본 발명의 실시예에 따른 운동경기 비디오 처리 과정에 의한 결과 화면을 나타내는 일실시예 예시도.

본 발명은 멀티미디어 이동형 단말을 위한 디스플레이 방법에 관한 것으로, 더욱 상세하게는 운동경기 비디오를 이동형 단말에 디스플레이함에 있어서 비 원거리 샷은 프레임 전체를 디스플레이하되 물체가 작게 보이는 원거리 샷은 그 안에 존재하는 관심영역만을 확대하여 디스플레이하도록 한 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법에 관한 것이다.

최근 멀티미디어 신호처리 및 전송기술의 급속한 발전과 DVB-H(Digital Video Broadcasting-Handheld) 및 DMB(Digital Multimedia Broadcasting) 등과 같은 새로운 형태의 이동형 TV 서비스의 등장으로 인해 작은 LCD 패널을 통해 비디오를 시청하는 현상이 증가하고 있다. 그런데 주로 비용상의 이유로, 대부분의 서비스들은 이동형 방송을 위해 기존의 화면 크기를 단지 축소하여 제공하고 있는 실정이다.

이동형 단말기에 크기가 축소된 영상을 디스플레이하기에 적합한 영상의 화소수와 비트율 등의 조건을 측정하기 위해 Knoche 등에 의해 실시된 실험에 의하 면, 『H. Knoche, J. D. McCarthy, and M. A. Sasse, Can small be beautiful?: assessing image resolution requirements for mobile tv, in MULTIMEDIA '05: Proceedings of the 13th annual ACM international conference on Multimedia, pp. 829-838, ACM Press, (New York, NY, USA), 2005.』에 발표된 바와 같이, 소형단말기에서의 디스플레이를 위한 영상의 직접적인 축소는 시각적으로 상세한 부분에 대한 손실을 가져옴을 알 수 있었다. 이러한 손실은 영상의 내용이 필드스포츠인 경우, 특히 축구 비디오일 때, 더욱 심해지고 뮤직비디오, 뉴스, 만화 비디오의 순으로 조금씩 나아짐을 알 수 있었다. 따라서, 특정 내용을 담은 비디오의 경우, 소형 이동 단말기의 시청자들이 관심 영역(ROI : Region of interest)만이 확대된 화면을 볼 수 있게 하는 지능형 디스플레이 기술의 개발이 필요한 상태다. 여기서 ROI란 사용자들이 화면상에서 가장 관심을 갖게 되는 영역 또는 사용자들이 다른 영역에 비해 더욱 주의를 기울이는 영역으로 정의될 수 있다. 관심 영역은 상황인지 컨텐츠 적응, 트랜스 코딩, 지능형 정보 관리 등에 활용된다. 또한, 관심영역의 지정은 비디오 장면(scene)을 의미적으로 분석하는 첫 단계가 될 수 있으므로 영상 분석을 위해서도 매우 중요한 기술이라 할 수 있다.

도 1은 일반적인 운동경기 비디오에 존재하는 세 가지 종류의 샷 타입을 나타내는 도면으로서, (a)는 원거리 샷, (b)는 중거리 샷 그리고 (c)는 근거리 샷을 나타낸다. 여기서 (a)의 원거리 샷은 ROI를 추출하여 확대 재생할 필요가 있다.

이에 따라, 그동안 ROI를 결정하기 위한 여러 방법들이 연구되어 왔으며, 『L. Itti, C. Koch, and E. Niebur, A model of saliency-based visual attention for rapid scene analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no.11, pp. 1254-1259, Nov. 1998.』에서는 영상 내에서 시각적으로 눈에 띄는 부분들을 찾아내기 위해 여러 개의 공간적 시각적 특징들을 하나의 특징점 맵(Saliency map)으로 나타낼 수 있는 시각적 주의 모델을 제안하였으나 동영상으로의 확장은 제대로 고려되지 않았다.

그리고 『W.-H. Cheng, W.-T. Chu, and J.-L. Wu, A visual attention based region-of-interest determination framework for video sequences, IEICE Transactions on Information and Systems, E-88D, pp. 15781586, 2005.』에서는 명암, 색상 및 모션 정보에 기초하여 비디오에서의 ROI 결정을 연구하였다. 이들의 목표는 중요한 물체는 높은 색상 또는 명암의 대비(contrast)를 갖는다는 가정 하에 비디오의 각 영상 프레임에서 가장 눈에 띄는(salient) 특징점을 가리키는 방법을 제안하였다. 하지만, 중요한 물체가 어둡거나 낮은 대비를 가질 수 있으므로 이 가정은 항상 옳은 것은 아니다.

또한, 비디오 스키밍(Skimming)과 요약을 위해 『Y.-F. Ma and H.-J. Zhang, A model of motion attention for video skimming, in Proc. ICIP, pp. 129-132, 2002.』의 비디오 분석 방법에서는 모션, 스피치, 카메라 동작 및 비디오 편집 정보 등을 이용하여 사용자의 관심 모델이 제시되었다.

이상과 같이 비디오 화면 내의 현저한 특징들을 이용하여 ROI들을 추출하는 방법들은 효과적인 해결책을 제시하고는 있으나, 축구 경기 비디오와 같은 필드 스포츠 비디오의 경우에는 일단 ROI의 추출이 필요한 샷과 굳이 필요하지 않은 샷들 이 혼재하며, 전자의 경우 화면 안에 현저한 특징을 갖는 작은 물체들이 동시에 여러 개가 존재할 수 있다. 이 경우 복수개의 ROI가 존재할 수 있으므로 화면 내의 일부만을 뽑아내어 확대해 보여주고자 하는 이동형 단말을 위한 지능적 디스플레이에는 적합하지가 않다.

위와 같은 점을 해결하기 위하여 『김창익 등, "멀티미디어 이동형 단말을 위한 축구경기 비디오의 지능적 디스플레이 방법(An Intelligent Soccer Video Display Scheme for Mobile Devices)"』(2006. 5월 국내 출원)에서는 다음과 같은 디스플레이 방법을 제안하였다.

제안한 디스플레이 방법을 살펴보면, 먼저 디스플레이 방법은 크게 3가지 과정으로 이루어지며, 첫 번째 과정은 그라운드 색상 학습 과정, 두 번째 과정은 샷 분류 과정 그리고 세 번째 과정은 관심영역 결정 과정으로 이루어진다.

그러나 제안한 디스플레이 방법은 첫 번째 과정인 그라운드 색상 학습으로 인해 매 비디오 시작 초기에 처리시간이 길어지며, 혹시 축구경기 방송도중에 화면이 다른 경기장으로 전환되는 경우, 새롭게 변화된 그라운드 색상에 적절히 대응하기가 힘들다. 또한, 세 번째 과정인 관심영역의 자동 설정을 위해 매 프레임 공 찾기가 수행되는데 프레임마다 화면 전체를 서치함으로써 처리 속도가 더 이상 빨라지지 않는 문제점이 있다.

본 발명은 이와 같은 종래의 문제점을 해결하기 위하여 제안한 것으로, 운동 경기 비디오를 이동형 단말에 디스플레이함에 있어서 그라운드 색상의 학습 단계를 없애고, 모든 종류의 축구경기 비디오에 대해 강건하게 그라운드 픽셀을 추출해 낼 수 있는 방법을 개발하고, 공 찾기 알고리즘을 개선하여 관심영역의 추출을 더욱 신속하게 하는 데 그 목적이 있다.

이와 같은 목적을 실현하기 위한 본 발명에 따른 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법에 있어서, 운동경기 비디오에 존재하는 카메라 샷의 종류를 판정하는 과정과, 상기 판정 결과, 원거리 샷으로 판정되면 상기 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하고, 상기 결정된 관심 영역을 확대하여 상기 이동형 단말에 디스플레이하는 과정, 및 상기 판정 결과, 비 원거리 샷으로 판정되면, 상기 영상 프레임 전체를 상기 이동형 단말에 디스플레이하는 과정을 포함한다.

이하, 본 발명의 바람직한 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 한편, 이하의 실시 예에서는 운동경기 비디오 중에서 축구경기 비디오를 디스플레이 하는 과정을 예로서 설명한다.

우선, 비디오는 아래의 수학식 1과 같이 샷의 연속(sequence of shots)으로 정의할 수 있다. 여기서 샷이란 한번의 카메라 녹화(recording) 과정으로 취득되는 영상 열(image sequence)을 뜻한다.

여기서 K는 비디오 안의 샷의 개수이며, 샷은 다시 아래의 수학식 2와 같이 일련의 프레임으로 나타낼 수 있다.

여기서

는

의 i번째 프레임을 말하며, N은 샷의 프레임 개수이다. 또한, 앞으로 비디오 전체에서 i번째 프레임은 fⁱ로 표시하겠다. k번째 샷의 i번째 프레임의 ROI는

로 표시할 수 있다. 샷의 종류에 따라 ROI는 영상 프레임의 전체가 될 수도 있고 일부가 될 수도 있다. 즉, 아래의 수학식 3과 같다.

이는 영상 프레임이 원거리 샷에 속하지 않을 때의 ROI는 원 영상과 동일하게 정하며, 원거리 샷에 속할 때의 ROI는 영상 프레임 내의 한 부분으로 정하는 것을 뜻한다.

도 2는 본 발명의 실시예에 따른 운동경기 비디오에서의 지능적 디스플레이 방법을 예시한 동작 흐름도이다.

도 2를 참조하면 본 발명의 지능적 디스플레이 방법은, 운동경기 비디오에 존재하는 카메라 샷의 종류를 판정하는 과정(S210∼S240)과, 카메라 샷의 종류 판정 결과, 원거리 샷으로 판정되면 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하고, 결정된 관심 영역을 확대하여 이동형 단말에 디스플레이하는 과정(S260~S280), 및 카메라 샷의 종류 판정 결과, 비 원거리 샷으로 판정되면, 영상 프레임 전체를 이동형 단말에 디스플레이하는 과정(S290)을 포함한다.

운동경기 비디오에 존재하는 카메라 샷의 종류를 판정하는 과정은, 운동경기 비디오에서 그라운드 픽셀을 검출하여 그라운드 영역과 비 그라운드 영역을 구분하는 과정(S210)과, 구분된 그라운드 영역을 샷 경계 검출과 샷 구분을 위해 n×n 블록으로 나누어 그라운드 블록 맵을 구축하는 과정(S220)과, 구축된 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계 검출하는 과정(S230), 및 샷의 경계가 검출될 때마다, 그라운드 블록 맵을 이용하여 샷 종류를 판정하는 과정(S240)을 포함한다.

카메라 샷의 종류 판정 결과, 원거리 샷으로 판정되면 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하고, 결정된 관심 영역을 확대하여 이동형 단말에 디스플레이하는 과정은, 상기 영상 프레임에서 공의 위치를 찾는 과정(S260)과, 찾은 공의 위치와 이전 디스플레이 창 사이의 거리를 계산하는 과정과, 찾은 공의 위치를 중심으로 관심 영역의 위치를 1차로 결정한 후에 계산한 거리에 의거하여 1차로 결정한 위치를 변화시켜 관심 영역의 위치를 최종 결정하는 과정(S270), 및 관심 영역을 확대하여 디스플레이하는 과정(S280)을 포함한다.

이와 같이 구성된 본 발명에 따른 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 처리 과정을 과정별로 상세히 설명하면 아래와 같다.

S210 : 그라운드 픽셀 검출 과정

축구 비디오 분석에서 그라운드의 컬러는 중요한 역할을 한다. 이는 특히 샷의 종류를 판별하는 데에 중요하다. 본 발명에서는 그라운드 색을 띄는 픽셀의 양이 샷의 종류를 판별하는 중요한 단서가 된다. 비디오 시퀀스에 따라 그라운드의 컬러는 조금씩 다르기 때문에, 시스템의 첫 단계에서 비디오 시퀀스의 그라운드 픽셀을 검출(S210)하는 일이 필요하다.

본 발명의 실시에에서 fⁱ를 그라운드 영역 G와, 비그라운드 영역 G^C로 나누기 위하여 그라운드에 해당하는 색상을 성공적으로 검출해야 한다. 여기서 영상 내의 모든 픽셀은 G 또는 G^C에 반드시 속하게 된다. 각 픽셀 (x, y)에 대해 이차원 어레이 Ground(x, y)를 구하는 방법은 다음의 수학식 4와 수학식 5와 같이 정의된다.

여기서 밝기값(intensity) I는 r, g, b의 평균값을 의미하며 r, g, b 및 I에 대한 인덱스(x, y)는 표현의 단순화를 위해 생략하였다. 수학식 4와 수학식 5에 정의된 바와 같이, 그라운드 픽셀 검출 방법은 두 가지 경우로 나누어 고려한다.

이러한 두 가지 경우를 좀더 상세히 살펴보면, 먼저 수학식 4는 일반적인 상황이나 밝은 그라운드 조건일 경우, 즉 해당 픽셀의 밝기값이 50 이상인 경우에 그라운드 여부를 결정하는 조건식이다.

그리고 수학식 5는 매우 어두운 그림자가 지어져 있는 그라운드의 경우를 위한 그라운드 판별 조건식이다.

이러한, 수학식 4와 수학식 5의 공통적인 조건인 첫 번째 줄 조건은 앞에서 언급한 대부분 그라운드에 해당하는 픽셀의 RGB 값의 특성인 g>r, g>b 관계식을 이용한 것으로, 앞의 곱해준 상수는 예외적으로 그라운드의 RGB 값의 비례가 R이 G 보다 약간 큰 경우를 허용하도록 하기 위함이다.

수학식 4의 두 번째 조건은 그라운드와 유사한 RGB 값 크기 비례를 갖고 있는 선수의 유니폼을 분류하기 위한 조건이다. 예를 들어, 브라질 국가대표의 노란 색 유니폼의 RGB 값을 구하면 그라운드와 같은 g>r, g>b 크기 비례를 갖고 있으나 g와 r의 값은 거의 비슷한 크기 값을 갖고 있으며 이에 비해 b 값의 크기는 매우 작다. 이와 같은 특성을 이용하여 위와 같은 조건식을 구성하였으며, 노란색 유니 폼을 분류하였다.

수학식 4의 마지막 조건은 그라운드(Ground)와 공(Ball) 혹은 라인(Line)을 그라운드에서 분류해내기 위한 조건식이다. 이는 공과 라인의 색이 대부분 흰 색이라는 특성을 고려한 것으로, 해당 픽셀의 밝기값이 150 이상이면 그라운드로 판단하지 않도록 하였다. 그리고 공이나 라인, 선수에 해당하는 픽셀 값을 측정해본 결과, 해당 픽셀의 밝기값 크기가 50 이상인 것을 확인할 수 있었다. 따라서 밝기값이 50 이하인 경우에는 오직 그라운드 여부만 판단하는 방법만을 사용하였다.

이러한 방법은 『A. Ekin, A. M. Tekalp, and R. Mehrotra, “Automatic soccer video analysis and summarization,” IEEE Transactions on Image Processing, vol. 12, pp. 796-807, 2003.』이나 『K. Wan, X. Yan, X. Yu, and C. Xu, “Real-time goal-mouth detection in mpeg soccer video,” in MULTIMEDIA ’03: Proceedings of the eleventh ACM international conference on Multimedia, pp. 311-314, ACM Press, (New York, NY, USA), 2003.』에서 제안한 방법보다 빠르며 도 3 처럼 운동장의 일부에 그림자가 드리워진 경우에도 제대로 동작한다.

도 3은 본 발명의 실시예에 따른 그라운드 색 구분 과정의 경기 장면을 예시한 일실시예 예시도로서, (a)와 (c)는 일광이 일정하지 않은 경기 장면, (b)와 (d)는 (a)와 (c)에 존재하는 그라운드 부분을 일광 변화에 강건하게 검정색으로 표시하여 구분한 상태를 나타낸다.

그리고 이전에 제안된 방법이 30Frame의 Ground Learning 시간이 필요했던 것에 비해, 본 발명은 바로 현재 Frame 내의 픽셀의 RGB 값만 이용하여 그라운드를 분류해낼 수 있다는 점에서 더욱 빠르게 그라운드를 판단해낼 수 있다.

S220 : 그라운드 블록 맵 구축 과정

앞서 본 발명에서는 각 픽셀이 그라운드에 포함되는지의 여부를 결정할 수 있었다. 빠른 샷 경계 검출과 샷 구분을 위해, 샷 경계 검출과 샷 구분을 픽셀단위가 아닌 블록 단위로 행하고자 한다. 먼저, 전체 프레임을 16x16 블록으로 나누어 그라운드 블록 맵 GB(i, j)를 만들었다. 블록 내의 전체 픽셀을 취급하는 이전의 방법과는 달리, 블록 내의 전체 픽셀을 다루지 않고, 블록 영역 내의 가운데 픽셀 값만을 Ground pixel detection 알고리즘을 이용하여 그라운드에 속하는가의 여부를 결정한 후, 수학식 6과 같이 그 결과로부터 해당 블록이 그라운드 블록인지 오브젝트 블록인지 판단한다.

여기서 (x_c, y_c)는 해당 블록의 중심 픽셀의 x, y 좌표를 나타낸다. 이와 같이 블록 내의 가운데 픽셀만 사용함으로써 블록 내의 모든 픽셀을 이용했던 기존의 방법에 비해 블록 맵 형성과 이후의 전체 샷 분류과정에서 소요되는 시간을 줄일 수 있다. 본 발명의 실시예에서 프레임 f_i의 그라운드 블록 맵은 GB(i, j)로 표시한다.

도 4는 종래 기술과 본 발명의 실시예에 따른 그라운드 블록 맵에 존재하는 작은 홀을 채운 후의 화면을 예시한 일실시예 예시도로서, (a)와 (b)는 『Keewon Seo and Changick Kim, "A Context-Aware Video Display Scheme for Mobile Devices," in Proc. SPIE Vol.6074, p.278-287, Multimedia on Mobile Devices II, San Jose, Jan. 2006』에서 제안한 방법의 그라운드 블록 맵과 홀을 채운 후의 모습을 나타내며, (c)와 (d)는 본 발명의 실시예에 따른 그라운드 블록 맵과 홀을 채운 후의 모습을 나타낸다.

도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 (c)는 (a)에 비해 작은 구멍이 생길 확률이 높다. 그러나 수학식 7을 이용하여 수직 방향으로 1개 또는 2개의 구멍을 막아주는 방법을 이용하면, (d)에 도시된 바와 같이, 최종 그라운드 블록 맵은 만족할만한 결과를 나타낸다. 이러한 수학식 7은 다음과 같이 정의된다.

S230 : 샷 경계 검출 과정

샷 경계 검출은 비디오 분석의 기본이 되는 과정이다. 샷 경계에서만 샷을 분류함으로써 계산량을 줄이고, 일시적인 화면 상태 변화로 인한 판정 오류를 줄임으로써 샷 종류 판정의 정확성을 높일 수 있다. 본 발명에서는 샷 경계를 검출하기 위해 그라운드 블록 맵의 시간적 불연속성(Temporal Block Difference, TBD)을 체 크하여 효율적이고 빠르게 샷 경계를 검출한다.

여기서

는 XOR연산을 뜻한다. 본 발명에서는

이고

일 때 i를 샷의 경계로 지정하였다(

사용). 빠르게 변화하는 장면의 경우

인 상황이 많이 발생하기 때문에

를 함께 두어 경계 검출 오류를 줄였다. 또한, 현재 그라운드 블록 맵을 세 프레임 이전의 것과 비교하였는데, 이는 페이드 인/아웃이나 비주얼 효과로 인해 샷이 점진적으로 변하는 경우에 대응하기 위해서이다.

S111 : 샷 종류 판정 과정

샷 경계가 검출되면 그 지점에서 샷 종류 판정이 수행되어야 한다. 원거리 샷과 그렇지 않은 샷을 구분해내기 위해 본 발명에서는 그라운드 블록 맵을 이용하였다.

홀을 채우고 나면 그라운드 블록 맵의 각 컬럼에 대해 가장 긴 녹색 세그먼트 LGS(Longest Green Segment)를 찾아낸다. LGS는 도 5의 각 컬럼에 표시된 LGS의 길이 값을 비교하여 알 수 있다.

도 5는 본 발명의 실시예에 따른 운동경기 비디오 처리 과정에서 LGS(Longest Green Segment)를 이용하여 원거리 샷과 비 원거리 샷으로 구분하는 방법을 예시한 예시도로서, (a)는 원거리 샷, (b)는 비 원거리 샷을 나타낸다.

본 발명에서는 각 영상 프레임 내에서 황금 영역(영상을 가로방향으로 3:5:3으로 나눌 때 5에 해당하는 중앙 영역) 내 LGS의 길이를 측정하여 샷의 종류를 알아낼 수 있다. 그리고 본 발명의 실시예에서는 가로 방향에 대해서만 황금 영역을 구분하기로 한다.

도 5에 도시된 바와 같이, θ_L 보다 작은 LGS가 하나라도 존재하면 그 샷을 원거리 샷이 아닌 것으로 판정한다. 즉, (a)는 원거리 샷으로 판정하며, (b)는 비 원거리 샷으로 판정한다.

여기서 θ_L=BlocksInColumn/3, GSLeft=BlocksInRow×3/11, GSRight=BlocksInRow×8/11로 값을 정하였다.

S250 : 픽셀 단위 물체 분리 과정

샷 종류 판정이 끝나면 각각의 프레임은 수학식 9에 의해 원거리 샷과 그렇지 않은 샷으로 구분된다. 원거리 샷이 아닌 경우, 전체 이미지 프레임보다 작은 ROI를 굳이 설정할 필요가 없다. 사용자에게 프레임 전체를 보여줘도(S290) 사용자에게 충분하기 때문이다. 하지만, 원거리 샷에 대해서는 ROI를 지정하여 확대 재생할 필요가 있다. 본 발명에서는 시청자들이 공의 주변 상황에 대해 보다 관심을 갖 는다는 것을 가정하였으며, 이에 따라 ROI를 지정하는 데에 있어 공의 현재 위치 및 과거 위치 정보를 가장 중요하게 취급할 것이다. 공을 찾기 위해서 앞서 기술한 수학식 4와 수학식 5의 Ground(x, y)를 이용하여 픽셀 단위 이진화 영상을 구축하였다.

이를 통해 우리는 도 6의 (a)와 같은 영상을 얻을 수 있다. 이 영상에 대해 8방향의 영역 채색 기법(Connected Component Labeling)을 수행하여 그라운드 내 물체들의 목록을 얻을 수 있다. 도 6의 (b)에 얻어낸 물체들의 최소 영역 사각형(MBR : Minimum Bounding Rectangle)을 노란색으로 표시하였다. 각 물체들의 가로/세로 비, 평균 밝기, 구성 픽셀 수 등의 속성에 따라 각각의 물체를 공, 선수, 공과 비슷한 작은 물체, 기타 물체로 나누었다. 예를 들어, 공의 경우에 구성 픽셀 수가 4에서 20 픽셀 이하인 MBR 중에서 물체의 가로/세로 비가 1.0에서 1.5 사이이며, 전체 frame 내에서 intensity peak가 존재하는 곳을 공으로 판단한다.

S260 : 공 찾기 과정

물체들의 목록을 얻어냈지만, 한 프레임의 정보만을 이용하여 어느 물체가 진짜 공인지 판단하는 것은 쉽지 않은 일이다. 왜냐하면, 운동장 내에는 공으로 오인할 수 있는 선수들의 양말, 신발이나 라인들이 있기 때문이다. 게다가 공은 경기 중에 선수들에 의해 가려지거나 빠른 속도로 인해 모양이 왜곡되기도 한다. 몇몇 프레임에서는 공이 프레임 내에 존재하지 않기도 한다. 그동안 공을 추적하는 여러 가지 연구들이 있었다. 하지만, 『Y. Seo, S. Choi, H. Kim and K. Hong, Where Are the Ball and Players? Soccer Game Analysis with Color Based Tracking and Image Mosaick, in ICIAP '97: Proceedings of the 9th International Conference on Image Analysis and Processing-Volume II, pp. 196203, Springer-Verlag, London, UK,1997.』에서 제시한 방법은 공의 처음 위치를 수동으로 지정해야 하는 단점이 있었다. 『Y. Ohno, J. Miura and Y. Shirai, Tracking Players and a Ball in Soccer Games, in Int. Conf. On Multisensor Fusion and Integration for Intelligent Sys., Taipei, Taiwan, 1999.』에서는 고정된 카메라로 촬영한 축구 영상을 이용하였기 때문에 본 발명의 경우에는 맞지 않다. 『X. Yu, C. Xu, H. W. Leong, Q. Tian, Q. Tang, K. Wan, Trajectory-Based Ball Detection and Tracking with Applications to Semantic Analysis of Broadcast Soccer Video, in MULTIMEDIA '03: Proceedings of the eleventh ACM international conference on Multimedia, pp. 11-20, ACM Press, (New York, NY, USA), 2003.』은 공의 궤적을 얻기 위해 이후 프레임의 정보를 필요로 하므로 실시간으로 동작할 수 없다는 단점이 있다.

본 발명에서는 간단하고 이전 값에만 의존(causal)하여 방송 영상을 실시간으로 처리할 수 있는 방법을 제안한다.

먼저, 가장 오랫동안 그라운드 내에서 추적된 공 후보가 공일 확률이 가장 많다라는 가정을 하였다. 이는 일시적인 노이즈의 영향을 줄일 수 있다. 우선 공 후보 목록을 유지하면서 새로 찾아낸 물체 중 공으로 분류된 물체를 공 후보 목록에 추가한다. 공 후보는 다음 프레임에서 위치적으로도 가깝고 속성이 가까운 물체로 계승된다. 계승된 물체가 공인 경우 연차를 증가시키지만, 반대의 경우 그 물체의 연차를 깎는다. 그 결과 가장 연차가 높은 물체가 공일 확률이 가장 높다. 연차가 0보다 작은 물체는 더 이상 추적하지 않는다. 이 방법을 통해 높은 확률로 실제 공을 찾아낼 수 있다. 실제 축구 경기 비디오 내에 공이 존재하지 않거나, 공의 모양이 제대로 분리되지 않는 등의 이유로 공을 찾지 못하는 경우, 가장 최근에 찾은 공의 위치를 현재 공의 위치로 지정한다. 또한, 세 프레임 연속으로 공을 찾지 못하는 경우 화면의 중앙을 임의로 공의 위치로 지정한다. 물론 공의 위치를 임의로 지정하기 위한 기준값인 세 프레임은 설정값에 불과하며 얼마든지 변화될 수 있다.

도 7은 본 발명의 실시예에 따른 공 찾기 방법을 나타내는 일실시예 예시도이다.

도 7을 참조하면, 본 발명에서는 축구 경기 내에서 공의 위치가 한 개의 프레임이 변하는 동안 크게 이동하지 않는다는 점을 확인할 수 있었으며, 이 점을 이용하여 공의 후보를 찾을 때, 현재 프레임의 전 픽셀 영역을 찾는 것이 아니라, 이전 프레임에서의 공의 위치를 기준으로 한 관심 영역만 검색하도록 한다(첫 번째 공 찾기). 그리고 관심 영역 내에서 공을 찾지 못하는 경우에만 프레임 전체를 검색하도록 한다(두 번째 공 찾기). 이러한 방법을 통해 매번 프레임 전체를 검색하는 것에 비해 속도향상을 가져올 수 있다.

S270 : 관심 영역 결정 과정(ROI 창(window)의 지정)

ROI 창을 배치하는 가장 간단한 방법은 ROI 창의 중심을 공의 위치에 놓는 것이다. 하지만, 여러 프레임에 걸쳐 ROI의 중심이 공을 따라가는 경우 화면이 흔들리거나 사용자가 보기에 너무 빠르게 움직일 가능성이 있다. 다시 말해 작은 디스플레이를 사용하는 사용자들이 보기에 편하게 하려면 ROI 창이 부드럽게 움직여야 한다. 또한, 공이 빠르게 움직이는 경우를 감안하여 디스플레이 창을 움직이는 방법에는 가속도의 개념이 포함되어야 한다.

어떤 프레임이 샷 종류 결정 단계에서 원거리 샷으로 판정된 경우 ROI 창의 중점은 다음과 같이 그대로 공의 위치로 초기화된다.

여기서는 window_i는 프레임 fⁱ에서 디스플레이 창의 중점을 뜻하며, lob_i는 fⁱ에서의 공의 위치(Location of Ball)를 뜻한다. 또한, dispi는 fⁱ에서 ROI 창이 실제로 움직여야 할 거리(displacement)를 나타낸다. 계속해서 원거리 샷이 이어지는 경우에는 우선 공의 위치와 이전 디스플레이 창 사이의 거리를 계산하여 이에 따라 다르게 접근한다.

간단한 설명을 위해 가로 방향과 diff≥0인 상황만 고려해도 일반성을 잃지 않는다. 본 발명에서는 다음의 세 가지로 경우를 나누었다(frame.width는 프레임의 너비를 뜻함).

경우 (1) 0≤diff≤disp_i

경우 (1)은 공의 위치와 ROI 창의 중심 사이의 거리가 이전 이동 거리보다 짧은 경우이다. 이 경우, ROI 창의 위치는 변경되지 않는다. 그 대신 disp_i+1의 값에 α를 곱하여 감소시킨다. 이는 수학식 14와 수학식 15와 같다.

경우 (2) disp_i〈diff≤frame.width/2

경우 (2)는 ROI 창을 disp_i만큼 이동한 후, disp_i+1를 수학식 17에 따라 변경한다.

이므로 ROI 창은 쉽게 기존 방향의 반대 방향으로 이동하지 않는다.

경우 (3) frame.width/2〈diff

경우 (3)은 경우 (2)와 동일하나 공이 빠르게 움직이는 경우에 대응하기 위해 더 큰 가속 파라미터를 갖는 경우이다(0＜a₁＜a₂＜1). 이는 수학식 18과 수학식 19와 같다.

이렇게 디스플레이 창의 위치를 결정하고 나면 마지막으로 도 8과 같은 경우를 처리하여 사용자에게 보여줘야 한다. 디스플레이 창이 (a)로 결정된 경우라도 프레임을 벗어나면 위치를 변경하여 (b)와 같이 프레임 안의 내용을 사용자에게는 보여줘야 한다(S280). 단 위의 과정에서 사용된 window_i는 바꾸지 않는다.

도 9는 본 발명의 실시예에 따른 운동경기 비디오 처리 과정에 의한 결과 화면을 나타내는 일실시예 예시도로서, (a)는 비 원거리 샷, (b)는 원거리 샷을 나타낸다.

도 9에 도시된 바와 같이, (a)의 비 원거리 샷은 영상 프레임 전체를 실시간으로 디스플레이하며, (b)의 원거리 샷은 왼쪽의 원 영상 위에 표시된 노란색의 ROI 창이 오른쪽의 디스플레이 창의 크기에 맞게 확대된 화면을 디스플레이한다.

이와 같은, 화면을 통해 사용자는 축구경기 비디오에서 물체가 작게 보이는 영상들을 정확히 집어내어 그 안에 존재하는 관심영역을 효율적으로 시청할 수 있다.

지금까지 본 발명의 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 당연히 포함되는 것으로 해석되어야 할 것이다.

전술한 바와 같이 본 발명은 주어진 축구 비디오에서 그라운드 색상 정보를 이용하여 운동장 영역을 검출하는 방법과, 관심영역의 추출이 필요한 샷의 자동 검출 방법, 관심영역이 필요한 샷에서 관심영역의 자동지정 방법 등의 기술을 이용함으로써, 축구경기 비디오에서 물체가 작게 보이는 영상들을 정확히 집어내어 그 안에 존재하는 관심영역만을 디스플레이해 줌으로써, 시청자들에게 보다 나은 이해를 제공해주는 효율적인 영상의 시청이 가능해지는 효과가 있다.

Claims

삭제
삭제
멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법에 있어서,

운동경기 비디오에 존재하는 카메라 샷의 종류를 판정하는 과정과,

상기 판정 결과, 원거리 샷으로 판정되면 상기 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하고, 상기 결정된 관심 영역을 확대하여 상기 이동형 단말에 디스플레이하는 과정, 및

상기 판정 결과, 비 원거리 샷으로 판정되면, 상기 영상 프레임 전체를 상기 이동형 단말에 디스플레이하는 과정을 포함하며,

상기 운동경기 비디오에 존재하는 카메라 샷의 종류 판정은,

상기 운동경기 비디오에서 그라운드 픽셀을 검출하여 그라운드 영역과 비 그라운드 영역을 구분하는 과정과,

상기 구분된 그라운드 영역을 샷 경계 검출과 샷 구분을 위해 n×n 블록으로 나누어 그라운드 블록 맵을 구축하는 과정과,

상기 구축된 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계 검출하는 과정, 및

상기 샷의 경계가 검출될 때마다, 상기 그라운드 블록 맵을 이용하여 샷 종류를 판정하는 과정을 포함하며,

상기 운동경기 비디오에서 그라운드 픽셀의 검출은,

상기 운동경기 비디오에서 그라운드의 조건에 따라 하기의 <수학식 20>과 <수학식 21>을 통해 검출하는 것임을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.

여기서, 밝기값(intensity) I는 r, g, b의 평균값.
제 3 항에 있어서,

상기 그라운드 블록 맵 구축은,

상기 블록 영역 내의 가운데 픽셀 값만을 Ground pixel detection 알고리즘을 이용하여 그라운드에 속하는가의 여부를 결정한 후, 하기의 <수학식 22>의 결과로부터 해당 블록이 그라운드 블록인지 오브젝트 블록인지 판단하는 것임을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.

여기서, (x_c, y_c)는 해당 블록의 중심 픽셀의 x, y 좌표.
제 3 항에 있어서,

상기 샷 종류의 판정은,

상기 그라운드 블록 맵의 각 컬럼에 대해 가장 긴 녹색 세그먼트 LGS(Longest Green Segment)를 찾아내어, 각 영상 프레임 내에서 황금 영역 내 LGS(Longest Green Segment)의 길이를 측정하여 샷의 종류를 판정하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
제 5 항에 있어서,

상기 황금 영역은,

영상을 가로방향으로 3:5:3으로 나눌 때 5에 해당하는 중앙 영역을 나타내는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
제 3 항에 있어서,

상기 샷 종류의 판정은,

상기 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계를 검출하여 상기 검출된 샷 경계에서만 상기 원거리 샷 또는 비 원거리 샷을 판정하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
제 3 항에 있어서,

상기 관심 영역 결정은,

상기 영상 프레임 내에서 공의 위치와 이전 프레임의 관심 영역 위치 정보를 이용하여 상기 관심 영역을 결정하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
제 3 항 또는 제 8 항에 있어서,

상기 관심 영역 결정은,

상기 영상 프레임에서 공의 위치를 찾는 과정과,

상기 찾은 공의 위치와 이전 디스플레이 창 사이의 거리를 계산하는 과정과,

상기 찾은 공의 위치를 중심으로 상기 관심 영역의 위치를 1차로 결정한 후에 상기 계산한 거리에 의거하여 상기 1차로 결정한 위치를 변화시켜 상기 관심 영역의 위치를 최종 결정하는 과정을 포함하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
제 9 항에 있어서,

상기 공의 위치는,

상기 영상 프레임에 대해 픽셀 단위 영상 분할을 수행하여 상기 공의 위치를 찾는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
제 9 항에 있어서,

상기 공의 위치는,

상기 영상 프레임에 대해 픽셀 단위의 이진화 영상을 구축하는 과정과,

상기 이진화 영상에 대해 8방향의 영역 채색 기법을 수행하여 각 물체들의 속성에 따라 각 물체들의 목록을 얻는 과정과,

상기 얻은 물체들의 목록 중에서 공 후보 목록을 유지하면서 새로 찾아낸 물체 중 공으로 분류된 물체를 상기 공 후보 목록에 추가하는 과정, 및

상기 공 후보 목록 중 여러 프레임에서 공 후보로 계승된 물체의 위치를 공의 위치로 결정하는 과정을 포함하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
제 9 항에 있어서,

상기 공의 위치는,

기 설정된 수의 프레임 동안 연속으로 공을 찾지 못하면 화면의 중앙을 공의 위치로 지정하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
제 11 항에 있어서,

상기 공의 위치는,

상기 공의 후보를 찾을 때, 현재 프레임의 전 픽셀 영역을 찾는 것이 아니라, 이전 프레임에서의 공의 위치를 기준으로 한 관심 영역만 검색하도록 하고, 상기 관심 영역 내에서 공을 찾지 못하는 경우에만 프레임 전체를 검색하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
제 3 항에 있어서,

상기 관심 영역이 상기 영상 프레임을 벗어나면, 위치를 변경하여 상기 영상 프레임 안의 내용을 확대하여 디스플레이하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.