KR100810345B1 - 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법 - Google Patents
멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법 Download PDFInfo
- Publication number
- KR100810345B1 KR100810345B1 KR1020060073300A KR20060073300A KR100810345B1 KR 100810345 B1 KR100810345 B1 KR 100810345B1 KR 1020060073300 A KR1020060073300 A KR 1020060073300A KR 20060073300 A KR20060073300 A KR 20060073300A KR 100810345 B1 KR100810345 B1 KR 100810345B1
- Authority
- KR
- South Korea
- Prior art keywords
- ball
- shot
- ground
- mobile terminal
- video
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000000386 athletic effect Effects 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 14
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000004040 coloring Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
- G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법에 관한 것으로, 운동경기 비디오에 존재하는 카메라 샷의 종류를 판정하는 과정과, 상기 판정 결과, 원거리 샷으로 판정되면 상기 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하고, 상기 결정된 관심 영역을 확대하여 상기 이동형 단말에 디스플레이하는 과정, 및 상기 판정 결과, 비 원거리 샷으로 판정되면, 상기 영상 프레임 전체를 상기 이동형 단말에 디스플레이하는 과정을 포함하며, 보다 나은 이해를 제공해주는 효율적인 영상의 시청이 가능한 이점이 있다.
이동형 단말, 운동경기, 축구경기, 관심영역, 확대 재생
Description
도 1은 일반적인 운동경기 비디오에 존재하는 세 가지 종류의 샷 타입을 예시한 일실시예 예시도.
도 2는 본 발명의 실시예에 따른 운동경기 비디오에서의 지능적 디스플레이 방법을 예시한 동작 흐름도.
도 3은 본 발명의 실시예에 따른 그라운드 색 구분 과정의 경기 장면을 예시한 일실시예 예시도.
도 4는 종래 기술과 본 발명의 실시예에 따른 그라운드 블록 맵에 존재하는 작은 홀을 채운 후의 화면을 예시한 일실시예 예시도.
도 5는 본 발명의 실시예에 따른 운동경기 비디오 처리 과정에서 LGS를 이용하여 원거리 샷과 비 원거리 샷으로 구분하는 방법을 예시한 일실시예 예시도.
도 6은 본 발명의 실시예에 따른 운동경기 비디오 처리 과정의 이진화 영상 및 영역 채색 기법을 통해 검출한 물체의 최소 경계 사각형을 나타내는 일실시예 예시도.
도 7은 본 발명의 실시예에 따른 공 찾기 방법을 나타내는 일실시예 예시도.
도 8은 본 발명의 실시예에 따른 운동경기 비디오 처리 과정에서 ROI 창의 위치 결정 과정을 나타내는 일실시예 예시도.
도 9는 본 발명의 실시예에 따른 운동경기 비디오 처리 과정에 의한 결과 화면을 나타내는 일실시예 예시도.
본 발명은 멀티미디어 이동형 단말을 위한 디스플레이 방법에 관한 것으로, 더욱 상세하게는 운동경기 비디오를 이동형 단말에 디스플레이함에 있어서 비 원거리 샷은 프레임 전체를 디스플레이하되 물체가 작게 보이는 원거리 샷은 그 안에 존재하는 관심영역만을 확대하여 디스플레이하도록 한 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법에 관한 것이다.
최근 멀티미디어 신호처리 및 전송기술의 급속한 발전과 DVB-H(Digital Video Broadcasting-Handheld) 및 DMB(Digital Multimedia Broadcasting) 등과 같은 새로운 형태의 이동형 TV 서비스의 등장으로 인해 작은 LCD 패널을 통해 비디오를 시청하는 현상이 증가하고 있다. 그런데 주로 비용상의 이유로, 대부분의 서비스들은 이동형 방송을 위해 기존의 화면 크기를 단지 축소하여 제공하고 있는 실정이다.
이동형 단말기에 크기가 축소된 영상을 디스플레이하기에 적합한 영상의 화소수와 비트율 등의 조건을 측정하기 위해 Knoche 등에 의해 실시된 실험에 의하 면, 『H. Knoche, J. D. McCarthy, and M. A. Sasse, Can small be beautiful?: assessing image resolution requirements for mobile tv, in MULTIMEDIA '05: Proceedings of the 13th annual ACM international conference on Multimedia, pp. 829-838, ACM Press, (New York, NY, USA), 2005.』에 발표된 바와 같이, 소형단말기에서의 디스플레이를 위한 영상의 직접적인 축소는 시각적으로 상세한 부분에 대한 손실을 가져옴을 알 수 있었다. 이러한 손실은 영상의 내용이 필드스포츠인 경우, 특히 축구 비디오일 때, 더욱 심해지고 뮤직비디오, 뉴스, 만화 비디오의 순으로 조금씩 나아짐을 알 수 있었다. 따라서, 특정 내용을 담은 비디오의 경우, 소형 이동 단말기의 시청자들이 관심 영역(ROI : Region of interest)만이 확대된 화면을 볼 수 있게 하는 지능형 디스플레이 기술의 개발이 필요한 상태다. 여기서 ROI란 사용자들이 화면상에서 가장 관심을 갖게 되는 영역 또는 사용자들이 다른 영역에 비해 더욱 주의를 기울이는 영역으로 정의될 수 있다. 관심 영역은 상황인지 컨텐츠 적응, 트랜스 코딩, 지능형 정보 관리 등에 활용된다. 또한, 관심영역의 지정은 비디오 장면(scene)을 의미적으로 분석하는 첫 단계가 될 수 있으므로 영상 분석을 위해서도 매우 중요한 기술이라 할 수 있다.
도 1은 일반적인 운동경기 비디오에 존재하는 세 가지 종류의 샷 타입을 나타내는 도면으로서, (a)는 원거리 샷, (b)는 중거리 샷 그리고 (c)는 근거리 샷을 나타낸다. 여기서 (a)의 원거리 샷은 ROI를 추출하여 확대 재생할 필요가 있다.
이에 따라, 그동안 ROI를 결정하기 위한 여러 방법들이 연구되어 왔으며, 『L. Itti, C. Koch, and E. Niebur, A model of saliency-based visual attention for rapid scene analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no.11, pp. 1254-1259, Nov. 1998.』에서는 영상 내에서 시각적으로 눈에 띄는 부분들을 찾아내기 위해 여러 개의 공간적 시각적 특징들을 하나의 특징점 맵(Saliency map)으로 나타낼 수 있는 시각적 주의 모델을 제안하였으나 동영상으로의 확장은 제대로 고려되지 않았다.
그리고 『W.-H. Cheng, W.-T. Chu, and J.-L. Wu, A visual attention based region-of-interest determination framework for video sequences, IEICE Transactions on Information and Systems, E-88D, pp. 15781586, 2005.』에서는 명암, 색상 및 모션 정보에 기초하여 비디오에서의 ROI 결정을 연구하였다. 이들의 목표는 중요한 물체는 높은 색상 또는 명암의 대비(contrast)를 갖는다는 가정 하에 비디오의 각 영상 프레임에서 가장 눈에 띄는(salient) 특징점을 가리키는 방법을 제안하였다. 하지만, 중요한 물체가 어둡거나 낮은 대비를 가질 수 있으므로 이 가정은 항상 옳은 것은 아니다.
또한, 비디오 스키밍(Skimming)과 요약을 위해 『Y.-F. Ma and H.-J. Zhang, A model of motion attention for video skimming, in Proc. ICIP, pp. 129-132, 2002.』의 비디오 분석 방법에서는 모션, 스피치, 카메라 동작 및 비디오 편집 정보 등을 이용하여 사용자의 관심 모델이 제시되었다.
이상과 같이 비디오 화면 내의 현저한 특징들을 이용하여 ROI들을 추출하는 방법들은 효과적인 해결책을 제시하고는 있으나, 축구 경기 비디오와 같은 필드 스포츠 비디오의 경우에는 일단 ROI의 추출이 필요한 샷과 굳이 필요하지 않은 샷들 이 혼재하며, 전자의 경우 화면 안에 현저한 특징을 갖는 작은 물체들이 동시에 여러 개가 존재할 수 있다. 이 경우 복수개의 ROI가 존재할 수 있으므로 화면 내의 일부만을 뽑아내어 확대해 보여주고자 하는 이동형 단말을 위한 지능적 디스플레이에는 적합하지가 않다.
위와 같은 점을 해결하기 위하여 『김창익 등, "멀티미디어 이동형 단말을 위한 축구경기 비디오의 지능적 디스플레이 방법(An Intelligent Soccer Video Display Scheme for Mobile Devices)"』(2006. 5월 국내 출원)에서는 다음과 같은 디스플레이 방법을 제안하였다.
제안한 디스플레이 방법을 살펴보면, 먼저 디스플레이 방법은 크게 3가지 과정으로 이루어지며, 첫 번째 과정은 그라운드 색상 학습 과정, 두 번째 과정은 샷 분류 과정 그리고 세 번째 과정은 관심영역 결정 과정으로 이루어진다.
그러나 제안한 디스플레이 방법은 첫 번째 과정인 그라운드 색상 학습으로 인해 매 비디오 시작 초기에 처리시간이 길어지며, 혹시 축구경기 방송도중에 화면이 다른 경기장으로 전환되는 경우, 새롭게 변화된 그라운드 색상에 적절히 대응하기가 힘들다. 또한, 세 번째 과정인 관심영역의 자동 설정을 위해 매 프레임 공 찾기가 수행되는데 프레임마다 화면 전체를 서치함으로써 처리 속도가 더 이상 빨라지지 않는 문제점이 있다.
본 발명은 이와 같은 종래의 문제점을 해결하기 위하여 제안한 것으로, 운동 경기 비디오를 이동형 단말에 디스플레이함에 있어서 그라운드 색상의 학습 단계를 없애고, 모든 종류의 축구경기 비디오에 대해 강건하게 그라운드 픽셀을 추출해 낼 수 있는 방법을 개발하고, 공 찾기 알고리즘을 개선하여 관심영역의 추출을 더욱 신속하게 하는 데 그 목적이 있다.
이와 같은 목적을 실현하기 위한 본 발명에 따른 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법에 있어서, 운동경기 비디오에 존재하는 카메라 샷의 종류를 판정하는 과정과, 상기 판정 결과, 원거리 샷으로 판정되면 상기 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하고, 상기 결정된 관심 영역을 확대하여 상기 이동형 단말에 디스플레이하는 과정, 및 상기 판정 결과, 비 원거리 샷으로 판정되면, 상기 영상 프레임 전체를 상기 이동형 단말에 디스플레이하는 과정을 포함한다.
이하, 본 발명의 바람직한 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 한편, 이하의 실시 예에서는 운동경기 비디오 중에서 축구경기 비디오를 디스플레이 하는 과정을 예로서 설명한다.
우선, 비디오는 아래의 수학식 1과 같이 샷의 연속(sequence of shots)으로 정의할 수 있다. 여기서 샷이란 한번의 카메라 녹화(recording) 과정으로 취득되는 영상 열(image sequence)을 뜻한다.
여기서 K는 비디오 안의 샷의 개수이며, 샷은 다시 아래의 수학식 2와 같이 일련의 프레임으로 나타낼 수 있다.
여기서 는 의 i번째 프레임을 말하며, N은 샷의 프레임 개수이다. 또한, 앞으로 비디오 전체에서 i번째 프레임은 fi로 표시하겠다. k번째 샷의 i번째 프레임의 ROI는 로 표시할 수 있다. 샷의 종류에 따라 ROI는 영상 프레임의 전체가 될 수도 있고 일부가 될 수도 있다. 즉, 아래의 수학식 3과 같다.
이는 영상 프레임이 원거리 샷에 속하지 않을 때의 ROI는 원 영상과 동일하게 정하며, 원거리 샷에 속할 때의 ROI는 영상 프레임 내의 한 부분으로 정하는 것을 뜻한다.
도 2는 본 발명의 실시예에 따른 운동경기 비디오에서의 지능적 디스플레이 방법을 예시한 동작 흐름도이다.
도 2를 참조하면 본 발명의 지능적 디스플레이 방법은, 운동경기 비디오에 존재하는 카메라 샷의 종류를 판정하는 과정(S210∼S240)과, 카메라 샷의 종류 판정 결과, 원거리 샷으로 판정되면 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하고, 결정된 관심 영역을 확대하여 이동형 단말에 디스플레이하는 과정(S260~S280), 및 카메라 샷의 종류 판정 결과, 비 원거리 샷으로 판정되면, 영상 프레임 전체를 이동형 단말에 디스플레이하는 과정(S290)을 포함한다.
운동경기 비디오에 존재하는 카메라 샷의 종류를 판정하는 과정은, 운동경기 비디오에서 그라운드 픽셀을 검출하여 그라운드 영역과 비 그라운드 영역을 구분하는 과정(S210)과, 구분된 그라운드 영역을 샷 경계 검출과 샷 구분을 위해 n×n 블록으로 나누어 그라운드 블록 맵을 구축하는 과정(S220)과, 구축된 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계 검출하는 과정(S230), 및 샷의 경계가 검출될 때마다, 그라운드 블록 맵을 이용하여 샷 종류를 판정하는 과정(S240)을 포함한다.
카메라 샷의 종류 판정 결과, 원거리 샷으로 판정되면 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하고, 결정된 관심 영역을 확대하여 이동형 단말에 디스플레이하는 과정은, 상기 영상 프레임에서 공의 위치를 찾는 과정(S260)과, 찾은 공의 위치와 이전 디스플레이 창 사이의 거리를 계산하는 과정과, 찾은 공의 위치를 중심으로 관심 영역의 위치를 1차로 결정한 후에 계산한 거리에 의거하여 1차로 결정한 위치를 변화시켜 관심 영역의 위치를 최종 결정하는 과정(S270), 및 관심 영역을 확대하여 디스플레이하는 과정(S280)을 포함한다.
이와 같이 구성된 본 발명에 따른 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적 디스플레이 처리 과정을 과정별로 상세히 설명하면 아래와 같다.
S210 : 그라운드 픽셀 검출 과정
축구 비디오 분석에서 그라운드의 컬러는 중요한 역할을 한다. 이는 특히 샷의 종류를 판별하는 데에 중요하다. 본 발명에서는 그라운드 색을 띄는 픽셀의 양이 샷의 종류를 판별하는 중요한 단서가 된다. 비디오 시퀀스에 따라 그라운드의 컬러는 조금씩 다르기 때문에, 시스템의 첫 단계에서 비디오 시퀀스의 그라운드 픽셀을 검출(S210)하는 일이 필요하다.
본 발명의 실시에에서 fi를 그라운드 영역 G와, 비그라운드 영역 GC 로 나누기 위하여 그라운드에 해당하는 색상을 성공적으로 검출해야 한다. 여기서 영상 내의 모든 픽셀은 G 또는 GC 에 반드시 속하게 된다. 각 픽셀 (x, y)에 대해 이차원 어레이 Ground(x, y)를 구하는 방법은 다음의 수학식 4와 수학식 5와 같이 정의된다.
여기서 밝기값(intensity) I는 r, g, b의 평균값을 의미하며 r, g, b 및 I에 대한 인덱스(x, y)는 표현의 단순화를 위해 생략하였다. 수학식 4와 수학식 5에 정의된 바와 같이, 그라운드 픽셀 검출 방법은 두 가지 경우로 나누어 고려한다.
이러한 두 가지 경우를 좀더 상세히 살펴보면, 먼저 수학식 4는 일반적인 상황이나 밝은 그라운드 조건일 경우, 즉 해당 픽셀의 밝기값이 50 이상인 경우에 그라운드 여부를 결정하는 조건식이다.
그리고 수학식 5는 매우 어두운 그림자가 지어져 있는 그라운드의 경우를 위한 그라운드 판별 조건식이다.
이러한, 수학식 4와 수학식 5의 공통적인 조건인 첫 번째 줄 조건은 앞에서 언급한 대부분 그라운드에 해당하는 픽셀의 RGB 값의 특성인 g>r, g>b 관계식을 이용한 것으로, 앞의 곱해준 상수는 예외적으로 그라운드의 RGB 값의 비례가 R이 G 보다 약간 큰 경우를 허용하도록 하기 위함이다.
수학식 4의 두 번째 조건은 그라운드와 유사한 RGB 값 크기 비례를 갖고 있는 선수의 유니폼을 분류하기 위한 조건이다. 예를 들어, 브라질 국가대표의 노란 색 유니폼의 RGB 값을 구하면 그라운드와 같은 g>r, g>b 크기 비례를 갖고 있으나 g와 r의 값은 거의 비슷한 크기 값을 갖고 있으며 이에 비해 b 값의 크기는 매우 작다. 이와 같은 특성을 이용하여 위와 같은 조건식을 구성하였으며, 노란색 유니 폼을 분류하였다.
수학식 4의 마지막 조건은 그라운드(Ground)와 공(Ball) 혹은 라인(Line)을 그라운드에서 분류해내기 위한 조건식이다. 이는 공과 라인의 색이 대부분 흰 색이라는 특성을 고려한 것으로, 해당 픽셀의 밝기값이 150 이상이면 그라운드로 판단하지 않도록 하였다. 그리고 공이나 라인, 선수에 해당하는 픽셀 값을 측정해본 결과, 해당 픽셀의 밝기값 크기가 50 이상인 것을 확인할 수 있었다. 따라서 밝기값이 50 이하인 경우에는 오직 그라운드 여부만 판단하는 방법만을 사용하였다.
이러한 방법은 『A. Ekin, A. M. Tekalp, and R. Mehrotra, “Automatic soccer video analysis and summarization,” IEEE Transactions on Image Processing, vol. 12, pp. 796-807, 2003.』이나 『K. Wan, X. Yan, X. Yu, and C. Xu, “Real-time goal-mouth detection in mpeg soccer video,” in MULTIMEDIA ’03: Proceedings of the eleventh ACM international conference on Multimedia, pp. 311-314, ACM Press, (New York, NY, USA), 2003.』에서 제안한 방법보다 빠르며 도 3 처럼 운동장의 일부에 그림자가 드리워진 경우에도 제대로 동작한다.
도 3은 본 발명의 실시예에 따른 그라운드 색 구분 과정의 경기 장면을 예시한 일실시예 예시도로서, (a)와 (c)는 일광이 일정하지 않은 경기 장면, (b)와 (d)는 (a)와 (c)에 존재하는 그라운드 부분을 일광 변화에 강건하게 검정색으로 표시하여 구분한 상태를 나타낸다.
그리고 이전에 제안된 방법이 30Frame의 Ground Learning 시간이 필요했던 것에 비해, 본 발명은 바로 현재 Frame 내의 픽셀의 RGB 값만 이용하여 그라운드를 분류해낼 수 있다는 점에서 더욱 빠르게 그라운드를 판단해낼 수 있다.
S220 : 그라운드 블록 맵 구축 과정
앞서 본 발명에서는 각 픽셀이 그라운드에 포함되는지의 여부를 결정할 수 있었다. 빠른 샷 경계 검출과 샷 구분을 위해, 샷 경계 검출과 샷 구분을 픽셀단위가 아닌 블록 단위로 행하고자 한다. 먼저, 전체 프레임을 16x16 블록으로 나누어 그라운드 블록 맵 GB(i, j)를 만들었다. 블록 내의 전체 픽셀을 취급하는 이전의 방법과는 달리, 블록 내의 전체 픽셀을 다루지 않고, 블록 영역 내의 가운데 픽셀 값만을 Ground pixel detection 알고리즘을 이용하여 그라운드에 속하는가의 여부를 결정한 후, 수학식 6과 같이 그 결과로부터 해당 블록이 그라운드 블록인지 오브젝트 블록인지 판단한다.
여기서 (xc, yc)는 해당 블록의 중심 픽셀의 x, y 좌표를 나타낸다. 이와 같이 블록 내의 가운데 픽셀만 사용함으로써 블록 내의 모든 픽셀을 이용했던 기존의 방법에 비해 블록 맵 형성과 이후의 전체 샷 분류과정에서 소요되는 시간을 줄일 수 있다. 본 발명의 실시예에서 프레임 fi의 그라운드 블록 맵은 GB(i, j)로 표시한다.
도 4는 종래 기술과 본 발명의 실시예에 따른 그라운드 블록 맵에 존재하는 작은 홀을 채운 후의 화면을 예시한 일실시예 예시도로서, (a)와 (b)는 『Keewon Seo and Changick Kim, "A Context-Aware Video Display Scheme for Mobile Devices," in Proc. SPIE Vol.6074, p.278-287, Multimedia on Mobile Devices II, San Jose, Jan. 2006』에서 제안한 방법의 그라운드 블록 맵과 홀을 채운 후의 모습을 나타내며, (c)와 (d)는 본 발명의 실시예에 따른 그라운드 블록 맵과 홀을 채운 후의 모습을 나타낸다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 (c)는 (a)에 비해 작은 구멍이 생길 확률이 높다. 그러나 수학식 7을 이용하여 수직 방향으로 1개 또는 2개의 구멍을 막아주는 방법을 이용하면, (d)에 도시된 바와 같이, 최종 그라운드 블록 맵은 만족할만한 결과를 나타낸다. 이러한 수학식 7은 다음과 같이 정의된다.
S230 : 샷 경계 검출 과정
샷 경계 검출은 비디오 분석의 기본이 되는 과정이다. 샷 경계에서만 샷을 분류함으로써 계산량을 줄이고, 일시적인 화면 상태 변화로 인한 판정 오류를 줄임으로써 샷 종류 판정의 정확성을 높일 수 있다. 본 발명에서는 샷 경계를 검출하기 위해 그라운드 블록 맵의 시간적 불연속성(Temporal Block Difference, TBD)을 체 크하여 효율적이고 빠르게 샷 경계를 검출한다.
여기서 는 XOR연산을 뜻한다. 본 발명에서는 이고 일 때 i를 샷의 경계로 지정하였다( 사용). 빠르게 변화하는 장면의 경우 인 상황이 많이 발생하기 때문에 를 함께 두어 경계 검출 오류를 줄였다. 또한, 현재 그라운드 블록 맵을 세 프레임 이전의 것과 비교하였는데, 이는 페이드 인/아웃이나 비주얼 효과로 인해 샷이 점진적으로 변하는 경우에 대응하기 위해서이다.
S111 : 샷 종류 판정 과정
샷 경계가 검출되면 그 지점에서 샷 종류 판정이 수행되어야 한다. 원거리 샷과 그렇지 않은 샷을 구분해내기 위해 본 발명에서는 그라운드 블록 맵을 이용하였다.
홀을 채우고 나면 그라운드 블록 맵의 각 컬럼에 대해 가장 긴 녹색 세그먼트 LGS(Longest Green Segment)를 찾아낸다. LGS는 도 5의 각 컬럼에 표시된 LGS의 길이 값을 비교하여 알 수 있다.
도 5는 본 발명의 실시예에 따른 운동경기 비디오 처리 과정에서 LGS(Longest Green Segment)를 이용하여 원거리 샷과 비 원거리 샷으로 구분하는 방법을 예시한 예시도로서, (a)는 원거리 샷, (b)는 비 원거리 샷을 나타낸다.
본 발명에서는 각 영상 프레임 내에서 황금 영역(영상을 가로방향으로 3:5:3으로 나눌 때 5에 해당하는 중앙 영역) 내 LGS의 길이를 측정하여 샷의 종류를 알아낼 수 있다. 그리고 본 발명의 실시예에서는 가로 방향에 대해서만 황금 영역을 구분하기로 한다.
도 5에 도시된 바와 같이, θL 보다 작은 LGS가 하나라도 존재하면 그 샷을 원거리 샷이 아닌 것으로 판정한다. 즉, (a)는 원거리 샷으로 판정하며, (b)는 비 원거리 샷으로 판정한다.
여기서 θL=BlocksInColumn/3, GSLeft=BlocksInRow×3/11, GSRight=BlocksInRow×8/11로 값을 정하였다.
S250 : 픽셀 단위 물체 분리 과정
샷 종류 판정이 끝나면 각각의 프레임은 수학식 9에 의해 원거리 샷과 그렇지 않은 샷으로 구분된다. 원거리 샷이 아닌 경우, 전체 이미지 프레임보다 작은 ROI를 굳이 설정할 필요가 없다. 사용자에게 프레임 전체를 보여줘도(S290) 사용자에게 충분하기 때문이다. 하지만, 원거리 샷에 대해서는 ROI를 지정하여 확대 재생할 필요가 있다. 본 발명에서는 시청자들이 공의 주변 상황에 대해 보다 관심을 갖 는다는 것을 가정하였으며, 이에 따라 ROI를 지정하는 데에 있어 공의 현재 위치 및 과거 위치 정보를 가장 중요하게 취급할 것이다. 공을 찾기 위해서 앞서 기술한 수학식 4와 수학식 5의 Ground(x, y)를 이용하여 픽셀 단위 이진화 영상을 구축하였다.
이를 통해 우리는 도 6의 (a)와 같은 영상을 얻을 수 있다. 이 영상에 대해 8방향의 영역 채색 기법(Connected Component Labeling)을 수행하여 그라운드 내 물체들의 목록을 얻을 수 있다. 도 6의 (b)에 얻어낸 물체들의 최소 영역 사각형(MBR : Minimum Bounding Rectangle)을 노란색으로 표시하였다. 각 물체들의 가로/세로 비, 평균 밝기, 구성 픽셀 수 등의 속성에 따라 각각의 물체를 공, 선수, 공과 비슷한 작은 물체, 기타 물체로 나누었다. 예를 들어, 공의 경우에 구성 픽셀 수가 4에서 20 픽셀 이하인 MBR 중에서 물체의 가로/세로 비가 1.0에서 1.5 사이이며, 전체 frame 내에서 intensity peak가 존재하는 곳을 공으로 판단한다.
S260 : 공 찾기 과정
물체들의 목록을 얻어냈지만, 한 프레임의 정보만을 이용하여 어느 물체가 진짜 공인지 판단하는 것은 쉽지 않은 일이다. 왜냐하면, 운동장 내에는 공으로 오인할 수 있는 선수들의 양말, 신발이나 라인들이 있기 때문이다. 게다가 공은 경기 중에 선수들에 의해 가려지거나 빠른 속도로 인해 모양이 왜곡되기도 한다. 몇몇 프레임에서는 공이 프레임 내에 존재하지 않기도 한다. 그동안 공을 추적하는 여러 가지 연구들이 있었다. 하지만, 『Y. Seo, S. Choi, H. Kim and K. Hong, Where Are the Ball and Players? Soccer Game Analysis with Color Based Tracking and Image Mosaick, in ICIAP '97: Proceedings of the 9th International Conference on Image Analysis and Processing-Volume II, pp. 196203, Springer-Verlag, London, UK,1997.』에서 제시한 방법은 공의 처음 위치를 수동으로 지정해야 하는 단점이 있었다. 『Y. Ohno, J. Miura and Y. Shirai, Tracking Players and a Ball in Soccer Games, in Int. Conf. On Multisensor Fusion and Integration for Intelligent Sys., Taipei, Taiwan, 1999.』에서는 고정된 카메라로 촬영한 축구 영상을 이용하였기 때문에 본 발명의 경우에는 맞지 않다. 『X. Yu, C. Xu, H. W. Leong, Q. Tian, Q. Tang, K. Wan, Trajectory-Based Ball Detection and Tracking with Applications to Semantic Analysis of Broadcast Soccer Video, in MULTIMEDIA '03: Proceedings of the eleventh ACM international conference on Multimedia, pp. 11-20, ACM Press, (New York, NY, USA), 2003.』은 공의 궤적을 얻기 위해 이후 프레임의 정보를 필요로 하므로 실시간으로 동작할 수 없다는 단점이 있다.
본 발명에서는 간단하고 이전 값에만 의존(causal)하여 방송 영상을 실시간으로 처리할 수 있는 방법을 제안한다.
먼저, 가장 오랫동안 그라운드 내에서 추적된 공 후보가 공일 확률이 가장 많다라는 가정을 하였다. 이는 일시적인 노이즈의 영향을 줄일 수 있다. 우선 공 후보 목록을 유지하면서 새로 찾아낸 물체 중 공으로 분류된 물체를 공 후보 목록에 추가한다. 공 후보는 다음 프레임에서 위치적으로도 가깝고 속성이 가까운 물체로 계승된다. 계승된 물체가 공인 경우 연차를 증가시키지만, 반대의 경우 그 물체의 연차를 깎는다. 그 결과 가장 연차가 높은 물체가 공일 확률이 가장 높다. 연차가 0보다 작은 물체는 더 이상 추적하지 않는다. 이 방법을 통해 높은 확률로 실제 공을 찾아낼 수 있다. 실제 축구 경기 비디오 내에 공이 존재하지 않거나, 공의 모양이 제대로 분리되지 않는 등의 이유로 공을 찾지 못하는 경우, 가장 최근에 찾은 공의 위치를 현재 공의 위치로 지정한다. 또한, 세 프레임 연속으로 공을 찾지 못하는 경우 화면의 중앙을 임의로 공의 위치로 지정한다. 물론 공의 위치를 임의로 지정하기 위한 기준값인 세 프레임은 설정값에 불과하며 얼마든지 변화될 수 있다.
도 7은 본 발명의 실시예에 따른 공 찾기 방법을 나타내는 일실시예 예시도이다.
도 7을 참조하면, 본 발명에서는 축구 경기 내에서 공의 위치가 한 개의 프레임이 변하는 동안 크게 이동하지 않는다는 점을 확인할 수 있었으며, 이 점을 이용하여 공의 후보를 찾을 때, 현재 프레임의 전 픽셀 영역을 찾는 것이 아니라, 이전 프레임에서의 공의 위치를 기준으로 한 관심 영역만 검색하도록 한다(첫 번째 공 찾기). 그리고 관심 영역 내에서 공을 찾지 못하는 경우에만 프레임 전체를 검색하도록 한다(두 번째 공 찾기). 이러한 방법을 통해 매번 프레임 전체를 검색하는 것에 비해 속도향상을 가져올 수 있다.
S270 : 관심 영역 결정 과정(ROI 창(window)의 지정)
ROI 창을 배치하는 가장 간단한 방법은 ROI 창의 중심을 공의 위치에 놓는 것이다. 하지만, 여러 프레임에 걸쳐 ROI의 중심이 공을 따라가는 경우 화면이 흔들리거나 사용자가 보기에 너무 빠르게 움직일 가능성이 있다. 다시 말해 작은 디스플레이를 사용하는 사용자들이 보기에 편하게 하려면 ROI 창이 부드럽게 움직여야 한다. 또한, 공이 빠르게 움직이는 경우를 감안하여 디스플레이 창을 움직이는 방법에는 가속도의 개념이 포함되어야 한다.
어떤 프레임이 샷 종류 결정 단계에서 원거리 샷으로 판정된 경우 ROI 창의 중점은 다음과 같이 그대로 공의 위치로 초기화된다.
여기서는 windowi는 프레임 fi에서 디스플레이 창의 중점을 뜻하며, lobi는 fi에서의 공의 위치(Location of Ball)를 뜻한다. 또한, dispi는 fi에서 ROI 창이 실제로 움직여야 할 거리(displacement)를 나타낸다. 계속해서 원거리 샷이 이어지는 경우에는 우선 공의 위치와 이전 디스플레이 창 사이의 거리를 계산하여 이에 따라 다르게 접근한다.
간단한 설명을 위해 가로 방향과 diff≥0인 상황만 고려해도 일반성을 잃지 않는다. 본 발명에서는 다음의 세 가지로 경우를 나누었다(frame.width는 프레임의 너비를 뜻함).
경우 (1) 0≤diff≤dispi
경우 (1)은 공의 위치와 ROI 창의 중심 사이의 거리가 이전 이동 거리보다 짧은 경우이다. 이 경우, ROI 창의 위치는 변경되지 않는다. 그 대신 dispi+1의 값에 α를 곱하여 감소시킨다. 이는 수학식 14와 수학식 15와 같다.
경우 (2) dispi〈diff≤frame.width/2
경우 (3) frame.width/2〈diff
경우 (3)은 경우 (2)와 동일하나 공이 빠르게 움직이는 경우에 대응하기 위해 더 큰 가속 파라미터를 갖는 경우이다(0<a1<a2<1). 이는 수학식 18과 수학식 19와 같다.
이렇게 디스플레이 창의 위치를 결정하고 나면 마지막으로 도 8과 같은 경우를 처리하여 사용자에게 보여줘야 한다. 디스플레이 창이 (a)로 결정된 경우라도 프레임을 벗어나면 위치를 변경하여 (b)와 같이 프레임 안의 내용을 사용자에게는 보여줘야 한다(S280). 단 위의 과정에서 사용된 windowi는 바꾸지 않는다.
도 9는 본 발명의 실시예에 따른 운동경기 비디오 처리 과정에 의한 결과 화면을 나타내는 일실시예 예시도로서, (a)는 비 원거리 샷, (b)는 원거리 샷을 나타낸다.
도 9에 도시된 바와 같이, (a)의 비 원거리 샷은 영상 프레임 전체를 실시간으로 디스플레이하며, (b)의 원거리 샷은 왼쪽의 원 영상 위에 표시된 노란색의 ROI 창이 오른쪽의 디스플레이 창의 크기에 맞게 확대된 화면을 디스플레이한다.
이와 같은, 화면을 통해 사용자는 축구경기 비디오에서 물체가 작게 보이는 영상들을 정확히 집어내어 그 안에 존재하는 관심영역을 효율적으로 시청할 수 있다.
지금까지 본 발명의 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 당연히 포함되는 것으로 해석되어야 할 것이다.
전술한 바와 같이 본 발명은 주어진 축구 비디오에서 그라운드 색상 정보를 이용하여 운동장 영역을 검출하는 방법과, 관심영역의 추출이 필요한 샷의 자동 검출 방법, 관심영역이 필요한 샷에서 관심영역의 자동지정 방법 등의 기술을 이용함으로써, 축구경기 비디오에서 물체가 작게 보이는 영상들을 정확히 집어내어 그 안에 존재하는 관심영역만을 디스플레이해 줌으로써, 시청자들에게 보다 나은 이해를 제공해주는 효율적인 영상의 시청이 가능해지는 효과가 있다.
Claims (14)
- 삭제
- 삭제
- 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법에 있어서,운동경기 비디오에 존재하는 카메라 샷의 종류를 판정하는 과정과,상기 판정 결과, 원거리 샷으로 판정되면 상기 운동경기 비디오의 영상 프레임 내에서 관심 영역을 결정하고, 상기 결정된 관심 영역을 확대하여 상기 이동형 단말에 디스플레이하는 과정, 및상기 판정 결과, 비 원거리 샷으로 판정되면, 상기 영상 프레임 전체를 상기 이동형 단말에 디스플레이하는 과정을 포함하며,상기 운동경기 비디오에 존재하는 카메라 샷의 종류 판정은,상기 운동경기 비디오에서 그라운드 픽셀을 검출하여 그라운드 영역과 비 그라운드 영역을 구분하는 과정과,상기 구분된 그라운드 영역을 샷 경계 검출과 샷 구분을 위해 n×n 블록으로 나누어 그라운드 블록 맵을 구축하는 과정과,상기 구축된 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계 검출하는 과정, 및상기 샷의 경계가 검출될 때마다, 상기 그라운드 블록 맵을 이용하여 샷 종류를 판정하는 과정을 포함하며,상기 운동경기 비디오에서 그라운드 픽셀의 검출은,상기 운동경기 비디오에서 그라운드의 조건에 따라 하기의 <수학식 20>과 <수학식 21>을 통해 검출하는 것임을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.여기서, 밝기값(intensity) I는 r, g, b의 평균값.
- 제 3 항에 있어서,상기 샷 종류의 판정은,상기 그라운드 블록 맵의 각 컬럼에 대해 가장 긴 녹색 세그먼트 LGS(Longest Green Segment)를 찾아내어, 각 영상 프레임 내에서 황금 영역 내 LGS(Longest Green Segment)의 길이를 측정하여 샷의 종류를 판정하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
- 제 5 항에 있어서,상기 황금 영역은,영상을 가로방향으로 3:5:3으로 나눌 때 5에 해당하는 중앙 영역을 나타내는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
- 제 3 항에 있어서,상기 샷 종류의 판정은,상기 그라운드 블록 맵의 시간적 불연속성을 체크하여 샷 경계를 검출하여 상기 검출된 샷 경계에서만 상기 원거리 샷 또는 비 원거리 샷을 판정하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
- 제 3 항에 있어서,상기 관심 영역 결정은,상기 영상 프레임 내에서 공의 위치와 이전 프레임의 관심 영역 위치 정보를 이용하여 상기 관심 영역을 결정하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
- 제 3 항 또는 제 8 항에 있어서,상기 관심 영역 결정은,상기 영상 프레임에서 공의 위치를 찾는 과정과,상기 찾은 공의 위치와 이전 디스플레이 창 사이의 거리를 계산하는 과정과,상기 찾은 공의 위치를 중심으로 상기 관심 영역의 위치를 1차로 결정한 후에 상기 계산한 거리에 의거하여 상기 1차로 결정한 위치를 변화시켜 상기 관심 영역의 위치를 최종 결정하는 과정을 포함하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
- 제 9 항에 있어서,상기 공의 위치는,상기 영상 프레임에 대해 픽셀 단위 영상 분할을 수행하여 상기 공의 위치를 찾는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
- 제 9 항에 있어서,상기 공의 위치는,상기 영상 프레임에 대해 픽셀 단위의 이진화 영상을 구축하는 과정과,상기 이진화 영상에 대해 8방향의 영역 채색 기법을 수행하여 각 물체들의 속성에 따라 각 물체들의 목록을 얻는 과정과,상기 얻은 물체들의 목록 중에서 공 후보 목록을 유지하면서 새로 찾아낸 물체 중 공으로 분류된 물체를 상기 공 후보 목록에 추가하는 과정, 및상기 공 후보 목록 중 여러 프레임에서 공 후보로 계승된 물체의 위치를 공의 위치로 결정하는 과정을 포함하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
- 제 9 항에 있어서,상기 공의 위치는,기 설정된 수의 프레임 동안 연속으로 공을 찾지 못하면 화면의 중앙을 공의 위치로 지정하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
- 제 11 항에 있어서,상기 공의 위치는,상기 공의 후보를 찾을 때, 현재 프레임의 전 픽셀 영역을 찾는 것이 아니라, 이전 프레임에서의 공의 위치를 기준으로 한 관심 영역만 검색하도록 하고, 상기 관심 영역 내에서 공을 찾지 못하는 경우에만 프레임 전체를 검색하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
- 제 3 항에 있어서,상기 관심 영역이 상기 영상 프레임을 벗어나면, 위치를 변경하여 상기 영상 프레임 안의 내용을 확대하여 디스플레이하는 것을 특징으로 하는 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060073300A KR100810345B1 (ko) | 2006-08-03 | 2006-08-03 | 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법 |
US11/890,176 US8692852B2 (en) | 2006-08-03 | 2007-08-03 | Intelligent display method for multimedia mobile terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060073300A KR100810345B1 (ko) | 2006-08-03 | 2006-08-03 | 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080012463A KR20080012463A (ko) | 2008-02-12 |
KR100810345B1 true KR100810345B1 (ko) | 2008-03-04 |
Family
ID=39028684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060073300A KR100810345B1 (ko) | 2006-08-03 | 2006-08-03 | 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8692852B2 (ko) |
KR (1) | KR100810345B1 (ko) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6354229B2 (ja) * | 2014-03-17 | 2018-07-11 | 富士通株式会社 | 抽出プログラム、方法、及び装置 |
KR20170012979A (ko) * | 2015-07-27 | 2017-02-06 | 삼성전자주식회사 | 영상 공유 서비스를 위한 전자 장치 및 방법 |
EP3556101B1 (en) * | 2016-12-13 | 2022-07-20 | Rovi Guides, Inc. | Systems and methods for minimizing obstruction of a media asset by an overlay by predicting a path of movement of an object of interest of the media asset and avoiding placement of the overlay in the path of movement |
CN111275910B (zh) * | 2019-11-05 | 2021-05-11 | 杭州安脉盛智能技术有限公司 | 一种基于高斯混合模型的扶梯越界行为检测方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990033641A (ko) | 1997-10-25 | 1999-05-15 | 전주범 | 인식 신호의 검출을 활용한 영상확대 장치 |
KR20030027440A (ko) | 2001-09-28 | 2003-04-07 | 엘지전자 주식회사 | 카메라의 자동노출 제어방법 |
KR20040062732A (ko) | 2003-01-03 | 2004-07-09 | 엘지전자 주식회사 | 오브젝트 기반 비트율 제어방법 및 장치 |
KR20040079804A (ko) | 2003-03-06 | 2004-09-16 | 삼성전자주식회사 | 얼굴영상 검출이 가능한 감시시스템 및 그의 얼굴영상검출방법 |
KR20060060630A (ko) | 2006-03-30 | 2006-06-05 | 한국정보통신대학교 산학협력단 | 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적디스플레이 방법 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200327440Y1 (ko) | 2003-06-12 | 2003-09-26 | 최덕환 | 종이 도시락 용기 |
FR2875662A1 (fr) * | 2004-09-17 | 2006-03-24 | Thomson Licensing Sa | Procede de visualisation de document audiovisuels au niveau d'un recepteur, et recepteur apte a les visualiser |
KR100783066B1 (ko) | 2006-03-14 | 2007-12-07 | 전인택 | 콘크리트 연삭기 |
KR200462732Y1 (ko) | 2012-08-22 | 2012-09-27 | 주식회사 델키 | 밥그릇 뚜껑 |
-
2006
- 2006-08-03 KR KR1020060073300A patent/KR100810345B1/ko not_active IP Right Cessation
-
2007
- 2007-08-03 US US11/890,176 patent/US8692852B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990033641A (ko) | 1997-10-25 | 1999-05-15 | 전주범 | 인식 신호의 검출을 활용한 영상확대 장치 |
KR20030027440A (ko) | 2001-09-28 | 2003-04-07 | 엘지전자 주식회사 | 카메라의 자동노출 제어방법 |
KR20040062732A (ko) | 2003-01-03 | 2004-07-09 | 엘지전자 주식회사 | 오브젝트 기반 비트율 제어방법 및 장치 |
KR20040079804A (ko) | 2003-03-06 | 2004-09-16 | 삼성전자주식회사 | 얼굴영상 검출이 가능한 감시시스템 및 그의 얼굴영상검출방법 |
KR20060060630A (ko) | 2006-03-30 | 2006-06-05 | 한국정보통신대학교 산학협력단 | 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적디스플레이 방법 |
Also Published As
Publication number | Publication date |
---|---|
US8692852B2 (en) | 2014-04-08 |
US20080030515A1 (en) | 2008-02-07 |
KR20080012463A (ko) | 2008-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100785952B1 (ko) | 멀티미디어 이동형 단말을 위한 운동경기 비디오의 지능적디스플레이 방법 | |
Yu et al. | Trajectory-based ball detection and tracking in broadcast soccer video | |
D’Orazio et al. | A review of vision-based systems for soccer video analysis | |
US20130278727A1 (en) | Method and system for creating three-dimensional viewable video from a single video stream | |
KR100866201B1 (ko) | 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출방법 | |
CN101645137B (zh) | 足球视频远景镜头中对足球位置的自动检测方法 | |
JP2009505553A (ja) | ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法 | |
Chakraborty et al. | A real-time trajectory-based ball detection-and-tracking framework for basketball video | |
CN111241872B (zh) | 视频图像遮挡方法及装置 | |
Wan et al. | Real-time goal-mouth detection in MPEG soccer video | |
KR20070120403A (ko) | 영상 편집장치 및 방법 | |
Pallavi et al. | Ball detection from broadcast soccer videos using static and dynamic features | |
KR100810345B1 (ko) | 멀티미디어 이동형 단말을 위한 지능적 디스플레이 방법 | |
EP1936566A1 (en) | Method for creating the saliency map of an image and system for creating reduced pictures of video frames | |
Battikh et al. | Camera calibration using court models for real-time augmenting soccer scenes | |
Watve et al. | Soccer video processing for the detection of advertisement billboards | |
WO2007129591A1 (ja) | 遮蔽物映像識別装置及び方法 | |
Seo et al. | An intelligent display scheme of soccer video on mobile devices | |
Nieto et al. | An automatic system for sports analytics in multi-camera tennis videos | |
US20060268181A1 (en) | Shot-cut detection | |
Seo et al. | A context-aware video display scheme for mobile devices | |
Liang et al. | Video2Cartoon: A system for converting broadcast soccer video into 3D cartoon animation | |
Lavigne et al. | Automatic Video Zooming for Sport Team Video Broadcasting on Smart Phones. | |
Kim et al. | Intelligent video display to raise quality of experience on mobile devices | |
TWI839241B (zh) | 用於視角轉換的影像處理裝置以及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
G170 | Publication of correction | ||
FPAY | Annual fee payment |
Payment date: 20130130 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20140128 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20150129 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20160128 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20170125 Year of fee payment: 10 |
|
LAPS | Lapse due to unpaid annual fee |