KR102352955B1 - 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 tv 시청 지원 방법 및 장치 - Google Patents

포즈인식 기술을 활용한 하이라이트 영상기반 편리한 tv 시청 지원 방법 및 장치 Download PDF

Info

Publication number
KR102352955B1
KR102352955B1 KR1020210105869A KR20210105869A KR102352955B1 KR 102352955 B1 KR102352955 B1 KR 102352955B1 KR 1020210105869 A KR1020210105869 A KR 1020210105869A KR 20210105869 A KR20210105869 A KR 20210105869A KR 102352955 B1 KR102352955 B1 KR 102352955B1
Authority
KR
South Korea
Prior art keywords
event
basic
basic event
occurrence information
unit
Prior art date
Application number
KR1020210105869A
Other languages
English (en)
Inventor
장동윤
Original Assignee
주식회사 이노피아테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이노피아테크 filed Critical 주식회사 이노피아테크
Priority to KR1020210105869A priority Critical patent/KR102352955B1/ko
Application granted granted Critical
Publication of KR102352955B1 publication Critical patent/KR102352955B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 방법 및 장치가 제시된다. 본 발명에서 제안하는 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 장치는 시청자 요청에 따른 스포츠 영상 콘텐츠의 하이라이트 영상을 제공하기 위해 영상인식을 위한 스포츠 영상 콘덴츠를 외부로부터 수신하는 영상 수신부, 수신된 스포츠 영상 콘텐츠에서 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 인식하고, 특정 포즈 인식에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부에 기록하는 기본이벤트 인식부, 수신된 스포츠 영상 콘텐츠에서 발생하는 특별이벤트의 발생 여부를 판독하여, 특별이벤트 발생 시 특별이벤트에 관한 발생정보를 기록부에 기록하는 특별이벤트 인식부, 특별이벤트 발생 시, 해당 특별이벤트에 대한 하이라이트 영상을 생성하기 위해 해당 특별이벤트와 연관된 기본이벤트에 관한 발생정보 및 해당 특별이벤트에 관한 발생정보를 연결하여 기록하는 기록부 및 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트 또는 특별이벤트에 관한 발생정보를 기록부로부터 수신하여 시청자에게 해당 하이라이트 영상을 제공하는 지능화 시청부를 포함한다.

Description

포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 방법 및 장치{Method and Apparatus for Convenient TV Viewing Support based on Highlight Video using Pose Recognition Technique}
본 발명은 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 방법 및 장치에 관한 것이다.
OTT(Over The Top)는 개방된 인터넷을 통하여 방송 프로그램, 영화 등 각종 미디어 콘텐츠를 제공하는 서비스를 일컫는다. 즉, OTT는 지상파나 케이블이 아닌 범용 인터넷을 통해 볼 수 있는 TV서비스를 의미한다. 이러한, OTT 시장은 초고속 인터넷과 이에 기반한 휴대용 단말기의 보급으로 인하여 2000년 중, 후반을 기점으로 급격히 성장하여 현재는 지상파나 케이블을 통한 TV서비스를 위협하고 있는 실정이다.
이에 따라, OTT 서비스를 전문적으로 제공하는 다양한 플랫폼과 기업들이 크게 증가하였다. 또한, 기존에 지상파 또는 케이블을 통하여 TV 서비스를 제공하는 방송사들은 지상파 또는 케이블을 통한 TV 서비스를 유지하되, 이와 동일한 콘텐츠를 OTT 플랫폼을 통하여 실시간으로 제공하는 서비스를 병행하고 있다.
최근 유튜브, 웨이브, 넷플릭스 등 다양한 영상 제공 서비스가 사용자에게 제공되고 있다.
많은 사용자가 CP(Content Provider)가 제작한 영상이나 방송, 영화 영상들을 위와 같은 서비스를 통해 시청하고 있다. 이러한 영상 제공 서비스들은 일반적으로 영상의 제목 및 영상을 설명하는 여러 가지 키워드를 통해 사용자의 영상 검색을 지원한다.
이와 같이 종래 기술에서는 영상 스트리밍 사이트에서 한 사용자가 자신이 원하는 영상을 검색할 경우 영상을 업로드한 사용자가 사전에 입력한 정보(예를 들어, 제목, 설명, 해시태그)를 기반으로 검색을 한다.
영상 검색을 수행하는 과정에서 단순 키워드 검색의 결과는 별도의 프레임 인덱스를 제공하지 않고 영상의 도입부를 통해 검색 결과를 제공하게 된다.
만약 영상의 길이가 길고 찾고자 하는 내용이 전체 콘텐츠의 일부일 경우에는 이러한 검색 결과 이후 별도의 검색 비용을 들여 사용자는 영상을 시청한다.
별도의 비용이란 필요한 영상 정보를 찾기 위하여 구간 탐색, 재생속도 제어 등의 기능을 통해 사용자가 원하는 장면을 탐색하는 과정에서 발생하는 시간 요소를 뜻하며 사용자는 원하는 영상 정보를 찾기 위한 부가적인 작업을 수행해야 하는 것을 의미한다.
따라서, 영상 내 키워드 추출 및 키워드 빈도수 분석을 통하여 사용자 검색 효율을 높이기 위한 새로운 기술의 개발이 요구되고 있다.
한국 등록특허공보 제10-2099776호 (2020.04.06)
본 발명이 이루고자 하는 기술적 과제는 포즈인식 기능을 통해 재생 중인 영상 콘텐츠 내에서 특정 동작이 발생한 경우, 특정 동작 발생 시간을 인식 및 기록하고 이를 메타데이터로 생성하여, 시청자가 해당 영상 다시보기 시 해당 동작 발생시점 기준으로 특정 구간만 선택하여 시청할 수 있도록 해주거나, 또는 하이라이트 영상 편집 및 분할을 지원하기 위한 방법 및 장치를 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 장치는 시청자 요청에 따른 스포츠 영상 콘텐츠의 하이라이트 영상을 제공하기 위해 영상인식을 위한 스포츠 영상 콘덴츠를 외부로부터 수신하는 영상 수신부, 수신된 스포츠 영상 콘텐츠에서 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 인식하고, 특정 포즈 인식에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부에 기록하는 기본이벤트 인식부, 수신된 스포츠 영상 콘텐츠에서 발생하는 특별이벤트의 발생 여부를 판독하여, 특별이벤트 발생 시 특별이벤트에 관한 발생정보를 기록부에 기록하는 특별이벤트 인식부, 특별이벤트 발생 시, 해당 특별이벤트에 대한 하이라이트 영상을 생성하기 위해 해당 특별이벤트와 연관된 기본이벤트에 관한 발생정보 및 해당 특별이벤트에 관한 발생정보를 연결하여 기록하는 기록부 및 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트 또는 특별이벤트에 관한 발생정보를 기록부로부터 수신하여 시청자에게 해당 하이라이트 영상을 제공하는 지능화 시청부를 포함한다.
상기 기본이벤트 인식부는 스포츠 영상 콘텐츠에서 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 취하는 대상영역을 검출하는 본체영역 검출부, 본체영역 검출부에서 검출된 대상영역 이외의 기본이벤트를 식별하기 위한 본체주변영역을 검출하는 인접영역 검출부 및 상기 본체영역 검출부를 통해 검출되는 대상영역 및 상기 인접영역 검출부를 통해 검출되는 본체주변영역을 분석하고, 기본이벤트의 발생 여부를 판독하여 기본이벤트에 관한 발생정보를 기록부에 기록하는 기본 이벤트 판독부를 포함한다.
상기 기록부는 기본이벤트 종류, 기본이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 기본이벤트에 관한 발생정보를 저장하고, 특별이벤트 종류, 특별이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 특별이벤트에 관한 발생정보를 저장하며, 기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 시청자가 시청을 원하는 하이라이트 영상을 제공하기 위한 시청지원정보를 생성 및 저장한다.
상기 지능화 시청부는 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 기록부로부터 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 생성 및 저장된 시청지원정보를 수신 받아 상기 시청지원정보에 기초한 하이라이트 영상 구간에 대한 다시보기 재생 서비스를 제공한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 방법은 시청자 요청에 따른 스포츠 영상 콘텐츠의 하이라이트 영상을 제공하기 위해 영상 수신부를 통해 영상인식을 위한 스포츠 영상 콘덴츠를 외부로부터 수신하는 단계, 수신된 스포츠 영상 콘텐츠에 대하여 기본이벤트 인식부를 통해 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 인식하고, 특정 포즈 인식에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부에 기록하도록 하는 단계, 수신된 스포츠 영상 콘텐츠에 대하여 특별이벤트 인식부를 통해 특별이벤트의 발생 여부를 판독하여, 특별이벤트 발생 시 특별이벤트에 관한 발생정보를 기록부에 기록하도록 하는 단계, 특별이벤트 발생 시, 해당 특별이벤트에 대한 하이라이트 영상을 생성하기 위해 기록부를 통해 해당 특별이벤트와 연관된 기본이벤트에 관한 발생정보 및 해당 특별이벤트에 관한 발생정보를 연결하여 기록하는 단계 및 지능화 시청부를 통해 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트 또는 특별이벤트에 관한 발생정보를 기록부로부터 수신하여 시청자에게 해당 하이라이트 영상을 제공하는 단계를 포함할 수 있다.
본 발명의 실시예들에 따르면 포즈인식 기능을 통해 재생 중인 영상 콘텐츠 내에서 특정 동작이 발생한 경우, 특정 동작 발생 시간을 인식 및 기록하고 이를 메타데이터로 생성하여, 시청자가 해당 영상 다시보기 시 해당 동작 발생시점 기준으로 특정 구간만 선택하여 시청할 수 있도록 해주거나, 또는 하이라이트 영상 편집 및 분할을 지원하는 기술을 구현함으로써 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청을 지원할 수 있다.
도 1은 본 발명의 일 실시예에 따른 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 기본이벤트 및 특별이벤트 식별과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 기본이벤트 및 특별이벤트에 관한 발생정보를 이용하여 시청지원정보를 생성 및 저장하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 시청지원정보의 예시를 나타내는 도면이다.
고가의 CCTV의 경우 영상인식을 통한 특정한 사건 발생 판단 시 자동 녹화 기능을 제공하는 경우가 있다. 또한, 차량용 블랙박스의 경우, 예를 들어 높은 턱을 빠른 속도로 지나갈 경우 물리충격을 센서가 감지하면 일종의 비정상적인 이벤트 발생상황으로 인식하여, 별도의 영상 폴더에 따로 해당 충격이 감지된 전/후의 몇 십 초 간을 기준으로 녹화 영상파일이 자동 생성된다.
상대적으로 실시간성, 시급성이 떨어지는 미디어 엔터테인먼트 서비스에서는 30초~1분 짜리 숏 클립(short clip) 영상들이 SNS 나, 스포츠 하이라이트 등으로 짧은 시간에 간편하게 보는 용도로 많이 소비되고 있으나, 처음부터 스마트폰 카메라로 녹화한 짧은 영상이거나, 긴 영상을 편집자가 수동편집 작업을 하여 만들어진다.
본 발명에서는 CCTV, 블랙박스와 같이 카메라 녹화 기능 없이 인터넷을 통해 수신되는 콘텐츠 스트림이나 영상파일에 대해 영상인식 기술을 적용하여, 미디어 엔터테인먼트 분야에 특화된 영상인식기반의 지능화된 TV 시청 지원을 위한 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 방법 및 장치를 제안한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 장치의 구성을 나타내는 도면이다.
제안하는 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 장치는 영상 수신부(110), 기본이벤트 인식부(120), 특별이벤트 인식부(130), 기록부(140) 및 지능화 시청부(150)를 포함한다.
본 발명의 실시예에 따른 영상 수신부(110)는 시청자 요청에 따른 스포츠 영상 콘텐츠의 하이라이트 영상을 제공하기 위해 영상인식을 위한 스포츠 영상 콘덴츠를 외부로부터 수신한다. 본 발명의 실시예에 따른 영상인식의 대상이 되는 스포츠 영상 콘텐츠는 외부로부터의 영상 스트림 또는 영상 파일을 포함할 수 있다. 예를 들어, 시청자가 요청하는 스포츠 영상 콘텐츠의 하이라이트 영상은 야구 중계의 홈런 영상일 수 있다. 여기서 야구 중계는 일 실시예일뿐 이에 한정하지 않고, 다양한 스포츠들을 포함하며 미디어 엔터테인먼트 서비스에서 제공 가능한 다양한 영상 콘텐츠들을 포함할 수 있다.
본 발명의 실시예에 따른 기본이벤트 인식부(120)는 수신된 스포츠 영상 콘텐츠에서 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 인식하고, 특정 포즈 인식에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부(140)에 기록한다.
본 발명의 실시예에 따른 기본이벤트 인식부(120)는 스포츠 영상 콘텐츠에서 반복 발생하는 기본이벤트를 식별하기 위한 특정포즈 인식과 기타 조건을 조합하여 기본이벤트의 발생여부를 판독한다.
예를 들어, 기본이벤트는 야구 중계 중 반복적으로 발생하는 투구 동작을 포함할 수 있다. 기본이벤트 인식부(120)의 특정 포즈 인식은 이러한 투구 동작을 인식하고, 투구 동작 인식에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부(140)에 기록한다.
본 발명의 실시예에 따른 기본이벤트 인식부(120)는 본체영역 검출부(121), 인접영역 검출부(122) 및 기본 이벤트 판독부(123)를 포함한다.
본체영역 검출부(121)는 스포츠 영상 콘텐츠에서 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 취하는 대상영역을 검출한다.
예를 들어, 본체영역 검출부(121)는 야구 중계 중 반복적으로 발생하는 기본이벤트인 투구 동작을 식별하기 위해 대상영역인 투구 동작을 취하는 투수의 몸체부분을 검출할 수 있다.
인접영역 검출부(122)는 본체영역 검출부(121)에서 검출된 대상영역 이외의 기본이벤트를 식별하기 위한 본체주변영역을 검출한다.
예를 들어, 인접영역 검출부(122)는 본체영역 검출부(121)에서 검출된 투수의 몸체부분을 제외한 이외의 영역인 본체주변영역에서 서있는 타자와 앉아있는 포수의 몸체를 검출할 수 있다. 다시 말해, 본체주변영역에서 타자 및 포수의 몸체를 검출함으로써 야수가 아닌 투구의 투구 동작임을 더욱 확실히 파악할 수 있다.
기본 이벤트 판독부(123)는 본체영역 검출부(121)를 통해 검출되는 대상영역 및 인접영역 검출부(122)를 통해 검출되는 본체주변영역을 분석하고, 기본이벤트의 발생 여부를 판독하여 기본이벤트에 관한 발생정보를 기록부(140)에 기록한다.
예를 들어, 기본 이벤트 판독부(123)는 투수의 몸체부분 및 투수의 몸체부분 이외의 본체주변영역을 분석하고, 투구 동작의 발생 여부를 판독하여 투구 동작에 관한 발생정보를 기록부(140)에 기록한다.
본 발명의 실시예에 따른 특별이벤트 인식부(130)는 수신된 스포츠 영상 콘텐츠에서 발생하는 특별이벤트의 발생 여부를 판독하여, 특별이벤트 발생 시 특별이벤트에 관한 발생정보를 기록부(140)에 기록한다.
예를 들어, 특별이벤트 인식부(130)는 야구 중계 중 발생하는 특별이벤트인 홈런을 식별하기 위해 홈런을 나타내는 텍스트, CG 또는 타자의 세레모니 등을 포함하는 영상 내의 홈런을 나타내는 이미지 또는 동작을 인식하여 특별이벤트의 발생 여부를 판독하고, 특별이벤트 발생 시 특별이벤트에 관한 발생정보를 기록부(140)에 기록할 수 있다.
본 발명의 실시예에 따른 기록부(140)는 특별이벤트 발생 시, 해당 특별이벤트에 대한 하이라이트 영상을 생성하기 위해 해당 특별이벤트와 연관된 기본이벤트에 관한 발생정보 및 해당 특별이벤트에 관한 발생정보를 연결하여 기록한다.
본 발명의 실시예에 따른 기록부(140)는 기본이벤트 종류, 기본이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 기본이벤트에 관한 발생정보를 저장할 수 있다. 또한, 특별이벤트 종류, 특별이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 특별이벤트에 관한 발생정보를 저장할 수 있다. 또한, 기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 시청자가 시청을 원하는 하이라이트 영상을 제공하기 위한 시청지원정보를 생성 및 저장할 수 있다.
예를 들어, 야구 중계 중 기본이벤트에 관한 발생정보는 투구 동작, 투구 동작 발생 누적 횟수 및 투구 동작 발생시간을 포함할 수 있다. 예를 들어, 특별이벤트에 관한 발생정보는 홈런을 나타내는 이미지 또는 동작, 홈런 발생 누적 횟수 및 홈런 발생시간을 포함할 수 있다. 예를 들어, 시청자가 시청을 원하는 하이라이트 영상인 홈런 영상을 제공하기 위해 홈런이 발생된 해당 투구 동작 구간에 관한 발생정보와 홈런에 관한 발생정보를 연결하여 홈런 영상에 관한 시청지원정보를 생성 및 저장할 수 있다.
본 발명의 실시예에 따른 지능화 시청부(150)는 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트 또는 특별이벤트에 관한 발생정보를 기록부로부터 수신하여 시청자에게 해당 하이라이트 영상을 제공한다.
본 발명의 실시예에 따른 지능화 시청부(150)는 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 기록부로부터 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 생성 및 저장된 시청지원정보를 수신 받아 상기 시청지원정보에 기초한 하이라이트 영상 구간에 대한 다시보기 재생 서비스를 제공한다.
예를 들어, 지능화 시청부(150)가 시청자가 시청을 원하는 하이라이트 영상인 홈런 영상의 시청 요청을 수신할 경우, 기록부(140)로부터 홈런이 발생된 해당 투구 동작 구간에 관한 발생정보와 홈런에 관한 발생정보를 연결하여 생성 및 저장된 시청지원정보를 수신하고, 수신된 시청지원정보에 기초하여 시청자가 시청을 원하는 홈런 영상 구간에 대한 다시보기 재생 서비스를 제공할 수 있다.
이때, 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신하는 방법은 예를 들어 음성인식 또는 미디어 엔터테인먼트 서비스를 제공하는 디스플레이의 UI를 통해 수신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 방법을 설명하기 위한 흐름도이다.
제안하는 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 방법은 시청자 요청에 따른 스포츠 영상 콘텐츠의 하이라이트 영상을 제공하기 위해 영상 수신부를 통해 영상인식을 위한 스포츠 영상 콘덴츠를 외부로부터 수신하는 단계(210), 수신된 스포츠 영상 콘텐츠에 대하여 기본이벤트 인식부를 통해 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 인식하고, 특정 포즈 인식에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부에 기록하도록 하는 단계(220), 수신된 스포츠 영상 콘텐츠에 대하여 특별이벤트 인식부를 통해 특별이벤트의 발생 여부를 판독하여, 특별이벤트 발생 시 특별이벤트에 관한 발생정보를 기록부에 기록하도록 하는 단계(230), 특별이벤트 발생 시, 해당 특별이벤트에 대한 하이라이트 영상을 생성하기 위해 기록부를 통해 해당 특별이벤트와 연관된 기본이벤트에 관한 발생정보 및 해당 특별이벤트에 관한 발생정보를 연결하여 기록하는 단계(240) 및 지능화 시청부를 통해 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트 또는 특별이벤트에 관한 발생정보를 기록부로부터 수신하여 시청자에게 해당 하이라이트 영상을 제공하는 단계(250)를 포함한다.
단계(210)에서, 시청자 요청에 따른 스포츠 영상 콘텐츠의 하이라이트 영상을 제공하기 위해 영상 수신부를 통해 영상인식을 위한 스포츠 영상 콘덴츠를 외부로부터 수신한다.
본 발명의 실시예에 따른 영상인식의 대상이 되는 스포츠 영상 콘텐츠는 외부로부터의 영상 스트림 또는 영상 파일을 포함할 수 있다. 예를 들어, 시청자가 요청하는 스포츠 영상 콘텐츠의 하이라이트 영상은 야구 중계의 홈런 영상일 수 있다. 여기서 야구 중계는 일 실시예일뿐 이에 한정하지 않고, 다양한 스포츠들을 포함하며 미디어 엔터테인먼트 서비스에서 제공 가능한 다양한 영상 콘텐츠들을 포함할 수 있다.
단계(220)에서, 수신된 스포츠 영상 콘텐츠에 대하여 기본이벤트 인식부를 통해 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 인식하고, 특정 포즈 인식에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부에 기록하도록 한다.
본 발명의 실시예에 따른 기본이벤트 인식부는 스포츠 영상 콘텐츠에서 반복 발생하는 기본이벤트를 식별하기 위한 특정포즈 인식과 기타 조건을 조합하여 기본이벤트의 발생여부를 판독한다.
예를 들어, 기본이벤트는 야구 중계 중 반복적으로 발생하는 투구 동작을 포함할 수 있다. 기본이벤트 인식부의 특정 포즈 인식은 이러한 투구 동작을 인식하고, 투구 동작 인식에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부에 기록한다.
본 발명의 실시예에 따른 기본이벤트 인식부는 본체영역 검출부, 인접영역 검출부 및 기본 이벤트 판독부를 포함한다.
단계(220)는 기본이벤트 인식부의 본체영역 검출부를 통해 스포츠 영상 콘텐츠에서 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 취하는 대상영역을 검출하는 단계, 기본이벤트 인식부의 인접영역 검출부를 통해 본체영역 검출부에서 검출된 대상영역 이외의 기본이벤트를 식별하기 위한 본체주변영역을 검출하는 단계 및 기본이벤트 인식부의 기본 이벤트 판독부를 통해 본체영역 검출부를 통해 검출되는 대상영역 및 인접영역 검출부를 통해 검출되는 본체주변영역을 분석하고, 기본이벤트의 발생 여부를 판독하여 기본이벤트에 관한 발생정보를 기록부에 기록하는 단계를 포함한다.
예를 들어, 본체영역 검출부는 야구 중계 중 반복적으로 발생하는 기본이벤트인 투구 동작을 식별하기 위해 대상영역인 투구 동작을 취하는 투수의 몸체부분을 검출할 수 있다.
예를 들어, 인접영역 검출부는 본체영역 검출부에서 검출된 투수의 몸체부분을 제외한 이외의 영역인 본체주변영역에서 서있는 타자와 앉아있는 포수의 몸체를 을 검출할 수 있다.
예를 들어, 기본 이벤트 판독부는 투수의 몸체부분 및 투수의 몸체부분 이외의 본체주변영역을 분석하고, 투구 동작의 발생 여부를 판독하여 투구 동작에 관한 발생정보를 기록부에 기록한다.
단계(230)에서, 수신된 스포츠 영상 콘텐츠에 대하여 특별이벤트 인식부를 통해 특별이벤트의 발생 여부를 판독하여, 특별이벤트 발생 시 특별이벤트에 관한 발생정보를 기록부에 기록하도록 한다.
예를 들어, 특별이벤트 인식부는 야구 중계 중 발생하는 특별이벤트인 홈런을 식별하기 위해 홈런을 나타내는 텍스트, CG 또는 타자의 세레모니 등을 포함하는 영상 내의 홈런을 나타내는 이미지 또는 동작을 인식하여 특별이벤트의 발생 여부를 판독하고, 특별이벤트 발생 시 특별이벤트에 관한 발생정보를 기록부에 기록할 수 있다.
단계(240)에서, 특별이벤트 발생 시, 해당 특별이벤트에 대한 하이라이트 영상을 생성하기 위해 기록부를 통해 해당 특별이벤트와 연관된 기본이벤트에 관한 발생정보 및 해당 특별이벤트에 관한 발생정보를 연결하여 기록한다.
본 발명의 실시예에 따른 기록부는 기본이벤트 종류, 기본이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 기본이벤트에 관한 발생정보를 저장할 수 있다. 또한, 특별이벤트 종류, 특별이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 특별이벤트에 관한 발생정보를 저장할 수 있다. 또한, 기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 시청자가 시청을 원하는 하이라이트 영상을 제공하기 위한 시청지원정보를 생성 및 저장할 수 있다.
예를 들어, 야구 중계 중 기본이벤트에 관한 발생정보는 투구 동작, 투구 동작 발생 누적 횟수 및 투구 동작 발생시간을 포함할 수 있다. 예를 들어, 특별이벤트에 관한 발생정보는 홈런을 나타내는 이미지 또는 동작, 홈런 발생 누적 횟수 및 홈런 발생시간을 포함할 수 있다. 예를 들어, 시청자가 시청을 원하는 하이라이트 영상인 홈런 영상을 제공하기 위해 홈런이 발생된 해당 투구 동작 구간에 관한 발생정보와 홈런에 관한 발생정보를 연결하여 홈런 영상에 관한 시청지원정보를 생성 및 저장할 수 있다.
단계(250)에서, 지능화 시청부를 통해 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트 또는 특별이벤트에 관한 발생정보를 기록부로부터 수신하여 시청자에게 해당 하이라이트 영상을 제공한다.
본 발명의 실시예에 따른 지능화 시청부는 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 기록부로부터 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 생성 및 저장된 시청지원정보를 수신 받아 상기 시청지원정보에 기초한 하이라이트 영상 구간에 대한 다시보기 재생 서비스를 제공한다.
예를 들어, 지능화 시청부가 시청자가 시청을 원하는 하이라이트 영상인 홈런 영상의 시청 요청을 수신할 경우, 기록부로부터 홈런이 발생된 해당 투구 동작 구간에 관한 발생정보와 홈런에 관한 발생정보를 연결하여 생성 및 저장된 시청지원정보를 수신하고, 수신된 시청지원정보에 기초하여 시청자가 시청을 원하는 홈런 영상 구간에 대한 다시보기 재생 서비스를 제공할 수 있다. 이하, 도 3 내지 도 5를 참조하여 제안하는 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청 지원 방법 및 장치에 관하여 더욱 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 기본이벤트 및 특별이벤트 식별과정을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 기본이벤트 및 특별이벤트 식별과정을 설명하기 위해 다양한 스포츠 영상 콘덴츠 중 야구 중계를 예시로서 설명한다. 여기서 야구 중계는 일 실시예일뿐 이에 한정하지 않고, 다양한 스포츠들을 포함하며 미디어 엔터테인먼트 서비스에서 제공 가능한 다양한 영상 콘텐츠들을 포함할 수 있다.
예를 들어, 시청자가 요청하는 스포츠 영상 콘텐츠의 하이라이트 영상은 야구 중계의 홈런 영상일 수 있다.
본 발명의 실시예에 따른 기본이벤트 인식부는 기본이벤트인 야구 중계(310) 중 반복적으로 발생하는 투구 동작(311)을 인식하고, 투구 동작 인식(312)에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부에 기록한다.
도 3에는 예시로서 이벤트미터(330)를 도시하였다. 이와 같이 이벤트미터에 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 시간 대 별로 기록할 수 있다.
본 발명의 실시예에 따른 기본이벤트 인식부는 본체영역 검출부, 인접영역 검출부 및 기본 이벤트 판독부를 포함한다.
본 발명의 실시예에 따른 본체영역 검출부는 야구 중계 중 반복적으로 발생하는 기본이벤트인 투구 동작(311)을 식별하기 위해 대상영역인 투구 동작을 취하는 투수의 몸체부분을 검출할 수 있다.
본 발명의 실시예에 따른 인접영역 검출부는 본체영역 검출부에서 검출된 투수의 몸체부분을 제외한 이외의 영역인 본체주변영역에서 서있는 타자와 앉아있는 포수의 몸체를 검출할 수 있다. 다시 말해, 홈런, 투구 동작이 아닌 비등재 이벤트는 무시할 수 있다.
본 발명의 실시예에 따른 기본 이벤트 판독부는 투수의 몸체부분 및 투수의 몸체부분 이외의 본체주변영역을 분석하고, 투구 동작의 발생 여부를 판독하여 투구 동작에 관한 발생정보를 기록부에 기록한다.
본 발명의 실시예에 따른 특별이벤트 인식부는 야구 중계(320) 중 발생하는 특별이벤트인 홈런을 식별하기 위해 홈런을 나타내는 텍스트(321), CG(322) 또는 타자의 세레모니 등을 포함하는 영상 내의 홈런을 나타내는 이미지 또는 동작을 인식(323)하여 특별이벤트의 발생 여부를 판독하고, 특별이벤트 발생 시 특별이벤트에 관한 발생정보를 기록부에 기록할 수 있다.
도 3에 도시된 바와 같이, 이벤트미터에 특별이벤트 발생 시 해당 특별이벤트에 관한 발생정보를 시간 대 별로 기록할 수 있다.
도 4는 본 발명의 일 실시예에 따른 기본이벤트 및 특별이벤트에 관한 발생정보를 이용하여 시청지원정보를 생성 및 저장하는 과정을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 기본이벤트 및 특별이벤트에 관한 발생정보를 이용하여 시청지원정보를 생성 및 저장하는 과정을 설명하기 위해 다양한 스포츠 영상 콘덴츠 중 야구 중계를 예시로서 설명한다.
본 발명의 실시예에 따르면, 기록부는 특별이벤트 발생 시, 해당 특별이벤트에 대한 하이라이트 영상을 생성하기 위해 해당 특별이벤트와 연관된 기본이벤트에 관한 발생정보 및 해당 특별이벤트에 관한 발생정보를 연결하여 기록한다.
본 발명의 실시예에 따른 기록부는 기본이벤트 종류, 기본이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 기본이벤트에 관한 발생정보를 저장할 수 있다. 또한, 특별이벤트 종류, 특별이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 특별이벤트에 관한 발생정보를 저장할 수 있다. 또한, 기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 시청자가 시청을 원하는 하이라이트 영상을 제공하기 위한 시청지원정보를 생성 및 저장할 수 있다.
예를 들어, 야구 중계 중 기본이벤트에 관한 발생정보는 투구 동작, 투구 동작 발생 누적 횟수 및 투구 동작 발생시간을 포함할 수 있다. 예를 들어, 특별이벤트에 관한 발생정보는 홈런을 나타내는 이미지 또는 동작, 홈런 발생 누적 횟수 및 홈런 발생시간을 포함할 수 있다. 예를 들어, 시청자가 시청을 원하는 하이라이트 영상인 홈런 영상을 제공하기 위해 홈런이 발생된 해당 투구 동작 구간에 관한 발생정보와 홈런에 관한 발생정보를 연결하여 홈런 영상에 관한 시청지원정보를 생성 및 저장할 수 있다.
먼저, 투구 동작 인식 시점 마킹 및 재생구간 기록 과정에 관하여 설명한다.
1) M번째 투구 동작을 인식할 경우 해당 시점을 마킹한다.
2) M+1번째 투구 동작을 인식할 경우 해당 시점을 마킹한다.
3) 1) 및 2)에서 기록된 마킹 시점 직전을 각각 시작/종료 시점으로 하는 재생구간을 새로운 다시보기 구간 정보로 기록한다. 다시 말해, "M번째 투구 동작 구간 다시보기"로 기록한다.
4) 1) 내지 3)의 과정을 반복하여, 그 다음 다시보기 구간정보를 기록한다. 다시 말해, "M+1번째 투구 동작 구간 다시보기"로 기록한다.
다음으로, 홈런 인식 시점 마킹 및 재생구간 기록 과정에 관하여 설명한다.
1) N번째 홈런을 인식할 경우 해당 시점을 마킹한다.
2) N번째 홈런인식 후 이어지는 M번째 투구 동작 인식 시점을 마킹한다.
3) M-1번째 투구 동작 인식 시점 및 M번째 투구 동작 인식 직전 시점을 각각 시작/종료 시점으로 하는 재생구간을 새로운 다시보기 구간 정보로 기록한다. 다시 말해, "N번째 홈런 다시보기"로 기록한다.
4) 1) 내지 3)의 과정을 반복하여, 그 다음 다시보기 구간정보를 기록한다. "N+1번째 홈런 다시보기"로 기록한다.
도 4를 참조하면, 투구동작 발생 시 이벤트미터에 투구동작 시점(410)을 마킹하고, 홈런 발생 시 이벤트미터에 홈런 시점(420)을 마킹할 수 있다. 이때, 투구동작에 관한 발생정보(P#1, P#2, ??, P#7)를 시간 대 별로 기록할 수 있다. 또한, 홈런에 관한 발생정보(H#1, H#2)를 시간 대 별로 기록할 수 있다.
3번째 투구 동작(P#3)을 예시로서 설명하면, 3번째 투구 동작(P#3) 인식 시점(431)을 시작점으로 기록하고, 4번째 투구 동작(P#4) 인식 직전 시점(432)을 3번째 투구 동작(P#3)의 종료점으로 기록하여 3번째 투구 동작(P#3)에 관한 재생 구간 정보를 생성 및 저장할 수 있다.
또한, 2번째 홈런(H#2)을 예시로서 설명하면, 2번째 홈런(H#2) 발생 인식 시점 바로 이전 투구(P#6) 인식 시점(441)을 시작점으로 기록하고, 2번째 홈런(H#2) 발생 인식 시점 이후 첫 투구(P#7) 인식 직전 시점(442)을 종료점으로 기록하여 2번째 홈런(H#2)에 관한 재생 구간을 저장할 수 있다.
도 5는 본 발명의 일 실시예에 따른 시청지원정보의 예시를 나타내는 도면이다.
도 5와 같이, 본 발명의 실시예에 따른 기록부는 특별이벤트 발생 시, 해당 특별이벤트에 대한 하이라이트 영상을 생성하기 위해 해당 특별이벤트와 연관된 기본이벤트에 관한 발생정보 및 해당 특별이벤트에 관한 발생정보를 연결하여 기록한다.
다시 말해, 본 발명의 실시예에 따른 기록부는 기본이벤트 종류, 기본이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 기본이벤트에 관한 발생정보를 저장할 수 있다. 또한, 특별이벤트 종류, 특별이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 특별이벤트에 관한 발생정보를 저장할 수 있다. 또한, 기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 시청자가 시청을 원하는 하이라이트 영상을 제공하기 위한 시청지원정보를 생성 및 저장할 수 있다.
도 5를 참조하면, #33 번째 이벤트에 관한 시청지원정보(510)는 기본이벤트의 종류: 투구/해당 기본이벤트의 발생 누적 횟수: 27번째/해당 기본이벤트의 발생시간: 11분05초/해당 기본이벤트의 재생구간 11m5s ~ 11m49s 의 정보를 포함할 수 있다.
또한, #34 번째 이벤트에 관한 시청지원정보(520)는 기본이벤트의 종류: 투구/해당 기본이벤트의 발생 누적 횟수: 28번째/해당 기본이벤트의 발생시간: 11분50초/해당 기본이벤트의 재생구간 11m50s ~ 12m47s 의 정보를 포함할 수 있다.
또한, #35 번째 이벤트에 관한 시청지원정보(530)는 특별이벤트의 종류: 홈런/해당 특별이벤트의 발생 누적 횟수: 2번째/해당 특별이벤트의 발생시간: 12분00초/해당 특별이벤트의 재생구간 11m50s ~ 12m47s 의 정보를 포함할 수 있다.
또한, #36 번째 이벤트에 관한 시청지원정보(540)는 기본이벤트의 종류: 투구/해당 기본이벤트의 발생 누적 횟수: 29번째/해당 기본이벤트의 발생시간: 12분48초/해당 기본이벤트의 재생구간 12m48s ~ 13m55s 의 정보를 포함할 수 있다.
여기서, #35 번째 이벤트에 관한 시청지원정보(530)는 특별이벤트인 홈런에 관한 시청지원정보이고, 이러한 홈런의 재생구간은 앞서 설명된 바와 같이 2번째 홈런 발생 인식 시점 바로 이전 투구 인식 시점(#34 번째 이벤트)을 시작점으로 기록하고, 2번째 홈런 발생 인식 시점 이후 첫 투구 인식 직전 시점(#36 번째 이벤트)을 종료점으로 기록하여 2번째 홈런에 관한 재생 구간을 저장할 수 있다.
본 발명의 실시예에 따른 지능화 시청부는 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 기록부로부터 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 생성 및 저장된 시청지원정보를 수신 받아 상기 시청지원정보에 기초한 하이라이트 영상 구간에 대한 다시보기 재생 서비스를 제공한다.
예를 들어, 지능화 시청부가 시청자가 시청을 원하는 하이라이트 영상인 홈런 영상(#35 번째 이벤트)의 시청 요청을 수신할 경우, 기록부로부터 홈런이 발생된 해당 투구 동작 구간에 관한 발생정보와 홈런에 관한 발생정보를 연결하여 생성 및 저장된 시청지원정보(530)를 수신하고, 수신된 시청지원정보(530)에 기초하여 시청자가 시청을 원하는 홈런 영상 구간(11m50s ~ 12m47s)에 대한 다시보기 재생 서비스를 제공할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면 포즈인식 기능을 통해 재생 중인 영상 콘텐츠 내에서 특정 동작이 발생한 경우, 특정 동작 발생 시간을 인식 및 기록하고 이를 메타데이터로 생성하여, 시청자가 해당 영상 다시보기 시 해당 동작 발생시점 기준으로 특정 구간만 선택하여 시청할 수 있도록 해주거나, 또는 하이라이트 영상 편집 및 분할을 지원하는 기술을 구현함으로써 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 TV 시청을 지원할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. 시청자 요청에 따른 스포츠 영상 콘텐츠의 하이라이트 영상을 제공하기 위해 영상인식을 위한 스포츠 영상 콘덴츠를 외부로부터 수신하는 영상 수신부;
    수신된 스포츠 영상 콘텐츠에서 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 인식하고, 특정 포즈 인식에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부에 기록하는 기본이벤트 인식부;
    수신된 스포츠 영상 콘텐츠에서 발생하는 특별이벤트의 발생 여부를 판독하여, 특별이벤트 발생 시 특별이벤트에 관한 발생정보를 기록부에 기록하는 특별이벤트 인식부;
    특별이벤트 발생 시, 해당 특별이벤트에 대한 하이라이트 영상을 생성하기 위해 해당 특별이벤트와 연관된 기본이벤트에 관한 발생정보 및 해당 특별이벤트에 관한 발생정보를 연결하여 기록하는 기록부; 및
    시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트 또는 특별이벤트에 관한 발생정보를 기록부로부터 수신하여 시청자에게 해당 하이라이트 영상을 제공하는 지능화 시청부
    를 포함하고,
    상기 기본이벤트 인식부는,
    스포츠 영상 콘텐츠에서 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 취하는 대상영역을 검출하는 본체영역 검출부;
    본체영역 검출부에서 검출된 대상영역 이외의 기본이벤트를 식별하기 위한 본체주변영역을 검출하는 인접영역 검출부; 및
    상기 본체영역 검출부를 통해 검출되는 대상영역 및 상기 인접영역 검출부를 통해 검출되는 본체주변영역을 분석하고, 기본이벤트의 발생 여부를 판독하여 기본이벤트에 관한 발생정보를 기록부에 기록하는 기본 이벤트 판독부
    를 포함하는 하이라이트 영상기반 TV 시청 지원 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 기록부는,
    기본이벤트 종류, 기본이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 기본이벤트에 관한 발생정보를 저장하고,
    특별이벤트 종류, 특별이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 특별이벤트에 관한 발생정보를 저장하며,
    기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 시청자가 시청을 원하는 하이라이트 영상을 제공하기 위한 시청지원정보를 생성 및 저장하는
    하이라이트 영상기반 TV 시청 지원 장치.
  4. 제1항에 있어서,
    상기 지능화 시청부는,
    시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 기록부로부터 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 생성 및 저장된 시청지원정보를 수신 받아 상기 시청지원정보에 기초한 하이라이트 영상 구간에 대한 다시보기 재생 서비스를 제공하는
    하이라이트 영상기반 TV 시청 지원 장치.
  5. 시청자 요청에 따른 스포츠 영상 콘텐츠의 하이라이트 영상을 제공하기 위해 영상 수신부를 통해 영상인식을 위한 스포츠 영상 콘덴츠를 외부로부터 수신하는 단계;
    수신된 스포츠 영상 콘텐츠에 대하여 기본이벤트 인식부를 통해 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 인식하고, 특정 포즈 인식에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부에 기록하도록 하는 단계;
    수신된 스포츠 영상 콘텐츠에 대하여 특별이벤트 인식부를 통해 특별이벤트의 발생 여부를 판독하여, 특별이벤트 발생 시 특별이벤트에 관한 발생정보를 기록부에 기록하도록 하는 단계;
    특별이벤트 발생 시, 해당 특별이벤트에 대한 하이라이트 영상을 생성하기 위해 기록부를 통해 해당 특별이벤트와 연관된 기본이벤트에 관한 발생정보 및 해당 특별이벤트에 관한 발생정보를 연결하여 기록하는 단계; 및
    지능화 시청부를 통해 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트 또는 특별이벤트에 관한 발생정보를 기록부로부터 수신하여 시청자에게 해당 하이라이트 영상을 제공하는 단계
    를 포함하고,
    상기 수신된 스포츠 영상 콘텐츠에 대하여 기본이벤트 인식부를 통해 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 인식하고, 특정 포즈 인식에 따른 기본이벤트의 발생 여부를 판독하여, 기본이벤트 발생 시 해당 기본이벤트에 관한 발생정보를 기록부에 기록하도록 하는 단계는,
    상기 기본이벤트 인식부의 본체영역 검출부를 통해 스포츠 영상 콘텐츠에서 반복적으로 발생하는 기본이벤트를 식별하기 위한 특정 포즈를 취하는 대상영역을 검출하는 단계;
    상기 기본이벤트 인식부의 인접영역 검출부를 통해 상기 본체영역 검출부에서 검출된 대상영역 이외의 기본이벤트를 식별하기 위한 본체주변영역을 검출하는 단계; 및
    상기 기본이벤트 인식부의 기본 이벤트 판독부를 통해 상기 본체영역 검출부를 통해 검출되는 대상영역 및 상기 인접영역 검출부를 통해 검출되는 본체주변영역을 분석하고, 기본이벤트의 발생 여부를 판독하여 기본이벤트에 관한 발생정보를 기록부에 기록하는 단계
    를 포함하는 하이라이트 영상기반 TV 시청 지원 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 특별이벤트 발생 시, 해당 특별이벤트에 대한 하이라이트 영상을 생성하기 위해 기록부를 통해 해당 특별이벤트와 연관된 기본이벤트에 관한 발생정보 및 해당 특별이벤트에 관한 발생정보를 연결하여 기록하는 단계는,
    기본이벤트 종류, 기본이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 기본이벤트에 관한 발생정보를 저장하고,
    특별이벤트 종류, 특별이벤트 종류 별 발생 누적 횟수 및 발생시간을 포함하는 특별이벤트에 관한 발생정보를 저장하며,
    기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 시청자가 시청을 원하는 하이라이트 영상을 제공하기 위한 시청지원정보를 생성 및 저장하는
    하이라이트 영상기반 TV 시청 지원 방법.
  8. 제5항에 있어서,
    상기 지능화 시청부를 통해 시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트 또는 특별이벤트에 관한 발생정보를 기록부로부터 수신하여 시청자에게 해당 하이라이트 영상을 제공하는 단계는,
    시청자로부터 시청을 원하는 하이라이트 영상의 시청 요청을 수신할 경우, 기록부로부터 시청자가 시청을 원하는 하이라이트 영상에 상응하는 기본이벤트에 관한 발생정보 및 특별이벤트에 관한 발생정보를 이용하여 생성 및 저장된 시청지원정보를 수신 받아 상기 시청지원정보에 기초한 하이라이트 영상 구간에 대한 다시보기 재생 서비스를 제공하는
    하이라이트 영상기반 TV 시청 지원 방법.
KR1020210105869A 2021-08-11 2021-08-11 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 tv 시청 지원 방법 및 장치 KR102352955B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210105869A KR102352955B1 (ko) 2021-08-11 2021-08-11 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 tv 시청 지원 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210105869A KR102352955B1 (ko) 2021-08-11 2021-08-11 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 tv 시청 지원 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102352955B1 true KR102352955B1 (ko) 2022-01-19

Family

ID=80052695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210105869A KR102352955B1 (ko) 2021-08-11 2021-08-11 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 tv 시청 지원 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102352955B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134631A (zh) * 2022-07-25 2022-09-30 北京达佳互联信息技术有限公司 视频处理方法和视频处理装置
KR20230152866A (ko) 2022-04-27 2023-11-06 주식회사세오 무인 순찰 로봇 및 이의 사람 자세 분석 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102099776B1 (ko) 2013-07-23 2020-04-10 주식회사 케이티 클립 동영상을 생성하는 장치 및 방법, 그리고 미리보기 동영상을 제공하는 서버
KR20200038667A (ko) * 2018-10-04 2020-04-14 주식회사 엔씨소프트 스포츠 경기의 하이라이트 추출 방법 및 장치
KR20210067874A (ko) * 2019-11-29 2021-06-08 네이버 주식회사 경기 영상 내의 타겟 영상을 제공하기 위한 전자 장치 및 그의 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102099776B1 (ko) 2013-07-23 2020-04-10 주식회사 케이티 클립 동영상을 생성하는 장치 및 방법, 그리고 미리보기 동영상을 제공하는 서버
KR20200038667A (ko) * 2018-10-04 2020-04-14 주식회사 엔씨소프트 스포츠 경기의 하이라이트 추출 방법 및 장치
KR20210067874A (ko) * 2019-11-29 2021-06-08 네이버 주식회사 경기 영상 내의 타겟 영상을 제공하기 위한 전자 장치 및 그의 동작 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230152866A (ko) 2022-04-27 2023-11-06 주식회사세오 무인 순찰 로봇 및 이의 사람 자세 분석 방법
CN115134631A (zh) * 2022-07-25 2022-09-30 北京达佳互联信息技术有限公司 视频处理方法和视频处理装置
CN115134631B (zh) * 2022-07-25 2024-01-30 北京达佳互联信息技术有限公司 视频处理方法和视频处理装置

Similar Documents

Publication Publication Date Title
JP7511482B2 (ja) 埋め込まれた情報カード位置特定およびコンテンツ抽出のためのビデオ処理
US10148928B2 (en) Generating alerts based upon detector outputs
US7251413B2 (en) System and method for improved blackfield detection
US8155498B2 (en) System and method for indexing commercials in a video presentation
US7735104B2 (en) System and method for navigation of indexed video content
US9743144B2 (en) System and method for content-based navigation of live and recorded TV and video programs
US20150228308A1 (en) System and method for content-based navigation of live and recorded tv and video programs
US20090164460A1 (en) Digital television video program providing system, digital television, and control method for the same
KR102352955B1 (ko) 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 tv 시청 지원 방법 및 장치
JP5135024B2 (ja) コンテンツのシーン出現を通知する装置、方法およびプログラム
US20090196569A1 (en) Video trailer
JP5868978B2 (ja) コミュニティベースのメタデータを提供するための方法および装置
US20100259688A1 (en) method of determining a starting point of a semantic unit in an audiovisual signal
JP5079817B2 (ja) サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機
JP2008131413A (ja) 映像記録再生装置
US20230229702A1 (en) Methods and systems for providing searchable media content and for searching within media content
US20090328100A1 (en) Program information display apparatus and program information display method
EP1758383A2 (en) A system and method for content-based navigation of live and recorded TV and video programs
KR20060102639A (ko) 동영상 재생 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant