KR20150020526A - 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템 및 방법 - Google Patents

액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템 및 방법 Download PDF

Info

Publication number
KR20150020526A
KR20150020526A KR1020147028325A KR20147028325A KR20150020526A KR 20150020526 A KR20150020526 A KR 20150020526A KR 1020147028325 A KR1020147028325 A KR 1020147028325A KR 20147028325 A KR20147028325 A KR 20147028325A KR 20150020526 A KR20150020526 A KR 20150020526A
Authority
KR
South Korea
Prior art keywords
data
video
event
database
processing system
Prior art date
Application number
KR1020147028325A
Other languages
English (en)
Inventor
데이비드 제이. 록신
Original Assignee
알파인리플레이 아이앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알파인리플레이 아이앤씨 filed Critical 알파인리플레이 아이앤씨
Publication of KR20150020526A publication Critical patent/KR20150020526A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

액션 비디오들의 자동 디지털 큐레이션, 주석 및 태깅을 위한 시스템 및 방법이 처리 시스템에서 스포츠 활동 동안 스포츠맨이 소지하는 센서 기반 장치로부터 GPS 데이터 및 일부 실시예들에서는 관성 데이터를 수신한다. 처리 시스템은 GPS 데이터 및 존재할 경우에는 관성 데이터를 처리하여 적어도 하나의 스포츠맨 이벤트를 식별하고, 스포츠맨 이벤트를 식별하는 데이터를 이행 데이터베이스 내에 저장한다. 비디오 카메라로부터의 비디오 데이터가 비디오 데이터베이스 내에 저장되며, 비디오 데이터는 비디오의 프레임들과 관련된 위치, 시간 및 방향 정보를 포함한다. 비디오 데이터베이스 내의 시간 코드 데이터가 이행 데이터베이스 내의 시간 코드 데이터와 동기화되며, 스포츠맨 이벤트를 식별하는 데이터는 상기 비디오 데이터를 자동으로 선택, 주석, 태깅 또는 편집하는 데 사용된다.

Description

액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템 및 방법{AUTOMATIC DIGITAL CURATION AND TAGGING OF ACTION VIDEOS}
본 출원은 2012년 6월 11일자로 "Auto Digital Curation And Tagging Of Action Videos"라는 명칭으로 출원된 미국 특허 가출원 제61/689,654호 및 2013년 1월 4일자로 "Automatic Digital Curation And Tagging Of Action Videos"라는 명칭으로 출원된 미국 특허 출원 제13/734,818호에 대하여 각각 우선권을 주장하면서 2013년 1월 11일자로 PCT 출원된 후 대한민국으로 국내 진입한 것이며, 이들 양 출원은 그 전체 내용이 본 명세서에 참고로 포함된다.
본원은 저작권 보호를 받는 내용을 포함한다. 저작권 소유자는 특허 명세서가 특허청 파일 또는 레코드에 실릴 때 어느 누구라도 특허 명세서를 복사 재생하는 것을 반대하지 않으나, 그렇지 않은 경우에는 모든 저작권을 유보한다.
본 발명은 일반적으로 비디오 레코딩 장치의 분야에 관한 것으로서, 구체적으로는 액션 비디오의 자동 디지털 큐레이션 및 태깅을 위한 방법 및 장치에 관한 것이다.
휴대용 카메라들의 광범위한 가용성은 짧은, 자력으로 만든 전문 비디오들의 급증을 이끌었다. 특히 POV(Point Of View) 액션 카메라들로 제작된 이러한 비디오들 중 다수는 다운힐 스키잉, 스노우보딩, 서핑, 마운틴 바이킹 등과 같은 액션 스포츠와 관련된다. 예를 들어, 유튜브 웹사이트는 수천 개의 그러한 비디오를 갖고 있다.
이와 동시에, 이러한 비디오들의 수 및 유행은 그 자신의 문제를 발생시켰다. 첫째, 관심 있는 이벤트가 그의 생성자들에 의해 관심 있는 비디오와 명확하게 연관되지 않을 때 비디오를 찾는 것이 매우 어려워졌다. 둘째, 비디오들의 대부분은 아마추어들에 의해 만들어지고, 편집되지 않으므로, 사용자들은 비디오의 특정 부분에만, 예를 들어 스노우보더가 점프하거나 스키어가 특히 빨리 달리는 부분, 또는 더 큰 비디오 내의 임의의 다른 특정 이벤트들에만 관심이 있는 경우에도 전체 비디오를 보아야 한다.
이와 동시에, GPS 및 다른 센서들을 갖는 휴대용 장치들의 큰 유행은 액션 스포츠 활동들의 정확한 측정, 저장 및 분류를 가능하게 한다. 따라서, 비디오 및 이행 데이터가 시공간에서 동기화될 수 있는 경우에는 촬영된 특정 활동의 이행 매트릭스에 기초하여 비디오 장면이 주석, 편집, 선택 및 태깅될 수 있다.
그러한 비디오를 검색 또는 시청하는 사람은 특정 비디오 또는 비디오의 부분들을 찾기를 원할 수 있다. 예를 들어, 그러한 사람은 1초 이상의 공중 시간을 갖는 스노우보딩 점프들을 보여주는 비디오를 검색하기를 원할 수 있다. 그러나, 이것은 통상적으로 시맨틱 및 텍스트 비디오 설명들만을 사용하는 비디오 태깅을 위한 현재의 가용 수단을 이용해서는 비현실적이거나 불가능할 것이다.
많은 액션 비디오와 관련된 또 하나의 문제는, 그들이 한 사람에 의해 제작되고, 비디오 "주체"에 대한 이행 데이터가 다른 사람인 비디오 주체와 함께 배치된 센서들에 의해 수집된다는 점이다.
빠른 선택을 위해 캡처 동안 비디오를 마킹하려는 시도들이 행해졌다. 그러나, 그러한 해법들은 통상적으로 다른 사람들에 의해 생성되거나 비디오 내에서 발견되는 텍스트에 기초하는 태그들을 사용한다.
미국 특허 제7,624,337호 및 제7,823,055호는 비디오 내의 텍스트를 포함하는 텍스트를 이용하여 나중에 비디오 검색에서 사용할 태그들 및 메타데이터를 생성하는 해법을 개시하고 있다.
Heist 등의 미국 특허 제5,832,171호는 텍스트가 비디오에 대해 생성된 비디오와 텍스트의 동기화를 설명하고 있다.
Blanton 등의 미국 특허 제4,873,585호는 비디오로부터의 특정 모션들의 이미지들의 선택을 가능하게 하여 이러한 이미지들에 대한 쉬운 액세스를 가능하게 하는 시스템을 교시하고 있다. 그러나, 이것은 오퍼레이터의 개입 및 결정을 필요로 한다.
Aman 등의 미국 특허 제7,483,049호는 스포츠 모션들의 비디오들의 데이터베이스의 생성을 개시하고 있다. 그러나, 비디오는 매우 제어된 환경에서 다수의 카메라에 의해 생성되어야 하며, 운동가들이 비디오 내에서 식별될 수 있는 가시 또는 비가시 마커들로 마킹되어야 한다.
특정 이벤트들, 주로 교통 위반들에 의한 비디오 트리거깅에 대한 작업도 존재한다. Higgins의 미국 특허 제7,986,339호는 교통 위반의 정지 및 비디오 이미지들을 기록 및 분석할 수 있는 시스템을 설명하고 있다. 그러나, 비디오 기록은 차량, 예를 들어 레이저 또는 도플러 레이더에 의해 생성되는 외부 물리 신호에 의해 트리거된다. Lock의 미국 특허 제6,919,823호 및 Behrens의 미국 특허 제7,633,433호는 유사하며, 트리거링 신호가 적색 광 변화에 의해 생성되거나 레이저 빔이 적색 광 변화 후에 차단된다.
게다가, 위의 예들에서는, 카메라의 상대 위치 및 비디오 주체가 사전에 알려지며, 따라서 이러한 해법은 이벤트와 비디오 장면을 매칭시키기 위한 어떠한 시공간 도메인 검색도 제공하지 못한다.
일 실시예에서, 본 발명은 비디오 및 대응하는 이행 데이터를 동기화한 후에 이행 데이터에 기초하여 비디오를 태깅 및/또는 편집하는 것을 가능하게 하는 방법 및 시스템을 제공한다. 비디오 및 이행 데이터는 함께 배치된 장치(즉, 동일 장치) 또는 상이한 장치들 및 상이한 사용자들에 의해 수집될 수 있다. 비디오 및 이행 데이터는 또한 동일 장치 내에 저장되거나 상이한 장치들 또는 데이터베이스들 내에 저장될 수 있다. 따라서, 본 발명은 상이한 데이터 세트들 또는 상이한 데이터베이스들로부터의 비디오 및 이행 데이터의 매칭에 이어서, 비디오의 자동 편집, 주석 및 태깅을 제공할 수 있다. 이것은 비디오 및 이행 데이터가 독립적으로 그리고 다른 활동의 명확한 지식 없이 기록된 경우에도 이루어질 수 있다.
본 발명은 처리 시스템에서, 일부 실시예들에서는 스포츠 활동 동안의 스포츠맨인 사용자가 소지하고 있는 센서 기반 장치로부터 GPS 데이터 및 일부 실시예들에서는 관성 데이터를 수신한다. GPS 데이터는 위치 데이터 또는 시간 데이터 또는 위치 및 시간 데이터 둘 다일 수 있다. 처리 시스템은 GPS 및 옵션인 센서 데이터를 처리하여, 적어도 하나의 이벤트, 예를 들어 스포츠 이벤트를 식별하고, 이벤트를 식별하는 데이터를 이행 데이터베이스 내에 저장한다. 비디오 카메라로부터의 비디오 데이터가 비디오 데이터베이스에 저장되며, 비디오 데이터는 비디오의 프레임들과 관련된 위치, 시간 및 방향 정보를 포함한다. 비디오 레코드 내의 시간 코드 데이터가 퍼포먼스 레코드 내의 시간 코드 데이터와 동기화되며, 이벤트를 식별하는 데이터는 상기 비디오 데이터를 자동으로 선택, 주석, 태깅 또는 편집하는 데 사용된다.
본 발명의 상기 및 다른 목적들, 특징들 및 장점들은 첨부 도면들에 도시된 바와 같은 바람직한 실시예들에 대한 아래의 더 구체적인 설명으로부터 명백할 것이며, 다양한 도면들 전반에서 동일한 참조 부호들은 동일한 요소들을 지시한다.
도면들은 반드시 축척으로 그려진 것은 아니며, 본 발명의 원리들을 도시할 때는 강조가 주어진다.
도 1은 센서들이 비디오 카메라와 함께 배치될 때 액션 비디오로부터 비디오 장면의 원하는 부분을 자동으로 선택하기 위한 방법의 일 실시예를 도시하는 흐름도를 나타낸다.
도 2는 스키어의 궤적이 카메라 A의 시야를 가로지르지만 카메라 B의 시야는 가로지르지 않는 시나리오를 도시하는 삼차원 개략도를 나타낸다.
도 3은 활성 카메라들의 데이터베이스를 검색하는 적절한 알고리즘의 일 실시예를 도시하는 흐름도를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 비디오 및 이행 데이터베이스들의 구성을 도시하는 블록도를 나타낸다.
도 5는 검색 간소화를 위해 이행 메타데이터를 이용하기 위한 프로세스를 도시하는 흐름도를 나타낸다.
이제, 그 예들이 첨부 도면들에 도시된 본 발명의 바람직한 실시예들을 상세히 참고한다.
이하, 본 발명은 액션 비디오들의 자동 디지털 큐레이션 및 태깅을 위한 시스템 및 방법의 블록도들 및 동작 예시들을 참조하여 설명된다. 블록도들 또는 동작 예시들의 각각의 블록, 및 블록도들 또는 동작 예시들 내의 블록들의 조합들은 아날로그 또는 디지털 하드웨어 및 컴퓨터 프로그램 명령어들에 의해 구현될 수 있다는 것을 이해한다. 이러한 컴퓨터 프로그램 명령어들은 컴퓨터 판독 가능 매체 상에 저장되고, 범용 컴퓨터, 특수 목적 컴퓨터, ASIC 또는 다른 프로그래밍 가능 데이터 처리 장치의 프로세서에 제공될 수 있으며, 따라서 컴퓨터 또는 다른 프로그래밍 가능 데이터 처리 장치의 프로세서를 통해 실행되는 명령어들은 블록도들 또는 동작 블록 또는 블록들에서 지정되는 기능들/동작들을 구현한다. 일부 대안 구현들에서, 블록들 내에 지시된 기능들/동작들은 동작 예시들 내에 지시된 순서와 다르게 발생할 수 있다. 예를 들어, 연속적으로 도시된 2개의 블록이 사실은 실질적으로 동시에 실행될 수 있거나, 블록들은 때로는 관련 기능/동작들에 따라 역순으로 실행될 수 있다.
일 실시예에서, 사용자는 그의 모션을 기록하는 센서 기반 장치를 소지한다. 센서 기반 장치는 예를 들어 GPS 및 관성 센서들을 포함하는 휴대용 장치일 수 있다. 처리 시스템도 제공되며, 이 처리 시스템은 센서 기반 장치 내에 내장될 수 있거나, 개별 장치일 수 있거나, 서버 기반일 수 있으며, 점프, 공중제비, 회전, 고속, 빠른 선회 등과 같은 이벤트들을 검출할 수 있다. 결과적으로, 상세한 궤적, 속도, 가속도, 점프, 트릭 등을 갖는 모션들의 상세한 레코드가 생성되고, 이행 데이터베이스에 저장된다. 비디오 카메라도 제공되며, 그에 대한 위치, 시간 및 옵션으로서 방향 정보가 비디오 촬영 동안 알려진다. 카메라는 센서들과 함께 배치될 수 있거나, 독립 장치일 수 있다.
아래의 설명은 본 발명의 일 실시예에 따른 시스템 및 방법의 동작의 비한정적인 예이다. 비디오 카메라가 시간 t=Tstart와 t=Tend 사이에 발생하는 스포츠 활동을 기록한다. 이 예에서는, 동일 활동 이행 파라미터들도 한 세트의 센서를 이용하여 기록되었다. 관심 있는 특정 이벤트, 예를 들어 점프가 시간 t=tk에서 센서 데이터를 이용하여 검출되며, Tstart < tk < Tend이다. 이어서, 센서 데이터 및 비디오가 시간 동기화되는 경우, 관심 있는 이벤트의 비디오 장면이 시간 tk -T와 tk +T 사이에 절취될 수 있으며, 여기서 T는 원하는 비디오 장면의 절반 기간이다. 일 실시예에서, 비디오가 원하는 시간(2T)보다 짧은 경우, 전체 비디오가 사용된다. 비디오와 센서 데이터 간의 시간 동기화는 GPS 타임스탬프들 또는 무선 네트워크 타임스탬프들 또는 이 분야의 기술자들에게 알려진 임의의 다른 방법을 이용하여 수행될 수 있다.
도 1은 센서들이 비디오 카메라와 함께 배치될 때 액션 비디오로부터 비디오 장면의 원하는 부분을 자동으로 선택하기 위한 방법의 일 실시예를 도시하는 흐름도를 나타낸다. 시간 및 위치 통합은 시스템이 비디오 장면과 스포츠 이행을 자동으로 연관시키는 것을 가능하게 한다. 카메라 위치, 방향 및 초점 거리가 알려지면, 비디오와 센서 데이터의 더 정교한 짝짓기가 이루어질 수 있다. 이 방법은 단계 101에서 시작되며, 여기서 비디오와 센서 레코드들 사이에서 시간이 동기화된다. 단계 103에서, 관심 있는 이벤트가 센서 데이터에 기초하여 선택된다. 이 이벤트는 예를 들어 점프, 공중제비, 회전, 고속 부분, 선회, 빠른 선회, 또는 흥미로울 수 있는 사용자의 이행의 임의의 다른 유한 부분일 수 있다. 단계 105에서, 처리 장치는 센서 데이터 내에서 관심 있는 이벤트가 발생하는 곳을 자동으로 결정하며, t=Tsns이다. 센서 데이터 내에서 관심 있는 이벤트를 식별하기 위한 다양한 시스템들 및 방법들이 예를 들어 2012년 9월 12일자로 출원된 "Method and Apparatus for Determining Sportsman Jumps Using Fuzzy Logic"이라는 명칭의 미국 특허 출원 제13/612,470호에 교시되어 있으며, 이 출원의 전체 개시 내용은 본 명세서에 참고로 포함된다.
도 1을 계속 참조하면, 단계 107에서, 위의 단계 105에서 결정된 시간이 비디오 데이터베이스 내의 비디오의 시간 프레임으로 변환되며, 따라서 Tv=Sync(Tsns)이다. 이어서, 단계 109에서, Tv -T : Tv +T 사이의 비디오가 선택된다. 이어서, 단계 111에서, 이행 데이터가 비디오 데이터 내에 삽입(표시, 주석)된다. 단계 113에서, 비디오 데이터는 이행 데이터를 이용하여 자동 태깅될 수 있다. 자동 태깅은 사용자 이름, 이벤트 시간 및 위치, 및 중요한 이행 특성들, 예를 들어 속도, 기울기, 값, 점프 시간 및/또는 높이, 공중제비 각도 또는 상표명 등을 포함할 수 있다. 대안으로서 또는 추가로, 단계 111의 완료 후에 비디오가 자동 편집될 수 있다.
이 분야의 기술자들은, 비디오가 짧고, 퍼포먼스 레코드가 훨씬 더 긴 오버랩핑 기간을 커버할 때, 적절한 이행 세그먼트를 선택함으로써 유사한 동작이 수행될 수 있다는 것을 이해할 것이다.
도 2는 스키어의 궤적이 카메라 A의 시야를 가로지르지만 카메라 B의 시야는 가로지르지 않는 시나리오를 도시하는 삼차원 개략도를 나타낸다. 카메라 A가 동작하는 시간 동안 관심 있는 이벤트가 발생하는 경우, 적절한 장면이 식별되고 선택될 수 있다. 이벤트 B의 궤적은 어떠한 카메라 시야도 가로지르지 않으며, 동기화되지 못한다. 이러한 구현은, 다수의 방치된 카메라가 그들의 시야 내의 임의의 활동을 계속 기록하고, 이어서 개별적으로 수집되는 이행, 시간 및 위치 데이터에 기초하여 관심 있는 비디오가 자동 선택되는 하나의 가능한 예를 설명한다.
도 3은 활성 카메라들의 데이터베이스를 검색하는 적절한 알고리즘의 일 실시예를 도시하는 흐름도를 나타낸다. 단계 301에서, 센서 데이터를 이용하여 관심 있는 이벤트가 식별된다. 전술한 바와 같이, 그러한 이벤트는 점프, 공중제비, 회전, 고속 부분, 선회, 빠른 선회, 또는 흥미로울 수 있는 사용자의 이행의 임의의 다른 유한 부분일 수 있다. 이벤트가 식별되면, 단계 303에서, 처리 시스템은 이벤트의 지리적 위치 및 지속기간을 결정한다. 단계 305에서, 처리 시스템은 (위의 단계 303에서 결정되는) 시간 tk에서 동작하는 모든 카메라들을 찾는다. 단계 307에서 결정되는 바와 같이, 동작하는 카메라가 존재하지 않는 경우, 프로세스가 종료된다. 그렇지 않은 경우, 프로세스는 단계309로 진행하고, 여기서 동작하는 카메라들 또는 카메라 데이터가 센서들 또는 센서 데이터와 시간 동기화된다. 동작하는 카메라들 또는 그들의 데이터가 센서들 또는 센서 데이터와 시간 동기화되면, 프로세스는 단계 311로 진행하여, 자신들의 시야 내에 (위의 단계 303에서 결정된 바와 같은) 이벤트의 위치를 갖는 카메라들의 서브세트를 선택한다. 단계 313에서 결정되는 바와 같이, 그러한 카메라가 존재하지 않는 경우, 프로세스가 종료된다. 단계 315에서, 이전에 선택된 카메라들의 서브세트 중에서 카메라들의 추가적인 서브세트가 선택되며, 이러한 추가적인 서브세트는 다른 기준들을 충족시키는 카메라들 또는 카메라 데이터이다. 그러한 다른 기준들의 예는 예를 들어 최상의 초점을 갖는 카메라를 포함한다. 단계 317에서, 카메라들의 추가적인 서브세트로부터, 시간 tk-T : tk +T에 기록된 비디오 장면이 선택된다. 단계 319에서, 관심 있는 이벤트에 대한 또는 모든 이행에 대한 이행 데이터가 비디오 데이터 내에 삽입된다. 마지막으로, 단계 321에서, 비디오 데이터가 이행 데이터는 물론, 다른 정보인 시간, 위치, 사용자도 이용하여 태깅된다.
도 4는 본 발명의 일 실시예에 따른 비디오 및 이행 데이터베이스들의 구성의 일례를 도시하는 블록도를 나타낸다. 도 5는 검색 간소화를 위해 이행 메타데이터를 이용하기 위한 프로세스를 도시하는 흐름도를 나타낸다.
따라서, 현재 개시되는 시스템 및 방법의 일 실시예는 이행 특성들에 의한 개별 비디오 또는 비디오 라이브러리의 편집, 주석 및 검색을 가능하게 한다. 특정 서브그룹, 예를 들어 "친구들"에 속하는 사용자들로부터의 이행 데이터를 선택함으로써 주체 선택이 더 정밀화될 수 있다. 여러 사용자가 특정 비디오 클립에 대응하는 이행 데이터 궤적을 갖는 것으로 가정한다. 그러나, 그들 중 하나의 사용자만이 비디오를 제작하는 사람의 "친구들" 서브그룹에 속한다. 이어서, 이 "친구들"의 이행 데이터가 비디오와 동기화되도록 자동으로 선택될 수 있다. 이것은 사람이 그의 친구들의 비디오를 기록하고, 프레임 내에 다른 사람의 활동도 기록되는 일반적인 상황을 해결한다. 본 발명의 다양한 실시예들에 따른 자동 선택은 시스템의 성능을 더 개선할 수 있으며, 비디오 제작 프로세스를 간소화한다.
본 명세서에서 설명되는 처리 단계들은 하나 이상의 컴퓨팅 장치에서 수행될 수 있다. 예를 들어, 단계들은 (a) 사용자가 소지하는 휴대용 데이터 수집 장치, (b) 스포츠 이벤트에서 관객이 또는 이벤트에 참가한 사용자가 소지하는 휴대용 비디오 레코딩 컴퓨팅 장치 또는 (c) 원격 서버 컴퓨팅 장치의 임의의 조합에서 수행될 수 있다. 휴대용 데이터 수집 장치의 일례는 그 안에 가속도계 및 GPS 능력을 휴대용 컴퓨팅 장치 또는 스마트폰이다. 휴대용 비디오 레코딩 컴퓨팅 장치의 예는 처리 능력을 갖는 비디오 카메라 또는 비디오 레코딩 하드웨어 및 소프트웨어를 갖는 스마트폰을 포함한다. 각각의 그러한 컴퓨팅 장치는 예를 들어 명령어들을 실행하기 위한 프로세서; 컴퓨터 프로그램 명령어들을 저장하기 위한 정적 메모리 및/또는 동적 메모리와 같은 컴퓨터 판독 가능 매체; 터치스크린, 키보드, 음성 입력, 마우스 등과 같은 입력 수단; 무선 및/또는 유선 네트워크를 통해 통신하기 위한 네트워크 인터페이스; 및 디스플레이, 스피커 및 하드 또는 소프트 버튼들과 같은 사용자 인터페이스를 포함할 수 있다. 휴대용 데이터 수집 장치는 3축 가속도계와 같은 가속도계를 더 포함할 수 있으며, GPS 수신기 및 이를 이용하여 그의 위치를 결정하기 위한 능력도 포함할 수 있다. 원격 서버 컴퓨팅 장치는 휴대용 데이터 수집 장치로부터 멀리 떨어진 장치일 수 있다. 예를 들어, 서버 또는 데스크탑 컴퓨터가 제공되고, 휴대용 데이터 수집 장치로부터의 처리되지 않은 또는 사전 처리된 가속도계 데이터를 처리할 수 있다. 휴대용 데이터 수집 장치로부터 컴퓨팅 장치 또는 원격 서버 컴퓨팅 장치로의 데이터 전송은 휴대용 데이터 수집 장치와 관련된 무선 및/또는 유선 네트워크 인터페이스 및 원격 서버 또는 원격 데스크탑 컴퓨터와 관련된 무선 및/또는 유선 네트워크 인터페이스를 통해 수행될 수 있다.
위의 실시예들 및 선호 사항들은 본 발명을 예시한다. 본 특허는 모든 가능한 조합 또는 실시예를 개설하거나 정의하는 것을 필요로 하지 않으며, 의도하지도 않는다. 본 발명자는 이 분야의 기술자가 본 발명의 적어도 하나의 실시예를 실시하는 것을 가능하게 하기에 충분한 정보를 개시하였다. 위의 설명 및 도면들은 본 발명을 예시할 뿐이며, 아래의 청구범위에서 정의되는 바와 같은 본 발명의 범위로부터 벗어나지 않고서 구성요소들, 구조 및 절차의 변경들이 가능하다. 예를 들어, 위에서 그리고/또는 아래의 청구범위에서 특정 순서로 설명되는 요소들 및/또는 단계들은 본 발명으로부터 벗어나지 않고서 다른 순서로 실시될 수 있다. 따라서, 본 발명은 그의 실시예들을 참조하여 구체적으로 도시되고 설명되었지만, 이 분야의 기술자들은 본 발명의 사상 및 범위로부터 벗어나지 않고서 그 안에서 다양한 형태 및 상세 변경이 이루어질 수 있다는 것을 이해할 것이다.

Claims (33)

  1. 처리 시스템이, 스포츠 활동 중에 사용자가 소지하거나 스포츠 장비에 부착된 장치로부터, 위치 데이터 또는 시간 데이터 중 적어도 하나를 포함하는 GPS 데이터를 수신하는 단계;
    상기 처리 시스템이 사용자와 관련된 적어도 하나의 이벤트를 식별하도록 상기 GPS 데이터를 처리하는 단계;
    상기 적어도 하나의 이벤트를 식별한 데이터를 퍼포먼스 레코드(performance record) 내에 저장하는 단계;
    비디오 레코드 내에 비디오 프레임과 관련된 적어도 하나의 시간 및 위치 정보를 포함하는 메타 데이터를 갖는 비디오 데이터를 저장하는 단계;
    상기 비디오 레코드 내의 시간 코드 데이터를 상기 퍼포먼스 레코드 내의 시간 코드 데이터와 동기화시키는 단계; 및
    적어도 하나의 이벤트를 식별한 상기 데이터를 이용하여 상기 비디오 데이터를 자동으로 선택, 주석, 태그 또는 편집하는 단계;를 포함하는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  2. 제 1항에 있어서,
    사용자가 소지한 상기 장치는 센서 기반 장치를 포함하고,
    상기 수신하는 단계는 상기 센서 기반 장치로부터 관성 데이터를 수신하는 것을 포함하며,
    상기 처리하는 단계는 상기 관성 데이터를 처리하는 것을 포함하는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  3. 제 1항에 있어서,
    상기 사용자는 스포츠맨이고, 상기 이벤트는 스포츠 이벤트인 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  4. 제 1항에 있어서,
    상기 퍼포먼스 레코드는 퍼포먼스 데이터베이스를 포함하는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  5. 제 1항에 있어서,
    상기 비디오 레코드는 비디오 데이터베이스를 포함하는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  6. 제 1항에 있어서,
    상기 메타데이터는 방향 정보를 더 포함하는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  7. 제 1항에 있어서,
    상기 동기화시키는 단계는 GPS 타임 스탬프를 이용하여 수행되는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  8. 제 1항에 있어서,
    상기 동기화시키는 단계는 무선 네트워크 타임 스탬프를 이용하여 수행되는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  9. 제 1항에 있어서,
    상기 처리 시스템에 의해 식별된 상기 적어도 하나의 이벤트는 점프, 공중제비, 회전, 고속 부분, 선회 또는 고속 선회로 구성되는 세트로부터 선택된 이벤트를 포함하는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  10. 제 1항에 있어서,
    상기 장치는 적어도 하나의 GPS 센서 및 적어도 하나의 관성 센서를 포함하는 휴대용 장치인 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  11. 제 1항에 있어서,
    상기 처리 시스템은 상기 장치 내에 내장되는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  12. 제 1항에 있어서,
    상기 처리 시스템은 상기 장치와 분리된 장치인 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  13. 제 1항에 있어서,
    상기 처리 시스템은 서버인 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  14. 제 2항에 있어서,
    상기 GPS 데이터 및 상기 관성 데이터는 상기 퍼포먼스 데이터베이스 내에 저장되는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  15. 제 1항에 있어서,
    상기 장치는 상기 비디오 데이터를 생성하는 카메라와 함께 배치되는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  16. 제 1항에 있어서,
    상기 장치는 상기 비디오 데이터를 생성하는 카메라로부터 분리되고 독립적인 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  17. 제 1항에 있어서,
    상기 퍼포먼스 데이터베이스 및 상기 비디오 데이터베이스는 퍼포먼스 데이터와 비디오 데이터에 대한 각 개별적인 레코드를 갖는 동일한 데이터베이스인 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  18. 제 1항에 있어서,
    퍼포먼스 및 비디오 데이터의 매칭을 가속화하기 위하여 추가적인 메타 데이터를 이용하는 단계를 더 포함하는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  19. 제 18항에 있어서,
    상기 추가적인 메타 데이터를 이용하는 상기 단계는, 검색을 간소화하기 위하여 사용자의 이름 또는 ID를 이용하는 것을 포함하는 액션 비디오의 자동 디지털 큐레이션 및 태깅 방법.
  20. 스포츠 활동 중에 사용자에 의하여 소지되도록 구성되고, GPS 데이터를 생성하는 적어도 하나의 GPS 센서를 갖는 장치;
    비디오 데이터를 생성하도록 구성되는 비디오 카메라; 및
    (a) 사용자와 관련된 적어도 하나의 이벤트를 식별하기 위하여 상기 GPS 데이터를 처리하는 단계, (b) 상기 적어도 하나의 이벤트를 식별한 데이터를 퍼포먼스 데이터베이스 내에 저장하는 단계, (c) 비디오 데이터베이스 내의 비디오 프레임과 관련된 위치, 시간 및 방향에 관한 정보를 포함하는 비디오 데이터를 액세스하는 단계, (d) 상기 비디오 데이터베이스 내의 시간 코드 데이터를 상기 퍼포먼스 데이터베이스 내의 시간 코드 데이터와 동기화시키는 단계, (e) 적어도 하나의 이벤트를 식별하는 상기 데이터를 이용하여 상기 비디오 데이터를 자동으로 선택, 주석, 태그 또는 편집하는 단계를 수행하도록 구성되는 처리 시스템;을 포함하는 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  21. 제 20항에 있어서,
    사용자가 소지하는 상기 장치는 센서 기반 장치를 포함하고,
    상기 처리 시스템은 스포츠 활동 중에 사용자가 소지하거나 스포츠 장비에 부착된 장치로부터 위치 데이터 또는 시간 데이터 중 적어도 하나를 포함하는 GPS 데이터를 수신하는 단계를 포함하되,
    상기 수신하는 단계는 상기 센서 기반 장치로부터 관성 데이터를 수신하는 것을 포함하고,
    상기 처리하는 단계는 상기 관성 데이터를 처리하는 것을 포함하는 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  22. 제 20항에 있어서,
    상기 사용자는 스포츠맨이고, 상기 이벤트는 스포츠 이벤트인 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  23. 제 20항에 있어서,
    상기 장치는 상기 사용자의 장비 또는 의복에 부착되어 소지되도록 구성되는 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  24. 제 20항에 있어서,
    상기 처리 시스템에 의해 식별된 상기 적어도 하나의 이벤트는 점프, 공중제비, 회전, 고속 부분, 선회 또는 고속 선회로 구성되는 세트로부터 선택된 이벤트를 포함하는 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  25. 제 20항에 있어서,
    상기 장치는 적어도 하나의 GPS 센서 및 적어도 하나의 관성 센서를 포함하는 휴대용 장치인 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  26. 제 20항에 있어서,
    상기 처리 시스템은 상기 장치 내에 내장되는 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  27. 제 20항에 있어서,
    상기 처리 시스템은 상기 장치와 분리된 장치인 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  28. 제 20항에 있어서,
    상기 처리 시스템은 서버인 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  29. 제 21항에 있어서,
    상기 GPS 데이터 및 상기 관성 데이터는 상기 퍼포먼스 데이터베이스 내에 저장되는 시스템.
  30. 제 20항에 있어서,
    상기 장치는 상기 비디오 카메라와 함께 배치되는 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  31. 제 20항에 있어서,
    상기 장치는 상기 비디오 카메라로부터 분리되고 독립적인 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  32. 제 20항에 있어서,
    상기 퍼포먼스 데이터베이스 및 상기 비디오 데이터베이스는 퍼포먼스 데이터와 비디오 데이터에 대한 각 개별적인 레코드를 갖는 동일한 데이터베이스인 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템.
  33. 방법을 수행하기 위한 매체 내에 구현된 컴퓨터 판독 가능 프로그램 코드를 갖는 비일시적 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서,
    스포츠 활동 중에 사용자가 소지한 장치로부터 위치 데이터 또는 시간 데이터 중 적어도 하나를 포함하는 GPS 데이터를 처리 시스템에서 수신하기 위한 프로그램 코드;
    상기 처리 시스템에서 사용자와 관련된 적어도 하나의 이벤트를 식별하기 위하여 상기 GPS 데이터를 처리하기 위한 프로그램 코드;
    상기 적어도 하나의 이벤트를 식별한 데이터를 퍼포먼스 데이터베이스 내에 저장하기 위한 프로그램 코드;
    비디오 데이터베이스 내에 비디오 프레임과 관련된 위치, 시간 및 방향에 관한 정보를 포함하는 비디오 데이터를 저장하기 위한 프로그램 코드;
    상기 비디오 데이터베이스 내의 시간 코드 데이터를 상기 퍼포먼스 데이터베이스 내의 시간 코드 데이터와 동기화시키기 위한 프로그램 코드; 및
    적어도 하나의 이벤트를 식별한 상기 데이터를 이용하여 상기 비디오 데이터를 자동으로 선택, 주석, 태그 또는 편집하기 위한 프로그램 코드;를 포함하는 컴퓨터 프로그램 제품.
KR1020147028325A 2012-06-11 2013-01-11 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템 및 방법 KR20150020526A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261689654P 2012-06-11 2012-06-11
US61/689,654 2012-06-11
US13/734,818 US8929709B2 (en) 2012-06-11 2013-01-04 Automatic digital curation and tagging of action videos
US13/734,818 2013-01-04
PCT/US2013/021122 WO2013187937A1 (en) 2012-06-11 2013-01-11 Automatic digital curation and tagging of action videos

Publications (1)

Publication Number Publication Date
KR20150020526A true KR20150020526A (ko) 2015-02-26

Family

ID=49715399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147028325A KR20150020526A (ko) 2012-06-11 2013-01-11 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템 및 방법

Country Status (7)

Country Link
US (3) US8929709B2 (ko)
EP (1) EP2859734A4 (ko)
JP (1) JP2015523010A (ko)
KR (1) KR20150020526A (ko)
CN (1) CN104335594A (ko)
RU (1) RU2617691C2 (ko)
WO (1) WO2013187937A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170040703A (ko) 2015-10-05 2017-04-13 주식회사 엘지유플러스 영상컨텐츠 제공 시스템, 큐레이션제어서버 및 그 영상컨텐츠 서비스 방법

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9401178B2 (en) 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US9261526B2 (en) 2010-08-26 2016-02-16 Blast Motion Inc. Fitting system for sporting equipment
US9320957B2 (en) 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
US9604142B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Portable wireless mobile device motion capture data mining system and method
US9396385B2 (en) 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US9406336B2 (en) 2010-08-26 2016-08-02 Blast Motion Inc. Multi-sensor event detection system
US9646209B2 (en) 2010-08-26 2017-05-09 Blast Motion Inc. Sensor and media event detection and tagging system
US8941723B2 (en) 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US9940508B2 (en) 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
US9619891B2 (en) 2010-08-26 2017-04-11 Blast Motion Inc. Event analysis and tagging system
US9076041B2 (en) 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US9418705B2 (en) 2010-08-26 2016-08-16 Blast Motion Inc. Sensor and media event detection system
US9607652B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Multi-sensor event detection and tagging system
US9626554B2 (en) 2010-08-26 2017-04-18 Blast Motion Inc. Motion capture system that combines sensors with different measurement ranges
US9039527B2 (en) 2010-08-26 2015-05-26 Blast Motion Inc. Broadcasting method for broadcasting images with augmented motion data
US9247212B2 (en) 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
US9098611B2 (en) * 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US8929709B2 (en) 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
US10408857B2 (en) 2012-09-12 2019-09-10 Alpinereplay, Inc. Use of gyro sensors for identifying athletic maneuvers
US10548514B2 (en) 2013-03-07 2020-02-04 Alpinereplay, Inc. Systems and methods for identifying and characterizing athletic maneuvers
US10008237B2 (en) 2012-09-12 2018-06-26 Alpinereplay, Inc Systems and methods for creating and enhancing videos
US10089633B2 (en) 2013-08-13 2018-10-02 Amazon Technologies, Inc. Remote support of computing devices
CH709324A2 (fr) 2014-01-06 2015-08-28 Cédric Mangaud Dispositif de création de vidéos augmentées.
EP3097698A1 (en) * 2014-01-20 2016-11-30 H4 Engineering, Inc. Neural network for video editing
US9374477B2 (en) 2014-03-05 2016-06-21 Polar Electro Oy Wrist computer wireless communication and event detection
US9361469B2 (en) 2014-03-26 2016-06-07 Amazon Technologies, Inc. Electronic communication with secure screen sharing of sensitive information
US10445051B1 (en) * 2014-03-27 2019-10-15 Amazon Technologies, Inc. Recording and replay of support sessions for computing devices
FI20145643A (fi) 2014-07-02 2016-01-03 Suunto Oy Menetelmä, järjestelmä, kannettava digitaalinen laite ja tallennuslaite kuvainformaation tallentamisen etäaktivointia varten
US10362263B2 (en) 2014-07-02 2019-07-23 Amer Sports Digital Services Oy System and method for remote activation of a storage operation of pictorial information
US9928878B2 (en) * 2014-08-13 2018-03-27 Intel Corporation Techniques and apparatus for editing video
US10192583B2 (en) 2014-10-10 2019-01-29 Samsung Electronics Co., Ltd. Video editing using contextual data and content discovery using clusters
EP3216220A4 (en) * 2014-11-07 2018-07-11 H4 Engineering, Inc. Editing systems
WO2016111069A1 (ja) * 2015-01-05 2016-07-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10918924B2 (en) 2015-02-02 2021-02-16 RLT IP Ltd. Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
US10212325B2 (en) 2015-02-17 2019-02-19 Alpinereplay, Inc. Systems and methods to control camera operations
US10075623B2 (en) * 2015-03-30 2018-09-11 Myriad Sensors, Inc. Synchronizing wireless sensor data and video
DE102015207415A1 (de) * 2015-04-23 2016-10-27 Adidas Ag Verfahren und Gerät zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis
US10643665B2 (en) 2015-04-29 2020-05-05 Tomtom International B.V. Data processing systems
WO2016179652A1 (en) * 2015-05-08 2016-11-17 Guided Knowledge Ip Pty Ltd Frameworks, devices and methodologies configured to enable automated categorisation and/or searching of media data based on user performance attributes derived from performance sensor units
US11019378B2 (en) 2015-06-10 2021-05-25 Razer (Asia-Pacific) Pte. Ltd. Methods and apparatuses for editing videos from multiple video streams
US10244031B1 (en) 2015-06-16 2019-03-26 Amazon Technologies, Inc. Navigation assistance from a trusted device
US11368540B1 (en) 2015-06-16 2022-06-21 Amazon Technologies, Inc. Remote assistance for a computing device from a trusted device
US11577142B2 (en) 2015-07-16 2023-02-14 Blast Motion Inc. Swing analysis system that calculates a rotational profile
US10124230B2 (en) 2016-07-19 2018-11-13 Blast Motion Inc. Swing analysis method using a sweet spot trajectory
US10974121B2 (en) 2015-07-16 2021-04-13 Blast Motion Inc. Swing quality measurement system
US11565163B2 (en) 2015-07-16 2023-01-31 Blast Motion Inc. Equipment fitting system that compares swing metrics
US9694267B1 (en) 2016-07-19 2017-07-04 Blast Motion Inc. Swing analysis method using a swing plane reference frame
WO2017011817A1 (en) * 2015-07-16 2017-01-19 Blast Motion Inc. Integrated sensor and video motion analysis method
WO2017011814A1 (en) * 2015-07-16 2017-01-19 Blast Motion Inc. Multi-sensor event detection and tagging system
US10321208B2 (en) 2015-10-26 2019-06-11 Alpinereplay, Inc. System and method for enhanced video image recognition using motion sensors
JP2019505832A (ja) 2015-12-10 2019-02-28 ガイディド ナレッジ アイピー ピーティーワイ リミテッド パフォーマンスモニタリングハードウェアによるユーザパフォーマンスのモニタリングに基づいてスキルトレーニングデータのリアルタイム適応配信を可能にするように構成されるフレームワーク及び方法
CN106993209A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种基于移动端技术进行短视频剪辑的方法
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US10265602B2 (en) 2016-03-03 2019-04-23 Blast Motion Inc. Aiming feedback system with inertial sensors
CN106569449A (zh) * 2016-06-13 2017-04-19 北京动量科技有限责任公司 一种复合定位的运动实时监控方法及其设备
US10853435B2 (en) 2016-06-17 2020-12-01 Axon Enterprise, Inc. Systems and methods for aligning event data
GB2552316A (en) * 2016-07-15 2018-01-24 Sony Corp Information processing apparatus, method and computer program product
US10786728B2 (en) 2017-05-23 2020-09-29 Blast Motion Inc. Motion mirroring system that incorporates virtual environment constraints
JP2019050444A (ja) * 2017-09-07 2019-03-28 オリンパス株式会社 データ編集のためのインターフェイス装置、キャプチャ装置、画像処理装置、データ編集方法及びデータ編集プログラム
CN107734303B (zh) * 2017-10-30 2021-10-26 北京小米移动软件有限公司 视频标识方法及装置
US10545578B2 (en) 2017-12-22 2020-01-28 International Business Machines Corporation Recommending activity sensor usage by image processing
CN108900905A (zh) * 2018-08-08 2018-11-27 北京未来媒体科技股份有限公司 一种视频剪辑方法及装置
CN110187367A (zh) * 2019-05-23 2019-08-30 哈尔滨工业大学 一种越野滑雪运动轨迹跟踪与视频采集方法及***
US11676639B2 (en) * 2020-05-27 2023-06-13 Helios Sports, Inc. Intelligent sports video and data generation from AI recognition events
IT202000025888A1 (it) * 2020-10-30 2022-04-30 Gobee S R L Metodo e sistema per comporre automaticamente un filmato
TWI791402B (zh) * 2022-01-24 2023-02-01 光禾感知科技股份有限公司 自動影片剪輯系統及方法
US20230274549A1 (en) * 2022-02-28 2023-08-31 Samsung Electronics Company, Ltd. Systems and Methods for Video Event Segmentation Derived from Simultaneously Recorded Sensor Data

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4873585A (en) 1984-09-07 1989-10-10 Ivex Corporation Method of selectively retrieving video images from a video reproducer for simulating movement
US7386401B2 (en) 1994-11-21 2008-06-10 Phatrat Technology, Llc Helmet that reports impact information, and associated methods
US5832171A (en) 1996-06-05 1998-11-03 Juritech, Inc. System for creating video of an event with a synchronized transcript
US7483049B2 (en) 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
US7015950B1 (en) 1999-05-11 2006-03-21 Pryor Timothy R Picture taking method and apparatus
AUPQ281299A0 (en) 1999-09-14 1999-10-07 Locktronic Systems Pty. Ltd. Improvements in image recording apparatus
JP2001317959A (ja) * 2000-05-10 2001-11-16 Sony Corp 情報処理装置および情報処理方法、情報処理システム、並びにプログラム格納媒体
US7782363B2 (en) 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
JP2003244691A (ja) * 2002-02-20 2003-08-29 Matsushita Electric Ind Co Ltd 記憶支援システム
US7986339B2 (en) 2003-06-12 2011-07-26 Redflex Traffic Systems Pty Ltd Automated traffic violation monitoring and reporting system with combined video and still-image data
JP4121974B2 (ja) 2004-03-26 2008-07-23 富士フイルム株式会社 画像撮影システムおよび画像撮影方法
JP4121973B2 (ja) * 2004-03-26 2008-07-23 富士フイルム株式会社 シーン抽出システムおよびシーン抽出方法
US20050223799A1 (en) 2004-03-31 2005-10-13 Brian Murphy System and method for motion capture and analysis
NO323521B1 (no) * 2004-09-10 2007-06-04 Telenor Asa Lokasjonsbildekommentering pa kameratelefoner
JP4289326B2 (ja) * 2005-06-09 2009-07-01 ソニー株式会社 情報処理装置および方法、撮影装置、並びにプログラム
ATE413216T1 (de) * 2005-07-12 2008-11-15 Dartfish Sa Verfahren zur analyse der bewegung einer person während einer aktivität
US20080246841A1 (en) 2007-04-03 2008-10-09 Taiming Chen Method and system for automatically generating personalized media collection for participants
JP2009038451A (ja) * 2007-07-31 2009-02-19 Toshiba Corp 動画編集再生システムおよび装置
US8711224B2 (en) 2007-08-06 2014-04-29 Frostbyte Video, Inc. Image capture system and method
JP4755156B2 (ja) 2007-09-05 2011-08-24 日本電信電話株式会社 画像提供装置及び画像提供プログラム
EP2048515B1 (de) 2007-10-11 2012-08-01 JENOPTIK Robot GmbH Verfahren zur Erfassung und Dokumentation von Verkehrsverstössen an einer Verkehrsampel
US9037583B2 (en) * 2008-02-29 2015-05-19 Ratnakar Nitesh Geo tagging and automatic generation of metadata for photos and videos
US8187182B2 (en) * 2008-08-29 2012-05-29 Dp Technologies, Inc. Sensor fusion for activity identification
US9224425B2 (en) 2008-12-17 2015-12-29 Skyhawke Technologies, Llc Time stamped imagery assembly for course performance video replay
US8520909B2 (en) * 2009-03-11 2013-08-27 Hong Kong Baptist University Automatic and semi-automatic image classification, annotation and tagging through the use of image acquisition parameters and metadata
US8423284B2 (en) * 2009-04-15 2013-04-16 Abalta Technologies, Inc. Monitoring, recording and testing of navigation systems
EP2419181A4 (en) 2009-04-16 2016-09-21 Nike Innovate Cv SYSTEM FOR EVALUATING SPORTING SERVICES
US8331611B2 (en) 2009-07-13 2012-12-11 Raytheon Company Overlay information over video
US20110071792A1 (en) * 2009-08-26 2011-03-24 Cameron Miner Creating and viewing multimedia content from data of an individual's performance in a physical activity
WO2011069291A1 (en) 2009-12-10 2011-06-16 Nokia Corporation Method, apparatus or system for image processing
US20110208822A1 (en) * 2010-02-22 2011-08-25 Yogesh Chunilal Rathod Method and system for customized, contextual, dynamic and unified communication, zero click advertisement and prospective customers search engine
WO2011101858A1 (en) * 2010-02-22 2011-08-25 Yogesh Chunilal Rathod A system and method for social networking for managing multidimensional life stream related active note(s) and associated multidimensional active resources & actions
JP5437928B2 (ja) 2010-06-23 2014-03-12 日本電信電話株式会社 メタデータ付与装置、映像検索装置、方法およびプログラム
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US9940508B2 (en) * 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
US20120113145A1 (en) 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality surveillance and rescue system
WO2012070010A1 (en) 2010-11-24 2012-05-31 Stergen High-Tech Ltd. Improved method and system for creating three-dimensional viewable video from a single video stream
JP2013130808A (ja) 2011-12-22 2013-07-04 Nikon Corp 電子機器
US9167228B2 (en) * 2012-01-03 2015-10-20 Lawrence Maxwell Monari Instrumented sports paraphernalia system
EP2618566A1 (en) 2012-01-23 2013-07-24 FilmMe Group Oy Controlling controllable device during performance
US20130242105A1 (en) 2012-03-13 2013-09-19 H4 Engineering, Inc. System and method for video recording and webcasting sporting events
JP2013219541A (ja) 2012-04-09 2013-10-24 Seiko Epson Corp 撮影システムおよび撮影方法
US8929709B2 (en) 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
US10008237B2 (en) 2012-09-12 2018-06-26 Alpinereplay, Inc Systems and methods for creating and enhancing videos
US9566021B2 (en) 2012-09-12 2017-02-14 Alpinereplay, Inc. Systems and methods for synchronized display of athletic maneuvers
JP6299604B2 (ja) 2012-11-09 2018-03-28 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US9769387B1 (en) 2013-11-05 2017-09-19 Trace Live Network Inc. Action camera system for unmanned aerial vehicle
US9196039B2 (en) 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
FI20145643A (fi) 2014-07-02 2016-01-03 Suunto Oy Menetelmä, järjestelmä, kannettava digitaalinen laite ja tallennuslaite kuvainformaation tallentamisen etäaktivointia varten
US20160045785A1 (en) 2014-08-12 2016-02-18 Board Tracking Technologies, Llc Action sports tracking system and method
US20160225410A1 (en) 2015-02-03 2016-08-04 Garmin Switzerland Gmbh Action camera content management system
US10212325B2 (en) 2015-02-17 2019-02-19 Alpinereplay, Inc. Systems and methods to control camera operations
US10321208B2 (en) 2015-10-26 2019-06-11 Alpinereplay, Inc. System and method for enhanced video image recognition using motion sensors

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170040703A (ko) 2015-10-05 2017-04-13 주식회사 엘지유플러스 영상컨텐츠 제공 시스템, 큐레이션제어서버 및 그 영상컨텐츠 서비스 방법

Also Published As

Publication number Publication date
RU2617691C2 (ru) 2017-04-26
US20170026608A1 (en) 2017-01-26
EP2859734A1 (en) 2015-04-15
JP2015523010A (ja) 2015-08-06
US20150098688A1 (en) 2015-04-09
US10419715B2 (en) 2019-09-17
CN104335594A (zh) 2015-02-04
US20130330054A1 (en) 2013-12-12
WO2013187937A1 (en) 2013-12-19
US9497407B2 (en) 2016-11-15
US8929709B2 (en) 2015-01-06
EP2859734A4 (en) 2015-12-23
RU2014138631A (ru) 2016-04-10

Similar Documents

Publication Publication Date Title
US10419715B2 (en) Automatic selection of video from active cameras
US9208822B2 (en) Media clip creation and distribution systems, apparatus, and methods
US20160365115A1 (en) Video editing system and method using time-based highlight identification
JP6074395B2 (ja) コンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体
US7483624B2 (en) System and method for indexing a video sequence
US7873258B2 (en) Method and apparatus for reviewing video
CN107079138A (zh) 使用传感器和参与者与观众标签数据的活动视频的存储和编辑
US20160225410A1 (en) Action camera content management system
US20160099023A1 (en) Automatic generation of compilation videos
US20180132006A1 (en) Highlight-based movie navigation, editing and sharing
CN106170096A (zh) 基于云视频共享的多角度视频编辑
US10645468B1 (en) Systems and methods for providing video segments
TW201545120A (zh) 自動產生編譯視訊
US10356312B2 (en) Camera device, video auto-tagging method and non-transitory computer readable medium thereof
CN104904195A (zh) 增强现实的设备和方法
JP6214762B2 (ja) 画像検索システム、検索画面表示方法
US20170091205A1 (en) Methods and apparatus for information capture and presentation
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
Saini et al. Automated Video Mashups: Research and Challenges
JP2005354248A (ja) 映像撮影装置及び画像管理方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid