KR20140113495A - 비디오 콘텐츠 분석으로부터 햅틱 피드백을 생성하는 방법 및 기기 - Google Patents

비디오 콘텐츠 분석으로부터 햅틱 피드백을 생성하는 방법 및 기기 Download PDF

Info

Publication number
KR20140113495A
KR20140113495A KR1020140030098A KR20140030098A KR20140113495A KR 20140113495 A KR20140113495 A KR 20140113495A KR 1020140030098 A KR1020140030098 A KR 1020140030098A KR 20140030098 A KR20140030098 A KR 20140030098A KR 20140113495 A KR20140113495 A KR 20140113495A
Authority
KR
South Korea
Prior art keywords
motion
estimate
video
control signal
capture device
Prior art date
Application number
KR1020140030098A
Other languages
English (en)
Inventor
자말 사분
후안 마누엘 크루즈-에르난데스
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20140113495A publication Critical patent/KR20140113495A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 비디오 콘텐츠 분석, 비디오 상의 하나 이상의 개체의 모션에 대한 하나 이상의 측정을 포함하는 센서 정보, 및/또는 하나 이상의 이미지 캡처 장치의 모션에 대한 하나 이상의 측정을 포함하는 센서 정보에 기초하여 햅틱 피드백을 생성하는 것에 관한 것이다. 비디오 콘텐츠 분석은 비디오의 이미지 프로세싱을 포함할 수 있다. 시스템은 이미지 프로세싱에 기초하여 하나 이상의 이벤트를 식별할 수 있고 하나 이상의 이벤트에 기초하여 햅틱 피드백을 일으킬 수 있다. 햅틱 피드백은 비디오 장면의 개체에 대해 추정된 가속도를 기초로 달라질 수 있고, 여기서 추정된 가속도는 이미지 프로세싱에 기초한다. 추정된 가속도는 고속에서 센서 정보를 사용하여 더 정확해질 수 있고 센서 정보에 기초한 추정된 가속도는 저속에서 이미지 프로세싱에 기초하여 더 정확해질 수 있다.

Description

비디오 콘텐츠 분석으로부터 햅틱 피드백을 생성하는 방법 및 기기{METHOD AND APPARATUS TO GENERATE HAPTIC FEEDBACK FROM VIDEO CONTENT ANALYSIS}
본 개시는 비디오 콘텐츠 분석, 하나 이상의 센서로부터 얻은, 비디오 상에 나타나는 하나 이상의 개체(object)의 모션(motion)에 대한 하나 이상의 측정을 포함하는 센서 정보, 및/또는 하나 이상의 이미지 캡처 장치의 모션에 대한 하나 이상의 측정을 포함하는 센서 정보에 기초하여 햅틱 피드백(haptic feedback)을 생성하는 시스템 및 방법에 관한 것이다.
비디오와 같은 종래의 멀티미디어 콘텐츠는 햅틱 피드백과 함께 향상될 수 있다. 그러나, 이러한 향상은 통상적으로 비디오에 직접적으로 햅틱 피드백을 인코딩하는 임베딩(embedding) 정보를 필요로 한다. 따라서, 이러한 기술은 아직 햅틱 피드백을 인코딩하는 정보로 주석처리(annotated) 되지 않은 기존의 영상에는 실시간 햅틱 피드백을 제공할 수 없다.
또한, 종래의 미디어 재생 시스템은 비디오 내 장면에 나타나는 개체의 모션을 가리키는 센서 정보를 활용하지 않고 햅틱 피드백을 생성한다. 또한, 개체에 부착된 센서로부터의 정보를 사용하여 개체의 가속도를 추적하는 것은 저속에서 부정확할 수 있는 반면, 비디오 정보에 기초하여 개체의 가속도를 추정하는 것은 개체가 고속으로 움직일 때 흐려짐(blur) 및 다른 아티팩트(artifacts)로 인해 부정확할 수 있다.
본 개시는 비디오 콘텐츠 분석, 비디오 상에 나타나는 사람과 같은 하나 이상의 개체의 모션에 대한 하나 이상의 측정을 포함하는 하나 이상의 센서로부터 얻은 센서 정보, 및/또는 하나 이상의 이미지 캡처 장치의 모션에 대한 하나 이상의 측정을 포함하는 센서 정보에 기초하여 햅틱 피드백을 생성하는 시스템 및 방법에 관한 것이다. 일반적으로, 시스템은 비디오 콘텐츠 분석을 수행하고/수행하거나 센서 정보를 사용하여 햅틱 피드백를 생성하게 하도록 프로그래밍 된 하나 이상의 프로세서를 구비하는 컴퓨팅 장치를 포함할 수 있어서, 사용자 경험을 향상시킬 수 있다.
햅틱 피드백은 비디오 장면의 개체에 대해 추정된 가속도를 기초로 달라질 수 있고, 여기서 추정된 가속도는 이미지 프로세싱에 기초한다. 추정된 가속도는 고속에서 센서 정보를 사용하여 더 정확해질 수 있고 센서 정보에 기초한 추정된 가속도는 저속에서 이미지 프로세싱에 기초하여 더 정확해질 수 있다.
소정 구현예들에서, 비디오 콘텐츠 분석은 비디오의 하나 이상의 프레임에 대한 이미지 프로세싱을 포함할 수 있다. 컴퓨팅 장치는, 이미지 프로세싱에 기초하여 하나 이상의 이벤트를 식별할 수 있고 하나 이상의 이벤트에 기초하여 햅틱 피드백을 일으킬 수 있다. 이벤트는, 예컨대, 이미지 캡처 장치의 움직임, 개체의 외관, 신체 부위의 외관, 폭발(explosion), 이동 개체, 특정 인식가능 이미지 특징(particular recognizable image feature), 얼굴 표정, 몸짓, 장면 테마, 및/또는 이미지 프로세싱에 기초하여 식별될 수 있는 다른 이벤트들을 포함할 수 있다.
컴퓨팅 장치는 햅틱 피드백을 일으키는 제어 신호를 생성할 수 있고 제어 신호를 햅틱 피드백을 출력하는 하나 이상의 햅틱 출력 장치에 전달할 수 있다. 햅틱 출력 장치는 컴퓨팅 장치의 특정 용도 및 구현예들에 따라 다양한 방법으로 구성될 수 있다. 예컨대, 햅틱 출력 장치는 컴퓨팅 장치(예컨대, 통상의 하우징 내에서 통합되는), 사용자 인터페이스 장치, 웨어러블 장치, 의자(예컨대, 영화를 보는 동안 컴퓨팅 장치가 영화 상에 이미지 프로세싱을 수행하여 몰입감 있는 햅틱 피드백을 제공하는 영화관 설정 내에서의), 및/또는 특정 구현예들에 따라 달라지는 다른 구성과 통합될 수 있다.
햅틱 피드백이 이미지 프로세싱에 기초하여 생성될 수 있기 때문에, 컴퓨팅 장치는 멀티미디어 파일 또는 멀티미디어 스트림으로 햅틱 피드백을 인코딩하는 정보의 제공 또는 업스트림 임베딩(upstream embedding) 없이도 실시간 햅틱 피드백을 용이하게 한다. 따라서, 컴퓨팅 장치는 비디오가 햅틱 피드백과 연관되어 제공되지 않는 경우에도 햅틱 피드백과 함께 비디오(및/또는 이미지 프로세싱이 수행될 수 있는 다른 멀티미디어 콘텐츠)를 향상시킬 수 있거나 그렇지 않으면 햅틱 피드백을 일으키는 정보 내에서 임베딩할 수 있다.
소정 구현예들에서, 컴퓨팅 장치는 비디오와 같은 멀티미디어 콘텐츠에 관한 모션의 하나 이상의 측정을 포함하는 센서 정보를 사용할 수 있고 햅틱 피드백을 일으키는 제어 신호를 생성할 수 있다. 예컨대, 비디오 캡처 시에, 센서가 이미지 캡처 장치 및/또는 개체의 모션을 측정하고 그 측정을 포함하는 센서 정보를 출력할 수 있도록, 하나 이상의 센서가 이미지 캡처 장치(예컨대, 비디오 카메라) 및/또는 추적되는 개체(예컨대, 비디오에 나타나는 개체)에 연결될 수 있다. 이러한 방식으로, 개체 및/또는 이미지 캡처 장치의 모션이 햅틱 피드백을 제공하는 데 사용되는 센서 정보를 제공하기 위해 측정될 수 있다. 캡처된 비디오 및/또는 센서 정보는 실시간으로 스트리밍 될 수 있고/있거나 나중에 재생을 위한 컴퓨팅 장치로 제공하기 위해 저장될 수 있다.
컴퓨팅 장치는 센서 정보를 획득할 수 있고 센서 정보에 응답하여 제어 신호를 생성할 수 있다. 예컨대, 센서 정보는 이미지 캡처 장치가 비디오의 특정 장면 동안 모션을 취하고 있다는 것을 가리킬 수 있다. 센서 정보에 기초하여 결정된 바와 같이, 컴퓨팅 장치는 특정 장면을 캡처하는 동안 이미지 캡처 장치의 모션에 응답하여 제어 신호를 생성할 수 있다. 마찬가지로, 센서 정보는 비디오의 장면에 나타나는 개체가 모션을 취하고 있다는 것을 가리킬 수 있다. 센서 정보에 기초하여 결정된 바와 같이, 컴퓨팅 장치는 개체의 모션에 응답하여 제어 신호를 생성할 수 있다. 소정 구현예들에서, 컴퓨팅 장치는 이미지 캡처 장치 및 추적되는 개체의 모션의 조합에 기초하여 햅틱 피드백을 일으키는 제어 신호를 생성할 수 있다.
소정 구현예들에서, 컴퓨팅 장치는 이미지 프로세싱에 기초한 개체의 속력, 가속도, 및/또는 각속도에 대한 제1 추정 및 센서 정보에 기초한 개체의 속력, 가속도, 및/또는 각속도에 대한 제2 추정을 생성할 수 있다. 컴퓨팅 장치는 제1 추정 및 제2 추정에 기초하여 개체의 속력, 가속도, 및/또는 각속도에 대한 융합 추정(fused estimate)을 생성할 수 있다. 융합 추정을 사용하여, 컴퓨팅 장치는 제어 신호를 생성할 수 있다. 소정 구현예들에서, 컴퓨팅 장치는 (이미지 프로세싱에 기초한) 제1 추정 하나만을 사용하여 제어 신호를 생성할 수 있다.
제어 신호를 생성하기 위해 비디오에 관한 모션 정보를 사용하는 상기 구현예들 중 어느 것이 사용되든지 간에, 컴퓨팅 장치는 햅틱 피드백이 현장의 개체 및/또는 장면을 캡쳐하는 이미지 캡처 장치가 모션을 취하고 있을 때 제공되게 함으로써 비디오 경험을 향상시킬 수 있다. 예컨대, 컴퓨팅 장치가 개체가 장면 도중에 가속하고 있다고 판단하면, 컴퓨팅 장치는 강도를 증가시키는 햅틱 피드백을 일으키는 제어 신호를 제공할 수 있다.
소정 구현예들에서, 컴퓨팅 장치는 비디오의 이미지 프로세싱 하나만을 사용하여 햅틱 피드백을 일으키는 제어 신호를 생성할 수 있다. 다른 구현예들에서, 컴퓨팅 장치는 센서 정보 하나만을 사용하여 햅틱 피드백을 일으키는 제어 신호를 생성할 수 있다. 또 다른 구현예들에서, 컴퓨팅 장치는 센서 정보와 이미지 프로세싱을 조합해서 사용하여 햅틱 피드백을 발생시키는 제어 신호를 생성할 수 있다.
이와 같은 혹은 다른 본 발명의 여러 가지 특징, 및 특성에 더하여, 제조의 경제성과 부분의 조합, 구조의 관련 요소의 기능 및 동작의 방법이, 같은 참조부호가 여러 도면에서 대응되는 부분을 지시하고, 본 명세서의 일부분을 구성하는, 첨부된 도면을 참조하여 첨부된 청구항 및 다음의 설명을 고려하면 한층 더 명백해질 것이다. 그러나, 도면은 단지 예시 및 설명의 목적만을 위한 것이며 본 발명의 제한을 정의하는 것으로서 의도되지 않는다는 것이 분명하게 이해될 것이다. 명세서 및 청구항에서 사용되는, "한(a)", "하나의(an)", 및 "상기(the)"라는 지시 형태는 문맥에서 명백히 다르게 의미를 지시하지 않는 이상 복수의 지시 대상을 포함한다.
도 1은 본 발명의 양태에 따라, 비디오 콘텐츠 분석에 기초하여 햅틱 피드백을 생성하도록 구성된 시스템을 도시.
도 2a는 본 발명의 양태에 따라, IMU 센서가 정지 이미지 캡처 장치에 의해 촬영되는 개체에 연결되고 개체의 모션이 햅틱 피드백을 생성하기 위해 IMU 센서에 의해 측정되고 있는 시나리오의 예를 도시.
도 2b는 본 발명의 양태에 따라, IMU 센서가 개체 및 이미지 캡처 장치에 연결되고 개체의 모션이 햅틱 피드백을 생성하기 위해 IMU 센서에 의해 측정되고 있는 시나리오의 예를 도시.
도 2c는 본 발명 양태에 따라, IMU 센서가 움직이는 이미지 캡처 장치에 의해 촬영되는 개체에 연결되고 개체의 모션이 햅틱 피드백을 생성하기 위해 IMU 센서에 의해 측정되고 있는 시나리오의 예를 도시.
도 3은 본 발명의 양태에 따라, 비디오 콘텐츠 분석에 기초하여 햅틱 피드백을 생성하도록 구성된 컴퓨팅 장치의 구현예들에 대한 예들을 도시.
도 4는 본 발명의 양태에 따라, 다양한 사용자 터치 포인트에 통합되는 햅틱 출력 장치의 구현예들에 대한 예들을 도시.
도 5는 본 발명의 양태에 따라, 비디오 콘텐츠 분석에 기초하여 햅틱 피드백을 생성하기 위한 프로세스의 예를 도시.
도 6은 본 발명의 양태에 따라, 비디오 상에 나타나는 개체의 모션에 대한 하나 이상의 측정을 포함하는 센서 정보에 기초하여 햅틱 피드백을 생성하기 위한 프로세스의 예를 도시.
본 개시는 비디오 콘텐츠 분석 및/또는 비디오 상에 나타나는 하나 이상의 개체의 모션에 대한 하나 이상의 측정을 포함하는 센서 정보, 및/또는 하나 이상의 이미지 캡처 장치의 모션에 대한 하나 이상의 측정을 포함하는 센서 정보에 기초하여 햅틱 피드백을 생성하는 시스템 및 방법에 관한 것이다.
도 1은 본 발명의 양태에 따라, 비디오 콘텐츠 분석에 기초하여 햅틱 피드백을 생성하도록 구성된 시스템(100)을 도시한다. 시스템(100)은 관성 측정 유닛(Inertial Measurement Unit, "IMU")센서(110), 이미지 캡처 장치(120), 컴퓨팅 장치(130), 컴퓨팅 장치(140), 비디오 출력 장치(141), 햅틱 출력 장치(143), 오디오 출력 장치(145), 및/또는 다른 구성요소들을 포함할 수 있다. 전술한 구성요소들 중에서 하나씩만이 도 1에 도시되어 있지만, 이러한 구성요소들은 하나가 넘게 사용될 수 있다. 예컨대, 하나 이상의 IMU 센서(110)가 사용될 수 있다. IMU 센서(110)는 개별적으로 상이한 주파수 및/또는 측정 범위에서 동작할 수 있다. 소정 구현예들에서, 서로 다른 IMU 센서(110)는 장면에 관한 상이한 개체 및/또는 상이한 이미지 캡처 장치(120)에 부착될 수 있다.
소정 구현예들에서, IMU 센서(110)는 3차원("3D") 자이로스코프(111), 3D 가속도계(113), 3D 자기력계(115), 및/또는 다른 센서 장치들(117)을 포함할 수 있다. 3D 자이로스코프(111), 3D 가속도계(113), 3D 자기력계(115), 및/또는 다른 센서 장치들(117)을 사용하여, IMU 센서(110)는 IMU 센서(110)의 모션에 대한 하나 이상의 측정을 포함하는 센서 정보(112)를 생성할 수 있다. 예컨대, IMU 센서(110)가 개체에 부착될 때, 3D 자이로스코프(111), 3D 가속도계(113), 3D 자기력계(115), 및/또는 다른 센서 장치들(117)은 개체의 모션을 측정할 수 있고 센서 정보(112)를 생성할 수 있는데, 이는 컴퓨팅 장치(130)에 전달될 수 있다. 소정 구현예들에서, 이미지 캡처 장치(120)는 비디오 카메라 및/또는 다른 이미지 또는 이미지 캡처 장치를 포함할 수 있다. 이미지 캡처 장치(120)는 하나 이상의 이미지를 캡처할 수 있고 비디오(122)를 생성할 수 있는데, 이는 컴퓨팅 장치(130)에 전달될 수 있다. 소정 구현예들에서, 하나 초과의 이미지 캡쳐 장치(120)는 장면 내의 동일한 또는 상이한 개체들을 여러 각도 및/또는 다른 뷰에서 촬영할 수 있다. 소정 구현예들에서, IMU 센서(110)는 이미지 캡처 장치의 모션을 획득하고 센서 정보(112) 내에 보고할 수 있도록 이미지 캡처 장치(120)에 부착될 수 있다. 소정 구현예들에서, 제1 IMU 센서(110)는 이미지 캡처 장치(120)에 부착될 수 있고 제2 IMU 센서(110)는 개체에 부착될 수 있다. 또 다른 IMU 센서(110)는 또 다른 개체 및/또는 다른 이미지 캡쳐 장치(120) 기타 등등에 부착될 수 있다.
소정 구현예들에서, 컴퓨팅 장치(130)는 나중에 컴퓨팅 장치(140)에 제공하기 위해 데이터베이스 내에 센서 정보(112) 및/또는 비디오(122)를 저장할 수 있다. 컴퓨팅 장치(130)는 컴퓨팅 장치(140)에 센서 정보(112) 및/또는 비디오(122)를 제공할 수 있다. 센서 정보(112) 및 비디오(122)가 제공되는 경우, 센서 정보(112)는 데이터를 수용할 수 있는 종래의 비디오 포맷을 사용하여 비디오(122) 내에 임베딩될 수 있다. 대안적으로, 컴퓨팅 장치(130)는 별도로 센서 정보(112) 및 비디오(122)를 제공할 수 있다. 소정 구현예들에서, 센서 정보(112) 및/또는 비디오(122)는, 컴퓨팅 장치(130) 및/또는 다른 장치에 의해 생성될 수 있는, 하나 이상의 판독가능 매체(132)의 형태로 컴퓨팅 장치(140)에 제공될 수 있다.
소정 구현예들에서, 컴퓨팅 장치(140)는 하나 이상의 컴퓨터 프로그램 모듈로 프로그래밍된 하나 이상의 프로세서(142)를 포함할 수 있고, 이는 하나 이상의 비-일시적 저장 매체(144) 내에 저장될 수 있다. 컴퓨팅 장치(140)는 비디오(122) 상에서 이미지 프로세싱을 수행하고/수행하거나 센서 정보(112)를 통합하여 비디오(122) 상에서의 이미지 프로세싱 및/또는 센서 정보(112)의 사용에 기초하여 햅틱 피드백을 일으키는 하나 이상의 제어 신호를 생성하도록 모듈에 의해 프로그래밍 될 수 있다.
모듈은 이미지 프로세싱 모듈(150), 센서 프로세싱 모듈(152), 이미지-기반 모션 추정 모듈(154), 센서-기반 모션 추정 모듈(156), 데이터 융합 모듈(158), 구성 관리 모듈(160), 제어 신호 생성 모듈(162), 합동 모듈(coordination module, 164), 및/또는 다른 모듈들을 포함할 수 있다.
소정 구현예들에서, 이미지 프로세싱 모듈(150)은 비디오(122) 상에서 비디오 콘텐츠 분석을 수행하도록 구성될 수 있다. 비디오(122)가 컴퓨팅 장치(130)로부터 스트리밍 되든지, 재생을 위해 다운로드 및 로컬 저장되든지, 매체(132)로부터 판독되든지, 및/또는 그렇지 않으면 다른 방식으로 획득되든지 간에, 이미지 프로세싱 모듈(150)은 하나 이상의 흥미있는 이벤트를 검출하기 위해 메모리 내에 비디오(122)를 버퍼링하여 비디오의 하나 이상의 이미지 프레임을 프로세싱 할 수 있다. 이벤트의 여러 종류들은 다양한 방법으로 검출될 수 있다.
소정 구현예들에서, 이미지 프로세싱 모듈(150)은 다른 이미지 프레임에 대한 한 이미지 프레임에 관하여 개체의 광학 흐름(optical flow)을 결정함으로써 소정 장면 내의 정지 개체에 관하여 움직임을 검출할 수 있다. 이러한 프로세싱은 비디오(122)을 생성하는 데 사용되는 이미지 캡처 장치가 모션을 취하고 있다는 것을 가리킬 수 있다. 이미지 프로세싱 모듈(150)은 이미지 프로세싱에 기초하여 모션의 속력을 결정할 수 있고, 이는 햅틱 피드백을 일으키는 제어 신호의 생성을 트리거할 수 있다. 이미지 프로세싱 모듈(150)은 본 기술 분야에서 통상의 지식을 가진 자에 의해 자명한 바와 같이, 종래의 광학 흐름 계산을 수행할 수 있다.
소정 구현예들에서, 이미지-기반 모션 추정 모듈(154)은 하나 이상의 비디오(122)를 사용하여 이미지 프로세싱에 기초하여 현장에 나타나는 개체의 모션에 대한 속력, 가속도, 및/또는 속도를 결정할 수 있다. 하나 초과의 비디오(122)를 사용하는 구현예들에서, 병렬 비디오 피드(video feeds)는 스테레오비젼(stereovision)을 위해 사용될 수 있거나, 그렇지 않으면 2 이상의 상이한 관점의 장면을 제공하기 위해 사용될 수 있고, 이는 비디오 피드 또는 관점을 더 적게 사용하는 것에 비해 모션 추정의 정확도를 향상시킬 수 있다. 개체의 모션에 대한 이러한 속력, 가속도 및/또는 속도는 제어 신호의 생성을 트리거하는 검출된 이벤트로서 포함될 수 있다.
소정 구현예들에서, 이미지 프로세싱 모듈(150)은 신체 부위(예컨대, 얼굴, 손 등)의 데이터베이스에 대한 비교에 기초하여 새로운 신체 부위가 소정 장면에 진입했다는 것을 검출할 수 있다. 새로운 신체 부위의 진입은 새로운 특징이 장면에 진입했다는 것을 가리킬 수 있고, 이는 햅틱 피드백을 일으키는 제어 신호의 생성을 트리거할 수 있다.
소정 구현예들에서, 이미지 프로세싱 모듈(150)은 (하나 이상의 이미지 프레임 내에 반영된 바와 같이) 한 장면에서 다음으로의 색 분포 또는 구성에 대한 변화를 검출할 수 있다. 예컨대, 이미지 프로세싱 모듈(150)은 연속된 프레임과 같은 다양한 색상 채도 명도(Hue Saturation Value, "HSV") 색상 히스토그램을 결정할 수 있고 그 HSV 색상 히스토그램이 한 프레임에서 다른 프레임으로 변화했는지 여부를 결정할 수 있다. HSV 색상 히스토그램이 변화한 경우, 이미지 프로세싱 모듈(150)은 새로운 개체 또는 그렇지 않으면 장면 내의 변화가 발생했다는 것을 결정할 수 있다.
소정 구현예들에서, 이미지 프로세싱 모듈(150)은, 잠재적으로 장면의 분위기 변화를 나타내는, 명에서 암으로 및 그 반대로의 전체적인 변화를 검출할 수 있고, 이는 햅틱 피드백을 일으키는 제어 신호의 생성을 트리거할 수 있다. 소정 구현예들에서, 장면의 분위기 변화는 햅틱 피드백이 분위기 변화에 기초하여 조정될 수 있도록 할 수 있다.
소정 구현예들에서, 이미지 프로세싱 모듈(150)은 종래의 이미지 프로세싱 및 분위기 검출 기술에 기초하여 소정 장면 내의 배우의 분위기 또는 감정을 검출할 수 있고, 이는 햅틱 피드백을 일으키는 제어 신호의 생성을 트리거할 수 있다.
소정 구현예들에서, 이미지 프로세싱 모듈(150)은 색상의 특정 패턴을 일으킬 수 있는 비디오 내의 화재, 폭발 및/또는 다른 사건을 검출할 수 있고, 이는 햅틱 피드백을 일으키는 제어 신호의 생성을 트리거할 수 있다. 소정 구현예들에서, 이미지 프로세싱 모듈(150)은 온스크린(on-screen)에 나타나는 특정 사람 또는 개체를 검출할 수 있다. 예컨대, 사용자는 특정 개체 또는 사람이 장면으로 진입할 때 햅틱 피드백이 제공되도록 지정할 수 있다.
이미지 프로세싱 모듈(150)은 이미지 프레임을 프로세싱할 때 전술한 검출 및/또는 다른 이벤트 검출 중 일부 또는 전부를 수행할 수 있다. 검출된 이벤트에 응답하여, 제어 신호 생성 모듈(162)은 햅틱 피드백을 일으키기 위한 하나 이상의 제어 신호를 생성할 수 있다. 제어 신호는 다양한 햅틱 효과를 일으킬 수 있는데, 이는 검출된 이벤트에 따라 다르다(예컨대, 더 빠른 이미지 캡처 장치 및/또는 개체 모션은 더 느린 이미지 캡처 장치 및/또는 개체 모션에 비해 햅틱 피드백의 크기 또는 다른 특징을 더 크게 일으키는 제어 신호를 발생시킬 수 있다). 또한, 이미지 프로세싱 모듈(150)은 검출된 이벤트의 다른 유형 및/또는 유형들의 조합에 대해 (상이한 햅틱 피드백을 일으키는) 상이한 제어 신호를 생성할 수 있다.
소정 구현예들에서, 센서 프로세싱 모듈(152)은 센서 정보(112)에 기초하여 센서-기반 이벤트를 검출하도록 구성될 수 있다. 예컨대, 센서-기반 이벤트는 개체, 사람, 이미지 캡처 장치(120)의 특정 모션, 및/또는 비디오(122)에 관한 다른 모션을 포함할 수 있다. 소정 구현예들에서, 센서-기반 모션 추정 모듈(156)은 센서 정보(112)의 프로세싱에 기초하여 움직임의 속력, 가속도, 속도, 및/또는 다른 특징을 결정하도록 구성될 수 있다. 센서-기반 이벤트는 햅틱 피드백을 제공하기 위해 생성되는 제어 신호를 일으킬 수 있다. 햅틱 피드백은 센서-기반 이벤트에 기초하여 달라질 수 있다. 특정 예로서, 개체의 모션이 검출되는 경우, 제어 신호가 생성되어 햅틱 피드백을 일으킬 수 있다. 이러한 햅틱 피드백은 검출된 모션의 레벨에 기초하여 달라질 수 있다.
소정 구현예들에서, 센서 프로세싱 모듈(152)은 센서 정보 및 비디오를 생성하기 위해 단일 장치를 사용했는지 여부(예컨대, 센서 및 이미지 캡처 장치를 모두 구비한 모바일 장치 또는 다른 장치가 비디오를 캡처하고 센서 정보를 수집하는 것 모두에 사용된 경우)에 기초하여 비디오(122)와 센서 정보(112)를 동기화할 수 있다. 비디오 및 센서 정보 모두를 캡처하는 데 단일 장치를 사용하면, 둘 모두는 통상적으로 단일 장치에 의해 동기화 될 것이다. 반면, 단일 장치가 센서 정보 및 비디오를 동기화하지 않으면, 센서 프로세싱 모듈(152)은 공통 시간 기준(예컨대, 위성 항법 시스템(Global Positioning System) 시간), 및/또는 본 명세서에 설명된 이벤트 검출을 사용하는 타임스탬프(timestamps)에 기초하여 둘을 동기화할 수 있다.
소정 구현예들에서, 도 2a 내지 2c에 대하여 더 설명되는 바와 같이, 데이터 융합 모듈(158)은 개체의 가속도 추정을 개선하기 위하여 이미지 프로세싱 모듈(150), 센서 프로세싱 모듈(152), 이미지-기반 모션 추정 모듈(154), 및/또는 센서-기반 모션 추정 모듈(156)로부터의 정보를 조합하도록 구성될 수 있어서, 이로써 가속도 추정에 응답하여 제공되는 햅틱 피드백의 품질을 향상시킬 수 있다.
소정 구현예들에서, 구성 관리 모듈(160)은 특정 이벤트의 검출에 응답하여 제공되어야 할 여러 햅틱 피드백 또는 햅틱 피드백의 레벨을 가리키는 사용자 선호 또는 다른 입력을 획득하도록 구성될 수 있다. 예컨대, 사용자는 햅틱 피드백 및/또는 햅틱 피드백의 레벨을 트리거하는 이벤트(있다면)를 식별 또는 지정할 수 있다. 이러한 방식으로, 사용자는 비디오 열람 및 햅틱 피드백 생성을 커스터마이즈(customize) 할 수 있다.
소정 구현예들에서, 제어 신호 생성 모듈(162)은 햅틱 피드백을 일으키는 하나 이상의 제어 신호를 생성하도록 구성될 수 있다. 제어 신호 생성 모듈(162)은 이미지 프로세싱 모듈(150), 센서 프로세싱 모듈(152), 이미지-기반 모션 추정 모듈(154), 센서-기반 모션 추정 모듈(156), 데이터 융합 모듈(158), 및/또는 구성 관리 모듈(160)에 의해 검출된 전술한 이벤트 또는 이들로부터의 출력에 응답하여 제어 신호를 생성할 수 있다. 소정 구현예들에서, 제어 신호 생성기(162)는 제어 신호에 응답하여 햅틱 피드백을 생성하는 하나 이상의 햅틱 출력 장치(143)에 대한 특정 구성(예컨대, 수, 유형, 위치 등)에 기초하여 제어 신호를 생성할 수 있다. 이러한 방식으로, 컴퓨팅 장치(140)는 여러 유형의 이벤트, 이벤트의 특징(예컨대, 소정 장면 내에 나타나는 개체의 추정 속력), 및/또는 사용자 선호/구성에 응답하여 다양한 유형의 햅틱 피드백을 용이하게 한다.
소정 구현예들에서, 합동 모듈(164)은 비디오 출력 장치(141), 햅틱 출력 장치(143), 및 오디오 출력 장치(145)로 각각 비디오 출력, 제어 신호 출력, 및 오디오 출력을 합동하도록 구성될 수 있다. 비디오 출력 장치(141)는 터치 스크린 디스플레이, 모니터, 및/또는 비디오 출력을 디스플레이 할 수 있는 다른 디스플레이와 같은 디스플레이를 포함할 수 있다. 소정 구현예들에서, 합동 모듈(164)은 비디오(122)로 임베딩된 동기화 코드에 따라 및/또는 비디오 출력, 오디오 출력, 및 햅틱 피드백 각각을 출력하기 위한 시간을 일반적으로 설정하는 타임 스탬프를 통해, 비디오 출력, 제어 신호(예컨대, 제어 신호에 의해 일으켜진 햅틱 피드백), 및 오디오 출력을 동기화할 수 있다.
햅틱 출력 장치(143)는 액추에이터를 포함할 수 있는데, 예컨대, 편심 질량이 모터에 의해 움직이는 편심 회전 질량(Eccentric Rotating Mass, "ERM"), 스프링에 부착된 질량체가 앞뒤로 구동되는 선형 공진 액추에이터(Linear Resonant Actuator, "LRA"), 또는 압전 재료, 전기-활성 고분자 또는 형상 기억 합금과 같은 "스마트 재료"와 같은 전자기 액추에이터, 매크로-복합 섬유 액추에이터, 정전기 액추에이터, 전자-촉각 액추에이터, 및/또는 햅틱(예컨대, 진동촉각) 피드백과 같은 물리적 피드백을 제공하는 다른 유형의 액추에이터가 있다. 햅틱 출력 장치(143)는 정전기 마찰(electrostatic friction, ESF), 초음파 표면 마찰(ultrasonic surface friction, USF)을 사용하는 것, 또는 초음파 햅틱 변환기로 음향 복사 압력(acoustic radiation pressure)을 유도하는 것, 또는 햅틱 기재(substrate) 및 유연한 또는 변형 가능한 표면을 사용하는 것, 또는 에어 제트를 사용한 공기 퍼프(a puff of air)와 같은 투사(projected) 햅틱 출력을 제공하는 것 등과 같은 비-기계적 또는 비-진동 장치를 포함할 수 있다.
오디오 출력 장치(145)는 스피커 또는 오디오를 방출할 수 있는 다른 장치들을 포함할 수 있다. 소정 구현예들에서, 비디오 출력 장치(141), 햅틱 출력 장치(143), 및/또는 오디오 출력 장치(145)는 컴퓨팅 장치(140)에 통합될 수 있다. 소정 구현예들에서, 비디오 출력 장치(141), 햅틱 출력 장치(143), 및/또는 오디오 출력 장치(145)는 컴퓨팅 장치(140)로부터 별도로 하우징될 수 있다.
소정 구현예들에서, 컴퓨팅 장치(130)는 컴퓨팅 장치(140)에 관하여 논의된 모듈로 프로그래밍될 수 있다. 따라서, 컴퓨팅 장치(140)에 관하여 상술한 기능들 중 적어도 일부 또는 전부는 컴퓨팅 장치(130)에서 수행될 수 있다. 예컨대, 컴퓨팅 장치(130)는 제공된 비디오가 제공된 비디오와 동기화될 수 있는 제어 신호를 통해 향상되도록, 컴퓨팅 장치(130)가 생성하고/생성하거나 그렇지 않으면 제공하는 비디오 상에서 이미지 프로세싱을 수행할 수 있다. 이러한 방식으로, 비디오를 소비하는 사용자 장치 및 제어 신호는 비디오가 디스플레이 되도록 할 수 있고 동기화된 햅틱 피드백이 생성되도록 할 수 있다.
비-일시적 저장 매체(144)는, 예컨대, 포트(예컨대, USB 포트, 파이어와이어(firewire) 포트 등) 또는 드라이브(예컨대, 디스크 드라이브 등)을 통해 컴퓨팅 장치(140)에 착탈식으로 연결가능한 착탈식 저장장치 및/또는 컴퓨팅 장치(140)에 일체로(즉, 실질적으로 비-착탈식인) 제공되는 시스템 저장장치 중 하나 또는 모두를 포함할 수 있다. 비-일시적 저장 매체(144)는 광학적으로 판독가능한 저장 매체(예컨대, 광학 디스크 등), 자기적으로 판독가능한 저장 매체(예컨대, 자기 테이프, 자기 하드 드라이브, 플로피 드라이브 등), 전기적 전하-기반 저장 매체(예컨대, EEPROM, RAM 등), 솔리드-스테이트(solid-state) 저장 매체(예컨대, 플래시 드라이브 등), 및/또는 다른 전자적으로 판독가능한 저장 매체 중 하나 이상을 포함할 수 있다. 비-일시적 저장 매체(144)는 하나 이상의 가상 스토리지(storage) 자원(예컨대, 클라우드 스토리지, 가상 사설 네트워크, 및/또는 다른 가상 스토리지 자원)를 포함할 수 있다. 비-일시적인 저장 매체(144)는 소프트웨어 알고리즘, 프로세서(들)에 의해 결정된 정보(142), 컴퓨팅 장치(140)로부터 수신된 정보, 및/또는 컴퓨팅 장치(140)가 본 명세서에서 설명된 기능을 하게 할 수 있는 다른 정보를 저장할 수 있다.
프로세서(들)(142)는 컴퓨팅 장치(140) 내의 정보 프로세싱 기능(capabilities)을 제공하도록 구성된다. 이와 같이, 프로세서(들)(142)는 디지털 프로세서, 아날로그 프로세서, 정보를 프로세싱 하도록 설계된 디지털 회로, 정보를 프로세싱하도록 설계된 아날로그 회로, 스테이트 머신(state machine), 및/또는 전자적으로 정보를 프로세싱 하기 위한 다른 메커니즘 중 하나 이상을 포함할 수 있다. 프로세서(들)(142)가 단일 독립체로서 도 1에 도시되어 있지만, 이는 단지 설명을 위한 목적일 뿐이다. 소정 구현예들에서, 프로세서(들)(142)는 복수의 프로세싱 유닛을 포함할 수 있다. 이러한 프로세싱 유닛은 물리적으로 동일한 장치 내에서 위치될 수 있거나, 프로세서(들)(142)는 합동으로 동작하는 복수의 장치의 프로세싱 기능(functionality)을 나타낼 수 있다. 프로세서(들)(142)는 소프트웨어; 하드웨어; 펌웨어; 소프트웨어, 하드웨어, 및/또는 펌웨어의 소정 조합; 및/또는 프로세서(들)(142) 상의 프로세싱 기능을 구성하기 위한 다른 메커니즘들에 의해 모듈을 실행하도록 구성될 수 있다.
본 명세서에 설명된 다양한 모듈은 단지 예시일 뿐이다. 다른 구성 및 숫자의 모듈이 사용될 수 있을 뿐만 아니라, 하나 이상의 물리적 프로세서가 본 명세서에 설명된 기능을 수행하도록 프로그래밍 되기만 하면 비-모듈(non-modular) 접근방식도 사용할 수 있다. 모듈(150, 152, 154, 156, 158, 160, 162, 및 164)가 단일 프로세싱 유닛 내에서 공동-위치된 것으로서 도 1에 도시되어 있지만, 프로세서(들)(142)이 다수의 프로세싱 유닛을 포함하는 구현예들에서, 하나 이상의 모듈이 다른 모듈로부터 원격 위치될 수 있다는 것이 이해되어야 한다. 본 명세서에 설명된 다양한 모듈들에 의해 제공되는 기능의 설명은 예시적인 목적이며, 제한적인 것을 의도하지 않으므로, 임의의 모듈이 설명된 것보다 더 많거나 더 적은 기능을 제공할 수 있다. 예컨대, 모듈들 중 하나 이상이 제거될 수 있고, 그 기능의 일부 또는 전부가 모듈 중 다른 것들에 의해 제공될 수 있다. 다른 예로서, 프로세서(들)(142)는 모듈 중 하나에 속하는 기능의 일부 또는 전부를 수행할 수 있는 하나 이상의 추가적인 모듈을 실행하도록 구성될 수 있다.
도 1에 도시된 구성요소는 네트워크와 같은 다양한 통신 링크를 통해 서로 통신가능하게 연결될 수 있다. 네트워크는 유선 또는 무선 연결을 포함할 수 있다. 본 발명의 소정 양태들에서, 네트워크는, 예컨대, 인터넷, 인트라넷, PAN(개인 영역 네트워크), LAN(로컬 영역 네트워크), WAN(광역 네트워크), SAN(스토리지 영역 네트워크), MAN(메트로폴리탄 영역 네트워크), 무선 네트워크, 셀룰러 통신 네트워크, 공중 교환 전화망, 및/또는 다른 네트워크를 중 임의의 하나 또는 그 이상을 포함할 수 있다.
저장되어 있거나 저장 가능한 것으로서 본 명세서에 설명된 각종 입력, 출력, 구성 및/또는 다른 정보는 하나 이상의 데이터베이스 내에 저장될 수 있다(도 1에 도시되지 않음). 이러한 데이터베이스는, 예컨대, 오라클 코퍼레이션에서 상업적으로 판매하는 오라클™(Oracle™) 관계형 데이터베이스일 수 있거나, 이를 포함할 수 있거나, 또는 이에 대한 인터페이스일 수 있다. OLAP(온라인 분석 처리, On Line Analytical Processing), SQL(표준 쿼리 언어), SAN(스토리지 영역 네트워크), 마이크로소프트 액세스™(Microsoft Access™) 또는 다른 것들과 같은 파일-기반, 또는 쿼리 형식, 플랫폼, 또는 자원을 포함하는, 인포믹스™(Informix™), DB2(데이터베이스 2) 또는 다른 데이터 저장장치와 같은, 다른 데이터베이스가 또한 사용될 수 있거나, 통합될 수 있거나, 또는 액세스될 수 있다. 데이터베이스는 하나 이상의 물리적 장치 및 하나 이상의 물리적 장소에 상주하는 하나 이상의 이러한 데이터베이스를 포함할 수 있다. 데이터베이스는 복수의 유형의 데이터 및/또는 파일 및 연관 데이터 또는 파일 설명, 행정 정보, 또는 임의의 다른 데이터를 저장할 수 있다.
도 2a는 본 발명의 양태에 따라, IMU 센서(110)가 정지 이미지 캡처 장치(120)에 의해 촬영되는 개체(202A)에 연결되고 개체(202A)의 모션이 개체(202A)의 가속도 추정을 향상시키기 위해 IMU 센서(110)에 의해 측정되고 있는 시나리오(200A)의 예를 도시한다.
흥미있을 수 있는, 이미지 캡처 장치 프레임 정보 및 개체(202A)의 기본 지식을, 종래의 컴퓨터 비전 접근방식을 사용하여 고정된 이미지 캡처 장치 참조 내의 그 3D 움직임 및 그 위치를 추정하기 위해 사용할 수 있다. 개체(202A)에 부착된 IMU 센서(110)는 이미지 캡처 장치(120)에 의해 제공된 데이터를 사용하여 보다 정확하게 이루어질 관성 데이터 추정을 제공할 수 있다.
햅틱 피드백을 제공하기 위한 기준으로서 사용되는 개체(202A)는 사전에 사용자에 의해 선택될 수 있다. 이미지-기반 모션 추정 모듈(154)은 종래의 템플릿 매칭 접근방식(예컨대, 광학 흐름, 지향 기울기 히스토그램(Histogram of Oriented Gradients, HOG), 3D 모델 포즈 추정 등)을 사용하여 2 이상의 연속적 이미지 내의 개체(202A)(주어진 그 특징 또는 그 특성 포인트의 일부)를 검출함으로써 개체(202A)의 가속도를 결정할 수 있다. 소정 구현예들에서, 데이터 융합 모듈(158)은 센서-기반 모션 추정(156)에 의해 추정된 개체(202A)의 모션과 이미지-기반 모션 추정 모듈(154)에 의해 추정된 개체(202A)의 모션을 조합함으로써 개체(202A)의 모션을 결정할 수 있다.
도 2b는 본 발명의 양태에 따라, IMU 센서(110)가 개체(202B) 및 이미지 캡처 장치(120)에 연결되고 개체(202B)의 모션이 개체(202B)의 가속도 추정을 향상시키기 위해 IMU 센서(110)에 의해 측정되고 있는 시나리오(200B)의 예를 도시한다.
이미지-기반 모션 추정 모듈(154)은 컴퓨터 비전 알고리즘을 적용하여 장면 내의 소정 시각적 고정 불변(invariant) 특징을 사용하는 연속적인 프레임으로부터 3D 카메라 포즈(고정 참조 내의 위치 및 방향)를 추정할 수 있다. 카메라 포즈를 추정하는 것은 이 경우에 개체 포즈를 추정하는 것과 동등할 수 있다. 추정된 데이터는 데이터 융합 모듈(158)을 사용하여 더욱 정확하게 만들기 위해 개체(202B)에 부착된 IMU 센서(110)에 의해 제공되는 것과 조합될 수 있다.
햅틱 피드백이 이미지 캡처 장치(120)의 움직임에 대한 것이면, 유일한 이미지 캡처 장치의 고유 파라미터를 사용할 수 있다. 이미지-기반 모션 추정 모듈(154)은 장면 내의 소정 불변 정지 특성(예컨대, 스케일 불변 특징 변환, 스피드 업 강력 기능 등)에 대한 광학 흐름을 결정할 수 있다. 이미지 캡처 장치(120)/개체(202B)의 움직임은 계산된 광학 흐름의 역수일 것이다.
도 2c는 본 발명 양태에 따라, IMU 센서(110)가 움직이는 이미지 캡처 장치(120)에 의해 촬영되는 개체(202C)에 연결되고 개체(202C)의 모션이 햅틱 피드백을 생성하기 위해 IMU 센서(110)에 의해 측정되고 있는 시나리오(200C)의 예를 도시한다. 소정 구현예들에서 (도 2c에 도시되지 않음) IMU 센서(110)는 이미지 캡처 장치(120)에 연결되어 그 모션의 하나 이상의 측정을 제공할 수 있다.
이미지-기반 모션 추정 모듈(154)은 컴퓨터 비전 알고리즘을 적용하여 장면 내의 소정 시각적 고정 불변 특징을 사용하는 연속적인 프레임으로부터 3D 카메라 포즈(고정 참조 내의 위치 및 방향)를 추정할 수 있다. 이미지 캡처 장치 프레임 정보 및 개체(202C)의 특징에 대한 기본 지식을, 컴퓨터 비전 접근방식을 사용하여 이미지 캡처 장치 참조 내의 그 3D 움직임 및 그 위치를 추정하기 위해 사용할 수 있다. 그런 다음 개체 위치 및 움직임은 글로벌 고정 참조로 번역될 수 있고 데이터 융합 모듈(158)을 사용하여 IMU(110)로부터의 센서 정보와 함께 융합될 수 있다.
이미지 캡처 장치의 고유 파라미터 및 비디오 피드 내의 개체/사람의 특징이 사용될 수 있고, 이에 대해 햅틱 피드백이 생성될 것이다. 이미지-기반 모션 추정 모듈(154)은 장면 내의 일부 불변 정지 특징에 대한 광학 흐름을 계산함으로써 이미지 캡처 장치(120)의 움직임을 결정할 수 있다. IMU 센서(110)가 이미지 캡처 장치(120)에 연결된다면 데이터 융합 모듈(158)을 사용하여 이러한 움직임은 더 높은 정확도로 추정될 수 있다. 템플릿 매칭에 의해, IMU 센서가 장면 내의 개체(202C)의 상대적인 움직임을 추정할 수 있는 장치(120)에 연결된다면, 데이터 융합 모듈(158)을 사용하여, 이러한 움직임은 더 높은 정확도로 추정될 수 있다. 양쪽 값을 상관시킴으로써, 그런 다음 고정 참조 내의 움직임이 평가된다.
도 3은 본 발명의 양태에 따라, 비디오 콘텐츠 분석에 기초하여 햅틱 피드백을 생성하도록 구성된 컴퓨팅 장치(140)의 구현예들에 대한 예들을 도시한다. 컴퓨팅 장치(140A)는 집적 비디오 출력 장치(141)(예컨대, 터치 스크린 디스플레이), 집적 햅틱 출력 장치(143), 및 집적 오디오 출력 장치(145)를 구비하는 스마트폰과 같은 모바일 장치로서 구성될 수 있다. 이 구현예에서, 컴퓨팅 장치(140A)를 사용하여 모바일 장치를 통해 햅틱 피드백을 수신하면서 비디오 콘텐츠를 볼 수 있다. 소정 구현예들에서, 외부 햅틱 장치 또한 유선 또는 무선 접속을 통해 컴퓨팅 장치(140A)에 연결될 수 있다.
컴퓨팅 장치(140B)는 집적 햅틱 출력 장치(143), 및 집적 오디오 출력 장치(145)를 구비하는 랩톱 컴퓨터와 같은 휴대용 컴퓨팅 장치로서 구성될 수 있다. 이 구현예에서, 컴퓨팅 장치(140B)를 사용하여 휴대용 컴퓨팅 장치를 통해 햅틱 피드백을 수신하면서 비디오 콘텐츠를 볼 수 있다. 소정 구현예들에서, 외부 햅틱 장치 또한 유선 또는 무선 접속을 통해 컴퓨팅 장치(140B)에 연결될 수 있다.
컴퓨팅 장치(140C)는 데스크톱 컴퓨터, 게임 콘솔, 또는 다른 독립형 컴퓨팅 장치와 같은 독립형 컴퓨팅 장치로서 구성될 수 있다. 이 구현예에서, 컴퓨팅 장치(140C)는 별도의 비디오 출력 장치(141), 별도의 오디오 출력 장치(145), 및 햅틱 출력 장치(143)를 하우징할 수 있는 별도의 사용자 터치 포인트(302)에 연결될 수 있다.
도 4는 본 발명의 양태에 따라, 다양한 사용자 터치 포인트(302)에 통합되는 햅틱 출력 장치(143)의 구현예들에 대한 예들을 도시한다. 예컨대, 터치 포인트(302A 및 302B)는 웨어러블 안경(wearable glasses) 및 웨어러블 의류(wearable garments)과 같은 웨어러블 장치로서 구성될 수 있다. 다른 유형의 웨어러블 장치 또한 사용될 수 있다. 터치 포인트(302C)는 햅틱 출력 장치(143)(햅틱 출력 장치(143A, 143B, ...143C)로서 도 4에 도시됨)를 포함하는 다양한 사용자 장치로서 구성될 수 있고, 이는 스마트폰, 키보드, 마우스, 게임 컨트롤러, 및/또는 다른 사용자 장치와 같은 장치를 포함할 수 있다.
도 5는 본 발명의 양태에 따라, 비디오 콘텐츠 분석에 기초하여 햅틱 피드백을 생성하기 위한 프로세스(500)의 예를 도시한다. 도 5의 순서도 및 다른 도면들에 도시된 다양한 프로세싱 동작이 본 명세서에서 더 상세하게 설명된다. 설명된 동작은 위에서 상세히 설명된 시스템 구성요소의 일부 또는 전부를 사용하여 달성될 수 있다. 본 발명의 양태에 따르면, 다양한 동작들은 상이한 순서로 수행될 수 있다. 다른 구현예들에서, 추가적인 동작이 도 5 및 다른 도면들에 도시된 동작의 일부 또는 전부와 함께 수행될 수 있거나, 일부 동작들은 생략될 수 있다. 또 다른 구현예들에서, 하나 이상의 동작이 동시에 수행될 수 있다. 따라서, 도시된 바와 같은 동작(아래에서 더 상세히 설명됨)은 사실상 예시에 해당하고, 이러한 것은 제한으로서 간주되어서는 안된다.
동작(502)에서, 하나 이상의 이미지 프레임을 갖는 비디오를 획득할 수 있고, 이는 캡처하는 것 및/또는 판독하는 것을 포함할 수 있다. 동작(504)에서, 이미지 프로세싱이 하나 이상의 이미지 프레임 상에서 수행될 수 있다. 동작(506)에서, 이미지 프로세싱에 기초한 이벤트가 검출될 수 있다. 동작(508)에서, 검출된 이벤트에 기초한 제어 신호가 제공될 수 있다. 제어 신호는 햅틱 출력 장치가 햅틱 피드백을 제공하도록 할 수 있다. 따라서, 햅틱 피드백은 비디오 상에서 수행되고 있는 이미지 프로세싱에 기초하여 생성될 수 있다.
도 6은 본 발명의 양태에 따라, 비디오 상에 나타나는 개체의 모션에 대한 하나 이상의 측정을 포함하는 센서 정보에 기초하여 햅틱 피드백을 생성하기 위한 프로세스(600)의 예를 도시한다.
동작(602)에서, 비디오 및 비디오와 연관된 센서 정보를 획득할 수 있고, 이는 캡처하는 것 및/또는 판독하는 것을 포함할 수 있다. 센서 정보는 비디오에 관하여 캡처된 모션에 대한 하나 이상의 측정을 포함할 수 있다. 모션은 개체의 모션, 비디오를 캡처하는 동안 움직이고 있는 이미지 캡처 장치의 모션, 및/또는 비디오에 관하여 측정될 수 있는 다른 동작을 포함할 수 있다.
동작(604)에서, 센서 정보에 기초한 제어 신호가 생성될 수 있다. 제어 신호는 햅틱 피드백을 일으키도록 구성될 수 있다. 소정 구현예들에서, 제어 신호는 비디오의 이미지 프로세싱의 출력 및 센서 정보에 기초할 수 있다.
동작(606)에서, 제어 신호는 비디오에 관하여 캡쳐된 모션과 동기화되어 제공될 수 있다.
본 발명의 다른 양태, 용도 및 이점은 본 명세서에 개시된 발명의 명세서 및 실시형태를 고려하면 본 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다. 명세서는 단지 예시적인 것으로 간주되어야 하고, 발명의 범위는 따라서 다음의 청구항에 의해서만 제한되도록 의도된다.

Claims (24)

  1. 비디오 이미지 프로세싱에 기초하여 햅틱 피드백을 제공하는 컴퓨터 구현 방법(computer-implemented method)으로서,
    상기 방법은 컴퓨터 프로그램 모듈로 프로그래밍 된 프로세서를 구비하는 컴퓨팅 장치상에 구현되고,
    상기 방법은,
    하나 이상의 이미지 프레임을 포함하는 하나 이상의 비디오를 판독하는 단계;
    상기 하나 이상의 이미지 프레임 상에서 이미지 프로세싱을 수행하는 단계;
    상기 이미지 프로세싱에 기초하여 이벤트를 검출하는 단계; 및
    상기 검출된 이벤트에 기초하여 제어 신호를 제공하는 단계 - 상기 제어 신호는 햅틱 피드백을 일으키도록 구성됨 -
    를 포함하는, 컴퓨터 구현 방법.
  2. 제1항에 있어서, 상기 이벤트를 검출하는 단계는,
    하나 이상의 유형의 이벤트를 검출하는 단계를 포함하고,
    상기 하나 이상의 유형의 이벤트는, 이미지 캡처 장치 움직임, 개체의 외관, 신체 부위의 외관, 폭발(explosion), 이동 개체, 특정 인식가능 이미지 특징(particular recognizable image feature), 얼굴 표정, 몸짓, 또는 장면 테마를 포함하는, 컴퓨터 구현 방법.
  3. 제2항에 있어서, 상기 방법은,
    검출되었을 때 상기 제어 신호를 제공하게 하는 적어도 한 유형의 이벤트를 특정하는 하나 이상의 사용자 선호(preferences)를 수신하는 단계를 더 포함하고,
    상기 제어 신호를 제공하는 단계는,
    상기 하나 이상의 사용자 선호에 의해 특정된 상기 하나 이상의 유형의 이벤트가 검출되었을 때 상기 제어 신호를 제공하는 단계를 포함하는, 컴퓨터 구현 방법.
  4. 제1항에 있어서, 상기 방법은,
    햅틱 출력 장치에 의해, 상기 제어 신호에 기초하여 상기 햅틱 피드백을 생성하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  5. 제4항에 있어서, 상기 방법은,
    상기 햅틱 피드백과 합동하여 상기 하나 이상의 비디오를 디스플레이되도록 하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  6. 제1항에 있어서, 상기 방법은,
    상기 제어 신호가 상기 하나 이상의 비디오 내에서 임베딩되지 않도록 실시간으로 상기 이벤트를 검출하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  7. 제1항에 있어서, 상기 방법은,
    상기 제어 신호를 상기 하나 이상의 비디오 내에 임베딩하는 단계; 및
    상기 하나 이상의 비디오를 원격 장치에 전달하는 단계를 더 포함하고, 상기 하나 이상의 비디오 및 상기 햅틱 피드백은 상기 원격 장치에서 제공되는, 컴퓨터 구현 방법.
  8. 제1항에 있어서, 상기 방법은,
    상기 하나 이상의 이미지 프레임과 연관된 센서 정보를 획득하는 단계를 더 포함하고, 상기 제공된 제어 신호는 추가로 상기 센서 정보에 기초하는 것인, 컴퓨터 구현 방법.
  9. 제8항에 있어서, 상기 하나 이상의 이미지 프레임은 상기 하나 이상의 이미지 프레임 상에서 캡처된 개체를 포함하고 상기 획득된 센서 정보는 상기 개체의 모션(motion)에 대한 하나 이상의 센서 측정에 관한 것인, 컴퓨터 구현 방법.
  10. 제9항에 있어서, 상기 방법은,
    상기 하나 이상의 이미지 프레임에 기초한 상기 개체의 모션에 대한 제1 추정 및 상기 하나 이상의 센서 측정에 기초한 상기 개체의 모션에 대한 제2 추정을 생성하는 단계; 및
    상기 개체의 모션에 대한 제1 추정을 상기 개체의 모션에 대한 제2 추정으로 업데이트하거나, 상기 개체의 모션에 대한 제2 추정을 상기 개체의 모션에 대한 제1 추정으로 업데이트하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  11. 제8항에 있어서, 상기 획득된 센서 정보는 상기 하나 이상의 비디오를 캡처하기 위해 사용되는 이미지 캡처 장치의 모션에 대한 하나 이상의 센서 측정에 관한 것인, 컴퓨터 구현 방법.
  12. 제11항에 있어서, 상기 방법은,
    상기 하나 이상의 이미지 프레임에 기초한 상기 이미지 캡처 장치의 모션에 대한 제1 추정 및 상기 하나 이상의 센서 측정에 기초한 상기 이미지 캡처 장치의 모션에 대한 제2 추정을 생성하는 단계; 및
    상기 이미지 캡처 장치의 모션에 대한 제1 추정을 상기 이미지 캡처 장치의 모션에 대한 제2 추정으로 업데이트하거나, 상기 이미지 캡처 장치의 모션에 대한 제2 추정을 상기 이미지 캡처 장치의 모션에 대한 제1 추정으로 업데이트하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  13. 제8항에 있어서, 상기 획득된 센서 정보는 상기 하나 이상의 비디오상에 나타나는 개체의 모션에 대한 하나 이상의 제1 센서 측정 및 상기 하나 이상의 비디오를 캡처하기 위해 사용되는 이미지 캡처 장치의 모션에 대한 하나 이상의 제2 센서 측정을 포함하는, 컴퓨터 구현 방법.
  14. 제13항에 있어서, 상기 방법은,
    상기 하나 이상의 이미지 프레임 및 상기 하나 이상의 제1 센서 측정에 기초하여 상기 이미지 캡처 장치의 모션에 대한 추정을 생성하는 단계;
    상기 하나 이상의 이미지 프레임 및 상기 하나 이상의 제2 센서 측정에 기초하여 상기 개체의 모션에 대한 추정을 생성하는 단계;
    상기 이미지 캡처 장치의 모션에 대한 추정 및 상기 개체의 모션에 대한 추정에 기초하여 상기 개체의 모션에 대한 추정을 업데이트하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  15. 제1항에 있어서, 상기 방법은,
    상기 하나 이상의 이미지 프레임과 연관된 센서 정보를 획득하는 단계; 및
    상기 센서 정보에 기초하여 제2 제어 신호를 제공하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  16. 비디오와 상관되는 센서 정보에 기초하여 햅틱 피드백을 제공하는 컴퓨터 구현 방법으로서, 상기 방법은 컴퓨터 프로그램 모듈로 프로그래밍 된 프로세서를 구비하는 컴퓨팅 장치상에 구현되고,
    상기 방법은,
    하나 이상의 비디오 및 상기 하나 이상의 비디오와 연관된 센서 정보를 판독하는 단계 - 상기 센서 정보는 상기 하나 이상의 비디오에 관하여 캡처된 모션에 대한 하나 이상의 측정을 포함함 -;
    상기 센서 정보에 기초하여 제어 신호를 생성하는 단계 - 상기 제어 신호는 햅틱 피드백을 일으키도록 구성됨 -; 및
    상기 하나 이상의 비디오에 관하여 캡처된 모션과 동기화(synchronization)된 상기 제어 신호를 제공하는 단계를 포함하고,
    하는, 컴퓨터 구현 방법.
  17. 제16항에 있어서, 상기 하나 이상의 비디오는 상기 하나 이상의 비디오 상에서 캡처된 개체를 포함하는 하나 이상의 이미지 프레임을 포함하고, 상기 모션은 상기 개체의 모션을 포함하는, 컴퓨터 구현 방법.
  18. 제17항에 있어서, 상기 방법은,
    상기 하나 이상의 이미지 프레임에 기초한 상기 개체의 모션에 대한 제1 추정 및 상기 하나 이상의 센서 측정에 기초한 상기 개체의 모션에 대한 제2 추정을 생성하는 단계; 및
    상기 개체의 모션에 대한 제1 추정을 상기 개체의 모션에 대한 제2 추정으로 업데이트하거나, 상기 개체의 모션에 대한 제2 추정을 상기 개체의 모션에 대한 제1 추정으로 업데이트하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  19. 제16항에 있어서, 상기 모션은 상기 하나 이상의 비디오를 캡처하기 위해 사용되는 이미지 캡처 장치의 모션을 포함하는, 컴퓨터 구현 방법.
  20. 제19항에 있어서, 상기 방법은,
    상기 하나 이상의 이미지 프레임에 기초한 상기 이미지 캡처 장치의 모션에 대한 제1 추정 및 상기 하나 이상의 센서 측정에 기초한 상기 이미지 캡처 장치의 모션에 대한 제2 추정을 생성하는 단계; 및
    상기 이미지 캡처 장치의 모션에 대한 제1 추정을 상기 이미지 캡처 장치의 모션에 대한 제2 추정으로 업데이트하거나, 상기 이미지 캡처 장치의 모션에 대한 제2 추정을 상기 이미지 캡처 장치의 모션에 대한 제1 추정으로 업데이트하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  21. 제16항에 있어서, 상기 획득된 센서 정보는 상기 하나 이상의 비디오상에 나타나는 개체의 모션에 대한 하나 이상의 제1 센서 측정 및 상기 하나 이상의 비디오를 캡처하기 위해 사용되는 이미지 캡처 장치의 모션에 대한 하나 이상의 제2 센서 측정을 포함하는, 컴퓨터 구현 방법.
  22. 제21항에 있어서, 상기 하나 이상의 비디오는 상기 하나 이상의 비디오 상에서 캡처된 개체를 포함하는 하나 이상의 이미지 프레임을 포함하고,
    상기 방법은,
    상기 하나 이상의 이미지 프레임 및 상기 하나 이상의 제1 센서 측정에 기초하여 상기 이미지 캡처 장치의 모션에 대한 추정을 생성하는 단계;
    상기 하나 이상의 이미지 프레임 및 상기 하나 이상의 제2 센서 측정에 기초하여 상기 개체의 모션에 대한 추정을 생성하는 단계;
    상기 이미지 캡처 장치의 모션에 대한 추정 및 상기 개체의 모션에 대한 추정에 기초하여 상기 개체의 모션에 대한 추정을 업데이트하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  23. 비디오 이미지 프로세싱에 기초하여 햅틱 피드백을 제공하는 시스템으로서, 상기 시스템은 프로세서를 포함하고, 상기 프로세서는,
    하나 이상의 이미지 프레임을 포함하는 하나 이상의 비디오를 판독하고;
    상기 하나 이상의 이미지 프레임 상에서 이미지 프로세싱을 수행하고;
    상기 이미지 프로세싱에 기초하여 이벤트를 검출하고; 및
    상기 검출된 이벤트에 기초하여 제어 신호를 제공 - 상기 제어 신호는 햅틱 피드백을 일으키도록 구성됨 - 하도록 구성되는, 햅틱 피드백 제공 시스템.
  24. 비디오와 상관되는 센서 정보에 기초하여 햅틱 피드백을 제공하는 시스템으로서, 상기 시스템은 프로세서를 포함하고, 상기 프로세서는,
    하나 이상의 비디오 및 상기 하나 이상의 비디오와 연관된 센서 정보를 판독하고 - 상기 센서 정보는 상기 하나 이상의 비디오에 관하여 캡처된 모션에 대한 하나 이상의 측정을 포함함 -;
    상기 센서 정보에 기초하여 제어 신호를 생성하고 - 상기 제어 신호는 햅틱 피드백을 일으키도록 구성됨 -; 및
    상기 하나 이상의 비디오에 관하여 캡처된 모션과 동기화된 상기 제어 신호를 제공하도록 구성되는, 햅틱 피드백 제공 시스템.
KR1020140030098A 2013-03-15 2014-03-14 비디오 콘텐츠 분석으로부터 햅틱 피드백을 생성하는 방법 및 기기 KR20140113495A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/843,092 2013-03-15
US13/843,092 US9064385B2 (en) 2013-03-15 2013-03-15 Method and apparatus to generate haptic feedback from video content analysis

Publications (1)

Publication Number Publication Date
KR20140113495A true KR20140113495A (ko) 2014-09-24

Family

ID=50478171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140030098A KR20140113495A (ko) 2013-03-15 2014-03-14 비디오 콘텐츠 분석으로부터 햅틱 피드백을 생성하는 방법 및 기기

Country Status (5)

Country Link
US (3) US9064385B2 (ko)
EP (2) EP2779675B1 (ko)
JP (2) JP6456593B2 (ko)
KR (1) KR20140113495A (ko)
CN (2) CN104049749B (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
US9703379B2 (en) 2013-08-20 2017-07-11 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US10248206B2 (en) 2013-08-20 2019-04-02 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
JP6589635B2 (ja) * 2013-09-06 2019-10-16 ソニー株式会社 撮像装置および方法、並びにプログラム
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9426539B2 (en) * 2013-09-11 2016-08-23 Intel Corporation Integrated presentation of secondary content
US9112940B2 (en) * 2013-11-25 2015-08-18 VideoGorillas LLC Correlating sensor inputs with content stream intervals and selectively requesting and transmitting content streams
CN106537291A (zh) 2014-07-07 2017-03-22 意美森公司 第二屏幕触觉
US9719759B2 (en) * 2014-09-19 2017-08-01 ARC Technology, LLC Haptic feedback device for simulator
KR102254705B1 (ko) * 2014-09-19 2021-05-24 삼성전자주식회사 단말 장치 및 그 제어방법
US9879958B2 (en) 2014-09-19 2018-01-30 ARC Technology, LLC Haptic feedback spark device for simulator
US10449445B2 (en) * 2014-12-11 2019-10-22 Elwha Llc Feedback for enhanced situational awareness
US9919208B2 (en) * 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US10225442B2 (en) * 2015-02-16 2019-03-05 Mediatek Inc. Electronic device and method for sensing air quality
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
KR20160135552A (ko) * 2015-05-18 2016-11-28 삼성전자주식회사 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법
JP6641731B2 (ja) * 2015-06-05 2020-02-05 ソニー株式会社 送信装置及び送信方法、並びに受信装置及び受信方法
KR102414356B1 (ko) 2015-06-26 2022-06-29 삼성전자 주식회사 전자 장치 및 그의 햅틱 피드백 제공 방법
US20170090577A1 (en) * 2015-09-25 2017-03-30 Immersion Corporation Haptic effects design system
US9734866B2 (en) 2015-09-25 2017-08-15 Intel Corporation Perceptual computing input to determine post-production effects
US20180046250A1 (en) * 2016-08-09 2018-02-15 Wipro Limited System and method for providing and modulating haptic feedback
US20180067335A1 (en) * 2016-09-07 2018-03-08 Google Inc. Optical image stabilization for folded optics camera modules
US10102723B2 (en) * 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events
CN106454365B (zh) * 2016-11-22 2018-07-10 包磊 多媒体数据的编码、解码方法及编码、解码装置
CN106534142B (zh) * 2016-11-22 2018-04-20 包磊 多媒体数据的实时传输方法及装置
US10101813B2 (en) * 2016-12-14 2018-10-16 Immersion Corporation Automatic haptic generation based on color features and motion analysis
US10600290B2 (en) * 2016-12-14 2020-03-24 Immersion Corporation Automatic haptic generation based on visual odometry
US11337456B2 (en) * 2017-07-17 2022-05-24 Rai Strategic Holdings, Inc. Video analytics camera system for an aerosol delivery device
US11561619B2 (en) 2017-09-20 2023-01-24 Niki Mani Haptic feedback device and method for providing haptic sensation based on video
US10503310B2 (en) 2017-09-20 2019-12-10 Alex Hamid Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US11513627B2 (en) 2017-09-20 2022-11-29 Niki Mani Assistive device with a refreshable haptic feedback interface
US11726571B2 (en) 2017-09-20 2023-08-15 Niki Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US10275083B2 (en) 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface
US10281983B2 (en) * 2017-09-20 2019-05-07 Alex Hamid Mani Haptic feedback device and method for providing haptic sensation based on video
NL2020023B1 (en) * 2017-12-05 2019-06-13 Feel Robotics B V Method and apparatus for adding a control signal for an auxiliary device to a sexually arousing video movie
CN108399642B (zh) * 2018-01-26 2021-07-27 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和***
JP6771696B2 (ja) 2018-05-11 2020-10-21 三菱電機株式会社 データ同期装置、データ同期方法およびデータ同期プログラム
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
US11656683B2 (en) * 2018-08-10 2023-05-23 Sony Corporation Signal generation device, signal generation method, and reproduction device
US10638174B2 (en) * 2018-09-24 2020-04-28 Brian Sloan Synchronized video control system for sexual stimulation devices
US11197074B2 (en) * 2018-09-24 2021-12-07 Brian Sloan Synchronized video annotation and control system for sexual stimulation devices
US11185465B2 (en) * 2018-09-24 2021-11-30 Brian Sloan Automated generation of control signals for sexual stimulation devices
CN113329687A (zh) 2019-01-23 2021-08-31 索尼集团公司 信息处理装置、信息处理方法和程序
WO2020219073A1 (en) * 2019-04-26 2020-10-29 Hewlett-Packard Development Company, L.P. Spatial audio and haptics
WO2020258319A1 (zh) * 2019-06-28 2020-12-30 瑞声声学科技(深圳)有限公司 触感信号生成方法、装置和计算机设备
EP4084936A4 (en) 2019-12-31 2024-01-10 Human Mode, LLC PROXY CONTROLLER COMBINATION WITH OPTIONAL DUAL RANGE KINEMATICS
CN111610856B (zh) * 2020-04-30 2024-04-26 北京小米移动软件有限公司 震动反馈方法、震动反馈装置及存储介质
US11755643B2 (en) 2020-07-06 2023-09-12 Microsoft Technology Licensing, Llc Metadata generation for video indexing
JP6839783B1 (ja) * 2020-09-29 2021-03-10 Dmg森精機株式会社 回転速度判定装置
JP7502957B2 (ja) 2020-10-08 2024-06-19 日本放送協会 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム
CN114694545B (zh) * 2020-12-30 2023-11-24 成都极米科技股份有限公司 图像显示方法、装置、投影仪及存储介质
CN113436261B (zh) * 2021-06-24 2022-04-29 湖南大学 一种面向封闭园区自动驾驶的单目视觉惯性定位方法
KR102505225B1 (ko) * 2021-10-22 2023-03-02 (주)인티그리트 시각화된 가상 안내 정보를 제공하는 자율주행장치 및 이의 동작방법
CN115758107B (zh) * 2022-10-28 2023-11-14 中国电信股份有限公司 触觉信号传输方法及装置、存储介质及电子设备
WO2024101688A1 (ko) * 2022-11-10 2024-05-16 삼성전자주식회사 미디어 콘텐트로부터 햅틱 정보를 획득하기 위한 전자 장치 및 그 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009177A (ja) * 2001-06-21 2003-01-10 For-A Co Ltd 画像合成システム
JP2003099177A (ja) * 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
JP4078365B2 (ja) * 2005-07-13 2008-04-23 キヤノン株式会社 画像処理装置およびその制御方法
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
KR101384434B1 (ko) * 2006-04-06 2014-04-10 임머숀 코퍼레이션 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
JP2010502086A (ja) * 2006-08-24 2010-01-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ハプティックな刺激を発生させるために音声信号及び／又はビデオ信号を処理するデバイス及び方法
KR20080048308A (ko) * 2006-11-28 2008-06-02 삼성전자주식회사 기본 장치와 확장 장치의 연동 장치 및 방법
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US9170649B2 (en) 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
US8300117B2 (en) * 2008-03-28 2012-10-30 Fuji Xerox Co., Ltd. System and method for exposing video-taking heuristics at point of capture
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
CN102227694A (zh) * 2008-10-10 2011-10-26 因特网服务有限责任公司 供触觉编码的媒体使用的触觉输出装置
WO2011007289A2 (en) 2009-07-17 2011-01-20 Koninklijke Philips Electronics N.V. A method and a system for a generation of an excitation effect
CN102473172A (zh) * 2009-07-24 2012-05-23 数字标记公司 改进的音频/视频方法和***
ES2364999B1 (es) * 2009-09-07 2012-08-07 Juan Zarza Goyenechea Dispositivo publicitario y probador de visionado con perspectiva.
JP2013047878A (ja) * 2011-08-29 2013-03-07 Toshiba Corp 道路状況把握装置

Also Published As

Publication number Publication date
CN104049749B (zh) 2019-09-20
US9064385B2 (en) 2015-06-23
EP3570553A1 (en) 2019-11-20
JP6559316B2 (ja) 2019-08-14
US10482608B2 (en) 2019-11-19
EP2779675A3 (en) 2015-03-04
US20140267904A1 (en) 2014-09-18
JP2019036351A (ja) 2019-03-07
US20150262376A1 (en) 2015-09-17
CN110536162A (zh) 2019-12-03
JP6456593B2 (ja) 2019-01-23
JP2014194765A (ja) 2014-10-09
US9911196B2 (en) 2018-03-06
EP2779675B1 (en) 2019-07-10
US20180144480A1 (en) 2018-05-24
EP2779675A2 (en) 2014-09-17
EP3570553B1 (en) 2021-05-19
CN104049749A (zh) 2014-09-17

Similar Documents

Publication Publication Date Title
US10482608B2 (en) Method and apparatus to generate haptic feedback from video content analysis
US10674142B2 (en) Optimized object scanning using sensor fusion
US10488195B2 (en) Curated photogrammetry
US8055061B2 (en) Method and apparatus for generating three-dimensional model information
TW201322178A (zh) 擴增實境的方法及系統
JP2015079444A5 (ko)
US20160210761A1 (en) 3d reconstruction
JP2015079433A5 (ko)
JP2021060868A (ja) 情報処理装置、情報処理方法、およびプログラム
US20200211275A1 (en) Information processing device, information processing method, and recording medium
JP7293362B2 (ja) 撮影方法、装置、電子機器及び記憶媒体
Chen Capturing fast motion with consumer grade unsynchronized rolling-shutter cameras
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP7195430B2 (ja) 撮影データ生成装置、撮影データ生成方法及びプログラム
JP6942567B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
Rurainsky System and analysis used for a dynamic facial speech deformation model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application