KR20140045574A - 이미지화된 오브젝트 특성들에 기초한 증강 현실 - Google Patents

이미지화된 오브젝트 특성들에 기초한 증강 현실 Download PDF

Info

Publication number
KR20140045574A
KR20140045574A KR1020147006043A KR20147006043A KR20140045574A KR 20140045574 A KR20140045574 A KR 20140045574A KR 1020147006043 A KR1020147006043 A KR 1020147006043A KR 20147006043 A KR20147006043 A KR 20147006043A KR 20140045574 A KR20140045574 A KR 20140045574A
Authority
KR
South Korea
Prior art keywords
image
marker
processor
characteristic
computer readable
Prior art date
Application number
KR1020147006043A
Other languages
English (en)
Inventor
루카스 비. 에인즈워스
제임스 피. 멜리칸
톤드라 제이. 슐리에스키
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20140045574A publication Critical patent/KR20140045574A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)

Abstract

증강 현실은 컴퓨터 생성된 이미지들을 현실 세계의 존재들의 이미지들에 부가함으로써 가능해진다. 컴퓨터 생성된 이미지들은 상기 이미지 내의 이미지화된 오브젝트의 특성에 기초하여 자동으로 삽입될 수 있다.

Description

이미지화된 오브젝트 특성들에 기초한 증강 현실{AUGMENTED REALITY BASED ON IMAGED OBJECT CHARACTERISTICS}
본 발명은 일반적으로 컴퓨터들, 특히 증강 현실 애플리케이션들에 관련된다.
증강 현실은 이미지들, 비디오, 텍스트 및 다른 데이터를 포함하는 컴퓨터 공급된 컨텐트를 현실 세계의 컴퓨터 표시된 이미지들 상에 부가하는 프로세스이다. 예를 들어, 셀룰러폰 등의 모바일 디바이스가 상이한 빌딩들을 포함하는 장면의 이미지를 캡쳐할 때, 빌딩들의 GPS(global positioning system) 좌표에 기초하여 빌딩들에 관한 정보를 부가할 수 있는 애플리케이션들이 있다. 예를 들어, 빌딩의 주소와 빌딩에 대한 부동산 목록으로의 링크가 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따라 오버레이된 마커를 갖는 이미지화된 장면을 묘사하는 도면.
도 2는 본 발명의 일 실시예에 따라 오버레이된 마커에 대하여 (도 1에 비해) 이동된 이미지화된 오브젝트를 갖는 이미지화된 장면을 묘사하는 도면.
도 3은 본 발명의 일 실시예에 따른 증강 현실을 갖는 도 2에 대응하는 도면.
도 4는 본 발명의 다른 실시예에 따라 증강 현실을 사용하여 이미지화된 스크린을 묘사하는 도면.
도 5는 본 발명의 일 실시예에 대한 흐름도.
도 6은 본 발명의 다른 실시예에 대한 흐름도.
도 7은 본 발명의 일 실시예의 개략도.
일부 실시예들에서, 증강 현실은 인간 캡쳐 및 디지털 미디어의 특수한 콜렉션의 재생을 가이드할 수 있다. 이들 실시예들은 새롭고 신규한 경험들을 창조하기 위해 공간의 물리적 기하 구조, 인간 행동, 및 프로그램된 활동들의 조합을 레버리지할 수 있다. 실시예들은 예를 들어 게이밍, 커뮤니티 활동, 교육 및 촬영에 적용될 수 있다.
본 발명의 일부 실시예들에 따르면, 이미지화된 오브젝트의 특성에 기초하여, 증강 현실은 이미지 장면에 선택적으로 적용될 수 있다. 예를 들어, 장면 내의 오브젝트의 위치, 오브젝트의 인식 또는 오브젝트의 특정 움직임의 인식 등의 이미지 장면의 특성에 기초하여, 증강 현실 오디오/비주얼 오브젝트가 장면에 부가될 수 있다. 이러한 방식으로, 컴퓨터 공급된 오브젝트는 현실 세계의 이미지 상에 오버레이되어 묘사를 증강시킬 수 있다.
본 발명의 다른 실시예에서, 컴퓨터는 하나 이상의 마커를 이미지화된 장면 상에 둘 수 있다. 그 후, 그 장면의 이미지를 캡쳐하는 사람은, 그 마커들의 위치에 기초하여 증강 현실이 적용될 것이라는 것을 알면서, 그 장면 내의 사람에게 이들 마커들과 상호작용할 것을 권장할 수 있다.
도 1을 참조하면, 이 경우에서는 사람인 이미지 오브젝트 U는 이미지 팔 A를 갖는다. 마커 M이 컴퓨터에 의해 이미지 상에 오버레이된다. 마커를 오버레이하는 것은 이미지 상에 추가의 레이어를 적용함으로써 이루어지고, 이 레이어는 매우 투명하여 하부의 이미지가 보여질 수 있다. 마커 M은 그 이미지를 캡쳐하는 사람에게 최종 이미지 상의 그 위치에 증강 현실 오브젝트가 오버레이될 수 있음을 나타내기 위한 가이드일 수 있다. 이미지 오브젝트 U는 정지화상 또는 동화상일 수 있다.
이미지는 카메라, 몇 가지 예를 들자면, 비디오 카메라, 셀룰러 전화, 모바일 인터넷 디바이스, 텔레비전, 또는 랩탑 컴퓨터를 포함하는 정지화상 또는 동화상 캡쳐 기능을 갖는 임의의 디바이스에 의해 캡쳐될 수 있다.
다음으로 도 2를 참조하면, 이미지를 캡쳐하는 사람은 사용자에게 그의 팔 이미지 A가 오버레이된 마커 M과 상호작용하도록 사용자의 팔을 펼치는 것을 권장할 수 있다. 이미지를 캡쳐하는 사람은 (본 실시예에서 이미지를 캡쳐하는 사람만이 보는) 마커 M이 오버레이된 증강 현실 이미지가 삽입될 위치를 마킹하는 것을 알면서, 팔 움직임을 권장할 수 있다.
증강 현실 이미지의 이러한 삽입은 도 3에 도시되며, 나비 O의 이미지가 마커 M의 위치에 최종적으로 오버레이된다. 본 실시예에서, 마커 M은 이미지가 캡쳐될 때 이미지 상에 오버레이된다. 즉, 마커 M은 실시간으로 캡쳐되는 이미지에 적용된다. 그 후, 그것은 마치 나비가 사용자의 손에 마법처럼 내리는 것처럼 나타난다.
본 발명의 다른 실시예에 따르면, 컴퓨터는 디지털 이미지 기반의 패턴 인식 또는 이미지 분석을 사용하여 이미지화된 오브젝트의 특성을 인식할 수 있다. 특성은, 몇 가지 예를 들자면, 예를 들어, 형상, 색, 방향, 몸짓 움직임, 속도일 수 있다. 디지털 이미지 기반의 패턴 인식 또는 분석은, 미지의 이미지를 식별하기 위하여 이미지를 정확히 동일한 오브젝트의 다른 알려진 이미지와 단순히 비교하는 것과는 대조적으로, 디지털 이미지의 컨텐트를 분석함으로써 특성을 식별한다. 일 실시예에서, 디지털 이미지 기반의 패턴 인식 또는 분석은 인간 형태를 식별한다. 인간 형태는 예를 들어, 전체 몸, 얼굴, 또는 임의의 부속물을 포함하는 인간의 임의의 부분이다.
예를 들어, 오브젝트가 무엇인지를 판정하기 위해 디지털 이미지 기반 패턴 인식 또는 분석을 사용하여 오브젝트 자체가 인식될 수 있다. 미리정의된 특성의 인식은 이미지 장면 상에 다른 오디오/비주얼 오브젝트를 오버레이함으로써 증강 현실의 생성을 개시하는데 사용될 수 있다.
따라서, 도 4의 경우에, 마법 모자를 쓰고 있는 소녀의 캡쳐된 이미지가 묘사된다. 컴퓨터 시스템은 모자의 이미지를 검출할 수 있고, (예를 들어 패턴 인식을 사용하는) 그 검출에 기초하여, 소녀의 묘사된 이미지의 손 위에 요정 F의 이미지를 자동으로 표시할 수 있다.
다른 예로서, 컴퓨터는 다시 비디오 이미지 분석을 사용하여, 소녀의 뻗은 팔을 인식할 수 있다. 뻗은 팔의 인식(효과적으로, 몸짓 명령)은 요정 이미지 F를 생성하는 트리거일 수 있다. 또 다른 예로서, 컴퓨터는 왼쪽 팔을 뻗는 움직임을 인식할 수 있고, 이러한 인식된 움직임에 기초하여, 요정 이미지 F를 생성할 수 있다.
각각의 경우에서, 형상 또는 몸짓 모션 등의 오브젝트의 이미지의 특성은, 디스플레이 내의 원하는 위치에 오디오/비주얼 이미지 오브젝트를 자동으로 오버레이하는데 사용된다.
다른 실시예들에서, 이미지 오브젝트의 주어진 특성은 오디오를 생성하는데 사용될 수 있다. 예를 들어, 이미지화된 오브젝트가 오케스트라를 지휘하는 지휘자로서 인식되는 경우에, 오케스트라의 사운드가 오디오/비주얼 미디어에 자동으로 부가될 수 있다.
추가적인 예로서, 고정된 카메라로부터의 이미지 장면은 빨간 신호등이 보일 때 교차로 내에서 움직이는 자동차를 인식하기 위해 분석될 수 있다. 컴퓨터는 경찰관이 빨간 신호등 카메라 트래픽 집행 시스템(red light camera traffic enforcement system)을 구현하는 것을 도와주기 위해, 이미지 상에 단어 "위반"을 자동으로 오버레이할 수 있다. 다른 트래픽 애플리케이션으로서, 도로변의 고정 카메라는 지나가는 차들을 이미지화할 수 있다. 제한 속도보다 빠르게 가는 차의 캡쳐된 이미지는 단어 "위반"과 함께 오버레이될 수 있다.
또 다른 예로서, 보안 카메라는 허가되지 않은 위치에 있는 사람을 검출할 수 있고 그 오브젝트에 단어 "위반"을 오버레이하거나, 또는 음성 합성에 의해 단어 "침입자"를 말할 수 있다.
많은 경우에서, 이미지화된 오브젝트의 특성(그것의 GPS 좌표는 제외하는데, 이는 이미지화된 오브젝트의 특성이 아님)은 증강 현실을 생성하는데 사용될 수 있다. 일부 실시예들에서, GPS 좌표들은 비-GPS 기반 특성들에 더하여 사용될 수도 있다.
증강 현실 오버레이들은 이미지 캡쳐의 순간에 실시간으로 제공될 수 있거나 또는 캡쳐된 장면 또는 일련의 프레임들의 디지털 이미지 기반 컨텐트 인식을 이용하여 이후에 오버레이될 수 있다. 예를 들어, 확장된 동영상 파일은 특정 형상의 오브젝트들을 검색하기 위해 분석될 수 있고, 그러한 오브젝트들이 발견되면, 묘사를 증가시키기 위해 증강 현실이 부가될 수 있다.
도 5를 참조하면, 도 1-3에서 묘사된 것과 같은 시퀀스(10)가 일 실시예에서 사용될 수 있다. 시퀀스(10)는 소프트웨어, 하드웨어 및/또는 펌웨어로 구현될 수 있다. 소프트웨어 또는 펌웨어 기반의 실시예들에서, 시퀀스는 반도체, 자기 또는 광 메모리 등의 비일시적 컴퓨터 판독가능한 매체 상에 저장된 컴퓨터 판독가능한 명령어들에 의해 구현될 수 있다.
블록 12에서, 묘사가 정지화상 또는 동화상으로서 캡쳐될 때, 가이드 마커들이 이미지화된 오브젝트 위에 자동으로 오버레이될 수 있다. 일부 실시예들에서, 오버레이된 마커 또는 마커들은 이미지화된 화상을 오버레이하는 레이어로서 오버레이될 수 있고, 마커는 불투명하지만, 오버레이의 나머지는 투명할 수 있다.
블록 14에서, 이미지들을 캡쳐하는 사용자는, 증강 현실의 적용을 통해 원하는 효과가 달성될 수 있도록, 서브젝트(subject)를 마커와 상호작용하도록 원하는 방식으로 움직이게 프롬프트하도록 프롬프트될 수 있다.
그 후, 증강 현실 오디오/비주얼 오브젝트는 일부 실시예들에서, 블록 16에 묘사되는 바와 같이, 기존의 장면 위에 자동으로 적용될 수 있다. 증강 현실의 적용은 일 실시예에서 사용자 입력 명령의 결과일 수 있다. 다른 실시예에서, 그것은 마커가 소정 시간 동안 표시된 후에 발생할 수 있다. 일 실시예에서, 마커 및 오브젝트는 동일할 수 있다.
도 6에 도시된 바와 같이, 시퀀스(20)는, 예를 들어, 도 4에 도시된 실시예 등의 실시예들을 구현하기 위해 사용될 수 있다. 다시, 시퀀스(20)는 소프트웨어, 펌웨어 및/또는 하드웨어로 구현될 수 있다. 소프트웨어 및 펌웨어 실시예들에서, 시퀀스는 반도체, 광 또는 자기 메모리 등의 비일시적인 컴퓨터 판독가능한 매체 상에 저장된 컴퓨터 판독가능한 명령어들에 의해 구현될 수 있다.
시퀀스는 블록 22에 나타낸 바와 같이, 정지화상 또는 동화상의 일련의 프레임들로 구성될 수 있는 이미지 파일을 수신함으로써 개시될 수 있다. 그 후, 이미지화된 오브젝트의 주어진 특성이 검출된다(블록 24). 전술한 바와 같이, 현실 세계의 오브젝트가 아니라 (즉, GPS 좌표가 아니라) 이미지 자체의 다양한 이미지 특성들이 증강 현실의 생성을 트리거하는데 사용될 수 있다. 다시, 이미지의 그러한 특성들의 예들은, 형상 인식, 움직임, 속도, 몸짓 명령들, 색, 및 이미지화된 장면 내에서의 하나 이상의 다른 묘사된 오브젝트들에 대한 위치를 포함한다.
예를 들어, 컴퓨터 애니메이션에서, 2명의 플레이어가 경주용 차를 운전 중일 수 있고, 경주용 차들이 합쳐지는 것을 시스템이 검출했을 때, 시스템은 진행 중인 묘사 위에 오버레이된, 충돌 이미지 또는 충돌 사운드를 생성할 수 있다. 그러한 실시예는 증강 가상 현실로서 기술될 수 있지만, 경주용 차 이미지는 현실 세계에서 생성되었기 때문에, 이것은 실제로 증강 현실의 다른 예이다.
마지막으로, 블록 26에서, 증강 현실 오버레이는 기존의 캡쳐된 또는 컴퓨터 생성된 이미지 위에 오버레이된다.
도 7을 참조하면, 일 실시예에 따라, 본 발명의 실시예들을 구현하기 위한 컴퓨터(30)는 일부 실시예들에서, 통합된 비디오 카메라(34)를 갖는 디스플레이 스크린(32)을 포함할 수 있다. 물론, 비디오 카메라(34)는 컴퓨터 시스템(30) 및/또는 디스플레이 스크린(32)으로부터 분리될 수 있다. 디스플레이 스크린(32)은 디스플레이 인터페이스(36)에 의해 버스(38)에 결합된다.
버스(38)는 통상적으로 프로세서(40) 및 시스템 메모리(42)에 결합된다. 프로세서는 중앙 처리 장치 또는 그래픽 처리 장치를 포함하는 임의의 컨트롤러일 수 있다. 일부 실시예들에서, 시스템 메모리(42)는 시퀀스들(10 및/또는 20)을 구현하는 컴퓨터 판독가능한 명령어들을 저장할 수 있고, 본 경우에는 시퀀스들(10 및/또는 20)은 펌웨어 또는 소프트웨어에 의해 구현된다.
구현된 증강 현실 레이어는 일부 실시예들에서 다음의 특성들을 가질 수 있다:
- 레이어는 "자유 형태"일 수 있음 - 즉, 이것은 미리 프로그램된 또는 미리 로딩된 이벤트들에만이 아니라, 현실 세계의 실시간 이벤트들에 응답함;
- 레이어는 일시적일 수 있거나(가이드로서 캡쳐 동안에 가시적이지만, 미디어 출력에 전사되지 않음) 또는 통합될 수 있음(즉, 캡쳐 동안에 가시적이고 미디어 출력에 통합됨);
- 레이어에 의해 제공된 안내는 상황 인식적일 수 있고, 다음의 변수들 중 하나 이상을 반영할 수 있음: 서브젝트의 위치, 공간의 기하 구조, 프레임 내의 움직임, 프레임의 RBG 이미지 컨텐트 및/또는 잡음, 열, 전하, 무선 신호 등의 다른 센서 데이터; 및/또는
- 증강 현실 레이어는 인간 서브젝트 캡쳐링 미디어와 상호작용하여, 그 캡쳐를 프로그램된 오브젝트 쪽으로 향하게 할 수 있음.
실시예는 인간 행동을 레버리지할 수 있다. 테마 파크에서, 명소를 위해 줄을 서서 기다리는 사용자는, 테마 파크로부터의 캐릭터들과 함께 놀 수 있거나 이러한 캐릭터들과 이야기를 할 수 있고, 그의 경험의 테이크-어웨이 "영화"를 창조할 수 있다:
- 사용자 A는 요정 이야기 애플리케이션을 시작하여 이미지 캡쳐 디바이스로 사용자 B를 가리킴;
- 사용자 A는 스크린 상에서 캐릭터들을 보고, 그것들은 사용자 B의 움직임 및 상호작용에 반응함;
- 상호작용이 캡쳐되고(증강된 디지털 미디어와 통합됨) 캡쳐 디바이스 상에서 재생되거나, 스크린 상에 그때 그때 실시간으로 표시되거나, 또는 영화로서 집으로 보내짐;
- (이미지 캡쳐 디바이스를 갖는) 사용자 A는 그의 증강 현실 애플리케이션을 레버리지하여 스크린을 공간 내의 다른 플레이어들에게 보낼 수 있음(즉, 카메라의 초점을 변경함으로써, 사용자 A는 요정을 다른 사람에게 그때 그때 보낼 수 있음). 사용자 C의 반응은 계속해서 요정의 증강 현실 행동에 영향을 미칠 수 있음.
이러한 실시예는 또한 가시적인 실시간 재생이 캡쳐에 영향을 주기 위해 어떻게 사용될 수 있는지를 나타내며, 구체적으로:
- 이러한 상황에 있는 애플리케이션은 사용자들이 그들의 캡쳐를 그때 그때 제공된 스크린들 상에서 공유하는 것을 허용하도록 프로그램됨;
- 인간 서브젝트(뷰파인더에 의해 결정됨) 및 애니메이션(디지털 오버레이)의 양쪽은 스크린 상에서 실시간으로 재생됨. 그 후, 사용자 A는 요정들이 그때 그때 다른 사람들을 방문하고 그들과 상호작용하는 장면을 "감독함". 서브젝트 몸짓들 및 반응들(웃음, 짜증)은 시스템에 의해 모두 인식되고, 디지털 애니메이션 레이어는 서브젝트의 반응에 기초하여 그 행동을 변화시킴.
본 명세서에서 설명된 그래픽 처리 기법들은 다양한 하드웨어 아키텍쳐로 구현될 수 있다. 예를 들어, 그래픽 기능은 칩셋 내에 통합될 수 있다. 대안적으로, 별개의 그래픽 프로세서가 사용될 수 있다. 또 다른 실시예로서, 그래픽 기능들은 멀티코어 프로세서를 포함하는 범용 프로세서에 의해 구현될 수 있다.
본 명세서 전반에 걸쳐 "일 실시예" 또는 "실시예"에 대한 참조는 그 실시예와 관련된 특정한 특징, 구조 또는 특성이 본 발명 내에 포함되는 적어도 하나의 구현 내에 포함되는 것을 의미한다. 따라서, "일 실시예" 또는 "실시예에서"라는 구문의 출현이 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 특정한 특징, 구조 또는 특성이 예시된 특정한 실시예 이외의 다른 적절한 형태로 도입될 수 있고, 그러한 모든 형태는 본 출원의 특허청구범위 내에 포함된다.
본 발명은 제한된 수의 실시예들에 대하여 설명되었지만, 본 기술분야의 통상의 기술자들은 이들로부터 다양한 수정들 및 변동들을 인식할 것이다. 첨부된 특허청구범위는 그러한 모든 수정들 및 변동들이 본 발명의 진정한 사상 및 범주 내에 속하는 것으로서 커버한다.

Claims (26)

  1. 디지털 이미지 기반 이미지 분석을 사용하여 디스플레이 스크린 상에 표시된 이미지화된(imaged) 오브젝트의 특성을 검출하는 단계; 및
    상기 특성에 기초하여, 상기 디스플레이 스크린 상에 오디오 또는 비주얼 오브젝트를 오버레이(overlay)하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    디지털 이미지 기반 이미지 분석을 사용하는 단계는 인간 형태를 검출하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    상기 인간 형태와 관련하여 이미지를 분석하는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    몸짓 명령인 특성을 인식하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 이미지화된 오브젝트의 형상, 색, 방향 또는 속도를 인식하는 단계를 포함하는 방법.
  6. 이미지 장면의 디스플레이 상에 마커를 오버레이하는 단계; 및
    현실을 증강(augment)시키기 위해 상기 마커를 사용하는 단계
    를 포함하는 방법.
  7. 제6항에 있어서,
    상기 사용하는 단계는 컴퓨터 생성된 이미지를 상기 디스플레이에 적용하는 단계를 포함하는 방법.
  8. 제7항에 있어서,
    상기 이미지와 동일한 마커를 사용하는 단계를 포함하는 방법.
  9. 제7항에 있어서,
    상기 마커를 컴퓨터 생성된 이미지로 대체하는 단계를 포함하는 방법.
  10. 프로세서 기반 디바이스에게, 디지털 이미지 기반 이미지 분석을 사용하여 이미지화된 오브젝트의 특성을 식별하고, 그 특성에 기초하여 디스플레이 스크린 상에 오디오 또는 비주얼 오브젝트를 오버레이하게 하는 명령어들을 저장하는 비일시적인 컴퓨터 판독가능한 매체.
  11. 제10항에 있어서,
    인간 형태를 검출하기 위해 상기 디지털 이미지 기반 이미지 분석을 사용하게 하는 명령어들을 더 저장하는 비일시적인 컴퓨터 판독가능한 매체.
  12. 제10항에 있어서,
    상기 인간 형태와 관련하여 이미지를 분석하게 하는 명령어들을 더 저장하는 비일시적인 컴퓨터 판독가능한 매체.
  13. 제10항에 있어서,
    몸짓 명령의 형태로 특성을 인식하게 하는 명령어들을 더 저장하는 비일시적인 컴퓨터 판독가능한 매체.
  14. 제10항에 있어서,
    이미지화된 오브젝트의 형상, 색, 방향 또는 속도를 인식하게 하는 명령어들을 더 저장하는 비일시적인 컴퓨터 판독가능한 매체.
  15. 제10항에 있어서,
    캡쳐되지 않은 이미지 상에 지시자를 오버레이하고 상기 지시자를 증강 현실 묘사를 위치시키기 위한 마커로서 사용하게 하는 명령어들을 더 저장하는 비일시적인 컴퓨터 판독가능한 매체.
  16. 제15항에 있어서,
    상기 마커를 사용하여, 컴퓨터 생성된 이미지를 상기 마커의 위치에서 상기 디스플레이에 적용하게 하는 명령어들을 더 저장하는 비일시적인 컴퓨터 판독가능한 매체.
  17. 제16항에 있어서,
    상기 이미지와 동일한 마커를 사용하게 하는 명령어들을 더 저장하는 비일시적인 컴퓨터 판독가능한 매체.
  18. 제16항에 있어서,
    상기 마커를 컴퓨터 생성된 이미지로 대체하게 하는 명령어들을 더 저장하는 비일시적인 컴퓨터 판독가능한 매체.
  19. 이미지 캡쳐 디바이스; 및
    상기 이미지 캡쳐 디바이스에 결합된 프로세서
    를 포함하고,
    상기 프로세서는 이미지 디스플레이 상에 마커를 오버레이하고 증강 현실을 위해 상기 마커를 사용하는 장치.
  20. 제19항에 있어서,
    상기 프로세서는 캡쳐된 묘사 내의 상기 마커를 증강 현실 이미지로 대체하는 장치.
  21. 제19항에 있어서,
    상기 프로세서는 장면의 이미지가 캡쳐되기 전에 상기 이미지 캡쳐 디바이스의 상기 장면의 묘사에 상기 마커를 오버레이하는 장치.
  22. 제19항에 있어서,
    상기 프로세서에 결합된 디스플레이 스크린을 포함하는 장치.
  23. 제22항에 있어서,
    상기 프로세서는 디지털 이미지 기반 이미지 분석을 사용하여 이미지화된 오브젝트의 특성을 식별하고, 상기 특성에 기초하여 상기 디스플레이 상에 오디오 또는 비주얼 오브젝트를 오버레이하는 장치.
  24. 제23항에 있어서,
    상기 프로세서는 인간 형태를 검출하기 위해 상기 디지털 이미지 기반 이미지 분석을 사용하는 장치.
  25. 제24항에 있어서,
    상기 프로세서는 상기 인간 형태와 관련하여 이미지를 분석하는 장치.
  26. 제24항에 있어서,
    상기 프로세서는 몸짓 명령의 형태로 특성을 인식하는 장치.
KR1020147006043A 2011-09-08 2011-09-08 이미지화된 오브젝트 특성들에 기초한 증강 현실 KR20140045574A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/050879 WO2013036233A1 (en) 2011-09-08 2011-09-08 Augmented reality based on imaged object characteristics

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020157013675A Division KR101773018B1 (ko) 2011-09-08 2011-09-08 이미지화된 오브젝트 특성들에 기초한 증강 현실

Publications (1)

Publication Number Publication Date
KR20140045574A true KR20140045574A (ko) 2014-04-16

Family

ID=47832472

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147006043A KR20140045574A (ko) 2011-09-08 2011-09-08 이미지화된 오브젝트 특성들에 기초한 증강 현실
KR1020157013675A KR101773018B1 (ko) 2011-09-08 2011-09-08 이미지화된 오브젝트 특성들에 기초한 증강 현실

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157013675A KR101773018B1 (ko) 2011-09-08 2011-09-08 이미지화된 오브젝트 특성들에 기초한 증강 현실

Country Status (6)

Country Link
US (1) US20130265333A1 (ko)
EP (1) EP2754289A4 (ko)
JP (1) JP2014531644A (ko)
KR (2) KR20140045574A (ko)
CN (1) CN103765867A (ko)
WO (1) WO2013036233A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019125029A1 (ko) * 2017-12-22 2019-06-27 삼성전자 주식회사 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9345957B2 (en) 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9285871B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
US20140015826A1 (en) * 2012-07-13 2014-01-16 Nokia Corporation Method and apparatus for synchronizing an image with a rendered overlay
JP6288948B2 (ja) * 2013-05-23 2018-03-07 株式会社電通 画像共有システム
US11042607B2 (en) * 2013-08-23 2021-06-22 Nant Holdings Ip, Llc Recognition-based content management, systems and methods
US9615177B2 (en) * 2014-03-06 2017-04-04 Sphere Optics Company, Llc Wireless immersive experience capture and viewing
EP3138284A4 (en) * 2014-04-30 2017-11-29 Aurasma Limited Augmented reality without a physical trigger
JP6360200B2 (ja) 2014-05-13 2018-07-18 ナント・ホールデイングス・アイ・ピー・エル・エル・シー アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法
US9826164B2 (en) 2014-05-30 2017-11-21 Furuno Electric Co., Ltd. Marine environment display device
US10134187B2 (en) 2014-08-07 2018-11-20 Somo Innvoations Ltd. Augmented reality with graphics rendering controlled by mobile device position
US20160171739A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Augmentation of stop-motion content
US20170124890A1 (en) * 2015-10-30 2017-05-04 Robert W. Soderstrom Interactive table
US9996978B2 (en) 2016-02-08 2018-06-12 Disney Enterprises, Inc. System and method of simulating first-person control of remote-controlled vehicles
US9922465B2 (en) 2016-05-17 2018-03-20 Disney Enterprises, Inc. Systems and methods for changing a perceived speed of motion associated with a user
US10169918B2 (en) 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
US10074205B2 (en) 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
DE102016121281A1 (de) * 2016-11-08 2018-05-09 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit virtuellen Bild- und Audiodaten und ein mobiles Gerät
US11682045B2 (en) 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects
US11455565B2 (en) 2017-08-31 2022-09-27 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
US11487988B2 (en) 2017-08-31 2022-11-01 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
US11526935B1 (en) * 2018-06-13 2022-12-13 Wells Fargo Bank, N.A. Facilitating audit related activities
US11393282B2 (en) 2019-10-09 2022-07-19 Sg Gaming, Inc. Systems and devices for identification of a feature associated with a user in a gaming establishment and related methods

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2227361A1 (en) * 1998-01-19 1999-07-19 Taarna Studios Inc. Method and apparatus for providing real-time animation utilizing a database of expressions
GB0031016D0 (en) * 2000-12-20 2001-01-31 Alphafox Systems Ltd Security systems
US6857746B2 (en) * 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US8100552B2 (en) * 2002-07-12 2012-01-24 Yechezkal Evan Spero Multiple light-source illuminating system
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
JP4473754B2 (ja) * 2005-03-11 2010-06-02 株式会社東芝 仮想試着装置
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
EP1840798A1 (en) * 2006-03-27 2007-10-03 Sony Deutschland Gmbh Method for classifying digital image data
JP2009533786A (ja) * 2006-04-10 2009-09-17 アヴァワークス インコーポレーテッド 自分でできるフォトリアリスティックなトーキングヘッド作成システム及び方法
US9052294B2 (en) * 2006-05-31 2015-06-09 The Boeing Company Method and system for two-dimensional and three-dimensional inspection of a workpiece
JP5012373B2 (ja) * 2007-09-28 2012-08-29 カシオ計算機株式会社 合成画像出力装置および合成画像出力処理プログラム
DE102007059478B4 (de) * 2007-12-11 2014-06-26 Kuka Laboratories Gmbh Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt
KR101152919B1 (ko) * 2008-02-13 2012-06-05 세종대학교산학협력단 증강 현실을 구현하는 방법 및 이를 이용하는 장치
US9269090B2 (en) * 2008-08-18 2016-02-23 Nokia Technologies Oy Method, apparatus and computer program product for providing indications regarding recommended content
US8023160B2 (en) * 2008-09-10 2011-09-20 Xerox Corporation Encoding message data in a cover contone image via halftone dot orientation
JP5210820B2 (ja) 2008-11-17 2013-06-12 株式会社東芝 状況通知装置
KR101083408B1 (ko) * 2010-01-18 2011-11-14 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
KR101082285B1 (ko) * 2010-01-29 2011-11-09 주식회사 팬택 증강 현실 제공 단말기 및 방법
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US20110313779A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
KR101260576B1 (ko) * 2010-10-13 2013-05-06 주식회사 팬택 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
KR101286866B1 (ko) * 2010-10-13 2013-07-17 주식회사 팬택 Ａｒ 태그 정보를 생성하는 사용자 단말기 및 그 방법, 그리고, 시스템
US20120147246A1 (en) * 2010-12-13 2012-06-14 Research In Motion Limited Methods And Apparatus For Use In Enabling An Efficient Review Of Photographic Images Which May Contain Irregularities
CN102110379A (zh) * 2011-02-22 2011-06-29 黄振强 多媒体增强现实读物
CA2788399A1 (en) * 2011-08-31 2013-02-28 Woodtech Measurement Solutions System and method for variability detection in bundled objects
CN104582622B (zh) * 2012-04-16 2017-10-13 儿童国家医疗中心 用于外科和介入医疗程序中的跟踪和控制的双模立体成像***
US8873818B1 (en) * 2013-01-11 2014-10-28 E. Theodore Ostermann System and method for image analysis with characteristic curves

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019125029A1 (ko) * 2017-12-22 2019-06-27 삼성전자 주식회사 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
KR20190076360A (ko) * 2017-12-22 2019-07-02 삼성전자주식회사 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
US11189102B2 (en) 2017-12-22 2021-11-30 Samsung Electronics Co., Ltd. Electronic device for displaying object for augmented reality and operation method therefor

Also Published As

Publication number Publication date
JP2014531644A (ja) 2014-11-27
US20130265333A1 (en) 2013-10-10
EP2754289A4 (en) 2016-05-18
CN103765867A (zh) 2014-04-30
WO2013036233A1 (en) 2013-03-14
KR20150068489A (ko) 2015-06-19
KR101773018B1 (ko) 2017-08-30
EP2754289A1 (en) 2014-07-16

Similar Documents

Publication Publication Date Title
KR101773018B1 (ko) 이미지화된 오브젝트 특성들에 기초한 증강 현실
CA3016921C (en) System and method for deep learning based hand gesture recognition in first person view
WO2018072652A1 (zh) 视频处理方法、视频处理装置及存储介质
EP3369038B1 (en) Tracking object of interest in an omnidirectional video
TWI759647B (zh) 影像處理方法、電子設備，和電腦可讀儲存介質
JP6505606B2 (ja) 視線追跡を使用して拡張現実を可能にする
CN106575361B (zh) 提供视觉声像的方法和实现该方法的电子设备
CN110418112A (zh) 一种视频处理方法及装置、电子设备和存储介质
KR20150116871A (ko) Ｈｄｍ에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택
CN106464773B (zh) 增强现实的装置及方法
CN109474850B (zh) 运动像素视频特效添加方法、装置、终端设备及存储介质
JP2016538601A (ja) ピクチャインピクチャを表示するためのシステム、デバイス、および方法
US20160321833A1 (en) Method and apparatus for generating moving photograph based on moving effect
CN109582122B (zh) 增强现实信息提供方法、装置及电子设备
US10334222B2 (en) Focus-based video loop switching
WO2022188305A1 (zh) 信息展示方法及装置、电子设备、存储介质及计算机程序
WO2018000619A1 (zh) 一种数据展示方法、装置、电子设备与虚拟现实设备
JP2014096661A (ja) 動画撮影中において動画中の動体オブジェクトをリアルタイムに隠消するための方法、並びに、その動画撮影機器及び当該動画撮影機器のためのプログラム
US11758218B2 (en) Integrating overlaid digital content into displayed data via graphics processing circuitry
US11527065B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP5776471B2 (ja) 画像表示システム
JP5850188B2 (ja) 画像表示システム
CN111651054A (zh) 音效控制方法、装置、电子设备及存储介质
CN111367598B (zh) 动作指令的处理方法、装置、电子设备及计算机可读存储介质
KR102635477B1 (ko) 증강현실 기반의 공연 콘텐츠 제공장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
A107 Divisional application of patent
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent