KR102024863B1 - 가상 세계 처리 장치 및 방법 - Google Patents

가상 세계 처리 장치 및 방법 Download PDF

Info

Publication number
KR102024863B1
KR102024863B1 KR1020130017404A KR20130017404A KR102024863B1 KR 102024863 B1 KR102024863 B1 KR 102024863B1 KR 1020130017404 A KR1020130017404 A KR 1020130017404A KR 20130017404 A KR20130017404 A KR 20130017404A KR 102024863 B1 KR102024863 B1 KR 102024863B1
Authority
KR
South Korea
Prior art keywords
sensor
virtual world
information
image sensor
feature point
Prior art date
Application number
KR1020130017404A
Other languages
English (en)
Other versions
KR20140009913A (ko
Inventor
한승주
안민수
한재준
김도균
이영범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/934,605 priority Critical patent/US20140015931A1/en
Publication of KR20140009913A publication Critical patent/KR20140009913A/ko
Application granted granted Critical
Publication of KR102024863B1 publication Critical patent/KR102024863B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Marketing (AREA)
  • Studio Devices (AREA)

Abstract

가상 세계 처리 장치 및 방법이 개시된다. 실시예들에 따르면, 이미지 센서의 특성에 관한 정보인 이미지 센서 특성을 이용하여 현실 세계의 촬영 영상에 대하여 감지한 정보를 가상 세계로 전달함으로써, 현실 세계와 가상 세계의 상호 작용을 구현할 수 있다.

Description

가상 세계 처리 장치 및 방법{METHOD AND APPRATUS FOR PROCESSING VIRTUAL WORLD}
아래 실시예들은 가상 세계 처리 장치 및 방법에 관한 것으로서, 보다 구체적으로는 이미지 센서가 측정한 감지 정보를 가상 세계에 적용하는 장치 및 방법에 관한 것이다.
최근 들어 체감형 게임에 대한 관심이 증대 되고 있다. Microsoft社는 "E3 2009" Press Conference에서 그들의 게임 콘솔인 Xbox360에 Depth/Color 카메라와 마이크 어레이로 구성된 별도의 센서 디바이스를 결합하여 사용자의 전신 모션 캡처링, 얼굴 인식, 음성 인식 기술을 제공하여 별도의 컨트롤러 없이 가상세계와 상호 작용 할 수 있도록 해 주는 "Project Natal"을 발표 했다. 또한, Sony社는 자사 게임 콘솔인 Play Station3에 컬러 카메라와 마커, 초음파 센서를 결합한 위치/방향 센싱 기술을 적용하여 컨트롤러의 모션 궤적을 입력으로 가상세계와 상호 작용 할 수 있는 체감형 게임 모션 컨트롤러 "Wand"를 발표했다.
현실 세계와 가상 세계의 상호 작용은 두 가지 방향을 가진다. 첫째는 현실 세계의 센서로부터 얻어진 데이터 정보를 가상 세계에 반영하는 방향이고, 둘째는 가상 세계로부터 얻어진 데이터 정보를 엑추에이터(actuator)를 통해 현실 세계에 반영하는 방향이다.
본 명세서에서는 환경 센서를 이용하여 현실 세계로부터 센싱한 정보를 가상 세계에 적용하는 장치 및 방법에 대한 새로운 방안이 제시된다.
일 측에 따른 가상 세계 처리 장치는 이미지 센서로부터 촬영 영상에 대한 감지 정보 및 상기 이미지 센서의 특성에 대한 센서 특성을 수신하는 수신부; 상기 감지 정보 및 상기 센서 특성에 기초하여, 가상 세계의 객체를 제어하는 제어 정보를 생성하는 처리부; 및 상기 제어 정보를 상기 가상 세계로 전송하는 전송부를 포함한다.
다른 일 측에 따른 가상 세계 처리 방법은 이미지 센서로부터 촬영 영상에 대한 감지 정보 및 상기 이미지 센서의 특성에 대한 센서 특성을 수신하는 단계; 상기 감지 정보 및 상기 센서 특성에 기초하여, 가상 세계의 객체를 제어하는 제어 정보를 생성하는 단계; 및 상기 제어 정보를 상기 가상 세계로 전송하는 단계를 포함한다.
도 1은 일 실시예에 따른 현실 세계와 가상 세계 사이의 정보 교환을 제어하는 가상 세계 처리 시스템을 나타내는 도면이다.
도 2는 일 실시예에 따른 증강 현실 시스템을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 가상 세계 처리 장치의 구성을 나타내는 도면이다.
도 4는 일 실시예에 따른 가상 세계 처리 방법을 나타내는 동작 흐름도이다.
이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 현실 세계와 가상 세계 사이의 정보 교환을 제어하는 가상 세계 처리 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 가상 세계 처리 시스템은 현실 세계(110), 가상 세계 처리 장치 및 가상 세계(140)를 포함할 수 있다.
현실 세계(110)는 현실 세계(110)에 대한 정보를 감지하는 센서(Sensor) 또는 가상 세계(140)에 대한 정보를 현실 세계(110)에서 구현하는 실감 장치를 나타낼 수 있다.
또한, 가상 세계(140)는 프로그램에 의해서 구현되는 가상 세계(140) 그 자체 또는 현실 세계(110)에서 구현될 수 있는 실감 효과 정보를 포함하는 컨텐츠를 재생하는 실감 미디어 재생 장치를 나타낼 수 있다.
일실시예에 따른 센서(Sensor)는 현실 세계(110)의 사용자의 동작, 상태, 의도, 형태 등에 관한 정보를 감지(Sensing)하여 가상 세계 처리 장치로 전송할 수 있다.
실시예에 따라서는, 센서는 센서 특성(Sensor Capability)(101), 센서 적응 선호(Sensor Adaptation Preference)(102) 및 감지 정보(Sensed Information)(103)를 가상 세계 처리 장치로 전송할 수 있다.
센서 특성(101)은 센서의 특성에 대한 정보이다. 센서 적응 선호(102)는 센서의 사용자가 센서의 특성에 대해서 선호하는 정도를 나타내는 정보이다. 감지 정보(103)는 센서가 현실 세계(110)를 감지한 정보이다.
일실시예에 따른 가상 세계 처리 장치는 적응 RV(Adaptation Real World to Virtual World)(120), VWI(Virtual World Information, 가상 세계 정보)(104) 및 적응 RV/VR(Adaptation Real World to Virtual World/Virtual World to Real World)(130)를 포함할 수 있다.
적응 RV(120)는 센서 특성(101) 및 센서 적응 선호(102)에 기초하여 센서가 현실 세계(110)에 대해서 감지한 감지 정보(103)를 가상 세계(140)에 적용할 수 있는 정보로 변환할 수 있다. 실시예에 따라, 적응 RV(120)는 RV 엔진(real world to virtual world engine, RV engine)으로 구현될 수 있다.
일실시예에 따른 적응 RV(120)는 변환된 감지 정보(103)를 이용하여 VWI(Virtual World Information, 가상 세계 정보)(104)를 변환할 수 있다.
VWI(104)는 가상 세계(140)의 가상 객체(Virtual Object)에 대한 정보이다.
적응 RV/VR(130)은 변환된 VWI(104)를 인코딩하여 가상 세계(140)에 적용되는 효과에 대한 메타데이터인 VWEM(Virtual World Effect Metadata, 가상 세계 효과 메타데이터)(107)을 생성할 수 있다. 실시예에 따라서는, 적응 RV/VR(130)은 VWC(Virtual World Capabilities, 가상 세계 특성)(105) 및 VWP(Virtual World Preferences, 가상 세계 선호)(106)에 기초하여 VWEM(107)을 생성할 수 있다.
VWC(105)는 가상 세계(140)의 특성에 대한 정보이다. 또한, VWP(106)는 가상 세계(140)의 특성에 대한 사용자의 선호 정도를 나타내는 정보이다.
또한, 적응 RV/VR(130)은 VWEM(107)을 가상 세계(140)로 전송할 수 있다. 이 때, VWEM(107)은 가상 세계(140)이 적용되어, 감지 정보(103)에 대응하는 효과가 가상 세계(140)에서 구현될 수 있다.
본 발명의 일측에 따르면, 가상 세계(140)에서 발생한 효과 이벤트가 현실 세계(110)에서 엑츄에이터(Actuator)인 실감 장치에 의해서 구동될 수 있다.
가상 세계(140)는 가상 세계(140)에서 발생한 효과 이벤트에 대한 정보인 실감 효과 정보(Sensory Effect Information)를 인코딩하여 SEM(Sensory Effect Metadata, 실감 효과 메타데이터)(111)을 생성할 수 있다. 실시예에 따라서는, 가상 세계(140)는 실감 효과 정보를 포함하는 컨텐츠를 재생하는 실감 미디어 재생 장치를 포함할 수 있다.
적응 RV/VR(130)는 SEM(111)에 기초하여 실감 정보(Sensory Information)(112)를 생성할 수 있다. 실감 정보(112)는 현실 세계(110)의 실감 장치에서 구현되는 효과 이벤트에 대한 정보이다.
적응 VR(150)는 현실 세계(110)의 실감 장치의 동작을 제어하는 SDCmd(Sensory Device Command, 실감 장치 명령)(115)에 대한 정보를 생성할 수 있다. 실시예에 따라서는, 적응 VR(150)은 SDCap(Sensory Device Capabilities, 실감 장치 특성)(113)에 대한 정보 및 USP(User Sensory Preference, 사용자 실감 선호)(114)에 대한 정보에 기초하여 SDCmd(115)에 대한 정보를 생성할 수 있다.
SDCap(113)은 실감 장치의 특성에 대한 정보이다. 또한, USP(114)는 실감 장치에서 구현되는 효과에 대한 사용자의 선호 정도를 나타내는 정보이다.
도 2는 일 실시예에 따른 증강 현실 시스템을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 증강 현실 시스템은 미디어 저장 장치(210) 또는 실시간 미디어 획득 장치(220)를 이용하여 실세계를 표현하는 영상을 획득할 수 있다. 또한, 증강 현실 시스템은 각종 센서(230)를 이용하여 실세계를 표현하는 센서 정보를 획득할 수 있다.
여기서, 일 실시예에 따른 증강 현실 카메라(AR camera)는 실시간 미디어 획득 장치(220)와 각종 센서(230)를 포함할 수 있다. 증강 현실 카메라는 실세계 정보와 가상 객체간 혼합을 위하여 실세계를 표현하는 영상 또는 센서 정보를 획득할 수 있다.
증강 현실 컨테이너(AR Container, 240)는 실세계 정보뿐 아니라, 실세계와 가상 객체간 혼합 방식에 대한 정보를 가지는 장치이다. 예를 들어, 증강 현실 컨테이너(240)는 어떤 가상 객체를 어느 시점에 실세계 정보 중 어느 것과 혼합할 것인지 여부에 관한 정보를 포함할 수 있다.
증강 현실 컨테이너(240)는 실세계와 가상 객체간 혼합 방식에 대한 정보에 기초하여 증강 현실 콘텐트(AR Content, 250)에 가상 객체 정보를 요청할 수 있다. 여기서, 증강 현실 콘텐트(250)는 가상 객체 정보를 포함하는 장치이다.
증강 현실 콘텐트(250)는 증강 현실 컨테이너(240)의 요청에 부합하는 가상 객체 정보를 반환할 수 있다. 이 때, 가상 객체 정보는 가상 객체를 나타내는 3차원 그래픽, 오디오, 비디오, 또는 텍스트 중 적어도 하나에 기초하여 표현될 수 있다. 나아가, 가상 객체 정보는 복수의 가상 객체들 사이의 상호 작용도 포함할 수 있다.
가시화부(260)는 증강 현실 컨테이너(240)에 포함된 실세계 정보와 증강 현실 콘텐트(250)에 포함된 가상 객체 정보를 동시에 가시화할 수 있다. 이 경우, 상호 작용부(270)는 가시화된 정보를 통해 이용자가 가상 객체와 상호 작용을 할 수 있는 인터페이스를 제공할 수 있다. 또한, 상호 작용부(270)는 이용자와 가상 객체 사이의 상호 작용에 의하여 가상 객체를 업데이트 하거나, 실세계와 가상 객체간 혼합 방식을 업데이트 할 수 있다.
이하, 도 3을 참조하여 일 실시예에 따른 가상 세계 처리 장치의 구성에 대하여 상세히 설명한다.
도 3은 일 실시예에 따른 가상 세계 처리 장치의 구성을 나타내는 도면이다.
도 3을 참조하면, 일 실시예에 따른 가상 세계 처리 장치(320)는 수신부(321), 처리부(322) 및 전송부(323)를 포함한다.
수신부(321)는 이미지 센서(311)로부터 촬영 영상(315)에 대한 감지 정보 및 이미지 센서(311)의 특성에 대한 센서 특성을 수신할 수 있다. 여기서, 이미지 센서(311)는 정지 영상을 촬영할 수 있고, 동영상을 촬영할 수 있다. 예를 들어, 이미지 센서(311)는 사진 촬영 센서 및 동영상 센서 중 적어도 하나를 포함할 수 있다.
처리부(322)는 감지 정보 및 센서 특성에 기초하여, 가상 세계의 객체를 제어하는 제어 정보를 생성한다. 예를 들어, 처리부(332)는 감지 정보에 포함된 특정 요소와 관련된 값이 센서 특성에서 규정하는 허용 범위 이내인 경우, 제어 정보를 생성할 수 있다.
전송부(323)는 제어 정보를 가상 세계로 전송한다.
이 때, 가상 세계의 동작은 전송 받은 제어 정보에 기초하여 제어될 수 있다.
예를 들어, 이미지 센서(311)가 증강 현실 카메라인 경우를 가정하자. 이미지 센서(311)는 실세계(310)를 촬영함으로써 촬영 영상(315)을 획득할 수 있다. 이미지 센서(311)는 촬영 영상(315)을 분석함으로써 촬영 영상(315)에 포함된 복수의 피쳐 포인트들(316)을 추출할 수 있다.
여기서, 피쳐 포인트는 촬영 영상(315)에 포함된 경계면들에서 주로 추출될 수 있고, 3차원 좌표로 표현될 수 있다.
경우에 따라, 이미지 센서(311)는 촬영 영상(315)에 포함된 경계면들 중 가장 가까운 객체의 경계면이나 가장 크기가 큰 객체의 경계면과 관련된 피쳐 포인트들(316)을 우선적으로 추출할 수 있다.
이미지 센서(311)는 추출된 복수의 피쳐 포인트들을 포함한 감지 정보를 가상 세계 처리 장치(320)로 전송할 수 있다.
가상 세계 처리 장치(320)는 이미지 센서(311)로부터 전송 받은 감지 정보로부터 피쳐 포인트를 추출하고, 추출된 피쳐 포인트를 포함하는 제어 정보를 생성할 수 있다.
따라서, 일 실시예에 따른 가상 세계 처리 장치(320)는 적은 정보(예를 들어, 피쳐 포인트)만을 이용하여 실세계(310)에 대응되는 가상 씬(Virtual Scene, 330)을 위한 제어 신호를 생성할 수 있다.
이 경우, 가상 세계는 제어 정보에 포함된 복수의 피쳐 포인트들에 기초하여 가상 객체를 제어할 수 있다.
보다 구체적으로, 가상 세계는 복수의 피쳐 포인트들에 기초하여 실세계(310)에 대응되는 가상 씬(330)을 표현할 수 있다. 이 경우, 가상 씬(330)은 삼차원 공간으로 표현될 수 있다. 가상 세계는 피쳐 포인트에 기초하여 가상 씬(330)을 위한 면(plane)을 표현할 수 있다.
뿐만 아니라, 가상 세계는 실세계(310)에 대응되는 가상 씬(330)과 가상 객체들(331)을 동시에 표시할 수 있다.
일 실시예에 따르면, 이미지 센서(311)로부터 수신되는 감지 정보 및 센서 특성은 도 1의 SI(103)과 SC(101)에 각각 대응될 수 있다.
예를 들어, 이미지 센서(311)로부터 수신되는 감지 정보는 표 1과 같이 정의될 수 있다.
Sensed Information (SI, 103)

- Camera sensor type

- AR Camera type
여기서, 증강 현실 카메라 타입(AR Camera type)은 기본적으로 카메라 센서 타입(Camera sensor type)을 포함할 수 있다. 카메라 센서 타입은 리소스 요소, 카메라 로케이션 요소 및 카메라 오리엔테이션 요소의 요소(element)와 초점거리 속성, 조리개 속성, 셔터 스피드 속성 및 필터 속성의 속성(attribute)으로 구성될 수 있다.
이 때, 리소스 요소는 이미지 센서에 의해 촬영된 이미지로의 링크를 포함하고, 카메라 로케이션 요소는 글로벌 포지션 시스템(GPS) 센서를 이용하여 측정된 이미지 센서의 위치와 관련된 정보를 포함하며, 카메라 오리엔테이션 요소는 이미지 센서의 자세와 관련된 정보를 포함할 수 있다.
초점거리 속성은 이미지 센서의 초점거리와 관련된 정보를 포함하고, 조리개 속성은 이미지 센서의 조리개와 관련된 정보를 포함하며, 셔터 스피드 속성은 이미지 센서의 셔터 스피드와 관련된 정보를 포함하고, 필터 속성은 이미지 센서의 필터 신호처리와 관련된 정보를 포함할 수 있다. 여기서, 필터 타입은 UV 필터(UltraViolet filter), 편광 필터(Polarizing light filter), ND 필터(Neutral Density filter), 확산 필터(Diffusion filter), Star 필터(Star filter) 등을 포함할 수 있다.
또한, 증강 현실 카메라 타입은 피쳐 요소 및 카메라 포지션 요소를 더 포함할 수 있다.
이 때, 피쳐 요소는 촬영 영상 내 경계면과 관련된 피쳐 포인트를 포함하고, 카메라 포지션 요소는 GPS 센서와 구별되는 위치 센서를 이용하여 측정된 이미지 센서의 위치와 관련된 정보를 포함할 수 있다.
전술한 바와 같이, 피쳐 포인트는 이미지 센서에 의해 촬영된 영상 내 경계면들에 주로 생성되는 포인트로, 증강 현실 환경에서 가상 객체를 표현하기 위하여 활용될 수 있다. 보다 구체적으로, 적어도 하나의 피쳐 포인트를 포함하는 피쳐 요소는 씬 디스크립터(Scene descriptor)에 의하여 면을 표현하는 요소로 활용될 수 있다. 씬 디스크립션의 동작과 관련된 보다 상세한 사항은 후술한다.
카메라 포지션 요소는 GPS 센서를 이용하여 위치를 측정하기 어려운 실내 또는 터널 등에서 이미지 센서의 위치를 측정하기 위하여 활용될 수 있다.
한편, 이미지 센서(311)로부터 수신되는 센서 특성은 표 2와 같이 정의될 수 있다.
Sensor Capability (SC, 101)

- Camera sensor capability type

- AR Camera capability type
여기서, 증강 현실 카메라 특성 타입(AR Camera capability type)은 기본적으로 카메라 센서 특성 타입(Camera sensor capability type)을 포함할 수 있다. 카메라 센서 특성 타입은 지원 해상도 리스트(Supported Resolution List) 요소, 초점거리 범위 요소, 조리개 범위 요소 및 셔터 스피드 범위 요소로 구성될 수 있다.
이 때, 지원 해상도 리스트 요소는 이미지 센서가 지원하는 해상도들의 리스트를 포함하고, 초점거리 범위 요소는 이미지 센서가 지원하는 초점거리의 범위를 포함하며, 조리개 범위 요소는 이미지 센서가 지원하는 조리개의 범위를 포함하고, 셔터 스피드 범위 요소는 이미지 센서가 지원하는 셔터 스피드의 범위를 포함할 수 있다.
또한, 증강 현실 카메라 특성 타입은 최대 피쳐 포인트 요소 및 카메라 포지션 범위 요소를 더 포함할 수 있다.
이 때, 최대 피쳐 포인트 요소는 이미지 센서에 의해 검출될 수 있는 최대 피쳐 포인트들의 수를 포함하고, 카메라 포지션 범위 요소는 위치 센서에 의해 측정될 수 있는 위치의 범위를 포함할 수 있다.
표 3은 일 실시예에 따른 카메라 센서 타입에 대한 XML 신택스(eXtensible Markup Language Syntax)를 나타낸다.
<!-- ################################################ -->
<!-- Camera Sensor Type -->
<!-- ################################################ -->
<complexType name="CameraSensorType">
<complexContent>
<extension base="iidl:SensedInfoBaseType">
<sequence>
<element name="Resource" type="anyURI"/>
<element name="CameraOrientation" type="siv:OrientationSensorType" minOccurs="0"/>
<element name="CameraLocation" type="siv:GlobalPositionSensorType" minOccurs="0"/>
</sequence>
<attribute name="focalLength" type="float" use="optional"/>
<attribute name="aperture" type="float" use="optional"/>
<attribute name="shutterSpeed" type="float" use="optional"/>
<attribute name="filter" type="mpeg7:termReferenceType" use="optional"/>
</extension>
</complexContent>
</complexType>
표 4는 일 실시예에 따른 카메라 센서 타입에 대한 시멘틱(Semantics)을 나타낸다.
Name Definition
CameraSensorType Tool for describing sensed information with respect to a camera sensor.
Resource Describes the element that contains a link to image or video files.
CameraLocation Describes the location of a camera using the structure defined by GlobalPositionSensorType.
CameraOrientation Describes the orientation of a camera using the structure defined by OrientationSensorType.
focalLength Describes the distance between the lens and the image sensor when the subject is in focus, in terms of millimeters (mm).
aperture Describes the diameter of the lens opening. It is expressed as F-stop, e.g. F2.8. It may also be expressed as f-number notation such as f/2.8.
shutterSpeed Describes the time that the shutter remains open when taking a photograph in terms of seconds (sec).
filter Describes kinds of camera filters as a reference to a classification scheme term that shall be using the mpeg7:termReferenceType defined in 7.6 of ISO/IEC 15938-5:2003. The CS that may be used for this purpose is the CameraFilterTypeCS defined in A.x.x.
표 5는 일 실시예에 따른 카메라 센서 특성 타입에 대한 XML 신택스를 나타낸다.
<!-- ################################################ -->
<!-- Camera Sensor capability type -->
<!-- ################################################ -->
<complexType name="CameraSensorCapabilityType">
<complexContent>
<extension base="cidl:SensorCapabilityBaseType">
<sequence>
<element name="SupportedResolutions" type="scdv:ResolutionListType" minOccurs="0"/>
<element name="FocalLengthRange" type="scdv:ValueRangeType" minOccurs="0"/>
<element name="ApertureRange" type="scdv:ValueRangeType" minOccurs="0"/>
<element name="ShutterSpeedRange" type="scdv:ValueRangeType" minOccurs="0"/>
</sequence>
</extension>
</complexContent>
</complexType>

<complexType name="ResolutionListType">
<sequence>
<element name="Resolution" type="scdv:ResolutionType" maxOccurs="unbounded"/>
</sequence>
</complexType>

<complexType name="ResolutionType">
<sequence>
<element name="Width" type="nonNegativeInteger"/>
<element name="Height" type="nonNegativeInteger"/>
</sequence>
</complexType>

<complexType name="ValueRangeType">
<sequence>
<element name="MaxValue" type="float"/>
<element name="MinValue" type="float"/>
</sequence>
</complexType>
표 6은 일 실시예에 따른 카메라 센서 특성 타입에 대한 시멘틱을 나타낸다.
Name Definition
CameraSensorCapabilityType Tool for describing a camera sensor capability.
SupportedResolutions Describes a list of resolution that the camera can support.
ResolutionListType Describes a type of the resolution list which is composed of ResolutionType element.
ResolutionType Describes a type of resolution which is composed of Width element and Height element.
Width Describes a width of resolution that the camera can perceive.
Height Describes a height of resolution that the camera can perceive
FocalLengthRange Describes the range of the focal length that the camera sensor can perceive in terms of ValueRangeType. Its default unit is millimeters (mm).
NOTE The minValue and the maxValue in the SensorCapabilityBaseType are not used for this sensor.
ValueRangeType Defines the range of the value that the sensor can perceive.
MaxValue Describes the maximum value that the sensor can perceive.
MinValue Describes the minimum value that the sensor can perceive.
ApertureRange Describes the range of the aperture that the camera sensor can perceive in terms of valueRangeType.
NOTE The minValue and the maxValue in the SensorCapabilityBaseType are not used for this sensor.
ShutterSpeedRange Describes the range of the shutter speed that the camera sensor can perceive in terms of valueRangeType. Its default unit is seconds (sec).
NOTE The minValue and the maxValue in the SensorCapabilityBaseType are not used for this sensor.
표 7은 일 실시예에 따른 증강 현실 카메라 타입에 대한 XML 신택스를 나타낸다.
<!-- ################################################ -->
<!-- AR Camera Type -->
<!-- ################################################ -->
<complexType name="ARCameraType">
<complexContent>
<extension base="siv:CameraSensorType">
<sequence>
<element name="Feature" type="siv:FeaturePointType" minOccurs="0" maxOccurs="unbounded"/>
<element name="CameraPosition" type="siv:PositionSensorType" minOccurs="0"/>
</sequence>
</extension>
</complexContent>
</complexType>

<complexType name="FeaturePointType">
<sequence>
<element name="Position" type="mpegvct:Float3DVectorType"/>
</sequence>
<attribute name="featureID" type="ID" use="optional"/>
</complexType>
표 8은 일 실시예에 따른 증강 현실 카메라 타입에 대한 시멘틱을 나타낸다.
Name Definition
ARCameraType Tool for describing sensed information with respect to an AR camera.
Feature Describes the feature detected by a camera using the structure defined by FeaturePointType.
FeaturePointType Tool for describing Feature commands for each feature point.
Position Describes the 3D position of each of the feature points.
featureID To be used to identify each feature.
CameraPosition Describes the location of a camera using the structure defined by PositionSensorType.
표 9는 일 실시예에 따른 증강 현실 카메라 특성 타입에 대한 XML 신택스를 나타낸다.
<!-- ################################################ -->
<!-- AR Camera capability type -->
<!-- ################################################ -->
<complexType name="ARCameraCapabilityType">
<complexContent>
<extension base="siv:CameraSensorCapabilityType">
<sequence>
<element name="MaxFeaturePoint" type="nonNegativeInteger" minOccurs="0"/>
<element name="CameraPositionRange" type="scdv:RangeType" minOccurs="0"/>
</sequence>
</extension>
</complexContent>
</complexType>
표 10은 일 실시예에 따른 증강 현실 카메라 특성 타입에 대한 시멘틱을 나타낸다.
Name Definition
ARCameraCapabilityType Tool for describing an AR camera capability.
MaxFeaturePoint Describes the maximum number of feature points that the camera can detect.
CameraPositionRange Describes the range that the position sensor can perceive in terms of RangeType in its global coordinate system.
NOTE The minValue and the maxValue in the SensorCapabilityBaseType are not used for this sensor.
표 11은 일 실시예에 따른 씬 디스크립터 타입에 대한 XML 신택스를 나타낸다.
<!-- ########################################################### -->
<!-- Scene Descriptor Type -->
<!-- ########################################################### -->
<complexType name="SceneDescriptorType">
<sequence>
<element name="image" type="anyURI"/>
</sequence>
<complexType name="plan">
<sequence>
<element name="ID" type="int32"/>
<element name="X" type="float"/>
<element name="Y" type="float"/>
<element name="Z" type="float"/>
<element name="Scalar" type="float"/>
</sequence>
</complexType>
<complexType name="feature">
<sequence>
<element name="ID" type="int32"/>
<element name="X" type="float"/>
<element name="Y" type="float"/>
<element name="N" type="float"/>
</sequence>
<complexType>
</complexType>
여기서, 씬 디스크립터 타입에 포함된 이미지(image) 요소는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들은 플랜(plan)의 아이디(ID) 또는 피쳐(feature)의 아이디를 묘사할 수 있다.
이 때, 플랜은 Xplan, Yplan, Zplan 및 Scalar를 포함할 수 있고, 수학식 1을 참조하면, 씬 디스크립터는 Xplan, Yplan, Zplan을 포함하는 면 방정식을 이용하여 면을 표현할 수 있다.
Figure 112013014688319-pat00001
또한, 피쳐는 감지 정보에 포함된 피쳐 요소에 대응되는 타입으로, 피쳐는 Xfeature, Yfeature 및 Zfeature를 포함할 수 있다. 이 때, 피쳐는 3차원 포인트 (Xfeature, Yfeature, Zfeature)를 나타낼 수 있고, 씬 디스크립터는 (Xfeature, Yfeature, Zfeature)에 위치하는 3차원 포인트를 이용하여 면을 표현할 수 있다.
도 4는 일 실시예에 따른 가상 세계 처리 방법을 나타내는 동작 흐름도이다.
도 4를 참조하면, 일 실시예에 따른 가상 세계 처리 방법은 이미지 센서로부터 촬영 영상에 대한 감지 정보 및 이미지 센서의 특성에 대한 센서 특성을 수신한다(410).
가상 세계 처리 방법은 감지 정보 및 센서 특성에 기초하여, 가상 세계의 객체를 제어하는 제어 정보를 생성한다(420).
가상 세계 처리 방법은 제어 정보를 가상 세계로 전송한다(430).
이 때, 가상 세계의 동작은 전송 받은 제어 정보에 기초하여 제어될 수 있다. 도 4에 도시된 각 단계들에는 도 1 내지 도 3을 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 이미지 센서로부터 촬영 영상에 대한 감지 정보 및 상기 이미지 센서의 특성에 대한 센서 특성을 수신하는 수신부;
    상기 감지 정보 및 상기 센서 특성에 기초하여, 가상 세계의 객체를 제어하는 제어 정보를 생성하는 처리부; 및
    상기 제어 정보를 상기 가상 세계로 전송하는 전송부
    를 포함하고,
    상기 이미지 센서에서,
    상기 촬영 영상에 포함된 경계면들 중 가장 가까운 객체의 경계면이나 가장 크기가 큰 객체의 경계면과 관련된 적어도 하나의 피쳐 포인트가 추출되어 상기 적어도 하나의 피쳐 포인트를 포함하는 상기 감지 정보가 전송되고,
    상기 처리부는,
    상기 감지 정보로부터 상기 적어도 하나의 피쳐 포인트를 추출하고, 상기 적어도 하나의 피쳐 포인트에 기초하여 상기 제어 정보를 생성하는 가상 세계 처리 장치.
  2. 제1항에 있어서,
    상기 이미지 센서는
    사진 촬영 센서 및 동영상 촬영 센서 중 적어도 하나를 포함하는 가상 세계 처리 장치.
  3. 제1항에 있어서,
    상기 감지 정보는
    상기 이미지 센서에 의해 촬영된 이미지로의 링크를 포함하는 리소스 요소;
    글로벌 포지션 시스템(GPS) 센서를 이용하여 측정된 상기 이미지 센서의 위치와 관련된 정보를 포함하는 카메라 로케이션 요소; 및
    상기 이미지 센서의 자세와 관련된 정보를 포함하는 카메라 오리엔테이션 요소
    를 포함하는 가상 세계 처리 장치.
  4. 제1항에 있어서,
    상기 감지 정보는
    상기 이미지 센서의 초점거리와 관련된 정보를 포함하는 초점거리 속성;
    상기 이미지 센서의 조리개와 관련된 정보를 포함하는 조리개 속성;
    상기 이미지 센서의 셔터 스피드와 관련된 정보를 포함하는 셔터 스피드 속성; 및
    상기 이미지 센서의 필터 신호처리와 관련된 정보를 포함하는 필터 속성
    을 포함하는 가상 세계 처리 장치.
  5. 제3항에 있어서,
    상기 감지 정보는
    상기 촬영 영상 내 경계면과 관련된 피쳐 포인트를 포함하는 피쳐 요소; 및
    상기 GPS 센서와 구별되는 위치 센서를 이용하여 측정된 상기 이미지 센서의 위치와 관련된 정보를 포함하는 카메라 포지션 요소
    를 더 포함하는 가상 세계 처리 장치.
  6. 제1항에 있어서,
    상기 센서 특성은
    상기 이미지 센서가 지원하는 해상도들의 리스트를 포함하는 지원 해상도 리스트(Supported Resolution List) 요소;
    상기 이미지 센서가 지원하는 초점거리의 범위를 포함하는 초점거리 범위 요소;
    상기 이미지 센서가 지원하는 조리개의 범위를 포함하는 조리개 범위 요소; 및
    상기 이미지 센서가 지원하는 셔터 스피드의 범위를 포함하는 셔터 스피드 범위 요소
    를 포함하는 가상 세계 처리 장치.
  7. 제6항에 있어서,
    상기 센서 특성은
    상기 이미지 센서에 의해 검출될 수 있는 최대 피쳐 포인트들의 수를 포함하는 최대 피쳐 포인트 요소; 및
    위치 센서에 의해 측정될 수 있는 위치의 범위를 포함하는 카메라 포지션 범위 요소
    를 더 포함하는 가상 세계 처리 장치.
  8. 제1항에 있어서,
    상기 전송부는 상기 적어도 하나의 피쳐 포인트를 상기 가상 세계로 전송하며,
    상기 가상 세계는 상기 적어도 하나의 피쳐 포인트에 기초하여 상기 가상 세계에 포함된 적어도 하나의 면(plane)을 표현하는 가상 세계 처리 장치.
  9. 이미지 센서로부터 촬영 영상에 대한 감지 정보 및 상기 이미지 센서의 특성에 대한 센서 특성을 수신하는 단계;
    상기 감지 정보 및 상기 센서 특성에 기초하여, 가상 세계의 객체를 제어하는 제어 정보를 생성하는 단계; 및
    상기 제어 정보를 상기 가상 세계로 전송하는 단계
    를 포함하고,
    상기 이미지 센서에서,
    상기 촬영 영상에 포함된 경계면들 중 가장 가까운 객체의 경계면이나 가장 크기가 큰 객체의 경계면과 관련된 적어도 하나의 피쳐 포인트가 추출되어 상기 적어도 하나의 피쳐 포인트를 포함하는 상기 감지 정보가 전송되고,
    상기 감지 정보 및 상기 센서 특성에 기초하여, 가상 세계의 객체를 제어하는 제어 정보를 생성하는 단계는,
    상기 감지 정보로부터 상기 적어도 하나의 피쳐 포인트를 추출하고, 상기 적어도 하나의 피쳐 포인트에 기초하여 상기 제어 정보를 생성하는 단계
    를 포함하는 가상 세계 처리 방법.
  10. 제9항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020130017404A 2012-07-12 2013-02-19 가상 세계 처리 장치 및 방법 KR102024863B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/934,605 US20140015931A1 (en) 2012-07-12 2013-07-03 Method and apparatus for processing virtual world

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261670825P 2012-07-12 2012-07-12
US61/670,825 2012-07-12

Publications (2)

Publication Number Publication Date
KR20140009913A KR20140009913A (ko) 2014-01-23
KR102024863B1 true KR102024863B1 (ko) 2019-09-24

Family

ID=50142901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130017404A KR102024863B1 (ko) 2012-07-12 2013-02-19 가상 세계 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102024863B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075726A (ja) 1999-08-02 2001-03-23 Lucent Technol Inc 三次元オブジェクトの動きを制御するための６つの自由度を持つコンピュータ入力装置
JP2007195091A (ja) 2006-01-23 2007-08-02 Sharp Corp 合成映像生成システム
US20090221374A1 (en) * 2007-11-28 2009-09-03 Ailive Inc. Method and system for controlling movements of objects in a videogame
WO2012032996A1 (ja) 2010-09-09 2012-03-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2012094100A (ja) * 2010-06-02 2012-05-17 Nintendo Co Ltd 画像表示システム、画像表示装置および画像表示方法
US20120242866A1 (en) 2011-03-22 2012-09-27 Kyocera Corporation Device, control method, and storage medium storing program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778171B1 (en) * 2000-04-05 2004-08-17 Eagle New Media Investments, Llc Real world/virtual world correlation system using 3D graphics pipeline
KR100514308B1 (ko) * 2003-12-05 2005-09-13 한국전자통신연구원 가상 공간에 대한 에이치디알아이 생성을 위한 가상에이치디알카메라
KR100918392B1 (ko) * 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
US20090300144A1 (en) * 2008-06-03 2009-12-03 Sony Computer Entertainment Inc. Hint-based streaming of auxiliary content assets for an interactive environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075726A (ja) 1999-08-02 2001-03-23 Lucent Technol Inc 三次元オブジェクトの動きを制御するための６つの自由度を持つコンピュータ入力装置
JP2007195091A (ja) 2006-01-23 2007-08-02 Sharp Corp 合成映像生成システム
US20090221374A1 (en) * 2007-11-28 2009-09-03 Ailive Inc. Method and system for controlling movements of objects in a videogame
JP2012094100A (ja) * 2010-06-02 2012-05-17 Nintendo Co Ltd 画像表示システム、画像表示装置および画像表示方法
WO2012032996A1 (ja) 2010-09-09 2012-03-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20120242866A1 (en) 2011-03-22 2012-09-27 Kyocera Corporation Device, control method, and storage medium storing program

Also Published As

Publication number Publication date
KR20140009913A (ko) 2014-01-23

Similar Documents

Publication Publication Date Title
CN105279795B (zh) 基于3d标记的增强现实***
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
US20120026376A1 (en) Anamorphic projection device
KR101227237B1 (ko) 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법
US10706634B1 (en) System for generating augmented reality content from a perspective view of an unmanned aerial vehicle
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
US11189057B2 (en) Provision of virtual reality content
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
US9304603B2 (en) Remote control using depth camera
CN111131735B (zh) 视频录制方法、视频播放方法、装置及计算机存储介质
WO2020110323A1 (ja) 動画合成装置、動画合成方法及び記録媒体
US20210038975A1 (en) Calibration to be used in an augmented reality method and system
WO2020110322A1 (ja) 動画合成装置、動画合成方法及び記録媒体
US20130040737A1 (en) Input device, system and method
US20140015931A1 (en) Method and apparatus for processing virtual world
US11430178B2 (en) Three-dimensional video processing
EP3542877A1 (en) Optimized content sharing interaction using a mixed reality environment
US9942540B2 (en) Method and a device for creating images
WO2019034804A2 (en) THREE-DIMENSIONAL VIDEO PROCESSING
KR102024863B1 (ko) 가상 세계 처리 장치 및 방법
JP6370446B1 (ja) 視点基盤のオブジェクトピッキングシステム及びその方法
KR102471792B1 (ko) Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법
US20210037230A1 (en) Multiview interactive digital media representation inventory verification
KR101860215B1 (ko) 프로젝터 자세에 연동하는 콘텐츠 디스플레이 시스템 및 방법
KR101572348B1 (ko) 인터렉티브 컴퓨팅 장치를 이용한 촬상 데이터 처리방법 및 그에 따른 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant