KR102524016B1 - 투영된 콘텐츠와 인터렉션하기 위한 시스템 - Google Patents

투영된 콘텐츠와 인터렉션하기 위한 시스템 Download PDF

Info

Publication number
KR102524016B1
KR102524016B1 KR1020210012477A KR20210012477A KR102524016B1 KR 102524016 B1 KR102524016 B1 KR 102524016B1 KR 1020210012477 A KR1020210012477 A KR 1020210012477A KR 20210012477 A KR20210012477 A KR 20210012477A KR 102524016 B1 KR102524016 B1 KR 102524016B1
Authority
KR
South Korea
Prior art keywords
projected
content
size
area
user
Prior art date
Application number
KR1020210012477A
Other languages
English (en)
Other versions
KR20220023681A (ko
Inventor
김덕규
박기훈
Original Assignee
김덕규
박기훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김덕규, 박기훈 filed Critical 김덕규
Publication of KR20220023681A publication Critical patent/KR20220023681A/ko
Priority to KR1020230049795A priority Critical patent/KR102548510B1/ko
Application granted granted Critical
Publication of KR102524016B1 publication Critical patent/KR102524016B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

투영된 콘텐츠와 인터렉션하기 위한 시스템이 개시된다. 본 발명의 일 실시 형태에 따른 시스템은 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 캘리브레이션 영역은 피투영체의 전체 영역 중 콘텐츠가 투영되는 영역임 - 에 투영하는 빔 프로젝터와, 캘리브레이션 영역을 포함하는 피투영체를 촬영하고, 촬영 중인 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 모바일 단말을 포함하며, 빔 프로젝터는 사용자의 신체 특정 부위의 위치 및 크기에 따라 객체와 인터렉션할 수 있다.

Description

투영된 콘텐츠와 인터렉션하기 위한 시스템{SYSTEM FOR INTERACTION WITH OBJECT OF CONTENT}
본 출원은, 투영된 콘텐츠와 인터렉션하기 위한 시스템에 관한 것이다.
최근 코로나의 여파로 어린이집이나 학교에 대한 등원이나 등교가 제한되고 있다. 이로 인해 집에서 아이들을 돌보는 시간이 증가하고 있으며, 집에서 아이들과 함께 즐길 수 있는 게임이나 교육 장치에 대한 수요 또한 증가하고 있다.
교육 장치 중에 특히 빔프로젝터와 같이 특정 공간에 영상을 투영하고, 이를 다수가 시청하는 장치들이 있다. 기존의 영상 투영 장치들은 인터렉션을 하기 위해서는 전문가들이 해당 장비들을 특정 장소에 고정시키고 캘리브레이션 작업을 해야 사용이 가능하다. 이렇듯 영상 투영 장치의 경우, 설치에 있어서 전문성과 복잡성의 복잡하다는 문제점이 있다.
한국공개특허 제10-2019-0055364호(“인터렉티브 비디오 게임 시스템”, 공개일: 2019년05월23일)
본 발명의 일 실시 형태에 의하면, 간단하게 설치 가능하며, 저렴한 비용으로 시스템을 구축할 수 있음과 동시에 아이들의 집중력이나 몰입감을 향상시키고 상상력이나 창의력을 고취시킬 수 있는 투영된 콘텐츠와 인터렉션하기 위한 시스템을 제공한다.
본 발명의 일 실시 형태에 의하면, 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 상기 캘리브레이션 영역은 상기 피투영체의 전체 영역 중 상기 콘텐츠가 투영되는 영역임 - 에 투영하는 빔 프로젝터; 및 상기 캘리브레이션 영역을 포함하는 상기 피투영체를 촬영하고, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 모바일 단말;을 포함하며, 상기 빔 프로젝터는, 상기 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하는, 투영된 콘텐츠와 인터렉션하기 위한 시스템이 제공된다.
본 발명의 일 실시 형태에 의하면, 상기 모바일 단말은, 상기 피투영체의 전체 영역 중 상기 캘리브레이션 영역의 좌표를 더 구할 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 빔 프로젝터는, 상기 피투영체에 캘리브레이션 조정용 화면을 투영하고, 상기 모바일 단말은, 투영된 상기 캘리브레이션 조정용 화면을 포함하는 상기 피투영체를 촬영하고, 촬영된 상기 피투영체에 대해 기준값을 설정하며, 설정된 상기 기준값에 기초하여 상기 캘리브레이션 영역의 좌표를 구할 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 모바일 단말은, 촬영된 상기 피투영체의 각 픽셀의 값을 그레이 레벨값으로 변환하고, 변환된 그레이 레벨값에 기초하여 히스토그램을 구하고, 구한 상기 히스토그램의 평균값보다 기 설정된 비율을 가지는 값을 상기 기준값으로 설정할 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 히스토그램의 평균값은, 계산된 상기 히스토그램을 크기에 따라 기 설정된 구간으로 나눈 구간의 평균값일 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 모바일 단말은, 촬영된 상기 피투영체에 대한 컨타우어(contour) 목록 중 상기 모바일 단말에서 촬영된 화면의 크기 대비 기 설정된 크기 이상이며, 4개의 각을 가지는 컨타우어 후보를 구하고, 구한 상기 컨타우어 후보 중 내부의 그레이 레벨값(gray level)의 평균값이 상기 기준값과 기 설정된 오차 범위 이내이며, 가장 큰 크기를 가지는 컨타우어를 상기 캘리브레이션 영역으로 구하고, 구한 상기 캘리브레이션 영역의 4개의 꼭지점의 좌표를 상기 캘리브레이션 영역의 좌표로 할 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 모바일 단말은, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 스켈레톤을 추출하고, 추출된 상기 사용자의 스켈레톤으로부터 상기 사용자의 신체 특정 부위의 위치 및 크기를 추정하고, 추정된 상기 위치를 상기 빔 프로젝터의 콘텐츠 영역 - 상기 콘텐츠 영역은 상기 콘텐츠가 실행되는 상기 빔 프로젝터 내의 메모리 영역임 - 의 좌표로 투영 변환하며, 투영 변환된 위치 및 상기 크기를 상기 빔 프로젝터로 전송할 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 사용자의 신체 특정 부위는, 사용자의 손이며, 상기 사용자의 손의 위치는, 손의 위치 = 손목의 위치 + (팔꿈치의 위치 - 손목의 위치)
Figure 112021011621222-pat00001
0.5이며, 상기 사용자의 손의 크기는, 사용자의 손의 크기 = Max(최소 크기,
Figure 112021011621222-pat00002
) 일 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 빔 프로젝터는, 상기 신체 특정 부위의 위치에 따라 크기가 상기 객체의 내부 영역과 오버랩되면, 기 설정된 에니메이션 효과를 투영할 수 있다.
본 발명의 일 실시 형태에 의하면, 빔 프로젝터에서, 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 상기 캘리브레이션 영역은 상기 피투영체의 전체 영역 중 상기 콘텐츠가 투영되는 영역임 - 에 투영하는 제1 단계; 모바일 단말에서, 상기 캘리브레이션 영역을 포함하는 상기 피투영체를 촬영하는 제2 단계; 상기 모바일 단말에서, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 제3 단계; 및 상기 빔 프로젝터에서, 상기 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하는 제4 단계;를 포함하는, 투영된 콘텐츠와 인터렉션하기 위한 방법이 제공된다.
본 발명의 일 실시 형태에 의하면, 상기 방법은, 상기 모바일 단말에서, 상기 피투영체의 전체 영역 중 상기 캘리브레이션 영역의 좌표를 구하는 단계;를 더 포함할 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 캘리브레이션 영역의 좌표를 구하는 단계는, 상기 빔 프로젝터에서, 상기 피투영체에 캘리브레이션 조정용 화면을 투영하는 단계; 상기 모바일 단말에서, 투영된 상기 캘리브레이션 조정용 화면을 포함하는 상기 피투영체를 촬영하는 단계; 상기 모바일 단말에서, 촬영된 상기 피투영체에 대해 기준값을 설정하는 단계; 및 상기 모바일 단말에서, 설정된 상기 기준값에 기초하여 상기 캘리브레이션 영역의 좌표를 구하는 단계;를 포함할 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 기준값을 설정하는 단계는, 촬영된 상기 피투영체의 각 픽셀의 값을 그레이 레벨값으로 변환하고, 변환된 그레이 레벨값에 기초하여 히스토그램을 구하는 단계; 및 구한 상기 히스토그램의 평균값보다 기 설정된 비율을 가지는 값을 상기 기준값으로 설정하는 단계;를 포함할 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 히스토그램의 평균값은, 계산된 상기 히스토그램을 크기에 따라 기 설정된 구간으로 나눈 구간의 평균값일 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 캘리브레이션 영역의 좌표를 구하는 단계는, 촬영된 상기 피투영체에 대한 컨타우어(contour) 목록 중 상기 모바일 단말에서 촬영된 화면의 크기 대비 기 설정된 크기 이상이며, 4개의 각을 가지는 컨타우어 후보를 구하는 단계; 구한 상기 컨타우어 후보 중 내부의 그레이 레벨값(gray level)의 평균값이 상기 기준값과 기 설정된 오차 범위 이내이며, 가장 큰 크기를 가지는 컨타우어를 상기 캘리브레이션 영역으로 구하는 단계; 및 구한 상기 캘리브레이션 영역의 4개의 꼭지점의 좌표를 상기 캘리브레이션 영역의 좌표로 하는 단계;를 포함할 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 모바일 단말에서, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 스켈레톤을 추출하는 단계; 추출된 상기 사용자의 스켈레톤으로부터 상기 사용자의 신체 특정 부위의 위치 및 크기를 추정하는 단계; 추정된 상기 위치를 상기 빔 프로젝터의 콘텐츠 영역 - 상기 콘텐츠 영역은 상기 콘텐츠가 실행되는 상기 빔 프로젝터 내의 메모리 영역임 - 의 좌표로 투영 변환하는 단계; 및 투영 변환된 위치 및 상기 크기를 상기 빔 프로젝터로 전송하는 제3 단계;를 포함할 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 사용자의 신체 특정 부위는, 사용자의 손이며, 상기 사용자의 손의 위치는, 손의 위치 = 손목의 위치 + (팔꿈치의 위치 - 손목의 위치)
Figure 112021011621222-pat00003
0.5이며, 상기 사용자의 손의 크기는, 사용자의 손의 크기 = Max(최소 크기,
Figure 112021011621222-pat00004
) 일 수 있다.
본 발명의 일 실시 형태에 의하면, 상기 제4 단계는, 상기 빔 프로젝터에서, 상기 신체 특정 부위의 위치에 따라 크기가 상기 객체의 내부 영역과 오버랩되면, 기 설정된 에니메이션 효과를 투영하는 단계;를 더 포함할 수 있다.
본 발명의 일 실시 형태에 의하면, 빔 프로젝터와 연동하여 투영된 콘텐츠와 인터렉션하기 위한 모바일 단말에 있어서, 상기 모바일 단말은, 상기 빔 프로젝터에 의해 투영된 캘리브레이션 영역 - 상기 캘리브레이션 영역은 객체(object)를 포함하는 콘텐츠가 디스플레이됨 - 을 포함하는 상기 피투영체를 촬영하는 카메라 모듈; 및 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 제어 모듈을 포함하며, 상기 빔 프로젝터는, 상기 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하도록 구성된, 투영된 콘텐츠와 인터렉션하기 위한 모바일 단말이 제공된다.
본 발명의 일 실시 형태에 의하면, 빔 프로젝터와 연동하는 모바일 단말을 이용하여 투영된 콘텐츠와 인터렉션하기 위한 방법에 있어서, 상기 모바일 단말에서, 상기 빔 프로젝터에 의해 투영된 캘리브레이션 영역 - 상기 캘리브레이션 영역은 객체(object)를 포함하는 콘텐츠가 디스플레이됨 - 을 포함하는 상기 피투영체를 촬영하는 단계와, 상기 모바일 단말에서, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 단계를 포함하며, 상기 빔 프로젝터는, 상기 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하도록 구성된, 빔 프로젝터와 연동하는 모바일 단말을 이용하여 투영된 콘텐츠와 인터렉션하는 방법이 제공된다.
모바일 단말과 연동하여 투영된 콘텐츠와 인터렉션하기 위한 빔 프로젝터에 있어서, 상기 빔 프로젝터는, 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 상기 캘리브레이션 영역은 상기 피투영체의 전체 영역 중 상기 콘텐츠가 투영되는 영역임 - 에 투영하는 투영 모듈; 및 상기 모바일 단말에서 전송된 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하는 제어 모듈;을 포함하며, 상기 모바일 단말은, 상기 캘리브레이션 영역을 포함하는 상기 피투영체를 촬영하고, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는, 투영된 콘텐츠와 인터렉션하기 위한 빔 프로젝터가 제공된다.
본 발명의 일 실시 형태에 의하면, 모바일 단말과 연동하는 빔 프로젝터를 이용하여 투영된 콘텐츠와 인터렉션하기 위한 방법에 있어서, 상기 빔 프로젝터에서, 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 상기 캘리브레이션 영역은 상기 피투영체의 전체 영역 중 상기 콘텐츠가 투영되는 영역임 - 에 투영하는 단계; 및 상기 빔 프로젝터에서, 상기 모바일 단말에서 전송된 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하는 단계;를 포함하며, 상기 모바일 단말은, 상기 캘리브레이션 영역을 포함하는 상기 피투영체를 촬영하고, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는, 모바일 단말과 연동하는 빔 프로젝터를 이용하여 투영된 콘텐츠와 인터렉션하기 위한 방법이 제공된다.
본 발명의 일 실시 형태에 의하면, 상술한 방법 중 적어도 하나를 컴퓨터에서 실행하기 위한 프로그램을 기록한, 컴퓨터로 독출 가능한 기록 매체가 제공된다.
본 발명의 일 실시 형태에 의하면, 모바일 단말에서 실행중인 콘텐츠를 빔 프로젝터를 통해 투영하고, 투영된 콘텐츠 내의 객체와 사용자와의 인터렉션을 감지함으로써, 간단하게 설치 가능하며, 저렴한 비용으로 시스템을 구축할 수 있다.
또한, 본 발명의 일 실시 형태에 의하면, 인터렉션이 감지되면 기 설정된 에니메이션 효과를 디스플레이함으로써, 아이들의 집중력이나 몰입감을 향상시키고 상상력이나 창의력을 고취시킬 수 있다.
도 1은 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 시스템의 구성도이다.
도 2a는 본 발명의 일 실시 형태에 따른 빔 프로젝터의 내부 블록도이다.
도 2b는 본 발명의 일 실시 형태에 따른 모바일 단말의 내부 블록도이다.
도 3은 본 발명의 일 실시 형태에 따른 실행중인 투영된 콘텐츠와 인터렉션하기 위한 과정을 설명하기 위한 도시한 도면이다.
도 4는 본 발명의 일 실시 형태에 따른 히스토그램을 도시한 도면이다.
도 5는 본 발명의 일 실시 형태에 따른 모바일 단말의 촬영 영상, 캘리브레이션 영역의 컨타우어, 캘리브레이션 영역을 콘텐츠 영역으로 투영 변환한 결과를 도시한 도면이다.
도 6은 본 발명의 일 실시 형태에 따른 투영 변환을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하는 방법을 설명하는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 더욱 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
도 1은 본 발명의 일 실시 형태에 따른 실행중인 투영된 콘텐츠와 인터렉션하기 위한 시스템(100)의 구성도이다.
한편, 도 2a는 본 발명의 일 실시 형태에 따른 빔 프로젝터(110)의 내부 블록도이며, 도 2b는 본 발명의 일 실시 형태에 따른 모바일 단말(120)의 내부 블록도이다. 도 3은 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 과정을 설명하기 위한 도시한 도면이다.
또한, 도 3은 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 과정을 설명하기 위한 도시한 도면이며, 도 4는 본 발명의 일 실시 형태에 따른 히스토그램을 도시한 도면이다.
그리고, 도 5는 본 발명의 일 실시 형태에 따른 모바일 단말의 촬영 영상, 캘리브레이션 영역의 컨타우어, 캘리브레이션 영역을 콘텐츠 영역으로 투영 변환한 결과를 도시한 도면이며, 도 6은 본 발명의 일 실시 형태에 따른 투영 변환을 설명하기 위한 도면이다.
우선, 도 1에 도시된 바와 같이, 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하는 시스템(100)은 빔 프로젝터(110) 및 모바일 단말(120)을 포함하여 구성될 수 있다.
상술한 빔 프로젝터(110)는 도 2a에 도시된 바와 같이, 실행 모듈(111), 제어 모듈(112), 투영 모듈(113) 및 송수신 모듈(114)을 포함하며, 상술한 모바일 단말(120)은, 도 2b에 도시된 바와 같이, 카메라 모듈(121), 제어 모듈(122) 및 송수신 모듈(123)을 포함하여 구성될 수 있다.
구체적으로, 빔 프로젝터(110) 중 실행 모듈(111)은 콘텐츠를 콘텐츠 영역(110b)에서 실행할 수 있으며, 실행되는 콘텐츠는 투영 모듈(113)을 통해 피투영체(10)에 투영될 수 있다.
여기서, 콘텐츠 영역(110b)은 콘텐츠가 실행되는 빔 프로젝터(110) 내의 메모리 영역일 수 있다.
또한, 상술한 콘텐츠는 동화 구현 콘텐츠, 숫자나 글자 교육과 관련된 콘텐츠, 알파벳 교육과 관련된 콘텐츠 등 다양한 콘텐츠를 포함할 수 있으며, 콘텐츠 내에는 객체(object, OB), 예를 들면 캐릭터, 숫자 등이 포함될 수 있다.
빔 프로젝터(110) 중 제어 모듈(112)은 모바일 단말(120)로부터 사용자(1)의 신체 특정 부위(예: 손)의 위치 및 크기가 수신되면, 사용자(1)의 신체 특정 부위의 위치 및 크기에 따라 콘텐츠 내의 객체(OB)와 인터렉션(interacton)할 수 있다.
구체적으로, 빔 프로젝터(110) 중 제어 모듈(112)은, 도 3의 (d)에 도시된 바와 같이, 모바일 단말(120)로부터 수신된 사용자(1)의 신체 특정 부위의 위치에 따라 크기가 객체(OB)의 내부 영역과 오버랩되면, 기 설정된 에니메이션 효과(AM)를 피투영체(10)에 투영할 수 있다. 상술한 객체(OB)의 내부 영역 식별을 위해 윤곽 검출을 위한 공지의 알고리즘이 이용될 수 있다.
상술한 기 설정된 에니메이션 효과(AM)는, 예를 들면 인터렉션이 감지되면, 사용자(1)와 객체(OB) 사이에 별 모양을 디스플레이하는 등의 에니메이션 효과일 수 있다.
빔 프로젝터(110) 중 투영 모듈(113)은, 도 3의 (b) 내지 (d)에 도시된 바와 같이, 객체(OB)를 포함하는 콘텐츠 또는 에니메이션 효과(AM)를 피투영체(10) 중 캘리브레이션 영역(110a)에 투영할 수 있다. 여기서, 캘리브레이션 영역(110a)은 피투영체(10)의 전체 영역 중 콘텐츠가 투영되는 영역일 수 있다.
또한, 빔 프로젝터(110) 중 투영 모듈(113)은, 도 3의 (a)에 도시된 바와 같이, 피투영체(10)에 캘리브레이션 조정용 화면(110c)을 투영할 수 있다. 이러한 캘리브레이션 조정용 화면(110c)은 모바일 단말(120)에서 상술한 캘리브레이션 영역(110a)의 좌표를 구하는데 이용될 수 있다.
빔 프로젝터(110) 중 송수신 모듈(114)은 모바일 단말(120)과 데이터를 송수신하기 위한 모듈로, 본 발명의 일 실시 형태에 의하면, 모바일 단말(120)로부터 투영 변환된 사용자(1)의 신체 특정 부위(예: 손)에 대한 위치 및 크기를 수신하여 제어 모듈(122)로 전달할 수 있다.
한편, 모바일 단말(120) 중 카메라 모듈(121)은 캘리브레이션 영역(110a)(또는 캘리브레이션 조정용 화면)을 포함하는 피투영체(10)를 촬영하고, 촬영된 피투영체(10)를 제어 모듈(122)로 전달할 수 있다.
모바일 단말(120) 중 제어 모듈(122)은 촬영 중인 캘리브레이션 영역(110a)에서 사용자(1)의 신체 특정 부위(예: 손)의 위치(P) 및 크기를 구하고, 이를 빔 프로젝터(110)로 전송할 수 있다.
구체적으로, 도 3의 (c)에 도시된 바와 같이, 모바일 단말(120) 중 제어 모듈(122)은 촬영 중인 캘리브레이션 영역(110a)에서 사용자(1)의 스켈레톤(SK)을 추출할 수 있다. 스켈레톤(SK)의 추출은 적절한 공지의 비전 모델, 예를 들면 포즈넷 등을 이용해서 추출할 수 있다.
이후, 추출된 사용자(1)의 스켈레톤(SK)으로부터 사용자(1)의 신체 특정 부위의 위치(P) 및 크기를 추정하며, 추정된 위치(P)를 빔 프로젝터(110)의 콘텐츠 영역(110b)의 좌표로 투영 변환하며, 이후 투영 변환된 위치 및 크기를 빔 프로젝터(110)로 전송할 수 있다.
여기서, 사용자의 손의 위치는, 예를 들면 하기 수학식 1에 따라 구할 수 있다.
[수학식 1]
손의 위치 = 손목의 위치 + (팔꿈치의 위치 - 손목의 위치) × 0.5
또한, 사용자의 손의 크기는, 예를 들면 하기 수학식 2에 따라 구할 수 있다.
[수학식 2]
사용자의 손의 크기 = Max(최소 크기,
Figure 112021011621222-pat00005
)
수학식 2에서, 최소 크기를 기 설정된 값일 수 있다.
본 발명에서 투영 변환은, 도 6에 도시된 바와 같이, 행렬(H)을 이용하여 캘리브레이션 영역(110a)의 좌표들(예: p1 내지 p5)을 콘텐츠 영역(110b)내의 좌표들(예: p1' 내지 p5')로 변환하는 것을 의미한다.
한편, 콘텐츠 영역(110b)은 콘텐츠가 실행되는 빔 프로젝터(110) 내의 메모리 영역임은 상술한 바와 같다.
한편, 모바일 단말(120) 중 제어 모듈(122)은 피투영체(10)의 전체 영역 중 캘리브레이션 영역(110a)의 좌표를 더 구할 수 있다.
이를 위해, 도 3의 (a)을 참조하면, 우선 빔 프로젝터(110) 중 투영 모듈(113)은 피투영체(10)에 캘리브레이션 조정용 화면(110c)을 투영한다. 이후, 모바일 단말(120) 중 카메라 모듈(121)은 캘리브레이션 영역(110a)을 포함하는 피투영체(10)를 촬영한다. 이후 모바일 단말(120) 중 제어 모듈(122)은 촬영된 피투영체(10)에 대해 기준값을 설정하며, 설정된 기준값에 기초하여 캘리브레이션 영역(110a)의 좌표를 구할 수 있다.
상술한 기준값을 구하기 위해, 도 4에 도시된 바와 같이, 모바일 단말(120) 중 제어 모듈(122)은 촬영된 피투영체(10)의 각 픽셀의 값을 그레이 레벨값으로 변환하고, 변환된 그레이 레벨값에 기초하여 히스토그램을 구한다. 이후 구한 히스토그램의 평균값보다 기 설정된 비율을 가지는 값을 기준값으로 설정할 수 있다.
본 발명의 일 실시 형태에 의하면, 상술한 히스토그램의 평균값은 히스토그램을 크기에 따라 기 설정된 구간으로 나눈 구간의 평균값일 수 있다.
즉, 0부터 255까지의 그레이 레벨 값을, 예를 들면 10 구간으로 나누어 각 구간마다 적절한 크기의 그레이 레벨값을 설정하며, 10개의 각 구간에 대한 평균값을 상술한 평균값으로 할 수 있다. 이와 같은 방식에 의하면, 연산량을 줄일 수 있는 이점이 있다.
이후, 모바일 단말(120) 중 제어 모듈(122)은 촬영된 피투영체(10)에 대한 컨타우어(contour) 목록 중 모바일 단말(120)에서 촬영된 화면의 크기 대비 기 설정된 크기 이상이며, 4개의 각을 가지는 컨타우어 후보를 구하고, 구한 컨타우어 후보 중 내부의 그레이 레벨(gray level)의 평균값이 기준값과 기 설정된 오차 범위 이내이며, 가장 큰 크기를 가지는 컨타우어를 캘리브레이션 영역으로 구하고, 구한 캘리브레이션 영역의 4개의 꼭지점의 좌표를 캘리브레이션 영역의 좌표로 할 수 있다.
도 5는 본 발명의 일 실시 형태에 따른 모바일 단말의 촬영 영상(501), 캘리브레이션 영역의 컨타우어(502), 캘리브레이션 영역을 콘텐츠 영역으로 투영 변환한 결과(503)를 도시한 도면이다.
도 5에 도시된 바와 같이, 피투영체에 투영된 캘리브레이션 영역이 어느 정도 각도로 기울어진 경우에도 컨타우어(502)를 찾을 수 있으며, 콘텐츠 영역(110b)으로 투영 변환하면 보정된 영상을 얻을 수 있음을 알 수 있다.
한편, 모바일 단말(120) 중 송수신 모듈(123)은 사용자의 신체 특정 부위의 위치 및 크기를 빔 프로젝터(110)로 전송할 수 있다.
상술한 모바일 단말(110)는, 예를 들면 휴대폰, 스마트폰, PDA(personal digital assistants), PC(personal computer), 태블릿 PC(tablet personal computer), 노트북(notebook), 데스크탑 컴퓨터, 및 노트북 등 다양한 형태의 모바일 단말를 포함할 수 있다.
상술한 바와 같이, 본 발명의 일 실시 형태에 의하면, 모바일 단말에서 실행중인 콘텐츠를 빔 프로젝터를 통해 투영하고, 투영된 콘텐츠 내의 객체와 사용자와의 인터렉션을 감지함으로써, 간단하게 설치 가능하며, 저렴한 비용으로 시스템을 구축할 수 있다.
또한, 본 발명의 일 실시 형태에 의하면, 인터렉션이 감지되면 기 설정된 에니메이션 효과를 디스플레이함으로써, 아이들의 집중력이나 몰입감을 향상시키고 상상력이나 창의력을 고취시킬 수 있다.
한편, 도 7은 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하는 방법을 설명하는 흐름도이다.
이하, 도 1 내지 도 7을 참조하여 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 방법을 상세하게 설명한다. 다만, 발명의 간명화를 위해 도 1 내지 도 6에서 기설명된 내용과 중복된 사항에 대한 설명은 생략하기로 한다.
도 1 내지 도 7에서 도시된 바와 같이, 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 방법은, 빔 프로젝터에서, 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역에 투영하는 단계에 의해 개시될 수 있다(S701). 여기서, 캘리브레이션 영역은 피투영체의 전체 영역 중 콘텐츠가 투영되는 영역임은 상술한 바와 같다.
다음, 모바일 단말에서, 캘리브레이션 영역을 포함하는 피투영체를 촬영할 수 있다(S702).
이후, 모바일 단말에서, 촬영 중인 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 빔 프로젝터로 전송할 수 있다(S703).
상술한 단계 S703은 촬영 중인 캘리브레이션 영역에서 사용자의 스켈레톤을 추출하는 단계와, 추출된 사용자의 스켈레톤으로부터 사용자의 신체 특정 부위의 위치 및 크기를 추정하는 단계와, 추정된 위치를 빔 프로젝터의 콘텐츠 영역 의 좌표로 투영 변환하는 단계와, 투영 변환된 위치 및 크기를 빔 프로젝터로 전송하는 단계를 포함할 수 있다.
여기서, 사용자의 신체 특정 부위는, 사용자의 손이며, 사용자의 손의 위치 및 크기는 상술한 수학식 1 내지 2를 통해 구할 수 있다.
마지막으로, 빔 프로젝터에서, 사용자의 신체 특정 부위의 위치 및 크기에 따라 객체와 인터렉션할 수 있다(S704).
상술한 단계 S704는 신체 특정 부위의 위치에 따라 크기가 객체의 내부 영역과 오버랩되면, 기 설정된 에니메이션 효과를 투영하는 단계일 수 있다.
본 발명의 실시 형태에 의하면, 상술한 S701 단계에 앞서, 상기 방법은, 모바일 단말에서, 피투영체의 전체 영역 중 캘리브레이션 영역의 좌표를 구하는 단계를 더 포함할 수 있다.
상술한 캘리브레이션 영역의 좌표를 구하는 단계는, 빔 프로젝터에서 피투영체에 캘리브레이션 조정용 화면을 투영하는 단계와, 모바일 단말에서 투영된 캘리브레이션 조정용 화면을 포함하는 피투영체를 촬영하는 단계와, 모바일 단말에서 촬영된 피투영체에 대해 기준값을 설정하는 단계와, 모바일 단말에서 설정된 기준값에 기초하여 캘리브레이션 영역의 좌표를 구하는 단계를 포함할 수 있다.
상술한 기준값을 설정하는 단계는, 촬영된 피투영체의 각 픽셀의 값을 그레이 레벨로 변환하고, 변환된 그레이 레벨에 기초하여 히스토그램을 구하는 단계와, 구한 히스토그램의 평균값보다 기 설정된 비율을 가지는 값을 기준값으로 설정하는 단계를 포함할 수 있다.
상술한 히스토그램의 평균값은, 계산된 히스토그램을 크기에 따라 기 설정된 구간으로 나눈 구간의 평균값일 수 있다.
상술한 캘리브레이션 영역의 좌표를 구하는 단계는, 촬영된 피투영체에 대한 컨타우어(contour) 목록 중 모바일 단말에서 촬영된 화면의 크기 대비 기 설정된 크기 이상이며, 4개의 각을 가지는 컨타우어 후보를 구하는 단계와, 구한 컨타우어 후보 중 내부의 그레이 레벨(gray level)의 평균값이 기준값과 기 설정된 오차 범위 이내이며, 가장 큰 크기를 가지는 컨타우어를 캘리브레이션 영역으로 구하는 단계와, 구한 캘리브레이션 영역의 4개의 꼭지점의 좌표를 캘리브레이션 영역의 좌표로 하는 단계를 포함할 수 있다.
상술한 바와 같이, 본 발명의 일 실시 형태에 의하면, 모바일 단말에서 실행중인 콘텐츠를 빔 프로젝터를 통해 투영하고, 투영된 콘텐츠 내의 객체와 사용자와의 인터렉션을 감지함으로써, 간단하게 설치 가능하며, 저렴한 비용으로 시스템을 구축할 수 있다.
또한, 본 발명의 일 실시 형태에 의하면, 인터렉션이 감지되면 기 설정된 에니메이션 효과를 디스플레이함으로써, 아이들의 집중력이나 몰입감을 향상시키고 상상력이나 창의력을 고취시킬 수 있다.
상술한 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 본 발명을 설명함에 있어, '~ 모듈'은 다양한 방식, 예를 들면 프로세서, 프로세서에 의해 수행되는 프로그램 명령들, 소프트웨어 모듈, 마이크로 코드, 컴퓨터 프로그램 생성물, 로직 회로, 애플리케이션 전용 집적 회로, 펌웨어 등에 의해 구현될 수 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
1: 사용자 10: 피투영체(벽면)
100: 시스템 110a: 캘리브레이션 영역
110b: 콘텐츠 영역 110: 빔 프로젝터
111: 실행 모듈 112: 제어 모듈
113: 투영 모듈 114: 송수신 모듈
120: 모바일 단말 121: 카메라 모듈
122: 제어 모듈 123: 송수신 모듈
501: 모바일 단말의 촬영 영상
502: 컨타우어 503: 컨텐츠 영역으로 투영 변환된 영상
AM: 에니메이션 효과 P: 위치
OB: 객체 SK: 스켈레톤

Claims (10)

  1. 삭제
  2. 삭제
  3. 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 상기 캘리브레이션 영역은 상기 피투영체의 전체 영역 중 상기 콘텐츠가 투영되는 영역임 - 에 투영하는 빔 프로젝터; 및
    상기 캘리브레이션 영역을 포함하는 상기 피투영체를 촬영하고, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 모바일 단말;을 포함하며,
    상기 빔 프로젝터는, 상기 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하며, 상기 신체 특정 부위의 위치에 따라 크기가 상기 객체의 내부 영역과 오버랩되면 기 설정된 에니메이션 효과를 투영하고,
    상기 모바일 단말은, 상기 피투영체의 전체 영역 중 상기 캘리브레이션 영역의 좌표를 더 구하며,
    상기 빔 프로젝터는, 상기 피투영체에 캘리브레이션 조정용 화면을 투영하고,
    상기 모바일 단말은, 투영된 상기 캘리브레이션 조정용 화면을 포함하는 상기 피투영체를 촬영하고, 촬영된 상기 피투영체에 대해 기준값 - 상기 기준값은 촬영된 상기 피투영체의 각 픽셀들의 그레이 레벨값에 기초한 히스토그램의 평균값보다 기 설정된 비율을 가지는 값임 - 을 설정하며, 설정된 상기 기준값에 기초하여 상기 캘리브레이션 영역의 좌표를 구하는, 투영된 콘텐츠와 인터렉션하기 위한 시스템.
  4. 삭제
  5. 제3항에 있어서,
    상기 히스토그램의 평균값은,
    계산된 상기 히스토그램을 크기에 따라 기 설정된 구간으로 나눈 구간의 평균값인, 투영된 콘텐츠와 인터렉션하기 위한 시스템.
  6. 제3항에 있어서,
    상기 모바일 단말은,
    촬영된 상기 피투영체에 대한 컨타우어(contour) 목록 중 상기 모바일 단말에서 촬영된 화면의 크기 대비 기 설정된 크기 이상이며, 4개의 각을 가지는 컨타우어 후보를 구하고,
    구한 상기 컨타우어 후보 중 내부의 그레이 레벨값(gray level)의 평균값이 상기 기준값과 기 설정된 오차 범위 이내이며, 가장 큰 크기를 가지는 컨타우어를 상기 캘리브레이션 영역으로 구하고,
    구한 상기 캘리브레이션 영역의 4개의 꼭지점의 좌표를 상기 캘리브레이션 영역의 좌표로 하는, 투영된 콘텐츠와 인터렉션하기 위한 시스템.
  7. 제3항에 있어서,
    상기 모바일 단말은,
    촬영 중인 상기 캘리브레이션 영역에서 사용자의 스켈레톤을 추출하고,
    추출된 상기 사용자의 스켈레톤으로부터 상기 사용자의 신체 특정 부위의 위치 및 크기를 추정하고,
    추정된 상기 위치를 상기 빔 프로젝터의 콘텐츠 영역 - 상기 콘텐츠 영역은 상기 콘텐츠가 실행되는 상기 빔 프로젝터 내의 영역임 - 의 좌표로 투영 변환하며,
    투영 변환된 위치 및 상기 크기를 상기 빔 프로젝터로 전송하는, 투영된 콘텐츠와 인터렉션을 위한 시스템.
  8. 제7항에 있어서,
    상기 사용자의 신체 특정 부위는,
    사용자의 손인, 투영된 콘텐츠와 인터렉션하기 위한 시스템.
  9. 제8항에 있어서,
    상기 사용자의 손의 위치는,
    손의 위치 = 손목의 위치 + (팔꿈치의 위치 - 손목의 위치)
    Figure 112021011621222-pat00006
    0.5이며,
    상기 사용자의 손의 크기는,
    사용자의 손의 크기 = Max(최소 크기,
    Figure 112021011621222-pat00007
    )
    인, 투영된 콘텐츠와 인터렉션하기 위한 시스템.
  10. 삭제
KR1020210012477A 2020-08-21 2021-01-28 투영된 콘텐츠와 인터렉션하기 위한 시스템 KR102524016B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230049795A KR102548510B1 (ko) 2020-08-21 2023-04-17 콘텐츠와 인터렉션하기 위한 빔 프로젝터

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200104988 2020-08-21
KR1020200104988 2020-08-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230049795A Division KR102548510B1 (ko) 2020-08-21 2023-04-17 콘텐츠와 인터렉션하기 위한 빔 프로젝터

Publications (2)

Publication Number Publication Date
KR20220023681A KR20220023681A (ko) 2022-03-02
KR102524016B1 true KR102524016B1 (ko) 2023-04-21

Family

ID=80815686

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210012477A KR102524016B1 (ko) 2020-08-21 2021-01-28 투영된 콘텐츠와 인터렉션하기 위한 시스템
KR1020230049795A KR102548510B1 (ko) 2020-08-21 2023-04-17 콘텐츠와 인터렉션하기 위한 빔 프로젝터

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230049795A KR102548510B1 (ko) 2020-08-21 2023-04-17 콘텐츠와 인터렉션하기 위한 빔 프로젝터

Country Status (1)

Country Link
KR (2) KR102524016B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818027B2 (en) * 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
KR20130104780A (ko) * 2012-03-15 2013-09-25 에스케이텔레콤 주식회사 프로젝터를 이용한 사용자 인터렉션 서비스 시스템 및 방법
CN103809733B (zh) * 2012-11-07 2018-07-20 北京三星通信技术研究有限公司 人机交互***和方法
KR102018435B1 (ko) 2017-11-15 2019-11-20 (주)새온 인터렉티브 비디오 게임 시스템

Also Published As

Publication number Publication date
KR20230054806A (ko) 2023-04-25
KR102548510B1 (ko) 2023-06-28
KR20220023681A (ko) 2022-03-02

Similar Documents

Publication Publication Date Title
US11321597B2 (en) Facial patterns for optical barcodes
US11501574B2 (en) Multi-person pose recognition method and apparatus, electronic device, and storage medium
US10394318B2 (en) Scene analysis for improved eye tracking
US11967089B2 (en) Object tracking method, tracking processing method, corresponding apparatus, and electronic device
CN111046125A (zh) 一种视觉定位方法、***及计算机可读存储介质
KR20150105479A (ko) 2차원 코드 증강 현실의 실현 방법 및 디바이스
Yin et al. Toward natural interaction in the real world: Real-time gesture recognition
CN111738769B (zh) 视频处理方法及装置
Prochazka et al. Augmented reality implementation methods in mainstream applications
US20220198762A1 (en) Display system, display device, and program
CN112818807A (zh) 摔倒检测方法、装置、设备和存储介质
CN117795550A (zh) 用于在训练图像生成对抗网络中使用的图像质量敏感语义分割
CN111353325A (zh) 关键点检测模型训练方法及装置
CN115699096B (zh) 跟踪增强现实设备
KR102524016B1 (ko) 투영된 콘텐츠와 인터렉션하기 위한 시스템
JP2013140547A (ja) カメラ姿勢推定装置、プログラム
CN115393423A (zh) 目标检测方法和装置
US11769263B2 (en) Three-dimensional scan registration with deformable models
KR20240006669A (ko) 늦은-워핑에서의 동적 오버-렌더링
CN114140608A (zh) 一种光伏板标记方法、装置、电子设备及存储介质
CN115620094B (zh) 关键点的标注方法、装置、电子设备及存储介质
KR101333076B1 (ko) 복수의 영상입력기기 배치를 통한 인터랙티브 스크린 구현 시스템 및 구현 방법, 그 기록매체
KR101179969B1 (ko) 마커 검출 장치 및 방법
WO2022102236A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20240185524A1 (en) Augmented three-dimensional structure generation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant