KR102059114B1 - 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템 - Google Patents

가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템 Download PDF

Info

Publication number
KR102059114B1
KR102059114B1 KR1020180012541A KR20180012541A KR102059114B1 KR 102059114 B1 KR102059114 B1 KR 102059114B1 KR 1020180012541 A KR1020180012541 A KR 1020180012541A KR 20180012541 A KR20180012541 A KR 20180012541A KR 102059114 B1 KR102059114 B1 KR 102059114B1
Authority
KR
South Korea
Prior art keywords
information
image
change
coordinate
coordinate information
Prior art date
Application number
KR1020180012541A
Other languages
English (en)
Other versions
KR20190093083A (ko
Inventor
김남혁
남화수
송성열
서동건
김하나
송승규
김평근
김세현
전혜성
김경일
윤형구
박지수
선호종
서현길
이재환
전홍식
이석준
Original Assignee
옵티머스시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 옵티머스시스템 주식회사 filed Critical 옵티머스시스템 주식회사
Priority to KR1020180012541A priority Critical patent/KR102059114B1/ko
Publication of KR20190093083A publication Critical patent/KR20190093083A/ko
Application granted granted Critical
Publication of KR102059114B1 publication Critical patent/KR102059114B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G06T3/0093—
    • G06K9/00758—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 실공간에서 감지되는 스크린에 대한 대상체의 위치 정보가 기설정된 기준 위치인 기준 위치 정보를 포함하는 경우, 상기 기준 위치 정보에 대응되는 영상인 기준 영상 정보를 생성하는 기준 영상 모듈; 상기 대상체의 이동에 의해 기준 위치에서 변화 위치로 변화되고 이에 대한 변화 위치 정보가 감지되는 경우, 상기 변화 위치 정보에 대응되는 영상인 변화 영상 정보를 생성하는 변화 영상 모듈; 및 상기 기준 위치 정보 및 상기 변화 위치 정보를 비교하여 이에 대한 결과값으로 보정 정보를 생성하고, 상기 보정 정보를 상기 변화 영상 정보에 반영한 보정 영상 정보를 생성하는 보정 모듈;을 포함하는, 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템에 관한 것이다.

Description

가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템{IMAGE COMPENSATION DEVICE FOR MATCHING VIRTUAL SPACE AND REAL SPACE AND IMAGE MATCHING SYSTEM USING THE SAME}
본 발명은 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템에 관한 것이다.
최근들어 기술의 발달에 의해 AR(증강현실: Augmented Reality)/VR(가상현실: Virtual Reality)과 관련된 가상 공간에 대한 기술의 수요 및 공급이 증가되고 있다.
이러한 가상 공간 기술은, 사용자로 하여금 디스플레이에 표시되는 컨텐츠 의 가상 공간 속에 위치하는 것과 같은 기분을 느끼도록 시각, 청각, 촉각 등의 정보를 생성하여 제공할 수 있다.
특히, 가상 공간 기술의 경우, 사용자의 시각적인 측면에 의한 영향이 가장 크게 미치기 때문에 사용자와 컨텐츠의 자연스러운 인터랙션(Interaction)을 통한 화면의 변경을 필요로 한다.
하지만, 기존 기술의 경우 사용자의 시점 변경 시, 디스플레이를 기준으로 시점 변경이 이루어짐에 따라 실질적으로 실제 공간에 위치하는 사용자의 시점과는 차이가 있는 문제가 있다.
본 발명은 상술한 과제를 해결하기 위한 것으로서, 실공간에서의 사용자 시점과 가상 공간에서의 시점을 효과적으로 매칭시킬 수 있는 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템을 제공하는 것을 목적으로 한다.
상기한 과제를 실현하기 위한 본 발명의 일 실시예와 관련된 가상 공간과 실공간의 매칭을 위한 영상 보정 장치는, 실공간에서 감지되는 스크린에 대한 대상체의 위치 정보가 기설정된 기준 위치인 기준 위치 정보를 포함하는 경우, 상기 기준 위치 정보에 대응되는 영상인 기준 영상 정보를 생성하는 기준 영상 모듈; 상기 대상체의 이동에 의해 기준 위치에서 변화 위치로 변화되고 이에 대한 변화 위치 정보가 감지되는 경우, 상기 변화 위치 정보에 대응되는 영상인 변화 영상 정보를 생성하는 변화 영상 모듈; 및 상기 기준 위치 정보 및 상기 변화 위치 정보를 비교하여 이에 대한 결과값으로 보정 정보를 생성하고, 상기 보정 정보를 상기 변화 영상 정보에 반영한 보정 영상 정보를 생성하는 보정 모듈;을 포함할 수 있다.
여기서, 상기 기준 위치 정보는, 상기 스크린의 좌표값인 스크린 좌표 정보, 및 비전 감지부에 의해 최초 설정되는 상기 실공간에서의 기준 위치에 대한 좌표값인 기준 좌표 정보, 및 상기 실공간에 배치되는 측정 장치의 측정 위치에서 상기 스크린 좌표 정보와의 위치 관계를 참고하여 생성될 수 있다.
여기서, 상기 스크린 좌표 정보는, 상기 스크린의 둘레 영역에 대응되는 스크린 기준 좌표 정보 및 상기 스크린의 내부 영역 중 서로 다른 위치에 이격되는 복수의 좌표에 관한 스크린 임시 좌표 정보를 포함하고, 상기 측정 장치는, 상기 스크린 임시 좌표 정보에 대응되는 입력 정보가 입력되는 경우, 상기 측정 위치에서 상기 스크린 임시 좌표 정보와의 위치 관계에 관한 측정/스크린 위치 정보를 생성하고, 상기 측정 위치에서 상기 기준 좌표 정보와의 위치 관계에 관한 측정/기준 위치 정보를 생성하여, 각각을 상기 기준 영상 모듈에 전송하고, 상기 기준 영상 모듈은, 상기 측정/스크린 위치 정보와 상기 스크린 기준 좌표 정보를 매칭하여 이들의 상관관계에 관한 제1 기준 관계 정보를 생성하고, 상기 측정/스크린 위치 정보와 상기 측정/기준 위치 정보를 참고하여 이들의 상관관계에 관한 제2 기준 관계 정보를 생성하고, 상기 제1 기준 관계 정보 및 상기 제2 기준 관계 정보를 참고하여 상기 측정/기준 위치 정보와 상기 스크린 기준 좌표 정보의 상관관계에 관한 제3 기준 관계 정보를 생성할 수 있다.
여기서, 상기 위치 정보는, 상기 실공간에서 상기 대상체의 위치에 관한 좌표값인 대상체 좌표 정보를 포함하고, 상기 보정 모듈은, 상기 대상체 좌표 정보와 대응되도록 상기 기준 영상 정보의 좌표값인 기준 좌표 정보 및 상기 변화 영상 정보의 좌표값인 변화 좌표 정보를 생성할 수 있다.
여기서, 상기 보정 모듈은, 상기 변화 위치에서 상기 변화 좌표 정보를 상기 기준 좌표 정보에 매칭되도록 상기 보정 정보를 생성할 수 있다.
여기서, 상기 보정 모듈은, 상기 보정 정보를 참고하여, 상기 보정 정보에 포함되는 상기 보정 영상 정보의 좌표 정보인 보정 좌표 정보가, 상기 스크린의 기준 좌표값인 스크린 좌표 정보에 포함되지 않는 경우, 상기 스크린 화면 비율에 관한 스크린 정보를 재설정하여 이를 상기 보정 영상 정보에 반영할 수 있다.
여기서, 상기 기준 영상 정보는, 상기 기준 위치에서 상기 대상체 좌표 정보와, 상기 기준 좌표 정보의 중심 점에 해당되는 중심 좌표 정보가 동일 선상에 위치하도록 형성되는 영상 정보일 수 있다.
여기서, 변화 영상 정보는, 상기 변화 위치에서 상기 대상체 좌표 정보와, 상기 변화 좌표 정보의 중심점에 해당되는 중심 좌표 정보가 동일 선상에 위치하도록 형성되는 영상 정보일 수 있다.
여기서, 상기 기준 영상 정보 및 상기 변화 영상 정보는, 동일한 상기 중심 좌표 정보를 갖도록 형성되며, 상기 기준 좌표 정보는, 상기 기준 영상 정보에서 상기 스크린의 둘레에 대응되는 기준 둘레 좌표 정보를 포함하고, 상기 변화 영상 정보는, 상기 변화 영상 정보에서 상기 스크린의 둘레에 대응되는 변화 둘레 좌표 정보를 포함할 수 있다.
여기서, 상기 보정 모듈은, 상기 변화 위치에서 상기 기준 둘레 좌표 정보와 각각 직선으로 연결되는 가상 라인에 대한 기준 라인 정보와, 상기 기준 라인 정보와 상기 변화 영상 정보의 변화 좌표 정보의 교차점에 관한 교차 좌표 정보를 각각 생성할 수 있다.
여기서, 보정 모듈은, 상기 기준 라인 정보와 상기 변화 좌표 정보의 교차점이 없는 경우, 상기 변화 좌표 정보를 직선 방향으로 연장한 변화 연장 좌표 정보를 생성하고, 상기 변화 연장 좌표 정보와 상기 기준 라인 정보와의 비교를 통해 상기 교차 좌표 정보를 산출할 수 있다.
여기서, 상기 보정 모듈은, 상기 교차 좌표 정보를 상기 기준 영상 정보에 매칭되도록 하기의 수학식1에 의해 보정되는 제1 보정 좌표 정보를 산출하여 상기 보정 영상 정보를 생성하는, 가상 공간과 실공간의 매칭을 위한 영상 보정 장치.
수학식 1
제1 보정 좌표 정보(
Figure 112018011296833-pat00001
,
Figure 112018011296833-pat00002
)
Figure 112018011296833-pat00003
,
Figure 112018011296833-pat00004
(
Figure 112018011296833-pat00005
: 제1 보정 좌표 정보의 X값,
Figure 112018011296833-pat00006
: 제1 보정 좌표 정보의 Y값,
Figure 112018011296833-pat00007
: 기준 영상 정보의 너비,
Figure 112018011296833-pat00008
: 교차 좌표 정보의 X값,
Figure 112018011296833-pat00009
: 변화 영상 정보의 너비,
Figure 112018011296833-pat00010
: 기준 영상 정보의 높이,
Figure 112018011296833-pat00011
: 교차 좌표 정보의 Y값,
Figure 112018011296833-pat00012
: 변화 영상 정보의 높이)
여기서, 상기 보정 모듈은, 상기 제1 보정 좌표 정보가 상기 스크린 좌표 정보에 포함되지 않는 경우, 확대된 상기 스크린 정보를 적용하여 하기의 수학식2에 의해 제2 보정 좌표 정보를 산출하여 상기 보정 영상 정보를 생성하는, 가상 공간과 실공간의 매칭을 위한 영상 보정 장치.
수학식 2
제2 보정 좌표 정보(
Figure 112018011296833-pat00013
,
Figure 112018011296833-pat00014
)
Figure 112018011296833-pat00015
,
Figure 112018011296833-pat00016
(
Figure 112018011296833-pat00017
: 제2 보정 좌표 정보의 X값,
Figure 112018011296833-pat00018
: 제2 보정 좌표 정보의 Y값,
Figure 112018011296833-pat00019
: 제1 보정 좌표 정보의 X값,
Figure 112018011296833-pat00020
: 제1 보정 좌표 정보의 Y값,
Figure 112018011296833-pat00021
: 스크린 증가 비율)
상기한 과제를 실현하기 위한 본 발명의 다른 실시예와 관련된 가상 공간과 실공간 영상 매칭 시스템은, 스크린; 실공간에서 스크린에 대한 대상체의 위치 정보를 감지하는 비전 감지부; 상기 스크린에 영상 정보를 출력하는 영상 출력부; 및 상기 위치 정보가 기설정된 기준 위치인 기준 위치 정보를 포함하는 경우 상기 기준 위치 정보에 대응되는 영상인 기준 영상 정보를 생성하고, 상기 대상체의 이동에 의해 상기 기준 위치에서 변화 위치로 변화되고 이에 대한 변화 위치 정보가 감지되는 경우 상기 변화 위치 정보에 대응되는 영상인 변화 영상 정보를 생성하며, 상기 기준 위치 정보 및 상기 변화 위치 정보를 비교하여 이에 대한 결과값으로 보정 정보를 생성하고, 상기 보정 정보를 상기 변화 영상 정보에 반영한 보정 영상 정보를 생성하여 이를 상기 스크린에 출력되도록 상기 영상 출력부를 제어하는 제어부;를 포함할 수 있다.
여기서, 상기 대상체는, 사용자의 신체, 상기 신체에 부착되는 웨어러블 단말기, 가상 총기 중 적어도 어느 하나를 포함하고, 상기 비전 감지부는, 대상체에 부착되는 비전 마커를 통해 상기 위치 정보를 감지할 수 있다.
상기와 같이 구성되는 본 발명의 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템에 의하면, 실공간에서의 사용자 시점 변화에 따라 가상 공간의 시점 변화도 동일하게 이루어짐으써, 실공간과 가상 공간의 시점 매칭도를 보다 향상시킬 수 있다.
또한, 사용자의 위치에 따른 시점 변경 시 기준 영상 좌표에 대한 변경 알고리즘을 적용하여 보다 신속하게 변경된 시점을 적용시킬 수 있다.
또한, 변경된 시점이 기존 스크린에 적용된 좌표를 벗어나는 경우, 해당 좌표를 포함할 수 있도록 스크린 영상 비율을 자동으로 조절하여 영상 왜곡을 최소화시킬 수 있다.
도 1은 본 발명의 일 실시예 따른 영상 매칭 시스템(100)의 동작 구조를 간략하게 설명하기 위한 개념도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 보정 장치(200)의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 다른 실시예에 따른 영상 매칭 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 4 내지 도 9는 도 3의 동작 방법을 각 단계별 이미지로 설명하기 위한 도면이다.
이하, 본 발명의 바람직한 실시예에 따른 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템에 대하여 도면을 참조하여 상세히 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다.
도 1은 본 발명의 일 실시예 따른 영상 매칭 시스템(100)의 동작 구조를 간략하게 설명하기 위한 개념도이다.
도시된 바와 같이, 영상 매칭 시스템(100)은, 실공간에서 스크린(120)에 대한 대상체(O)의 위치를 감지하여 해당 위치에 대응되는 가상 영상을 출력하기 위한 시스템일 수 있다. 이러한 시스템의 경우, 대상체(O)의 위치에 따른 시점을 고려하여 영상을 가공하여 출력함으로써, 보다 현실감 높은 가상 공간을 구현할 수 있다.
이를 위해, 영상 매칭 시스템(100)은 비전 감지부(110), 스크린(120), 영상 출력부(130), 통신부(140), 사용자 입력부(150), 메모리부(160), 및 제어부(170)를 포함할 수 있다.
비전 감지부(110)는, 대상체(O)의 위치 정보를 감지하기 위한 수단으로 카메라로 구성될 수 있다. 이때, 비전 감지부(110)는 복수의 카메라를 포함하여 후술하는 스크린(120) 상부에 결합될 수 있다. 이러한, 비전 감지부(110)는, 사용자(U) 또는 사용자(U)가 구비한 가상 총기(G)와 같은 장비 화상 정보를 수집하여 이들의 위치를 감지하고 이에 대한 위치 정보를 생성할 수 있다.
비전 감지부(110)는, 사용자(U)의 신체, 의복, 또는 가상 총기(G)에 부착되는 비전 마커(M)(Vision Marker)를 감지하여 시야 정보를 생성할 수도 있다. 비전 마커(M)는 색상, 패턴 등을 가지는 복수로 구성될 수 있으며, 비전 감지부(110)는 해당 비전 마커(M)의 색상 또는 패턴 등을 감지할 수 있는 적외선 카메라로 구성될 수 있다.
또한, 본 실시예에서는 구체적으로 도시되지 않았으나, 비전 마커(M)는 근거리 통신망 태그 등으로 구성될 수도 있고, 적외선 반사 구조로 형성될 수도 있으며, 비전 감지부(110)는 해당 비전 마커(M)에 대응되는 감지부로 이루어질 수 있다.
뿐만 아니라, 대상체(O)는 구글 글라스(Google Glass)와 같은 웨어러블 단말기로 구성되는 경우, 비전 감지부(110)는 해당 단말기와 통신할 수 있는 구성으로 구현될 수도 있다.
스크린(120)은, 영상 정보를 출력하기 위한 수단으로, 자체 영상 출력이 가능한 디스플레이부나, 외부에서 빔 형태로 조사되는 영상을 블라인드나 롤 구조로 수광하여 출력할 수 있다. 본 실시예에서는 고정식 블라인드 구조를 예로 하여 설명하도록 하지만, 본 발명은 이에 한정된 것은 아님, 이동식, 가변식, 스크린(120) 또는 자체 영상 출력 디스플레이부 등이 적용될 수 있다.
영상 출력부(130)는, 스크린(120)을 향해 영상을 출력하기 위한 수단으로, 빔 프로젝트로 구성될 수 있다. 또한, 영상 출력부(130)는, 스크린(120)과 일체로 형성되는 디스플레이부로도 구성될 수 있다.
통신부(140)는, 영상 정보 및 제어 정보 등을 송수신하기 위한 수단으로, 후술하는 제어부(170)와 통합되도록 구성될 수 있다. 이때, 통신부(140)는 각 전자 구성들과 유선 또는 무선으로 통신하도록 형성될 수 있다. 또한, 통신부(140)는, 관리자가 구비하는 외부 단말기와 통신하도록 구성될 수도 있다.
사용자 입력부(150)는, 사용자(U)에 의한 입력 신호를 수신하기 위한 수단으로, 본 실시에에서 구체적으로 도시되지 않았으나, 키패드, 마우스, 터치 스크린(120) 등으로 구성될 수 있다.
메모리부(160)는, 전자 구성들에서 감지 및 생성되는 정보들을 저장하기 위한 수단으로, 본 실시예에서는, 비전 감지부(110), 영상 출력부(130), 통신부(140), 및 제어부(170)에서 감지 및 생성되는 정보들을 저장할 수 있다.
제어부(170)는, 상술한 구성들의 동작을 제어하기 위한 수단일 수 있다. 본 실시예에서 제어부(170)의 대표적인 제어 방법은 다음과 같다.
제어부(170)는, 비전 감지부(110)로부터 실공간에서 감지되는 스크린(120)에 대한 대상체(O)의 위치 정보를 수신할 수 있다. 이때, 위치 정보는 실공간에서 대상체(O)의 위치에 대한 좌표값일 수 있다. 따라서, 도 1에서와 같이 대상체(O)의 위치 정보는 3차원의 좌표 정보로 감지될 수 있다.
이렇게 대상체(O)의 위치 정보가 수신되면, 제어부(170)는 해당 위치 정보가 기설정된 기준 위치인 기준 위치 정보에 포함되는지 여부를 판단할 수 있다.
기준 위치 정보를 포함하는 경우, 제어부(170)는 기준 위치 정보에 대응되는 영상 정보인 기준 영상 정보를 생성할 수 있다. 기준 영상 정보는, 기준 위치에서 스크린(120)에 출력되는 영상의 중심점이 기준 위치와 동일 선상에 위치하는 컨텐츠 영상 정보일 수 있다.
기준 영상 정보의 생성 뒤, 대상체(O)가 기준 위치에서 다른 위치인 변화 위치로 이동되는 경우, 해당 위치 이동에 대한 변화 위치 정보가 비전 감지부(110)로부터 감지되면, 제어부(170)는 변화 위치에 대응되는 변화 영상 정보를 생성할 수 있다. 변화 영상 정보는, 변화 위치에서 스크린(120)에 출력되는 영상의 중심점이 변화 위치와 동일 선상에 위치하는 컨텐츠 영상 정보일 수 있다.
이때, 제어부(170)는 기준 위치 정보와 변화 위치 정보를 비교하여 이에 대한 결과값인 보정 정보를 생성하고, 보정 정보를 변화 영상 정보에 반영한 보정 영상 정보를 생성할 수 있다.
이와 같은 영상 매칭 시스템(100)에 의하면, 대상체(O)의 위치 변경 시, 변경되는 위치와 기준 위치와의 차이점을 매칭시켜 이를 변화 영상 정보에 반영함으로써, 실공간에 위치하는 대상체(O)의 시점에 대응되는 가상 컨텐츠 영상을 출력할 수 있다.
이상은, 영상 매칭 시스템(100)의 기본적인 구성 및 구동 원리에 대하여 간략하게 설명하였다. 도 2에서는 영상 매칭 시스템(100)에 적용되는 영상 보정 장치의 구성 및 구동 방법에 대하여 설명하도록 한다.
도 2는 본 발명의 다른 실시예에 따른 영상 보정 장치(200)의 구성을 설명하기 위한 블록도이다.
도시된 바와 같이, 영상 보정 장치(200)는, 도 1에서 상술한 영상 매칭 시스템(도 1, 100 이하생략)의 영상 정보의 제어를 실시하는 장치일 수 있다.
이러한 영상 보정 장치(200)는, 기준 영상 모듈(210), 변화 영상 모듈(230), 및 보정 모듈(250)을 포함할 수 있다.
기준 영상 모듈(210)은, 대상체가 실공간에서 기준 위치에 위치하여 이를 감지하는 경우, 기준 위치 정보에 대응되는 영상인 기준 영상 정보를 생성할 수 있다.
다시말해, 실공간에서 특정 영역을 기준 위치로 기설정한 상태에서 대상체의 위치가 해당 기준 위치에 위치하는 경우, 해당 기준 위치에서 대상체의 좌표 정보와 영상의 중심점 좌표 정보가 동일 선상에 위치하는 기준 영상 정보를 생성할 수 있다. 이에 따라, 대상체는 기준 영상 정보가 출력되는 경우, 영상의 중심점을 시야와 일치시킬 수 있다.
변화 영상 모듈(230)은, 대상체가 기준 위치에서 이동되는 경우, 변화된 위치인 변화 위치에 대한 변화 위치 정보를 감지하고 이에 대응되는 변화 영상 정보를 생성할 수 있다. 이때, 변화 영상 정보의 중심점 좌표 정보는 상술한 기준 영상 정보와 동일하게 대상체의 변화 좌표 정보와 동일 선상에 위치하도록 하여, 변화 위치에서도 대상체는 변화 영상 정보의 중심점을 시야와 일치시킬 수 있다.
보정 모듈(250)은, 기준 위치 정보와 변화 위치 정보의 변화값을 기초로 하여 보정 정보를 생성하고, 생성된 보정 정보를 변화 영상 정보에 반영한 보정 영상 정보를 생성할 수 있다.
변화 위치에 따라 변화 영상 정보가 생성되는 경우, 실공간인 변화 위치와 가상 공간인 변화 영상 정보 사이에는 시점의 왜곡이 발생할 수 있다. 따라서, 보정 모듈(250)은, 기준 위치 정보와 변화 위치 정보의 차이를 통해, 기준 영상 정보에서 얼마나 변화가 이루어졌는지 판단하여, 이를 변화 영상 정보에 반영함으로써 실공간과 가상 공간의 괴리를 최소화시킬 수 있다.
구체적으로, 보정 모듈(250)은 실공간에서 대상체의 위치에 관한 좌표값인 대상체 좌표 정보가 위치 정보에 포함되는 경우, 대상체의 좌표 정보와 대응되도록 기준 영상 정보의 좌표값인 기준 좌표 정보 및 변화 영상 정보의 좌표값인 변화 좌표 정보를 생성할 수 있다. 이때, 보정 모듈(250)은 대상체가 변화 위치에 위치하는 경우, 변화 좌표 정보를 기준 좌표 정보에 매칭되도록 보정 정보를 생성할 수 있다.
또한, 보정 모듈(250)은 보정 정보에 포함되는 보정 영상 정보의 좌표 정보인 보정 좌표 정보가 스크린의 기준 좌표값인 스크린 좌표 정보에 포함되지 않는 경우, 스크린 화면 비율에 관한 스크린 정보를 재설정하여 이를 반영한 보정 영상 정보를 생성할 수도 있다.
이와 같은, 영상 보정 장치(200)에 의하면, 실공간에 위치하는 대상체의 좌표 정보와 가상 공간인 기준 영상/변화 영상의 좌표 정보를 매칭하여 보정 영상 정보를 생성할뿐 아니라, 스크린의 화면 비율까지 고려하여 보정 영상 정보를 생성함으로써, 대상체의 위치 이동과 이에 따른 시점 변경에 의한 영상 왜곡 현상을 최소화할 수 있다.
이와 같은, 영상 보정 장치(200)는 도 1의 영상 매칭 시스템에 포함되어 있는 장치로 제어부의 일부일 수 있다.
이상은, 영상 보정 장치(200)의 구성 및 동작 원리에 대하여 설명하였으며, 이하에서는 영상 보정 장치(200)가 포함된 영상 매칭 시스템의 전체적인 동작 방법에 대하여 순차적으로 설명하도록 한다.
도 3은 본 발명의 다른 실시예에 따른 영상 매칭 시스템의 동작 방법을 설명하기 위한 흐름도이고, 도 4 내지 도 9는 도 3의 동작 방법을 각 단계별 이미지로 설명하기 위한 도면이다. 본 실시예에서 기재되는 단어들은 도 1 내지 도 3에서 상술한 단어와 동일하므로 동일한 구성에 대한 도면부호는 생략하도록 한다. 또한, 제어부에 의한 영상 제어는 제어부에 포함되는 영상 보정 장치와 동일하게 구동되며, 특히 보정 정보 및 보정 영상 정보의 생성은 보정 모듈에서 구동되므로 이들의 분리적인 설명은 생략하고, 통합하여 제어부에서 해당 제어가 이루어진다고 판단하도록 한다.
영상 매칭 시스템(도 1, 100 이하생략)은 도 1에서와 같이 구성된 상태를 가정하여 이들의 동작 방법에 대하여 기술하도록 한다.
도 3에 도시된 바와 같이, 최초 영상 매칭 시스템의 제어부(영상 보정 장치, 이하 생략)는 기준 위치 정보를 설정할 수 있다(S11).
기준 위치 정보는, 도 4에처럼 영상 보정 장치의 최초 실공간과 가상 공간을 매칭하기 위한 설정 정보일 수 있다.
구체적으로, 도시하지 않은 메모리 모듈에는 스크린(120) 전체에 대한 좌표 정보인 스크린 좌표 정보를 생성할 수 있고, 비전 감지부에 감지되는 실공간에서의 기준 위치(W)에 대한 좌표값인 기준 좌표 정보가 사전에 저장될 수 있다. 기준 좌표 정보는, 실공간의 특정 지점에 대하여 비전 감지부가 감지하는 영역의 좌표 정보일 수 있으며, 이는 사용자 입력 모듈을 통해 입력되어 설정될 수 있다.
측정 장치(J)는, 레이저 트래커(Laser Tracker)와 같이 레이저를 조사하여 현재 위치에서 해당 특정 지점까지의 위치 관계를 생성할 수 있다.
따라서, 측정 장치(J)는 실공간의 일 위치인 측정 위치에 배치되고, 스크린(120)의 내부 영역 중 서로 다른 위치에 이격되는 복수의 좌표에 관한 스크린 임시 좌표 정보(A1, A2, A3, A4, A5)가 입력되면, 해당 스크린 임시 좌표 정보를 향해 레이저를 조사하여, 측정 위치와 스크린 임시 좌표 정보와의 위치 관계인 측정/스크린 위치 정보를 산출할 수 있다. 도 4에서는 스크린 임시 좌표 정보로 5개의 좌표 정보가 입력되었으나, 해당 좌표 개수에 한정된 것은 아니며, 좌표 개수에 상관없이 서로 다른 복수의 좌표 정보를 포함할 수 있다.
측정/스크린 위치 정보는, 스크린 임시 좌표 정보의 각 좌표에 대한 측정 위치의 거리 정보, 방향 정보, 각도 정보 등에 관한 포괄적인 위치 관계 정보를 포함할 수 있다.
이렇게 측정/스크린 위치 정보가 산출되면, 측정 장치(J)는 상술한 기준 위치를 측정하여, 측정 위치와 기준 위치인 기준 좌표 정보와의 위치 관계에 관한 측정/기준 위치 정보를 생성할 수 있다.
측정 장치(J)는, 생성된 측정/스크린 위치 정보 및 측정/기준 위치 정보를 영상 보정 장치(기준 영상 모듈, 제어부)에 전송할 수 있다.
제어부(기준 영상 모듈)은, 수신된 측정/스크린 위치 정보와 스크린(120)의 둘레 영역에 대응되는 스크린 기준 좌표 정보를 매칭하여 이들의 상관관계에 대한 제1 기준 관계 정보를 생성할 수 있다. 또한, 제어부(기준 영상 모듈)는, 수신된 측정/스크린 위치 정보와 측정/기준 위치 정보를 서로 참고하여 이들의 상관관계에 대한 제2 기준 관계 정보를 생성할 수 있다. 이후, 제어부(기준 영상 모듈)는 제1 기준 관계 정보와 제2 기준 관계 정보를 서로 참고하여 측정/기준 위치 정보와 스크린 기준 좌표 정보의 상관관계에 관한 제3 기준 관계 정보를 생성할 수 있다.
따라서, 제어부(기준 영상 모듈)는 제3 기준 관계 정보를 생성함에 따라, 최초 영상 보정 장치의 화면 구성 시, 제3 기준 관계 정보에 따라 실공간과 가상 공간을 매칭시켜 이들의 위치 관계를 보다 명확하게 설정할 수 있다.
이렇게 영상 보정 장치의 초기 화면에 관한 기준 위치 정보가 설정되면 비전 감지부를 통해 대상체(O)의 위치 정보를 감지할 수 있다(S13).
스크린(120)이 구비된 실공간에서 기설정된 기준 위치(L1)(본 실시예에서는 스크린(120)과 정면을 향하고 일정 거리만큼 이격된 위치)에 대상체(O)가 위치하면 비전 감지부는 대상체(O)의 위치 정보를 감지하고, 제어부는 메모리부에 저장된 기준 위치(L1) 정보의 포함 여부를 판단할 수 있다(S15). 이때, 제어부(기준 영상 모듈)는 대상체(O)의 위치 정보를 제1 기준 좌표 정보로 설정하고, 제1 기준 좌표 정보에 제3 기준 관계 정보를 반영하여, 대상체(O)의 위치 정보를 기준 위치 정보로 변환할 수도 있다. 따라서, 대상체(O)는 기설정된 기준 위치에 위치하지 않아도, 자신이 위치하는 곳이 자동으로 기준 위치로 설정될 수 있다.
대상체(O)의 위치 정보는 실공간을 좌표 정보로 변환하여, 해당 좌표 정보 중 대상체(O) 좌표 정보의 비교를 통해 산출될 수 있다. 특히, 대상체(O)의 시점에 대하여 영상의 변화가 이루어져야하므로, 대상체(O)의 위치를 판단하기 위한 수단은 대상체(O)의 눈과 관련된 부위를 위치 대상으로 인식할 수 있다.
예컨데, 비전 마커를 사용자의 눈과 유사한 영역에 부착하고, 비전 감지부는 해당 비전 마커를 감지하여 위치 정보를 감지할 수 있다. 또한, 비점 감지부가 화상 인식 수단으로 구성되는 경우, 인식된 화상 정보 중 대상체(O)의 눈을 위치 정보의 기준점으로 설정할 수도 있다. 뿐만 아니라, 비전 마커가 가상 총기에 부착되는 경우, 가상 총기를 기준점으로 설정할 수도 있다.
또한, 본 실시예에서 구체적으로 도시되지 않았으나, 기준 위치(L1)는 대상체(O)가 실공간에 위치한 상태에서, 입력 신호에 따라 설정될 수도 있다. 다시말해, 대상체(O)가 실공간에 위치하고, 기준 위치(L1) 입력 신호가 수신되는 경우, 제어부는 현재 대상체(O)의 위치 정보를 기준 위치(L1) 정보로 설정할 수도 있다.
이렇게 대상체(O)의 위치 정보가 대한 기준 위치(L1) 정보를 포함하는 경우, 제어부는 해당 기준 위치(L1) 정보에 대응되는 영상인 기준 영상 정보(SP)를 생성할 수 있다(S17).
기준 영상 정보(SP)는, 대상체(O)의 실공간 좌표 정보인 대상체(O) 좌표 정보와 동일 선상에 위치하는 중심 좌표 정보를 갖는 영상일 수 있다. 다시말해, 기준 영상 정보(SP)는 대상체(O)에 의해 출력되는 컨텐츠 영상의 중심 좌표 정보를 대상체(O) 좌표 정보와 동일 선상으로 조정한 영상일 수 있다. 대상체(O) 좌표 정보는 대상체(O)의 눈과 같은 시점에 대응되는 영역 좌표이므로, 해당 좌표와 기준 영상 정보(SP)의 중심점 좌표 정보(C)가 동일 선상에 위치하는 경우, 대상체(O)는 해당 영상을 자신의 시점에서 출력되는 영상을 제공받을 수 있다.
도 5에서는 설명의 편리성을 위해 기준 영상 정보(SP)와 스크린(120)을 분리하여 도시하였으나, 실제는 기준 영상 정보(SP)가 스크린(120)에 일체화되어 나타날 수 있다.
이후, 제어부는 대상체(O)가 기준 위치(L1)에서 변경되었는지 여부를 판단할 수 있다(S19). 이는, 비전 감지부를 통해 감지되는 대상체(O)의 위치 정보가, 기준 위치(L1)에서 이와 다른 변화 위치(L2)로 이동된 변화 위치(L2) 정보를 포함하는지 여부로 판단될 수 있다. 다시말해, 실공간에서의 대상체(O) 좌표 정보 변화 여부를 통해 대상체(O)의 위치 변화 여부를 판단할 수 있다.
대상체(O)가 기준 위치(L1)에서 변화 위치(L2)로 이동되면, 제어부는 변화 위치(L2) 정보에 대응되는 영상인 변화 영상 정보(CP)를 생성할 수 있다(S21).
변화 영상 정보(CP)는, 기준 영상 정보(SP)와 대체로 동일하나 대상체(O)의 위치 정보가 기준 위치(L1)에서 변화 위치(L2)로 변화된다는 점에서 차이가 있다. 따라서, 도 6에서처럼 변화 영상 정보(CP)는, 대상체(O)의 변화 위치(L2)에서의 대상체(O) 좌표 정보와 동일 선상에 위치하는 중심점 좌표 정보(C')를 갖는 영상 정보일 수 있다. 이에 따라, 대상체(O)는, 변화 위치(L2)에서 자신의 시점에서 출력되는 변화 영상 정보(CP)를 제공받을 수 있다.
이렇게 대상체(O)는 자신의 위치 변화에 대응되는 영상을 제공받을 수 있으나, 해당 변화 영상 정보(CP)의 경우, 시점에 따른 왜곡 현상이 발생될 수 있다. 다시말해, 스크린은 실제 영상이 출력하는 영역이나, 보다 현실적인 가상 공간을 구현하기 위해서는 실공간과 가상 공간 사이에 위치하는 윈도우(Window)와 같은 기능으로 구현될 수 있다. 따라서, 대상체(O)의 위치에 따라 단순히 영상 방향이 변경되는 경우에는, 대상체(O)의 시점과 차이가 발생될 수 있다. 따라서, 대상체(O)의 위치 이동 시, 이동된 변화 위치(L2)에서 기준 영상 정보(SP)와 매칭될 수 있는 보정 정보를 생성하여 반영할 필요가 있다.
이를 위해, 제어부는 기준 위치(L1) 정보와 변화 위치(L2) 정보를 비교하여 이에 대한 결과값인 보정 정보를 생성할 수 있다(S23). 보정 정보는, 변화 위치(L2)에서 변화 영상 정보(CP)의 좌표값인 변화 좌표 정보를 기준 영상 정보(SP)의 좌표값인 기준 좌표 정보를 매칭하기 위한 값일 수 있다.
도 7에서처럼, 기준 좌표 정보는 기준 영상 정보(SP)에서 스크린(120)의 둘레에 대응되는 기준 둘레 좌표 정보(SBP)를 포함하고, 변화 영상 정보(CP)는 변화 영상 정보(CP)에서 스크린(120)의 둘레에 대응되는 변화 둘레 좌표 정보(CBP)를 각각 포함할 수 있다.
이때, 제어부는 변화 위치(L2)에서 기준 둘레 좌표 정보(SBP)와 각각 직선으로 연결되는 가상 라인에 대한 기준 라인 정보를 생성하고, 기준 라인 정보와 변화 영상 정보(CP)의 변화 좌표 정보의 교차점에 관한 교차 좌표 정보(P1,P2)를 생성할 수 있다.
만약, 기준 라인 정보와 변화 좌표 정보의 교차점이 없는 경우에는, 변화 좌표 정보를 직선 방향으로 연장한 변화 연장 좌표 정보(CC)를 생성하고, 이를 기준 라인 정보와 비교하여 교차 좌표 정보(P1,P2)를 생성할 수도 있다.
도 6에서는 시스템을 위에서 아래로 바라보게 도시하여, 각 둘레 좌표 정보가 스크린(120) 너비의 양단에 해당되도록만 제시되었으나, 이에 한정된 것은 아니며, 대상체(O)의 좌,우, 상, 하의 위치에 대응되는 영상의 너비 및 높이에 대응되는 좌표값들이 산출될 수 있다.
이렇게 교차 좌표 정보(P1,P2)가 산출되면, 제어부는 해당 교차 좌표 정보(P1,P2)를 기준 영상 정보(SP)에 매칭되도록 하기 위하여 아래의 수학식1에 의해 보정되는 제1 보정 좌표 정보를 생성할 수 있다.
수학식1
제1 보정 좌표 정보(
Figure 112018011296833-pat00022
,
Figure 112018011296833-pat00023
)
Figure 112018011296833-pat00024
,
Figure 112018011296833-pat00025
(
Figure 112018011296833-pat00026
: 제1 보정 좌표 정보의 X값,
Figure 112018011296833-pat00027
: 제1 보정 좌표 정보의 Y값,
Figure 112018011296833-pat00028
: 기준 영상 정보의 너비,
Figure 112018011296833-pat00029
: 교차 좌표 정보의 X값,
Figure 112018011296833-pat00030
: 변화 영상 정보의 너비,
Figure 112018011296833-pat00031
: 기준 영상 정보의 높이,
Figure 112018011296833-pat00032
:교차 좌표 정보의 Y값,
Figure 112018011296833-pat00033
: 변화 영상 정보의 높이)
제1 보정 좌표 정보는, 교차 좌표 정보(P1,P2)를 기존 영상 정보에 매칭시켜 변화 위치(L2)에서 대상체(O)가 스크린(120)을 바라보는 경우 발생되는 왜곡을 감쇄시킬 수 있다.
이렇게 제어부는 보정 정보가 생성되면 해당 보정 좌표 정보가 스크린 좌표 정보에 포함되는지 여부를 판단할 수 있다(S25).
스크린 좌표 정보는, 스크린(120)의 높이 및 너비에 대한 기준 좌표값일 수 있다. 따라서, 스크린(120)에 출력되는 영상들은 스크린 좌표 정보에 대응되도록 생성될 수 있다. 따라서, 제1 보정 좌표 정보가 스크린 좌표 정보에 포함되는 경우, 제어부는 해당 제1 보정 좌표 정보를 변화 영상 정보(CP)에 반영한 보정 영상 정보를 생성할 수 있다(S29)
반면, 제1 보정 좌표 정보가 스크린 좌표 정보에 포함되지 않은 경우가 발생될 수 있다. 이는, 도 8에서처럼, 수학식1에 의해 생성되는 제1 보정 좌표 정보가 스크린 좌표 정보를 벗어나는 경우일 수 있다.
이러한 경우, 제1 보정 좌표 정보를 스크린 좌표 정보에 포함되도록 하기 위해, 스크린(120) 화면 비율에 관한 스크린 정보를 재설정할 수 있다(S27). 이는, 아래의 수학식2에 의해 구현될 수 있다.
수학식2
제2 보정 좌표 정보(
Figure 112018011296833-pat00034
,
Figure 112018011296833-pat00035
)
Figure 112018011296833-pat00036
,
Figure 112018011296833-pat00037
(
Figure 112018011296833-pat00038
: 제2 보정 좌표 정보의 X값,
Figure 112018011296833-pat00039
: 제2 보정 좌표 정보의 Y값,
Figure 112018011296833-pat00040
: 제1 보정 좌표 정보의 X값,
Figure 112018011296833-pat00041
: 제1 보정 좌표 정보의 Y값,
Figure 112018011296833-pat00042
: 스크린 증가 비율)
이렇게 재설정된 스크린 정보에 따르면, 기존 스크린 정보(SR1)에서는 제1 보정 좌표 정보를 포함할 수 없으므로, 이를 확장시키는 확장 스크린 정보(SR2)를 가질 수 있다. 이에 따라, 도 9에서처럼 스크린 좌표 정보는 제1 보정 좌표 정보를 포함할 수 있도록 확장될 수 있고, 제1 보정 좌표 정보는, 확장 스크린 정보(SR2)에 대응되도록 재설정된 제2 보정 좌표 정보로 변환될 수 있다.
스크린 정보의 재설정에 다른 제2 보정 좌표 정보가 산출되면, 제어부는 이를 변화 영상 정보(CP)에 반영한 보정 영상 정보를 생성하여 제어부는 이를 반영한 보정 영상 정보를 생성하여(S29) 이를 영상 출력부로 출력하여 스크린에 표시되도록 제어할 수 있다(S31).
이와 같은 영상 보정 장치를 갖는 영상 매칭 시스템에 의하면, 대상체(O)의 위치 변화에 따른 시야에 대응되도록 영상을 실시간으로 변경하고, 화면 비율까지 고려하여 수정된 영상의 좌표를 설정함으로써, 대상체(O)의 시점 변경에 따른 영상의 왜곡 현상을 최소화할 수 있다.
상기와 같은 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템은, 위에서 설명된 실시예들의 구성과 작동 방식에 한정되는 것이 아니다. 상기 실시예들은 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있도록 구성될 수 있다.
100: 영상 매칭 시스템 O: 대상체
110: 비전 감지부 U: 사용자
120: 스크린 G: 가상 총기
130: 영상 출력부 M: 비전 마커
140: 통신부 SP: 기준 영상 정보
150: 사용자 입력부 CP: 변화 영상 정보
160: 메모리부 L1: 기준 위치
170: 제어부 L2: 변화 위치
200: 영상 보정 장치 SBP: 기준 둘레 좌표 정보
210: 기준 영상 모듈 CBP: 변화 둘레 좌표 정보
230: 변화 영상 모듈 VL: 기준 라인 정보
250: 보정 모듈 CC: 변화 연장 좌표 정보
P1,P2: 교차 좌표 정보

Claims (15)

  1. 실공간에서 감지되는 스크린에 대한 대상체의 위치 정보가 기설정된 기준 위치인 기준 위치 정보를 포함하는 경우, 상기 기준 위치 정보에 대응되는 영상인 기준 영상 정보를 생성하는 기준 영상 모듈;
    상기 대상체의 이동에 의해 기준 위치에서 변화 위치로 변화되고 이에 대한 변화 위치 정보가 감지되는 경우, 상기 변화 위치 정보에 대응되는 영상인 변화 영상 정보를 생성하는 변화 영상 모듈; 및
    상기 기준 위치 정보 및 상기 변화 위치 정보를 비교하여 이에 대한 결과값으로 보정 정보를 생성하고, 상기 보정 정보를 상기 변화 영상 정보에 반영한 보정 영상 정보를 생성하는 보정 모듈;을 포함하고,
    상기 위치 정보는,
    상기 실공간에서 상기 대상체의 위치에 관한 좌표값인 대상체 좌표 정보를 포함하고,
    상기 기준 영상 정보는,
    상기 기준 위치에서 상기 대상체 좌표 정보와, 기준 좌표 정보의 중심 점에 해당되는 중심 좌표 정보가 동일 선상에 위치하도록 형성되는 영상 정보이고,
    상기 변화 영상 정보는
    상기 변화 위치에서 상기 대상체 좌표 정보와, 변화 좌표 정보의 중심점에 해당되는 중심 좌표 정보가 동일 선상에 위치하도록 형성되는 영상 정보이고, 상기 변화 영상 정보에서 상기 스크린의 둘레에 대응되는 변화 둘레 좌표 정보를 포함하고,
    상기 기준 영상 정보 및 상기 변화 영상 정보는,
    동일한 상기 중심 좌표 정보를 갖도록 형성되며,
    상기 기준 좌표 정보는,
    상기 기준 영상 정보에서 상기 스크린의 둘레에 대응되는 기준 둘레 좌표 정보를 포함하고,
    상기 보정 모듈은,
    상기 대상체 좌표 정보와 대응되도록 상기 기준 영상 정보의 좌표값인 기준 좌표 정보 및 상기 변화 영상 정보의 좌표값인 변화 좌표 정보를 생성하고,
    상기 변화 위치에서 상기 변화 좌표 정보를 상기 기준 좌표 정보에 매칭되도록 상기 보정 정보를 생성하고,
    상기 보정 정보를 참고하여, 상기 보정 정보에 포함되는 상기 보정 영상 정보의 좌표 정보인 보정 좌표 정보가, 상기 스크린의 기준 좌표값인 스크린 좌표 정보에 포함되지 않는 경우, 상기 스크린 화면 비율에 관한 스크린 정보를 재설정하여 이를 상기 보정 영상 정보에 반영하고,
    상기 변화 위치에서 상기 기준 둘레 좌표 정보와 각각 직선으로 연결되는 가상 라인에 대한 기준 라인 정보와, 상기 기준 라인 정보와 상기 변화 영상 정보의 변화 좌표 정보의 교차점에 관한 교차 좌표 정보를 각각 생성하고,
    상기 기준 라인 정보와 상기 변화 좌표 정보의 교차점이 없는 경우, 상기 변화 좌표 정보를 직선 방향으로 연장한 변화 연장 좌표 정보를 생성하고, 상기 변화 연장 좌표 정보와 상기 기준 라인 정보와의 비교를 통해 상기 교차 좌표 정보를 산출하고,
    상기 교차 좌표 정보를 상기 기준 영상 정보에 매칭되도록 하기의 수학식1에 의해 보정되는 제1 보정 좌표 정보를 산출하여 상기 보정 영상 정보를 생성하는, 가상 공간과 실공간의 매칭을 위한 영상 보정 장치.
    수학식1
    제1 보정 좌표 정보(
    Figure 112019111750548-pat00073
    ,
    Figure 112019111750548-pat00074
    )
    Figure 112019111750548-pat00075
    ,
    Figure 112019111750548-pat00076

    (
    Figure 112019111750548-pat00077
    : 제1 보정 좌표 정보의 X값,
    Figure 112019111750548-pat00078
    : 제1 보정 좌표 정보의 Y값,
    Figure 112019111750548-pat00079
    : 기준 영상 정보의 너비,
    Figure 112019111750548-pat00080
    : 교차 좌표 정보의 X값,
    Figure 112019111750548-pat00081
    : 변화 영상 정보의 너비,
    Figure 112019111750548-pat00082
    : 기준 영상 정보의 높이,
    Figure 112019111750548-pat00083
    : 교차 좌표 정보의 Y값,
    Figure 112019111750548-pat00084
    : 변화 영상 정보의 높이)
  2. 제1항에 있어서,
    상기 기준 위치 정보는,
    상기 스크린의 좌표값인 스크린 좌표 정보, 및 비전 감지부에 의해 최초 설정되는 상기 실공간에서의 기준 위치에 대한 좌표값인 기준 좌표 정보, 및 상기 실공간에 배치되는 측정 장치의 측정 위치에서 상기 스크린 좌표 정보와의 위치 관계를 참고하여 생성되는, 가상 공간과 실공간의 매칭을 위한 영상 보정 장치.
  3. 제2항에 있어서,
    상기 스크린 좌표 정보는,
    상기 스크린의 둘레 영역에 대응되는 스크린 기준 좌표 정보 및 상기 스크린의 내부 영역 중 서로 다른 위치에 이격되는 복수의 좌표에 관한 스크린 임시 좌표 정보를 포함하고,
    상기 측정 장치는,
    상기 스크린 임시 좌표 정보에 대응되는 입력 정보가 입력되는 경우, 상기 측정 위치에서 상기 스크린 임시 좌표 정보와의 위치 관계에 관한 측정/스크린 위치 정보를 생성하고, 상기 측정 위치에서 상기 기준 좌표 정보와의 위치 관계에 관한 측정/기준 위치 정보를 생성하여, 각각을 상기 기준 영상 모듈에 전송하고,
    상기 기준 영상 모듈은,
    상기 측정/스크린 위치 정보와 상기 스크린 기준 좌표 정보를 매칭하여 이들의 상관관계에 관한 제1 기준 관계 정보를 생성하고, 상기 측정/스크린 위치 정보와 상기 측정/기준 위치 정보를 참고하여 이들의 상관관계에 관한 제2 기준 관계 정보를 생성하고, 상기 제1 기준 관계 정보 및 상기 제2 기준 관계 정보를 참고하여 상기 측정/기준 위치 정보와 상기 스크린 기준 좌표 정보의 상관관계에 관한 제3 기준 관계 정보를 생성하는, 가상 공간과 실공간의 매칭을 위한 영상 보정 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제1항에 있어서,
    상기 보정 모듈은,
    상기 제1 보정 좌표 정보가 상기 스크린 좌표 정보에 포함되지 않는 경우, 확대된 상기 스크린 정보를 적용하여 하기의 수학식2에 의해 제2 보정 좌표 정보를 산출하여 상기 보정 영상 정보를 생성하는, 가상 공간과 실공간의 매칭을 위한 영상 보정 장치.
    수학식2
    제2 보정 좌표 정보(
    Figure 112019111750548-pat00055
    ,
    Figure 112019111750548-pat00056
    )
    Figure 112019111750548-pat00057
    ,
    Figure 112019111750548-pat00058

    (
    Figure 112019111750548-pat00059
    : 제2 보정 좌표 정보의 X값,
    Figure 112019111750548-pat00060
    : 제2 보정 좌표 정보의 Y값,
    Figure 112019111750548-pat00061
    : 제1 보정 좌표 정보의 X값,
    Figure 112019111750548-pat00062
    : 제1 보정 좌표 정보의 Y값,
    Figure 112019111750548-pat00063
    : 스크린 증가 비율)
  14. 스크린;
    실공간에서 스크린에 대한 대상체의 위치 정보를 감지하는 비전 감지부;
    상기 스크린에 영상 정보를 출력하는 영상 출력부; 및
    상기 위치 정보가 기설정된 기준 위치인 기준 위치 정보를 포함하는 경우 상기 기준 위치 정보에 대응되는 영상인 기준 영상 정보를 생성하고, 상기 대상체의 이동에 의해 상기 기준 위치에서 변화 위치로 변화되고 이에 대한 변화 위치 정보가 감지되는 경우 상기 변화 위치 정보에 대응되는 영상인 변화 영상 정보를 생성하며, 상기 기준 위치 정보 및 상기 변화 위치 정보를 비교하여 이에 대한 결과값으로 보정 정보를 생성하고, 상기 보정 정보를 상기 변화 영상 정보에 반영한 보정 영상 정보를 생성하여 이를 상기 스크린에 출력되도록 상기 영상 출력부를 제어하고,
    실공간에서 감지되는 스크린에 대한 대상체의 위치 정보가 기설정된 기준 위치인 기준 위치 정보를 포함하는 경우, 상기 기준 위치 정보에 대응되는 영상인 기준 영상 정보를 생성하는 기준 영상 모듈와, 상기 대상체의 이동에 의해 기준 위치에서 변화 위치로 변화되고 이에 대한 변화 위치 정보가 감지되는 경우, 상기 변화 위치 정보에 대응되는 영상인 변화 영상 정보를 생성하는 변화 영상 모듈; 및 상기 기준 위치 정보 및 상기 변화 위치 정보를 비교하여 이에 대한 결과값으로 보정 정보를 생성하고, 상기 보정 정보를 상기 변화 영상 정보에 반영한 보정 영상 정보를 생성하는 보정 모듈;을 포함하는 제어부로 구성되고,
    상기 위치 정보는,
    상기 실공간에서 상기 대상체의 위치에 관한 좌표값인 대상체 좌표 정보를 포함하고,
    상기 기준 영상 정보는,
    상기 기준 위치에서 상기 대상체 좌표 정보와, 기준 좌표 정보의 중심 점에 해당되는 중심 좌표 정보가 동일 선상에 위치하도록 형성되는 영상 정보이고,
    상기 변화 영상 정보는
    상기 변화 위치에서 상기 대상체 좌표 정보와, 변화 좌표 정보의 중심점에 해당되는 중심 좌표 정보가 동일 선상에 위치하도록 형성되는 영상 정보이고, 상기 변화 영상 정보에서 상기 스크린의 둘레에 대응되는 변화 둘레 좌표 정보를 포함하고,
    상기 기준 영상 정보 및 상기 변화 영상 정보는,
    동일한 상기 중심 좌표 정보를 갖도록 형성되며,
    상기 기준 좌표 정보는,
    상기 기준 영상 정보에서 상기 스크린의 둘레에 대응되는 기준 둘레 좌표 정보를 포함하고,
    상기 보정 모듈은,
    상기 대상체 좌표 정보와 대응되도록 상기 기준 영상 정보의 좌표값인 기준 좌표 정보 및 상기 변화 영상 정보의 좌표값인 변화 좌표 정보를 생성하고,
    상기 변화 위치에서 상기 변화 좌표 정보를 상기 기준 좌표 정보에 매칭되도록 상기 보정 정보를 생성하고,
    상기 보정 정보를 참고하여, 상기 보정 정보에 포함되는 상기 보정 영상 정보의 좌표 정보인 보정 좌표 정보가, 상기 스크린의 기준 좌표값인 스크린 좌표 정보에 포함되지 않는 경우, 상기 스크린 화면 비율에 관한 스크린 정보를 재설정하여 이를 상기 보정 영상 정보에 반영하고,
    상기 변화 위치에서 상기 기준 둘레 좌표 정보와 각각 직선으로 연결되는 가상 라인에 대한 기준 라인 정보와, 상기 기준 라인 정보와 상기 변화 영상 정보의 변화 좌표 정보의 교차점에 관한 교차 좌표 정보를 각각 생성하고,
    상기 기준 라인 정보와 상기 변화 좌표 정보의 교차점이 없는 경우, 상기 변화 좌표 정보를 직선 방향으로 연장한 변화 연장 좌표 정보를 생성하고, 상기 변화 연장 좌표 정보와 상기 기준 라인 정보와의 비교를 통해 상기 교차 좌표 정보를 산출하고,
    상기 교차 좌표 정보를 상기 기준 영상 정보에 매칭되도록 하기의 수학식1에 의해 보정되는 제1 보정 좌표 정보를 산출하여 상기 보정 영상 정보를 생성하는, 가상 공간과 실공간 영상 매칭 시스템.

    수학식1
    제1 보정 좌표 정보(
    Figure 112019111750548-pat00085
    ,
    Figure 112019111750548-pat00086
    )
    Figure 112019111750548-pat00087
    ,
    Figure 112019111750548-pat00088

    (
    Figure 112019111750548-pat00089
    : 제1 보정 좌표 정보의 X값,
    Figure 112019111750548-pat00090
    : 제1 보정 좌표 정보의 Y값,
    Figure 112019111750548-pat00091
    : 기준 영상 정보의 너비,
    Figure 112019111750548-pat00092
    : 교차 좌표 정보의 X값,
    Figure 112019111750548-pat00093
    : 변화 영상 정보의 너비,
    Figure 112019111750548-pat00094
    : 기준 영상 정보의 높이,
    Figure 112019111750548-pat00095
    : 교차 좌표 정보의 Y값,
    Figure 112019111750548-pat00096
    : 변화 영상 정보의 높이)
  15. 제14항에 있어서,
    상기 대상체는,
    사용자의 신체, 상기 신체에 부착되는 웨어러블 단말기, 가상 총기 중 적어도 어느 하나를 포함하고,
    상기 비전 감지부는,
    대상체에 부착되는 비전 마커를 통해 상기 위치 정보를 감지하는, 가상 공간과 실공간 영상 매칭 시스템.
KR1020180012541A 2018-01-31 2018-01-31 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템 KR102059114B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180012541A KR102059114B1 (ko) 2018-01-31 2018-01-31 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180012541A KR102059114B1 (ko) 2018-01-31 2018-01-31 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190100233A Division KR20190100122A (ko) 2019-08-16 2019-08-16 가상 공간과 실공간의 측정에 기초한 공간 동기화를 이용한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템

Publications (2)

Publication Number Publication Date
KR20190093083A KR20190093083A (ko) 2019-08-08
KR102059114B1 true KR102059114B1 (ko) 2019-12-24

Family

ID=67613201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180012541A KR102059114B1 (ko) 2018-01-31 2018-01-31 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템

Country Status (1)

Country Link
KR (1) KR102059114B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230039428A (ko) * 2021-09-14 2023-03-21 고태영 열처리 기재 검사시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070172B1 (ko) * 2019-08-27 2020-01-28 주식회사 동신지티아이 현장좌표와 수치좌표를 비교해서 수치지형 정보를 보정하는 수치데이터 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101749216B1 (ko) * 2016-09-26 2017-06-21 옵티머스시스템 주식회사 사격훈련 시뮬레이터 및 이를 이용한 사격훈련 시뮬레이션 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926477B1 (ko) * 2011-07-18 2018-12-11 삼성전자 주식회사 콘텐츠 재생 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101749216B1 (ko) * 2016-09-26 2017-06-21 옵티머스시스템 주식회사 사격훈련 시뮬레이터 및 이를 이용한 사격훈련 시뮬레이션 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230039428A (ko) * 2021-09-14 2023-03-21 고태영 열처리 기재 검사시스템
KR102543561B1 (ko) 2021-09-14 2023-06-14 고태영 열처리 기재 검사시스템

Also Published As

Publication number Publication date
KR20190093083A (ko) 2019-08-08

Similar Documents

Publication Publication Date Title
US11379173B2 (en) Method of maintaining accuracy in a 3D image formation system
US8971629B2 (en) User interface system based on pointing device
US10091489B2 (en) Image capturing device, image processing method, and recording medium
US6611242B1 (en) Information transmission system to transmit work instruction information
JP2012133808A (ja) カーソル制御方法及び装置
US9910507B2 (en) Image display apparatus and pointing method for same
EP2172688B1 (en) Lighting apparatus
TW201724031A (zh) 擴增實境方法、系統及電腦可讀取非暫態儲存媒介
CN108989777A (zh) 投影设备、投影设备的控制方法和非暂时性存储介质
JP6804056B2 (ja) 投写型表示装置、投写型表示装置の制御方法、及びプログラム
KR102059114B1 (ko) 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템
JP2008294961A (ja) 映像表示装置
WO2018150569A1 (ja) ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
US10013802B2 (en) Virtual fitting system and virtual fitting method
KR20190100122A (ko) 가상 공간과 실공간의 측정에 기초한 공간 동기화를 이용한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템
KR20140027931A (ko) 움직일 수 있는 물체의 도움으로 기구를 제어하기 위한 원격 제어 장치 및 이러한 종류의 원격 제어 장치의 모듈들 간의 통신 또는 그 모듈들 중의 하나와 외부 기구 간의 통신을 위한 인터페이스 모듈
KR102525563B1 (ko) 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치
KR20170086005A (ko) 거리 차이를 이용한 증강현실 제공 방법
US20140043233A1 (en) Interactive system and remote device
KR20170027752A (ko) 실제현실 적응형 증강현실 제공 방법
WO2021130860A1 (ja) 情報処理装置、制御方法及び記憶媒体
KR20210048928A (ko) 가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말
JP6370165B2 (ja) ポインティング装置、ポインティング方法、プログラム及び画像表示装置
JP7520507B2 (ja) 画像処理装置、画像処理装置の制御方法
KR20230051138A (ko) 거리 센싱을 이용한 증강현실 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant