KR101668649B1 - 주변 환경 모델링 방법 및 이를 수행하는 장치 - Google Patents

주변 환경 모델링 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR101668649B1
KR101668649B1 KR1020140180117A KR20140180117A KR101668649B1 KR 101668649 B1 KR101668649 B1 KR 101668649B1 KR 1020140180117 A KR1020140180117 A KR 1020140180117A KR 20140180117 A KR20140180117 A KR 20140180117A KR 101668649 B1 KR101668649 B1 KR 101668649B1
Authority
KR
South Korea
Prior art keywords
surrounding environment
stereoscopic image
modeling
stereoscopic
unit
Prior art date
Application number
KR1020140180117A
Other languages
English (en)
Other versions
KR20160072477A (ko
Inventor
김영욱
황정훈
김승훈
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020140180117A priority Critical patent/KR101668649B1/ko
Publication of KR20160072477A publication Critical patent/KR20160072477A/ko
Application granted granted Critical
Publication of KR101668649B1 publication Critical patent/KR101668649B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

주변 환경 모델링 장치는 복수의 카메라들을 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링하는 주변 환경 모델링부, 특정 방향을 촬상하는 입체 카메라를 통해 입체 영상을 수신하는 입체 영상 수신부 및 상기 수신된 입체 영상을 상기 미리 모델링된 주변 환경에 정합하는 입체 영상 정합부를 포함한다. 따라서, 주변 환경 모델링 장치는 대용량의 데이터 처리가 필요한 과정 및 입체 영상에 대한 데이터 처리가 필요한 과정을 분류하여 입체 영상을 정합할 수 있다.

Description

주변 환경 모델링 방법 및 이를 수행하는 장치 {SURROUNDING ENVIRONMENT MODELING METHOD AND APPARATUS PERFORMING THE SAME}
본 발명은 주변 환경 모델링 기술에 관한 것으로, 보다 상세하게는, 주변 환경을 미리 모델링하여 입체 영상을 정합하는 주변 환경 모델링 방법 및 이를 수행하는 장치에 관한 것이다.
배경 영상을 모델링하는 기술은 지정된 지역을 카메라로 촬영하여 이동 물체를 감시한다. 배경 영상을 모델링하는 기술은 지정된 지역의 배경영상에서 현재 영상을 차분하여 이동 물체의 출현에 따른 전경영역을 추출할 수 있고, 이 과정에서 전경영역을 누락 없이 추출하기 위하여 정확한 배경영상의 획득이 필연적으로 요구된다. 또한, 모델링 기술은 매 프레임별로 변화되는 배경의 변화에 적응하여 배경영상을 정확하게 실시간 업데이트할 수 있다.
종래 기술은 배경 영상 전체의 실시간 처리를 위하여 대용량의 데이터를 수신하며, 수신된 대용량의 데이터를 고속으로 처리하여야 한다. 대용량 데이터의 고속 처리 기술은 고비용을 필요로 하고 에러가 발생할 수 있기 때문에 현재 상용화를 위한 구현이 어려운 상황이다. 또한, 종래의 배경 영상 및 전경 영상의 합성 기술은 단순한 이펙트 효과와 배경 영상에 대한 합성에 해당하여, 영상 합성 기술은 저비용으로 전경 영상 및 배경 영상의 합성 기술을 구현하기 위한 기술 개발이 요구된다.
한국등록특허 제1,454,333호는 실시간 전경 영상 및 배경 영상 합성 시스템에 관한 것으로, 외부 카메라로부터 수신된 카메라 영상에 대한 데이터 실시간 합성을 수행하여 적은 비용으로도 고가의 스튜디오 장비나 방송국 장비와 같은 효과를 발생하는 영상 합성 시스템에 대하여 개시한다.
한국등록특허 제1,038,650호는 적응적 배경영상 모델링 방법, 이를 이용한 불법주정차 무인단속방법 및 불법주정차 무인단속시스템에 관한 것으로, 관심 영역 내의 정지 물체에 의한 영향을 신속하게 제거하여 배경 영상에 대한 정확한 모델링을 수행하고, 관심 영역 내의 물체를 정확하게 감지할 수 있는 불법주정차 무인단속방법 및 불법주정차 무인단속시스템에 대하여 개시한다.
한국등록특허 제1,454,333호 (2014. 10. 17 등록) 한국공개특허 제1,038,650호 (2011. 05. 27 공개)
본 발명의 일 실시예는 주변 환경을 미리 모델링하여 입체 영상을 실시간으로 정합하고자 한다.
본 발명의 일 실시예는 대용량의 데이터 처리가 필요한 과정 및 입체 영상에 대한 데이터 처리가 필요한 과정을 분류하여 신속하고 정확한 주변 환경 모델링 기술을 제공하고자 한다.
본 발명의 일 실시예는 주변 환경 모델링 기술을 통하여 작업 환경에 대한 입체 영상을 사용자에게 제공하고자 한다.
실시예들 중에서, 주변 환경 모델링 방법은 복수의 카메라들을 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링하는 단계, 특정 방향을 촬상하는 입체 카메라를 통해 입체 영상을 수신하는 단계 및 상기 수신된 입체 영상을 상기 미리 모델링된 주변 환경에 정합하는 단계를 포함한다.
일 실시예에서, 상기 주변 환경을 미리 모델링하는 단계는 상기 복수의 카메라들을 통해 인식된 마커를 기초로 기 모델링된 객체를 상기 주변 환경에 적용하는 단계를 포함할 수 있다.
일 실시예에서, 상기 주변 환경에 적용하는 단계는 상기 복수의 카메라들을 통해 인식된 마커를 기초로 상기 기 모델링된 객체를 객체 데이터베이스로부터 검색하는 단계 및 상기 마커의 위치 및 방향을 기초로 상기 검색된 객체의 위치 및 방향을 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 입체 영상을 수신하는 단계는 사용자의 머리 방향을 센싱하여 상기 특정 방향을 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 입체 영상을 수신하는 단계는 상기 복수의 카메라들을 통해 이벤트가 수신되면 상기 이벤트와 연관된 방향으로 상기 입체 카메라를 제어하는 단계를 포함할 수 있다.
일 실시예에서, 상기 주변 환경을 미리 모델링하는 단계는 상기 어라운드 뷰에서 인식된 제1 특징 영역을 상기 주변 환경에 반영하는 단계를 포함할 수 있다.
일 실시예에서, 상기 미리 모델링된 주변 환경에 정합하는 단계는 상기 수신된 입체 영상으로부터 제2 특징 영역을 인식하여 상기 제1 및 제2 특징 영역들의 유사도를 분석하는 단계 및 상기 분석된 유사도를 기초로 상기 수신된 입체 영상을 상기 주변 환경에 정합하는 단계를 포함할 수 있다.
실시예들 중에서, 주변 환경 모델링 장치는 복수의 카메라들을 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링하는 주변 환경 모델링부, 특정 방향을 촬상하는 입체 카메라를 통해 입체 영상을 수신하는 입체 영상 수신부 및 상기 수신된 입체 영상을 상기 미리 모델링된 주변 환경에 정합하는 입체 영상 정합부를 포함한다.
본 발명의 일 실시예에 따른 주변 환경 모델링 방법은 주변 환경을 미리 모델링하여 입체 영상을 실시간으로 정합할 수 있다.
본 발명의 일 실시예에 따른 주변 환경 모델링 방법은 대용량의 데이터 처리가 필요한 과정 및 입체 영상에 대한 데이터 처리가 필요한 과정을 분류하여 신속하고 정확한 주변 환경 모델링 기술을 제공할 수 있다.
본 발명의 일 실시예에 따른 주변 환경 모델링 방법은 주변 환경 모델링 기술을 통하여 작업 환경에 대한 입체 영상을 사용자에게 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 주변 환경 모델링 장치에서 수행되는 주변 환경 모델링 과정을 설명하는 도면이다.
도 2는 도 1에 있는 주변 환경 모델링 장치의 내부 구성도를 설명하는 블록도이다.
도 3은 도 1에 있는 주변 환경 모델링 장치에서 수행되는 주변 환경 모델링 과정에 대한 순서도이다.
도 4는 도 1에 있는 주변 환경 모델링 장치에서 수행되는 주변 환경을 미리 모델링 하는 과정에 대한 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 주변 환경 모델링 장치에서 수행되는 주변 환경 모델링 과정을 설명하는 도면이다.
도 1을 참조하면, 주변 환경 모델링 장치(100)는 복수의 카메라들(110)을 통해 획득된 어라운드 뷰를 기초로 주변 환경(10)을 미리 모델링할 수 있다. 복수의 카메라들(110)은 주변 환경 모델링 장치(100)의 외곽을 따라 배치될 수 있다. 일 실시예에서, 복수의 카메라들(110)은 주변 환경 모델링 장치(100)의 전후좌우(110a, 110b, 110c, 110d)에 각각 배치될 수 있다. 여기에서, 복수의 카메라들(100)의 개수 및 위치는 반드시 이에 한정되는 것은 아니고 실시예에 따라 변경될 수 있다.
복수의 카메라들(110)은 주변 환경 모델링 과정을 수행하기에 앞서 어라운드 뷰를 획득할 수 있다. 획득된 어라운드 뷰는 대용량의 데이터를 포함할 수 있고, 주변 환경 모델링 장치(100)는 주변 환경 모델링 과정을 수행하기에 앞서 대용량의 데이터를 처리할 수 있다. 주변 환경 모델링 기술은 대용량 데이터를 시점간 유사성 및 공간적 유사성을 이용하여 하나의 주변 환경 영상으로 변환할 수 있다.
주변 환경 모델링 장치(100)는 복수의 카메라들(110)을 통해 획득한 어라운드 뷰에서 마커(40)를 인식할 수 있다. 주변 환경(10)에 배치된 객체는 마커(40)를 포함할 수 있다. 주변 환경 모델링 장치(100)는 주변 환경을 미리 모델링하는 과정에서 객체를 모델링할 수 있다. 주변 환경 모델링 장치(100)는 마커(40)의 위치 및 방향을 기초로 객체의 위치 및 방향을 결정할 수 있다. 즉, 주변 환경 모델링 장치(100)는 기 모델링된 객체를 주변 환경(10)에 적용할 수 있다.
일 실시예에서, 주변 환경 모델링 장치(100)는 가우시안 모델을 이용하여 주변 환경(10)을 미리 모델링할 수 있다. 가우시안 기반의 모델링 과정은 고해상도 입력 영상에 대하여 시간의 경과에 따라 변화되는 배경 정보를 반영하는데 사용될 수 있다. 가우시안 기반의 모델링 과정은 프레임 간의 배경 추정을 적용하여 효과적으로 배경 영상을 모델링할 수 있다. 가우시안 기반의 모델링 과정은 객체 및 배경의 크기를 조절하여 노이즈나 아주 작은 객체들을 제거할 수 있다. 또한, 가우시안 기반의 모델링 과정은 인접하는 영상 간의 화소 연관성에 따라 노이즈를 판단하고, 객체에 의하여 발생되는 그림자를 제거할 수 있다. 가우시안 기반의 모델링 과정은 객체 내부에 발생한 빈 공간을 채우거나 짧게 끊어진 영역들을 연결하여 매끄러운 영상을 구현할 수 있다.
주변 환경 모델링 장치(100)는 특정 방향을 촬상하는 입체 카메라(120)를 통해 입체 영상(20)을 수신할 수 있다. 일 실시예에서, 입체 카메라(120)는 주변 환경 모델링 장치(100)의 전면에 배치될 수 있고, 스테레오 카메라(Stereoscopic Camera)를 통해 구현될 수 있다. 여기에서, 입체 카메라(120)의 위치는 반드시 이에 한정되는 것은 아니고 실시예에 따라 변경될 수 있다. 입체 카메라(120)는 사용자가 필요로 하는 특정 방향의 입체 영상(20)을 촬영하기 위하여 배치될 수 있다. 입체 카메라(120)는 초점 및 노출 양을 조절할 수 있고 시점 이동을 통해 다시점 영상을 촬상할 수 있다. 입체 영상(20)은 모델링된 주변 환경(10)의 일부에 대한 입체적 영상에 해당할 수 있다.
일 실시예에서, 주변 환경 모델링 장치(100)는 복수의 카메라들(110)을 통해 이벤트를 수신할 수 있다. 주변 환경 모델링 장치(100)가 이벤트를 수신하면, 주변 환경 모델링 장치(100)는 이벤트에 대한 데이터를 처리하여 이벤트와 연관된 방향을 판단할 수 있다. 주변 환경 모델링 장치(100)는 이벤트와 연관된 방향에 대한 데이터를 포함하는 신호를 입체 카메라(120)에 제공할 수 있다. 즉, 주변 환경 모델링 장치(100)는 이벤트와 연관된 방향으로 입체 카메라(120)를 제어하여, 이벤트와 연관된 방향에 대한 입체 영상(20)을 수신할 수 있다.
일 실시예에서, 주변 환경 모델링 장치(100)는 사용자의 머리 방향을 센싱하여 특정 방향을 결정할 수 있다. 주변 환경 모델링 장치(100)는 사용자의 머리 방향의 변화를 인식할 수 있는 센서(미도시)를 포함할 수 있다. 주변 환경 모델링 장치(100)는 센서를 통해 사용자의 머리 방향 변화를 감지하고, 입체 카메라(120)의 특정 방향을 결정할 수 있다. 입체 카메라(120)는 결정된 특정 방향의 입체 영상(20)을 촬상할 수 있다. 주변 환경 모델링 장치(100)는 사용자의 머리 방향 변화에 따른 데이터를 처리 및 분석하여 입체 카메라(120)에 특정 방향에 대한 신호를 전송할 수 있다. 다른 일 실시예에서, 입체 카메라(120)는 사용자의 모션과 연동되어 특정 방향의 입체 영상(20)을 촬상할 수 있다. 예를 들어, 사용자의 모션은 팔의 움직임 또는 상체의 움직임에 해당할 수 있다.
주변 환경 모델링 장치(100)는 수신된 입체 영상(20)을 미리 모델링된 주변 환경(10)에 정합할 수 있다. 일 실시예에서, 주변 환경 모델링 장치(100)는 복수의 카메라들(110)을 통해 획득된 어라운드 뷰에서 제1 특징 영역(30)을 인식할 수 있다. 주변 환경 모델링 장치(100)는 수신된 입체 영상(20)으로부터 제2 특징 영역(30)을 인식할 수 있다. 특징 영역은 특징 글자, 특징점, 특징 형상, 특징 모양, 특징 색깔 또는 특징 도형에 해당할 수 있다. 주변 환경 모델링 장치(100)는 제1 및 제2 특징 영역들(30)의 유사도를 분석할 수 있다. 주변 환경 모델링 장치(100)는 특징 영역들(30)의 유사도에 따라 정합 여부를 판단할 수 있다. 예를 들어, 제1 및 제2 특징 영역들(30)이 “S”의 특징 글자에 해당하고 유사도가 높다고 분석되는 경우, 주변 환경 모델링 장치(100)는 특징 영역(30)을 기초로 입체 영상(20)을 주변 환경(10)에 정합할 수 있다. 한편, 제1 및 제2 특징 영역들(30)의 유사도가 낮다고 분석되는 경우, 주변 환경 모델링 장치(100)는 서로 유사한 특징 영역들(30)의 존재 여부를 검색할 수 있다. 주변 환경 모델링 장치(100)는 분석된 유사도를 기초로 수신된 입체 영상(20)을 주변 환경(10)에 정합할 수 있다. 즉, 주변 환경 모델링 장치(100)는 수신된 입체 영상(20)에 대응되는 주변 환경(10)의 일부를 업데이트할 수 있다. 또한, 주변 환경 모델링 장치(100)는 입체 영상(20)에 대한 객체의 배열, 시점, 텍스처 매핑 및 셰이딩 정보에 기초하여 입체 영상(20)을 렌더링할 수 있다. 주변 환경 모델링 장치(100)는 입체 카메라부(280)의 내외부 파라미터를 추정하고, 추정된 파라미터를 이용하여 입체 영상(20)의 데이터를 획득할 수 있다.
일 실시예에서, 주변 환경 모델링 장치(100)는 입체 영상(20)에서 신규 출현한 전경 객체를 인식할 수 있다. 주변 환경 모델링 장치(100)는 전경 객체를 추출하여 전경 객체의 이동 또는 정지 여부를 판단할 수 있다. 주변 환경 모델링 장치(100)는 전경 객체의 이동 여부에 따라 입체 영상(20) 전체를 정합하거나 전경 객체에 해당하는 부분만 정합할 수 있다. 또한, 주변 환경 모델링 장치(100)는 사용자에 의한 객체 이동을 감지하여 주변 환경의 모델링에 적용할 수 있다.
일 실시예에서, 주변 환경 모델링 장치(100)는 작업 환경에서 사용되기 위하여 스테레오 비전을 사용할 수 있다. 주변 환경 모델링 장치(100)는 대용량의 데이터 처리가 필요한 과정 및 입체 영상에 대한 데이터 처리가 필요한 과정을 분류하여 입체 영상(20)의 모델링 과정에서 발생하는 스테레오 매칭 노이즈를 제거할 수 있다. 주변 환경 모델링 장치(100)는 주변 환경(10)을 미리 모델링하기 위하여 작업 환경 요소를 포함하는 스테레오 영상을 수신할 수 있고, 입체 영상 모델링을 위한 알고리즘을 수행할 수 있다.
주변 환경 모델링 장치(100)는 입체 카메라부(280)로부터 획득한 영상으로부터 입체 영상(20)을 정합하기 때문에 현장감을 향상시킬 수 있으며, 주변 환경 모델링 장치(100)는 거리 센서를 이용한 모델링 시스템과 비교하여 저비용으로 구현될 수 있다.
도 2는 도 2는 도 1에 있는 주변 환경 모델링 장치의 내부 구성도를 설명하는 블록도이다.
도 2를 참조하면, 주변 환경 모델링 장치(100)는 주변 환경 모델링부(210), 입체 영상 수신부(220), 입체 영상 정합부(230), 디스플레이부(240), 유사도 분석부(250), 데이터베이스(260), 카메라부(270), 입체 카메라부(280) 및 제어부(290)를 포함한다.
주변 환경 모델링부(210)는 카메라부(270)를 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링할 수 있다. 카메라부(270)를 통해 획득된 어라운드 뷰는 대용량의 데이터를 포함할 수 있고, 주변 환경 모델링부(210)는 주변 환경 모델링 과정을 수행하기에 앞서 대용량의 데이터를 처리할 수 있다. 주변 환경 모델링부(210)는 대용량 데이터를 시점 및 공간의 유사성을 이용하여 하나의 주변 환경으로 모델링할 수 있다.
주변 환경 모델링부(210)는 주변 환경을 미리 모델링하는 과정에서 객체를 모델링할 수 있다. 주변 환경 모델링부(210)는 카메라부(270)를 통해 획득한 어라운드 뷰에서 객체에 포함된 마커(40)를 인식할 수 있다. 주변 환경 모델링부(210)는 인식된 마커(40)를 기초로 기 모델링된 객체를 데이터베이스(260)로부터 검색할 수 있다. 주변 환경 모델링부(210)는 마커(40)의 위치 및 방향을 기초로 객체의 위치 및 방향을 결정할 수 있다. 즉, 주변 환경 모델링부(210)는 기 모델링된 객체를 주변 환경(10)에 적용할 수 있다.
입체 영상 수신부(220)는 특정 방향을 촬상하는 입체 카메라부(280)를 통해 입체 영상(20)을 수신할 수 있다. 입체 영상 수신부(220)는 사용자의 머리 방향을 센싱하여 특정 방향을 결정할 수 있다. 입체 영상 수신부(220)는 사용자의 머리 방향의 변화를 인식할 수 있는 센서(미도시)를 포함할 수 있다. 입체 영상 수신부(220)는 센서를 통해 사용자의 머리 방향 변화를 감지하고, 입체 카메라부(280)의 특정 방향을 결정할 수 있다.
입체 영상 수신부(220)는 입체 카메라부(280)를 통해 수신된 입체 영상(20) 영상의 깊이 정보를 추출할 수 있다. 입체 영상 수신부(220)는 소실선 또는 소실점을 이용하여 깊이 정보를 추출할 수 있다. 깊이 정보는 물체에 입체감을 부여하기 위하여 사용될 수 있다. 또한, 입체 영상 수신부(220)는 사용자에 의하여 부여된 깊이 정보를 수신할 수 있다. 입체 영상 수신부(220)는 사용자로부터 깊이 정보를 수신하는 경우 영상의 전처리 과정을 용이하게 수행할 수 있다.
일 실시예에서, 카메라부(270)는 주변 환경(10) 내에서 발생되는 이벤트를 수신할 수 있다. 카메라부(270)는 이벤트를 수신하여 주변 환경 모델링부(210)에 이벤트에 대한 데이터를 전송할 수 있다. 카메라부(270)가 이벤트를 수신하면, 주변 환경 모델링부(210)는 이벤트에 대한 데이터를 처리하여 이벤트와 연관된 방향을 판단할 수 있다. 주변 환경 모델링부(210)는 이벤트와 연관된 방향에 대한 데이터를 포함하는 신호를 입체 영상 수신부(220)에 제공할 수 있다. 입체 영상 수신부(220)는 이벤트와 연관된 방향으로 입체 카메라부(280)를 제어하여, 이벤트와 연관된 방향에 대한 입체 영상(20)을 수신할 수 있다.
입체 영상 정합부(230)는 수신된 입체 영상(20)을 미리 모델링된 주변 환경(10)에 정합할 수 있다. 일 실시예에서, 주변 환경 모델링부(210)는 카메라부(270)를 통해 획득된 어라운드 뷰에서 제1 특징 영역(30)을 인식할 수 있다. 입체 영상 수신부(220)는 수신된 입체 영상(20)으로부터 제2 특징 영역(30)을 인식할 수 있다. 유사도 분석부(250)는 주변 환경 모델링부(210) 및 입체 영상 수신부(220)로부터 제1 및 제2 특징 영역들(30)을 각각 수신할 수 있다. 유사도 분석부(250)는 제1 및 제2 특징 영역들(30)의 유사도를 분석할 수 있다. 유사도 분석부(250)는 특징 영역들의 유사도에 따라 정합 여부를 판단하여 입체 영상 정합부(230)에 정합 결과를 제공할 수 있다. 입체 영상 정합부(230)는 분석된 유사도를 기초로 수신된 입체 영상(20)을 주변 환경(10)에 정합할 수 있다. 즉, 입체 영상 정합부(230)는 수신된 입체 영상(20)에 대응되는 주변 환경(10)의 일부를 업데이트할 수 있다.
입체 영상 정합부(230)는 입체 카메라부(280)의 방향이 전환되는 경우 정합된 입체 영상을 주변 환경(10)으로 인식하고, 입체 영상(20)의 신규 대상 영역을 주변 환경(10)과 정합할 수 있다. 예를 들어, 입체 카메라부(280)가 사용자의 조작 또는 센싱된 머리 방향의 변화에 의하여 촬상하는 특정 방향을 변경하는 경우, 입체 영상 정합부(230)는 기존에 정합된 영상을 주변 환경(10)으로 인식하고 새롭게 수신되는 입체 영상(20)을 기초로 주변 환경(10)과 정합할 수 있다.
디스플레이부(240)는 입체 영상 정합부(230)에서 정합된 영상을 출력 장치를 통해 사용자에게 제공할 수 있다. 사용자는 정합된 영상을 제공 받아 관심 영역에 대한 정보를 획득할 수 있다. 일 실시예에서, 출력 장치는 입체 고글, 입체 디스플레이, 입체 홀로그램 및 입체 출력 장치로 구현될 수 있다. 일 실시예에서, 디스플레이부(240)는 주변 환경 모델링 기술과 별도로 입체 정도를 조절할 수 있으며, 입체 영상의 입체감을 향상시킬 수 있다.
일 실시예에서, 입체 영상 수신부(220)는 기 모델링된 객체가 입체 카메라부(280)를 통하여 수신되는 경우 주변 환경 모델링 장치(100)와 객체와의 거리를 측정할 수 있다. 입체 영상 수신부(220)는 마커(40)를 포함하는 객체와의 거리를 측정하여 디스플레이부(240)에 거리 정보를 제공할 수 있다. 디스플레이부(240)는 객체와의 거리를 정합된 영상에 표시할 수 있다.
카메라부(270)는 복수의 카메라들(110a, 110b, 110c, 110d)을 포함할 수 있다. 카메라부(270)는 주변 환경 모델링 장치(100)의 외곽을 따라 배치될 수 있다. 카메라부(270)는 주변 환경 모델링 과정을 수행하기에 앞서 어라운드 뷰를 획득할 수 있다. 어라운드 뷰는 주변 환경 모델링 장치(100)의 주변 영역의 영상에 해당할 수 있다. 카메라부(270)는 획득된 어라운드 뷰를 주변 환경 모델링부(210)에 제공할 수 있다.
입체 카메라부(280)는 입체 카메라(120)를 포함할 수 있고, 특정 방향의 입체 영상(20)을 촬상할 수 있다. 일 실시예에서, 입체 카메라부(280)는, 반드시 이에 한정되는 것은 아니나, 주변 환경 모델링 장치(100)의 전면에 배치될 수 있고 스테레오 카메라를 통해 구현될 수 있다. 입체 카메라부(280)는 사용자가 필요로 하는 특정 방향의 입체 영상(20)을 촬상하기 위하여 배치될 수 있다.
제어부(290)는 주변 환경 모델링 장치(100)의 전체적인 동작을 제어하고, 주변 환경 모델링부(210), 입체 영상 수신부(220), 입체 영상 정합부(230), 디스플레이부(240), 유사도 분석부(250) 및 데이터베이스(260) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
도 3은 도 1에 있는 주변 환경 모델링 장치에서 수행되는 주변 환경 모델링 과정에 대한 순서도이다.
주변 환경 모델링부(210)는 복수의 카메라들(110)을 통해 획득된 어라운드 뷰를 기초로 주변 환경(10)을 미리 모델링할 수 있다(단계 S310). 주변 환경 모델링부(210)는 대용량 데이터를 시점 및 공간의 유사성을 이용하여 하나의 주변 환경(10)으로 모델링할 수 있다.
입체 영상 수신부(220)는 특정 방향을 촬상하는 입체 카메라(120)를 통해 입체 영상(20)을 수신할 수 있다(단계 S320). 입체 영상 수신부(220)는 사용자의 머리 방향을 센싱하여 특정 방향을 결정할 수 있다.
입체 영상 정합부(230)는 입체 영상(20)을 미리 모델링된 주변 환경(10)에 정합할 수 있다(단계 S330). 입체 영상 정합부(230)는 유사도 분석부(250)로부터 특징 영역들의 유사도를 수신하여 입체 영상(20)을 주변 환경(10)에 정합할 수 있다.
도 4는 도 1에 있는 주변 환경 모델링 장치에서 수행되는 주변 환경을 미리 모델링 하는 과정에 대한 순서도이다.
주변 환경 모델링부(210)는 주변 환경을 미리 모델링하는 과정에서 객체를 모델링할 수 있다. 주변 환경 모델링부(210)는 복수의 카메라들(110)을 통해 인식된 마커(40)를 기초로 기 모델링된 객체를 데이터베이스(260)로부터 검색할 수 있다(단계 S410).
주변 환경 모델링부(210)는 인식된 마커(40)를 기초로 기 모델링된 객체를 데이터베이스(260)로부터 검색할 수 있다. 주변 환경 모델링부(210)는 마커(40)의 위치 및 방향을 기초로 검색된 객체의 위치 및 방향을 결정할 수 있다(단계 S420).
주변 환경 모델링부(210)는 결정된 위치 및 방향에 따라 기 모델링된 객체를 주변 환경(10)에 적용할 수 있고(단계 S430), 디스플레이부(240)는 주변 환경(10) 내의 객체를 표시할 수 있다.
주변 환경 모델링 장치(100)는 대용량의 주변 환경 데이터 처리가 필요한 과정(즉, 단계 S310) 및 입체 영상에 대한 데이터 처리가 필요한 과정(즉, 단계 S320)을 분류하여 신속하고 정확한 주변 환경 모델링 기술을 제공할 수 있다. 주변 환경 모델링 장치(100)는 주변 환경(10)을 미리 모델링하여 입체 영상(20)을 실시간으로 정합할 수 있다. 또한, 주변 환경 모델링 장치(100)는 작업 환경에 대한 고해상도의 입체 영상(20)을 사용자에게 제공할 수 있다.
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 주변 환경 모델링 장치
110: 복수의 카메라들 120: 입체 카메라
210: 주변 환경 모델링부 220: 입체 영상 수신부
230: 입체 영상 정합부 240: 디스플레이부
250: 유사도 분석부 260: 데이터베이스
270: 카메라부 280: 입체 카메라부
290: 제어부
10: 주변 환경 20: 입체 영상
30: 특징 영역 40: 마커

Claims (8)

  1. 복수의 카메라들을 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링하는 단계;
    특정 방향을 촬상하는 입체 카메라를 통해 입체 영상을 수신하고, 상기 복수의 카메라를 통해 이벤트가 수신되면 상기 이벤트와 연관된 방향으로 상기 입체 카메라를 제어하는 단계; 및
    상기 수신된 입체 영상을 상기 미리 모델링된 주변 환경에 정합하는 단계를 포함하는 주변 환경 모델링 방법.
  2. 제1항에 있어서, 상기 주변 환경을 미리 모델링하는 단계는
    상기 복수의 카메라들을 통해 인식된 마커를 기초로 기 모델링된 객체를 상기 주변 환경에 적용하는 단계를 포함하는 것을 특징으로 하는 주변 환경 모델링 방법.
  3. 제2항에 있어서, 상기 주변 환경에 적용하는 단계는
    상기 복수의 카메라들을 통해 인식된 마커를 기초로 상기 기 모델링된 객체를 객체 데이터베이스로부터 검색하는 단계; 및
    상기 마커의 위치 및 방향을 기초로 상기 검색된 객체의 위치 및 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 주변 환경 모델링 방법.
  4. 제1항에 있어서, 상기 입체 영상을 수신하는 단계는
    사용자의 머리 방향을 센싱하여 상기 특정 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 주변 환경 모델링 방법.
  5. 삭제
  6. 제1항에 있어서, 상기 주변 환경을 미리 모델링하는 단계는
    상기 어라운드 뷰에서 인식된 제1 특징 영역을 상기 주변 환경에 반영하는 단계를 포함하는 것을 특징으로 하는 주변 환경 모델링 방법.
  7. 제6항에 있어서, 상기 미리 모델링된 주변 환경에 정합하는 단계는
    상기 수신된 입체 영상으로부터 제2 특징 영역을 인식하여 상기 제1 및 제2 특징 영역들의 유사도를 분석하는 단계; 및
    상기 분석된 유사도를 기초로 상기 수신된 입체 영상을 상기 주변 환경에 정합하는 단계를 포함하는 것을 특징으로 하는 주변 환경 모델링 방법.
  8. 복수의 카메라들을 통해 획득된 어라운드 뷰를 기초로 주변 환경을 미리 모델링하는 주변 환경 모델링부;
    특정 방향을 촬상하는 입체 카메라를 통해 입체 영상을 수신하고, 상기 복수의 카메라를 통해 이벤트가 수신되면 상기 이벤트와 연관된 방향으로 상기 입체 카메라를 제어하는 입체 영상 수신부; 및
    상기 수신된 입체 영상을 상기 미리 모델링된 주변 환경에 정합하는 입체 영상 정합부를 포함하는 주변 환경 모델링 장치.
KR1020140180117A 2014-12-15 2014-12-15 주변 환경 모델링 방법 및 이를 수행하는 장치 KR101668649B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140180117A KR101668649B1 (ko) 2014-12-15 2014-12-15 주변 환경 모델링 방법 및 이를 수행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140180117A KR101668649B1 (ko) 2014-12-15 2014-12-15 주변 환경 모델링 방법 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20160072477A KR20160072477A (ko) 2016-06-23
KR101668649B1 true KR101668649B1 (ko) 2016-10-24

Family

ID=56353188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140180117A KR101668649B1 (ko) 2014-12-15 2014-12-15 주변 환경 모델링 방법 및 이를 수행하는 장치

Country Status (1)

Country Link
KR (1) KR101668649B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210117289A (ko) * 2019-01-25 2021-09-28 소니 어드밴스드 비주얼 센싱 아게 이벤트-기반 비전 센서들을 사용하는 환경 모델 유지
US11588987B2 (en) * 2019-10-02 2023-02-21 Sensors Unlimited, Inc. Neuromorphic vision with frame-rate imaging for target detection and tracking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103395A (ja) * 1999-09-30 2001-04-13 Kawasaki Heavy Ind Ltd ヘッド・マウント・ディスプレイ装置
JP2005165614A (ja) * 2003-12-02 2005-06-23 Canon Inc 画像合成装置および画像合成方法
JP2014115957A (ja) * 2012-12-12 2014-06-26 Hiroaki Ishihara 拡張現実型建物シミュレーション装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101038650B1 (ko) 2011-01-26 2011-06-02 박상현 적응적 배경영상 모델링 방법, 이를 이용한 불법주정차 무인단속방법 및 불법주정차 무인단속시스템
KR101454333B1 (ko) 2013-05-07 2014-10-27 (주) 프로게이트테크놀러지 실시간 전경영상 및 배경영상 합성 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103395A (ja) * 1999-09-30 2001-04-13 Kawasaki Heavy Ind Ltd ヘッド・マウント・ディスプレイ装置
JP2005165614A (ja) * 2003-12-02 2005-06-23 Canon Inc 画像合成装置および画像合成方法
JP2014115957A (ja) * 2012-12-12 2014-06-26 Hiroaki Ishihara 拡張現実型建物シミュレーション装置

Also Published As

Publication number Publication date
KR20160072477A (ko) 2016-06-23

Similar Documents

Publication Publication Date Title
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
CN108369741B (zh) 用于配准数据的方法和***
US10719727B2 (en) Method and system for determining at least one property related to at least part of a real environment
Lee et al. Low-cost 3D motion capture system using passive optical markers and monocular vision
CN110084243B (zh) 一种基于二维码和单目相机的档案识别与定位方法
JP2019075156A (ja) 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード
JP2011123071A (ja) 撮像装置、オクルージョン領域の探索方法、及びプログラム
US9886769B1 (en) Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
CN104700385B (zh) 基于fpga实现的双目视觉定位装置
CA2812117A1 (en) A method for enhancing depth maps
Kang et al. Accurate fruit localisation using high resolution LiDAR-camera fusion and instance segmentation
CN109035307B (zh) 基于自然光双目视觉的设定区域目标追踪方法及***
US20210104052A1 (en) Information processing apparatus and method for aligning captured image and object
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN112116631A (zh) 一种工业增强现实组合定位***
CN111399634B (zh) 一种手势引导物体识别的方法及装置
KR101668649B1 (ko) 주변 환경 모델링 방법 및 이를 수행하는 장치
US20240096094A1 (en) Multi-view visual data damage detection
CN112073640B (zh) 全景信息采集位姿获取方法及装置、***
Swadzba et al. Tracking objects in 6D for reconstructing static scenes
Sen et al. SceneCalib: Automatic targetless calibration of cameras and LiDARs in autonomous driving
Saner et al. High-Speed Object Tracking Using an Asynchronous Temporal Contrast Sensor.
Slossberg et al. Freehand Laser Scanning Using Mobile Phone.
Ratajczak et al. Vehicle size estimation from stereoscopic video
Zhang Target-based calibration of 3D LiDAR and binocular camera on unmanned vehicles

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant