KR20190048360A

KR20190048360A - 영상 처리 방법 및 장치

Info

Publication number: KR20190048360A
Application number: KR1020170143267A
Authority: KR
Inventors: 신승호; 전진수; 임국찬; 조익환
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2019-05-09
Also published as: CN111295693A; US11308701B2; KR102107706B1; CN111295693B; WO2019088699A1; US20200258312A1

Abstract

개시된 증강 현실 영상을 렌더링하는 영상 처리 장치가 수행하는 영상 처리 방법은, 영상 처리 장치로부터 제 1 방향측으로 향하여 제 1 현실 영상을 획득하는 단계, 영상 처리 장치로부터 제 1 방향과 상이한 제 2 방향측으로 향하여 제 2 현실 영상을 획득하는 단계, 증강 현실 영상 내의 가상 객체에 대하여, 객체 표면의 반사율을 파악하는 단계, 반사율에 따라 제 1 현실 영상과 제 2 현실 영상을 기초로 생성한 환경 텍스처를 사용하여 가상 객체의 표면을 렌더링하는 단계를 포함한다.

Description

영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE}

본 발명은 영상 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 배경 영상에 가상 객체를 포함시킨 증강 현실(Augmented Reality, AR) 영상을 표시하는 방법 및 장치에 관한 것이다.

주지하고 있는 바와 같이, 증강 현실 기술은 현실의 배경 영상에 가상 객체를 함께 표현하여 특수 효과를 제공하는 기술로서, 가상 객체가 현실 세계에 존재하는 것처럼 느끼는 착각을 일으키게 한다.

이러한 증강 현실 기술 분야에서 증강 현실 영상에 대한 현실감을 향상시키기 위해 현실의 주변 환경을 가상 객체에 반영하여 렌더링을 하고 있다. 주변 환경을 증강 현실 영상에 반영하기 위한 기술로서, 고정된 시점에서 쉽게 전체 주변 환경을 둘러보는데 사용할 수 있는 환경 매핑이 있다. 환경 매핑이란 영상에 텍스처 매핑 방법을 사용하여 사실감을 주는 방법으로서, 윤이 나는 물체가 주변 환경을 반사하는 현상을 나타낸다.

종래 기술에 의하면, 주변 환경을 표현하기 위해 반사 물체에게 가상 관찰자의 역할을 부여하고, 관찰자의 시점에 교차되는 환경 맵의 일부분을 2차원 투사를 통해 표현하였다.

그런데, 종래 기술에서는 증강 현실 영상 내의 배경 영상에 대한 사용자의 시점에서 사용자의 앞쪽으로부터 획득된 현실 영상만을 환경 매핑에 이용하였기 때문에 증강 현실 영상에 대한 현실감을 향상시키기에는 한계가 있는 문제점이 있었다.

예를 들어, 후면 카메라가 탑재된 이동통신 단말기가 증강 현실 영상을 화면으로 출력하는 경우에, 후면 카메라에 의해 촬영된 후방의 현실 영상만을 환경 텍스처로 사용하였다. 그러므로, 이동통신 단말기의 후방에 위치하는 현실 객체만이 가상 객체의 표면 반사율에 따라 가상 객체의 표면에 투사되어 렌더링되었다. 그런데, 현실 세계에서 사용자가 반사 표면을 갖는 현실 객체를 바라보는 경우에 현실 객체에는 주변의 사물뿐만 아니라 사용자의 모습까지 비춰질 수 있다. 하지만, 종래에는 증강 현실 영상 내의 가상 객체의 표면에 사용자의 모습이 비춰지지 않기 때문에, 사용자는 증강 현실 영상이 현실 환경과는 다르다는 것을 느끼게 되고, 이는 증강 현실 영상의 현실감이 낮다고 느끼는 요인으로 작용하였다.

대한민국 공개특허공보 제10-2013-0112578호, 공개일자 2013년 10월 14일.

본 발명의 실시예에 의하면, 사용자 시점에 따른 현실 영상뿐만 아니라 다른 방향의 현실 영상에 의한 환경 텍스처를 사용하여 가상 현실 영상 내의 가상 객체의 표면을 렌더링하는 영상 처리 방법 및 장치를 제공한다.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 관점에 따른 증강 현실 영상을 렌더링하는 영상 처리 장치가 수행하는 영상 처리 방법은, 상기 영상 처리 장치로부터 제 1 방향측으로 향하여 제 1 현실 영상을 획득하는 단계, 상기 영상 처리 장치로부터 상기 제 1 방향과 상이한 제 2 방향측으로 향하여 제 2 현실 영상을 획득하는 단계, 상기 증강 현실 영상 내의 가상 객체에 대하여, 객체 표면의 반사율을 파악하는 단계, 상기 반사율에 따라 상기 제 1 현실 영상과 상기 제 2 현실 영상을 기초로 생성한 환경 텍스처를 사용하여 상기 가상 객체의 표면을 렌더링하는 단계를 포함한다.

본 발명의 다른 관점에 따른 영상 처리 장치는, 영상 처리 장치로부터 제 1 방향측으로 향하여 제 1 현실 영상을 획득하고, 상기 영상 처리 장치로부터 상기 제 1 방향과 상이한 제 2 방향측으로 향하여 제 2 현실 영상을 획득하는 영상 획득부, 증강 현실 영상 내의 가상 객체에 대응하여 3차원 모델 데이터가 저장되는 저장부, 제어부를 포함하며, 상기 제어부는, 상기 증강 현실 영상 내의 가상 객체에 대하여, 상기 3차원 모델 데이터를 기초로 객체 표면의 반사율을 파악하고, 상기 반사율에 따라 상기 제 1 현실 영상과 상기 제 2 현실 영상을 기초로 생성한 환경 텍스처를 사용하여 상기 가상 객체의 표면을 렌더링한다.

본 발명의 실시예에 의하면, 사용자 시점에 따른 현실 영상뿐만 아니라 다른 방향(예컨대, 반대 방향)의 현실 영상에 의한 환경 텍스처를 사용하여 가상 현실 영상 내의 가상 객체의 표면을 렌더링한다. 따라서, 증강 현실 영상에 대해 사용자가 느끼는 현실감이 종래 기술에 비하여 향상되는 효과가 있다.

예를 들어, 후면 카메라 및 전면 카메라가 탑재된 이동통신 단말기가 증강 현실 영상을 화면으로 출력하는 경우에, 후면 카메라에 의해 촬영된 후방의 현실 영상뿐만 아니라 전면 카메라에 의해 촬영된 전방의 현실 영상에 의한 환경 텍스처를 사용하여 가상 현실 영상을 렌더링한다. 그러므로, 이동통신 단말기의 후방에 위치하는 현실 객체뿐만 아니라 이동통신 단말기의 전방에 위치하는 사용자의 모습까지 가상 객체의 표면에 투사되어 렌더링될 수 있다. 즉, 증강 현실 영상이 현실 환경에 가깝게 표시되며, 그만큼 사용자는 증강 현실 영상의 현실감이 높다고 느끼게 된다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법의 일 예를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법에서 가상 객체의 표면을 렌더링하는 과정의 일 예를 보인 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법에서 영상 연결 영역을 설정하는 과정의 일 예를 보인 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법에서 영상 연결 영역을 설정하는 과정의 다른 예를 보인 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법의 다른 예를 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법에 따라 출력되는 가상 현실 화면의 예시도이다.
도 8과 도 9는 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법에서 영상 연결 영역을 설정하는 과정을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법의 다른 예에 따라 출력되는 가상 현실 화면의 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록 구성도이다.

도 1에 나타낸 바와 같이 일 실시예에 따른 영상 처리 장치(100)는 영상 획득부(110), 저장부(120), 제어부(130), 표시부(140)를 포함한다.

영상 획득부(110)는 영상 처리 장치(100)로부터 제 1 방향측으로 향하여 제 1 현실 영상을 획득하고, 영상 처리 장치(100)로부터 제 1 방향과 상이한 제 2 방향측으로 향하여 제 2 현실 영상을 획득한다. 예를 들어, 영상 획득부(110)는 상호간의 반대방향인 제 1 현실 영상과 제 2 현실 영상을 획득할 수 있다. 예컨대, 영상 처리 장치(100)는 전면 카메라와 후면 카메라를 구비한 스마트폰으로 구현될 수 있으며, 이 경우에, 전면 카메라와 후면 카메라가 영상 획득부(110)의 기능을 수행할 수 있다. 또는, 영상 획득부(110)는 영상 처리 장치(100)와는 별도로 구비된 카메라로부터 정보를 입력받을 수 있는 통신 인터페이스를 포함할 수 있다. 이 경우라면, 별도의 카메라에 의해 제 1 현실 영상과 제 2 현실 영상이 생성되며, 영상 획득부(110)는 통신 인터페이스를 통해 제 1 현실 영상과 제 2 현실 영상을 생성할 수 있다.

저장부(120)는 제어부(130)에 의한 실행 시에, 영상 처리 과정을 전반적으로 제어할 수 있는 프로세스를 수행하는 컴퓨터 실행가능 명령어가 저장된다. 그리고, 증강 현실 화면 상에 표시하고자 하는 가상 객체에 대응하는 3차원 모델 데이터 및 아바타 데이터가 저장될 수 있다. 또, 영상 획득부(110)에 의해 획득된 제 1 현실 영상과 제 2 현실 영상이 저장될 수 있다. 예를 들어, 저장부(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램, 롬 중 적어도 하나의 타입의 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.

제어부(130)는 저장부(120)에 저장된 컴퓨터 실행가능 명령어를 실행하여 증강 현실 표시 과정을 전반적으로 제어할 수 있는 프로세스를 수행한다. 이러한 프로세스에 의하면, 증강 현실 영상 내의 가상 객체에 대하여, 객체 표면의 반사율을 파악하고, 반사율에 따라 제 1 현실 영상과 제 2 현실 영상을 기초로 생성한 환경 텍스처를 사용하여 가상 객체의 표면을 렌더링한다. 이러한 제어부(130)는 가상 객체의 일부 영역에 제 1 현실 영상이 비춰지게 하고, 가상 객체의 다른 일부 영역에 제 2 현실 영상이 비춰지게 할 수 있다.

이러한 제어부(130)는 가상 객체의 표면을 렌더링할 때에, 제 1 현실 영상의 적어도 일 변과 제 2 현실 영상의 적어도 일 변을 맞대어 맞대어진 일 변을 포함하는 상호간의 영상 연결 영역을 설정하며, 제 1 현실 영상과 제 2 현실 영상에 대하여, 영상 연결 영역의 색상을 확산시킨다. 예를 들어, 제어부(130)는 영상 연결 영역의 색상을 푸아송(Poisson) 방정식의 입력 값으로 삼아 확산시킬 색상을 결정하거나, 영상 연결 영역의 색상에 대한 블러(Blur) 연산을 수행하여 확산시킬 색상을 결정할 수 있다.

그리고, 제어부(130)는 제 1 현실 영상과 제 2 현실 영상의 영상 연결 영역을 설정할 때에, 제 1 현실 영상의 좌변 또는 우변을 대칭축으로 하여 제 1 좌우 대칭 영상을 생성하고, 제 1 현실 영상의 상변 또는 하변을 대칭축으로 하여 제 1 상하 대칭 영상을 생성하며, 제 2 현실 영상의 각 변에 제 1 현실 영상, 제 1 좌우 대칭 영상 및 제 1 상하 대칭 영상 중 어느 한 영상의 일 변을 맞대어 제 2 현실 영상의 각 변을 포함하는 복수의 영상 연결 영역을 설정할 수 있다. 또, 제어부(130)는 제 1 현실 영상과 제 2 현실 영상의 영상 연결 영역을 설정할 때에, 제 2 현실 영상의 좌변 또는 우변을 대칭축으로 하여 제 2 좌우 대칭 영상을 생성하고, 제 2 현실 영상의 상변 또는 하변을 대칭축으로 하여 제 2 상하 대칭 영상을 생성하며, 제 1 현실 영상의 각 변에 제 2 현실 영상, 제 2 좌우 대칭 영상 및 제 2 상하 대칭 영상 중 어느 한 영상의 일 변을 맞대어 제 1 현실 영상의 각 변을 포함하는 복수의 영상 연결 영역을 설정할 수 있다.

또한, 제어부(130)는 가상 객체의 표면을 렌더링할 때에, 제 2 현실 영상 내의 현실 객체 중에 얼굴 객체가 포함되어 있는 경우에, 얼굴 객체에 대응하는 아바타를 제 2 현실 영상에 오버레이하여 렌더링한 현실 변형 영상을 생성하고, 제 1 현실 영상과 현실 변형 영상을 환경 텍스처로서 사용할 수도 있다. 예를 들어, 제어부(130)는 CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등과 같은 프로세서를 포함할 수 있다.

표시부(140)는 제어부(130)에 의해 수행되는 프로세스의 결과에 의한 제어신호에 따라, 렌더링된 가상 객체를 포함하는 증강 현실 화면을 표시한다. 이러한 표시부(140)는 영상 처리 장치(100)에 포함되지 않고, 별도의 장치로서 구현될 수 있기 때문에 점선으로 도시하였다. 예를 들어, 출력부(140)는 LCD(Liquid Crystal Display) 등과 같은 평판 디스플레이 소자를 포함할 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법의 일 예를 설명하기 위한 흐름도이다.

도 2에 나타낸 바와 같이 일 실시예에 따른 영상 처리 방법은, 영상 처리 장치로부터 제 1 방향측으로 향하여 제 1 현실 영상을 획득하고, 영상 처리 장치로부터 제 1 방향과 상이한 제 2 방향측으로 향하여 제 2 현실 영상을 획득하는 단계(S210)를 포함한다. 그리고, 증강 현실 영상 내의 가상 객체에 대하여, 객체 표면의 반사율을 파악하는 단계(S220)를 더 포함한다. 아울러, 파악된 반사율에 따라 제 1 현실 영상과 제 2 현실 영상을 기초로 생성한 환경 텍스처를 사용하여 가상 객체의 표면을 렌더링하는 단계(S230)를 더 포함한다.

도 3은 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법에서 가상 객체의 표면을 렌더링하는 과정의 일 예를 보인 흐름도이다.

도 3에 나타낸 바와 같이 일 실시예에 따른 영상 처리 방법에서 가상 객체의 표면을 렌더링하는 과정은, 제 1 현실 영상의 적어도 일 변과 제 2 현실 영상의 적어도 일 변을 맞대어 맞대어진 일 변을 포함하는 상호간의 영상 연결 영역을 설정하는 단계(S310)를 포함한다. 그리고, 제 1 현실 영상과 제 2 현실 영상에 대하여, 영상 연결 영역의 색상을 확산시키는 단계(S320)를 더 포함한다.

도 4는 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법에서 영상 연결 영역을 설정하는 과정의 일 예를 보인 흐름도이다.

도 4에 나타낸 바와 같이 일 실시예에 따른 영상 처리 방법에서 영상 연결 영역을 설정하는 과정은, 제 1 현실 영상의 좌변 또는 우변을 대칭축으로 하여 제 1 좌우 대칭 영상을 생성하는 단계(S410)를 포함한다. 그리고, 제 1 현실 영상의 상변 또는 하변을 대칭축으로 하여 제 1 상하 대칭 영상을 생성하는 단계(S420)를 더 포함한다. 아울러, 제 2 현실 영상의 각 변에 제 1 현실 영상, 제 1 좌우 대칭 영상 및 제 1 상하 대칭 영상 중 어느 한 영상의 일 변을 맞대어 제 2 현실 영상의 각 변을 포함하는 복수의 영상 연결 영역을 설정하는 단계(S430)를 더 포함한다.

도 5는 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법에서 영상 연결 영역을 설정하는 과정의 다른 예를 보인 흐름도이다.

도 5에 나타낸 바와 같이 일 실시예에 따른 영상 처리 방법에서 영상 연결 영역을 설정하는 과정은, 제 2 현실 영상의 좌변 또는 우변을 대칭축으로 하여 제 2 좌우 대칭 영상을 생성하는 단계(S510)를 포함한다. 그리고, 제 2 현실 영상의 상변 또는 하변을 대칭축으로 하여 제 2 상하 대칭 영상을 생성하는 단계(S520)를 더 포함한다. 아울러, 제 1 현실 영상의 각 변에 제 2 현실 영상, 제 2 좌우 대칭 영상 및 제 2 상하 대칭 영상 중 어느 한 영상의 일 변을 맞대어 제 1 현실 영상의 각 변을 포함하는 복수의 영상 연결 영역을 설정하는 단계(S530)를 더 포함한다.

이하, 도 1 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치(100)가 수행하는 영상 처리 방법에 대해 더 자세히 살펴보기로 한다.

먼저, 영상 획득부(110)는 영상 처리 장치(100)로부터 제 1 방향측으로 향하여 제 1 현실 영상을 획득하고, 영상 처리 장치(100)로부터 제 1 방향과 상이한 제 2 방향측으로 향하여 제 2 현실 영상을 획득한다. 예를 들어, 영상 처리 장치(100)를 전면 카메라와 후면 카메라를 구비한 스마트폰으로 구현한 경우라면, 후면 카메라를 구동하여 제 1 현실 영상을 획득할 수 있고, 전면 카메라를 구동하여 제 1 현실 영상의 반대방향을 향하여 제 2 현실 영상을 획득할 수 있다(S210).

그리고, 제어부(130)는 가상 현실 영상 내에 포함시키고자 하는 가상 객체에 대하여, 객체 표면의 반사율을 파악한다. 예를 들어, 저장부(120)에 저장된 가상 객체에 대한 3차원 모델 데이터에 객체 표면의 반사율에 대한 정보가 포함될 수 있으며, 이 경우에 제어부(130)는 3차원 모델 데이터로부터 객체 표면의 반사율에 대한 정보를 획득할 수 있다. 아울러, 제어부(130)는 가상 객체에 대한 정보와 가상 객체의 표면 반사율에 대한 정보를 포함하는 빅 데이터를 사전에 기계학습하고, 객체 표면의 반사율에 대해 기계학습한 결과에 기초하여 가상 현실 영상 내에 포함시키고자 하는 가상 객체의 반사율을 추론할 수도 있다. 이 경우에, 객체 표면의 반사율에 대한 정보를 사용자에게 제공하여, 기계학습에 의해 추론된 반사율이 올바르게 추론된 것인지를 확인할 수 있도록 하고, 추론에 오류가 있을 경우에는 사용자가 직접 추론 결과를 수정할 수 있는 부가적 기능을 제공할 수도 있다(S220).

이후, 제어부(130)는 단계 S220에서 파악된 객체 표면의 반사율에 따라 제 1 현실 영상과 제 2 현실 영상을 기초로 생성한 환경 텍스처를 사용하여 가상 객체의 표면을 렌더링한다. 예를 들어, 도 7의 (가)와 같은 제 1 현실 영상이 획득되고, 도 7의 (나)와 같이 제 2 현실 영상이 획득된 경우에, (가)와 (나)를 기초로 생성한 환경 텍스처를 사용하면 도 7의 (다)와 같이 가상 객체 표면 중에서 일부 영역에 제 1 현실 영상이 비춰지고, 가상 객체의 다른 일부 영역에 제 2 현실 영상이 비춰진다. 이때, 제어부(130)는 가상 객체가 구형일 경우에는 가장자리 영역에 제 1 현실 영상이 비춰지고, 중앙 영역에 제 2 현실 영상이 비춰지도록 할 수 있다(S230).

한편, 가상 객체의 일부 영역에 비춰지는 제 1 현실 영상과 다른 일부 영역에 비춰지는 제 2 현실 영상의 사이에 경계선이 나타날 정도로 제 1 현실 영상의 색상과 제 2 현실 영상의 색상이 차이를 보이게 되면 현실 상황에서의 반사 현상과 다르기 때문에, 사용자가 증강 현실 영상의 현실감이 낮다고 느낄 수 있다. 그러므로, 가상 객체의 표면에 비춰질 제 1 현실 영상과 제 2 현실 영상에 대해 상호간의 영상 연결 영역을 설정하고, 이렇게 설정된 영상 연결 영역에서 제 1 현실 영상과 제 2 현실 영상이 자연스럽게 섞이게 할 필요가 있다. 이를 위해서, 먼저 제 1 현실 영상과 제 2 현실 영상에 대해 상호간의 영상 연결 영역을 설정하는데, 도 4 및 도 5에 나타낸 바와 같이 제 1 현실 영상과 제 2 현실 영상에 대해 각각 영상 연결 영역을 설정할 수 있다.

도 4 및 도 8을 참조하면, 제 1 현실 영상(701)의 좌변 또는 우변을 대칭축으로 하여 제 1 좌우 대칭 영상(703)을 생성한다(S410). 그리고, 제 1 현실 영상(701)의 상변 또는 하변을 대칭축으로 하여 제 1 상하 대칭 영상(704)을 생성한다(S420). 아울러, 제 2 현실 영상(702)의 각 변에 제 1 현실 영상(701), 제 1 좌우 대칭 영상(703) 및 제 1 상하 대칭 영상(704) 중 어느 한 영상의 일 변을 맞대어 제 2 현실 영상(702)의 각 변을 포함하는 복수의 영상 연결 영역(705)을 설정한다(S430).

도 5 및 도 9를 참조하면, 제 2 현실 영상(702)의 좌변 또는 우변을 대칭축으로 하여 제 2 좌우 대칭 영상(706)을 생성한다(S510). 그리고, 제 2 현실 영상(702)의 상변 또는 하변을 대칭축으로 하여 제 2 상하 대칭 영상(707)을 생성한다(S520). 아울러, 제 1 현실 영상(701)의 각 변에 제 2 현실 영상(702), 제 2 좌우 대칭 영상(706) 및 제 2 상하 대칭 영상(707) 중 어느 한 영상의 일 변을 맞대어 제 1 현실 영상(701)의 각 변을 포함하는 복수의 영상 연결 영역(705)을 설정한다(S530).

이로써, 제 1 현실 영상(701)의 적어도 일 변과 제 2 현실 영상(702)의 적어도 일 변을 맞대어 맞대어진 일 변을 포함하는 상호간의 영상 연결 영역(705)이 설정된다(S310).

그러면, 제어부(130)는 제 1 현실 영상(701)과 제 2 현실 영상(702)에 대하여, 영상 연결 영역(705)의 색상을 확산시키는 처리를 수행한다. 이때, 제어부(130)는 영상 연결 영역(705)의 색상을 푸아송(Poisson) 방정식의 입력 값으로 삼아 확산시킬 색상을 결정하거나, 영상 연결 영역(705)의 색상에 대한 블러(Blur) 연산을 수행하여 확산시킬 색상을 결정할 수 있다(S320).

이렇게, 단계 S320에 의해 영상 연결 영역(705)의 색상이 확산 처리된 제 1 현실 영상(701)과 제 2 현실 영상(702)이 획득되며, 제어부(130)는 단계 S220에서 파악된 객체 표면의 반사율에 따라 제 1 현실 영상(701)과 제 2 현실 영상(702)을 기초로 생성한 환경 텍스처를 사용하여 가상 객체의 표면을 렌더링하고, 표시부(140)는 제어부(130)에 의해 렌더링된 가상 객체를 포함하는 증강 현실 화면을 표시한다. 그러면, 가상 객체의 일부 영역에 비춰지는 제 1 현실 영상(701)과 다른 일부 영역에 비춰지는 제 2 현실 영상(702)의 사이는 색상이 확산 처리되어 있기 때문에 경계선이 나타나지 않으며, 그 만큼 증강 현실 영상의 현실감이 향상된다.

도 6은 본 발명의 일 실시예에 따른 영상 처리 장치가 수행하는 영상 처리 방법의 다른 예를 설명하기 위한 흐름도이다.

도 6에 나타낸 바와 같이 다른 실시예에 따른 영상 처리 방법은, 영상 처리 장치로부터 제 1 방향측으로 향하여 제 1 현실 영상을 획득하고, 영상 처리 장치로부터 제 1 방향과 상이한 제 2 방향측으로 향하여 제 2 현실 영상을 획득하는 단계(S610)를 포함한다. 그리고, 증강 현실 영상 내의 가상 객체에 대하여, 객체 표면의 반사율을 파악하는 단계(S620)를 더 포함한다. 아울러, 제 2 현실 영상 내의 현실 객체 중에 얼굴 객체가 포함되어 있는 경우에, 얼굴 객체에 대응하는 아바타를 제 2 현실 영상에 오버레이하여 렌더링한 현실 변형 영상을 생성하는 단계(S630, S640)를 더 포함한다. 그리고, 파악된 반사율에 따라, 제 1 현실 영상과 제 2 현실 영상을 기초로 생성한 환경 텍스처를 사용하거나 제 1 현실 영상과 현실 변형 영상에 의한 환경 텍스처를 사용하여 가상 객체의 표면을 렌더링하는 단계(S650, S660)를 더 포함한다.

이러한 도 6과 앞서 설명한 도 2를 비교하여 보면, 도 2의 단계 S210이 도 6의 단계 S610에 대응하며, 도 2의 단계 S220이 도 6의 단계 S620에 대응하며, 도 2의 단계 S230이 도 6의 단계 S660에 대응한다. 이에, 중복되는 설명은 생략하기로 한다.

이러한 도 6의 실시예는 단계 S610에서 획득된 제 2 현실 영상 내에 있는 현실 객체 중에 얼굴 객체가 포함되어 있는 경우에, 얼굴 객체를 아바타로 바꿔서 렌더링함으로써, 가상 객체의 표면에 아바타가 나타나도록 한다. 예를 들어, 영상 처리 장치(100)를 전면 카메라와 후면 카메라를 구비한 스마트폰으로 구현한 경우라면, 후면 카메라를 구동하여 제 1 현실 영상을 획득할 수 있고, 전면 카메라를 구동하여 제 1 현실 영상의 반대방향을 향하여 제 2 현실 영상을 획득할 수 있고, 제 2 현실 영상에는 스마트폰 사용자의 얼굴이 포함될 수 있다. 이 경우에, 스마트폰의 화면에 표시되는 가상 현실 화면 내의 가상 객체 표면에 사용자의 얼굴이 표시되지 않고 사전에 설정된 아바타가 표시되도록 한다.

도 6 및 도 10을 참조하면, 단계 S610에서 영상 획득부(110)로서 구현할 수 있는 스마트폰(801)은 후면 카메라를 구동하여 제 1 현실 영상(802)을 획득할 수 있고, 전면 카메라를 구동하여 제 2 현실 영상(803)을 획득할 수 있다.

그러면, 제어부(130)는 제 2 현실 영상(803) 내의 현실 객체 중에 얼굴 객체가 포함되어 있는 가를 확인한다(S630). 예를 들어, 제어부(130)는 공지의 외곽선 검출 방식 등을 활용하여 얼굴 객체를 파악할 수 있다.

여기서, 제 2 현실 영상(803) 내에 얼굴 객체가 포함되어 있는 것이 확인되면, 제어부(130)는 저장부(120)에 저장된 아바타 데이터를 읽어 들여서 제 2 현실 영상(803)에 오버레이함으로써 얼굴 객체가 아바타(804)에 의해 가려지는 현실 변형 영상을 생성한다(S640).

그리고, 제어부(130)는 단계 S620에서 파악된 반사율에 따라, 제 1 현실 영상(802)과 현실 변형 영상에 의한 환경 텍스처를 사용하여 가상 객체의 표면을 렌더링하며, 표시부(140)는 제어부(130)에 의해 구형 가상 객체의 표면에 렌더링된 아바타(804)를 포함하는 증강 현실 화면(805)을 표시한다(S650). 도 10에서 도면부호 806은 제 1 현실 영상(802)만을 구형 가상 객체에 반사시킬 경우의 가상 현실 화면이며, 도면부호 807은 제 2 현실 영상(803)으로부터 생성한 현실 변형 영상만을 구형 가상 객체에 반사시킬 경우의 가상 화면 화면이다.

지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면, 사용자 시점에 따른 현실 영상뿐만 아니라 다른 방향(예컨대, 반대 방향)의 현실 영상에 의한 환경 텍스처를 사용하여 가상 현실 영상 내의 가상 객체의 표면을 렌더링한다. 따라서, 증강 현실 영상에 대해 사용자가 느끼는 현실감이 종래 기술에 비하여 향상된다.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명의 실시예에 따르면, 사용자 시점에 따른 현실 영상뿐만 아니라 다른 방향(예컨대, 반대 방향)의 현실 영상에 의한 환경 텍스처를 사용하여 가상 현실 영상 내의 가상 객체의 표면을 렌더링한다.

이러한 본 발명은 현실의 배경 영상 내에 가상 객체를 함께 표현하여 특수 효과를 제공하는 증강 현실용 디바이스를 채용하는 각종의 증강 현실 산업 분야에 널리 이용할 수 있다.

100 : 영상 처리 장치
110 : 영상 획득부
120 : 저장부
130 : 제어부
140 : 표시부

Claims

증강 현실 영상을 렌더링하는 영상 처리 장치가 수행하는 영상 처리 방법으로서,
상기 영상 처리 장치로부터 제 1 방향측으로 향하여 제 1 현실 영상을 획득하는 단계,
상기 영상 처리 장치로부터 상기 제 1 방향과 상이한 제 2 방향측으로 향하여 제 2 현실 영상을 획득하는 단계,
상기 증강 현실 영상 내의 가상 객체에 대하여, 객체 표면의 반사율을 파악하는 단계, 및
상기 반사율에 따라 상기 제 1 현실 영상과 상기 제 2 현실 영상을 기초로 생성한 환경 텍스처를 사용하여 상기 가상 객체의 표면을 렌더링하는 단계를 포함하는
영상 처리 방법.
제 1 항에 있어서,
상기 제 1 방향과 상기 제 2 방향은 상호간의 반대방향인
영상 처리 방법.
제 1 항에 있어서,
상기 가상 객체의 표면을 렌더링하는 단계는, 상기 가상 객체의 일부 영역에 상기 제 1 현실 영상이 비춰지게 하고, 상기 가상 객체의 다른 일부 영역에 상기 제 2 현실 영상이 비춰지게 하는
영상 처리 방법.
제 3 항에 있어서,
상기 가상 객체의 표면을 렌더링하는 단계는,
상기 제 1 현실 영상의 적어도 일 변과 상기 제 2 현실 영상의 적어도 일 변을 맞대어 맞대어진 변들을 포함하는 상호간의 영상 연결 영역을 설정하는 단계, 및
상기 제 1 현실 영상과 상기 제 2 현실 영상에 대하여, 상기 영상 연결 영역의 색상을 확산시키는 단계를 더 포함하는
영상 처리 방법.
제 4 항에 있어서,
상기 색상을 확산시키는 단계는, 상기 영상 연결 영역의 색상을 푸아송(Poisson) 방정식의 입력 값으로 삼아 확산시킬 색상을 결정하거나, 상기 영상 연결 영역의 색상에 대한 블러(Blur) 연산을 수행하여 확산시킬 색상을 결정하는
영상 처리 방법.
제 4 항에 있어서,
상기 영상 연결 영역을 설정하는 단계는,
상기 제 1 현실 영상의 좌변 또는 우변을 대칭축으로 하여 제 1 좌우 대칭 영상을 생성하는 단계,
상기 제 1 현실 영상의 상변 또는 하변을 대칭축으로 하여 제 1 상하 대칭 영상을 생성하는 단계, 및
상기 제 2 현실 영상의 각 변에 상기 제 1 현실 영상, 상기 제 1 좌우 대칭 영상 및 상기 제 1 상하 대칭 영상 중 어느 한 영상의 일 변을 맞대어 상기 제 2 현실 영상의 각 변을 포함하는 복수의 상기 영상 연결 영역을 설정하는 단계를 포함하는
영상 처리 방법.
제 4 항에 있어서,
상기 영상 연결 영역을 설정하는 단계는,
상기 제 2 현실 영상의 좌변 또는 우변을 대칭축으로 하여 제 2 좌우 대칭 영상을 생성하는 단계,
상기 제 2 현실 영상의 상변 또는 하변을 대칭축으로 하여 제 2 상하 대칭 영상을 생성하는 단계, 및
상기 제 1 현실 영상의 각 변에 상기 제 2 현실 영상, 상기 제 2 좌우 대칭 영상 및 상기 제 2 상하 대칭 영상 중 어느 한 영상의 일 변을 맞대어 상기 제 1 현실 영상의 각 변을 포함하는 복수의 상기 영상 연결 영역을 설정하는 단계를 포함하는
영상 처리 방법.
제 1 항에 있어서,
상기 가상 객체의 표면을 렌더링하는 단계는,
상기 제 2 현실 영상 내의 현실 객체 중에 얼굴 객체가 포함되어 있는 경우에, 상기 얼굴 객체에 대응하는 아바타를 상기 제 2 현실 영상에 오버레이하여 렌더링한 현실 변형 영상을 생성하는 단계, 및
상기 제 1 현실 영상과 상기 현실 변형 영상을 상기 환경 텍스처로서 사용하는 단계를 더 포함하는
영상 처리 방법.
제 1 항 내지 제 8 항 중에서 어느 한 항에 기재된 영상 처리 방법을 프로세서가 수행하도록 하기 위하여
컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
영상 처리 장치로부터 제 1 방향측으로 향하여 제 1 현실 영상을 획득하고, 상기 영상 처리 장치로부터 상기 제 1 방향과 상이한 제 2 방향측으로 향하여 제 2 현실 영상을 획득하는 영상 획득부,
증강 현실 영상 내의 가상 객체에 대응하여 3차원 모델 데이터가 저장되는 저장부, 및
제어부를 포함하며,
상기 제어부는, 상기 증강 현실 영상 내의 가상 객체에 대하여, 상기 3차원 모델 데이터를 기초로 객체 표면의 반사율을 파악하고, 상기 반사율에 따라 상기 제 1 현실 영상과 상기 제 2 현실 영상을 기초로 생성한 환경 텍스처를 사용하여 상기 가상 객체의 표면을 렌더링하는
영상 처리 장치.