KR20160148769A - 공간 터치 기능을 갖는 입체 영상 표시 장치 - Google Patents

Abstract

본 발명은 입력된 영상으로부터 3D 객체를 추출하여, 시청자와 3D 객체 간의 상호 작용을 할 수 있도록 한 입체 영상 표시 장치에 관한 것으로, 시청자의 위치 및 모션을 감지하는 센싱 모듈, 입력된 영상으로부터 3D 객체의 정보를 생성하고, 상기 센싱 모듈로부터 제공된 상기 시청자의 위치 및 모션 정보에 따라 상기 3D 객체의 위치 및 깊이를 변환하는 영상 변환부, 및 상기 영상 변환부에 의해 변환된 3D 영상을 표시하는 디스플레이 모듈을 포함하고, 상기 영상 변환부는 상기 입력된 영상으로부터 상기 3D 객체를 선별한 다음, 선별된 3D 객체의 위치 및 깊이를 상기 시청자의 위치 및 모션에 매칭시킬 수 있다.

Description

공간 터치 기능을 갖는 입체 영상 표시 장치{STEREOSCOPIC IMAGE DISPLAY DEVICE HAVING FUNCTION OF SPACE TOUCH}

본 발명은 공간 터치 기능을 갖는 입체 영상 표시 장치에 관한 것이다.

최근, 디스플레이 기술이 진보함에 따라 TV, 모니터 등의 표시 장치에서 3D 영상을 구현할 수 있게 되었다. 이러한 표시 장치에 공간 터치 인식 기술을 접목하여 시청자에게 간편하고 편리한 인터페이스를 제공하고자 하는 연구가 계속되고 있다.

공간 터치 인식 기술은 가상의 입체 공간 내에서 시청자의 제스처를 인식하거나 또는 시청자의 손동작 자체를 인식하는 기술이다. 공간 터치 인식 기술을 이용하면 표시 장치에서 구현된 3D 객체와 상호 작용할 수 있으므로, 3D 영상 기반의 다양한 어플리케이션과 산업이 파생될 수 있다.

하지만, 지금까지 소개된 공간 터치 인식 기술은 아직 기술 개발 초기 단계라서 한계점이 나타나고 있다. 구체적으로, 종래 기술에 따른 공간 터치 인식 기술은 미리 정해진 시청자의 제스처나 공간 터치에 한해서 미리 정해진 3D 객체가 변형되는 것이 대부분이었다. 따라서, 시청자가 3D 객체와 상호 작용할 수 있는 환경은 제한적일 수 밖에 없었다.

본 발명은 전술한 문제점을 해결하고자 안출된 것으로, 입력된 영상으로부터 3D 객체를 실시간으로 추출하여, 시청자와 3D 객체 간의 상호 작용을 할 수 있도록 한 입체 영상 표시 장치를 제공하는 것을 기술적 과제로 한다.

위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

전술한 기술적 과제를 달성하기 위한 본 발명에 따른 공간 터치 기능을 갖는 입체 영상 표시 장치는 시청자의 위치 및 모션을 감지하는 센싱 모듈, 입력된 영상으로부터 3D 객체의 정보를 생성하고, 상기 센싱 모듈로부터 제공된 상기 시청자의 위치 및 모션 정보에 따라 상기 3D 객체의 위치 및 깊이를 변환하는 영상 변환부, 및 상기 영상 변환부에 의해 변환된 3D 영상을 표시하는 디스플레이 모듈을 포함하고, 상기 영상 변환부는 상기 입력된 영상으로부터 상기 3D 객체를 선별한 다음, 선별된 3D 객체의 위치 및 깊이를 상기 시청자의 위치 및 모션에 매칭시킬 수 있다.

상기 센싱 모듈은 시청자의 위치를 감지하는 시청자 위치 센싱부, 상기 시청자 위치 센싱부로부터 제공된 시청자 위치 정보에 따라 상기 시청자의 전방에 터치 공간을 설정하는 터치 공간 설정부, 및 상기 시청자의 신체가 상기 터치 공간 내에 위치하면 상기 신체의 위치를 공간 좌표로 해석하고, 해석된 공간 좌표를 로우 데이터로 변환하는 터치 센싱부를 포함할 수 있다.

상기 영상 변환부는 외부로부터 입력된 영상이 2D 영상일 경우, 입력된 2D 영상을 3D 영상으로 변환하는 3D 변환부, 외부 또는 상기 3D 변환부로부터 제공된 3D 영상을 분석하여 상기 3D 객체를 선별하고 선별된 3D 객체의 위치 및 깊이 정보를 생성하는 객체 검출부, 상기 3D 객체의 위치와 상기 터치 공간 내부의 공간 좌표를 매칭시키는 공간 매칭부, 상기 손이 상기 3D 객체가 매칭된 상기 터치 공간 내부의 좌표에 근접하면, 상기 3D 객체가 선택 가능함을 알리는 피드백을 생성하는 피드백 제공부, 및 상기 피드백이 생성된 상태에서 상기 손이 규약된 터치 또는 모션을 이용하여 상기 3D 객체를 선택한 경우 선택된 3D 객체의 위치 및 깊이를 상기 손의 이동 경로에 따라 변화시키는 객체 제어부를 포함할 수 있다.

상기 과제의 해결 수단에 의하면, 본 발명은 입력된 영상으로부터 3D 객체를 실시간으로 추출하고, 시청자의 위치 및 모션 정보에 따라 3D 객체의 위치 및 깊이를 변환한다. 이에 따라, 본 발명은 입력되는 영상의 종류에 관계 없이 시청자와 3D 객체 간이 상호 작용을 할 수 있다. 이러한, 본 발명은 3D 영상 기반의 교육, 광고, 게임 등의 다양한 산업에 적용되어, 시청자에게 다양한 어플리케이션을 제공할 수 있다.

위에서 언급된 본 발명의 효과 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시 예에 따른 공간 터치 기능을 갖는 입체 영상 표시 장치의 구성 블록도이다.
도 2는 본 발명의 실시 예에 따른 입체 영상 표시 장치를 이용하여 시청자가 3D 객체와 상호 작용하는 모습을 도시한 예시이다.
도 3은 도 1에 도시된 센싱 모듈의 내부를 도시한 블록도이다.
도 4는 도 3에 도시된 시청자 위치 센싱부의 내부를 도시한 블록도이다.
도 5는 도 1에 도시된 영상 변환부의 내부를 도시한 블록도이다.
도 6은 도 5에 도시된 객체 검출부의 내부를 도시한 블록도이다.
도 7은 터치 공간 설정부의 동작을 부연 설명하기 위한 예시이다.
도 8은 객체 검출부의 동작을 부연 설명하기 위한 예시이다.
도 9는 객체 제어부에 의해 제어되는 3D 객체의 깊이 변화를 나타낸 예시이다.
도 10a 및 도 10b는 본 발명의 실시 예에 따른 입체 영상 표시 장치를 이용하여 시청자가 3D 객체와 상호 작용하는 모습을 도시한 예시이다.
도 11은 본 발명의 실시 예에 따른 입체 영상 표시 장치를 이용하여 시청자가 3D 객체와 상호 작용하는 모습을 도시한 다른 예시이다.

본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다. 단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "제 1", "제 2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. "포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. "적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제 1 항목, 제 2 항목 및 제 3 항목 중에서 적어도 하나"의 의미는 제 1 항목, 제 2 항목 또는 제 3 항목 각각 뿐만 아니라 제 1 항목, 제 2 항목 및 제 3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다. "상에"라는 용어는 어떤 구성이 다른 구성의 바로 상면에 형성되는 경우 뿐만 아니라 이들 구성들 사이에 제 3의 구성이 개재되는 경우까지 포함하는 것을 의미한다.

이하에서는 본 발명에 따른 공간 터치 기능을 갖는 입체 영상 표시 장치의 바람직한 예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 공간 터치 기능을 갖는 입체 영상 표시 장치의 구성 블록도이다. 도 2는 본 발명의 실시 예에 따른 입체 영상 표시 장치를 이용하여 시청자가 3D 객체와 상호 작용하는 모습을 도시한 예시이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 입체 영상 표시 장치는 센싱 모듈(100)과, 영상 변환부(200)와, 디스플레이 모듈(300)을 포함한다.

먼저, 디스플레이 모듈(300)은 도 2에 도시된 바와 같이, TV로 구현될 수 있으며 시청자(400)는 디스플레이 모듈(300)을 통해 3D 영상을 시청하면서 3D 객체(350)와 상호 작용을 할 수 있게 된다. 일 예로, 시청자(400)는 디스플레이 모듈(300)을 통해 3D 영상을 시청하면서 가상의 터치 공간에 손을 뻗어 터치 동작을 수행함으로써 3D 객체(350)의 위치와 깊이를 제어할 수 있다.

이하, 본 발명의 실시 예에 따른 입체 영상 표시 장치의 구성을 상세히 설명한다.

센싱 모듈(100)은 시청자(400)의 위치 및 모션을 감지한다. 구체적으로, 센싱 모듈(100)은 시청자(400)가 어디에 위치하는지를 인식하고, 시청자(400)의 지시 수단이 표시 영상의 어떤 객체를 가리키는지를 인식한다. 그리고 센싱 모듈(100)은 인식된 시청자(400)의 위치 또는 모션 정보를 데이터화하여 영상 변환부(200)에 공급한다. 상기 시청자(400)의 지시 수단은 시청자(400)의 손이나 터치 펜이 될 수 있다.

이러한 센싱 모듈(100)은 디스플레이 모듈(300)에 내장되거나 외장될 수 있다. 예를 들어, 센싱 모듈(100)은 도 2에 도시된 바와 같이, 디스플레이 모듈(300)의 상단부에 탑재된 카메라 형태로 구현될 수 있다. 이러한 센싱 모듈(100)은 일반 웹캠 카메라, 3D 영상을 촬영을 하기 위한 뎁스 카메라, 적외선 방식의 카메라, 초음파 방식의 카메라 등 다양한 방식으로 구현될 수 있다.

영상 변환부(200)는 입력된 영상으로부터 3D 객체(350) 정보를 실시간으로 생성하고, 센싱 모듈(100)로부터 제공된 시청자(400)의 위치 및 모션 정보에 따라 3D 객체(350)의 위치 및 깊이를 변환한다.

영상 변환부(200)는 입력되는 영상의 종류에 관계 없이 입력 영상으로부터 3D 객체(350)를 실시간으로 검출할 수 있다. 즉, 영상 변환부(200)는 입력된 2D 또는 3D 영상으로부터 3D 객체(350)를 선별한 다음, 선별된 3D 객체의 위치 및 깊이를 상기 시청자의 위치 및 모션에 매칭시킨다. 따라서, 영상 변환부(200)에서 처리 가능한 입력 영상은 2D 영상이거나 3D 영상일 수 있다. 또한, 상기 입력 영상이 3D 영상일 경우, 상기 입력 영상은 디스플레이 모듈(300)에서 표시되는 3D 객체(350)에 대한 위치 및 깊이 정보를 별도로 포함하고 있거나 포함하지 않을 수 있다.

이러한 영상 변환부(200)는 입력된 영상으로부터 3D 객체(350)를 실시간으로 검출한 다음, 검출된 3D 객체(350)의 위치 및 깊이를 시청자(400)의 터치 모션에 따라 가변한다. 이에 따라, 디스플레이 모듈(300)은 시청자(400)에게 상호 작용할 수 있는 3D 객체(350)의 이미지를 제공하게 된다.

영상 변환부(200)는 디스플레이 모듈(300)이 노트북 컴퓨터, 넷북 컴퓨터, 태블릿 컴퓨터, 또는 모바일 기기일 경우 중앙 처리 장치(CPU), 마이크로 컨트롤 유닛(MCU), 비디오 처리 모듈이 될 수 있다. 또한, 영상 변환부(200)는 디스플레이 모듈(300)이 TV 또는 모니터일 경우 디스플레이 모듈(300)의 타이밍 컨트롤러에 내장될 수 있다.

디스플레이 모듈(300)은 2D 표시 모드에 따라 2D 영상을 표시하거나, 3D 표시 모드에 따라 좌안 영상(L)과 우안 영상(R)을 분리하여 3D 영상을 표시한다. 이를 위해, 디스플레이 모듈(300)은 디스플레이 패널(320) 및 패널 구동부(310)를 포함하여 구성된다.

디스플레이 패널은 액정 디스플레이 패널, 플라즈마 디스플레이 패널, 유기 발광 디스플레이 패널, 또는 전기 영동 디스플레이 패널 등이 될 수 있다. 디스플레이 패널이 액정 디스플레이 패널일 경우, 디스플레이 모듈(300)은 액정 디스플레이 패널에 광을 조사하는 백라이트 유닛을 더 포함하여 구성된다.

이하의 설명에서 디스플레이 패널(320)은 액정 디스플레이 패널(320)인 것으로 가정하여 설명한다.

액정 디스플레이 패널(320)은 상부 기판, 하부 기판, 상부 기판의 상부에 배치된 상부 편광 부재, 하부 기판의 하부에 배치된 하부 편광 부재, 상부 및 하부 기판 사이에 충진된 액정층을 포함한다.

상부 기판은 컬러 필터, 공통 전극, 블랙 매트릭스 등을 포함할 수 있다. 공통 전극은 액정 디스플레이 패널(320)의 액정 구동 방식에 따라 하부 기판에 배치될 수 있다. 이러한 상부 기판은 액정층을 투과하여 입사되는 광을 컬러 필터를 이용하여 소정의 컬러 광으로 변환하고, 변환된 컬러 광을 외부로 방출시킨다.

하부 기판은 다수의 게이트 라인(GL)과 다수의 데이터 라인(DL) 등의 신호 라인 형성된다. 게이트 라인(GL)과 데이터 라인(DL)의 교차부에는 박막 트랜지스터가 형성되고, 박막 트랜지스터는 각 화소에 배치된 화소 전극과 접속된다. 화소 전극은 공통 전압이 공급되는 공통 전극과 함께 액정층에 전계를 인가한다. 박막 트랜지스터는 게이트 라인(GL)으로부터 제공된 스캔 신호에 응답하여 데이터 라인(DL)으로부터 제공된 데이터 신호를 화소 전극에 공급한다. 액정층은 화소 전극에 인가된 데이터 전압과 공통 전극에 인가된 공통 전압 간의 차전압에 대응하여 광 투과율을 조절한다.

하부 기판의 일측 가장자리에는 각 신호 라인에 접속된 패드부가 마련되고, 패드부에는 패널 구동부(310)가 본딩된다. 하부 기판의 일측 단변 또는 양측 단변의 비표시 영역에는 게이트 라인(GL)에 스캔 신호를 공급하기 위한 게이트 구동 회로가 형성될 수 있다. 게이트 구동 회로는 각 게이트 라인(GL)에 접속되도록 상기 각 화소의 박막 트랜지스터와 같은 공정에서 형성된다.

상부 편광 부재는 상부 기판의 상부에 부착되어 상부 기판을 투과하여 외부로 방출되는 컬러 광을 편광시키는 편광 필름으로 구성될 수 있다.

한편, 다른 실시 예의 상부 편광 부재는 상부 기판의 상면에 부착되어 상부 기판을 투과하여 외부로 방출되는 컬러 광을 편광 시키는 상부 편광 필름 및 상기 상부 편광 필름의 상면에 부착되어 액정 디스플레이 패널(320)에서 표시되는 3D 영상, 즉 좌안 영상(L)과 우안 영상(R)을 서로 다른 편광 상태로 분리하는 리타더 필름(Retarder Film)을 포함하여 구성될 수 있다.

하부 편광 부재는 하부 기판의 하부에 부착되어 백라이트 유닛(330)으로부터 액정 디스플레이 패널(320)에 조사되는 광을 편광시키는 편광 필름으로 구성될 수 있다.

패널 구동부(310)는 디스플레이 패널(320)에 영상 신호를 공급하는 데이터 드라이버(312), 디스플레이 패널(320)에 스캔 신호를 공급하는 게이트 드라이버(314), 및 표시 모드에 따라 2D 영상 데이터 또는 3D 영상 데이터를 데이터 드라이버(312)에 공급함과 아울러 데이터 드라이버(312)와 게이트 드라이버(314) 각각의 구동 타이밍을 제어하는 타이밍 컨트롤러(316)를 포함하여 구성된다.

데이터 드라이버(312)는 타이밍 컨트롤러(316)로부터 공급되는 데이터 제어 신호에 응답하여 타이밍 컨트롤러(316)로부터 신호 변환부를 거쳐 입력되는 화소 데이터(그레이 레벨)를 이미지 신호로 변환한다. 그리고 데이터 드라이버(312)는 변환된 이미지 신호를 데이터 라인(DL)에 공급한다.

게이트 드라이버(314)는 타이밍 컨트롤러(316)로부터 공급되는 게이트 제어 신호에 따라 게이트 라인(GL)에 순차적으로 스캔 신호를 공급한다.

타이밍 컨트롤러(316)는 영상 변환부(200)에서 입력되는 적색, 녹색, 청색의 화소 데이터를 액정 디스플레이 패널(320)의 해상도에 맞게 정렬하여 출력한다. 또한, 타이밍 컨트롤러(316)는 수직 및 수평 동기 신호(Vsync, Hsync), 클럭 등을 이용하여 게이트 제어 신호와 데이터 제어 신호를 생성한다.

상술한 바와 같은 본 발명은 영상 변환부(200)가 입력된 영상으로부터 3D 객체(350)를 실시간으로 추출하여, 시청자(400)의 위치 및 모션 정보에 따라 3D 객체(350)의 위치 및 깊이를 변환한다. 이에 따라, 본 발명은 입력되는 영상의 종류에 관계 없이 시청자(400)와 3D 객체(350) 간이 상호 작용을 할 수 있다. 이러한, 본 발명은 3D 영상 기반의 교육, 광고, 게임 등의 다양한 산업에 적용되어, 시청자(400)에게 다양한 어플리케이션을 제공할 수 있다.

이하, 본 발명의 실시 예에 따른 입체 영상 표시 장치를 보다 구체적으로 설명한다.

도 3은 도 1에 도시된 센싱 모듈(100)의 내부를 도시한 블록도이다. 도 4는 도 3에 도시된 시청자 위치 센싱부(110)의 내부를 도시한 블록도이다.

도 3을 참조하면, 센싱 모듈(100)은 시청자 위치 센싱부(110)와, 터치 공간 설정부(120)와, 터치 센싱부(130)를 포함한다.

시청자 위치 센싱부(110)는 시청자(400)의 위치를 감지하고, 감지된 정보를 터치 공간 설정부(120) 및 터치 센싱부(130)에 제공한다. 시청자 위치 센싱부(110)로부터 생성되는 시청자(400)의 위치 정보는 시청자(400)와 디스플레이 모듈(300) 간에 설정되는 좌표축, 시청자(400)의 얼굴(410)과 손(420) 각각의 공간 좌표, 시청자(400)와 디스플레이 모듈(300) 간의 직선 거리 등이 될 수 있다.

구체적으로, 시청자 위치 센싱부(110)는 도 4에 도시된 바와 같이, 좌표 설정부(112)와, 위치 판단부(114)와, 거리 판단부(116)를 포함한다.

좌표 설정부(112)는 시청자(400)와 디스플레이 모듈(300) 사이를 직선으로 연결하는 Z 축과, 상기 Z 축으로부터 수직된 X 축 및 Y 축을 설정한다. 즉, 좌표 설정부(112)는 디스플레이 모듈(300)을 시청하는 시청자(400)의 위치를 감지하고, 시청자(400)의 위치에 따라 X, Y, Z 축을 설정한다.

좌표 설정부(112)가 시청자(400)의 위치를 감지하는 동작은 시청자(400)의 얼굴(410)을 센싱하는 단계와, 센싱된 얼굴(410)을 시청자(400)의 기준된 위치로 설정하여 Z 축 방향을 설정하는 단계를 포함할 수 있다. 상기 예에서, Z 축 방향은 시청자(400)와 디스플레이 모듈(300)을 직선으로 연결하는 방향으로 설정되었지만, Z 축 방향은 디스플레이 모듈(300)을 기준으로 정면 방향으로 설정되어도 상관없다.

위치 판단부(114)는 좌표 설정부(112)로부터 설정된 X, Y, Z 축 정보를 기초하여 상기 시청자(400)의 얼굴(410) 및 손(420)의 위치를 공간 좌표로 해석한다. 구체적으로, 위치 판단부(114)는 시청자(400)의 얼굴(410) 및 손(420)의 위치를 먼저 파악한다. 그리고 위치 판단부(114)는 파악된 시청자(400)의 얼굴(410) 및 손(420)의 위치를 공간 좌표 형태로 해석하고, 해석된 정보를 데이터화한다.

거리 판단부(116)는 상기 얼굴(410)의 위치를 나타내는 공간 좌표를 이용하여 상기 디스플레이 모듈(300)과 상기 시청자(400) 간의 거리를 계산한다.

도 3을 참조하면, 터치 공간 설정부(120)는 시청자 위치 센싱부(110)로부터 제공된 시청자(400)의 위치 정보를 기반으로 가상의 터치 공간(500)을 설정한다. 터치 공간(500)은 시청자(400)가 디스플레이 모듈(300)로부터 표시되는 3D 객체(350)와 상호 작용하기 위한 공간이다. 이러한 터치 공간(500)은 시청자(400)와 디스플레이 모듈(300) 사이의 공간에 설정된다.

구체적으로, 터치 공간 설정부(120)는 상기 거리 판단부(116)에서 계산된 상기 시청자(400)와 상기 디스플레이 모듈(300) 간의 거리에 따라 상기 시청자(400)와 상기 디스플레이 모듈(300) 사이의 특정 영역을 터치 공간(500)으로 설정한다. 참고로, 상기 거리 판단부(116)로부터 제공된 시청자(400)의 거리 정보는 시청자(400)의 얼굴(410)의 위치로부터 디스플레이 모듈(300)까지의 거리를 계산한 것이다.

터치 공간 설정부(120)는 도 7에 도시된 바와 같이, 시청자(400)가 손(420)을 이용하여 터치 동작을 수행하는 것으로 가정하여, 시청자(400)의 눈의 위치로부터 디스플레이 모듈(300) 방향(시청자의 전방)으로 약 20 cm ~ 40 cm 의 범위에서 터치 공간(500)을 설정할 수 있다. 이는, 일반적으로 사람이 팔을 뻗었을 때 손 끝의 위치가 눈으로부터 약 20 cm ~ 40 cm 정도 이격됨을 전제로 한 것이다.

예를 들어, 거리 판단부(116)에서 계산된 시청자(400)의 위치 정보가 300cm 라고 가정한다면, 이것은 시청자(400)의 눈의 위치가 디스플레이 모듈(300)로부터 300cm 거리에 있음을 의미할 것이다. 그러면, 터치 공간 설정부(120)는 시청자(400)의 눈의 위치로부터 디스플레이 모듈(300) 방향(시청자의 전방)으로 약 20 cm ~ 40 cm 의 범위에 터치 공간(500)을 설정하게 된다. 따라서, 상기 예에서 터치 공간 설정부(120)는 디스플레이 모듈(300)로부터 260 cm ~ 280 cm 범위의 공간에 터치 공간(500)을 설정한다.

한편, 본 발명의 실시 예에 따른 공간 터치 기능을 갖는 입체 영상 표시 장치는 시청자(400)의 신체 조건에 따라 적응적으로 터치 공간(500)을 재설정할 수 있다. 이를 위해, 터치 공간 설정부(120)는 상기 터치 공간(500)에 근접한 상기 손(420)의 동작 범위를 특정 주기마다 센싱하고, 센싱된 결과에 따라 상기 터치 공간(500)을 새롭게 정의한다.

즉, 터치 공간 설정부(120)는 터치 공간(500)을 설정함에 있어서, 터치 공간(500)에 근접한 손(420)의 동작 범위가 상기 범위를 넘어설 경우, 상기 터치 공간(500)의 부피를 확장시킬 수 있다. 물론, 터치 공간 설정부(120)는 터치 공간(500)에 근접한 손(420)의 동작 범위가 디폴트 값보다 현저히 낮은 경우, 터치 공간(500)의 부피를 줄일 수도 있다. 이러한 본 발명은 시청자(400)의 신체 조건에 알맞게 최적의 터치 공간(500)을 제공할 수 있다.

도 3을 참조하면, 터치 센싱부(130)는 시청자(400)의 신체가 상기 터치 공간(500) 내에 위치하면 상기 신체의 위치를 공간 좌표로 해석하고, 해석된 공간 좌표를 로우 데이터로 변환한다.

구체적으로, 터치 센싱부(130)는 시청자(400)의 손(420)의 위치를 실시간으로 감지하고, 시청자(400)의 손(420)이 터치 공간(500) 내에 위치하면 손(420)의 위치에 따른 로우 데이터를 생성한다. 이때, 터치 센싱부(130)는 손가락 각각의 위치를 개별적으로 감지함으로써 시청자(400)의 터치 모션을 정확하게 알 수 있다. 터치 센싱부(130)는 미리 설정된 동작 인식 알고리즘에 따라 시청자(400)의 터치 모션을 인식하게 된다. 예를 들어, 터치 센싱부(130)는 기본적인 터치 동작 이외에도, 밀기, 당기기, 위로 잡아 당기기, 아래로 끌어 내리기, 사물을 손에 쥐기 등을 인식할 수 있다.

한편, 다른 실시 예의 터치 센싱부(130)는 터치 공간(500) 내에 위치한 시청자(400)의 손(420)의 위치를 감지하여 로우 데이터를 생성하고, 생성된 로우 데이터를 영상 변환부(200)에 제공하는 역할만 한다. 즉, 다른 실시 예의 터치 센싱부(130)는 시청자(400)의 손(420)의 위치 정보만 영상 변환부(200)에 전달할 뿐, 시청자(400)의 손(420) 동작이 터치 모션인지 분별하지는 않는다. 이 경우, 시청자(400)의 손(420) 동작이 터치 모션인지 여부의 판단은 영상 변환부(200)에서 수행하게 된다.

도 5는 도 1에 도시된 영상 변환부(200)의 내부를 도시한 블록도이다. 도 6은 도 5에 도시된 객체 검출부(220)의 내부를 도시한 블록도이다.

도 5를 참조하면, 영상 변환부(200)는 3D 변환부(210)와, 객체 검출부(220)와, 공간 매칭부(230)와, 피드백 제공부(240)와, 객체 제어부(250)를 포함한다.

3D 변환부(210)는 외부로부터 입력된 영상이 2D 영상일 경우, 입력된 2D 영상을 3D 영상으로 변환한다. 즉, 3D 변환부(210)는 입력 영상이 2D 영상인지 또는 3D 영상인지를 판단한다. 그리고 3D 변환부(210)는 입력 영상이 2D 영상인 경우에 2D 영상을 좌안 영상(L) 및 우안 영상(R)으로 구분되는 3D 영상으로 변환한다. 3D 변환부(210)가 2D 영상을 3D 영상으로 변환하는 방법은 기 공지된 방법을 모두 이용할 수 있다.

예를 들어, 3D 변환부(210)는 출원인이 제안한 바 있는, 대한민국 공개특허 제10-2015-0003056호, 대한민국 공개특허 제10-2012-0040386호, 대한민국 공개특허 제10-2012-0040386호, 대한민국 공개특허 제10-2014-0070856호에 개시된 방법들을 이용할 수 있다.

객체 검출부(220)는 외부 또는 상기 3D 변환부(210)로부터 제공된 3D 영상을 분석하여 상기 3D 객체(350)를 선별하고, 선별된 3D 객체(350)의 위치 및 깊이 정보를 생성한다. 3D 객체(350)는 3D 영상에서 표시되는 사람 또는 사물이 될 수 있으며, 시청자(400)가 터치 영역을 이용해 상호 작용할 수 있도록 구성된 것이다. 이러한 3D 객체(350)에 대한 정보는 외부로부터 입력된 3D 영상에서 이미 정의된 것일 수 있다. 이와 반대로, 외부로부터 입력된 3D 영상에서 3D 객체(350)에 대한 정보가 없는 경우, 객체 검출부(220)는 입력된 3D 영상에서 사람 또는 사물을 3D 객체(350)화하고, 3D 객체(350)의 위치 및 깊이 정보를 테이블로 생성한다.

구체적으로, 객체 검출부(220)는 도 6에 도시된 바와 같이, 에지 검출부(222)와, 객체 선별부(224)와, 객체 분석부(226)를 포함한다.

에지 검출부(222)는 도 8의 (b)에 도시한 바와 같이, 입력된 3D 영상으로부터 에지 성분을 검출한다. 구체적으로, 에지 검출부(222)는 3D 영상으로부터 수직 및 수평 에지 성분을 검출한다. 이를 위해, 에지 검출부(222)는 임의의 화소 영역에 대응하는 데이터를 기준으로 삼고, 기준 화소의 휘도와, 상기 기준 화소 주변에 위치하는 화소들의 휘도를 비교 연산하여 에지 성분을 검출한다.

객체 선별부(224)는 도 8의 (c)에 도시한 바와 같이, 에지 검출부(222)로부터 제공된 에지 성분을 이용하여 사물의 크기를 분석하고, 분석 결과에 따라 상기 사물이 상기 3D 객체(350)인지를 선별한다. 이러한 객체 선별부(224)는 입력된 영상에 포함된 사물로부터 3D 객체(350)와 배경을 구분한다. 객체 선별부(224)는 디스플레이 모듈(300)의 해상도를 감안하여, 표시 화면 전체 크기의 1/m(m은 2이상의 자연수)보다 큰 사물은 배경으로 판단할 수 있다. 따라서, 객체 선별부(224)는 에지 성분을 이용하여 분석된 사물의 크기가 표시 화면 전체 크기의 1/m보다 작은 조건에 해당된 사물을 3D 객체(350)로 선별할 수 있다.

객체 분석부(226)는 도 8의 (c)에 도시한 바와 같이, 객체 선별부(224)로부터 선별된 3D 객체(350)의 위치 및 깊이 정보를 데이터화하고, 깊이 맵(depth map)을 생성한다. 이러한 객체 분석부(226)는 선별된 3D 객체(350)의 공간 좌표와, 깊이를 테이블화하여 공간 매칭부(230)에 공급한다.

도 5를 참조하면, 공간 매칭부(230)는 3D 객체(350)의 위치와 상기 터치 공간(500) 내부의 공간 좌표를 매칭시킨다. 일반적으로, 터치 공간(500)의 크기는 디스플레이 모듈(300)의 크기와 다르다. 따라서, 공간 매칭부(230)는 디스플레이 모듈(300)에서 표시되는 3D 객체(350)의 위치와 터치 공간(500)의 특정 지점을 서로 맵핑한다. 이에 따라, 터치 공간(500) 내부에는 디스플레이 모듈(300)에서 표시되는 복수개의 3D 객체(350) 각각에 대응하는 대응점들이 설정된다.

한편, 공간 매칭부(230)는 도 9에 도시된 바와 같이, 터치 공간(500) 내부를 Z 축 방향으로 n 등분(2 이상의 자연수)한다. 이는, 시청자(400)의 손(420)이 터치 공간(500)에서 Z 축 방향으로 움직임에 따라 3D 객체(350)의 깊이를 n 단계로 변화시키기 위함이다. 즉, 후술되는 객체 제어부(250)는 터치 공간(500)이 Z 축 방향으로 n 등분되는 것에 대응하여, 3D 객체(350)의 깊이를 n 단계로 가변시킨다.

피드백 제공부(240)는 시청자(400)의 손(420)이 상기 3D 객체(350)가 매칭된 상기 터치 공간(500) 내부의 좌표에 근접하면, 상기 3D 객체(350)가 선택 가능함을 알리는 피드백을 생성한다. 상기 피드백은 상기 3D 객체(350)가 선택 가능한 상태인 경우, 상기 3D 객체(350)의 테두리 윤곽선을 특정 컬러, 점선, 굵은 선 중에서 선택된 적어도 하나의 방법으로 표시하는 알고리즘이다.

객체 제어부(250)는 상기 피드백이 생성된 상태에서 시청자(400)의 손(420)이 규약된 터치 또는 모션에 따라 3D 객체(350)를 선택한 경우, 선택된 3D 객체(350)의 위치 및 깊이를 상기 손(420)의 이동 경로에 따라 변화시킨다. 즉, 객체 제어부(250)는 피드백이 발생된 상태에서 시청자(400)의 손(420)이 미리 규약된 동작을 할 경우, 시청자(400)가 해당 피드백이 발생된 3D 객체(350)와 상호 작용하려는 것으로 간주한다. 그리고 객체 제어부(250)는 시청자(400)의 손(420) 동작에 따라 3D 객체(350)의 위치나 깊이를 변화시킨다. 변화된 3D 객체(350)에 대한 영상 데이터는 디스플레이 모듈(300)의 타이밍 컨트롤러(316)에 공급되고, 디스플레이 모듈(300)은 시청자(400)와 상호 작용되는 3D 객체(350)의 이미지를 표시하게 된다.

상기 규약된 터치 또는 모션은 손(420)을 이용한 단순 터치 동작 이외에도, 밀기, 당기기, 위로 잡아 당기기, 아래로 끌어 내리기, 손에 쥐기 등이 있다. 이와 같은 손(420) 동작의 감지는 객체 제어부(250)에서 수행되거나, 전술한 터치 센싱부(130)에서 수행될 수 있다.

부가적으로, 시청자와 3D 객체(350) 간의 상호 작용되는 과정을 예를 들어 설명하면 다음과 같다.

먼저, 도 10a 및 도 10b에 도시한 바와 같이, 디스플레이 모듈(300)에 복수개의 블록(352)이 쌓여 있는 3D 영상이 표시되고, 상기 복수개 블록(352)이 3D 객체화 되어 있다고 가정한다. 그리고 시청자(400)는 복수개의 블록(352) 중에서 가장 위에 있는 블록(352)을 가까운 곳으로 옮기고 싶은 것으로 가정한다.

시청자(400)는 터치 공간으로 손(420)을 뻗어 복수개의 블록(352) 중에서 가장 위에 있는 블록(352)을 선택한다. 이때, 시청자(400)는 전술한 피드백을 통해 본인의 손(420)이 복수개의 블록(352) 중에서 어떤 블록(352)을 선택하고 있는지를 알 수 있다.

구체적으로, 시청자(400)가 터치 공간에 근접하면 터치 센싱부(130)는 손(420)의 위치를 감지하여 로우 데이터를 생성하고, 생성된 로우 데이터는 영상 변환부(200)에 공급된다. 영상 변환부(200)는 3D 영상에서 복수개의 블록(352) 각각을 3D 객체화한다. 그리고 영상 변환부(200)는 터치 센싱부(130)로부터 제공된 손(420)의 위치가 특정 블록(352)에 매칭된 터치 공간 내부의 좌표에 근접하면, 해당된 블록(352)에 대하여 피드백을 발생한다. 이에 따라, 상기 특정 블록(352)은 도 10a에 도시된 바와 같이, 특정 컬러, 점선, 굵은 선 중에서 선택된 적어도 하나의 방법으로 표시된다. 이때, 시청자(400)의 손(420)이 터치 공간에서 움직이면, 복수개의 블록(352) 중에서 피드백이 발생되는 블록(352)도 실시간으로 가변된다. 따라서, 시청자(400)는 상기 피드백을 확인하면서 원하는 블록(352)을 선택할 수 있다.

이어서, 시청자(400)는 원하는 블록(352)의 대응점에 손(420)을 이동시킨 상태에서 규약된 모션을 수행하고, 이러한 동작은 터치 센싱부(130)에서 감지되어 객체 제어부(250)로 전달된다. 구체적으로, 상기 터치 센싱부(130)는 손(420)가락 각각의 위치를 감지하여 로우 데이터를 생성하고, 생성된 정보를 영상 변환부(200)에 공급한다. 예를 들어, 터치 센싱부(130)에서 생성된 손(420)가락 각각의 위치 정보는 영상 변환부(200)의 객체 제어부(250)에 공급될 수 있다.

그러면, 객체 제어부(250)는 손(420)가락 각각의 움직임을 분석하고, 손(420)가락의 모션이 규약된 터치 또는 모션인지를 판단한다. 만약, 손(420)가락의 움직임이 상기 블록(352)을 들어 올리는 것이라면, 객체 제어부(250)는 이러한 손(420)가락의 움직임을 감지하여 상기 블록(352)의 위치 및 깊이를 손(420)의 움직임에 따라 변경한다. 따라서, 시청자(400)는 터치 공간에서 손(420)을 움직이면서 선택한 블록(352)의 위치 및 깊이가 바뀌는 것을 실시간으로 볼 수 있다. 이에 따라, 시청자(400)는 도 10b에 도시된 바와 같이, 복수개의 블록(352) 중에서 가장 위에 있는 블록(352)을 가까운 곳으로 옮길 수 있게 된다.

한편, 또한, 시청자(400)는 도 11에 도시된 바와 같이, 본 발명의 입체 영상 표시 장치를 이용하여 3D 영상을 시청하면서 가상의 터치 공간에서 터치를 수행함으로써 그림을 그리거나 편집하는 어플리케이션을 이용할 수 있다.

이상에서 상술한 바와 같이, 본 발명은 입력된 영상으로부터 3D 객체를 실시간으로 추출하고, 시청자의 위치 및 모션 정보에 따라 3D 객체의 위치 및 깊이를 변환한다. 이에 따라, 본 발명은 입력되는 영상의 종류에 관계 없이 시청자와 3D 객체 간이 상호 작용을 할 수 있다. 이러한, 본 발명은 전술한 예뿐만 아니라 3D 영상 기반의 교육, 광고, 게임 등의 다양한 산업에 적용되어, 시청자에게 다양한 어플리케이션을 제공할 수 있다.

이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사항을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다. 그러므로, 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 센싱 모듈 200: 영상 변환부
300: 디스플레이 모듈 400: 시청자
350: 3D 객체 110: 시청자 위치 센싱부
120: 터치 공간 설정부 130: 터치 센싱부
112: 좌표 설정부 114: 위치 판단부
116: 거리 판단부 210: 3D 변환부
220: 객체 검출부 230: 공간 매칭부
240: 피드백 제공부 250: 객체 제어부
222: 에지 검출부 224: 객체 선별부
226: 객체 분석부

Claims (10)

1. 시청자의 위치 및 모션을 감지하는 센싱 모듈;
   입력된 영상으로부터 3D 객체의 정보를 생성하고, 상기 센싱 모듈로부터 제공된 상기 시청자의 위치 및 모션 정보에 따라 상기 3D 객체의 위치 및 깊이를 변환하는 영상 변환부; 및
   상기 영상 변환부에 의해 변환된 3D 영상을 표시하는 디스플레이 모듈을 포함하고;
   상기 영상 변환부는 상기 입력된 영상으로부터 상기 3D 객체를 선별한 다음, 선별된 3D 객체의 위치 및 깊이를 상기 시청자의 위치 및 모션에 매칭시키는, 공간 터치 기능을 갖는 입체 영상 표시 장치.
2. 제 1 항에 있어서,
   상기 센싱 모듈은
   시청자의 위치를 감지하는 시청자 위치 센싱부;
   상기 시청자 위치 센싱부로부터 제공된 시청자 위치 정보에 따라 상기 시청자의 전방에 터치 공간을 설정하는 터치 공간 설정부; 및
   상기 시청자의 신체가 상기 터치 공간 내에 위치하면 상기 신체의 위치를 공간 좌표로 해석하고, 해석된 공간 좌표를 로우 데이터로 변환하는 터치 센싱부를 포함하는, 공간 터치 기능을 갖는 입체 영상 표시 장치.
3. 제 2 항에 있어서,
   상기 시청자 위치 센싱부는
   상기 시청자와 상기 디스플레이 모듈 사이를 직선으로 연결하는 Z 축과, 상기 Z 축으로부터 수직된 X 축 및 Y 축을 설정하는 좌표 설정부;
   상기 X, Y, Z 축 정보를 기초하여 상기 시청자의 얼굴 및 손의 위치를 공간 좌표로 해석하는 위치 판단부; 및
   상기 얼굴의 위치를 나타내는 공간 좌표를 이용하여 상기 디스플레이 모듈과 상기 시청자 간의 거리를 계산하는 거리 판단부를 포함하는, 공간 터치 기능을 갖는 입체 영상 표시 장치.
4. 제 3 항에 있어서,
   상기 터치 공간 설정부는 상기 거리 판단부에서 계산된 상기 시청자와 상기 디스플레이 모듈 간의 거리에 따라 상기 시청자와 상기 디스플레이 모듈 사이의 특정 영역을 터치 공간으로 설정하는, 공간 터치 기능을 갖는 입체 영상 표시 장치.
5. 제 4 항에 있어서,
   상기 터치 공간 설정부는 상기 터치 공간에 근접한 상기 손의 동작 범위를 특정 주기마다 센싱하고, 센싱된 결과에 따라 상기 터치 공간을 새롭게 정의하는, 공간 터치 기능을 갖는 입체 영상 표시 장치.
6. 제 4 항에 있어서,
   상기 영상 변환부는
   상기 입력된 영상이 2D 영상일 경우, 입력된 2D 영상을 3D 영상으로 변환하는 3D 변환부;
   외부 또는 상기 3D 변환부로부터 제공된 3D 영상을 분석하여 상기 3D 객체를 선별하고, 선별된 3D 객체의 위치 및 깊이 정보를 생성하는 객체 검출부;
   상기 3D 객체의 위치와 상기 터치 공간 내부의 공간 좌표를 매칭시키는 공간 매칭부;
   상기 손이 상기 3D 객체가 매칭된 상기 터치 공간 내부의 좌표에 근접하면, 상기 3D 객체가 선택 가능함을 알리는 피드백을 생성하는 피드백 제공부; 및
   상기 피드백이 생성된 상태에서 상기 손이 규약된 터치 또는 모션을 이용하여 상기 3D 객체를 선택한 경우, 선택된 3D 객체의 위치 및 깊이를 상기 손의 이동 경로에 따라 변화시키는 객체 제어부를 포함하는, 공간 터치 기능을 갖는 입체 영상 표시 장치.
7. 제 6 항에 있어서,
   상기 객체 검출부는
   상기 3D 영상으로부터 에지 성분을 검출하는 에지 검출부;
   상기 에지 성분을 이용하여 사물의 크기를 분석하고, 분석 결과에 따라 상기 사물이 상기 3D 객체인지를 선별하는 객체 선별부; 및
   상기 선별된 3D 객체의 위치 및 깊이 정보를 데이터화하는 객체 분석부를 포함하는, 공간 터치 기능을 갖는 입체 영상 표시 장치.
8. 제 7 항에 있어서,
   상기 객체 선별부는
   상기 사물의 크기가 표시 화면 전체 크기의 1/m(m은 2이상의 자연수) 보다 작은 조건에서 상기 사물을 3D 객체로 선별하는, 공간 터치 기능을 갖는 입체 영상 표시 장치.
9. 제 6 항에 있어서,
   상기 공간 매칭부는 상기 터치 공간의 내부를 상기 Z 축방향으로 n(n은 2 이상의 자연수) 등분하고,
   상기 객체 제어부는 상기 3D 객체의 깊이를 n 단계로 구분하여 변화시키는, 공간 터치 기능을 갖는 입체 영상 표시 장치.
10. 제 6 항에 있어서,
    상기 피드백은 상기 3D 객체가 선택 가능한 상태인 경우, 상기 3D 객체의 테두리 윤곽선을 특정 컬러, 점선, 굵은 선 중에서 선택된 적어도 하나의 방법으로 표시하는 알고리즘인, 공간 터치 기능을 갖는 입체 영상 표시 장치.

Images