KR101343551B1

KR101343551B1 - 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 영상 표시 장치

Info

Publication number: KR101343551B1
Application number: KR1020120074271A
Authority: KR
Inventors: 조준동; 이동훈; 허준회; 서남석; 이정후
Original assignee: 인텔렉추얼디스커버리 주식회사
Priority date: 2012-07-09
Filing date: 2012-07-09
Publication date: 2013-12-20

Abstract

3차원 영상을 시청하기 위한 3차원 안경에 이미지 센서를 장착하여 사용자의 눈 깜박임을 측정하고, 이에 따라 시각적 피로도를 판단하여 표시 영상의 시차를 조절한다. 본 발명에 따른 3차원 영상 표시 장치는, 상기 표시 장치 외부의 이미지 센서로부터 영상 정보를 수신하는 수신부; 수신된 상기 영상 정보를 처리하여 눈 깜박임 횟수를 도출하는 데이터 처리부; 도출된 눈 깜박임 횟수에 따라 피로도를 판단하는 피로도 판단부; 판단된 피로도에 따라 좌우 영상의 디스패리티 값을 결정하는 디스패리티 조절부; 및 결정된 상기 디스패리티 값을 이용하여 3차원 영상을 표시하는 디스플레이를 포함한다.

Description

눈 깜박임 측정을 통해 입체감을 조절하는 3차원 영상 표시 장치{Three-dimensional image display apparatus adjusting three-dimensional effect using eye blinking}

본 발명은 3차원 영상 표시 장치에 관한 것으로서, 더 구체적으로는 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 영상 표시 장치에 관한 것이다.

최근 통신 및 정보기술의 발달로 대표적인 가전제품인 TV 또한 스마트 TV로 발전하고 있다. 화면과 스피커를 통해 정보를 전달했던 과거의 TV와는 달리 스마트 TV에는 다양한 형태의 센서들이 내장되어 이에 따라 다양한 형태의 새로운 인터페이스가 가능해진다.

따라서, TV의 기본 기능인 정보 전달 외에도 다양한 기능이 부가되고 있으며, 양방향성을 이용한 다양한 서비스가 개발되고 있다.

또한, 멀티미디어 기술의 발달로 3차원 컨텐츠가 개발 보급되어, 가정에서도 3차원 영상을 시청할 수 있는 3차원 TV가 보급되고 있다.

3차원 컨텐츠는 실제와 유사한 입체 영상을 제공하므로 실감 있는 컨텐츠 감상이 가능하지만, 만들어진 입체 영상을 시청하는 데에 따른 피로감의 문제가 있어 장시간 시청이 어렵다.

이에 따라 입체 영상을 시청하는 데 따른 시각의 피로를 해결하고자 하는 시도가 이루어지고 있다.

특허출원 제10-2008-0101086호에서는 "시각피로 없는 안경식 스테레오스코픽 디스플레이 구동 방법 및 굴절률 가변 셔터 안경"을 개시하고 있는데, 시각피로를 없애기 위해, 시점이 상이한 복수 개의 시점영상을 생성하고, 상기 시점이 상이한 복수 개의 영상을 하나의 좌안 동공 및 하나의 우안 동공에 입력되도록 소정간격 쉬프트하여 출력하는 기술이다.

본 발명은 상술한 바와 같은 기술적 배경에서 안출된 것으로서, 사용자가 3차원 영상을 장시간 시청할 때 시각적 피로감을 절감할 수 있는 3차원 영상 표시 장치를 제공하는 것을 그 과제로 한다.

이와 같은 과제를 해결하기 위하여 본 발명에서는 3차원 영상을 시청하기 위한 3차원 안경에 이미지 센서를 장착하여 사용자의 눈 깜박임을 측정하고, 이에 따라 시각적 피로도를 판단하여 표시 영상의 시차를 조절한다.

즉, 본 발명의 일면에 따른 3차원 영상 표시 장치는, 상기 표시 장치 외부의 이미지 센서로부터 영상 정보를 수신하는 수신부; 수신된 상기 영상 정보를 처리하여 눈 깜박임 횟수를 도출하는 데이터 처리부; 도출된 눈 깜박임 횟수에 따라 피로도를 판단하는 피로도 판단부; 판단된 피로도에 따라 좌우 영상의 디스패리티 값을 결정하는 디스패리티 조절부; 및 결정된 상기 디스패리티 값을 이용하여 3차원 영상을 표시하는 디스플레이를 포함하여 이루어진다.

여기에서, 상기 이미지 센서는 상기 3차원 영상 표시 장치에서 표시하는 영상을 시청하기 위한 3차원 안경에 장착되며, 상기 수신부에서 수신하는 영상 정보는 상기 이미지 센서에 의해 획득된 정보를 가공하지 않은 로 데이터(raw data)인 것이 바람직하다.

상기 데이터 처리부는 수신된 영상 정보의 분산값을 이용하여 눈 깜박임을 판단하거나, 수신된 영상 정보의 평균값을 이용하여 눈 깜박임을 판단할 수 있다.

본 발명에 따르면, 사용자의 눈 깜박임을 감지하여 시각적 피로도를 판단하고 이에 따라 시차를 조절하게 되므로, 사용자 개개인이 느끼는 시각적 피로도에 맞는 영상을 시청할 수 있다. 따라서 사용자는 장시간 3차원 영상을 시청하는 경우에도 피로감을 많이 느끼지 않고 시청할 수 있게 된다.

눈 깜박임을 측정하기 위해 안경에 장착되는 소형 카메라 또는 이미지 센서는 무게와 크기 면에서 무시할 수 있는 정도이므로 이에 따른 불편이 없으며, 눈 깜박임을 측정하기 위한 용도로 사용하기 위한 소형 카메라 또는 이미지 센서는 저비용으로 구현될 수 있다.

도 1은 본 발명의 실시예에 따른 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 스마트 TV 시스템의 전체 구성을 간략히 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 스마트 TV 시스템의 구성을 좀 더 자세히 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 스마트 TV 시스템의 영상 시차 조정 방법을 나타내는 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하에서, 첨부한 도면을 참고로 하여 본 발명의 실시예에 따른 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 스마트 TV 시스템에 대하여 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 스마트 TV 시스템의 전체 구성을 간략히 도시한 도면이다.

도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 스마트 TV 시스템은 3차원 영상을 표시할 수 있는 TV(200)와 TV(200)에서 표시하는 3차원 영상을 시청하기 위하여 사용자가 착용하는 3차원 안경(100)으로 구성된다.

도 2는 본 발명의 실시예에 따른 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 스마트 TV 시스템의 구성을 좀 더 자세히 나타낸 블록도이다.

도 2에 나타난 바와 같이, 본 발명의 실시예에 따른 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 스마트 TV 시스템의 3차원 안경(100)은 이미지 센서(110)와 무선 송신부(120)를 포함한다.

기존에 제안되었던 3차원 영상의 시차 조절은 대부분 TV에서 행해진다. 그러나 이러한 시차 조절은 사용자 개개인에 맞춰진 것이 아니며, 일반적인 평균을 기준으로 시차가 조절된다. 따라서, 사용자는 자신의 눈에 맞지 않는 영상을 시청하게 될 수 있고 이 경우 시각적 피로도를 많이 느끼게 된다. 하지만 이런 평균적인 시차조절을 하지 않고 사용자 개개인에 맞게 시차를 조절하면 사용자 개개인의 피로도는 줄어들 것이다.

본 발명의 실시예에 따르면, 사용자는 각 개인에게 맞도록 조절된 3차원 영상을 얻을 수 있다. 이를 위하여 본 발명의 실시예에서는 3차원 영상을 시청하기 위하여 필수적으로 사용되는 3차원 안경에 이미지 센서를 부착하여 사용자의 눈 깜박임을 측정한다.

사용자가 안경(100)을 착용하고 이미지 센서(120)가 작동되면서 사용자의 눈을 계속적으로 촬영을 하게 된다. 이때 촬영하는 것은 사용자의 눈의 깜박임이다. 이 깜박임 정도가 심하게 되면 눈이 피로하다는 것으로 판단하게 된다. 안경(100)의 이미지 센서(120)는 사용자의 눈을 촬영하며 TV(200)와 계속적으로 송수신을 하게 되고, 눈 깜빡임 데이터를 TV(200)에 계속 전송한다. TV(200)는 이 데이터를 분석하여 이에 따라 시차를 조절한다.

이를 위하여 본 발명의 실시예에 따른 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 스마트 TV 시스템의 TV(200)는, 도 2에 나타난 바와 같이, 안경(100)으로부터 눈 깜박임 정보를 수신하는 무선 수신부(220), 수신한 정보를 저장하는 메모리(230), 수신한 정보를 처리하는 데이터 처리부(240), 처리된 데이터를 기반으로 사용자의 시각적 피로도를 판단하는 피로도 판단부(250), 판단된 시각적 피로도에 따라 시차를 조절하는 디스패리티 조절부(260) 및 조절된 디스패리티에 따라 3차원 영상을 표시하는 디스플레이부(270)를 포함한다.

본 발명의 실시예에 따르면, 사용자가 눈의 깜박임이 많아지면 3D 영상을 출력할 때 시차를 줄여서 출력을 해준다. 또한 사용자의 눈의 깜박임이 적거나 현상태를 그대로 유지하고 있다면 시차를 높이거나 그대로 유지된 상태로 출력하게 된다. 이로써 사용자는 평균적으로 맞춰진 영상이 아닌 사용자에게 맞춰진 영상을 볼 수 있게 되고, 3차원 영상을 장시간 시청하더라도 시각적 피로감을 덜 느낄 수 있게 된다.

도 3은 본 발명의 실시예에 따른 눈 깜박임 측정을 통해 입체감을 조절하는 3차원 스마트 TV 시스템의 영상 시차 조정 방법을 나타내는 흐름도이다.

도 3에 나타난 바와 같이, 안경(100)의 이미지 센서(110)가 켜지면 사용자의 눈 깜박임을 측정한다(S310). 측정한 눈 깜박임 정보는 안경(100)으로부터 TV(200)로 송신된다(S320).

TV(200)는 안경(100)으로부터 눈 깜박임 정보를 수신하고(S330), 수신한 정보에 기반하여 눈 깜박임이 기준값 이상인지를 판단한다(S340). 눈 깜박임이 기준값 이상인 경우라면(S340의 "예"), 사용자의 시각적 피로도가 증가한 것으로 볼 수 있으므로 영상의 시차를 조절한다(S350).

눈 깜박임을 측정하는 방법에는 특별한 제한이 없으나, 아래에서 몇 가지 예를 제시한다.

<눈 깜박임 측정 방법 1>

이미지 센서(110)를 통해 촬영된 영상 프레임의 로 데이터(raw data)를 TV(200)로 바로 전송한다.

다음, 이미지 센서(110)로부터 수신받은 RGB 데이터의 모든 값을 사용하지 않고 연산을 간단하게 하기 위해 gray 값(0~255)으로 변환한다.

사람이 눈을 뜨고 있을 경우 검은 눈동자, 흰자, 눈 주위 살색 등으로 gray값이 다양하게 분포하게 된다. 이런 경우 다양한 gray level 값이 존재하게 되어 분산값이 크게 나오게 되지만, 반대로 눈을 감았을 경우, 이미지 센서(110)에 캡처되는 프레임에는 살색이 대부분일 것이다. 이런 경우 일정한 gray level 값이 존재하게 되어 분산 값이 낮게 나온다.

이런 특성을 이용하면 눈동자 추적과 같은 계산량이 큰 기술이 필요없게 되고, 빠른 눈 깜박임 측정에 의한 피로감 추정이 가능하며 바로 영상 제어부에서 시차 조절이 가능하게 된다. 즉 실시간성이 보장된다.

눈 깜박임 측정을 위한 분산 식은 다음과 같다.

V : 분산값, Pn : 현재 프레임의 n번째 픽셀 데이터,

Fmean : 현재 프레임의 픽셀데이터의 평균, n : 픽셀 주소

테스트를 통해 눈을 떴을 때의 분산값과 감았을 때의 분산값 사이의 값을 기준값으로 정한다. 기준값보다 큰 값이 되었다가 다시 작은 값이 되었을 때 눈 깜박임이 발생하였음을 판단하고 이를 카운트한다. 동시에 깜박임이 판단될 때의 시간을 측정한다. 눈 깜박임과 측정된 시간 데이터를 이용하여 피로도 정도를 판단하게 된다.

<눈 깜박임 측정 방법 2>

눈 깜박임의 측정은 상술한 눈 깜박임 측정 방법 1과 동일한 방법을 사용하지만, 분산값이 아닌 프레임의 평균값을 이용할 수 있다. 눈을 떴을 때와 감았을 때의 평균값은 다르게 나온다. 즉, 눈을 떴을 때 눈동자의 검은 부위, 흰 부위, 살색의 밝기 데이터(gray값)의 평균값과 눈을 감았을 때 살색의 픽셀들의 밝기 데이터(gray값)의 평균이 다르다는 특성을 이용하여 눈 깜박임을 측정할 수 있다.

이상에서 바람직한 실시예를 기준으로 본 발명을 설명하였지만, 본 발명의 장치 및 방법은 반드시 상술된 실시예에 제한되는 것은 아니며 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서, 첨부된 특허청구의 범위는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다.

Claims

3차원 영상을 표시하는 표시 장치로서,
상기 표시 장치 외부의 이미지 센서로부터 영상 정보를 수신하는 수신부;
수신된 상기 영상 정보의 밝기 데이터를 처리하여 눈 깜박임 횟수를 도출하는 데이터 처리부;
도출된 눈 깜박임 횟수에 따라 피로도를 판단하는 피로도 판단부;
판단된 피로도에 따라 좌우 영상의 디스패리티 값을 결정하는 디스패리티 조절부; 및
결정된 상기 디스패리티 값을 이용하여 3차원 영상을 표시하는 디스플레이를 포함하는 3차원 영상 표시 장치.
제1항에 있어서, 상기 이미지 센서는,
상기 3차원 영상 표시 장치에서 표시하는 영상을 시청하기 위한 3차원 안경에 장착되어 있는 것인 3차원 영상 표시 장치.
제1항에 있어서, 상기 수신부에서 수신하는 영상 정보는,
상기 이미지 센서에 의해 획득된 정보를 가공하지 않은 로 데이터(raw data)인 3차원 영상 표시 장치.
제1항에 있어서, 상기 데이터 처리부는,
수신된 영상 정보의 밝기 데이터의 분산값을 이용하여 눈 깜박임을 판단하는 3차원 영상 표시 장치.
제1항에 있어서, 상기 데이터 처리부는,
수신된 영상 정보의 밝기 데이터의 평균값을 이용하여 눈 깜박임을 판단하는 3차원 영상 표시 장치.