KR101685981B1 - 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법 - Google Patents

입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법 Download PDF

Info

Publication number
KR101685981B1
KR101685981B1 KR1020100073473A KR20100073473A KR101685981B1 KR 101685981 B1 KR101685981 B1 KR 101685981B1 KR 1020100073473 A KR1020100073473 A KR 1020100073473A KR 20100073473 A KR20100073473 A KR 20100073473A KR 101685981 B1 KR101685981 B1 KR 101685981B1
Authority
KR
South Korea
Prior art keywords
stereoscopic image
pixel period
calculated
distance
recognized
Prior art date
Application number
KR1020100073473A
Other languages
English (en)
Other versions
KR20120011573A (ko
Inventor
이동하
박태수
정동만
이경일
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020100073473A priority Critical patent/KR101685981B1/ko
Priority to US13/190,211 priority patent/US8942427B2/en
Priority to EP11006133.0A priority patent/EP2413610B1/en
Priority to CN201110278772.8A priority patent/CN102348124B/zh
Publication of KR20120011573A publication Critical patent/KR20120011573A/ko
Application granted granted Critical
Publication of KR101685981B1 publication Critical patent/KR101685981B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/315—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법이 개시된다. 위치 추적부는 시 거리를 인식한다. 영상 처리부는 위치 추적부가 인식한 시 거리를 이용하여 입체영상 픽셀 주기를 산출하고, 산출한 입체영상 픽셀 주기를 이용하여 입체영상이 디스플레이되는 픽셀 및 서브 픽셀 중 적어도 하나의 색을 결정하며, 결정한 색에 따라 상기 입체영상이 디스플레이되도록 제어한다.

Description

입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법 {A SYSTEM, AN APPARATUS AND A METHOD FOR DISPLAYING A 3-DIMENSIONAL IMAGE}
본 발명은 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법에 관한 것으로, 보다 상세하게는 무 안경 방식의 입체영상을 디스플레이하는 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법에 관한 것이다.
최근 3 차원 영상을 표현하는 디스플레이 기술이 다양한 분야에서 연구 및 활용되고 있다. 특히 3차원 영상을 디스플레이하는 기술을 활용하여, 3차원 영상을 디스플레이하는 전자 장치가 주목을 받고 있다.
3 차원 영상을 디스플레이하는 기술은 양안의 시차로 관찰자가 입체감을 느끼게 되는 양안 시차의 원리를 이용하는 것으로, 안경 방식(shutter glass method), 무안경 방식, 완전 3차원 방식 등으로 구분된다. 안경 방식에는 사용자가 별도의 편광 안경과 같은 별도의 장비를 착용해야 하는 문제점이 있으며, 무안경 방식에는 사용자가 특정 위치에서만 3차원 영상을 볼 수 있는 문제점이 있다. 따라서, 안경 방식 및 무안경 방식에는 여러 문제점들이 존재하므로, 최근에는 완전 3차원 방식에 대한 연구가 활발히 진행되고 있다.
본 발명이 이루고자하는 기술적 과제는 시 거리를 확장하기 위한 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법을 제공하는데 있다.
본 발명이 이루고자하는 다른 기술적 과제는 시 거리에 맞추어 적절할 입체영상을 디스플레이 할 수 있는 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법을 제공하는데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 디스플레이 방법은, 시 거리를 인식하는 단계, 상기 인식된 시 거리를 이용하여 입체영상 픽셀 주기를 산출하는 단계, 상기 산출된 입체영상 픽셀 주기를 이용하여 입체영상이 디스플레이되는 픽셀 및 서브 픽셀 중 적어도 하나의 색을 결정하는 단계, 및 상기 결정된 색에 따라 상기 입체영상을 디스플레이하는 단계를 포함할 수 있다. 여기서, 상기 시 거리는 촬상된 영상 프레임을 통해 인식될 수 있다.
바람직하게, 상기 색을 결정하는 단계는, 상기 산출된 입체영상 픽셀 주기를 이용하여 상기 입체영상에 대한 시점 마스크를 생성하는 단계 및 상기 생성된 시점 마스크를 이용하여 상기 색을 결정하는 단계를 포함할 수 있다.
바람직하게, 상기 시점 마스크를 생성하는 단계는, 상기 산출된 입체영상 픽셀 주기를 이용하여 픽셀 및 서브 픽셀 중 적어도 하나의 시점 번호를 산출하는 단계, 및 상기 산출된 시점 번호를 이용하여 상기 시점 마스크를 생성하는 단계를 포함할 수 있다.
바람직하게, 상기 시점 번호는 상기 산출된 입체영상 픽셀주기, 초기 입체영상 픽셀주기 및 초기 시점 번호를 기초로 산출될 수 있다.
바람직하게, 상기 시점 번호는 시점 갯수 내의 범위를 가질 수 있다.
바람직하게, 상기의 입체영상 디스플레이 방법은 시청자의 영상을 촬상하는 단계, 상기 촬상된 영상에 포함된 영상 프레임을 이용하여 상기 시청자의 위치를 탐지하는 단계 및 상기 탐지된 시청자의 위치를 이용하여 입체영상 변화량을 산출하는 단계를 더 포함할 수 있다. 상기 디스플레이하는 단계에서, 상기 입체영상 변화량에 따라 상기 결정된 색이 디스플레이될 위치를 조절하여 디스플레이할 수 있다.
바람직하게 상기 입체영상은 다시점 영상일 수 있다.
바람직하게, 상기의 입체영상 디스플레이 방법은 상기 입체영상을 포함하는 RF 방송 신호를 수신하는 단계, 상기 수신된 RF 방송 신호를 복조하는 단계, 상기 복조된 RF 방송 신호를 입체영상 신호, 오디오 신호 및 데이터 신호로 역다중화하는 단계 및 상기 역다중화된 입체영상 신호를 디코딩하는 단계를 더 포함할 수 있다.
바람직하게, 상기의 입체영상 디스플레이 방법은, 상기 입체영상을 포함하는 IP(Internet Protocol) 패킷을 수신하는 단계 및 상기 입체영상을 디코딩하는 단계를 더 포함할 수 있다.
상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 디스플레이 장치는, 시 거리를 인식하는 위치 추적부, 및 상기 인식된 시 거리를 이용하여 입체영상 픽셀 주기를 산출하고, 상기 산출된 입체영상 픽셀 주기를 이용하여 입체영상이 디스플레이되는 픽셀 및 서브 픽셀 중 적어도 하나의 색을 결정하며, 상기 결정된 색에 따라 상기 입체영상이 디스플레이되도록 제어하는 영상 처리부를 포함할 수 있다. 여기서, 상기 위치 추적부는 촬상된 영상 프레임을 이용하여 상기 시 거리를 인식할 수 있다.
바람직하게, 상기 영상 처리부는, 상기 인식된 시 거리를 이용하여 입체영상 픽셀 주기를 산출하는 픽셀 주기 산출부, 상기 산출된 입체영상 픽셀 주기를 이용하여 상기 입체영상에 대한 시점 마스크를 생성하는 마스크 생성부 및 상기 생성된 시점 마스크를 이용하여 상기 색을 결정하는 다중화부를 포함할 수 있다.
바람직하게, 상기 마스크 생성부는, 상기 산출된 입체영상 픽셀 주기를 이용하여 픽셀 및 서브 픽셀 중 적어도 하나의 시점 번호를 산출하고, 상기 산출된 시점 번호를 이용하여 상기 시점 마스크를 생성할 수 있다.
바람직하게, 상기 시점 번호는 상기 산출된 입체영상 픽셀주기, 초기 입체영상 픽셀주기 및 초기 시점 번호를 기초로 산출될 수 있다.
바람직하게, 상기 시점 번호는 시점 갯수 내의 범위를 가질 수 있다.
바람직하게, 상기 위치 추적부는, 시청자가 촬상된 영상에 포함된 영상 프레임을 이용하여 상기 시청자의 위치를 탐지하는 위치 탐지부 및 상기 탐지된 시청자의 위치를 이용하여 입체영상 변화량을 산출하는 변화량 계산부를 더 포함할 수 있다.
바람직하게, 상기 영상 처리부는, 상기 입체영상 변화량에 따라 상기 결정된 색이 디스플레이될 위치를 조절할 수 있다.
바람직하게, 상기 입체영상은 다시점 영상일 수 있다.
바람직하게, 상기의 입체영상 디스플레이 장치는, 상기 입체영상을 포함하는 RF 방송 신호를 수신하는 튜너부, 상기 수신된 RF 방송 신호를 복조하는 복조부, 상기 복조된 RF 방송 신호를 입체영상 신호, 오디오 신호 및 데이터 신호로 역다중화하는 역다중화부 및 상기 역다중화된 입체영상 신호를 디코딩하는 디코더를 더 포함할 수 있다.
바람직하게, 상기의 입체영상 디스플레이 장치는, 상기 입체영상을 포함하는 IP(Internet Protocol) 패킷을 수신하는 네트워크 인터페이스부 및 상기 입체영상을 디코딩하는 디코더를 더 포함할 수 있다.
상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 디스플레이 시스템은 시청자의 영상을 촬상하는 카메라, 상기 촬상된 영상에 포함된 영상 프레임을 이용하여 시 거리를 인식하는 위치 추적부, 상기 인식된 시 거리를 이용하여 입체영상 픽셀 주기를 산출하고, 상기 산출된 입체영상 픽셀 주기를 이용하여 입체영상이 디스플레이되는 픽셀 및 서브 픽셀 중 적어도 하나의 색을 결정하며, 상기 결정된 색에 따라 상기 입체영상이 디스플레이되도록 제어하는 영상 처리부 및 상기 입체영상을 디스플레이하는 디스플레이 장치를 포함할 수 있다.
본 발명에 따른 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법에 의하면, 디스플레이 패널과 시청자와의 거리를 인식하여 거리에 따라 픽셀주기를 조절하므로, 시청자는 거리 제한 없이 입체영상을 시청할 수 있다.
도 1은 본 발명에 따른 입체영상 디스플레이 시스템에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 입체영상 디스플레이 방법에 대한 바람직한 일실시예의 수행과정을 도시한 순서도,
도 3a 내지 도 3c는 본 발명에 따른 입체영상 디스플레이 시스템이 시청자를 촬상한 영상 프레임을 도시한 도면,
도 4a 내지 도 4c는 시 거리에 따라 요구되는 입체영상 픽셀 주기를 도시한 도면,
도 5a 내지 도 5c는 시 거리에 따라 변화된 입체영상 픽셀 주기를 도시한 도면,
도 6은 본 발명에 따른 위치 추적 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 7은 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도, 그리고,
도 8은 함수 W(x)의 그래프를 도시한 도면이다.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
도 1은 본 발명에 따른 입체영상 디스플레이 시스템에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 입체영상 디스플레이 시스템(100)은 카메라(110), 입체영상 처리 시스템(120) 및 디스플레이 장치(130)를 포함할 수 있다. 입체영상 디스플레이 시스템(100)은 데스크톱, 랩톱, 태블릿 또는 핸드헬드 컴퓨터 등의 퍼스널 컴퓨터 시스템일 수 있다. 또한 입체영상 디스플레이 시스템(100)은 휴대폰, 스마트폰(smart phone), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등과 같은 이동 단말기일 수 있고, 디지털 TV 같은 고정형 가전기기일 수 있다.
카메라(110)는 시청자의 영상을 촬상한다. 카메라(110)는 다양한 헤르츠를 가질 수 있고, 설정된 또는 주어진 헤르츠에 따라 시청자가 촬상된 영상 프레임을 입체영상 처리 시스템(120)에 출력한다. 만일 카메라(110)가 25Hz로 설정되어 있는 경우에는, 카메라(110)는 초당 25 영상 프레임을 촬상하여 입체영상 처리 시스템(120)에 출력할 수 있다.
입체영상 처리 시스템(120)은 카메라(110)로부터 출력된 영상 프레임을 통해 시 거리를 인식하고, 인식된 시 거리에 맞추어 입체영상이 디스플레이되도록 제어한다. 입체영상 처리 시스템(120)은 위치 추적 장치(121) 및 입체영상 처리 장치(122)를 포함할 수 있다. 입체영상 처리 시스템(120)은 하나의 제품으로 구현될 수 있다. 일예로 입체영상 처리 시스템(120)은 셋톱박스로 구현될 수 있다.
위치 추적 장치(121)는 카메라(110)로부터 시청자가 촬상된 영상 프레임을 수신하고 수신한 영상 프레임을 이용하여 시청자의 위치를 탐지한다. 그리고 위치 추적 장치(121)는 탐지한 시청자의 위치를 기초로 입체영상 변화량을 산출한다. 또한 위치 추적 장치(121)는 탐지한 시청자의 위치와 이전 영상 프레임에서 탐지한 시청자의 위치 또는 기준 영상 프레임에서 탐지된 시청자의 위치를 비교하여 시 거리를 인식할 수 있다.
위치 추적 장치(121)는 하나의 모듈로 구현될 수 있고, 모듈화된 위치 추적 장치가 입체영상 처리 장치(122)에 삽입되어 하나의 제품으로 생산될 수 있다. 또한 입체영상 처리 시스템은 위치 추적 장치(121)의 기능을 수행하는 프로그램을 컨트롤러를 통해 실행하여, 위치 추적 장치(121)의 기능을 수행할 수 있다.
입체영상 처리 장치(122)는 위치 추적 장치(121)가 인식한 시 거리를 이용하여 입체영상 픽셀 주기를 산출하고, 산출한 입체영상 픽셀 주기를 이용하여 입체영상이 디스플레이되는 픽셀 및 서브 픽셀 중 적어도 하나의 색을 결정할 수 있다. 또한 입체영상 처리 장치(122)는 위치 추적 장치(121)가 산출한 입체영상 변화량을 기초로 결정한 색이 디스플레이될 위치를 조절할 수 있다. 입체영상 처리 장치(122)는 수신된 입체영상 신호 또는 저장된 입체영상 파일을 인코딩하는 방송 수신기일 수 있다. 상기 방송 수신기는 지상파, 위성 및 케이블을 통해 전송되는 방송 및 인터넷을 통해 전송되는 방송을 수신할 수 있는 방송 수신기일 수 있다.
또한 상기 방송 수신기는 인터넷 서비스를 시청자에게 제공할 수 있는 방송 수신기일 수 있다. 여기서 인터넷 서비스는 CoD(Content's on Demand) 서비스, 유튜브 서비스, 날씨, 뉴스, 지역 정보 및 검색 등의 인포메이션 서비스, 게임, 노래방 등의 엔터테인먼트 서비스, TV 메일, TV SMS(Short Message Service) 등의 커뮤니케이션 서비스 등 인터넷을 통해 제공될 수 있는 서비스를 의미한다. 이에 따라 본 발명에서 방송 수신기는 네트워크 TV, 웹 TV 및 브로드밴드 TV를 포함할 수 있다.
또한 상기 방송 수신기는 네트워크를 통해 서버로부터 애플리케이션을 수신하고, 이를 설치 및 실행할 수 있는 스마트 TV일 수 있다.
입체영상 처리 장치(122)가 수신하는 방송 서비스는 지상파, 위성 및 케이블을 통해 제공되는 방송 서비스뿐만 아니라 인터넷 서비스를 포함할 수 있다. 방송 서비스는 2차원 영상뿐만 아니라 입체영상을 제공할 수 있다. 여기서 입체영상은 다시점 영상일 수 있다. 다시점 영상은 일정한 거리나 각도를 갖는 복수의 카메라로 동일한 피사체를 촬영하여 획득한 복수의 영상을 말하고, 각 카메라에 의해 획득된 영상들을 각각 시점 영상으로 정의한다.
디스플레이 장치(130)는 입체영상 처리 시스템(120)의 제어에 따라 입체영상을 디스플레이한다. 디스플레이 장치(130)는 2View이상의 barrier 방식의 무 안경 3D display일 수 있고, lenticular 방식의 무 안경 3D display일 수 있다. 또한 디스플레이 장치(130)는 독립된 제품으로 구현될 수 있고, 입체영상 처리 시스템(120) 또는 입체영상 처리 장치(122)와 일체형으로 구현될 수 있다. 또한 디스플레이 장치(130)는 View format이 sub-pixel단위 또는 pixel단위의 무 안경 3D display일 수 있다.
도 2는 본 발명에 따른 입체영상 디스플레이 방법에 대한 바람직한 일실시예의 수행과정을 도시한 순서도이다.
도 2를 참조하면, 카메라(110)는 시청자의 영상을 촬상한다(S200). 여기서 카메라(110)는 설정된 헤르츠 또는 주어진 헤르츠에 따라 시청자의 영상을 촬상하고 촬상된 영상을 실시간으로 계속하여 입체영상 처리 시스템(120)으로 출력할 수 있다.
입체영상 처리 시스템(120)은 카메라(110)가 촬상한 영상에 포함된 영상 프레임을 이용하여 시청자의 위치를 탐지한다(S210). 입체영상 처리 시스템(120)은 탐지한 시청자의 위치를 통해 시청자의 시 거리를 인식할 수 있다. 여기서 입체영상 처리 시스템(120)은 영상 프레임에서 시청자가 차지하는 비율 및 2차원 평면상의 위치를 통해 시 거리를 인식할 수 있다. 또한 입체영상 처리 시스템(120)은 탐지한 시청자의 위치와 이전 영상 프레임에서 탐지한 시청자의 위치 또는 기준 영상 프레임에서 탐지된 시청자의 위치를 비교하여 시 거리를 인식할 수 있다.
입체영상 처리 시스템(120)은 탐지한 시청자 위치를 기초로 입체영상 변화량을 산출한다(S220). 여기서 입체영상 변화량은 픽셀 이동량 및 서브 픽셀 이동량 중 하나일 수 있다.
입체영상 처리 시스템(120)은 인식한 시 거리를 이용하여 입체영상 픽셀 주기를 산출한다(S230).
입체영상 처리 시스템(120)은 산출한 입체영상 픽셀 주기를 이용하여 입체영상에 대한 시점 마스크를 생성한다(S240).
입체영상 처리 시스템(120)은 입체영상에 포함된 각 시점 영상의 픽셀의 색 또는 서브 픽셀의 색 및 생성한 시점 마스크를 이용하여 픽셀의 최종색 또는 서브 픽셀의 색의 최종색을 결정한다(S250).
입체영상 처리 시스템(120)은 결정한 최종색에 따라 입체영상이 디스플레이되도록 디스플레이 장치(130)를 제어한다(S260). 여기서 입체영상 처리 시스템(120)은 산출한 입체영상 변화량에 따라 결정한 최종색이 디스플레이될 위치를 조절할 수 있다. 즉 디스플레이 장치(130)는 입체영상을 구성하는 픽셀 색이 디스플레이되는 픽셀 위치를 원래의 위치에서 산출한 입체영상 변화량에 따라 이동시켜 입체영상을 디스플레이할 수 있다. 또한 디스플레이 장치(130)는 입체영상을 구성하는 서브 픽셀 색이 디스플레이되는 서브 픽셀 위치를 원래의 위치에서 산출한 입체영상 변화량에 따라 이동시켜 입체영상을 디스플레이할 수 있다.
도 3a 내지 도 3c는 본 발명에 따른 입체영상 디스플레이 시스템이 시청자를 촬상한 영상 프레임을 도시한 도면이다.
도 3a 내지 도 3c를 참조하면, 영상 처리 시스템(120)은 영상 프레임(310)을 이용하여 시청자의 위치(311)를 탐지할 수 있다. 입체영상 처리 시스템(120)은 영상 프레임(310)에서 얼굴 영역을 인식하여, 시청자의 위치(311)를 탐지할 수 있다. 여기서, 입체영상 처리 시스템(120)은 얼굴의 대칭을 이용한 알고리즘, 머리카락 색과 얼굴색을 이용한 알고리즘, 및 얼굴의 윤곽을 이용한 알고리즘을 이용하여 얼굴 영역을 인식할 수 있다. 또한 영상 처리 시스템(120)은 영상 프레임(310)에서 스킨 칼라 정보를 산출하여 얼굴 영역을 인식할 수 있다.
영상 처리 시스템(120)은 탐지한 시청자의 위치(311)를 이용하여 시 거리를 인식할 수 있다. 일예로, 영상 처리 시스템(120)은 영상 프레임 내에서의 시청자의 이미지 비율 및 이미지 위치를 기초로 시 거리를 산출할 수 있다.
또한 영상 처리 시스템(120)은 기준 영상 프레임과 현재 영상 프레임을 비교하여 시 거리를 산출할 수 있다. 일예로, 영상 처리 시스템(120)은 기준 영상 프레임에서의 시청자의 이미지 비율과 현재 영상 프레임의 시청자의 이미지 비율을 비교하여 이미지 비율의 차이에 따라 시 거리를 산출할 수 있다. 즉 이미지 배율이 동일한 경우에는, 기준 영상 프레임에서의 시 거리가 현재 영상 프레임에서의 시 거리로 인식될 수 있다.
다른 예로, 영상 처리 시스템(120)은 기준 영상 프레임의 시청자의 이미지 크기와 현재 영상 프레임의 시청자의 이미지 크기를 비교하여 시 거리를 산출할 수 있다. 기준 영상 프레임이 영상 프레임(310)이라고 가정할 때, 현재 영상 프레임이 영상 프레임(310)인 경우에는 이미지(311)의 크기가 기준 영상 프레임의 이미지 크기와 동일하므로, 영상 처리 시스템(120)은 기준 영상 프레임의 시 거리를 현재 시 거리로 인식할 수 있다. 현재 영상 프레임이 영상 프레임(320)인 경우에는 이미지(321)의 크기가 기준 영상 프레임의 이미지 크기보다 작으므로, 영상 처리 시스템(120)은 현재 시 거리는 기준 영상 프레임의 시 거리보다 큰 것으로 인식할 수 있고, 이미지의 크기 비율에 따라 기준 영상 프레임의 시 거리에서 현재 시 거리를 산출할 수 있다. 현재 영상 프레임이 영상 프레임(330)인 경우에는 이미지(331)의 크기가 기준 영상 프레임의 이미지 크기보다 크므로, 영상 처리 시스템(120)은 현재 시 거리는 기준 영상 프레임의 시 거리보다 작은 것으로 인식할 수 있고, 이미지의 크기 비율에 따라 기준 영상 프레임의 시 거리에서 현재 시 거리를 산출할 수 있다.
또한 영상 처리 시스템(120)은 이전 영상 프레임과 현재 영상 프레임을 비교하여 시 거리를 산출할 수 있다. 이때, 비교 방식은 기준 영상 프레임과의 비교 방식과 동일한 비교 방식을 사용할 수 있다.
도 4a 내지 도 4c는 시 거리에 따라 요구되는 입체영상 픽셀 주기를 도시한 도면이다.
도 4a 내지 도 4c를 참조하면, 입체영상 처리 시스템(120)은 다음의 수학식 1로부터 입체영상 픽셀주기 Q를 산출할 수 있다.
Figure 112010049215556-pat00001
여기서, D는 시 거리이고, d: 디스플레이 패널(410)과 입체영상 필터(420)의 간격이며, R: 입체영상 필터(420)의 패턴 주기이다.
도 4a에서 알 수 있듯이, 시 거리 D가 기준 시 거리 Dopt로 인식될 때, 입체영상 픽셀주기 Q는 기준 입체영상 픽셀 주기 Qopt가 될 수 있다. 도 4b에서 알 수 있듯이, 시 거리가 기준 시 거리 Dopt보다 큰 시 거리 Dfar로 인식될 때, 입체영상 픽셀 주기 Q는 기준 입체영상 픽셀 주기 Qopt보다 작은 Qfar가 되도록 요구될 수 있다. 도 4c에서 알 수 있듯이, 시 거리가 기준 시 거리 Dopt보다 작은 시 거리 Dnear로 인식될 때, 입체영상 픽셀 주기 Q는 기준 입체영상 픽셀 주기 Qopt보다 큰 Qnear가 되도록 요구될 수 있다.
도 5a 내지 도 5c는 시 거리에 따라 변화된 입체영상 픽셀 주기를 도시한 도면이다.
도 5a 내지 도 5c를 참조하면, 영상 처리 시스템(120)은 입체영상 픽셀 주기 Q에 따라 각 서브픽셀의 소수점을 포함하는 시점 번호 Vi를 다음의 수학식 2로부터 결정할 수 있다.
Figure 112010049215556-pat00002
여기서, i는 서브 픽셀 수평번호(0, 1, 2, … )이고, Voi는 최적 시 거리에서의 서브픽셀의 시점 번호이며, Q0는 최적 시 거리에서의 입체영상 픽셀주기이고, N는 입체영상 시점 수이다. 최적 시 거리는 도 5a 내지 도 5c의 기준 시 거리 Dopt일 수 있다.
영상 처리 시스템(120)은 서브픽셀별 시점 번호에 맞추어 각 시점마다의 마스크 α 를 다음의 수학식 3로부터 산출할 수 있다.
Figure 112010049215556-pat00003
여기서, k는 시점 번호이고, 함수 W(k-Vi)에 대한 그래프는 도 8에 도시된다.
영상 처리 시스템(120)은 산출한 시점 마스크 α를 이용하여 서브픽셀의 최종색 MCi를 다음의 수학식 4로부터 산출할 수 있다.
Figure 112010049215556-pat00004
여기서, C(i, K)는 k시점 영상의 i서브 픽셀의 색이다.
도 5a에서 처럼, 인식된 시 거리 D가 최적 시 거리 Dopt일 때, 영상 처리 시스템(120)은 입체영상 픽셀주기 Q가 최적 시 거리에서의 픽셀주기Q0로 유지되도록 서브픽셀의 최종색 MC 0, MC 1, …, MC N, MC N+1을 결정할 수 있다.
도 5b에서 처럼, 인식된 시 거리 D가 최적 시 거리 Dopt 보다 큰 Dfar일 때, 영상 처리 시스템(120)은 입체영상 픽셀주기 Q가 최적 시 거리 Dopt에서의 픽셀주기 Q0보다 작은 Qfar가 되도록 서브픽셀의 최종색 MC 0, MC 1, …, MC N, MC N+1을 결정할 수 있다. 결정된 서브픽셀의 최종색 MC 0, MC 1, …, MC N, MC N+1에 의해 입체영상 픽셀주기는 픽셀주기 Q0보다 줄어든다.
도 5c에서 처럼, 인식된 시 거리 D가 최적 시 거리 Dopt 보다 작은 Dnear일 때, 영상 처리 시스템(120)은 입체영상 픽셀주기 Q가 최적 시 거리 Dopt에서의 픽셀주기 Q0보다 작은 Qnear가 되도록 서브픽셀의 최종색 MC 0, MC 1, …, MC N, MC N+1을 결정할 수 있다. 결정된 서브픽셀의 최종색 MC 0, MC 1, …, MC N, MC N+1에 의해 입체영상 픽셀주기는 픽셀주기 Q0보다 늘어난다.
도 6은 본 발명에 따른 위치 추적 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.
도 6을 참조하면, 위치 추적 장치(121)는 위치 탐지부(610) 및 변화량 계산부(620)를 포함할 수 있다. 위치 탐지부(610)는 시청자가 촬상된 영상 프레임을 수신하고 수신한 영상 프레임을 이용하여 시청자의 위치를 탐지하다. 위치 탐지부(610)는 얼굴 영역을 인식하여 시청자의 위치를 탐지할 수 있다. 여기서, 위치 탐지부(610)는 얼굴의 대칭을 이용한 알고리즘, 머리카락 색과 얼굴 색을 이용한 알고리즘, 및 얼굴의 윤곽을 이용한 알고리즘을 이용하여 얼굴 영역을 인식할 수 있다. 또한 위치 탐지부(610)는 영상 프레임에서 스킨 칼라 정보를 산출하여 얼굴 영역을 인식할 수 있다.
위치 탐지부(610)는 탐지한 시청자의 위치를 이용하여 시 거리를 인식할 수 있다. 일예로, 위치 탐지부(610)는 영상 프레임 내에서의 시청자의 이미지 비율 및 이미지 위치를 기초로 시 거리를 산출할 수 있다.
또한 위치 탐지부(610)는 기준 영상 프레임과 현재 영상 프레임을 비교하여 시 거리를 산출할 수 있다. 일예로, 위치 탐지부(610)는 기준 영상 프레임에서의 시청자의 이미지 비율과 현재 영상 프레임의 시청자의 이미지 비율을 비교하여 이미지 비율의 차이에 따라 시 거리를 산출할 수 있다. 즉 이미지 배율이 동일한 경우에는, 기준 영상 프레임에서의 시 거리가 현재 영상 프레임에서의 시 거리로 인식될 수 있다. 다른 예로, 위치 탐지부(610)는 기준 영상 프레임의 시청자의 이미지 크기와 현재 영상 프레임의 시청자의 이미지 크기를 비교하여 시 거리를 산출할 수 있다. 여기서 시청자의 이미지는 얼굴 영역 및 스킨 영역 중 하나일 수 있다.
또한 위치 탐지부(610)는 이전 영상 프레임과 현재 영상 프레임을 비교하여 시 거리를 산출할 수 있다. 이때, 비교 방식은 기준 영상 프레임과의 비교 방식과 동일한 비교 방식을 사용할 수 있다.
변화량 계산부(620)는 탐지한 시청자 위치를 기초로 입체영상 변화량을 산출하고 산출한 입체영상 변화량을 출력한다. 변화량 계산부(620)는 시청자가 디스플레이 패널과 평행한 방향으로 이동할 때, 디스플레이 패널 상에서의 시선 위치의 이동량 h를 다음의 수학식 5로부터 산출할 수 있다.
Figure 112010049215556-pat00005
여기서, H는 시청자의 머리 이동량이고, D는 입체영상 필터부터 시청자의 시선까지의 거리인 시 거리이며, d는 디스플레이 패널과 입체영상 필터의 간격이다.
시청자가 디스플레이 패널과 평행한 방향으로 이동할 때, 변화량 계산부(620)는 입체영상 변화량의 일예인 픽셀 이동량 P을 다음의 수학식 6로부터 산출할 수 있다.
Figure 112010049215556-pat00006
여기서, Q는 입체영상 픽셀 주기이다.
도 7은 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.
도 7을 참조하면, 본 발명에 따른 영상 처리 장치(122)는 튜너부(705), 복조부(710), 역다중화부(715), 네트워크 인터페이스부(720), 외부 신호 입력부(725), 비디오 디코더(730), 오디오 디코더(735), 제어부(740), 저장부(745), 버퍼(750), 그래픽 프로세서(760) 및 영상 드라이버(770)를 포함할 수 있다.
튜너부(705)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다. 튜너부(705)는 ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.
본 발명의 또 다른 실시예에 의하면, 입체영상 처리 장치(122)는 적어도 2개의 튜너부를 구비할 수 있다. 적어도 2개의 튜너부를 구비하는 경우, 제2 튜너부는 제1 튜너부와 유사하게 안테나를 통해 수신되는 RF 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다.
또한, 제2 튜너부는 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다. 제2 튜너부는 주기적으로 모든 방송 채널의 변환 작업을 수행할 수 있다. 따라서 입체영상 처리 장치(122)는 제1 튜너부를 통하여 변환된 방송 신호의 영상을 표시하면서, 제2 튜너부를 통하여 변환된 여러 채널의 영상을 썸 네일 형태로 제공할 수 있다. 이 경우, 제1 튜너부는 사용자가 선택한 메인 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환하고, 제2 튜너부는 메인 RF 방송 신호를 제외한 모든 RF 방송 신호를 순차적/주기적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.
복조부(710)는 튜너부(705)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 일예로, 튜너부(705)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(710)는 8-VSB(7-Vestigial Side Band) 복조를 수행한다. 또 다른 예로, 튜너부(705)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(710)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다.
또한, 복조부(710)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(710)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
복조부(710)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
역다중화부(715)는 복조부(710), 네트워크 인터페이스부(720) 및 외부 신호 입력부(725)로부터 스트림 신호를 수신할 수 있다. 또한 역다중화부(715)는 수신된 스트림 신호를 영상 신호, 음성 신호 및 데이터 신호로 역다중화하여 각각 비디오 디코더(730), 오디오 디코더(735) 및 제어부(740)로 출력할 수 있다.
비디오 디코더(730)는 역다중화부(715)로부터 영상 신호를 수신하고, 수신된 영상 신호를 복원하여 버퍼(750)에 저장한다. 여기서 영상 신호를 입체영상 신호를 포함할 수 있다.
오디오 디코더(735)는 역다중화부(715)로부터 영상 신호를 수신하고, 수신된 영상 신호를 복원하여 음성을 디스플레이 장치(130)로 출력한다.
네트워크 인터페이스부(720)는 네트워크 망으로부터 수신되는 패킷(packet)들을 수신하고, 네트워크 망으로 패킷을 전송한다. 즉 네트워크 인터페이스부(720)는 네트워크 망을 통해 서비스 제공 서버로부터 방송 데이터를 전달하는 IP 패킷을 수신한다. 여기서 방송 데이터는 컨텐츠, 컨텐츠 업데이트 여부를 알리는 업데이트 메시지, 메타데이터, 서비스 정보 데이터, 소프트웨어 코드를 포함한다. 또한 서비스 정보는 실시간 방송 서비스에 대한 서비스 정보 및 인터넷 서비스에 대한 서비스 정보를 포함할 수 있다. 여기서 인터넷 서비스는 CoD(Content's on Demand) 서비스, 유튜브 서비스, 날씨, 뉴스, 지역 정보 및 검색 등의 인포메이션 서비스, 게임, 노래방 등의 엔터테인먼트 서비스, TV 메일, TV SMS(Short Message Service) 등의 커뮤니케이션 서비스 등 인터넷을 통해 제공될 수 있는 서비스를 의미한다. 이에 따라 본 발명에서 디지털 방송 수신기는 네트워크 TV, 웹 TV 및 브로드밴드 TV를 포함한다. 또한 방송 서비스는 지상파, 위성 및 케이블을 통해 제공되는 방송 서비스뿐만 아니라 인터넷 서비스를 포함할 수 있다.
네트워크 인터페이스부(720)는 IP패킷을 스트림 신호를 포함하는 경우에는, IP패킷에서 스트림 신호를 추출하여 역다중화부(715)로 출력할 수 있다.
외부 신호 입력부(725)는 외부 장치와 입체영상 처리 장치(122)를 연결할 수 있는 인터페이스를 제공할 수 있다. 여기서 외부 장치는 DVD(Digital Versatile Disk), 블루레이(Bluray), 게임기기, 켐코더, 컴퓨터(노트북) 등 다양한 종류의 영상 또는 음성 출력 장치를 의미한다. 입체영상 처리 장치(122)는 외부 신호 입력부(725)로부터 수신된 영상 신호 및 음성 신호가 디스플레이되도록 제어할 수 있고, 데이터 신호를 저장하거나 사용할 수 있다.
제어부(740)는 명령어를 실행하고 입체영상 처리 장치(122)와 연관된 동작을 수행한다. 예를 들면, 저장부(745)로부터 검색된 명령어를 사용하여, 제어부(740)는 입체영상 처리 장치(122)의 컴포넌트들 간의 입력 및 출력, 데이터의 수신 및 처리를 제어할 수 있다. 제어부(740)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(740)에 대해 사용될 수 있다.
제어부(740)는 운영 체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 이에 대해 보다 상세히 기술하지 않는다. 예로서, 운영 체제는 Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다. 운영 체제, 다른 컴퓨터 코드 및 데이터는 제어부(740)와 연결되어 동작하는 저장부(745) 내에 존재할 수 있다.
저장부(745)는 일반적으로 입체영상 처리 장치(122)에 의해 사용되는 프로그램 코드 및 데이터를 저장하는 장소를 제공한다. 예로서, 저장부(745)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 입체영상 처리 장치(122) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함한다.
그래픽 프로세서(760)는 버퍼(750)에 저장된 영상 데이터가 디스플레이되도록 디스플레이 장치(130)를 제어한다. 그래픽 프로세서(760)는 픽셀주기 산출부(761), 마스크 생성부(762) 및 다중화부(763)를 포함할 수 있다.
픽셀주기 산출부(761)는 위치 추적 장치(121)로부터 수신된 시 거리를 이용하여 수학식 1로부터 입체영상 픽셀주기 Q를 산출할 수 있다.
마스크 생성부(762)는 픽셀주기 산출부(761)가 산출한 입체영상 픽셀주기 Q를 이용하여 입체영상에 대한 시점 마스크를 생성할 수 있다. 먼저, 마스크 생성부(762)는 입체영상 픽셀 주기 Q에 따라 각 서브픽셀의 소수점을 포함하는 시점 번호 Vi를 수학식 2로부터 결정할 수 있다. 다음으로, 마스크 생성부(762)는 서브픽셀별 시점 번호에 맞추어 시점 마스크를 수학식 3로부터 생성할 수 있다.
다중화부(763)는 마스크 생성부(762)가 생성한 시점 마스크를 이용하여 픽셀의 최종색을 결정할 수 있다. 다중화부(763)는 수학식 4로부터 최종색 MCi를 결정할 수 있다.
영상 드라이버(770)는 위치 추적 장치(121)가 산출한 입체영상 변화량을 기초를 최종색 MCi가 디스플레이될 서브 픽셀을 결정하고, 최종색 MCi가 결정된 서브 픽셀에 디스플레이되도록 제어 신호를 디스플레이 장치(130)로 출력할 수 있다. 여기서, 최종색 MCi은 i서브 픽셀이 상기 입체영상 변화량에 따라 이동된 위치에 위치하는 서브 픽셀에 디스플레이될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (22)

  1. 디스플레이 패널과 입체영상 필터를 포함하는 입체영상 디스플레이 장치 및 시스템의 입체영상 디스플레이 방법에 있어서,
    시 거리를 인식하는 단계;
    상기 인식된 시 거리를 이용하여 입체영상 픽셀 주기를 산출하는 단계;
    상기 산출된 입체영상 픽셀 주기를 이용하여 입체영상이 디스플레이되는 픽셀 및 서브 픽셀 중 적어도 하나의 색을 결정하는 단계; 및
    상기 결정된 색에 따라 상기 입체영상을 디스플레이하는 단계;를 포함하고,
    상기 입체영상 픽셀 주기는,
    상기 인식된 시 거리, 상기 디스플레이 패널과 상기 입체영상 필터 사이의 간격, 그리고 상기 입체영상 필터의 패턴 주기를 토대로 산출되며,
    상기 인식된 시 거리가 기준 시 거리보다 더 큰 시 거리로 인식될 때, 상기 입체영상 픽셀 주기는, 기준 입체영상 픽셀 주기보다 더 작게 산출되고,
    상기 시 거리가 기준 시 거리보다 더 작은 시 거리로 인식될 때, 상기 입체영상 픽셀 주기는, 기준 입체영상 픽셀 주기보다 더 크게 산출되며,
    상기 입체영상 픽셀 주기는, 하기 수학식 1로부터 산출되는,
    [수학식 1]
    Figure 112016094158985-pat00021

    (여기서, Q는 입체영상 픽셀 주기, D는 시 거리, d는 디스플레이 패널과 입체영상 필터 사이의 간격, R은 입체영상 필터의 패턴 주기임) 것을 특징으로 하는 입체영상 디스플레이 방법.
  2. 제 1항에 있어서,
    상기 시 거리는 촬상된 영상 프레임을 통해 인식되는 것을 특징으로 하는 입체영상 디스플레이 방법.
  3. 제 1항에 있어서,
    상기 색을 결정하는 단계는,
    상기 산출된 입체영상 픽셀 주기를 이용하여 상기 입체영상에 대한 시점 마스크를 생성하는 단계; 및
    상기 생성된 시점 마스크를 이용하여 상기 색을 결정하는 단계;를 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.
  4. 제 3항에 있어서,
    상기 시점 마스크를 생성하는 단계는,
    상기 산출된 입체영상 픽셀 주기를 이용하여 픽셀 및 서브 픽셀 중 적어도 하나의 시점 번호를 산출하는 단계; 및
    상기 산출된 시점 번호를 이용하여 상기 시점 마스크를 생성하는 단계;를 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.
  5. 제 4항에 있어서,
    상기 시점 번호는 상기 산출된 입체영상 픽셀주기, 초기 입체영상 픽셀주기 및 초기 시점 번호를 기초로 산출되는 것을 특징으로 하는 입체영상 디스플레이 방법.
  6. 제 4항에 있어서,
    상기 시점 번호는 시점 갯수 내의 범위를 갖는 것을 특징으로 하는 입체영상 디스플레이 방법.
  7. 제 1항에 있어서,
    시청자의 영상을 촬상하는 단계;
    상기 촬상된 영상에 포함된 영상 프레임을 이용하여 상기 시청자의 위치를 탐지하는 단계; 및
    상기 탐지된 시청자의 위치를 이용하여 입체영상 변화량을 산출하는 단계;를 더 포함하고,
    상기 디스플레이하는 단계에서,
    상기 입체영상 변화량에 따라 상기 결정된 색이 디스플레이될 위치를 조절하여 디스플레이하는 것을 특징으로 하는 입체영상 디스플레이 방법.
  8. 제 1항에 있어서,
    상기 입체영상은 다시점 영상인 것을 특징으로 하는 입체영상 디스플레이 방법.
  9. 제 1항에 있어서,
    상기 입체영상을 포함하는 RF 방송 신호를 수신하는 단계;
    상기 수신된 RF 방송 신호를 복조하는 단계;
    상기 복조된 RF 방송 신호를 입체영상 신호, 오디오 신호 및 데이터 신호로 역다중화하는 단계; 및
    상기 역다중화된 입체영상 신호를 디코딩하는 단계;를 더 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.
  10. 제 1항에 있어서,
    상기 입체영상을 포함하는 IP(Internet Protocol) 패킷을 수신하는 단계;
    상기 입체영상을 디코딩하는 단계;를 더 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.
  11. 디스플레이 패널과 입체영상 필터를 포함하는 입체영상 디스플레이 장치에 있어서,
    시 거리를 인식하는 위치 추적부; 및
    상기 인식된 시 거리를 이용하여 입체영상 픽셀 주기를 산출하고, 상기 산출된 입체영상 픽셀 주기를 이용하여 입체영상이 디스플레이되는 픽셀 및 서브 픽셀 중 적어도 하나의 색을 결정하며, 상기 결정된 색에 따라 상기 입체영상이 디스플레이되도록 제어하는 영상 처리부;를 포함하고,
    상기 입체영상 픽셀 주기는,
    상기 인식된 시 거리, 상기 디스플레이 패널과 상기 입체영상 필터 사이의 간격, 그리고 상기 입체영상 필터의 패턴 주기를 토대로 산출되며,
    상기 인식된 시 거리가 기준 시 거리보다 더 큰 시 거리로 인식될 때, 상기 입체영상 픽셀 주기는, 기준 입체영상 픽셀 주기보다 더 작게 산출되고,
    상기 시 거리가 기준 시 거리보다 더 작은 시 거리로 인식될 때, 상기 입체영상 픽셀 주기는, 기준 입체영상 픽셀 주기보다 더 크게 산출되며,
    상기 입체영상 픽셀 주기는, 하기 수학식 1로부터 산출되는,
    [수학식 1]
    Figure 112016094158985-pat00022

    (여기서, Q는 입체영상 픽셀 주기, D는 시 거리, d는 디스플레이 패널과 입체영상 필터 사이의 간격, R은 입체영상 필터의 패턴 주기임) 것을 특징으로 하는 입체영상 디스플레이 장치.
  12. 제 11항에 있어서,
    상기 위치 추적부는 촬상된 영상 프레임을 이용하여 상기 시 거리를 인식하는 것을 특징으로 하는 입체영상 디스플레이 장치.
  13. 제 11항에 있어서,
    상기 영상 처리부는,
    상기 인식된 시 거리를 이용하여 입체영상 픽셀 주기를 산출하는 픽셀 주기 산출부;
    상기 산출된 입체영상 픽셀 주기를 이용하여 상기 입체영상에 대한 시점 마스크를 생성하는 마스크 생성부; 및
    상기 생성된 시점 마스크를 이용하여 상기 색을 결정하는 다중화부;를 포함하는 것을 특징으로 하는 입체영상 디스플레이 장치.
  14. 제 13항에 있어서,
    상기 마스크 생성부는,
    상기 산출된 입체영상 픽셀 주기를 이용하여 픽셀 및 서브 픽셀 중 적어도 하나의 시점 번호를 산출하고, 상기 산출된 시점 번호를 이용하여 상기 시점 마스크를 생성하는 것을 특징으로 하는 입체영상 디스플레이 장치.
  15. 제 14항에 있어서,
    상기 시점 번호는 상기 산출된 입체영상 픽셀주기, 초기 입체영상 픽셀주기 및 초기 시점 번호를 기초로 산출되는 것을 특징으로 하는 입체영상 디스플레이 장치.
  16. 제 14항에 있어서,
    상기 시점 번호는 시점 갯수 내의 범위를 갖는 것을 특징으로 하는 입체영상 디스플레이 장치.
  17. 제 11항에 있어서,
    상기 위치 추적부는,
    시청자가 촬상된 영상에 포함된 영상 프레임을 이용하여 상기 시청자의 위치를 탐지하는 위치 탐지부; 및
    상기 탐지된 시청자의 위치를 이용하여 입체영상 변화량을 산출하는 변화량 계산부;를 더 포함하는 것을 특징으로 하는 입체영상 디스플레이 장치.
  18. 제 17항에 있어서,
    상기 영상 처리부는,
    상기 입체영상 변화량에 따라 상기 결정된 색이 디스플레이될 위치를 조절하는 것을 특징으로 하는 입체영상 디스플레이 장치.
  19. 제 11항에 있어서,
    상기 입체영상은 다시점 영상인 것을 특징으로 하는 입체영상 디스플레이 장치.
  20. 제 11항에 있어서,
    상기 입체영상을 포함하는 RF 방송 신호를 수신하는 튜너부;
    상기 수신된 RF 방송 신호를 복조하는 복조부;
    상기 복조된 RF 방송 신호를 입체영상 신호, 오디오 신호 및 데이터 신호로 역다중화하는 역다중화부; 및
    상기 역다중화된 입체영상 신호를 디코딩하는 디코더;를 더 포함하는 것을 특징으로 하는 입체영상 디스플레이 장치.
  21. 제 11항에 있어서,
    상기 입체영상을 포함하는 IP(Internet Protocol) 패킷을 수신하는 네트워크 인터페이스부; 및
    상기 입체영상을 디코딩하는 디코더;를 더 포함하는 것을 특징으로 하는 입체영상 디스플레이 장치.
  22. 디스플레이 패널과 입체영상 필터를 포함하는 입체영상 디스플레이 시스템에 있어서,
    시청자의 영상을 촬상하는 카메라;
    상기 촬상된 영상에 포함된 영상 프레임을 이용하여 시 거리를 인식하는 위치 추적부;
    상기 인식된 시 거리를 이용하여 입체영상 픽셀 주기를 산출하고, 상기 산출된 입체영상 픽셀 주기를 이용하여 입체영상이 디스플레이되는 픽셀 및 서브 픽셀 중 적어도 하나의 색을 결정하며, 상기 결정된 색에 따라 상기 입체영상이 디스플레이되도록 제어하는 영상 처리부; 및
    상기 입체영상을 디스플레이하는 디스플레이 장치;를 포함하고,
    상기 입체영상 픽셀 주기는,
    상기 인식된 시 거리, 상기 디스플레이 패널과 상기 입체영상 필터 사이의 간격, 그리고 상기 입체영상 필터의 패턴 주기를 토대로 산출되며,
    상기 인식된 시 거리가 기준 시 거리보다 더 큰 시 거리로 인식될 때, 상기 입체영상 픽셀 주기는, 기준 입체영상 픽셀 주기보다 더 작게 산출되고,
    상기 시 거리가 기준 시 거리보다 더 작은 시 거리로 인식될 때, 상기 입체영상 픽셀 주기는, 기준 입체영상 픽셀 주기보다 더 크게 산출되며,
    상기 입체영상 픽셀 주기는, 하기 수학식 1로부터 산출되는,
    [수학식 1]
    Figure 112016094158985-pat00023

    (여기서, Q는 입체영상 픽셀 주기, D는 시 거리, d는 디스플레이 패널과 입체영상 필터 사이의 간격, R은 입체영상 필터의 패턴 주기임) 것을 특징으로 하는 입체영상 디스플레이 시스템.
KR1020100073473A 2010-07-29 2010-07-29 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법 KR101685981B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100073473A KR101685981B1 (ko) 2010-07-29 2010-07-29 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법
US13/190,211 US8942427B2 (en) 2010-07-29 2011-07-25 Method and an apparatus for displaying a 3-dimensional image
EP11006133.0A EP2413610B1 (en) 2010-07-29 2011-07-26 Method and apparatus for displaying a 3-dimensional image
CN201110278772.8A CN102348124B (zh) 2010-07-29 2011-07-28 显示三维图像的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100073473A KR101685981B1 (ko) 2010-07-29 2010-07-29 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법

Publications (2)

Publication Number Publication Date
KR20120011573A KR20120011573A (ko) 2012-02-08
KR101685981B1 true KR101685981B1 (ko) 2016-12-13

Family

ID=44991053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100073473A KR101685981B1 (ko) 2010-07-29 2010-07-29 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법

Country Status (4)

Country Link
US (1) US8942427B2 (ko)
EP (1) EP2413610B1 (ko)
KR (1) KR101685981B1 (ko)
CN (1) CN102348124B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI530154B (zh) * 2011-03-17 2016-04-11 群邁通訊股份有限公司 3d可視視角自動調整系統及方法
KR101911250B1 (ko) 2012-03-19 2018-10-24 엘지전자 주식회사 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법
US9367914B2 (en) 2012-05-16 2016-06-14 The Johns Hopkins University Imaging system and method for use of same to determine metric scale of imaged bodily anatomy
CN102802000A (zh) * 2012-08-09 2012-11-28 冠捷显示科技（厦门）有限公司 一种追踪式多视角立体显示器影像质量提升方法
US9883171B2 (en) 2012-08-10 2018-01-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Autostereoscopic screen and method for the simultaneous reproduction of more than two different pictures
US20140313580A1 (en) * 2013-04-17 2014-10-23 Firsthand Technology Inc. Immersive display apparatus
US20150052008A1 (en) * 2013-08-16 2015-02-19 iWeave International Mobile Application For Hair Extensions
US10652525B2 (en) 2013-10-31 2020-05-12 3Di Llc Quad view display system
US9986228B2 (en) 2016-03-24 2018-05-29 3Di Llc Trackable glasses system that provides multiple views of a shared display
US11343487B2 (en) 2013-10-31 2022-05-24 David Woods Trackable glasses system for perspective views of a display
US9883173B2 (en) 2013-12-25 2018-01-30 3Di Llc Stereoscopic display
WO2016007976A1 (de) 2014-07-15 2016-01-21 Novomatic Ag Verfahren zur darstellung einer dreidimensionalen szene auf einem autostereoskopischen monitor

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5349379A (en) * 1992-09-09 1994-09-20 Dimension Technologies Inc. Autostereoscopic display illumination system allowing viewing zones to follow the observer's head
EP0687366B1 (en) * 1993-03-03 2000-01-26 STREET, Graham Stewart Brandon Method and apparatus for image alignment
JP2718401B2 (ja) * 1995-08-25 1998-02-25 日本電気株式会社 線対称図形整形装置及び任意の数の対称軸の全てについて線対称な図形を生成する方法
US5936774A (en) * 1995-08-29 1999-08-10 Street; Graham S. B. Autostereoscopic display
US7190518B1 (en) * 1996-01-22 2007-03-13 3Ality, Inc. Systems for and methods of three dimensional viewing
GB2309609A (en) * 1996-01-26 1997-07-30 Sharp Kk Observer tracking autostereoscopic directional display
US5832115A (en) * 1997-01-02 1998-11-03 Lucent Technologies Inc. Ternary image templates for improved semantic compression
US7224526B2 (en) * 1999-12-08 2007-05-29 Neurok Llc Three-dimensional free space image projection employing Fresnel lenses
US7463823B2 (en) * 2003-07-24 2008-12-09 Brainlab Ag Stereoscopic visualization device for patient image data and video images
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
US7860280B2 (en) * 2006-06-09 2010-12-28 Samsung Electronics Co., Ltd. Facial feature detection method and device
US8068278B2 (en) * 2007-09-19 2011-11-29 The Aerospace Corporation Photostructured imaging display panels
US9185426B2 (en) 2008-08-19 2015-11-10 Broadcom Corporation Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
JP5356952B2 (ja) * 2009-08-31 2013-12-04 レムセン イノベーション、リミティッド ライアビリティー カンパニー 表示装置
US20110234605A1 (en) * 2010-03-26 2011-09-29 Nathan James Smith Display having split sub-pixels for multiple image display functions
JP5050120B1 (ja) * 2011-08-31 2012-10-17 株式会社東芝 立体画像表示装置

Also Published As

Publication number Publication date
CN102348124A (zh) 2012-02-08
US8942427B2 (en) 2015-01-27
EP2413610A2 (en) 2012-02-01
EP2413610A3 (en) 2014-01-22
CN102348124B (zh) 2014-05-21
US20120027257A1 (en) 2012-02-02
KR20120011573A (ko) 2012-02-08
EP2413610B1 (en) 2022-07-13

Similar Documents

Publication Publication Date Title
KR101729556B1 (ko) 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법, 그리고 위치 추적 장치
KR101685981B1 (ko) 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법
KR101695819B1 (ko) 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법
KR101717787B1 (ko) 디스플레이장치 및 그의 음성신호 출력 방법
US8836694B2 (en) Terminal device including a three-dimensional capable display
US20070008575A1 (en) Transport stream structure including image data and apparatus and method for transmitting and receiving image data
Gotchev et al. Three-dimensional media for mobile devices
US9395546B2 (en) Stereoscopic image processing system and device and glasses
WO2012128535A2 (en) Apparatus for controlling depth/distance of sound and method thereof
KR101005015B1 (ko) 관심 영역 깊이 정보 기반의 3차원 방송 서비스 방법 및 장치
KR101867815B1 (ko) 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법
Hu et al. Mobile edge assisted live streaming system for omnidirectional video
KR101758274B1 (ko) 입체영상 디스플레이 시스템, 입체영상 디스플레이 방법 및 입체영상 처리 장치
KR101746538B1 (ko) 입체영상 처리 시스템, 입체영상 처리 방법 및 액정 안경
KR101746539B1 (ko) 입체영상 처리 시스템, 입체영상 처리 방법 및 안경
KR101895943B1 (ko) 셔터 안경, 셔터 안경을 제어하기 위한 방법 및 3차원 영상 처리 장치
EP3494691A1 (en) Method for temporal inter-view prediction and technical equipment for the same
KR101804912B1 (ko) 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법
US20120300029A1 (en) Video processing device, transmission device, stereoscopic video viewing system, video processing method, video processing program and integrated circuit
KR20120081340A (ko) 전자 장치, 안경, 전자 장치의 페어링 방법 및 안경의 페어링 방법
KR20120087736A (ko) 안경, 안경의 셔터 동기화 방법 및 셔터 동기화 방법
KR20120107418A (ko) 음향의 깊이 제어방법 및 제어장치
KR20130101928A (ko) 영상표시기기 및 그 동작 방법
KR20140130315A (ko) 착용형 전자 장치 및 그의 제어 방법
KR20130010612A (ko) 입체영상 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant