KR101992163B1 - 입체영상 표시장치와 그 구동방법 - Google Patents

입체영상 표시장치와 그 구동방법 Download PDF

Info

Publication number
KR101992163B1
KR101992163B1 KR1020120134053A KR20120134053A KR101992163B1 KR 101992163 B1 KR101992163 B1 KR 101992163B1 KR 1020120134053 A KR1020120134053 A KR 1020120134053A KR 20120134053 A KR20120134053 A KR 20120134053A KR 101992163 B1 KR101992163 B1 KR 101992163B1
Authority
KR
South Korea
Prior art keywords
data
horizontal
image
horizontal line
subpixel
Prior art date
Application number
KR1020120134053A
Other languages
English (en)
Other versions
KR20140066613A (ko
Inventor
박명수
정보균
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020120134053A priority Critical patent/KR101992163B1/ko
Priority to US13/941,867 priority patent/US9420269B2/en
Priority to CN201310356688.2A priority patent/CN103841397B/zh
Publication of KR20140066613A publication Critical patent/KR20140066613A/ko
Application granted granted Critical
Publication of KR101992163B1 publication Critical patent/KR101992163B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 무안경 방식의 입체영상 표시장치와 그 구동방법에 관한 것이다. 본 발명의 실시 예에 따른 입체영상 표시장치는 2D 모드에서 2D 영상을 표시하고, 3D 모드에서 제1 내지 제n(n은 2 이상의 자연수) 뷰 영상들을 포함하는 멀티뷰 영상을 표시하는 픽셀들을 포함하는 표시패널; 상기 제1 내지 제n 뷰 영상들을 제1 내지 제n 뷰 영역들로 진행시키는 광학판; 상기 2D 모드에서 상기 제1 내지 제n 뷰 영역들로 진행되는 영상을 표시하는 제1 내지 제n 서브 픽셀들에 공급되는 제1 내지 제n 서브 픽셀 데이터들이 상기 제1 내지 제n 서브 픽셀 데이터들 중 적어도 어느 한 서브 픽셀 데이터에 모두 반영되도록 변환한 2D 변환 영상 데이터를 출력하는 영상처리부; 상기 2D 모드에서 상기 2D 변환 영상 데이터를 아날로그 데이터 전압으로 변환하여 상기 표시패널의 데이터 라인들에 공급하는 데이터 구동회로; 및 상기 표시패널의 게이트 라인들에 게이트 펄스를 순차적으로 공급하는 게이트 구동회로를 포함한다.

Description

입체영상 표시장치와 그 구동방법{STEREOSCOPIC IMAGE DISPLAY DEVICE AND METHOD FOR DRIVING THE SAME}
본 발명은 무안경 방식의 입체영상 표시장치와 그 구동방법에 관한 것이다.
입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나누어진다. 양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경 방식과 무안경 방식이 있고 두 방식 모두 실용화되고 있다. 안경 방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 표시하고 편광 안경을 사용하여 입체영상을 구현하는 패턴 리타더(patterned retarder) 방식이 있다. 또한, 안경 방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상을 시분할하여 표시하고 액정셔터안경을 사용하여 입체영상을 구현하는 셔터안경(shutter glasses) 방식이 있다. 무안경 방식은 일반적으로 패럴렉스 배리어(parallax barrier) 또는 렌티큘러 렌즈(lenticular lens) 등의 광학판을 사용하여 좌우 시차 영상을 분리하여 입체영상을 구현한다.
최근에 무안경 방식은 사용자가 셔터안경이나 편광안경을 착용하지 않고 입체영상을 시청할 수 있는 편의성으로 인해 스마트폰(smart phone), 태블릿(tablet), 및 노트북(notebook) 등의 중소형 디스플레이에 많이 적용되고 있다. 무안경 방식은 광학판을 이용하여 n(n은 2 이상의 자연수) 개의 뷰 영상들 각각의 광경로를 다르게 제어하여 n 개의 뷰 영역들에 표시함으로써 입체영상을 구현한다.
한편, 2D 영상 표시장치의 화소들로부터 출력되는 2D 영상은 사용자의 좌안과 우안에 모두 입력된다. 하지만, 무안경 방식의 입체영상 표시장치는 패럴렉스 배리어 또는 렌티큘러 렌즈를 이용하여 광경로를 제어하는 경우, 2D 모드에서 입체영상 표시장치의 화소들로부터 출력되는 2D 영상은 n 개의 뷰 영역들에 표시된다. 이로 인해, 사용자의 좌안과 우안 각각에는 무안경 방식의 입체영상 표시장치의 화소들로부터 출력되는 2D 영상의 일부만이 입력될 수 있다. 예를 들어, 사용자의 좌안이 제1 뷰 영역에 위치하고, 사용자의 우안이 제2 뷰 영역에 위치하는 경우, 사용자의 좌안에는 광학판에 의해 제1 뷰 영역들로 진행되는 화소들의 영상이 입력되고, 사용자의 우안에는 광학판에 의해 제2 뷰 영역들로 진행되는 화소들의 영상이 입력될 수 있다. 즉, 사용자의 좌안과 우안 각각에는 2D 영상의 일부만이 입력될 수 있으므로, 사용자는 무안경 방식의 입체영상 표시장치로 2D 영상 시청시 화질 저하를 느끼게 된다. 또한, 사용자가 어느 뷰 영역에 위치하느냐에 따라 사용자가 시청하는 2D 영상이 달라질 수 있으므로, 사용자는 시청 위치에 따라 2D 영상의 화질이 다르게 느끼게 된다.
본 발명은 2D 영상의 화질을 개선할 수 있는 무안경 방식의 입체영상 표시장치를 제공한다.
본 발명의 실시 예에 따른 입체영상 표시장치는 2D 모드에서 2D 영상을 표시하고, 3D 모드에서 제1 내지 제n(n은 2 이상의 자연수) 뷰 영상들을 포함하는 멀티뷰 영상을 표시하는 픽셀들을 포함하는 표시패널; 상기 제1 내지 제n 뷰 영상들을 제1 내지 제n 뷰 영역들로 진행시키는 광학판; 상기 2D 모드에서 상기 제1 내지 제n 뷰 영역들로 진행되는 영상을 표시하는 제1 내지 제n 서브 픽셀들에 공급되는 제1 내지 제n 서브 픽셀 데이터들이 상기 제1 내지 제n 서브 픽셀 데이터들 중 적어도 어느 한 서브 픽셀 데이터에 모두 반영되도록 변환한 2D 변환 영상 데이터를 출력하는 영상처리부; 상기 2D 모드에서 상기 2D 변환 영상 데이터를 아날로그 데이터 전압으로 변환하여 상기 표시패널의 데이터 라인들에 공급하는 데이터 구동회로; 및 상기 표시패널의 게이트 라인들에 게이트 펄스를 순차적으로 공급하는 게이트 구동회로를 포함한다.
본 발명의 실시 예에 따른 입체영상 표시장치의 구동방법은 2D 모드에서 2D 영상을 표시하고, 3D 모드에서 제1 내지 제n(n은 2 이상의 자연수) 뷰 영상들을 포함하는 멀티뷰 영상을 표시하는 픽셀들을 포함하는 표시패널과, 상기 제1 내지 제n 뷰 영상들을 제1 내지 제n 뷰 영역들로 진행시키는 광학판을 구비하는 입체영상 표시장치의 구동방법에 있어서, 상기 2D 모드에서 상기 제1 내지 제n 뷰 영역들로 진행되는 영상을 표시하는 제1 내지 제n 서브 픽셀들에 공급되는 제1 내지 제n 서브 픽셀 데이터들이 상기 제1 내지 제n 서브 픽셀 데이터들 중 적어도 어느 한 서브 픽셀 데이터에 모두 반영되도록 변환한 2D 변환 영상 데이터를 출력하는 제1 단계; 상기 2D 모드에서 상기 2D 변환 영상 데이터를 아날로그 데이터 전압으로 변환하여 상기 표시패널의 데이터 라인들에 공급하는 제2 단계; 및 상기 표시패널의 게이트 라인들에 게이트 펄스를 순차적으로 공급하는 제3 단계를 포함한다.
본 발명은 제1 내지 제n 뷰 영역들로 진행되는 영상을 표시하는 제1 내지 제n 서브 픽셀들에 공급되는 제1 내지 제n 서브 픽셀 데이터들이 제1 내지 제n 서브 픽셀 데이터들 중 적어도 어느 한 서브 픽셀 데이터에 모두 반영되도록 변환한다. 그 결과, 본 발명은 사용자의 좌안과 우안 각각에 서브 픽셀들로부터 출력되는 2D 영상의 일부만이 입력되는 것을 방지할 수 있으므로, 2D 영상의 화질을 높일 수 있다.
도 1은 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도.
도 2는 표시패널의 화소들과 광학판의 배치를 상세히 보여주는 일 예시도면.
도 3은 도 2의 영상처리부를 상세히 보여주는 블록도.
도 4는 도 3의 영상처리부의 영상처리방법을 보여주는 흐름도.
도 5는 어느 한 수평 라인에 배치된 서브 픽셀들이 표시하는 뷰 영상과 그들의 색을 보여주는 일 예시도면.
도 6은 어느 한 수직 라인에 배치된 서브 픽셀들이 표시하는 뷰 영상과 그들의 색을 보여주는 일 예시도면.
도 7은 제j 수평 라인의 서브 픽셀 데이터들로부터 산출된 제j 수평 라인의 수평 보간 데이터들의 일 예를 보여주는 일 예시도면.
도 8은 제j 수평 라인의 서브 픽셀 데이터들로부터 산출된 제j 수평 라인의 수평 보간 데이터들의 또 다른 예를 보여주는 일 예시도면.
도 9는 제j 내지 제j+VIN 수평 라인의 수평 보간 데이터들로부터 산출된 제j 수평 라인의 수직 보간 데이터들의 일 예를 보여주는 예시도면.
도 10은 종래 무안경 방식의 입체영상 표시장치의 2D 영상을 보여주는 일 예시도면.
도 11은 본 발명의 실시 예에 따른 무안경 방식의 입체영상 표시장치의 2D 영상을 보여주는 일 예시도면.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.
도 1은 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도이다. 도 1을 참조하면, 본 발명의 실시 예에 따른 입체영상 표시장치는 표시패널(10), 광학판(30), 게이트 구동회로(110), 데이터 구동회로(120), 타이밍 콘트롤러(130), 영상처리부(140), 및 호스트 시스템(150) 등을 구비한다. 본 발명의 실시 예에 따른 입체영상 표시장치는 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시예에서 입체영상 표시장치가 액정표시소자로 구현된 것을 중심으로 예시하였지만, 이에 한정되지 않는 것에 주의하여야 한다.
표시패널(10)은 액정층을 사이에 두고 대향하는 상부기판과 하부기판을 포함한다. 표시패널(10)에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)의 교차 구조에 의해 매트릭스 형태로 배열되는 액정셀들을 포함하는 화소 어레이가 형성된다. 화소 어레이의 액정셀들 각각은 TFT(Thin Film Transistor)를 통해 데이터 전압이 충전되는 화소 전극과 공통전압이 인가되는 공통전극의 전압 차에 의해 액정층의 액정을 구동시켜 빛의 투과량을 조정함으로써 화상을 표시한다.
표시패널(10)의 상부기판상에는 블랙매트릭스와 컬러필터가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식의 경우에 상부기판상에 형성되며, IPS(In-Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식의 경우에 화소전극과 함께 하부기판상에 형성될 수 있다. 표시패널(10)의 액정모드는 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다. 액정표시패널의 상부기판과 하부기판 각각에는 편광판이 부착되고 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부기판과 하부기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서(spacer)가 형성된다.
표시패널(10)은 투과형 액정표시패널, 반투과형 액정표시패널, 반사형 액정표시패널 등 어떠한 형태로도 구현될 수 있다. 투과형 액정표시패널과 반투과형 액정표시패널에서는 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.
광학판(30)은 표시패널(10)의 서브 픽셀들에 표시되는 제1 내지 제n(n은 자연수) 뷰 영상들 각각을 제1 내지 제n 뷰 영역들 각각으로 진행시킨다. 즉, 광학판(30)은 서브 픽셀들에 표시되는 제t(t는 1≤t≤n을 만족하는 자연수) 뷰 영상(Vt)을 제t 뷰 영역(VPt)으로 진행시킨다. 광학판(30)은 패럴렉스 배리어(parallax barrier) 또는 렌티큘러 렌즈(lenticular lens)로 구현될 수 있다. 본 발명은 아래의 실시 예에서 광학판(30)이 렌티큘러 렌즈로 구현된 것을 중심으로 예시하였지만, 이에 한정되지 않는 것에 주의하여야 한다. 또한, 광학판(30)은 슬랜티드 방식 또는 버티컬 방식으로 배치될 수 있다. 슬랜티드 방식은 도 2와 같이 광학판(30)이 표시패널(10)의 서브 픽셀들 대비 소정의 각도로 비스듬하게 형성되는 방식이고, 버티컬 방식은 광학판(30)이 표시패널(10)의 서브 픽셀들의 길이 방향(또는 수직 방향)과 나란하게 형성되는 방식이다. 본 발명은 아래의 실시 예에서 광학판(30)이 슬랜티드 방식으로 구현된 것을 중심으로 예시하였지만, 이에 한정되지 않는 것에 주의하여야 한다. 광학판(30)에 대하여는 도 2를 결부하여 상세히 설명한다.
데이터 구동회로(120)는 다수의 소스 드라이브 집적회로(Integrated Circuit, 이하 'IC'라 칭함)들을 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)의 제어 하에 2D 변환 영상 데이터(RGB2D') 또는 멀티뷰 영상 데이터(MVD)를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 데이터 전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.
게이트 구동회로(110)는 타이밍 콘트롤러(130)의 제어 하에 표시패널(10)의 게이트 라인(G)들에 데이터 전압들에 동기되는 게이트 펄스들(또는 스캔 펄스들)을 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다.
타이밍 콘트롤러(130)는 영상처리부(140)로부터 2D 변환 영상 데이터(RGB2D') 또는 멀티뷰 영상 데이터(MVD')와 타이밍 신호들과 모드 신호(MODE) 등을 입력받는다. 타이밍 신호들은 수직동기신호(vertical synchronization signal), 수평동기신호(horizontal synchronization signal), 데이터 인에이블 신호(data enable signal), 및 클럭 신호(clock signal) 등을 포함할 수 있다. 타이밍 콘트롤러(130)는 2D 모드에서 2D 변환 영상 데이터(RGB2D')와 타이밍 신호들에 기초하여 게이트 구동회로(110)를 제어하기 위한 게이트 제어신호(GCS)를 생성하고, 데이터 구동회로(120)를 제어하기 위한 데이터 제어신호(DCS)를 생성한다. 타이밍 콘트롤러(130)는 3D 모드에서 멀티뷰 영상 데이터(MVD)와 타이밍 신호들에 기초하여 게이트 구동회로(110)를 제어하기 위한 게이트 제어신호(GCS)를 생성하고, 데이터 구동회로(120)를 제어하기 위한 데이터 제어신호(DCS)를 생성한다. 타이밍 콘트롤러(130)는 게이트 제어신호(GCS)를 게이트 구동회로(110)에 공급한다. 타이밍 콘트롤러(130)는 2D 모드에서 2D 변환 영상 데이터(RGB2D')와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급하고, 3D 모드에서 멀티뷰 영상 데이터(MVD)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급한다.
호스트 시스템(150)은 외부 비디오 소스 기기로부터 입력되는 2D 영상 데이터(RGB2D) 또는 멀티뷰 영상 데이터(MVD)를 표시패널(10)에 표시하기에 적합한 해상도의 데이터 포맷으로 변환하기 위해 스케일러(scaler)가 내장된 시스템 온 칩(System on Chip)을 포함할 수 있다. 호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 2D 영상 데이터(RGB2D) 또는 멀티뷰 영상 데이터(MVD)와 타이밍 신호들을 영상처리부(140)에 공급한다. 호스트 시스템(150)은 2D 모드에서 2D 영상 데이터(RGB2D)와 타이밍 신호들을 영상처리부(140)에 공급하고, 3D 모드에서 멀티뷰 영상 데이터(MVD)와 타이밍 신호들을 영상처리부(140)에 공급한다. 또한, 호스트 시스템(150)은 2D 모드와 3D 모드를 구분할 수 있는 모드 신호(MODE)를 영상처리부(140)에 공급한다.
영상처리부(140)는 모드 신호(MODE)에 따라 2D 모드와 3D 모드를 구분할 수 있다. 영상처리부(140)는 2D 모드에서 호스트 시스템(150)으로부터 2D 영상 데이터(RGB2D)를 입력받는다. 영상처리부(140)는 2D 모드에서 제1 내지 제n 뷰 영역들로 진행되는 영상을 표시하는 제1 내지 제n 서브 픽셀들에 공급되는 제1 내지 제n 서브 픽셀 데이터들이 상기 제1 내지 제n 서브 픽셀 데이터들 중 적어도 어느 한 서브 픽셀 데이터에 모두 반영되도록 되도록 변환한 2D 변환 영상 데이터(RGB2D')를 타이밍 콘트롤러(130)로 출력한다. 영상처리부(140)는 3D 모드에서 호스트 시스템(150)으로부터 멀티뷰 영상 데이터(MVD)를 입력받는다. 영상처리부(140)는 3D 모드에서 멀티뷰 영상 데이터(MVD)를 변환하지 않고 그대로 타이밍 콘트롤러(130)로 출력한다. 영상처리부(140)의 영상처리방법에 대하여는 도 3 및 도 4를 결부하여 상세히 설명한다.
도 2는 표시패널의 화소들과 광학판의 배치를 상세히 보여주는 일 예시도면이다. 도 2에서는 표시패널(10)의 서브 픽셀들이 9 개의 뷰 영상들(V1~V9)을 표시하는 것을 중심으로 설명하였으나, 이에 한정되지 않음에 주의하여야 한다. 표시패널(10)의 서브 픽셀들은 n(n은 2 이상의 자연수) 개의 뷰 영상들을 표시할 수 있다. 또한, 도 2에서는 광학판(30)이 표시패널의 서브 픽셀들 대비 소정의 각도로 비스듬하게 형성된 슬랜티드 렌즈(SL)로 구현된 것을 중심으로 설명하였으나, 이에 한정되지 않음에 주의하여야 한다. 즉, 광학판(30)은 슬랜티드 배리어, 표시패널의 서브 픽셀들의 수직 방향으로 형성된 버티컬 렌즈, 또는 버티컬 배리어로도 구현될 수 있다.
도 2를 참조하면, 표시패널의 픽셀들 각각은 적색(red), 녹색(green), 및 청색(blue) 서브 픽셀들(R, G, B)을 포함하는 것을 중심으로 설명하였지만, 이에 한정되지 않음에 주의하여야 한다. 표시패널의 픽셀들 각각은 적색, 녹색, 청색, 및 화이트(white) 서브 픽셀들로 구현되거나, 노란색(yellow), 자홍색(cyan), 및 청록색(magenta) 서브 픽셀들로 구현될 수도 있다.
슬랜티드 렌즈(SL)는 제1 내지 제9 렌즈 영역들(LA1~LA9)을 포함한다. 제t 렌즈 영역(LAt)에 배치된 서브 픽셀들이 표시하는 영상은 슬랜티드 렌즈(SL)에 의해 제t 뷰 영역으로 진행된다. 3D 모드에서 제t 렌즈 영역(LAt)에는 제t 뷰 영상(Vt)을 표시하는 서브 픽셀들이 배치되므로, 제t 렌즈 영역(LAt)은 제t 뷰 영상(Vt)을 제t 뷰 영역으로 굴절시킬 수 있다. 예를 들어, 3D 모드에서 제1 렌즈 영역(LA1)에 배치된 서브 픽셀들이 표시하는 제1 뷰 영상(V1)은 슬랜티드 렌즈(SL)에 의해 제1 뷰 영역으로 굴절될 수 있다. 그러므로, 3D 모드에서 사용자의 좌안이 제t 뷰 영역(VPt)에 위치하고 우안이 제t-1 뷰 영역(VPt-1) 또는 제t+1 뷰 영역(VPt+1)에 위치한다면, 사용자는 좌안으로 제t 뷰 영상(Vt)을 시청하고, 우안으로 제t-1 뷰 영상 또는 제t+1 뷰 영상을 시청할 수 있다. 예를 들어, 3D 모드에서 사용자의 좌안이 제2 뷰 영역에 위치하고 우안이 제1 뷰 영역 또는 제3 뷰 영역에 위치한다면, 사용자는 좌안으로 제2 뷰 영상을 시청하고, 우안으로 제1 뷰 영상 또는 제3 뷰 영상을 시청할 수 있다. 결국, 사용자는 3D 모드에서 양안 시차에 의해 입체감을 느낄 수 있다.
하지만, 슬랜티드 렌즈(SL)는 2D 모드에서도 제t 렌즈 영역(LAt)에 배치된 서브 픽셀들이 표시하는 영상을 제t 뷰 영역으로 진행시킨다. 즉, 2D 영상은 사용자의 양안 시차를 고려할 필요가 없으나, 슬랜티드 렌즈(SL)의 특성으로 인해 2D 영상은 제1 내지 제n 뷰 영역으로 분리되어 표시된다. 이로 인해, 사용자의 좌안과 우안 각각에는 서브 픽셀들로부터 출력되는 2D 영상의 일부만이 입력될 수 있다. 예를 들어, 사용자의 좌안이 제t 뷰 영역에 위치하고, 사용자는 좌안으로 제t 렌즈 영역(LAt)에 배치된 서브 픽셀들이 표시하는 영상을 시청하고, 우안으로 제t-1 렌즈 영역(LAt-1) 또는 제t+1 렌즈 영역(LAt+1)에 배치된 서브 픽셀들이 표시하는 영상을 시청하게 된다. 그 결과, 사용자는 2D 모드에서 2D 영상 시청시 화질 저하를 느낄 수 있다. 이하에서, 도 3 및 도 4를 결부하여 무안경 방식의 입체영상 표시장치의 2D 모드에서 2D 영상의 화질을 개선할 수 있는 방법을 상세히 살펴본다.
도 3은 도 2의 영상처리부를 상세히 보여주는 블록도이다. 도 4는 도 3의 영상처리부의 영상처리방법을 보여주는 흐름도이다. 도 3을 참조하면, 영상처리부(140)는 수평 보간 처리부(141), 수직 보간 처리부(142), 및 메모리(143)를 포함한다. 이하에서, 도 3 및 도 4를 결부하여 영상처리부의 영상처리방법에 대하여 상세히 설명한다. 한편, 영상처리부(140)의 영상처리방법은 도 2에 도시된 표시패널(10)의 화소들과 광학판의 배치에 기초하여 설명하였음에 주의하여야 한다.
첫 번째로, 영상처리부(140)는 모드 신호(MODE)에 따라 2D 모드와 3D 모드를 구분할 수 있다. 영상처리부(1420)는 2D 모드에서 2D 영상 데이터(RGB2D)를 2D 변환 영상 데이터(RGB2D')로 변환하여 출력한다. 구체적으로 영상처리부(140)는 2D 모드에서 제1 내지 제n 뷰 영역들로 진행되는 영상을 표시하는 제1 내지 제n 서브 픽셀들에 공급되는 제1 내지 제n 서브 픽셀 데이터들이 제1 내지 제n 서브 픽셀 데이터들 중 적어도 어느 한 서브 픽셀 데이터에 모두 반영되도록 변환한 2D 변환 영상 데이터를 출력한다. 이를 위해, 영상처리부(140)는 수평 보간 연산과 수직 보간 연산을 수행한다. (S101)
두 번째로, 영상처리부(140)는 수평 보간 연산부(141)의 수평 보간 연산과 수직 보간 연산부(142)의 수직 보간 연산을 위해, 수평 반복 개수, 수직 반복 개수, 수평 보간 개수, 및 수직 보간 개수를 정의한다. 수평 반복 개수, 수직 반복 개수, 수평 보간 개수, 및 수직 보간 개수는 멀티뷰 영상의 뷰들의 개수(n), 픽셀들 각각의 서브 픽셀들의 개수 등에 의존하기 때문에, 표시패널(10)과 광학판(30)의 설계 단계에서 미리 정해질 수 있다.
영상처리부(140)는 제j(j는 1≤j≤s를 만족하는 자연수, s는 어느 한 수직 라인의 서브 픽셀들의 개수) 수평 라인의 제k(k는 1≤k≤r을 만족하는 자연수, r은 어느 한 수평 라인의 서브 픽셀들의 개수) 서브 픽셀로부터 그와 동일한 뷰 영상을 표시하고 그와 동일 색을 갖으며 그와 수평 방향으로 가장 인접한 제k+p(p는 자연수) 서브 픽셀까지의 서브 픽셀들의 개수인 p를 수평 반복 개수(HS)로 정의한다. 도 5는 어느 한 수평 라인에 배치된 서브 픽셀들이 표시하는 뷰 영상과 그들의 색을 보여주는 일 예시도면이다. 예를 들어, 표시패널(10)이 도 2 및 도 5와 같이 제1 내지 제9 뷰 영상들을 포함하는 멀티뷰 영상을 표시하는 경우, 제1 뷰 영상(V1)을 표시하는 어느 한 적색 서브 픽셀(R)로부터 그와 수평 방향(x축 방향)으로 가장 인접하며 제1 뷰 영상(V1)을 표시하는 또 다른 적색 서브 픽셀(R)까지의 서브 픽셀들의 개수는 9 개이므로, 영상처리부(140)는 9 개를 수평 반복 개수(HS)로 정의한다.
영상처리부(140)는 제j 수평 라인의 제k 서브 픽셀로부터 그와 동일한 뷰 영상을 표시하고 그와 동일 색을 갖으며 그와 수직 방향으로 가장 인접한 제k+q(q는 자연수) 서브 픽셀까지의 서브 픽셀들의 개수인 q를 수직 반복 개수(VS)로 정의한다. 도 6은 어느 한 수직 라인에 배치된 서브 픽셀들이 표시하는 뷰 영상과 그들의 색을 보여주는 일 예시도면이다. 예를 들어, 표시패널(10)이 도 2 및 도 6과 같이 제1 내지 제9 뷰 영상들을 포함하는 멀티뷰 영상을 표시하는 경우, 제1 뷰 영상(V1)을 표시하는 어느 한 적색 서브 픽셀(R)로부터 그와 수직 방향(y축 방향)으로 가장 인접하며 제1 뷰 영상(V1)을 표시하는 또 다른 적색 서브 픽셀(R)까지의 서브 픽셀들의 개수는 9 개이므로, 영상처리부(140)는 9 개를 수직 반복 개수(VS)로 정의한다.
또한, 영상처리부(140)는 수학식 1과 같이 수평 반복 개수(HS)를 픽셀들 각각의 서브 픽셀들의 개수(N)로 나눈 값을 수평 보간 개수(HSN)로 정의한다.
Figure 112012097081204-pat00001
또한, 영상처리부(140)는 수학식 2와 같이 멀티뷰 영상의 뷰 영상들의 개수(n)를 수직 반복 개수(VS)로 나눈 값을 수직 보간 개수(VIN)로 정의한다.
Figure 112012097081204-pat00002
한편, 영상처리부(140)의 메모리(143)는 수평 반복 개수(HS), 수직 반복 개수(VS), 수평 보간 개수(HSN), 및 수직 보간 개수(VIN)를 저장할 수 있다. 이 경우, 수평 보간 연산부(141)는 수평 보간 연산을 수행시 메모리(143)에 저장된 수평 반복 개수(HS)와 수평 보간 개수(HSN)를 입력받을 수 있다. 또한, 수직 보간 연산부(142)는 수직 보간 연산을 수행시 메모리(143)에 저장된 수직 반복 개수(VS)와 수직 보간 개수(VIN)를 입력받을 수 있다.
세 번째로, 영상처리부(140)의 수평 보간 연산부(141)는 입력된 2D 영상 데이터(RGB2D)에 수평 보간 연산을 수행한다. 2D 영상 데이터(RGB2D)는 r×s 개의 서브 픽셀 데이터들을 포함할 수 있다. r은 어느 한 수평 라인의 서브 픽셀 데이터들의 개수, s는 어느 한 수직 라인의 서브 픽셀 데이터들의 개수를 지시한다. 구체적으로, 수평 보간 연산부(141)는 제j 수평 라인의 서브 픽셀들에 공급될 제j 수평 라인의 서브 픽셀 데이터들을 수평 방향으로 보간할 수 있다.
수평 보간 연산부(141)는 수학식 3과 같이 본 발명의 제1 실시 예에 따른 수평 보간 연산에 따라 제j 수평 라인의 제k 수평 보간 데이터를 산출할 수 있다. 제j 수평 라인의 제k 서브 픽셀 데이터는 (x,y) 좌표로 표현되는 경우, (k,j) 좌표에서의 서브 픽셀 데이터(SP(k,j))로 표현될 수 있다. 제j 수평 라인의 제k 수평 보간 데이터는 (x,y) 좌표로 표현되는 경우, (k,j) 좌표에서의 수평 보간 데이터(HID(k,j))로 표현될 수 있다.
Figure 112012097081204-pat00003
수학식 3에서, HID(k,j)는 제j 수평 라인의 제k 수평 보간 데이터, HSN은 수평 보간 개수, SP(k+N×(u-1),j)는 제j 수평 라인의 제k+N×(u-1) 서브 픽셀 데이터를 의미한다. 예를 들어, HSN이 "3" 인 경우, 수평 보간 연산부(141)는 제j 수평 라인의 제k 서브 픽셀 데이터, 제k+N 서브 픽셀 데이터, 및 제k+2N 서브 픽셀 데이터를 이용하여 제j 수평 라인의 제k 수평 보간 데이터를 산출할 수 있다. 제k 서브 픽셀 데이터, 제k+N 서브 픽셀 데이터, 및 제k+2N 서브 픽셀 데이터는 동일 색의 서브 픽셀 데이터이다. 또한, 제k 서브 픽셀 데이터, 제k+N 서브 픽셀 데이터, 및 제k+2N 서브 픽셀 데이터는 서로 다른 뷰 영상을 표시한다.
도 7은 제j 수평 라인의 서브 픽셀 데이터들로부터 산출된 제j 수평 라인의 수평 보간 데이터들의 일 예를 보여주는 일 예시도면이다. 도 7에서는 HSN이 "3"인 것을 중심으로 설명하였다. 도 7과 같이 제j 수평 라인의 제1 수평 보간 데이터(HID(1,j)는 제j 수평 라인의 제1 서브 픽셀 데이터(SP(1,j)), 제4 서브 픽셀 데이터(SP(4,j)), 및 제7 서브 픽셀 데이터(SP(7,j))의 평균값으로 산출될 수 있다. 이 경우, 제j 수평 라인의 제1 서브 픽셀 데이터(SP(1,j)), 제4 서브 픽셀 데이터(SP(4,j)), 및 제7 서브 픽셀 데이터(SP(7,j))는 적색의 서브 픽셀 데이터이다. 또한, 도 2와 같이 제1 서브 픽셀 데이터(SP(1,j))는 제1 렌즈 영역(LA1)에 위치한 제1 서브 픽셀(SP1)에 공급될 데이터이고, 제4 서브 픽셀 데이터(SP(4,j))는 제7 렌즈 영역(LA7)에 위치한 제4 서브 픽셀(SP4)에 공급될 데이터이며, 제7 서브 픽셀 데이터(SP(7,j))는 제4 렌즈 영역(LA4)에 위치한 제7 서브 픽셀(SP7)에 공급될 데이터에 해당한다.
다만, 도 7과 같이 제j 수평 라인의 제r-6 내지 제r 서브 픽셀 데이터들(SP(r-6,j)~SP(r,j)) 각각은 제k+2N 서브 픽셀 데이터가 존재하지 않으므로, 수평 보간 연산부(141)는 수학식 3과 같이 연산할 수 없다. 그러므로, 수평 보간 연산부(141)는 수학식 3과 같이 연산을 하지 않고, 제j 수평 라인의 제r-6 내지 제r 서브 픽셀 데이터들(SP(r-6,j)~SP(r,j))를 제j 수평 라인의 제r-6 내지 제r 수평 보간 데이터들(HID(r-6,j)~HID(r,j))로 그대로 산출할 수 있다.
또는, 수평 보간 연산부(141)는 본 발명의 제2 실시 예에 따른 수평 보간 연산에 따라 수학식 4와 같이 제j 수평 라인의 제k 수평 보간 데이터를 산출할 수 있다.
Figure 112012097081204-pat00004
수학식 4에서, HID(k,j)는 제j 수평 라인의 제k 수평 보간 데이터, HSN은 수평 보간 개수, SP(k-N×(u-1),j)는 제j 수평 라인의 제k-N×(u-1) 서브 픽셀 데이터를 의미한다. 예를 들어, HSN이 "3"인 경우, 수평 보간 연산부(141)는 수학식 4와 같이 제j 수평 라인의 제k 서브 픽셀 데이터, 제k-N 서브 픽셀 데이터, 및 제k-2N 서브 픽셀 데이터를 이용하여 제j 수평 라인의 제k 수평 보간 데이터를 산출할 수 있다. 제j 수평 라인의 제k 서브 픽셀 데이터, 제k-N 서브 픽셀 데이터, 및 제k-2N 서브 픽셀 데이터는 동일 색의 서브 픽셀 데이터이다. 또한, 제j 수평 라인의 제k 서브 픽셀 데이터, 제k-N 서브 픽셀 데이터, 및 제k-2N 서브 픽셀 데이터는 서로 다른 뷰 영상을 표시한다.
도 8은 제j 수평 라인의 서브 픽셀 데이터들로부터 산출된 제j 수평 라인의 수평 보간 데이터들의 또 다른 예를 보여주는 일 예시도면이다. 도 8에서는 HSN이 "3"인 것을 중심으로 설명하였다. 도 8과 같이 제j 수평 라인의 제7 수평 보간 데이터(HID(7,j)는 제j 수평 라인의 제7 서브 픽셀 데이터(SP(7,j)), 제4 서브 픽셀 데이터(SP(4,j)), 및 제1 서브 픽셀 데이터(SP(1,j))의 평균값으로 산출될 수 있다. 이 경우, 제j 수평 라인의 제7 서브 픽셀 데이터(SP(7,j)), 제4 서브 픽셀 데이터(SP(4,j)), 및 제1 서브 픽셀 데이터(SP(1,j))는 적색의 서브 픽셀 데이터이다. 또한, 도 2와 같이 제7 서브 픽셀 데이터(SP(7,j))는 제4 렌즈 영역(LA4)에 위치한 제7 서브 픽셀(SP7)에 공급될 데이터이고, 제4 서브 픽셀 데이터(SP(4,j))는 제7 렌즈 영역(LA7)에 위치한 제4 서브 픽셀(SP4)에 공급될 데이터이며, 제1 서브 픽셀 데이터(SP(1,j))는 제1 렌즈 영역(LA1)에 위치한 제1 서브 픽셀(SP7)에 공급될 데이터에 해당한다.
다만, 도 8과 같이 제j 수평 라인의 제1 내지 제6 서브 픽셀 데이터들(SP(1,j)~SP(6,j)) 각각은 제k-2N 서브 픽셀 데이터가 존재하지 않으므로, 수평 보간 연산부(141)는 수학식 4와 같이 연산할 수 없다. 그러므로, 수평 보간 연산부(141)는 수학식 4와 같이 연산을 하지 않고, 제j 수평 라인의 제1 내지 제6 서브 픽셀 데이터들(SP(1,j)~SP(6,j))를 제j 수평 라인의 제1 내지 제6 수평 보간 데이터들(HID(1,j)~HID(6,j))로 그대로 산출할 수 있다.
이와 같이, 수평 보간 연산부(141)는 제j 수평 라인의 서브 픽셀 데이터들로부터 제j 수평 라인의 수평 보간 데이터들을 산출할 수 있다. (S103)
네 번째로, 영상처리부(140)의 수직 보간 연산부(142)는 제j 내지 제j+VIN 수평 라인의 수평 보간 데이터들을 이용하여 수직 보간 연산함으로써 제j 수평 라인의 변환 서브 픽셀 데이터들을 산출할 수 있다. 구체적으로, 수직 보간 연산부(142)는 수학식 5와 같이 제j 내지 제j+VIN 수평 라인의 수평 보간 데이터들의 평균값을 제j 수평 라인의 변환 서브 픽셀 데이터들을 산출할 수 있다. 이하에서, 제j+1 내지 제j+VIN 수평 라인의 수평 보간 데이터들은 상기 S103 단계의 수학식 3에서 설명한 바와 같이 산출된 것을 중심으로 설명하였다. 또한, 제j 수평 라인의 제k 수평 보간 데이터는 (x,y) 좌표로 표현되는 경우, (k,j) 좌표에서의 수평 보간 데이터(HID(k,j))로 표현될 수 있다. 제j 수평 라인의 제k 변환 서브 픽셀 데이터는 (x,y) 좌표로 표현되는 경우, (k,j) 좌표에서의 변환 서브 픽셀 데이터(VID(k,j))로 표현될 수 있다.
Figure 112012097081204-pat00005
수학식 5에서, VID(k,j)는 제j 수평 라인의 제k 변환 서브 픽셀 데이터, VIN은 수직 보간 개수, HID(k,j+v)는 제j+v 수평 라인의 제k 수평 보간 데이터를 의미한다. 예를 들어, VIN이 "3"인 경우, 수직 보간 연산부(142)는 수학식 5와 같이 제j 수평 라인의 제k 수평 보간 데이터, 제j+1 수평 라인의 제k 수평 보간 데이터, 및 제j+2 수평 라인의 제k 수평 보간 데이터를 이용하여 제j 수평 라인의 제k 변환 서브 픽셀 데이터를 산출할 수 있다. 제j 수평 라인의 제k 수평 보간 데이터, 제j+1 수평 라인의 제k 수평 보간 데이터, 및 제j+2 수평 라인의 제k 수평 보간 데이터는 동일 색의 서브 픽셀 데이터들에 의해 수평 보간된 데이터들이다.
도 9는 제j 내지 제j+VIN 수평 라인의 수평 보간 데이터들로부터 산출된 제j 수평 라인의 변환 서브 픽셀 데이터들의 일 예를 보여주는 예시도면이다. 도 9에서는 VIN이 "3"인 것을 중심으로 설명하였다. 도 9과 같이 제j 수평 라인의 제1 변환 서브 픽셀 데이터(VID(1,j)는 제j 수평 라인의 제1 수평 보간 데이터(HID(1,j)), 제j+1 수평 라인의 제1 수평 보간 데이터(HID(1,j+1)), 및 제j+2 수평 라인의 제1 수평 보간 데이터(HID(1,j+2))의 평균값으로 산출될 수 있다.
이때, 제j 수평 라인의 제1 수평 보간 데이터(HID(1,j))는 제j 수평 라인의 제1 서브 픽셀 데이터(SP(1,j)), 제4 서브 픽셀 데이터(SP(4,j)), 및 제7 서브 픽셀 데이터(SP(7,j))의 평균값이다. 제j 수평 라인의 제1 서브 픽셀 데이터(SP(1,j))는 제1 렌즈 영역(LA1)에 위치한 제1 서브 픽셀(SP1)에 공급될 데이터이고, 제4 서브 픽셀 데이터(SP(4,j))는 제7 렌즈 영역(LA7)에 위치한 제4 서브 픽셀(SP4)에 공급될 데이터이며, 제7 서브 픽셀 데이터(SP(7,j))는 제4 렌즈 영역(LA4)에 위치한 제7 서브 픽셀(SP7)에 공급될 데이터에 해당한다. 제1 렌즈 영역(LA1)에 배치된 서브 픽셀들이 표시하는 영상은 제1 뷰 영역으로 진행되고, 제4 렌즈 영역(LA4)에 배치된 서브 픽셀들이 표시하는 영상은 제4 뷰 영역으로 진행되며, 제7 뷰 영역(LA7)에 배치된 서브 픽셀들이 표시하는 영상은 제7 뷰 영역으로 진행된다.
또한, 제j+1 수평 라인의 제1 수평 보간 데이터(HID(1,j+1))는 제j+1 수평 라인의 제1 서브 픽셀 데이터(SP(1,j+1)), 제4 서브 픽셀 데이터(SP(4,j+1)), 및 제7 서브 픽셀 데이터(SP(7,j+1))의 평균값이다. 제j+1 수평 라인의 제1 서브 픽셀 데이터(SP(1,j+1))는 제9 렌즈 영역(LA9)에 위치한 제1 서브 픽셀(SP1)에 공급될 데이터이고, 제4 서브 픽셀 데이터(SP(4,j+1))는 제6 렌즈 영역(LA6)에 위치한 제4 서브 픽셀(SP4)에 공급될 데이터이며, 제7 서브 픽셀 데이터(SP(7,j+1))는 제3 렌즈 영역(LA3)에 위치한 제7 서브 픽셀(SP7)에 공급될 데이터에 해당한다. 제3 렌즈 영역(LA3)에 배치된 서브 픽셀들이 표시하는 영상은 제3 뷰 영역으로 진행되고, 제6 렌즈 영역(LA6)에 배치된 서브 픽셀들이 표시하는 영상은 제6 뷰 영역으로 진행되며, 제9 뷰 영역(LA9)에 배치된 서브 픽셀들이 표시하는 영상은 제9 뷰 영역으로 진행된다.
또한, 제j+2 수평 라인의 제1 수평 보간 데이터(HID(1,j)는 제j+2 수평 라인의 제1 서브 픽셀 데이터(SP(1,j+2)), 제4 서브 픽셀 데이터(SP(4,j+2)), 및 제7 서브 픽셀 데이터(SP(7,j+2))의 평균값이다. 제j+2 수평 라인의 제1 서브 픽셀 데이터(SP(1,j+2))는 제8 렌즈 영역(LA8)에 위치한 제1 서브 픽셀(SP1)에 공급될 데이터이고, 제4 서브 픽셀 데이터(SP(4,j+2))는 제5 렌즈 영역(LA5)에 위치한 제4 서브 픽셀(SP4)에 공급될 데이터이며, 제7 서브 픽셀 데이터(SP(7,j+2))는 제2 렌즈 영역(LA2)에 위치한 제7 서브 픽셀(SP7)에 공급될 데이터에 해당한다. 제2 렌즈 영역(LA2)에 배치된 서브 픽셀들이 표시하는 영상은 제2 뷰 영역으로 진행되고, 제5 렌즈 영역(LA5)에 배치된 서브 픽셀들이 표시하는 영상은 제5 뷰 영역으로 진행되며, 제8 뷰 영역(LA8)에 배치된 서브 픽셀들이 표시하는 영상은 제8 뷰 영역으로 진행된다.
그러므로, 제j 수평 라인의 제k 변환 서브 픽셀 데이터(VID(k,j))는 제1 내지 제n 뷰 영역들 각각으로 진행되는 서브 픽셀 데이터들을 모두 반영할 수 있다. 즉, 도 2와 도 9를 참조하면, 제j 수평 라인의 제1 변환 서브 픽셀 데이터(VID(1,j))에는 제1 렌즈 영역(LA1)에 배치되는 제j 수평 라인의 제1 서브 픽셀(SP1)에 공급되는 제j 수평 라인의 제1 서브 픽셀 데이터(SP(1,j)), 제2 렌즈 영역(LA2)에 배치되는 제j+2 수평 라인의 제7 서브 픽셀(SP7)에 공급되는 제j+2 수평 라인의 제7 서브 픽셀 데이터(SP(7,j+2)), 제3 렌즈 영역(LA3)에 배치되는 제j+1 수평 라인의 제7 서브 픽셀(SP7)에 공급되는 제j+1 수평 라인의 제7 서브 픽셀 데이터(SP(7,j+1)), 제4 렌즈 영역(LA4)에 배치되는 제j 수평 라인의 제7 서브 픽셀(SP7)에 공급되는 제j 수평 라인의 제7 서브 픽셀 데이터(SP(7,j)), 제5 렌즈 영역(LA5)에 배치되는 제j+2 수평 라인의 제4 서브 픽셀(SP4)에 공급되는 제j+2 수평 라인의 제4 서브 픽셀 데이터(SP(4,j+2)), 제6 렌즈 영역(LA6)에 배치되는 제j+1 수평 라인의 제4 서브 픽셀(SP4)에 공급되는 제j+1 수평 라인의 제4 서브 픽셀 데이터(SP(4,j+1)), 제7 렌즈 영역(LA7)에 배치되는 제j 수평 라인의 제4 서브 픽셀(SP4)에 공급되는 제j 수평 라인의 제4 서브 픽셀 데이터(SP(4,j)), 제8 렌즈 영역(LA8)에 배치되는 제j+2 수평 라인의 제1 서브 픽셀(SP1)에 공급되는 제j+2 수평 라인의 제1 서브 픽셀 데이터(SP(1,j+2)), 및 제9 렌즈 영역(LA9)에 배치되는 제j+1 수평 라인의 제1 서브 픽셀(SP1)에 공급되는 제j+1 수평 라인의 제1 서브 픽셀 데이터(SP(1,j+1))가 모두 반영된다. 특히, 제j 수평 라인의 제1, 제4, 제7 서브 픽셀 데이터들(SP(1,j), SP(4,j), SP(7,j))과, 제j+1 수평 라인의 제1, 제4, 제7 서브 픽셀 데이터들(SP(1,j+1), SP(4,j+1), SP(7,j+1))과, 제j+2 수평 라인의 제1, 제4, 제7 서브 픽셀 데이터들(SP(1,j+2), SP(4,j+2), SP(7,j+2))은 동일 색의 서브 픽셀 데이터들이다. 그 결과, 본 발명은 사용자의 좌안과 우안 각각에 서브 픽셀들로부터 출력되는 2D 영상의 일부만이 입력되는 것을 방지할 수 있으므로, 2D 영상의 화질을 높일 수 있다.
이와 같이, 수직 보간 연산부(142)는 수직 보간 연산을 통해 a×b 개의 변환 서브 픽셀 데이터들을 포함하는 2D 변환 영상 데이터(RGB2D')를 산출한다. 그리고 나서, 수직 보간 연산부(142)는 2D 변환 영상 데이터(RGB2D')를 타이밍 콘트롤러(130)에 공급한다. (S104)
이상에서 살펴본 바와 같이, 본 발명은 제1 내지 제n 뷰 영역들로 진행되는 영상을 표시하는 제1 내지 제n 서브 픽셀들에 공급되는 제1 내지 제n 서브 픽셀 데이터들이 제1 내지 제n 서브 픽셀 데이터들 중 적어도 어느 한 서브 픽셀 데이터에 모두 반영되도록 변환한다. 그 결과, 본 발명은 사용자의 좌안과 우안 각각에 서브 픽셀들로부터 출력되는 2D 영상의 일부만이 입력되는 것을 방지할 수 있으므로, 2D 영상의 화질을 높일 수 있다.
한편, 영상처리부(140)는 입력 프레임 주파수보다 높은 프레임 주파수로 2D 영상 데이터(RGB2D')를 출력할 수도 있다. 예를 들어, 영상처리부(140)는 수학식 3과 같이 본 발명의 제1 실시 예에 따른 수평 보간 연산을 수행한 후 수학식 5와 같이 수직 보간 연산을 하여 산출된 2D 변환 영상 데이터(RGB2D')를 제N 프레임 기간 동안 타이밍 콘트롤러(130)에 공급하고, 수학식 4와 같이 본 발명의 제2 실시 예에 따른 수평 보간 연산을 수행한 후 수학식 5와 같이 수직 보간 연산을 하여 산출된 2D 변환 영상 데이터(RGB2D')를 제N+1 프레임 기간 동안 타이밍 콘트롤러(130)에 공급하도록 구현될 수 있다.
도 10은 종래 무안경 방식의 입체영상 표시장치의 2D 영상을 보여주는 일 예시도면이다. 도 11은 본 발명의 실시 예에 따른 무안경 방식의 입체영상 표시장치의 2D 영상을 보여주는 일 예시도면이다.
도 10 및 도 11을 참조하면, 종래 무안경 방식의 입체영상 표시장치의 2D 영상은 A 부분과 같이 직선들 중간이 끊어져 보이게 표현된 것을 확인할 수 있다. 이에 비해, 본 발명의 실시 예에 따른 무안경 방식의 입체영상 표시장치의 2D 영상은 B 부분과 같이 직선들이 스무딩하게 표현된 것을 확인할 수 있다.
즉, 본 발명은 제1 내지 제n 뷰 영역들로 진행되는 영상을 표시하는 제1 내지 제n 서브 픽셀들에 공급되는 제1 내지 제n 서브 픽셀 데이터들이 제1 내지 제n 서브 픽셀 데이터들 중 적어도 어느 한 서브 픽셀 데이터에 모두 반영되도록 변환하므로, 사용자의 좌안과 우안 각각에 서브 픽셀들로부터 출력되는 2D 영상의 일부만이 입력되는 것을 방지할 수 있다. 따라서, 본 발명은 종래기술보다 2D 영상의 화질을 높일 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
10: 표시패널 30: 광학판
110: 게이트 구동회로 120: 데이터 구동회로
130: 타이밍 콘트롤러 140: 영상 처리부
141: 수평 보간 연산부 142: 수직 보간 연산부
143: 메모리 150: 호스트 시스템

Claims (12)

  1. 2D 모드에서 2D 영상을 표시하고, 3D 모드에서 제1 내지 제n(n은 2 이상의 자연수) 뷰 영상들을 포함하는 멀티뷰 영상을 표시하는 픽셀들을 포함하는 표시패널;
    상기 제1 내지 제n 뷰 영상들을 제1 내지 제n 뷰 영역들로 진행시키는 광학판;
    상기 2D 모드에서 상기 제1 내지 제n 뷰 영역들로 진행되는 영상을 표시하는 제1 내지 제n 서브 픽셀들에 공급되는 제1 내지 제n 서브 픽셀 데이터들이 상기 제1 내지 제n 서브 픽셀 데이터들 중 적어도 어느 한 서브 픽셀 데이터에 모두 반영되도록 변환한 2D 변환 영상 데이터를 출력하는 영상처리부;
    상기 2D 모드에서 상기 2D 변환 영상 데이터를 아날로그 데이터 전압으로 변환하여 상기 표시패널의 데이터 라인들에 공급하는 데이터 구동회로; 및
    상기 표시패널의 게이트 라인들에 게이트 펄스를 순차적으로 공급하는 게이트 구동회로를 포함하고,
    상기 영상처리부는,
    제j 수평 라인의 2D 영상 데이터를 이용하여 상기 제j 수평 라인의 제k 수평 보간 데이터를 계산하는 수평 보간 연산부; 및
    상기 제j 수평 라인과 상기 제j 수평 라인에 인접하는 라인의 수평 보간 데이터를 이용하여 상기 제j 수평 라인의 제k 수직 보간 데이터를 계산하는 수직 보간 연산부를 포함하고,
    여기서 j는 수직 라인의 서브 픽셀들의 개수 이하의 자연수이고, k는 수평 라인의 서브 픽셀의 개수 이하의 자연수인 것을 특징으로 하는 입체영상 표시장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제j 수평 라인의 제k 서브 픽셀로부터 그와 동일한 뷰 영상을 표시하고 그와 동일 색을 가지며 그와 수평 방향으로 가장 인접한 제k+p(p는 자연수) 서브 픽셀까지의 서브 픽셀들의 개수를 수평 반복 개수로 정의하고, 상기 수평 반복 개수를 상기 픽셀들 각각의 서브 픽셀들의 개수로 나눈 값을 수평 보간 개수 HSN으로 정의할 때, 상기 수평 보간 연산부는,
    Figure 112019020229256-pat00023
    을 이용하여,
    상기 제j 수평 라인의 제k 수평 보간 데이터인 HID(k, j)를 산출하고, 여기서 SP(k+Nx(u-1), j)는 제j 수평 라인의 제k+Nx(u-1) 서브 픽셀 데이터를 의미하고, u는 HSN 이하의 자연수인 것을 특징으로 하는 입체영상 표시장치.
  4. 제 1 항에 있어서,
    상기 제j 수평 라인의 제k 서브 픽셀로부터 그와 동일한 뷰 영상을 표시하고 그와 동일 색을 가지며 그와 수평 방향으로 가장 인접한 제k+p(p는 자연수) 서브 픽셀까지의 서브 픽셀들의 개수를 수평 반복 개수로 정의하고, 상기 수평 반복 개수를 상기 픽셀들 각각의 서브 픽셀들의 개수로 나눈 값을 수평 보간 개수 HSN으로 정의할 때, 상기 수평 보간 연산부는,
    Figure 112019020229256-pat00024
    을 이용하여,
    상기 제j 수평 라인의 제k 수평 보간 데이터인 HID(k, j)를 산출하고, 여기서 SP(k-Nx(u-1), j)는 제j 수평 라인의 제(k-Nx(u-1)) 서브 픽셀 데이터를 의미하고, u는 HSN 이하의 자연수인 것을 특징으로 하는 입체영상 표시장치.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 제j 수평 라인의 제k 서브 픽셀로부터 그와 동일한 뷰 영상을 표시하고 그와 동일 색을 가지며 그와 수직 방향으로 가장 인접한 제k+q(q는 자연수) 서브 픽셀까지의 서브 픽셀들의 개수를 수직 반복 개수로 정의하고, 상기 뷰 영상들의 개수 n을 상기 수직 반복 개수로 나눈 값을 수직 보간 개수 VIN으로 정의할 때, 상기 수직 보간 연산부는,
    Figure 112019020229256-pat00025
    을 이용하여,
    상기 제j 수평 라인의 제k 변환 서브 픽셀 데이터인 VID(k, j)를 산출하고, 여기서 HID(k, j+v)는 제(j+v) 수평 라인의 제k 수평 보간 데이터를 의미하고, v는 VIN 이하의 자연수인 것을 특징으로 하는 입체영상 표시장치.
  6. 제 1 항에 있어서,
    상기 영상처리부는 상기 3D 모드에서 멀티뷰 영상 데이터를 변환하지 않고 그대로 출력하고,
    상기 데이터 구동회로는 상기 3D 모드에서 상기 멀티뷰 영상 데이터를 아날로그 데이터 전압으로 변환하여 상기 표시패널의 데이터 라인들에 공급하는 것을 특징으로 하는 입체영상 표시장치.
  7. 2D 모드에서 2D 영상을 표시하고, 3D 모드에서 제1 내지 제n(n은 2 이상의 자연수) 뷰 영상들을 포함하는 멀티뷰 영상을 표시하는 픽셀들을 포함하는 표시패널과, 상기 제1 내지 제n 뷰 영상들을 제1 내지 제n 뷰 영역들로 진행시키는 광학판을 구비하는 입체영상 표시장치의 구동방법에 있어서,
    상기 2D 모드에서 상기 제1 내지 제n 뷰 영역들로 진행되는 영상을 표시하는 제1 내지 제n 서브 픽셀들에 공급되는 제1 내지 제n 서브 픽셀 데이터들이 상기 제1 내지 제n 서브 픽셀 데이터들 중 적어도 어느 한 서브 픽셀 데이터에 모두 반영되도록 변환한 2D 변환 영상 데이터를 출력하는 제1 단계;
    상기 2D 모드에서 상기 2D 변환 영상 데이터를 아날로그 데이터 전압으로 변환하여 상기 표시패널의 데이터 라인들에 공급하는 제2 단계; 및
    상기 표시패널의 게이트 라인들에 게이트 펄스를 순차적으로 공급하는 제3 단계를 포함하고,
    상기 제1 단계는, 제j 수평 라인의 2D 영상 데이터를 이용하여 상기 제j 수평 라인의 제k 수평 보간 데이터를 계산하는 수평 보간 연산 단계와 상기 제j 수평 라인과 상기 제j 수평 라인에 인접하는 라인의 수평 보간 데이터를 이용하여 상기 제j 수평 라인의 제k 수직 보간 데이터를 계산하는 수직 보간 연산 단계를 포함하고, 여기서 j는 수직 라인의 서브 픽셀들의 개수 이하의 자연수이고, k는 수평 라인의 서브 픽셀의 개수 이하의 자연수인 것을 특징으로 하는 입체영상 표시장치의 구동방법.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 수평 보간 연산 단계는, 상기 제j 수평 라인의 제k 서브 픽셀로부터 그와 동일한 뷰 영상을 표시하고 그와 동일 색을 가지며 그와 수평 방향으로 가장 인접한 제k+p(p는 자연수) 서브 픽셀까지의 서브 픽셀들의 개수를 수평 반복 개수로 정의하고, 상기 수평 반복 개수를 상기 픽셀들 각각의 서브 픽셀들의 개수로 나눈 값을 수평 보간 개수 HSN으로 정의할 때,
    Figure 112019020229256-pat00026
    을 이용하여,
    상기 제j 수평 라인의 제k 수평 보간 데이터인 HID(k, j)를 산출하고, 여기서 SP(k+Nx(u-1), j)는 제j 수평 라인의 제k+Nx(u-1) 서브 픽셀 데이터를 의미하고, u는 HSN 이하의 자연수인 것을 특징으로 하는 입체영상 표시장치의 구동방법.
  10. 제 7 항에 있어서,
    상기 수평 보간 연산 단계는, 상기 제j 수평 라인의 제k 서브 픽셀로부터 그와 동일한 뷰 영상을 표시하고 그와 동일 색을 가지며 그와 수평 방향으로 가장 인접한 제k+p(p는 자연수) 서브 픽셀까지의 서브 픽셀들의 개수를 수평 반복 개수로 정의하고, 상기 수평 반복 개수를 상기 픽셀들 각각의 서브 픽셀들의 개수로 나눈 값을 수평 보간 개수 HSN으로 정의할 때,
    Figure 112019020229256-pat00027
    을 이용하여,
    상기 제j 수평 라인의 제k 수평 보간 데이터인 HID(k, j)를 산출하고, 여기서 SP(k-Nx(u-1), j)는 제j 수평 라인의 제(k-Nx(u-1)) 서브 픽셀 데이터를 의미하고, u는 HSN 이하의 자연수인 것을 특징으로 하는 입체영상 표시장치의 구동방법.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 수직 보간 연산 단계는, 상기 제j 수평 라인의 제k 서브 픽셀로부터 그와 동일한 뷰 영상을 표시하고 그와 동일 색을 가지며 그와 수직 방향으로 가장 인접한 제k+q(q는 자연수) 서브 픽셀까지의 서브 픽셀들의 개수를 수직 반복 개수로 정의하고, 상기 뷰 영상들의 개수 n을 상기 수직 반복 개수로 나눈 값을 수직 보간 개수 VIN으로 정의할 때,
    Figure 112019020229256-pat00028
    을 이용하여,
    상기 제j 수평 라인의 제k 변환 서브 픽셀 데이터인 VID(k, j)를 산출하고, 여기서 HID(k, j+v)는 제(j+v) 수평 라인의 제k 수평 보간 데이터를 의미하고, v는 VIN 이하의 자연수인 것을 특징으로 하는 입체영상 표시장치의 구동방법.
  12. 제 7 항에 있어서,
    상기 제1 단계는 상기 3D 모드에서 멀티뷰 영상 데이터를 변환하지 않고 그대로 출력하고,
    상기 제2 단계는 상기 3D 모드에서 상기 멀티뷰 영상 데이터를 아날로그 데이터 전압으로 변환하여 상기 표시패널의 데이터 라인들에 공급하는 것을 특징으로 하는 입체영상 표시장치의 구동방법.
KR1020120134053A 2012-11-23 2012-11-23 입체영상 표시장치와 그 구동방법 KR101992163B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120134053A KR101992163B1 (ko) 2012-11-23 2012-11-23 입체영상 표시장치와 그 구동방법
US13/941,867 US9420269B2 (en) 2012-11-23 2013-07-15 Stereoscopic image display device and method for driving the same
CN201310356688.2A CN103841397B (zh) 2012-11-23 2013-08-15 立体图像显示装置及其驱动方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120134053A KR101992163B1 (ko) 2012-11-23 2012-11-23 입체영상 표시장치와 그 구동방법

Publications (2)

Publication Number Publication Date
KR20140066613A KR20140066613A (ko) 2014-06-02
KR101992163B1 true KR101992163B1 (ko) 2019-06-24

Family

ID=50772938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120134053A KR101992163B1 (ko) 2012-11-23 2012-11-23 입체영상 표시장치와 그 구동방법

Country Status (3)

Country Link
US (1) US9420269B2 (ko)
KR (1) KR101992163B1 (ko)
CN (1) CN103841397B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101981527B1 (ko) * 2012-11-08 2019-05-23 엘지디스플레이 주식회사 무안경 입체 영상 표시장치와 그 구동 방법
KR102279020B1 (ko) * 2014-12-30 2021-07-19 엘지디스플레이 주식회사 입체영상 표시장치
JP6359990B2 (ja) * 2015-02-24 2018-07-18 株式会社ジャパンディスプレイ 表示装置および表示方法
KR102582286B1 (ko) * 2015-12-30 2023-09-22 엘지디스플레이 주식회사 유기발광 표시장치 및 유기발광 표시장치의 화질 보상 방법
KR102573318B1 (ko) * 2015-12-31 2023-09-01 엘지디스플레이 주식회사 표시장치 및 타이밍컨트롤러

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049751A (ja) * 2007-08-21 2009-03-05 Toshiba Corp 立体画像表示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3973525B2 (ja) * 2002-09-24 2007-09-12 シャープ株式会社 2d(2次元)及び3d(3次元)表示機能を備える電子機器
JP2005175539A (ja) * 2003-12-05 2005-06-30 Sharp Corp 立体映像表示装置及び映像表示方法
JP2005175538A (ja) * 2003-12-05 2005-06-30 Sharp Corp 立体映像表示装置及び映像表示方法
CN101002482B (zh) * 2004-08-10 2010-06-09 皇家飞利浦电子股份有限公司 视图模式的检测
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
KR100898287B1 (ko) * 2005-07-05 2009-05-18 삼성모바일디스플레이주식회사 입체 영상 표시 장치
KR101232163B1 (ko) * 2006-06-26 2013-02-12 엘지디스플레이 주식회사 액정 표시장치의 구동장치 및 구동방법
KR101500324B1 (ko) * 2008-08-05 2015-03-10 삼성디스플레이 주식회사 표시 장치
KR101310377B1 (ko) * 2008-10-17 2013-09-23 엘지디스플레이 주식회사 영상표시장치
TWI486936B (zh) * 2009-08-03 2015-06-01 Mstar Semiconductor Inc 使用於一顯示裝置之時序控制器及其相關方法
KR101224461B1 (ko) * 2010-03-31 2013-01-22 엘지디스플레이 주식회사 입체 영상 표시장치와 그 구동방법
KR101279657B1 (ko) * 2010-03-31 2013-06-27 엘지디스플레이 주식회사 입체 영상 표시장치와 그 구동방법
KR101310922B1 (ko) * 2010-12-10 2013-09-25 엘지디스플레이 주식회사 입체 영상 표시장치와 그 구동방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009049751A (ja) * 2007-08-21 2009-03-05 Toshiba Corp 立体画像表示装置

Also Published As

Publication number Publication date
KR20140066613A (ko) 2014-06-02
US20140146143A1 (en) 2014-05-29
US9420269B2 (en) 2016-08-16
CN103841397A (zh) 2014-06-04
CN103841397B (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
KR101224460B1 (ko) 입체 영상 표시장치와 그 구동방법
KR101268965B1 (ko) 영상표시장치
KR101236519B1 (ko) 입체 영상 표시장치와 그 구동 방법
KR101869872B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
JP2012234176A (ja) 立体映像表示装置とその駆動方法
KR101279657B1 (ko) 입체 영상 표시장치와 그 구동방법
KR101992163B1 (ko) 입체영상 표시장치와 그 구동방법
KR101763942B1 (ko) 입체영상표시장치
KR101224461B1 (ko) 입체 영상 표시장치와 그 구동방법
KR101963385B1 (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
KR102126532B1 (ko) 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
KR101990334B1 (ko) 입체영상 표시장치와 그 구동방법
KR20120032338A (ko) 입체 영상 표시장치
KR101929042B1 (ko) 디스패러티 산출부와 이를 포함한 입체영상 표시장치, 및 디스패러티 산출방법
KR101285540B1 (ko) 입체 영상 표시장치와 그 구동방법
KR20140092055A (ko) 입체영상 표시장치 및 그 구동방법
KR102022527B1 (ko) 입체영상 표시장치 및 그의 디스패러티 산출방법
KR20120122598A (ko) 입체 영상 표시장치와 그 휘도 조절 방법
KR101983369B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101961943B1 (ko) 3d 영상 데이터 생성방법과 이를 이용한 입체영상 표시장치
KR101996657B1 (ko) 글로벌 뎁스 맵 생성방법과 이를 이용한 입체영상 표시장치
KR102045563B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101957975B1 (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
KR20140073814A (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
KR20140079944A (ko) 입체영상 표시장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant