KR20080087038A - 영상 신호 처리 장치 및 가상 현실감 생성 시스템 - Google Patents

영상 신호 처리 장치 및 가상 현실감 생성 시스템 Download PDF

Info

Publication number
KR20080087038A
KR20080087038A KR1020087020295A KR20087020295A KR20080087038A KR 20080087038 A KR20080087038 A KR 20080087038A KR 1020087020295 A KR1020087020295 A KR 1020087020295A KR 20087020295 A KR20087020295 A KR 20087020295A KR 20080087038 A KR20080087038 A KR 20080087038A
Authority
KR
South Korea
Prior art keywords
distortion correction
image
image signal
output
pixel
Prior art date
Application number
KR1020087020295A
Other languages
English (en)
Other versions
KR101029634B1 (ko
Inventor
아츠유키 야마모토
마사노리 가시와기
Original Assignee
마츠시다 덴코 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시다 덴코 가부시키가이샤 filed Critical 마츠시다 덴코 가부시키가이샤
Publication of KR20080087038A publication Critical patent/KR20080087038A/ko
Application granted granted Critical
Publication of KR101029634B1 publication Critical patent/KR101029634B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/08—Separation of synchronising signals from picture signals
    • H04N5/10—Separation of line synchronising signal from frame synchronising signal or vice versa

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

가상 현실감 생성 시스템은, 임의의 형상의 투영면을 가지는 스크린(screen)(1)과, 2차원의 투영면에 영상 광을 투영시키기 위한 2차원 영상 신호에, 임의의 형상의 투영면에 영상 광을 투영시키기 위한 왜곡 보정을 행하고 출력하는 왜곡 보정 유닛(unit)(3)과, 2차원의 투영면과 임의의 형상의 투영면의 메시 모델(mesh model)과의 대응 맵(map)인 왜곡 보정 테이블(table)을 생성하는 파라미터(parameter) 조정용 PC5와, 영상 신호 처리 장치로부터 출력되는 영상 신호에 근거한 영상을 스크린(screen)에 투영시키는 프로젝터(2a,2b)를 포함하고, 왜곡 보정 유닛(unit)(3)은, 왜곡 보정 테이블(table)을 파라미터(parameter) 조정용 PC5로부터 입력하고, 왜곡 보정 테이블(table)을 참조하여 영상 신호 입력 수단에 의하여 입력한 2차원 영상 신호의 각 픽셀마다 왜곡 보정 처리를 가하고, 임의의 형상의 투영면에 영상 광을 투영시키기 위한 영상 신호를 생성한다.
그러므로, 시청자에게 시청시킨 영상 광의 왜곡을 억제한 영상을, 간단한 구성으로 실시간 처리(real time)로 표시할 수 있는 영상 신호 처리 장치 등을 제공할 수 있다.
Figure P1020087020295
2차원 영상 신호, 왜곡 보정 처리, 휘도 보정 처리, 색 정보

Description

영상 신호 처리 장치 및 가상 현실감 생성 시스템{IMAGE SIGNAL PROCESSING APPARATUS AND VIRTUAL REALITY CREATING SYSTEM}
본 발명은 2차원 영상 신호를 임의의 형상의 스크린(screen)에 투사해도, 왜곡없이 출력할 수 있도록 입력 영상 신호에 미리 왜곡 보정을 행하는 영상 신호 처리 장치와 그것을 이용하여 구성되는 가상 현실감 생성 시스템에 관한 것이다.
임의의 형상의 스크린에 왜곡 없이 영상을 투사하는 기술은 가상 현실감 생성 장치로 이미 실용화되어 있다. 예를 들면 그 선행기술로는 특허 문헌 1등을 들 수 있다. 이러한 가상 현실감 생성 장치에서는 입력 영상 신호가 해당 가상 현실감 생성 장치용으로 생성한 CG(Computer Graphics) 신호이거나 DV 신호이었다. 또 왜곡 없이 영상을 투영하기 위한 왜곡 보정 관계식(왜곡 보정 전후의 영상 사이의 관련에 대한 기술, 왜곡 보정 테이블)은 해당 시스템의 내부에서 생성되고 있었다.
(특허문헌1 : 일본 특허 제3387487호)
<기술적 해결 과제>
그러나 상술한 기술에서는, 입력 가능한 영상 신호가 한정되어 있거나, 왜곡 보정 관계식을 동일 시스템 내에서 생성하기 때문에 3차원 계산 처리를 하는 것이 필요해지고, 시스템이 복잡해지거나 높은 스펙의 기기가 필요해진다.
그러므로 본 발명은 상술한 실정을 감안하여 제안되는 것이고, 왜곡 보정을 위한 처리를 외부에서 수행한 결과를 이용함으로써, 복잡한 3차원 처리 등을 수행하는 일 없이 간단한 왜곡 보정 처리를 수행할 수 있는 영상 신호 처리 장치를 제공하는 것을 목적으로 한다.
<기술적 해결 수단>
본 발명은 임의의 형상의 투영면에 영상 광을 투영시키는 출력 영상 신호를 투영 수단에 출력하는 영상 신호 처리 장치로서, 2차원의 투영면에 영상 광을 투영시키기 위한 2차원 영상 신호를 입력하는 영상 신호 입력 수단과; 2차원의 투영면과 임의의 형상의 투영면의 메시 모델(mesh model)과의 대응 맵(map)으로서 영상 신호 입력 수단에 의해 입력한 2차원 영상 신호에 대한 보정 처리를 수행하기 위해 사용되는 왜곡 보정 테이블(table)을 외부로부터 입력하는 외부 입력 수단과; 외부 입력 수단에 의하여 입력한 왜곡 보정 테이블을 참조하여, 영상 신호 입력 수단에 의하여 입력한 2차원 영상 신호의 각 픽셀에 대한 왜곡 보정 처리를 수행하여, 투영면에 영상 광을 투영시키기 위한 출력 영상 신호를 생성하는 왜곡 보정 수단과; 왜곡 보정 수단에 의하여 생성된 출력 영상 신호를 투영 수단에 출력하는 출력수단을 포함하는 것에 의해 상술한 과제를 해결한다.
또한 본 발명에 따르는 가상 현실감 생성 시스템은 시청자(관찰자)에게 대면된 오목한 면을 갖는 임의의 형상의 투영면을 포함하고, 상기 시청자(관찰자)의 유효 시야각보다 더 넓은 영상을 표시 가능한 스크린과; 2차원의 투영면에 영상 광을 투영하기 위한 2차원 영상 신호에 대하여, 임의의 형상의 투영면에 영상 광을 투영하기 위해 사용된 왜곡 보정을 행한 후, 출력 영상 신호를 출력하는 영상 신호 처리 장치와; 2차원의 투영면과 임의의 형상의 투영면의 메시 모델(mesh model)과의 대응 맵(map)으로서의 왜곡 보정 테이블(table)을 생성하는 외부 처리 장치와; 영상 신호 처리 장치로부터 출력된 출력 영상 신호에 근거하여 영상을 스크린에 투영하는 투영 수단을 포함하고, 상술한 과제를 해결하기 위해 영상 신호 처리 장치는, 2차원 영상 신호를 입력하는 영상 신호 입력 수단과; 영상 신호 입력 수단에 의하여 입력한 2차원 영상 신호에 왜곡 보정 처리를 수행하기 위해 이용되는 왜곡 보정 테이블을 2차원 투영면과 임의의 형상의 투영면의 메시 모델과의 사이의 대응 맵으로서 입력하는 외부 입력 수단과; 외부 입력 수단에 의하여 입력한 왜곡 보정 테이블을 참조하여, 영상 신호 입력 수단에 의하여 입력한 2차원 영상 신호의 각 픽셀에 왜곡 보정 처리를 수행하여, 임의의 형상의 투영면에 영상 광을 투영시키기 위한 출력 영상 신호를 생성하는 왜곡 보정 수단과; 왜곡 보정 수단에 의하여 생성된 출력 영상 신호를 상기 투영 수단에 출력하는 출력 수단을 포함하는 것을 특징으로 한다.
<발명의 효과>
본 발명에 의하면, 사전에 왜곡 보정 테이블을 외부로부터 영상 신호 처리 장치에 기억해두고, 투영 수단으로부터 스크린에 영상 광을 출사시키는 데 있어서 2차원 영상 신호에 왜곡 보정 처리를 수행하는 경우에, 2차원 좌표변환을 수행하는 것 만으로 3차원 처리를 수행함이 없이 출력 영상 신호를 생성할 수 있다. 따라서 본 발명에 의하면 시청자(관찰자)에게 시청(관찰)시킨 영상의 왜곡을 줄이는 처리를, 간단한 구성으로 실현할 수 있다.
도 1은 본 발명을 적용한 가상 현실감 생성 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명을 적용한 왜곡 보정 유닛(unit)의 하드웨어적인 구성을 나타내는 블록도이다.
도 3은 본 발명을 적용한 왜곡 보정 유닛(unit)의 소프트웨어적인 구성을 나타내는 블록도이다.
도 4는 왜곡 보정 테이블(table)을 이용한 왜곡 보정 처리를 설명하기 위한 도면이고, (a)는 왜곡 보정 처리 전의 2차원 영상, (b)는 왜곡 보정 처리 후의 출력 영상이다.
도 5는 휘도 보정 테이블(table)을 이용한 휘도 보정 처리를 설명하기 위한 도면이고, (a)는 보정 처리 전의 2차원 영상, (b)는 휘도 보정 처리 후의 출력 영상, (c)는 휘도 보정 및 왜곡 보정 후의 출력 영상이다.
도 6은 휘도 보정 테이블(table)을 이용한 휘도 보정 처리를 설명하기 위한 도면이고, (a)는 보정 처리 전의 2차원 영상, (b)는 휘도 보정 처리 후의 출력 영상, (c)는 휘도 보정 및 왜곡 보정 후의 출력 영상이다.
도 7은 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)의 스크린 모델(screen model) 창조부의 블록도이다.
도 8은 구면 모델의 입력 파라미터를 나타내는 도면이다.
도 9는 구면의 일부를 절단한 모델의 입력 파라미터를 나타내는 도면이다.
도 10은 구면 스크린의 일부를 절단한 정면 형상을 나타내는 도면이다.
도 11은 원통 모델의 입력 파라미터를 나타내는 도면이다.
도 12는 복수 평면의 입력 파라미터를 나타내는 도면이다.
도 13은 스크린의 구면 형상에 대한 왜곡 보정 처리를 설명하기 위한 도면이다.
도 14는 왜곡 보정 처리의 내용을 나타내는 도면이다.
도 15는 반구 상의 스크린의 중앙부에서 절단한 도 4의 2차원 단면도이다.
도 16은 그리드(grid) 영상의 왜곡 보정 이미지(image) 도이다.
도 17은 출력 영상의 각 픽셀의 색 정보를, 입력 영상의 x 방향으로 인접한 대응하는 2 픽셀로부터 생성하는 경우의 이미지(image) 도이다.
도 18은 x 방향으로 인접한 입력 영상의 2 픽셀의 색 정보를 혼합하여, 출력 영상의 색 정보를 계산하는 설명도이다.
도 19는 출력 영상의 각 픽셀의 색 정보를, 입력 영상의 y 방향으로 인접한 대응하는 2 픽셀로부터 생성하는 경우의 이미지(image) 도이다.
도 20은 y 방향으로 인접한 입력 영상의 2 픽셀의 색 정보를 혼합하여, 출력 영상의 색 정보를 계산하는 설명도이다.
도 21은 출력 영상의 각 픽셀의 색 정보를, 입력 영상의 x 방향 및 y 방향으로 인접한 대응하는 4 픽셀로부터 생성하는 경우의 이미지(image) 도이다.
도 22는 x 방향 및 y 방향으로 인접한 입력 영상의 4 픽셀의 색 정보를 혼합하여, 출력 영상의 색 정보를 계산하는 설명도이다.
도 23은 x 방향으로 인접한 입력 영상의 대응하는 2 픽셀로부터 출력 영상의 각 픽셀의 색 정보를 생성하는 경우에, 입력순서에 따라 입력 영상을 출력 영상으로 변환하는 처리의 설명도이고, (a)는 입력 영상의 선두의 픽셀 P1, P2를 입력한 시점에서의 처리의 설명도이고, (b)는 픽셀 P2에 계속되는 픽셀 P3을 입력한 시점에서의 처리의 설명도이다.
도 24는 y 방향으로 인접한 입력 영상의 대응하는 2 픽셀로부터 출력 영상의 각 픽셀의 색 정보를 생성하는 경우에, 입력순서에 따라 입력 영상을 출력 영상으로 변환하는 처리의 설명도이고, (a)는 입력 영상의 선두의 픽셀 P1, P2를 입력한 시점에서의 처리의 설명도이고, (b)는 픽셀 P2에 계속되는 픽셀 P4를 입력한 시점에서의 처리의 설명도이다.
도 25는 x 방향 및 y 방향으로 인접한 입력 영상의 대응하는 4 픽셀로부터 출력 영상의 각 픽셀의 색 정보를 생성하는 경우에, 입력순서에 따라 입력 영상을 출력 영상으로 변환하는 처리의 설명도이고, (a)는 입력 영상의 선두의 픽셀 P1~P4를 입력한 시점에서의 처리의 설명도이고, (b)는 픽셀 P4에 계속되는 픽셀 P6을 입력한 시점에서의 처리의 설명도이다.
도 26은 x 방향으로 인접한 입력 영상의 대응하는 2 픽셀로부터 출력 영상의 각 픽셀의 색 정보를 생성하는 경우에, 출력순서에 따라 입력 영상을 출력 영상으로 변환하는 처리의 설명도이고, (a)는 출력 영상의 선두 픽셀 P1'을 생성하는 설 명도이고, (b)는 선두 픽셀 P1'에 계속되는 픽셀 P2'을 생성하는 설명도이다.
도 27은 y 방향으로 인접한 입력 영상의 대응하는 2 픽셀로부터 출력 영상의 각 픽셀의 색 정보를 생성하는 경우에, 출력순서에 따라 입력 영상을 출력 영상으로 변환하는 처리의 설명도이고, (a)는 출력 영상의 선두 픽셀 P1'을 생성하는 설명도이고, (b)는 선두 픽셀 P1'에 계속되는 픽셀 P2'을 생성하는 설명도이다.
도 28은 x 방향 및 y 방향으로 인접한 입력 영상의 대응하는 4 픽셀로부터 출력 영상의 각 픽셀의 색 정보를 생성하는 경우에, 출력순서에 따라 입력 영상을 출력 영상으로 변환하는 처리의 설명도이고, (a)는 출력 영상의 선두 픽셀 P1'을 생성하는 설명도이고, (b)는 선두 픽셀 P1'에 계속되는 픽셀 P2'을 생성하는 설명도이다.
부호의 설명
1 스크린(screen)
2 영상 투영 기기(unit)
2a,2b 프로젝터
3 왜곡 보정 유닛(unit)
3a-3d 영상 입력 단자
3e,3f 영상 출력 단자
3g 외부 입력 단자
3h 외부 출력 단자
4 영상 생성 기기
5 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)
6 조작 입력부
11 신호 방식 변환 회로
12 영상 신호 처리 회로
13 외부 기기 제어 회로
14 디지털 시그널 프로세서(Digital Signal Processor)
15 계산용 메모리(memory)
16 테이블(table)용 메모리(memory)
17 신호 방식 변환 회로
18 제어 신호용 메모리(memory)
21 입력 영상 처리부
22 영상 전환(switching)/분배부
23 영상 합성부
24 왜곡 보정부
25 출력 영상 처리부
26 동기 처리부
27 변환 테이블(table) 판독(reading)/보존부
28 외부 기기 제어부
29 제어 신호 판독(reading)/보존부
31 구형 모델(model)
32 원통 모델(model)
33 혼합 모델(model)
31a,32a,34a∼36a 입력 파라미터(parameter)
31b,32b,34b∼36b 메시 모델(mesh model)
34 구면 혼합 모델(model)
35 원통 혼합 모델(model)
36 평면 혼합 모델(model)
100 입력 영상
100'출력 영상
이하, 본 발명의 실시예에 관해서 도면을 참조하여 설명한다.
본 발명을 적용한 가상 현실감 생성 시스템(system)은, 도 1에 도시된 바와 같이, 관찰자(시청자)에게 대면된 오목한 면(concave surface)을 갖는 임의의 형상의 투영면을 포함하고, 상기 관찰자의 유효 시야각보다 더 넓은 영상을 표시 가능한 스크린(screen)(1)에, 3차원의 영상 광을 투영하기 위해서, 투영 수단인 2대의 프로젝터(projector)(2a,2b)를 포함하는 영상 투영 기기(2)에 의해 우안용 영상 광과 좌안용 영상 광으로 구성되는 출력 영상을 출사하여, 관찰자(시청자)에게 가상 현실감을 주는 것이다.
이 가상 현실감 생성 시스템(system)은, 영상 신호 처리 장치인 왜곡 보정 유닛(unit)(3)에, 프로젝터(2a,2b)와 영상 생성 기기(4)와 파라미터(parameter) 조 정용 퍼스널 컴퓨터(personal computer)(5)가 접속되어 있다. 왜곡 보정 유닛(unit)(3)은, 임의의 형상의 투영면의 스크린(screen)(1)에 영상 광이 투영되는 때의 영상 왜곡을 보정하고 출력 영상 신호를 생성하는 영상 신호 처리를 수행한다. 또한, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)는, 왜곡 보정 유닛(unit)(3)에 평상시 접속되어 있을 필요는 없고, 후술하는 바와 같이 왜곡 보정 테이블(table), 휘도 보정 테이블(table), 제어 신호 등을 왜곡 보정 유닛(unit)(3)에 출력하는 때에만 접속되어 있으면 된다.
스크린(screen)(1)은, 프로젝터(2a,2b)로부터의 우안용 영상 광과 좌안용 영상 광을 거울면 반사한다. 또한, 이 스크린(screen)(1)의 투영면의 형상으로는, 구체의 일부를 이용한 반구 상, 원통 상 등을 들 수 있고, 복수의 평면을 접속한 형상이라도 좋다.
프로젝터(2a,2b)는, 우안용 영상 광과 좌안용 영상 광을 출사하기 위해, 왜곡 보정 유닛(unit)(3)으로부터 우안용 영상 신호와 좌안용 영상 신호를 포함하는 출력 영상 신호를 수신한다. 이들 프로젝터(2a,2b)는, 왜곡 보정 유닛(unit)(3)의 2채널(channel)의 영상 출력 단자(3e,3f)의 각각에 접속되어 있다.
또한, 시청자에게 입체적인 조망을 하게 한 경우, 예를 들면 프로젝터(2a)에 우안용 편광 필터, 프로젝터(2b)에 좌안용 편광 필터를 장착시키고, 스크린(screen)(1)으로는 거울면 반사 스크린(screen)을 사용하며, 시청자에게는 편광 필터에 대응한 편광 안경을 장착시킨다. 또, 프로젝터(projector)는, 2 대일 필요는 없고, 한 대의 프로젝터(projector)로부터 시분할로 우안용 영상 광과 좌안용 영상 광을 교대로 출사하는 것이어도 좋다.
영상 생성 기기(4)는, 2차원 영상 광을 출사하기 위한 영상 신호를 기억하는 기억 매체를 가지고 있다. 이 영상 생성 기기(4)로는, 퍼스널 컴퓨터(personal computer), 비디오 덱(video deck)이나 DVD 덱(deck) 등의 영상 재생 장치, 비디오 카메라(video camera), 입체 카메라(camera) 등을 들 수 있다. 또한, 영상 생성 기기(4)는, 4채널(channel)분의 출력단자를 가지고, 왜곡 보정 유닛(unit)(3)의 1채널(channel)∼4채널(channel)의 영상 입력단자(3a,3b,3c,3d)에 접속되어 있다. 또한, 도 1 내지 도 3에 나타난 예에서는, 4채널(channel) 입력, 2채널(channel) 출력의 구성을 나타내고 있지만, 입출력 모두 1 채널(channel) 뿐이어도 좋다.
파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)는, 스크린(screen)(1)의 곡면 형상에 따라서 왜곡 보정 유닛(unit)(3)으로, 2차원 영상 신호에 왜곡 보정을 행하기 위한 왜곡 보정 테이블(table), 2차원 영상 신호에 휘도(밝기) 보정을 행하기 위한 휘도 보정 테이블(table)을 생성하고, 이 테이블들을 왜곡 보정 유닛(unit)(3)에 공급한다.
이 왜곡 보정 테이블(table)은, 2차원의 투영면과 임의의 형상의 투영면의 메시 모델(mesh model)과의 대응 맵(map)이다. 이 왜곡 보정 테이블(table)은, 왜곡 보정 후의 출력 영상의 픽셀에 대응하는 왜곡 보정 전의 입력 영상의 픽셀과, 그 픽셀으로부터의 이동량을 기술하는 것으로서, 입력 영상의 복수의 픽셀의 색 정보를 적절한 비율로 혼합하여 출력 영상의 픽셀의 색 정보로 하는 것도 가능하게 한 테이블(table)이어도 좋다. 또, 휘도(brightness) 보정 테이블(table)은, 왜곡 보정 처리 전의 2차원 영상 신호 또는 왜곡 보정 처리 후의 출력 영상 신호의 각 픽셀을 몇 배의 휘도로 할지를 기술한 테이블(table)이다.
2차원의 투영면과 임의의 형상의 투영면의 메시 모델(mesh model)간의 대응 맵(map)만을 기술한 왜곡 보정 테이블(table)은, 예를 들면, 입력 영상의 픽셀 좌표(5,7)와 출력 영상의 픽셀 좌표(6,8)를 대응시켜 기술하고 있다. 또, 입력 영상의 복수의 픽셀의 색 정보로부터 출력 영상의 픽셀의 색 정보를 생성할 수 있는 왜곡 보정 테이블(table)은, 예를 들면, x 방향으로 0.55, y 방향으로 0.3의 이동량이 있는 경우에, 입력 영상의 픽셀 좌표(5.55,7.3)와 출력 영상의 픽셀 좌표(6,8)를 대응시켜 기술하고 있다.
왜곡 보정 유닛(unit)(3)은, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)와 접속되는 외부 입력 단자(3g)를 포함하고, 왜곡 보정 테이블(table), 휘도 보정 테이블(table)을 입력한다. 또한, 이 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에 의해 왜곡 보정 테이블(table)이 생성되는 처리에 관해서는 후술한다.
파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)는, 프로젝터(2a,2b)의 동작을 제어하는 제어 신호를 왜곡 보정 유닛(unit)(3)에 출력한다.이 제어 신호는, 프로젝터(2a,2b)의 영상 광의 출력 개시 및 정지를 비롯해, 프로젝터(2a,2b)의 영상 투영 위치나 영상 사이즈(size), 줌(zoom) 배율, 색 조정 등의 모든 프로젝터(2a,2b)의 제어 명령(command)을 포함한다. 이 제어 신호는, 왜곡 보정 유닛(unit)(3)에 의해 입력되고, 왜곡 보정 유닛(unit)(3)의 외부 출력 단자 (3h)를 이용하여 프로젝터(2a,2b)의 각각에 공급된다.
왜곡 보정 유닛(unit)(3)은, 그 하드웨어(hardware) 구성이 도 2에 도시된 바와 같이, 영상 입력 측의 신호 방식 변환 회로(11)와, 영상 신호 처리 회로(12)와, 외부 기기 제어 회로 (13)와, 디지털 시그널 프로세서(digital signal processor)(DSP)(14)와, 계산용 메모리(memory)(15)와, 테이블(table)용 메모리(memory)(16)와, 영상 출력 측의 신호 방식 변환 회로(17)와, 제어 신호용 메모리(memory)(18)를 포함한다. 이와 같은 하드웨어(hardware) 구성을 가지는 왜곡 보정 유닛(unit)(3)은, 그 기능적인 소프트웨어(software) 구성이 도 3에 도시된 바와 같이, 입력 영상 처리부(21)와, 영상 전환(switching)/분배부(22)와, 영상 합성부(23)와, 왜곡 보정부(24)와, 출력 영상 처리부(25)와, 동기 처리부(26)와, 변환 테이블(table) 판독(reading)/보존부(27)와, 외부 기기 제어부(28)와, 제어 신호 판독(reading)/보존부(29)를 갖는다.
신호 방식(system) 변환 회로(11)는, 영상 입력 단자(3a,3b,3c,3d)를 이용하여 영상 생성 기기(4)로부터의 영상을 입력하는, 입력 영상 처리부(21)로서 기능 한다. 이 신호 방식 변환 회로(11)는, 영상 생성 기기(4)로부터의 2차원 영상 신호로서, 합성물(composite) 신호, 분리(separate) 신호, 컴포넌트(component) 신호, 디지털 비디오(digital video) 신호 등을 입력한다. 또한, 이처럼 여러 종류의 2차원 영상 신호를 입력 가능한 구성인 경우, 영상 입력 단자(3a,3b,3c,3d)는, 각각의 신호 방식(system)에 대응하는 단자 형상인 DVI-I 단자, RGB 단자, S 단자, 합성물(composite) 단자, D 단자 등으로 되어 있다. 이처럼, 모든 종류의 2차원 영상 신호를 입력 가능하게 함으로써, 입력하는 2차원 영상 신호의 종류 폭을 넓히고 있다. 신호 방식 변환 회로(11)는, 영상 입력 단자(3a,3b,3c,3d)를 이용하여 2차원 영상 신호를 입력한 것에 따라, 상기 2차원 영상 신호의 방식을, 후단의 영상 신호 처리 회로(12) 등으로 처리 가능한 방식으로 변환하고, 영상 신호 처리 회로(12)에 출력한다.
영상 신호 처리 회로(12)는, 도 3에서 영상 전환(switching)/분배부 (22)가 되는 영상 전환(switching)/분배 회로, 영상 합성부(23)가 되는 영상 합성 회로, 왜곡 보정부(24)가 되는 영상 보정 회로, 동기 처리부(26)가 되는 동기 처리 회로를 포함한다. 이 영상 신호 처리 회로(12)는, 영상 전환(switching)/분배부(22)에 의해 입력 영상 처리부(21)로부터의 2차원 영상 신호의 교체 또는 분배를 수행하고, 복수의 2차원 영상 신호를 합성하는 경우에는 영상 합성부(23)에서 영상 합성을 수행하고, 이를 왜곡 보정부(24)에 공급한다.
왜곡 보정부(24)는, 변환 테이블(table) 판독(reading)/보존부(27)에 미리 기억되는 왜곡 보정 테이블(table)을 참조하여, 왜곡 보정 처리를 위해 2차원 영상 신호를 출력 영상 신호로 변환하도록 각 픽셀마다 좌표 변환을 수행한다. 또, 왜곡 보정부(24)는, 변환 테이블(table) 판독(reading)/보존부(27)에 기억되는 휘도 보정 테이블(table)을 참조하여, 휘도 보정 처리를 위해 2차원 영상 신호를 출력 영상 신호로 변환하도록 각 픽셀마다 휘도치를 변화시킨다. 또한, 왜곡 보정부(24)는, 왜곡 보정 처리의 좌표변환 시에, 왜곡 보정 테이블(table) 내부에 기술되는 이동량을 참조함으로써, 출력 영상의 픽셀에 관련되는 입력 영상의 복수의 픽셀의 색 정보를 기초로 출력 영상의 각 픽셀의 색 정보를 생성할 수도 있다. 이 왜곡 보정 처리, 휘도 보정 처리를 수행할 때에, 영상 신호 처리 회로(12)(왜곡 보정부(24))는, 계산용 메모리(memory)(15)를 작업 영역으로 이용한다.
이 왜곡 보정부(24)에 의한 왜곡 보정 처리는, 도 4(a)에 나타난 2차원 영상 신호(100)의 픽셀 a,b,c을, 도 4(b)에 나타난 출력 영상 신호(100')의 픽셀 a',b',c'로 변환하는 것에 의해, 왜곡 보정을 행한다. 이 출력 영상 신호 (100')은, 임의의 형상의 투영면으로 되어 있는 스크린(screen)(1)의 메시 모델(mesh model)에 따라, 좌표변환이 수행된 결과이다.
왜곡 보정부(24)에 의한 휘도 보정 처리는, 변환 테이블(table) 판독(reading)/보존부(27)에 왜곡 보정 처리 후의 출력 영상 신호에 대응한 휘도 보정 테이블(table)이 기억되어 있는 경우에는, 도 5에 나타난 처리가 된다. 즉, 우선 도 5(a)에 나타난 2차원 영상 신호(100)에 대하여 휘도 보정 처리를 수행하고, 2차원 영상 신호(100')를 생성하고, 그 뒤에, 상기 2차원 영상 신호(100')에 왜곡 보정 처리가 수행된다.
또, 휘도 보정 처리는, 변환 테이블(table) 판독(reading)/보존부(27)에 왜곡 보정 처리 전의 2차원 영상 신호에 대응한 휘도 보정 테이블(table)이 기억되어 있는 경우에는, 도 6에 나타난 처리가 된다. 즉, 도 6(a)에 나타난 2차원 영상 신호(100)에 왜곡 보정 처리가 수행된 결과인 도 6(b)의 출력 영상 신호 (100')에서, 상기 왜곡 보정 후의 픽셀 a',b',c'의 휘도를 변화하여, 도 6(c)에 나타난 휘도 보정 후의 새로운 픽셀 a'',b'',c''를 얻는다. 또한, 왜곡 보정부(24)의 왜곡 보정 처리에서는, 왜곡 보정 처리의 좌표변환 시에, 왜곡 보정 테이블(table) 내부에 기술되는 이동량을 참조함으로써, 출력 영상의 픽셀에 관련되는 입력 영상의 복수의 픽셀의 색 정보를 기초로 출력 영상의 픽셀의 색 정보를 생성하는 것도 가능하다. 이 출력 영상의 픽셀의 색 정보를 보간하고 생성하는 처리를 포함하는 왜곡 보정 처리의 상세한 것에 대해서는, 후술한다.
이 왜곡 보정부(24)에 의해 왜곡 보정 처리 및 휘도 보정 처리가 수행된 출력 영상 신호는, 출력 영상 처리부(25)(신호 방식 변환 회로 (17))에 넘겨지고, 상기 출력 영상 처리부(25)로부터 프로젝터(2a,2b)에 공급된다. 이 때, 출력 영상 처리부(25)(신호 방식 변환 회로 (17))는, 출력 영상 신호를 프로젝터(2a,2b)로 영상 투영 가능한 신호 방식으로 변환하고 출력한다. 또한, 영상 출력단자(3e,3f)는, 출력 영상 신호의 방식에 대응하는 단자 형상인 DVI-I 단자, RGB 단자 등으로 되어 있다.
또, 이 왜곡 보정 유닛(unit)(3)에 있어서, 동기 처리부(26)는, 실시간 처리(real time)로 입력 영상 처리부(21), 영상 전환(switching)/분배부(22), 영상 합성부(23), 왜곡 보정부(24) 및 출력 영상 처리부(25)를 동작시키기 위해 각 부분간의 영상 신호의 처리 타이밍(timing), 영상 신호 전송 타이밍(timing)을 제어하고 있다. 이 왜곡 보정 유닛(unit)(3)은, 디지털 시그널 프로세서(digital signal processor)(14)에 의해, 영상 신호 처리 회로(12)의 소프트웨어적인 처리가 제어되어 있다.
또한, 왜곡 보정 유닛(unit)(3) 내부에서, 제어 신호 판독(reading)/보존 부(29)는 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)로부터 공급되는 제어 신호를 수신·보존하고, 외부 기기 제어 회로(13)(외부 기기 제어부(28))는, 제어 신호 판독(reading)/보존부(29)로부터 제어 신호를 적절히 선택하고, 상기 제어 신호를 외부 출력단자(3h)를 통하여 프로젝터(2a,2b)에 전송한다. 또한, 왜곡 보정 유닛(unit)(3)으로부터 프로젝터(2a,2b)에 송신되는 제어 신호는, 도 3에 도시된 바와 같이, 유저(user)에 의해 조작되는 누름 버튼이나 리모트 콘트롤(remote control) 등 조작 입력부(6)로부터의 조작 입력 신호에 따라, 외부 기기 제어부(28)로부터 출력될 수 있다. 이것에 의해, 유저(user)가 제어 신호 판독(reading)/보존부 (29)에 보존되어 있는 제어 신호를 자유롭게 바꾸면서 프로젝터(2a,2b)를 제어할 수 있다.
이처럼, 왜곡 보정 유닛(unit)(3)에 의하면, 사전에 변환 테이블(table) 판독(reading)/보존부(27)에 왜곡 보정 테이블(table), 휘도 보정 테이블(table)을 기억시켜 두고, 프로젝터(2a,2b)로부터 스크린(screen)(1)에 영상 광을 출사시킬 때 2차원 영상 신호에 왜곡 보정 처리, 휘도 보정 처리를 수행하는 경우에, 2차원 좌표변환, 휘도 변환을 하는 것만으로, 3차원 처리를 수행하는 일없이 출력 영상 신호를 생성할 수 있다. 즉, 왜곡 보정 관계식의 생성을 외부의 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)로 수행하고, 상기 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)의 처리 결과를 왜곡 보정 테이블(table)로써 입력할 수 있기 때문에, 왜곡 보정 유닛(unit)(3) 내부에서, 3차원의 계산 처리를 필요로 하지 않고, 2차원의 계산 처리만으로 왜곡 보정 이 가능하다. 따라서 왜곡 보정 유닛(unit)(3)에 의하면, 시청자에게 시청시킨 영상의 왜곡을 억제하는 처리를 간단한 구성으로 실현할 수 있다.
또, 이 왜곡 보정 유닛(unit)(3)에 의하면, 다양한 종류의 영상 신호에 대하여 상술한 처리를 수행할 수 있고, 입력 영상의 종류에 대한 제한을 경감할 수 있다.
또한, 왜곡 보정 유닛(unit)(3)은, 복수의 2차원 영상 신호를 동시에 입력하고 복수의 영상 신호를 동시에 출력하는 구성으로 되어 있다. 동시에 복수의 2차원 영상 신호를 입력한 경우에, 영상 신호 처리 회로 (12)는, 상기 복수의 2차원 영상 신호를 선택해서, 왜곡 보정을 수행한 출력 영상 신호를 신호 방식 변환 회로(17)에 출력할 수 있다. 상기 복수의 2차원 영상 신호는 합성되고 신호 방식 변환 회로(17)로부터 출력될 수 있다. 이 복수의 2차원 영상 신호 중 신호 방식 변환 회로(17)에 출력되는 출력 영상 신호를 선택하는 조건은, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에 의해 설정될 수 있다. 또, 복수의 2차원 영상 신호를 합성하기 전에, 상기 복수의 2차원 영상 신호의 영상 사이즈(size)를 통일시키기 위해 영상의 확대, 축소 처리를 수행하는 것이 바람직하다.
또, 복수의 2차원 영상 신호를 동시에 입력한 경우, DSP(14)로 구성되는 동기 처리부(26)에 의해서, 복수의 2차원 영상 신호의 처리 타이밍(timing)의 동기를 맞출 수 있다. 이것에 의해, 2대의 프로젝터(2a,2b)를 사용하여 입체적 보기를 제공할 수 있다.
또한, 상술한 영상 신호 처리 회로(12)는, 복수의 2차원 영상 신호를 이용하 여, 상기 복수의 2차원 영상 신호 사이에서 제공된 격차를 가지고 합성한 격차(disparity) 2차원 영상 신호를 생성할 수 있다. 예를 들면, 3채널(channel) 입력의 경우, 채널(channel) 3의 2차원 영상 신호와 채널(channel) 1 및 채널(channel) 2의 2차원 영상 신호 간에 제공된 격차를 가진 채널(channel) 1 및 채널(channel) 2의 2차원 영상 신호에 의해 채널(channel) 3의 2차원 영상 신호가 합성될 수 있다. 4채널(channel) 입력의 경우, 채널(channel) 3, 채널(channel) 4의 2차원 영상 신호를 각각 채널(channel) 1, 채널(channel) 2의 2차원 영상 신호와 그것들(채널 3과 채널 1, 채널 4와 채널 2) 사이의 격차를 가지고 합성함으로써, 격차 2차원 영상 신호가 생성될 수 있다. 이와 같은 격차 2차원 영상 신호가 생성되는 처리의 조건은, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에 의해 설정될 수 있고, 상기 설정에 따라서, 스크린(screen)(1)에 왜곡이 없는 입체 영상을 표시할 수 있다.
다음에, 상술한 것과 같이 구성되는 가상 현실감 생성 시스템(system)에서, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에 의한 왜곡 보정 테이블(table)의 생성 처리에 관해서 설명한다.
파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)는, 왜곡 보정 테이블(table)에 관한 테이블(table) 생성/출력부의 기능으로서, 스크린 모델(screen model) 창조부, 프로젝터(projector) 배치·셋업부, 유저(user) 위치 설정부를 주로 가진다. 스크린 모델(screen model) 창조부는, 도 7에 도시된 바와 같이, 스크린(screen)(1)의 메시 모델(mesh model)을 창조하는 것이다. 이 스크린 모 델(screen model) 창조부에는, 우선, 기본적인 3개의 모델(model)이 기억되어 있다. 즉, 구형만의 모델(model)(31)과, 원통만의 모델(model)(32)과, 혼합 모델(model)(33)이 있다. 혼합 모델(model)(33)은, 구형을 주로 하고 다른 평면 또는 곡면을 혼합한 구면 혼합 모델(model)(34)과, 원통을 주로 하고 다른 평면 또는 곡면을 혼합한 원통 혼합 모델(model)(35)과, 평면을 주로 하고 다른 평면 또는 곡면을 혼합한 평면 혼합 모델(model)(36)로 구성된다. 그리고, 각 모델(model) (31,32,34∼36)에 대해서는, 이 모델들 중의 하나를 선택하고, 또한, 입력 파라미터(parameter)(31a,32a,34a∼36a)를 입력하는 것으로, 실제의 스크린(screen)(1)에 적합한 메시 모델(mesh model)(31b,32b,34b∼36b)을 생성할 수 있다. 또한, 스크린 모델(screen model) 창조부에 기억해 두는 기본적인 모델(model)로는, 도 7에 나타난 모델(model)(31∼33)에 한하지 않고, 상기 모델(model)(31∼33) 이외에, 타원형의 모델(model), 장방형의 모델(model) 등도 설정해 두고, 입력 파라미터(parameter)의 입력, 메시 모델(mesh model)의 생성을 수행d할 수가 있다. 이것에 따라, 타원형이나 장방형, 상기 타원형이나 장방형을 복수 개 조합한 스크린(screen)(1)이라도, 상기 스크린(screen)(1)에 투영한 영상에 왜곡을 발생시키지 않은 왜곡 보정 테이블(table)을 생성할 수 있다.
기본 모델(model)과 입력 파라미터(parameter)는, 이하와 같다.
도 8에 나타난 구면(구의 일부)의 경우, 입력 파라미터(parameter)로는, 구의 반경 R과, 구의 중심으로부터 절단면까지의 거리 A가 있다.
여기에서, 구는, 식 1처럼 표시된다.
x2 + y2 + z2 = R2 (식 1)
여기에서, A≤x≤R, -y1≤y≤y1, -z1≤z≤z1이다. y1은, 식 1에서, x=A,z=0을 대입하는 것에 의해 구해지고, z1은,식 1에서, z=A,y=0을 대입하는 것에 의해 구해지고, 그 결과 y1=z1이 된다. 따라서, 위에서 설명한 바와 같이 스크린(screen)(1)이 구면인 경우, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에의 입력 파라미터(parameter)로는, 구의 반경 R과, 구의 중심으로부터 절단면까지의 거리 A을 입력하면 좋다.
도 10에 도시된 바와 같이, 왼쪽, 오른쪽, 위, 아래쪽에서 안쪽으로 구면의 일부를 절단한 스크린(screen)(1)인 경우 스크린(screen)(1)의 투영면은 이하와 같다. 예를 들면 도 10(a)와 같이 아래쪽에서 구면의 일부를 절단한 스크린(screen)(1)인 경우, 스크린(screen)(1)의 투영면은, 식 1로 표현되고, 도 9에 도시된 바와 같이, A≤x≤R, -B≤y≤y1, -z1≤z≤z1이고, y1은, 식 1에서, x=A,z=0을 대입하는 것에 의해 구해지고, z1은, 식 1에서, x=A,y=0을 대입하는 것에 의해 구해지고, x1은, 식 1에서, y=-B,z=0을 대입하는 것에 의해 구해진다. 따라서, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에의 입력 파라미터(parameter)로는, 구의 반경 R과, 구의 중심으로부터 절단면까지의 거리 A와, 원점으로부터 절단하는 위치까지의 거리 B를 입력하면 좋다.
마찬가지로, 위, 오른쪽, 왼쪽에서 절단한 경우는, 각각 도 10(b), 도 10(c), 도 10(d)과 같은 스크린(screen)(1)이 되고, 식 1은, 아래와 같이 된다. 도 10(b)와 같이 위에서 절단한 경우,A≤x≤R,-y≤y≤B,-z1≤z≤z1이다. 도 10(c)와 같이 오른쪽에서 절단한 경우,A≤x≤R,-y≤y≤y1,-z1≤z≤B이다. 도 10(d)와 같이 왼쪽에서 절단한 경우, A≤x≤R, -y≤y≤y1, -B≤z≤z1이다. 또한, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에의 입력 파라미터(parameter)의 수를 늘리면, 2군데 이상의 절단 위치를 조합한 스크린(screen)(1)인 경우라도 좋다.
한편, 도 11에 도시된 바와 같이, 스크린(screen)(1)이 원통을 절단한 아치(arch) 면인 경우에는, 스크린 모델이 원통 모델로 표현된다. 도 11에 도시된 바와 같이 x-y평면의 절단면 상의 원통 모델의 원은, 식 2처럼 표현한다.
x2 + z2 = R2 (식 2)
여기에서, A≤x≤R,0<y≤H,-z1≤z≤z1의 제한을 더함으로써, 원통 모델의 표면의 식이 구해진다. 이 경우, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에의 입력 파라미터(parameter)로는, 아치(arch)의 반경 R과, 원의 중심으로부터 절단면까지의 거리 A와, 아치(arch)의 높이 H가 있다.
또한 도 12(a)는, 복수 평면(장방형의 면이 복수 존재)으로 구성되는 스크린(screen)(1)의 투영면의 경우를 나타내고, 이 경우, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에의 입력 파라미터(parameter)로는, 도 12(b)에 도시된 바와 같이 윗면으로부터 보는 때의 면의 위치와, 면의 높이 H가 있다. 도 12(b)의 경우,
z = -x + 1 (0≤x<1) (식 3-1)
z = 0 (1≤x<3) (식 3-2)
z = x - 3 (3≤x≤4) (식 3-3)
0< y ≤H (식 3-4)
또, 수평으로 배치된 복수의 구면을 합성한 복수의 구면으로 구성되는 스크린(screen)(1)의 경우에는, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에의 입력 파라미터(parameter)는, 도 8 또는 도 9에 나타나는 예와 마찬가지로, 반경 R과, 절단면까지의 거리 A와, 절단하는 위치까지의 거리 B와, 수평으로 배치되는 구면의 개수이면 된다. 즉, 예를 들면, 상하에 2개의 구면 스크린(screen)을 수평으로 할 수 있는 스크린(screen)(1)이라고 한 경우, 도 10(a)와 도 10(b)를 조합시킴으로써 실행될 수 있고, 마찬가지로 상하에 2개의 구면 스크린(screen)을 수평으로 할 수 있는 스크린(screen)(1)이라고 한 경우, 도 10(a)과 도 10(b)를 조합시킴으로써 실행될 수 있고, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에의 입력 파라미터(parameter)로는, 전술한 것처럼, 반경 R과, 절단면까지의 거리 A와, 절단하는 위치까지의 거리 B와, 수평으로 배치되는 구면의 개수이면 된다는 것이 이해될 것이다.
복수의 원통 면으로 구성되는 스크린(screen)(1)의 경우에는, 윗면으로부터 보는 배치도에, 면의 높이 H와, 각각의 스크린(screen)(1)의 반경 R 및 거리 A와, 개수를 입력하면 좋다. 이렇게 하고, 스크린(screen)(1)의 투영면의 함수식이 정해지기 때문에, x,y,z에 적당한 값을 대입하는 것으로써, 어느 일정 개수 이상의 스 크린(screen)(1)상의 점(point)을 샘플링 점(sampling point)으로 기록하는 것으로써, 스크린(screen)(1)의 투영면 형상을 특정할 수 있다. 각각의 스크린(screen)(1)의 투영면의 함수식은, 스크린 모델(screen model) 창조부에서, 미리 각 모델(model)(31,32,34∼36) 내에 저장되고, 왜곡 보정 테이블(table)의 설정시에 호출할 수 있다. 그리고, 입력 파라미터(parameter)(31a,32a,34a∼36a)로 상기의 파라미터(parameter)를 입력함으로써, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에 의하여, 실제의 스크린(screen)(1)에 적절한 메시 모델(mesh model)(31b,32b,34b∼36b)을 생성할 수 있다.
또한, 상기와 같은 스크린(screen)(1)의 투영면 상의 샘플링 점은, x축 주위, y축 주위, z축 주위를 회전 가능(기울어진 스크린(screen)(1)을 정의 가능)하다.
즉, x축 주위의 α도의 회전은, 식 4로 표현할 수 있다.
[수학식1]
Figure 112008059039323-PCT00001
또, y축 주위의 β도의 회전은, 식 5로 표현할 수 있다.
[수학식2]
Figure 112008059039323-PCT00002
또한, z축 주위의 γ도의 회전은, 식 6으로 표현할 수 있다.
[수학식3]
Figure 112008059039323-PCT00003
파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)는, 이렇게 얻어진 스크린(screen)(1)의 투영면 상의 샘플링(sampling) 점에, 왜곡 보정 유닛(unit)(3)에 입력되는 2차원 영상 신호의 각 샘플링(sampling) 점을 매핑시킨 대응 맵(map)을 생성하여 왜곡 보정 유닛(unit)(3)으로 왜곡 보정 처리를 수행하게 할 수 있다. 2차원 영상 신호의 각 픽셀을 왜곡 보정 테이블(table)에 대응한 픽셀로 할당함으로써, 왜곡 보정 처리가 수행된 출력 영상 신호를 생성할 수 있다.
사용하는 스크린(screen)(1)의 투영면 형상이 결정되고 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에 각 파라미터(parameter)를 입력하여 왜곡 보정 테이블(table)이 일단 생성되면, 파라미터(parameter) 등에 변경이 없는 한 왜곡 보정 테이블을 변경할 필요가 없다. 왜곡 보정 테이블(table)은 그러 므로 왜곡 보정 유닛(unit)(3)에 공급되고, 왜곡 보정 유닛(unit)(3) 내에 기억된다.
이상의 도 8 내지 도 12를 이용한 설명은, 도 13에 도시된 바와 같이 스크린(screen)(1)의 투영면 형상에 대한 왜곡 보정 처리를 왜곡 보정 유닛(unit)(3)에 의해 수행하는 것에 관한 것이다. 즉, 2차원의 투영면에 대한 2차원 영상 신호를, 보정 없이 그대로 구형의 스크린(screen)(1)에 투영한다면, 도 13(a)에 도시된 바와 같이 왜곡된 영상이 되고, 이 때문에 구형의 스크린(screen)(1)에 투영되는 영상의 왜곡이 없어지도록, 도 13(b)에 도시된 바와 같이 사전에 왜곡된 출력 영상 신호를 생성하는 것이다. 그렇지만, 프로젝터(2a,2b)의 스크린(screen)(1)에 대한 배치 위치의 차이 및 시청자의 스크린(screen)(1)에 대한 위치의 차이 등으로 인해, 새로운 왜곡 보정이 필요해진다. 따라서, 위에서 설명한 바와 같은 방법으로 구한 왜곡 보정 테이블(table)에, 또한 그와 같은 보정을 행할 수 있게 된다.
이하에, 투영면이 구면인 스크린(screen)(1)에 대하는 프로젝터(2a,2b) 및 시청자의 위치의 차이에 대한 왜곡 보정 테이블(table)의 생성 처리에 관해서 설명한다. 이 처리는, 프로젝터(projector) 배치/셋업부 및 유저(user) 위치 설정부로부터의 입력에 응답하여 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에 의해서 수행된다.
도 14는, 상술한 구면 보정에, 프로젝터(2a,2b) 및 시청자의 위치 보정을 포함한 왜곡 보정 방법을 설명하기 위한 도면이다. 우선 보정에 있어서, 도 14에 도시된 바와 같이, 시청자의 시점 위치로부터 시야 절두체(view frustum)를, 프로젝 터(2a,2b)의 투영 위치로부터 영상 투영 절두체(projection frustum)를 각각 정의한다. 시야 절두체는, 시점 위치로서의 정점을 P0, 밑면을 P0,0,Pm,n,Pm,0으로 하는 사각뿔로 표현되고, 투영 절두체는, 프로젝터 뒤 초점 위치로서의 정점을 Q0, 밑면을 Q0,0,Qm,0,Qm,n,Q0,n으로 표현된다. 여기에서, m,n은 영상 해상도를 표현한 것이고, 영상 신호가, 예를 들면 SXGA의 경우는,m=1279,n=1023이다. 또한, 밑면은 가상 스크린(screen) 면 이라고도 불린다.
여기에서, 간단한 표현을 위해, m=i에 있어서 y-z 2차원 단면으로부터 보는 이미지(image)를 도 15에 나타낸다. 우선, 가상 스크린(screen) 면 1a내에 점 Pi,j을 상정하고, 벡터(vector) P0Pi,j과 돔(dome) 형의 스크린(screen)(1)(메시 모델(mesh model)(31b,32b,34b∼36b))과의 교점 Ri,j을 구한다. i,j을,0≤i≤m,0≤j≤n으로 변화해 가면, Pi,j→Qi,j 대응 맵(map)을 생성할 수 있고, 이 대응 맵(map)이 영상의 왜곡에 대한 반대 보정이 된다.
즉, 우선 시야 절두체에 근거한 통상의 영상 생성을 수행하고, 다음에 이 영상 데이터(data)를 가져오고, 이 이미지(image)에 Pi,j→Qi,j 대응 맵(map)을 이용한 텍스쳐 매핑(texture mapping) 좌표를 적용하고 재차 영상을 생성하게 하는 것으로, 왜곡 보정을 실현시킨다. 그리드(grid) 영상에 Pi,j→Qi,j 대응 맵(map)을 적용한 이미지(image)를 도 16에 나타낸다(즉 도 13(b)과는 역으로 된다). 이 왜곡 보정 처리는, 스크린(screen)(1)의 투영면 형상을 제한하지 않는다. 따라서, 위에서 설명한 바에 의해서 구한 구면의 메시 모델(mesh model)(31b) 뿐만 아니라, 다른 메시 모델(mesh model)(32b,34b∼36b) 등에도 적용 가능하다.
이처럼, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에 의해 왜곡 보정 처리를 수행하게 하기 위한 왜곡 보정 테이블(table)을 사용함으로써, 2차원 표시 면에 대한 2차원 영상 신호에 대하여 차례차례 왜곡 보정 처리를 수행하게 하고, 영상 광을 프로젝터(2a,2b)로부터 출사할 수 있다. 그러므로 임의의 형상의 스크린(screen)(1)에 왜곡이 없는 영상을 표시할 수 있다.
다음에, 상술한 왜곡 보정 테이블(table) 내부에 기술되는 이동량을 참조하여, 왜곡 보정 처리의 좌표변환 시에, 출력 영상의 픽셀에 관련되는 입력 영상의 복수의 픽셀의 색 정보를 기초로 출력 영상의 픽셀의 색 정보를 생성하는 처리(색 정보 보간식 왜곡 보정 처리)에 관해서 설명한다. 이 색 정보 보간식 왜곡 보정 처리는, 반드시 수행하지 않으면 안 되는 처리가 아니다. 단 이 색 정보 보간식 왜곡 보정 처리를 수행하는 것에 의해, 단지 왜곡 보정 처리를 수행한 경우와 비교하여 출력 영상의 왜곡(jaggy)을 경감하는 것이 가능해진다.
왜곡 보정부(24)는, 왜곡 보정 테이블(table)에 따라서 2차원 영상 신호를 출력 영상 신호로 변환하는 왜곡 보정 처리시에, 왜곡 보정 테이블(table)에 의해 수행된 변환 전의 2차원 영상 신호의 픽셀의 대표점으로부터, 변환 후의 출력 영상 신호의 픽셀의 대표점으로의 이동량에 상당하는 비율로, 변환 전의 복수의 픽셀의 색 정보를 혼합하고, 각 픽셀의 변환 후의 픽셀의 색 정보로서 혼합된 색 정보를 갖는 출력 영상 신호를 생성한다. 구체적으로는, 왜곡 보정부(24)는, 제1처리 또는 제2처리에 의해 출력 영상 신호를 생성한다. 제1처리는 적어도 2개의 픽셀에 관한 변환 후 픽셀의 대표점의 위치에 따른 변환 전에 X축 방향으로 인접한 적어도 2개 의 픽셀의 색 정보를 혼합하는 것이고, 제2처리는 적어도 2개의 픽셀에 관한 변환 후 픽셀의 대표점의 위치에 따른 변환 전에 Y축 방향으로 인접한 적어도 2개의 픽셀의 색 정보를 혼합하는 것이다.
여기에서, 스크린(screen)(1)의 투영면 상의 샘플링(sampling) 점에 2차원 영상 신호의 샘플링(sampling) 점을 매핑시킨 대응 맵(map)을 왜곡 보정 테이블(table)로서 변환 테이블(table) 판독(reading)/보존부(27)에 미리 기억해 둔다. 2차원 영상 신호의 각 픽셀을 왜곡 보정 테이블(table)에 대응한 픽셀로 할당해 가는 때에, 2차원 영상 신호의 1 픽셀을 출력 영상 신호의 1 픽셀에 대응시킨다고 한다면, 변환 후의 출력 영상에 계단모양의 얼룩, 소위 왜곡(jaggy)이 눈에 띄는 경우가 있다. 이것은 픽셀이 영상 해상도에 따라서 규정되는 유한한 크기를 갖고 있는 것이기 때문이고, 따라서 좌표 위치의 라운딩(rounding)에 상당하는 오차가 생긴다. 라운딩에 의한 오차는 변환 전의 픽셀의 대표점, 예를 들면 픽셀의 중심 위치가 변환 후의 픽셀의 대표점으로부터 떨어진 위치에 대응하는 것 때문에 생긴다. 따라서 상기 이동량에 상당하는 비율로, 2차원 영상 신호에서 인접한 픽셀의 색 정보를 이용하여 출력 영상 신호의 색 정보를 보간한다. 이것에 의해, 출력 영상 신호에 발생하는 왜곡(jaggy)이 감소된다.
예를 들면 x 방향으로 이동이 있는 경우, 도 17에 도시된 바와 같이, x 방향으로 인접한 2차원 영상 신호(이하,입력 영상(100)이라고 한다.)의 픽셀 P1,P2를 출력 영상 신호(이하,출력 영상(100')이라고 한다.)의 픽셀 P1'로 변환하고, x 방향으로 인접한 입력 영상(100)의 픽셀 P3,P4를 출력 영상(100')의 픽셀 P2'로 변환 할 때, 입력 영상(100)의 x 방향으로 인접한 픽셀 P1,P2의 색 정보를 이용하여 출력 영상(100')의 픽셀 P1'의 색 정보를 생성하고, 입력 영상(100)의 x 방향으로 인접한 픽셀 P3,P4의 색 정보를 이용하여 출력 영상(100')의 픽셀 P2'의 색 정보를 생성한다.
x 방향의 이동량Δx은, 0 이상 1 미만으로 표현할 수 있고, 0 또는 1인 때에는 입력 신호 픽셀의 대표점이 인접한 픽셀의 어느 하나의 대표점에 일치하는 것으로서 표현할 수 있다. 즉, 입력 영상(100)의 x 방향으로 인접한 2 픽셀이 출력 영상(100')에서 1 픽셀로 변환될 때에, 이동량Δx이 입력 영상(100)과 출력 영상(100')과의 사이에 존재하는 경우, 도 18(a)에 도시된 바와 같이, 입력 영상(100)의 픽셀 P1(x,y)의 색 정보와 인접한 픽셀 P2(x+1,y)의 색 정보를, 1-Δx/Δx의 비율로 평균화한 가상 픽셀 P(x+Δx,y)의 색 정보 Cx +Δx,y=Cx ,y(1-Δx)+Cx +1,yΔx을 출력 영상(100')의 픽셀의 색 정보로 할 수 있고, 도 18(b)에 도시된 바와 같이, 가상의 입력 픽셀(x+Δx,y)에 대응하는 출력 영상(100')의 변환 후 픽셀 P'(u,v)의 색 정보를
Cx +Δx,y=Cx ,y(1-Δx)+Cx +1,yΔx
로 할 수 있다.
이처럼 왜곡 보정 유닛(unit)(3)은, 입력 영상(100)과 출력 영상(100')과의 사이에 x 방향의 이동이 있는 경우, x 방향의 2 픽셀을 이용하여 색 정보 보간식 왜곡 보정 처리를 수행함으로써 출력 영상(100')을 생성하기 위해, 이동량의 기술 이 포함되는 왜곡 보정 테이블(table)을 변환 테이블(table) 판독(reading)/보존부(27)에 기억해 둔다. 그리고, 도 17에 도시된 바와 같이, 왜곡 보정부(24)는, 출력 영상(100')의 픽셀 P1',P2'을, 각각 입력 영상(100)의 x 방향의 2 픽셀로부터 생성한다. 따라서, 입력 영상(100)의 2 픽셀과 출력 영상(100')의 1 픽셀에 대하여, 입력 영상(100)의 2 픽셀의 색 정보가 각각 어느 정도의 비율로, 출력 영상(100')의 픽셀의 색 정보에 영향을 미치고 있는지에 따라, 출력 영상(100')의 색 정보를 산출한다.
여기에서, 출력 영상(100')의 픽셀(u,v)에 대응하는 입력 영상(100)의 픽셀이, 픽셀(x,y)로부터 Δx만큼만 이동한다고 한다면, 출력 영상(100')의 픽셀(u,v)이 입력 영상(100)의 가상 픽셀(x+Δx,y)과 대응하고 있다는 이동량의 기술을 포함하는 왜곡 보정 테이블(table)을 생성해 둔다. 이것에 의해, 왜곡 보정부(24)는, 픽셀(x,y)과 픽셀(x+1,y)의 색 정보를 (1-Δx)/Δx의 비율로 포함하도록 혼합하여, 출력 영상(100')의 픽셀(u,v)의 색 정보 Cu ,v을,
Cu ,v=Cx ,y(1-Δx)+Cx+1,yΔx
라는 식으로 연산할 수 있다.
또, y 방향으로 이동이 있는 경우, 도 19에 도시된 바와 같이, y 방향으로 인접한 입력 영상(100)의 픽셀 P1,P2를 출력 영상(100')의 픽셀 P1'로 변환하고, y 방향으로 인접한 입력 영상(100)의 픽셀 P3,P4를 출력 영상(100')의 픽셀 P2'로 변환할 때에, 입력 영상(100)의 y 방향으로 인접한 픽셀 P1,P2의 색 정보를 이용하여 출력 영상(100')의 픽셀 P1'의 색 정보를 생성하고, 입력 영상(100)의 y 방향으로 인접한 픽셀 P3,P4의 색 정보를 이용하여 출력 영상(100')의 픽셀 P2'의 색 정보를 생성한다.
y 방향의 이동량Δy은, 0 이상 1 미만으로 표현할 수 있고, 0 또는 1인 때에는 입력 신호 픽셀의 대표점이 인접한 픽셀의 어느 하나의 대표점에 일치하는 것으로서 표현할 수 있다. 즉, 입력 영상(100)의 y 방향으로 인접한 2 픽셀이 출력 영상(100')에서 1 픽셀로 변환될 때에, 이동량Δy이 입력 영상(100)과 출력 영상(100')과의 사이에 존재하는 경우, 도 20(a)에 도시된 바와 같이, 입력 영상(100)의 픽셀 P1(x,y)의 색 정보와 인접한 픽셀 P2(x,y+1)의 색 정보를, 1-Δy/Δy의 비율로 평균화한 가상 픽셀 P(x,y+Δy)의 색 정보 Cx ,y+Δy=Cx ,y(1-Δy)+Cx ,y+1Δy을 출력 영상(100')의 픽셀의 색 정보로 할 수 있고, 도 20(b)에 도시된 바와 같이, 가상의 입력 픽셀(x,y+Δy)에 대응하는 출력 영상(100')의 변환 후 픽셀 P'(u,v)의 색 정보를
Cx ,y+Δy=Cx ,y(1-Δy)+Cx ,y+1Δy
로 할 수 있다.
이처럼 왜곡 보정 유닛(unit)(3)은, 입력 영상(100)과 출력 영상(100')과의 사이에 y 방향의 이동이 있는 경우, y 방향의 2 픽셀을 이용하여 색 정보 보간식 왜곡 보정 처리를 수행함으로써 출력 영상(100')을 생성하기 위해, 이동량의 기술이 포함되는 왜곡 보정 테이블(table)을 변환 테이블(table) 판독(reading)/보존 부(27)에 기억해 둔다. 그리고, 도 19에 도시된 바와 같이, 왜곡 보정부(24)는, 출력 영상(100')의 픽셀 P1',P2'을, 각각 입력 영상(100)의 y 방향의 2 픽셀로부터 생성한다. 따라서, 입력 영상(100)의 2 픽셀과 출력 영상(100')의 1 픽셀에 대하여, 입력 영상(100)의 2 픽셀의 색 정보가 각각 어느 정도의 비율로, 출력 영상(100')의 픽셀의 색 정보에 영향을 미치고 있는지에 따라, 출력 영상(100')의 색 정보를 산출한다.
여기에서, 출력 영상(100')의 픽셀(u,v)에 대응하는 입력 영상(100)의 픽셀이, 픽셀(x,y)로부터 Δy만큼만 이동한다고 한다면, 출력 영상(100')의 픽셀(u,v)이, 입력 영상(100)의 가상 픽셀(x,y+Δy)과 대응하고 있다는 이동량의 기술을 포함하는 왜곡 보정 테이블(table)을 생성해 둔다. 이것에 의해, 왜곡 보정부(24)는, 픽셀(x,y)과 픽셀(x,y+1)의 색 정보를 (1-Δy)/Δy의 비율로 포함하도록 혼합하여, 출력 영상(100')의 픽셀(u,v)의 색 정보 Cu ,v을,
Cu ,v=Cx ,y(1-Δy)+Cx ,y+1Δy
라는 식으로 연산할 수 있다.
또한, x 방향 및 y 방향으로 이동이 있는 경우, 도 21에 도시된 바와 같이, x 방향 및 y 방향으로 인접한 입력 영상(100)의 픽셀 P1∼P4를 출력 영상(100')의 픽셀 P1'로 변환하고, x 방향 및 y 방향으로 인접한 입력 영상(100)의 픽셀 P5∼P8을 출력 영상(100')의 픽셀 P2'로 변환할 때에, 입력 영상(100)의 x 방향 및 y 방향으로 인접한 픽셀 P1∼P4의 색 정보를 이용하여 출력 영상(100')의 픽셀 P1'의 색 정보를 생성하고, 입력 영상(100)의 x 방향 및 y 방향으로 인접한 픽셀 P5∼P8의 색 정보를 이용하여 출력 영상(100')의 픽셀 P2'의 색 정보를 생성한다.
x 방향으로 Δx, y 방향으로 Δy의 이동이 있는 경우에는, 입력 영상(100)의 x 방향 및 y 방향으로 인접한 4 픽셀이 출력 영상(100')에서 1픽셀로 변환될 때에, 도 22(a)에 도시된 바와 같이, 입력 영상(100)의 픽셀 P1(x,y)의 색 정보와 픽셀 P2(x+1,y)의 색 정보와 픽셀 P3(x,y+1)의 색 정보와 픽셀 P4(x+1,y+1)의 색 정보를 이용하여, (1-Δx)(1-Δy)/Δx(1-Δy)/(1-Δx)Δy/ΔxΔy의 비율로 평균화한다. 이것에 의해, 4 픽셀을 혼합한 색 정보 Cx +Δx,y+Δy=Cx ,y(1-Δx)(1-Δy)+Cx +1,yΔx(1-Δy)+Cx,y+1(1-Δx)Δy+Cx +1,y+1ΔxΔy을 얻을 수 있고, 도 22(b)에 도시된 바와 같이, 가상의 입력 픽셀(x+Δx,y+Δy)에 대응하는 출력 영상(100')의 변환 후 픽셀 P'(u,v)의 색 정보를
Cx +Δx,y+Δy=Cx ,y(1-Δx)(1-Δy)+Cx +1,yΔx(1-Δy)+Cx ,y+1(1-Δx)Δy+Cx +1,y+1ΔxΔy
로 할 수 있다.
이처럼 가상 현실감 생성 시스템(system)은, 입력 영상(100)과 출력 영상 (100')과의 사이에 x 방향 및 y 방향의 이동이 있는 경우, x 방향 및 y 방향의 2 픽셀을 이용하여 색 정보 보간식 왜곡 보정 처리를 수행함으로써 출력 영상(100')을 생성하기 위해, 이동량의 기술이 포함되는 왜곡 보정 테이블(table)을 변환 테이블(table) 판독(reading)/보존부(27)에 기억한다. 그리고, 도 21에 도시된 바와 같이, 왜곡 보정부(24)는, 출력 영상(100')의 픽셀 P1',P2'을, 각각 입력 영 상(100)의 x 방향 및 y 방향의 4 픽셀로부터 생성한다. 따라서, 입력 영상(100)의 4 픽셀과 출력 영상(100')의 1 픽셀에 대하여, 입력 영상(100)의 4 픽셀의 색 정보가 각각 어느 정도의 비율로, 출력 영상(100')의 픽셀의 색 정보에 영향을 미치고 있는지에 따라, 출력 영상(100')의 색 정보를 산출한다.
여기에서, 출력 영상(100')의 픽셀(u,v)에 대응하는 입력 영상(100)의 픽셀이, 픽셀(x,y)로부터 Δx,Δy만큼만 이동한다고 한다면, 출력 영상(100')의 픽셀(u,v)이, 입력 영상(100)의 가상 픽셀(x+Δx,y+Δy)과 대응하고 있다는 이동량의 기술을 포함하는 왜곡 보정 테이블(table)을 생성해 둔다. 이것에 의해, 왜곡 보정부(24)는, 픽셀(x,y)과 픽셀(x+1,y)과 픽셀(x,y+1)과 픽셀(x+1,y+1)의 색 정보를 (1-Δx)(1-Δy)/Δx(1-Δy)/(1-Δx)Δy/ΔxΔy의 비율로 포함하도록 혼합하여, 출력 영상(100')의 픽셀(u,v)의 색 정보 Cu ,v을,
Cu ,v=Cx ,y(1-Δx)(1-Δy)+Cx +1,yΔx(1-Δy)+Cx ,y+1(1-Δx)Δy+Cx +1,y+1ΔxΔy
라는 식으로 연산할 수 있다.
이와 같은 색 정보 보간식 왜곡 보정 처리를 수행하기 위한 왜곡 보정 테이블(table)은, 출력 영상의 각 픽셀마다, 보간 대상이 되는 입력 영상의 픽셀(2개 이상)과 이동량을 기억해 둠으로써 구성될 수 있다. 이 이동량은, 왜곡 보정 테이블(table)에 따른 좌표변환에 의해 얻어진 픽셀 위치의 x 좌표, y 좌표의 소수부분이다. 통상, 출력 영상(100')의 어떤 픽셀(u,v)은 입력 영상(100) (10,5)와 같이 정수치의 픽셀에 대응하고 있지만, 본 발명을 적용한 가상 현실감 생성 시스 템(system)에서는, 출력 영상(100')의 어떤 픽셀(u,v)이 입력 영상(100)의 2∼4개의 픽셀에 걸쳐 있는 것을 고려하고, 출력 영상(100')의 어떤 픽셀이, 입력 영상(100)의 (10.3,5.55) 픽셀에 대응하는 것처럼, x 방향은 0.3 픽셀, y 방향은 0.55 픽셀과 같이 소수점의 이동이 있다고 한다. 또한, x 방향만 또는 y 방향만으로 인접한 2 픽셀을 이용하여 출력 영상(100')의 색 정보를 생성하는 경우에는, 왜곡 보정 테이블(table)은, x 방향 또는 y 방향의 이동량 만을 등록해 두면 좋다.
또, 이 왜곡 보정 테이블(table)에서의 이동량은, 상기의 (10.3,5.55)라고 한 표기, 또는, (0.3,0.55)이라고 한 소수부분만을 기억한다고 한 표기 둘 다 가능하다. 또한, 왜곡 보정 테이블(table)중의 이동량은, 소수 제1위치까지의 표기를 10배로 하고 0∼9의 정수값으로 기술해도 좋고, 소수 제2위치까지의 표기를 100배로 하고 0∼100의 정수값으로 기술해도 좋다. 이 경우, 색 정보 보간식 왜곡 보정 처리를 수행하는 때에, 이동량을 10 또는 100으로 나누어 계산하여 이용한다. 이렇게 하는 것에 의해, 왜곡 보정 테이블(table) 중에 소수값으로 표시되는 정보를 없애고, 정수값으로 표시되는 정보만을 가질 수 있게 된다. 또한, 색 정보 보간식 왜곡 보정 처리 등을 수행하는 왜곡 보정 유닛(unit)(3)의 처리가 n 진수로 수행되는 경우, 이동량을 0∼nr-1의 값으로 기술하고, 색 정보 보간식 왜곡 보정 처리를 수행할 때에 상기 이동량을 nr으로 나누어 계산하여 이용해도 좋다. 이 경우, 색 정보 보간식 왜곡 보정 처리를 수행하는 때에, 0∼nr-1의 값으로 기술되는 이동량(n 진수)을 r개 오른쪽으로 이동하기만 하면 된다. 예를 들면, 왜곡 보정 유닛(unit)(3) 의 처리가 2 진수로 수행되는 경우, 이동량을 0∼15(24-1)의 정수치로 기술하고, 색 정보 보간식 왜곡 보정 처리를 수행하는 때에, 이동량을 16으로 나누어 계산하여 이용한다. 16으로 나누는 처리는, 비트열을 4개 오른쪽으로 이동하는 것일 뿐이다. 또한, 이동량은 8(2의 3승), 32(2의 5승) 등이라도 좋다.
이동량을 정수값의 0∼9, 0∼100, 또는 왜곡 보정 유닛(unit)(3)이 2 진수로 처리하기 위해 0∼16이라고 한 경우에는, 각각, 정밀도가 0.1, 0.01 또는 1/16이 된다. 그러나, 정수값으로 이동량을 표기하기 위해 사용하는 비트(bit) 수는, 소수로 이동량을 표기하기 위해 사용하는 이동량보다도 현격히 적게 할 수 있고, 왜곡 보정 테이블(table)의 데이터량을 삭감할 수 있다. 또, 왜곡 보정 유닛(unit)(3)이 처리하는 n 진수에 따른 이동량의 표기로 함으로써, 왜곡 보정 테이블(table)중에 소수값으로 표시되는 정보를 포함하지 않고 정수값으로 표시되는 정보만을 가질 수 있을 뿐만 아니라, 정수값의 이동량을 10 또는 100으로 나누어 계산하는 것보다 처리량을 줄이는 것이 가능해진다.
이상과 같이, 본 발명을 적용한 가상 현실감 생성 시스템(system)에 의하면,왜곡 보정 테이블(table)에 따라서 왜곡 보정 처리를 수행함과 동시에, 변환 후의 출력 영상(100')의 각 픽셀의 픽셀 정보(색 정보)를 계산하기 위해, 각 픽셀에 대응하는 입력 영상(100)의 적어도 x 방향, 또는,y 방향의 2 픽셀을 이용하기 때문에, 출력 영상(100') 안에서 인접한 픽셀 간에 색 정보의 변화를 매끄럽게 할 수 있고, 왜곡(jaggy)을 경감할 수 있다.
또한, 색 정보 보간식 왜곡 보정 처리는, 기본적으로는 x 방향 및 y 방향으로 인접한 4 픽셀의 입력 영상(100)에 따라 수행하는 것이 바람직하지만, 스크린(screen)(1)에 표시된 영상의 무늬에 따라 x 방향 또는 y 방향만으로 인접한 2 픽셀로 출력 영상(100')의 색 정보를 구해도, 왜곡(jaggy)의 발생을 억제할 수 있다. 예를 들면, 영상 내 상하방향으로 향한 세로줄이, 수평으로 늘어선 영상을 스크린(screen)(1)에 투영하는 경우에는, y 방향으로 인접한 2 픽셀로 출력 영상(100')의 색 정보를 생성할 필요가 그리 많지 않다. 역으로, 영상 내 좌우방향으로 향한 봉이 많이 존재하는 영상을 스크린(screen)(1)에 투영하는 경우에는, x 방향으로 인접한 2 픽셀로 출력 영상(100')의 색 정보를 생성할 필요가 그리 많지 않다. 또, 스크린(screen)(1)에 투영하는 영상이 격자 상의 무늬인 경우에는, x 방향 또는 y 방향만으로 인접한 픽셀의 색 정보를 이용하여 출력 영상(100')의 색 정보를 생성해도 주기적인 왜곡(jaggy)이 발생할 가능성이 있다.
또, 상술한 이동량의 기술이 포함되는 왜곡 보정 테이블(table)을 이용하는 색 정보 보간식 왜곡 보정 처리에서, 입력 영상(100) 및 출력 영상(100')의 색 정보로서 RGB(red-green-blue)나 CMY(cyan-magenta-yellow)라고 하는 복수의 원색 신호를 이용해도 좋다. 이 경우, 왜곡 보정부(24)는, R(적색 성분)신호, G(녹색 성분)신호, B(청색 성분)신호, 또는 C(시안(cyan))신호, M(마젠타(magenta))신호, Y(옐로(yellow))신호의 각 원색마다 독립하여 동일한 처리 방법으로, 입력 영상(100)의 인접 픽셀의 색 정보를 혼합하여 출력 영상(100')의 색 정보를 생성한다. 3 원색, 특별히 RGB로 색 정보를 표현한 경우는, 컴퓨터 그래픽(computer graphics) 영상이나 프로젝터(2a, 2b)에의 출력 영상(100')의 색 표현 방식에 적합하다는 이점이 있고, 따라서 왜곡(jaggy)이 적은 출력 영상(100')을 얻을 수 있다. 또, 각 원색마다 병렬화하여 출력 영상(100')의 색 정보를 생성할 수 있기 때문에, 색 정보 보간식 왜곡 보정 처리의 고속화가 가능해진다. 또한, RGB의 3 원색 이외에, 투명도의α값에 대해서도, RGB의 3 원색과 마찬가지로 병렬하고 색 정보 보간식 왜곡 보정 처리를 수행하여 출력 영상(100')의 색 정보를 생성해도 좋다.
또한, 상술한 이동량의 기술이 포함되는 왜곡 보정 테이블(table)을 이용하는 색 정보 보간식 왜곡 보정 처리에서, 입력 영상(100) 및 출력 영상(100')의 색 정보로서 YUV(YCbCr)등 휘도 정보(Y)와 색차 정보(U(휘도 신호와 청색 성분의 차이), V(휘도 신호와 적색 성분의 차이))로 되는 신호를 이용해도 좋다. 이 경우, 왜곡 보정부(24)는, 휘도 정보와 색차 정보마다 독립하여 동일한 처리 방법으로, 입력 영상(100)의 인접 픽셀의 색 정보를 혼합하여 출력 영상(100')의 색 정보를 생성한다. 이것에 의해, 출력 영상(100')의 색 표현 방식에 적합한 색 정보에 따라서 색 정보 보간식 왜곡 보정 처리를 수행할 수가 있다. 또, 휘도 정보에 민감하고 색차 정보에는 민감하지 않다는 인간의 시각 특성을 이용하여, 입력 영상 (100)의 휘도 정보만을 이용하여 색 정보 보간식 왜곡 보정 처리를 수행하여 출력 영상(100')의 휘도 정보를 구하고, 색차 정보를 이용한 색 정보 보간식 왜곡 보정 처리는 복수의 픽셀마다 수행할 수 있어서, 색 정보 보간식 왜곡 보정 처리의 고속화가 가능해진다. 예를 들면, 휘도 정보에 관해서는, x 방향 및 y 방향의 4 픽셀로부터 출력 영상(100')의 휘도 정보를 생성하는 것에 반해, 색차 정보에 관해서는 해 당 4 픽셀 중 경사 방향의 2 픽셀만을 이용하여 출력 영상(100')의 색차 정보를 생성해도 좋다.
다음에, 상술한 색 정보 보간식 왜곡 보정 처리를 수행하기 위한 이동량의 기술이 포함되는 왜곡 보정 테이블(table)을, 입력 영상(100)의 입력순서에 따라 기술한 경우의 가상 현실감 생성 시스템(system)의 동작에 관해서 설명한다.
색 정보 보간식 왜곡 보정 처리의 처리 대상이 되는 입력 영상(100)은, 영상 입력단자(3a,3b,3c,3d)에 입력되고, 입력 영상 처리부(21), 영상 전환(switching)/분배부(22) 및 영상 합성부(23)를 경유하여 왜곡 보정부(24)에 공급된다. 일반적으로, 입력 영상(100)의 주사선에 따라, 픽셀마다 순차적으로 데이터(data)가 왜곡 보정부(24)에 공급된다.
입력 영상(100)의 입력 픽셀 순서에 따라서 색 정보 보간식 왜곡 보정 처리를 수행하는 경우, 왜곡 보정 유닛(unit)(3)은, 입력순서로 기술되는 입력 영상(100)의 각 픽셀 좌표에 대응되는 상기 픽셀의 변환 후의 출력 영상(100')에서 픽셀 좌표를 기술한 왜곡 보정 테이블(table)을 변환 테이블(table) 판독(reading)/보존부(27)에 기억시켜 둔다. 이 왜곡 보정 테이블(table)은, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에 의해 생성된다. 또, 이 왜곡 보정 테이블(table)에는, 색 정보 보간식 왜곡 보정 처리에 의한 이동량도 기술되어 있다.
왜곡 보정부(24)는, 도 23(a),(b)의 입력 영상에 도시된 바와 같이, 입력 영상(100)의 픽셀이 P1,P2,P3···라는 순서로 입력되고, x 방향으로 인접한 입력 영상(100)의 2 픽셀의 색 정보를 혼합하여 출력 영상(100')의 픽셀의 색 정보를 생성하는 경우에는, 우선, 처음의 2 픽셀 P1, P2를 읽어들이는 시점에, 해당 2 픽셀 P1,P2를 이용하여 계산 가능한 출력 영상(100')의 색 정보의 전부를 산출한다. 이 예에서, 왜곡 보정부(24)는 2 픽셀 P1, P2의 색 정보를 혼합하여, 도 23(a)에 나타난 출력 영상(100')의 픽셀 P1',P2',P3'의 색 정보를 생성한다. 이 경우, 왜곡 보정 테이블(table)에서는, 입력 영상(100)의 픽셀 P1과 픽셀 P2가, 출력 영상(100')의 픽셀 P1',P2',P3'에 대응하고, 각각의 픽셀 P1',P2',P3'의 색 정보는 각각의 이동량에 따른 비율로 혼합한 픽셀 P2, P3의 색 정보를 포함하는 색 정보가 되도록 처리한다. 또한, 출력 영상(100')의 픽셀 P1',P2',P3'각각을 생성할 때에 입력 영상(100)의 픽셀 P1,P2의 혼합된 색 정보의 비율은 각각 다르다.
다음에, 왜곡 보정부(24)로 픽셀 P1,P2에 계속되는 픽셀 P3이 입력된다면, 왜곡 보정부(24)는, 해당 픽셀 P2,P3의 색 정보를 이용하여 계산 가능한 출력 영상(100')의 색 정보의 전부를 산출한다. 이 예에서, 왜곡 보정부(24)는 입력 영상(100)의 픽셀 P2,P3이 출력 영상(100')의 픽셀 P4',P5'에 대응하도록 왜곡 보정 테이블(table)을 참조하여 처리하고, 출력 영상(100')의 픽셀 P4',P5'의 픽셀의 색 정보는, 각각의 이동량에 따른 비율로 혼합한 픽셀 P2,P3의 색 정보를 포함하는 색 정보가 되도록 처리한다.
이처럼, 입력 영상(100)의 x 방향의 2 픽셀을 처음부터 순서대로 하나씩 최후의 2 픽셀이 될 때까지 이동하게 하고, 입력 영상(100)의 각각의 2 픽셀로부터 계산 가능한 출력 영상(100')의 픽셀의 색 정보의 전부를 구해 감으로써, 출력 영 상(100')의 모든 픽셀의 색 정보를 구한다. 따라서, 왜곡 보정부(24)는, 항상 적어도 입력 영상(100)의 x 방향으로 2 픽셀을 기억해 두면 좋고, 1 픽셀을 읽어들이는데 필요한 시간 지연으로, 색 정보 보간식 왜곡 보정 처리를 수행할 수가 있다. 그러므로 왜곡 보정부(24)에서의 데이터(data) 대기 시간을 최소로 할 수 있고, 왜곡 보정부(24)에서의 처리 지연을 줄일 수 있다.
또, 왜곡 보정부(24)는, 도 24(a),(b)의 입력 영상에 도시된 바와 같이, 입력 영상 (100)의 픽셀이 제1 라인(line)(주사선)의 선두로부터 P1,P3,···의 순서로 입력되고, 제2 라인(line)의 선두로부터 P2,P4···라는 순서로 입력되며, y 방향으로 인접한 입력 영상(100)의 2 픽셀의 색 정보를 혼합하여 출력 영상(100')의 픽셀의 색 정보를 생성하는 경우에는, 제1 라인(line)의 선두 픽셀 P1 및 제2 라인(line)의 선두 픽셀 P2를 읽어들이는 시점에, 해당 2 픽셀 P1,P2를 이용하여 계산 가능한 출력 영상(100')의 색 정보의 전부를 산출한다. 또한, 왜곡 보정부(24)는, 픽셀 P2가 입력될 때까지 제1 라인(line)의 픽셀을 기억해 둔다. 이 예에서, 왜곡 보정부(24)는 2 픽셀 P1,P2의 색 정보를 혼합하여, 도 24(a)에 나타난 출력 영상(100')의 픽셀 P1',P2'의 색 정보를 생성한다. 이 경우, 왜곡 보정 테이블(table)에서는, 입력 영상(100)의 픽셀 P1과 픽셀 P2가, 출력 영상(100')의 픽셀 P1',P2'에 대응하고, 각각의 픽셀의 색 정보는 입력 영상(100)의 픽셀 P1,P2를 각각의 이동량에 따른 비율로 혼합한 색 정보로 되는 것이 기술되어 있다. 또한, 출력 영상(100')의 픽셀 P1',P2' 각각을 생성할 때에 입력 영상(100)의 픽셀 P1,P2의 혼합된 색 정보의 비율은 각각 다르다.
다음에, 도 24(b)에 도시된 바와 같이, 왜곡 보정부(24)로 픽셀 P2에 계속되는 픽셀 P4가 입력된다면, 왜곡 보정부(24)는, 해당 픽셀 P3, P4의 색 정보를 이용하여 계산 가능한 출력 영상(100')의 색 정보의 전부를 산출한다. 이 예에서, 왜곡 보정부(24)는 입력 영상(100)의 픽셀 P3,P4가, 출력 영상(100')의 픽셀 P3'에 대응하도록 왜곡 보정 테이블(table)을 참조하여 처리하고, 출력 영상(100')의 픽셀 P3'의 픽셀의 색 정보는, 입력 영상(100)의 픽셀 P3,P4를 각각의 이동량에 따른 비율로 혼합한 색 정보가 되도록 처리한다.
이처럼, 입력 영상(100)의 y 방향으로 인접한 2 픽셀을 왜곡 보정부(24)로 입력한 시점에 색 정보 보간식 왜곡 보정 처리를 수행함으로써, 출력 영상(100')의 모든 픽셀의 색 정보를 구한다. 또한, 왜곡 보정부(24)는, 항상 적어도 계산용 메모리(memory)(15)에 있는 입력 영상(100)의 x 방향으로의 1라인(line)의 픽셀과 1 픽셀을 읽어들이면 좋다. 왜곡 보정부(24)는, x 방향 1 라인(line)의 지연으로 색 정보 보간식 왜곡 보정 처리를 수행함으로써 데이터(data) 대기 시간을 적게 할 수 있고, 왜곡 보정부(24)에서의 처리 지연을 줄일 수 있다.
또한, 왜곡 보정부(24)는, 도 25(a),(b)의 입력 영상에 도시된 바와 같이, 입력 영상(100)의 픽셀이 제1 라인(line)의 선두로부터 P1,P2,···의 순서로 입력되고, 제2 라인(line)의 선두로부터 P3,P4···라는 순서로 입력되며, x 방향 및 y 방향으로 인접한 입력 영상(100)의 4 픽셀의 색 정보를 혼합하여, 출력 영상(100')의 픽셀의 색 정보를 생성하는 경우에는, 제1 라인(line)의 선두 2 픽셀 P1,P2를 읽어들이고 또한 제2 라인(line)의 선두 2 픽셀 P3,P4를 읽어들이는 시점 에, 해당 4 픽셀 P1∼P4를 이용하여 계산 가능한 출력 영상(100')의 색 정보의 전부를 산출한다. 이 예에서, 왜곡 보정부(24)는 4 픽셀 P1∼P4의 색 정보를 혼합하여, 도 25(a)에 나타난 출력 영상(100')의 픽셀 P1'의 색 정보를 생성한다. 이 경우, 왜곡 보정 테이블(table)에서는, 입력 영상(100)의 픽셀 P1∼P4가, 출력 영상(100')의 픽셀 P1'에 대응하고, 각각의 픽셀의 색 정보는 입력 영상(100)의 픽셀 P1∼P4를 각각의 이동량에 따른 비율로 혼합한 색 정보로 되는 것이 기술되어 있다.
다음에, 도 25(b)에 도시된 바와 같이, 왜곡 보정부(24)로 픽셀 P4에 계속되는 픽셀 P6이 입력된다면, 왜곡 보정부(24)는, 제1 라인(line)의 입력시에 기억해 둔 픽셀 P2,P5 및 픽셀 P4,P6의 색 정보를 이용하여 계산 가능한 출력 영상(100')의 색 정보의 전부를 산출한다. 이 예에서, 왜곡 보정부(24)는 입력 영상(100)의 픽셀 P2,P5,P4,P6이 출력 영상(100')의 픽셀 P2',P3',P4'에 대응하도록 왜곡 보정 테이블(table)을 참조하여 처리하고, 출력 영상(100')의 픽셀 P2',P3',P4'의 픽셀의 색 정보는 각각 입력 영상(100)의 픽셀 P2,P5,P4,P6을 각각의 이동량에 따른 비율로 혼합한 색 정보가 되도록 처리한다.
이처럼, 입력 영상(100)의 x 방향 및 y 방향으로 인접한 4 픽셀을 왜곡 보정부(24)로 입력한 시점에 색 정보 보간식 왜곡 보정 처리를 수행함으로써, 출력 영상 (100')의 모든 픽셀의 색 정보가 계산된다. 또한, 왜곡 보정부(24)는, 항상 적어도 계산용 메모리(memory)(15)에 있는 입력 영상(100)의 x방향으로의 1 라인(line)의 픽셀과 2 픽셀을 읽어들이면 좋다. 왜곡 보정부(24)는, x 방향 및 y 방 향의 쌍방에 이동이 있는 경우라도, x 방향 1 라인(line) 픽셀과 1 픽셀의 지연으로 색 정보 보간식 왜곡 보정 처리를 수행하여, 데이터(data) 대기 시간을 적게 할 수 있고, 그러므로 왜곡 보정부(24)에서의 처리지연을 줄일 수 있다.
다음에, 상술한 색 정보 보간식 왜곡 보정 처리를 수행하기 위한 왜곡 보정 테이블(table)을, 출력 영상(100')의 출력순서로 기술한 경우의 가상 현실감 생성 시스템(system)의 동작에 관해서 설명한다.
색 정보 보간식 왜곡 보정 처리의 처리 후의 출력 영상(100')은, 왜곡 보정부(24)로부터 출력 영상 처리부(25)에 출력된다. 일반적으로, 입력 영상(100)의 주사선에 따라, 픽셀마다 순차적으로 데이터(data)가 왜곡 보정부(24)로부터 출력 영상 처리부(25)에 출력된다. 일반적인 출력 영상(100')이 주사선에 따라 픽셀마다 순차적으로 데이터(data)를 빼먹음 없이 출력하는 것을 고려한다면, 출력 측의 픽셀의 순서로 왜곡 보정 테이블(table)을 표현한 경우, 왜곡 보정 처리에 있어서 출력 측의 픽셀 좌표가 자명하기 때문에, 왜곡 보정 테이블(table)의 선두로부터 입 력측의 픽셀 좌표만을 기술한 대응 맵(map)을 만들 수 있다. 이것에 의해, 왜곡 보정 테이블(table)의 크기를 작게 할 수 있고, 변환 테이블(table) 판독(reading)/보존부(27)의 기억 영역을 절약할 수 있다. 또, 이 왜곡 보정 테이블(table)에는, 색 정보 보간식 왜곡 보정 처리에 의한 이동량도 기술되어 있다. 이동량에 대한 기술을 포함하는 왜곡 보정 테이블(table)은, 파라미터(parameter) 조정용 퍼스널 컴퓨터(personal computer)(5)에 의해서 생성된다.
이와 같은 왜곡 보정 테이블(table)을 변환 테이블(table) 판독(reading)/보 존부(27)에 기억한 경우이고, x 방향으로 인접한 입력 영상(100)의 2 픽셀의 색 정보를 혼합하여 출력 영상(100')의 각 픽셀의 색 정보를 생성하는 경우에는, 도 26(a)에 도시된 바와 같이, 왜곡 보정부(24)는, 우선, 입력 영상(100)의 선두로부터 왜곡 보정 테이블(table)의 선두에 기술되는 입력 영상(100)의 x 방향으로 인접한 2 픽셀 P1,P2를 읽어들이는 시점에, 상기 x 방향으로 인접한 2 픽셀 P1,P2를 이용하여 출력 영상(100')의 선두 픽셀 P1'의 색 정보를 생성하고, 상기 픽셀 P1'의 데이터(data)를 출력 영상 처리부(25)에 출력한다. 다음에, 도 26(b)에 도시된 바와 같이, 출력 영상(100')의 픽셀 P1'에 계속되는 픽셀 P2'을 생성하기 위해, 왜곡 보정부(24)는, 왜곡 보정 테이블(table)을 참조하여 입력 영상(100)의 x 방향으로 인접한 2 픽셀 P3,P4를 읽어들일 때에, 상기 x 방향으로 인접한 2 픽셀 P3,P4의 색 정보를 이용하여 출력 영상(100')의 픽셀 P2'의 색 정보를 생성하고, 상기 픽셀 P2'의 데이터(data)를 출력 영상 처리부(25)에 출력한다.
또, y 방향으로 인접한 입력 영상(100)의 2 픽셀의 색 정보를 혼합하여, 출력 영상(100')의 픽셀의 색 정보를 생성하는 경우에는, 도 27(a)에 도시된 바와 같이, 왜곡 보정부(24)는, 우선, 입력 영상(100)의 선두로부터 왜곡 보정 테이블(table)의 선두에 기술되는 입력 영상(100)의 y 방향으로 인접한 2 픽셀 P1,P2를 읽어들이는 시점에, 상기 y 방향으로 인접한 2 픽셀 P1,P2를 이용하여 출력 영상(100')의 선두 픽셀 P1'의 색 정보를 생성하고, 상기 픽셀 P1'의 데이터(data)를 출력 영상 처리부(25)에 출력한다. 다음에, 도 27(b)에 도시된 바와 같이, 출력 영상(100')의 픽셀 P1'에 계속되는 픽셀 P2'을 생성하기 위해, 왜곡 보정부(24)는, 왜곡 보정 테이블(table)을 참조하여 입력 영상(100)의 y 방향으로 인접한 2 픽셀 P3,P4를 읽어들일 때에 상기 y 방향으로 인접한 2 픽셀 P3,P4의 색 정보를 이용하여 출력 영상(100')의 픽셀 P2'의 색 정보를 생성하고, 상기 픽셀 P2'의 데이터(data)를 출력 영상 처리부(25)에 출력한다.
또한, x 방향 및 y 방향으로 인접한 입력 영상(100)의 4 픽셀의 색 정보를 혼합하여, 출력 영상(100')의 픽셀의 색 정보를 생성하는 경우에는, 도 28(a)에 도시된 바와 같이, 왜곡 보정부 (24)는, 우선, 입력 영상(100)의 선두로부터 왜곡 보정 테이블(table)의 선두에 기술되는 입력 영상(100)의 x 방향 및 y 방향으로 인접한 4 픽셀 P1∼P4를 읽어들이는 시점에, 상기 x 방향 및 y 방향으로 인접한 4 픽셀 P1∼P4를 이용하여 출력 영상(100')의 선두 픽셀 P1'의 색 정보를 생성하고, 상기 픽셀 P1'의 데이터(data)를 출력 영상 처리부(25)에 출력한다. 다음에, 도 28(b)에 도시된 바와 같이, 출력 영상(100')의 픽셀 P1'에 계속되는 픽셀 P2'을 생성하기 위해, 왜곡 보정부(24)는, 왜곡 보정 테이블(table)을 참조하여 입력 영상(100)의 x 방향 및 y 방향으로 인접한 4 픽셀 P5∼P8을 읽어들일 때에, 상기 x 방향 및 y 방향으로 인접한 4 픽셀 P5∼P8의 색 정보를 이용하여 출력 영상(100')의 픽셀 P2'의 색 정보를 생성하고, 상기 픽셀 P2'의 데이터(data)를 출력 영상 처리부(25)에 출력한다.
상술한 실시예는 본 발명의 일례이다. 그러므로, 본 발명은, 상술의 실시 형태로 한정되지는 않고, 이 실시 형태 이외라도, 본 발명에 관계되는 기술적 사상을 일탈하지 않는 범위라면, 설계 등에 따라 여러 가지의 변경이 가능한 것은 물론이 다.
예를 들면, 상술한 실시예에서는, 2축 직교좌표에서 방형 픽셀을 이용하여, x 방향 또는 y 방향으로 인접한 2 픽셀을 이용한 색 보간, 또는, x 방향 및 y 방향으로 인접한 4 픽셀을 이용한 색 보간을 수행하는 것에 대해 설명했지만, 삼각형 픽셀로 되는 3축 좌표계의 영상 신호의 경우에는, 삼각형 픽셀의 인접한 6개의 6 각형 형상의 픽셀 군을 이용하여 색 보간 할 수도 있다.
본 발명은 시청자에게 현실적인 영상 공간을 제공하기 위해서, 현실감 있는 영상을 생성하도록 스크린상에 영상을 투영시키는 목적으로 응용할 수 있다.

Claims (13)

  1. 임의의 형상의 투영면에 영상 광을 투영시키는 출력 영상 신호를 투영 수단에 출력하는 영상 신호 처리 장치로서,
    2차원의 투영면에 영상 광을 투영시키기 위한 2차원 영상 신호를 입력하는 영상 신호 입력 수단과;
    2차원의 투영면과 상기 임의의 형상의 투영면의 메시 모델(mesh model)과의 대응 맵(map)으로서 상기 영상 신호 입력 수단에 의해 입력한 2차원 영상 신호에 대한 보정 처리를 수행하기 위해 사용되는 왜곡 보정 테이블(table)을 외부로부터 입력하는 외부 입력 수단과;
    상기 외부 입력 수단에 의하여 입력한 왜곡 보정 테이블을 참조하여, 상기 영상 신호 입력 수단에 의하여 입력한 2차원 영상 신호의 각 픽셀에 대한 왜곡 보정 처리를 수행하여, 상기 투영면에 영상 광을 투영시키기 위한 출력 영상 신호를 생성하는 왜곡 보정 수단과;
    상기 왜곡 보정 수단에 의하여 생성된 출력 영상 신호를 상기 투영 수단에 출력하는 출력수단을 포함하는 것을 특징으로 하는 영상 신호 처리 장치.
  2. 제1항에 있어서,
    상기 외부 입력 수단은, 외부로부터 상기 투영 수단의 동작을 제어하는 제어 신호를 입력하고,
    상기 출력 수단은 상기 출력 영상 신호와 함께 상기 외부 입력 수단에 의하여 입력한 제어 신호를 상기 투영 수단에 출력하는 것을 특징으로 하는 영상 신호 처리 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 외부 입력 수단은, 상기 영상 신호 입력 수단에 의하여 입력한 2차원 영상 신호에 휘도 보정 처리를 수행하기 위한 휘도 보정 테이블(table)을 외부로부터 입력하고,
    상기 외부 입력 수단에 의하여 입력한 휘도 보정 테이블을 참조하여, 상기 영상 신호 입력 수단에 의하여 입력한 2차원 영상 신호의 각 픽셀에 휘도 보정 처리를 수행하여, 상기 임의의 형상의 투영면에 영상 광을 투영시키기 위한 출력 영상 신호를 생성하는 휘도 보정 수단을 더 포함하는 것을 특징으로 하는 영상 신호 처리 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 영상 신호 입력 수단은, 복수의 2차원 영상 신호를 동시에 입력하는 구성이고,
    상기 출력 수단은 복수의 상기 출력 영상 신호를 동시에 출력하는 구성이며,
    상기 영상 신호 입력 수단에 의해서 동시에 복수의 2차원 영상 신호를 입력한 경우에, 상기 복수의 2차원 영상 신호를 선택해서 출력 영상 신호를 상기 출력 수단을 통해 출력시키는 처리 또는 상기 복수의 2차원 영상 신호를 합성한 출력 영상 신호를 상기 출력 수단으로부터 출력시키는 처리를 수행하는 신호 처리 수단을 더 포함하는 것을 특징으로 하는 영상 신호 처리 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 신호 처리 수단에 의해 상기 복수의 2차원 영상 신호에 대한 복수의 처리의 동기를 맞추는 동기 처리 수단을 더 포함하는 것을 특징으로 하는 영상 신호 처리 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 영상 신호 입력 수단에 의해 입력되는 상기 복수의 2차원 영상 신호를 이용하여, 격차(disparity) 영상 신호를 생성하는 입체 영상 격차 2차원 영상 신호 생성 수단을 더 포함하고,
    상기 왜곡 보정 수단은, 상기 입체 영상 격차 2차원 영상 신호 생성 수단에 의해 생성된 격차 2차원 영상에 대한 왜곡 보정 처리를 수행하여 출력 영상 신호를 생성하는 것을 특징으로 하는 영상 신호 처리 장치.
  7. 제1항에 있어서,
    상기 왜곡 보정 수단은, 상기 왜곡 보정 테이블에 의해 수행된 변환 전의 픽셀의 대표점으로부터 변환 후의 픽셀의 대표점으로의 이동량에 상당하는 비율로, 변환 전의 복수의 픽셀의 색 정보를 혼합하고, 각 픽셀의 변환 후의 픽셀의 색 정보로서 상기 혼합된 색 정보를 갖는 상기 출력 영상 신호를 생성하는 것을 특징으로 하는 영상 신호 처리 장치.
  8. 제7항에 있어서,
    상기 왜곡 보정 수단은, 제1처리 또는 제2처리에 의해 출력 영상 신호를 생성하고,
    상기 제1처리는 적어도 2개의 픽셀에 관한 변환 후 픽셀의 대표점의 위치에 따른 변환 전에 X축 방향으로 인접한 적어도 2개의 픽셀의 색 정보를 혼합하는 것이고,
    상기 제2처리는 적어도 2개의 픽셀에 관한 변환 후 픽셀의 대표점의 위치에 따른 변환 전에 Y축 방향으로 인접한 적어도 2개의 픽셀의 색 정보를 혼합하는 것인 것을 특징으로 하는 영상 신호 처리 장치.
  9. 제7항 또는 제8항에 있어서,
    상기 왜곡 보정 수단은, 상기 색 정보로서 복수의 원색을 이용하고, 인접하는 픽셀의 각 원색을 혼합하여 출력 영상 신호를 생성하는 것을 특징으로 하는 영상 신호 처리 장치.
  10. 제7항 또는 제8항에 있어서,
    상기 왜곡 보정 수단은, 상기 색 정보로서 휘도 정보와 색차신호를 각각 포함하는 신호를 이용하고, 인접하는 픽셀의 신호를 혼합하여 출력 영상 신호를 생성하는 것을 특징으로 하는 영상 신호 처리 장치.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 왜곡 보정 테이블은 상기 2차원 영상 신호의 입력 픽셀 순서로 2차원의 투영면과 상기 임의의 형상의 투영면의 메시 모델(mesh model)과의 대응을 기술하고,
    상기 왜곡 보정 수단은, 상기 왜곡 보정 테이블에 기술된 각 입력 픽셀을 입력한 시점에서, 입력한 해당 픽셀을 이용하여 왜곡 보정 처리를 수행하는 것을 특징으로 하는 영상 신호 처리 장치.
  12. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 왜곡 보정 테이블은 상기 출력 영상 신호의 출력 픽셀 순서로 2차원의 투영면과 상기 임의의 형상의 투영면의 메시 모델(mesh model)과의 대응을 기술하고,
    상기 왜곡 보정 수단은, 상기 왜곡 보정 테이블에 기술된 각 입력 픽셀을 입력한 시점에서, 입력한 해당 픽셀을 이용하여 왜곡 보정 처리를 수행하여, 상기 왜곡 보정 테이블에 기술된 출력 픽셀의 순서로 출력 영상 신호를 생성하는 것을 특징으로 하는 영상 신호 처리 장치.
  13. 가상 현실감 생성 시스템으로서,
    관찰자에게 대면된 오목한 면을 갖는 임의의 형상의 투영면을 포함하고, 상기 관찰자의 유효 시야각보다 더 넓은 영상을 표시 가능한 스크린과;
    2차원의 투영면에 영상 광을 투영하기 위한 2차원 영상 신호에 대하여 상기 임의의 형상의 투영면에 영상 광을 투영하기 위해 사용된 왜곡 보정을 행한 후, 출력 영상 신호를 출력하는 영상 신호 처리 장치와;
    2차원의 투영면과 상기 임의의 형상의 투영면의 메시 모델(mesh model)과의 대응 맵(map)으로서의 왜곡 보정 테이블(table)을 생성하는 외부 처리 장치와;
    상기 영상 신호 처리 장치로부터 출력된 출력 영상 신호에 근거하여 영상을 상기 스크린에 투영하는 투영 수단을 포함하고,
    상기 영상 신호 처리 장치는,
    상기 2차원 영상 신호를 입력하는 영상 신호 입력 수단과;
    상기 영상 신호 입력 수단에 의하여 입력한 2차원 영상 신호에 왜곡 보정 처리를 수행하기 위해 이용되는 왜곡 보정 테이블을 상기 2차원 투영면과 상기 임의의 형상의 투영면의 메시 모델과의 사이의 대응 맵으로서 입력하는 외부 입력 수단과;
    상기 외부 입력 수단에 의하여 입력한 왜곡 보정 테이블을 참조하여, 상기 영상 신호 입력 수단에 의하여 입력한 2차원 영상 신호의 각 픽셀에 왜곡 보정 처리를 수행하여, 상기 임의의 형상의 투영면에 영상 광을 투영시키기 위한 출력 영 상 신호를 생성하는 왜곡 보정 수단과;
    상기 왜곡 보정 수단에 의하여 생성된 출력 영상 신호를 상기 투영 수단에 출력하는 출력 수단을 포함하는 것을 특징으로 하는 가상 현실감 생성 시스템.
KR1020087020295A 2006-02-20 2007-02-20 영상 신호 처리 장치 및 가상 현실감 생성 시스템 KR101029634B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00043093 2006-02-20
JP2006043093 2006-02-20
JP2006257932A JP4013989B2 (ja) 2006-02-20 2006-09-22 映像信号処理装置、仮想現実感生成システム
JPJP-P-2006-00257932 2006-09-22

Publications (2)

Publication Number Publication Date
KR20080087038A true KR20080087038A (ko) 2008-09-29
KR101029634B1 KR101029634B1 (ko) 2011-04-15

Family

ID=38437786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087020295A KR101029634B1 (ko) 2006-02-20 2007-02-20 영상 신호 처리 장치 및 가상 현실감 생성 시스템

Country Status (7)

Country Link
US (1) US8147073B2 (ko)
EP (1) EP1989678A2 (ko)
JP (1) JP4013989B2 (ko)
KR (1) KR101029634B1 (ko)
CA (1) CA2641484C (ko)
TW (1) TWI324280B (ko)
WO (1) WO2007097118A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943292B1 (ko) * 2009-08-07 2010-02-23 (주)옴니레이저 영상 투사 시스템 및 그를 이용한 영상 투사 방법
KR101031062B1 (ko) * 2010-08-31 2011-04-25 (주)린소프트 복합 현실 구현을 위한 영상 투사 방법
KR20220036974A (ko) * 2019-07-28 2022-03-23 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8884883B2 (en) * 2008-01-25 2014-11-11 Microsoft Corporation Projection of graphical objects on interactive irregular displays
US20090231551A1 (en) * 2008-03-11 2009-09-17 Robe Show Lighting S.R.O. Digital imaging system
JP5251201B2 (ja) * 2008-03-27 2013-07-31 セイコーエプソン株式会社 画像処理装置、画像表示装置及び画像処理方法
US9837013B2 (en) 2008-07-09 2017-12-05 Sharp Laboratories Of America, Inc. Methods and systems for display correction
US9459784B2 (en) 2008-07-25 2016-10-04 Microsoft Technology Licensing, Llc Touch interaction with a curved display
US8699760B2 (en) * 2008-09-16 2014-04-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP5249733B2 (ja) * 2008-12-03 2013-07-31 パナソニック株式会社 映像信号処理装置
CN102293001B (zh) * 2009-01-21 2014-05-14 株式会社尼康 图像处理装置、图像处理方法及记录方法
US8446367B2 (en) * 2009-04-17 2013-05-21 Microsoft Corporation Camera-based multi-touch mouse
US8938093B2 (en) 2009-04-21 2015-01-20 International Business Machines Corporation Addition of immersive interaction capabilities to otherwise unmodified 3D graphics applications
WO2010129363A2 (en) * 2009-04-28 2010-11-11 The Regents Of The University Of California Markerless geometric registration of multiple projectors on extruded surfaces using an uncalibrated camera
JP2011114381A (ja) * 2009-11-24 2011-06-09 Panasonic Electric Works Co Ltd 映像信号処理装置、仮想現実感生成システム
JP5440230B2 (ja) * 2010-02-10 2014-03-12 セイコーエプソン株式会社 画像処理装置、画像表示システム、及び画像処理方法
CN101832171B (zh) * 2010-03-31 2012-07-04 北汽福田汽车股份有限公司 反应剂显示报警的测试方法
JP2012128476A (ja) * 2010-12-13 2012-07-05 Nikon Corp 画像変換装置
KR101181199B1 (ko) * 2011-01-03 2012-09-18 한국과학기술원 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
EP2715669A4 (en) * 2011-05-25 2015-03-18 Third Dimension Ip Llc ALIGNMENT, CALIBRATION AND RESTITUTION SYSTEMS AND METHODS FOR TOTAL 3D ANGLED DISPLAY
US20140160169A1 (en) * 2011-08-18 2014-06-12 Nec Display Solutions, Ltd. Image processing apparatus and image processing method
TWI490628B (zh) * 2011-09-23 2015-07-01 Nat Inst Chung Shan Science & Technology Virtual reality video control method
FR2983330B1 (fr) * 2011-11-24 2014-06-20 Thales Sa Procede et dispositif de representation d'environnements synthetiques
JP5779512B2 (ja) * 2012-01-24 2015-09-16 株式会社ソシオネクスト 画像の光学歪み補正装置，画像の光学歪み補正方法，および，画像の光学歪み補正装置を有する画像生成装置
JP6032919B2 (ja) * 2012-03-30 2016-11-30 キヤノン株式会社 画像処理装置
JP5689095B2 (ja) * 2012-07-10 2015-03-25 新日鉄住金ソリューションズ株式会社 画像処理装置、画像処理方法及びプログラム
US8764532B1 (en) 2012-11-07 2014-07-01 Bertec Corporation System and method for fall and/or concussion prediction
US10231662B1 (en) 2013-01-19 2019-03-19 Bertec Corporation Force measurement system
US10413230B1 (en) 2013-01-19 2019-09-17 Bertec Corporation Force measurement system
US10010286B1 (en) 2013-01-19 2018-07-03 Bertec Corporation Force measurement system
US10856796B1 (en) 2013-01-19 2020-12-08 Bertec Corporation Force measurement system
US10646153B1 (en) 2013-01-19 2020-05-12 Bertec Corporation Force measurement system
US8704855B1 (en) * 2013-01-19 2014-04-22 Bertec Corporation Force measurement system having a displaceable force measurement assembly
US9770203B1 (en) 2013-01-19 2017-09-26 Bertec Corporation Force measurement system and a method of testing a subject
US11857331B1 (en) 2013-01-19 2024-01-02 Bertec Corporation Force measurement system
US9526443B1 (en) * 2013-01-19 2016-12-27 Bertec Corporation Force and/or motion measurement system and a method of testing a subject
US11052288B1 (en) 2013-01-19 2021-07-06 Bertec Corporation Force measurement system
US11311209B1 (en) 2013-01-19 2022-04-26 Bertec Corporation Force measurement system and a motion base used therein
US8847989B1 (en) * 2013-01-19 2014-09-30 Bertec Corporation Force and/or motion measurement system and a method for training a subject using the same
US11540744B1 (en) 2013-01-19 2023-01-03 Bertec Corporation Force measurement system
US9081436B1 (en) 2013-01-19 2015-07-14 Bertec Corporation Force and/or motion measurement system and a method of testing a subject using the same
WO2014115400A1 (ja) * 2013-01-22 2014-07-31 ソニー株式会社 投影型画像表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
KR20150116302A (ko) * 2014-04-07 2015-10-15 엘지전자 주식회사 영상표시장치, 및 그 동작방법
TWI602436B (zh) * 2014-05-06 2017-10-11 虛擬會議系統
US9769509B2 (en) * 2014-09-16 2017-09-19 Ricoh Company, Ltd. Video playback system and image display device
USD755067S1 (en) 2015-10-20 2016-05-03 Bertec Corporation Visual display device for a force and/or motion measurement system
US10311622B2 (en) * 2016-03-29 2019-06-04 Htc Corporation Virtual reality device and method for virtual reality
KR102246836B1 (ko) * 2016-08-22 2021-04-29 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
KR101772904B1 (ko) * 2017-01-19 2017-09-12 한국과학기술원 몰입형 극장 시스템의 콘텐츠 시점 왜곡에 대한 실시간 보정방법 및 보정장치
CN107220925B (zh) * 2017-05-05 2018-10-30 珠海全志科技股份有限公司 一种实时虚拟现实加速方法及装置
JP6915483B2 (ja) * 2017-09-27 2021-08-04 富士フイルムビジネスイノベーション株式会社 画像処理装置、画像処理システムおよびプログラム
KR20190126990A (ko) 2018-05-03 2019-11-13 디트레인 주식회사 시청자 모션 반응형 vr 시스템
CN112308787B (zh) * 2019-08-02 2024-05-07 北京地平线机器人技术研发有限公司 畸变矫正方法及装置、电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL79822A (en) * 1985-12-19 1990-03-19 Gen Electric Method of comprehensive distortion correction for a computer image generation system
JPH01198890A (ja) 1988-02-03 1989-08-10 Sharp Corp 映像信号処理装置
JPH11355733A (ja) 1998-06-04 1999-12-24 Sony Corp データ送受信装置及びデータ送受信方法
JP2002532795A (ja) * 1998-12-07 2002-10-02 ユニバーサル シティ スタジオズ インコーポレイテッド 視点画像ゆがみを補償するための画像補正方法
JP4069550B2 (ja) * 1999-02-23 2008-04-02 松下電工株式会社 仮想環境体験表示装置
NO20000656A (no) * 2000-02-09 2001-07-09 Knut Krogstad Digital korreksjonsmodul for videoprojektor
JP3387487B2 (ja) 2000-11-08 2003-03-17 松下電工株式会社 没入感生成装置
JP2002354400A (ja) 2001-05-28 2002-12-06 Toyota Central Res & Dev Lab Inc データ格納／読み出し方法及びその方法を用いた画像データ記憶装置並びにその記憶装置を用いた画像補正装置
FI117146B (fi) * 2001-06-18 2006-06-30 Karri Tapani Palovuori Suljintoimintoon perustuva laitteisto stereo- tai monikanavakuvan projisoimiseksi
JP2003085586A (ja) 2001-06-27 2003-03-20 Namco Ltd 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
JP4042356B2 (ja) 2001-06-29 2008-02-06 松下電工株式会社 画像表示システムおよび画像表示システム用画像補正サービス方法
JP3706830B2 (ja) * 2002-01-21 2005-10-19 パナソニック コミュニケーションズ株式会社 画像信号処理装置
JP2004147064A (ja) 2002-10-24 2004-05-20 Digital Zuu:Kk 対話型映像歪み補正方法及び同方法を用いる映像投影装置
US6834965B2 (en) * 2003-03-21 2004-12-28 Mitsubishi Electric Research Laboratories, Inc. Self-configurable ad-hoc projector cluster
US6811264B2 (en) * 2003-03-21 2004-11-02 Mitsubishi Electric Research Laboratories, Inc. Geometrically aware projector
JP3716258B2 (ja) 2003-05-29 2005-11-16 Ｎｅｃビューテクノロジー株式会社 入力信号の幾何学補正システム
US20050062755A1 (en) * 2003-09-18 2005-03-24 Phil Van Dyke YUV display buffer
JP4033198B2 (ja) 2004-02-27 2008-01-16 カシオ計算機株式会社 画像処理装置、画像投影装置、画像処理方法及びプログラム
JP4013922B2 (ja) 2004-06-14 2007-11-28 松下電工株式会社 仮想現実感生成装置および方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943292B1 (ko) * 2009-08-07 2010-02-23 (주)옴니레이저 영상 투사 시스템 및 그를 이용한 영상 투사 방법
KR101031062B1 (ko) * 2010-08-31 2011-04-25 (주)린소프트 복합 현실 구현을 위한 영상 투사 방법
KR20220036974A (ko) * 2019-07-28 2022-03-23 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들

Also Published As

Publication number Publication date
TW200745734A (en) 2007-12-16
CA2641484C (en) 2014-08-26
KR101029634B1 (ko) 2011-04-15
EP1989678A2 (en) 2008-11-12
WO2007097118A2 (en) 2007-08-30
US20090059096A1 (en) 2009-03-05
TWI324280B (en) 2010-05-01
CA2641484A1 (en) 2007-08-30
JP2007251914A (ja) 2007-09-27
US8147073B2 (en) 2012-04-03
JP4013989B2 (ja) 2007-11-28
WO2007097118A3 (en) 2008-08-07

Similar Documents

Publication Publication Date Title
KR101029634B1 (ko) 영상 신호 처리 장치 및 가상 현실감 생성 시스템
JP5061227B2 (ja) 映像信号処理装置及び仮想現実感生成システム
US5077608A (en) Video effects system able to intersect a 3-D image with a 2-D image
KR100445209B1 (ko) 시차변환을통해입력이미지를적어도하나의출력이미지로발생시키기위한이미지처리시스템및이미지변환프로세서
US7431462B2 (en) Projector, image data converting method, and image data converting program
US8212841B2 (en) Non-linear image mapping using a plurality of non-coplanar clipping planes
US7362385B2 (en) Image conversion device image conversion method and image projection device
KR20200052846A (ko) 데이터 처리 시스템
JP4871820B2 (ja) 映像表示システム及び該システムのパラメータ生成方法
US9424681B2 (en) Information processing device, information processing method, and program
JP2006094458A (ja) 映像信号処理装置および仮想現実感生成装置ならびに記録媒体
US20140160169A1 (en) Image processing apparatus and image processing method
KR20130043300A (ko) 프로젝터를 통해 투사되는 영상을 보정하기 위한 장치 및 방법
JP5624383B2 (ja) 映像信号処理装置、仮想現実感生成システム
JP5249733B2 (ja) 映像信号処理装置
JP2006349791A (ja) マルチディスプレイ装置
JP4631878B2 (ja) 映像信号処理装置、仮想現実感生成システム
JP2004282712A (ja) 調整装置
JP2013117601A (ja) マルチディスプレイ制御システム、その制御方法およびマルチディスプレイ装置
JP2011114381A (ja) 映像信号処理装置、仮想現実感生成システム
JP2004282711A (ja) 投射表示装置
JP4266913B2 (ja) 映像合成装置、額縁ボーダー効果発生回路及びそれに用いる画像データ合成方法
KR100914915B1 (ko) 저비용의 뷰-체적 클리핑 방법 및 장치
JP2001318360A (ja) 投写型液晶表示装置
JPH10243369A (ja) 協調作業システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140320

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180316

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee