KR100710946B1 - 화상 처리 시스템, 프로젝터 및 화상 처리 방법 - Google Patents

화상 처리 시스템, 프로젝터 및 화상 처리 방법 Download PDF

Info

Publication number
KR100710946B1
KR100710946B1 KR1020060042538A KR20060042538A KR100710946B1 KR 100710946 B1 KR100710946 B1 KR 100710946B1 KR 1020060042538 A KR1020060042538 A KR 1020060042538A KR 20060042538 A KR20060042538 A KR 20060042538A KR 100710946 B1 KR100710946 B1 KR 100710946B1
Authority
KR
South Korea
Prior art keywords
projection
coordinates
trapezoidal distortion
image
light
Prior art date
Application number
KR1020060042538A
Other languages
English (en)
Other versions
KR20060074918A (ko
Inventor
히데키 마츠다
마사노부 고바야시
Original Assignee
세이코 엡슨 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세이코 엡슨 가부시키가이샤 filed Critical 세이코 엡슨 가부시키가이샤
Publication of KR20060074918A publication Critical patent/KR20060074918A/ko
Application granted granted Critical
Publication of KR100710946B1 publication Critical patent/KR100710946B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

수평 방향의 사다리꼴 왜곡을 자동적으로 적절하게 보정하는 것이 가능한 화상 처리 시스템, 프로젝터, 휴대형 장치 및 화상 처리 방법을 제공하기 위해서, 관찰자가 조작하는 리모콘에 투영 영역의 촬상 기능과 방위 파악 기능을 마련하고, 수신부(160)를 이용하여 촬상 정보와 방위 정보를 수신하고, 수평 방향 사다리꼴 왜곡 보정부(143)를 이용하여, 촬상 정보와 방위 정보에 근거해, 사다리꼴 왜곡 보정값이 기억된 3D-LUT(144)로부터 사다리꼴 왜곡 보정값을 선택하고, 리사이징부(114)를 이용하여 사다리꼴 왜곡을 보정한다.

Description

화상 처리 시스템, 프로젝터 및 화상 처리 방법{IMAGE PROCESSING SYSTEM, PROJECTOR, AND IMAGE PROCESSING METHOD}
도 1은 본 실시예의 일례에 따른 화상 처리 시스템 전체의 개략도,
도 2는 본 실시예의 일례에 따른 투영 이미지와 히스토그램을 나타내는 모식도,
도 3은 본 실시예의 일례에 따른 프로젝터의 기능 블록도,
도 4는 본 실시예의 일례에 따른 리모콘의 기능 블록도,
도 5는 본 실시예의 일례에 따른 사다리꼴 왜곡 보정 처리의 흐름을 나타내는 흐름도,
도 6은 본 실시예의 일례에 따른 프로젝터의 하드웨어 블록도,
도 7은 본 실시예의 일례에 따른 투영 이미지와 레이저광 투사 이미지를 나타내는 모식도,
도 8은 본 실시예의 다른 일례에 따른 프로젝터의 기능 블록도,
도 9는 본 실시예의 다른 일례에 따른 리모콘의 기능 블록도,
도 10은 본 실시예의 일례에 따른 리모콘에 의한 처리의 흐름을 나타내는 흐름도,
도 11은 본 실시예의 일례에 따른 프로젝터에 의한 처리의 흐름을 나타내는 흐름도.
도면의 주요 부분에 대한 부호의 설명
10 : 프로젝터(화상 표시 장치) 20 : 리모콘(휴대형 장치)
30 : 투영 영역 40 : 관찰자
50 : 가상 시점 위치(센싱 위치) 60 : 촬영 이미지
70 : 투영 이미지 90 : 레이저광 투사 이미지
114 : 리사이징부(사다리꼴 왜곡 보정 수단)
140 : 사다리꼴 왜곡 보정부(사다리꼴 왜곡 보정 수단)
141 : 수직 방향 사다리꼴 왜곡 보정부
143 : 수평 방향 사다리꼴 왜곡 보정부
148 : 영역 추출부 160 : 수신부
180, 210 : 영역 센서부(센싱 수단) 190 : 화상 투영부(투영 수단)
192 : 공간광 변조기
220 : 투영 이미지 영역 추출부(히스토그램 생성 수단)
230 : 히스토그램 처리부(히스토그램 생성 수단)
240 : 방위 파악부 260 : 송신부
280 : 레이저광 투사부(광 투사 수단)
본 발명은 사다리꼴 왜곡을 보정할 수 있는 화상 처리 시스템, 프로젝터, 휴대형 장치 및 화상 처리 방법에 관한 것이다.
프로젝터의 투영 화상에서 발생하는 이른바 사다리꼴 왜곡을 보정하는 여러 가지의 방법이 제안되어 있다.
예컨대, 프로젝터의 경사를 검출하여 수직 방향의 사다리꼴 왜곡을 자동적으로 보정하는 방법이 있다.
그러나, 이 방법으로는, 사용자는 수평 방향의 사다리꼴 왜곡을 보정할 수는 없다.
이 때문에, 수평 방향의 사다리꼴 왜곡을, 사용자가 화상을 보면서 리모콘의 보정용 스위치를 눌러 사다리꼴 왜곡을 수동으로 보정하는 방법이 있다.
그러나, 사용자가 수동으로 사다리꼴 왜곡을 보정하는 것은 손이 많이 가서, 수동으로 적절히 보정하는 것은 곤란하다.
이러한 문제점을 감안하여, 예컨대, 일본 특허 공개 2002-112148호에서는, 화상의 왜곡을 자동적으로 보정하는 방법이 개시되어 있다.
그러나, 당해 공보에서는, 프로젝터의 탑재면까지의 거리와, 프로젝터의 수 평면에 대한 수평 방향 및 수직 방향의 경사를 검출하여 사다리꼴 왜곡을 보정하는 방법이 개시되어 있는 것에 불과하다.
이 때문에, 당해 방법에서는, 당해 공보의 명세서의 단락번호 0009에 기재되어 있듯이, 투영 스크린이 프로젝터의 정면에 위치하는 것이 전제로 되어있다.
그러나, 프로젝터가 투영 스크린의 경사 방향에 위치하고 있는 경우, 수평 방향(가로 방향)의 사다리꼴 왜곡이 발생해 버린다.
따라서, 당해 공보의 방법으로는, 수평 방향의 사다리꼴 왜곡을 자동적이고 적절하게 보정하는 것은 곤란하다.
본 발명은 상기 과제를 감안하여 행해진 것이며, 그 목적은, 사다리꼴 왜곡, 특히, 수평 방향의 사다리꼴 왜곡을 자동적이고 적절하게 보정할 수 있는 화상 처리 시스템, 프로젝터, 휴대형 장치 및 화상 처리 방법을 제공하는 것이다.
상기 과제를 해결하기 위해서, 본 발명에 따른 화상 처리 시스템은, 투영 이미지가 투영된 투영 영역을 센싱하여 센싱 정보를 출력하는 센싱 수단과,
당해 센싱 정보에 근거하여, 투영 이미지에서의 수직 수평의 각 방향의 화소수의 히스토그램을 나타내는 히스토그램 정보를 생성하는 히스토그램 생성 수단과,
센싱 위치로부터 투영 영역으로의 직교 방향의 직교 방위와, 센싱 위치로부터 투영 이미지의 중앙 영역으로의 투영 이미지 방위의 방위차에 근거하여, 방위 정보를 생성하는 방위 파악 수단과,
상기 히스토그램 정보와, 상기 방위 정보에 근거하여, 투영 이미지의 사다리꼴 왜곡을 보정하는 사다리꼴 왜곡 보정 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 프로젝터는, 투영 이미지를 투영하는 투영 수단과,
투영 이미지가 투영된 투영 영역을 센싱한 센싱 정보에 근거한 투영 이미지에서의 수직 수평의 각 방향의 화소수의 히스토그램을 나타내는 히스토그램 정보와, 센싱 위치로부터 투영 영역으로의 직교 방향의 직교 방위와, 센싱 위치로부터 투영 이미지의 중앙 부분으로의 투영 이미지 방위의 방위차에 근거한 방위 정보를 수신하는 수신 수단과,
상기 히스토그램 정보와, 상기 방위 정보에 근거하여, 투영 이미지의 사다리꼴 왜곡을 보정하는 사다리꼴 왜곡 보정 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 휴대형 장치는, 투영 이미지가 투영된 투영 영역을 센싱하는 센싱 수단과,
당해 센싱 정보에 근거하여, 투영 이미지에서의 수직 수평의 각 방향의 화소수의 히스토그램을 나타내는 히스토그램 정보를 생성하는 히스토그램 생성 수단과,
센싱 위치로부터 투영 영역으로의 직교 방향의 직교 방위와, 센싱 위치로부터 투영 이미지의 중앙 부분으로의 투영 이미지 방위의 방위차에 근거한 방위 정보를 파악하는 방위 파악 수단과,
상기 히스토그램 정보와, 상기 방위 정보에 근거하여, 투영 이미지의 사다리꼴 왜곡을 보정해서 투영 이미지를 투영하는 화상 표시 장치를 향하여, 상기 히스토그램 정보와, 상기 방위 정보를 송신하는 송신 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 화상 처리 방법은, 투영 이미지가 투영된 투영 영역을 센싱하여 센싱 정보를 출력하고,
당해 센싱 정보에 근거하여, 투영 이미지에서의 수직 수평의 각 방향의 화소수의 히스토그램을 나타내는 히스토그램 정보를 생성하며,
센싱 위치로부터 투영 영역으로의 직교 방향의 직교 방위를 검출하고,
센싱 위치로부터 투영 이미지의 중앙 부분으로의 투영 이미지 방위를 검출하며,
직교 방위와 투영 이미지 방위의 방위차에 근거하여, 방위 정보를 생성하고,
상기 히스토그램 정보와, 상기 방위 정보에 근거하여, 투영 이미지의 사다리꼴 왜곡을 보정하는 것을 특징으로 한다.
본 발명에 따르면, 화상 처리 시스템 등은 센싱함으로써 사다리꼴 왜곡을 파악할 수 있다. 그리고, 화상 처리 시스템 등은, 센싱 정보를 히스토그램으로 변환함으로써, 왜곡의 정도를 수치화할 수 있다. 또한, 화상 처리 시스템 등은, 방위차를 파악함으로써, 센싱 방향과 투영 방향의 상대적인 어긋남을 파악할 수 있다.
그리고, 화상 처리 시스템 등은, 왜곡 상태를 나타내는 히스토그램 정보와, 센싱 방향과 투영 방향의 상대적인 어긋남을 나타내는 방위 정보에 근거하여, 사다리꼴 왜곡을 보정함으로써, 수직 방향의 사다리꼴 왜곡뿐만 아니라, 수평 방향의 사다리꼴 왜곡도 자동적이고 적절하게 보정할 수 있다.
또한, 상기 화상 처리 시스템은, 상기 센싱 수단과, 상기 히스토그램 생성 수단과, 상기 방위 파악 수단을 갖는 휴대형 장치와,
상기 사다리꼴 왜곡 보정 수단과, 상기 투영 이미지를 투영하는 투영 수단을 갖는 화상 표시 장치를 포함하고,
상기 사다리꼴 왜곡 보정 수단은,
상기 화상 표시 장치의 경사를 검출하는 경사 검출 수단을 갖고, 수직 방향의 사다리꼴 왜곡을 보정하는 수직 방향 사다리꼴 왜곡 보정 수단과,
상기 히스토그램 정보와, 상기 방위 정보에 근거하여, 수평 방향의 사다리꼴 왜곡을 보정하는 수평 방향 사다리꼴 왜곡 보정 수단을 포함해도 좋다.
또한, 상기 프로젝터에 있어서, 상기 사다리꼴 왜곡 보정 수단은,
상기 투영 수단의 경사를 검출하는 경사 검출 수단을 갖고, 수직 방향의 사다리꼴 왜곡을 보정하는 수직 방향 사다리꼴 왜곡 보정 수단과,
상기 히스토그램 정보와, 상기 방위 정보에 근거하여, 수평 방향의 사다리꼴 왜곡을 보정하는 수평 방향 사다리꼴 왜곡 보정 수단을 포함해도 좋다.
또한, 상기 화상 처리 방법은, 화상 표시 장치의 경사를 검출하고,
검출한 경사에 근거하여, 수직 방향의 사다리꼴 왜곡을 보정하며,
상기 히스토그램 정보와, 상기 방위 정보에 근거하여, 수평 방향의 사다리꼴 왜곡을 보정해도 좋다.
수평 방향의 사다리꼴 왜곡은, 화상 표시 장치와 투영 영역의 상대적인 위치 관계에 따라 변화한다. 이에 비하여, 수직 방향의 사다리꼴 왜곡은, 주로 화상 표시 장치의 경사에 따라 변화한다.
따라서, 화상 처리 시스템 등은, 화상 표시 장치의 경사에 근거하여 수직 방향의 사다리꼴 왜곡을 보정하고, 투영 영역의 위치를 반영한 히스토그램 정보와 방 위 정보에 근거하여 수평 방향의 사다리꼴 왜곡을 보정함으로써, 적절히 사다리꼴 왜곡을 보정할 수 있다.
또한, 본 발명에 따른 화상 처리 시스템은, 투영 영역에서 왜곡이 없는 소정 형상의 광을 투영 영역을 향하여 투사하는 광 투사 수단과,
상기 소정 형상의 광이 투사된 투영 영역을, 투영 이미지를 투영하는 투영부의 투영 위치로부터 센싱하여 센싱 정보를 출력하는 센싱 수단과,
당해 센싱 정보에 근거하여, 상기 소정 형상의 광의 센싱 영역에서의 좌표를 추출하는 영역 추출 수단과,
상기 소정 형상의 광의 센싱 영역에서의 좌표를, 상기 투영부의 공간광 변조기에서의 투영용 좌표로 변환하고, 입력 화상의 좌표를 당해 투영용 좌표에 맵핑하여 사다리꼴 왜곡을 보정하는 사다리꼴 왜곡 보정 수단을 포함하는 것을 특징으로 한다.
또한, 상기 화상 처리 시스템은, 상기 광 투사 수단을 갖는 휴대형 장치와,
상기 센싱 수단과, 상기 사다리꼴 왜곡 보정 수단과, 상기 투영부를 갖는 화상 표시 장치를 포함해도 좋다.
또한, 본 발명에 따른 프로젝터는, 투영 영역에서 왜곡이 없는 소정 형상의 광이 투사된 투영 영역을, 투영 이미지를 투영하는 투영부의 투영 위치로부터 센싱하여 센싱 정보를 출력하는 센싱 수단과,
당해 센싱 정보에 근거하여, 상기 소정 형상의 광의 센싱 영역에서의 좌표를 추출하는 영역 추출 수단과,
상기 소정 형상의 광의 센싱 영역에서의 좌표를, 상기 투영부의 공간광 변조기에서의 투영용 좌표로 변환하고, 입력 화상의 좌표를 당해 투영용 좌표에 맵핑하여 사다리꼴 왜곡을 보정하는 사다리꼴 왜곡 보정 수단과,
상기 투영부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 화상 처리 방법은, 투영 영역에서 왜곡이 없는 소정 형상의 광을 투사하고,
당해 소정 형상의 광이 투사된 투영 영역을, 투영 이미지를 투영하는 투영부의 투영 위치로부터 센싱하여 센싱 정보를 출력하며,
당해 센싱 정보에 근거하여, 상기 소정 형상의 광의 센싱 영역에서의 좌표를 추출하고,
상기 소정 형상의 광의 센싱 영역에서의 좌표를, 상기 투영부의 공간광 변조기에서의 투영용 좌표로 변환하고, 입력 화상의 좌표를 당해 투영용 좌표에 맵핑하여 사다리꼴 왜곡을 보정하는 것을 특징으로 한다.
본 발명에 따르면, 화상 처리 시스템 등은, 왜곡이 없는 상태로 투영 영역에 투사된 소정 형상의 광을, 센싱하여 소정 형상의 광의 좌표를 파악할 수 있다.
즉, 소정 형상의 광의 좌표는, 왜곡이 없는 화상의 좌표로 파악할 수 있고, 당해 좌표에 입력 화상의 좌표를 맵핑함으로써, 화상 투영시에 왜곡이 없는 화상을 투영할 수 있다.
이에 따라, 수평 방향의 사다리꼴 왜곡을 자동적이고 적절하게 보정할 수 있다.
또한, 상기 화상 처리 시스템 및 상기 프로젝터에 있어서, 상기 소정 형상은, 직사각형 또는 정방형으로서,
상기 영역 추출 수단은, 상기 소정 형상의 광의 네 모서리의 좌표를 추출하고,
상기 사다리꼴 왜곡 보정 수단은, 상기 소정 형상의 광의 센싱 영역에서의 네 모서리의 좌표를, 상기 투영부의 공간광 변조기에서의 투영용 좌표로 변환하고, 입력 화상의 좌표를 네 모서리의 투영용 좌표 내에 맵핑하여 사다리꼴 왜곡을 보정해도 좋다.
또한, 상기 화상 처리 방법에 있어서, 상기 소정 형상은, 직사각형 또는 정방형으로서,
상기 센싱 영역에서의 좌표를 추출할 때에, 상기 소정 형상의 광의 네 모서리의 좌표를 추출하고,
상기 사다리꼴 왜곡을 보정할 때에, 상기 소정 형상의 광의 센싱 영역에서의 네 모서리의 좌표를, 상기 투영부의 공간광 변조기에서의 투영용 좌표로 변환하며, 입력 화상의 좌표를 네 모서리의 투영용 좌표 내에 맵핑하여 사다리꼴 왜곡을 보정해도 좋다.
이에 따르면, 화상 처리 시스템 등은, 직사각형 또는 정방형으로 되는 광을 투사하고, 당해 직사각형 또는 당해 정방형의 네 모서리의 좌표를 공간광 변조기(예컨대, 액정 라이트밸브 등)의 4개의 투영용 좌표로 변환하여, 입력 화상의 좌표를 4개의 투영용 좌표 내에 맵핑함으로써, 입력 화상을 표시했을 때에 직사각형 또 는 정방형의 형태로 표시하는 것이 가능해진다.
이에 따라, 화상 처리 시스템 등은 자동적이고 적절하게 사다리꼴 왜곡을 보정할 수 있다.
이하, 본 발명을, 화상 표시 장치인 프로젝터와 휴대형 장치인 리모콘을 이용하여 투영 이미지의 사다리꼴 왜곡을 보정하는 화상 처리 시스템에 적용한 경우를 예로 채용하고, 도면을 참조하면서 설명한다. 또, 이하에 나타내는 실시예는, 특허청구의 범위에 기재된 발명의 내용을 조금도 한정하는 것이 아니다. 또한, 이하의 실시예에 나타내는 구성의 모두가, 특허청구의 범위에 기재된 발명의 해결 수단으로서 필수라고는 한정하지 않는다.
이하, 센싱 수단을 갖는 리모콘이 투영 영역의 센싱과 방위의 파악을 행하여, 프로젝터가 사다리꼴 왜곡을 보정하는 실시예 1과, 광 투사 수단을 갖는 리모콘이 투영 영역에 직사각형의 레이저광을 투사하고, 프로젝터가 투영 위치로부터 투영 영역의 센싱을 행하여 사다리꼴 왜곡을 보정하는 실시예 2에 대하여 설명한다.
(실시예 1의 설명)
도 1은 본 실시예의 일례에 따른 화상 처리 시스템 전체의 개략도이다. 또한, 도 2는 본 실시예의 일례에 따른 투영 이미지(70)와 히스토그램을 나타내는 모 식도이다.
실시예 1에서는, 화상 표시 장치의 일종인 프로젝터(10)는, 투영 영역(30)에 정면으로 마주보지 않고, 투영 영역(30)에 정면인 상태로부터 왼쪽 경사 전방을 향하고, 또한，사용자인 관찰자(40)보다도 오른쪽으로 떨어진 위치로부터 화상을 투영하고 있다.
이러한 경우, 도 2에 도시하는 바와 같이, 관찰자(40)가 관찰하는 투영 이미지(70)는, 최좌단이 가장 길고, 최우단이 가장 짧은 사다리꼴 형상으로 된다.
본 실시예에서는, 관찰자(40)가 조작하는 휴대형 장치의 일종인 리모콘(20)에 촬상 기능을 마련하여, 리모콘(20)이 투영 영역(30)을 센싱(촬상)한다.
또한, 리모콘(20)에 히스토그램 처리 기능을 마련하여, 리모콘(20)이 촬영 이미지(60)에서의 투영 이미지(70)의 수평 방향 화소수 히스토그램(80)과, 수직 방향 화소수 히스토그램(82)을 생성한다.
또한, 리모콘(20)에 방위 파악 기능을 마련하여, 리모콘(20)이, 가상 시점 위치(50)로부터 투영 영역(30)으로의 직교 방향의 직교 방위 θn과, 가상 시점 위치(50)로부터 투영 이미지의 중앙 부분으로의 투영 이미지 방위 θi의 방위차 θ에 근거해서, 방위 정보를 생성한다.
또, 가상 시점 위치(50)란, 예컨대, 관찰자(40)의 시점을 가상적으로 설정한 위치인 것이다. 실시예 1에서는, 리모콘(20)의 센싱 위치가 가상 시점 위치(50)로 되어 있다.
또한, 프로젝터(10)는, 히스토그램 정보(수평 방향 화소수 히스토그램(80) 및 수직 방향 화소수 히스토그램(82))와, 방위 정보에 근거하여, 투영 이미지(70)의 사다리꼴 왜곡을 보정하는 사다리꼴 왜곡 보정 기능을 갖는다.
본 실시예에서의 화상 처리 시스템은, 이들 기능에 의해, 가상 시점 위치(50)를 고려하여 투영 이미지(70)의 사다리꼴 왜곡을 자동적이고 적절하게 보정한다.
다음에, 이러한 기능을 실현하기 위한 프로젝터(10)의 기능 블록에 대하여 설명한다.
도 3은 본 실시예의 일례에 따른 프로젝터(10)의 기능 블록도이다.
프로젝터(10)는, 입력 신호 처리부(110)와, 색 변환부(120)와, 출력 신호 처리부(130)와, 화상 투영부(190)와, 사다리꼴 왜곡 보정부(140)와, 수신부(160)를 포함하여 구성되어 있다.
입력 신호 처리부(11O)는, PC(Personal Computer) 등으로부터 입력되는 입력 화상 정보의 일종인 아날로그 형식의 RGB 신호를 구성하는 R1 신호, G1 신호, B1 신호를, 디지털 형식의 R2 신호, G2 신호, B2 신호로 변환한다.
또한, 입력 신호 처리부(110)는, 이러한 아날로그 디지털 변환을 행하는 A/D 변환부(112)와, 사다리꼴 왜곡 보정 수단의 일부로서 기능하고, 입력 화상 신호를 조정함으로써 투영 이미지(70)의 위치나 사이즈를 조정하는 리사이징부(114)를 포함하여 구성되어 있다.
또한, 캘리브레이션 신호 발생부(150)는, 캘리브레이션 화상의 표시에 이용되는 디지털 형식의 R2 신호, G2 신호, B2 신호를 생성한다.
이와 같이, 캘리브레이션 신호를 액정 프로젝터의 내부에서 생성함으로써, PC 등의 외부 입력 장치로부터 캘리브레이션 신호를 액정 프로젝터에 입력하는 일 없이, 액정 프로젝터 단체로 캘리브레이션을 할 수 있다. 또, 캘리브레이션 신호 발생부(150)를 마련하지 않고, PC 등으로부터 캘리브레이션 화상 신호를 입력해도 좋다.
색 변환부(120)는, 입력 신호 처리부(110)나 캘리브레이션 신호 발생부(150)로부터의 R2 신호, G2 신호, B2 신호에 근거하여, 프로젝터(10)의 표준 설정에 근거한 색온도 등을 보정하여 R3 신호, G3 신호, B3 신호로서 출력한다.
또한, 출력 신호 처리부(130)는, D/A 변환부(132)를 포함하여 구성되어 있다. D/A 변환부(132)는, 색 변환부(120)로부터의 R3 신호, G3 신호, B3 신호를 아날로그 형식의 R4 신호, G4 신호, B4 신호로 변환한다.
또, 프로젝터(10)가 디지털 형식의 RGB 신호만을 이용하는 경우, A/D 변환부(112) 및 D/A 변환부(132)는 불필요하다.
또한, 투영 수단으로서 기능하는 화상 투영부(190)는, 공간광 변조기(192)와, 공간광 변조기(192)를 구동하는 구동부(194)와, 광원(196)과, 렌즈(198)를 포함하여 구성되어 있다.
구동부(194)는, 출력 신호 처리부(130)로부터의 R4 신호, G4 신호, B4 신호에 근거하여, 공간광 변조기(192)를 구동한다. 그리고, 화상 투영부(190)는, 광원(196)으로부터의 광을, 공간광 변조기(192) 및 렌즈(198)를 거쳐서 투영한다.
또한, 수신부(160)는, 리모콘(20)으로부터 송신되는 히스토그램 정보와 방위 정보를 수신한다.
또한, 사다리꼴 왜곡 보정부(140)는, 경사 센서(142)를 갖고, 수직 방향의 사다리꼴 왜곡을 보정하는 수직 방향 사다리꼴 왜곡 보정부(141)와, 3D-LUT(144)를 갖고, 수평 방향의 사다리꼴 왜곡을 보정하는 수평 방향 사다리꼴 왜곡 보정부(143)를 포함하여 구성되어 있다.
경사 센서(142)는 프로젝터(10)의 수직 방향의 경사를 검출하고, 수직 방향 사다리꼴 왜곡 보정부(141)는, 당해 경사에 따라 수직 방향 사다리꼴 왜곡 보정값(예컨대, 수동 조정시와 동일한 -n∼n의 정수값)을 리사이징부(114)에 송신한다.
또한, 수평 방향 사다리꼴 왜곡 보정부(143)는, 수신부(160)에 의해 수신된 히스토그램 정보와 방위 정보에 따라 3D-LUT(144)에 기억된 수평 방향 사다리꼴 왜곡 보정값(예컨대, 수동 조정시와 동일한 -n∼n의 정수값)을 선택하고, 선택한 수평 방향 사다리꼴 왜곡 보정값을 리사이징부(114)에 송신한다.
다음에, 리모콘(20)의 기능을 실현하기 위한 기능 블록에 대하여 설명한다.
도 4는 본 실시예의 일례에 따른 리모콘(20)의 기능 블록도이다.
리모콘(20)은, CCD 센서 등의 센서를 이용하여 투영 영역(30)을 촬상하여 촬영 이미지(60)를 얻는 센싱 수단으로서 기능하는 영역 센서부(210)와, 촬영 이미지(60)로부터 투영 이미지(70)를 추출하는 투영 이미지 영역 추출부(220)와, 투영 이미지(70)의 수평 방향 화소수 히스토그램(80)과 수직 방향 화소수 히스토그램(82)을 생성하는 히스토그램 생성 수단으로서 기능하는 히스토그램 처리부(230)를 포함하여 구성되어 있다.
투영 이미지 영역 추출부(220)는, 촬영 이미지(60)로부터 최고 휘도 검출 화소의 예컨대 65%∼80% 이상의 휘도 검출 영역을 투영 이미지(70)로서 추출한다.
또한, 히스토그램 처리부(230)는, 도 2에 도시하는 바와 같이, 투영 이미지(70)를 수평 방향으로 주사한 경우의 주사라인마다의 화소수의 합계값을 수평 방향 화소수 히스토그램(80)으로서 생성하고, 투영 이미지(70)를 수직 방향으로 주사한 경우의 주사라인마다의 화소수의 합계값을 수직 방향 화소수 히스토그램(82)으로서 생성한다.
또한, 히스토그램 처리부(230)는, 도 2에 도시하는 바와 같이, 수평 방향 화소수 히스토그램(80)의 상저(上底)의 길이 a와 하저(下底)의 길이 b의 비와, 수직 방향 화소수 히스토그램(82)의 상저의 길이 c에서 하저의 길이 d를 감산한 값의 부호를 히스토그램 정보로서 송신부(250)에 송신한다.
여기서, 수평 방향 화소수 히스토그램(80)의 상저의 길이 a와 하저의 길이 b의 비는 왜곡의 정도를 나타낸다. 예컨대, 비의 값이 커질수록 왜곡의 정도는 크다. 또한, 수직 방향 화소수 히스토그램(82)의 상저의 길이 c에서 하저의 길이 d를 감산한 값의 부호는 좌우 어느 쪽의 방향으로 비뚤어져 있는지를 나타낸다.
따라서, 히스토그램 정보는 사다리꼴 왜곡을 수치로 나타낸 정보라고 말할 수 있다.
또한, 리모콘(20)은, 방위 센서(242)를 갖는 방위 파악부(240)와, 히스토그램 처리부(230)로부터의 수평 방향 화소수 히스토그램(80) 및 수직 방향 화소수 히스토그램(82)을 포함하는 히스토그램 정보와, 방위 파악부(240)로부터의 방위 정보 를 프로젝터(10)를 향하여 송신하는 송신부(250)를 포함하여 구성되어 있다.
방위 파악부(240)는, 도 1에 도시하는 바와 같이, 방위 센서(242)를 이용하여 가상 시점 위치(50)로부터의 광축이 투영 영역(30)과 직교하는 방향의 직교 방위 θn과, 가상 시점 위치(50)로부터 투영 이미지(70)의 중앙 부분으로의 투영 이미지 방위 θi를 측정하고, 직교 방위 θn에서 투영 이미지 방위 θi를 감산한 방위차 θ를 나타내는 방위 정보를 생성한다.
방위 정보는, 가상 시점 위치(50)와 프로젝터(10)의 위치 관계를 나타낸다. 예컨대, 방위차 θ가 0이라면 프로젝터(10)는 관찰자(40)의 정면에 있고, 방위차 θ가 정(正)의 값이라면 프로젝터(10)는 관찰자(40)의 우측에 있으며, 방위차 θ가 부(負)의 값이라면 프로젝터(10)는 관찰자(40)의 좌측에 있다.
다음에, 이들 각부를 이용한 화상 처리의 흐름에 대하여 흐름도를 이용하여 설명한다.
도 5는 본 실시예의 일례에 따른 사다리꼴 왜곡 보정 처리의 흐름을 나타내는 흐름도이다.
우선, 수직 방향 사다리꼴 왜곡 보정부(141)는, 경사 센서(142)에 의해 검출된 프로젝터(10)의 수직 방향의 경사에 따른 수직 방향 사다리꼴 왜곡 보정값을 리사이징부(114)에 송신하고, 리사이징부(114)는, 입력 화상 신호를 리사이징하여 수직 방향의 사다리꼴 왜곡 보정을 행한다(단계 S1).
캘리브레이션 신호 발생부(150)는, 전면 백색 최고 계조의 화상이 표시되도록 캘리브레이션 신호를 발생하고, 화상 투영부(190)는, 전면 백색 최고 계조의 캘 리브레이션 화상을 투영한다(단계 S2).
관찰자(40)는, 리모콘(20)을 투영 영역(30)의 직교 방향으로 향한 상태에서 직교 방위 측정 버튼을 누른다. 이 조작에 따라, 방위 파악부(240)는 직교 방위 θn을 측정한다(단계 S3).
그리고, 관찰자(40)는, 리모콘(20)을 수평으로 유지하면서 투영 이미지(70)의 중심 부근을 향한 상태에서 사다리꼴 왜곡 보정 버튼을 누른다. 이 조작에 따라, 방위 파악부(240)는 투영 이미지 방위 θi를 측정한다(단계 S4).
또한, 이 조작에 따라, 영역 센서부(210)는, 투영 영역(30)을 센싱하여, 촬영 이미지(60)로부터 투영 이미지(70)의 영역을 추출한다(단계 S5).
그리고, 히스토그램 처리부(230)는, 투영 이미지(70)에 근거하여, 수평 방향 화소수 히스토그램(80)과 수직 방향 화소수 히스토그램(82)을 생성하고, 상술한 a, b, c, d의 값을 도출하여 히스토그램 정보를 생성한다(단계 S6).
그리고, 방위 파악부(240)는 방위차 θ=θn-θi를 도출하여, 방위 정보를 생성한다(단계 S7).
그리고, 리모콘(20)의 송신부(250)는, 히스토그램 정보와 방위 정보를 프로젝터(10)를 향하여 송신한다. 프로젝터(10)의 수신부(160)는 리모콘(20)으로부터의 히스토그램 정보와 방위 정보를 수신한다.
그리고, 수평 방향 사다리꼴 왜곡 보정부(143)는, 히스토그램 정보와 방위 정보에 근거한 3D-LUT(144)의 보정값에 근거하여, 수평 방향 사다리꼴 왜곡 보정값을 리사이징부(114)에 송신한다. 리사이징부(114)는, 당해 보정값에 근거하여, 수 평 방향의 사다리꼴 왜곡이 보정되도록 입력 화상 신호를 보정함으로써, 수평 방향의 사다리꼴 왜곡을 보정한다(단계 S8).
이상의 순서에 의해, 프로젝터(10)와 리모콘(20)을 포함하는 화상 처리 시스템은, 가상 시점 위치(50)를 고려하여 사다리꼴 왜곡을 자동적이고 적절하게 보정할 수 있다.
또, 상술한 프로젝터(10)의 하드웨어로서는, 예컨대, 이하의 것을 적용할 수 있다.
도 6은 본 실시예의 일례에 따른 프로젝터(10)의 하드웨어 블록도이다.
예컨대, A/D 변환부(112)로서는, 예컨대 A/D 컨버터(930) 등, 색 변환부(120), 사다리꼴 왜곡 보정부(140)로서는, 예컨대 화상 처리 회로(970), RAM(950), CPU(910) 등, D/A 변환부(132)로서는, 예컨대 D/A 컨버터(940) 등, 공간광 변조기(192)로서는, 예컨대 액정 패널(920), 액정 패널(920)을 구동하는 액정 라이트밸브 구동 드라이버를 기억하는 ROM(960) 등을 이용하여 실현할 수 있다.
또, 이들 각부는 시스템 버스(980)를 거쳐서 서로 정보를 교환할 수 있다.
또한, 프로젝터(10)와 리모콘(20) 사이의 정보의 전송로는 유선이라도 무선이라도 좋다. 프로젝터(10)의 수신부(160) 및 리모콘(20)의 송신부(250)로서는, 무선으로 정보를 교환하는 경우는 적외선 포트 등, 유선으로 정보를 교환하는 경우는 입출력 포트 등을 이용할 수 있다.
또한, 리모콘(20)의 그 밖의 하드웨어로서는, 영역 센서부(210)로서는, 예컨대 CCD 센서 등, 투영 이미지 영역 추출부(220) 및 히스토그램 처리부(230)로서는 화상 처리 회로 등을 이용하여 실현할 수 있다.
또한, 이들 각부는 회로와 같이 하드웨어적으로 실현해도 좋고, 드라이버와 같이 소프트웨어적으로 실현해도 좋다.
또한, 사다리꼴 왜곡 보정부(140)로서 컴퓨터를 기능시키기 위한 프로그램을 기억한 정보 기억 매체(900)로부터 프로그램을 판독하여 사다리꼴 왜곡 보정부(140)의 기능을 컴퓨터에 실현시키더라도 좋다.
이러한 정보 기억 매체(900)로서는, 예컨대, CD-ROM, DVD-ROM, ROM, RAM, HDD 등을 적용할 수 있고, 그 프로그램의 판독 방식은 접촉 방식이더라도, 비접촉 방식이더라도 좋다.
또한, 정보 기억 매체(900) 대신에, 상술한 각 기능을 실현하기 위한 프로그램 등을, 전송로를 거쳐서 호스트 장치 등으로부터 다운로드함으로써 상술한 각 기능을 실현할 수도 있다.
이상과 같이, 본 실시예에 따르면, 화상 처리 시스템은, 센싱 위치인 가상 시점 위치(50)로부터 센싱함으로써, 사다리꼴 왜곡을 파악할 수 있다. 그리고, 화상 처리 시스템은, 센싱 정보를 수평 방향 화소수 히스토그램(80) 및 수직 방향 화소수 히스토그램(82)으로 변환함으로써, 왜곡의 정도를 수치화할 수 있다. 또한, 화상 처리 시스템은 방위차 θ를 파악함으로써 센싱 방향과 투영 방향의 상대적인 어긋남을 파악할 수 있다.
그리고, 화상 처리 시스템은, 왜곡 상태를 나타내는 히스토그램 정보와, 센싱 방향과 투영 방향의 상대적인 어긋남을 나타내는 방위 정보에 근거하여, 사다리 꼴 왜곡을 보정함으로써, 수직 방향의 사다리꼴 왜곡뿐만 아니라, 수평 방향의 사다리꼴 왜곡도 자동적이고 적절하게 보정할 수 있다.
또한, 수평 방향의 사다리꼴 왜곡은 프로젝터(10)와 투영 영역(30)의 상대적인 위치 관계에 따라 변화하고, 수직 방향의 사다리꼴 왜곡은 주로 프로젝터(10)의 경사에 따라 변화한다.
따라서, 화상 처리 시스템은, 프로젝터(10)에 마련된 경사 센서(142)를 이용하여 수직 방향의 사다리꼴 왜곡을 보정할 수 있고, 프로젝터(10)와 투영 영역(30)의 상대적인 위치 관계를 나타내는 히스토그램 정보 등에 근거하여 수평 방향의 사다리꼴 왜곡을 보정할 수 있으므로, 수직 방향과 수평 방향의 사다리꼴 왜곡을 적절히 보정할 수 있다.
(실시예 2의 설명)
다음에, 가상 시점 위치(50)로부터 투영 영역(30)에 직사각형의 레이저광을 투사하고, 투영 위치(52)로부터 투영 영역(30)의 센싱을 하여 사다리꼴 왜곡을 보정하는 실시예 2에 대하여 설명한다. 또, 실시예 2에서는, 가상 시점 위치(50)는 레이저광의 투사 위치이다.
도 7은 본 실시예의 일례에 따른 투영 이미지(70)와 레이저광 투사 이미지(90)를 나타내는 모식도이다.
본 실시예에서는, 관찰자(40)가 조작하는 리모콘으로부터 투영 이미지(70) 내에 관찰자(40)가 본 경우에 직사각형으로 되는 레이저광을 투사한다.
이 결과, 촬영 이미지(60)는, 사다리꼴 ABCD의 투영 이미지(70)와, 사다리꼴 ABCD 내의 직사각형 EFGH의 레이저광 투사 이미지(90)를 포함하는 것으로 된다. 또, 투영 이미지(70)의 내부에 레이저광 투사 이미지(90)를 형성하는 것이 바람직하다.
그리고, 직사각형 EFGH의 네 모서리의 좌표를 공간광 변조기(192)에서의 4개의 변환 좌표에 대응시키고, 입력 화상의 좌표를 당해 4개의 변환 좌표 내에 맵핑함으로써, 투영 이미지(70)를 직사각형으로 변형하여 사다리꼴 왜곡을 보정한다.
다음에, 이러한 기능을 실현하기 위한 프로젝터(10)와 리모콘의 기능 블록에 대하여 설명한다.
도 8은 본 실시예의 다른 일례에 따른 프로젝터(10)의 기능 블록도이다. 또한, 도 9는 본 실시예의 다른 일례에 따른 리모콘(21)의 기능 블록도이다.
본 실시예의 리모콘(21)은, 광 투사 수단으로서 기능하는 레이저광 투사부(280)와, 조작부(270)와, 조작 개시 신호 등을 프로젝터(10)를 향하여 송신하는 송신부(260)를 포함하여 구성되어 있다.
또한, 본 실시예의 프로젝터(10)는, 실시예 1에서 설명한 도 3에 나타내는 프로젝터(10)와 동일한 구성이지만, 도 3에 나타내는 프로젝터(10)와 비교하면, 사다리꼴 왜곡 보정부(140)의 기능이 다르고, 센싱 수단으로서 기능하는 영역 센서부(180)를 마련하고 있는 점에서도 다르다.
또한, 본 실시예의 사다리꼴 왜곡 보정부(140)는, 제어부(145)와, 판정부(146)와, 좌표 변환부(147)와, 센싱 정보에 근거하여, 촬영 이미지(60)에서의 투 영 이미지(70)의 네 모서리의 좌표와 촬영 이미지(60)에서의 레이저광 투사 이미지(90)의 네 모서리의 좌표를 추출하는 영역 추출부(148)를 포함하여 구성되어 있다.
또한, 영역 센서부(180)는, 도 1에 나타내는 투영 위치(52)로부터 투영 영역(30)을 센싱하도록 프로젝터(10)에 마련되어 있다.
또, 투영 이미지(70)의 휘도나 색은, 레이저광 투사 이미지(90)의 휘도나 색과 다르다. 따라서, 영역 추출부(148)는, 휘도나 색에 따른 구분을 하는 것에 의해, 촬영 이미지(60)에서의 레이저광 투사 이미지(90)와 투영 이미지(70)를 식별할 수 있다.
다음에, 이들 각부를 이용한 처리의 흐름에 대하여 설명한다.
도 10은 본 실시예의 일례에 따른 리모콘(20)에 의한 처리의 흐름을 나타내는 흐름도이다.
우선, 리모콘(20)에 의한 처리의 흐름에 대하여 설명한다.
관찰자(40)는, 투영 영역(30)의 정면에 위치하여, 리모콘(21)의 왜곡 보정 버튼을 누른다. 이에 따라, 조작부(270)는 송신부(260)에 제어 신호를 출력하고, 송신부(260)는 사다리꼴 왜곡 보정의 개시를 의미하는 개시 신호를 프로젝터(10)를 향하여 송신한다(단계 S11).
관찰자(40)는, 프로젝터(10)에 의해서 패치(캘리브레이션 화상)가 투영된 경우(단계 S12), 리모콘(21)의 투사 버튼을 누른다. 이에 따라, 조작부(270)는 레이저광 투사부(280)에 레이저광을 투사하도록 제어 신호를 출력한다.
레이저광 투사부(280)는 제어 신호에 근거하여 직사각형의 레이저광을 투사한다(단계 S13).
다음에, 프로젝터(10)에 의한 처리의 흐름에 대하여 설명한다.
도 11은 본 실시예의 일례에 따른 프로젝터(10)에 의한 처리의 흐름을 나타내는 흐름도이다.
판정부(146)는, 수신부(160)가 리모콘(20)으로부터 사다리꼴 왜곡 보정의 개시 신호를 수신했는지 여부를 판정한다(단계 S21).
개시 신호를 수신한 경우, 화상 투영부(190)는, 캘리브레이션 신호 발생부(150)에 의한 캘리브레이션 신호에 근거하여, 전백(全白)의 패치를 투영한다(단계 S22).
또, 패치의 투영시, 관찰자(40)는, 패치의 투영 이미지(70)의 내부에 레이저광이 직사각형으로 표시되도록 리모콘(20)의 위치나 방향을 조정한다.
그리고, 영역 센서부(180)는, 레이저광 투사 이미지(90)와 투영 이미지(70)가 표시된 투영 영역(30)을 센싱하여, 센싱 정보를 생성한다(단계 S23).
영역 추출부(148)는, 센싱 정보에 근거하여, 투영광의 휘도 범위에 있는 투영 이미지 영역(투영 이미지(70)의 네 모서리 ABCD의 센싱 영역에서의 좌표)을 추출한다(단계 S24).
또한, 이에 따라, 영역 추출부(148)는, 센싱 정보에 근거하여, 레이저광의 휘도 범위에 있는 레이저 프레임 영역(레이저광 투사 이미지(90)의 네 모서리 EFGH의 센싱 영역에서의 좌표)을 추출한다(단계 S25).
그리고, 판정부(146)는, 영역 추출부(148)에 의해서 추출된 좌표에 근거하여, 투영 이미지 영역 내에 레이저 프레임 영역이 있는지 여부를 판정한다(단계 S26).
투영 이미지 영역 내에 레이저 프레임 영역이 있는 경우, 좌표 변환부(147)는, 레이저 프레임 영역의 좌표 EFGH를 화상 투영부(190) 내의 공간광 변조기(192)의 처리계에서의 좌표 E'F'G'H'로 변환한다(단계 S27).
그리고, 리사이징부(114)는 입력 화상 신호를 좌표 E'F'G'H' 내에 맵핑한다.
화상 투영부(190)는 맵핑된 화상 정보에 근거하여 화상을 투영한다(단계 S29).
또, 투영 이미지 영역 내에 레이저 프레임 영역이 없는 경우, 제어부(145)는, 투영 이미지 영역 내에 레이저 프레임 영역을 투사하도록 관찰자(40)에 재촉하는 메시지 화상이 투영되도록 제어 신호를 캘리브레이션 신호 발생부(150)에 출력한다.
캘리브레이션 신호 발생부(150)는 당해 메시지 화상용의 신호를 발생시키고, 화상 투영부(190)는, 당해 메시지 화상용의 신호에 근거하여, 메시지를 표시한다(단계 S28).
이상과 같이, 본 실시예에 따르면, 가상 시점 위치(50)로부터 본 경우에 왜곡이 없는 상태에서 투영 영역(30)에 투사된 직사각형 형상의 광을, 투영 위치(52)로부터 센싱하여 직사각형의 광의 좌표를 파악할 수 있다.
즉, 직사각형의 광의 좌표는, 왜곡이 없는 화상의 좌표로 파악할 수 있고, 당해 좌표에 입력 화상의 좌표를 맵핑함으로써, 화상 투영시에 왜곡이 없는 화상을 투영할 수 있다.
이에 따라, 수직 방향의 사다리꼴 왜곡뿐만 아니라, 수평 방향의 사다리꼴 왜곡도 자동적이고 적절하게 보정할 수 있다.
또한, 실시예 1에 비해, 3D-LUT(144)를 이용할 필요가 없기 때문에, 필요한 기억 용량을 저감할 수 있다.
(변형예)
이상, 본 발명을 적용한 바람직한 실시예에 대하여 설명하여 왔지만, 본 발명의 적용은 상술한 실시예에 한정되지 않는다.
예컨대, 실시예 2에서는, 입력 화상 신호를 레이저 프레임 영역 내에 맵핑하고 있지만, 레이저광 정보를 왜곡 정보 취득에만 이용하는 것도 가능하다. 예컨대, 실시예 2의 시스템을 이용하여 레이저 프레임을 투영해서 센싱하고, 센싱 이미지의 레이저 프레임의 왜곡을 실시예 1의 히스토그램 처리부(여기서는 프로젝터(10)에 내장)에서 파악하고, 이 왜곡 상태에 따라 입력 화상을 리사이징함으로써, 레이저 프레임의 크기에 관계없이, 적절한 크기(예컨대 가능한 범위의 크기)로 사다리꼴 왜곡을 보정한 화상을 얻을 수 있다.
또한, 실시예 2에서는, 투영 영역(30)의 정면에 관찰자(40)가 위치하고 있는 경우를 상정하고 있지만, 실시예 2의 리모콘(21)에 실시예 1의 리모콘(20)의 방위 파악부(240)를 마련하고, 실시예 2의 프로젝터(10)에, 실시예 1의 리모콘(20)의 히 스토그램 처리부와 실시예 1의 프로젝터(10)의 3D-LUT를 마련해도 좋다. 그리고, 프로젝터(10)가 방위와 레이저광의 왜곡 정보를 파악하여 사다리꼴 왜곡 보정을 하는 것에 의해, 투영 영역(30)의 정면에 관찰자(40)가 위치할 필요는 없어진다.
또한, 실시예 2에서는, 레이저광은 직사각형으로 보이는 경우를 예로 채용하여 설명했지만, 정방형이더라도 좋고, 원형 등이더라도 좋다.
또한, 실시예 2에서는, 레이저광을 적용했지만, 투영 이미지(70)와 구별할 수 있는 광이라면 적용 가능하고, 예컨대, 적외광 등을 적용해도 좋다.
또한, 실시예 1에서는, 경사 센서(142)를 이용하여 수직 방향의 사다리꼴 왜곡을 보정했지만, 경사 센서(142)를 이용하지 않고 히스토그램 정보와 방위 정보에만 근거하여 수직과 수평의 양 방향의 사다리꼴 왜곡을 보정해도 좋다.
또한, 렌즈(198)나 영역 센서부(210)에 줌(zoom) 기능이 마련되어 있는 경우, 프로젝터(10)는, 줌에 대한 정보(예컨대, 가장 멀리 보게 된 상태가 0이고 가장 광각(廣角)이 된 상태가 1로 표시되는 수치 등)를 취득하여 사다리꼴 왜곡을 보정해도 좋다.
이에 따르면, 망원(望遠) 기능이나 광각 기능을 이용하는 경우에도, 사다리꼴 왜곡을 자동적이고 적절하게 보정하는 것이 가능해진다.
또한, 실시예 1에서는, 단계 S4, S5의 처리에서, 리모콘을 투영 이미지(70)의 중심 부근을 향해서 투영 이미지 방위 θi의 측정 및 투영 영역(30)의 센싱을 실시했지만, 리모콘을 확실히 투영 이미지(70)의 중심을 향하게 하기 위해, 다음과 같은 처리를 해도 좋다.
즉, 프로젝터(10)가, 투영 이미지(70)의 중심에 소정 마크(예컨대, ×표 등)를 표시하고, 사용자가, 레이저 포인팅 기능을 갖는 리모콘(20)을 이용하여 당해 소정 마크에 레이저광을 중첩시키고 나서(중첩시키면서) 사다리꼴 왜곡 보정 버튼을 눌러, 리모콘(20)이 투영 이미지 방위 θi를 측정하고, 투영 영역(30)의 센싱을 해도 좋다. 이에 따르면, 화상 처리 시스템은 보다 확실히 리모콘을 투영 이미지(70)의 중심 부근을 향하게 할 수 있다.
또한, 상술한 실시예에서는, 캘리브레이션 화상(패치)은, 전백의 화상이지만, 전백에 한정되지 않고, 여러 가지의 캘리브레이션 화상을 적용할 수 있다.
또한, 화상 처리 시스템의 구성이나, 프로젝터(10)와 리모콘(20, 21)의 기능분담은 상술한 실시예에 한정되지 않는다. 예컨대, 실시예 1에서의 투영 이미지 영역 추출부(220)와 히스토그램 처리부(230)의 기능을 프로젝터(10)에 마련해도 좋다. 또한, 예컨대, 실시예 1에서의 프로젝터(10)의 수평 방향 사다리꼴 왜곡 보정부(143)의 기능을 리모콘(20)에 마련해도 좋다. 또한, 예컨대, 실시예 2에서의 사다리꼴 왜곡 보정부(140)의 기능을 리모콘(21)에 마련해도 좋다.
또한, 가상 시점 위치(50) 및 투영 위치(52)는 도 1에 나타내는 위치에 한정되지 않는다.
또한, 상술한 실시예에서는, 휴대형 장치로서 리모콘(20, 21)을 이용했지만, 예컨대, 핸디터미널, PDA, 휴대전화 등을 휴대형 장치로서 이용해도 좋다.
또한, 상술한 실시예에서는, 화상 표시 장치로서 액정 프로젝터를 이용했지만, 예컨대, DMD(Digital Micromirror Device)를 이용한 프로젝터 등을 이용해도 좋다. 또, DMD는 미국 텍사스인스트루먼트사의 상표이다.
또, 상술한 프로젝터(10)의 기능은, 예컨대, 프로젝터 단체로 실현해도 좋고, 복수의 처리 장치에 의해 분산하여(예컨대, 프로젝터와 PC에 의해 분산 처리) 실현해도 좋다.
본 발명에 의하면 사다리꼴 왜곡, 특히, 수평 방향의 사다리꼴 왜곡을 자동적이고 적절하게 보정할 수 있는 화상 처리 시스템, 프로젝터, 휴대형 장치 및 화상 처리 방법을 제공할 수 있다.

Claims (7)

  1. 투영 영역에 화상을 투영하는 투영부와,
    상기 투영 영역에서 왜곡이 없는 소정 형상의 광을 가상 시점 위치로부터 상기 투영 영역으로 향하여 투사하는 광 투사 수단과,
    상기 소정 형상의 광이 투사된 투영 영역을, 상기 투영부의 투영 위치로부터 센싱하여 센싱 정보를 출력하는 센싱 수단과,
    당해 센싱 정보에 근거하여, 상기 소정 형상의 광의 센싱 영역에서의 좌표를 추출하는 영역 추출 수단과,
    상기 소정 형상의 광의 센싱 영역에서의 좌표를, 상기 투영부의 공간광 변조기에서의 투영용 좌표로 변환하고, 입력 화상의 좌표를 당해 투영용 좌표에 맵핑하여 사다리꼴 왜곡을 보정하는 사다리꼴 왜곡 보정 수단을 포함하는
    것을 특징으로 하는 화상 처리 시스템.
  2. 제 1 항에 있어서,
    상기 소정 형상은 장방형 또는 정방형이고,
    상기 영역 추출 수단은 상기 소정 형상의 광의 네 모서리의 좌표를 추출하고,
    상기 사다리꼴 왜곡 보정 수단은, 상기 소정 형상의 광의 센싱 영역에서의 네 모서리의 좌표를, 상기 투영부의 공간광 변조기에서의 투영용 좌표로 변환하고, 입력 화상의 좌표를 네 모서리의 투영용 좌표 내에 맵핑하여 사다리꼴 왜곡을 보정하는
    것을 특징으로 하는 화상 처리 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 광 투사 수단을 갖는 휴대형 장치와,
    상기 센싱 수단과, 상기 사다리꼴 왜곡 보정 수단과, 상기 투영부를 갖는 화상 표시 장치를 포함하는
    것을 특징으로 하는 화상 처리 시스템.
  4. 투영 영역에 화상을 투영하는 투영부와,
    상기 투영 영역에서 왜곡이 없는 소정 형상의 광이 광 투사 수단에 의해 가상 시점 위치로부터 투사된 상기 투영 영역을, 상기 투영부의 투영 위치로부터 센싱하여 센싱 정보를 출력하는 센싱 수단과,
    당해 센싱 정보에 근거하여, 상기 소정 형상의 광의 센싱 영역에서의 좌표를 추출하는 영역 추출 수단과,
    상기 소정 형상의 광의 센싱 영역에서의 좌표를, 상기 투영부의 공간광 변조 기에서의 투영용 좌표로 변환하고, 입력 화상의 좌표를 당해 투영용 좌표에 맵핑하여 사다리꼴 왜곡을 보정하는 사다리꼴 왜곡 보정 수단
    을 포함하는 것을 특징으로 하는 프로젝터.
  5. 제 4 항에 있어서,
    상기 소정 형상은 장방형 또는 정방형이고,
    상기 영역 추출 수단은 상기 소정 형상의 광의 네 모서리의 좌표를 추출하고,
    상기 사다리꼴 왜곡 보정 수단은, 상기 소정 형상의 광의 센싱 영역에서의 네 모서리의 좌표를, 상기 투영부의 공간광 변조기에서의 투영용 좌표로 변환하고, 입력 화상의 좌표를 네 모서리의 투영용 좌표 내에 맵핑하여 사다리꼴 왜곡을 보정하는
    것을 특징으로 하는 프로젝터.
  6. 광 투사 수단이 가상 시점 위치로부터 투영 영역에서 왜곡이 없는 소정 형상의 광을 투사하고,
    당해 소정 형상의 광이 투사된 투영 영역을, 투영 이미지를 투영하는 투영부의 투영 위치로부터 센싱하여 센싱 정보를 출력하며,
    당해 센싱 정보에 근거하여, 상기 소정 형상의 광의 센싱 영역에서의 좌표를 추출하고,
    상기 소정 형상의 광의 센싱 영역에서의 좌표를, 상기 투영부의 공간광 변조기에서의 투영용 좌표로 변환하고, 입력 화상의 좌표를 당해 투영용 좌표에 맵핑하여 사다리꼴 왜곡을 보정하는
    것을 특징으로 하는 화상 처리 방법.
  7. 제 6 항에 있어서,
    상기 소정 형상은 장방형 또는 정방형이고,
    상기 센싱 영역에서의 좌표를 추출할 때에, 상기 소정 형상의 광의 네 모서리의 좌표를 추출하고,
    상기 사다리꼴 왜곡을 보정할 때에, 상기 소정 형상의 광의 센싱 영역에서의 네 모서리의 좌표를, 상기 투영부의 공간광 변조기에서의 투영용 좌표로 변환하고, 입력 화상의 좌표를 네 모서리의 투영용 좌표 내에 맵핑하여 사다리꼴 왜곡을 보정하는
    것을 특징으로 하는 화상 처리 방법.
KR1020060042538A 2002-12-04 2006-05-11 화상 처리 시스템, 프로젝터 및 화상 처리 방법 KR100710946B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002352247A JP3731663B2 (ja) 2002-12-04 2002-12-04 画像処理システム、プロジェクタおよび画像処理方法
JPJP-P-2002-00352247 2002-12-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020030087080A Division KR100622164B1 (ko) 2002-12-04 2003-12-03 화상 처리 시스템, 프로젝터, 휴대형 장치 및 화상 처리방법

Publications (2)

Publication Number Publication Date
KR20060074918A KR20060074918A (ko) 2006-07-03
KR100710946B1 true KR100710946B1 (ko) 2007-04-24

Family

ID=32310717

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020030087080A KR100622164B1 (ko) 2002-12-04 2003-12-03 화상 처리 시스템, 프로젝터, 휴대형 장치 및 화상 처리방법
KR1020060042538A KR100710946B1 (ko) 2002-12-04 2006-05-11 화상 처리 시스템, 프로젝터 및 화상 처리 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020030087080A KR100622164B1 (ko) 2002-12-04 2003-12-03 화상 처리 시스템, 프로젝터, 휴대형 장치 및 화상 처리방법

Country Status (6)

Country Link
US (1) US7036940B2 (ko)
EP (1) EP1427199A3 (ko)
JP (1) JP3731663B2 (ko)
KR (2) KR100622164B1 (ko)
CN (1) CN100505851C (ko)
TW (1) TWI275824B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428064B1 (ko) * 2008-02-22 2014-08-07 엘지전자 주식회사 화면 왜곡 보정 장치 및 방법
US11336878B2 (en) 2020-04-02 2022-05-17 Samsung Electronics Co., Ltd. Image projecting apparatus and controlling method thereof

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3541845B1 (ja) * 2003-02-17 2004-07-14 セイコーエプソン株式会社 プロジェクタの画像補正方法及びプロジェクタ
JP2005149420A (ja) * 2003-11-19 2005-06-09 Sanyo Electric Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP3888465B2 (ja) * 2004-05-26 2007-03-07 セイコーエプソン株式会社 画像処理システム、プロジェクタおよび画像処理方法
JP3722146B1 (ja) 2004-06-16 2005-11-30 セイコーエプソン株式会社 プロジェクタおよび画像補正方法
US20060146294A1 (en) * 2004-12-30 2006-07-06 Chul Chung Device and method for arranging a display
JP4380557B2 (ja) * 2005-02-15 2009-12-09 カシオ計算機株式会社 プロジェクタ、チャート画像の表示方法及びプログラム
JP4483663B2 (ja) 2005-04-06 2010-06-16 セイコーエプソン株式会社 プロジェクタの台形補正
US20070030452A1 (en) * 2005-08-08 2007-02-08 N-Lighten Technologies Image adaptation system and method
US20070064206A1 (en) * 2005-09-21 2007-03-22 N-Lighten Technologies Rear projection display and assembly method for same
JP3880609B1 (ja) 2006-02-10 2007-02-14 シャープ株式会社 画像投影方法及びプロジェクタ
US7901094B2 (en) * 2007-01-24 2011-03-08 Seiko Epson Corporation View projection: one-touch setup of light displays on arbitrary surfaces
US8626789B2 (en) * 2007-06-01 2014-01-07 Microsoft Corporation Geocoding using information retrieval
JP4702377B2 (ja) * 2008-02-18 2011-06-15 セイコーエプソン株式会社 制御システムおよび被制御装置
US8393740B2 (en) * 2009-03-12 2013-03-12 Canon Kabushiki Kaisha Image projection system with keystone correction
US8106949B2 (en) * 2009-03-26 2012-01-31 Seiko Epson Corporation Small memory footprint light transport matrix capture
US7901095B2 (en) * 2009-03-27 2011-03-08 Seiko Epson Corporation Resolution scalable view projection
JP5430254B2 (ja) * 2009-07-01 2014-02-26 キヤノン株式会社 画像表示装置及びその制御方法
JP5428600B2 (ja) * 2009-07-09 2014-02-26 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
JP5327468B2 (ja) * 2009-08-04 2013-10-30 セイコーエプソン株式会社 プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP4856263B2 (ja) * 2009-08-07 2012-01-18 シャープ株式会社 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
TWI439788B (zh) * 2010-01-04 2014-06-01 Ind Tech Res Inst 投影校正系統及方法
TWI423069B (zh) * 2010-03-18 2014-01-11 Acer Inc 設定連結之方法、使用該方法之連結系統及其遙控裝置
TWI463241B (zh) * 2010-12-29 2014-12-01 Hon Hai Prec Ind Co Ltd 可攜式電子裝置
TWI516119B (zh) * 2011-01-25 2016-01-01 華晶科技股份有限公司 電子裝置、影像擷取裝置及其方法
CN102162979B (zh) * 2011-04-08 2013-12-04 广东威创视讯科技股份有限公司 投影仪投影图像自动调整方法及其装置
CN103091947A (zh) * 2011-11-02 2013-05-08 中强光电股份有限公司 投影装置及其操作方法
US9600091B2 (en) 2012-01-05 2017-03-21 Seiko Epson Corporation Display device and display control method
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP5970879B2 (ja) * 2012-03-14 2016-08-17 株式会社リコー 投映システム、投映方法、プログラムおよび記録媒体
JP6037210B2 (ja) * 2012-09-11 2016-12-07 株式会社リコー 画像投影システム、画像投影システムの運用方法、画像投影装置、及び画像投影システムの遠隔操作装置
CN104937925B (zh) * 2013-01-22 2018-04-03 索尼公司 投影型图像显示装置、图像处理装置与图像处理方法及存储介质
WO2017169186A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 画像投影システムおよび補正方法
JP2018124441A (ja) * 2017-02-01 2018-08-09 キヤノン株式会社 システム、情報処理装置、情報処理方法及びプログラム
WO2018189867A1 (ja) * 2017-04-13 2018-10-18 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタ、リモートコントローラ、プロジェクタシステム及び歪み補正方法
CN108769636B (zh) * 2018-03-30 2022-07-01 京东方科技集团股份有限公司 投影方法及装置、电子设备
CN110784691B (zh) 2018-07-31 2022-02-18 中强光电股份有限公司 投影装置、投影***及影像校正方法
CN110784692B (zh) 2018-07-31 2022-07-05 中强光电股份有限公司 投影装置、投影***及影像校正方法
KR102605035B1 (ko) * 2019-02-22 2023-11-24 삼성전자주식회사 프로젝터를 포함하는 전자 장치
US11889235B2 (en) * 2019-04-26 2024-01-30 Sony Group Corporation Image display apparatus
US11528528B2 (en) * 2019-11-28 2022-12-13 Coretronic Corporation Method and system for controlling projector
CN112004072B (zh) * 2020-07-31 2022-05-03 海尔优家智能科技（北京）有限公司 投影图像检测方法及装置
JP2022126436A (ja) * 2021-02-18 2022-08-30 富士フイルム株式会社 投写型表示装置
US11947243B2 (en) * 2022-03-24 2024-04-02 Changzhou Aac Raytech Optronics Co., Ltd. Auto-focus apparatus for camera
US11982932B2 (en) * 2022-03-25 2024-05-14 Light Show Technology Co., LTD. Projection display device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060042538A (ko) * 2004-11-09 2006-05-15 주식회사 대우일렉트로닉스 텔레비전의 먼지 필터링구조

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3409330B2 (ja) 1991-02-08 2003-05-26 ソニー株式会社 投射型表示装置の調整装置および調整方法
JPH04355740A (ja) 1991-06-03 1992-12-09 Hitachi Ltd プロジェクタ
JPH06269014A (ja) 1993-03-17 1994-09-22 Matsushita Electric Ind Co Ltd 画像補正装置
JPH089309A (ja) 1994-06-23 1996-01-12 Canon Inc 表示方法及び装置
JPH08271852A (ja) 1995-03-29 1996-10-18 Nikon Corp 投射型表示装置
US5612736A (en) 1995-06-07 1997-03-18 Nview Corporation Stylus position sensing and digital camera with a digital micromirror device
JP3735158B2 (ja) 1996-06-06 2006-01-18 オリンパス株式会社 画像投影システム、画像処理装置
JPH1093984A (ja) 1996-09-12 1998-04-10 Matsushita Electric Ind Co Ltd 投写型画像表示装置の画像補正装置
JPH10200836A (ja) 1997-01-07 1998-07-31 Nikon Corp 画像投影装置
DE19719828A1 (de) 1997-05-13 1998-11-19 P & I Gmbh Prüfverfahren und Prüfvorrichtung für Projektionsvorrichtungen
US6483537B1 (en) * 1997-05-21 2002-11-19 Metavision Corporation Apparatus and method for analyzing projected images, singly and for array projection applications
AU743173B2 (en) 1997-09-17 2002-01-17 Comview Graphics Ltd. Electro-optical display apparatus
JP2000081593A (ja) 1998-09-04 2000-03-21 Canon Inc 投射型表示装置及びそれを用いた映像システム
US6305805B1 (en) * 1998-12-17 2001-10-23 Gateway, Inc. System, method and software for correcting keystoning of a projected image
JP2000241874A (ja) 1999-02-19 2000-09-08 Nec Corp プロジェクタの自動画面位置調整方法及び装置
JP3509652B2 (ja) 1999-08-23 2004-03-22 日本電気株式会社 プロジェクタ装置
JP4507307B2 (ja) 1999-09-16 2010-07-21 独立行政法人科学技術振興機構 映像投影装置
US6618076B1 (en) * 1999-12-23 2003-09-09 Justsystem Corporation Method and apparatus for calibrating projector-camera system
US6520647B2 (en) * 2000-08-17 2003-02-18 Mitsubishi Electric Research Laboratories Inc. Automatic keystone correction for projectors with arbitrary orientation
TW480362B (en) 2000-09-14 2002-03-21 Delta Electronics Inc Automatic calibration method and device of the projector display
JP2002247614A (ja) 2001-02-15 2002-08-30 Ricoh Co Ltd プロゼェクタ
JP4051527B2 (ja) 2001-06-26 2008-02-27 セイコーエプソン株式会社 前面投写型表示システムおよび投写画像の歪み補正方法
JP4042356B2 (ja) 2001-06-29 2008-02-06 松下電工株式会社 画像表示システムおよび画像表示システム用画像補正サービス方法
US6733138B2 (en) * 2001-08-15 2004-05-11 Mitsubishi Electric Research Laboratories, Inc. Multi-projector mosaic with automatic registration
EP1385335B1 (en) * 2002-07-23 2009-04-22 NEC Display Solutions, Ltd. Image projector with image-feedback control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060042538A (ko) * 2004-11-09 2006-05-15 주식회사 대우일렉트로닉스 텔레비전의 먼지 필터링구조

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
1020060042538 - 694170 *
1020060042538 - 694178 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428064B1 (ko) * 2008-02-22 2014-08-07 엘지전자 주식회사 화면 왜곡 보정 장치 및 방법
US11336878B2 (en) 2020-04-02 2022-05-17 Samsung Electronics Co., Ltd. Image projecting apparatus and controlling method thereof
US11716452B2 (en) 2020-04-02 2023-08-01 Samsung Electronics Co., Ltd. Image projecting apparatus and controlling method thereof

Also Published As

Publication number Publication date
US20040156024A1 (en) 2004-08-12
CN100505851C (zh) 2009-06-24
KR100622164B1 (ko) 2006-09-08
KR20060074918A (ko) 2006-07-03
JP3731663B2 (ja) 2006-01-05
EP1427199A2 (en) 2004-06-09
JP2004187052A (ja) 2004-07-02
CN1510913A (zh) 2004-07-07
TWI275824B (en) 2007-03-11
KR20040048850A (ko) 2004-06-10
US7036940B2 (en) 2006-05-02
EP1427199A3 (en) 2005-07-06
TW200419186A (en) 2004-10-01

Similar Documents

Publication Publication Date Title
KR100710946B1 (ko) 화상 처리 시스템, 프로젝터 및 화상 처리 방법
JP3844076B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
KR100593113B1 (ko) 화상 처리 시스템, 프로젝터 및 화상 처리 방법
JP3620537B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US9514716B2 (en) Projection apparatus, projection control apparatus, projection system, and projection state adjustment method
KR100600913B1 (ko) 화상 처리 시스템, 프로젝터 및 화상 처리 방법
KR100602622B1 (ko) 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상처리 방법
US8272748B2 (en) Projection-type display apparatus and method for performing projection adjustment
JP3879858B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
JP5493340B2 (ja) 投写型表示装置および配置関係検出方法
JP2004312690A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
KR101428064B1 (ko) 화면 왜곡 보정 장치 및 방법
JP2005195969A (ja) プロジェクタおよびズーム調整方法
JP2005092592A (ja) プロジェクタ並びにプロジェクションシステム
JP4511433B2 (ja) 画像処理システム、プロジェクタ、携帯型装置および画像処理方法
JP2010288062A (ja) プロジェクター、プログラム、情報記憶媒体および画像投写方法
JP2005286573A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2022126414A (ja) 投影制御装置及び投影制御装置の制御方法
JP2014138411A (ja) 投影装置及びその制御方法、プログラム、並びに記憶媒体
JP2006217370A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2017016565A (ja) 画像投写システム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130321

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140319

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee