KR102061087B1

KR102061087B1 - 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램

Info

Publication number: KR102061087B1
Application number: KR1020170176056A
Authority: KR
Inventors: 이경택; 곽동섭; 정재호
Original assignee: (주)이더블유비엠
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2019-12-30
Also published as: KR20190074585A

Abstract

비디오 프로젝터용 포커싱방법으로서, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계; 샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도에 대응되는 깊이차를 산출하는 깊이차 산출단계; 및 상기 깊이차로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발생단계를 포함하여 이루어짐을 특징으로 한다.

Description

비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램 {METHOD, APPARATUS AND PROGRAM STORED IN STORAGE MEDIUM FOR FOCUSING FOR VIDEO PROJECTOR}

본 발명은, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램에 관한 것으로서, 보다 상세히는, 비디오 프로젝터로부터 스크린에 투사된 이미지(영상)의 블러(blur; 흐림) 정도에 따라 비디오 프로젝터의 포커싱 모듈에 포커싱 보정을 위한 AF제어용 신호를 출력하는, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램에 관한 것이다.

일반적으로 스크린에 이미지를 투사하는 비디오 프로젝터에 있어서, 스크린과 비디오 프로젝터 사이의 거리는 변동될 수 있고, 이 거리에 따라 투사되는 이미지의 포커스를 맞춰야 할 필요가 있다.

종래에는 특허문헌에 개시된 바와 같이, 액정 프로젝터에 있어서, 프로젝터와 화면간의 거리와 화면의 크기에 따라 자동으로 포커싱이 이루어지도록 하는 액정 프로젝터의 오토포커싱 회로로서, 액정프로젝터와 스크린과의 거리를 감지하는 거리감지수단과; 상기 거리감지수단에서 감지된 거리에 따른 포커스제어신호를 출력하는 마이컴과; 상기 마이컴에서 출력되는 포커스제어신호에 따라 포커싱모터를 구동시키는 모터구동부와; 상기 포커싱모터의 동작에 따라 포커스조절렌즈를 전진 또는 후진시켜 상기 스크린에 투사된 화상의 포커스를 조절하는 렌즈이동부를 포함하여 구성되는 기술이 개시되어 있다.

등록실용신안 제129657호 공보

그런데, 상기 특허문헌 기술에서는, 거리에 따라 포커싱을 하도록 구성되어 있지만, 스크린 상의 이미지 크기를 변경하는 경우에 포커싱도 함께 변화되는 경우가 있다. 이런 경우에는, 거리만으로 포커싱을 맞출 수는 없고, 크기가 변화됨에 따라서 다시 포커싱을 맞춰야 하는 번거로움이 발생한다는 문제가 있다.

또한, 상기 특허문헌 기술에서는, 마이컴이 프로젝터와 스크린과의 거리에 따라 포커스제어신호를 출력하도록 되어 있으나, 실제로는 거리의 측정을 위한 구체적 수단에 대해서는 아무런 개시가 없다. 게다가, 공지의 거리측정방법들이 반드시 비디오 프로젝터의 사용환경에서 항상 정확한 거리값을 산출할 수 있다고 할 수는 없다.

예컨대 초음파방식은, 초음파를 스크린에 쏘아 되돌아오는 파의 시간차를 측정하여, 스크린까지의 거리를 알아내는 방식이다. 이는, 초점을 계산된 거리에 자동으로 맞추는 방식이다. 그런데, 이 방식은, 초음파 액추에이터와 반사파를 잡는 센서가 필요하게 된다. 그리고, 초음파거리계는 공장이나 자동차도로와 같은 소음환경에서는 정확도가 현저히 떨어지게 된다.

또한, TOF방식은, 적외선을 스크린에 쏘아 되돌아오는 적외선의 시간차를 측정하여, 거리를 알아내는 방식이다. 이는, 초음파 방식과 유사하다. 그런데, 이 방식도, IR 이미터(emitter)와 IR 카메라 센서가 필요하다. 그리고 아침, 저녁과 같이 적외선의 영향이 많은 시간대나 화산 부근과 같이 주변환경 적외선이 많은 곳에서는, 그 정확도가 현저히 저하된다.

마찬가지로, 레이저거리계는, 예컨대 태양광 아래와 같이 강렬한 빛 환경에서 정확도가 현저히 떨어지게 된다.

이러한 광파나 음파 등의 파의 방사 후 그 반사파를 받아서 거리를 산출하는 방식은 모두, 그 주변환경으로부터의 노이즈에 의한 외란의 영향으로 그 정확도가 저하되는 것이다. 따라서, 반사파에 의한 거리측정과 상이한 방식의 거리측정 메커니즘이 요구된다는 과제가 있다.

본 발명은 상기와 같은 종래기술의 문제점을 해소하기 위해 제안되는 것으로서, 스크린에 투사되는 이미지 크기를 사용자가 자유로이 변경하더라도, 그 이미지 크기의 대소에 상관없이 자동으로 비디오 프로젝터에 의한 스크린 상의 이미지의 포커스를 맞출 수 있는, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.

그리고, 비디오 프로젝터로부터 스크린에 투사된 이미지를 입력받아, 스크린까지의 거리가 아니라, 그 이미지의 깊이정보로 표현되는 블러(blur) 정도로부터, 포커싱 보정을 위한 AF제어용 신호를 생성하여, 이를 비디오 프로젝터의 포커싱 모듈에 출력함으로써, 비디오 프로젝터가 포커싱할 수 있도록 하는 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.

그리고, 주변환경의 영향을 적게 받고, 특히 소음과 저조도 환경에 강인한 깊이이미지(깊이맵) 산출기능을 이용하여, 깊이이미지의 깊이정보로부터 환산되는 블러 정도가 최소가 되도록 하여, 가장 샤프한 포커스를 맞출 수 있는 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.

상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱방법은, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계; 샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도에 대응되는 깊이차를 산출하는 깊이차 산출단계; 및 상기 깊이차로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발생단계를 포함하여 이루어짐을 특징으로 한다.

여기서, 상기 촬상이미지는, 하나의 촬상장치에 의해 동일 각도로 상기 투사이미지가 촬상되어, 동시에 획득되는 가시광선의 RGB이미지와 적외선의 IR이미지 및 상기 RGB이미지와 IR이미지로부터 산출되는 깊이이미지로 이루어짐이 바람직하다.

그리고, 상기 깊이차는, 상기 기준이미지에 대한 상기 RGB이미지의 상기 블러 정도에 따라 출력되는 상기 깊이이미지의 PSF 인덱스값의 차에 근거하여 산출됨이 바람직하다.

여기서, 상기 PSF 인덱스값은 픽셀 수로 표현되고, 상기 RGB이미지의 블러 부분의 픽셀 수에 의해 상기 블러 정도가 산출됨이 바람직하다.

그리고 상기 깊이차 산출단계는, 상기 촬상이미지로부터 평균깊이가 산출되는 평균깊이 산출단계; 및 상기 평균깊이로부터 대응되는 블러 정도가 환산되는 블러정도 환산단계를 포함하여 이루어짐이 바람직하다.

그리고 상기 AF제어신호 발생단계는, 상기 블러정도가 최소인지 판정하여, 최소인 경우에는 처리를 종료하고, 최소가 아닌 경우에는 블러정도를 감소시키도록 하는 AF제어용 신호값을 산출함이 바람직하다.

한편, 다른 실시예에 의한 비디오 프로젝터용 포커싱방법은, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계; 상기 촬상이미지의 블러 정도에 대응되는 피사체까지의 깊이를 산출하는 깊이 산출단계; 및 상기 깊이로부터 상기 비디오 프로젝터의 AF제어용 신호를 발생시키는 AF제어신호 산출단계를 포함하여 이루어짐을 특징으로 한다.

여기서, 상기 깊이에 대응되는 상기 AF제어용 신호는, 상기 깊이와 실제 모터의 구동을 위한 변위거리, AF제어용 신호 사이의 비율인 실험 경험치를 이용하여 산출됨이 바람직하다.

그리고 상기 촬상이미지 또는 상기 촬상이미지를 포함하는 프레젠테이션 동영상은 녹화됨이 바람직하다.

한편, 상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱장치는, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성부; 샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도에 대응되는 깊이차를 산출하는 깊이차 산출부; 및 상기 깊이차로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발 생부를 포함하여 이루어짐을 특징으로 한다.

그리고, 상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램은, 상기에 기재된 방법의 각 단계를 정보처리기기에 수행시키기 위한 프로그램이 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램임을 특징으로 한다.

본 발명에 의하면, 스크린에 투사되는 이미지 크기를 사용자가 자유로이 변경하더라도, 그 이미지 크기의 대소에 상관없이 자동으로 비디오 프로젝터에 의한 스크린 상의 이미지의 포커스를 맞출 수 있는, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.

도 1은, 본 발명의 일실시예에 따른 정보추출장치, 예컨대 DR1152를 이용한 비디오 프로젝터의 오토포커스와 비디오 녹화기능 구현을 위한 개략 블럭 플로우차트이다.
도 2는, 일반적인 비디오 프로젝터와 그 스크린, 그리고 본 발명의 정보추출장치, 예컨대 DR1152로 캡처한 RGB이미지, IR이미지 및 깊이이미지의 예시 사진이다.
도 3은, 블러(Blur) RGB이미지와 그 해당 깊이이미지, 그리고 샤프 RGB이미지와 그 해당 깊이이미지의 예시 사진이다.
도 4는, 블러 정도차를 이용하여 AF제어용 신호를 산출하는 개념을 나타내는 예시 그래프이다.
도 5는, 블러 정도(size)에서 실제 거리를 산출하는 공식과 개념을 나타내는 도면이다.
도 6은, 본 발명의 일실시예에 따른 오토포커스와 비디오 녹화기능의 블럭 플로우차트이다.
도 7은, 본 발명의 일실시예에 따른 정보추출장치, 비디오 프로젝터, 스크린, 사용자 및 투사이미지의 평면 모식 배치도이다.

이하, 본 발명에 대해 첨부도면을 참조하면서 구체적 실시예를 따라서 상세히 설명한다. 다만, 동일 구성에 의해 동일 기능을 가지는 부분은, 도면이 달라지더라도 동일 부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다. 그리고 하나의 단계나 모듈은, 2 이상의 단계나 모듈로 분리되어 구현될 수 있고, 역으로, 2 이상의 단계나 모듈은, 하나의 단계나 모듈로 병합되어 구현될 수 있다. 그리고 방법을 수행하는 장치는, 하드웨어와 고정 형성된 회로에 의해 구현되어도 좋고, 하드웨어에 설치된 프로그램에 의해 가변적으로 변화 가능한 회로에 의해 구현되어도 좋다. 그리고 녹화의 대상이 되는 이미지로서, 이하의 설명에서는 RGB이미지를 들어서 설명하지만, IR이미지에도 동일하게 적용될 수 있다.

<기본구성>

본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱방법은, 촬상이미지 생성단계(10~40); 깊이차 산출단계(51); 및 AF제어신호 발생단계(52, 53)를 포함하여 이루어짐을 특징으로 한다.

도 2는, 전체적인 시스템 구성을 보여준다. 일반적인 비디오 프로젝터(60)와 스크린(s)이 있고, 그와는 독립적으로 정보추출장치(10), 예컨대 DR1152 카메라 시스템을 설치하였다. 그리고 비디오 프로젝터(60)의 투사이미지를 정보추출장치(10)가 잡은 후, 그 출력인 촬상이미지(i), 즉 RGB이미지(20), IR이미지(30) 및 깊이이미지(40)를 별도의 모니터에 보여준다.

상기 촬상이미지 생성단계(10~40)는, 비디오 프로젝터(VP, 60)로부터 스크린(s) 상에 투사된 투사이미지(i₀)를 촬상하여 촬상이미지(i)를 생성하는 단계이다.

도 3은, 스크린 상의 투사이미지에 대한 촬상이미지(i)와 그 대응되는 깊이이미지(깊이맵)을 나타낸다. 도 3의 좌측 이미지는, 상측이 프로젝터(60)의 스크린(s) 상의 블러한 이미지이고, 하측이 정보추출장치(10), 예컨대 DR1152에서 나온 깊이이미지(40)이다. 반면, 도 3의 우측 이미지는, 상측이 프로젝터(60)의 스크린(s) 상의 이미지 중 초점을 맞춘 이미지(샤프 이미지)이고, 하측이 그에 해당하는 정보추출장치(10), DR1152의 깊이이미지(40')이다.

본 발명은, 좌측의 흐린 이미지의 블러 정도를 감지하여, 거리차를 계산한 다음, 보정용 제어신호(Δz)를 만들어, 이를 프로젝터의 AF기능을 하는 모듈에 보내도록 하는 것이다.

상기 투사이미지(i₀)는 평면의 스크린(s) 상에 빛에 의해 표현된 것이기 때문에, 설사 투사이미지(i₀) 상에, 하늘, 산, 자동차, 사람 등 사람에게는 깊이에 따라 원근이 인식되는 대상들이 표현된 경우라 하더라도, 실제 물리적 깊이는 스크린의 표면(s)이 된다. 따라서, 종래 공지기술과 같이 초음파나 적외선, 레이저광선 등으로 반사파에 의해 깊이를 측정하면, 모두 물리적인 스크린(s)의 표면의 깊이만 출력된다. 즉, 이들 초음파나 적외선, 레이저광선 등의 방식에 의하면, 스크린(s)과 비디오 프로젝터(60) 사이의 거리를 알 수 있을 뿐이다.

그런데, 거리와 포커스의 상관관계에 따른 AF모듈의 작동은, 각 비디오 프로젝터(60)마다 다르다. 이는, 채용된 AF모듈의 구성, 구체적으로는 모터, 렌즈, 케이스 등의 규격이 다르기 때문이다. 따라서, 스크린(s)과 비디오 프로젝터(60) 사이의 거리를 안다고 하더라도, AF모듈의 작동에 이상이 발생되면, 상관관계가 적용되지 않아, 포커싱이 이루어지지 않을 우려가 있다.

본 발명에서는, 촬상이미지(i)를 생성하여, 이로부터 포커싱을 수행하기 때문에, 사람이 눈으로 인식하는 것과 동일한 이미지에 의해 포커싱을 행한다는 점에서, 종래 공지기술들과 큰 차이가 있다.

상기 깊이차 산출단계는, 샤프한 기준이미지(i')에 대한 상기 촬상이미지(i)의 블러(Blur) 정도(d)에 대응되는 깊이차를 산출하는 단계이다.

도 4의 그래프는, 블러 차를 이용하여 AF제어용 신호(Δz)를 산출하는 개념을 나타낸다. 실선은 평균치를, 점선은 표준편차를 나타낸다.

여기서, 본 발명의 정보추출장치(10), 예컨대 DR1152는, 도 4와 같은 깊이값 커브 특성을 가진다. 이미지의 블러 정도에 따라 출력되는 PSF 인덱스 값(1~121 사이의 값)이 다르게 나온다. 블러 정도가 많을수록 PSF 인덱스 값이 크게 나온다.

도 4에서는, 화면이 흐린(블러인) 경우의 깊이이미지(깊이맵, 좌측)와 초점이 맞은(샤프한) 경우의 깊이이미지(우측)를 깊이 커브에 나타내 보이고 있다. 두 경우의 PSF 인덱스 값의 차이값이 깊이차(거리차)를 나타낸다.

상기 촬상이미지(i)는, 평면이미지이지만 깊이감을 가질 수 있다. 이 깊이감은 촬상이미지(i)의 블러 정도(d)로부터 추출될 수 있다. 즉, 촬상이미지(i) 내의 촬상된 대상물들의 경계선과 블러 정도에 따라, 각 픽셀 단위의 깊이정보가 추출될 수 있다.

본 발명에서는, 상기 촬상이미지(i)의 블러 정도(d)에 따른 깊이정보와, 기준이 되는 샤프한 기준이미지(i')의 깊이정보로부터 깊이차를 산출한다. 샤프한 기준이미지(i')는, 포커스가 맞은 상태의 이미지이고, 이는 미리 저장되어 있는 이미지여도 좋고, 촬상이미지(i)로부터 블러를 제거함으로써 추정되는 가상의 이미지여도 좋다.

상기 AF제어신호 발생단계는, 상기 깊이차로부터 상기 비디오 프로젝터(60)의 AF(오토포커스)제어용 신호(Δz)를 발생시키는 단계이다.

도 4의 그래프에서, 깊이차로부터 AF제어용 신호(Δz)가 생성된다.

상기 깊이차는, 현재의 촬상이미지(i)의 블러를 없애서 기준이미지(i')처럼 샤프하게 만들어서 포커싱을 하기 위해 깊이방향으로 움직여야 할 거리를 의미한다. 따라서, 비디오 프로젝터의 AF모듈은 이 깊이차에 대응되는 양으로 움직여서 포커싱을 할 필요가 있다.

상기 AF제어용 신호(Δz)는, 상기 깊이차를 반영하여 비디오 프로젝터(60)마다 설정되는 경험치를 반영하여 산출되는 값을 포함할 수 있다.

<효과>

상기 본 발명의 구성에 의하면, 스크린(s)의 표면과 비디오 프로젝터(60) 사이의 거리(a)가 아니라, 스크린(s) 상에 맺힌 투사이미지(i₀)의 촬상이미지(i)의 블러 정도(d)로부터 산출되는 깊이차를 이용하여 포커싱을 수행한다.

따라서, 종래기술에서는, 거리(a)에 따른 포커싱에 의해 오류가 생기면, 동일한 방식으로는 아무리 반복 수행해도 포커싱을 더 자동으로 보정할 수 없지만, 본 발명에 의하면, 실제 스크린(s)으로부터 획득한 촬상이미지(i)에 의거한 깊이차에 의해 포커싱을 수행하므로, 거리에 따른 포커싱을 하지 않고, 예컨대 단 1회의 포커싱에 의해 실용적으로 사용가능한 포커성이 가능하고, 예컨대 깊이차에 의해 1회차 포커싱 후 다시 깊이차에 의해 2회차 포커싱을 하는 식으로 중첩 적용하면, 거의 완벽한 포커싱이 이루어질 수 있다.

게다가, 본 발명은, 비디오 프로젝터 자체에서 나오는 스크린 상의 투사이미지의 촬상이미지(i)의 블러 정도를 감지하여 거리를 산출하는 방식을 이용하므로, 종래기술의 초음파 액추에이터나 IR 이미터 등과 같은 추가적인 이미터 및 그 리시버를 필요로 하지 않는다. 그리고 외부 노이즈의 영향을 받지 않는다.

또한, IR이미지를 동시에 획득하므로, 저조도 환경하에서도 매우 우수한 포커싱 효과를 가져온다.

<촬상 및 정보추출장치>

촬상이미지(i)의 생성장치로서는, 일반적인 가시광선 카메라, 즉 RGB카메라를 들 수 있지만, 이에 한하지 않고, 예컨대 적외선 카메라, 즉 IR카메라가 이용될 수도 있다. 다만, 이런 한 종류의 이미지만 가지고 깊이이미지를 산출하는 것은 어디까지나 명확한 한계가 있다.

따라서, 상기 촬상이미지(i)는, RGB이미지(20)와, IR이미지 (30) 및 깊이이미지(40, 깊이맵 )로 이루어짐이 바람직하다.

이 경우, 바람직하게는, 상기 RGB이미지(20)와 IR이미지(30)는, 하나의 촬상장치(11)에 의해 동일 각도로 상기 투사이미지(i0)가 촬상되어, 동시에 획득되는 이미지들로서, 상기 RGB이미지(20)는, 가시광선으로 이루어진 이미지이고, 상기 IR 이미지(30)는, 적외선으로 이루어진 이미지이다.

상기 촬상장치(11)에는, 이중조리개(Dual Aperture: DA) 단일렌즈(Single Lens) 방식의 4컬러 센서가 포함될 수 있다. 상기 깊이이미지(40, 깊이맵 )는, 상기 RGB이미지(20)와 IR이미지(30)로부터 산출되고, 깊이정보를 포함한다. 상기 깊이이미지(40) 산출장치(12)는, 상기 RGB이미지(20)의 특정 포커스와 IR이미지(30)의 올인포커스(all-in focus) 특성을 활용하여 깊이정보를 추출하여 깊이이미지를 생성할 수 있다. 상기 촬상장치(11)와 깊이이미지 산출장치(12)는, 하나의 정보추출장치(10)를 구성할 수 있다.

이중조리개 단일렌즈 카메라로 깊이를 추출하는 기술은, (주) 이더블유비엠이 DR1152의 시스템 반도체로 구현을 하였다. DR1152는, 단일렌즈를 기반으로 RGB이미지와 IR이미지는 물론 3차원 깊이이미지(깊이맵) 정보까지 동시에 제공해주는 시스템이다. 본 발명은, DR1152의 시스템을 활용하여, 비디오 오토포커스 기능을 구현할 수 있다. 또한, 추가적으로, DR1152 시스템의 RGB신호를 이용하여 비디오 녹화기능을 추가할 수 있다.

즉, 본 발명은, 이중조리개 단일렌즈 방식의 3차원 깊이정보와 적외선정보 추출용 장치를 기반으로 하여, 비디오 프로젝터의 오토포커스를 구현하는 기술이다.

이 경우, 상기 깊이차는, 상기 기준이미지(i')에 대한 상기 RGB이미지(20)의 상기 블러 정도(d)에 따라 출력되는 상기 깊이이미지(40)의 PSF 인덱스값의 차에 근거하여 산출됨이 바람직하다.

이중조리개 단일렌즈 방식의 4컬러 센서에 의한 RGB이미지(20)와 IR이미지(30)로부터 깊이이미지(40)를 생성함에 있어서, 올인포커스의 IR이미지(30)에 대해 다단계로 블러 정도를 변화시키면서 PSF 인덱스를 형성하여, 픽셀 단위로 RGB이미지(20)와 비교하여, PSF 인덱스에 따라 깊이를 결정하는 방식이 있다. 이러한 PSF 인덱스값의 차에 따라 깊이차가 산출될 수 있다.

그리고 상기 PSF 인덱스값은 픽셀 수로 표현되고, 상기 RGB이미지(20)의 블러 부분의 픽셀 수에 의해 상기 블러 정도(d)가 산출됨이 바람직하다. 즉, 픽셀 수에 따라 명확히 PSF 인덱스값이 파악되므로, 이로부터 깊이차를 명확하고 간단히 산출할 수 있다.

<평균깊이의 필요성>

도 7과 같이, 본 발명에 이용되는 장치는, 정보추출장치(10)와 비디오 프로젝터(60)이므로, 이들의 배치관계에 있어서, 적어도 어느 한 쪽은 스크린(s)의 정중앙에 대해 정렬이 맞지 않은 상태가 될 수밖에 없다. 도 7의 경우에는, 비디오 프로젝터(60)는 스크린(s)의 정중앙에 정렬되어 있지만, 정보추출장치(10)는 정렬되지 않은 상황을 나타낸다.

이런 경우에, 정보추출장치(10)의 출력인 촬상이미지(i)는, 실제 깊이가 동일하게 산출되어야 할 대상에 대해, 서로 다른 깊이값으로 착오 출력할 여지가 있다. 예컨대 도 7의 경우, 스크린(s)의 좌단(le) 측의 투사이미지보다 우단(re) 측의 투사이미지의 깊이가 더 깊게 출력될 여지가 있다.

반대로 정보추출장치(10)는 정렬되어 있지만, 비디오 프로젝터(60)는 정렬되어 있지 않은 경우에도, 동일한 깊이로 출력되어야 할 부분이 서로 다른 깊이로 출력될 여지가 있다.

게다가, 정보추출장치(10)나 비디오 프로젝터(60)는 도 7에 도시된 바와 같이 원호 형태의 깊이선이 동일 깊이를 표현하지만, 스크린(s)은 평면 형태이므로, 스크린에 표현된 대상의 깊이는 중앙부와 상하좌우의 단부에 있어서 차이가 발생될 여지가 있다.

이런 상황에 대비하기 위해, 본 발명의 다른 실시예에 의한 상기 깊이차 산출단계는, 평균깊이 산출단계; 및 블러정도 환산단계를 포함하여 이루어짐이 바람직하다. 상기 평균깊이 산출단계는, 상기 촬상이미지(i)로부터 평균깊이가 산출되는 단계이다. 상기 평균깊이는, 좌단과 우단, 또는 상단과 하단, 또는 중앙부와 단부의 평균연산에 의해 산출될 수 있다. 상기 블러정도 환산단계는, 상기 평균깊이로부터 대응되는 블러 정도(d)가 환산되는 단계이다. 따라서, 왜곡현상을 제거하여 보다 정확한 깊이차를 산출할 수 있다.

<최소 블러의 판정 및 신규 제어치의 산출>

그리고 상기 AF제어신호 발생단계는, 상기 블러 정도(d)가 최소인지 판정하여, 최소인 경우에는 처리를 종료하고, 최소가 아닌 경우에는 블러 정도(d)를 감소시키도록 하는 AF제어용 신호값(Δz)을 산출함이 바람직하다.

예컨대, 1회차 촬상이미지(i)의 블러 정도가 최소인 경우에는, 제어신호를 산출하지 않고 종료시킬 수 있으므로, 신속한 처리가 가능하다.

예컨대, 1회차 처리 후 자동으로 실행된 2회차 촬상이미지(i)의 블러 정도가 최소가 된 경우에는, 1회차만으로 포커싱이 되었으므로, 역시 신속한 처리가 가능하다.

예컨대, 상기 과정은 여러 번 반복 실시될 수도 있다. 촬상이미지(i)의 생성, 블러 정도의 판정 및 블러 정도 감소를 위한 AF제어용 신호값(Δz)의 산출 적용과정을 반복함으로써, 촬상이미지(i)의 블러 정도가 최소 블러가 되도록 수렴시키는 제어를 하여도 좋고, 이러한 촬상이미지의 블러 정도에 기반한 포커싱 기법은 본 발명의 범위에 포함되는 것이다. 이때, AF제어용 신호값을 작게 함으로써 미세조정할 수도 있다.

<촬상이미지의 블러에서 산출된 깊이에 의한 제어신호 산출>

본 발명의 다른 실시예에 의한 비디오 프로젝터용 포커싱방법은, 촬상이미지 생성단계(10~40); 깊이 산출단계(51); 및 AF제어신호 산출단계(도 5)를 포함하여 이루어짐을 특징으로 한다. 이 실시예는, 깊이차가 아니라 깊이로부터 직접 제어신호를 발생시키는 것이다.

상기 촬상이미지 생성단계(10~40)는, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 단계이다. 이는 앞의 실시예와 동일하므로, 상세한 설명을 생략한다.

상기 깊이 산출단계는, 상기 촬상이미지의 블러 정도에 대응되는 피사체까지의 깊이를 산출하는 단계이다.

도 5는, 블러 정도(사이즈)에서 정보추출장치(10)와 물체 사이의 거리(깊이)를 산출하는 방식을 나타내며, 이로부터 보정용 AF제어신호(Δz)가 산출된다.

도 5에 나타난 바와 같이, 이중조리개 방식의 본 발명에 광학이론을 적용하면, 피사체의 블러 정도(블러 사이즈)를 실제 깊이(거리)로 환산할 수 있다. 아래 수학식 1, 2에 나타나는 a는 실제 피사체까지의 거리를 나타내고, 이미지 센서에 맺힌 피사체의 블러 정도는 d로 표현된다. 즉, d를 알면 a를 구할 수 있다.

이때, f는 렌즈 자체의 초점을 나타내고, a₀는 이미지센서에 물체의 초점이 맞도록 세팅을 한 카메라 초점거리를 나타낸다.

합성 F넘버(F#)는, IR조리개와 RGB 조리개의 합성수치를 나타내며, 아래 수학식 3과 같이 표현된다.

여기서, 수학식 1의 조건

을 이용하여, PSF인덱스를 픽셀 수로 표현이 가능하고, 이는 이미지 센서에 맺힌 블러 이미지의 픽셀 수를 알아내면, PSF인덱스 값을 결국 블러 정도(사이즈)로 표현이 가능함을 의미한다. 이를 이용하면, 수학식 1 혹은 2를 이용하여, 실제 거리 a값을 구할 수 있다.

상기 AF제어신호 산출단계는, 상기 깊이로부터 상기 비디오 프로젝터의 AF제어용 신호를 발생시키는 단계이다. 본 발명에서는, 이 과정을 이용하여 a값을 구한 후, 이를 제어신호(Δz)로 대응시키는 경험치를 산출하여, 이를 출력으로 한다.

즉, 상기 깊이에 대응되는 상기 AF제어용 신호는, 상기 깊이(a)와 실제 모터의 구동을 위한 변위거리(displacement distance), AF제어용 신호(Δz) 사이의 비율인 실험 경험치를 이용하여 산출됨이 바람직하다.

이 구성에 의하면, 일단 거리를 산출한 다음에 AF제어용 신호를 산출하여 적용하므로, 거리의 산출은, 종래기술의 방식을 적용하여도 좋다.

<스크린 및 프레젠테이션 사용자에 대한 녹화기능>

도 1 및 도 6에 도시된 바와 같이, 상기 촬상이미지(i) 또는 상기 촬상이미지(i)를 포함하는 프레젠테이션 동영상은 녹화됨이 바람직하다.이를 위해 녹화부(21)가 구비될 수 있다.

즉, 본 발명은, 이중조리개 단일렌즈 방식의 3차원 깊이정보와 적외선정보 추출용 장치를 기반으로 하여, 비디오 프로젝터의 투사비디오에 대한 별도장치 녹화기능을 구현할 수 있다. 상기 녹화에 이용되는 촬상이미지(i)로서는 RGB이미지(20)가 이용되는 것이 바람직하지만, IR이미지(30)나 깊이이미지(40)가 이용되어도 좋다. 이로써, 발표자와 발표화면을 동시에 녹화할 수 있다.

<비디오 프로젝터용 포커싱장치>

한편, 본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱장치는, 촬상이미지 생성부; 깊이차 산출부; 및 AF제어신호 발생부를 포함하여 이루어짐을 특징으로 한다.

상기 촬상이미지 생성부는, 비디오 프로젝터(60)로부터 스크린(s) 상에 투사된 투사이미지(i₀)를 촬상하여 촬상이미지(i)를 생성하는 부재이다.

상기 깊이차 산출부는, 샤프한 기준이미지(i')에 대한 상기 촬상이미지(i)의 블러(Blur) 정도(d)에 대응되는 깊이차를 산출하는 부재이다.

상기 AF제어신호 발생부는, 상기 깊이차로부터 상기 비디오 프로젝터(60)의 AF(오토포커스)제어용 신호(Δz)를 발생시키는 부재이다.

<저장매체에 저장된 프로그램>

한편, 본 발명의 일실시예에 따른 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램은, 상기에 기재된 비디오 프로젝터용 포커싱방법의 각 단계를 정보처리기기에 수행시키기 위한 프로그램이 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램이다. 상기 정보처리기기는, 컴퓨터에 한하지 않고, 디지털 또는 아날로그로 정보를 처리하여 정해진 처리를 수행하는 현재 및 가까운 미래의 모든 기기들을 포함한다.

이상, 바람직한 실시예에 기하여 본 발명을 설명하였으나, 본 발명은 이러한 실시예에 의해 제한되는 것은 아니고, 첨부된 청구범위에 기재된 기술적 사상의 범위 내에서 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이루어진 개량, 변경, 변형은 모두, 본 발명의 범위에 속하는 것으로 해석되어야 한다. 예컨대, 상기 실시예에서는 깊이차로부터 제어신호를 발생시키거나, 깊이로부터 제어신호를 발생시키도록 구성되어 있지만, 이에 한하지 않고, 깊이차를 이용하여 실제깊이를 산출하고, 그 값에 경험비율을 적용하여 제어신호를 발생시켜도 좋다.

본 발명은, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램에 이용될 수 있다.

10: 정보추출장치
11: 이중조리개 단일렌즈 4컬러 카메라
12: 깊이이미지 산출수단
20: RGB이미지
21: 녹화부
30: IR이미지
40: 깊이이미지(깊이맵)
50: 포커싱장치
51: 평균깊이 산출부
52: 최소 블러 판단부
53: 신규 AF제어신호 산출부
60: 비디오 프로젝터
i₀: 투사이미지
i: 촬상이미지
s: 스크린
re: 우측단
le: 좌측단
h: 프레젠테이션 이용자

Claims

비디오 프로젝터용 포커싱방법으로서,
비디오 프로젝터로부터 스크린 상에 투사된, 사람이 눈으로 인식하는 것과 동일한 이미지로서, 블러 정도 추출의 대상이 되는 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계;
샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도를 산출하는 블러 정도 산출단계; 및
상기 블러 정도로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발생단계
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
청구항 1에 있어서,
상기 촬상이미지는,
하나의 촬상장치에 의해 동일 각도로 상기 투사이미지가 촬상되어, 동시에 획득되는 가시광선의 RGB이미지와 적외선의 IR이미지 및
상기 RGB이미지와 IR이미지로부터 산출되는 깊이이미지
로 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
청구항 2에 있어서,
상기 블러 정도는, 상기 기준이미지에 대한 상기 RGB이미지의 상기 블러 정도에 따라 출력되는 상기 깊이이미지의 PSF 인덱스값의 차에 근거하여 산출됨
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
청구항 3에 있어서,
상기 PSF 인덱스값은 픽셀 수로 표현되고,
상기 RGB이미지의 블러 부분의 픽셀 수에 의해 상기 블러 정도가 산출됨
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
청구항 1에 있어서,
상기 블러 정도 산출단계는,
상기 촬상이미지로부터 평균깊이가 산출되는 평균깊이 산출단계; 및
상기 평균깊이로부터 대응되는 블러 정도가 환산되는 블러정도 환산단계
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
청구항 1에 있어서,
상기 AF제어신호 발생단계는, 상기 블러 정도가 최소인지 판정하여, 최소인 경우에는 처리를 종료하고, 최소가 아닌 경우에는 블러 정도를 감소시키도록 하는 AF제어용 신호값을 산출함
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
비디오 프로젝터용 포커싱방법으로서,
비디오 프로젝터로부터 스크린 상에 투사된, 사람이 눈으로 인식하는 것과 동일한 이미지로서, 블러 정도 추출의 대상이 되는 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계;
상기 촬상이미지의 블러 정도에 대응되는 피사체까지의 깊이를 산출하는 깊이 산출단계; 및
상기 깊이로부터 상기 비디오 프로젝터의 AF제어용 신호를 발생시키는 AF제어신호 산출단계
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
청구항 7에 있어서,
상기 깊이에 대응되는 상기 AF제어용 신호는, 상기 깊이와 실제 모터의 구동을 위한 변위거리, AF제어용 신호 사이의 비율을 이용하여 산출됨
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
청구항 1 또는 청구항 7에 있어서,
상기 촬상이미지 또는 상기 촬상이미지를 포함하는 프레젠테이션 동영상은 녹화됨
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
비디오 프로젝터용 포커싱장치로서,
비디오 프로젝터로부터 스크린 상에 투사된, 사람이 눈으로 인식하는 것과 동일한 이미지로서, 블러 정도 추출의 대상이 되는 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성부;
샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도를 산출하는 블러 정도 산출부; 및
상기 블러 정도로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발생부
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱장치.
정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램으로서,
청구항 1 내지 청구항 8 중 어느 하나에 기재된 방법의 각 단계를 정보처리기기에 수행시키기 위한 프로그램이 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램.