KR101917403B1

KR101917403B1 - 촬상 장치, 촬상 소자, 화상 처리 방법, 조리개 제어 방법 및 프로그램

Info

Publication number: KR101917403B1
Application number: KR1020137023705A
Authority: KR
Inventors: 토모히로 야마자키
Original assignee: 소니 주식회사
Priority date: 2011-03-29
Filing date: 2012-03-22
Publication date: 2018-11-09
Also published as: WO2012133106A1; US10397547B2; US9826215B2; CN103563366A; TW201245768A; EP2693756B1; EP2693756A4; US20170041588A1; CN103563366B; US9544571B2; KR20140049512A; US20170359567A1; US20130335533A1; EP2693756A1

Abstract

본 기술은, 입체시 화상의 화질의 열화를 저감시킬 수 있는 촬상 장치, 촬상 소자, 화상 처리 방법, 조리개 제어 방법, 및 프로그램에 관한 것이다. 시차 검출 화소(230)는, 하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자에 의해 피사체 광을 수광함에 의해 시차를 검출하기 위한 신호를 생성한다. G화상(227, 228)과, R화소(226)와, B화소(229)는, 피사체 광을 수광함에 의해 평면 화상을 생성하기 위한 신호를 생성한다. 시차 검출부(320)는, 시차 검출 화소(230)가 생성하는 신호에 의거하여 시차를 검출한다. 2D 화상 생성부(310)는, 화상 생성 화소가 생성한 신호에 의거하여 평면 화상을 생성한다. 3D 화상 생성부(330)는, 검출된 시차에 의거하여 평면 화상에 포함되는 피사체상의 각각의 위치를 조정하여 입체시 화상을 생성한다.

Description

촬상 장치, 촬상 소자, 화상 처리 방법, 조리개 제어 방법 및 프로그램{IMAGE PICKUP APPARATUS, IMAGE PICKUP DEVICE, IMAGE PROCESSING METHOD, APERTURE CONTROL METHOD, AND PROGRAM}

본 기술은, 촬상 장치에 관한 것으로, 특히, 입체시(stereoscopic) 화상을 생성하는 촬상 장치, 촬상 소자, 화상 처리 방법, 조리개 제어 방법 및 당해 방법을 컴퓨터에 실행시키는 프로그램에 관한 것이다.

종래, 좌우안의 시차를 이용하여 입체적인 시각을 얻을 수 있는 입체시 화상을 표시하기 위한 화상 데이터를 생성하는 디지털 카메라나 디지털 비디오 카메라(카메라 일체형 레코더) 등의 촬상 장치가 제안되고 있다.

예를 들면, 2개의 렌즈와 하나의 촬상 소자를 구비하고, 입체시 화상을 표시하기 위한 2개의 화상(좌안시용 화상 및 우안시용 화상)을 생성하는 촬상 장치가 제안되어 있다(예를 들면, 특허 문헌 1 참조).

특허 문헌 1 : 일본 특개2004-309868호 공보

상술한 종래 기술에 의하면, 2개의 렌즈와 하나의 촬상 소자를 이용하여 2개의 화상(좌안시용 화상 및 우안시용 화상)을 생성할 수 있다. 그러나, 편광 필터를 이용하고 있기 때문에, 광량이 감소할 우려가 있다. 또한, 특정한 편광을 구비하고 있는 피사체 광(예를 들면, 유리로부터의 반사광이나 수면으로부터의 반사광)으로부터의 광을 수광할 수 없을 우려가 있다.

또한, 2개의 렌즈를 마련하고 있기 때문에, 광학계가 복잡하게 된다. 그래서, 하나의 렌즈를 이용하여 입체시 화상을 생성하는 촬상 장치도 제안되어 있다. 그러나, 이와 같은 촬상 장치에서는, 하나의 렌즈에서 좌우로 피사체 광을 분리하기 위해, 조리개를 조여서 밝기의 조정을 우선시키면, 입체감이 감소하여 버린다. 즉, 입체시 화상의 화질을 향상시키기 위해서는, 입체감을 감소시키지 않고서 밝기를 조정할 것이 필요해진다.

본 기술은 이와 같은 상황을 감안하여 산출된 것으로, 입체시 화상의 화질의 열화를 저감시켜서, 화질을 향상시키는 것을 목적으로 한다.

본 기술은, 상술한 문제점을 해소하기 위해 이루어진 것으로, 그 제1의 측면은, 하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자에 의해 피사체 광을 수광함에 의해 시차를 검출하기 위한 신호를 생성하는 시차 검출 화소와, 상기 피사체 광을 수광함에 의해 평면 화상을 생성하기 위한 신호를 생성하는 화상 생성 화소를 구비하는 촬상 소자와, 상기 시차 검출 화소가 생성한 신호에 의거하여 상기 시차를 검출하고, 상기 화상 생성 화소가 생성한 신호에 의거하여 상기 평면 화상을 생성하고, 상기 검출한 시차에 의거하여 상기 생성한 평면 화상에 포함되는 피사체상의 각각의 위치를 조정하여 입체시 화상을 생성하는 입체시 화상 생성부를 구비하는 촬상 장치 및 화상 처리 방법 및 당해 방법을 컴퓨터에 실행시키는 프로그램이다. 이에 의해, 시차 검출 화소가 생성한 신호에 의거하여 시차를 검출하고, 화상 생성 화소가 생성한 신호에 의거하여 평면 화상을 생성하고, 검출한 시차에 의거하여 평면 화상에 포함되는 피사체상의 각각의 위치를 조정하여 입체시 화상을 생성시킨다는 작용을 갖는다.

또한, 이 제1의 측면에서, 상기 촬상 장치의 자세를 검출하는 자세 검출부를 더 구비하고, 상기 시차 검출 화소는, 상기 촬상 소자에서의 행 방향의 라인 위 및 열 방향의 라인 위에 나열되어 배치되고, 상기 입체시 화상 생성부는, 상기 자세 검출부가 검출한 자세에 의거하여 상기 시차를 검출하는 방향을 상기 촬상 소자의 행 방향 및 열 방향의 어느 하나로부터 결정하고, 당해 결정된 방향으로 배치된 상기 시차 검출 화소가 생성한 신호에 의거하여 상기 시차에 관한 정보를 생성하도록 하여도 좋다. 이에 의해, 자세 검출부가 검출한 자세에 의거하여 시차를 검출하는 방향을 결정시키고, 결정된 방향으로 배치된 시차 검출 화소가 생성한 신호에 의거하여 시차에 관한 정보를 생성시킨다는 작용을 갖는다.

또한, 이 제1의 측면에서, 상기 시차 검출 화소가 생성한 신호에 의거하여 합초 대상물에 대한 합초 판정을 행하는 합초 판정부를 더 구비하도록 하여도 좋다. 이에 의해, 시차 검출 화소가 생성한 신호에 의거하여 합초 대상물에 대한 합초 판정을 행하게 한다는 작용을 갖는다.

또한, 이 제1의 측면에서, 상기 촬상 소자는, 상기 시차 검출 화소가 특정 방향에서의 라인 위에 인접하여 배치되도록 하여도 좋다. 이에 의해, 시차 검출 화소가 특정 방향에서의 라인 위에 인접하여 배치된다는 작용을 갖는다.

또한, 이 제1의 측면에서, 상기 촬상 소자는, 상기 시차 검출 화소가 특정 방향에서의 라인 위에 소정의 간격 걸러 배치되도록 하여도 좋다. 이에 의해, 시차 검출 화소가 아일랜드 형상으로 배치된다는 작용을 갖는다.

또한, 이 제1의 측면에서, 상기 촬상 소자와 상기 사출동(exit pupil)의 크기와의 관계에 의거하여, 상기 시차 검출 화소에서의 복수의 수광 소자를 덮는 하나의 마이크로 렌즈를 당해 마이크로 렌즈의 광축 방향으로 이동시키는 제어부를 또한 구비하도록 하여도 좋다. 이에 의해, 복수의 크기의 사출동에 대해 시차가 검출된다는 작용을 갖는다.

또한, 이 제1의 측면에서, 상기 시차 검출 화소에서의 복수의 수광 소자는, 동일한 컬러 필터에 의해 덮여 있도록 하여도 좋다. 이에 의해, 시차 검출 화소에서의 복수의 수광 소자를 동일한 분광 특성으로 하게 한다는 작용을 갖는다. 또한, 이 경우에 있어서, 상기 시차 검출 화소에서의 복수의 수광 소자는, 녹색을 나타내는 파장 영역 이외의 광을 차광하는 녹색필터에 의해 덮여 있도록 하여도 좋다. 이에 의해, 시차 검출 화소에서의 복수의 수광 소자의 컬러 필터로서 녹색필터를 마련하게 한다는 작용을 갖는다.

또한, 이 경우에 있어서, 상기 시차 검출 화소에서의 복수의 수광 소자는, 가시광 영역의 광을 투과시키는 백색필터 또는 투명층에 의해 덮여 있도록 하여도 좋다. 이에 의해, 시차 검출 화소에서의 복수의 수광 소자의 컬러 필터로서 백색필터 또는 투명층을 마련하게 한다는 작용을 갖는다.

또한, 이 제1의 측면에서, 상기 화상 생성 화소는, 상기 화소 단위마다 하나의 수광 소자를 구비하도록 하여도 좋다. 이에 의해, 화소 단위마다 하나의 수광 소자를 구비하는 화상 생성 화소가 생성한 신호에 의거하여 평면 화상을 생성시킨다는 작용을 갖는다.

또한, 이 제1의 측면에서, 상기 시차 검출 화소에서의 상기 복수의 수광 소자를 덮는 상기 하나의 마이크로 렌즈에 의해 집광되는 상기 피사체 광을 상기 복수의 수광 소자의 각각의 위치에 집광하기 위한 마이크로 렌즈가, 당해 복수의 수광 소자를 당해 복수의 수광 소자마다 덮도록 하여도 좋다. 이에 의해, 시차 검출 화소에는, 복수의 수광 소자를 덮는 하나의 마이크로 렌즈와, 이 하나의 마이크로 렌즈가 집광한 피사체 광을 복수의 수광 소자의 각각의 위치에 또한 집광하기 위한 마이크로 렌즈가 마련된다는 작용을 갖는다.

또한, 이 제1의 측면에서, 상기 화상 생성 화소에서의 상기 수광 소자를 덮는 상기 마이크로 렌즈는, 상기 시차 검출 화소에서의 상기 복수의 수광 소자를 당해 복수의 수광 소자마다 덮는 상기 마이크로 렌즈의 광축 방향과 직교하는 동일면 상에 배치되도록 하여도 좋다. 이에 의해, 시차 검출 화소의 복수의 수광 소자의 각각을 덮는 마이크로 렌즈와, 화상 생성 화소에서의 마이크로 렌즈가 같은 층에 마련된다는 작용을 갖는다.

또한, 이 제1의 측면에서, 상기 화상 생성 화소에서의 상기 수광 소자를 덮는 상기 마이크로 렌즈는, 상기 시차 검출 화소에서의 상기 복수의 수광 소자를 덮는 상기 하나의 마이크로 렌즈의 광축 방향과 직교하는 동일면 상에 배치되도록 하여도 좋다. 이에 의해, 시차 검출 화소에서의 복수의 수광 소자를 덮는 하나의 마이크로 렌즈와, 화상 생성 화소의 마이크로 렌즈가 같은 층에 마련된다는 작용을 갖는다.

또한, 본 기술의 제2의 측면은, 하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자에 의해 피사체 광을 수광함에 의해 입체시 화상을 생성할 때에 이용되는 시차를 검출하기 위한 신호를 생성하는 시차 검출 화소와, 상기 마이크로 렌즈보다도 작은 마이크로 렌즈에 의해 화소 단위로 덮인 수광 소자에 의해 상기 피사체 광을 수광함에 의해 상기 시차를 이용하여 상기 입체시 화상을 생성할 때에 이용되는 평면 화상을 생성하기 위한 신호를 생성하는 화상 생성 화소를 구비하는 촬상 소자이다. 이에 의해, 하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자를 구비하는 시차 검출 화소와, 작은 마이크로 렌즈에 의해 화소 단위로 덮인 수광 소자를 구비하는 화상 생성 화소를 촬상 소자에 구비시킨다는 작용을 갖는다.

또한, 이 제2의 측면에서, 상기 시차는, 상기 평면 화상에서의 피사체상의 각각의 위치를 상기 시차 방향으로 조정하여 상기 입체시 화상을 생성할 때에 있어서의 상기 피사체상의 각각의 위치의 어긋남 량에 관한 정보이고, 상기 시차 검출 화소는, 상기 시차 방향으로 라인 위에 배치되도록 하여도 좋다. 이에 의해, 시차 방향으로 라인 위에 배치된 시차 검출 화소로부터의 신호가 평면 화상에서의 피사체상의 각각의 위치를 어긋남 량의 산출에 이용된다는 작용을 갖는다.

또한, 본 기술의 제3의 측면은, 입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개와, 상기 한 쌍의 개구 영역을 통과하는 피사체 광을 각각 수광하여 상기 입체시 화상을 생성하기 위한 신호를 생성하는 촬상 소자와, 상기 한 쌍의 개구 영역의 중심(centroid) 사이의 거리와, 상기 한 쌍의 개구 영역을 통과하는 상기 피사체 광의 광량의 증감 각각 독립하여 제어하는 제어부를 구비하는 촬상 장치 및 이 촬상 장치에 관한 조리개 제어 방법 및 당해 방법을 컴퓨터에 실행시키는 프로그램이다. 이에 의해, 입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개를 통과하는 피사체 광을 각각 수광하여 입체시 화상을 생성시킨다는 작용을 갖는다.

또한, 이 제3의 측면에서, 상기 조리개에는, 상기 입체시 화상에서의 시차 방향에서 상기 한 쌍의 개구 영역이 인접하여 형성되고, 상기 제어부는, 상기 한 쌍의 개구 영역의 각각의 주연 중, 상기 시차 방향에서의 양단에 대응하는 주연의 위치와, 상기 한 쌍의 개구 영역 사이에서 근접하는 주연의 위치를 각각 변경하여 제어하도록 하여도 좋다. 이에 의해, 입체시 화상에서의 시차 방향에서 한 쌍의 개구 영역이 인접하여 형성되고, 시차 방향에서의 양단에 대응하는 주연의 위치와, 한 쌍의 개구 영역 사이에서 근접하는 주연의 위치를 각각 변경하여 제어시킨다는 작용을 갖는다.

또한, 이 제3의 측면에서, 상기 제어부는, 상기 광량을 증감시키는 경우에는, 상기 중심 사이의 거리를 일정하게 한 상태에서, 상기 한 쌍의 개구 영역 중의 하나의 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이와, 다른 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이를 변경시키도록 하여도 좋다. 이에 의해, 광량을 증감시키는 경우에는, 중심(centroid) 사이의 거리를 일정하게 한 상태에서, 한 쌍의 개구 영역 중의 하나의 개구 영역에 관한 양단에 대응하는 주연과 근접하는 주연 사이의 길이와, 다른 개구 영역에 관한 양단에 대응하는 주연과 근접하는 주연 사이의 길이를 변경시킨다는 작용을 갖는다.

또한, 이 제3의 측면에서, 상기 한 쌍의 개구 영역 중의 하나의 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이는, 상기 다른 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이와 동일하게 하여도 좋다. 이에 의해, 한 쌍의 개구 영역 중의 하나의 개구 영역에 관한 양단에 대응하는 주연과 근접하는 주연 사이의 길이를, 다른 개구 영역에 관한 양단에 대응하는 주연과 근접하는 주연 사이의 길이와 동일하게 한다는 작용을 갖는다.

또한, 이 제3의 측면에서, 상기 제어부는, 상기 중심 사이의 거리를 변경시키는 경우에는, 상기 한 쌍의 개구 영역 중의 하나의 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이를 일정하게 한 상태에서, 상기 중심 사이의 거리를 변경시키도록 하여도 좋다. 이에 의해, 중심 사이의 거리를 변경시키는 경우에는, 한 쌍의 개구 영역 중의 하나의 개구 영역에 관한 양단에 대응하는 주연과 근접하는 주연 사이의 길이를 일정하게 한 상태에서, 중심 사이의 거리를 변경시킨다는 작용을 갖는다.

또한, 이 제3의 측면에서, 상기 중심 사이의 거리를 조정하는 조정부를 더 구비하고, 상기 제어부는, 상기 조정부에 의한 조정 후의 상기 중심 사이의 거리가 되도록 상기 한 쌍의 개구 영역을 제어하도록 하여도 좋다. 이에 의해, 중심 사이의 거리를 조정하는 조정부에 의한 조정 후의 상기 중심 사이의 거리가 되도록 한 쌍의 개구 영역이 제어된다는 작용을 갖는다.

또한, 이 제3의 측면에서, 상기 조리개는, 노치부를 구비하는 한 쌍의 부재가 상기 노치부가 서로 대향하도록 배치되는 제1 부재와, 돌출부를 구비하는 한 쌍의 부재가 상기 돌출부가 서로 대향하도록 배치되는 제2 부재를 구비하도록 하여도 좋다. 이에 의해, 노치부를 구비하는 한 쌍의 부재가 노치부가 서로 대향하도록 배치되는 제1 부재와, 돌출부를 구비하는 한 쌍의 부재가 돌출부가 서로 대향하도록 배치되는 제2 부재에 의해 조리개가 구성된다는 작용을 갖는다.

또한, 이 제3의 측면에서, 상기 제1 부재 및 상기 제2 부재는, 상기 시차 방향에 대해 직교하는 직교 방향으로 구동되도록 하여도 좋다. 이에 의해, 제1 부재 및 제2 부재는, 시차 방향에 대해 직교하는 직교 방향으로 구동된다는 작용을 갖는다.

또한, 이 제3의 측면에서, 상기 노치부는, 상기 중심 사이의 거리의 중심(midpoint)을 통과하여 상기 제1 부재의 구동 방향에 평행한 직선상의 1점을 산형의 정점으로 하는 오목형상이고, 상기 돌출부는, 상기 중심 사이의 거리의 중심을 통과하여 상기 제2 부재의 구동 방향에 평행한 직선상의 1점을 산형의 정점으로 하는 볼록형상 이도록 하여도 좋다. 이에 의해, 노치부가 중심 사이의 거리의 중심을 통과하여 제1 부재의 구동 방향에 평행한 직선상의 1점을 산형의 정점으로 하는 오목형상이고, 상기 돌출부가 중심 사이의 거리의 중심을 통과하여 제2 부재의 구동 방향에 평행한 직선상의 1점을 산형의 정점으로 하는 볼록형상인 제1 부재 및 제2 부재가 구동된다는 작용을 갖는다.

또한, 이 제3의 측면에서, 상기 촬상 장치의 자세를 검출하는 자세 검출부를 더 구비하고, 상기 조리개는, 노치부를 구비하는 한 쌍의 부재가 상기 노치부가 서로 대향하도록 배치되는 제1 부재와, 횡 위치 촬영의 경우에 있어서 상기 피사체 광의 일부를 차광하는 제2 부재로서, 돌출부를 구비하는 한 쌍의 부재가 당해 돌출부가 서로 대향하도록 배치되는 제2 부재와, 종 위치 촬영의 경우에 있어서 상기 피사체 광의 일부를 차광하는 제3 부재로서, 돌출부를 구비하는 한 쌍의 부재가 당해 돌출부가 서로 대향하도록 배치되는 제3 부재를 구비하고, 상기 제2 부재의 구동 방향과, 상기 제3 부재의 구동 방향은 직교하고, 상기 제어부는, 상기 검출된 자세에 의거하여 상기 횡 위치 촬영 또는 상기 종 위치 촬영의 어느 것인지를 결정하여 상기 한 쌍의 개구 영역을 제어하도록 하여도 좋다. 이에 의해, 횡 위치 촬영 또는 상기 종 위치 촬영의 어느 것에서도 시차 방향으로 한 쌍의 개구 영역이 형성된다는 작용을 갖는다.

또한, 이 제3의 측면에서, 상기 조리개는, 단안(monocular)의 렌즈계에 의해 집광되는 상기 피사체 광의 광로에 배치되도록 하여도 좋다. 이에 의해, 단안의 렌즈계에 의해 집광되는 피사체 광의 광로에 조리개가 배치된다는 작용을 갖는다.

또한, 본 기술의 제4의 측면은, 입체시 화상에서의 시차 방향에서 인접하는 한 쌍의 노치부를 각각 구비하는 한 쌍의 부재로 이루어지는 조리개로서, 상기 노치부가 서로 대향함에 의해 한 쌍의 개구 영역을 형성하는 조리개와, 상기 한 쌍의 개구 영역을 통과하는 피사체 광을 각각 수광하여 상기 입체시 화상을 생성하기 위한 신호를 생성하는 촬상 소자와, 상기 한 쌍의 개구 영역의 중심 사이의 거리가 일정하게 되도록, 상기 시차 방향과 직교하는 직교 방향에 상기 한 쌍의 부재를 각각 구동시켜서 상기 조리개를 제어하는 제어부를 구비하는 촬상 장치이다. 이에 의해, 입체시 화상에서의 시차 방향에서 인접하는 한 쌍의 노치부를 각각 구비하는 한 쌍의 부재로 이루어지는 조리개의 한 쌍의 개구 영역을 통과하는 피사체 광이 각각 수광되어 입체시 화상이 생성된다는 작용을 갖는다.

또한, 본 기술의 제5의 측면은, 입체시 화상에서의 시차 방향을 길이방향으로 하는 개구 영역을 형성하는 조리개와, 상기 개구 영역을 통과하는 피사체 광을 수광하여 상기 입체시 화상을 생성하기 위한 신호를 생성하는 촬상 소자와, 상기 시차 방향에서의 상기 개구 영역의 길이가, 상기 시차 방향과 직교하는 직교 방향에서의 상기 개구 영역의 길이보다도 길어지도록 상기 조리개를 제어하는 제어부를 구비하는 촬상 장치이다. 이에 의해, 입체시 화상에서의 시차 방향을 길이방향으로 하는 개구 영역을 형성하는 조리개의 개구 영역을 통과하는 피사체 광을 수광하여 입체시 화상이 생성된다는 작용을 갖는다.

또한, 이 제5의 측면에서, 상기 조리개는, 노치부를 구비하는 한 쌍의 부재가 상기 노치부가 서로 대향함에 의해 상기 개구 영역을 형성하고, 상기 제어부는, 상기 한 쌍의 부재를 상기 직교 방향으로 각각 구동시켜서 상기 조리개를 제어하도록 하여도 좋다. 이에 의해, 노치부를 구비하는 한 쌍의 부재가 서로 대향함에 의해 형성된 개구 영역을 통과하는 피사체 광을 수광하여 입체시 화상이 생성된다는 작용을 갖는다.

또한, 이 제5의 측면에서, 상기 노치부는, 상기 시차 방향을 긴변으로 하는 사각형, 상기 시차 방향을 저변으로 하는 삼각형, 또는, 상기 시차 방향을 1변으로 하는 반원형 이도록 하여도 좋다. 이에 의해, 시차 방향을 긴변으로 하는 사각형, 시차 방향을 저변으로 하는 삼각형, 또는, 시차 방향을 1변으로 하는 반원형의 노치부에 의해 형성된 개구 영역을 통과하는 피사체 광을 수광하여 입체시 화상이 생성된다는 작용을 갖는다.

또한, 이 제5의 측면에서, 상기 조리개는, 상기 시차 방향에 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제1 부재와, 상기 직교 방향에 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제2 부재에 의해 상기 개구 영역을 형성하도록 하여도 좋다. 이에 의해, 시차 방향에 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제1 부재와, 직교 방향에 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제2 부재에 의해 형성된 개구 영역을 통과하는 피사체 광을 수광하여 입체시 화상이 생성된다는 작용을 갖는다.

본 기술에 의하면, 입체시 화상의 화질의 열화를 저감시키고, 화질을 향상시킬 수 있다는 우수한 효과를 이룰 수 있다.

도 1은 본 기술의 제1의 실시의 형태에서의 촬상 장치(100)의 기능 구성의 한 예를 도시하는 블록도.
도 2는 본 기술의 제1의 실시의 형태에서의 촬상 소자(200)에 구비되는 화소의 배치의 한 예를 도시하는 모식도.
도 3은 본 기술의 제1의 실시의 형태에서의 촬상 소자(200)에 구비되는 화상 생성 화소 및 시차 검출 화소의 한 예를 도시하는 모식도.
도 4는 본 기술의 제1의 실시의 형태에서의 화상 생성 화소 및 시차 검출 화소의 단면 구성의 한 예를 도시하는 모식도.
도 5는 본 기술의 제1의 실시의 형태에서의 시차 검출 화소가 수광하는 피사체 광을 모식적으로 도시하는 도면.
도 6은 본 기술의 제1의 실시의 형태에서의 시차 검출 화소(230)에 의한 시차 검출의 원리를 모식적으로 도시하는 도면.
도 7은 본 기술의 제1의 실시의 형태에서의 촬상 장치(100)를 이용하여 횡 위치 촬영을 행하는 경우에 있어서의 시차 검출 화소(230)에 의한 시차 검출의 방향의 한 예를 모식적으로 도시하는 도면.
도 8은 본 기술의 제1의 실시의 형태에서의 촬상 장치(100)를 이용하여 종 위치 촬영을 행하는 경우에 있어서의 시차 검출 화소(230)에 의한 시차 검출의 방향의 한 예를 모식적으로 도시하는 도면.
도 9는 본 기술의 제1의 실시의 형태의 촬상 장치(100)에서의 3D 화상의 생성예를 도시하는 모식도.
도 10은 본 기술의 제1의 실시의 형태에서의 촬상 장치(100)에 의해 입체 화상을 촬상할 때의 촬상 처리 순서예를 도시하는 플로 차트.
도 11은 본 기술의 제1의 실시의 형태의 촬상 처리 순서에서의 입체 화상 생성 처리(스텝 S920)의 처리 순서예를 도시하는 플로 차트.
도 12는 본 기술의 제2의 실시의 형태의 촬상 장치(400)의 기능 구성의 한 예를 도시하는 블록도.
도 13은 본 기술의 제2의 실시의 형태에서 시차 검출 화소(230)에서의 9개의 화소 회로의 화소치를 이용한 오토 포커스의 개념을 모식적으로 도시하는 도면.
도 14는 본 기술의 제2의 실시의 형태에서의 합초 판정부(410)에 의한 위상차 검출에 의한 합초 판정을 모식적으로 도시하는 도면.
도 15는 본 기술의 제2의 실시의 형태에서의 촬상 장치(400)에 의한 입체 화상을 촬상할 때의 촬상 처리 순서예를 도시하는 플로 차트.
도 16은 본 기술의 제2의 실시의 형태의 촬상 처리 순서에서의 합초 처리(스텝 S940)의 처리 순서예를 도시하는 플로 차트.
도 17은 본 기술의 제1 및 제2의 실시의 형태의 제1의 변형 예로서, 시차 검출 화소가 행 방향으로만 라인 형상으로 배치된 촬상 소자의 한 예를 모식적으로 도시하는 도면.
도 18은 본 기술의 제2의 변형 예로서, 시차 검출 화소가, 행 방향 및 열 방향에 소정의 간격씩 떨어져서 배치(아일랜드 형상으로 배치)된 촬상 소자의 한 예를 모식적으로 도시하는 도면.
도 19는 본 기술의 제3 내지 제5의 변형 예로서, 화상 생성 화소 및 시차 검출 화소의 단면 구성의 변형 예를 모식적으로 도시하는 도면.
도 20은 본 기술의 제6 내지 제9의 변형 예로서, 시차 검출 화소의 변형 예를 도시하는 모식도.
도 21은 본 기술의 제3의 실시의 형태의 촬상 장치(500)의 기능 구성의 한 예를 도시하는 블록도.
도 22는 본 기술의 제3의 실시의 형태의 조리개(510)의 한 예를 모식적으로 도시하는 도면.
도 23은 본 기술의 제3의 실시의 형태의 조리개(510)를, 기선장은 일정하게 하고 개구 면적만 변화하도록 구동하는 경우의 제1 조리개(511) 및 제2 조리개(515)의 구동 방향을 모식적으로 도시하는 도면.
도 24는 본 기술의 제3의 실시의 형태의 조리개(510)를, 개구 면적을 일정하게 하고 기선장만 변화하도록 구동하는 경우의 제1 조리개(511) 및 제2 조리개(515)의 구동 방향을 모식적으로 도시하는 도면.
도 25는 본 기술의 제3의 실시의 형태의 조리개(510)에서의 개구 부분의 형상을 평면 화상을 촬상하는데 적합한 형상으로 하는 경우를 모식적으로 도시하는 도면.
도 26은 본 기술의 제3의 실시의 형태에서의 표시부(151)에 표시되는 촬상 화상의 설정 화면 및 3D 강도의 설정 화면을 모식적으로 도시하는 도면.
도 27은 본 기술의 제3의 실시의 형태에서의 조리개(510)에 의한 기선장 변화에 의한 상의 변화를 모식적으로 도시하는 도면.
도 28은 본 기술의 제3의 실시의 형태에서의 조리개(510)에서의 개구면과, 종래의 조리개에서의 개구면과의 차이를 모식적으로 도시하는 도면.
도 29는 본 기술의 제3의 실시의 형태에서의 촬상 장치(500)에 의한 입체 화상을 촬상할 때의 촬상 처리 순서예를 도시하는 플로 차트.
도 30은 본 기술의 제4의 실시의 형태의 촬상 장치(600)의 기능 구성의 한 예를 도시하는 블록도.
도 31은 본 기술의 제4의 실시의 형태의 조리개(610)의 한 예를 모식적으로 도시하는 도면.
도 32는 본 기술의 제4의 실시의 형태의 조리개(610)가 형성하는 개구 부분의 형상의 한 예를 모식적으로 도시하는 도면.
도 33은 본 기술의 제3 및 제4의 실시의 형태의 변형 예로서, 3D 화상의 촬상에 적합한 간단한 구성의 조리개의 예를 모식적으로 도시하는 도면.

이하, 본 기술을 실시하기 위한 형태(이하, 실시의 형태라고 칭한다)에 관해 설명한다.

설명은 이하의 순서에 의해 행한다.

1. 제1의 실시의 형태(촬상 제어 : 시차 검출 화소에 의해 시차를 검출하여 3D 화상을 생성하는 예)

2. 제2의 실시의 형태(촬상 제어 : 시차 검출 화소의 화소치를 이용하여 위상차 검출을 행하는 예)

3. 변형 예

4. 제3의 실시의 형태(조리개 제어 : 횡 위치 촬영에서의 밝기와 기선장을 독립하여 제어하는 예)

5. 제4의 실시의 형태(조리개 제어 : 횡 위치 촬영 및 종 위치 촬영의 양쪽에서 밝기와 기선장을 독립하여 제어하는 예)

6. 변형 예

<1. 제1의 실시의 형태>

[촬상 장치의 기능 구성예]

도 1은, 본 기술의 제1의 실시의 형태에서의 촬상 장치(100)의 기능 구성의 한 예를 도시하는 블록도이다. 촬상 장치(100)는, 단안으로 3D의 화상을 생성하는 촬상 장치이다. 이 촬상 장치(100)는, 피사체를 촬상하여 화상 데이터 (촬상 화상)를 생성하고, 생성된 화상 데이터를 2D 또는 3D의 화상 컨텐츠(정지화 컨텐츠 또는 동화 컨텐츠)으로서 기록하는 촬상 장치이다. 또한, 이하에서는, 화상 컨텐츠(화상 파일)으로서 정지화 컨텐츠(정지화 파일)을 기록한 예를 주로 나타낸다.

촬상 장치(100)는, 렌즈부(110)와, 조작 접수부(120)와, 제어부(130)와, 촬상 소자(200)와, 신호 처리부(300)와, 자세 검출부(140)와, 표시부(151)와, 기억부(152)와, 구동부(170)를 구비한다.

렌즈부(110)는, 피사체로부터의 광(피사체 광)을 집광하기 위한 것이다. 이 렌즈부(110)는, 줌렌즈(111)와, 조리개(112)와, 포커스 렌즈(113)를 구비한다.

줌렌즈(111)는, 구동부(170)의 구동에 의해 광축 방향으로 이동함에 의해 초점 거리를 변동시켜서, 촬상 화상에 포함되는 피사체의 배율을 조정하는 것이다.

조리개(112)는, 구동부(170)의 구동에 의해 개구의 정도를 변화시켜서, 촬상 소자(200)에 입사하는 피사체 광의 광량을 조정하기 위한 차폐물이다.

포커스 렌즈(113)는, 구동부(170)의 구동에 의해 광축 방향으로 이동함에 의해 포커스를 조정하는 것이다.

조작 접수부(120)는, 유저로부터의 조작을 접수하는 것이다. 이 조작 접수부(120)는, 예를 들면, 셔터 버튼(도시 생략)이 눌러진 경우에는, 그 압하에 관한 신호를, 조작 신호로서 제어부(130)에 공급한다.

제어부(130)는, 촬상 장치(100)에서의 각 부분 동작을 제어하는 것이다. 또한, 도 1에서는, 주요한 신호선만을 나타내고, 다른 것은 생략한다. 예를 들면, 이 제어부(130)는, 셔터 버튼이 압하되어, 정지화상의 기록을 시작하기 위한 조작 신호를 접수한 경우에는, 정지화상의 기록 실행에 관한 신호를, 신호 처리부(300)에 공급한다.

촬상 소자(200)는, 수광한 피사체 광을 전기 신호로 광전 변환하는 이미지 센서이다. 이 촬상 소자(200)는, 예를 들면, CMOS(Complementary Metal Oxide Semiconductor) 센서 등의 x-y 어드레스형의 센서나, CCD(Charge Coupled Device) 센서 등에 의해 실현된다. 촬상 소자(200)에는, 수광한 피사체 광에 의거하여 촬상 화상을 생성하기 위한 신호를 생성하는 화소(화상 생성 화소)와, 3D 화상을 생성하기 위한 시차를 검출하기 위한 화소(시차 검출 화소)가 배치된다. 또한, 촬상 소자(200)에 관해서는, 도 2를 참조하여 설명한다. 또한, 화상 생성 화소 및 시차 검출 화소에 관해서는, 도 3 내지 도 6을 참조하여 설명한다. 촬상 소자(200)는, 광전 변환에 의해 발생한 전기 신호(화상 신호)를, 프레임(화상 데이터)마다 신호 처리부(300)에 공급한다.

신호 처리부(300)는, 촬상 소자(200)로부터 공급된 전기 신호에 소정의 신호 처리를 시행하는 것이다. 이 신호 처리부(300)는, 예를 들면, 촬상 소자(200)로부터 공급된 전기 신호를 디지털의 전기 신호(화소치)로 변환한 후에, 흑레벨 보정, 결함 보정, 셰이딩 보정, 혼색 보정 등을 행한다. 또한, 이 신호 처리부(300)는, 각 보정을 행한 전기 신호에 의거하여, 3D 화상(입체 화상)을 생성한다. 이 신호 처리부(300)는, 3D 화상을 생성하기 위한 기능 구성으로서, 2D 화상 생성부(310)와, 시차 검출부(320)와, 3D 화상 생성부(330)를 구비한다. 또한, 신호 처리부(300)는, 청구의 범위에 기재된 입체시 화상 생성부의 한 예이다.

2D 화상 생성부(310)는, 화상 생성 화소의 전기 신호(화소치)에 의거하여, 2D 화상(평면 화상)을 생성하는 것이다. 이 2D 화상 생성부(310)는, 시차 검출 화소의 위치에 대응하는 전기 신호(화소치)를, 화상 생성 화소의 전기 신호(화소치)에 의거하여 보간하고, 그리고 디모자이크 처리를 행함에 의해 평면 화상을 생성한다. 2D 화상 생성부(310)는, 생성한 평면 화상을 3D 화상 생성부(330)에 공급한다.

시차 검출부(320)는, 시차 검출 화소의 전기 신호(화소치)에 의거하여, 시차 정보 화상을 생성하는 것이다. 여기서, 시차 정보 화상이란, 좌안 화상과 우안 화상 사이의 차(시차)에 관한 정보(시차 정보)를 포함하는 화상이다. 시차 검출부(320)는, 생성한 시차 정보 화상을 3D 화상 생성부(330)에 공급한다.

3D 화상 생성부(330)는, 시차 정보 화상 및 2D 화상에 의거하여, 3D 화상(입체 화상)을 생성하는 것이다. 이 3D 화상 생성부(330)는, 3D 화상으로서, 좌안 화상 및 우안 화상을 생성한다. 3D 화상 생성부(330)는, 예를 들면, 시차 정보 화상이 나타내는 시차 정보에 의거하여 2D 화상에서의 촬상된 각 촬상 물체의 상의 위치를 어긋냄으로서 3D 화상을 생성한다. 3D 화상 생성부(330)는, 생성한 좌안 화상의 데이터 (좌안 화상 데이터) 및 우안 화상의 데이터 (우안 화상 데이터)를, 입체 화상 컨텐츠로서 기억부(152)에 기억시킨다. 또한, 3D 화상 생성부(330)는, 좌안 화상 데이터 및 우안 화상 데이터를, 입체 화상 컨텐츠로서 표시부(151)에 표시시킨다.

자세 검출부(140)는, 촬상 장치(100)의 자세(기울기)를 검출하는 것이다. 이 자세 검출부(140)는, 예를 들면, 자이로스코프 센서나 가속도 센서에 의해 실현된다. 자세 검출부(140)는, 검출한 촬상 장치(100)의 자세에 관한 정보(자세 정보)를 시차 검출부(320)에 공급한다.

표시부(151)는, 3D 화상 생성부(330)로부터 공급된 입체 화상 컨텐츠에 의거하여, 화상을 표시하는 것이다. 이 표시부(151)는, 예를 들면, 컬러 액정 패널에 의해 실현된다.

기억부(152)는, 3D 화상 생성부(330)로부터 공급된 입체 화상 컨텐츠를 기록하는 것이다. 예를 들면, 이 기억부(152)로서, DVD(Digital Versatile Disk) 등의 디스크나 메모리 카드 등의 반도체 메모리 등의 리무버블한 기록 매체(1 또는 복수의 기록 매체)를 이용할 수 있다. 또한, 이들의 기록 매체는, 촬상 장치(100)에 내장하도록 하여도 좋고, 촬상 장치(100)로부터 착탈 가능하도록 하여도 좋다.

구동부(170)는, 줌렌즈(111), 조리개(112) 및 포커스 렌즈(113)를 구동시키는 것이다. 예를 들면, 구동부(170)는, 제어부(130)로부터 포커스 렌즈(113)를 이동시키기 위한 명령이 공급된 경우에는, 그 명령에 의거하여, 포커스 렌즈(113)를 이동시킨다.

[촬상 소자에서의 화소의 배치예]

도 2는, 본 기술의 제1의 실시의 형태에서의 촬상 소자(200)에 구비되는 화소의 배치의 한 예를 도시하는 모식도이다. 또한, 본 기술의 실시의 형태에서는, 촬상 소자에서의 수광면상의 화소 배치를 설명하는 경우(예를 들면, 도 2, 도 3, 도 7)에는, 설명의 편의상, 촬상 소자에서의 수광면의 이측(back side)에서 본 경우를 모식적으로 도시하여 설명한다.

동 도면에서는, 상하 방향을 Y축으로 하고, 좌우 방향을 X축으로 하는 XY축을 상정하여 설명한다. 또한, 동 도면에서, 좌하구석을 XY축에서의 원점으로 하고, 아래로부터 위를 향하는 방향을 Y축의 +측으로 하고, 왼쪽부터 오른쪽을 향하는 방향을 X축의 +측으로 하다. 또한, 동 도면에서는, 촬상 소자(200)에서의 특정 방향(촬상 화상의 수평 방향(좌우 방향)에 대응하는 방향)을 X축 방향으로 하고, 특정 방향과 직교하는 직교 방향(촬상 화상의 수직 방향(상하 방향)에 대응하는 방향)을 Y축 방향으로 한다. 또한, 동 도면에서는, 속부터 앞 쪽을 향하는 방향을 Z축의 +측으로 한다. 또한 Z축은, 광축과 평행한 축이고, Z축의 플러스 방향은, 피사체로부터 촬상 소자를 향하는 피사체 광의 진행 방향으로 한다. 또한, 이 촬상 소자(200)에서의 신호의 판독 방향은, X축 방향(행 단위로 판독되는)이고, 또한, 촬상 소자(200)의 긴변 방향은 X축 방향이고, 짧은변 방향은 Y축 방향인 것으로 한다.

동 도면의 (a)에서는, 설명의 편의상, 촬상 소자(200)를 구성하는 각 화소 중의 일부의 화소의 영역(영역(210))을 이용하여 화소 배치를 설명한다. 또한, 촬상 소자(200)에서의 화소의 배치는, 영역(210)에서 도시하는 화소 배치를 하나의 단위로 하여, 이 단위에 대응하는 화소 배치(영역(210)에 대응하는 화소 배치)가, X축 방향 및 Y축 방향으로 반복되는 배치이다. 또한, 동 도면의 (b)에서는, 영역(210)에 나타내는 화소 배치가 X축 방향 및 Y축 방향으로 반복된 영역(영역(250))이 모식적으로 도시되어 있다.

동 도면의 (a)에는, 촬상 소자(200)에서의 일부의 영역(영역(210))에서의 화상 생성 화소 및 시차 검출 화소의 화소 배치가 도시되어 있다.

동 도면에서는, 하나의 화소 회로를 하나의 정방형(동 도면의 (a)에서의 가장 작은 정방형)으로 나타낸다. 또한, 본 기술의 제1의 실시의 형태에서, 화상 생성 화소에 관해서는, 하나의 화소 회로가 하나의 화소를 구성하기 때문에, 하나의 정방형이 하나의 화상 생성 화소를 나타낸다.

촬상 소자(200)에는, 화상 생성 화소로서, 적색(R)의 광을 투과하는 컬러 필터에 의해 적색의 광을 수광하는 화소(R화소)와, 녹색(G)의 광을 투과하는 컬러 필터에 의해 녹색의 광을 수광하는 화소(G화소)가 배치된다. 또한, 촬상 소자(200)에는, R화소 및 G화소 외에, 화상 생성 화소로서, 청색(B)의 광을 투과하는 컬러 필터에 의해 청색의 광을 수광하는 화소(B화소)가 배치된다. 영역(210)에서, R화소, G화소 및 B화소는, 점이 붙여진 정방형, 백(白)이 붙여진 정방형, 그레이가 붙여진 정방형에 의해 나타나 있다(예를 들면, 영역(220) 내의 화소를 참조).

시차 검출 화소(230)는, 3D 화상을 생성하기 위한 시차를 검출하는 화소이다. 이 시차 검출 화소(230)는, 9개의 화소 회로에 의해 구성된다. 이 시차 검출 화소(230)에는, 9개의 화소 회로를 덮는 하나의 마이크로 렌즈가 구비된다. 또한, 화상 생성 화소에는 이 9개의 화소를 덮는 마이크로 렌즈는 구비되지 않는다. 시차 검출 화소(230)는, 녹색(G)의 광을 투과하는 컬러 필터에 의해 9개의 화소 회로가 균일하게 덮여 있다. 영역(210)에서, 시차 검출 화소(230)는, 9개의 화소 회로(9개의 가장 작은 정방형)를 태선의 정방형으로 둘러싸고, 또한, 태선의 정방형의 중에 태선의 하나의 원형(마이크로 렌즈를 도시하다)을 붙여 도시되어 있다. 즉, 영역(210)에서의 화소 회로의 행 중의 한가운데의 3행(동 도면의 (a)의 행(R1))과, 화소 회로의 열 중의 한가운데의 3행(동 도면의 (a)의 열(C1) 참조)에 시차 검출 화소(230)가 배치된다.

또한, 화층 생성 화소에 관해서는, 동 도면의 (a)에서의 영역(225)을 이용하여, 도 3의 (a)를 참조하여 설명한다. 또한, 시차 검출 화소에 관해서는, 도 3의 (b)를 참조하여 설명한다. 또한, 화층 생성 화소 및 시차 검출 화소의 단면 구성에 관해서는, 도 4의 (b)를 참조하여 설명한다.

도 2의 (b)에는, 동 도면의 (a)에서 도시한 영역(210)이 X축 방향 및 Y축 방향으로 반복된 영역이 도시되어 있다. 촬상 소자(200)에서의 화소 배치는, 동 도면의 (a)에서 도시한 영역이, X축 방향 및 Y축 방향으로 반복된 화소 배치이다. 이에 의해, 시차 검출 화소(230)는, 동 도면의 (b)의 영역(250)에서의 태선(시차 검출 화소 라인(234))으로 나타내는 바와 같이, 촬상 소자(200)의 행 방향 및 열 방향에 대해 임의의 화소 주기로 라인 형상(격자모양상태)으로 배치된다.

[화상 생성 화소 및 시차 검출 화소의 한 예]

도 3은, 본 기술의 제1의 실시의 형태에서의 촬상 소자(200)에 구비되는 화상 생성 화소 및 시차 검출 화소의 한 예를 도시하는 모식도이다.

동 도면의 (a)에는, 도 2의 (a)의 영역(225)에서의 9개의 화상 생성 화소가 도시되어 있다. 동 도면의 (a)에서는, 화상 생성 화소(R화소, G화소, B화소)가, 부호(R, G, B) 및 모양(R화소는 그레이를 붙인 영역, G화소는 백을 붙인 영역, B화소는 점을 붙인 영역)에 의해 도시되어 있다. 또한, G화소에 관해서는, R화소(R화소(226))를 포함하는 행(라인)에서의 G화소가 GR화소(227)로서 나타나고, B화소(B화소(229))를 포함하는 행(라인)에서의 G화소가 GB화소(228)로서 나타나 있다.

또한, 동 도면의 (a)에서는, 각 화상 생성 화소에 배치된 마이크로 렌즈가, 파선의 원(圓)(마이크로 렌즈(261))에 의해 도시되어 있다. 촬상 소자(200)에는, 2종류의 마이크로 렌즈를 형성하기 위해 2개의 마이크로 렌즈의 층이 마련되는데, 마이크로 렌즈(261)는, 컬러 필터의 층에 가까운 마이크로 렌즈의 층에 의해 형성되된. 또한, 화상 생성 화소의 단면도를 도 4의 (b)에서 설명하기 때문에, 여기서의 상세한 설명을 생략한다.

영역(225)(도 2의 (a)도 참조)에 도시하는 바와 같이, 화상 생성 화소는, 베이어 배열에 의해 배치된다. 또한, 각 화상 생성 화소에는, 각각의 화소를 각각 덮는 마이크로 렌즈가 하나씩 구비된다.

도 3의 (b)에는, 시차 검출 화소(시차 검출 화소(230))가 도시되어 있다. 동 도면의 (b)에서 도시하는 시차 검출 화소(230)에서는, 시차 검출 화소(230)에서의 9개의 화소 회로를, 1 내지 9의 부호를 붙인 정방형(화소 회로(1 내지 9)로 칭한다)에 의해 나타낸다. 이 화소 회로(1 내지 9)는, 녹색(G)의 광을 투과하는 컬러 필터에 의해 모든 화소 회로가 균일하게 덮여 있다.

또한, 시차 검출 화소(230)에는, 각 화소 회로에 구비되는 마이크로 렌즈가, 파선의 원(마이크로 렌즈(261))에 의해 도시되어 있다. 시차 검출 화소(230)에서의 마이크로 렌즈(261)는, 화상 생성 화소에서의 마이크로 렌즈(마이크로 렌즈(261))와 같은 것이고, 컬러 필터의 층에 가까운 마이크로 렌즈의 층에 의해 형성된다.

또한, 시차 검출 화소(230)에는, 시차 검출 화소(230)에서의 9개의 마이크로 렌즈(261)를 전부 덮도록(화소 회로(1 내지 9)를 전부 덮도록), 하나의 큰 마이크로 렌즈가 구비된다. 동 도면의 (b)에서는, 이 큰 마이크로 렌즈가, 굵은 원(시차 검출용 마이크로 렌즈(231))에 의해 도시되어 있다.

동 도면의 (b)에 도시하는 바와 같이, 시차 검출 화소(230)에서는, 하나의 큰 마이크로 렌즈가, 9개의 화소 회로를 덮도록 배치된다. 또한, 시차 검출 화소(230)에서는, 녹색(G)의 광을 투과하는 컬러 필터에 의해 9개의 화소 회로가 균일하게 덮여 있다.

[화상 생성 화소 및 시차 검출 화소의 단면 구성예]

도 4는, 본 기술의 제1의 실시의 형태에서의 화상 생성 화소 및 시차 검출 화소의 단면 구성의 한 예를 도시하는 모식도이다.

동 도면의 (a)에는, 동 도면의 (b)에서 도시하는 단면 구성의 단면 위치를 설명하기 위해, 촬상 소자(200)의 수광면의 이측에서 본 3행×9열의 화소 회로와, 동 도면의 (b)의 단면 위치(a-b선)가 도시되어 있다. 동 도면의 (b)에서는, 동 도면의 (a)에 도시하는 바와 같이, 3행×9열의 화소 회로 중, 한가운데의 3열에서의 화소 회로가 시차 검출 화소인 것을 상정하여 설명한다.

동 도면의 (b)에는, 동 도면의 (a)에서의 a-b선에 따른 단면 구성이 도시되어 있다. 동 도면의 (b)에서는, 마이크로 렌즈(261)와, R필터 (262)와, G필터 (263)와, 수광 소자(264)와, 배선(269)과, 시차 검출 화소(230)와, 시차 검출용 마이크로 렌즈(231)와, G필터 (232)가 도시되어 있다. 또한, 동 도면의 (b)에는, 마이크로 렌즈층(S1) 및 시차 검출용 마이크로 렌즈층(S2)이 도시되어 있다.

마이크로 렌즈(261)는, 피사체 광을 수광 소자에 집광하기 위한 렌즈이다. 이 마이크로 렌즈(261)는, 각 화소 회로에 하나씩 마련된다. 또한, 마이크로 렌즈(261)는, 촬상 소자에 마련된 2개의 마이크로 렌즈의 층(마이크로 렌즈층(S1) 및 시차 검출용 마이크로 렌즈층(S2)) 중의, 마이크로 렌즈층(S1)(수광 소자(264)에 가까운 쪽의 층)에 마련된다.

수광 소자(264)는, 받은 광을 전기 신호로 변환(광전 변환)함에 의해, 받은 광의 양에 응한 강도의 전기 신호를 생성하는 것이다. 이 수광 소자(264)는, 예를 들면, 포토 다이오드(PD : Photo Diode)에 의해 구성된다. 수광 소자(264)는, 각 화소 회로에 하나씩 마련된다. 즉, 9개의 화소 회로로 구성되는 시차 검출 화소(230)에는, 9개의 수광 소자가 마련되어 있다.

R필터 (262), G필터 (263) 및 G필터 (232)는, 특정한 파장역의 광을 투과하는 컬러 필터이다. R필터 (262)는, 적색(R)을 나타내는 파장역의 광을 투과하는 컬러 필터이고, R화소의 수광 소자에 적색을 나타내는 파장역의 광을 수광시킨다. 또한, G필터 (263) 및 G필터 (232)는, 녹색(G)을 나타내는 파장역의 광을 투과하는 컬러 필터이다. G필터 (263)는 G화소의 수광 소자에 녹색을 나타내는 파장역의 광을 수광시키고, G필터 (232)는 시차 검출 화소(230)의 수광 소자에 녹색을 나타내는 파장역의 광을 수광시킨다. 컬러 필터는, 화상 생성 화소에서는, 화상 생성 화소가 수광하는 파장역(R, G 또는 B)의 광에 응한 필터 (R필터 (262), G필터 (263), 또는 B필터)가 마련된다. 또한, 시차 검출 화소에서는, G필터 (263)에 의해, 시차 검출 화소에서의 9개의 화소 회로 전부가 덮인다.

배선(269)은, 각 화소 회로에서의 각 회로를 접속하기 위한 배선이다. 이 각 회로를 접속하기 위한 배선은, 예를 들면, 동 도면의 (b)에 나타내는 배선(269)과 같이, 3개의 배선이 광축에 대해 층상으로 배치된다. 또한, 배선(269)은, 메탈이기 때문에, 인접하는 화소에 새어 들어가는 피사체 광을 차광하는 차광층으로서도 기능한다. 또한, 배선(269)은, 각 화소 회로의 단에서, 수광 소자에 입사한 광을 방해하지 않도록 배치된다.

시차 검출용 마이크로 렌즈(231)는, 시차를 검출하기 위해 피사체 광을 집광하는 렌즈이다. 이 시차 검출용 마이크로 렌즈(231)는, 2개의 마이크로 렌즈의 층 중의, 수광 소자로부터 먼 쪽의 층(시차 검출용 마이크로 렌즈층(S2))에서 형성된다. 즉, 시차 검출 화소(230)에서, 시차 검출용 마이크로 렌즈(231)는, 시차 검출 화소(230)의 마이크로 렌즈(마이크로 렌즈(261))의 위(Z축 방향에서 마이너스측)에, 마이크로 렌즈(261)를 덮도록 배치된다. 또한, 시차 검출용 마이크로 렌즈층(S2)에서의 화상 생성 화소의 위치에는, 마이크로 렌즈는 형성되지 않고, 광의 통과를 방해하지 않는 평탄한 면으로 된다.

다음에, 시차 검출 화소의 시차 검출용 마이크로 렌즈에 입사하는 피사체 광과 화소 회로와의 관계에 관해, 도 5를 참조하여 설명한다.

[시차 검출 화소에 입사하는 피사체 광의 예]

도 5는, 본 기술의 제1의 실시의 형태에서의 시차 검출 화소가 수광하는 피사체 광을 모식적으로 도시하는 도면이다.

동 도면에서는, 시차 검출 화소(230)의 단면 구성이 동 도면의 (b)에 도시되고, 이 시차 검출 화소(230)에서 본 조리개의 형상인 사출동(사출동(E1))이 동 도면의 (a)에 모식적으로 도시되어 있다. 또한, 사출동은, 본래는 원형에 가까운 형태이지만, 설명의 편의상, 동 도면의 (a)에서는, Y축 방향을 단축한 사출동(타원형)을 나타낸다. 또한, 사출동에 관해서는, 촬상 소자(200)측에서 본 경우의 도면을 나타낸다.

또한, 동 도면의 (b)에서 도시하는 시차 검출 화소(230)의 단면 구성은, 도 4의 (b)에서의 시차 검출 화소(230)의 단면 구성과 같다. 또한, 도 4의 (b)에서는, 화소 회로(4)(도 3의 (b)참조)의 수광 소자가 수광 소자(4)(291)로서 나타나고, 화소 회로(5)의 수광 소자가 수광 소자(5)(292)로서 나타나고, 화소 회로(6)의 수광 소자가 수광 소자(6)(293)로서 나타나 있다.

또한, 동 도면의 (b)에는, 수광 소자(4)(291)가 수광하는 피사체 광의 일부가, 점을 많이 붙인 영역(영역(R23))에 의해 도시되어 있다. 또한, 수광 소자(5)(292)가 수광하는 피사체 광의 일부가, 그레이를 붙인 영역(영역(R22))에 의해 도시되어 있다. 또한, 수광 소자(6)(293)가 수광하는 피사체 광의 일부가, 점을 적게 붙인 영역(영역(R21))에 의해 도시되어 있다.

또한, 동 도면의 (a)의 사출동(E1)에는, 동 도면의 (b)의 영역(21)에 의해 나타낸 피사체 광(화소 회로(6)가 수광하는 피사체 광)이 통과하는 영역이, 사출동(E1)에서의 점을 적게 붙인 영역(영역(R11))에 의해 도시되어 있다. 마찬가지로, 영역(22)에 의해 나타낸 피사체 광(화소 회로(5)가 수광하는 피사체 광)이 통과하는 영역이, 사출동(E1)에서의 그레이를 붙인 영역(영역(R12))에 의해 나타나고, 영역(23)에 의해 나타낸 피사체 광(화소 회로(4)가 수광하는 피사체 광)이 통과하는 영역이, 사출동(E1)에서의 점을 많이 붙인 영역(영역(R13))에 의해 도시되어 있다. 또한 사출동(E1)에는 그 밖의 화소 회로에 의해 수광되는 피사체 광이 통과하는 영역이, 영역(14 내지 19)에 의해 도시되어 있다.

여기서, 수광 소자(4 내지 6)(291 내지 293)가 각각 수광하는 피사체 광과, 사출동(E1)에서의 영역(R11 내지 R13) 사이의 관계에 관해 설명한다. 시차 검출용 마이크로 렌즈(231)는, 사출동(E1)에서의 특정한 영역(각각의 수광 소자에 대응하는 영역)을 통과한 피사체 광이 화소 회로(1 내지 9)의 각각의 수광 소자에 수광되도록 피사체 광을 집광하는 역할을 다한다. 이에 의해, 화소 회로(4)의 수광 소자(수광 소자(4)(291))는, 영역(R13)을 통과한 피사체 광을 수광한다. 또한, 화소 회로(5)의 수광 소자(수광 소자(5)(292))는, 영역(R12)을 통과한 피사체 광을 수광하고, 화소 회로(6)의 수광 소자(수광 소자(6)(293))는, 영역(R11)을 통과한 피사체 광을 수광한다. 또한, 도시는 하지 않는 화소 회로(1 내지 3) 및 화소 회로(7 내지 9)에 대해서도 마찬가지이다. 화소 회로(1)의 수광 소자는 영역(19)을 통과한 피사체 광을 수광하고, 화소 회로(2)의 수광 소자는 영역(18)을 통과한 피사체 광을 수광하고, 화소 회로(3)의 수광 소자는 영역(17)을 통과한 피사체 광을 수광한다. 또한, 화소 회로(7)의 수광 소자는 영역(16)을 통과한 피사체 광을 수광하고, 화소 회로(8)의 수광 소자는 영역(15)을 통과한 피사체 광을 수광하고, 화소 회로(9)의 수광 소자는 영역(14)을 통과한 피사체 광을 수광한다.

[시차 검출 화소에 의한 시차 검출의 원리의 한 예]

도 6은, 본 기술의 제1의 실시의 형태에서의 시차 검출 화소(230)에 의한 시차 검출의 원리를 모식적으로 도시하는 도면이다.

동 도면의 (a) 및 (c)에서는, 사출동(사출동(E1))의 좌측을 통과하는 피사체 광(유저의 좌안이 수광하는 피사체 광에 상당)의 상면에서의 결상 위치가 모식적으로 도시되어 있다. 또한, 동 도면의 (b) 및 (d)에서는, 사출동(사출동(E1))의 우측을 통과하는 피사체 광(유저의 우안이 수광하는 피사체 광에 상당)의 상면에서의 결상 위치가 모식적으로 도시되어 있다.

동 도면의 (a) 및 (b)에는, 포커스가 맞아 있는 물체(합초 물체)가, 사출동(E1)의 상방(Z축 방향에서 사출동(E1)보다 마이너스측)의 검은 사각형(합초 물체(271))에 의해 도시되어 있다. 또한, 합초 물체(271)보다 촬상 장치(100)에 가까운 위치에 있는 물체(근위치 물체)가, 사출동(E1)의 상방으로서 합초 물체(271)보다 아래의 위치의 점을 붙인 원형(근위치 물체(272))에 의해 도시되어 있다. 또한, 합초 물체(271) 및 근위치 물체(272)는, 설명의 편의상, 사출동(E1)의 중심(midpoint)을 통과하는 선으로서, 렌즈의 광축에 평행한 선(동 도면의 (a) 및 (b)에서의 쇄선)의 위에 있는 것을 상정한다.

또한, 합초 물체(271) 및 근위치 물체(272)로부터의 광의 광로가, 사출동(E1)을 통과하여, 상면까지 늘어나는 선(합초 물체(271)는 실선(선(L1) 또는 선(L3)), 근위치 물체(272)는 파선(선(L2) 또는 선(L4)))에 의해 도시되어 있다. 그리고, 합초 물체(271) 및 근위치 물체(272)의 상면에서의 결상 위치가, 선(L1 내지 L4)과 상면이 교차하는 위치가 검은 사각형 및 점을 붙인 원형에 의해 도시되어 있다. 또한, 근위치 물체(272)로부터의 광에 관해서는, 이 근위치 물체(272)에 대해 합초하고 있는 것을 상정한 경우의 결합 위치가, 파선(선(L2) 또는 선(L4))과 쇄선이 교차하는 위치에서의 파선의 원형에 의해 모식적으로 도시되어 있다.

또한, 도 6의 (c) 및 (d)에는, 동 도면의 (a) 및 (b)에서 도시한 상면을 이면(촬상 소자(200)의 수광면의 반대측)에서 본 상(화상(281 및 282))이 모식적으로 도시되어 있다. 화상(281)에는, 검은 사각형 및 점을 붙인 원형이 나타나고, 또한, 검은 사각형과 점을 붙인 원형 사이의 거리(-△X)가 도시되어 있다. 마찬가지로, 화상(282)에는, 검은 사각형과, 점을 붙인 원형과, 거리(+△X)가 도시되어 있다.

여기서, 사출동(E1)의 좌측을 통과하는 피사체 광의 결상 위치 및 우측을 통과하는 피사체 광의 결상 위치에 관해, 동 도면의 (a) 내지 (d)를 이용하여 설명한다.

우선, 포커스가 맞아 있는 경우(합초)의 광로를 나타내고 있는 합초 물체(271)로부터의 광의 광로(선(L1 및 L3))에 관해 설명한다. 촬상한 물체에 대해 합초하고 있는 경우에는, 사출동(E1)을 통과한 피사체 광은, 사출동(E1)에서의 피사체 광이 통과하는 위치에 관계없이, 그 물체의 위치에 대응하는 상면의 위치에 입사(집광)한다. 즉, 사출동(E1)의 좌측을 통과한 합초 물체(271)로부터의 광의 결상 위치와, 사출동(E1)의 우측을 통과한 합초 물체(271)로부터의 광의 결상 위치는 같은 위치가 된다.

한편, 촬상하는 물체에 대해 포커스가 어긋나 있는 경우에는, 사출동(E1)에서의 피사체 광의 통과하는 위치의 차이에 응하여, 상면에서의 입사 위치가 다르다. 본래, 상면과는 다른 면상에서 집광(동 도면의 (a) 및 (b)의 상면의 아래의 점선의 원형이 집광 위치)하는 광을 상면에서 수광하기 때문에, 상면에서는, 포커스의 어긋남의 정도에 응하여 광이 입사하는 위치가 어긋난다. 동 도면의 (a) 및 (b)의 근위치 물체(272), 선(L2) 및 선(L4)에 의해 도시하는 바와 같이, 앞측 초점면(합초 물체(271)가 위치하는 면)보다 렌즈측에 촬상 물체가 있는 경우에는, 후측 초점면(점선의 원형이 위치하는 면)은, 상면의 뒤(Z축 방향의 플러스측)가 된다. 즉, 근위치 물체(272)로부터 사출동(E1)의 좌측을 통과하여 상면에 입사하는 광(선(L2))은, 상면에서, 합초 물체(271)로부터의 광이 입사한 위치보다도, 왼쪽으로 어긋난 위치에 입사한다(동 도면의 (a)참조). 또한, 근위치 물체(272)로부터 사출동(E1)의 우측을 통과하여 상면에 입사하는 광(선(L4))은, 상면에서, 합초 물체(271)로부터의 광이 입사하는 위치보다도, 오른쪽으로 어긋난 위치에 입사한다(동 도면의 (b)참조).

이와 같이, 포커스가 어긋나 있는 물체를 촬상하면, 사출동의 좌측을 통과한 그 물체로부터의 광과, 우측을 통과한 그 물체로부터의 광과의 사이에서, 상면에서의 입사 위치가, 포커스의 어긋남의 정도에 응하여 어긋난다. 이 어긋남에 의해, 화상 생성 화소의 신호로부터 생성되는 화상에서는, 핀트가 어긋나면 흐림이 생긴다. 한편, 시차 검출 화소(230)에서는, 사출동의 좌측을 통과한 광은 3행×3열(9개)의 화소 회로 중의 오른쪽 열(도 3의 (b)의 화소 회로(3, 6, 9))의 화소 회로의 수광 소자에 의해 수광되고, 또한, 사출동의 우측을 통과한 광은, 왼쪽의 열(도 3의 (b)의 화소 회로 1, 4, 6)의 화소 회로의 수광 소자에 의해 수광된다.

즉, 시차 검출 화소(230)의 오른쪽 열(3열째)의 화소 회로로부터의 신호에 의해, 동 도면의 (a) 및 (c)에 도시하는 바와 같이, 좌안의 상의 정보를 생성할 수 있다. 또한, 시차 검출 화소(230)의 왼쪽의 열(1열째)의 화소 회로로부터의 신호에 의해, 동 도면의 (b) 및 (d)에 도시하는 바와 같이, 우안의 상의 정보를 생성할 수 있다. 이와 같이, 시차 검출 화소(230)로부터의 신호에 의거하여 화상을 생성하면, 화상(281 및 282)에 도시하는 바와 같이, 물체의 거리에 응하여 상이 어긋나 있는 2장의 화상을 생성할 수 있다.

[횡 위치 촬영에서의 시차 검출 방향의 예]

도 7은, 본 기술의 제1의 실시의 형태에서의 촬상 장치(100)를 이용하여 횡 위치 촬영을 행하는 경우에 있어서의 시차 검출 화소(230)에 의한 시차 검출의 방향의 한 예를 모식적으로 도시하는 도면이다.

동 도면의 (a)에는, 동 도면에서 상정하는 촬상 장치(100)의 자세가 도시되어 있다. 동 도면에서는, 동 도면의 (a)에 도시하는 바와 같이, 촬상 장치(100)를 가로(좌우가 X축 방향, 상하가 Y축 방향)로 하여, 화상의 긴변이 수평 방향이고 짧은변이 수직 방향이 되도록 촬영(횡 위치 촬영)하는 것을 상정한다.

또한, 촬상 장치(100)를 반 시계방향으로 90°회전시켜서, 촬상 장치(100)를 세로로 하여 촬영(종 위치 촬영)을 행하는 경우에 관해서는, 도 8에서 설명한다.

동 도면의 (b)에는, 횡 위치 촬영을 행하는 경우의 촬상 소자(200)의 자세와, 이 자세에서 시차 검출에 이용되는 시차 검출 화소(230)를 나타내는 라인(시차 검출 라인(행 방향)(235))이 도시되어 있다. 또한, 동 도면의 (b)에서는, 도 2의 (b)에서 도시한 영역(250)을 그대로 나타내고, 촬상 소자(200)에서의 화소의 배치로서 나타내고 있다.

동 도면의 (b)에서는, 긴변 방향(X축 방향)이 좌우(수평)이고, 짧은변 방향(Y축 방향)이 상하인 촬상 소자(200)가 도시되어 있다. 또한, 촬상 소자(200)에는, 행 및 열 방향으로 라인 형상으로 배치되는 시차 검출 화소(230) 중, 횡 위치 촬영에서의 시차 검출에 이용되는 시차 검출 화소(230)가 배치되어 있는 라인이, 굵은 실선(시차 검출 화소 라인(행 방향)(235))에 의해 도시되어 있다.

동 도면의 (b)에 도시하는 바와 같이, 횡 위치 촬영의 경우에는, 촬상 소자(200)의 행 방향으로 라인 형상으로 배치된 시차 검출 화소(230)를 이용하여 시차가 검출된다. 이에 의해, 수평 방향(좌우)에서의 시차를 검출할 수 있다.

동 도면의 (c)에는, 횡 위치 촬영을 행하는 경우에 있어서의 시차 검출 화소(230)의 자세가 도시되어 있다. 또한, 시차 검출 화소(230)에서는, 우안에 관한 신호를 생성하는 화소 회로를, 점을 많이 붙인 사각형(화소 회로(1, 4, 7))에 의해 나타내고 있다. 마찬가지로, 좌안에 관한 정보를 생성하는 화소 회로를, 점을 적게 붙인 사각형(화소 회로(3, 6, 9))에 의해 나타내고 있다. 또한, 동 도면의 (c)에서는, 설명의 편의상, 도 3의 (b)에서 도시한 파선의 원(마이크로 렌즈(261))은 생략하고 나타낸다.

도 7의 (c)에 도시하는 바와 같이, 횡 위치 촬영을 행하는 경우에는, 촬상 소자(200)의 행 방향으로 배치된 시차 검출 화소(230)를 이용하여 시차가 검출된다.

[종 위치 촬영에서의 시차 검출 방향의 예]

도 8은, 본 기술의 제1의 실시의 형태에서의 촬상 장치(100)를 이용하여 종 위치 촬영을 행하는 경우에 있어서의 시차 검출 화소(230)에 의한 시차 검출의 방향의 한 예를 모식적으로 도시하는 도면이다.

동 도면의 (a)에는, 동 도면에서 상정하는 촬상 장치(100)의 자세가 도시되어 있다. 동 도면의 (a)에서의 촬상 장치(100)는, 도 7의 (a)에서의 촬상 장치(100)를 반 시계방향으로 90°회전시킨 자세이다. 이와 같이, 도 8에서는, 동 도면의 (a)에 도시하는 바와 같이, 촬상 장치(100)를 세로(좌우가 Y축 방향, 상하가 X축 방향)로 하여 촬영(종 위치 촬영)하는 것을 상정한다.

동 도면의 (b)에는, 종 위치 촬영을 행하는 경우의 촬상 소자(200)의 자세와, 이 자세에서 이용되는 시차 검출 화소(230)를 나타내는 라인(시차 검출 라인(열 방향)(236))이 도시되어 있다.

동 도면의 (b)에서는, 긴변 방향(X축 방향)이 상하이고, 짧은변 방향(X축 방향)이 좌우(수평)인 촬상 소자(200)가 도시되어 있다. 동 도면의 (b)에서의 촬상 소자(200)는, 도 7의 (b)에서의 촬상 소자(200)를 반 시계방향으로 90°회전시킨 것이다. 또한, 도 8의 (b)의 촬상 소자(200)에는, 행 및 열 방향으로 라인 형상으로 배치된 시차 검출 화소(230) 중, 종 위치 촬영에서의 시차 검출에 이용되는 시차 검출 화소(230)가 배치되어 있는 라인이, 굵은 실선(시차 검출 화소 라인(열 방향)(236))에 의해 도시되어 있다.

동 도면의 (b)에 도시하는 바와 같이, 종 위치 촬영의 경우에는, 촬상 소자(200)의 열 방향으로 라인 형상으로 배치된 시차 검출 화소(230)를 이용하여 시차가 검출된다. 이에 의해, 촬상 장치(100)를 세로(화상의 긴변이 상하, 짧은변이 좌우)로 하여 이용하고 있는 경우에도, 수평 방향(좌우)에서의 시차를 검출할 수 있다.

동 도면의 (c)에는, 종 위치 촬영을 행하는 경우에 있어서의 시차 검출 화소(230)의 자세가 도시되어 있다. 이 동 도면의 (c)에서의 시차 검출 화소(230)는, 도 7의 (c)에서의 시차 검출 화소(230)를 반 시계방향으로 90°회전시킨 것이다. 또한, 도 8의 (c)의 시차 검출 화소(230)에서는, 우안에 관한 신호를 생성하는 화소 회로를, 점을 많이 붙인 사각형(화소 회로(1 내지 3))에 의해 나타내고 있다. 마찬가지로, 좌안에 관한 정보를 생성하는 화소 회로를, 점을 적게 붙인 사각형(화소 회로(7 내지 9))에 의해 나타내고 있다.

이와 같이, 종 위치 촬영을 행하는 경우에는, 촬상 소자(200)의 열 방향으로 라인 형상으로 배치된 시차 검출 화소(230)를 이용하여 시차가 검출된다. 이에 의해, 횡 위치 촬영의 경우와 마찬가지로, 인간이 직립하고 있는 경우의 좌안 및 우안에 대응하는 정보(시차가 수평 방향의 정보)를 생성할 수 있다.

[3D 화상의 생성예]

도 9는, 본 기술의 제1의 실시의 형태의 촬상 장치(100)에서의 3D 화상의 생성예를 도시하는 모식도이다.

동 도면에서는, 피사체를 촬상한 촬상 소자(200)가 생성하는 화상 데이터에 의거하여, 2D 화상 생성부(310), 시차 검출부(320) 및 3D 화상 생성부(330)가 각각 생성하는 화상을 나타낸다. 또한, 동 도면에서는, 이들의 화상을 이용하여, 촬상 소자(200)가 생성한 화상 데이터에 의거하여 입체 화상(좌안 화상 및 우안 화상)이 생성되기 까지의 흐름을 차예로 설명한다. 또한, 동 도면에서는, 도 7과 같이, 횡 위치 촬영에 의해 촬영하는 것을 상정한다.

우선, 2D 화상 생성부(310)에 의한 2D 화상(평면 화상)의 생성에 관해, 동 도면의 (a) 및 (b)를 참조하여 설명한다.

동 도면의 (a)에는, 촬상 소자(200)에서의 화상 생성 화소가 생성한 신호에 의거하여 2D 화상 생성부(310)에 의해 생성되는 평면 화상으로서, 시차 검출 화소의 신호의 보간을 행하기 전의 평면 화상(평면 화상(311))이 도시되어 있다. 평면 화상(311)에는, 촬상된 물체로서, 2인의 인물(인물(351) 및 인물(352))이 도시되어 있다. 동 도면에서는, 인물(352)에 합초하고 있는 상태에서 촬상하는 것을 상정한다. 또한, 동 도면에서는, 인물(351)은, 인물(352)보다도 렌즈에 가까운 위치에 있는 것을 상정한다. 즉, 인물(351)에 대해서는 포커스 어긋남이 생기고 있는 것을 상정한다. 인물(351)을 4중으로 둘러싸고 있는 파선은, 포커스 어긋남에 의한 상의 흐림이 모식적으로 도시되어 있다.

또한, 평면 화상(311)에는, 시차 검출 화소가 배치되어 있던 위치에서 화상 생성용의 신호가 없는(화소치가 없는) 것이, 평면 화상(311)에서 데이터 (화소치)가 없는 것을 나타내는 복수의 회색의 라인(화소치 결락 라인(353))에 의해 도시되어 있다.

이와 같이, 화상 생성 화소가 생성한 신호로부터는, 시차 검출 화소의 위치의 화소치가 결략된 화상(평면 화상(311))이 생성된다. 그래서, 2D 화상 생성부(310)는, 시차 검출 화소의 위치의 화소치를 보간하여, 화소치의 결락이 보간된 평면 화상을 생성한다.

도 9의 (b)에는, 동 도면의 (a)에서 도시한 평면 화상(311)에 대해 2D 화상 생성부(310)가 보간 처리를 행한 후의 화상(평면 화상(312))이 도시되어 있다. 평면 화상(311)에 대해 2D 화상 생성부(310)가 보간 처리를 행함에 의해, 화소치가 결락(동 도면의 (a)의 화소치 결락 라인(353))하고 있던 것에서의 화소치가 보간된다. 또한, 그 밖의 보간 처리나 디모자이크 처리가 행하여져서, 시차 검출 화소를 구비하지 않은 화상 생성 화소만의 촬상 소자(일반적인 촬상 소자)에 의해 촬상된 화상과 같은 평면 화상(평면 화상(312))이 생성된다. 그리고, 이 생성된 평면 화상(312)은, 3D 화상 생성부(330)에 공급된다.

다음에, 시차 검출부(320)에 의한 시차 정보 화상의 생성에 관해, 동 도면의 (c) 및 (d)를 참조하여 설명한다.

동 도면의 (c)에는, 촬상 소자(200)에서의 시차 검출 화소가 생성한 신호에 의거하여 시차 검출부(320)에 의해 생성된 2개의 화상으로서, 시차 정보 화상의 기초가 되는 2개의 화상(좌안 정보 화상(321) 및 우안 정보 화상(322))이 도시되어 있다.

좌안 정보 화상(321)은, 시차 검출 화소에서의 9개의 화소 회로 중, 유저의 좌안이 수광하는 광에 상당하는 피사체 광을 수광한 화소 회로로부터의 신호에 의거하여 생성되는 화상이다. 또한, 우안 정보 화상(322)은, 시차 검출 화소에서의 9개의 화소 회로 중, 유저의 우안이 수광하는 광에 상당하는 피사체 광을 수광한 화소 회로로부터의 신호에 의거하여 생성되는 화상이다.

또한, 좌안 정보 화상(321)에는, 동 도면의 (a)에서 도시한 인물(351)에 대응하는 인물(361)과, 동 도면의 (a)의 인물(352)에 대응하는 인물(362)이 도시되어 있다. 마찬가지로, 우안 정보 화상(322)에는, 동 도면의 (a)의 인물(351)에 대응하는 인물(363)과, 동 도면의 (a)의 인물(352)에 대응하는 인물(364)이 도시되어 있다.

여기서, 시차 검출부(320)에 의한 좌안 정보 화상(321) 및 우안 정보 화상(322)의 생성에 관해 설명한다.

시차 검출부(320)는, 자세 검출부(140)로부터 공급되는 자세 정보에 의거하여, 좌안 정보 화상(321)이 되는 신호를 생성한 화소 회로 및 우안 정보 화상(322)이 되는 신호를 생성한 화소 회로를 결정한다. 동 도면에서는 횡 위치 촬영에 의해 화상이 촬상되기 때문에, 시차 검출부(320)는, 도 7에서 도시한 바와 같이, 오른쪽 열의 화소 회로(도 7의 (b)의 화소 회로(3, 6, 9))의 신호로부터 좌안 정보 화상(321)을 생성한다. 또한, 왼쪽의 열의 화소 회로(도 7의 (b)의 화소 회로(1, 4, 7))의 신호로부터 우안 정보 화상(322)을 생성한다. 그리고, 시차 검출부(320)는, 이들의 생성한 화상(좌안 정보 화상(321), 우안 정보 화상(322))에 의거하여, 시차 정보 화상을 생성한다.

도 9의 (d)에는, 좌안 정보 화상(321) 및 우안 정보 화상(322)에 의거하여 생성된 시차 정보 화상(시차 정보 화상(323))이 모식적으로 도시되어 있다.

시차 정보 화상(323)에는, 좌안 정보 화상(321)에서의 인물(361)과, 우안 정보 화상(322)에서의 인물(363)에 의거하여 검출된 시차를 포함하는 상(인물(371))이 도시되어 있다. 마찬가지로, 시차 정보 화상(323)에는, 좌안 정보 화상(321)에서의 인물(362)과, 우안 정보 화상(322)에서의 인물(364)에 의거하여 검출된 시차를 포함하는 상(인물(372))이 도시되어 있다.

여기서, 시차 정보 화상(323)에 관해, 시차 정보 화상(323)에서 도시되어 있는 2개의 상(인물(371) 및 인물(372))에 주목하여 설명한다.

인물(371)은, 좌안 정보 화상(321)에서의 인물(361)과, 우안 정보 화상(322)에서의 인물(363)이 서로 겹쳐져 있는 것 같이(2개의 인물의 상이, 좌우로 조금 어긋나 겹쳐져 있는 것처럼), 시차 정보 화상(323)에서 도시되어 있다. 인물(371)로부터 상하로 늘어나 있는 2개의 점선의 간격(거리(373))은, 좌우로 조금 어긋나서 겹쳐져 있는 2개의 상의 간격을 나타내고 있다. 동 도면에서, 인물(371)이 나타내는 물체에는 포커스가 어긋나 있다(동 도면의 (a) 및 (b)의 인물(351)을 참조). 즉, 도 6에 도시한 바와 같이 시차가 발생하고, 좌안 정보 화상(321)에서의 인물(361)과, 우안 정보 화상(322)에서의 인물(363)의 사이에는, 포커스의 어긋남 량에 응한 위치의 어긋남이 생긴다. 도 9의 (d)의 거리(373)는, 이 위치의 어긋남(시차)을 모식적으로 나타내고 있다.

한편, 인물(372)은, 좌안 정보 화상(321)에서의 인물(362)과, 우안 정보 화상(322)에서의 인물(364)이 꼭 일치하고 있는 것처럼(하나의 인물의 상과 같이), 시차 정보 화상(323)에서 도시되어 있다. 동 도면에서, 인물(372)(인물(362) 및 인물(364))이 나타내는 물체에는 합초하고 있기 때문에(동 도면의 (a) 및 (b)의 인물(352)을 참조), 이 인물의 상에 대한 시차는 없다(시차가 「0」). 즉, 좌안 정보 화상(321)에서의 인물(362)의 위치와, 우안 정보 화상(322)에서의 인물(364)의 위치와는 일치하고 있다. 즉, 동 도면의 (d)에서는, 시차 정보 화상(323)에서의 인물(372)의 상에는 시차에 관한 정보가 없는 것이 도시되어 있다.

동 도면의 (d)에서 도시한 시차 정보 화상(323)은, 생성된 후에, 3D 화상 생성부(330)에 공급된다.

다음에, 3D 화상 생성부(330)에 의한 입체 화상(좌안 화상 및 우안 화상)의 생성에 관해, 동 도면의 (e)를 참조하여 설명한다.

동 도면의 (e)에는, 3D 화상 생성부(330)에서, 평면 화상(312) 및 시차 정보 화상(323)에 의거하여 생성된 좌안(L)화상(좌안 화상(331)) 및 우안(R)화상(우안 화상(332))이 모식적으로 도시되어 있다. 또한, 평면 화상과 시차 정보 화상에 의거하여 입체 화상을 생성하는 방법에 관해서는, 여러 가지의 방법이 생각되지만, 여기서는, 한 예로서, 시차 정보 화상에 의거하여 평면 화상에서의 각 물체의 위치를 어긋내어서 좌안 화상 및 우안 화상을 생성하는 예에 관해 설명한다.

좌안 화상(331)은, 촬상한 화상을 시청한 유저의 좌안에 대해 표시하기 위한 화상이다. 좌안 화상(331)에는, 평면 화상(312)의 인물(352)의 위치 및 시차 정보 화상(323)의 인물(372)의 위치와 같은 위치에 인물(382)이 도시되어 있다. 또한, 좌안 화상(331)에는, 시차 정보 화상(323)의 인물(371)의 우측의 위치(좌안 정보 화상(321)의 인물(361)의 위치)와 같은 위치에, 인물(381)이 도시되어 있다. 이 인물(381)은, 평면 화상(312)의 인물(351)의 위치를 어긋낸 상이다. 또한, 동 도면의 (b)에는, 인물(381)의 위치를 모식적으로 나타내기 때문에, 인물(381)의 중심(midpoint)으로부터 상하로 향하여 늘어나는 점선(선(L11))이 도시되어 있다.

우안 화상(332)은, 촬상한 화상을 시청한 유저의 우안에 대해 표시하기 위한 화상이다. 우안 화상(332)에는, 평면 화상(312)의 인물(352)의 위치 및 시차 정보 화상(323)의 인물(372)의 위치와 같은 위치에 인물(384)이 도시되어 있다. 또한, 우안 화상(332)에는, 시차 정보 화상(323)의 인물(371)의 좌측의 위치(우안 정보 화상(322)의 인물(363)의 위치)와 같은 위치에, 인물(383)이 도시되어 있다. 이 인물(383)은, 평면 화상(312)의 인물(351)의 위치를 어긋낸 상이다. 또한, 동 도면의 (b)에는, 인물(383)의 위치를 모식적으로 나타내기 때문에, 인물(383)의 중심으로부터 상하로 향하여 늘어나는 점선(선(L12))이 나타나고, 또한, 선(L11)과 선(L12) 사이의 거리를 나타내는 화살표(거리(373))가 도시되어 있다. 즉, 좌안 화상(331)의 인물(381)로부터 거리(373)만큼 왼쪽으로 어긋난 위치에 인물(383)이 도시되어 있다.

동 도면의 (e)에서 도시하는 좌안 화상(331) 및 우안 화상(332)으로 구성되는 입체 화상(3D 화상)을, 3D 화상 생성부(330)는, 평면 화상(312) 및 시차 정보 화상(323)에 의거하여 생성한다. 즉, 3D 화상 생성부(330)는, 평면 화상(312)에서의 각 물체의 위치를 시차 정보 화상(323)이 나타내는 시차에 응하여 어긋내어서, 좌안 화상(331) 및 우안 화상(332)을 생성한다. 시차 정보 화상(323)에서의 인물(372)은 시차 정보가 없기 때문에, 3D 화상 생성부(330)는, 평면 화상(312)의 인물(352)의 위치를 그대로로 하여(인물(382) 및 인물(384)), 좌안 화상(331) 및 우안 화상(332)을 생성한다. 또한, 3D 화상 생성부(330)는, 평면 화상(312)의 인물(351)의 위치를 시차 정보 화상(323)에서의 인물(371)이 나타내는 시차에 응하여 어긋내어서(인물(381) 및 인물(383)), 좌안 화상(331) 및 우안 화상(332)을 생성한다. 3D 화상 생성부(330)는, 생성한 입체 화상(좌안 화상(331) 및 우안 화상(332))을, 입체 화상 컨텐츠로서, 표시부(151) 및 기억부(152)에 공급한다.

이와 같이, 신호 처리부(300)에 의해, 평면 화상 및 시차 정보 화상에 의거하여, 입체 화상이 생성된다.

[촬상 장치의 동작예]

다음에, 본 기술의 제1의 실시의 형태에서의 촬상 장치(100)의 동작에 관해 도면을 참조하여 설명한다.

도 10은, 본 기술의 제1의 실시의 형태에서의 촬상 장치(100)에 의해 입체 화상을 촬상할 때의 촬상 처리 순서예를 도시하는 플로 차트이다.

우선, 입체 화상을 촬상하기 위한 촬상 동작의 시작 지시가 유저에 의해 되었는지의 여부가, 제어부(130)에 의해 판단된다(스텝 S901). 그리고, 화상을 촬상하기 위한 촬상 동작의 시작 지시가 유저에 의해 되어 있지 않다고 판단된 경우에는(스텝 S901), 촬상 처리 순서는 종료한다.

한편, 입체 화상을 촬상하기 위한 촬상 동작의 시작 지시가 유저에 의해 되어 있다고 판단된 경우에는(스텝 S901), 입체 화상의 구도를 결정하기 위해, 라이브 뷰 화상이 표시부(151)에 표시된다(스텝 S902). 계속해서, 입체 화상의 구도를 결정한 유저에 의해 셔터 버튼이 반 누름(半押)되엇는지의 여부가, 제어부(130)에 의해 판단된다(스텝 S903). 그리고, 셔터 버튼이 반누름되어 있지 않다고 판단된 경우에는(스텝 S903), 스텝 S908로 진행한다.

한편, 셔터 버튼이 반누름되어 있다고 판단된 경우에는(스텝 S903), 포커스 렌즈(113)를 구동시켜서 포커스를 맞추는 대상물(합초 대상물)에 포커스를 맞추는 합초 처리가 행하여진다(스텝 S904). 다음에, 유저에 의해 셔터 버튼이 전누름되었는지의 여부가, 제어부(130)에 의해 판단된다(스텝 S903). 그리고, 셔터 버튼이 전 누름(全押)되어 있지 않다고 판단된 경우에는(스텝 S905), 스텝 S902로 되돌아온다.

한편, 셔터 버튼이 전누름되어 있다고 판단된 경우에는(스텝 S905), 촬상 소자(200)에 의해 피사체가 촬상된다(스텝 S906). 그리고, 그 촬상에 의한 화상 데이터에 의거하여 입체 화상(3D 화상)을 생성하는 입체 화상 생성 처리가, 신호 처리부(300)에 의해 행하여진다(스텝 S920). 또한, 입체 화상 생성 처리(스텝 S920)에 관해서는, 도 11을 참조하여 설명한다.

계속해서, 생성된 입체 화상이, 기억부(152)에 의해 기억된다(스텝 S907). 그리고, 입체 화상을 촬상하기 위한 촬상 동작의 종료 지시가 유저에 의해 되었는지의 여부가, 제어부(130)에 의해 판단된다(스텝 S908). 그리고, 입체 화상을 촬상하기 위한 촬상 동작의 종료 지시가 유저에 의해 되어 있지 않다고 판단된 경우에는(스텝 S908), 스텝 S902로 되돌아온다.

한편, 입체 화상을 촬상하기 위한 촬상 동작의 종료 지시가 유저에 의해 되어 있다고 판단된 경우에는(스텝 S908), 촬상 처리 순서는 종료한다.

도 11은, 본 기술의 제1의 실시의 형태의 촬상 처리 순서에서의 입체 화상 생성 처리(스텝 S920)의 처리 순서예를 도시하는 플로 차트이다.

우선, 촬상 소자(200)로부터 공급되는 화상 데이터에서의 화상 생성 화소의 화소치에 의거하여, 평면 화상(2D 화상)이 2D 화상 생성부(310)에 의해 생성된다(스텝 S921). 계속해서, 생성된 평면 화상에서의 시차 검출 화소의 위치의 화소치가, 2D 화상 생성부(310)에 의해 보간된다(스텝 S922).

다음에, 촬상 소자(200)가 피사체를 촬상한 때의 자세에 관한 정보(자세 정보)가, 시차 검출부(320)에 의해 자세 검출부(140)로부터 취득된다(스텝 S923). 그리고, 자세 정보에 의거하여 좌우 방향(수평 방향)을 검출하고, 시차 검출 화소에서의 9개의 화소 회로 중에서, 좌안의 데이터를 생성하는 화소 회로와, 우안의 데이터를 생성하는 화소 회로가, 시차 검출부(320)에 의해 결정된다(스텝 S924).

계속해서, 촬상 소자(200)로부터 공급된 화상 데이터에서의 화소치 중, 좌안의 데이터를 생성하는 화소 회로의 화소치에 의거하여, 좌안 정보 화상이 시차 검출부(320)에 의해 생성된다(스텝 S925). 또한, 촬상 소자(200)로부터 공급되는 화상 데이터에서의 화소치 중, 우안의 데이터를 생성하는 화소 회로의 화소치에 의거하여, 우안 정보 화상이 시차 검출부(320)에 의해 생성된다(스텝 S926). 다음에, 생성된 좌안 정보 화상 및 우안 정보 화상에 의거하여, 시차 정보 화상이 시차 검출부(320)에 의해 생성된다(스텝 S927). 또한, 스텝 S925, S926 및 S927은, 청구의 범위에 기재된 시차를 검출하는 순서의 한 예이다. 또한, 스텝 S921 및 스텝 S922는, 청구의 범위에 기재된 평면 화상을 생성하는 순서의 한 예이다.

계속해서, 평면 화상 및 시차 정보 화상에 의거하여, 좌안 화상 및 우안 화상이 3D 화상 생성부(330)에 의해 생성된다(스텝 S928). 그리고, 스텝 S928의 후에, 입체 화상 생성 처리 순서는 종료한다. 또한, 스텝 S928은, 청구의 범위에 기재된 입체시 화상 생성 순서의 한 예이다.

이와 같이, 본 기술의 제1의 실시의 형태에 의하면, 시차 검출 화소가 검출한 시차에 의거하여 화상 생성 화소가 생성한 화상에서의 각 물체의 위치를 이동시킴에 의해, 해상도가 높은 입체 화상을 생성할 수 있다. 특히, 본 기술의 제1의 실시의 형태에 의하면, 시차 검출 화소를 이용하여 입체 화상을 생성하는 촬상 장치에 있어서, 유효 화소수의 감소를 억제할 수 있다. 예를 들면, 촬상 소자에서의 모든 화소가 3행×3열의 화소 회로로 구성되는 시차 검출 화소인 촬상 소자에서는, 유효 화소수는 9분의 1이 되어 버린다. 그에 대해, 본 기술의 제1의 실시의 형태에서의 촬상 소자(200)에서는, 소정의 간격마다 행 방향 및 열 방향으로 라인 위에 배치되기 때문에, 라인 사이의 간격을 크게 하면 하는 만큼, 유효 화소수의 감소를 억제할 수 있다. 또한, 하나의 화소 회로에서 하나의 화소를 구성하는 화상 생성 화소가 촬상 소자(200)에 배치되기 때문에, 평면 화상(2D 화상)도 촬상할 수가 있어서, 유저의 목적에 맞추어서, 입체 화상과 평면 화상을 선택할 수 있다.

<2. 제2의 실시의 형태>

본 기술의 제1의 실시의 형태에서는, 시차 검출 화소를 구성하는 9개의 화소 회로가 생성하는 화소치에 의거하여 입체 화상을 생성하는 예에 관해 설명하였다. 또한, 시차 검출 화소에서의 9개의 화소 회로가 생성하는 화소치는, 포커스의 어긋남에 관한 정보를 포함하고 있기 때문에, 이들의 화소치를 위상차 검출 방식에 의한 합초 판정에 이용할 수도 있다. 여기서, 위상차 검출이란, 촬상 렌즈를 통과한 광을 동분할(瞳分割)하여 한 쌍의 상(像)을 형성하고, 그 형성된 상의 간격(상 사이의 어긋남 량)을 계측(위상차를 검출)함에 의해 합초의 정도를 검출하는 초점 검출의 방법이다.

그래서, 본 기술의 제2의 실시의 형태에서는, 입체 화상의 생성에 더하여, 시차 검출 화소를 이용하여 위상차 검출에 의한 합초 판정을 행하는 촬상 장치의 예에 관해, 도 12 내지 도 16을 참조하여 설명한다.

[촬상 장치의 기능 구성예]

도 12는, 본 기술의 제2의 실시의 형태의 촬상 장치(400)의 기능 구성의 한 예를 도시하는 블록도이다.

동 도면에서 도시하는 촬상 장치(400)는, 도 1에서 도시한 촬상 장치(100)의 각 구성에 더하여, 합초 판정부(410)를 구비한다. 도 12에서의 합초 판정부(410) 이외의 각 구성은, 도 1에서 도시한 각 구성과 같은 것이기 때문에, 여기서는, 합초 판정부(410)에 주목하여 설명한다.

합초 판정부(410)는, 시차 검출 화소로부터의 신호에 의거하여, 포커스가 합초하고 있는지의 여부를 위상차 검출에 의해 판정하는 것이다. 이 합초 판정부(410)는, 촬상 소자(200)로부터 공급된 촬상 데이터에서의 시차 검출 화소의 9개의 화소 회로의 화소치에 의거하여, 포커싱을 행하는 영역(포커스 에어리어)에서의 물체(합초 대상물)에 대해 합초하고 있는지의 여부를 판정한다. 합초 판정부(410)는, 합초하고 있다고 판정한 경우에는, 합초하고 있는 것을 나타내는 정보를 합초 판정 결과 정보로서, 구동부(170)에 공급한다. 또한, 합초 판정부(410)는, 합초 대상물에 대해 포커스가 어긋나 있다고 판정한 경우에는, 포커스의 어긋남의 양(디포커스량)을 산출하고, 그 산출한 디포커스량을 나타내는 정보를 합초 판정 결과 정보로서, 구동부(170)에 공급한다.

또한, 구동부(170)는, 합초 판정부(410)로부터 출력된 합초 판정 결과 정보에 의거하여, 포커스 렌즈(113)의 구동량을 산출하고, 그 산출한 구동량에 응하여 포커스 렌즈(113)를 이동시킨다. 구동부(170)는, 포커스가 맞아 있는 경우에는, 포커스 렌즈(113)의 현재의 위치를 유지시킨다. 또한, 구동부(170)는, 포커스가 어긋나 있는 경우에는, 디포커스량을 나타내는 합초 판정 결과 정보 및 포커스 렌즈(113)의 위치 정보에 의거하여 구동량(이동 거리)을 산출하고, 그 구동량에 응하여 포커스 렌즈(113)를 이동시킨다.

[시차 검출 화소를 이용한 오토 포커스의 개념예]

도 13은, 본 기술의 제2의 실시의 형태에서 시차 검출 화소(230)에서의 9개의 화소 회로의 화소치를 이용한 오토 포커스의 개념을 모식적으로 도시하는 도면이다.

또한, 동 도면에서는, 횡 위치 촬영으로 촬상한 때의 수평 방향(동 도면의 좌우 방향)으로 한 쌍의 상을 생성하여 포커스를 검출하는 것을 상정한다.

동 도면의 (a)에는, 합초 판정을 위해 촬상 소자(200)가 촬상한 화상 데이터의 평면 화상(촬상 평면 화상(440))이 도시되어 있다. 이 촬상 평면 화상(440)에는, 촬상 대상물로서, 자동차(자동차(441))와, 인물(인물(443))과, 나무(나무(444))가 도시되어 있다. 또한, 촬상 평면 화상(440)에는, 포커스 에어리어를 나타내는 쇄선의 사각형(포커스 에어리어(442))이 도시되어 있다. 또한, 포커스의 어긋남을 모식적으로 나타내기 위해, 인물(443)이 2겹의 파선에 의해 둘러싸이고, 자동차(441)가 4겹의 파선에 의해 둘러싸여 있다.

또한, 동 도면에서는, 자동차(441), 인물(443) 및 나무(444)를 둘러싸는 파선의 수는, 포커스의 어긋남의 정도를 나타내고, 수가 많을수록 포커스가 크게 어긋나 있는 것을 나타내고 있다. 즉, 동 도면에서는, 촬상 평면 화상(440)을 촬상한 때에는 나무(444)에 대해 합초하고 있고, 인물(443) 및 자동차(441)는 포커스가 어긋나 있는(자동차(441)의 쪽이 크게 어긋나 있다) 것을 상정한다.

동 도면의 (b)에는, 합초 판정부(410)에서 생성되는 한 쌍의 상에 관해, 동 도면의 (a)에서 도시한 촬상 평면 화상(440)에 대응하는 한 쌍의 화상으로서 모식적으로 도시한 2개의 화상(좌안 정보 화상(450) 및 우안 정보 화상(460))이 도시되어 있다. 시차 검출 화소(230)는 촬상 소자(200)에서의 행 방향 및 열 방향으로 라인 형상으로 배치되어 있기(도 2 참조) 때문에, 실제로는, 좌안 정보 화상(450) 및 우안 정보 화상(460)에 나타내는 바와 같은 상은 생성되지 않는다. 그러나, 도 9에서는, 설명의 편의상, 촬상한 화상(촬상 평면 화상(440)) 전체 면에서 한 쌍의 상을 모식적으로 도시하여 설명한다.

좌안 정보 화상(450)은, 시차 검출 화소(230)에서의 9개의 화소 회로 중의 좌안에 대응하는 화소의 화소치에 의거하여 생성되는 화상을 나타내고 있다. 좌안 정보 화상(450)에서는, 도 13의 (a)의 자동차(441)에 대응하는 자동차(451)와, 동 도면의 (a)의 인물(443)에 대응하는 인물(453)과, 동 도면의 (a)의 나무(444)에 대응하는 나무(454)가 도시되어 있다.

또한, 우안 정보 화상(460)은, 시차 검출 화소(230)에서의 9개의 화소 회로 중의 우안에 대응하는 화소의 화소치에 의거하여 생성되는 화상을 나타내고 있다. 우안 정보 화상(460)에서는, 도 13의 (a)의 자동차(441)에 대응하는 자동차(461)와, 동 도면의 (a)의 인물(443)에 대응하는 인물(463)과, 동 도면의 (a)의 나무(444)에 대응하는 나무(464)가 도시되어 있다.

동 도면의 (c)에는, 합초 판정부(410)에 의한 한 쌍의 상의 간격(상 사이의 어긋남 량)의 계측을 모식적으로 나타내는 화상(비교 화상(470))이 도시되어 있다. 이 비교 화상(470)에서는, 동 도면의 (b)에서 도시한 좌안 정보 화상(450) 및 우안 정보 화상(460)을 겹친 것 같은 상이 도시되고, 자동차(471)와, 인물(473)과, 나무(474)가 도시되어 있다. 자동차(471)는, 진한 자동차가 엷은 자동차의 왼쪽에 있는 것같은 상으로 도시되어 있다. 또한, 인물(473)도, 진한 인물이 엷은 인물의 왼쪽에 있는 것같은 상으로 도시되어 있다. 한편, 나무(474)는, 진한 나무와 엷은 나무가 일치하고 있는 것같은 상으로 도시되어 있다.

비교 화상(470)에 도시하는 바와 같이, 합초 판정부(410)에서는, 한 쌍의 상(동 도면에서는, 좌안 정보 화상(450) 및 우안 정보 화상(460))을 비교한다.

그리고, 합초 판정부(410)는, 합초 대상물(인물(473))에서의 한 쌍의 상의 어긋남 량(에지 사이의 간격)으로부터 포커스의 어긋남 량(디포커스량)을 산출한다. 이 디포커스량에 의거하여 포커스 렌즈(113)가 구동됨에 의해, 합초 대상물에 대해 포커스가 일치한다.

동 도면의 (d)에는, 동 도면의 (c)의 비교 화상(470)에 의거하여 포커스 렌즈(113)가 구동된 후의 촬상 화상(렌즈 구동 후 촬상 평면 화상(490))과, 이 촬상에 의거하여 행하여지는 합초 판정(상의 비교)을 나타내는 화상(렌즈 구동 후 비교 화상(480))이 도시되어 있다.

렌즈 구동 후 비교 화상(480)에서는, 비교 화상(470)에 의해 렌즈를 구동한 후의 한 쌍의 상의 간격의 계측을 모식적으로 나타내는 화상이 도시되어 있다. 이 비교 화상(470)에서는, 진한 나무가 엷은 나무의 오른쪽에 있는 것처럼 도시되어 있는 나무(484)와, 진한 인물과 엷은 인물이 일치하고 있는 것처럼 도시되어 있는 인물(483)과, 진한 자동차가 엷은 자동차의 왼쪽에 있는 것처럼 도시되어 있는 자동차(481)가 도시되어 있다.

렌즈 구동 후 촬상 평면 화상(490)에는, 1겹의 파선이 붙여진 자동차(자동차 491)와, 파선이 없는 인물(인물(493))과, 4겹의 파선이 붙여진 나무(나무(494))와, 포커스 에어리어(492)가 도시되어 있다. 파선은, 동 도면의 (a)에서 설명한 바와 같이, 포커스의 어긋남의 정도를 모식적으로 나타내고 있다. 즉, 렌즈 구동 후 촬상 평면 화상(490)에서는, 합초 대상물인 인물(493)에 합초하고 있는 것이 도시되어 있다.

이와 같이, 촬상 장치(400)에서는, 합초 대상물(인물)에서의 한 쌍의 상이 일치하도록 포커스 렌즈(113)가 구동됨에 의해, 오토 포커스가 행하여진다.

또한, 도 13에서는, 시차 검출 화소(230)에서의 9개의 화소 회로의 화소치를 이용한 오토 포커스의 개념에 관해 설명하였다. 다음에, 도 14에서는, 합초 판정부(410)에 의해 행하여지는 합초 판정할 때의 데이터의 비교에 주목하여 설명한다.

[합초 판정부에 의한 합초 판정의 한 예]

도 14는, 본 기술의 제2의 실시의 형태에서의 합초 판정부(410)에 의한 위상차 검출에 의한 합초 판정을 모식적으로 도시하는 도면이다.

또한, 동 도면에서는, 도 13에 도시한 경우에 있어서의 합초 판정부(410)에 의한 합초 판정을 설명한다. 또한, 동 도면에서는, 설명의 편의상, 한 쌍의 상을 형성할 때에 이용되는 시차 검출 화소(230)는 1라인인 것을 상정하여 설명한다.

동 도면의 (a)에는, 도 13의 (b)와 같이 좌우(수평 방향)로 한 쌍의 상을 형성하는 경우에 있어서, 한 쌍의 한쪽(우안) 및 다른쪽(좌안)의 상에 관한 신호를 생성하는 화소 회로가 시차 검출 화소(230)에 각각 도시되어 있다. 이 시차 검출 화소(230)에서는, 한쪽의 상(우안)에 관한 신호를 생성하는 화소 회로가 점을 많이 붙인 사각형(화소 회로(1, 4, 7))에 의해 나타나고, 다른쪽의 상(좌안)에 관한 신호를 생성하는 화소 회로가 점을 적게 붙인 사각형(화소 회로(3, 6, 9))에 의해 도시되어 있다.

도 14의 (b)에는, 설정된 합초 대상물에 대한 디포커스량을 산출하기 위해, 합초 판정부(410)에서 화소치가 이용되는(화소치로부터 한 쌍의 상이 형성되는) 시차 검출 화소(230)의 위치(합초 판정 라인(421))가 도시되어 있다. 이 합초 판정 라인(421)에서의 시차 검출 화소(230)의 각 화소 회로의 화소치를 동 도면의 (a)와 같이 이용함에 의해, 한 쌍의 상이 형성된다.

여기서, 합초 판정부(410)에 의한 위상차를 검출하는 방향(좌우 또는 상하)의 결정에 관해, 간단히 설명한다.

합초 판정부(410)는, 촬상 소자(200)로부터 공급된 화상 데이터의 시차 검출 화소(230)에 관한 화소치에 의거하여, 한 쌍의 상의 어긋남을 검출하는 방향을 결정한다. 합초 대상물의 형상이나 모양에 의해, 좌우 방향(수평 방향)으로 한 쌍의 상을 형성하면 상의 어긋남을 정밀도 좋게 검출할 수 있는 경우나, 상하 방향(중력 방향)으로 한 쌍의 상을 형성하는 상의 어긋남을 정밀도 좋게 검출할 수 있는 경우가 있다. 그래서, 합초 판정부(410)는, 상의 어긋남을 정밀도 좋게 검출할 수 있는 방향으로 라인 형상으로 배치되어 있는 시차 검출 화소(230)로부터의 화소치에 의거하여 한 쌍의 상을 형성한다.

동 도면에서는, 차이량을 정밀도 좋게 검출할 수 있는 방향은 좌우 방향(수평 방향)인 것을 상정하고 있기 때문에, 행 방향의 시차 검출 화소 라인 중, 합초 대상물이 촬상되어 있는 라인에서의 시차 검출 화소(230)로부터의 화소치에 의거하여 한 쌍의 상을 형성한다. 또한, 합초 대상물(인물(422))의 에지의 어긋남을 검출할 수 있다면 디포커스량을 산출할 수 있기 때문에, 포커스 에어리어 부근에 위치하는 시차 검출 화소(합초 판정 라인(421))의 화소치로부터 한 쌍의 상은 형성된다.

동 도면의 (c)에는, 합초 판정부(410)에서의 디포커스량의 산출을 모식적으로 도시하는 그래프가 도시되어 있다. 동 도면의 (c)에서는, 도 13과 같이, 포커스면보다도 합초 대상물은 렌즈측에 위치하고 있는(후 핀) 것을 상정하여 설명한다.

도 14의 (c)에서 도시하는 그래프에는, 횡축을 촬상 소자(200)에서의 시차 검출 화소(230)의 화소 위치로 하고, 종축을 출력 신호의 강도를 나타내는 출력 계조로 하여, 합초 판정부(410)가 생성하는 한 쌍의 상을 화소치의 분포 데이터에 의해 도시하는 그래프가 도시되어 있다. 이 그래프에는, 동 도면의 (a)에 도시하는 화소 회로(1, 4, 7)(우안에 대응)의 화소치에 의거하여 생성된 화소치의 분포 데이터 (우안 신호 분포 데이터 (431))가 도시되어 있다. 또한, 이 그래프에는, 동 도면의 (a)에 도시하는 화소 회로(3, 6, 9)(좌안에 대응)의 화소치에 의거하여 생성된 화소치의 분포 데이터 (좌안 신호 분포 데이터 (432))가 도시되어 있다.

합초 판정부(410)는, 합초 판정 라인(421)에서의 시차 검출 화소(230)의 화소치로부터 우안 신호 분포 데이터 (431) 및 좌안 신호 분포 데이터 (432)를 생성한다. 그리고, 합초 판정부(410)는, 우안 신호 분포 데이터 (431)에서의 피크(에지)의 위치와, 좌안 신호 분포 데이터 (432)에서의 피크(에지)의 위치 사이의 거리(거리(A1))로부터 디포커스량을 산출한다. 그리고, 합초 판정부(410)는, 산출한 디포커스량을, 합초 판정 결과 정보로서 구동부(170)에 공급하고, 디포커스량에 응한 양만큼 포커스 렌즈(113)를 구동시킨다.

동 도면의 (d)에는, 동 도면의 (c)에 도시하는 분포 데이터 (한 쌍의 상)에 의거하여 포커스 렌즈(113)가 구동되고, 합초 대상물에 대해 합초한 경우의 분포 데이터 (우안 신호 분포 데이터 (433) 및 좌안 신호 분포 데이터 (434))가 도시되어 있다. 동 도면의 (d)의 그래프에 도시하는 바와 같이, 합초 대상물에 대해 합초하면, 우안 신호 분포 데이터 (433) 및 좌안 신호 분포 데이터 (434)의 에지는, 같은 위치가 된다.

이와 같이, 촬상 장치(400)에서는, 동 도면의 (d)에 도시하는 바와 같이 생성한 한 쌍의 상(분포 데이터)의 에지의 위치가 일치하도록 포커스 렌즈(113)를 구동함에 의해, 시차 검출 화소(230)의 화소치를 이용하여, 오토 포커스를 할 수가 있다. 즉, 촬상 장치(400)에서는, 위상차 검출 방식의 초점 검출 방법을 실현할 수 있고, 이에 의해, 고속으로 고정밀한 오토 포커스가 가능해진다.

또한, 동 도면에서는, 설명의 편의상에 의해 합초 판정 라인은 1라인인 것을 상정하여 설명하였지만, 이것으로 한정되는 것이 아니고, 복수의 라인을 이용하여 정밀도를 향상시키도록 하여도 좋다.

[촬상 장치의 동작예]

다음에, 본 기술의 제2의 실시의 형태에서의 촬상 장치(400)의 동작에 관해 도면을 참조하여 설명한다.

도 15는, 본 기술의 제2의 실시의 형태에서의 촬상 장치(400)에 의한 입체 화상을 촬상할 때의 촬상 처리 순서예를 도시하는 플로 차트이다. 또한, 동 도면에서 도시하는 촬상 처리 순서예의 플로 차트는, 도 10에서 도시한 본 기술의 제1의 실시의 형태의 촬상 처리 순서예의 플로 차트의 변형 예이다. 도 10에서 도시한 합초 처리(스텝 S904)가, 합초 처리(스텝 S940)인 점만 다르다. 그래서, 합초 처리(스텝 S940) 이외의 처리에 관해서는 동일한 부호를 붙이고 설명을 생략하고, 합초 처리(스텝 S940)에 관해서는 도 16을 참조하여 설명한다.

도 16은, 본 기술의 제2의 실시의 형태의 촬상 처리 순서에서의 합초 처리(스텝 S940)의 처리 순서예를 도시하는 플로 차트이다.

우선, 촬상 소자(200)에 의해 피사체가 촬상되고, 합초 판정에 이용하는 화상이 촬상된다(스텝 S941). 계속해서, 합초 대상물에 응하여, 한 쌍의 상을 생성하는 시차 검출 화소의 라인의 방향(행 방향 또는 열 방향)이, 합초 판정부(410)에 의해 결정된다(스텝 S942). 그리고, 합초 대상물의 위치(포커스 에어리어의 위치)에 응하여, 한 쌍의 상을 비교하는 시차 검출 화소의 위치(예를 들면, 도 14의 합초 판정 라인(421))이 결정된다(스텝 S943).

다음에, 결정된 한 쌍의 상을 비교하는 위치의 시차 검출 화소의 화소 회로의 화소치로부터 한 쌍의 상이 생성된다(스텝 S944). 그리고, 생성된 한 쌍의 상에서의 에지 사이의 간격이 검출되고, 그 간격으로부터 디포커스량이 산출된다(스텝 S945). 계속해서, 그 산출된 디포커스량에 의거하여, 포커스 렌즈(113)의 구동량이 구동부(170)에 의해 산출된다(스텝 S945). 그리고, 그 산출된 구동량에 의거하여 포커스 렌즈(113)가 구동되고(스텝 S947), 합초 처리 순서는 종료한다.

이와 같이, 본 기술의 제2의 실시의 형태에 의하면, 시차 검출 화소를 구성하는 9개의 화소 회로의 화소치에 의거하여, 위상차 검출에 의한 합초 판정을 행할 수가 있다. 즉, 본 기술의 제2의 실시의 형태에 의하면, 높은 화소수의 3D 화상을 생성함과 함께, 위상차 검출에 의한 고속으로 고정밀한 오토 포커스를 행하는 촬상 장치를 실현할 수 있다.

<3. 변형 예>

본 기술의 제1 및 제2의 실시의 형태에서는, 시차 검출 화소(230)가 행 방향 및 열 방향으로 라인 형상으로 배치된 촬상 소자(200)의 예에 관해 설명하였다. 그러나, 시차 검출 화소(230)의 배치는 이것으로 한정되는 것이 아니고, 피사체의 시차가 취득될 수 있도록 배치하면 좋다. 그래서, 제1 및 제2의 실시의 형태와는 다른 시차 검출 화소의 배치의 한 예에 관해, 제1 및 제2의 변형 예로서, 도 17 및 도 18을 참조하여 설명한다.

또한, 본 기술의 제1 및 제2의 실시의 형태에서는, 도 4의 (b)에 도시하는 바와 같이, 마이크로 렌즈의 층은 2층 있고, 각 화소 회로에 광을 집광하는 마이크로 렌즈는 컬러 필터에 가까운 쪽(수광 소자에 가까운 쪽)의 마이크로 렌즈층에서 형성되는 예를 설명하였다. 그러나, 본 기술은 이것으로 한정되는 것이 아니고, 마이크로 렌즈의 배치의 방법에 관해서는 여러가지의 예가 생각된다. 예를 들면, 각 화소 회로에 광을 집광하는 마이크로 렌즈는, 시차 검출용 마이크로 렌즈와 같은 층에 형성하는 경우가 생각된다. 또한, 시차 검출용 마이크로 렌즈와, 시차 검출 화소의 9개의 수광 소자와의 사이의 거리를 가변으로 함에 의해, 촬상 렌즈가 교환식의 촬상 장치(예를 들면, 1안 카메라)에서 다양한 F값의 촬상 렌즈에 대응할 수 있다. 그래서, 제1 및 제2의 실시의 형태와는 다른 마이크로 렌즈의 배치의 한 예에 관해, 제3 내지 제5의 변형 예로서, 도 19를 참조하여 설명한다.

또한, 본 기술의 제1 및 제2의 실시의 형태에서는, 시차 검출 화소는, G필터가 구비된 9개의 화소 회로의 예에 관해 설명하였지만, 이것으로 한정되는 것이 아니다. 제1 및 제2의 실시의 형태와는 다른 시차 검출 화소에 관해, 제6 내지 제9의 변형 예로서, 도 20을 참조하여 설명한다.

[촬상 소자에서의 화소의 배치의 변형 예]

도 17은, 본 기술의 제1 및 제2의 실시의 형태의 제1의 변형 예로서, 시차 검출 화소가 행 방향으로만 라인 형상으로 배치된 촬상 소자의 한 예를 모식적으로 도시하는 도면이다.

동 도면의 (a)에는, 도 2의 (b)의 영역(250)에 대응하는 영역(영역(810))이 도시되어 있다. 즉, 영역(810)에서의 태선(시차 검출 화소 라인(811))은, 시차 검출 화소가 배치된 라인을 나타내고 있다. 시차 검출 화소 라인(811)이 나타내는 바와 같이, 이 변형 예에서는, 시차 검출 화소는 임의의 화소 주기로 행 방향으로만 라인 형상으로 배치된다.

도 17의 (b)에는, 동 도면의 (a)에서 도시되어 있는 영역(815)의 확대도이고, 도 2의 (a)의 영역(210)에 대응하는 영역이 도시되어 있고, 시차 검출 화소가 행 방향으로만 라인 형상으로 배치되는 것이 도시되어 있다.

종 위치 촬영에 이용하는 일이 거의 없는 촬상 장치(예를 들면, 캠 코다)에서는, 열 방향으로 시차 검출 화소를 라인 형상으로 배치하여도, 시차 검출에 이용하는 일은 거의 없다. 그래서, 시차 검출 화소의 라인을 행 방향의 배치만으로 함에 의해, 시차 검출 화소의 수를 적게 하여 화상 생성 화소의 수를 늘리고, 이에 의해, 촬상 화상의 화질을 향상시킬 수 있고, 또한, 시차 검출 화소의 위치의 화소치의 보간 처리를 가볍게 할 수 있다.

도 18은, 본 기술의 제2의 변형 예로서, 시차 검출 화소가, 행 방향 및 열 방향으로 소정의 간격씩 떨어져서 배치(아일랜드 형상으로 배치)된 촬상 소자의 한 예를 모식적으로 도시하는 도면이다.

동 도면의 (a)에는, 도 2의 (b)의 영역(250)에 대응하는 영역(영역(820))이 도시되어 있다. 이 영역(820)에서, 검은 점(점(821))은, 각각이 하나의 시차 검출 화소가 배치된 위치를 나타내고 있다. 즉, 점(821)에 의해 도시하는 바와 같이, 이 변형 예에서는, 시차 검출 화소가 행 방향 및 열 방향으로 소정의 간격씩 떨어져서 배치(아일랜드 형상으로 배치)된다.

도 18의 (b)에는, 동 도면의 (a)에서 도시되어 있는 영역(825)의 확대도로서, 도 2의 (a)의 영역(210)에 대응하는 영역이 도시되어 있다. 이 영역(825)에는, 하나의 시차 검출 화소가 아일랜드 형상으로 배치된 것이 도시되어 있다.

도 18에 도시하는 바와 같이, 시차 검출 화소를 행 방향 및 열 방향으로 소정의 간격씩 떨어져서 배치함에 의해, 제1의 변형 예 이상에 시차 검출 화소의 수를 적게 하여 화상 생성 화소의 수를 늘리고, 이에 의해, 촬상 화상의 화질을 향상시킬 수 있고, 또한, 시차 검출 화소의 위치의 화소치의 보간 처리를 가볍게 할 수 있다.

이들과 같이, 촬상 소자에서의 시차 검출 화소의 배치에 관해서는, 여러가지의 패턴이 생각된다.

[화상 생성 화소 및 시차 검출 화소의 단면 구성의 변형 예]

도 19는, 본 기술의 제3 내지 제5의 변형 예로서, 화상 생성 화소 및 시차 검출 화소의 단면 구성의 변형 예를 모식적으로 도시하는 도면이다.

동 도면의 (a)에는, 본 기술의 제3의 변형 예로서, 시차 검출용 마이크로 렌즈와, 시차 검출 화소의 9개의 화소 회로와의 사이의 거리를 가변으로 할 수 있는 촬상 소자의 단면 구성의 한 예가 도시되어 있다. 또한, 동 도면의 (a)는, 도 4의 (b)에서 도시한 단면 구성의 변형 예이고, 도 4의 (b)의 시차 검출용 마이크로 렌즈층(S2)에 대신하여, 마이크로 렌즈의 광축 방향으로 이동 가능한 마이크로 렌즈층(시차 검출용 마이크로 렌즈 배치부(831))를 구비하고 있는 점만 다르다. 그래서, 도 19의 (a)에서는, 도 4의 (b)와 동일의 것에 관해서는 동일한 부호를 붙이고 여기서의 설명을 생략하고, 시차 검출용 마이크로 렌즈 배치부(831)에 관해서만 설명한다.

시차 검출용 마이크로 렌즈 배치부(831)는, 마이크로 렌즈의 광축 방향으로 이동함에 의해, 시차 검출용 마이크로 렌즈(231)와, 시차 검출 화소의 화소 회로의 수광 소자와의 사이의 거리를 가변 가능한 마이크로 렌즈의 층이다. 즉, 촬상 소자와의 사이에는, 공기의 층(공기층(832))이 있다. 이와 같이, 시차 검출용 마이크로 렌즈(231)와, 시차 검출 화소의 화소 회로의 수광 소자와의 사이의 거리를 변경 가능하게 함에 의해, F값이나 초점 거리가 다른 교환 렌즈에 대응할 수 있게 된다.

도 19의 (b)에는, 본 기술의 제4의 변형 예로서, 화상 생성 화소의 수광 소자에 피사체 광을 집광하는 마이크로 렌즈가, 시차 검출용 마이크로 렌즈의 층에도 구비되는 촬상 소자의 단면 구성의 한 예가 도시되어 있다. 화상 생성 화소의 수광 소자에 피사체 광을 집광하기 위해 시차 검출용 마이크로 렌즈층에 구비되는 마이크로 렌즈(마이크로 렌즈(833)) 이외의 구성은, 도 4의 (b)와 동일의 것이기 때문에, 도 19의 (b)에서는 설명을 생략한다.

마이크로 렌즈(833)는, 시차 검출용 마이크로 렌즈와는 곡률이 다른 마이크로 렌즈이다. 이 마이크로 렌즈(833)를 구비함에 의해, 시차 검출 화소에서의 결상을 우선시켜서 포커스를 조정한 경우에서도, 화상 생성 화소의 마이크로 렌즈(261)에 피사체 광을 적절하게 집광할 수 있다. 즉, 이 마이크로 렌즈(833)를 구비함에 의해, 마이크로 렌즈(261)가 수광 소자에 피사체 광을 적절하게 집광할 수 있고, 화상 생성 화소의 집광 효율의 열화를 막을 수 있다. 이에 의해, 화질을 향상시킬 수 있다.

도 19의 (c)에는, 본 기술의 제5의 변형 예로서, 동 도면의 (b)의 촬상 소자에서의 마이크로 렌즈층(S1)을 구비하지 않는 촬상 소자의 단면 구성의 한 예가 도시되어 있다. 시차 검출용 마이크로 렌즈(231)만에 의해 시차를 검출할 수 있음과 함께, 마이크로 렌즈(833)만에 의해 화상 생성 화소의 수광 소자에 피사체 광을 집광할 수 있는 경우에는, 마이크로 렌즈층(S1)을 줄일 수 있다.

이들과 같이, 촬상 소자에서의 마이크로 렌즈의 배치에 관해서는, 여러가지의 패턴이 생각된다.

[시차 검출 화소의 한 예]

도 20은, 본 기술의 제6 내지 제9의 변형 예로서, 시차 검출 화소의 변형 예를 도시하는 모식도이다.

동 도면의 (a)에는, 본 기술의 제6의 변형 예로서, 컬러 필터의 층에 가시광 영역의 광은 전부 투과하는 것(예를 들면, 투명층이나 W필터 등)이 구비되는 시차 검출 화소(시차 검출 화소(841))가 도시되어 있다.

동 도면의 (b)에는, 본 기술의 제7의 변형 예로서, R필터가 구비되는 시차 검출 화소(시차 검출 화소(842))가 도시되어 있다.

시차 검출 화소는, 시차를 검출할 수 있으면 되기 때문에, 시차 검출 화소의 필터는 목적에 응하여 설정하면 좋다. 예를 들면, 동 도면의 (a)와 같이, 가시광 영역의 광은 전부 투과하는 것을 마련함에 의해, 색 의존이 적은 시차 정보를 얻도록 할 수 있다. 또한, 이 가시광 영역의 광을 전부 투과하는 경우는, 화상 생성 화소와 비교하면 광량이 너무 많은 일이 있기 때문에, 노광 조정을 위해 감광(減光) 필터를 마련하도록 하여도 좋다.

또한, 동 도면의 (b)에 도시하는 바와 같이, 시차 검출 화소에 G필터 이외의 컬러 필터를 마련하도록 하여도 좋다.

동 도면의 (c)에는, 본 기술의 제8의 변형 예로서, 수많은 화소 회로로 구성되는 시차 검출 화소(시차 검출 화소 843)가 도시되어 있다. 이 시차 검출 화소 843은, 5행×5열의 화소 회로(화소 회로(1 내지 25))로 구성된다. 또한, 화소 회로(1 내지 25)에는, 3원색의 컬러 필터 (R필터, G필터, B필터)가, 베이어 배열에 의해 배치되어 있다.

동 도면의 (c)에 도시하는 바와 같이, 하나의 시차 검출 화소를 수많은 화소 회로로 구성하고, 또한, 3원색의 컬러 필터를 베이어 배열에 의해 배치함에 의해, 색정보를 포함하여 시차 정보를 얻을 수 있다.

동 도면의 (d)에는, 본 기술의 제9의 변형 예로서, 2행×2열의 화소 회로로 구성되는 시차 검출 화소(시차 검출 화소(844))가 도시되어 있다. 이와 같이, 시차 검출 화소(844)를 2행×2열의 화소 회로로 구성할 수도 있다. 이 경우에는, 3행×3열의 화소 회로로 구성하는 경우와 비교하여, 시차 검출 화소 1개에 사용된 화소 회로의 수를 줄일 수 있고, 화상 생성 화소나 시차 검출 화소의 수를 늘릴 수 있다. 즉, 화상 생성 화소의 수를 늘림에 의한 화질의 향상이나, 시차 검출 화소의 수를 늘림에 의한 시차 검출의 정밀도의 향상 등을 할 수 있다.

<4. 제3의 실시의 형태>

본 기술의 제1 및 제2의 실시의 형태에서는, 촬상 소자에서의 라인 형상으로 배치되는 시차 검출 화소를 이용하여 입체 화상을 생성하는 촬상 장치에 관해 설명하였다. 제1 및 제2의 실시의 형태에서 설명한 촬상 장치는, 단안의 촬상 장치이다.

이 단안의 촬상 장치에서, 입체 화상의 입체감은, 사출동에서의 좌안의 광이 통과하는 영역의 중심(centroid) 위치와, 사출동에서의 우안의 광이 통과하는 영역의 중심 위치 사이의 중심 사이 거리(기선장)에 의존한다. 이 기선장이 길수록 시차량이 증가하고, 그 결과, 입체 화상의 입체감이 증가한다.

제1 및 제2의 실시의 형태에서 나타낸 시차 검출 화소에서는, 3행×3열의 화소 회로로 구성되어 있다. 좌우로 시차를 검출하는 경우에는, 좌측의 화소 회로가 수광하는 피사체 광의 사출동에서의 중심 위치와, 우측의 화소 회로가 수광하는 피사체 광의 사출동에서의 중심 위치 사이의 거리가 기선장이 된다. 즉, 기선장을 길게 하기 위해서는, F값이 낮은(사출동이 큰) 촬상 렌즈를 구비하든지, 초점 거리가 긴 촬상 렌즈를 구비할 필요가 있다. F값은, 밝기를 설정하는 파라미터이고, 초점 거리는 화각(畵角)을 설정하는 파라미터이기 때문에, 기선장을 위해(입체감을 위해)서만 자유롭게 설정할 수 있는 것이 아니다.

예를 들면, 밝은 신을 촬상할 때에, 조리개를 조임에 의해 F값을 크게 하여(사출동을 작게 하여) 촬상하면, 백화현상이 없는 양호한 화상을 얻을 수 있지만, 기선장이 작아져서, 입체감을 얻을 수가 없게 된다. 또한, 이 밝은 신을 촬상할 때에, 기선장 때문에 조리개를 열어서 F값을 작게 하여 촬상하면, 기선장이 길어져서 입체감은 늘어나지만, 백화현상이 발생하여 화질이 떨어진다.

즉, 기선장의 자유로운 변경과 밝기의 자유로운 변경이 양립할 수 있는 단안 촬상 장치가 요구된다. 그래서, 본 기술의 제3의 실시의 형태에서는, 횡 위치 촬영에서의 시차를 검출하는 단안 촬상 장치에서, 기선장 및 밝기를 조정할 수 있는 조리개를 구비하는 예에 관해 도 21 내지 도 29를 참조하여 설명한다.

[촬상 장치의 기능 구성예]

도 21은, 본 기술의 제3의 실시의 형태의 촬상 장치(500)의 기능 구성의 한 예를 도시하는 블록도이다.

동 도면에서 도시하는 촬상 장치(500)는, 도 1에서 도시한 촬상 장치(100)의 조리개(112)에 대신하여, 조리개(510)를 구비한다. 또한, 촬상 장치(500)는, 촬상 장치(100)의 각 구성에 더하여, 또한, 기선장 설정부(520) 및 조리개 구동 설정부(530)를 구비한다. 또한, 촬상 장치(500)는, 촬상 장치(100)의 자세 검출부(140)를 구비하고 있지 않다. 도 21에서는, 조리개(510), 기선장 설정부(520) 및 조리개 구동 설정부(530)에 관해 설명한다.

또한, 촬상 장치(500)는, 횡 위치 촬영에만 이용되는 것을 상정한다. 그 때문에, 촬상 장치(500)의 촬상 소자(200)에서의 시차 검출 화소는, 도 17의 (b)에 도시하는 바와 같이, 촬상 소자(200)의 행 방향만으로 라인 형상으로 배치되어 있는 것을 상정한다. 또한, 촬상 장치(500)의 촬상 소자(200)의 시차 검출 화소는, 도 20의 (d)에 도시하는 바와 같이, 2행×2열의 화소 회로로 구성되어 있는 것을 상정한다. 즉, 시차 검출 화소는, 사출동을 좌우로 2분할 할 수 있는 것을 상정한다.

또한, 이 제3의 실시의 형태에서 설명한 조리개(510)는, 사출동을 어떠한 수단(예를 들면, 편광 소자, 셔터, 미러, 광 벡터 정보 등)에 의해 좌우로 분리함으로써 입체 화상을 생성하는 촬상 장치라면 적용할 수 있다. 즉, 제3의 실시의 형태는, 본 기술의 제1 및 제2의 실시의 형태에서 설명한 시차 검출 화소에 의해 입체 화상을 생성하는 촬상 장치로 한정되는 것이 아니다. 그러나, 본 기술의 제3의 실시의 형태에서는, 시차 검출 화소에 의해 입체 화상을 생성하는 촬상 장치에서 구비된 조리개(510)에 관해 설명한다.

조리개(510)는, 구동부(170)의 구동에 의해 개구의 정도를 변화시켜서, 촬상 소자(200)에 입사하는 피사체 광의 광량 및 기선장을 조정하기 위한 차폐물이다. 이 조리개(510)는, 개구의 위치를 조정하여 기선장을 설정할 수 있음과 함께, 각각 설정된 기선장에서의 개구의 정도를 변화시켜서 피사체 광의 광량을 조정할 수 있다. 즉, 조리개(510)는, 피사체 광의 광량의 증감과, 기선장의 길이를 독립하여 설정할 수 있다. 또한, 조리개(510)에 관해서는, 도 22 내지 도 25를 참조하여 설명한다.

기선장 설정부(520)는, 조리개(510)에 의해 조정된 기선장을 설정하는 것이다. 예를 들면, 기선장 설정부(520)는, 유저가 조작 접수부(120)를 통하여 지정한 입체감의 강도에 응하여 기선장을 산출하고, 그 산출한 기선장에 관한 정보(기선장 정보)를 조리개 구동 설정부(530)에 공급한다.

조리개 구동 설정부(530)는, 조리개(510)의 개구상태를 설정하는 것이다. 이 조리개 구동 설정부(530)는, 예를 들면, 촬상 소자(200)로부터 공급된 화상 데이터에 의거하여, 적절한 광량을 산출(자동 노광(AE : Automatic Exposure))한다. 그리고, 조리개 구동 설정부(530)는, 기선장 설정부(520)로부터 공급된 기선장 정보와, 산출한 광량에 의거하여, 조리개(510)의 개구상태를 결정한다. 즉, 조리개 구동 설정부(530)는, 조리개(510)의 개구상태를 설정함에 의해, 피사체 광의 광량의 증감과, 기선장 길이를 독립하여 제어한다. 조리개 구동 설정부(530)는, 그 결정한 개구상태에 관한 정보(조리개 개구상태 정보)를, 구동부(170)에 공급하여, 구동부(170)에 조리개(510)를 구동시킨다.

[조리개의 한 예]

도 22는, 본 기술의 제3의 실시의 형태의 조리개(510)의 한 예를 모식적으로 도시하는 도면이다.

조리개(510)는, 조리개에서 개구 영역의 바깥테두리를 형성하는 2장의 날개로 구성되는 제1 조리개와, 좌우의 개구 영역을 생성하기 위해 조리개의 중심(midpoint) 부근을 상하 방향을 향하여 차광하는 제2 조리개를 구비한다. 동 도면의 (a)에서는, 제1 조리개 및 제2 조리개에 의해 2개의 개구 부분이 형성되어 있는 상태의 조리개(510)를 나타낸다. 또한, 동 도면의 (b)에서는, 제1 조리개(제1 조리개(511))만을 도시하여 제1 조리개의 2장의 날개의 형상을 나타낸다. 그리고, 동 도면의 (c)에서는, 제2 조리개(제2 조리개(515))만을 도시하여 제2 조리개의 2장의 날개의 형상을 나타낸다.

도 22의 (a)에는, 조리개(510)를 구성하는 4장의 날개(제1 조리개 상측 날개(512), 제1 조리개 하측 날개(513), 제2 조리개 상측 날개(516), 제2 조리개 하측 날개(517))에 의해 2개의 개구 부분이 형성되어 있는 상태의 조리개(510)가 도시되어 있다. 또한, 동 도면의 (a)에는, 4장의 날개에 의해 생성된 2개의 개구 부분의 중심(centroid) 위치(중심(P1 및 P2))와, 이 2개의 중심 사이의 거리(기선장(L21))가 도시되어 있다.

동 도면의 (b)에는, 제1 조리개(제1 조리개(511))를 구성하는 2장의 날개(제1 조리개 상측 날개(512) 및 제1 조리개 하측 날개(513))만 도시되어 있다. 제1 조리개 상측 날개(512) 및 제1 조리개 하측 날개(513)는, 삼각형(산형)의 오목형상의 노치부가 서로 대향하도록 배치된다. 또한, 이 삼각형의 오목형상의 노치부는, 시차 방향(좌우 방향)에 수직한 직선으로서, 기선장 중지 위치를 통과하는 선의 위에 삼각형의 노치의 정점(頂点)이 위치하도록 형성된다. 동 도면의 (b)에 도시하는 바와 같이, 제1 조리개(511)의 한 쌍의 날개(제1 조리개 상측 날개(512) 및 제1 조리개 하측 날개(513))는, 조리개의 개구면이 45도 경사의 정방형이 되는 평판형상의 차광 부재이다.

또한, 동 도면의 (c)에는, 제2 조리개(제2 조리개(515))를 구성하는 2장의 날개(제2 조리개 상측 날개(516) 및 제2 조리개 하측 날개(517))만 도시되어 있다. 동 도면의 (c)에 도시하는 바와 같이, 제2 조리개(515)의 한 쌍의 날개(제2 조리개 상측 날개(516) 및 제2 조리개 하측 날개(517))는, 상하로부터 돌출함에 의해 조리개(510)의 중심(midpoint) 부근부터 차광할 수 있는 평판형상의 차광 부재이다. 제2 조리개 상측 날개(516) 및 제2 조리개 하측 날개(517)는, 삼각형(산형)의 볼록형상의 돌출부가 서로 대향하도록 배치된다. 또한, 이 삼각형의 볼록형상의 돌출부는, 시차 방향으로 수직(직교)한 직선으로서, 기선장 중지 위치를 통과하는 선의 위에 삼각형의 노치의 정점이 위치하도록 형성된다. 이 제2 조리개(515)의 한 쌍의 날개는, 돌출함에 따라, 조리개(510)의 중심 부근부터 좌우의 양단을 향하여 차광 부분이 증가하는 형상이다. 동 도면에서는, 한 예로서, 45도 경사의 정방형의 차광 부재가 도시되어 있다.

동 도면의 (a) 내지 (c)에 도시하는 바와 같이, 조리개(510)는, 제1 조리개(511)의 2장의 날개(제1 조리개 상측 날개(512) 및 제1 조리개 하측 날개(513))와, 제2 조리개(515)의 2장의 날개(제2 조리개 상측 날개(516) 및 제2 조리개 하측 날개(517))로 구성된다. 이에 의해, 조리개(510)는, 시차 방향으로 인접하는 한 쌍의 개구 영역을 형성한다. 또한, 제1 조리개(511)는, 한 쌍의 개구 영역의 언저리(주연) 중, 양쪽의 개구 영역의 시차 방향에서의 양측(양단)에 대응하는 반분 언저리(왼쪽의 개구 영역은 좌 반분 언저리, 오른쪽 개구 영역은 우 반분 언저리)를 형성한다. 제2 조리개(515)는, 한 쌍의 개구 영역의 언저리 중, 양쪽의 개구 영역의 시차 방향에서의 내측(한 쌍의 개구 영역이 근접하는 측)에 대응하는 반분 언저리(왼쪽의 개구 영역은 우 반분 언저리, 오른쪽 개구 영역은 좌 반분 언저리)를 형성한다. 즉, 제1 조리개(511)는, 한 쌍의 개구 영역의 각각의 주연 중, 상기 시차 방향에서의 양단에 대응하는 주연의 위치를 형성하고, 제2 조리개(515)는, 한 쌍의 개구 영역 사이에서 근접하는 주연의 위치를 형성하다. 또한, 제1 조리개(511)가 노치 및 제2 조리개(515)의 돌출의 양쪽 모두가, 시차 방향에 수직(직교)하는 직선으로서 기선장 중지 위치를 통과하는 선의 위에 정점이 위치하는 삼각형이기 때문에, 한 쌍의 개구 영역의 형상이 같아진다.

다음에, 조리개(510)의 제1 조리개(511) 및 제2 조리개(515)를 구동함에 의한 개구 형상의 변화에 관해, 도 23 내지 도 25를 참조하여 설명한다.

[기선장을 일정하게 하고 개구 면적을 변화시키는 예]

도 23은, 본 기술의 제3의 실시의 형태의 조리개(510)를, 기선장은 일정하게 하고 개구 면적만 변화하도록 구동하는 경우의 제1 조리개(511) 및 제2 조리개(515)의 구동 방향을 모식적으로 도시하는 도면이다.

동 도면의 (a)에는, 구동 전(표준 상태라고 칭한다)의 조리개(510)가 도시되어 있다.

동 도면의 (b)에는, 기선장을 일정하게 하고 개구 면적이 작아지도록 구동된 조리개(510)가 도시되어 있다. 동 도면의 (b)에 도시하는 바와 같이, 기선장(기선장(L31))을 일정하게 하고 개구 면적을 작게 하는 조리개(510)의 구동은, 제1 조리개를 조임(제1 조리개 동작 방향(551))과 함께, 제2 조리개를 조임(제2 조리개 동작 방향(552))에 의해 행할 수 있다.

동 도면의 (c)에는, 기선장을 일정하게 하고 개구 면적이 커지도록 구동된 조리개(510)가 도시되어 있다. 동 도면의 (c)에 도시하는 바와 같이, 기선장(기선장(L31))을 일정하게 하고 개구 면적을 크게 하는 조리개(510)의 구동은, 제1 조리개를 열음(제1 조리개 동작 방향(553))과 함께, 제2 조리개를 열음(제2 조리개 동작 방향(554))에 의해 행할 수 있다.

즉, 동 도면의 (b) 및 (c)에 도시하는 바와 같이, 기선장을 일정하게 하고 광량을 증감시키는 경우에는, 제1 조리개가 형성하는 시차 방향의 언저리의 위치의 이동에 응하여, 제2 조리개가 형성하는 시차 방향의 언저리의 위치를, 제1 조리개의 언저리의 위치의 이동 방향과 반대 방향으로 같은 량 이동시킨다. 이에 의해, 왼쪽의 개구 영역의 좌단의 이동에 응하여 왼쪽의 개구 영역의 우단이 왼쪽의 개구 영역의 좌단과 반대 방향으로 동량만큼 이동하고, 또한, 오른쪽 개구 영역의 우단의 이동에 응하여 오른쪽 개구 영역의 좌단이 오른쪽 개구 영역의 우단과 반대 방향으로 동량만큼 이동한다. 이 개구 영역의 언저리의 설정은, 동 도면의 (b) 및 (c)에 도시하는 바와 같이, 제1 조리개와 제2 조리개를 같은 방향으로 구동시킴에 의해 실현할 수 있다. 이와 같이 조리개(510)의 개구면을 설정함에 의해, 개구 영역의 중심 위치를 변화시키지 않고, 광량을 증감시킬 수 있다.

[개구 면적을 일정하게 하고 기선장을 변화시키는 예]

도 24는, 본 기술의 제3의 실시의 형태의 조리개(510)를, 개구 면적을 일정하게 하고 기선장만 변화하도록 구동하는 경우의 제1 조리개(511) 및 제2 조리개(515)의 구동 방향을 모식적으로 도시하는 도면이다.

동 도면의 (a)에는, 표준 상태의 조리개(510)가 도시되어 있다.

동 도면의 (b)에는, 개구 면적을 일정하게 하여, 표준 상태로부터 기선장이 짧아지도록(기선장(L31)부터 기선장(L32)으로) 구동된 조리개(510)가 도시되어 있다. 동 도면의 (b)에 도시하는 바와 같이, 개구 면적을 일정하게 하고 기선장을 단짧게 하는 조리개(510)의 구동은, 제1 조리개를 조임(제1 조리개 동작 방향(561))과 함께, 제2 조리개를 열음(제2 조리개 동작 방향(562))에 의해 행할 수 있다.

동 도면의 (c)에는, 개구 면적을 일정하게 하여, 표준 상태로부터 기선장이 길어지도록(기선장(L31)부터 기선장(L33)으로) 구동된 조리개(510)가 도시되어 있다. 동 도면의 (c)에 도시하는 바와 같이, 개구 면적을 일정하게 하고 기선장을 길게 하는 조리개(510)의 구동은, 제1 조리개를 열음(제1 조리개 동작 방향(563))과 함께, 제2 조리개를 조임(제2 조리개 동작 방향(564))에 의해 행할 수 있다.

즉, 동 도면의 (b) 및 (c)에 도시하는 바와 같이, 광량을 일정하게 하고 기선장을 변경하는 경우에는, 제1 조리개가 형성하는 시차 방향의 언저리의 위치의 이동에 응하여, 제2 조리개가 형성한 시차 방향의 언저리의 위치를, 제1 조리개의 언저리의 위치의 이동 방향과 같은 방향으로 동량만큼 이동시킨다. 이에 의해, 왼쪽의 개구 영역의 좌단의 이동에 응하여 왼쪽의 개구 영역의 우단이 왼쪽의 개구 영역의 좌단과 같은 방향으로 동량만큼 이동하고, 또한, 오른쪽 개구 영역의 우단의 이동에 응하여 오른쪽 개구 영역의 좌단이 오른쪽 개구 영역의 우단과 같은 방향으로 동량만큼 이동한다. 이 개구 영역의 언저리의 설정은, 동 도면의 (b) 및 (c)에 도시하는 바와 같이, 제1 조리개와 제2 조리개를 반대 방향으로 구동시킴에 의해 실현할 수 있다. 이에 의해, 왼쪽의 개구 영역에서의 우단과 이 영역의 좌단 사이의 길이, 및 , 오른쪽 개구 영역에서의 우단과 이 영역의 좌단 사이의 길이를 일정하게 할 수 있고, 개구 영역의 개구 면적을 일정하게 할 수 있다. 이와 같이 조리개(510)의 개구면을 설정함에 의해, 개구 영역의 개구 면적을 변화시키지 않고서, 중심 위치를 변화시킬 수 있다.

[제2 조리개를 열어서 개구 부분을 하나로 하는 예]

도 25는, 본 기술의 제3의 실시의 형태의 조리개(510)에서의 개구 부분의 형상을 평면 화상을 촬상하는데 적합한 형상으로 하는 경우를 모식적으로 도시하는 도면이다.

동 도면의 (b)에는, 평면 화상을 촬상하는데 적합한 개구 부분의 형상이 되도록 구동된 조리개(510)가 도시되어 있다. 동 도면의 (b)에 도시하는 바와 같이, 제2 조리개를 개방(제2 조리개 구동 방향(571))함으로서, 종래의 조리개와 마찬가지로, 하나의 개구 부분의 조리개로 할 수 있다.

즉, 도 23 및 도 24에 도시한 바와 같이, 조리개(510)는, 제1 조리개와 제2 조리개를 개별적으로 움직임에 의해, 개구 부분의 개구 면적(F값)과, 기선장(입체감)을 독립적으로 설정할 수 있다. 예를 들면, 매우 밝은 신의 촬영에서, 기선장을 일정하게 하면서 밝기를 감소시키고 싶는 경우에는, 도 23의 (b)에 도시한 바와 같이, 제1 조리개를 조임과 함께 제2 조리개를 조임에 의해 달성할 수 있다. 또한, 밝기를 유지하고 입체감을 강조하고 싶는 경우에는, 도 24의 (c)에 도시한 바와 같이, 제1 조리개를 열음과 함께, 제2 조리개를 조임에 의해 달성할 수 있다.

또한, 도 25에 도시한 바와 같이, 입체 화상이 아니라 평면 화상을 촬상하는 경우에는, 제2 조리개를 개방하여 하나의 개구 부분으로 하여, 제1 조리개에 의해 개구 면적을 제어함에 의해, 종래의 조리개와 마찬가지로 이용할 수 있다.

이와 같이, 조리개(510)에 의해 입체감(3D 강도)의 설정을 행할 수가 있다. 또한, 시차 검출 화소 및 화상 생성 화소가 촬상 소자(200)에 배치되는 본 기술의 제3의 실시의 형태에 의하면, 화상 생성 화소의 화소치에 의거하여, 2D 화상(평면 화상)을 생성할 수 있다. 즉, 조리개(510)를 촬상 장치에 구비함에 의해, 유저가, 촬상하는 화상의 선택(2D 화상인지 3D 화상인지)이나, 입체감의 설정을 행할 수가 있다.

그래서, 화상이나 3D 강도를 유저가 설정할 때의 설정 화면(유저 인터페이스)의 예에 관해, 도 26을 참조하여 설명한다.

[표시부에서의 설정 화면예]

도 26은, 본 기술의 제3의 실시의 형태에서의 표시부(151)에 표시되는 촬상 화상의 설정 화면 및 3D 강도의 설정 화면을 모식적으로 도시하는 도면이다.

동 도면의 (a)에는, 2D 화상 또는 3D 화상의 어느 것을 촬상하는지를 유저가 설정하는 설정 화면(설정 화면(580))이 도시되어 있다. 이 설정 화면(580)에서는, 3D 화상을 촬상하는 3D 화상 모드를 선택하는 라디오 버튼(라디오 버튼(582))과, 2D 화상을 촬상하는 2D 화상 모드를 선택하는 라디오 버튼(라디오 버튼(583))이 도시되어 있다. 또한, 선택을 결정한 결정 버튼(결정 버튼(584))과, 선택의 변경을 그만두는 버튼(되돌림 버튼(585))이 도시되어 있다.

설정 화면(580)에서, 3D 화상 모드가 유저에 의해 선택되면, 도 23 및 도 24에 도시한 바와 같이, 3D 화상의 촬상에 적합한 조리개의 제어가 행하여진다. 한편, 2D 화상 모드가 유저에 의해 선택되면, 도 25에 도시한 바와 같이 제2 조리개는 개방되고, 2D 화상의 촬상에 적합한 조리개의 제어(종래의 조리개와 같은 제어)가 행하여진다.

이와 같이, 촬상 장치(500)에서는, 촬상하는 화상이 2D 화상인지 3D 화상이다인지를 유저에게 선택시킬 수 있다.

도 26의 (b)에는, 3D 강도(3D 레벨)를 유저가 설정하는 설정 화면(설정 화면(590))이 도시되어 있다. 이 설정 화면(590)에서는, 3D 레벨을 나타내는 슬라이드 바(슬라이드 바(591))와, 선택을 결정한 결정 버튼(결정 버튼(594))과, 선택의 변경을 그만두는 버튼(되돌림 버튼(595))이 도시되어 있다. 또한, 슬라이드 바(591)에는, 현재의 설정 3D 레벨을 나타내는 바(바(592))가 도시되어 있다.

설정 화면(590)에서, 바(592)를 슬라이드 시킴에 의해, 유저는 3D 레벨을 선택할 수 있다. 3D 레벨을 약하게 하면(바(592)를 슬라이드 바(591)의 「약」에 근접한다), 도 24의 (b)에 도시한 바와 같이, 기선장이 짧아지도록 조리개(510)가 제어된다. 한편, 3D 레벨을 강하게 하면(바(592)를 슬라이드 바(591)의 「강」에 근접한다), 도 24의 (c)에 도시한 바와 같이, 기선장이 길어지도록 조리개(510)가 제어된다.

이와 같이, 촬상 장치(500)에서는, 3D 레벨을 유저에게 선택시킬 수 있다.

[기선장 변경에 의한 3D 레벨의 변화예]

도 27은, 본 기술의 제3의 실시의 형태에서의 조리개(510)에 의한 기선장 변화에 의한 상의 변화를 모식적으로 도시하는 도면이다.

동 도면의 (a) 및 (b)에는, 기선장이 길어지도록 조리개(510)가 제어된 경우의 촬상 대상물로부터의 광로 및 촬상 대상물의 상면에서의 결상 위치가 모식적으로 도시되어 있다. 또한, 동 도면의 (c) 및 (d)에는, 기선장이 짧아지도록 조리개(510)가 제어된 경우의 촬상 대상물로부터의 광로 및 촬상 대상물의 상면에서의 결상 위치가 모식적으로 도시되어 있다.

또한, 동 도면의 (a) 및 (c)는, 도 6의 (a)에 대응하고, 촬상 대상물로부터의 피사체 광 중, 조리개(510)의 좌안에 상당하는 개구면(좌안 개구면)을 통과하는 피사체 광의 광로 및 상면에서의 결상 위치가 모식적으로 도시되어 있다. 마찬가지로, 도 27의 (b) 및 (d)는, 도 6의 (b)에 대응하고, 촬상 대상물로부터의 피사체 광 중, 조리개(510)의 우안에 상당하는 개구면(우안 개구면)을 통과하는 피사체 광의 광로 및 상면에서의 결상 위치가 모식적으로 도시되어 있다. 그래서, 도 6의 (a) 및 (b)와 마찬가지의 것에는, 동일한 부호를 붙이고 여기서의 설명을 생략한다.

도 27의 (a) 내지 (d)에서 도시하는 동(pupil;E21)은, 조리개(510)의 제1 조리개 및 제2 조리개를 양쪽 모두 개방으로 한 때의 사출동의 형상(즉 촬상 렌즈의 형상)을 모식적으로 나타내고, 도 6의 사출동(E1)에 상당한다. 도 27의 (a) 및 (b)의 사출동(E31 및 E32)은, 기선장이 길어지도록 조리개(510)가 제어된 경우의 한 쌍의 사출동(사출동(E31)은 좌안 개구면의 사출동, 사출동(E32)는 우안 개구면의 사출동)을 나타내고 있다. 마찬가지로, 동 도면의 (c) 및 (d)의 사출동(E41 및 E42)은, 기선장이 짧아지도록 조리개(510)가 제어된 경우의 한 쌍의 사출동(사출동(E41)은 좌안 개구면의 사출동, 사출동(E42)은 우안 개구면의 사출동)을 나타내고 있다. 그리고, 동 도면의 (a) 내지 (d)에는, 도 6과 마찬가지로, 합초 물체(271) 및 근위치 물체(272)로부터의 광의 광로가, 각 물체로부터 늘어난 파선 및 실선(선(L51 내지 L58))에 의해 도시되어 있다.

도 27의 (a) 및 (b)에 도시하는 바와 같이, 기선장이 길어지면(좌측 개구면 및 우측 개구면이 서로 떨어지면), 디포커스량에 응하여 어긋나는 결상 위치의 어긋남 량이 커지고, 입체감이 커진다. 한편, 동 도면의 (c) 및 (d)에 도시하는 바와 같이, 기선장이 짧아지면(좌측 개구면 및 우측 개구면이 서로 근접하면), 디포커스량에 응하여 어긋나는 결상 위치의 어긋남 량이 작아지고, 입체감이 작아진다.

이와 같이, 조리개(510)를 마련함에 의해, 입체감을 조정할 수 있다.

[조리개에서의 개구면의 변화예]

도 28은, 본 기술의 제3의 실시의 형태에서의 조리개(510)에서의 개구면과, 종래의 조리개에서의 개구면과의 차이를 모식적으로 도시하는 도면이다.

동 도면의 (a)에는, 종래의 촬상 장치에 구비되는 조리개(조리개(190))의 개폐에 의한 개구면의 변화가 도시되어 있다. 조리개(190)는, 1조(pair)의 날개(조리개 상측 날개(191) 및 조리개 하측 날개(192))로 구성되고, 이 1조의 날개(차광 부재)를 서로 역방향으로 이동시킴에 의해 개구면의 면적을 조정한다. 이 종래의 조리개(190)는, 개구 면적이 넓은 때는 기선장이 길어지지만(동 도면의 (a)에서 도시하는 기선장(L91)을 참조), 개구 면적이 작아지면 기선장이 짧아진다(동 도면의 (a)의 기선장(L92)을 참조).

동 도면의 (b)에는, 본 기술의 제3의 실시의 형태에서의 조리개(510)의 개폐에 의한 개구면의 변화가 도시되어 있다. 또한, 동 도면의 (b)에서 도시하는 도면은, 도 23 및 도 24를 통합한 도면이다. 그래서, 도 28의 (b)에서는, 도 23 및 도 24와 동일한 부호를 붙이고, 여기서의 상세한 설명을 생략한다.

도 28의 (b)에 도시하는 바와 같이, 조리개(510)에 의해, 밝기(개구 면적의 크기)와, 기선장(한 쌍의 개구면의 중심 사이 거리)을 독립적으로 제어할 수 있다.

[촬상 장치의 동작예]

다음에, 본 기술의 제3의 실시의 형태에서의 촬상 장치(500)의 동작에 관해 도면을 참조하여 설명한다.

도 29는, 본 기술의 제3의 실시의 형태에서의 촬상 장치(500)에 의한 입체 화상을 촬상할 때의 촬상 처리 순서예를 도시하는 플로 차트이다. 또한, 동 도면에서 도시하는 촬상 처리 순서예의 플로 차트는, 도 10에서 도시한 본 기술의 제1의 실시의 형태의 촬상 처리 순서예의 플로 차트의 변형 예이다. 그래서, 동일한 처리에 관해서는 동일한 부호를 붙이고 설명을 생략하고, 새롭게 추가한 자동 노광에 관한 처리 순서예에 관해서만 설명한다.

입체 화상의 촬상 동작의 시작 지시가 유저에 의해 되었다고 판단되면(스텝 S901), 유저가 미리 지정한 입체감의 강도에 의거하여 기선장 길이가 설정되고, 그 설정된 기선장 길이에 응하여 조리개(510)가 구동된다(스텝 S961). 그리고, 스텝 S902로 진행하여, 라이브 뷰의 표시가 행하여진다.

또한, 합초 처리가 행하여진 후에(스텝 S904), 그 합초 처리의 할 때에 촬상된 화상에 의거하여 노광의 조정이 조리개 구동 설정부(530)에 의해 행하여져서, 조리개(510)가 제어된 자동 노광 처리가 행하여진다(스텝 S962). 그리고, 스텝 S962의 후에, 스텝 S905로 진행하여, 셔터 버튼이 전누름(全押)되었는지의 여부가 판단된다.

이와 같이, 본 기술의 제3의 실시의 형태에 의하면, 밝기(개구 면적의 크기)와, 기선장(한 쌍의 개구면의 중심 사이 거리)을 독립적으로 제어할 수 있다. 또한, 본 기술의 제3의 실시의 형태에서는, 2장의 날개(차광 부재)를 구비하는 제1 조리개와, 2장의 날개를 구비하는 제2 조리개를 상정하여 설명하였지만 이것으로 한정되는 것이 아니다. 제1 조리개는, 종래의 조리개와 마찬가지로, 조리개의 외주로부터 중심(midpoint)을 향하여 개구 면적이 좁아지도록(F값이 작아지도록) 개폐하는 것이면 좋다. 날개의 매수를 늘림에 의해, 45도 회전한 정방형의 개구 형상으로부터 원형에 가까운 개구 형상에 근접할 수 있다. 또한, 제2 조리개도, 조리개의 중심(midpoint) 부근을 차광하여 한 쌍의 개구 부분을 형성하는 것이면 좋고, 2장 이상의 날개를 이용함에 의해, 한 쌍의 개구 부분의 형상을 원형에 근접할 수 있는 것도 생각된다.

<5. 제4의 실시의 형태>

본 기술의 제3의 실시의 형태에서는, 촬상 장치를 이용하여 횡 위치 촬영을 촬영한 때에 밝기 및 기선장을 자유롭게 설정할 수 있는 조리개(조리개(510))에 관해 설명하였다. 그러나, 이 조리개(510)에서는, 본 기술의 제1의 실시에서 나타낸 바와 같이 종 위치 촬영을 하는 경우에는, 제2 조리개를 개방하여 제1 조리개만으로 하지 않는다면(종래의 조리개와 같은 사용 방법으로 한다), 수평 방향의 시차를 취득할 수가 없다.

그래서, 본 기술의 제4의 실시의 형태에서는, 횡 위치 촬영 및 종 위치 촬영의 양쪽에서 밝기 및 기선장을 자유롭게 설정할 수 있는 조리개에 관해, 도 30 내지 도 32를 참조하여 설명한다.

[촬상 장치의 기능 구성예]

도 30은, 본 기술의 제4의 실시의 형태의 촬상 장치(600)의 기능 구성의 한 예를 도시하는 블록도이다.

동 도면에서 도시하는 촬상 장치(600)는, 도 21에서 도시한 촬상 장치(500)의 조리개(510)에 대신하여, 조리개(610)를 구비한다. 또한, 촬상 장치(600)는, 촬상 장치(500)의 각 구성에 더하여, 또한, 도 1에서 도시한 자세 검출부(140)를 구비한다. 또한, 조리개(610)에 관해서는, 도 31 및 도 32에서 설명한다.

자세 검출부(140)는, 도 1에서 도시한 자세 검출부(140)와 마찬가지로, 촬상 장치(600)의 자세를 검출하고, 검출한 촬상 장치(600)의 자세에 관한 정보(자세 정보)를, 시차 검출부(320) 및 조리개 구동 설정부(530)에 공급한다.

또한, 도 30에서 도시하는 조리개 구동 설정부(530)에서는, 자세 검출부(140)로부터 공급된 자세 정보에 의거하여, 종 위치 촬영 및 횡 위치 촬영의 어느 것인지(촬상 장치(600)의 자세)를 검출하고, 그 검출한 자세에 응하여 조리개(610)의 구동을 설정한다.

[조리개의 한 예]

도 31은, 본 기술의 제4의 실시의 형태의 조리개(610)의 한 예를 모식적으로 도시하는 도면이다.

조리개(610)는, 도 22에서 도시한 조리개(510)와 같은 것인 제1 조리개 및 제2 조리개에 더하여, 상하에 한 쌍의 개구 부분을 생성하기 위해, 좌우 방향부터 돌출함에 의해 조리개의 중심 부근을 차광하는 제3 조리개를 구비한다. 도 31의 (a)에서는, 상하에 2개의 개구 부분이 형성되어 있는 상태의 조리개(610)를 나타낸다.

또한, 동 도면의 (b)에서는 제1 조리개(제1 조리개(511))만을 도시하여 제1 조리개의 2장의 날개의 형상을 나타내고, 동 도면의 (c)에서는 제2 조리개(제2 조리개(515))만을 도시하여 제2 조리개의 2장의 날개의 형상을 나타낸다. 또한, 동 도면의 (d)에서는, 제3 조리개(제3 조리개(611))만을 도시하여 제3 조리개의 2장의 날개의 형상을 나타낸다.

또한, 동 도면의 (b) 및 (c)는, 도 22에서 도시한 (b) 및 (c)와 같은 것이기 때문에, 여기서는, 도 31의 (a) 및 (d)에 관해 설명한다.

동 도면의 (a)에는, 상하 방향으로 한 쌍의 개구 부분이 형성되어 있는 상태의 조리개(610)가 도시되어 있다. 이 조리개(610)에서는, 제3 조리개 좌측 날개(612)의 우단과 제3 조리개 우측 날개(613)의 좌단이 조리개(610)의 중심 부근에서 서로 접하도록 제3 조리개가 배치되어 있다. 한편, 제2 조리개 상측 날개(516) 및 제2 조리개 하측 날개(517)는, 개방상태가 되어, 피사체 광을 차광하지 않도록 배치된다. 이와 같이, 제3 조리개(611)에 의해 조리개(610)의 중심 부근을 좌우 방향에서 차광함에 의해, 조리개(610)의 상하 방향으로 한 쌍의 개구 부분을 형성할 수 있다.

동 도면의 (d)에는, 제3 조리개(제3 조리개(611))를 구성하는 2장의 날개(제3 조리개 좌측 날개(612) 및 제3 조리개 우측 날개(613))만 도시되어 있다. 동 도면의 (d)에 도시하는 바와 같이, 제3 조리개(611)는, 제2 조리개(515)(동 도면의 (c)를 참조)의 배치 방향을, 90도 시계방향으로 회전시킨 것(구동 방향이 직교하는 것)이 된다. 즉, 제3 조리개 좌측 날개(612) 및 제3 조리개 우측 날개(613)는, 삼각형(산형)의 볼록형상의 돌출부가 서로 대향하도록 배치된다. 또한, 이 삼각형(산형)의 볼록형상의 돌출부는, 시차 방향에 평행한 직선이고, 기선장 중지 위치를 통과하는 선의 위에 삼각형의 노치의 정점이 위치하도록 형성된다.

이와 같이, 좌우 방향부터 조리개(610)의 중심 부근을 차광하는 제3 조리개(611)를 마련함에 의해, 상하 방향으로 한 쌍의 개구 부분을 마련할 수 있다.

[조리개에서의 개구면의 변화예]

도 32는, 본 기술의 제4의 실시의 형태의 조리개(610)가 형성하는 개구 부분의 형상의 한 예를 모식적으로 도시하는 도면이다.

동 도면의 (a)에는, 촬상 장치(600)를 이용하여 횡 위치 촬영을 하는 경우에 있어서의 조리개(610)의 각 날개의 위치가 모식적으로 도시되어 있다. 횡 위치 촬영을 하는 경우에는, 동 도면의 (a)에 도시하는 바와 같이, 제3 조리개(제3 조리개 좌측 날개(612) 및 제3 조리개 우측 날개(613))를 개방상태로 한다. 또한, 제2 조리개(제2 조리개 상측 날개(516) 및 제2 조리개 하측 날개(517))를, 도 22 내지 도 24에서 도시한 바와 같이, 한 쌍의 개구 부분이 형성되도록 조인다(닫는다). 그리고, 제3 조리개를 열은 채로 제2 조리개 및 제1 조리개를 개폐함에 의해, 도 22 내지 도 24에서 도시한 조리개(510)와 마찬가지로, 횡 위치 촬영에서의 밝기와 기선장을 제각기 제어할 수 있다.

도 32의 (b)에는, 촬상 장치(600)를 이용하여 종 위치 촬영을 하는 경우에 있어서의 조리개(610)의 각 날개의 위치가 모식적으로 도시되어 있다. 종 위치 촬영을 하는 경우에는, 동 도면의 (b)에 도시하는 바와 같이, 제2 조리개를 개방상태로 하고 제3 조리개를, 한 쌍의 개구 부분이 형성되도록 조인다(닫는다). 그리고, 제2 조리개를 열은 채로 제3 조리개 및 제1 조리개를 개폐함에 의해, 한 쌍의 개구 부분의 방향이 다른 이외는 동 도면의 (a)와 마찬가지의 개폐를 할 수 있다. 즉, 동 도면의 (b)에 도시하는 바와 같이, 제2 조리개를 개방상태에 하고 제3 조리개 및 제1 조리개를 개폐함에 의해, 종 위치 촬영에서의 밝기와 기선장을 제각기 제어할 수 있다.

동 도면의 (c)에는, 촬상 장치(600)를 이용하여 2D 화상을 촬상하는 경우에 있어서의 조리개(610)의 각 날개의 위치가 모식적으로 도시되어 있다. 2D 화상을 촬상하는 경우에는, 동 도면의 (c)에 도시하는 바와 같이, 제2 조리개 및 제3 조리개를 개방상태로 한다. 그리고, 제1 조리개만을 개폐시킨다. 이에 의해, 불필요한 피사체 광의 차광을 행하지 않고서 2D 화상을 촬상할 수 있다.

이와 같이, 본 기술의 제4의 실시의 형태에 의하면, 횡 위치 촬영 및 종 위치 촬영의 어느 것에서도 밝기와 기선장을 독립하여 제어할 수 있다.

<6. 조리개의 변형 예>

본 기술의 제3 및 제4의 실시의 형태에서는, 한 쌍의 개구 부분을 형성함과 함께, 밝기 및 기선장을 자유롭게 설정할 수 있는 조리개에 관해 설명하였다. 또한, 제3 및 제4의 실시의 형태에서 나타낸 조리개는, 밝기와 기선장을 자유롭게 조합시킬 수 있지만, 간편한 3D 촬상 장치에서는, 거기까지의 성능을 필요로 하지 않는 경우가 생각된다. 이 경우에는, 3D 화상의 촬상에 적합한 보다 간단한 구성의 조리개가 요구된다.

그래서, 제3 및 제4의 실시의 형태보다 간단한 구성의 조리개를, 도 33을 참조하여 설명한다.

[조리개의 한 예]

도 33은, 본 기술의 제3 및 제4의 실시의 형태의 변형 예로서, 3D 화상의 촬상에 적합한 간단한 구성의 조리개의 예를 모식적으로 도시하는 도면이다.

동 도면의 (a) 및 (b)에는, 기선장을 유지한 채 밝기를 제어할 수 있는 조리개가 도시되어 있다. 동 도면의 (a)에는, 2장의 날개를 구비하고, 시차 검출 방향(좌우)에서의 양단의 돌출(중간측은 사각형의 노치)에 의해 시차 검출 방향으로 길다란 장방형의 개구면을 형성하는 조리개가 도시되어 있다. 이 조리개의 장방형의 개구면은, 시차 방향을 긴변으로 하는 사각형의 노치부가 서로 대향하는 2장의 날개에 의해 형성된다. 또한, 동 도면의 (b)에는, 2장의 날개를 구비하고, 삼각파형상의 돌출(산골)이 2개(인접하는 한 쌍의 노치부))에 의해 시차 검출 방향(좌우)으로 한 쌍의 개구 부분(45도 회전한 정방형)을 형성하는 조리개가 도시되어 있다. 동 도면의 (a) 및 (b)에 도시하는 바와 같은 조리개를, 상하 방향(시차 검출 방향에 대해 수직 방향)으로 개폐함에 의해, 기선장을 유지하면서 밝기를 제어할 수 있다.

동 도면의 (c) 및 (d)에는, 종래의 조리개보다도 기선장을 길게 할 수 있는 조리개가 도시되어 있다. 동 도면의 (c)에는, 좌우 방향(시차 검출 방향)으로 길고, 상하 방향으로 짧은 타원형의 개구 부분을 형성하는 조리개가 도시되어 있다. 이 조리개의 타원형의 개구 부분은, 시차 방향을 1변(긴 직경)으로 하는 반원형의 노치부가 서로 대향하는 2장의 날개에 의해 형성된다. 또한, 동 도면의 (d)에는, 좌우 방향(시차 검출 방향)으로 길고, 상하 방향으로 짧은 마름모의 개구 부분을 형성하는 조리개가 도시되어 있다. 이 조리개의 마름모의 개구 부분은, 시차 방향을 저변으로 하는 삼각형의 노치부가 서로 대향하는 2장의 날개에 의해 형성된다. 동 도면의 (c) 및 (d)에 도시하는 바와 같은 조리개를, 상하 방향으로 개폐함에 의해, 종래의 원형형상의 개구 부분의 조리개나, 45도 회전한 정방형 모양의 개구 부분의 조리개와 비교하여, 기선장을 길게 할 수 있다.

동 도면의 (e)에는, 본 기술의 제3 및 제4의 실시의 형태와 마찬가지로, 밝기와 기선장을 독립적으로 제어할 수 있는 조리개로서, 제3 및 제4의 실시의 형태의 조리개보다도 제어가 간단한 조리개가 도시되어 있다. 이 동 도면의 (e)에서는, 시차 검출 방향(좌우)의 양단(좌단 및 우단)부터 조리개의 중심을 향하여 닫는 2장의 날개와, 상하의 양단(상단 및 하단)부터 조리개의 중심(midpoint)을 향하여 닫는 2장의 날개가 도시되어 있다. 또한, 좌단 및 우단부터 조리개의 중심을 향하여 닫는 2장의 날개는, 시차 방향에 직교하는 직교 방향에 평행한 변이 대향하는 한 쌍의 날개이다. 또한, 상단 및 하단부터 조리개의 중심을 향하여 닫는 2장의 날개는, 시차 방향에 평행한 변이 대향하는 한 쌍의 날개이다. 동 도면의 (e)로 도시하는 조리개는, 좌우의 조리개를 열면 기선장이 넓어지고, 상하의 조리개를 열면 밝기가 커진다.

이와 같은 3D 화상의 촬상에 적합한 조리개를 촬상 장치에 마련함에 의해, 양호한 입체감의 3D 화상을 촬상할 수 있다.

이와 같이, 본 기술의 실시의 형태에 의하면, 양호한 3D 화상을 촬상할 수 있다. 또한, 본 기술의 실시의 형태에서는, 정지화를 촬상하는 촬상 장치를 상정하여 설명하였지만, 동화를 촬상하는 촬상 장치에서도 마찬가지로 실시할 수 있다.

또한, 상술한 실시의 형태는 본 기술을 구현화하기 위한 한 예를 나타낸 것이고, 실시의 형태에서의 사항과, 청구의 범위에서 발명 특정 사항은 각각 대응 관계를 갖는다. 마찬가지로, 청구의 범위에서의 발명 특정 사항과, 이것과 동일 명칭을 붙인 본 기술의 실시의 형태에서의 사항이란 각각 대응 관계를 갖는다. 단, 본 기술은 실시의 형태로 한정되는 것이 아니고, 그 요지를 일탈하지 않는 범위에서 실시의 형태에 여러 가지의 변형을 행함에 의해 구현화 할 수 있다.

또한, 상술한 실시의 형태에서 설명한 처리 순서는, 이들 일련의 순서를 갖는 방법으로서 파악하여도 좋고, 또한, 이들 일련의 순서를 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 파악하여도 좋다. 이 기록 매체로서, 예를 들면, CD(Compact Disc), MD(MiniDisc), DVD(Digital Versatile Disk), 메모리 카드, 블루 레이 디스크(Blu-ray Disc( 등록상표)) 등을 이용할 수 있다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자에 의해 피사체 광을 수광함에 의해 시차를 검출하기 위한 신호를 생성하는 시차 검출 화소와, 상기 마이크로 렌즈보다도 작은 마이크로 렌즈에 의해 화소 단위로 덮인 수광 소자에 의해 상기 피사체 광을 수광함에 의해 평면 화상을 생성하기 위한 신호를 생성하는 화상 생성 화소를 구비하는 촬상 소자와, 상기 시차 검출 화소가 생성한 신호에 의거하여 상기 시차를 검출하고, 상기 화상 생성 화소가 생성한 신호에 의거하여 상기 평면 화상을 생성하고, 상기 검출한 시차에 의거하여 상기 생성한 평면 화상에 포함되는 피사체상의 각각의 위치를 조정하여 입체시 화상을 생성하는 입체시 화상 생성부를 구비하는 촬상 장치.

(2) 상기 촬상 장치의 자세를 검출하는 자세 검출부를 더 구비하고,

상기 시차 검출 화소는, 상기 촬상 소자에서의 행 방향의 라인 위 및 열 방향의 라인 위에 나열되어 배치되고,상기 입체시 화상 생성부는, 상기 자세 검출부가 검출한 자세에 의거하여 상기 시차를 검출하는 방향을 상기 촬상 소자의 행 방향 및 열 방향의 어느 하나로부터 결정하고, 당해 결정된 방향으로 배치된 상기 시차 검출 화소가 생성한 신호에 의거하여 상기 시차에 관한 정보를 생성하는 상기 (1)에 기재된 촬상 장치.

(3) 상기 시차 검출 화소가 생성한 신호에 의거하여 합초 대상물에 대한 합초 판정을 행하는 합초 판정부를 더 구비하는 상기 (1) 또는 (2)에 기재된 촬상 장치.

(4) 상기 촬상 소자는, 상기 시차 검출 화소가 특정 방향에서의 라인 위에 인접하여 배치된 상기 (1)부터 (3)의 어느 하나에 기재된 촬상 장치.

(5) 상기 촬상 소자는, 상기 시차 검출 화소가 특정 방향에서의 라인 위에 소정의 간격 걸러 배치된 상기 (1)부터 (3)의 어느 하나에 기재된 촬상 장치.

(6) 상기 촬상 소자와 상기 사출동의 크기와의 관계에 의거하여, 상기 시차 검출 화소에서의 복수의 수광 소자를 덮는 상기 하나의 마이크로 렌즈를 당해 마이크로 렌즈의 광축 방향으로 이동시키는 제어부를 더 구비하는 상기 (1)부터 (5)의 어느 하나에 기재된 촬상 장치.

(7) 상기 시차 검출 화소에서의 복수의 수광 소자는, 동일한 컬러 필터에 의해 덮여 있는 상기 (1)부터 (6)의 어느 하나에 기재된 촬상 장치.

(8) 상기 시차 검출 화소에서의 복수의 수광 소자는, 녹색을 나타내는 파장 영역 이외의 광을 차광하는 녹색필터에 의해 덮여 있는 상기 (7)에 기재된 촬상 장치.

(9) 상기 시차 검출 화소에서의 복수의 수광 소자는, 가시광 영역의 광을 투과시키는 백색필터 또는 투명층에 의해 덮여 있는 상기 (7)에 기재된 촬상 장치.

(10) 상기 화상 생성 화소는, 상기 화소 단위마다 하나의 수광 소자를 구비하는 상기 (1)부터 (9)의 어느 하나에 기재된 촬상 장치.

(11) 상기 시차 검출 화소에서의 상기 복수의 수광 소자를 덮는 상기 하나의 마이크로 렌즈에 의해 집광된 상기 피사체 광을 상기 복수의 수광 소자의 각각의 위치에 집광하기 위한 마이크로 렌즈가, 당해 복수의 수광 소자를 당해 복수의 수광 소자마다 덮는 상기 (1)부터 (10)의 어느 하나에 기재된 촬상 장치.

(12) 상기 화상 생성 화소에서의 상기 수광 소자를 덮는 상기 마이크로 렌즈는, 상기 시차 검출 화소에서의 상기 복수의 수광 소자를 당해 복수의 수광 소자마다 덮는 상기 마이크로 렌즈의 광축 방향과 직교하는 동일면 상에 배치된 상기 (11)에 기재된 촬상 장치.

(13) 상기 화상 생성 화소에서의 상기 수광 소자를 덮는 상기 마이크로 렌즈는, 상기 시차 검출 화소에서의 상기 복수의 수광 소자를 덮는 상기 하나의 마이크로 렌즈의 광축 방향과 직교하는 동일면 상에 배치된 상기 (1)부터 (11)의 어느 하나에 기재된 촬상 장치.

(14) 하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자에 의해 피사체 광을 수광함에 의해 입체시 화상을 생성할 때에 이용되는 시차를 검출하기 위한 신호를 생성하는 시차 검출 화소와, 상기 마이크로 렌즈보다도 작은 마이크로 렌즈에 의해 화소 단위로 덮인 수광 소자에 의해 상기 피사체 광을 수광함에 의해 상기 시차를 이용하여 상기 입체시 화상을 생성할 때에 이용되는 평면 화상을 생성하기 위한 신호를 생성하는 화상 생성 화소와 를 구비하는 촬상 소자.

(15) 상기 시차는, 상기 평면 화상에서의 피사체상의 각각의 위치를 상기 시차 방향으로 조정하여 상기 입체시 화상을 생성할 때에 있어서의 상기 피사체상의 각각의 위치의 어긋남 량에 관한 정보이고, 상기 시차 검출 화소는, 상기 시차 방향으로 라인 위에 배치되는 상기 (14)에 기재된 촬상 소자.

(16) 하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자에 의해 시차를 검출하기 위한 신호를 생성하는 시차 검출 화소와, 피사체 광을 수광함에 의해 평면 화상을 생성하기 위한 신호를 생성하는 화상 생성 화소를 구비하는 촬상 소자에서의 상기 시차 검출 화소가 생성한 신호에 의거하여 시차를 검출하는 순서와, 상기 촬상 소자에서의 상기 화상 생성 화소가 생성한 신호에 의거하여 상기 평면 화상을 생성하는 순서와, 상기 검출한 시차에 의거하여 상기 평면 화상에서의 촬상된 물체의 각각의 위치를 조정하여 입체시 화상을 생성하는 입체시 화상 생성 순서를 구비하는 화상 처리 방법.

(17) 하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자에 의해 시차를 검출하기 위한 신호를 생성하는 시차 검출 화소와, 피사체 광을 수광함에 의해 평면 화상을 생성하기 위한 신호를 생성하는 화상 생성 화소를 구비하는 촬상 소자에서의 상기 시차 검출 화소가 생성한 신호에 의거하여 시차를 검출하는 순서와, 상기 촬상 소자에서의 상기 화상 생성 화소가 생성한 신호에 의거하여 상기 평면 화상을 생성하는 순서와, 상기 검출한 시차에 의거하여 상기 평면 화상에서의 촬상된 물체의 각각의 위치를 조정하여 입체시 화상을 생성하는 입체시 화상 생성 순서를 컴퓨터에 실행시키는 프로그램.

(18) 입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개와,

상기 한 쌍의 개구 영역을 통과하는 피사체 광을 각각 수광하여 상기 입체시 화상을 생성하기 위한 신호를 생성하는 촬상 소자와, 상기 한 쌍의 개구 영역의 중심 사이의 거리와, 상기 한 쌍의 개구 영역을 통과하는 상기 피사체 광의 광량의 증감을 각각 독립하여 제어하는 제어부를 구비하는 촬상 장치.

(19) 상기 조리개에는, 상기 입체시 화상에서의 시차 방향에서 상기 한 쌍의 개구 영역이 인접하여 형성되고, 상기 제어부는, 상기 한 쌍의 개구 영역의 각각의 주연 중, 상기 시차 방향에서의 양단에 대응하는 주연의 위치와, 상기 한 쌍의 개구 영역 사이에서 근접하는 주연의 위치를 각각 변경하여 제어하는 상기 (18)에 기재된 촬상 장치.

(20) 상기 제어부는, 상기 광량을 증감시키는 경우에는, 상기 중심 사이의 거리를 일정하게 한 상태에서, 상기 한 쌍의 개구 영역 중의 하나의 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이와, 다른 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이를 변경시키는 상기 (19)에 기재된 촬상 장치.

(21) 상기 한 쌍의 개구 영역 중의 하나의 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이는, 상기 다른 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이와 동일한 상기 (20)에 기재된 촬상 장치.

(22) 상기 제어부는, 상기 중심 사이의 거리를 변경시키는 경우에는, 상기 한 쌍의 개구 영역 중의 하나의 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이를 일정하게 한 상태에서, 상기 중심 사이의 거리를 변경시키는 상기 부터 의 어느 하나(19)(21)에 기재된 촬상 장치.

(23) 상기 중심 사이의 거리를 조정하는 조정부를 더 구비하고,

상기 제어부는, 상기 조정부에 의한 조정 후의 상기 중심 사이의 거리가 되도록 상기 한 쌍의 개구 영역을 제어하는 상기 (19)부터 (22)의 어느 하나에 기재된 촬상 장치.

(24) 상기 조리개는, 노치부를 구비하는 한 쌍의 부재가 상기 노치부가 서로 대향하도록 배치되는 제1 부재와, 돌출부를 구비하는 한 쌍의 부재가 상기 돌출부가 서로 대향하도록 배치되는 제2 부재를 구비하는 상기 (18)부터 (23)의 어느 하나에 기재된 촬상 장치.

(25) 상기 제1 부재 및 상기 제2 부재는, 상기 시차 방향에 대해 직교하는 직교 방향으로 구동되는 상기 (24)에 기재된 촬상 장치.

(26) 상기 노치부는, 상기 중심 사이의 거리의 중심을 통과하여 상기 제1 부재의 구동 방향에 평행한 직선상의 1점을 산형의 정점으로 하는 오목형상이고, 상기 돌출부는, 상기 중심 사이의 거리의 중심을 통과하여 상기 제2 부재의 구동 방향에 평행한 직선상의 1점을 산형의 정점으로 하는 볼록형상인 상기 (25)에 기재된 촬상 장치.

(27) 상기 촬상 장치의 자세를 검출하는 자세 검출부를 더 구비하고,

상기 조리개는, 노치부를 구비하는 한 쌍의 부재가 상기 노치부가 서로 대향하도록 배치되는 제1 부재와, 횡 위치 촬영의 경우에 있어서 상기 피사체 광의 일부를 차광하는 제2 부재로서, 돌출부를 구비하는 한 쌍의 부재가 당해 돌출부가 서로 대향하도록 배치되는 제2 부재와, 종 위치 촬영의 경우에 있어서 상기 피사체 광의 일부를 차광하는 제3 부재로서, 돌출부를 구비하는 한 쌍의 부재가 당해 돌출부가 서로 대향하도록 배치되는 제3 부재를 구비하고, 상기 제2 부재의 구동 방향과, 상기 제3 부재의 구동 방향은 직교하고, 상기 제어부는, 상기 검출된 자세에 의거하여 상기 횡 위치 촬영 또는 상기 종 위치 촬영의 어느 것인지를 결정하여 상기 한 쌍의 개구 영역을 제어하는 상기 (18)부터 (23)의 어느 하나에 기재된 촬상 장치.

(28) 상기 조리개는, 단안의 렌즈계에 의해 집광되는 상기 피사체 광의 광로에 배치된 상기 (18)부터 (27)의 어느 하나에 기재된 촬상 장치.

(29) 입체시 화상에서의 시차 방향에서 인접하는 한 쌍의 노치부를 각각 구비하는 한 쌍의 부재로 이루어지는 조리개로서, 상기 노치부가 서로 대향함에 의해 한 쌍의 개구 영역을 형성하는 조리개와, 상기 한 쌍의 개구 영역을 통과하는 피사체 광을 각각 수광하여 상기 입체시 화상을 생성하기 위한 신호를 생성하는 촬상 소자와, 상기 한 쌍의 개구 영역의 중심 사이의 거리가 일정하게 되도록, 상기 시차 방향과 직교하는 직교 방향에 상기 한 쌍의 부재를 각각 구동시켜서 상기 조리개를 제어하는 제어부를 구비하는 촬상 장치.

(30) 입체시 화상에서의 시차 방향을 길이방향으로 하는 개구 영역을 형성하는 조리개와, 상기 개구 영역을 통과하는 피사체 광을 수광하여 상기 입체시 화상을 생성하기 위한 신호를 생성하는 촬상 소자와, 상기 시차 방향에서의 상기 개구 영역의 길이가, 상기 시차 방향과 직교하는 직교 방향에서의 상기 개구 영역의 길이보다도 길어지도록 상기 조리개를 제어하는 제어부를 구비하는 촬상 장치.

(31) 상기 조리개는, 노치부를 구비하는 한 쌍의 부재가 상기 노치부가 서로 대향함에 의해 상기 개구 영역을 형성하고, 상기 제어부는, 상기 한 쌍의 부재를 상기 직교 방향으로 각각 구동시켜서 상기 조리개를 제어하는 상기 (30)에 기재된 촬상 장치.

(32) 상기 노치부는, 상기 시차 방향을 긴변으로 하는 사각형, 상기 시차 방향을 저변으로 하는 삼각형, 또는, 상기 시차 방향을 1변으로 하는 반원형인 상기 (30)에 기재된 촬상 장치.

(33) 상기 조리개는, 상기 시차 방향에 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제1 부재와, 상기 직교 방향으로 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제2 부재에 의해 상기 개구 영역을 형성하는 상기 (30)에 기재된 촬상 장치.

(34) 입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개에서의 상기 한 쌍의 개구 영역의 중심 사이의 거리를 제어하는 제1 제어 순서와, 상기 한 쌍의 개구 영역을 통과하는 상기 피사체 광의 광량의 증감을, 상기 중심 사이의 거리와는 독립하여 제어하는 제2 제어 순서를 구비하는 조리개 제어 방법.

(35) 입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개에서의 상기 한 쌍의 개구 영역의 중심 사이의 거리를 제어하는 제1 제어 순서와, 상기 한 쌍의 개구 영역을 통과하는 상기 피사체 광의 광량의 증감을, 상기 중심 사이의 거리와는 독립하여 제어하는 제2 제어 순서를 컴퓨터에 실행시키는 프로그램.

100 : 촬상 장치 110 : 렌즈부
111 : 줌렌즈 112 : 조리개
113 : 포커스 렌즈 120 : 조작 접수부
130 : 제어부 140 : 자세 검출부
151 : 표시부 152 : 기억부
170 : 구동부 200 : 촬상 소자
230 : 시차 검출 화소 300 : 신호 처리부
310 : 2D 화상 생성부 320 : 시차 검출부
330 : 3D 화상 생성부 400 : 촬상 장치
410 : 합초 판정부 500 : 촬상 장치
510 : 조리개 520 : 기선장 설정부
530 : 조리개 구동 설정부

Claims

하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자에 의해 피사체 광을 수광함에 의해 시차를 검출하기 위한 신호를 생성하는 시차 검출 화소와, 상기 마이크로 렌즈보다도 작은 마이크로 렌즈에 의해 화소 단위로 덮인 수광 소자에 의해 상기 피사체 광을 수광함에 의해 화상을 생성하기 위한 신호를 생성하는 화상 생성 화소를 구비하는 촬상 소자와,
상기 시차 검출 화소가 생성한 신호에 의거하여 상기 시차를 검출하고, 상기 화상 생성 화소가 생성한 신호에 의거하여 평면 화상을 생성하고, 상기 검출한 시차에 의거하여 상기 생성한 평면 화상에 포함되는 피사체상의 각각의 위치를 조정하여 입체시 화상을 생성하는 입체시 화상 생성부를 구비하고,
또한, 상기 입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개와,
상기 한 쌍의 개구 영역 중 어느 하나의 개구 영역에 관한 시차 방향에서의 양단에 대응하는 주연과 근접하는 주연 사이의 길이는, 상기 한 쌍의 개구 영역 중 다른 개구 영역에 관한 양단에 대응하는 주연과 근접하는 주연 사이의 길이를 변경시키거나 또는 같은 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 촬상 장치의 자세를 검출하는 자세 검출부를 더 구비하고,
상기 시차 검출 화소는, 상기 촬상 소자에서의 행 방향의 라인 위 및 열 방향의 라인 위에 나열되어 배치되고,
상기 입체시 화상 생성부는, 상기 자세 검출부가 검출한 자세에 의거하여 상기 시차를 검출하는 방향을 상기 촬상 소자의 행 방향 및 열 방향의 어느 하나로부터 결정하고, 당해 결정된 방향으로 배치된 상기 시차 검출 화소가 생성한 신호에 의거하여 상기 시차에 관한 정보를 생성하는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 시차 검출 화소가 생성한 신호에 의거하여 합초 대상물에 대한 합초 판정을 행하는 합초 판정부를 더 구비하는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 촬상 소자는, 상기 시차 검출 화소가 특정 방향에서의 라인 위에 인접하여 배치되는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 촬상 소자는, 상기 시차 검출 화소가 특정 방향에서의 라인 위에 소정의 간격 걸러 배치되는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 촬상 소자와 상기 시차 검출 화소로부터 본 조리개의 형상인 사출동의 크기와의 관계에 의거하여, 상기 시차 검출 화소에서의 상기 복수의 수광 소자를 덮는 상기 하나의 마이크로 렌즈를 당해 마이크로 렌즈의 광축 방향으로 이동시키는 제어부를 더 구비하는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 시차 검출 화소에서의 복수의 수광 소자는, 동일한 컬러 필터에 의해 덮여 있는 것을 특징으로 하는 촬상 장치.
제 7항에 있어서,
상기 시차 검출 화소에서의 복수의 수광 소자는, 녹색을 나타내는 파장 영역 이외의 광을 차광하는 녹색필터에 의해 덮여 있는 것을 특징으로 하는 촬상 장치.
제 7항에 있어서,
상기 시차 검출 화소에서의 복수의 수광 소자는, 가시광 영역의 광을 투과시키는 백색필터 또는 투명층에 의해 덮여 있는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 화상 생성 화소는, 상기 화소 단위마다 하나의 수광 소자를 구비하는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 시차 검출 화소에서의 상기 복수의 수광 소자를 덮는 상기 하나의 마이크로 렌즈에 의해 집광되는 상기 피사체 광을 상기 복수의 수광 소자의 각각의 위치에 집광하기 위한 마이크로 렌즈가, 당해 복수의 수광 소자를 당해 복수의 수광 소자마다 덮는 것을 특징으로 하는 촬상 장치.
제 11항에 있어서,
상기 화상 생성 화소에서의 상기 수광 소자를 덮는 상기 마이크로 렌즈는, 상기 시차 검출 화소에서의 상기 복수의 수광 소자를 당해 복수의 수광 소자마다 덮는 상기 마이크로 렌즈의 광축 방향과 직교하는 동일면 상에 배치되는 것을 특징으로 하는 촬상 장치.
제 1항에 있어서,
상기 화상 생성 화소에서의 상기 수광 소자를 덮는 상기 마이크로 렌즈는, 상기 시차 검출 화소에서의 상기 복수의 수광 소자를 덮는 상기 하나의 마이크로 렌즈의 광축 방향과 직교하는 동일면 상에 배치되는 것을 특징으로 하는 촬상 장치.
하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자에 의해 피사체 광을 수광함에 의해 입체시 화상을 생성할 때에 이용되는 시차를 검출하기 위한 신호를 생성하는 시차 검출 화소와,
상기 마이크로 렌즈보다도 작은 마이크로 렌즈에 의해 화소 단위로 덮인 수광 소자에 의해 상기 피사체 광을 수광함에 의해 상기 시차를 이용하여 상기 입체시 화상을 생성할 때에 이용되는 평면 화상을 생성하기 위한 신호를 생성하는 화상 생성 화소를 구비하며,
또한, 입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개와,
상기 한 쌍의 개구 영역 중 어느 하나의 개구 영역에 관한 시차 방향에서의 양단에 대응하는 주연과 근접하는 주연 사이의 길이는, 상기 한 쌍의 개구 영역 중다른 개구 영역에 관한 양단에 대응하는 주연과 근접하는 주연 사이의 길이를 변경시키거나 또는 같은 것을 특징으로 하는 촬상 소자.
제 14항에 있어서,
상기 시차는, 상기 평면 화상에서의 피사체상의 각각의 위치를 상기 시차 방향으로 조정하여 상기 입체시 화상을 생성할 때에 있어서의 상기 피사체상의 각각의 위치의 어긋남 량에 관한 정보이고,
상기 시차 검출 화소는, 상기 시차 방향으로 라인 위에 배치되는 것을 특징으로 하는 촬상 소자.
하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자에 의해 시차를 검출하기 위한 신호를 생성하는 시차 검출 화소와, 피사체 광을 수광함에 의해 평면 화상을 생성하기 위한 신호를 생성하는 화상 생성 화소를 구비하는 촬상 소자에서의 상기 시차 검출 화소가 생성한 신호에 의거하여 시차를 검출하는 순서와,
상기 촬상 소자에서의 상기 화상 생성 화소가 생성한 신호에 의거하여 상기 평면 화상을 생성하는 순서와,
상기 검출한 시차에 의거하여 상기 평면 화상에서의 촬상된 물체의 각각의 위치를 조정하여 입체시 화상을 생성하는 입체시 화상 생성 순서를 포함하며,
입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개와,
상기 한 쌍의 개구 영역 중 어느 하나의 개구 영역에 관한 시차 방향에서의 양단에 대응하는 주연과 근접하는 주연 사이의 길이는, 상기 한 쌍의 개구 영역 중 다른 개구 영역에 관한 양단에 대응하는 주연과 근접하는 주연 사이의 길이를 변경시키거나 또는 같은 것을 특징으로 하는 화상 처리 방법.
하나의 마이크로 렌즈에 의해 덮인 복수의 수광 소자에 의해 시차를 검출하기 위한 신호를 생성하는 시차 검출 화소와, 피사체 광을 수광함에 의해 평면 화상을 생성하기 위한 신호를 생성하는 화상 생성 화소를 구비하는 촬상 소자에서의 상기 시차 검출 화소가 생성한 신호에 의거하여 시차를 검출하는 순서와,
상기 촬상 소자에서의 상기 화상 생성 화소가 생성한 신호에 의거하여 상기 평면 화상을 생성하는 순서와,
상기 검출한 시차에 의거하여 상기 평면 화상에서의 촬상된 물체의 각각의 위치를 조정하여 입체시 화상을 생성하는 입체시 화상 생성 순서와,
입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개와,
상기 한 쌍의 개구 영역 중 어느 하나의 개구 영역에 관한 시차 방향에서의 양단에 대응하는 주연과 근접하는 주연 사이의 길이는, 상기 한 쌍의 개구 영역 중다른 개구 영역에 관한 양단에 대응하는 주연과 근접하는 주연 사이의 길이를 변경시키거나 또는 같은 것을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개와,
상기 한 쌍의 개구 영역을 통과하는 피사체 광을 각각 수광하여 상기 입체시 화상을 생성하기 위한 신호를 생성하는 촬상 소자와,
상기 한 쌍의 개구 영역의 중심(centroid) 사이의 거리와, 상기 한 쌍의 개구 영역을 통과하는 상기 피사체 광의 광량의 증감을 각각 독립하여 제어하는 제어부를 구비하고,
상기 조리개에는, 상기 입체시 화상에서의 시차 방향에서 상기 한 쌍의 개구 영역이 인접하여 형성되고,
상기 제어부는, 상기 한 쌍의 개구 영역의 각각의 주연 중, 상기 시차 방향에서의 양단에 대응하는 주연의 위치와, 상기 한 쌍의 개구 영역 사이에서 근접하는 주연의 위치를 각각 변경하여 제어하며,
또한, 상기 제어부는, 상기 광량을 증감시키는 경우에는, 상기 한 쌍의 개구 영역의 중심 사이의 거리를 일정하게 한 상태에서, 상기 한 쌍의 개구 영역 중 어느 하나의 개구 영역에 관한 상기 양단에 대응하는 주연과 근접하는 주연 사이의 길이와, 상기 한 쌍의 개구 영역 중 다른 개구 영역에 관한 상기 양단에 대응하는 주연과 근접하는 주연 사이의 길이를 변경시키거나 또는 같은 것을 특징으로 하는 촬상 장치.
삭제
삭제
제 18항에 있어서,
상기 한 쌍의 개구 영역 중의 하나의 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이는, 상기 다른 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이와 같은 것을 특징으로 하는 촬상 장치.
제 18항에 있어서,
상기 제어부는, 상기 중심 사이의 거리를 변경시키는 경우에는, 상기 한 쌍의 개구 영역 중의 하나의 개구 영역에 관한 상기 양단에 대응하는 주연과 상기 근접하는 주연 사이의 길이를 일정하게 한 상태에서, 상기 중심 사이의 거리를 변경시키는 것을 특징으로 하는 촬상 장치.
제 18항에 있어서,
상기 중심 사이의 거리를 조정하는 조정부를 더 구비하고,
상기 제어부는, 상기 조정부에 의한 조정 후의 상기 중심 사이의 거리가 되도록 상기 한 쌍의 개구 영역을 제어하는 것을 특징으로 하는 촬상 장치.
제 18항에 있어서,
상기 조리개는,
노치부를 구비하는 한 쌍의 부재가 상기 노치부가 서로 대향하도록 배치되는 제1 부재와,
돌출부를 구비하는 한 쌍의 부재가 상기 돌출부가 서로 대향하도록 배치되는 제2 부재를 구비하는 것을 특징으로 하는 촬상 장치.
제 24항에 있어서,
상기 제1 부재 및 상기 제2 부재는, 상기 입체시 화상에 있어서의 시차 방향에 대해 직교하는 직교 방향으로 구동되는 것을 특징으로 하는 촬상 장치.
제 25항에 있어서,
상기 노치부는, 상기 중심 사이의 거리의 중심(midpoint)을 통과하여 상기 제1 부재의 구동 방향에 평행한 직선상의 1점을 산형의 정점으로 하는 오목형상이고,
상기 돌출부는, 상기 중심 사이의 거리의 중심을 통과하여 상기 제2 부재의 구동 방향에 평행한 직선상의 1점을 산형의 정점으로 하는 볼록형상인 것을 특징으로 하는 촬상 장치.
제 18항에 있어서,
상기 촬상 장치의 자세를 검출하는 자세 검출부를 더 구비하고,
상기 조리개는,
노치부를 구비하는 한 쌍의 부재가 상기 노치부가 서로 대향하도록 배치되는 제1 부재와,
횡 위치 촬영의 경우에 있어서 상기 피사체 광의 일부를 차광하는 제2 부재로서, 돌출부를 구비하는 한 쌍의 부재가 당해 돌출부가 서로 대향하도록 배치되는 제2 부재와,
종 위치 촬영의 경우에 있어서 상기 피사체 광의 일부를 차광하는 제3 부재로서, 돌출부를 구비하는 한 쌍의 부재가 당해 돌출부가 서로 대향하도록 배치되는 제3 부재를 구비하고,
상기 제2 부재의 구동 방향과, 상기 제3 부재의 구동 방향은 직교하고,
상기 제어부는, 상기 검출된 자세에 의거하여 상기 횡 위치 촬영 또는 상기 종 위치 촬영의 어느 것인지를 결정하여 상기 한 쌍의 개구 영역을 제어하는 것을 특징으로 하는 촬상 장치.
제 18항에 있어서,
상기 조리개는, 단안의 렌즈계에 의해 집광되는 상기 피사체 광의 광로에 배치되는 것을 특징으로 하는 촬상 장치.
입체시 화상에서의 시차 방향에서 인접하는 한 쌍의 노치부를 각각 구비하는 한 쌍의 부재로 이루어지는 조리개로서, 상기 노치부가 서로 대향함에 의해 한 쌍의 개구 영역을 형성하는 조리개와,
상기 한 쌍의 개구 영역을 통과하는 피사체 광을 각각 수광하여 상기 입체시 화상을 생성하기 위한 신호를 생성하는 촬상 소자와,
상기 한 쌍의 개구 영역의 중심 사이의 거리가 일정하게 되도록, 상기 시차 방향과 직교하는 직교 방향에 상기 한 쌍의 부재를 각각 구동시켜서 상기 조리개를 제어하는 제어부를 구비하며,
상기 제어부는, 광량을 증감시키는 경우에는, 상기 중심 사이의 거리를 일정하게 한 상태에서, 상기 한 쌍의 개구 영역 중 어느 하나의 개구 영역에 관한 시차 방향에서의 양단에 대응하는 주연과 근접하는 주연 사이의 길이와, 상기 한 쌍의 개구 영역 중 다른 개구 영역에 관한 양단에 대응하는 주연과 근접하는 주연 사이의 길이를 변경시키는 것을 특징으로 하는 촬상 장치.
입체시 화상에서의 시차 방향을 길이방향으로 하는 개구 영역을 형성하는 조리개와,
상기 개구 영역을 통과하는 피사체 광을 수광하여 상기 입체시 화상을 생성하기 위한 신호를 생성하는 촬상 소자와,
상기 시차 방향에서의 상기 개구 영역의 길이가, 상기 시차 방향과 직교하는 직교 방향에서의 상기 개구 영역의 길이보다도 길어지도록 상기 조리개를 제어하는 제어부를 구비하며,
상기 조리개는, 상기 시차 방향에 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제1 부재와, 상기 직교 방향에 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제2 부재에 의해 상기 개구 영역을 형성하는 것을 특징으로 하는 촬상 장치.
제 30항에 있어서,
상기 조리개는, 노치부를 구비하는 한 쌍의 부재가 상기 노치부가 서로 대향함에 의해 상기 개구 영역을 형성하고,
상기 제어부는, 상기 한 쌍의 부재를 상기 직교 방향으로 각각 구동시켜서 상기 조리개를 제어하는 것을 특징으로 하는 촬상 장치.
제 31항에 있어서,
상기 노치부는, 상기 시차 방향을 긴변으로 하는 사각형, 상기 시차 방향을 저변으로 하는 삼각형, 또는, 상기 시차 방향을 1변으로 하는 반원형인 것을 특징으로 하는 촬상 장치.
삭제
입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개에서의 상기 한 쌍의 개구 영역의 중심 사이의 거리를 제어하는 제1 제어 순서와,
상기 한 쌍의 개구 영역을 통과하는 피사체 광의 광량의 증감을, 상기 중심 사이의 거리와는 독립하여 제어하는 제2 제어 순서를 구비하며,
상기 조리개는, 시차 방향에 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제1 부재와, 또한 직교 방향에 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제2 부재에 의해 상기 개구 영역을 형성하는 것을 특징으로 하는 조리개 제어 방법.
입체시 화상을 생성하기 위한 한 쌍의 개구 영역을 형성하는 조리개에서의 상기 한 쌍의 개구 영역의 중심 사이의 거리를 제어하는 제1 제어 순서와,
상기 한 쌍의 개구 영역을 통과하는 피사체 광의 광량의 증감을, 상기 중심 사이의 거리와는 독립하여 제어하는 제2 제어 순서와,
상기 조리개는, 시차 방향에 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제1 부재와, 또한 직교 방향에 평행한 변을 구비하고, 당해 변이 대향하는 한 쌍의 제2 부재에 의해 상기 개구 영역을 형성하는 것을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.