KR20130028022A - 화상 처리 장치, 화상 처리 방법, 및 기록 매체 - Google Patents

Abstract

촬상 장치 1은, 에너지 산출부 52와, 에너지 최소 경로 탐색부 54와, 범위 탐색부 55와, α블렌드 폭 결정부 56과, 투과도 설정부 58과, 합성부 59를 포함한다.
에너지 산출부 52는, 한 화상과 상기 한 화상의 합성 대상이 되는 다른 화상에 기초하여, 상기 한 화상 내의 각 주목 화소에 대응한 에너지를 각각 산출한다.
에너지 최소 경로 탐색부 54는, 각각 산출된 주목 화소의 에너지가 최소가 되는 상기 한 화상 중의 경로를 탐색한다.
범위 탐색부 55는, 탐색된 경로에 있어서의 상기 한 화상 내의 각 주목 화소의 값과 유사한 값을 갖는 화소의 범위를 상기 한 화상 내에서 탐색한다.
α블렌드 폭 결정부 56은, 탐색된 화소의 범위에 기초하여, 상기 경로를 기점으로 하는 상기 한 화상과 상기 다른 화상의 블렌드 폭을 결정한다.
투과도 설정부 58은, 결정된 블렌드 폭에 기초하여, 합성시에 있어서의 상기 한 화상 및 상기 다른 화상 사이의 투과도를 설정한다.
합성부 59는, 상기 블렌드 폭과 설정된 투과도에 기초하여, 상기 한 화상과 상기 다른 화상을 합성한다.

Description

화상 처리 장치, 화상 처리 방법, 및 기록 매체{AN IMAGE PROCESSING DEVICE, AN IMAGE PROCESSING METHOD, AND A RECORDING MEDIUM}

본 발명은, 화상 처리 장치, 화상 처리 방법 및 기록 매체에 관한 것이다.

종래의 기술로서 일본 특개평11－282100호 공보에는, 연속하여 촬영된 복수의 화상의 동일한 특징점이 일치하도록 상기 복수의 화상의 데이터를 합성함으로써, 파노라마 화상 등의 광범위 화상 데이터를 생성하는 기술이 기재되어 있다.

JP, H11-282100, 1999.10.15.

그러나, 일반적으로 복수의 화상에서, 쉐이딩에 의한 영향이나, 셔터 버튼을 누르는 타이밍이나, 촬상 소자의 노광 타이밍 등의 촬상 조건을 완전하게 일치시키는 것은 곤란하다. 이 때문에, 복수의 화상의 데이터를 합성하여 1장의 광범위 화상 데이터를 생성하는 경우, 합성 후의 광범위 화상 데이터는, 복수의 화상의 각각의 촬상 조건의 상이에 의한 노출값의 차의 영향을 받는다.

또, 촬상 장치를 2차원으로 움직이면서 복수의 화상을 촬상하고, 이들 복수의 화상의 데이터를 합성해 광범위 화상 데이터를 생성하는 경우가 있다. 이 경우, 상기 특허문헌 1의 합성 기술을 응용해도, 생성된 광범위 화상 데이터는, 복수의 화상들이 각각 노출값이 다르기 때문에, 특징점의 위치 맞춤을 정확하게 행할 수 없어, 화상의 이음 부분에 휘도 불균일 등이 발생하는 경우가 있었다. 이 때문에, 합성 후의 광범위 화상이 표시되면 감상자는 위화감을 느낄 우려가 있다.

본 발명은, 이러한 상황을 감안하여 이루어진 것으로서, 합성 후의 광범위 화상의 이음 부분의 위화감을 저감하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 본 발명의 일 양태의 화상 처리 장치는, 한 화상과 상기 한 화상의 합성 대상이 되는 다른 화상에 기초하여, 상기 한 화상 내의 각 주목 화소에 대응한 에너지를 각각 산출하는 에너지 산출부와, 상기 에너지 산출부에 의해 각각 산출된 주목 화소의 에너지가 최소가 되는 상기 한 화상 중의 경로를 탐색하는 에너지 최소 경로 탐색부와, 상기 에너지 최소 경로 탐색부에 의해 탐색된 경로에 있어서의 상기 한 화상 내의 각 주목 화소의 값과 유사한 값을 갖는 화소의 범위를 상기 한 화상 내에서 탐색하는 범위 탐색부와, 상기 범위 탐색부에 의해 탐색된 화소의 범위에 기초하여, 상기 경로를 기점으로 하는 상기 한 화상과 상기 다른 화상의 블렌드(blend) 폭을 결정하는 블렌드 폭 결정부와, 상기 블렌드 폭 결정부에 의해 결정된 블렌드 폭에 기초하여, 합성 시에 있어서의 상기 한 화상 및 상기 다른 화상 사이의 투과도를 설정하는 투과도 설정부와, 상기 블렌드 폭과 상기 투과도 설정부에 의해 설정된 투과도에 기초하여, 상기 한 화상과 상기 다른 화상을 합성하는 합성부를 포함한다.

본 발명에 의하면, 합성 대상인 다른 화상에 기초하여, 한 화상 내의 주목 화소에 대응한 에너지로부터, 복수의 화상의 데이터의 이음 부분이 되는 에너지 최소 경로를 탐색할 수 있다. 그리고, 이 에너지 최소 경로를 기점으로 한 블렌드 폭에 있어서의, 한쪽의 화상에 대한 다른 쪽의 화상의 투과도를 설정하여, 복수의 화상의 데이터를 합성할 수 있다. 따라서, 합성 후의 광범위 화상의 이음 부분의 위화감을 저감할 수 있다.

도 1은, 본 발명의 일 실시 형태에 의한 촬상 장치의 하드웨어의 구성을 도시한 블록도이다.
도 2는, 와이드 화상의 데이터의 생성 수법의 일례를 도시한 모식도이다.
도 3은, 촬상 장치의 와이드 화상 합성 처리를 개략적으로 도시한 모식도이다.
도 4는, 와이드 화상 합성 처리에 있어서의 수직 방향 합성 처리를 개략적으로 도시한 모식도이다.
도 5는, 도 1의 촬상 장치의 기능적 구성 중, 와이드 화상 합성 처리를 실행하기 위한 기능적 구성을 도시한 기능 블록도이다.
도 6은, 에너지 맵 생성부에 있어서의 에너지 맵의 생성 수법의 일례를 도시한 모식도이다.
도 7은, 에너지 최소 경로 탐색부에 있어서의 에너지 최소 경로를 탐색하는 수법의 일례를 도시한 모식도이다.
도 8은, 범위 탐색부의 에너지 최소 경로에 있어서의 한 화상의 데이터 내의 각 주목 화소의 값과 유사한 값을 갖는 화소의 범위를 탐색하는 수법의 일례를 도시한 모식도이다.
도 9는, α블렌드 폭 결정부에 있어서의 블렌드 폭을 결정하는 수법의 일례를 도시한 모식도이다.
도 10은, α블렌드 맵 생성부에 있어서의 α블렌드 맵을 생성하는 수법의 일례를 도시한 모식도이다.
도 11은, 촬상 장치가 실행하는 와이드 화상 합성 처리의 흐름을 설명한 흐름도이다.
도 12는, 촬상 장치가 실행하는 수직 방향 합성 처리의 흐름을 설명한 흐름도이다.

이하, 본 발명의 실시 형태에 대하여, 화상 처리 장치의 일례로서 촬상 장치 1에 대해, 도면을 이용하여 설명한다.

도 1은, 본 발명의 일 실시 형태에 의한 촬상 장치 1의 하드웨어의 구성을 도시한 블록도이다. 촬상 장치 1은, 예를 들면 디지털 카메라로서 구성된다.

촬상 장치 1은, CPU(Central　Processing　Unit) 11과, ROM(Read　Only　Memory) 12와, RAM(Random　Access　Memory) 13과, 화상 처리부 14와, 버스 15와, 입출력 인터페이스 16과, 촬상부 17과, 가속도 센서 18과, 입력부 19와, 출력부 20과, 기억부 21과, 통신부 22와, 드라이브 23을 포함한다.

CPU 11은, ROM 12에 기록되어 있는 프로그램, 또는 기억부 21로부터 RAM 13에 로딩된 프로그램에 따라 각종 처리를 실행한다.

RAM 13에는, CPU 11이 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.

화상 처리부 14는, DSP(Digital　Signal　Processor)나, VRAM(Video　Random Access　Memory) 등으로 구성되어 있고, CPU 11과 협동하여 화상의 데이터에 대해서 각종 화상 처리를 실시한다.

CPU 11, ROM 12, RAM 13 및 화상 처리부 14는, 버스 15를 통해 서로 접속되어 있다. 이 버스 15에는 또한 입출력 인터페이스 16도 접속되어 있다. 입출력 인터페이스 16에는, 촬상부 17, 가속도 센서 18, 입력부 19, 출력부 20, 기억부 21, 통신부 22 및 드라이브 23이 접속되어 있다.

촬상부 17은, 도시되어 있지 않지만, 광학 렌즈부와 이미지 센서를 포함하고 있다.

광학 렌즈부는, 피사체를 촬상하기 위해서 빛을 집광하는 렌즈, 예를 들면 포커스 렌즈나 줌 렌즈 등으로 구성된다. 포커스 렌즈는, 이미지 센서의 수광면에 피사체상을 결상시키는 렌즈이다. 줌 렌즈는, 초점 거리를 일정한 범위에서 자유롭게 변화시키는 렌즈이다. 광학 렌즈부에는 또한, 필요에 따라, 초점, 노출, 화이트 밸런스 등의 설정 파라미터를 조정하는 주변 회로가 설치된다.

이미지 센서는, 광전 변환 소자나, AFE(Analog　Front　End) 등으로 구성된다.

광전 변환 소자는, 예를 들면 CMOS(Complementary　Metal　Oxide　Semiconductor)형의 광전 변환 소자 등으로 구성된다. 광전 변환 소자에는, 광학 렌즈부로부터 피사체상이 입사된다. 그래서, 광전 변환 소자는, 피사체상을 광전 변환(촬상)하여 화상 신호를 일정 시간 축적하고, 축적한 화상 신호를 아날로그 신호로서 AFE에 순차적으로 공급한다.

AFE는, 이 아날로그의 화상 신호에 대해서, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 실행한다. 각종 신호 처리에 의해, 디지털 신호가 생성되어 촬상부 17의 출력 신호로서 출력된다.

여기서, 1회의 촬상 동작에 의해, 촬상부 17로부터 출력되는 출력 신호를, 이하 "프레임 화상의 데이터"라고 부른다. 즉, 연사 동작이란 복수 회의 촬상 동작의 반복이므로, 연사 동작에 의해 복수의 프레임 화상의 데이터가 촬상부 17로부터 출력된다. 본 실시 형태에서는, 프레임 화상으로서 애스펙트비(종횡비)가 4：3인 노멀(normal) 화상이 채용되고 있다.

가속도 센서 18은, 촬상 장치 1의 속도나 가속도를 검출 가능하게 구성된다.

입력부 19는, 각종 버튼 등으로 구성되어 사용자의 지시 조작에 따라 각종 정보를 입력한다.

출력부 20은, 디스플레이나 스피커 등으로 구성되어 화상이나 음성을 출력한다. 본 실시 형태의 출력부 20에는, 노멀 화상을 화면 전체에 표시할 수 있도록 애스펙트비(종횡비)가 4：3인 디스플레이가 설치되어 있다.

기억부 21은, 하드 디스크 혹은 DRAM(Dynamic　Random　Access　Memory) 등으로 구성되어 각종 화상의 데이터를 기억한다.

통신부 22는, 인터넷을 포함하는 네트워크를 통해 다른 장치(도시 생략)와의 사이에서 행하는 통신을 제어한다.

드라이브 23에는, 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 이동식 매체 31이 적절하게 장착된다. 드라이브 23에 의해 이동식 매체 31로부터 읽어 내어진 프로그램은, 필요에 따라 기억부 21에 인스톨된다. 또, 이동식 매체 31은, 기억부 21에 기억되어 있는 화상 데이터 등의 각종 데이터도, 기억부 21과 마찬가지로 기억할 수 있다.

이러한 구성을 갖는 촬상 장치 1은, 와이드 화상 합성 처리를 실행할 수 있다. 본 실시 형태에 있어서, "와이드 화상 합성 처리"란, 촬상부 17에 연사 동작을 시켜, 그 결과 얻어지는 복수 장의 프레임 화상의 데이터를 합성함으로써 복수 장의 파노라마 화상의 데이터를 생성하고, 생성한 이들 복수 장의 파노라마 화상의 데이터를 합성함으로써 와이드 화상을 생성하기까지의 일련의 처리이다.

여기서, 와이드 화상 합성 처리의 이해를 용이하게 하기 위해, 와이드 화상 합성 처리의 개요를 설명한다. 와이드 화상 합성 처리의 개요의 설명에서는, 먼저 도 2를 참조하여, 촬상 장치 1에 있어서의 와이드 화상의 데이터의 생성 수법을 개략적으로 설명하고, 다음으로 도 3을 참조하여, 촬상 장치 1에 있어서의 와이드 화상 합성 처리를 개략적으로 설명하고, 도 4를 참조하여, 와이드 화상 합성 처리에 있어서의 수직 방향 합성 처리를 개략적으로 설명한다.

도 2는, 와이드 화상의 데이터의 생성 수법의 일례를 도시한 모식도이다. 도 2에 있어서는, 사용자가 건물을 와이드 화상으로서 촬상하는 경우의 예가 도시되어 있다. 본 실시 형태에 있어서, 좌측에서 우측 또는 우측에서 좌측으로의 방향은 "수평 방향"이라고 부르고, 상측에서 하측 또는 하측에서 상측으로의 방향은 "수직 방향"이라고 부른다. 또, 본 실시 형태에 있어서, 복수 장의 프레임 화상의 데이터를 수평 방향으로 합성함으로써 생성하는 화상을 "파노라마 화상"이라고 부르고, 복수 장의 파노라마 화상의 데이터를 수직 방향으로 합성함으로써 생성하는 광범위 화상을 "와이드 화상"이라고 부른다.

본 실시 형태에서는, 촬상 장치 1의 동작 모드로서, 노멀 화상을 촬상하는 모드(이하, "노멀 모드"라고 부른다)와, 와이드 화상을 촬상하는 모드(이하, "와이드 모드"라고 부른다)가 존재한다. 그래서, 사용자는, 입력부 19에 대해서 소정의 조작을 함으로써, 촬상 장치 1의 동작 모드를 와이드 모드로 전환한다.

다음으로, 사용자는, 촬상 장치 1을 보유한 상태로, 입력부 19에서 도시가 생략된 셔터 스위치를 하한까지 누르는 조작(이하, "완전누름 조작"이라고 부른다)을 한다. 이에 의해, 와이드 화상 합성 처리가 개시된다. 촬상 장치 1은, 촬상부 17의 연사 동작을 개시시킨다.

다음으로 사용자는, 셔터 스위치의 완전누름 조작을 유지한 상태로, 우선 도 2 중 상측에 있어서, 좌측에서 우측의 방향으로 촬상 장치 1을 이동시키고, 이어서 같은 도면 중 하측으로 촬상 장치 1을 이동시키고 나서, 우측에서 좌측의 방향으로 촬상 장치 1을 이동시킨다.

촬상 장치 1은, 이동 중에 가속도 센서 18의 검출 결과에 기초하여 이동량을 검출하고, 그 이동량이 소정량에 달할 때마다, 촬상부 17에 피사체를 촬상시켜, 그 결과 얻어지는 프레임 화상의 데이터를 기억해 나가는 것을 반복한다.

구체적으로는 본 예에서는, 촬상 장치 1은, 촬상의 개시 위치(완전누름 조작을 개시한 위치)로부터의 수평 방향의 이동량이 소정량에 달하면, 1회째의 촬상을 행하여 제1 프레임 화상의 데이터를 기억한다. 또한, 촬상 장치 1은, 1회째의 촬상 위치로부터의 이동량이 소정량에 달하면, 2회째의 촬상을 행하여 제2 프레임 화상의 데이터를 기억한다. 또한, 촬상 장치 1은, 2회째의 촬상 위치로부터의 이동량이 소정량에 달하면, 3회째의 촬상을 행하여 제3 프레임 화상의 데이터를 기억한다. 그 후, 촬상 장치 1은, 소정량 이상의 수직 방향의 이동을 검출하면, 수평 방향의 이동량의 총량(완전누름 조작을 개시한 위치로부터의 누계 이동량)을 기억한다.

그리고, 다음으로, 촬상 장치 1은, 소정량 이상의 수직 방향의 이동을 검출한 위치로부터의 수평 방향의 이동량이 소정량에 달하면, 4회째의 촬상을 행하여 제4 프레임 화상의 데이터를 기억한다. 또한, 촬상 장치 1은, 4회째의 촬상 위치로부터의 이동량이 소정량에 달하면, 5회째의 촬상을 행하여 제5 프레임 화상의 데이터를 기억한다. 또한, 촬상 장치 1은, 5회째의 촬상 위치로부터의 이동량이 소정량에 달하면, 6회째의 촬상을 행하여 제6 프레임 화상의 데이터를 기억한다. 그 후, 촬상 장치 1은, 소정량 이상의 수직 방향의 이동을 검출하기 전의 이동량과 동일량의 이동을 검출하면, 촬상부 17의 연사 동작을 종료시킨다. 그러면, 촬상 장치 1은, 기억한 제1 내지 제 6의 프레임 화상의 데이터에 대해서 와이드 화상 합성 처리를 행하여 와이드 화상의 데이터를 생성한다.

도 3은, 촬상 장치 1의 와이드 화상 합성 처리를 개략적으로 도시한 모식도이다.

촬상 장치 1은, 파노라마 화상 데이터 생성 처리에 의해, 기억한 제1 내지 제3의 프레임 화상의 데이터를 촬상 순서대로 합성함으로써, 상측 파노라마 화상의 데이터를 생성한다. 또, 촬상 장치 1은, 파노라마 화상 데이터 생성 처리에 의해, 기억한 제4 내지 제 6의 프레임 화상의 데이터를 촬상 순서대로 합성함으로써, 하측 파노라마 화상의 데이터를 생성한다. 그리고, 촬상 장치 1은, 수직 방향 합성 처리에 의해, 상측 파노라마 화상의 데이터와 하측 파노라마 화상의 데이터를 합성하여, 와이드 화상의 데이터를 생성한다.

도 4는, 와이드 화상 합성 처리에 있어서의 수직 방향 합성 처리를 개략적으로 도시한 모식도이다.

촬상 장치 1은, 수직 방향 합성 처리에 있어서, 상측 파노라마 화상의 데이터와 하측 파노라마 화상의 데이터로부터 에너지 맵을 생성한다. 본 실시 형태에 있어서, "에너지 맵"은 다음과 같이 생성된다. 즉, 상측 파노라마 화상의 데이터에 대해, 상측 파노라마 화상 내의 특정 화소(주목 화소)와 다른 화소의 유사도 및 하측 파노라마 화상 내의 상기 주목 화소에 대응한 위치의 화소(대응 화소)와 다른 화소의 유사도가 산출된다. 그리고, 이들 유사도에 기초하여 화소마다 에너지가 산출된다. 산출된 화소마다의 에너지가, 2차원 평면 상의 분포를 나타낸 "에너지 맵"이며, 후술하는 α블렌드 맵의 생성에 이용된다. 또, 본 실시 형태에 있어서 "에너지"는, 화소가 유사할수록 작은 값이 되고, 화소가 유사하지 않을수록 큰 값이 된다. 여기서 "주목 화소"란, 처리 대상으로서 주목해야 할 화소이며, 처리 대상인 파노라마 화상(예를 들면 본 실시 형태에서는 상측 파노라마 화상)을 구성하는 각 화소가 소위 래스터(raster) 순으로 순차적으로 설정된다.

다음으로, 촬상 장치 1은, 에너지 맵을 분석하여 α블렌드 맵을 생성한다. 본 실시 형태에 있어서 "α블렌드 맵"은, 상측 파노라마 화상의 데이터와 하측 파노라마 화상의 데이터를 합성할 때의, 상측 파노라마 화상의 데이터에 대한 하측 파노라마 화상의 데이터의 투과도를 설정하는 것이며, 프레임 화상과 동일 해상도이고, 투과도를 화소값으로서 갖는 각 화소로 구성되는 화상(화소마다의 투과도의 2차원 평면 상의 분포)이다.

예를 들면, 상측 파노라마 화상의 데이터에 하측 파노라마 화상의 데이터를 겹치는 경우의 α블렌드 맵의 기능을 이하에서 설명한다. 또한, 이하의 설명에 있어서 설명의 편의를 위해, 투과도를 0～100의 수치로 설명한다. 투과도가 0이란, 합성할 때, 상측 파노라마 화상의 데이터에 대해서 하측 파노라마 화상의 데이터가 그대로 적용되는 것을 나타낸다. 투과도가 100이란, 합성할 때, 상측 파노라마 화상의 데이터에 대해서 하측 파노라마 화상의 데이터가 전혀 적용되지 않는 것을 나타낸다. 투과도가 0과 100 사이의 값이면, 합성할 때, 그 값에 따라 상측 파노라마 화상의 데이터와 하측 파노라마 화상의 데이터가 블렌드되는 것을 나타낸다. "그 값에 따라"란, 예를 들면, 0에 가까운 값이면, 상측 파노라마 화상의 데이터의 요소보다 하측 파노라마 화상의 데이터의 요소가 많이 블렌드된다. 또, 100에 가까운 값이면, 하측 파노라마 화상의 데이터의 요소보다 상측 파노라마 화상의 데이터의 요소가 많이 블렌드된다.

도 4의 α블렌드 맵에 있어서, 흑색 부분 B는 투과도가 0이며, 해칭 부분 G는 투과도가 0과 100 사이의 값이며, 백색 부분 W는 투과도가 100이다. 촬상 장치 1은, 이 α블렌드 맵을 이용하여, 상측 파노라마 화상의 데이터와 하측 파노라마 화상의 데이터를 합성해 와이드 화상의 데이터를 생성한다. 이에 의해, 와이드 화상의 데이터는, 흑색 부분 B에 하측 파노라마 화상의 데이터가 그대로 적용되고, 해칭 부분 G에 상측 파노라마 화상의 데이터와 하측 파노라마 화상의 데이터가 블렌드된 데이터가 적용되며, 백색 부분 W에 상측 파노라마 화상의 데이터가 그대로 적용된 데이터가 된다.

다음으로, 도 5를 참조하여, 이러한 와이드 화상 합성 처리를 실행하기 위한 촬상 장치 1의 기능적 구성에 대해 설명한다. 도 5는, 도 1의 촬상 장치 1의 기능적 구성 중, 와이드 화상 합성 처리를 실행하기 위한 기능적 구성을 도시한 기능 블록도이다.

촬상 장치 1이 와이드 화상 합성 처리를 실행하는 경우에는, CPU 11에서 촬상 제어부(합성 제어부) 40이 기능하여, 상기 촬상 제어부 40의 제어 하에서, 화상 처리부 14에서, 파노라마 화상 데이터 생성부 50과, 취득부 51과, 에너지 산출부 52와, 에너지 맵 생성부 53과, 에너지 최소 경로 탐색부 54와, 범위 탐색부 55와, α블렌드 폭 결정부 56과, α블렌드 맵 생성부 57과, 투과도 설정부 58과, 합성부 59가 기능한다.

촬상 제어부 40은, 촬상부 17의 촬상 타이밍을 제어한다. 구체적으로는, 와이드 모드 상태에서, 사용자가 촬상 장치 1을 보유한 채로 완전누름 조작을 하면, 와이드 화상 합성 처리가 개시된다. 즉, 촬상 제어부 40은, 촬상부 17의 연사 동작을 개시시킨다. 그 후, 사용자는, 입력부 19의 셔터 스위치의 완전누름 조작을 유지한 상태로 수평 방향, 예를 들면, 피사체의 좌측에서 우측으로 촬상 장치 1을 이동시킨다. 다음으로, 사용자는, 셔터 스위치의 완전누름 조작을 유지한 상태로 수직 방향, 예를 들면, 피사체의 상측에서 하측으로 촬상 장치 1을 이동시킨다. 이어서, 사용자는, 셔터 스위치의 완전누름 조작을 유지한 상태로 수평 방향, 예를 들면, 피사체의 우측에서 좌측으로 촬상 장치 1을 이동시킨다.

촬상 제어부 40은, 가속도 센서 18의 검출 결과에 기초하여, 완전누름 조작이 유지되고 있는 동안, 촬상 장치 1의 수평 방향의 이동량이 일정량에 달할 때마다 촬상부 17로 하여금 촬상하게 하여, 그 결과 얻어지는 프레임 화상의 데이터를 기억부 21의 프레임 버퍼에 일시적으로 기억해 나가는 것을 반복한다.

또, 촬상 제어부 40은, 촬상 장치 1의 소정량 이상의 수직 방향의 이동을 검출하면, 수평 방향의 총 이동량(완전누름 조작을 개시한 위치로부터의 누계 이동량)을 기억한다.

그 후, 촬상 제어부 40은, 촬상 장치 1의 수직 방향의 이동 후, 수평 방향의 총 이동량이 기억한 총 이동량(수직 방향의 이동을 검출하기 전의 이동량의 총량)에 달하면, 촬상 제어부 40은 촬상부 17의 연사 동작을 종료시킨다.

파노라마 화상 데이터 생성부 50은, 촬상부 17에 의해 촬상되어 프레임 버퍼에 일시적으로 기억된 프레임 화상의 데이터를 촬상 순서대로 합성함으로써 파노라마 화상의 데이터를 생성한다.

상세하게는, 파노라마 화상 데이터 생성부 50은, 셔터 스위치가 완전누름 조작되고 나서, 촬상 장치 1의 수직 방향의 이동이 검출될 때까지의 사이에 촬상된 복수의 프레임 화상의 데이터를 취득한다. 파노라마 화상 데이터 생성부 50은, 이들 프레임 화상의 데이터를 합성하여, 1장의 파노라마 화상의 데이터(예를 들면, 도 3에 도시한 상측 파노라마 화상의 데이터)를 생성한다. 또한, 파노라마 화상 데이터 생성부 50은, 촬상 장치 1의 수직 방향의 이동을 검출한 후, 촬상부 17의 연사 동작이 종료될 때까지의 사이에 촬상된 복수의 프레임 화상의 데이터를 취득한다. 파노라마 화상 데이터 생성부 50은, 이들 프레임 화상의 데이터를 수평 방향으로 합성하여, 1장의 파노라마 화상의 데이터(예를 들면, 도 3에 도시한 하측 파노라마 화상의 데이터)를 생성한다.

이하에 설명하는 화상 처리부 14에서의 취득부 51, 에너지 산출부 52, 에너지 맵 생성부 53, 에너지 최소 경로 탐색부 54, 범위 탐색부 55, α블렌드 폭 결정부 56, α블렌드 맵 생성부 57, 투과도 설정부 58 및 합성부 59는, 촬상 장치 1이 파노라마 화상 데이터 생성부 50에 의해 생성한 복수의 파노라마 화상의 데이터를 수직 방향으로 합성하는 처리를 실행하기 위한 기능적 구성이다.

취득부 51은, 파노라마 화상 데이터 생성부 50이 생성한 복수의 파노라마 화상의 데이터를 취득한다.

에너지 산출부 52는, 취득부 51이 취득한 복수의 파노라마 화상의 데이터에서의 한 화상의 데이터와 상기 한 화상의 합성 대상인 다른 화상의 데이터에 기초하여, 한 화상의 데이터 내의 주목 화소에 대응한 에너지를 각각 산출한다.

구체적으로는, 에너지 산출부 52는, 취득부 51이 취득한 복수의 파노라마 화상의 데이터에서의 합성 대상이 되는 2개의 화상의 데이터(예를 들면, 도 3에 도시한 상측 파노라마 화상의 데이터 및 하측 파노라마 화상의 데이터) 중, 한쪽의 화상의 데이터(예를 들면, 상측 파노라마 화상의 데이터)에 대해, 한쪽의 화상(예를 들면, 상측 파노라마 화상) 내의 주목 화소와 다른 화소의 유사도 및 다른 쪽의 화상(예를 들면, 하측 파노라마 화상) 내의 다른 화소와 주목 화소의 유사도에 기초하여 화소마다 에너지를 구한다.

에너지 맵 생성부 53은, 에너지 산출부 52에 의해 산출된 주목 화소마다의 에너지의 2차원 평면 상의 분포를 에너지 맵으로서 생성한다.

도 6은, 에너지 맵 생성부 53에 있어서의 에너지 맵의 생성 수법의 일례를 도시한 모식도이다. 도 6(a)는, 상측 파노라마 화상의 데이터의 일부를 도시하고 있다. 도 6(b)는, 하측 파노라마 화상의 데이터의 일부를 도시하고 있다. 도 6(c)는, 도 6(a)에 도시한 상측 파노라마 화상의 데이터와 도 6(b)에 도시한 하측 파노라마 화상의 데이터 간에 있어서의 주목 화소와 그 주변 화소의 유사도를 에너지로서 나타낸 에너지 맵의 일부를 도시하고 있다.

또, 도 6 및 후술하는 도 7 내지 도 10에는, 각각 X(수평 방향) 및 Y(수직 방향)로 배열된 복수의 그리드가 도시되어 있다. 각 그리드는 1개의 화소를 나타낸다.

에너지 맵 생성부 53은, 도 6(c)에 도시한 바와 같이, 도 6(c) 중 좌측에서 우측을 향해 순차적으로 각 화소의 에너지를 산출하여 에너지 맵을 생성한다.

에너지 맵 생성부 53이, 에너지 맵의 생성에 있어서, 각 화소의 에너지를 산출하는 수법의 일례를 설명한다. 에너지 맵 생성부 53은, 도 6(c)에 도시한 에너지 E를 이하와 같이 산출한다.

에너지 맵 생성부 53은, 도 6(a)에 도시한 상측 파노라마 화상의 주목 화소(좌표(x, y))와, 이 주목 화소와 주변에 인접하는 화소(좌표(x＋n, y＋m))의 유사도에 기초하여, 유사도 에너지 Eo를 산출한다. 예를 들면, 주변 화소에는, 도 6과 같이 주변의 일부 화소만을 이용해도 된다.

또, 에너지 맵 생성부 53은, 도 6(b)에 도시한 하측 파노라마 화상의 데이터에 있어서, 상측 파노라마 화상의 주목 화소의 배치 위치와 대응하는 위치에 배치되어 있는 대응 주목 화소(좌표(x, y))와, 이 대응 주목 화소와 수평 방향으로 인접하는 화소(좌표(x＋n, y＋m))의 유사도에 기초하여, 대응 유사도 에너지 Ec를 산출한다. 예를 들면, 주변 화소에는, 도 6과 같이 주변의 일부 화소만을 이용해도 된다.

또한, 에너지 맵 생성부 53은, 도 6(c)에 도시한 에너지 맵에 있어서, 이미 에너지를 산출한 화소 중, 이번에 에너지 E를 산출하는 화소의 앞의 열에서 상기 화소에 인접하는 화소(인접 화소)와, 이 인접 화소의 상하의 화소의 에너지 중, 가장 작은 에너지 Emin을 산출한다. 또한 본 실시 형태에서는, 에너지 맵 생성부 53은, 앞의 열의 3개의 화소 중에서, 가장 작은 에너지 Emin을 산출하지만 이에 한정되지 않는다. 예를 들면, 하측 파노라마 화상의 데이터와 상측 파노라마 화상의 데이터의 특성에 따라, 앞의 열의 5개의 화소 중에서 가장 작은 에너지 Emin을 산출할 수도 있다. 에너지 맵 생성부 53은, 산출한 유사도 에너지 Eo, 대응 유사도 에너지 Ec 및 에너지 Emin에 기초하여, 에너지 E를 산출한다.

여기서, 본 실시예에 있어서, 상측 파노라마 화상의 주목 화소를 기준으로 하여 Eo, Ec, Emin를 산출함으로써 에너지 E를 구했지만, 하측 파노라마 화상의 주목 화소를 기준으로 하여 Eo, Ec, Emin를 산출함으로써 에너지 E를 구해도 좋다.

도 5로 되돌아와, 에너지 최소 경로 탐색부 54는, 에너지 맵 생성부 53이 생성한 에너지 맵의 수평 방향에 있어서, 에너지가 최소가 되는 에너지 최소 경로를 탐색한다.

도 7은, 에너지 최소 경로 탐색부 54에서의 에너지 최소 경로를 탐색하는 수법의 일례를 도시한 모식도이다. 도 7에는, 에너지 맵 생성부 53이 생성한 에너지 맵이 도시되어 있다.

에너지 최소 경로 탐색부 54는, 에너지 산출부 52에 의해 각각 산출된 주목 화소의 데이터의 에너지가 최소가 되는 경로를 탐색한다. 상세하게는, 에너지 최소 경로 탐색부 54는, X방향(수평 방향)에 있어서, 에너지 맵 생성부 53에 의해 에너지 맵이 생성된 방향과 반대 방향을 향해 에너지 최소 경로를 탐색해 간다. 즉, 에너지 맵에 있어서, 에너지 맵 생성부 53이 마지막에 에너지를 산출한 열로부터, 최초로 에너지를 산출한 열을 향해 에너지 최소 경로를 탐색해 간다.

구체적으로는, 에너지 최소 경로 탐색부 54는, 에너지 맵 생성부 53이 마지막에 에너지를 산출한 열에서, 가장 에너지가 작은 화소를 탐색한다. 다음으로, 에너지 최소 경로 탐색부 54는, 탐색한 화소와 인접하는 화소와, 이 인접하는 화소의 상하의 화소의 에너지 중, 가장 에너지가 작은 화소를 탐색한다. 에너지 최소 경로 탐색부 54는, 동일한 탐색을 에너지 맵 생성부 53이 최초로 에너지를 산출한 열까지 행함으로써, 에너지 최소 경로 R을 탐색한다.

또한, 에너지 최소 경로 R의 탐색은, 상술한 방법에 한정되지 않고, 예를 들면 그래프 컷 기술에 의하여 행해도 된다. 또한, 그래프 컷 기술에 관해서는, 예를 들면, "Interactive　Digital　Photomontage"　A.　Agarwala　et　al.　ACM　SIGGRAPH,　2004에 개시되어 있으므로, 본 실시예에서 상세하게는 설명하지 않는다.

도 5로 되돌아와, 범위 탐색부 55는, 에너지 최소 경로 탐색부 54에 의해 탐색된 에너지 최소 경로에 있어서의 한 화상의 데이터 내의 각 주목 화소의 값과 유사한 값을 갖는 화소의 범위를 탐색한다. 또, 범위 탐색부 55는, 에너지 맵 생성부 53에 의해 생성된 에너지 맵의 소정 방향과 직교하는 방향에 있어서, 에너지가 최소가 되는 경로를 탐색한다.

도 8은, 범위 탐색부 55의 에너지 최소 경로에 있어서의 한 화상의 데이터 내의 각 주목 화소의 값과 유사한 값을 갖는 화소의 범위를 탐색하는 수법의 일례를 도시한 모식도이다. 도 8에는, 에너지 맵 생성부 53이 생성한 에너지 맵과, 이 에너지 맵에 있어서, 에너지 최소 경로 탐색부 54가 탐색한 에너지 최소 경로 R이 도시되어 있다.

범위 탐색부 55는, 에너지 맵의 Y방향(수직 방향)을 향해, 에너지 최소 경로 R에 있어서의 각 화소의 에너지와 에너지의 차분이 소정의 평탄도 이내인 화소를 탐색한다. 범위 탐색부 55는, 에너지 최소 경로 R에 있어서의 각 화소의 각각에 대해, 소정의 평탄도 이내인 화소를 탐색함으로써, 소정의 평탄도 이내인 범위 R'를 탐색한다. 본 실시 형태에 있어서 "소정의 평탄도"란, 예를 들면 에너지 최소 경로 R에 있어서의 각 화소의 에너지와 에너지의 차분이 소정값 이내인 것을 말한다. 또, "에너지의 차분"은, 예를 들면, 화소에 있어서의 휘도값의 차의 절대값 외에, 색상값이나 색차값의 차이를 사용할 수 있다. 즉, 범위 탐색부 55는, 에너지 최소 경로 R에 있어서의 각 화소의 값(휘도값, 색상값, 색차값 등)과 유사한(소정값 이내에 들어가는) 값을 갖는 화소의 폭을 범위 R＇로서 탐색한다.

또, 범위 탐색부 55는, 가중을 하여, 소정의 평탄도 이내인 범위를 탐색할 수도 있다. "가중"은, 예를 들면, 에너지 최소 경로 R에 있어서의 각 화소의 에너지의 크기에 따른 값이나, 에너지 최소 경로 R로부터의 거리에 따른 값을, 실제의 에너지의 차분에 곱하거나 가산함으로써 행할 수 있다.

도 5로 되돌아와, α블렌드 폭 결정부 56은, 범위 탐색부 55에 의해 탐색된 화소의 범위에 기초하여, 에너지 최소 경로를 기점으로 하는 블렌드 폭을 결정한다. 상세하게는, α블렌드 폭 결정부 56은, 에너지 맵의 소정 방향에 있어서, 에너지 최소 경로 탐색부 54에 의해 탐색된 경로와 에너지의 차분이 소정의 평탄도 이내인 범위를 유사한 값을 갖는 화소의 범위로서 탐색하여, 블렌드 폭을 결정한다.

도 9는, α블렌드 폭 결정부 56에 있어서의 블렌드 폭을 결정하는 수법의 일례를 도시한 모식도이다. 도 9에는, 에너지 맵 생성부 53이 생성한 에너지 맵과, 이 에너지 맵에 있어서, 에너지 최소 경로 탐색부 54가 탐색한 에너지 최소 경로 R과 범위 탐색부 55가 탐색한 소정의 평탄도 이내인 범위 R'이 도시되어 있다.

α블렌드 폭 결정부 56은, 에너지 최소 경로 R을 일단으로 하는 α블렌드 폭의 타단이 되는 α블렌드 폭 종점 경로 R"를 산출한다. 구체적으로는, α블렌드 폭 결정부 56은, 에너지 최소 경로 R의 시점이 되는 화소와, 복수의 파노라마 화상의 데이터를 합성하는 방향, 즉 Y방향(수직 방향)에서 인접하는 화소를 α블렌드 폭 종점 경로 R"의 시점으로 한다. α블렌드 폭 결정부 56은, 이 시점이 되는 화소의 주변의 화소로부터 에너지 최소 경로 R과 동일 방향으로, α블렌드 폭 종점 경로 R"를 형성하는 화소를 탐색한다. α블렌드 폭 결정부 56은, 같은 수법으로, 에너지 최소 경로 R과 동일 방향으로, 탐색한 화소의 주변의 화소로부터 순차적으로 α블렌드 폭 종점 경로 R"를 형성하는 화소를 탐색한다. α블렌드 폭 결정부 56은, α블렌드 폭 종점 경로 R"를 형성하는 화소를, 예를 들면 에너지 맵의 소정의 열에서의 에너지 최소 경로 R과 소정의 평탄도 이내인 범위 R'의 화소의 에너지의 크기에 기초하여 탐색한다.

또, α블렌드 폭 결정부 56은, 가중을 하여 블렌드 폭을 결정할 수도 있다. "가중"은, 예를 들면 에너지 최소 경로 R에 있어서의 각 화소의 에너지의 크기에 따른 값이나, 에너지 최소 경로 R로부터의 거리에 따른 값을, 에너지 맵의 소정의 열에서의 에너지 최소 경로 R과 소정의 평탄도 이내인 범위 R'의 화소의 에너지의 차분에 곱하거나 가산함으로써 행할 수 있다. 또, "가중"은, 예를 들면 촬상 장치 1에 있어서의 촬영 조건에 따른 값을, 에너지 맵의 소정의 열에서의 에너지 최소 경로 R과 소정의 평탄도 이내인 범위 R'의 화소의 에너지에 곱하거나 가산함으로써 행할 수 있다. 여기서, "촬영 조건"이란, 예를 들면 촬상시에 플래시가 사용되었는지 여부 등이다.

도 5로 되돌아와, α블렌드 맵 생성부 57은, α블렌드 폭 결정부 56이 결정한 블렌드 폭에 기초하여, 상측 파노라마 화상에 대한 하측 파노라마 화상의 투과도를 설정하는 α블렌드 맵을 생성한다.

도 10은, α블렌드 맵 생성부 57에 있어서의 α블렌드 맵을 생성하는 수법의 일례를 도시한 모식도이다. 도 10에는, α블렌드 맵 생성부 57이 생성한 α블렌드 맵에, 설명에 사용하는, 에너지 최소 경로 탐색부 54가 탐색한 에너지 최소 경로 R과, α블렌드 폭 결정부 56이 산출한 α블렌드 폭 종점 경로 R"가 도시되어 있다.

α블렌드 맵 생성부 57은, 화소의 각 열에 있어서, 에너지 최소 경로 R을 형성하는 화소로부터, X방향(수직 방향)을 향해, α블렌드 폭 종점 경로 R"를 형성하는 화소까지의 사이에서, 투과도가 변화하는 α블렌드 맵을 생성한다.

구체적으로는, α블렌드 맵 생성부 57은, 화소의 열마다, 에너지 최소 경로 R을 형성하는 화소와 α블렌드 폭 종점 경로 R"를 형성하는 화소의 사이에서, 투과도가 0부터 100까지 변화하는 블렌드 맵을 생성한다. 즉, 투과도의 변화의 정도는, 에너지 최소 경로 R을 형성하는 화소와 α블렌드 폭 종점 경로 R"를 형성하는 화소의 거리에 따라 달라진다.

도 5로 되돌아와, 투과도 설정부 58은, α블렌드 맵 생성부 57에 의해 생성된 맵에 대응한 투과도를 설정한다. 즉, 투과도 설정부 58은, α블렌드 폭 결정부 56에 의해 결정된 블렌드 폭에 기초하여, 상측 파노라마 화상에 대한 하측 파노라마 화상의 투과도를 설정한다.

합성부 59는, α블렌드 맵 생성부 57이 생성한 α블렌드 맵을 사용해, 즉 α블렌드 폭 결정부 56에 의해 결정된 블렌드 폭과 투과도 설정부 58에 의해 설정된 투과도에 기초하여, 상측 파노라마 화상과 하측 파노라마 화상의 각 데이터를 수직 방향으로 합성하여 와이드 화상의 데이터를 생성한다(도 4 참조).

다음으로, 이러한 도 5의 기능적 구성을 갖는 도 1의 촬상 장치 1이 실행하는 처리 중, 와이드 화상 합성 처리의 흐름에 대해 도 11을 사용하여 설명한다. 도 11은, 촬상 장치 1이 실행하는 와이드 화상 합성 처리의 흐름을 설명하는 흐름도이다.

와이드 화상 합성 처리는, 본 실시 형태에 있어서는, 촬상 장치 1의 동작 모드가 와이드 모드로 전환된 후, 입력부 19에 도시가 생략된 셔터 스위치를 사용자가 완전누름 조작하여, 촬상 지시를 한 것을 계기로 하여 개시된다.

단계 S1에 있어서, 파노라마 화상 데이터 생성부 50은, 촬상부 17에 촬상되어 프레임 버퍼에 일시적으로 기억된 프레임 화상의 데이터를 촬상 순서대로 합성함으로써 파노라마 화상의 데이터를 생성한다.

단계 S2에 있어서, 합성 제어부 40은, 소정의 조건을 만족하는지 여부를 판정하여, 소정의 조건을 만족한다고 판정했을 경우는 단계 S3으로 처리를 이행하고, 소정의 조건을 만족하지 않는다고 판정했을 경우는 단계 S1으로 처리를 되돌린다. 본 실시 형태에서 "소정의 조건"이란, 촬상 장치 1이 수평 방향으로 이동되고, 그 후 수직 방향으로 이동되고, 또한 수평 방향으로 이동됨으로써, 2장의 파노라마 화상의 데이터가 생성되고 있는 것을 말한다.

단계 S3에 있어서, 화상 처리부 14에 있어서의 취득부 51, 에너지 산출부 52, 에너지 맵 생성부 53, 에너지 최소 경로 탐색부 54, 범위 탐색부 55, α블렌드 폭 결정부 56, α블렌드 맵 생성부 57, 투과도 설정부 58 및 합성부 59는, 협동하여 수직 방향 합성 처리를 실행한다. 상세한 것은 후술하는데, 수직 방향 합성 처리에 있어서, 취득부 51, 에너지 산출부 52, 에너지 맵 생성부 53, 에너지 최소 경로 탐색부 54, 범위 탐색부 55, α블렌드 폭 결정부 56, α블렌드 맵 생성부 57, 투과도 설정부 58 및 합성부 59는, 단계 S1에서 파노라마 화상 데이터 생성부 50이 생성한 파노라마 화상의 데이터를 합성해, 와이드 화상의 데이터를 생성한다.

단계 S4에 있어서, 합성 제어부 40은, 단계 S3에서 생성된 와이드 화상의 데이터를 이동식 매체 31에 기억한다.

다음으로, 도 12를 참조하여, 도 11에 도시한 와이드 화상 합성 처리 중, 수직 방향 합성 처리에 대해 설명한다. 도 12는, 촬상 장치 1이 실행하는 수직 방향 합성 처리의 흐름을 설명하는 흐름도이다.

단계 S31에 있어서, 취득부 51은, 단계 S1에서 파노라마 화상 데이터 생성부 50이 생성한 복수의 파노라마 화상의 데이터(예를 들면, 도3에 도시한 상측 파노라마 화상의 데이터 및 하측 파노라마 화상의 데이터)를 취득한다.

단계 S32에 있어서, 에너지 산출부 52는, 단계 S31에서 취득부 51이 취득한 복수의 파노라마 화상에서의 상측 파노라마 화상의 데이터와 하측 파노라마 화상의 데이터에 기초하여, 상측 파노라마 화상의 데이터 내의 주목 화소에 대응한 에너지를 각각 산출한다. 그리고, 에너지 맵 생성부 53은, 에너지 산출부 52에 의해 산출된 주목 화소마다의 에너지의 2차원 평면 상의 분포를 에너지 맵(도 6 참조)으로서 생성한다.

단계 S33에 있어서, 에너지 최소 경로 탐색부 54는, 단계 S32에서 에너지 산출부 52에 의해 각각 산출된 주목 화소의 데이터의 에너지가 최소가 되는 경로를 탐색한다. 상세하게는, 에너지 최소 경로 탐색부 54는, 단계 S32에서 에너지 맵 생성부 53이 생성한 에너지 맵의 수평 방향에 있어서, 에너지가 최소가 되는 에너지 최소 경로 R(도 7 참조)을 탐색한다.

단계 S34에 있어서, 범위 탐색부 55는, 단계 S33에서 에너지 최소 경로 탐색부 54에 의해 탐색된 에너지 최소 경로에서의 상측 파노라마 화상의 데이터 내의 각 주목 화소의 값과 유사한 값을 갖는 화소의 범위를 탐색한다. 상세하게는, 범위 탐색부 55는, 에너지 맵의 수직 방향(복수의 파노라마 화상의 데이터를 합성하는 방향)에 있어서, 단계 S33에서 에너지 최소 경로 탐색부 54가 탐색한 에너지 최소 경로 R과 에너지의 차분이 소정의 평탄도 이내인 범위 R'(도 8 참조)를 탐색한다.

단계 S35에 있어서, α블렌드 폭 결정부 56은, 단계 S34에서 범위 탐색부 55에 의해 탐색된 화소의 범위에 기초하여, 에너지 최소 경로를 기점으로 하는 블렌드 폭을 결정한다. 상세하게는, α블렌드 폭 결정부 56은, 단계 S34에서 범위 탐색부 55가 탐색한 소정의 평탄도 이내인 범위 R'에 기초하여, 단계 S33에서 에너지 최소 경로 탐색부 54가 탐색한 에너지 최소 경로 R을 기점으로 하는 블렌드 폭(도 9 참조)을 결정한다. 도 9에서는, 예를 들면, R"는 R과 R'의 거의 중간 위치이며, 이 경우, α블렌드 폭 결정부 56은 R와 R" 사이의 화소수 만큼을 블렌드 폭으로서 결정한다.

단계 S36에 있어서, α블렌드 맵 생성부 57은, 단계 S35에서 α블렌드 폭 결정부 56이 결정한 블렌드 폭에 기초하여, 상측 파노라마 화상에 대한 하측 파노라마 화상의 투과도를 설정하는 α블렌드 맵(도 10 참조)을 생성한다. 투과도 설정부 58은, α블렌드 맵 생성부 57에 의해 생성된 α블렌드 맵에 대응한 투과도를 설정한다. 여기서, 투과도의 설정 방법으로서는, 상측 파노라마 화상에 대한 하측 파노라마 화상의 투과도를 설정하도록 했으나, 본 실시 형태는 이것에 한정되지 않는다. 즉, 하측 파노라마 화상에 대한 상측 파노라마 화상의 투과도를 설정하도록 해도 좋다.

단계 S37에 있어서, 합성부 59는, 단계 S36에서 α블렌드 맵 생성부 57이 생성한 α블렌드 맵을 사용하여, 즉, 단계 S35에서 α블렌드 폭 결정부 56에 의해 결정된 블렌드 폭과 단계 S36에서 투과도 설정부 58에 의해 설정된 투과도에 기초하여, 상측 파노라마 화상과 하측 파노라마 화상의 각 데이터를 수직 방향으로 합성하여, 와이드 화상의 데이터를 생성한다(도 4 참조).

이상 설명한 바와 같이, 본 실시 형태의 촬상 장치 1은, 화상 처리부 14에 있어서, 에너지 산출부 52, 에너지 맵 생성부 53, 에너지 최소 경로 탐색부 54, 범위 탐색부 55, α블렌드 폭 결정부 56, α블렌드 맵 생성부 57, 투과도 설정부 58 및 합성부 59를 포함한다. 촬상 장치 1은, 복수의 화상의 데이터를 소정 방향으로 합성하여 와이드 화상의 데이터를 생성하는 화상 처리 장치이다.

에너지 산출부 52는, 복수의 화상의 데이터에서의 한 화상과 상기 한 화상의 합성 대상인 다른 화상에 기초하여, 한 화상 내의 주목 화소에 대응한 에너지를 각각 산출한다. 에너지 최소 경로 탐색부 54는, 에너지 산출부 52에 의해 각각 산출된 주목 화소의 에너지가 최소가 되는 에너지 최소 경로 R을 탐색한다. 범위 탐색부 55는, 에너지 최소 경로 탐색부 54에 의해 탐색된 에너지 최소 경로 R에서의 한 화상 내의 각 주목 화소의 값과 유사한 값을 갖는 화소의 범위를 탐색한다. α블렌드 폭 결정부 56은, 범위 탐색부 55에 의해 탐색된 화소의 범위에 기초하여, 에너지 최소 경로를 기점으로 하는 블렌드 폭을 결정한다. 투과도 설정부 58은, α블렌드 폭 결정부 56에 의해 결정된 블렌드 폭에 기초하여, 다른 화상에 대한 한 화상의 투과도를 설정한다. 합성부 59는, 블렌드 폭과 투과도 설정부 58에 의해 설정된 투과도에 기초하여, 한 화상과 다른 화상을 합성한다.

이에 의해, 합성 대상인 다른 화상에 기초하여, 한 화상 내의 주목 화소에 대응한 에너지로부터, 복수의 화상의 데이터의 이음 부분이 되는 에너지 최소 경로를 탐색할 수 있다. 그리고, 이 에너지 최소 경로를 기점으로 한 블렌드 폭에 있어서의, 한쪽의 화상에 대한 다른 쪽의 화상의 투과도를 설정하여, 복수의 화상의 데이터를 합성할 수 있다. 따라서, 합성 후의 광범위 화상의 이음 부분의 위화감을 저감할 수 있다.

에너지 맵 생성부 53은, 에너지 산출부 52에 의해 산출된 주목 화소마다의 에너지의 2차원 평면 상의 분포를 에너지 맵으로서 생성한다. 범위 탐색부 55는, 에너지 맵 생성부 53에 의해 생성된 에너지 맵의 소정 방향과 직교하는 방향에 있어서, 에너지가 최소가 되는 경로를 탐색한다.

이에 의해, 에너지 맵으로부터, 복수의 화상의 데이터의 이음 부분이 되는 에너지 최소 경로를 탐색할 수 있다. 그리고, 이 에너지 최소 경로를 기점으로 한 블렌드 폭에 있어서의, 한쪽의 화상에 대한 다른 쪽의 화상의 투과도를 설정하여 복수의 화상의 데이터를 합성할 수 있다. 따라서, 합성 후의 광범위 화상의 이음 부분의 위화감을 저감할 수 있다.

α블렌드 폭 결정부 56은, 에너지 맵의 소정 방향에 있어서, 에너지 최소 경로 탐색부 54에 의해 탐색된 에너지 최소 경로 R과 에너지의 차분이 소정의 평탄도 이내인 범위를 유사한 값을 갖는 화소의 범위로서 탐색한다.

이에 의해, 에너지 최소 경로와 에너지의 차분이 소정의 평탄도 이내인 범위를 블렌드 폭으로 결정할 수 있다. 따라서, 소정의 평탄도의 범위에서 블렌드 폭으로 결정함으로써, 합성 후의 광범위 화상의 이음 부분의 위화감을 더욱 저감할 수 있다.

α블렌드 맵 생성부 57은, 투과도 설정부 58에 의한 투과도를 설정하기 위한 α블렌드 맵을 생성한다. 투과도 설정부 58은, α블렌드 맵 생성부 57에 의해 생성되는 α블렌드 맵에 대응한 투과도를 설정한다.

이에 의해, α블렌드 맵에 대응한 투과도를 설정하여, 복수의 화상의 데이터를 합성할 수 있다. 따라서, 합성 후의 광범위 화상의 이음 부분의 위화감을 저감할 수 있다.

α블렌드 맵 생성부 57은, α블렌드 맵 생성부 57은, 에너지 최소 경로 R을 기점으로 하여 복수의 화상의 데이터의 합성 방향을 향해, 투과도가 변화하는 블렌드 맵을 생성한다.

따라서, 블렌드 맵의 블렌드 폭에 있어서의 투과도를 변화시킴으로써, 합성 후의 광범위 화상의 이음 부분의 위화감을 더욱 저감할 수 있다.

또, 촬상 장치 1은, 복수의 화상의 데이터의 적어도 일부를 수직 방향으로 합성하여 와이드 화상의 데이터를 생성하므로, 복수의 화상의 데이터를 수직 방향으로 합성했을 경우에, 합성 후의 광범위 화상의 이음 부분의 위화감을 저감할 수 있다.

또한, 본 발명은, 상술한 실시 형태에 한정되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

예를 들면, 상술한 실시 형태에 있어서는, 촬상 장치 1을 수평 방향으로 이동시키고, 그 후 수직 방향으로 이동시키고, 또한 수평 방향으로 이동시킴으로써, 2장의 파노라마 화상의 데이터를 생성하고 있는데, 이것에 한정되지 않는다. 예를 들면, 촬상 장치 1을 수평 방향으로 이동시키고, 수직 방향으로 이동시키고, 또한 수평 방향으로 이동시키고, 그 후, 또한 수직 방향으로 이동시키고, 수평 방향으로 이동시킴으로써, 3장의 파노라마 화상의 데이터를 생성해도 된다. 마찬가지로 촬상 장치 1을 n회(n은 정수)의 수직 이동을 사이에 두고, n＋1회의 수평 방향으로의 이동을 실시함으로써, n＋1장의 파노라마 화상의 데이터를 생성해도 된다.

또, 상술한 실시 형태에 있어서, 에너지 산출부 52, 에너지 맵 생성부 53, 에너지 최소 경로 탐색부 54, 범위 탐색부 55, α블렌드 폭 결정부 56, α블렌드 맵 생성부 57, 투과도 설정부 58 및 합성부 59는, 촬상 장치 1이 파노라마 화상 데이터 생성부 50에 의해 생성한 복수의 파노라마 화상의 데이터를 수직 방향으로 합성하는 처리를 실행하기 위한 기능적 구성으로서 설명하고 있는데, 특별히 이것에 한정되지 않는다. 예를 들면, 에너지 산출부 52, 에너지 맵 생성부 53, 에너지 최소 경로 탐색부 54, 범위 탐색부 55, α블렌드 폭 결정부 56, α블렌드 맵 생성부 57, 투과도 설정부 58 및 합성부 59는, 복수의 화상의 데이터를 수평 방향으로 합성하는 처리를 실행하기 위한 기능적 구성으로 해도 된다.

이 경우, 에너지 산출부 52는, 수직 방향을 향해 순차적으로 각 화소의 에너지를 산출하고, 에너지 맵 생성부 53은, 에너지 산출부 52가 산출한 에너지에 의해 에너지 맵을 생성한다.

에너지 최소 경로 탐색부 54는, 수직 방향에 있어서, 에너지 맵 생성부 53에 의해 에너지 맵이 생성된 방향과 반대 방향을 향해 에너지 최소 경로를 탐색해 간다.

범위 탐색부 55는, 에너지 맵의 수평 방향(복수의 파노라마 화상의 데이터를 합성하는 방향)에 있어서, 에너지 최소 경로 탐색부 54가 탐색한 에너지 최소 경로와 에너지의 차분이 소정의 평탄도 이내인 범위를 탐색한다.

α블렌드 폭 결정부 56은, 에너지 최소 경로와 동일방향(수직 방향)으로, α블렌드 폭 종점 경로를 형성하는 화소를 탐색하여, 블렌드 폭을 결정한다.

α블렌드 맵 생성부 57은, α블렌드 폭 결정부 56이 결정한 블렌드 폭에 기초하여, 예를 들면, 우측의 화상에 대한 좌측의 화상의 투과도를 설정하는 α블렌드 맵을 생성한다.

투과도 설정부 58은, α블렌드 맵 생성부 57에 의해 생성된 α블렌드 맵에 의해 투과도를 설정한다.

합성부 59는, 블렌드 폭과 투과도 설정부 58에 의해 설정된 투과도에 기초하여, 우측의 화상과 좌측의 화상의 각 데이터를 수평 방향으로 합성하여, 와이드 화상의 데이터를 생성한다.

또, 상술한 실시 형태에서는, 본 발명이 적용되는 촬상 장치 1은, 디지털 카메라를 예로 들어 설명했지만, 특별히 이것에 한정되지 않는다. 예를 들면, 본 발명은, 표시 제어 기능을 갖는 전자기기 일반에 적용할 수 있다. 구체적으로는, 예를 들면 본 발명은, 노트북 PC, 프린터, 텔레비젼 수상기, 비디오 카메라, 휴대형 네비게이션 장치, 휴대전화기, 휴대용 게임기 등에 적용 가능하다.

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 바꿔 말하면, 도 5의 기능적 구성은 예시에 지나지 않고, 특별히 한정되지 않는다. 즉, 상술한 일련의 처리를 전체적으로 실행할 수 있는 기능이 촬상 장치 1에 구비되어 있으면 되며, 이 기능을 실현하기 위해서 어떠한 기능 블록을 이용하는지는 특별히 도 5의 예에 한정되지 않는다. 예를 들면, CPU 11에서 기능하는 기능 블록을 화상 처리부 14에서 기능하도록 해도 되고, 반대로 화상 처리부 14에서 기능하는 기능 블록을 CPU 11에서 기능하도록 해도 된다. 또, 1개의 기능 블록은, 하나의 하드웨어로 구성해도 되고, 하나의 소프트웨어로 구성해도 되며, 이들의 조합으로 구성해도 된다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다. 컴퓨터는, 전용의 하드웨어에 내장되어 있는 컴퓨터여도 된다. 또, 컴퓨터는, 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한 컴퓨터, 예를 들면 범용 PC여도 된다.

이러한 프로그램을 포함하는 기록 매체는, 사용자에게 프로그램을 제공하기 위해서 장치 본체와는 별도로 배포되는 도 1의 이동식 매체 31에 의해 구성될 뿐만 아니라, 장치 본체에 미리 내장된 상태로 사용자에게 제공되는 기록 매체 등으로 구성된다. 이동식 매체 31은, 예를 들면 자기 디스크(플로피 디스크를 포함한다), 광 디스크, 또는 광자기 디스크 등에 의해 구성된다. 광 디스크는, 예를 들면, CD－ROM(Compact　Disk－Read　Only　Memory), DVD(Digital　Versatile　Disk) 등에 의해 구성된다. 광자기 디스크는, MD(Mini－Disk) 등에 의해 구성된다. 또, 장치 본체에 미리 내장된 상태로 사용자에게 제공되는 기록 매체는, 예를 들면 프로그램이 기록되어 있는 도 1의 ROM 12나, 도 1의 기억부 21에 포함되는 하드 디스크 등으로 구성된다.

또한 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 단계는, 그 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.

이상 본 발명의 몇 가지 실시 형태에 대해 설명했지만, 이들 실시 형태는 예시에 지나지 않으며, 본 발명의 기술적 범위를 한정하는 것은 아니다. 본 발명은 그 밖의 여러 가지 실시 형태를 취하는 것이 가능하고, 또한, 본 발명의 요지를 벗어나지 않는 범위에서, 생략이나 치환 등 여러 가지 변경을 행할 수 있다. 이들 실시 형태나 그 변형은, 본 명세서 등에 기재된 발명의 범위나 요지에 포함됨과 더불어, 특허청구범위에 기재된 발명과 그 균등한 범위에 포함된다.

Claims (9)

1. 화상 처리 장치에 있어서,
   한 화상과 상기 한 화상의 합성 대상이 되는 다른 화상에 기초하여, 상기 한 화상 내의 각 주목 화소에 대응한 에너지를 각각 산출하는 에너지 산출부와,
   상기 에너지 산출부에 의해 각각 산출된 주목 화소의 에너지가 최소가 되는 상기 한 화상 중의 경로를 탐색하는 에너지 최소 경로 탐색부와,
   상기 에너지 최소 경로 탐색부에 의해 탐색된 경로에 있어서의 상기 한 화상 내의 각 주목 화소의 값과 유사한 값을 갖는 화소의 범위를 상기 한 화상 내에서 탐색하는 범위 탐색부와,
   상기 범위 탐색부에 의해 탐색된 화소의 범위에 기초하여, 상기 경로를 기점으로 하는 상기 한 화상과 상기 다른 화상의 블렌드 폭을 결정하는 블렌드 폭 결정부와,
   상기 블렌드 폭 결정부에 의해 결정된 블렌드 폭에 기초하여, 합성 시에 있어서의 상기 한 화상 및 상기 다른 화상 사이의 투과도를 설정하는 투과도 설정부와,
   상기 블렌드 폭과 상기 투과도 설정부에 의해 설정된 투과도에 기초하여, 상기 한 화상과 상기 다른 화상을 합성하는 합성부
   를 포함하는 화상 처리 장치.
   
2. 제1항에 있어서,
   상기 에너지 산출부에 의해 산출된 주목 화소마다의 에너지의 2차원 평면 상의 분포를 에너지 맵으로서 생성하는 에너지 맵 생성부를 더 포함하고,
   상기 한 화상과 상기 다른 화상은 소정 방향으로 합성되고,
   상기 범위 탐색부는, 상기 에너지 맵 생성부에 의해 생성된 에너지 맵의 상기 소정 방향과 직교하는 방향에 있어서, 상기 에너지가 최소가 되는 경로를 탐색하는
   화상 처리 장치.
   
3. 제2항에 있어서,
   상기 블렌드 폭 결정부는, 상기 에너지 맵의 상기 소정 방향에 있어서, 상기 에너지 최소 경로 탐색부에 의해 탐색된 경로 중의 주목 화소와의 에너지의 차분이 소정의 평탄도인 화소의 범위를 상기 유사한 값을 갖는 화소의 범위로서 탐색하는
   화상 처리 장치.
   
4. 제1항에 있어서,
   상기 투과도 설정부에 의한 투과도를 설정하기 위한 맵을 생성하는 맵 생성부를 더 포함하고,
   상기 투과도 설정부는, 상기 맵 생성부에 의해 생성되는 맵에 대응한 투과도를 설정하는
   화상 처리 장치.
   
5. 제4항에 있어서,
   상기 맵 생성부는, 상기 에너지 최소 경로 탐색부에 의해 탐색된 경로를 기점으로 하여, 상기 소정 방향을 향해, 상기 투과도가 변화하는 맵을 생성하는
   화상 처리 장치.
   
6. 제1항에 있어서,
   상기 소정 방향은 수직 방향이며,
   상기 합성부는, 상기 한 화상과 상기 다른 화상을 수직 방향으로 합성하는
   화상 처리 장치.
   
7. 제1항에 있어서,
   촬상부와,
   상기 촬상부에 의해 촬상된 화상으로부터 제1 파노라마 화상과 제2 파노라마 화상을 생성하는 생성부를 더 포함하고,
   상기 한 화상은 상기 제 1 파노라마 화상이고, 상기 다른 화상은 상기 제2 파노라마 화상인
   화상 처리 장치.
   
8. 화상 처리 장치가 실행하는 화상 처리 방법에 있어서,
   한 화상과 상기 한 화상의 합성 대상이 되는 다른 화상에 기초하여, 상기 한 화상 내의 각 주목 화소에 대응한 에너지를 각각 산출하는 에너지 산출 단계와,
   상기 에너지 산출 단계에서 각각 산출된 주목 화소의 에너지가 최소가 되는 상기 한 화상 중의 경로를 탐색하는 에너지 최소 경로 탐색 단계와,
   상기 에너지 최소 경로 탐색 단계에서 탐색된 경로에 있어서의 상기 한 화상 내의 각 주목 화소의 값과 유사한 값을 갖는 화소의 범위를 상기 한 화상 내에서 탐색하는 범위 탐색 단계와,
   상기 범위 탐색 단계에서 탐색된 화소의 범위에 기초하여, 상기 경로를 기점으로 하는 상기 한 화상과 상기 다른 화상의 블렌드 폭을 결정하는 블렌드 폭 결정 단계와,
   상기 블렌드 폭 결정 단계에서 결정된 블렌드 폭에 기초하여, 합성 시에 있어서의 상기 한 화상 및 상기 다른 화상 사이의 투과도를 설정하는 투과도 설정 단계와,
   상기 블렌드 폭과 상기 투과도 설정 단계에서 설정된 투과도에 기초하여, 상기 한 화상과 상기 다른 화상을 합성하는 합성 단계
   를 포함하는 화상 처리 방법.
   
9. 컴퓨터가 판독 가능한 프로그램을 기록한 기록 매체에 있어서,
   한 화상과 상기 한 화상의 합성 대상이 되는 다른 화상에 기초하여, 상기 한 화상 내의 각 주목 화소에 대응한 에너지를 각각 산출하는 에너지 산출부와,
   상기 에너지 산출부에 의해 각각 산출된 주목 화소의 에너지가 최소가 되는 상기 한 화상 중의 경로를 탐색하는 에너지 최소 경로 탐색부와,
   상기 에너지 최소 경로 탐색부에 의해 탐색된 경로에 있어서의 상기 한 화상 내의 각 주목 화소의 값과 유사한 값을 갖는 화소의 범위를 상기 한 화상 내에서 탐색하는 범위 탐색부와,
   상기 범위 탐색부에 의해 탐색된 화소의 범위에 기초하여, 상기 경로를 기점으로 하는 상기 한 화상과 상기 다른 화상의 블렌드 폭을 결정하는 블렌드 폭 결정부와,
   상기 블렌드 폭 결정부에 의해 결정된 블렌드 폭에 기초하여, 합성 시에 있어서의 상기 한 화상 및 상기 다른 화상 사이의 투과도를 설정하는 투과도 설정부와,
   상기 블렌드 폭과 상기 투과도 설정부에 의해 설정된 투과도에 기초하여, 상기 한 화상과 상기 다른 화상을 합성하는 합성부
   로서의 기능을 상기 컴퓨터에 실현시키는 프로그램을 기록한 기록 매체.

Images