KR101813834B1

KR101813834B1 - 화상처리장치, 화상처리방법 및 화상처리프로그램과 촬영보조기재

Info

Publication number: KR101813834B1
Application number: KR1020170015135A
Authority: KR
Inventors: 마사키 히라가; ? 히라이; 히라이; 타케시 미우라; 료 오노
Original assignee: 가부시키가이샤 모르포
Priority date: 2016-02-02
Filing date: 2017-02-02
Publication date: 2017-12-29
Also published as: TWI663876B; CN107026973B; CN107026973A; JP6678122B2; KR20170092127A; US20170221244A1; JP2017139759A; US10713828B2; TW201743602A

Abstract

입력화상을 합성하여 파노라마 합성화상을 생성할 때에, 화상합성에 적절한 입력화상을 얻음으로써, 양질인 합성화상을 얻는다.
화상처리장치는, 복수의 입력화상을 합성하여 파노라마 합성화상을 생성한다. 촬상제어부는, 화상합성에 적절한 복수의 입력화상을 촬상하기 위한 가이드 정보로서, 상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 설정한다. 가이드 표시설정부는 가이드 정보에 기초하여 표시부에 촬영가이드 화상을 표시한다. 유저는 촬영가이드 화상을 참조하면서 카메라를 회전시켜, 상이한 각도로부터 복수매의 입력화상을 촬영한다. 그리고, 화상합성부는, 복수의 입력화상을 합성하여 합성화상을 생성한다.

Description

화상처리장치, 화상처리방법 및 화상처리프로그램과 촬영보조기재 {IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, IMAGE PROCESSING PROGRAM AND PHOTOGRAPHING ASSIST EQUIPMENT}

본 발명은, 광각(廣角)의 합성화상을 생성하는 화상처리장치 등에 관한 것이다.

종래부터, 화상처리장치로서, 순차로 입력되는 입력화상을 이어 붙여, 1매의 광각의 합성화상인 파노라마 화상을 생성하는 장치가 알려져 있다(예컨대, 특허문헌 1).

특허문헌 1에 개시되어 있는 파노라마 화상생성의 개략을 설명한다.

특허문헌 1에 있어서, 기준(基準)화상(Ir)(위치맞춤의 기준이 되는 화상)과 대상(對象)화상(Ic)의 위치맞춤은, 기준화상(Ir) 및 대상화상(Ic)의 특징점의 페어(pair)의 위치정보(3차원의 좌표정보)에 기초하여 추정된 변환행렬을 이용하여 행해진다.

여기서, 위치맞춤이란, 기준화상(Ir)의 소정 점과 대상화상(Ic)의 소정 점의 상대위치를, 특징점의 페어가 서로 가장 중첩되는 위치를 탐색함으로써 결정되는 처리이다.

변환행렬은, 기준화상(Ir)과 대상화상(Ic) 사이의 움직임이 카메라의 회전운동뿐인 것으로 해서, 특징점의 페어의 위치정보를 이용하여 추정된다.

변환행렬의 파라미터는, 카메라의 움직임(xy방향으로의 평행이동, z방향으로의 이동에 의한 확대축소), 카메라의 회전(x방향, y방향으로의 화상의 변형 및 z축에 있어서의 화상의 회전) 등으로서, 최적화 수법에 따른 수속(收束)연산에 의해 구해진다. 구체적으로는, 기준화상(Ir)의 특징점의 위치(x0, y0, 1)와 대상화상(Ic)의 특징점의 위치(x1, y1, 1)를 변환한 후의 위치와의 차분(差分)을 포함하는 목적함수가 최소치가 되도록 수속연산을 행한다. 최적화 수법에는, 뉴턴법이나 가우스 뉴턴법 등, 공지의 수법을 적용할 수 있다.

여기서, 상기와 같은 카메라의 움직임에 기인하는 축소성분이 고려된 변환행렬을 이용하고, 또, 오차를 더 작게 하는 것을 우선하여 수속연산을 한 경우에는, 화상을 축소한 쪽이 오차는 상대적으로 작아지기 때문에, 축소성분의 정도가 커지는 변환행렬이 해(解)가 되는 경향이 된다. 이 경우, 축차(逐次)합성할 때마다 오차가 축적되어 버린다. 이에 대해, 변환행렬을 회전성분만으로 한정함으로써, 최적화 수법에 의한 수속연산시에 축소성분이 고려되는 것은 아니기 때문에, 오차의 축적을 회피할 수 있고, 회전성분만으로 한정되지 않는 경우에 비해 양질의 파노라마 화상이 생성된다.

WO2014/064783 공보

종래, 파노라마 화상생성에 사용하는 복수의 입력화상의 촬상에 있어서, 카메라를 평행이동시켜 촬영을 행하면, 촬영화상간에 시차(視差)가 생겨 버리기 때문에, 결과적으로 양질의 파노라마 화상을 생성할 수 없고, 예컨대 생성된 파노라마 화상의 일부에 어긋남이나 변형이 생겨 버린다고 하는 문제가 있다.

또, 카메라의 평행이동에 의하여 생기는 시차는, 피사체와 카메라의 거리가 가까워질수록 커지기 때문에, 유저(user)가 유저 자신을 촬영하는, 이른바 셀프카메라에 있어서, 이 문제는 특히 현저하게 된다. 이에 더해, 셀프카메라에 있어서의 피사체는 인물의 얼굴이 되기 때문에, 생성된 파노라마 화상에 생기는 어긋남이나 변형의 정도가 미소(微少)해도, 생성된 파노라마 화상의 미관을 현저하게 해치게 된다. 그로 인해, 셀프카메라 파노라마 촬영에 있어서 카메라를 평행이동시켜 촬영을 행해 버린 경우에는, 통상의 파노라마 촬영에 비해, 유저가 요구하는 품질의 파노라마 화상이 얻어지지 않을 확률이 높다.

즉, 특히 셀프카메라에 있어서 양질의 파노라마 화상을 생성하기 위해서는, 유저는, 카메라를 평행이동시키지 않고, 카메라를 회전시킴으로써, 상이한 방위(方位)로부터 대상 피사체를 포함하는 화상을 복수매 촬영할 필요가 있다.

그렇지만, 종래의 화상처리장치에는, 유저에 대해 카메라를 회전시키면서 촬영을 행하는 동작을 유도하기 위해 필요한 알림기능이 구비되어 있지 않기 때문에, 유저는 카메라를 평행하게 이동시켜 촬영을 행해 버릴 가능성이 높다. 그로써, 양질의 파노라마 화상생성에 필요한 화상의 촬영을 할 수 없고, 결과적으로 촬영은 실패가 되며, 유저가 요구하는 품질의 파노라마 화상이 얻어지지 않는다고 하는 문제가 있다. 또, 종래의 화상처리장치를 사용한 경우에 있어서, 유저가 요구하는 품질의 파노라마 화상이 얻어지지 않았을 경우, 유저는 재차 촬영을 다시하는 것이 상정된다. 그렇지만, 종래의 화상처리장치에는, 구체적으로 어떻게 카메라를 작동시켜 촬영을 행하면 좋은지를 알리는 알림기능이 구비되어 있지 않기 때문에, 재차 촬영을 다시 해도 마찬가지로 실패가 되어 버릴 가능성이 높다.

또, 유저가 셀프카메라나 그룹촬영을 행할 때에, 파노라마 화상생성에 필요한 촬영매수가 불명확하기 때문에, 필요한 매수 미만에서 촬영을 멈추어 버리거나, 불필요하게 대량의 촬영을 행해 버릴 가능성이 있다. 또, 필요한 촬영매수 및 카메라의 움직임 방법이 불명확한 것의 불안감으로부터, 카메라를 잡은 손이 불안정하게 되어, 결과적으로 촬영의 실패를 초래하기 쉽다고 하는 문제가 있다.

본 발명은, 이러한 과제를 감안하여 이루어진 것으로서, 그 목적으로 하는 바는, 유저에 대하여, 카메라를 회전시키면서 대상 피사체를 포함하는 화상을 복수매 촬영하는 동작을 유도함으로써, 파노라마 화상합성에 적합한 입력화상을 얻는 것에 있다.

상기 과제를 해결하기 위해, 이하의 수단을 채용했다. 다만, 후술하는 발명을 실시하기 위한 형태의 설명 및 도면에서 사용한 부호를 참고용으로 괄호 쓰기로 부기하지만, 본 발명의 구성요소는 상기 부기한 것으로는 한정되지 않는다.

제1 발명은,

촬상대상을 표시하는 표시장치(표시부(300))와, 촬상대상을 촬상하는 촬상장치(촬상부(500))를 구비하는 화상처리장치로서,

상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드(guide)를 상기 표시장치에 표시시키는 가이드 표시제어수단(촬상제어부(150), 가이드 표시설정부(180))과,

상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성수단(화상합성부(160))

을 구비한 화상처리장치이다.

또, 제2 발명으로서,

제1 발명의 화상처리장치로서,

상기 가이드는, 상기 촬상장치를 회전시켜 상이한 촬상각도로부터 촬상대상을 촬상하도록 시사하는,

화상처리장치를 구성해도 좋다.

또, 제3 발명으로서,

제2 발명의 화상처리장치로서,

상기 촬상장치의 회전방향 및 회전량을 검출하는 제1 검출수단(움직임센서(760))을 더 구비하고,

상기 가이드 표시제어수단(촬상제어부(150), 가이드 표시설정부(180))은, 상기 촬상장치의 회전방향 및 회전량에 따라 상기 가이드의 표시태양(態樣)을 변화시키는,

화상처리장치를 구성해도 좋다.

또, 제4 발명으로서,

제3 발명의 화상처리장치로서,

상기 가이드는, 상기 합성화상을 생성하기 위하여 복수회의 촬상에 의해 촬상해야 할 범위인 전체촬상범위를 시사하는 제1 화상(회전가이드(41))을 포함하는,

화상처리장치를 구성해도 좋다.

또, 제5 발명으로서,

제4 발명의 화상처리장치로서,

상기 제1 화상(회전가이드(41))은, 상기 전체촬상범위를 촬상하기 위해 필요한 촬상횟수를 시사하는,

화상처리장치를 구성해도 좋다.

또, 제6 발명으로서,

제4 발명의 화상처리장치로서,

상기 가이드는, 현재의 촬상범위를 시사하는 제2 화상(회전마커(marker)(42))을 더 포함하고,

상기 가이드 표시제어수단(촬상제어부(150), 가이드 표시설정부(180))은, 상기 촬상장치의 회전방향 및 회전량에 따라 상기 제1 화상(회전가이드(41))에 대한 상기 제2 화상(회전마커(42))의 상대적 위치를 변화시키는

화상처리장치를 구성해도 좋다.

또, 제7 발명으로서,

제6 발명의 화상처리장치로서,

상기 제1 화상(회전가이드(41))에 대한 상기 제2 화상(회전마커(42))의 상대적 위치에 따라, 촬상장치를 기준으로 한 촬상각도를 시사하는,

화상처리장치를 구성해도 좋다.

또, 제8 발명으로서,

제4 발명의 화상처리장치로서,

상기 가이드는, 촬상된 화상의 축소화상(축소화상(47))을 더 포함하고,

상기 가이드 표시제어수단(촬상제어부(150), 가이드 표시설정부(180))은, 상기 촬상장치의 회전방향 및 회전량에 따라 상기 제1 화상(회전가이드(41))에 대한 상기 축소화상의 상대적 위치를 변화시키는,

화상처리장치를 구성해도 좋다.

또, 제9 발명으로서,

제6 발명의 화상처리장치로서,

상기 제1 화상(회전가이드(41'))에 대한 상기 제2 화상(마커(51))의 상대적 위치에 따라, 유저를 기준으로 한 촬상각도를 시사하는

화상처리장치를 구성해도 좋다.

또, 제10 발명으로서,

제6 발명의 화상처리장치로서,

상기 제1 화상(회전가이드(41), 회전가이드(41'))에 대한 상기 제2 화상(회전마커(42), 마커(51))의 상대적 위치에 따라 촬상각도를 시사하는 경우에 있어서, 촬상장치를 기준으로 한 촬상각도를 시사하는 경우와 유저를 기준으로 한 촬상각도를 시사하는 경우에는, 상기 표시장치에 표시되는 화상의 좌우위치를 반전시키는

화상처리장치를 구성해도 좋다.

또, 제11 발명으로서,

제6 발명의 화상처리장치로서,

상기 제1 화상(회전가이드(41))은, 상기 전체촬상범위를 촬상하기 위하여 필요한 촬상횟수에 대응한 복수의 블록(회전가이드 유닛(41a∼41e))으로 구분되어 있고, 어느 블록에 상기 제2 화상(회전마커(42))이 위치되는지에 따라 촬상각도를 시사하는 것인,

화상처리장치를 구성해도 좋다.

또, 제12 발명으로서,

제11 발명의 화상처리장치로서,

상기 제1 화상(회전가이드(41))은, 상기 복수의 블록(회전가이드 유닛(41a∼41e)) 각각 관하여, 상기 블록에 대응한 촬상순서를 시사하는 것인,

화상처리장치를 구성해도 좋다.

또, 제13 발명으로서,

제4 발명의 화상처리장치로서,

상기 표시장치에 표시되어 있는 인물의 얼굴영역을 검출하는 얼굴영역 검출수단을 더 구비하고,

상기 가이드 표시제어수단은, 상기 얼굴영역 검출수단에 의해 검출된 얼굴영역을 중심으로 하여 상기 전체촬상범위가 형성되도록, 상기 제1 화상(회전가이드(41))을 설정하는,

화상처리장치를 구성해도 좋다.

또, 제14 발명으로서,

제4 발명의 화상처리장치로서,

상기 가이드 표시제어수단은, 상기 얼굴영역 검출수단에 의해 검출된 얼굴영역이 복수 존재하는 경우에는, 그 어느 것을 중심으로 하여 상기 전체촬상범위가 형성되도록, 상기 제1 화상(회전가이드(41))을 설정하는,

화상처리장치를 구성해도 좋다.

또, 제15 발명으로서,

제4 발명의 화상처리장치로서,

상기 가이드 표시제어수단은, 상기 얼굴영역 검출수단에 의해 검출된 얼굴영역이 복수 존재하는 경우에는, 양단의 얼굴영역을 적어도 포함하는 상기 전체촬상범위가 형성되도록, 상기 제1 화상(회전가이드(41))을 설정하는,

화상처리장치를 구성해도 좋다.

또, 제16 발명으로서,

제3 발명의 화상처리장치로서,

상기 촬상장치는, 상기 표시장치(표시부(300), 표시화면(63))가 향하는 방향과 동(同)방향을 촬상하는 제1 촬상장치(인 카메라(in-camera, 62))와, 상기 표시장치(표시부(300), 표시화면(63))가 향하는 방향과는 반대방향을 촬상하는 제2 촬상장치(아웃 카메라(out-camera, 72))를 포함하는 것이고, 상기 제1 촬상장치(인 카메라(62)) 및 상기 제2 촬상장치(아웃 카메라(72)) 중 어느 촬상장치에 의한 촬상을 행할지를 유저가 선택 가능하며,

선택된 촬상장치에 따라 상기 가이드의 표시태양이 상이한,

화상처리장치를 구성해도 좋다.

또, 제17 발명으로서,

제4 발명의 화상처리장치로서,

상기 촬상장치는, 상기 표시장치(표시부(300), 표시화면(63))가 향하는 방향과 동방향을 촬상하는 제1 촬상장치(인 카메라(62))와, 상기 표시장치(표시부(300), 표시화면(63))가 향하는 방향과는 반대방향을 촬상하는 제2 촬상장치(아웃 카메라(72))를 포함하는 것이고, 상기 제1 촬상장치(인 카메라(62)) 및 상기 제2 촬상장치(아웃 카메라(72)) 중 어느 촬상장치에 의한 촬상을 행할지를 유저가 선택 가능하며,

상기 전체촬상범위는, 상기 제1 촬상장치(인 카메라(62))에 의한 촬상범위 및 상기 제2 촬상장치(아웃 카메라(72))에 의한 촬상범위의 양쪽을 포함하는 촬상범위인,

화상처리장치를 구성해도 좋다.

또, 제18 발명으로서,

제3 발명의 화상처리장치로서,

상기 가이드 표시제어수단은, 상기 얼굴영역 검출수단에 의해 검출된 얼굴영역에 기초하여 상기 가이드의 표시위치를 설정하는,

화상처리장치를 구성해도 좋다.

또, 제19 발명으로서,

제3 발명의 화상처리장치로서,

상기 가이드 표시제어수단은, 상기 표시장치(표시부(300), 표시화면(63))가 향하는 방향과 동방향을 촬상하는 제1 촬상장치(인 카메라(62))의 근방에 상기 가이드의 표시위치를 설정하는,

화상처리장치를 구성해도 좋다.

또, 제20 발명으로서,

제3 발명의 화상처리장치로서,

상기 가이드 표시제어수단은, 상기 촬상장치가 소정의 회전량까지 회전하고 있지 않는 동안은, 상기 가이드를 상기 촬상대상보다 시인성이 높은 설정으로 표시하는,

화상처리장치를 구성해도 좋다.

또, 제21 발명으로서,

제3 발명의 화상처리장치로서,

상기 촬상장치의 평행이동방향 및 평행이동량을 검출하는 제2 검출수단(움직임센서(760))을 더 구비하고,

상기 가이드 표시제어수단은, 상기 촬상장치의 평행이동방향 및 평행이동량에 따라 상기 가이드의 표시태양을 변화시키는,

화상처리장치를 구성해도 좋다.

또, 제22 발명으로서,

제3 발명의 화상처리장치로서,

촬상위치의 변경을 억제하기 위한 보조가이드(중심가이드(43), 중심마커(44))를 상기 표시장치에 표시시키는 보조가이드 표시제어수단(촬상제어부(150), 가이드 표시설정부(180))을 더 구비하는,

화상처리장치를 구성해도 좋다.

또, 제23 발명으로서,

제22 발명의 화상처리장치로서,

상기 보조가이드 표시제어수단(촬상제어부(150), 가이드 표시설정부(180))은, 상기 촬상장치의 평행이동방향 및 평행이동량에 따라 상기 보조가이드(중심가이드(43), 중심마커(44))의 표시태양을 변화시키는,

화상처리장치를 구성해도 좋다.

또, 제24 발명으로서,

제23 발명의 화상처리장치로서,

상기 보조가이드는, 상기 촬상장치의 평행이동방향 및 평행이동량에 따라 표시위치가 변화하지 않는 제3 화상(중심가이드(43))과, 상기 촬상장치의 평행이동방향 및 평행이동량에 따라 표시위치가 변화하는 제4 화상(중심마커(44))을 포함하는,

화상처리장치를 구성해도 좋다.

제25 발명은,

상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 상기 표시장치에 표시시키는 가이드 표시제어수단(촬상제어부(150), 가이드 표시설정부(180))과,

상기 화상처리장치의 외부에 설치된 화상합성장치에 접속 가능한 통신수단(통신부(600))을 더 구비하고,

상기 화상합성장치는 상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는,

화상처리장치이다.

제26 발명은,

화상처리장치로서,

상기 화상처리장치의 외부에 설치된 촬상대상을 표시하는 표시장치(표시부(35)) 및 촬상대상을 촬상하는 촬상장치(카메라(20))에 접속 가능한 통신수단과,

을 구비한 화상처리장치이다.

또, 제27 발명은,

촬상대상을 표시하는 표시장치와, 촬상대상을 촬상하는 촬상장치와,

상기 촬상장치의 회전방향 및 회전량에 따라 표시태양을 변화시킴으로써, 상기 촬상장치를 회전시켜 상이한 촬상각도로부터 촬상대상을 촬상하도록 시사하는 가이드를 상기 표시장치에 표시시키는 가이드 표시제어수단과,

상기 촬상장치의 회전방향 및 회전량을 검출하는 제1 검출수단과,

상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성수단

을 구비하는 화상처리장치를 탈착 가능한 고정기구 및 상기 고정기구를 회전동작시키는 회전제어기구를 가지는,

촬영보조기재(機材)이다.

제28 발명은,

표시장치에 촬상대상을 표시시키는 표시스텝(step)과, 촬상장치에 의해 촬상대상을 촬상하는 촬상스텝(A35)을 포함하는 화상처리방법으로서,

상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 상기 표시장치에 표시시키는 가이드 표시제어스텝(A15)과,

상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성스텝(A55)을 더 포함하는,

화상처리방법이다.

제29 발명은,

표시장치에 촬상대상을 표시시키는 표시스텝과, 촬상장치에 의해 촬상대상을 촬상하는 촬상스텝(A35)을 포함하는 화상처리프로그램으로서,

컴퓨터 판독 가능한 기록매체에 기록된 화상처리프로그램이다.

삭제

파노라마 화상생성에 사용할 복수의 입력화상의 촬상에 있어서, 유저에 대해 촬상장치를 회전시키면서 촬영을 행하는 동작을 유도하기 위해 필요한 알림기능으로서, 촬상장치의 표시부에 촬상장치의 회전방향 및 회전량에 대응한 가이드를 표시함으로써, 유저가 카메라를 평행하게 이동시켜 촬영을 행하는 것을 방지하여, 양질의 파노라마 화상생성에 필요한 화상의 촬영을 종래보다 용이하게 행하는 것이 가능해진다.

도 1은, 화상처리장치의 기능구성의 일례를 나타내는 블럭도.
도 2는, 스마트폰의 구성의 일례를 나타내는 사시도.
도 3은, 스마트폰의 기능구성의 일례를 나타내는 블럭도.
도 4는, 셀프카메라 가이드 촬영모드 처리의 흐름의 일례를 나타내는 플로차트.
도 5는, 스마트폰의 표시부에 표시되는 촬영가이드 화상의 일례를 나타내는 도.
도 6은, 스마트폰의 표시부에 표시되는 촬영가이드 화상의 일례를 나타내는 도.
도 7은, 스마트폰의 표시부에 표시되는 촬영가이드 화상의 일례를 나타내는 도.
도 8은, 스마트폰의 표시부에 표시되는 촬영가이드 화상의 일례를 나타내는 도.
도 9는, 스마트폰의 표시부에 표시되는 회전가이드 화상의 일례를 나타내는 도.
도 10은, 스마트폰의 표시부에 표시되는 회전가이드 화상의 일례를 나타내는 도.
도 11은, 스마트폰의 표시부에 표시되는 회전가이드 화상의 일례를 나타내는 도.
도 12는, 스마트폰의 표시부에 표시되는 회전가이드 화상의 일례를 나타내는 도.
도 13은, 스마트폰의 표시부에 표시되는 회전가이드 화상의 일례를 나타내는 도.
도 14는, 스마트폰의 표시부에 표시되는 회전가이드 화상의 일례를 나타내는 도.
도 15는, 스마트폰의 표시부에 표시되는 회전가이드 화상의 일례를 나타내는 도.
도 16은, 스마트폰의 표시부에 표시되는 회전가이드 화상의 일례를 나타내는 도.
도 17은, 셀프카메라 가이드 촬영모드의 촬상범위 설정의 일례를 설명하는 설명도.
도 18은, 아웃 카메라용 가이드 촬영모드시에 스마트폰의 표시부에 표시되는 회전가이드 화상의 일례를 나타내는 도.
도 19는, 아웃 카메라용 가이드 촬영모드의 촬상범위 설정의 일례를 설명하는 설명도.
도 20은, 전체 둘레(周圍) 가이드 촬영모드시에 스마트폰의 표시부에 표시되는 회전가이드 화상의 일례를 나타내는 도.
도 21은, 기록매체의 일례를 나타내는 도.

이하, 도면을 참조하여, 본 발명을 적용한 적합한 실시형태의 일례에 대해 설명한다. 다만, 도면의 설명에 있어서 동일한 요소에는 동일한 부호를 붙이고, 중복하는 설명을 생략하는 경우가 있다. 또, 도면의 치수 비율은, 설명의 것과 반드시 일치하고 있지 않다. 또, 본 발명을 적용 가능한 형태가, 이하 설명하는 실시형태로 한정되는 것은 아닌 것은 물론이다.

[1. 화상처리장치]

본 실시형태에 관한 화상처리장치는, 순차로 입력되는 입력화상을 입력할 때마다 서로 연결하여 1매의 합성화상을 축차 생성하는 장치로서, 예컨대 연속 촬상된 복수의 화상을 리얼타임으로 이어 붙여, 1매의 촬영화상보다 광각인 파노라마 화상을 생성하는 경우에 적합하게 채용되는 것이다.

본 실시형태에 관한 화상처리장치는, 예컨대, 스마트폰 등의 휴대전화기, 디지털카메라, 태블릿 단말, PDA(Personal Digital Assistant) 등, 리소스에 제한이 있는 모바일 단말에 구비시키는 것이 가능하지만, 이들로 한하는 것은 아니고, 예컨대 통상의 컴퓨터 시스템에 구비시켜도 좋다.

[1-1. 구성 및 원리]

본 실시형태의 화상처리장치는, 유저에 대하여 파노라마 합성화상을 얻기 위해서 필요한 촬영매수 및 카메라의 움직임을 가이드하는 가이던스를, 촬상대기화면에 표시하는 기능을 가지고 있다.

여기서, 본 실시형태에 있어서의 가이드 촬영기능이란, 촬상대기화면에, 현재의 카메라의 방향 및 위치를 나타내는 현재위치 마커와, 촬영시의 카메라의 방향, 위치 및 필요 촬영매수를 나타내는 촬영가이드를 표시하고, 유저가 카메라를 움직여서, 현재위치 마커를 촬영가이드에 맞춘 타이밍에 촬영을 행하는 기능이다.

이로써, 유저는, 적합한 파노라마 합성화상을 얻기 위해서 필요한, 복수매의 화상 촬영을 용이하게 행하는 것이 가능해진다.

도 1은, 본 실시형태에 있어서의 화상처리장치(1)의 기능구성의 일례를 나타내는 블럭도이다.

화상처리장치(1)는, 입력부(10)와, 기준화상 선택부(11)와, 매칭부(12)와, 변환행렬 추정부(13)와, 위치맞춤부(14)와, 화상합성부(15)와, 촬상제어부(31)와, 가이드 표시설정부(32)를 구비한다. 이들은, 화상처리장치(1)의 처리부(처리장치)가 가지는 기능부(기능블록)이고, 처리부는, CPU나 DSP 등의 프로세서나 ASIC 등의 집적회로를 가지고 구성된다.

입력부(10)는, 카메라(20)에 의해 촬상된 화상(이하, 「촬영화상」이라 함)을 입력하는 기능을 가지고 있다. 입력부(10)는, 예컨대, 촬영화상을 촬상할 때마다 입력하는 기능을 가진다.

입력부(10)는, 최초로 입력한 화상을, 제1 일시기억영역(이하, 「출력화상용 버퍼」라 함)에 보존한다. 또, 입력부(10)는, 차회 이후 연속하여 입력되는 화상을, 제2 일시기억영역(이하, 「입력화상용 버퍼」라 함)에 보존한다.

다만, 제2 일시기억영역에 화상이 보존되면, 상기 화상의 위치결정이 행해짐과 함께 상기 화상이 묘화(描畵)대상인지 아닌지가 판단되고, 묘화대상의 화상이라 판단된 경우에는, 제1 일시기억영역에 격납된 출력화상이 합성에 의해 갱신되어 덮어쓰기 보존된다. 이하에서는, 제1 일시기억영역에 격납된 화상을 합성화상(It), 제2 일시기억영역에 격납된 화상을 대상화상(Ic)(입력화상)이라 하여 설명한다.

기준화상 선택부(11)는, 위치맞춤용의 기준화상(Ir)을 선택하는 기능을 가진다. 기준화상(Ir)이란, 대상화상(Ic)의 위치맞춤의 기준이 되는 화상이다. 예컨대, 기준화상 선택부(11)는, 입력완료화상에 관한 정보를 격납한 입력완료화상 메모리(25)를 참조 가능하게 구성되어 있다. 입력완료화상은, 대상화상(Ic)보다 전에 입력부(10)에 의하여 입력된 화상이며, 1 또는 복수의 화상이 입력완료화상이 된다. 즉, n번째의 대상화상(Ic)을 Ic(n-1)라 하면, 입력완료화상은, Ic(n-2), Ic(n-3), … Ic0가 된다. 기준화상 선택부(11)는, 입력완료화상이 1매인 경우에는, 상기 화상(Ic1)을 대상화상(Ic2)의 기준화상(Ir0)로서 선택한다. 이후, 소정 조건을 만족하는 경우를 제하고, 기준화상 선택부(11)는, 상기 기준화상을 변경하지 않는다.

소정 조건에는, 예컨대, 기준화상(Ir)과 대상화상(Ic(n))의 거리가 소정치 이상 떨어진 경우로서 정해 둘 수 있다. 이 경우, 기준화상 선택부(11)는, 대상화상(Ic(n))을 차회의 새로운 대상화상(Ic(n＋1))의 기준화상(Ir(k))으로서 선택하고, 대상화상(Ic(n))에 관한 정보를 입력완료화상 메모리(25)에 보존한다. 대상화상(Ic(n))에 관한 정보란, 예컨대, 후술하는 매칭부(12)에 의하여 도출된 특징점의 화소치 및 위치정보만이라도 좋다. 이처럼, 입력완료화상 메모리(25)에 기록할 정보를 제한함으로써, 기준화상(Ir) 그 자체를 보존하는 경우에 비해 사용 메모리 용량을 삭감할 수 있다.

기준화상 선택부(11)는, 대상화상(Ic(n＋1))을 입력했을 때에는, 입력완료화상 메모리(25)를 참조하여, 기준화상(Ir(k))으로서 대상화상(Ic(n))을 선택한다. 계속하여, 기준화상 선택부(11)는, 기준화상(Ir)에 관한 화상정보(적어도 특징점의 화소정보 및 위치정보를 포함하는 정보)를 매칭부(12)에 출력한다.

매칭부(12)는, 기준화상(Ir) 및 대상화상(Ic)의 대응관계를 취득한다. 매칭부(12)는, 기준화상(Ir)의 특징점 및 대상화상(Ic)의 특징점에 관한 정보를 취득한다. 매칭부(12)는, 예컨대, 특징점의 화소치에 기초하여 기준화상(Ir) 및 대상화상(Ic)의 대응관계를 취득한다. 매칭방법으로서는, 블록매칭법이나 구배(句配)법 등의 공지의 수법을 이용할 수 있다.

다만, 매칭부(12)가, 기준화상(Ir) 및 대상화상(Ic)을 다중 해상도화 한 후에 매칭하도록 해도 좋다. 예컨대, 매칭부(12)는, 기준화상(Ir) 및 대상화상(Ic)의 해상도를 각각 단계적으로 변경하여, 해상도가 상이한 복수의 화상을 생성한다. 그리고, 매칭부(12)는, 가장 해상도가 작은 화상 사이에서 특징점의 평행이동량을 취득하여, 보다 해상도가 큰 화상 사이에서 특징점의 픽셀 단위의 매칭을 행하도록 해도 좋다. 이 경우, 처리의 고속화 및 연산비용의 저감을 실현할 수 있다.

매칭부(12)는, 기준화상(Ir)과 대상화상(Ic)의 대응관계가 산출된 특징점의 페어의 위치정보(좌표정보)를 취득한다. 즉, 매칭부(12)는, 기준화상(Ir)의 어느 특징점의 위치정보와, 상기 특징점에 대응하는 대상화상(Ic)의 특징점의 위치정보를, 페어로서 취득한다. 이때, 매칭부(12)는, 후술하는 위치맞춤 처리를 위해, 특징점의 페어를 복수 취득한다.

매칭부(12)는, 취득한 특징점의 페어를 변환행렬 추정부(13)에 출력한다. 다만, 상술한 바와 같이, 기준화상 선택부(11)가 상기 대상화상(Ic)을 차회 이후의 기준화상(Ir)으로서 추가하는 경우에는, 매칭부(12)는, 대상화상(Ic)의 특징점의 화소치 및 위치정보를 기준화상 선택부(11)에 출력한다.

변환행렬 추정부(13)는, 매칭부(12)로부터 출력되는 기준화상(Ir)과 대상화상(Ic)의 대응관계에 기초하여, 기준화상(Ir)의 좌표계와 대상화상(Ic)의 좌표계를 대응시키는 변환식인 변환행렬을 추정한다.

위치맞춤부(14)는, 변환행렬 추정부(13)에 의해 추정된 변환행렬을 이용하여, 기준화상(Ir)과 대상화상(Ic)의 위치맞춤을 행한다.

1매째의 화상만이 입력되어 있는 경우에는, 상기 화상이 기준화상(Ir0)으로서 선택된다. 그리고, 2매째의 화상(대상화상(Ic))이 입력된 경우, 위치맞춤부(14)는, 기준화상(Ir0)의 위치를 기준으로 하여, 대상화상(Ic)을 위치맞춤 한다.

여기서, 위치맞춤이란, 기준화상(Ir0)의 소정점(예컨대 중심(C0))과, 대상화상(Ic)의 소정점(예컨대 중심(C1))의 상대위치를 결정하는 것이다. 위치맞춤부(14)는, 매칭부(12)에 의하여 취득된 특징점의 페어가 서로 가장 중첩되는 위치를 탐색한다. 그리고, 기준화상(Ir0)과 대상화상(Ic)의 위치맞춤이 완료된 경우에는, 서로 위치관계가 링크되었다는 취지(링크(Re1))를 기록한다.

예컨대, 8매의 입력화상의 중심(C0∼C7)의 사이가 링크되어 있는(링크(Re1)∼Re7) 경우는, 기준화상 선택부(11)가 기준화상(Ir)을 선택하고, 위치맞춤부(14)가 링크를 형성한다고 하는 동작을 반복함으로써, 8매의 화상을 위치맞춤하면서 이어 붙일 수 있다.

다만, 상술한 바와 같이, 위치맞춤부(14)에 의하여 위치맞춤이 완료되고, 기준화상(Ir0)과 대상화상(Ic)의 상대거리가 소정치 이상으로 되어 있는 경우에는, 기준화상 선택부(11)가 상기 대상화상(Ic)을 차회 이후의 기준화상(Ir1)으로서 추가할 필요가 있기 때문에, 매칭부(12)는, 대상화상(Ic)의 특징점의 화소치 및 위치정보를 기준화상 선택부(11)에 출력한다.

회전 전의 카메라(20)의 촬상면을 S0, 회전 후의 카메라(20)의 촬상면을 S1이라 하면, 촬상면(S0)과 촬상면(S1)이 동일평면 내에 존재하지 않는다. 이로 인해, 특징점의 페어를 평행이동에 의하여 중첩된 위치는, 본래의 서로 중첩된 위치와는 상이한 것이 된다. 즉, 위치맞춤을 행하는 경우에는, 카메라의 움직임을 고려하여, 기준화상(Ir)의 특징점의 위치와 대상화상(Ic)의 특징점의 위치가 동일한 3차원 좌표계 상에서 일치하도록 위치맞춤을 행할 필요가 있다.

상기의 이유로부터, 변환행렬 추정부(13)가, 기준화상(Ir0)의 3차원의 좌표계와, 대상화상(Ic)의 3차원의 좌표계를 일치시키는 변환행렬을 추정한다.

여기서, 변환행렬 추정부(13)는, 기준화상(Ir)과 대상화상(Ic)의 사이의 움직임이 카메라(20)의 회전운동뿐인 것으로 해서, 카메라(20)의 움직임을 한정하고, 특징점의 페어의 위치정보를 이용하여 변환식을 추정하는 기능을 가지고 있다. 본 실시형태에 있어서, 변환행렬 추정부(13)는, 특징점의 2차원 좌표를 3차원 공간의 구면(球面)에 투영하고, 투영한 좌표의 대응관계를 이용하여 변환행렬을 추정하며, 추정한 변환행렬을 위치맞춤부(14) 및 촬상제어부(31)에 출력한다.

화상합성부(15)는, 변환행렬 추정부(13)에 의해 추정된 변환행렬을 이용하여, 위치맞춤부(14)에 의하여 3차원 공간의 구면상에서 위치맞춤된 화상군(群)을 묘화화상이라 하고, 이 묘화화상(Id)을 2차원 평면인 합성평면(Sp)에 투영한다. 그리고, 묘화화상을 1매의 합성화상으로서 표시부(35)에 출력함과 함께, 출력화상용 버퍼에 기록한다. 표시부(35)는, 화상합성부(15)로부터 출력된 화상정보를 표시한다.

촬상제어부(31)는, 가이드 정보를 설정한다. 카메라(20)에 마련된 입력화면 등에 있어서, 유저가 셀프카메라 가이드 촬영모드를 선택하면, 그 정보가 입력부(10)를 통하여 촬상제어부(31)에 출력되고, 촬상제어부(31)가, 가이드 정보의 설정처리를 개시한다.

촬상제어부(31)는, 예컨대, 파노라마 화상으로서 생성되는 촬영의 범위(이하, 「파노라마 촬상범위」라 함)와, 촬영할 매수(이하, 「촬영매수」라 함)와, 촬영 1회당의 카메라(20)의 회전각도(이하, 「단위 회전각도」라 함)를, 가이드 정보로서 설정한다. 구체적으로는, 예컨대, 파노라마 촬상범위를 「150도」의 범위로 설정하고, 촬영매수를 「5매」으로 설정하며, 단위 회전각도를 「30도」로 설정한다. 다만, 단위 회전각도는, 카메라(20)의 화각(카메라의 촬영가능 각도)보다 작은 각도이면 좋고, 바람직하게는, 각 촬영시의 촬상범위가 각각 10도 이상 중첩되도록 하면 좋다.

촬상제어부(31)로부터 출력된 파노라마 촬상범위, 촬영매수 및 단위 회전각도에 기초하여, 가이드 표시설정부(32)는, 촬영가이드 화상을 생성하여, 카메라(20)의 촬상대기화면에 표시한다. 촬영가이드 화상은, 후술하는 바와 같이, 자기(self) 장치를 회동시키면서 카메라(20)를 이용하여 촬영하는 방법을 알리는 태양으로 표시된다. 이로써, 유저는 적합한 카메라의 움직임을 일견하여 파악할 수 있다. 또, 알림에 따라 카메라(20)를 회전시키고 촬영을 행함으로써, 양질의 파노라마 화상생성에 필요한 촬영을 행할 수 있다.

움직임센서(30)는, 카메라(20)에 내장 또는 부설되는 센서이고, 유저가 카메라를 움직였을 때의 카메라(20)의 움직임 정보를 검출한다. 움직임센서(30)는, 3축의 가속도를 검출하는 가속도센서나, 3축의 각속도를 검출하는 각속도센서(자이로센서), 이들의 센서를 패키지화한 관성계측장치(IMU：Inertial Measurement Unit) 등의 센서유닛을 가지고 구성된다. 움직임센서(30)는, 가속도나 각속도를 움직임 정보로서 검출하고, 검출한 움직임 정보를 촬상제어부(31)에 출력한다. 움직임센서(30)에 의하여 검출되는 각속도나 가속도를 이용함으로써, 카메라(20)의 방향 및 변위를 검출할 수 있다.

다만, 화상처리장치(1)와 외부장치 사이(예컨대 카메라(20)와 입력부(10) 사이, 및 화상합성부(15)와 표시부(35) 사이 등)의 통신방식으로서는, 소정의 통신규격에 준거한 케이블을 통하여 유선접속하는 형식이나, 크래들(cradle)이라 불리는 충전기와 겸용의 중간장치를 통하여 접속하는 형식, 근거리 무선통신을 이용하여 무선접속하는 형식 등, 여러 가지의 방식이 적용 가능하다.

[1-2. 처리]

유저가 카메라(20)에 설치된 버튼 등을 조작하여 1매째의 촬영을 행하면, 1매째의 촬영화상이 카메라(20)로부터 입력부(10)에 출력된다. 입력부(10)는, 촬상제어부(31)에 1매째의 촬영이 종료된 것을 통지하는 촬영종료 신호를 출력한다.

촬영종료 신호에 의하여 1매째의 촬영종료를 검지한 촬상제어부(31)는, 1매째의 촬영시의 카메라 위치 및 방향을 원점으로 한 카메라의 현재위치정보를 가이드 표시설정부(32)에 출력한다. 가이드 표시설정부(32)는, 카메라의 현재위치정보를 나타내는 마커(이하, 「현재위치 마커」라 함)를 촬상대기화면에 표시한다. 다만, 여기에서는, 현재위치 마커를 1매째의 촬영 후에 표시하지만, 1매째의 촬영 전에, 촬영가이드 화상과 함께 표시해 두어도 좋다. 그 경우의 현재위치 마커는, 1매째의 촬영위치를 나타내는 촬영가이드 화상에 겹치도록 표시하면 좋다.

카메라(20)의 현재위치정보는, 움직임센서(30)로부터 가이드 촬상제어부(31)에 출력되는 카메라(20)의 움직임 정보에 의하여 수시 갱신된다. 갱신된 움직임 정보는, 촬상대기화면에 표시된 현재위치 마커의 움직임에 의해 유저에게 알려진다.

다음으로, 촬상제어부(31)는 가이드 표시설정부(32)를 통하여, 촬영가이드 화상을 2매째의 촬영가이드 화상으로 갱신한다. 2매째의 촬영가이드 화상은, 유저에 대하여 카메라(20)를 회전시킬 방향 및 회전량의 기준을 알리는 태양으로 되어 있다. 예컨대, 상기와 같이 단위 회전각도를 「30도」로 설정하는 경우, 2매째의 촬영가이드는, 카메라가 1매째의 촬영시부터 소정의 방향으로 30도 회전한 위치에 대응한 화상이 된다.

유저는, 촬상대기화면의 현재위치 마커가 2매째의 촬영가이드 화상이 나타내는 위치에 중첩되도록 카메라(20)를 회전시킨다. 촬상제어부(31)는, 움직임센서(30)로부터 출력되는 움직임 정보에 기초하여, 카메라(20)가 소정의 각도(예컨대 30도) 회전한 것을 검지하면, 가이드 표시설정부(32)를 통하여, 유저에 대하여 2매째의 촬영을 촉구하는 알림을 행한다. 유저는 그 알림에 기초하여 카메라(20)에 설치된 버튼 등을 조작하여 2매째의 촬영을 행한다. 이하, 마찬가지로 3매째부터 5매째까지의 촬영을 행한다.

다만, 상기의 설명에서는, 촬영은 전부 유저의 조작에 의하여 행하는 것으로 하여 설명했지만, 카메라(20)가 소정의 각도 회전한 것을 검지한 촬상제어부(31)가, 카메라(20)에 촬영지시신호를 출력함으로써 자동적으로 촬영을 행하도록 해도 좋다. 그때는, 유저가 카메라(20)를 회전시키고 있는 도중에 촬영이 행해지지 않도록, 유저에 대하여 촬영을 행한다는 취지의 알림을 행하고, 유저가 알림에 따라 카메라(20)의 회전을 정지시킨 것을 움직임센서(30)가 검지한 후에, 촬영을 행하도록 하면 좋다.

또, 상기의 설명에서는, 움직임센서(30)에 의하여 카메라(20)의 움직임 정보를 검출하는 것으로 했지만, 이에 한하는 것은 아니다. 예컨대, 각 화상의 특징점 사이의 거리에 기초하여, 카메라(20)의 움직임 정보를 검출해도 좋다. 이하, 이 방법에 대하여, 도 1을 이용하여 설명한다.

이하의 설명에서는, 1매째의 촬영화상(셀프카메라 화상)을 기준화상(Ir0), 2매째 이후의 촬영화상을 대상화상(IcN)(N=1, 2 … Nmax)이라 하여 설명한다.

2매째 이후의 촬영화상(IcN)의 위치는, 상기와 같이 기준화상(Ir0)으로부터의 회전각도 설정에 의하여, 촬영 전에 미리 설정되어 있다.

카메라(20)는, 카메라(20) 내부의 렌즈에 비치는 광신호를 영상소자에 의하여 전기신호로 변환하여, 입력부(10) 및 표시부(35)에 출력하고 있다. 이 화상정보는, 표시부(35)에 촬상대기화면으로서 표시된다. 이 촬상대기화면은 리얼타임 화상(수시 또는 소정 시간간격마다 갱신되는 동영상)이다.

촬상대기화면에 표시되고, 수시 또는 소정 시간간격마다 갱신되는 동영상의 화상의 하나를, 현재화상(IctM(M=N-1))이라 한다. 이하, 현재화상(Ict0)(기준화상(Ir0)의 촬영 후부터 2매째의 촬영(Ic1의 촬영)까지의 사이에 촬상대기화면에 리얼타임으로 표시되어 있는 화상)을 이용하여 설명한다.

현재화상(Ict0)은, 카메라(20)로부터 입력부(10)를 통하여 매칭부(12)에 출력되고, 매칭부(12)는, 기준화상(Ir0)과 현재화상(Ict0)의 중심위치의 좌표정보를 페어로서 취득한다. 다음으로, 매칭부(12)는 취득한 상기의 중심좌표 페어를 변환행렬 추정부(13)에 출력하고, 변환행렬 추정부(13)는 기준화상(Ir0)의 좌표계와 현재화상(Ict0)의 좌표계를 대응시키는 변환식인 변환행렬을 추정한다.

다음으로, 변환행렬 추정부(13)는, 추정한 변환행렬을 촬상제어부(31)에 출력한다.

촬상제어부(31)는, 추정한 변환행렬에 기초하여, 기준화상(Ir0)과 현재화상(Ict0)의 위치맞춤을 행한다. 다음으로, 기준화상(Ir0)의 특징점(예컨대 중심좌표)을 소정각도(이 경우는 30도) 회전시킨 좌표를 산출하고, 그 좌표와 현재화상(Ict0)의 특징점(예컨대 중심위치)의 좌표의 거리가, 소정치 이하 또는 소정치 미만이 되었을 경우는, 카메라가 소정각도 회전했다고 판정한다. 다만, 이 변환행렬에 기초하는 위치맞춤 및 카메라의 회전의 판정을 위치맞춤부(14)에서 행하고, 판정결과를 촬상제어부(31)에 출력하도록 해도 좋다.

이하, Ict1(2매째의 촬영에서 3매째의 촬영까지의 사이에 촬상대기화면에 리얼타임으로 표시되어 있는 화상), Ict2에 대해서도 마찬가지이다.

다만, 상기에 설명한 움직임센서를 이용하는 수법 및 각 화상의 특징점의 좌표를 이용하는 수법을 동시에 사용하여, 카메라의 움직임 검출의 정밀도를 향상시키도록 해도 좋다.

또, 파노라마 촬상범위, 촬영매수 및 단위 회전각도는, 몇 가지인가의 설정의 조합을 미리 화상처리장치(1) 또는 카메라(20)의 기억부에 기억시켜 두고, 용도에 따라 유저에게 선택하게 하도록 하면 좋다. 또, 유저가 임의의 수치를 입력하여 설정할 수 있도록 해도 좋다. 그 경우, 설정 불가능한 수치가 입력된 경우(예컨대 사용하는 카메라의 화각에서는 촬영 불가능한 회전각도가 입력된 경우)에는, 그 취지를 입력 에러로서 표시하여 유저에게 알리도록 하면 좋다.

[1-3. 변형예]

이상 설명한 화상처리장치(1)는, 본 발명에 관한 화상처리장치의 일례를 나타내는 것이지만, 본 발명에 관한 화상처리장치는, 화상처리장치(1)에 한하는 것이 아니고, 각 청구항에 기재된 요지를 변경하지 않는 범위에서, 실시형태에 관한 화상처리장치를 변형하거나, 또는 다른 것에 적용한 것이라도 좋다.

예컨대, 상기의 실시형태에서는, 카메라(20)가 정지화상을 연속 촬상하는 예를 설명했지만, 카메라(20)는, 동영상을 촬상하는 것이라도 좋다. 이 경우, 입력부(10)는, 촬상된 동영상으로부터 연속하는 화상을 추출하는 기능을 가지고 있어도 좋다. 또, 입력부(10)가 입력하는 화상은, 별도의 기기로부터 네트워크를 통하여 송신받은 화상이라도 좋다.

또, 상기의 실시형태에서는, 카메라(20)에 의해 촬상된 화상의 크기는 동일한 것으로 해서 설명했지만, 촬상된 화상의 크기는 촬상할 때마다 상이한 크기라도 좋다.

또, 상기의 실시형태에서는, 화상처리장치(1)가, 입력부(10), 기준화상 선택부(11), 매칭부(12), 변환행렬 추정부(13), 위치맞춤부(14), 화상합성부(15), 촬상제어부(31), 및 가이드 표시설정부(32)를 구비하는 구성으로 해서 설명했지만, 요구되는 성능에 따라, 이들의 구성을 적당히 변경해도 좋다.

예컨대, 화상처리장치(1)가, 입력부(10), 촬상제어부(31), 및 가이드 표시설정부(32)를 구비하는 구성으로 하고, 화상처리장치(1)에 접속된 외부서버 등의 정보처리단말에, 화상합성에 관한 기능, 즉, 기준화상 선택부(11), 매칭부(12), 변환행렬 추정부(13), 위치맞춤부(14), 및 화상합성부(15)에 상당하는 기능을 구비하도록 한다. 이 경우는, 카메라(20)에 의해 촬상된 화상정보는 화상처리장치(1)의 입력부(10) 및 통신회선을 통하여 외부서버에 출력되고, 외부서버가 화상정보를 이용하여 화상합성처리를 행하며, 외부서버에서 생성된 합성화상은 통신회선을 통하여 표시부(35)에 출력하는 구성으로 하면 좋다.

[2. 실시예]

다음으로, 상기의 화상처리장치(1)를 구비하는 전자기기의 일례로서, 스마트폰(2)의 실시예에 대하여 설명한다. 단, 본 발명을 적용 가능한 실시예가, 이하 설명하는 실시예로 한정되는 것이 아님은 물론이다.

[2-1. 기능구성]

도 2는, 본 발명의 스마트폰(2)의 일 구성예를 나타낸 사시도이다.

도 2 (a)에는, 스마트폰(2)의 케이스체(60)의 전면(前面)(61)이 나타나 있고, 도 2 (b)에는, 스마트폰(2)의 케이스체(60)의 배면(背面)(71)이 나타나 있다.

스마트폰(2)은, 케이스체(60), 인 카메라(62), 아웃 카메라(72), 표시화면(터치패널)(63), 조작버튼(64), 음성출력을 행하는 스피커(73), 플래시라이트(74) 등으로 구성된다.

인 카메라(62), 표시화면(터치패널)(63), 및 조작버튼(64)은, 케이스체(60)의 전면(61)에 설치되고, 아웃 카메라(72), 스피커(73), 및 플래시라이트(74)는, 케이스체(60)의 배면에 설치되어 있다.

표시화면(터치패널)(63)은, 예컨대 LCD(액정 디스플레이)로 이루어지는 표시화면을 가지는 표시장치와, 표시화면에 대한 터치조작을 검출하는 터치센서에 의해 구성된다.

조작버튼(64)은, 케이스체(50)에 물리적으로 설치되고, 유저의 누름조작에 의해, 미리 할당되어 있는 기능을 실행한다. 또는 조작버튼(64)을 터치패널 상에 아이콘 형상으로 표시하고, 유저의 터치조작에 의해 조작하도록 해도 좋다.

도 3은, 스마트폰(2)의 기능구성의 일례를 나타내는 블럭도이다.

스마트폰(2)은, 처리부(100)와, 조작부(200)와, 표시부(300)와, 음(音)출력부(400)와, 촬상부(500)와, 통신부(600)와, 시계부(700)와, 기억부(800)와, 진동부(750)와, 움직임센서(760)를 구비한다.

처리부(100)는, 기억부(800)에 기억되어 있는 시스템 프로그램 등의 각종 프로그램에 따라서 스마트폰(2)의 각 부를 통괄적으로 제어하거나, 화상처리에 관한 각종 처리를 행하는 처리장치이고, CPU나 DSP 등의 프로세서나 ASIC 등의 집적회로를 가지고 구성된다.

처리부(100)는, 주요한 기능부로서, 기준화상 선택부(110)와, 매칭부(120)와, 변환행렬 추정부(130)와, 위치맞춤부(140)와, 화상합성부(160)와, 표시제어부(170)와, 촬상제어부(150)와, 가이드 표시설정부(180)를 가진다. 이들 기능부는, 도 1의 화상처리장치(1)가 구비하는 기능부에 각각 대응하는 것이다.

조작부(200)는, 조작버튼이나 조작스위치, 마우스 등의, 유저가 스마트폰(2)에 대한 각종의 조작입력을 행하기 위한 입력장치를 가지고 구성된다. 또, 조작부(200)는, 표시부(300)와 일체적으로 구성된 터치패널(250)을 가지고, 이 터치패널(250)은 유저와 스마트폰(2) 사이의 입력 인터페이스로서 기능한다. 조작부(200)로부터는, 유저 조작에 따른 조작신호가 처리부(100)에 출력된다.

표시부(300)는, LCD(Liquid Crystal Display) 등을 가지고 구성되는 표시장치이고, 처리부(100)로부터 출력되는 표시신호에 기초한 각종 표시를 행한다. 표시부(300)는, 터치패널(250)과 일체적으로 구성되어 터치 스크린을 형성하고 있다. 표시부(300)에는, 촬영화상이나 수정화상 등의 각종 화상이 표시된다.

음출력부(400)는, 스피커 등을 가지고 구성되는 음출력장치이고, 처리부(100)로부터 출력되는 음출력신호에 기초한 각종 음출력을 행한다.

촬상부(500)는, 임의의 씬(scene)의 화상을 촬영가능하게 구성된 촬상장치이고, CCD(Charge Coupled Device) 이미지센서나 CMOS(Complementary MOS) 이미지센서 등의 촬상소자를 가지고 구성된다. 촬상부(500)는, 광신호를 전기신호로 변환하고, 디지털화한 촬영화상의 데이터를 처리부(100)에 출력한다.

촬상부(500)는, 스마트폰(2)의 표시부(300) 측에 구비된 인 카메라(62) 및 그 반대측에 구비된 아웃 카메라(72)를 촬상장치로서 구비하고 있다.

인 카메라(62)와 아웃 카메라(72)는, 유저 입력 등에 의하여 전환 가능하게 구성되어 있다. 인 카메라(62)는, 주로, 스마트폰(2)을 지지하는 유저가 유저 자신을 촬영하는 셀프카메라나, 그룹촬영용으로 사용된다. 아웃 카메라(72)는, 유저 이외의 인물이나 풍경을 촬영하기 위하여 사용된다.

통신부(600)는, 장치 내부에서 이용되는 정보를 외부의 정보처리 장치와의 사이에서 송수신하기 위한 통신장치이다. 통신부(600)의 통신방식으로서는, 소정의 통신규격에 준거한 케이블을 통하여 유선접속하는 형식이나, 크래들이라 불리는 충전기와 겸용의 중간장치를 통하여 접속하는 형식, 근거리 무선통신을 이용하여 무선접속하는 형식 등, 여러 가지의 방식을 적용 가능하다. 다만, 이하의 실시예에 있어서 스마트폰(2)의 표시부(300)에 표시되는 화상은, 통신부(600)를 통하여 스마트폰(2)에 유선 또는 무선접속된 외부의 표시단말장치에 표시시켜도 좋다.

시계부(700)는, 스마트폰(2)의 내부 시계이며, 예컨대 수정진동자 및 발진회로인 수정발진기를 가지고 구성된다. 시계부(700)의 계시(計時) 시각은, 처리부(100)에 수시 출력된다.

기억부(800)는, ROM나 EEPROM, 플래쉬 메모리, RAM 등의 휘발성 또는 불휘발성의 메모리나, 하드디스크장치 등을 가지고 구성되는 기억장치이다. 기억부(800)는, 처리부(100)가 스마트폰(2)을 제어하기 위한 시스템 프로그램이나, 각종의 화상처리를 행하기 위한 프로그램이나 데이터를 기억한다.

본 실시예에 있어서, 기억부(800)에는, 처리부(100)에 의해 독출되어, 카메라모드 처리로서 실행되는 카메라모드 처리프로그램(810)이 기억되어 있다. 카메라모드 처리프로그램(810)은, 화상생성처리로서 실행되는 화상생성 프로그램(811)을 서브루틴으로서 포함한다.

또, 기억부(800)에는, 촬상부(500)로부터 처리부(100)에 입력된 촬영화상의 화상정보가 입력완료화상으로서 격납되는 입력완료화상 데이터베이스(830)와, 순차로 입력되는 촬영화상이 일시적으로 격납되는 입력화상용 버퍼(850)와, 최종적으로 생성된 합성화상이 격납되는 출력화상용 버퍼(870)가 포함된다.

진동부(750)는, 모터 등을 가지고 구성되는 진동발생장치이며, 처리부(100)로부터 출력되는 진동발생 신호에 기초한 각종의 진동발생을 행한다. 이 장치는, 유저에의 알림수단의 일례로서, 스마트폰(2)을 진동시킬 때에 사용된다.

움직임센서(760)는, 스마트폰(2)의 움직임 정보를 검출 가능하게 구성된 센서이다. 움직임센서(760)는, 스마트폰(2)의 움직임 정보를 전기신호로 변환한 데이터를 처리부(100)에 출력한다.

촬상제어부(150)는, 후술하는 스마트폰(2)의 셀프카메라 가이드 촬영모드에 관한 처리 등을 제어하는 기능부이며, 조작부(200), 촬상부(500), 매칭부(120), 변환행렬 추정부(130) 및 움직임센서(760) 등으로부터 출력된 데이터를 처리하여, 가이드 표시설정부(180), 표시부(300), 음출력부(400), 촬상부(500) 및 진동부(750)에 출력한다.

가이드 표시설정부(180)는, 촬상제어부(150)로부터 출력된 데이터에 기초하여, 가이드 화상 등을 생성하고, 그들을 표시부(300)에 출력한다.

[2-2. 처리]

도 4는, 스마트폰(2)의 처리부(100)가, 기억부(800)에 기억되어 있는 카메라모드 처리프로그램(810)에 따라서 실행하는 카메라모드 처리의 흐름의 일례를 나타내는 플로차트이다. 이 카메라모드 처리는, 유저에 의해 카메라의 어플리케이션이 기동됨으로써 실행되는 처리이다.

맨먼저, 처리부(100)는, 유저에 의해 조작부(200)를 통하여 선택된 모드가 셀프카메라 가이드 촬영모드인지 아닌지를 판정한다(A10). 셀프카메라 가이드 촬영모드가 선택된 경우(A10; Yes), 촬상제어부(150)가, 파노라마 촬상범위, 촬영매수 및 단위 회전각도를 설정하고, 각 설정치를 가이드 표시설정부(180)에 출력한다. 가이드 표시설정부(180)는, 각 설정치 정보에 기초하여, 이하에 설명하는 촬영가이드 화상 및 현재위치 마커 화상을 생성하여, 표시부(300)의 촬상대기화면에 표시한다(A15).

다만, 얼굴영역 검출처리를 행하는 경우는, 셀프카메라 가이드 촬영모드 선택(A10)과 셀프카메라 가이드 촬영 설정(A15)의 사이에, 얼굴영역 검출을 행하는 스텝을 마련하면 좋다.

셀프카메라 가이드 촬영모드의 촬상대기화면은, 현재화상, 촬영가이드 화상, 및 현재위치 마커 화상으로 구성된다. 현재화상은, 소정의 시간간격마다 갱신되는 이른바 리얼타임 화상이다. 촬상부(500)(셀프카메라 가이드 촬영모드시는 인 카메라(62))에 설치된 렌즈를 통하여 영상센서에 입사한 광신호는, 영상소자에 의하여 전기신호로 변환된 후에 수시로 처리부(100)에 출력되고, 표시제어부(190)에 의하여 표시부(300)에 표시된다. 이후, 현재화상은, A15에서 설정되는 촬영매수(예컨대 5매)의 촬영이 종료할 때까지 수시로 갱신된다.

촬영가이드 화상은, 유저에 대하여 스마트폰(2)을 소정의 각도까지 회동시킬 것을 촉구하는 알림과, 촬영매수 및 촬영차례 등을 알리기 위한 화상이다. 또, 현재위치 마커 화상은, 스마트폰(2)의 현재위치정보를 알리기 위한 화상이다.

유저는, 촬상대기화면을 시인(視認)하면서 스마트폰(2)을 든 팔을 전방으로 뻗어, 스마트폰(2)의 촬상부(500)를 유저 자신의 방향을 향한다. 계속하여, 조작부(200)에 설치된 버튼 등을 조작함으로써, 1매째의 촬영이 행해진다(A35). 다만, 1매째는 유저의 셀프카메라 화상이기 때문에, 회전검출처리(A20)로부터 촬영을 촉구하는 알림(A30)까지의 처리는 생략된다. 또, 이 경우, 현재위치 마커 화상의 표시는 생략 가능하다.

촬상부(500)에 의한 촬상이 종료되면, 표시제어부(190)는, 촬상된 촬영화상을 표시부(300)에 표시한다(A40).

이때, 촬영화상을 열람한 유저가 화상의 재촬영을 하고자 하는 경우는, 유저가 조작부(200)에 설치된 버튼 등을 조작하여, A35로 되돌아가, 촬상부(500)에 다시 1매의 화상을 촬상시키는 촬상처리를 행하도록 해도 좋다.

다음으로, 촬영매수가, A15에 있어서 설정한 촬영매수 미만인 경우(A45； No), 처리부(100)는, A15로 처리를 되돌린다. 그리고, 촬상제어부(150)는, 촬영가이드 화상을 2매째의 촬영가이드 화상으로 갱신하고, 유저에 대하여 2매째의 촬영을 행할 회전각도(이하, 촬상회전각도라 함)까지 스마트폰(2)을 회전시킬 것을 촉구하는 알림을 행한다(A15).

유저는, 알림 내용에 따라, 촬상대기화면의 현재위치 마커 화상이 2매째의 촬영가이드 화상이 나타내는 위치에 중첩되도록, 스마트폰(2)을 회전시킨다. 촬상제어부(150)는, 움직임센서(760)로부터 출력되는 움직임 정보에 기초하여 스마트폰(2)의 회전검출처리를 실행한다(A20). 그리고, 스마트폰(2)이 A15에서 설정된 소정의 각도(예컨대 30도) 회전한 것을 검지하면(A25；Yes), 촬상제어부(150)는 가이드 표시설정부(180)를 통하여, 유저에 대하여 2매째의 촬영을 촉구하는 알림을 행한다(A30).

계속하여, 유저가 조작부(200)에 설치된 버튼 등을 조작하여 2매째의 촬영을 행한다(A35). 이하, 마찬가지로 3매째 이후의 촬영이 행해진다. A15에서 설정한 촬영매수(5매)의 촬영이 종료되면(A45； YES), 다음으로, 처리부(100)는, 조작부(200)를 통하여 유저에 의해 파노라마 화상을 생성하는 실행조작이 이루어졌는지 아닌지를 판정하고(A50), 이루어지지 않았다고 판정된 경우에는(A50；No), A15로 되돌아가, 다시 셀프카메라 가이드 촬영 설정이 행해진다.

한편, 유저에 의해 파노라마 화상을 생성하는 실행 조작이 이루어졌다고 판정했다면(A50；Yes), 처리부(100)는, 기억부(800)에 기억되어 있는 화상생성 프로그램(811)에 따라서, 화상생성처리를 실행한다(A55).

다음으로, 표시제어부(190)는, 화상생성처리로 생성된 합성화상을 파노라마 화상으로서 표시부(300)에 표시제어한다(A60). 그 후, 유저에 의해 셀프카메라 가이드 촬영모드를 종료하는 조작이 이루어졌는지 아닌지를 판정하고(A65), 조작이 이루어지지 않았다고 판정되면(A65；No), A15로 처리를 되돌린다.

한편, A10에 있어서 셀프카메라 가이드 촬영모드가 선택되지 않았다고 판정되면(A10；No), 처리부(100)는, 통상 촬영모드 처리를 행한다(A100). 통상 촬영모드 처리에서는, 처리부(100)는, 조작부(200)에 대한 유저의 촬영조작에 따라 촬상부(500)에 1매의 화상의 촬상을 행하게 하고, 촬상된 촬영화상을 기억부(800)에 기억시키고, 표시부(300)에 표시시킨다.

A65에 있어서 셀프카메라 가이드 촬영모드를 종료하는 조작이 이루어졌다고 판정한 경우(A65；Yes), 또는, A100의 통상 촬영모드 처리의 실행 후, 처리부(100)는, 유저에 의해 카메라모드를 종료하는 조작이 이루어졌는지 아닌지를 판정하고(A70), 종료하는 조작이 이루어지지 않았다고 판정되면(A70；No), A10로 처리를 되돌린다. 한편, 종료하는 조작이 이루어졌다고 판정되면(A70；Yes), 카메라모드 처리를 종료한다.

다만, 상기의 설명에서는, 촬영은 전부 유저의 버튼 조작 등에 의하여 행한다고 했지만, 움직임센서(760)에 의하여 검출된 회전각도에 기초하여, 스마트폰(2)의 방향이 촬영가이드에 나타나는 촬상방향과 일치(스마트폰(2)이 소정의 각도 회전)한 것을 검지한 촬상제어부(150)가, 촬상부(500)에 촬영지시신호를 출력함으로써 자동적으로 촬영을 행해도 좋다. 그때는, 유저가 스마트폰(2)을 회전시키고 있는 도중에 촬영이 행해지지 않도록, 스마트폰(2)이 소정 시간(예컨대 1초간) 정지한 것을 움직임센서(760)가 검출한 후에, 자동적으로 촬영을 행하도록 설정하면 적합하다.

또, 스마트폰(2)이 소정의 각도 회전(예컨대 30도)한 것을 움직임센서(760)에 의하여 검지한 촬상제어부(150)가, 유저에 대하여 회전동작의 정지를 유도하는 알림을 행하고, 그 후 스마트폰(2)이 소정 시간(예컨대 1초간) 정지한 것을 검지한 촬상제어부(150)가 촬상부(500)에 촬영지시신호를 출력함으로써, 자동적으로 촬영을 행하도록 설정해도 좋다. 또, 상기의 회전동작의 정지를 유도하는 알림은, 소정의 각도 회전(예컨대 30도)했을 때뿐만 아니라, 소정의 회전각도에 대해서 소정 범위까지 가까워졌을 때(예컨대 30도에 대하여 25도까지 회전했을 때)에 행하도록 해도 좋다. 또, 소정의 회전각도에 이르렀을 때와, 소정의 회전각도에 대하여 소정 범위까지 가까워졌을 때는, 상이한 태양의 알림을 행하도록 해도 좋다. 상기와 같이 자동적으로 촬영이 행해지는 경우는, 유저에게 촬영조작을 촉구하는 알림(A30)은 생략된다.

또, 상기의 설명에서는, 움직임센서(760)에 의하여 스마트폰(2)의 움직임 정보를 검지하는 것으로 했지만(A20), 이에 한정되지 않고, [1-2. 처리]에서 설명한 바와 같이, 화상의 특징점 사이의 거리에 기초하여 스마트폰(2)의 움직임을 검지해도 좋다. 또, 움직임센서(760)에 의한 검지와 특징점 사이의 거리에 기초하는 검지의 양쪽을 사용해도 좋다.

(외부서버의 활용)

또, 상기의 실시예에서는, 스마트폰(2)의 처리부(100)는, 기준화상 선택부(110), 매칭부(120), 변환행렬 추정부(130), 위치맞춤부(140), 화상합성부(160), 표시제어부(170), 촬상제어부(150), 및 가이드 표시제어부(180)를 가지는 구성으로서 설명했지만, 이들의 구성을 적당히 변경해도 좋다.

예컨대, 스마트폰(2)의 처리부(100)가, 촬상제어부(150), 표시제어부(170), 및 가이드 표시설정부(180)를 구비하는 구성으로 하고, 스마트폰(2)의 외부에 설치된 서버 등의 정보 단말에, 화상합성에 관한 기능, 즉, 기준화상 선택부(110), 매칭부(120), 변환행렬 추정부(130), 위치맞춤부(140), 및 화상합성부(160)에 상당하는 기능을 구비하도록 한다. 촬상부(500)에 의해 촬상된 화상정보는 통신부(600) 및 통신회선을 통하여 외부서버에 출력되고, 외부서버가 화상정보를 이용하여 화상합성처리를 행한다. 외부서버에서 생성된 합성화상은 통신부(600) 및 통신회선을 통하여 스마트폰(2)의 표시부(300)에 출력된다.

스마트폰(2)으로부터 외부서버에의 화상정보의 출력은, 촬상마다, 소정의 촬상 매수마다, 소정 시간마다, 또는 스마트폰(2)이 외부서버에 접속 가능해진 상태가 되었을 때 등에, 촬상제어부(150)로부터의 출력 커멘드에 기초하여 행하도록 설정하면 좋다. 예컨대, 촬영가이드 화상에 따라서 소정 매수의 촬상이 종료된 타이밍에서, 화상정보의 출력을 행하도록 하면 적합하다. 또, 외부서버에 의한 화상합성처리는, 소정 매수분의 화상정보가 입력된 타이밍에서 자동적으로 행하도록 설정하면 좋다. 또는, 촬상제어부(150)가, 예컨대 촬영가이드 화상에 따라서 소정 매수의 촬상이 종료한 타이밍에서, 화상합성처리 커멘드를 외부서버로 송신하도록 해도 좋다. 또, 외부서버로부터의 합성화상의 출력 및 표시는, 합성화상의 생성 종료 후에 자동적으로 행해도 좋고, 예컨대 스마트폰(2)의 조작부(200)를 유저가 조작함으로써 행하도록 설정해도 좋다.

이처럼, 촬영화상의 매수나 화소수에 따라 데이터 처리량이 커지는 화상합성처리를 외부서버에서 행함으로써, 스마트폰(2)의 데이터 처리량을 저감하는 것이 가능해진다. 또, 화상합성처리에 있어서의 위치맞춤 처리는 데이터 처리의 부하가 크기 때문에, 스마트폰(2) 등의 휴대단말에 탑재된 처리부(CPU나 DSP 등의 프로세서나 ASIC 등의 집적회로)의 데이터 처리능력으로는, 고속으로 화상합성처리를 하는 경우에 있어서, 대충 위치맞춤된 합성화상을 생성하지 않을 수 없는 경우가 있다. 상기와 같이 휴대단말보다 대폭으로 데이터 처리능력이 높은 서버에서 화상합성처리를 행함으로써, 고속이면서 또한 정확하게 위치맞춤된 합성화상을 얻는 것이 가능해진다.

또, 상기의 실시예에서는, 스마트폰(2)의 기억부(800)에는, 촬상부(500)로부터 처리부(100)에 입력된 촬영화상의 화상정보가 입력완료화상으로서 격납되는 입력완료화상 데이터베이스(830)와, 순차로 입력되는 촬영화상이 일시적으로 격납되는 입력화상용 버퍼(850)와, 최종적으로 생성된 합성화상이 격납되는 출력화상용 버퍼(870)가 포함된다고 하여 설명했지만, 합성화상은 스마트폰(2)에 접속된 외부서버의 기억부에 보존하도록 해도 좋다. 이처럼 함으로써, 스마트폰(2)의 기억부(800)의 기억용량을 저감할 수 있다.

또, 합성화상의 표시는, 스마트폰(2)의 표시부(300)로 한하지 않고, 외부서버와 유선 또는 무선접속된 외부의 표시단말장치에 표시시키도록 해도 좋다. 외부의 표시단말장치에의 합성화상의 표시는, 스마트폰(2)의 조작부(200)를 유저가 조작함으로써 행해도 좋고, 스마트폰(2)의 조작 및 처리를 통하지 않고 외부의 표시단말장치로부터 외부서버의 기억부에 보존되어 있는 합성화상을 독출하여 표시하도록 해도 좋다. 이처럼 함으로써, 스마트폰(2)으로 다른 작업을 행하고 있는 경우에도, 외부의 표시단말에서 합성화상을 참조할 수 있다. 또, 유저는 스마트폰(2)의 표시부(300)보다 큰 외부의 표시단말 화면에서 합성화상을 참조할 수 있다. 또, 스마트폰(2)의 조작 및 처리를 통하지 않고 외부의 표시단말장치로부터 합성화상을 참조 가능하게 함으로써, 예컨대 유저는 과거에 촬상한 화상으로부터 생성된 합성화상을 참조하고, 그것을 참고로 하면서 다음의 촬상 가이드 화상의 설정 및 촬상 조작을 행하는 것이 가능해진다.

[2-3. 표시화면]

도 5는, 표시부(300)에 표시되는 셀프카메라 가이드 촬영모드의 촬상대기화면의 일례를 나타내는 도이다.

도 5 (a)는, 도 4의 카메라모드 처리에 있어서 셀프카메라 가이드 촬영모드가 기동되어, 촬상대기화면에, 현재화상, 촬영가이드 화상, 및 현재위치 마커 화상이 표시된 상태를 도시하고 있다(A15).

도 5 (a)의 촬상대기화면에는, 스마트폰(2)을 한 손에 든 유저(40) 및 그 배경이, 현재화상으로서 표시되어 있다.

촬영가이드 화상으로서, 타원의 원호의 일부분에 소정의 폭을 가지게 한 형상의 회전가이드(41), 및, 원형의 중심가이드(43)의 2종류가 표시되어 있다. 현재위치 마커는, 회전가이드(41)에 대응한 회전마커(42), 및, 중심가이드(43)에 대응한 중심마커(44)의 2종류가 표시되어 있다. 회전가이드(41) 및 중심가이드(43)의 중심위치는, 표시부(300)의 좌우방향의 중심선(중심축) 상에 배치되어 있다.

도 5 (a)에 나타내는 회전가이드(41)의 타원의 원호의 일부분에 소정의 폭을 가지게 한 형상은, 유저에 대하여, 표시부(300)의 좌우방향의 중심선을 회전의 중심축으로 하여 스마트폰(2)을 좌우방향으로 회동시켜 복수회의 촬영을 행하는 동작을 유도하기 위해서 유효한 형상이다. 회전의 중심축은, 표시부(300)에 표시하지 않더라도 유저가 그 위치를 파악 가능하면 된다. 도 5 (a)에 있어서는, 회전가이드(41)의 형상에 의해 회전의 중심축이 표시부(300)의 좌우방향의 중심선에 위치하는 것을 유저가 파악 가능하므로, 회전의 중심축의 표시를 행하고 있지 않다.

또, 회전가이드(41)의 외연(外緣; 바깥가장자리)을 구성하는 타원의 일부분의 각도(내각)는, 파노라마 화상으로서 생성하는 촬영의 범위(파노라마 촬상범위)에 대응한 각도로 되어 있다. 도 5 (a)에 있어서의 상기 각도는, 설정각도의 일례로서 150도로 하고 있다. 파노라마 촬상범위가 150도보다 좁아, 예컨대 90도로 설정된 경우는, 회전가이드(41)의 상기 각도는 그것에 대응하여 작게 설정된다.

또, 회전가이드(41)는, 설정한 단위 회전각도(예컨대 30도)에 기초하여 회전가이드 유닛(41a∼41e)의 5개의 영역으로 분할되어 표시되어 있다. 회전가이드(41)의 분할수, 즉 회전가이드 유닛의 수는, 지금부터 행할 촬영의 촬영매수가 5매인 것을 나타내고 있다. 또, 도 5 (a) 및 도 5 (b)에 나타내는 바와 같이 회전가이드 유닛에 해칭을 실시함으로써, 다음의 촬상방향을 나타내는 회전가이드 유닛을 유저에게 알리고 있다. 여기서, 도 5 (a)는, 1매째의 촬영(유저의 정면방향의 셀프카메라 촬영)시의 촬상대기화면을 나타내고 있기 때문에, 회전가이드 유닛(41c)에만 해칭을 실시하여, 다른 회전가이드 유닛과 식별 가능하게 표시되어 있다.

이로써, 유저는, 회전가이드(41)를 일견하기만 하면, 스마트폰(2)을 회동시켜 복수회의 촬영을 행하는 동작을 상기하고, 또, 파노라마 촬상범위, 단위 회전각도, 촬영매수, 및 다음의 촬상방향을 인식하는 것이 가능해진다.

다만, 회전가이드(41)의 형상은, 후술하는 바와 같이 도 5 (a)에 나타낸 형상에 한하는 것은 아니다. 예컨대, 사각형의 판 형상의 회전가이드 유닛을 타원 또는 원의 외주 상에 늘어놓아도 좋다. 더욱이 그 판 형상 가이드 유닛에 깊이를 가지게 하는 형상으로 해도 좋다.

또, 도 5 (a)의 각 회전가이드 유닛은 실선으로 구분되어 표시되어 있지만, 표시의 태양은 이에 한하지 않고, 서로 이웃하는 회전가이드 유닛 사이의 경계를 시인(視認)할 수 있는 태양이면 좋다.

또, 도 5 (a)에서는, 다음의 촬상방향을 나타내는 회전가이드 유닛에 해칭을 실시하였지만, 도 5 (a)에서 해칭을 실시한 영역을, 예컨대 소정의 불투명도(예컨대 50%)의 소정 색(예컨대 청색)으로 표시해도 좋다. 그렇게 함으로써, 현재화상을 시인 가능한 상태에서, 다음의 촬상방향을 나타내는 회전가이드 유닛을 일견하여 시인할 수 있다. 다만, 표시의 태양은 이에 한하지 않고, 다음의 촬상방향을 나타내는 회전가이드 유닛과 그 이외의 회전가이드 유닛을 식별 가능한 태양이면 좋다. 예컨대, 다음의 촬상방향을 나타내는 회전가이드 유닛의 바깥 틀의 표시색을 다르게 하거나, 또는, 점멸시키는 등의 태양이라도 좋다.

회전마커(42)는, 도 5 (a)에 있어서는, 회전가이드 유닛(41c)에 중첩하여 표시되어 있다. 이하, 이러한 상태를, 가이드와 마커가 일치한 상태라 칭한다. 회전마커(42)와 회전가이드 유닛(41a∼41e)에 대해서는, 도 5 (b) 및 도 6을 이용하여 후술한다.

외관 회전가이드(45)는, 스마트폰(2)의 외관 모식도이고, 스마트폰(2)의 회동동작에 대응하여 회전하도록 표시된다. 외관 회전가이드(45)에 의해, 유저는 스마트폰(2)을 회전시키는 방향을 일견하여 직관적으로 파악할 수 있다.

도 5에 있어서, 회전마커(42)는 회전가이드(41)보다 굵은 실선으로 나타내고 있는데, 표시태양은 이에 한하지 않고, 예컨대 회전마커(42)의 시인성을 향상시키기 위해서는, 회전가이드(41)와 다른 표시색으로 하면 좋다. 또, 회전마커(42)와 회전가이드(41)의 거리가 떨어져 있는 상태와 일치한 상태에서는, 회전마커(42)의 색을 변화시켜도 좋다. 또, 가이드와 마커가 일치했을 때에, 회전마커(42)를 명멸(明滅)시키는 등의 빛에 의한 알림이나 스마트폰(2)을 진동시키는 알림, 음성에 의한 알림을 행해도 좋다.

또, 회전가이드(41)를 타원이나 원의 원호의 일부분의 선(실선 또는 점선 등)으로 표시하고, 회전마커(42)를 도형, 문자, 기호 등으로 표시해도 좋다. 그때는, 각 회전가이드 유닛의 원호의 중앙에, 도형, 문자, 기호 등의 마크를 표시하고, 스마트폰(2)을 회전시켜 상기 마크와 회전마커(42)가 일치한 위치에서 촬영을 행하도록 하면 좋다.

다음으로, 도 5 (a)에 나타낸 중심가이드(43) 및 중심마커(44)에 대해 설명한다.

2매째 이후의 촬영을 위해서 스마트폰(2)을 회전시켰을 때에, 스마트폰(2)이 상하좌우로 움직여 버리는 경우를 생각할 수 있다. 예컨대, 유저가 자신의 좌측의 촬영을 마치고, 계속하여 우측의 촬영을 행하기 위해서 스마트폰(2)을 다시 유저의 정면으로 회전시켰을 때는, 스마트폰(2)을 든 팔의 피로 등에 의하여 스마트폰(2)의 위치가 1매째 촬영시의 위치로부터 상하좌우로 움직여 버려 있는 경우가 있다. 그대로의 상태로 스마트폰(2)을 회전시켜, 유저의 우측의 촬영을 행하면, 1매째의 촬영화상에 대하여 큰 어긋남이 발생한 화상이 촬영되어 버려, 결과로서 생성되는 파노라마 화상의 미관을 해쳐 버릴 가능성이 있다. 중심가이드(43) 및 중심마커(44)는 이러한 상하좌우방향으로의 어긋남을 유저에게 알려, 유저에게 스마트폰(2)의 위치의 보정을 행할 것을 촉구하는 것이다.

중심가이드(43)는, 촬상대기화면의 중심위치를 원점으로 한 원형으로 표시되어 있다. 예컨대, 유저가 1매째의 셀프카메라 화상 촬영을 행하는 경우, 도 5 (a)에 나타내는 바와 같이, 중심가이드(43)가 얼굴의 중심에 위치하도록 스마트폰(2)을 움직이면, 얼굴의 중심과 화면의 중심을 일치시킬 수 있다. 즉, 촬상대기화면의 중심위치는, 어느 위치에 조준하여 촬영을 행하면 좋은지를 나타내는 조준위치라 할 수 있다.

중심가이드(43)보다 큰 원으로 표시되어 있는 중심마커(44)는, 스마트폰(2)의 상하좌우방향으로의 움직임에 대응하여, 촬상대기화면에 표시되는 마커이다. 도 5 (a)는 1매째 촬영시의 촬상대기화면을 나타내고 있기 때문에, 중심마커(44) 및 중심가이드(43)는, 촬상대기화면의 중심위치를 원점으로 한 원으로서 표시되어 있고, 이 상태가, 어긋남이 없는 상태의 표시태양이다.

상기와 같은 상하좌우방향으로의 어긋남을 유저에게 알리기 위해서는, 예컨대, 1매째 촬영시의 촬상대기화면의 중심위치를, 중심가이드(43)로서 촬상대기화면에 계속 표시한다. 유저가 스마트폰(2)을 회전시켰을 때에 스마트폰(2)이 움직여 버린 경우는, 움직인 방향으로 중심가이드(43)에 대하여 중심마커(44)가 어긋난 상태로 표시된다.

도 5에 있어서, 중심가이드(43)는 원형으로 표시되고, 중심마커(44)는 원의 외주에 폭을 가지게 한 형상으로 표시되며, 또한, 중심가이드(43) 및 중심마커(44)는 소정의 불투명도(예컨대 50%)로 표시되어 있는데, 표시의 태양은 이에 한하는 것은 아니다. 예컨대, 중심가이드(43) 및 중심마커(44)는, 원이 아니라 정방형, 다이어몬드 형상 등의 다른 도형이나, 문자, 기호 등이라도 좋다. 또, 예컨대 중심마커(44)의 시인성을 향상시키기 위해서는, 중심가이드(43)와 다른 표시색으로 하면 좋다. 또, 중심마커(44)와 중심가이드(43)의 거리가 떨어져 있는 상태와 일치한 상태에서는, 중심마커(44)의 색을 변화시켜도 좋다. 또, 중심가이드(43)와 중심마커(44)가 일치했을 때에, 중심마커(44)를 명멸시키는 등의 빛에 의한 알림이나 스마트폰(2)을 진동시키는 알림, 음성에 의한 알림을 행해도 좋다.

1매째의 촬영이 끝나면(A35), 촬영매수는 설정한 필요 촬영매수 미만이기 때문에(A45：No), 촬상제어부(150)는, 촬영가이드 화상을 2매째의 촬영가이드 화상으로 갱신한다(A15).

도 5 (b)는, 2매째의 촬영가이드 화상에 따라서, 유저가 스마트폰(2)을 회전시키고 있는 상태를 나타내고 있다.

2매째의 촬영가이드 화상에서는, 회전가이드(41)의 다음의 촬상방향을 나타내는 회전방향의 가이드(41b 및 41d)에 해칭을 실시하고 있고, 유저는, 좌우 어느 쪽이든 임의의 방향을 선택하여, 스마트폰(2)을 회전시키면 좋다. 도 5 (b)에 있어서는, 유저는 회전가이드 유닛(41b)의 방향(좌측방향)으로 스마트폰(2)을 회전시키고, 그 회전각도에 대응하여, 회전마커(42)가 이동하고 있는 것을 나타내고 있다.

또, 도 5 (b)의 중심마커(44)는, 중심가이드(43)로부터 좌로 어긋난 위치에 표시되어 있다. 이는, 유저가 스마트폰(2)을 회전시킬 때에, 스마트폰(2)을 좌측방향으로 평행이동해 버린 것을 나타내고 있다. 유저는, 중심마커(44)의 원의 중심이 중심가이드(43)의 원의 중심과 중첩되는 위치까지, 즉 중심가이드(43)와 중심마커(44)의 위치관계가 도 5 (a)의 표시 상태와 같게 될 때까지, 스마트폰(2)을 우측방향으로 평행이동시켜, 평행방향으로의 어긋남을 보정한다. 또, 도 5 (b)에서는 좌측방향으로 어긋난 예를 나타냈지만, 상하방향으로 어긋남이 발생한 경우도 이처럼 보정하면 좋다.

또, 도 5 (a) 및 도 5 (b)의 촬상대기화면의 상부에는, 스마트폰(2)의 외관을 본뜬 외관 회전가이드(45)가 배치되어 있다. 외관 회전가이드(45)는, 회전마커(42)와 마찬가지로, 스마트폰(2)의 회전하는 방향과 각도에 대응하여 회전하도록 설정되어 있다. 유저는, 실제 스마트폰(2)의 회전의 방향과 외관 회전가이드(45)의 회전의 방향을 동시에 시인함으로써, 용이하게 다음의 촬상방향으로 스마트폰(2)을 회전시키는 것이 가능해진다.

이하, 도 6, 도 7 및 도 8을 이용하여, 도 5 (a)에서 나타낸 촬영가이드 화상 및 현재위치 마커 화상의 변형예에 대하여 설명한다. 본 발명의 실시예는 이하의 변형예에 한하는 것이 아니라, 각 청구항에 기재된 요지를 변경하지 않는 범위에서, 실시예에 관한 촬영가이드 화상 및 현재위치 마커 화상의 형상, 표시위치 및 조합은 변경 가능하다.

(회전가이드(41)의 중심위치에 중심가이드(43)를 배치)

도 6 (a)는, 회전가이드(41)를 구성하는 타원의 중심위치에, 중심가이드(43)를 표시한 예이다. 구체적으로는, 회전가이드(41)의 외연을 구성하는 타원의 중심위치에, 중심가이드(43)의 중심위치가 일치하도록 배치되어 있다. 도 6 (a)에서는, 회전가이드(41)의 단부와 타원의 중심위치를 연결하는 점선(47)을 더 표시하도록 하고 있다. 이때, 중심위치에 도형이나 기호를 더 표시하도록 해도 좋다. 회전가이드(41) 및 중심가이드(43)의 중심위치는, 도 5 (a)와 마찬가지로, 표시부(300)의 좌우방향의 중심축 상에 배치된다. 회전마커(42)와 중심마커(44)의 기능은, 도 5 (a) 및 (b)에서 설명한 것과 같다.

도 6 (a)와 같이 회전가이드(41)와 중심가이드(43)를 표시함으로써, 유저는 시선을 움직이지 않고 회전가이드(41)와 중심가이드(43)의 양쪽을 시인할 수 있다. 그로써, 스마트폰(2)의 회전과 상하좌우방향으로 위치수정을 용이하게 행하는 것이 가능해진다.

(중심마커(44)와 회전가이드(41)가 연동하여 이동)

도 6 (b)는, 중심마커(44)의 위치변동에 대응하여 회전가이드(41)의 표시위치를 변동시키는 예이다.

도 5 (b)와 같이 좌측방향으로 스마트폰(2)이 평행이동해 버린 경우, 그 위치변동에 대응하여, 중심마커(44)는 표시부(300)의 중앙에 표시된 중심가이드(43)에 대하여 좌측방향으로 어긋난다. 그때, 도 5 (b)에서는 회전마커(42)는 이동하지 않는 설정으로 되어 있다. 그에 대해 도 6 (b)에 나타낸 예에서는, 중심마커(44)의 위치변동에 대응하여, 회전가이드(41)도 좌측방향으로 이동하도록 되어 있다.

이처럼 함으로써, 유저는, 현재 스마트폰(2)의 위치가 중심위치로부터 어긋나 있는 것을 보다 파악하기 쉬워진다.

(이동조작 에러 알림：회전마커(42)가 변형)

도 7 (a)는, 스마트폰(2)이 회전동작 이외의 움직임을 한 경우에, 회전마커(42)를 변형시킴으로써, 유저에게 이동조작 에러 알림을 행하는 예이다.

스마트폰(2)이 좌측방향으로 평행이동해 버린 경우, 그 위치변동에 대응하여, 회전마커(42)가 변형되도록 설정한다. 예컨대, 도 7 (a)에 나타내는 바와 같이, 본래라면 회전가이드 유닛(41b)과 일치하는 형상이 되는 회전마커(42)가, 예컨대 사각형으로 표시되도록 설정되면 좋다. 더욱이 회전마커(42)의 색을 변화시키거나, 명멸시키는 등의 처리를 행하는 설정으로 해도 좋다.

이처럼 함으로써, 회전가이드(41) 및 회전마커(42)를 표시하는 것만으로도, 유저에 대하여, 스마트폰(2)의 이동조작 에러 알림을 행할 수 있다.

(이동조작 에러 알림：회전가이드(41)가 변형)

도 7 (b)는, 스마트폰(2)이 회전동작 이외의 움직임을 한 경우에, 회전가이드(41) 또는 회전가이드 유닛(41b)을 변형시킴으로써, 유저에게 조작 에러 알림을 행하는 예이다.

도 7 (a) 또는 도 7 (b)와 같이 회전마커(42)의 일부분 또는 회전가이드(41)(회전가이드 유닛(41b))가 사각형 형상으로 변형되어 버린 경우, 그 위치에서 스마트폰(2)을 회전시켜도, 후술하는 도 9 (c)에 나타내는 바와 같이 회전가이드 유닛(41b)에 회전마커(42)를 일치시킬 수 없는(즉, 촬상할 수 없는) 것을, 유저는 일견하여 파악할 수 있다.

(이동조작 에러 알림：회전마커(42)가 이동)

도 8 (a)는, 스마트폰(2)이 회전동작 이외의 움직임을 한 경우에, 통상이면 회전가이드(41)를 구성하는 형상 내 또는 형상에 따라서 이동하는 회전마커(42)가, 회전가이드(41)로부터 어긋난 상태로 표시됨으로써, 유저에게 이동조작 에러 알림을 행하는 예이다.

예컨대, 도 8 (a)에 나타내는 바와 같이, 스마트폰(2)이 상측방향으로 평행이동해 버린 경우, 그 위치변동에 대응하여, 회전마커(42)가 회전가이드(41)로부터 상측방향으로 어긋난 상태로 이동하도록 설정된다. 마찬가지로, 스마트폰(2)이 좌측방향으로 평행이동한 경우는, 회전마커(42)를 회전가이드(41)로부터 좌측방향으로 평행이동하여 어긋난 상태로 표시하도록 설정하면 좋다.

회전마커(42)가 회전가이드(41)로부터 어긋나 버린 경우, 그 위치에서 스마트폰(2)을 회전시켜도, 후술하는 도 9 (c)에 나타내는 바와 같이 회전가이드 유닛(41b)에 회전마커(42)를 일치시킬 수 없는(즉, 촬상할 수 없는) 것을, 유저는 일견하여 파악할 수 있다.

(중심가이드(43)의 중심과 중심마커(44)의 중심 사이를 연결)

도 8 (b)에 나타내는 바와 같이, 중심가이드(43)의 중심위치와 중심마커(44)의 중심위치 사이를 연결하는 직선(46)을 표시시키도록 해도 좋다. 이처럼 함으로써, 중심가이드(43)의 중심위치와 중심마커(44)의 중심위치를 일치시킬 필요가 있는 것을, 유저에게 명확하게 인식시킬 수 있다. 또, 직선(46)의 일단에는, 중심가이드(43)의 중심위치를 향하는 방향, 즉 유저가 스마트폰(2)의 위치의 보정을 행할 방향의 화살표를 부가하면, 보다 효과적인 알림이 된다.

또, 직선(46)의 길이(중심가이드(43)의 중심위치와 중심마커(44)의 중심위치 사이의 거리)에 대응하여, 직선(46)의 선폭 및 선의 색을 변화시키도록 해도 좋다. 그 경우는, 예컨대 직선(46)의 길이가 짧아질수록 선 폭을 굵게 하거나, 직선(46)의 길이가 길어지면 선의 색이 청에서 적으로 변화하는 등의 설정으로 하면 좋다.

또, 유저가 스마트폰(2)의 위치를 보정하여 중심가이드(43)의 중심과 중심마커(44)의 중심이 일치한 경우, 및, 회전가이드 유닛과 회전마커가 일치한 경우에는, 그들 가이드 또는 마커의 일부분 또는 전부의 표시색을 변화시키거나, 또는 명멸시킴으로써, 유저에게 알림을 행하도록 해도 좋다.

이상 설명한 예에서는, 가이드 및 마커를 나타내는 도형, 기호, 문자 등을 사용하여, 그 움직임이나 색의 변화 등으로 유저에게 알림을 행한다고 했지만, 표시부(300) 상에 수치정보를 표시함으로써, 유저에게 알림을 행하여, 적절한 촬영을 행하기 위해 필요한 동작을 유도하도록 해도 좋다.

예컨대, 도 5 (b)에 나타내는 바와 같이, 스마트폰(2)이 좌측방향으로 평행이동해 버린 경우에는, 스마트폰(2) 위치의 수정에 필요한 거리, 예컨대 현재위치로부터 10센티미터 우측으로 움직이기까지의 거리를 수치정보로서 표시부(300)에 리얼타임 표시한다. 유저는, 0센티미터를 목표치로 해서 리얼타임 표시되고 있는 수치정보를 참조하면서 스마트폰(2)을 우측으로 평행이동시킴으로써, 스마트폰(2)의 위치변동을 수정할 수 있다.

마찬가지로, 스마트폰(2)의 회전동작을 행할 때에는, 회전방향과 단위 회전각도(예컨대 좌측으로 30도)를 수치정보로서 표시부(300) 상에 표시하고, 동시에 현재위치로부터 30도 회전하기까지의 회전각도를 수치정보로서 리얼타임 표시한다. 유저는, 30도를 목표치로 해서 리얼타임 표시되고 있는 수치정보를 참조하면서 스마트폰(2)을 회전시킴으로써, 촬영에 적절한 회전각도까지 스마트폰(2)을 회전시킬 수 있다.

또, 이상 설명한 예에서는, 알림에 따라 유저가 스마트폰(2)의 위치를 수정하고, 다음 촬영을 계속하는 것을 전제로 하여 설명했지만, 어긋남 양이 큰 경우는, 위치의 수정을 행하지 않고 일단 촬영을 중단하는 것이 효율적인 경우가 있다. 그것을 실행하기 위해서는, 움직임센서(760)를 통하여 어긋남 양이 소정치보다 큰 것을 검출한 촬상제어부(150)가, 촬영모드를 중단하는 스텝을 A25와 A30의 사이에 마련하고, 촬영이 중단된 다음은 A15로 되돌아가, 1매째의 촬영가이드 설정처리 또는 상기 촬영가이드의 설정처리로 되돌아가도록 하면 좋다. 더욱이 그 취지의 텍스트 메세지를 표시부(300)에 표시하여 유저에게 알림을 행하도록 하면 좋다.

도 9는, 1매째부터 4매째까지의 촬영이 행해지는 동안의, 표시부(300)에 촬상대기화면으로서 표시되는 회전가이드(41) 및 회전마커(42)의 표시의 변화의 예를 나타낸 것이다.

도 9 (a) 및 도 9 (b)는, 도 5 (a) 및 도 5 (b)의 회전가이드(41) 및 회전마커(42)와 동일하기 때문에 설명을 생략한다.

도 9 (c)에서는, 도 9 (a)와 마찬가지로, 회전가이드 유닛(41b)과 회전마커(42)가 일치한 상태로 되어 있다. 즉, 유저에 의하여 스마트폰(2)이 2매째의 촬영위치까지 회전된 것을 나타내고 있다. 유저에 대해서는, 2매째의 촬영조작을 촉구하는 알림이 표시된다(A30).

2매째의 촬영이 종료된 후, 1매째의 촬영종료 후와 마찬가지로, 촬영가이드 화상이 다음의 3매째의 촬영가이드 화상으로 갱신된다. 즉, 회전가이드 유닛(41b)에 실시되어 있던 해칭이 지워지고, 대신에 회전가이드 유닛(41a)에 해칭이 실시된 상태가 된다. 도 9 (d)는, 3매째의 촬영가이드 화상의 표시에 따라서, 유저가 스마트폰(2)의 각도를 바꿔서, 회전가이드 유닛(41a)과 회전마커(42)가 일치한 상태를 나타내고 있다. 이 상태에서, 3매째의 촬영이 행해진다.

도 9 (e)는, 마찬가지로 4매째의 촬영가이드 화상의 표시에 따라서, 유저가 스마트폰(2)의 각도를 바꿔서, 회전가이드 유닛(41d)과 회전마커(42)가 일치한 상태를 나타내고 있다. 이 상태에서, 4매째의 촬영이 행해진다.

계속하여, 도시하지 않은 5매째의 촬영가이드 화상에서는, 남은 회전가이드 유닛(41e)에만 해칭을 실시하고 있다. 유저는, 5매째의 촬영가이드 화상의 표시에 따라서, 회전가이드 유닛(41e)과 회전마커(42)가 일치할 때까지 스마트폰(2)의 각도를 바꾸어, 5매째의 촬영이 행해진다.

도 10은, 회전가이드의 다른 표시태양의 예를 나타내는 도이다.

도 5∼도 9에 있어서는, 촬영 차례를 나타내기 위해서, 다음의 촬영각도를 나타내는 회전가이드 유닛에 해칭을 실시하였다. 도 10 (a) 및 (b)는, 촬영 차례를 숫자로 표시하는 예이다. 우선, 유저는, 도 10 (a)에 나타내는 「1」로 표시된 회전가이드 유닛(41c)의 위치에서 1매째의 촬영을 행한다. 계속하여, 표시되어 있는 숫자의 차례에 따라서, 회전가이드 유닛(41b, 41a, 41d, 41e)의 위치에서 촬영을 행한다. 다만, 숫자의 표시는, 도 10 (b)에 나타내는 바와 같이, 각 회전가이드 유닛 위치에서의 촬영종료 후에 비(非)표시가 되도록 설정해도 좋다. 또, 촬영 차례를 나타내는 숫자와 해칭처리를 조합하여 표시하도록 해도 좋다.

(상하방향 가이드 촬영모드)

이상 설명한 실시예에서는, 스마트폰(2)을 표시부(300)의 좌우방향의 중심선을 회전의 중심축으로 하여 스마트폰(2)을 회전시켜 복수회의 촬영을 행하여, 좌우방향으로 광각인 범위의 파노라마 합성화상을 얻는 경우에 대해 설명했지만, 본 발명의 가이드 기능은, 표시부(300)의 상하방향의 중심선을 회전의 중심축으로 하여 스마트폰(2)을 상하방향으로 회전시켜 복수회의 촬영을 행하여, 상하방향으로 광각인 범위의 파노라마 합성화상을 얻는 경우에 대해서도 유효하다.

그것을 실행하기 위해서는, 카메라모드 처리개시 후에, 상하방향 가이드 촬영모드를 선택하는 스텝을 마련하면 좋다. 또한, 상하방향 가이드 촬영모드가 선택된 경우에는, 셀프카메라 가이드 촬영 설정, 가이드 표시 및 가이드 갱신(A15)을 대신하여, 상하방향 가이드 촬영 설정, 가이드 표시 및 가이드 갱신을 행하는 스텝을 마련하면 좋다.

그때, 유저에 대한 가이드로서는, 회전의 중심축선과, 상하방향으로 긴 사각형의 회전가이드와, 회전가이드를 단위 회전각도에 의하여 예컨대 3개로 분할한 회전가이드 유닛과, 회전가이드 유닛의 형상에 대응한 회전마커를 표시한다. 상하방향으로 긴 회전가이드의 중심은, 회전의 중심축선 상에 배치된다. 즉, 상하방향으로 긴 회전가이드의 중심을, 수평방향으로 회전의 중심축선이 횡단하는 형태가 된다. 회전가이드는, 예컨대, 상측바닥이 하측바닥보다 짧은 사다리꼴이나 삼각형으로 해도 좋고, 그것을 단위 회전각도로 분할한 것을 각 회전가이드 유닛으로 하면 좋다. 또, 중심가이드 및 중심마커를 동시에 표시해도 좋다.

(진원형(眞圓型)의 회전가이드)

이상 설명한 예에서는, 회전가이드(41)로서 타원의 원호의 일부분에 소정의 폭을 가지게 한 형상을 나타냈지만, 회전가이드(41)의 형상은 이에 한정되는 것이 아니라, 도 11 (a)에 나타내는 바와 같이 진원의 원호의 일부분에 소정의 폭을 가지게 한 형상으로 해도 좋다. 도 11 (a)에는, 회전가이드(41)와 함께, 도 6 (a)와 같은 위치에, 중심가이드(43) 및 중심마커(44)를 표시한 예를 나타내고 있다.

(타원 또는 원의 부분형상형의 회전가이드)

이상 설명한 예에서는, 회전가이드(41)의 형상을, 도 5∼도 10 및 도 11 (a)와 같이 타원 또는 원의 원호의 일부분에 소정의 폭을 가지게 한 형상(타원 또는 원의 중심점으로부터 소정의 거리까지의 내주부를 제거한 형상)으로 했지만, 타원 또는 원을 그 중심점으로부터 외주를 향하는 방향으로 분할한 형상으로 해도 좋다. 이 경우, 회전가이드 유닛은, 소정의 각도(예컨대 150도)의 내각을 가지는 타원 또는 원의 부분형상이 되고, 각 회전가이드 유닛은, 단위 회전각도(예컨대 30도)의 내각을 가지는 타원 또는 원의 부분형상이 된다.

또는, 회전가이드 유닛의 외주를 타원 또는 원의 원호가 아닌 직선 형상으로 해도 좋다. 그때, 더욱이 회전가이드의 중심점으로부터 소정의 거리까지의 내주부를 제거하지 않는 경우는, 각 회전가이드 유닛은, 단위 회전각도(예컨대 30도)의 내각을 가지는 삼각형의 형상이 된다.

(가이드의 조합： 회전가이드의 중심위치에 외관 회전가이드)

또, 복수 종류의 가이드 표시의 조합은, 회전가이드(41)와 중심가이드(43)의 조합에 한정하는 것이 아니다. 예컨대, 도 11 (b)에 나타내는 바와 같이, 회전가이드(41)와 외관 회전가이드(45)를 조합해도 좋다. 도 11 (b)에서는, 타원의 원호의 일부분에 소정의 폭을 가지게 한 형상의 회전가이드(41)의 원호의 중심위치에, 회전의 중심축(48) 및 외관 회전가이드(45)를 배치하고 있다.

도 11 (b)와 같이 함으로써, 유저는, 시선을 움직이지 않고, 회전가이드(41) 및 외관 회전가이드(45)의 양쪽을 시인할 수 있다. 또, 회전의 중심축(48)을 맞추어 표시함으로써, 회전의 중심축이 스마트폰(2) 상에 있는 것을, 유저에게 명확히 의식시킬 수 있다.

(스크린형의 회전가이드)

또는, 도 11 (c)에 나타내는 바와 같이, 회전가이드(41)의 형상을, 복수의 사각형의 회전가이드 유닛을 수평방향으로 늘어놓고, 중앙의 회전가이드 유닛(41c)의 좌우의 회전가이드 유닛(이 경우는 회전가이드 유닛(41b 및 41d))에 기울기를 부여한 형상으로 해도 좋다. 또한 회전의 중심축(48)을, 회전가이드 유닛(41c)의 좌우방향의 중심선 상에 표시해도 좋다. 회전가이드 유닛을 이처럼 사각형의 형상(스크린 형상)으로 해서 복수 배치함으로써, 회전가이드 유닛의 기울기의 방향 및 기울기의 정도가 면으로 표시되기 때문에, 실제 스마트폰(2)의 기울기의 방향 및 기울기의 정도와 비교하기 쉬워진다고 하는 이점이 있다.

(원기둥, 다각형형의 회전가이드)

또는, 도 11 (d)에 나타내는 바와 같이, 회전가이드(41)의 형상을, 원기둥 형상으로 해도 좋다. 이 경우, 회전가이드 유닛(41a∼e)은, 원기둥의 측면을 단위 회전각도(예컨대 30도)에 기초하여 수직방향으로 분할한 형상이 된다. 또, 도 11 (d)에 나타내는 바와 같이, 원기둥의 상면 및 하면의 중심점을 연결하는 직선을 회전의 중심축(48)으로서 표시하고, 또한 회전의 중심축(48) 상에 외관 회전가이드(45)를 표시하도록 해도 좋다. 또, 원기둥은 다각기둥이더라도 좋고, 그 경우, 회전가이드 유닛(41a∼e)은, 다각기둥의 측면을 구성하는 사각형 형상이 된다.

(가이드의 표시위치)

또, 표시부(300) 내의 촬영가이드의 표시위치에 대해서는, 이하와 같이 구성해도 좋다. 다만, 설명을 간략화하기 위해 이하의 구성예에서는 회전가이드(41) 및 회전마커(42)를 이용하여 설명하지만, 본 발명은 이에 한정되는 것은 아닌 것은 분명하다.

(화면 중앙 또는 얼굴영역의 중심에 표시)

도 12 (a)는, 표시부(300)의 중심위치에, 회전가이드(41)를 표시시킨 상태를 나타내고 있다. 도 12 (a)에 있어서는, 표시부(300)의 중심위치에 회전가이드(41)의 중앙에 위치하는 회전가이드 유닛(41c)의 중심위치를 일치시켜 표시하고 있지만, 표시부(300)의 중심위치에 회전가이드(41)의 외연을 구성하는 타원의 중심위치를 일치시켜 표시해도 좋다.

또는, 얼굴영역 검출을 실행하고, 그 결과 표시되는 사각형 영역인 얼굴영역(49)의 중심위치에, 회전가이드 유닛(41c)의 중심위치 또는 회전가이드(41)의 외연을 구성하는 타원의 중심위치가 일치하도록, 회전가이드(41)를 표시시켜도 좋다.

여기서, 얼굴영역 검출이란, 인물의 얼굴을 검출하는 물체검출처리의 일례이며, Viola-Jones법이나 Haar-like 특징량을 이용한 얼굴영역 검출법 등의 공지의 수법을 이용한다. 얼굴영역 검출을 실행하기 위해서는, 셀프카메라 가이드 촬영모드 판정(A10；Yes)과 셀프카메라 가이드 촬영 설정(A15)의 사이에, 얼굴영역 검출처리의 스텝을 새로이 마련하면 좋다. 또, 설명을 간략화하기 위해서 검출된 얼굴영역은 사각형으로서 설명하지만, 얼굴영역의 형상은 사각형으로 한하는 것은 아니고, 정방형, 원 또는 타원 등이라도 좋은 것은 분명하다.

이처럼 함으로써, 촬영자인 유저는 시선을 움직이지 않고, 회전가이드(41) 및 촬영대상(이 경우는 유저(40)의 얼굴)의 양쪽을 시인할 수 있다.

(얼굴영역 이외에 표시)

또는, 도 12 (b)에 나타내는 바와 같이, 얼굴영역(49) 이외의 위치에 회전가이드(41) 및 회전마커(42)를 표시하도록 해도 좋다. 여기서, 도 12 (b)에 있어서는 얼굴영역(49) 이외이고, 또, 표시부(300)의 상부에 회전가이드(41) 및 회전마커(42)를 표시하고 있지만, 얼굴영역(49)의 표시영역 이외이고, 또, 표시부(300)의 하부에 표시해도 좋다. 이처럼 함으로써, 얼굴영역(49)과 회전가이드(41) 및 회전마커(42)가 중첩되지 않고 떨어져 표시되기 때문에, 피사체의 상태(이 경우는 유저 자신의 표정 등)를 시인하기 쉬워진다고 하는 이점이 있다.

또한, 얼굴영역(49)과 중첩되지 않는 범위 내이고, 또, 얼굴영역(49)에 가능한 한 가까운 위치에 회전가이드(41) 및 회전마커(42)를 표시하도록 해도 좋다. 즉, 도 12 (b)에 나타낸 회전가이드(41)를, 얼굴영역(49)의 사각형의 범위에, 보다 접근한 위치로 이동시킨다. 이처럼 함으로써, 유저는 시선을 움직이지 않고 피사체 상태와 회전가이드(41)의 양쪽을 시인할 수 있다.

(인 카메라의 근처에 표시)

또, 도 13 (a)에 나타내는 바와 같이, 스마트폰(2)의 인 카메라(62)에 가까운 위치에 회전가이드(41) 및 회전마커(42)를 표시하도록 해도 좋다. 인 카메라(62)와 회전가이드(41) 및 회전마커(42)의 위치가 떨어져 있는 경우, 촬영시에 유저의 시선이 인 카메라(62)가 아닌 회전가이드(41) 및 회전마커(42)로 향해져 버림으로써, 유저의 시선이 인 카메라(62)보다 하측방향으로 어긋난 상태에서 촬영되어 버리는 것이 상정된다. 이에 대하여, 도 13 (a)와 같이 회전가이드(41) 및 회전마커(42)를 인 카메라(62)에 가까운 위치에 표시함으로써, 유저의 시선이 인 카메라(62)에 보다 가깝게 향해진 상태로 촬영을 행할 수 있다. 또, 유저는 시선을 인 카메라(62)에 가까운 위치로 유지한 상태로, 회전가이드(41) 및 회전마커(42)를 시인하면서 스마트폰(2)을 회전시켜 촬영을 행할 수 있기 때문에, 조작성이 향상된다.

(복수의 얼굴영역 검출： 선택한 얼굴영역 또는 얼굴영역 이외에 표시, 파노라마 촬상범위의 설정)

또, 그룹촬영과 같이, 촬영자인 유저 이외의 복수의 인물의 얼굴이 표시부(300)에 비치는 경우가 있다. 이러한 경우는, 복수의 얼굴영역 중, 선택된 어느 하나의 얼굴영역의 중심위치에, 회전가이드 유닛(41c)의 중심위치 또는 회전가이드(41)의 외연을 구성하는 타원의 중심위치가 일치되도록, 회전가이드(41)를 표시시키도록 설정한다. 얼굴영역의 선택은, 유저에 의한 탭, 더블 탭 또는 길게 누름 등의 조작에 의하여 행하도록 한다. 또는, 소정의 조건에서 자동적으로 얼굴영역의 선택을 하도록 해도 좋다. 예컨대, 복수의 얼굴영역으로부터 촬영자인 유저 자신의 얼굴영역을 자동적으로 선택하기 위해서는, 유저 자신의 얼굴영역일 가능성이 높은 영역으로서, 가장 큰 면적을 가지는 얼굴영역 또는 가장 표시부(300)의 중앙에 가까운 얼굴영역을 자동적으로 선택하는 설정으로 하면 좋다.

또는, 도 13 (b)에 나타내는 바와 같이, 검출된 복수의 얼굴영역 이외의 영역에, 회전가이드(41)를 표시하도록 해도 좋다. 도 13 (b)에 있어서는, 검출된 복수의 얼굴영역(50a, 50b 및 50c) 이외의 영역이고, 또, 얼굴영역(50b) 근방에 회전가이드(41)를 표시하고 있다.

도 5 (a)의 설명에서는, 회전가이드(41)의 중심위치는, 표시부(300)의 좌우방향의 중심축 상에 배치되고, 그 중심축을 기준으로 해서 파노라마 촬상범위(예컨대 150도)가 설정된다고 했지만, 상기와 같이 복수의 얼굴영역이 존재하는 경우에는, 이하와 같은 설정을 마련해도 좋다.

즉, 상기와 같이 복수의 얼굴영역으로부터 하나의 얼굴영역을 선택한 후, 그 얼굴영역의 좌우방향의 중심축을 기준으로 하여 파노라마 촬상범위(예컨대 150도)를 설정한다. 그때, 파노라마 촬상범위의 중심이 변경된 것을, 문자나 화살표 등의 기호로 알리도록 설정하면 적합하다. 또, 선택된 얼굴영역에 대해서는, 그 외의 얼굴영역과 식별하기 위해서, 얼굴영역 테두리의 색을 변화시키거나, 명멸시키는 등의 처리를 행하면 효과적이다.

이처럼 함으로써, 복수 인물의 얼굴이 표시부(300)에 비치는 경우에 있어서, 선택된 얼굴영역을 중심으로 한 파노라마 촬상범위를 설정하는 것이 가능해진다. 가이드의 표시위치만을 선택된 얼굴영역 또는 얼굴영역 이외로 설정하거나, 그와 동시에 파노라마 촬상범위의 중심을 변경할지에 대해서는, 예컨대 표시부(300)에 메뉴를 표시하고, 유저에게 선택시키도록 하면 좋다.

(유저 조작에 의한 가이드 표시위치의 변경)

또, 유저에 의한 탭, 더블 탭 또는 길게 누름 등의 조작에 의하여 표시된 회전가이드(41)를 선택하고, 드래그 조작에 의하여 회전가이드(41)를 표시부(300) 내의 소망하는 위치로 이동할 수 있도록 설정해도 좋다. 또, 탭, 더블 탭 또는 길게 누름 등의 조작에 의하여 표시된 회전가이드(41)를 선택하고, 핀치 조작에 의하여 회전가이드(41)의 크기를 변경할 수 있도록 해도 좋다.

또, 회전가이드(41)의 크기를, 표시부(300) 내의 회전가이드(41)의 표시위치 및 표시 가능한 영역의 크기에 대응하여 변화시키도록 해도 좋다. 예컨대, 도 13 (b)에 나타내는 바와 같이 얼굴영역 이외의 위치에 촬영가이드를 표시시킬 때에, 얼굴영역 이외의 영역이 좁은(표시부(300)에 있어서의 촬영가이드의 표시 가능한 영역이 좁은) 경우가 있다. 그러한 경우는, 촬영가이드 크기를 표시 가능한 영역의 크기에 대응하여 축소하도록 설정해도 좋다.

(가이드의 우선 표시)

또, 스마트폰(2)이 촬영위치에 없는 상태에 있어서는, 피사체보다 가이드 표시를 우선하여 표시하도록 설정해도 좋다. 예컨대, 스마트폰(2)이 다음 촬영위치(예컨대 단위 회전각도 30도)까지 회전하고 있지 않는 동안은, 가이드 표시와 피사체를 포함하는 인 카메라(62)에 비치는 광경의 휘도에 차를 마련하여, 가이드 표시의 휘도를 인 카메라(62)에 비치는 광경의 휘도보다 높은 상태로 한다. 또는, 인 카메라(62)에 비치는 광경의 휘도를 가이드 표시의 휘도보다 낮은 상태로 한다. 가이드 표시의 우선 표시의 해제는, 스마트폰(2)이 촬영위치까지 회전했을 때, 또는 촬영위치에 소정 범위까지 가까워졌을 때에 행하도록 하면 좋다. 또, 촬영위치에 가까워짐에 따라 서서히 휘도의 차를 작게 하고, 촬영위치까지 회전했을 때에 휘도의 차를 없애서 우선 표시의 해제를 하도록 해도 좋다. 또, 우선 표시의 태양은 휘도의 차에 한하지 않고, 유저가 표시화면을 보았을 때의 시인성에 차가 생기는 것이면 좋으며, 예컨대 명도의 차이나, 휘도와 명도의 조합의 차이를 이용해도 좋다.

(사각형의 회전가이드와 중심축을 표시)

도 14는, 사각형의 회전가이드 및 스마트폰(2)을 중심으로 한 회전의 중심축을 표시한 가이드 표시의 일례이다. 도 14 (a)는, 유저가 스마트폰(2)의 인 카메라(62)를 유저의 방향을 향하여 셀프카메라를 행한 상태를 나타내고 있다. 도 14 (a)에는, 표시부(300)의 좌우방향의 중심위치에 회전의 중심축(48)을 나타내는 직선이 표시되어 있다. 또한, 유저에게 회전동작을 의식시키기 위해서, 중심축(48)의 주위에 원호 형상으로 화살표가 있는 실선을 표시하고 있다.

표시부(300)의 상단에, 도 14 (a)에 나타내는 수평방향으로 긴 사각형 형상의 회전가이드 유닛(41a∼e)으로 구성되는 회전가이드(41) 및 회전마커(42)를 표시하고 있다. 도 14 (b)는, 스마트폰(2)을 회전가이드 유닛(41b)의 방향으로 회전시키고 있는 도중의 상태를 나타내고 있다. 도 14 (c)는, 스마트폰(2)이 회전가이드 유닛(41b)의 위치까지 회전한 상태를 나타내고 있다.

다만, 중심축(48) 상에 또한 도 11 (b)와 같은 외관 회전가이드(45) 및 회전방향을 나타내는 화살표를 더 표시하면 적합하다. 또, 중심가이드(43) 및 중심마커(44)를, 회전의 중심축상의 임의의 위치에 표시하도록 해도 좋다.

또, 중심축(48)은, 도 14에 나타내는 바와 같이 스마트폰(2)의 표시부(300)의 수직방향 전체에 표시할 필요는 없고, 상부의 소정 범위에만 표시하도록 해도 좋다. 또는, 중심축(48) 및 원호 형상의 화살표가 있는 실선을, 회전가이드(41) 내, 예컨대 회전가이드 유닛(41c) 내부에 표시하도록 해도 좋다. 또, 회전방향을 나타내는 원호 형상의 화살표가 있는 실선은, 원호 형상이 아니라 직선이라도 좋다.

이처럼 함으로써, 회전동작을 행하여 촬영을 행하는 것을 유저에게 명확하게 이해시킬 수 있다.

(사각형의 회전가이드, 촬상범위 마커, 촬상화상의 표시)

이상 설명한 예에 있어서는, 회전가이드(41) 및 회전마커(42)를 조합한 가이드 표시에 대하여 설명했지만, 회전가이드(41)에 촬상범위를 나타내는 촬상범위 마커(46) 및 촬상한 화상의 축소화상(47)을 표시하도록 해도 좋다. 이하, 이 경우의 가이드 표시의 일례를 도 15를 이용하여 설명한다.

도 15 (a)는, 1매째의 촬영(유저의 정면방향의 셀프카메라 촬영)시의 촬상대기화면을 나타내고 있다. 도 15 (a)에는, 표시부(300)의 상부우측 상에, 수직방향으로 긴 회전가이드 유닛(41b∼d)으로 구성되는 회전가이드(41) 및 촬상범위 마커(46)를 표시하고 있다. 촬상범위 마커(46)는 회전가이드(41)의 중앙에 위치하는 회전가이드 유닛(41c)에 중첩되어 표시되어 있고, 촬상범위 마커(46) 및 회전가이드 유닛(41c)의 위치에는, 회전가이드 유닛(41c)의 위치에서 촬상된 1매째의 화상(유저의 정면방향의 셀프카메라 화상)의 축소화상(47)을 표시하고 있다. 또한, 회전가이드(41) 하측에, 도 11 (b)와 같은 외관 회전가이드(45)를 표시하고 있다.

촬상범위 마커(46)는, 현재의 스마트폰(2)의 인 카메라(62)의 촬상범위 및 회전상태를 나타내는 마커이다. 촬상범위 마커(46)는, 촬상회전각도에 대응하여, 회전가이드(41)에 있어서 좌우로 이동한다. 또, 촬상범위 마커(46)의 형상은, 유저가 스마트폰(2)을 회전시키고 있는 도중은 스마트폰(2)의 회전방향 및 회전각도에 대응하여 사각형으로부터 사다리꼴로 변형하고, 다음 촬상회전각도까지 스마트폰(2)이 회전했을 때에는, 다시 사각형으로 되돌아오도록 설정한다.

회전가이드 유닛(41c)의 수직방향과 수평방향의 사이즈 비(比)는, 촬상화상의 수직방향과 수평방향 사이즈 비에 대응하고, 바람직하게는 동일 사이즈 비로 설정한다. 회전가이드 유닛(41c)의 좌우에 위치하는 회전가이드 유닛(41b 및 41d)의 수평방향의 사이즈는, 회전가이드 유닛(41c)과 동일하게 해도 좋고, 도 15에 나타내는 바와 같이, 회전가이드 유닛(41c)에 비하여 짧게 설정해도 좋다.

외관 회전가이드(45)에는, 다음의 회전방향을 나타내는 원호 형상의 화살표가 있는 실선을 표시한다. 다만, 다음의 회전방향을 나타내는 화살표가 있는 실선은, 회전가이드(41) 내에 표시하도록 해도 좋다. 또, 원호 형상이 아니고 직선 형상이라도 좋다.

또한, 좌측 또는 우측방향으로의 회전을 촉구하는 텍스트 메세지를 표시부(300)에 표시하도록 하면 적합하다. 또, 도 5 (b)와 마찬가지로, 회전가이드 유닛(41c)의 위치에서의 촬영 후에 회전가이드 유닛(41b 및 41d)에 해칭을 실시함으로써, 다음의 촬상방향을 유저에게 알리도록 해도 좋다.

도 15 (b)는, 유저가 회전가이드 유닛(41b)의 위치에서 2매째의 촬영을 행하기 위해서 스마트폰(2)을 회전시키고 있는 도중의 촬상대기화면을 나타내고 있다. 촬상범위 마커(46)의 형상은, 스마트폰(2)의 회전방향 및 회전각도에 대응하여 사각형으로부터 사다리꼴로 변형하여 표시되어 있다. 또, 외관 회전가이드(45)는 스마트폰(2)의 회전방향 및 회전각도에 대응한 기울기로 표시되고, 또한 현재의 회전방향을 나타내는 화살표(이 경우는 좌측방향의 화살표)로 붙어 있다. 다만, 다음의 촬상회전각도에 이르기까지의 동안, 회전을 계속하도록 촉구하는 텍스트 메세지를 표시부(300)에 표시하도록 하면 적합하다.

계속하여, 도 15 (c)는, 2매째의 촬영시의 촬상대기화면을 나타내고 있다. 촬상범위 마커(46)의 형상은 사다리꼴에서 사각형으로 되돌아가고, 스마트폰(2)의 회전방향 및 회전각도에 대응하여 좌측방향으로 이동하여 표시되어 있다. 또한, 촬상범위 마커(46)의 위치에, 2매째의 촬영시의 화상(회전가이드 유닛(41b)의 위치에서 촬상된 화상)의 축소화상(47)을 표시하고 있다. 이처럼, 촬상한 화상의 축소화상(47)을 회전가이드(41) 내에 표시함으로써, 유저는 회전가이드(41)로부터 시선을 움직이지 않고, 촬상범위 사이의 중복상태를 시인하면서, 파노라마 촬영을 행할 수 있다.

도 15(c)의 외관 회전가이드(45)에는, 다음의 회전방향을 나타내는 화살표(이 경우는 우측방향의 화살표)를 표시하고 있다. 또한, 반대방향으로의 회전을 촉구하는 텍스트 메세지를 표시부(300)에 표시하도록 하면 적합하다. 또, 도 9 (d)와 마찬가지로, 2매째 촬영 후에 회전가이드 유닛(41d)에 해칭을 실시함으로써, 다음의 촬상방향을 유저에게 알리도록 해도 좋다.

다만, 회전가이드(41)의 표시위치는 표시부(300)의 상부우측 상에 한하는 것은 아니고, 표시부(300) 내의 임의의 위치, 예컨대 상부중앙, 상부좌측 상이라도 좋다. 또, 중심가이드(43) 및 중심마커(44)를, 표시부(300)의 중심위치에 표시하도록 해도 좋다.

(유저를 기준으로 한 촬상각도)

이상 설명한 예에 있어서의 회전가이드(41) 및 회전마커(42)는, 스마트폰(2)을 기준으로 하여, 유저로부터 본 스마트폰(2)의 방향(회전의 방향과 회전 정도)을 나타내고 있다. 또, 촬상대기화면에 표시되는 화상은 경상(鏡像, 거울상)으로 되어 있다. 이에 대해, 유저를 기준으로 하여, 스마트폰(2)의 방향에 따라 변화하는 촬영대상으로 되는 내용을 회전가이드에 반영시키도록 해도 좋다. 이하, 이 경우의 회전가이드의 일례를 도 16을 이용하여 설명한다.

도 16 (a)는, 1매째의 화상 촬영시 상태를 나타내고 있다. 마커(51)는, 사각형의 외주의 일부분에 폭을 가지게 한 형상으로 표시되고, 그 중심위치는 표시부(300)의 중심위치에 고정되어 있다. 회전가이드(41')는, 사각형의 회전가이드 유닛(41a'∼41e')으로 구성되며, 그 전체가 스마트폰(2)의 회전에 대응하여 횡방향으로 이동한다. 도 16 (a)는, 회전가이드 유닛(41a'∼41e')의 중앙에 위치하는 회전가이드 유닛(41c')에 촬영위치인 것을 나타내는 해칭이 실시된 상태이다. 또한, 다음의 촬영방향(이 경우는 회전가이드 유닛(41b'))을 나타내는 화살표(52)를 표시해도 좋다. 회전가이드 유닛은, 도 5∼10의 예와는 반대로, 단부에 위치하는 회전가이드 유닛(41a' 및 41e')이 표시화면의 바로 앞쪽에 줄서도록 표시되어 있다. 또, 촬상대기화면에 표시되는 화상은, 도 5∼14의 예와는 좌우가 반전한 화상으로 되어 있다.

1매째의 촬영종료 후, 유저는, 마커(51)의 범위 내에 회전가이드 유닛(41b')이 들도록, 스마트폰(2)을 회전시킨다. 스마트폰(2)의 회전에 대응하여, 회전가이드(41')는 횡방향(이 경우는 우측방향)으로 이동한다. 회전가이드 유닛(41b')에는, 회전가이드 유닛(41b')이 나타내는 촬영위치까지 스마트폰(2)이 회전했을 때에 촬영대상이 되는 내용(인 카메라(62)에 비치는 광경)이 미리 표시되어 있고, 유저는, 스마트폰(2)의 회전조작 중에 회전가이드 유닛(41b')에 표시되어 있는 내용을 시인함으로써, 미리 다음에 어떤 화상을 촬영할지를 파악할 수 있다.

도 16 (b)는, 2매째의 화상 촬영시의 상태이다. 유저가 스마트폰(2)을 회전시켜서, 회전가이드 유닛(41b')과 마커(51)의 범위 내로 든 상태에서, 2매째의 촬영이 행해진다. 3매째 이후의 촬영도 마찬가지이다. 또, 도 16 (c)는, 도 16 (a)의 회전가이드(41')의 상부와 하부의 외연을, 타원의 외연의 부분형상으로 한 변형예이다.

이처럼 함으로써, 도 5∼14에 나타낸 회전가이드의 표시태양보다, 피사체의 주위를 스마트폰이 회전시키는 형태로 촬영할지와 같은 오인은 발생되기 어려워진다. 또, 어떤 화상을 촬영하는지를 미리 유저에게 제시한 형태로 촬영을 행할 수 있다.

또, 도 16의 예에서는, 도 5∼도 14의 예로 설명한 현재위치 마커는 표시되어 있지 않다. 이는, 상술한 바와 같이 도 16에 있어서 촬상대기화면에 표시되는 화상은, 도 5∼14의 예에 대하여 좌우가 반전된 화상이기 때문이다. 구체적으로는, 도 16에 현재위치 마커를 더 표시하여 스마트폰(2)의 좌우방향의 위치를 수정하고자 했을 경우, 현재위치 마커의 움직임과 실제 스마트폰(2)의 움직이는 방향이 반대로 되어, 유저가 혼란스러울 가능성이 있기 때문이다. 따라서, 현재위치 마커 화상의 표시는 생략하거나, 또는 현재위치 마커 화상의 대체로서 스마트폰(2)의 위치수정에 필요한 정보를, 수정방향을 나타내는 화살표와 같은 도형정보, "RIGHT", "LEFT" 등의 문자정보, 및 위치수정에 필요한 거리를 나타내는 수치정보 등으로 표시하는 것이 바람직하다.

또, 스마트폰(2)의 회전에 있어 상하방향의 어긋남이 있었을 경우는, 가이드(51)에 대하여 회전가이드(41')가 어긋나 표시되도록 설정해도 좋다. 또, 평행방향으로의 어긋남이 있었을 경우는, 회전가이드(41') 전체 또는 해당하는 회전가이드 유닛의 사각형 표시를 변화시키도록(예컨대 사다리꼴 형상으로 변형되도록) 설정해도 좋다.

이상, 촬영가이드의 표시태양의 예, 및 표시위치의 예에 대하여 설명했지만, 사용할 촬영가이드의 종류, 조합 및 표시위치는, 예컨대 표시부(300)에 메뉴를 표시하고, 유저에게 선택시키도록 하면 좋다.

또, 상기의 설명에서는, 1매째의 촬영화상을 중심으로 해서, 좌우 균등하게 스마트폰(2)을 회전시키는 예에 대하여 설명했지만, 본 실시예의 형태는 이에 한하는 것은 아니다. 예컨대, 2매째 이후의 촬영을 유저의 좌측 또는 우측만 행할 것을 선택할 수 있는 스텝을 마련하여, 파노라마 촬상범위를 설정하도록 해도 좋다. 그리고, 유저가 좌측만을 촬영할 것을 선택한 경우는, 회전가이드 유닛(41a∼41c)만을 표시하고, 회전가이드 유닛(41d 및 41e)을 표시하지 않도록 한다. 또는, 「촬영범위 축소(촬영 도중 종료)」의 아이콘을 터치패널(250)에 표시해 두고, 회전가이드 유닛(41a∼41c)의 범위의 촬영이 종료된 후에 그 아이콘을 터치함으로써 촬영을 종료시키고, 파노라마 화상생성을 행하도록 하면 좋다. 또는, 표시된 회전가이드 유닛을 손가락으로 탭 함으로써, 회전가이드 유닛의 표시와 비표시를 개별적으로 전환 가능하게 해도 좋다.

또, 상기의 설명에서는, A15에 있어서 설정된 회전가이드(41)의 범위(파노라마 촬상범위)를 촬영한다고 했지만, 본 실시예의 형태는 이에 한하는 것은 아니다. 예컨대, 설정된 회전가이드(41)보다 넓은 범위를 유저가 촬영할 수 있도록 선택할 수 있는 스텝을 마련해도 좋다.

예컨대, 도 5 (a)에 있어서, 유저가 스마트폰(2)을 회전시켜 회전가이드 유닛(41a)의 위치에서의 촬영을 종료한 후, 동 방향으로 스마트폰(2)을 더 회전시켰을 경우, 촬상제어부(150)는 유저에 대하여 촬영범위의 확대를 행할지 아닌지의 선택 메뉴를 표시하도록 설정한다. 유저가 촬영범위의 확대를 선택한 경우는, 회전가이드(41)를 갱신하고, 동 방향으로 회전가이드 유닛을 추가 표시한다. 동시에 필요 촬영매수의 정보를 갱신한다.

또는, 회전가이드(41)의 좌우의 단(端, end) 중 어느 것의 촬영이 종료했을 때에 「촬영범위 확대」의 아이콘을 터치패널(250)에 표시시키고, 유저가 그 아이콘을 터치함으로써, 촬상제어부(150)는 회전가이드(41)를 갱신하여, 회전가이드 유닛을 추가 표시하도록 하면 좋다.

또는, 회전가이드(41)의 좌우의 단 중 어느 것의 촬영이 종료된 후에, 유저가 파노라마 촬상범위를 더 확대하는 방향으로 스마트폰(2)을 회전시켰을 경우, 움직임센서(760)의 출력에 의하여 촬영범위가 확대되었다고 판단한 촬상제어부(150)가, 자동적으로 회전가이드(41)를 갱신하고, 확대된 방향으로 회전가이드 유닛을 추가 표시하도록 설정하면 좋다.

또, 상기의 설명에서는, A15에 있어서 설정된 촬영범위(파노라마 촬상범위)를, 동일하게 설정된 촬영매수 촬영한다고 했지만, 본 실시예의 형태는 이에 한하는 것은 아니다. 예컨대, 스마트폰(2)의 반대방향으로의 회전을 검출함으로써, 촬영범위 및 촬영매수를 재설정하도록 해도 좋다.

구체적으로는, 예컨대, 도 5 (a)에 있어서, 회전가이드 유닛(41c 및 41b)의 촬영을 마친 단계에서, 유저가 스마트폰(2)을 반대방향으로 회전시켰다고 한다. 그 경우, 움직임센서(760)를 통하여 유저가 스마트폰(2)을 반대방향으로 회전시킨 것을 검출한 촬상제어부(150)는, 회전가이드 유닛(41a)의 위치에서의 촬영은 취소되었다고 판단하고, 회전가이드(41)의 표시를 갱신하여, 반대방향의 회전가이드 유닛(41d)을 다음의 촬영위치로서 유저에게 알리도록 설정한다. 또한, 회전가이드 유닛(41a)이 취소된 것에 기초하여, 반대방향의 선대칭 위치에 위치하는 회전가이드 유닛(41e)도 취소되는 설정으로 해도 좋다.

이상이 촬영범위 축소의 예인데, 촬영범위 추가에 대해서도 마찬가지이다. 예컨대, 회전가이드 유닛(41c, 41b 및 41a)의 촬영을 마친 단계에서, 유저가 스마트폰(2)을 동 방향으로 더 회전시켰다고 한다. 그 경우, 촬상제어부(150)는, 회전가이드 유닛(41a)보다 더욱 회전시킨 위치에서의 촬영이 추가되었다고 판단하고, 회전가이드(41)의 표시를 갱신하여, 회전가이드 유닛(41a)의 좌측에 회전가이드 유닛을 추가한다. 회전가이드 유닛의 추가는, 유저가 스마트폰(2)을 반대방향으로 회전시킬 때까지 반복하여 행해진다. 움직임센서(760)를 통하여 유저가 스마트폰(2)을 반대방향으로 회전시킨 것을 검출한 촬상제어부(150)는, 동 회전방향의 촬영이 종료되었다고 판단하고, 반대방향의 회전가이드 유닛(41d)을 다음의 촬영위치로서 유저에게 알린다. 또한, 회전가이드 유닛(41a)의 좌측의 촬영범위가 추가된 수량만큼을, 반대방향의 선대칭 위치에 위치하는 회전가이드 유닛 수에 추가하는 설정으로 해도 좋다.

또, 상기의 설명에서는, A15에 있어서 설정된 촬영범위를, 동일하게 설정된 촬영매수 촬영한다고 했지만, 본 실시예의 형태는 이에 한하는 것은 아니다. 예컨대, 1매째의 촬영 단계에서는, 단위 회전각도 하나만큼만, 즉 회전가이드 유닛 하나만을 가이드로서 표시하고, 그 후의 유저 조작에 따라 회전가이드 유닛을 추가하여 촬영범위를 확대시키도록 설정해도 좋다.

예컨대, 도 5 (a)에 있어서, A15에 있어서의 회전가이드(41)의 표시 설정을, 단위 회전각도(예컨대 30도)의 회전가이드 유닛(41c)만으로 한다. 이 경우, 가이드 설정 및 표시에 필요한 정보는 단위 회전각도만으로 된다. 이 위치에서 1매째의 촬영을 행한 후, 유저가 스마트폰(2)을 좌측방향으로 회전시켰다고 한다. 움직임센서(760)를 통하여 유저가 스마트폰(2)을 회전시킨 것을 검출한 촬상제어부(150)는, 촬영매수가 추가되었다고 판단하고, 회전가이드(41)의 표시를 갱신하여, 회전가이드 유닛(41c)의 좌측으로 회전가이드 유닛(41b)을 추가한다. 마찬가지로 좌측의 회전가이드 유닛(41a), 우측의 회전가이드 유닛(41d 및 41e)을 더 추가하여 촬영을 행해도 좋다. 촬영종료(A45)의 판단은, 유저에 의한 조작버튼의 조작 등으로 행하면 좋다.

또, 유저에게 스마트폰(2)의 회전동작을 의식시키기 위해서, 셀프카메라 가이드 촬영모드 판정(A10；Yes) 또는 셀프카메라 가이드 촬영 설정(A15)의 스텝에 있어서, 타원의 일부분(내각 150도)의 원호에 소정의 폭을 가지게 한 형상의 회전가이드(41)의 외연을, 1매째의 촬영위치를 나타내는 회전가이드 유닛(41c)과 함께 표시하도록 해도 좋다.

또는, 촬영개시 시점에서는 회전가이드 유닛을 표시하지 않고, 1매째의 촬영종료 후에, 촬영한 범위의 회전가이드 유닛(이 경우는 회전가이드 유닛(41c))을 표시시키도록 해도 좋다.

다만, 상기의 설명에서는 1매째의 촬영은 회전가이드 유닛(41c)에서 행한다고 했지만, 그 이외의 회전가이드 유닛을 1매째의 촬영에 사용해도 좋다.

또, 상기의 설명에서는, 셀프카메라 가이드 촬영모드로 촬영한 촬영화상(상기의 설명에서는 5매)을 파노라마 화상생성에 사용한다고 했지만, 이들 모두를, 파노라마 화상생성에 사용하지 않아도 된다.

예컨대, 셀프카메라 가이드 촬영모드에서 회전가이드 유닛 41a에서 41e까지의 5매를 촬영한 후, 촬영화상의 표시제어(A40)에 의하여, 유저는 촬영화상을 확인한다. 그때, 예컨대 회전가이드(41a)의 위치에서의 촬영화상을 파노라마 생성의 대상화상으로부터 제외하고 싶은 경우가 있다. 그것을 실행하기 위해서는, 촬영화상으로부터 A55의 파노라마 화상생성에 사용하고자 하는 화상을 유저가 선택 가능한 스텝을, 촬영화상의 표시제어(A40)와 화상생성 실행 조작(A55)의 사이에 새롭게 마련하면 좋다.

또, 보다 적합한 파노라마 화상을 생성하기 위하여, 셀프카메라 가이드 촬영모드에서의 촬영을 복수회(예컨대 연속하여 2회) 행하고, 각 회전각도 가이드 유닛마다에 보존된 복수의 촬영화상으로부터, 유저가 파노라마 화상생성에 사용할 촬영화상을 선택할 수 있도록 해도 좋다. 이 경우, 유저는, 예컨대 회전가이드 유닛(41b∼41e)은 1회째의 촬영화상, 나머지 회전가이드 유닛(41a)만 2회째의 촬영화상을 선택하여 파노라마 화상생성을 실행할 수 있다.

(바꿔 들기 보조)

유저가 오른손으로 스마트폰(2)을 드는 경우, 유저의 우측방향으로 스마트폰(2)을 회전시키는 것은, 좌측방향으로의 회전에 비해 어려워진다. 또, 무리하게 큰 각도의 회전을 행하면, 스마트폰(2)을 드는 팔이 상하좌우로 이동해 버릴 가능성이 높다. 그것을 방지하기 위해서, 예컨대, 유저의 좌측 촬영이 종료된 타이밍에서, 스마트폰(2)을 드는 손을 오른손에서 왼손으로 바꾸는 것을 촉구하는 알림을 행하도록 한다. 예컨대, 「바꿔 들기 중」 아이콘을 터치패널(250)에 표시해 두고, 오른손에서 왼손으로 바꿔 들 때에 그 아이콘을 터치함으로써, 셀프카메라 가이드 촬영모드를 일시중단 및 재개할 수 있도록 하면 적합하다.

(회전속도 제한)

움직임센서(760)는, 스마트폰(2)의 움직임 정보를 검출하지만, 소정의 속도 이하로 스마트폰(2)을 회전시키면 측정오차가 커질 것이 상정된다. 또, 회전에 시간이 걸리면, 그만큼 스마트폰(2)을 드는 팔의 피로도가 높아져서, 팔 전체의 위치가 내려가 버릴 우려가 있다. 그로써, 촬영종료로부터 소정 시간 이상(예컨대 10초 이상) 경과해도 다음의 촬영가이드까지의 회전이 검지되지 않는 경우 또는 촬영이 행해지지 않는 경우는, 그 취지를 촬상대기화면에 알려 유저에게 주의를 촉구하면 좋다. 또, 자동적으로 셀프카메라 가이드 촬영모드를 중단하도록 설정해도 좋다.

(파노라마 촬상범위 설정)

도 17 (a)에 나타내는 바와 같이, 인물 C를 촬영자인 유저라 하고, 옆에 늘어서 있는 A∼D의 4인의 인물을 피사체로 한 파노라마 합성화상(58)을 얻고 싶은 경우에 있어서, 실제의 촬영을 행하기 전에 파노라마 촬상범위 설정을 행하는 예에 대하여 이하에 설명한다.

파노라마 촬상범위 설정을 실행하기 위해서는, 셀프카메라 가이드 촬영모드 판정(A10；Yes)과 셀프카메라 가이드 촬영 설정(A15)의 사이에, 파노라마 촬상범위 설정 및 알림을 행하는 스텝을 마련하면 좋다. 또한, 파노라마 촬상범위 설정 전에, 얼굴영역 검출을 행하는 스텝을 마련하면 보다 효과적이다.

도 17 (b), 도 17 (c) 및 도 17 (d)는, 인물 C가 스마트폰(2)을 회전시켰을 때에 표시부(300)에 촬상대기화면으로서 표시되는 화상의 예이며, 얼굴영역(50a, 50b, 50c, 50d)은, 각각 인물 A, B, C, D의 얼굴영역 검출에 의하여 설정된 얼굴영역을 나타내고 있다. 회전가이드(41), 회전가이드 유닛(41a∼e), 및 회전마커(42)는 하기에 설명하는 파노라마 촬상범위 설정 후에 표시된다(도 17 (d)). 또는, 파노라마 촬상범위 설정 전에, 도 17 (b) 및 (c)에 나타내는 바와 같이, 유저에게 스마트폰(2)의 회전동작을 촉구하기 위해서, 타원 일부분의 원호에 폭을 가지게 한 형상의 회전가이드(41)를, 예컨대 150도의 범위로 임시로 표시해 두어도 좋다.

이하에 설명하는 파노라마 촬상범위 설정에 있어서는, 촬영을 행하기 전에, 유저가 파노라마 합성화상(58)으로서 생성하고 싶은 범위를 포함하도록, 즉, 도 17의 예에서는 인물 A∼D를 포함하도록 스마트폰(2)을 회전시키고, 촬상제어부(150)가 유저가 회전시킨 각도 범위의 정보를 기초로 파노라마 촬상범위를 설정한다.

우선, 유저는, 좌단에 위치하는 인물 A의 얼굴영역(50a)을 포함하는 원하는 화상이 촬상대기화면에 비추어질 때까지 스마트폰(2)을 회전시키고, 소정 시간(예컨대 2초간) 그 위치를 유지한다(도 17 (b)). 이를 파노라마 촬상범위의 단부(端部) 1이라 한다. 이때, 「좌우 어느 한쪽의 단(端)까지 스마트폰(2)을 회전시키고, 2초간 그 상태를 유지해 주세요」 등의 알림을 행하도록 해도 좋다.

움직임센서(760)는, 스마트폰(2)의 파노라마 촬상범위의 단부 1까지의 회전각도를 검출하여, 촬상제어부(150)에 출력한다. 그 후, 소정 시간(이 경우는 2초간) 스마트폰(2)의 회전 및 이동이 없는 것을 검지하고, 단부 1의 설정 종료의 신호를 촬상제어부(150)에 출력한다.

다음으로, 유저는, 우단에 위치하는 인물 D의 얼굴영역(50d)을 포함하는 소망하는 화상이 촬상대기화면에 비추어질 때까지 스마트폰(2)을 회전시키고, 소정 시간(예컨대 2초간) 스마트폰(2)의 위치를 유지한다(도 17 (c)). 이를 파노라마 촬상범위의 단부 2라 한다. 이때, 「반대측 단까지 스마트폰(2)을 회전시키고, 2초간 그 상태를 유지해 주세요」 등의 알림을 행하도록 해도 좋다.　움직임센서(760)는, 스마트폰(2)의 파노라마 촬상범위의 단부 2까지의 회전각도를 검출하여, 촬상제어부(150)에 출력한다. 그 후, 소정 시간(이 경우는 2초간) 스마트폰(2)의 회전 및 이동이 없는 것을 검지하고, 단부 2의 설정 종료의 신호를 촬상제어부(150)에 출력한다.

다만, 스마트폰(2)의 회전 후에 소정 시간 그 상태를 유지하는 것 대신에, 유저가 스마트폰(2)의 조작버튼을 누르는 등의 조작에 의하여, 단부 1 및 단부 2의 설정을 행해도 좋다. 또는, 스마트폰(2)이 한 방향으로 회전한 후에 반대방향으로 회전한 것을 검출한 움직임센서(760)가 그 정보를 촬상제어부(150)에 출력함으로써, 단부 1 및 2의 설정을 행하도록 해도 좋다.

A15로 진행하여, 촬상제어부(150)는, 상기 단부 1 및 단부 2까지의 회전각도의 정보를 기초로 파노라마 촬상범위를 설정하고, 촬상제어부(150)로부터 출력되는 정보를 바탕으로, 가이드 표시설정부(180)는, 회전가이드(41), 회전가이드 유닛(41a∼e), 및 회전마커(42)를 표시부(300)에 표시한다(도 17 (d)).

이 경우, 도 17 (d)에 나타내는 바와 같이, 회전가이드(41)의 중심(파노라마 촬상범위의 중심)은, 촬영자인 인물 C의 얼굴영역(50c) 좌우의 중심선 상에 배치된다. 인물 C의 좌측에는 인물 A 및 B, 우측에는 인물 D가 위치하기 때문에, 회전가이드(41)는 좌우 균등하게 되지 않는다. 즉, 회전가이드 유닛(41a∼d)이 표시되고, 파노라마 촬상범위에 포함되지 않는 회전가이드 유닛(41e)은 표시되지 않게 설정된다. 혹은, 도 17 (d)에 나타내는 바와 같이, 회전가이드 유닛(41e)만은 다른 회전가이드 유닛(41a∼d)과 다른 표시태양으로 표시(이 예에서는 회전가이드 유닛(41e)의 테두리를 파선으로 표시)되도록 설정된다. 그 후, A15∼A55의 처리를 행하여, 화상생성처리(A55)에 의하여, 파노라마 화상(58)이 생성된다.

이처럼 함으로써, 유저는, 실제 촬영을 행하기 전에, 촬영하고 싶은 복수의 얼굴을 포함하는 파노라마 촬상범위를 설정할 수 있다. 또, 파노라마 화상의 생성에 필요한 촬영매수를 파악할 수 있다.

(아웃 카메라용 가이드 촬영모드)

이상 설명한 실시예에서는, 셀프 카메라 또는 그룹촬영에 있어서, 스마트폰(2)의 케이스체(60)의 전면(61)에 탑재되어 있는 인 카메라(62)를 사용하는 경우에 대하여 설명했지만, 본 발명의 가이드 기능은, 스마트폰(2)의 배면(71) 측에 탑재되어 있는 아웃 카메라(72)를 사용하는 경우에도 유효하다.

이하, 도 18∼도 20을 이용하여 구체적으로 설명한다.

도 18 (a)에 나타내는 넓은 범위의 풍경 파노라마 합성화상(59)을 얻고 싶은 경우에 대하여 설명한다.

풍경 파노라마 합성화상(59)과 같이 촬영자인 유저 자신을 피사체에 포함시키지 않는 촬영을 행하는 경우에는, 유저는 인 카메라(62)가 아닌 아웃 카메라(72)를 촬영용 카메라로서 사용하는 경우가 있다.

그것을 실행하기 위해서는, 카메라모드 처리 개시 후에, 아웃 카메라용 가이드 촬영모드를 선택하는 스텝을 마련하면 좋다. 또한, 유저에 의하여 아웃 카메라용 가이드 촬영모드가 선택된 경우에는, 셀프카메라 가이드 촬영 설정, 가이드 표시 및 가이드 갱신(A15) 대신에, 아웃 카메라용 가이드 촬영 설정, 아웃 카메라용 가이드 표시 및 가이드 갱신을 행하는 스텝을 마련하면 좋다.

도 18 (b)는, 아웃 카메라용 가이드 촬영모드에 있어서의 1매째의 촬영 단계를 나타내고 있다. 다만, 회전가이드(55)의 형상은, 인 카메라(62)를 사용하는 경우와는 반대방향, 즉 표시화면의 내측으로 만곡한, 타원의 원호의 일부분에 소정의 폭을 가지게 한 형상으로 되어 있다. 유저는, 셀프카메라 가이드 촬영모드와 마찬가지로, 회전가이드(55), 회전가이드 유닛(55a∼c), 회전마커(56)의 표시에 따라서, 도 18 (b)의 해칭이 실시된 회전가이드 유닛(55a)에 나타내는 위치에서 1매째의 촬영을 행한다. 계속하여, 유저는, 도 18 (c) 및 도 18 (d)에 나타내는 해칭을 실시한 회전가이드 유닛에 대응하는 위치까지 스마트폰(2)을 회전시켜 2매째와 3매째의 촬영을 행한다. 그 후, 화상생성처리(A55)에 의하여, 도 18 (a)에 나타내는 넓은 범위의 풍경 파노라마 합성화상(59)을 얻을 수 있다.

(아웃 카메라용 파노라마 촬상범위 설정)

도 19는, 도 17을 이용하여 설명한 셀프카메라 가이드 촬영에 있어서의 파노라마 촬상범위 설정을, 아웃 카메라용 가이드 촬영모드에 적용한 예이다.

유저는, 파노라마 합성화상의 좌단이 될 화상이 비추어지는 원하는 위치까지 스마트폰(2)을 회전시켜, 단부 1의 설정을 행한다(도 19 (a)). 계속하여 파노라마 합성화상의 우단이 될 화상이 비추어지는 원하는 위치까지 스마트폰(2)을 회전시켜, 단부 2의 설정을 행한다(도 19 (b)). A15로 진행하여, 촬상제어부(150)는, 상기 단부 1 및 단부 2까지의 회전각도의 정보를 기초로, 회전가이드(55)를 설정한다(도 19 (c)).

(전체 둘레 가이드 촬영모드)

도 20은, 아웃 카메라(72) 및 인 카메라(62)를 병용하여, 촬영자인 유저를 중심으로 한 전체 둘레(360도) 화상 촬영을 행하여, 전체 둘레 파노라마 화상합성을 행하는 경우의 가이드 표시의 일례이다.

그것을 실행하기 위해서는, 카메라모드 처리 개시 후에, 전체 둘레 가이드 촬영모드를 선택하는 스텝을 마련하면 좋다.

전체 둘레 가이드 촬영모드에 있어서는, 유저가 셀프카메라 가이드 촬영모드 및 아웃 카메라용 가이드 촬영모드로 촬영을 행한 후에, 처리부(100)는, 기억부(800)에 기억되어 있는 화상생성 프로그램(811)에 따라서, 화상생성처리(A55)를 실행하여, 전체 둘레 파노라마 화상이 생성된다.

유저와 반대측을 촬영할 때에는, 유저는, 아웃 카메라(72)를 사용하여, 회전가이드 유닛(57a∼c)에 따라서 스마트폰(2)을 회전시켜 촬영을 행한다.

유저측을 촬영할 때에는, 유저는, 인 카메라(62)를 사용하여, 회전가이드 유닛(57e∼g)에 따라서 스마트폰(2)을 회전시켜 촬영을 행한다.

유저측 및 유저와 반대측의 중간위치에 대응하는 회전가이드 유닛(57d 및 57h)의 위치에서의 촬영은, 유저가 인 카메라(62)와 아웃 카메라(72) 중 어느 한쪽을 선택하여 미리 설정하도록 하면 좋다. 또는, 스마트폰(2)이 회전가이드 유닛(57d 또는 57h)에 대응하는 위치까지 회전했을 때에, 촬상제어부(150)가 유저에 대하여 카메라의 변환을 촉구하는 알림을 행하여, 유저에게 사용하는 카메라의 선택을 시키는 스텝을 마련하면 좋다.

(촬영보조기재)

또, 상기의 설명에서는, 유저가 손에 든 스마트폰(2)을 회동시켜 복수회의 촬영을 행한다고 했지만, 촬영보조기재의 회전기구를 가지는 고정부에 스마트폰(2)을 장착하고, 상기 고정부를 회전시킴으로써, 스마트폰(2)의 회전을 행하도록 해도 좋다. 예컨대 유저가, 촬영보조기재의 회전기구를 가지는 고정부에, 스마트폰(2)을 지그 등으로 고정한다. 다음으로, 유저는 스마트폰(2)의 표시부(300)에 표시되는 회전가이드(41)를 시인하면서 리모콘 등을 조작하여 촬영보조기재의 고정부의 회전 및 정지 동작을 행한다. 회전 및 정지 동작은 스마트폰(2)의 움직임센서(760)로 검출되고, 검출 결과는 수시 촬상제어부(150)에 출력된다. 촬영은, 스마트폰(2)이 소정 각도 회전한 후에 소정 시간(예컨대 1초간) 정지한 것을 검지한 촬상제어부(150)가, 스마트폰(2)의 촬상부(500)에 촬영 지시신호를 출력함으로써 자동적으로 행해진다. 또는, 유저가 회전가이드(41)와 회전마커(42)를 시인하면서 스마트폰(2)의 조작버튼이나 리모콘을 조작하여 촬영을 행해도 좋다.

또는, 촬영보조기재의 제어부에, 미리 소정 각도의 회전과 정지 동작을 소정 회수 행하는 설정을 기억시켜 두고, 촬영보조기재의 고정부가 자동적으로 회전 및 정지 동작을 소정 회수 행하도록 설정해도 좋다. 그 경우, 스마트폰(2)이 촬영보조기재에 장착된 상태에서, 유저가 촬영보조기재를 기동한다. 다음으로, 촬영보조기재의 고정부는, 미리 설정된 소정 각도의 회전 및 소정 시간의 정지 동작을 자동적으로 행한다. 회전 및 정지 동작의 검출, 및 촬영의 지시는, 스마트폰(2)의 움직임센서(760), 및 촬상제어부(150)에 의하여 행해진다.

또는, 스마트폰(2)의 처리부(100)로부터 촬영보조기재의 제어부에, 회전방향, 단위 회전각도 및 촬영범위 등의 정보를 출력하도록 해도 좋다. 촬영보조기재의 제어부는, 그 정보를 기초로 촬영보조기재의 고정부를 구동하여, 회전 및 정지 동작을 행하도록 해도 좋다.

촬영보조기재로서는, 탁상에 설치하는 기재, 카메라의 일각(一脚)이나 삼각(三脚)에 접속하는 기재, 셀프카메라 봉에 접속하는 기재 등이 있지만, 이들에 한정되는 것은 아닌 것은 명확하다.

이처럼 함으로써, 스마트폰(2)의 움직임을 회전방향만으로 한정할 수 있기 때문에, 상하좌우방향으로의 평행이동 등에 의한 촬영 실패를 방지할 수 있다.

또, 상기의 설명에서는, 유저에 대한 시각적인 알림에 대하여 설명했지만, 본 실시예의 알림의 방법은 이에 한하는 것은 아니고, 스마트폰(2)의 진동부(750)를 사용하여 스마트폰(2)을 진동시키는 알림, 스마트폰(2)의 음(音)출력부(400)를 사용한 음성 안내에 의한 알림, 또는 그들의 조합에 의한 알림 등을 포함하는 것이다.

[3. 변형예]

본 발명을 적용 가능한 실시예는, 상기의 실시예로 한정되지 않고, 본 발명의 취지를 일탈하지 않는 범위에서 적당히 변경 가능한 것은 물론이다. 이하, 변형예에 대하여 설명하는데, 상기의 실시예와 동일한 구성에 대해서는 동일한 부호를 붙이고, 재차의 설명을 생략한다.

[3-1. 전자기기]

화상처리장치(1)는, 스마트폰이나 카메라, 디지털카메라, 태블릿 단말, PDA, PC 등의 전자기기에 구비시킬 수 있다. 촬상부를 구비한 전자기기라면, 각종의 전자기기에 본 발명의 화상처리장치(1)를 구비시키는 것이 가능하다.

또, 유저가, 스마트폰(2)에 있어서 표시부(300)에 표시된 합성화상을, 다른 전자기기(정보처리장치)의 표시부에 표시하게 하도록 하는 것도 가능하다. 구체적으로는, 예컨대, 유저는, 수중의 스마트폰(2)과 PC를 통신 접속한다. 그리고, 유저는, 스마트폰(2)의 표시부(300)에 표시된 합성화상을 PC에 전송한다. PC는, 스마트폰(2)으로부터 전송된 합성화상을 디스플레이에 표시하게 하고, 유저는 PC의 표시화면에서 합성화상을 열람한다.

다만, 이 경우에 있어서, 스마트폰(2)에 의하여 촬상된 촬영화상의 화상 데이터 일식(一式)을 PC로 송신하도록 하고, 스마트폰(2) 대신에 PC가 합성화상을 생성하여, PC의 디스플레이에 표시하게 하도록 해도 좋다. 이 경우는, 스마트폰 및 PC가, 본 발명에 있어서의 화상처리장치(1)가 된다.

[3-2. 기록매체]

상기의 실시형태에서는, 화상생성과 관련되는 각종 프로그램이나 데이터가, 화상처리장치(1)의 기억부나, 스마트폰(2)의 기억부(800)에 기억되어 있고, 처리부가 이들의 프로그램을 독해하여 실행함으로써, 상기의 각 실시형태에 있어서의 화상처리가 실현되었다. 이 경우, 각 장치의 기억부는, ROM이나 EEPROM, 플래쉬 메모리, 하드 디스크, RAM 등의 내부 기억장치 외에, 메모리카드(SD카드)나 콤팩트 플래시(등록상표) 카드, 메모리스틱, USB 메모리, CD-RW(광학디스크), MO(광학자기디스크) 등의 기록매체(기록미디어, 외부 기억장치)를 가지고 있어도 좋고, 이들의 기록매체에 상기의 각종 프로그램이나 데이터를 기억시키는 것으로 해도 좋다.

도 21은, 이 경우에 있어서의 기록매체의 일례를 나타내는 도이다.

스마트폰(2)에는, 메모리 카드(9)를 삽입하기 위한 카드 슬롯(910)이 마련되어 있고, 카드 슬롯(910)에 삽입된 메모리 카드(9)에 기억된 정보를 독해 또는 메모리 카드(9)에 정보를 기입하기 위한 카드 리더 라이터(R/W)(920)가 마련되어 있다. 카드 리더 라이터(920)는, 처리부(100)의 제어에 따라서, 기억부(800)에 기록된 프로그램이나 데이터를 메모리 카드(9)에 기입하는 동작을 행한다. 메모리 카드(9)에 기록된 프로그램이나 데이터는, 스마트폰(2) 이외의 외부장치(예컨대 PC)에서 읽어들임으로써, 상기 외부장치에 있어서 상기의 실시형태에 있어서의 합성화상의 생성을 실현하는 것이 가능하게 구성되어 있다.

1: 화상처리장치
2: 스마트폰
9: 메모리카드
10: 입력부
11, 110: 기준화상 선택부
12, 120: 매칭부
13, 130: 변환행렬 추정부
14, 140: 위치맞춤부
15, 160: 화상합성부
20: 카메라
25: 입력완료화상 메모리
30, 760: 움직임센서
31, 150: 촬상제어부
32, 180: 가이드 표시설정부
35: 표시부
40: 유저
41, 55, 57: 회전가이드
42, 56: 회전마커
43: 중심가이드
44: 중심마커
45: 외관 회전가이드
46: 촬상범위 마커
47: 축소화상
48: 중심축
49: 얼굴영역
58, 59: 파노라마 화상
60: 스마트폰 케이스체
61: 스마트폰 케이스체의 전면
62: 인 카메라
63: 표시화면
64: 조작버튼
71: 스마트폰 케이스체의 배면
72: 아웃 카메라
73: 스피커
74: 플래시라이트
100: 처리부
200: 조작부
250: 터치패널
300: 표시부
400: 음출력부
500: 촬상부
600　통신부
700: 시계부
800: 기억부
910: 카드 슬롯
920: 카드 리더 라이터

Claims

촬상대상을 표시하는 표시장치와, 촬상대상을 촬상하는 촬상장치를 구비하는 화상처리장치로서,
상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 상기 표시장치에 표시시키는 가이드 표시제어수단과,
촬상위치의 변경을 억제하기 위한 보조가이드를 상기 표시장치에 표시시키는 보조가이드 표시제어수단과,
상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성수단
을 더 구비한 화상처리장치.
청구항 1에 있어서,
상기 가이드는, 상기 촬상장치를 회전시켜 상이한 촬상각도로부터 촬상대상을 촬상하도록 시사하는
화상처리장치.
청구항 2에 있어서,
상기 촬상장치의 회전방향 및 회전량을 검출하는 제1 검출수단을 더 구비하고,
상기 가이드 표시제어수단은, 상기 촬상장치의 회전방향 및 회전량에 따라 상기 가이드의 표시태양을 변화시키는
화상처리장치.
청구항 3에 있어서,
상기 가이드는, 상기 합성화상을 생성하기 위하여 복수회의 촬상에 의해 촬상해야 할 범위인 전체촬상범위를 시사하는 제1 화상을 포함하는
화상처리장치.
청구항 4에 있어서,
상기 제1 화상은, 상기 전체촬상범위를 촬상하기 위하여 필요한 촬상횟수를 시사하는
화상처리장치.
청구항 4에 있어서,
상기 가이드는, 현재의 촬상범위를 시사하는 제2 화상을 더 포함하고,
상기 가이드 표시제어수단은, 상기 촬상장치의 회전방향 및 회전량에 따라 상기 제1 화상에 대한 상기 제2 화상의 상대적 위치를 변화시키는
화상처리장치.
청구항 6에 있어서,
상기 제1 화상에 대한 상기 제2 화상의 상대적 위치에 의해, 촬상장치를 기준으로 한 촬상각도를 시사하는
화상처리장치.
청구항 4에 있어서,
상기 가이드는, 촬상된 화상의 축소화상을 더 포함하고,
상기 가이드 표시제어수단은, 상기 촬상장치의 회전방향 및 회전량에 따라 상기 제1 화상에 대한 상기 축소화상의 상대적 위치를 변화시키는
화상처리장치.
청구항 6에 있어서,
상기 제1 화상에 대한 상기 제2 화상의 상대적 위치에 의해, 유저를 기준으로 한 촬상각도를 시사하는
화상처리장치.
촬상대상을 표시하는 표시장치와, 촬상대상을 촬상하는 촬상장치를 구비하는 화상처리장치로서,
상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 상기 표시장치에 표시시키는 가이드 표시제어수단과,
상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성수단
을 더 구비하고,
상기 가이드는,
상기 합성화상을 생성하기 위하여 복수회의 촬상에 의해 촬상해야 할 범위인 전체촬상범위를 시사하는 제1 화상과,
현재의 촬상범위를 시사하는 제2 화상
을 포함하고,
상기 가이드 표시제어수단은, 상기 촬상장치의 회전방향 및 회전량에 따라 상기 제1 화상에 대한 상기 제2 화상의 상대적 위치를 변화시키고, 상기 제1 화상에 대한 상기 제2 화상의 상대적 위치에 의해 촬상각도를 시사하고, 촬상장치를 기준으로 한 촬상각도를 시사하는 경우와 유저를 기준으로 한 촬상각도를 시사하는 경우에서, 상기 표시장치에 표시되는 화상의 좌우위치를 반전시키는
화상처리장치.
삭제
촬상대상을 표시하는 표시장치와, 촬상대상을 촬상하는 촬상장치를 구비하는 화상처리장치로서,
상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 상기 표시장치에 표시시키는 가이드 표시제어수단과,
상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성수단
을 더 구비하고,
상기 가이드는,
상기 합성화상을 생성하기 위하여 복수회의 촬상에 의해 촬상해야 할 범위인 전체촬상범위를 시사하는 제1 화상과,
현재의 촬상범위를 시사하는 제2 화상
을 포함하고,
상기 제1 화상은, 상기 전체촬상범위를 촬상하기 위하여 필요한 촬상횟수에 대응한 복수의 블록으로 구분되어 있고, 어느 블록에 상기 제2 화상이 위치하는지에 따라 촬상각도를 시사하는 것임과 함께, 상기 복수의 블록 각각에 대응시켜 촬상순서를 시사하는 것이고,
상기 가이드 표시제어수단은, 상기 촬상장치의 회전방향 및 회전량에 따라 상기 제1 화상에 대한 상기 제2 화상의 상대적 위치를 변화시키는
화상처리장치.
청구항 4에 있어서,
상기 표시장치에 표시되어 있는 인물의 얼굴영역을 검출하는 얼굴영역 검출수단을 더 구비하고,
상기 가이드 표시제어수단은, 상기 얼굴영역 검출수단에 의해 검출된 얼굴영역을 중심으로 하여 상기 전체촬상범위가 형성되도록, 상기 제1 화상을 설정하는
화상처리장치.
청구항 4에 있어서,
상기 표시장치에 표시되어 있는 인물의 얼굴영역을 검출하는 얼굴영역 검출수단을 더 구비하고,
상기 가이드 표시제어수단은, 상기 얼굴영역 검출수단에 의해 검출된 얼굴영역이 복수 존재하는 경우에는, 그 어느 쪽을 중심으로 하여 상기 전체촬상범위가 형성되도록, 상기 제1 화상을 설정하는
화상처리장치.
청구항 4에 있어서,
상기 표시장치에 표시되어 있는 인물의 얼굴영역을 검출하는 얼굴영역 검출수단을 더 구비하고,
상기 가이드 표시제어수단은, 상기 얼굴영역 검출수단에 의해 검출된 얼굴영역이 복수 존재하는 경우에는, 양단의 얼굴영역을 적어도 포함하는 상기 전체촬상범위가 형성되도록, 상기 제1 화상을 설정하는
화상처리장치.
촬상대상을 표시하는 표시장치와, 촬상대상을 촬상하는 촬상장치를 구비하는 화상처리장치로서,
상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 상기 표시장치에 표시시키는 가이드 표시제어수단과,
상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성수단
을 더 구비하고,
상기 촬상장치는,
상기 표시장치가 향하는 방향과 동 방향을 촬상하는 제1 촬상장치와,
상기 표시장치가 향하는 방향과는 반대방향을 촬상하는 제2 촬상장치
를 포함하는 것이고,
상기 제1 촬상장치 및 상기 제2 촬상장치 중 어느 촬상장치에 의한 촬상을 행할지를 유저가 선택 가능하고,
상기 가이드 표시제어수단은, 선택된 촬상장치에 따라 상기 가이드의 표시태양을 변화시키는
화상처리장치.
청구항 4에 있어서,
상기 촬상장치는,
상기 표시장치가 향하는 방향과 동 방향을 촬상하는 제1 촬상장치와,
상기 표시장치가 향하는 방향과는 반대방향을 촬상하는 제2 촬상장치
를 포함하는 것이며,
상기 제1 촬상장치 및 상기 제2 촬상장치 중 어느 촬상장치에 의한 촬상을 행할지를 유저가 선택 가능하고,
상기 전체촬상범위는, 상기 제1 촬상장치에 의한 촬상범위 및 상기 제2 촬상장치에 의한 촬상범위의 양쪽을 포함하는 촬상범위인
화상처리장치.
촬상대상을 표시하는 표시장치와, 촬상대상을 촬상하는 촬상장치를 구비하는 화상처리장치로서,
상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 상기 표시장치에 표시시키는 가이드 표시제어수단과,
상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성수단과,
상기 표시장치에 표시되어 있는 인물의 얼굴영역을 검출하는 얼굴영역 검출수단
을 더 구비하고,
상기 가이드 표시제어수단은, 상기 얼굴영역 검출수단에 의해 검출된 얼굴영역에 기초하여 상기 가이드의 표시위치를 설정하는
화상처리장치.
청구항 3에 있어서,
상기 가이드 표시제어수단은, 상기 표시장치가 향하는 방향과 동 방향을 촬상하는 제1 촬상장치의 근방에 상기 가이드의 표시위치를 설정하는
화상처리장치.
청구항 3에 있어서,
상기 가이드 표시제어수단은, 상기 촬상장치가 소정의 회전량까지 회전하고 있지 않는 동안은, 상기 가이드를 상기 촬상대상보다 시인성이 높은 설정으로 표시하는
화상처리장치.
청구항 3에 있어서,
상기 촬상장치의 평행이동방향 및 평행이동량을 검출하는 제2 검출수단을 더 구비하고,
상기 가이드 표시제어수단은, 상기 촬상장치의 평행이동방향 및 평행이동량에 따라 상기 가이드의 표시태양을 변화시키는
화상처리장치.
삭제
청구항 1에 있어서,
상기 촬상장치의 평행이동방향 및 평행이동량을 검출하는 제2 검출수단을 더 구비하고,
상기 보조가이드 표시제어수단은, 상기 촬상장치의 평행이동방향 및 평행이동량에 따라 상기 보조가이드의 표시태양을 변화시키는
화상처리장치.
청구항 23에 있어서,
상기 보조가이드는,
상기 촬상장치의 평행이동방향 및 평행이동량에 따라 표시위치가 변화하지 않는 제3 화상과,
상기 촬상장치의 평행이동방향 및 평행이동량에 따라 표시위치가 변화하는 제4 화상
을 포함하는 화상처리장치.
촬상대상을 표시하는 표시장치와, 촬상대상을 촬상하는 촬상장치를 구비하는 화상처리장치로서,
상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 상기 표시장치에 표시시키는 가이드 표시제어수단과,
촬상위치의 변경을 억제하기 위한 보조가이드를 상기 표시장치에 표시시키는 보조가이드 표시제어수단과,
상기 화상처리장치의 외부에 설치된 화상합성장치에 접속 가능한 통신수단
을 더 구비하고,
상기 화상합성장치는 상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는,
화상처리장치.
화상처리장치로서,
상기 화상처리장치의 외부에 설치된 촬상대상을 표시하는 표시장치 및 촬상대상을 촬상하는 촬상장치에 접속 가능한 통신수단과,
상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 상기 표시장치에 표시시키는 가이드 표시제어수단과,
촬상위치의 변경을 억제하기 위한 보조가이드를 상기 표시장치에 표시시키는 보조가이드 표시제어수단과,
상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성수단
을 구비한 화상처리장치.
촬상대상을 표시하는 표시장치와, 촬상대상을 촬상하는 촬상장치와,
상기 촬상장치의 회전방향 및 회전량에 따라 표시태양을 변화시킴으로써, 상기 촬상장치를 회전시켜 상이한 촬상각도로부터 촬상대상을 촬상하도록 시사하는 가이드를 상기 표시장치에 표시시키는 가이드 표시제어수단과,
촬상위치의 변경을 억제하기 위한 보조가이드를 상기 표시장치에 표시시키는 보조가이드 표시제어수단과,
상기 촬상장치의 회전방향 및 회전량을 검출하는 제1 검출수단과,
상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성수단
을 구비하는 화상처리장치를 탈착 가능한 고정기구 및 상기 고정기구를 회전동작시키는 회전제어기구를 가지는
촬영보조기재.
표시장치에 촬상대상을 표시시키는 표시스텝과, 촬상장치에 의해 촬상대상을 촬상하는 촬상스텝을 포함하는 화상처리방법으로서,
상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 상기 표시장치에 표시시키는 가이드 표시제어스텝과,
촬상위치의 변경을 억제하기 위한 보조가이드를 상기 표시장치에 표시시키는 보조가이드 표시제어스텝과,
상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성스텝
을 더 포함하는 화상처리방법.
표시장치에 촬상대상을 표시시키는 표시스텝과, 촬상장치에 의해 촬상대상을 촬상하는 촬상스텝을 포함하는 화상처리프로그램으로서,
상이한 촬상각도로부터 촬상대상을 촬상하기 위한 가이드를 상기 표시장치에 표시시키는 가이드 표시제어스텝과,
촬상위치의 변경을 억제하기 위한 보조가이드를 상기 표시장치에 표시시키는 보조가이드 표시제어스텝과,
상이한 촬상각도로부터 촬상대상을 촬상함으로써 얻어진 복수의 화상을 합성하여 합성화상을 생성하는 화상합성스텝
을 더 포함하는 컴퓨터 판독 가능한 기록매체에 기록된 컴퓨터용 화상처리프로그램.