KR101446641B1 - 화상 처리 장치, 화상 처리 방법 및 기록 매체 - Google Patents

Abstract

본 발명은, 화상 처리 장치, 화상 처리 방법 및 기록 매체에 관한 것으로서, 본 발명에 따르면, 촬상 장치(1)는, 화상 취득부(71), 화상 특정부(72), 화상 선택부(73), 및 합성 화상 생성부(74)를 구비한다. 화상 취득부(71)는, 피사체의 일련의 동작을 나타내는 복수의 화상 데이터를 취득한다. 화상 특정부(72)는, 화상 취득부(71)에 의해 취득된 복수의 화상으로부터, 피사체의 일련의 동작중인 부분 동작을 특정한다. 화상 선택부(73)는, 화상 특정부(72)에 의한 특정 결과에 기초하여, 복수의 화상 데이터 중에서, 소정의 부분 동작에 대응하는 화상 데이터를 복수개 선택한다. 합성 화상 생성부(74)는, 화상 선택부(73)에 의해 선택된 복수의 화상 데이터로부터 하나의 합성 화상을 생성한다.

Description

화상 처리 장치, 화상 처리 방법 및 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}

본 발명은, 합성 화상을 생성하는 화상 처리 장치, 화상 처리 방법 및 기록 매체에 관한 것이다.

종래부터, 디지털 카메라 등의 촬상 장치에서 촬상된 동영상에 찍힌 피사체의 동작을 사후에 확인하는 것이 행해지고 있다. 예를 들면, 골프 등의 스포츠에 있어서는, 스윙 동작을 동영상으로서 기록하고, 스윙의 확인을 행하고 있다.

이와 같은 스윙 폼의 확인 기술로서, 하기 특허 문헌 1에 기재된 기술이 알려져 있다. 일본 특허출원 공개번호 평 11-98450호 공보에 기재된 기술은, 골프 헤드의 일련의 스윙 동작을 하나의 정지 화상에 합성 표시시키는 기술이다.

그러나, 전술한 특허 문헌 1에 기재된 기술은, 골프 헤드의 일련의 스윙 동작을 하나의 정지 화상에 합성 표시시키므로, 각 스윙의 동작(다운 스윙, 임펙트 전후의 스윙, 보충 스윙 등)의 궤적이 중첩되어, 어느 부분이 어느 스윙 동작에 대응하는지를 파악하는 것이 곤란하게 될 우려가 있었다.

일본 특허출원 공개번호 평 11-98450호 공보

본 발명은, 전술한 바와 같은 상황을 감안하여 이루어진 것이며, 피사체의 동작을 용이하게 파악할 수 있는 것을 목적으로 한다.

본 발명의 일태양의 화상 처리 장치는, 피사체의 일련의 동작을 나타내는 복수의 화상을 취득하는 화상 취득부와; 상기 화상 취득부에 의해 취득된 상기 복수의 화상으로부터, 상기 피사체의 일련의 동작을 구성하는 부분 동작을 특정하는 화상 특정부와; 상기 화상 특정부에 의한 특정 결과에 기초하여, 상기 복수의 화상 중에서, 소정의 부분 동작에 대응하는 화상을 복수개 선택하는 화상 선택부와; 상기 화상 선택부에 의해 선택된 복수의 화상으로부터하나의 합성 화상을 생성하는 합성 화상 생성 수단을 구비한 것을 특징으로 한다.

본 발명의 일태양의 화상 처리 방법은, 화상 처리 장치가 실행하는 화상 처리 방법으로서, 피사체의 일련의 동작을 나타내는 복수의 화상을 취득하는 화상 취득 단계와; 상기 화상 취득 단계에 의해 취득된 상기 복수의 화상으로부터, 상기 피사체의 일련의 동작중인 소정의 부분 동작을 특정하는 화상 특정 단계와; 상기 화상 특정 단계에 의한 특정 결과에 기초하여, 상기 복수의 화상 중에서, 소정의 부분 동작에 대응하는 복수의 화상을 선택하는 화상 선택 단계와; 상기 화상 선택 단계에 의해 선택된 복수의 화상 데이터로부터 합성 화상을 생성하는 합성 화상 생성 단계를 포함하는 것을 특징으로 한다.

본 발명의 일태양의 기록 매체는, 컴퓨터가 판독 가능한 프로그램을 기록한 기록 매체로서, 피사체의 일련의 동작을 나타내는 복수의 화상을 취득하는 화상 취득부, 상기 화상 취득부에 의해 취득된 상기 복수의 화상으로부터, 상기 피사체의 일련의 동작중인 소정의 부분 동작을 특정하는 화상 특정부, 상기 화상 특정부에 의한 특정 결과에 기초하여, 상기 복수의 화상 중에서, 소정의 부분 동작에 대응하는 복수의 화상을 선택하는 화상 선택부, 및 상기 화상 선택부에 의해 선택된 복수의 화상으로부터 합성 화상을 생성하는 합성 화상 생성 수단으로서의 기능을 컴퓨터에 기능하게 하는 것을 특징으로 한다.

도 1은 본 발명에서의 화상 처리 장치의 일실시예에 따른 촬상 장치의 하드웨어의 구성을 나타낸 블록도이다.
도 2는 도 1의 촬상 장치의 기능적 구성 중, 합성 화상 생성 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.
도 3은 합성 화상 생성 처리에 의해 생성된 전체 합성 화상의 일례를 나타낸 모식도이다.
도 4는 부분 합성 화상의 표시의 일례를 나타낸 모식도이다.
도 5는 촬상 장치의 출력부에 표시되는 부분 합성 화상의 선택 화면의 일례를 나타낸 도면이다.
도 6은 도 2의 기능적 구성을 가지는 도 3의 촬상 장치가 실행하는 합성 화상 생성 처리의 흐름을 설명하는 흐름도이다.

이하에서, 본 발명의 실시예에 대하여, 도면을 참조하여 설명한다.

도 1은, 본 발명에서의 화상 처리 장치의 일실시예에 따른 촬상 장치의 하드웨어의 구성을 나타낸 블록도이다.

촬상 장치(1)는, 예를 들면, 디지털 카메라로서 구성된다.

촬상 장치(1)는, CPU(Central Processing Unit)(11), ROM(Read Only Memory)(12), RAM(Random Access Memory)(13), 화상 처리부(14), 버스(15), 입출력 인터페이스(16), 촬상부(17), 입력부(18), 출력부(19), 기억부(20), 통신부(21), 및 드라이브(22)를 구비하고 있다.

CPU(11)는, ROM(12)에 기록되어 있는 프로그램, 또는 기억부(20)로부터 RAM(13)에 로드된 프로그램에 따라 각종 처리를 실행한다.

RAM(13)에는, CPU(11)가 각종 처리를 실행하는데 있어서 필요한 데이터 등도 적절하게 기억된다.

CPU(11), ROM(12), RAM(13), 및 화상 처리부(14)는, 버스(15)를 통하여 서로 접속되어 있다. 이 버스(15)에는, 또한 입출력 인터페이스(16)도 접속되어 있다. 입출력 인터페이스(16)에는, 촬상부(17), 입력부(18), 출력부(19), 기억부(20), 통신부(21), 및 드라이브(22)가 접속되어 있다.

촬상부(17)는, 도시하지 않지만, 광학 렌즈부와 이미지 센서를 구비하고 있다.

광학 렌즈부는, 피사체를 촬상하기 위하여, 광을 집광하는 렌즈, 예를 들면, 포커스 렌즈나 줌 렌즈 등으로 구성된다.

포커스 렌즈는, 이미지 센서의 수광면에 피사체상을 결상시키는 렌즈이다. 줌 렌즈는, 초점 거리를 일정한 범위에서 가유롭게 변화시키는 렌즈이다.

광학 렌즈부에는 또한, 필요에 따라 초점, 노출, 화이트 밸런스 등의 설정 파라미터를 조정하는 주변 회로가 설치된다.

이미지 센서는, 광전 변환 소자나, AFE(Analog Front End) 등으로 구성된다.

광전 변환 소자는, 예를 들면, CMOS(Complementary Metal Oxide Semiconductor)형의 광전 변환 소자 등으로 구성된다. 광전 변환 소자에는, 광학 렌즈부로부터 피사체상이 입사된다. 여기서, 광전 변환 소자는, 피사체상을 광전 변환(촬상)하여 화상 신호를 일정 시간 축적하고, 축적된 화상 신호를 아날로그 신호로서 AFE에 순차적으로 공급한다.

AFE는, 이 아날로그의 화상 신호에 대하여, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 실행한다. 각종 신호 처리에 의해, 디지털 신호가 생성되고, 촬상부(17)의 출력 신호로서 출력된다.

이와 같은 촬상부(17)의 출력 신호를, 이하에서, 「촬상 화상 데이터」라고 한다. 촬상 화상 데이터는, CPU(11)나 화상 처리부(14) 등에 적절하게 공급된다.

입력부(18)는, 각종 버튼 등으로 구성되며, 사용자의 지시 조작에 따라 각종 정보를 입력한다.

출력부(19)는, 디스플레이나 스피커 등으로 구성되며, 화상이나 음성을 출력한다.

기억부(20)는, 하드 디스크 또는 DRAM(Dynamic Random Access Memory) 등으로 구성되며, 각종 화상 데이터를 기억한다.

통신부(21)는, 인터넷을 포함하는 네트워크를 통하여 서로 다른 장치(도시하지 않음) 사이에서 행하는 통신을 제어한다.

드라이브(22)에는, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는, 이동식 매체(31)가 적절하게 장착된다. 드라이브(22)에 의해 이동식 매체(31)에서 판독된 프로그램은, 필요에 따라 기억부(20)에 인스톨된다. 또한, 이동식 매체(31)는, 기억부(20)에 기억되어 있는 화상 데이터 등의 각종 데이터도, 기억부(20)와 마찬가지로 기억할 수 있다.

도 2는, 도 1의 촬상 장치의 기능적 구성 중, 합성 화상 생성 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.

합성 화상 생성 처리는, 취득한 동영상 데이터에 기초하여, 상기 동영상을 해석하여, 상기 동영상에 찍힌 피사체의 동작을 특정하고, 특정된 동작에 대응한 정지 화상(후술하는 전체 합성 화상이나 후술하는 부분 합성 화상)을 합성하여 표시 등을 행하는 일련의 처리이다.

본 실시예에 있어서, 촬상 장치(1)는, 골프의 스윙을 행하고 있는 대상을 피사체로서 촬상하는 예에 대하여 설명한다.

그리고, 본 실시예에 있어서는, 촬상된 피사체의 동작을, 일련의 동작(이하, 「전체 동작」이라고도 함)과, 일련의 동작을 구성하는 부분적 동작(이하, 「부분 동작」이라고함)으로서 특정한다.

즉, 골프의 스윙을 촬상하여 합성 화상을 생성하는 본 실시예에 있어서는, 전체 동작이 스윙의 일련의 동작이며, 부분 동작이 스윙을 구성하는 각 동작(예를 들면, 어드레스, 백스윙, 탑, 다운 스윙, 임펙트, 보충 스윙, 피니쉬)이다.

합성 화상 생성 처리가 실행되는 경우에는, 도 2에 나타낸 바와 같이, CPU(11)에 있어서, 촬상 제어부(51)와, 출력 제어부(52)가 기능하고, 화상 처리부(14)에 있어서, 화상 취득부(71)와, 화상 특정부(72)와, 화상 선택부(73)와, 합성 화상 생성부(74)가 기능한다.

다만, 도 2는 예시이며, CPU(11)의 기능 중 적어도 일부를 화상 처리부(14)에 위양(委讓)해도 되고, 반대로, 화상 처리부(14)의 기능 중 적어도 일부를 CPU(11)에 위양해도 된다.

이 경우에, 기억부(20)의 일영역으로서 설치된 취득 화상 기억부(91)와, 합성 화상 기억부(92)가 사용된다. 취득 화상 기억부(91)에 있어서는, 촬상부(17)로부터 출력되고, 화상 취득부(71)에 의해 취득된 촬상 화상 데이터가 기억되어 있다. 합성 화상 기억부(92)에 있어서는, 합성 화상 생성부(74)로부터 출력된 합성 화상 데이터가 기억되어 있다.

촬상 제어부(51)는, 각종 촬상 조건을 설정하고, 촬상부(17)에서의 촬상의 동작을 제어한다.

본 실시예에 있어서는, 피사체의 동작을 촬상하기 위하여, 촬상 제어부(51)는, 촬상부(17)에 의해 동영상을 촬상시킨다.

출력 제어부(52)는, 합성 화상 기억부(92)에 기억되는 합성 화상(후술하는 전체 합성 화상이나 후술하는 부분 합성 화상)을 표시 출력하도록, 출력부(19)를 제어한다.

화상 취득부(71)는, 촬상부(17)로부터 출력된 동영상 데이터를, 일련의 동작을 나타내는 복수의 화상 데이터인 복수의 단일 화상(정지 화상)으로서 취득 가능한 데이터로서 취득한다. 그 후, 화상 취득부(71)는, 취득한 동영상 데이터를 취득 화상 기억부(91)에 기억시킨다.

화상 특정부(72)는, 단일 화상에 찍힌 피사체의 동작을 특정하는 화상의 특정을 행한다. 또한, 화상 특정부(72)는, 특정된 동작을 단일 화상에 대응시킨다. 상세하게는, 화상 특정부(72)는, 취득 화상 기억부(91)로부터 동영상 데이터를 취득하고, 상기 동영상을 구성하는 단일 화상 내에 찍힌 피사체의 동작을 특정한다. 그리고, 화상 특정부(72)는, 특정된 피사체의 동작을, 대응하는 단일 화상에 대응시키고, 취득 화상 기억부(91)에 기억시킨다. 본 실시예에 있어서는, 화상 특정부(72)는, 전체 동작이 되는 스윙의 동작과, 스윙을 구성하는 동작(예를 들면, (어드레스, 백스윙, 탑, 다운 스윙, 임펙트, 보충 스윙, 피니쉬)을 사람의 동작, 클럽의 동작(특히, 클럽 헤드의 동작)으로부터 특정한다.

피사체의 동작에 속하는 부분 동작을 특정하는 방법에 대해서는, 특별히 한정되지 않지만, 예를 들면, 스윙의 시간으로부터 판단하여 부분 동작을 추정하여 특정하는 방법을 사용해도 되고, 기준이 되는 화상과의 비교에 있어서, 부분 동작을 특정하는 등의 화상 매칭 기술의 방법을 사용해도 된다. 또한, 화상으로부터 클럽이나 클럽 헤드를 추출하고, 추출된 클럽이나 클럽 헤드의 위치 관계로부터, 스윙의 부분 동작을 특정하는 방법을 사용해도 된다.

이와 같은 피사체의 동작에 속하는 부분 동작을 특정하는 방법에 대해서는, 공지된 방법 또는 향후 등장하는 임의의 방법, 예를 들면, 일본 특허출원 공개번호 2008-278386호 공보, 일본 특허출원 공개번호 2009-53786호 공보, 일본 특허 제4415198호 등에 개시되어 있는 방법 등을 채용할 수 있다.

화상 선택부(73)는, 입력부(18)로부터의 화상의 합성 지시에 기초하여, 특정된 단일 화상을 복수 선택한다. 상세하게는, 화상 선택부(73)는, 입력부(18)로부터의, 후술하는 전체 합성 화상이나 후술하는 부분 합성 화상의 합성 지시에 기초하여, 취득 화상 기억부(91)에 기억되는 동영상을 구성하는, 지정된 동작에 대응하는 단일 화상 데이터를 선택한다.

합성 화상 생성부(74)는, 화상 선택부(73)에 의해 선택된 단일 화상을 합성하여, 합성 화상 데이터를 생성한다.

합성 화상 생성부(74)는, 화상 선택부(73)에 의해, 전체 동작으로서의 스윙의 일련의 동작에 대응하는 단일 화상이 선택된 경우에는, 스윙을 찍은 단일 화상을 모두 하나의 정지 화상으로서 합성한 화상(이하, 「전체 합성 화상」이라고 함) 데이터를 생성한다.

또한, 합성 화상 생성부(74)는, 화상 선택부(73)에 의해, 스윙의 부분 동작에 대응하는 단일 화상이 선택된 경우(예를 들면, 다운 스윙)에는, 다운 스윙을 찍은 단일 화상을 모두 하나의 정지 화상으로서 합성한 화상(이하, 「부분 합성 화상」이라고 함) 데이터를 생성한다. 그리고, 본 실시예에 있어서, 부분 합성 화상은, 부분 동작에 대응하는 단일 화상과, 부분 동작과 시간적으로 전후에 위치하는 단일 화상이 포함되어 합성된다. 즉, 다운 스윙의 부분 동작에서, 부분 합성 화상 데이터를 생성하는 경우에는, 다운 스윙의 전후(탑과 다운 스윙 사이의 동작과, 다운 스윙으로부터 임펙트 사이의 동작)의 동작이 찍힌 단일 화상을 합성한다.

또한, 합성 화상 생성부(74)는, 부분 합성 화상의 생성 시에, 동작의 주체가 되는 부분(예를 들면, 클럽 헤드나 볼)만을 합성할 수 있다. 즉, 합성 화상 생성부(74)는, 선택된 동작을 가장 양호하게 나타내는 화상에 동작의 궤도를 알 수 있도록, 상기 동작을 가장 양호하게 나타내는 화상의 전후에 움직임이 있는 부분을 합성할 수 있다.

이와 같이 부분 합성 화상 데이터를 생성함으로써, 번잡하지 않게, 피사체의 동작을 용이하게 파악 가능한 화상을 제공할 수 있다.

즉, 합성 화상 생성부(74)는, 입력부(18)에 의해, 전체 합성 화상의 합성 지시에 기초하여, 전체 합성 화상 데이터를 생성하고, 소정의 동작을 지정하는 것에 의한 부분 합성 화상의 합성 지시에 기초하여, 부분 합성 화상 데이터를 생성한다.

다음으로, 합성 화상 생성 처리에 의해 생성된 전체 합성 화상의 예에 대하여, 도 3을 참조하여 설명한다.

도 3은, 합성 화상 생성 처리에 의해 생성된 전체 합성 화상의 예를 나타내는 모식도이다.

도 3의 예에서는, 스윙을 행하고 있는 대상을 배후로부터 촬상한 동영상 데이터로부터 전체 화상 데이터를 생성하고 있다.

전체 합성 화상은, 스윙의 일련의 동작에 대응하는 동작이 모두 찍힌 화상에 의해 구성되므로, 스윙을 구성하는 부분 동작이 잔상(殘像)처럼 찍힌 화상이 된다. 즉, 전체 합성 화상은, 본 실시예에 있어서는, 동작이 있는 피사체(스윙 대상자(100)나 클럽 헤드(101), 클럽 샤프트(102)를 포함하는 클럽 등) 모두 합성된 화상이 된다.

골프 스윙의 경우, 어드레스로부터 피니쉬까지의 동작 사이의, 어드레스로부터 백스윙과 탑으로부터 다운 스윙을 거쳐 임펙트에 이를 때까지의 클럽의 동작(궤도)이 대략 동일하게 된다.

또한, 스윙을 행하고 있는 대상을 배후로부터 촬상한 경우에는, 어드레스로부터 임펙트까지와 임펙트로부터 피니쉬까지의 동작도, 대략 유사한 궤도를 따르게 된다.

따라서, 전체 합성 화상을 본 사용자는, 스윙 전체 동작의 이미지는 파악할 수 있지만, 부분적 동작이 어느 것에 대응하는지에 대해서는 파악하기 곤란하게 된다.

이를 감안하여, 본 실시예의 촬상 장치(1)는, 부분 합성 화상으로서, 부분적 동작만을 픽업하여 표시 가능한 화상을 생성한다.

다음으로, 합성 화상 생성 처리에 의해 생성된 부분 합성 화상의 예에 대하여, 도 4의 (A)∼(F)를 참조하여 설명한다.

도 4의 (A)∼(F)는, 합성 화상 생성 처리에 의해 생성된 부분 합성 화상의 예를 나타내는 모식도이다.

도 4의 (A)∼(C)는, 스윙 대상자(100)의 배면측으로부터 스윙의 동작을 촬상한 경우의 다운 스윙, 임펙트 및 보충 스윙에 대응한 부분 합성 화상의 예를 나타내는 모식도이다.

도 4의 (A)∼(C)의 예는, 스윙의 동작이 화상의 깊이 방향으로 변화하는 도 3의 예에 비해, 스윙의 동작이, 스윙 대상자(100)의 평면 방향이므로 변화가 파악하기 용이하게 되어 있다.

또한, 도 4의 (A)∼(C)의 예는, 지정한 동작 전후의 동작을 포함하여 합성하고 있고, 주로 클럽 헤드(101) 및 볼(103)만의 동작을 포함하여 합성하고 있다. 즉, 스윙 대상자(100) 자체는, 지정한 동작(예를 들면, 도 4의 (B)의 경우에는 임펙트의 동작)만이 합성된다. 이와 같이 합성함으로써, 부분 동작에서의 흐름의 파악을 가능하게 하면서도, 지정한 부분 동작 자체의 확인도 용이하게 행할 수 있다.

이와 같이 부분 동작만을 합성함으로써, 중복되는 궤도를 그리는 동작의 경우에는, 번잡한 화상이 되지 않는다.

또한, 도 4의 (D)∼(F)는, 스윙 대상자(100)의 정면 측으로부터 스윙 동작을 촬상한 경우의 다운 스윙, 임펙트 및 보충 스윙에 대응한 부분 합성 화상의 예를 나타내는 모식도이다.

도 4의 (D)∼(F)의 예는, 도 4의 (A)∼(C)에 대응하는 부분 동작을 부분 합성 화상으로서 합성하고 있다.

그리고, 도 4의 (D)∼(F)의 예에 있어서는, 주로, 클럽 헤드(101)와 볼(103)의 움직임에 주안(主眼)을 두고 있고, 클럽 헤드(101)와 볼(103) 이외의 궤도는, 가능한 표시시키지 않도록 구성된다. 즉, 도 4의 (D)∼(F)의 예에서는, 스윙 대상자(100), 클럽 샤프트(102) 등은 소정의 하나의 동작 부분만이 최대한 표시되도록 구성되며, 클럽 헤드(101)와 볼(103)은, 부분 동작 모두가 표시되도록 구성된다. 즉, 소정의 동작이 선택된 경우에는, 소정의 동작을 구성하는 하나의 화상에 찍힌 스윙 대상자(100)와 클럽 샤프트(102) 등을 채용하고, 클럽 헤드(101)나 볼(103) 등에 대해서는, 소정의 동작 모두 찍힌 화상을 채용한다. 즉, 스윙 대상자(100)나 클럽 샤프트(102)나 배경은 움직임이 없고, 클럽 헤드(101)나 볼(103)에 대해서는 복수가 합성되어 움직임이 있는 화상이 생성된다.

구체적인 방법으로서는, 각종 공지의 방법이 채용 가능하지만, 예를 들면, 화상 내에 있어서, 스윙 대상자(100), 클럽(클럽 헤드(101), 클럽 샤프트(102)), 볼(103)을 오브젝트로서 추출하고, 스윙 대상자(100)나 클럽 샤프트(102) 등만을 하나의 화상으로부터 채용하고, 그 외의 클럽 헤드(101)나 볼(103) 등을 소정의 동작 범위의 화상으로부터 채용할 수 있다.

또한, 도 4의 (D)∼(F)의 예에 있어서는, 균등한 간격으로, 단일 화상을 합성하였지만, 이것으로 한정되지 않고, 동작의 속도나 지정한 부분에 대응하여, 합성할 화상의 간격을 변경해도 된다.

다음으로, 전체 합성 화상으로부터 부분 합성 화상으로의 표시 전환의 일례를, 도 5를 참조하면서 설명한다.

도 5는, 촬상 장치의 출력부(19)에 표시되는 부분 합성 화상의 선택 화면의 일례를 나타낸 도면이다.

본 실시예의 촬상 장치(1)에 있어서는, 전체 합성 화상을 표시한 후에, 도 5에 나타낸 바와 같은 부분 화상을 선택 가능한 소프트웨어 버튼(B1∼B3)이 출현하고, 소프트웨어 버튼(B1∼B3) 중 어느 하나를 선택하면, 선택된 소프트웨어 버튼(B1∼B3)에 대응하는 부분 합성 화상을 생성하고, 표시하는 것이 가능하도록 되어 있다.

도 5의 예는, 전체 합성 화상 상에 소프트웨어 버튼(「FS」버튼, 「IP」버튼, 「DS」버튼)이 표시된다. 사용자가 어느 하나의 소프트웨어 버튼을 터치 조작하거나 또는 입력부(18)를 조작하여 선택함으로써, 촬상 장치(1)는, 선택된 소프트웨어 버튼에 대응하는 부분 합성 화상을 생성하여, 표시한다.

그리고, 「FS」버튼은, 보충 동작에 대응하는 부분 합성 화상을 생성하고, 표시하는 지시를 행하는 소프트웨어 버튼이다. 「IP」버튼은, 임펙트 동작에 대응하는 부분 합성 화상을 생성하고, 표시하는 지시를 행하는 소프트웨어 버튼이다. 「DS」버튼은, 다운 스윙 동작에 대응하는 부분 합성 화상을 생성하고, 표시하는 지시를 행하는 소프트웨어 버튼이다.

대상을 터치하거나 선택함으로써, 대응하는 동작의 부분 화상을 생성할 수도 있다.

다음으로, 도 6의 흐름도를 참조하여, 도 2의 기능적 구성을 가지는 도 1의 촬상 장치(1)가 실행하는 합성 화상 생성 처리에 대하여 설명한다. 그리고, 본 예에서는, 전체 합성 화상 데이터를 생성하고, 표시한 후에, 보충 스윙의 부분 합성 화상 데이터를 생성하고, 표시하는 예에 대하여 설명한다.

도 6은, 도 2의 기능 구성을 가지는 도 1의 촬상 장치(1)가 실행하는 합성 화상 생성 처리의 흐름의 일례를 나타낸 흐름도이다.

사용자의 입력부(18)에 대한 소정의 조작에 의해, 합성 화상 생성 처리의 개시가 지시되면, 합성 화상 생성 처리가 개시되어, 다음과 같은 처리가 실행된다.

단계 S1에 있어서, 화상 취득부(71)는, 일련의 동작을 나타내는 복수의 화상 데이터로서 동영상 데이터를 취득한다. 상세하게는, 입력부(18)로부터의 촬상 개시의 입력을 받아, 촬상 제어부(51)는, 촬상부(17)에서 촬상을 개시한다. 그리고, 화상 취득부(71)는, 촬상부(17)에 의해 촬상된 동영상 데이터를 취득한다. 또한, 화상 취득부(71)는, 취득한 동영상 데이터를 취득 화상 기억부(91)에 저장한다.

단계 S2에 있어서, 화상 특정부(72)는, 동영상 데이터를 해석한다. 즉, 화상 특정부(72)는, 동영상 데이터를 구성하는 단일 화상 데이터를 해석한다. 단일 화상 데이터의 해석은, 단일 화상 내에 찍힌 피사체의 동작을 특정함으로써 행한다.

구체적으로는, 화상 특정부(72)는, 동영상을 구성하는 단일 화상에 찍힌 피사체의 동작이, 예를 들면, 다운 스윙에 속해 있는 것을 특정한다.

단계 S3에 있어서, 화상 특정부(72)는, 특정 결과와 단일 화상을 대응시킨다.

상세하게는, 화상 특정부(72)는, 단계 S2에서 특정된 부분 동작인 것을 나타내는 데이터와, 단일 화상 데이터를 대응시켜, 취득 화상 기억부(91)에 기억시킨다.

단계 S4에 있어서, 합성 화상 생성부(74)는, 모든 단일 화상을 합성하여, 전체 합성 화상 데이터를 생성한다. 상세하게는, 화상 선택부(73)에 의해 모든 단일 화상이 선택되고, 합성 화상 생성부(74)는, 선택된 단일 화상 모두를 하나의 정지 화상으로서 합성하여, 전체 합성 화상 데이터를 생성한다.

단계 S5에 있어서, 출력부(19)는, 전체 합성 화상을 표시한다. 상세하게는, 출력부(19)는, 출력 제어부(52)에 의해 전체 합성 화상을 표시 출력하도록 제어된다. 그 결과, 출력부(19)에 있어서는, 도 3에 나타낸 바와 같은 동영상을 구성하는 모든 단일 화상을 합성한 전체 합성 화상이 표시된다.

단계 S6에 있어서, 화상 선택부(73)는, 지정된 부분 동작에 대응하는 단일 화상 데이터를 선택한다. 상세하게는, 화상 선택부(73)는, 사용자에 의해 입력부(18)가 조작됨으로써, 도 5에 나타낸 바와 같이 부분 동작이 지정된 경우에는, 취득 화상 기억부(91)에 기억된 지정된 부분 동작에 대응하는 단일 화상 데이터를, 기억된 취득 화상 기억부(91)로부터 선택한다.

이 때, 도 5에 나타낸 예에서는, 「FS」의 소프트웨어 버튼 B1이 터치 조작되어, 「FS」의 소프트웨어 버튼 B1에 대응하는 보충 스윙에 대응하는 단일 화상이 선택된다.

단계 S7에 있어서, 합성 화상 생성부(74)는, 선택된 단일 화상을 합성하여, 부분 합성 화상 데이터를 생성한다. 상세하게는, 화상 선택부(73)에 의해 모든 단일 화상이 선택되고, 합성 화상 생성부(74)는, 선택된 단일 화상 모두를 하나의 정지 화상으로서 합성하여, 전체 합성 화상 데이터를 생성한다.

합성 화상 생성부(74)는, 선택된 보충 스윙에 대응하는 단일 화상을 취득 화상 기억부(91)로부터 취득하여, 보충 스윙에 대응하는 단일 화상 모두를 합성하여, 보충 스윙의 부분 동작에 대응하는 부분 합성 화상 데이터를 생성한다.

이 때, 지정된 보충 스윙에 대응하는 단일 화상 모두를 취득하고, 또한 보충 스윙의 전후의 부분 동작에 대응하는 단일 화상을 취득한다.

단계 S8에 있어서, 출력부(19)는, 부분 합성 화상을 표시한다. 상세하게는, 출력부(19)는, 출력 제어부(52)에 의해 부분 합성 화상을 표시 출력하도록 제어된다. 그 결과, 출력부(19)에 있어서는, 도 4의 (C)에 나타낸 바와 같은, 보충 스윙의 동작에 대응하는 단일 화상을 합성한 부분 합성 화상이 표시된다.

또한, 단계 S6에 있어서, 부분 동작의 지정을 변경함으로써, 예를 들면, 「IP」의 소프트웨어 버튼 B2가 터치 조작됨으로써, 결과적으로, 도 4의 (B)에 나타낸 바와 같은 임펙트 동작에 대응하는 부분 합성 화상이 표시된다.

촬상 방향을 피사체의 정면 측으로부터 함으로써, 예를 들면, 도 4의 (D)와 같은 다운 스윙에 대응하는 동작의 부분 합성 화상, 도 4의 (E)와 같은 임펙트에 대응하는 동작의 부분 합성 화상, 도 4의 (F)와 같은 보충 스윙에 대응하는 동작의 부분 합성 화상 등을 생성하고, 표시 가능하게 된다.

이와 같이 하여, 단계 S8의 처리에서 부분 합성 화상의 표시가 행해지면, 합성 화상 생성 처리는 종료한다.

전술한 바와 같은 합성 화상 생성 처리를 실행하는 촬상 장치(1)는, 화상 취득부(71), 화상 특정부(72), 화상 선택부(73), 및 합성 화상 생성부(74)를 구비한다.

화상 취득부(71)는, 피사체의 동작을 나타내는 복수의 화상 데이터를 취득한다.

화상 특정부(72)는, 화상 취득부(71)에 의해 취득된 복수의 화상으로부터, 피사체의 동작을 구성하는 부분 동작을 특정한다.

화상 선택부(73)는, 화상 특정부(72)에 의한 특정 결과에 기초하여, 복수의 화상 데이터 중에서, 소정의 부분 동작에 대응하는 화상 데이터를 선택한다.

합성 화상 생성부(74)는, 화상 선택부(73)에 의해 선택된 복수의 화상 데이터로부터 하나의 합성 화상을 생성한다.

그러므로, 촬상 장치(1)에 있어서는, 화상 특정부(72)에 의한 특정 결과에 기초하여 선택된 복수의 화상 데이터 중에서, 소정의 부분 동작에 대응하는 화상 데이터로부터 하나의 합성 화상을 생성한다.

따라서, 촬상 장치(1)에 있어서는, 피사체의 동작에서의 특정 부분 동작을 용이하게 파악하는 화상을 생성할 수 있다. 또한, 생성된 화상은, 특정 부분 동작 만 포함되므로, 번잡한 화상이 되지 않는다.

또한, 화상 선택부(73)는, 소정의 부분 동작에 대응하는 화상 데이터뿐만 아니라, 상기 소정의 부분 동작의, 적어도 전 또는 후 중 어느 하나의 동작에 대응하는 화상 데이터를 선택한다.

그러므로, 촬상 장치(1)에 있어서는, 단지 소정의 부분 동작에 대응하는 부분의 전 또는 후의 동작도 포함하여 화상을 합성하므로, 소정의 부분 동작에 이를 때까지의 궤적이나 소정의 부분의 그 이후의 궤적도 포함한 화상이 되므로, 부분 동작의 궤적을 용이하게 파악할 수 있다.

그리고, 본 발명은, 전술한 실시예로 한정되지 않고, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

전술한 실시예에서는, 촬상 장치(1)에 의해 촬상한 피사체의 동작을 포함한 복수의 화상을 동영상 데이터로서, 화상 취득부(71)에 의해 취득하였으나, 이것으로 한정되지 않는다. 취득되는 화상 데이터는, 예를 들면, 일련의 동작을 포함한 복수의 화상이면 되며, 동영상으로 한정되지 않고, 정지 화상일 수도 있고, 또한, 촬상부에 의해 촬상된 화상이 아니라 외부로부터 취득한 화상일 수도 있다.

또한, 전술한 실시예에서는, 합성 화상(전체 합성 화상 및 부분 합성 화상)은, 동작의 속도에 관계없이 합성하고 있지만 이것으로 한정되지 않는다. 예를 들면, 합성 화상은, 동작이 늦은 부분에 대해서는, 화상을 솎아내 합성하거나, 동작이 빠른 부분에 대해서는 캡처한 화상과 화상 사이를 보간하도록 구성할 수도 있다. 이와 같이 구성함으로써, 부분 동작의 궤도를 쉽게 파악할 수 있는 화상을 제공할 수 있다.

또한, 전술한 실시예에서는, 일련의 동작으로서, 골프의 스윙을 예로 들어 설명하였으나 이것으로 한정되지 않는다. 예를 들면, 일련의 동작으로서, 특히 왕복 운동을 포함한 동작이 바람직하고, 야구, 테니스, 야구 등의 구기 운동이나, 검도나 유도 등의 무술 동작으로도 한정되지 않으며, 또한, 일련의 규칙으로 정해진 동작으로도 한정되지 않는다. 일련의 움직임의 일 부분 동작을 추출함으로써, 합성한 화상에 있어서 일 부분 동작이 용이하게 파악할 수 있게 되거나, 화상 자체가 번잡하지 않으면 된다.

또한, 전술한 실시예에서는, 본 발명이 적용되는 촬상 장치(1)는, 디지털 카메라를 예로 들어 설명하였으나, 특별히 이것으로 한정되지 않는다.

예를 들면, 본 발명은, 합성 화상 생성 기능을 가지는 전자 기기 일반에 적용할 수 있다. 구체적으로는, 예를 들면, 본 발명은, 노트북형 퍼스널 컴퓨터, 프린터, 텔레비전 수상기, 비디오 카메라, 휴대형 네비게이션 장치, 휴대 전화기, 휴대용 게임기 등에 적용할 수 있다.

전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

환언하면, 도 2의 기능적 구성은 예시에 지나지 않고, 특별히 한정되지 않는다. 즉, 전술한 일련의 처리를 전체적으로 실행할 수 있는 기능이 촬상 장치(1)에 구비되어 있으면 족하고, 이 기능을 실현하기 위해 어떠한 기능 블록을 사용하는지에 대해서는 도 2의 예로 특별히 한정되지 않는다.

또한, 하나의 기능 블록은, 하드웨어 단체(單體)로 구성해도 되고, 소프트웨어 단체로 구성해도 되며, 이들의 조합에 의해 구성해도 된다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다.

컴퓨터는, 전용 하드웨어에 내장되어 있는 컴퓨터라도 된다. 또한, 컴퓨터는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한 컴퓨터, 예를 들면, 범용 퍼스널 컴퓨터라도 된다.

이와 같은 프로그램을 포함하는 기록 매체는, 사용자에게 프로그램을 제공하기 위해 장치 본체와는 별도로 배포되는 도 1의 이동식 매체(31)에 의해 구성될 뿐만 아니라, 장치 본체에 사전에 내장된 상태로 사용자에게 제공되는 기록 매체 등으로 구성된다. 이동식 매체(31)는, 예를 들면, 자기 디스크(플로피디스크를 포함함), 광디스크, 또는 광자기 디스크 등에 의해 구성된다. 광디스크는, 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk) 등에 의해 구성된다. 광자기 디스크는, MD(Mini-Disk) 등에 의해 구성된다. 또한, 장치 본체에 사전에 내장된 상태로 사용자에게 제공되는 기록 매체는, 예를 들면, 프로그램이 기록되어 있는 도 1의 ROM(12)이나, 도 1의 기억부(20)에 포함되는 하드디스크 등으로 구성된다.

그리고, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 단계는, 그 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

이상, 본 발명의 몇 가지 실시예에 대하여 설명하였으나, 이들 실시예는, 예시에 지나지 않으며, 본 발명의 기술적 범위를 한정하는 것은 아니다. 본 발명은 그 외의 다양한 실시예를 가질 수 있으며, 또한 본 발명의 요지를 벗어나지 않는 범위에서, 생략이나 치환 등 각종 변경을 행할 수 있다. 이들 실시예나 그 변형은, 본 명세서 등에 기재된 발명의 범위나 요지에 포함되며, 또한 특허 청구의 범위에 기재된 발명과 그 균등한 범위에 포함된다.

Claims (7)

1. 피사체의 일련의 동작을 나타내는 복수의 화상을 취득하는 화상 취득부;
   상기 화상 취득부에 의해 취득된 상기 복수의 화상으로부터, 상기 피사체의 일련의 동작을 구성하는 복수의 부분 동작으로부터 소정의 부분 동작을 특정하는 화상 특정부;
   상기 화상 특정부에 의한 특정 결과에 기초하여, 상기 복수의 화상 중에서, 상기 소정의 부분 동작에 대응하는 복수의 화상을 선택하는 화상 선택부; 및
   상기 화상 선택부에 의해 선택된 복수의 화상을 합성하는 합성 수단
   을 포함하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 화상 선택부는, 상기 소정의 부분 동작에 대응하는 화상에 더하여, 상기 소정의 부분 동작의 전후 중 어느 하나의 동작에 대응하는 화상 데이터를 선택하는, 화상 처리 장치.
3. 제1항 또는 제2항에 있어서,
   상기 합성 수단은, 상기 화상 선택부에 의해 선택된 복수의 화상 중 단일 화상에 상기 단일 화상 이외의 화상의 부분 영역을 합성하는, 화상 처리 장치.
4. 제1항에 있어서,
   상기 화상 취득부는, 상기 피사체의 일련의 동작으로서, 골프 스윙이 촬상된 화상을 취득하는, 화상 처리 장치.
5. 제1항에 있어서,
   상기 화상 취득부는, 상기 복수의 화상을 동영상으로 취득하는, 화상 처리 장치.
6. 화상 처리 장치가 실행하는 화상 처리 방법으로서,
   피사체의 일련의 동작을 나타내는 복수의 화상을 취득하는 화상 취득 단계;
   상기 화상 취득 단계에 의해 취득된 상기 복수의 화상으로부터, 상기 피사체의 일련의 동작을 구성하는 복수의 부분 동작으로부터 소정의 부분 동작을 특정하는 화상 특정 단계;
   상기 화상 특정 단계에 의한 특정 결과에 기초하여, 상기 복수의 화상 중에서, 상기 소정의 부분 동작에 대응하는 복수의 화상을 선택하는 화상 선택 단계; 및
   상기 화상 선택 단계에 의해 선택된 복수의 화상을 합성하는 합성 단계
   를 포함하는 화상 처리 방법.
7. 컴퓨터가 판독 가능한 프로그램을 기록한 기록 매체로서,
   피사체의 일련의 동작을 나타내는 복수의 화상을 취득하는 화상 취득부;
   상기 화상 취득부에 의해 취득된 상기 복수의 화상으로부터, 상기 피사체의 일련의 동작을 구성하는 복수의 부분 동작으로부터 소정의 부분 동작을 특정하는 화상 특정부;
   상기 화상 특정부에 의한 특정 결과에 기초하여, 상기 복수의 화상 중에서, 상기 소정의 부분 동작에 대응하는 복수의 화상을 선택하는 화상 선택부; 및
   상기 화상 선택부에 의해 선택된 복수의 화상을 합성하는 합성 수단
   으로서의 기능을 컴퓨터에 기능시키는 프로그램을 기록한, 기록 매체.

Images