KR101108634B1 - 화상 처리 장치 및 화상 처리 방법 및 기록 매체 - Google Patents

Abstract

본 발명은 추적점을 확실하게 추적할 수 있도록 하는 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다. 프레임 n-1에 있어서, 사람의 얼굴(504)의 오른쪽 눈(502)이 추적점으로서 추적되어 있는 경우와, 프레임 n의 경우와 같이, 추적점(501)이 나타나는 경우에는, 상기 추적점(50)이 계속해서 추적된다. 프레임 n+1과 같이, 추적 대상의 얼굴(504)이 회전함으로써, 추적점(501)으로서의 오른쪽 눈(502)이 안 보이게 되었을 경우에는, 오른쪽 눈(502)을 가지는 대상으로서의 얼굴(504)의 다른 점인 왼쪽 눈(503)에 추적점을 환승시킨다. 본 발명은 감시 카메라 시스템에 적용할 수 있다.

추적점, 화상 처리, 기록 매체, 프로그램

Description

화상 처리 장치 및 화상 처리 방법 및 기록 매체 {IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD AND RECORDING MEDIUM}

본 발명은 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이며, 특히, 시시각각으로 변화하는 동화상 내의 원하는 점을 확실하게 추적할 수 있도록 한, 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다.

동화상의 원하는 점을 자동적으로 추적하는 방법이 여러 가지 제안되어 있다.

예를 들면, 특허 문헌 1에는, 추적 대상에 대응하는 하나의 블록에 관한 모션 벡터를 사용하여 추적을 행하는 것이 제안되어 있다.

특허 문헌 2에는, 추적 대상에 관한 영역의 추정을 행하고, 영역의 모션의 추정 결과에 따라 영역을 추적하는 것이 제안되어 있다.

특허 문헌 1: 일본국 특개평 6-143235호 공보

특허 문헌 2: 일본국 특개평 5-304065호

발명의 개시

발명이 해결하려고 하는 과제

그러나, 특허 문헌 1에 기재된 기술에 있어서는, 1개의 모션 벡터를 사용하여 추적을 행하도록 하고 있다. 그러므로 비교적 견고함이 부족하다는 과제가 있었다. 또, 추적 대상을 포함하는 화상이 회전하는 것으로 인하여, 추적 대상이 사용자로부터 안 보이게 되는 상태로 되었을 경우, 그 후, 추적점이 다시 보이는 상태로 되었다고 해도, 그 추적점도는 더 이상 추적할 수 없게 되는 문제가 있었다.

특허 문헌 2의 기술에 있어서는, 영역이 이용된다. 그래서 견고성은 향상된다. 그러나, 견고성을 향상시키기 위해 영역을 너무 넓게 하면, 예를 들면, 홈 비디오로 촬영한 화상 내의 아이의 얼굴을 추적해서 줌인 디스플레이하고 싶은 경우에, 면적이 넓은 아이의 몸을 추적해서 줌인 디스플레이해 버리게 된다.

또, 양쪽 기술 모두에서, 추적 대상이 다른 물체에 의해 일시적으로 숨어 버릴 폐색(occlusion)이 발생하거나 씬 체인지 등에 의해 추적 대상이 일시적으로 디스플레이되지 않게 되는 경우, 견고한 추적을 행하는 것이 곤란하다는 과제가 있었다.

본 발명은 이와 같은 상황을 감안하여 이루어진 것이며, 물체가 회전하거나, 폐색이 발생하거나, 씬 체인지가 발생한 경우에도, 추적점을 확실하게 추적할 수 있도록 하는 것이다.

과제를 해결하기 위한 수단

본 발명의 화상 처리 장치는, 시간적으로 다음의 처리 단위의 화상에서의 추적점을 나타내는 제2 점의 위치를 추정하되, 상기 제2 점은 시간적으로 이전의 처리 단위의 화상의 추적점을 나타내는 제1 점에 대응하는, 상기 제2 점의 위치를 추정하는 위치 추정 수단;

상기 제2 점의 위치가 추정 가능하지 않은 경우, 상기 제1 점의 후보로서의 추정점을 생성하는 생성 수단과, 상기 다음의 처리 단위에서의 상기 제2 점의 위치가 추정 가능한 경우, 상기 위치 추정 수단의 추정 결과에 기초하여 상기 다음의 처리 단위에서의 상기 제2 점을 결정하는 결정 수단과, 상기 제2 점의 위치가 추정 가능하지 않은 경우, 상기 추정점 중에서 상기 제1 점을 선택하는 선택 수단을 포함하는 것을 특징으로 한다.

상기 처리 단위는 프레임으로 하도록 할 수 있다.

상기 위치 추정 수단은, 또한 위치의 추정의 정확도를 연산하고, 연산된 정확도가 기준값보다 큰 경우, 제2 점의 위치가 추정 가능한 것으로 판정하도록 할 수 있다.

상기 위치 추정 수단은, 다음의 처리 단위에서의 제2 점의 위치가 추정 가능하지 않은 경우, 선택 수단에 의해 선택된 제1 점에 따라 제2 점의 위치를 추정하도록 할 수 있다.

상기 위치 추정 수단은, 제2 점의 위치가 추정 가능한 경우에, 제2 점의 위치를 새로운 제1 점으로서 다음의 처리 단위의 화상 상의 추적점의 위치의 추정을 행하도록 할 수 있다.

상기 생성 수단은, 제1 점과 동일한 대상물에 속하는 1개 이상의 점의 집합을 이전의 처리 단위, 또는 상기 이전의 처리 단위보다 더 이전의 처리 단위에서의 대상 영역으로서 추정하는 영역 추정 수단과, 대상 영역에 따라 추정점을 생성하는 추정점생성 수단을 가지도록 할 수 있다.

상기 영역 추정 수단은, 추정 대상인 대상 영역에 적어도 중첩하는 위치를 예측에 의해 구하고, 예측된 위치로서, 대상 영역을 추정하는 처리 단위에서의 추적점을 포함하는 위치에 영역 추정 범위를 설정하고, 설정한 영역 추정 범위 중 샘플점을 설정하고, 샘플점 중에서, 동일한 모션을 가지는 샘플점의 집합으로 이루어지는 영역으로서 가장 큰 면적을 가지는 샘플점의 집합으로 이루어지는 영역을 대상 영역으로 추정하도록 할 수 있다.

상기 영역 추정 범위의 형상은 고정될 수 있다. 상기 영역 추정 범위의 형성은 가변될 수 있다.

상기 영역 추정 수단은, 이전의 처리 단위보다 더 이전의 처리 단위에서의 대상 영역을 추정하고, 생성 수단은, 대상 영역의 이전의 처리 단위에서의 추정된 대상 영역 중의 점을 추정점으로서 생성하도록 할 수 있다.

상기 영역 추정 수단은, 이전의 처리 단위에서의 대상 영역을 추정하고, 생성 수단은, 대상 영역을 구성하는 점을 추정점으로서 생성하도록 할 수 있다.

상기 영역 추정 수단은, 제1 점에 인접하면서 상기 제1 점의 화소값과 유사한 화소값을 가지는 점 및 그 인접하는 점에 인접하는 점을, 대상 영역으로 추정하도록 할 수 있다.

상기 영역 추정 수단은, 이전의 처리 단위보다 더 이전의 처리 단위에서의 제1 점을 포함하는 소정의 크기의 영역 내의 샘플점을 추출하고, 샘플점 중에서, 동일한 모션을 가지는 샘플점의 영역으로서 가장 큰 면적의 영역을, 그 동일한 모션의 양만큼 시프트한 이전의 처리 단위 위의 점을 포함하는 영역을 대상 영역으로 추정하도록 할 수 있다.

템플릿을 생성하는 템플릿 생성 수단과, 추정점에 기초하여 제2 점을 결정할 수가 없는 경우, 다음의 처리 단위에서의 소정의 영역을 나타내는 블록과, 그 블록의 처리 단위보다 하나 이상의 처리 단위만큼의 이전의 처리 단위의 템플릿의 소정의 영역을 나타내는 블록과의 상관을 산출하는 상관 산출 수단을 더 포함하고, 상관 산출 수단에 의해 산출된 상관에 기초하여 상관이 높다고 판정된 경우, 적어도 결정 수단을 사용하여 추적점을 검출하도록 할 수 있다.

상기 템플릿 생성 수단은 추적점 주변의 소정의 영역을 템플릿으로 하도록 결정할 수 있다.

상기 템플릿 생성 수단은 대상 영역에 기초하여 템플릿을 생성하도록 할 수 있다.

상기 상관 산출 수단에 의해 산출된 상관에 기초하여 상관이 높다고 판정된 경우, 다음의 처리 단위에서의 소정의 영역을 나타내는 블록보다 하나 이상의 처리 단위만큼의 이전의 처리 단위에서의 템플릿의 소정의 영역을 나타내는 블록과 추적점과의 관계와 상관이 높다고 판정된 블록의 위치에 따라 제2 점을 결정하도록 할 수 있다.

상기 템플릿 생성 수단은, 대상 영역 중의 샘플점 및 상기 샘플점의 주위의 소정의 영역으로 이루어지는 영역을 템플릿 로하도록 할 수 있다.

상기 상관 산출 수단은, 다음의 처리 단위에서의 블록과, 그 블록의 처리 단위보다 하나 이상의 처리 단위만큼의 이전의 처리 단위의 템플릿의 블록과의 오차를 연산함으로써, 상관을 산출하도록 할 수 있다.

씬 체인지를 검출하는 검출 수단을 더 포함하고, 위치 추정 수단과 선택 수단은, 각각의 처리를, 소정의 조건에 기초하여 종료하고, 추정점 중 제2 점을 선택할 수 없을 때 씬 체인지의 유무에 따라 조건을 변경하도록 할 수 있다.

상기 결정 수단은, 시간적으로 이전의 처리에서의 제1 점을 포함하는 적어도 1개 이상의 화소를 나타내는 주목 화소와 시간적으로 다음의 처리 단위에서의 적어도 하나의 화소를 나타내고 상기 주목 화소의 모션 벡터에 기초하여 규정되는 대응하는 화소와의 상관을 나타내는 평가값을 산출하는 평가값 산출 수단과, 주목 화소와 관련해서 화소값의 변동을 나타내는 변동값을 산출하는 변동값 산출 수단과, 상기 모션 벡터의 정확도를 연산하는 정확도 연산 수단을 더 포함할 수 있다.

상기 주목 화소의 화소수와 대응 화소의 화소수는 같게 할 수 있다.

상기 변동값은, 공간 방향에서의 화소값의 변동을 나타내는 값이 될 수 있다. 상기 변동값은, 분산도와 동적 범위 중 하나가 될 수 있다. 상기 처리 단위는 프레임과 필드 중 하나가 될 수 있다.

상기 정확도 연산 수단은, 평가값을 변동값으로 정규화한 값에 따라 모션 벡터의 정확도를 연산하도록 할 수 있다.

상기 정확도 연산 수단은, 변동값이 소정의 임계값보다 큰 경우에는, 평가값을 변동값으로 정규화한 값을 모션 벡터의 정확도로 하고, 변동값이 임계값보다 작은 경우에는, 모션 벡터의 정확도가 낮은 것을 나타내는 고정값을 선택하도록 할 수 있다.

상기 평가값 산출 수단은, 주목 화소를 포함하는 블록과, 대응 화소를 포함하는 블록의 화소의 차분의 절대값의 합으로서 평가값을 연산하도록 할 수 있다.

상기 변동값 산출 수단은, 주목 화소를 포함하는 블록에 있어서, 주목 화소와 상기 주목 화소에 인접하는 인접 화소와의 차분의 절대값의 합을 인접 화소의 수로 나누어 얻어진 값의 합을 변동값으로 연산하도록 할 수 있다.

상기 정확도 연산 수단은, 변동값을 제1 기준값과 비교하는 비교 수단과, 제2 기준값과 평가값을 변동값으로 정규화한 값과의 차분을 연산하는 차분 연산 수단과, 비교 수단에 의한 비교 결과와 차분 연산 수단에 의해 연산된 차분에 기초하여 모션 벡터의 정확도를 연산하고, 출력하는 출력 수단을 구비하도록 할 수 있다.

입력 화상으로부터 모션 벡터를 검출하고, 평가값 산출 수단에 공급하는 모션 벡터 검출 수단과, 모션 벡터 검출 수단에 의해 검출된 모션 벡터에 따라 입력 화상을 모션 보상하는 모션 보상 수단과, 모션 보상 수단에 의해 모션 보상된 화상과 모션 보정되어 있지 않은 화상 중 하나를, 모션 벡터의 정확도에 기초하여 선택하는 선택 수단과, 선택 수단에 의해 선택된 화상을 부호화하는 부호화 수단을 더 포함하도록 할 수 있다.

상기 모션 벡터의 정확도로 가중된 빈도 분포를 산출하는 빈도 분포 산출 수단과, 빈도 분포 산출 수단에 의해 산출된 빈도 분포의 최대값을 검출하고, 검출된 최대값에 기초하여 배경 모션을 검출하는 최대값 검출 수단을 더 포함하도록 할 수 있다.

상기 모션 벡터의 정확도의 처리 단위에서의 평균값을 산출하는 평균값 산출 수단과, 평균값 산출 수단에 의해 산출된 평균값을 기준값과 비교하여, 그 비교 결과에 따라 씬 체인지의 유무를 판정하는 판정 수단을 더 포함하도록 할 수 있다.

상기 평균값 산출 수단은, 하나의 처리 단위에 대하여 하나의 평균값을 연산하도록 할 수 있다.

화상 내의 이동하는 대상의 제1 점을 검출하는 제1 점 검출 수단과, 추정 결과에 기초하여 화상 내의 대상의 주위의 소정의 크기의 보정 영역을 설정하는 보정 영역 설정 수단과, 화상 내의 보정 영역 내의 화상을 수정하는 보정 수단과, 보정 영역 내의 보정 수단에 의해 보정된 화상의 디스플레이를 제어하는 디스플레이 제어 수단을 더 포함하도록 할 수 있다.

상기 보정 수단은 화상의 흐릿함을 보정하도록 할 수 있다.

상기 보정 수단은, 보정 영역 내의 화상을 식별하는 제어 신호와, 화상의 흐릿함의 정도를 나타내는 파라미터를 공급하는 공급 수단과, 제어 신호에 기초하여 식별된 보정 영역 내의 화상의 특징을 검출하고, 검출된 특징을 나타내는 특징 코드를 출력하는 특징 검출 수단과, 화상의 흐릿함의 정도를 나타내는 파라미터와 특징 검출 수단에 의해 출력된 특징 코드에 대응하는 계수를 저장하는 저장 수단과, 저장 수단으로부터, 파라미터와 특징 검출 수단에 의해 출력된 특징 코드에 대응하는 계수를 판독하는 판독 수단과, 판독 수단에 의해 판독된 계수에 기초하여 입력 화상의 화소의 값에 대하여 내적 연산을 행하는 내적 연산 수단과, 내적 연산 수단에 의한 연산 결과와 입력 화상의 화소의 값을 선택하여 출력하는 선택 출력 수단을 포함하고, 보정 영역 내의 화상의 흐릿함을 제거하도록 수정하도록 할 수 있다.

상기 제1 점 검출수단은, 입력 화상 중, 내적 연산을 행하는 화소의 주위의 소정의 제1 영역에 포함되는 복수의 화소를 추출하는 제1 추출 수단과, 수직 또는 수평의 복수의 방향으로 제1 영역에 연속하는 복수의 제2 영역 각각에서 복수의 화소를 추출하는 제2 추출 수단과, 제1 추출 수단에 의해 추출된 화소와 제2 추출 수단에 의해 추출된 화소에 있어서, 대응하는 화소의 값의 차분의 절대값의 합을 구하여, 복수의 블록 차분을 연산하는 블록 차분 연산 수단과, 블록 차분이 소정의 임계값보다 큰지를 판정하는 차분 판정 수단을 포함하도록 할 수 있다.

상기 파라미터는, 흐릿한 화상의 화소와 흐릿하지 않은 화상의 화소의 관계를 나타내는 모델 식에서의 가우스 함수의 파라미터이도록 할 수 있다.

상기 저장 수단에 의해 저장되는 계수는, 모델 식의 역행렬을 연산함으로써 구해진 계수이도록 할 수 있다.

상기 선택 출력 수단은, 내적 연산 수단에 의해 내적 연산을 한 복수의 화소를 추출하는 제1 추출 수단과, 제1 추출 수단에 의해 추출된 복수의 화소의 분산의 정도를 나타내는 분산도를 연산하는 분산 연산 수단과, 분산 연산 수단에 의해 연산된 분산도가 소정의 임계값보다 큰지를 판정하는 분산 판정 수단을 구비하도록 할 수 있다.

상기 선택 출력 수단은, 분산 판정 수단의 판정 결과에 따라 출력하는 화소의 값을, 내적 연산 수단에 의한 연산 결과 및 입력 화상의 화소의 값 중 어느 하나로부터 선택하는 화소 선택 수단을 더 포함하도록 할 수 있다.

본 발명에 따르면, 화상 처리 방법은, 시간적으로 다음의 처리 단위의 화상에서의 추적점을 나타내는 제2 점의 위치를 추정하되, 상기 제2 점은 시간적으로 이전의 처리 단위의 화상의 추적점을 나타내는 제1 점에 대응하는, 상기 제2 점의 위치를 추정하는 추정 단계와, 상기 제2 점의 위치가 추정 가능하지 않은 경우, 상기 제1 점의 후보로서의 추정점을 생성하는 생성 단계와, 상기 다음의 처리 단위에서의 상기 제2 점의 위치가 추정 가능한 경우, 상기 위치 추정 단계의 추정 결과에 기초하여 상기 다음의 처리 단위에서의 상기 제2 점을 결정하는 결정 단계와, 상기 제2 점의 위치가 추정 가능하지 않은 경우, 상기 추정점 중에서 상기 제1 점을 선택하는 선택 단계를 포함하는 것을 특징으로 한다.

상기 결정 스텝의 처리에는, 상기 시간적으로 이전의 처리 단위에서의 상기 제1 점을 포함하는 적어도 하나의 화소를 나타내는 주목 화소와, 상기 시간적으로 다음의 처리 단위에서의 적어도 하나의 화소를 나타내고 상기 주목 화소의 모션 벡터에 기초하여 규정되는 대응 화소와의 상관을 나타내는 평가값을 산출하는 평가값 산출 단계와, 상기 주목 화소와 관련해서 화소값의 변동을 나타내는 변동값을 산출하는 변동값 산출 단계와, 상기 모션 벡터의 정확도를 연산하는 정확도 연산 단계가 포함되도록 할 수 있다.

화상 내의 이동하는 대상에 있어서의 제1 점을 검출하는 제1 점 검출 스텝과, 추정 결과에 따라 화상 중에 대상의 주위에 미리 설정된 크기의 보정 영역을 설정하는 보정 영역 설정 단계와, 화상 내의 보정 영역 내의 화상을 보정하는 보정 단계와, 보정 영역 내의 상기 보정 단계의 처리에 의해 보정된 화상의 디스플레이를 제어하는 디스플레이 제어 단계를 더 포함하도록 할 수 있다.

본 발명에 의하면, 컴퓨터가 판독 가능한 기록 매체의 프로그램은, 상기 컴퓨터가 판독 가능한 프로그램은, 시간적으로 다음의 처리 단위의 화상에서의 추적점을 나타내는 제2 점의 위치를 추정하되, 상기 제2 점은 시간적으로 이전의 처리 단위의 화상의 추적점을 나타내는 제1 점에 대응하는, 상기 제2 점의 위치를 추정하는 추정 단계와, 상기 제2 점의 위치가 추정 가능하지 않은 경우, 상기 제1 점의 후보로서의 추정점을 생성하는 생성 단계와, 상기 다음의 처리 단위에서의 상기 제2 점의 위치가 추정 가능한 경우, 상기 위치 추정 단계의 추정 결과에 기초하여 상기 다음의 처리 단위에서의 상기 제2 점을 결정하는 결정 단계와, 상기 제2 점의 위치가 추정 가능하지 않은 경우, 상기 추정점 중에서 상기 제1 점을 선택하는 선택 단계를 포함하는 것을 특징으로 한다.

본 발명에 의하면, 상기 컴퓨터가 판독 가능한 프로그램은, 시간적으로 다음의 처리 단위의 화상에서의 추적점을 나타내는 제2 점의 위치를 추정하되, 상기 제2 점은 시간적으로 이전의 처리 단위의 화상의 추적점을 나타내는 제1 점에 대응하는, 상기 제2 점의 위치를 추정하는 추정 단계와, 상기 제2 점의 위치가 추정 가능하지 않은 경우, 상기 제1 점의 후보로서의 추정점을 생성하는 생성 단계와, 상기 다음의 처리 단위에서의 상기 제2 점의 위치가 추정 가능한 경우, 상기 위치 추정 단계의 추정 결과에 기초하여 상기 다음의 처리 단위에서의 상기 제2 점을 결정하는 결정 단계와, 상기 제2 점의 위치가 추정 가능하지 않은 경우, 상기 추정점 중에서 상기 제1 점을 선택하는 선택 단계를 컴퓨터로 하여금 실행하게 하는 것을 특징으로 한다.

본 발명에 의하면, 다음의 처리 단위에서의 제2 점의 위치가 추정 가능한 경우, 위치 추정 결과에 따라 다음의 처리 단위에서의 제2 점이 결정되고, 다음의 처리 단위에서의 제2 점의 위치가 추정 가능하지 않은 경우, 생성된 추정점 중 제1 점이 선택된다.

발명의 효과

본 발명에 의하면, 화상 상의 추적점을 추적하는 것이 가능해진다. 특히, 추적에 있어서의 견고성을 향상시킬 수 있다. 그 결과, 대상물이 회전하여 추적점이 일시적으로 안 보이게 되거나 폐색이나 씬 체인지가 발생한 경우 등에 있어서도, 추적점을 확실하게 추적하는 것이 가능해진다.

도 1은 본 발명을 적용한 대상 추적 장치의 구성예를 나타내는 블록도이다.

도 2는 도 1의 대상추적 장치의 추적 처리를 설명하는 플로차트이다.

도 3은 추적 대상이 회전하는 경우의 추적을 설명하는 도면이다.

도 4는 폐색이 일어나는 경우의 추적을 설명하는 도면이다.

도 5는 씬 체인지가 일어나는 경우의 추적을 설명하는 도면이다.

도 6은 도 2의 스텝 S1의 통상 처리를 설명하는 플로차트이다.

도 7은 도 6의 스텝 S21의 통상 처리의 초기화 처리를 설명하는 플로차트이다.

도 8은 환승 후보 추출 처리를 설명하는 도면이다.

도 9는 인 도 1의 영역 추정 관련 처리부의 구성예를 나타내는 블록도이다.

도 10은 도 6의 스텝 S26의 영역 추정 관련 처리를 설명하는 플로차트이다.

도 11은 도 10의 스텝 S61의 영역 추정 처리를 설명하는 플로차트이다.

도 12a는 도 11의 스텝 S81에 있어서의 샘플점을 결정하는 처리를 설명하는 도면이다.

도 12b는 도 11의 스텝 S81에 있어서의 샘플점을 결정하는 처리를 설명하는 도면이다.

도 13a는 도 11의 스텝 S81에 있어서의 샘플점을 결정하는 처리를 설명하는 도면이다.

도 13b는 도 11의 스텝 S81에 있어서의 샘플점을 결정하는 처리를 설명하는 도면이다.

도 14a는 도 11의 스텝 S81에 있어서의 샘플점을 결정하는 처리를 설명하는 도면이다.

도 14b는 도 11의 스텝 S81에 있어서의 샘플점을 결정하는 처리를 설명하는 도면이다.

도 15는 도 11의 스텝 S81에 있어서의 샘플점을 결정하는 처리를 설명하는 도면이다

도 16은 도 11의 스텝 S86의 영역 추정 범위의 갱신 처리를 설명하는 플로차트이다.

도 17a는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 17b는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 17c는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 18a는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 18b는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 18c는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 19a는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 19b는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 19c는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 20a는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 20b는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 20c는 영역 추정 범위의 갱신을 설명하는 도면이다.

도 21은 도 11의 스텝 S86의 영역 추정 범위의 갱신 처리의 다른 예를 설명하는 플로차트이다.

도 22a는 영역 추정 범위의 갱신 처리를 설명하는 도면이다.

도 22b는 영역 추정 범위의 갱신 처리를 설명하는 도면이다.

도 22c는 영역 추정 범위의 갱신 처리를 설명하는 도면이다.

도 22d는 영역 추정 범위의 갱신 처리를 설명하는 도면이다.

도 23은 도 10의 스텝 S62의 환승 후보 추출 처리를 설명하는 플로 차트이다

도 24는 도 10의 스텝 S63의 템플릿 생성 처리를 설명하는 플로 차트이다

도 25는 템플릿 생성을 설명하는 도면이다.

도 26은 템플릿 생성을 설명하는 도면이다.

도 27은 템플릿과 추적점의 위치 관계를 설명하는 도면이다.

도 28은 도 1의 영역 추정 관련 처리부의 다른 구성예를 나타내는 블록도이다.

도 29는 도 10의 스텝 S61의 영역 추정 처리의 다른 예를 설명하는 플로차트이다.

도 30a는 동색 영역의 성장을 설명하는 도면이다.

도 30b는 동색 영역의 성장을 설명하는 도면이다.

도 30c는 동색 영역의 성장을 설명하는 도면이다.

도 31은 추적점의 동색 영역과 영역 추정 결과를 설명하는 도면이다.

도 32는 도 10의 스텝 S62에서 환승 후보 추출 처리의 다른 예를 설명하는 플로차트이다.

도 33은 도 2의 스텝 S2의 예외 처리를 설명하는 플로차트이다.

도 34는 도 33의 스텝 S3O1의 예외 처리의 초기화 처리를 설명하는 플로차트이다.

도 35는 템플릿의 선택을 설명하는 도면이다.

도 36은 탐색범위의 설정을 설명하는 도면이다.

도 37은 도 33의 스텝 S305의 계속 판정 처리를 설명하는 플로차트이다.

도 38은 도 2의 스텝 S1의 통상 처리의 다른 예를 설명하는 플로차트이다.

도 39는 도 10의 스텝 S61의 영역 추정 처리의 다른 예를 설명하는 플로차트 이다.

도 40은 도 10의 스텝 S62의 환승 후보 추출 처리의 다른 예를 설명하는 플로차트이다.

도 41은 도 6의 통상 처리를 행한 경우의 환승 후보를 설명하는 도면이다.

도 42는 도 38의 통상 처리를 행한 경우에서의 환승 후보를 설명하는 도면이다.

도 43은 도 1의 모션 추정부의 구성예를 나타내는 블록도이다.

도 44는 모션 연산 처리를 설명하기 위한 플로차트이다.

도 45는 프레임의 시간적인 흐름을 설고하기 위한 도면이다.

도 46은 프레임의 블록을 설명하기 위한 도면이다.

도 47은 블록 매칭법을 설명하기 위한 도면이다.

도 48는 모션 벡터를 설명하기 위한 도면이다.

도 49는 모션 벡터 정확도 연산 처리를 설명하기 위한 플로차트이다.

도 50은 평가값의 산출 방법을 설명하기 위한 도면이다.

도 51은 액티비티 산출 처리를 설명하는 도면이다.

도 52는 액티비티의 산출 방법을 설명하기 위한 도면이다.

도 53a는 블록 액티비티의 산출 방법을 설명하기 위한 도면이다.

도 53b는 블록 액티비티의 산출 방법을 설명하기 위한 도면이다.

도 53c는 블록 액티비티의 산출 방법을 설명하기 위한 도면이다.

도 53d는 블록 액티비티의 산출 방법을 설명하기 위한 도면이다.

도 53e는 블록 액티비티의 산출 방법을 설명하기 위한 도면이다.

도 53f는 블록 액티비티의 산출 방법을 설명하기 위한 도면이다.

도 54는 임계값 처리를 설명하기 위한 플로 차트이다.

도 55는 평가값과 액티비티의 관계를 설명하기 위한 도면이다.

도 56은 정규화 처리를 설명하기 위한 플로차트이다.

도 57은 통합 처리를 설명하기 위한 플로 차트이다.

도 58은 배경 모션 추정부의 구성예를 나타내는 블록도이다.

도 59는 배경 모션 추정 처리를 설명하는 플로차트이다.

도 60은 씬 체인지 검출부의 구성예를 나타내는 블록도이다.

도 61은 씬 체인지 검출 처리를 설명하는 플로차트이다.

도 62는 텔레비전 수상기의 구성예를 나타내는 블록도이다.

도 63은 텔레비전 수상기의 화상 디스플레이 처리를 설명하는 플로차트이다.

도 64는 본 발명을 적용한 화상 처리 장치의 구성예를 나타내는 블록도이다.

도 65는 모션 벡터 정확도 산출부의 구성예를 나타내는 블록도이다.

도 66은 화상 처리 장치의 구성예를 나타내기 위한 블록도이다.

도 67은 부호화 장치의 구성예를 나타내기 위한 블록도이다.

도 68은 부호화 장치의 부호화 처리를 설명하기 위한 플로차트이다.

도 69는 카메라-흔들림 흐림 보정 장치의 구성예를 나타내기 위한 블록도이다.

도 70은 배경 모션 검출 부의 구성예를 나타내기 위한 블록도이다.

도 71은 카메라-흔들림 흐림 보정 장치의 카메라-흔들림 흐림 보정 처리를 설명하기 위한 플로차트이다.

도 72는 축적 장치의 구성예를 나타내기 위한 블록도이다.

도 73은 씬 체인지 검출부의 구성예를 나타내기 위한 블록도이다.

도 74는 축적 장치의 인덱스 화상 생성 처리를 설명하기 위한 플로차트이다

도 75는 축적 장치의 화상 출력 처리를 설명하기 위한 플로차트이다.

도 76은 감시 카메라 시스템의 구성예를 나타내는 블록도이다.

도 77은 감시 카메라 시스템의 감시 처리를 설명하는 플로차트이다.

도 78은 감시 카메라 시스템의 다른 구성예를 나타내는 블록도이다.

도 79는 감시 카메라 시스템의 감시 처리를 설명하는 플로차트이다.

도 80은 본 발명을 적용한 감시 카메라 시스템의 구성예를 나타내는 블록도이다.

도 81은 감시 처리를 설명하는 플로차트이다.

도 82a는 감시 카메라 시스템에 의해 디스플레이되는 화상의 예를 나타낸 도면이다.

도 82b는 감시 카메라 시스템에 의해 디스플레이되는 화상의 예를 나타낸 도면이다.

도 82c는 감시 카메라 시스템에 의해 디스플레이되는 화상의 예를 나타낸 도면이다.

도 83은 보정 대상 영역의 이동의 예를 나타낸 도면이다.

도 84는 화상 보정부의 구성예를 나타내는 블록도이다.

도 85는 화상 보정부의 제어 신호의 예를 나타낸 도면이다.

도 86a는 화상의 흐릿함의 원리를 설명하는 도면이다.

도 86b는 화상의 흐릿함의 원리를 설명하는 도면이다.

도 86c는 화상의 흐릿함의 원리를 설명하는 도면이다.

도 87은 화상의 흐릿함의 원리를 설명하는 도면이다.

도 88은 화상의 흐릿함의 원리를 설명하는 도면이다.

도 89는 화상의 흐릿함의 원리를 설명하는 도면이다.

도 90은 파라미터 코드의 조합의 예를 나타낸 도면이다.

도 91은 화상의 에지 부분을 설명하는 도면이다.

도 92는 수정 처리를 설명하는 플로차트이다.

도 93은 화상 보정 처리를 설명하는 플로차트이다.

도 94는 화상 특징 검출 처리를 설명하는 플로차트이다.

도 95는 화상 특징 검출부의 구성예를 나타내는 블록도이다.

도 96a는 블록 절단부에 의해 추출되는 화상의 블록을 설명하는 도면이다.

도 96b는 블록 절단부에 의해 추출되는 화상의 블록을 설명하는 도면이다.

도 96c는 블록 절단부에 의해 추출되는 화상의 블록을 설명하는 도면이다.

도 96d는 블록 절단부에 의해 추출되는 화상의 블록을 설명하는 도면이다.

도 96e는 블록 절단부에 의해 추출되는 화상의 블록을 설명하는 도면이다.

도 97은 화상 합성 처리를 설명하는 플로차트이다.

도 98은 화상 합성부의 구성예를 나타내는 블록도이다.

도 99는 분산 연산을 설명하는 도면이다.

* 부호의 설명

1 대상 추적 장치,

11 템플릿 매칭부,

12 모션 추정부,

13 씬 체인지 검출부,

14 배경 모션 추정부,

15 영역 추정 관련 처리부,

16 환승 후보 저장부,

17 추적점 결정부,

18 템플릿 저장부,

19 제어부

발명을 실시하기 위한 바람직한 실시예

이하에 도면을 참조하여 본 발명의 실시예에 대하여 설명한다.

도 1은 본 발명의 화상 처리 장치를 적용한 대상 추적 장치의 기능적 구성예를 나타내고 있다. 이 대상 추적 장치(1)는, 템플릿 매칭부(11), 모션 추정부(12), 씬 체인지 검출부(13), 배경 모션 추정부(14), 영역 추정 관련 처리부(15), 환승 후보 저장부(16), 추적점 결정부(17), 템플릿 저장부(18), 및 제어 부(19)에 의해 구성되어 있다.

템플릿 매칭부(11)는, 입력 화상과, 템플릿 저장부(18)에 유지되어 있는 템플릿 화상의 매칭 처리를 행한다. 모션 추정부(12)는, 입력 화상의 모션을 추정하고, 추정의 결과 얻어진 모션 벡터와 그 모션 벡터의 정확도를, 씬 체인지 검출부(13), 배경 모션 추정부(14), 영역 추정 관련 처리부(15), 및 추적점 결정부(17)에 출력한다. 모션 추정부(12)의 상세한 구성은, 도 43을 참조하여 후술한다.

씬 체인지 검출부(13)은, 모션 추정부(12)로부터 공급된 정확도에 따라 씬 체인지를 검출한다. 씬 체인지 검출부(13)의 상세한 구성은, 도 50을 참조하여 후술한다.

배경 모션 추정부(14)는, 모션 추정부(12)로부터 공급된 모션 벡터와 정확도에 따라 배경 모션을 추정하는 처리를 실행하고, 추정 결과를 영역 추정 관련 처리부(15)에 공급한다. 배경 모션 검출부(14)의 상세한 구성은 도 48을 참조하여 후술한다.

영역 추정 관련 처리부(15)는, 모션 추정부(12)로부터 공급된 모션 벡터와 정확도, 배경 모션 추정부(14)로부터 공급된 배경 모션, 및 추적점 결정부(17)로부터 공급된 추적점 정보에 따라 영역 추정 처리를 행한다. 또, 영역 추정 관련 처리부(15)는, 입력된 정보에 따라 환승 후보를 생성하고, 환승 후보 저장부(16)에 공급하고, 유지시킨다. 또한, 영역 추정 관련 처리부(15)는, 입력 화상에 따라 템플릿을 생성하고, 템플릿 저장부(18)에 공급하고, 유지시킨다. 영역 추정 관련 처리부(15)의 상세한 구성은, 도 9를 참조하여 후술한다.

추적점 결정부(17)는, 모션 추정부(12)로부터 공급된 모션 벡터와 정확도, 및 환승 후보 저장부(16)로부터 공급된 환승 후보에 따라 추적점을 결정하고, 결정된 추적점에 관한 정보를 영역 추정 관련 처리부(15)에 출력한다.

제어부(19)는, 템플릿 매칭부(11) 내지 템플릿 저장부(18)의 각 부와 접속된다. 제어부(19)는 사용자로부터의 추적점 지시 입력에 따라 각 부를 제어하고, 추적결과를 장치(도시되지 않음)로 출력한다.

다음에, 대상 추적 장치(1)의 동작에 대하여 설명한다.

도 2에 나타낸 바와 같이, 대상 추적 장치(1)는, 기본적으로 통상 처리와 예외 처리를 실행한다. 즉, 스텝 S1에서 통상 처리가 행해진다. 이 통상 처리의 자세한 것은, 도 6을 참조하여 후술하지만, 이 처리에 의해 사용자로부터 지정된 추적점을 추적하는 처리가 실행된다. 스텝 S1의 통상 처리에 있어서 추적점의 환승을 할 수 없게 되었을 때, 스텝 S2에 있어서, 예외 처리가 실행된다. 이 예외 처리의 자세한 것은, 도 33의 플로차트를 참조하여 후술하지만, 이 예외 처리에 의해, 추적점이 화상으로부터 안 보이게 되었을 때, 템플릿 매칭에 의해 통상 처리로의 복귀 처리가 실행된다. 예외 처리에 의해 추적 처리를 계속할 수 없는 경우(통상 처리에 복귀할 수 없는 경우)로 판정된 경우에는 처리가 종료되지만, 템플릿에 의한 복귀 처리의 결과, 통상 처리로의 복귀가 가능한 것으로 판정된 경우에는, 처리는 다시 스텝 S1로 돌아온다. 이같이 하여, 스텝 S1의 통상 처리와 스텝 S2의 예외 처리가, 각 프레임마다 차례로 반복 실행된다.

본 발명에 있어서는, 이 통상 처리와 예외 처리에 의해, 도 3 내지 도 5에 나타낸 바와 같이, 추적 대상의 회전이나 폐색의 발생으로 인해, 씬 체인지가 발생하는 등, 추적점이 일시적으로 안보이게 된 경우에도, 추적이 가능해진다.

즉, 예를 들면, 도 3에 나타낸 바와 같이, 프레임 n-1에는 추적 대상으로 하는 사람의 얼굴(504)이 디스플레이되어 있고, 이 사람의 얼굴(504)은, 오른쪽 눈(502)과 왼쪽 눈(503)을 가지고 있다. 사용자가, 이 중의, 예를 들면, 오른쪽 눈(502)(정확하게는, 오른쪽 눈(502) 내의 1개의 화소)를 추적점(501)으로서 지정한 것으로 한다. 도 3의 예에 있어서는, 다음의 프레임 n에 있어서, 사람이 도면 중 좌측 방향으로 이동하고 있고 또한, 다음의 프레임 n+1에 있어서는, 사람의 얼굴(504)이 시계 방향으로 회동하고 있다. 그 결과, 지금까지 보이고 있던 오른쪽 눈(502)이 디스플레이되지 않게 되어, 지금까지의 방법으로는, 추적을 할 수 없게 된다. 그래서, 전술한 스텝 S1의 통상 처리에 있어서는, 오른쪽 눈(502)과 동일한 대상물로서의 얼굴(504) 상의 왼쪽 눈(503)이 선택되고, 추적점이 왼쪽 눈(503)으로 환승한다(설정된다). 이로써, 추적이 가능해진다.

도 4의 디스플레이예에서는, 프레임 n-1에 있어서, 얼굴(504)의 도면 중 좌측으로부터 볼(ball)(521)이 이동하고, 다음의 프레임 n에 있어서는, 볼(521)이 정확히 얼굴(504)을 덮는 상태로 되어 있다. 이 상태에 있어서, 추적점(501)으로서 지정되어 있던 오른쪽 눈(502)을 포함하는 얼굴(504)이 디스플레이되어 있지 않다. 이와 같은 폐색이 일어나면, 대상물로서의 얼굴(504)이 디스플레이되어 있지 않으므로, 추적점(501)에 대신하여 추적하는 환승점도 없어져, 이후, 추적점을 추적하는 것이 곤란하게 된다. 그러나, 본 발명에 있어서는, 추적점(501)로서의 오른쪽 눈(502)을 프레임 n-1(실제로는 시간적으로 더 이전의 프레임)의 화상이 템플릿으로서 미리 보존되어 있고, 볼(521)이 또한, 우측으로 이동하여, 프레임 n+1에 있어서, 추적점(501)으로서 지정된 오른쪽 눈(502)이 다시 나타나면, 전술한 스텝 S2의 예외 처리에 의해, 추적점(501)로서의 오른쪽 눈(502)이 다시 디스플레이 된 것이 확인되어 오른쪽 눈(502)이 다시 추적점(501)으로서 추적된다.

도 5의 예에서는, 프레임 n-1에 있어서는, 얼굴(504)이 디스플레이되어 있지만, 다음의 프레임 n에 있어서는, 자동차(511)가 사람의 얼굴을 포함하는 전체를 덮어 숨기고 있다. 즉, 이 경우, 씬 체인지가 일어난 것이 된다. 본 발명에서는, 이와 같이 씬 체인지가 일어나 추적점(501)이 화상으로부터 존재하고 없어져도, 자동차(511)가 이동하여, 프레임 n+1에 있어서 다시 오른쪽 눈(502)이 디스플레이되면 스텝 S2의 예외 처리로, 추적점(501)로서의 오른쪽 눈(502)이 다시 출현했던 것이 템플릿에 따라 확인되어 이 오른쪽 눈(502)을 다시 추적점(501)으로서 추적하는 것이 가능해진다.

다음에, 도 6의 플로차트를 참조하여, 도 2의 스텝 S1의 통상 처리의 상세하게 설명한다. 스텝 S21에 있어서, 추적점 결정부(17)에 의해 통상 처리의 초기화 처리가 실행된다. 그 자세한 것은, 도 7의 플로차트를 참조하여 후술하지만, 이 초기화 처리에서 사용자로부터 추적하도록 지정된 추적점을 기준으로 하는 영역 추정 범위가 지정된다. 이 영역 추정 범위는, 사용자에 의해 지정된 추적점과 동일한 대상물(예를 들면, 추적점이 사람의 눈인 경우, 눈과 마찬가지의 모션을 하는 강체(rigid-body)로서의 사람의 얼굴 또는 사람의 몸 등)에 속하는 점의 범위를 추 정할 때 참조하는 범위이다. 환승점은 이 영역 추정 범위 내의 점으로부터 선택된다.

다음에, 스텝 S22에 있어서, 제어부(19)는, 다음의 프레임의 화상의 입력을 대기하도록 각 부를 제어한다. 스텝 S23에 있어서, 모션 추정부(12)는, 추적점의 모션을 추정한다. 즉, 사용자에 의해 지정된 추적점을 포함하는 프레임(전방 프레임)으로부터 시간적으로 다음의 프레임(후방 프레임)을 스텝 S22의 처리에서 입력함으로써, 결국 연속하는 2프레임의 화상을 얻을 수 있는 것으로 되므로, 스텝 S23에 있어서, 전방 프레임의 추적점에 대응하는 후방 프레임의 추적점의 위치를 추정함으로써, 추적점의 모션이 추정된다.

본 여기서 사용되는 바와 같이, "시간적으로 전(temporally previous)"이란, 처리의 순번(입력의 순번)을 말한다. 통상, 촬상의 순서로 각 프레임의 화상이 입력되므로, 그 경우, 시간적으로 더 이전에 촬상된 프레임이 전방 프레임으로 되지만, 시간적으로 후에 촬상된 프레임이 먼저 처리(입력)되는 경우에는, 시간적으로 후에 촬영된 프레임이 전방 프레임으로 된다.

스텝 S24에 있어서, 모션 추정부(12)(후술하는 도 43의 통합 처리부(605))는, 스텝 S23의 처리의 결과에 기초하여 추적점이 추정 가능한지 아닌지를 판정한다. 추적점이 추정 가능한지 아닌지는, 예를 들면, (도 43을 참조하여 후술하는) 모션 추정부(12)가 생성, 출력하는 모션 벡터의 정확도의 값을, 미리 설정되어 있는 임계값과 비교하는 것으로 판정된다. 구체적으로는, 모션 벡터의 정확도가 임계값 이상이면 추정이 가능하며, 임계값보다 작으면 추정이 불가능한 것으로 판정 된다. 즉, 여기에서 가능성은 비교적 엄격하게 판정된다. 실제로 추정이 불가능하지 않아도 정확도가 낮은 경우에는, 불가능한 것으로 판정된다. 이로써, 보다 확실한 추적 처리가 가능해진다.

그리고, 스텝 S24에서는, 추적 점에서의 모션 추정 결과와 추적점의 근방의 점에서의 모션 추정 결과가, 다수를 차지하는 모션과 일치하는 경우에는 추정 가능, 일치하지 않는 경우에는 추정 불가능으로 판정하도록 할 수도 있다.

추적점의 모션이 추정 가능한 것으로 판정된 경우, 즉 추적점이 동일 대상 물상의 대응하는 점 상에 정확하게 설정되어 있는 확률(오른쪽 눈(502)이 추적점(501)으로서 지정된 경우, 오른쪽 눈(502)이 정확하게 추적되어 있는 확률)이 비교적 높은 경우, 스텝 S25로 진행하고, 추적점 결정부(17)는, 스텝 S23의 처리로 얻어진 추정 모션(모션 벡터)의 양만큼 추적점을 시프트한다. 즉, 이로써, 전방 프레임의 추적점의 추적 후의 후방 프레임에 있어서의 추적의 위치가 결정되게 된다.

스텝 S25의 처리 후, 스텝 S26에 있어서, 영역 추정 관련 처리가 실행된다. 이 영역 추정 관련 처리의 자세한 것은, 도 10을 참조하여 후술하지만, 이 처리에 의해, 스텝 S21의 통상 처리의 초기화 처리로 지정된 영역 추정 범위가 갱신된다. 또한, 대상 물체의 회전으로 인하여, 추적점이 디스플레이되지 않는 상태로 되었을 경우에, 추적점을 환승하여야 할 점으로서의 환승 점으로서의 후보(환승 후보)가, 이 상태(아직 추적이 가능한 상태)에서, 미리 추출(생성)된다. 또, 환승 후보로의환승도 할 수 없게 되었을 경우, 추적은 일단 중단되지만, 재추적이 가능하게 된 (추적점이 다시 출현한) 것을 확인하기 위하여, 템플릿이 미리 생성된다.

스텝 S26의 영역 추정 관련 처리가 종료한 후, 처리는 다시 스텝 S22로 복귀하고, 그 이후의 처리가 반복 실행된다.

즉, 사용자로부터 지정된 추적점의 모션이 추정 가능한 한, 스텝 S22 내지 스텝 S26의 처리가 프레임마다 반복 실행되고, 추적을 하게 된다.

이에 대하여, 스텝 S24에 있어서, 추적점의 모션이 추정 가능하지 않는 것(불가능하다)으로 판정된 경우, 즉 전술한 바와 같이, 예를 들면, 모션 벡터의 정확도가 임계값 이하인 것과 같은 경우, 처리는 스텝 S27으로 진행한다. 스텝 S27에 있어서, 추적점 결정부(17)는, 스텝 S26의 영역 추정 관련 처리에 의해 생성된 환승 후보가 환승 후보 저장부(16)에 유지되어 있으므로, 그 중으로부터, 원래의 추적점에 가장 가까운 환승 후보를 1개 선택한다. 추적점 결정부(17)는, 스텝 S28에서 환승 후보가 선택할 수 있는지 아닌지를 판정하고, 환승 후보가 선택할 수 있는 경우에는, 스텝 S29로 진행하고, 추적점을 스텝 S27의 처리에서 선택한 환승 후보로 환승한다(변경한다). 즉, 환승 후보의 점이 새로운 추적점으로서 설정된다. 그 후, 처리는 스텝 S23으로 복귀하고, 환승 후보 중 선택된 추적점의 모션을 추정하는 처리가 실행된다.

스텝 S24에 있어서 새롭게 설정된 추적점의 모션이 추정 가능한지 여부가 다시 판정되고, 추정 가능하면, 스텝 S25에 있어서 추적점을 추정 모션 양만큼 시프트하는 처리가 행해지고, 스텝 S26에 있어서, 영역 추정 관련 처리가 실행된다. 그 후, 처리는 다시 스텝 S22로 복귀하고, 그 이후의 처리가 반복 실행된다.

스텝 S24에 있어서, 새롭게 설정된 추적점도 추정 불가능한 것으로 판정된 경우에는, 다시 스텝 S27로 복귀하고, 환승 후보 중, 원래의 추적점 다음에 가장 가까운 환승 후보가 선택되고, 스텝 S29에 있어서, 그 환승 후보가 새로운 추적점으로 된다. 그 새로운 추적점에 대하여, 다시 스텝 S23 이후의 처리가 반복된다.

준비되어 있는 모두의 환승 후보를 새로운 추적점이라고 해도, 추적점의 모션을 추정할 수 없는 경우에는, 스텝 S28에 있어서, 환승 후보가 선택할 수 없는 것으로 판정되고, 이 통상 처리는 종료된다. 그리고, 도 2의 스텝 S2의 예외 처리로 처리가 진행되게 된다.

도 6의 스텝 S21의 통상 처리의 초기화 처리의 자세한 것은, 도 7의 플로차트에 나타나 있다.

스텝 S41에 있어서, 제어부(19)는, 지금의 처리가 예외 처리로부터의 복귀의 처리인지 여부를 판정한다. 즉, 스텝 S2의 예외 처리를 종료한 후, 다시 스텝 S1의 통상 처리로 돌아왔는지의 여부가 판정된다. 최초의 프레임의 처리에 있어서는, 아직 스텝 S2의 예외 처리는 실행되어 있지 않으므로, 예외 처리로부터의 복귀는 아닌 것으로 판정되고, 처리는 스텝 S42으로 진행한다. 스텝 S42에 있어서, 추적점 결정부(17)는, 추적점을 추적점 지시의 위치에 설정하는 처리를 실행한다. 즉, 사용자는, (도시하지 않은) 마우스, 그 외의 입력부를 조작함으로써, 제어부(19)에, 입력 화상 내의 소정의 점을 추적점으로서 지시한다. 제어부(19)는, 이 지시에 따라 추적점 결정부(17)을 제어하고, 추적점 결정부(17)는 이 지시에 따라 사용자가 지정한 점을 추적점으로서 설정한다. 그리고, 추적점은, 입력 화상 중, 예를 들면, 가장 휘도가 높은 점이 설정되는 등의 다른 방법에 의해 설정되도록 해도 된다. 추적점 결정부(17)는, 설정한 추적점의 정보를 영역 추정 관련 처리부(15)에 공급한다.

스텝 S43에 있어서, 영역 추정 관련 처리부(15)는, 스텝 S42의 처리에서 설정된 추적점의 위치에 기초하여, 영역 추정 범위를 설정한다. 이 영역 추정 범위는, 추적점과 같은 강체(solid body) 상의 점을 추정할 때의 참조 범위이며, 미리 추적점과 같은 강체 부분이 영역 추정 범위의 대부분을 차지하도록, 보다 구체적으로는 추적점과 같은 강체 부분에 영역 추정 범위의 위치나 크기를 추종하도록 설정됨으로써, 영역 추정 범위 중 가장 다수를 차지하는 모션을 나타내는 부분을 추적점과 같은 강체 부분에 속하는 것으로 추정 가능하도록 하기 위한 것이다. 스텝 S43에서는 초기치로서, 예를 들면, 추적점을 중심으로 하는 미리 설정된 일정한 범위가 영역 추정 범위로 된다.

그 후 처리는, 도 3의 스텝 S22으로 진행하는 것으로 된다.

한편, 스텝 S41에 있어서, 현재의 처리가, 스텝 S2의 예외 처리로부터의 복귀의 처리인 것으로 판정된 경우, 스텝 S44로 진행하고, 추적점 결정부(17)는, 후술하는 도 33의 스텝 S303의 처리에서, 템플릿과 매칭한 위치에 기초를 두어 추적점과 영역 추정 범위를 설정한다. 예를 들면, 템플릿상의 추적점과 매칭한 현 프레임 상의 점이 추적점으로 되고, 그 점으로부터 미리 설정되어 있는 일정한 범위가 영역 추정 범위로 된다. 그 후, 처리는 도 3의 스텝 S22로 진행한다.

이상의 처리를 도 8을 참조하여 설명하면 다음과 같이 된다. 즉, 도 7의 스 텝 S42에 있어서, 예를 들면, 도 8에 나타낸 바와 같이, 프레임 n-1의 오른쪽 눈(502)이 추적점(501)으로서 지정되면, 스텝 S43에 있어서, 추적점(501)을 포함하는 소정의 영역이 영역 추정 범위(533)로서 지정된다. 스텝 S24에 있어서, 영역 추정범(4533)의 범위 내의 샘플점이 다음의 프레임에 있어서 추정 가능한지 여부가 판정된다. 도 8의 예의 경우, 프레임 n의 다음의 프레임 n+1에 있어서는, 영역 추정 범위(533) 중, 오른쪽 눈(502)을 포함하는 도면 중 좌측 반의 영역(534)이 볼(ball)(521)에 의해 가려져 있으므로, 프레임 n의 추적점(501)의 모션을, 다음의 프레임 n+1에 있어서 추정할 수 없다. 그래서, 이와 같은 경우에 있어서는, 시간적으로 이전의 프레임 n-1으로 환승 후보로서 미리 준비되어 있던 영역 추정 범위(533)(오른쪽 눈(502)을 포함하는 강체로서의 얼굴(504)) 내의 점들 중 1개의 점이 선택된다. 예를 들면, 얼굴(504)에 포함되는 왼쪽 눈(503), 정확하게는, 왼쪽 눈 중의 1개의 화소가 선택되고, 그 점이 프레임 n+1에 있어서의 추적점으로 된다.

영역 추정 관련 처리부(15)는, 도 6의 스텝 S26에 있어서의 영역 추정 관련 처리를 실행하기 위하여, 도 9에 나타낸 바와 같은 구성을 가지고 있다. 즉, 영역 추정 관련 처리부(15)의 영역 추정부(41)에는, 모션 추정부(12)로부터 모션 벡터와 정확도가 입력되고, 배경 모션 추정부(14)로부터 배경 모션이 입력되고, 그리고, 추적점 결정부(17)로부터 추적점의 위치 정보가 입력된다. 환승 후보 추출부(42)에는, 모션 추정부(12)로부터 모션 벡터와 정확도가 공급되는 외에, 영역 추정부(41)의 출력이 공급된다. 템플릿 생성부(43)에는, 입력 화상이 입력되는 외에, 영역 추정부(41)의 출력이 입력된다.

영역 추정부(41)는, 입력에 따라 추적점을 포함하는 강체의 영역을 추정하고, 추정 결과를 환승 후보 추출부(42)로 템플릿 생성부(43)에 출력한다. 환승 후보 추출부(42)는 입력에 따라 환승 후보를 추출하고, 추출 환승 후보를 환승 후보 저장부(16)에 공급한다. 템플릿 생성부(43)는 입력에 따라 템플릿을 생성하고, 생성한 템플릿을 템플릿 저장부(18)헤 공급한다.

도 10은 영역 추정 관련 처리부(15)에 의해 실행되는 영역 추정 관련 처리(도 6의 스텝 S26의 처리)의 상세를 나타내고 있다. 최초에 스텝 S61에 있어서, 영역 추정부(41)에 의해 영역 추정 처리가 실행된다. 그 자세한 것은, 도 11의 플로 차트를 참조하여 후술하지만, 이 처리에 의해, 추적점이 속하는 대상과 동일한 대상(추적점과 동기하여 움직이는 강체)에 속하는 것으로 추정되는 화상 상의 영역의 점이 영역 추정 범위(후술하는 도 17의 영역 추정 범위(81)의 점으로서 추출된다.

스텝 S62에 있어서, 환승 후보 추출부(42)에 의해 환승 후보 추출 처리가 실행된다. 그 처리의 자세한 것은, 도 23의 플로차트 참조하여 후술하지만, 영역 추정부(41)에 의해 영역 추정 범위로서 추정된 범위의 점으로부터 환승 후보의 점이 추출되어 환승 후보 저장부(16)에 유지된다.

스텝 S63에 있어서 템플릿 생성부(43)에 의해 템플릿 생성 처리가 실행된다. 그 자세한 것은, 도 24의 플로차트를 참조하여 후술하지만, 이 처리에 의해 템플릿이 생성된다.

다음에, 도 11의 플로차트를 참조하여, 도 10의 스텝 S61의 영역 추정 처리 의 상세하게 설명한다.

최초에, 스텝 S81에 있어서, 영역 추정부(41)는 추적점과 동일한 대상에 속하는 것으로 추정되는 점의 후보의 점으로서의 샘플점을 결정한다.

이 샘플점은, 예를 들면, 도 12에 나타낸 바와 같이, 도면 중, 흰 사각형으로 나타내는 프레임의 전체 화면에 있어서의 화소 중, 고정된 기준점(541)을 기준으로 하여, 수평 방향 및 수직 방향으로, 소정의 화소수씩 떨어진 위치의 화소를 샘플점(도면 중, 검은 사각형으로 표현되어 있는)으로 할 수 있다. 도 12의 예에 있어서는, 각 프레임의 좌측 위의 화소가 기준점(541)로 되고(도면 중 심볼 "x"로 나타나 있다), 수평 방향으로 5개, 수직 방향으로 5개씩 떨어진 위치의 화소가 샘플점으로 된다. 즉, 이 예의 경우, 전체 화면 중에 분산된 위치의 화소가 샘플점으로 된다. 또, 이 예의 경우, 기준점은, 각 프레임 n, n+1에 있어서 고정된 위치에서 동일한 점으로 된다.

기준점(541)은, 예를 들면, 도 13에 나타낸 바와 같이, 각 프레임 n, n+1마다 상이한 위치의 점으로 되도록, 동적으로 변화시킬 수도 있다.

도 12 및 도 13의 예에 있어서는, 샘플점의 간격이 각 프레임에 있어서 고정된 값으로 되어 있지만, 예를 들면, 도 14에 나타낸 바와 같이, 프레임마다 샘플점의 간격을 가변으로 할 수도 있다. 도 14의 예에 있어서는, 프레임 n에 있어서는, 샘플점의 간격은 5화소로 되어 있는데 대하여, 프레임 n+1에 있어서는 8화소로 되어 있다. 이 때, 추적점과 동일한 대상에 속하는 것으로 추정되는 영역의 면적을 기준 간격으로서 사용할 수 있다. 구체적으로는, 영역 추정 범위의 면적이 좁아지 면 간격도 짧아진다.

대안으로, 도 15에 나타낸 바와 같이, 1개의 프레임 내에 있어서 샘플점의 간격을 가변으로 할 수도 있다. 이 때, 샘플점과 추적점 사이의 거리를 기준 간격으로서 사용할 수 있다. 즉, 샘플점이 추적점에 가까울수록 샘플점 사이의 거리는 짧아진다. 반대로, 샘플점이 추적점으로부터 멀어질수록 샘플점 사이의 거리는 커지게 된다.

이상과 같이 해서 샘플점이 결정되면, 다음에, 스텝 S82에 있어서, 영역 추정부(41)는, 영역 추정 범위(도 7의 스텝 S43, S44의 처리, 또는 후술하는 도 16의 스텝 S106, S108의 처리로 결정되어 있다) 내의 샘플점의 모션을 추정 처리를 실행한다. 즉, 영역 추정부(41)는, 모션 추정부(12)로부터 공급된 모션 벡터에 따라 영역 추정 범위 내의 샘플점에 대응하는 다음의 프레임의 대응하는 점을 추출한다.

스텝 S83에 있어서, 영역 추정부(41)는, 스텝 S82의 처리로 추정하고 샘플점 중, 정확도가 미리 설정되어 있는 임계값보다 낮은 모션 벡터에 따른 점을 대상외로 하는 처리를 실행한다. 이 처리에 필요한 모션 벡터의 정확도는, 모션 추정부(12)로부터 공급된다. 이로써, 영역 추정 범위 내의 샘플점 중, 정확도가 높은 모션 벡터에 따라 추정된 점만이 추출된다.

스텝 S84에 있어서, 영역 추정부(41)는, 영역 추정 범위 내의 모션 추정 결과에서의 전체 화면 모션을 추출한다. "전체 화면 모션"이란, 동일한 모션에 대응하는 영역을 고려하여 그 면적이 최대가 되는 모션을 의미한다. 구체적으로는, 각 샘플점의 모션에, 그 샘플점에 있어서의 샘플점 간격에 비례하는 가중치를 붙여 모 션의 히스토그램을 생성하고, 이 가중치 빈도가 최대가 되는 1개의 모션(1개의 모션 벡터)이 전체 화면 모션으로서 추출된다. 그리고, 히스토그램을 생성하는 경우, 예를 들면, 모션의 대표값을 화소 정밀도(pixel resolution)를 고려하여 준비하고, 1 화소 정밀도만큼의 차분을 가지는 모션에 대해 히스토그램로의 가산을 행하도록 할 수도 있다.

스텝 S85에 있어서, 영역 추정부(41)는, 전체 화면 모션을 가지는 영역 추정 범위 내의 샘플점을 영역 추정의 결과로서 추출한다. 이 경우에서의 전체 화면 모션을 가지는 샘플점으로서는, 전체 화면 모션과 동일한 모션을 가지는 샘플점은 물론이거니와, 전체 화면 모션과의 모션의 차가 미리 설정되어 있는 소정의 임계값 이하인 경우에는, 그 샘플점도 여기에 있어서의 전체 화면 모션을 가지는 샘플점으로 할 수도 있다.

이같이 하여, 스텝 S43, S44, S106, 또는 S108의 처리에서 결정된 영역 추정 범위 내의 샘플점 중, 전체 화면 모션을 가지는 샘플점이, 추적점과 동일 대상에 속하는 것으로 추정되는 점으로서 최종적으로 추출(생성)된다.

다음에, 스텝 S86에 있어서, 영역 추정부(41)는 영역 추정 범위의 갱신 처리를 실행한다. 그 후, 처리는, 도 6의 스텝 S22로 진행한다.

도 16은 도 11의 스텝 S86의 영역 추정 범위의 갱신 처리의 상세를 나타내고 있다. 스텝 S101에 있어서, 영역 추정부(41)는 영역의 중심(gravity)의 중앙(center)을 산출한다. 이 영역은, 도 11의 스텝 S85의 처리에서 추출된 샘플점에 의해 구성되는 영역(추적점과 동일 대상에 속하는 것으로 추정되는 점에 의해 구성되는 영역)을 의미한다. 즉, 이 영역에는 1개의 모션 벡터(전체 화면 모션)가 대응하고 있다. 예를 들면, 도 17a에 나타낸 바와 같이, 도면 중 흰 사각형으로 나타내는 샘플점 중, 영역 추정 범위(81) 내의 샘플점 중, 도 11의 스텝 S85의 처리에서 전체 화면 모션을 가지는 샘플점으로서 도 17a에 있어서 검은 사각형으로 나타내는 샘플점이 추출되어 그 샘플점에 의해 구성되는 영역이, 영역(82)으로서 추출(추정)된다. 그 후, 영역(82)의 중심(84)이 산출된다. 구체적으로는, 각 샘플점에 샘플점 간격의 가중치를 붙인 샘플점 중심이 영역의 중심으로서 구해진다. 이 처리는 현재의 프레임에서의 영역의 위치를 구하기 위해 실행된다.

다음에, 스텝 S102에 있어서, 영역 추정부(41)는 영역의 중심을 전체 화면 모션에 의해 시프트하는 처리를 실행한다. 이 처리는, 영역 추정 범위(81)를 영역의 위치의 모션에 추종시켜, 차후 프레임에 있어서의 추정 위치로 이동시킨다는 의미를 가진다. 도 17b에 나타낸 바와 같이, 현재의 프레임의 추적점(83)이, 그 모션 벡터(88)에 따라 차후 프레임의 추적점(93)으로서 출현하는 경우, 전체 화면 모션의 모션 벡터(90)가 추적점의 모션 벡터(88)에 대략 대응하고 있으므로, 현재의 프레임에 있어서의 중심(84)을 모션 벡터(전체 화면 모션)(90)에 따라 시프트함으로써, 추적점(93)과 동일한 프레임(차후 프레임) 위의 점(94)이 구해진다. 이 점(94)을 중심으로 하여 영역 추정 범위(91)를 설정하면, 영역 추정 범위(81)를 영역(82)의 위치의 모션에 추종시켜, 다음의 프레임에 있어서의 추정 위치로 이동시키게 된다.

스텝 S103에 있어서, 영역 추정부(41)는, 영역 추정 결과에 따라 다음의 영 역 추정 범위의 크기를 결정한다. 구체적으로는, 영역으로 추정된 모든 샘플점에 관한 샘플점의 간격(도 17에서 영역(82) 내의 검은 사각형으로 나타나는 점의 간격)의 제곱의 합을 영역(82)의 면적으로 보고, 이 면적보다 조금 큰 크기가 되도록, 차후 프레임의 영역 추정 범위(91)의 크기가 결정된다. 즉, 영역 추정 범위(91)의 크기는, 영역(82)의 중의 샘플점의 수가 많으면 넓어지고, 적으면 좁아진다. 이와 같이 함으로써, 영역(82)의 확대 축소에 추종할 수 있을 뿐만 아니라, 영역 추정 범위(81) 내의 전체 화면 영역이 추적 대상의 주변 영역으로 되는 것을 방지할 수 있다.

도 11의 스텝 S84에서 추출된 전체 화면 모션이, 배경 모션과 일치하는 경우에는, 모션에 의해 배경과 추적 대상을 구별할 수 없다. 그래서, 배경 모션 추정부(14)는 배경 모션 추정 처리를 항상 행하고(그 자세한 것은, 도 49를 참조하여 후술한다), 스텝 S104에 있어서, 영역 추정부(41)는, 배경 모션 추정부(14)로부터 공급되는 배경 모션과 도 11의 스텝 S84의 처리에서 추출된 전체 화면 모션이 일치하는지 여부를 판정한다. 전체 화면 모션과 배경 모션이 일정하는 경우에는, 스텝 S105에 있어서, 영역 추정부(41)는, 다음의 영역 추정 범위의 크기를, 지금의 영역 추정 범위의 크기가 최대가 되도록 제한한다. 이로써, 배경이 추적 대상으로 오인식되어 영역 추정 범위의 크기가 확대되는 것이 억제된다.

스텝 S104에 있어서, 전체 화면 모션과 배경 모션이 일치하지 않는 것으로 판정된 경우에는, 스텝 S105의 처리는 필요 없기 때문에 스킵된다.

다음에, 스텝 S106에 있어서, 영역 추정부(41)는, 시프트 후의 영역 중심을 중앙으로 하여 다음의 영역 추정 범위의 크기를 결정한다. 이로써, 영역 추정 범위가, 그 중심이 이미 구한 시프트 후의 영역 중심과 일치하고, 또한 그 크기가 영역의 넓이에 비례하도록 결정된다.

도 17b의 예에서는, 영역 추정 범위(91)가, 모션 벡터(전체 화면 모션)(90)에 따른 시프트 후의 중심(94)을 중앙으로 하여, 영역(82)의 면적에 따른 넓이로 결정되어 있다.

영역 추정 범위(91) 내에서의 전체 화면 모션을 가지는 영역이 추적 대상(예를 들면, 도 8의 얼굴(504))의 영역인 것을 확실하게 할 필요가 있다. 그래서, 스텝 S107에 있어서, 영역 추정부(41)는, 추적점이 다음의 영역 추정 범위에 포함되는지 여부를 판정하고, 포함되어 있지 않은 경우에는, 스텝 S108에 있어서, 추적점을 포함하도록 다음의 영역 추정 범위를 시프트하는 처리를 실행한다. 추적점이 다음의 영역 추정 범위에 포함되어 있는 경우에는, 스텝 S108의 처리는 필요 없기 때문에 스킵된다.

구체적으로, 이 경우, 이동거리가 최소로 되도록 차후 영역 추정 범위를 시프트한다. 대안으로, 차후의 영역 추정 범위가 영역 추정 범위의 중심의 중앙으로부터 추적점을 향한 벡터를 따라 최소 거리만큼 이동시켜 추적점이 그 차후 영역 추정 범위 내에 포함되도록 한다.

추적의 견고성을 유지하기 위하여, 영역에 추적점을 포함하도록 하기 위한 시프트를 행하지 않을 수도 있다.

도 17d의 예에 있어서는, 영역 추정 범위(91)가 추적점(93)을 포함하지 않을 때, 영역 추정 범위(101)로서 나타내는 위치(추적점(93)을 좌측 상단의 모서리에 포함하는 위치)에 영역 추정 범위(91)가 시프트 된다.

도 17a 내지 도 17c는, 스텝 S108의 시프트 처리가 필요한 경우를 나타내고 있지만, 도 18a 내지 도 18c는, 스텝 S108의 시프트 처리가 필요하지 않은 경우(스텝 S107에 있어서 추적점이 다음의 영역 추정 범위에 포함되는 것으로 판정된 경우)의 예를 나타내고 있다.

도 18a 내지 도 18c에 나타낸 바와 같이, 영역 추정 범위(81) 내의 모든 샘플점이 영역의 점인 경우에는, 도 16의 스텝 S108의 시프트 처리가 필요 없어진다.

도 17a 내지 도 17c 및 도 18a 내지 도 18c는, 영역 추정 범위가 직사각형인 예를 나타냈으나, 도 19a 내지 도 19c 및 도 20a 내지 도 20c에 나타낸 바와 같이, 영역 추정 범위는 원형으로 할 수도 있다. 도 19a 내지 도 19c는, 도 17a 내지 도 17c에 대응하는 도이며, 스텝 S108의 시프트 처리가 필요한 경우를 나타내고, 도 20a 내지 도 20c는 도 18a 내지 도 18c에 대응하는 도이며, 스텝 S108의 시프트 처리가 필요하지 않은 경우를 나타내고 있다.

이상과 같이 하여, 도 16(도 11의 스텝 S86)의 영역 추정 범위의 갱신 처리에 의해, 차후 프레임을 위한 영역 추정 범위의 위치와 크기가 추적점을 포함하도록 결정되는 도 16의 영역 추정 범위의 갱신 처리에 있어서는, 영역 추정 범위를 직사각형 또는 원형의 고정 형상으로 하였으나, 가변 형상으로 하는 것도 가능하다. 이 경우에서의 도 11의 스텝 S86에 있어서의 영역 추정 범위의 갱신 처리의 예에 대하여, 도 21을 참조하여 설명한다.

스텝 S131에 있어서, 영역 추정부(41)는, 도 11의 스텝 S84의 처리로 추출된 전체 화면 모션과 배경 모션 추정부(14)에 의해 추정된 배경 모션이 일치하는지 여부를 판정한다. 양자의 모션이 일치하지 않는 경우에는, 스텝 S133으로 진행하고, 영역 추정부(41)는, 영역(전체 화면 모션과 일치하는 화소로 구성되는 영역)으로 추정된 모든 점에 대하여, 각각에 대응하는 소영역을 결정한다(즉, 1개의 점에 대하여 1개의 소영역을 결정한다). 도 22a와 도 22b의 예에 있어서는, 영역 추정 범위(161) 중, 도면 중 검은 사각형으로 나타내는 영역의 점에 대응하는 소영역(171, 172)이 결정된다. 도면 중(171)은(4)의 점에 대응하는 4개의 소영역이 서로 중첩하는 예를 디스플레이하고 있다. 소영역의 크기는, 예를 들면, 샘플점의 간격으로 비례하도록 결정해도 된다.

다음에, 스텝 S134에 있어서, 영역 추정부(41)는, 스텝 S133의 처리에서 결정된 각각의 소영역의 합의 영역을 잠정 영역 추정 범위로 한다. 도 22c의 예에 있어서는, 소영역(171)과 소영역(172)의 합의 영역(181)이 잠정 영역 추정 범위로 된다. 소영역의 합을 취한 결과, 불연속인 복수의 영역이 형성되는 경우에는, 그 중의 최대 면적을 가지는 영역만을 잠정 영역 추정 범위로 할 수도 있다.

스텝 S131에 있어서, 전체 화면 모션과 배경 모션이 일치하는 것으로 판정된 경우에는, 스텝 S132에 있어서, 영역 추정부(41)는, 현재의 영역 추정 범위를 잠정 영역 추정 범위로 한다. 현재의 영역 추정 범위를 잠정 추정 영역 범위로 하는 것은, 배경 모션 추정의 결과와 전체 화면 모션이 일치하는 경우에는, 모션에 의해 배경과 추적 대상을 구별할 수 없기 때문에, 현재의 영역 추정 범위를 변경시키지 않도록 하기 위해서이다.

스텝 S134 또는 스텝 S132의 처리 후, 스텝 S135에 있어서 영역 추정부(41)는, 스텝 S134 또는 스텝 S132에서 결정된 잠정 영역 추정 범위의 전체 화면 모션에 의한 시프트에 의해, 다음의 영역 추정 범위를 결정한다. 도 22c의 예에 있어서는, 잠정 영역 추정 범위(181)가 전체 화면 모션에 의한 모션 벡터(183)에 따라 시프트되어 잠정 영역 추정범(4182)로 되어 있다.

스텝 S136에 있어서, 영역 추정부(41)는, 추적점이 스텝 S135의 처리에서 결정된 다음의 영역 추정 범위에 포함되는지 여부를 판정하고, 포함되지 않은 경우에는, 스텝 S137로 진행하고, 추적점을 포함하도록 다음의 영역 추정 범위를 시프트한다. 도 22c와 도 22d의 예에 있어서는, 영역 추정 범위(182)가 추적점(184)을 포함하지 않으므로, 추적점(184)을 좌측 상에 포함하도록 시프트되어 영역 추정 범위(191)로 되어 있다.

스텝 S136에 있어서, 추적점이 다음의 영역 추정 범위에 포함되는 것으로 판정된 경우에는, 스텝 S137의 시프트 처리는 필요없기 때문에 스킵된다.

다음에, 도 10의 스텝 S62에 있어서의 환승 후보 추출 처리에 대하여, 도 23의 플로차트를 참조하여 설명한다.

스텝 S161에 있어서, 환승 후보 추출부(42)는, 전체 화면 모션의 영역으로 추정된 모든 점에 대하여, 각각에 대응하는 추정 모션에서의 점의 시프트 결과를 환승 후보로서 유지한다. 즉, 영역 추정 결과로서 얻어진 점을 그대로 사용하는 것은 아니고, 그것들을 다음의 프레임에서 사용하기 위하여, 각각의 모션 추정 결 과에 따라 시프트된 결과를 추출하는 처리가 행해지고, 그 추출된 환승 후보가, 환승 후보 저장부(16)에 공급되고 유지된다.

이 처리를 도 8을 참조하여 설명하면, 다음과 같이 된다. 즉, 도 8의 예에 있어서, 프레임 n-1, n에서는 추적점(501)이 존재하지만, 프레임 n+1에 있어서는, 도면 중 좌측으로부터 날아 온 볼(521)에 의해 숨겨져 버려, 추적점(501)이 존재하지 않는다. 그래서 프레임 n+1에 있어서, 추적점을 추적 대상으로 하여 얼굴(504) 상의 다른 점(예를 들면, 왼쪽 눈(503)으로 환승되는, 더 정확하게는 오른쪽 눈(502)에 좀 더 근접한 점)으로 환승할 필요가 생긴다. 그래서, 환승이 실제로 필요하기 전의 프레임으로, 환승 후보를 미리 준비하여 두는 것이다.

구체적으로는, 도 8의 예의 경우, 프레임 n으로부터 프레임 n+1로의 영역 추정 범위(53) 내에서의 모션 추정 결과는, 영역 추정범(4533)에 있어서 환승이 필요하기 때문에, 정확하게 추정할 수 없을 것으로 예상된다. 즉, 도 8의 예에서는, 추적점과 그것과 동일한 대상물의 일부가 숨는 것에 의해 환승이 일어난다. 그 결과, 프레임 n에서의 영역 추정 범위(533) 중, 프레임 n+1에서 대상이 숨는 부분(도 8에 크로스 해칭으로 나타난 부분)(534)에 대하여는, 모션이 정확하게 추정되지 않아, 모션의 정확도가 낮거나 낮지 않을 것으로 추정되어, 정확도가 의미 없는 것으로 추정되고, 또한 모션 추정 결과로서는 의미가 없게 된다.

이와 같은 경우에는, 영역 추정 시에 사용하는 것이 가능한 모션 추정 결과가 감소하거나, 또는 잘못한 모션 추정 결과가 혼입하는 등의 이유로, 영역 추정이 잘못할 가능성이 높아진다. 대안으로, 이와 같은 가능성은, 일반적으로, 보다 시 간적으로 이전의 프레임 n-1로부터 프레임 n 사이에서의 영역 추정에 있어서는, 프레임 n으로부터 프레임 n+1 사이에서의 추정과 비교하여 낮을 것으로 예상된다.

그래서, 리스크 저감을 위해, 영역 추정 결과를 그대로 사용하지 않고, 전의 프레임 n-1(또는, 시간적으로 더 이전의 프레임)에서 구한 영역 추정 결과를, 그 다음의 프레임에서의 이동 앞의 환승 후보로서 사용하는 것이 성능 향상 면에서 바람직하다.

단, 영역 추정 결과를 그대로 사용하는 것도 가능하다. 이 경우의 처리에 대하여는, 도 38을 참조하여 설명한다.

도 24는, 도 10의 스텝 S63에 있어서의 템플릿 생성 처리의 상세를 나타내고 있다. 스텝 S181에 있어서 템플릿 생성부(43)는, 영역(전체 화면 모션의 영역)으로 추정된 모든 점에 대하여, 각각에 대응하는 소영역 결정한다. 도 25의 예에 있어서는, 영역의 점(221)에 대응하여 소영역(222)가 결정되어 있다.

스텝 S182에 있어서, 템플릿 생성부(43)는, 스텝 S181의 처리에서 결정된 소영역의 합의 영역을 템플릿 범위로 설정한다. 도 25의 예에 있어서는, 소영역(222)의 합의 영역이 템플릿 범위(231)로 되어 있다.

다음에, 스텝 S183에 있어서, 템플릿 생성부(43)는, 스텝 S182에 있어서 설정한 템플릿 범위의 정보와 화상 정보로부터 템플릿을 생성하고, 템플릿 저장부(18)에 공급하고, 유지시킨다. 구체적으로는, 템플릿 범위(231) 내의 화소 데이터가 템플릿으로 된다.

도 26에 도시된 바와 같이, 영역의 점(221)에 대응하는 소영역(241)이, 도 25에 도시된 소영역(222)보다 큰 면적으로 되어 있다. 그 결과, 소영역(241)의 합의 영역의 템플릿 범위(251)도, 도 25의 템플릿 범위(231)보다 넓게 되어 있다.

소영역의 크기는, 샘플점의 간격으로 비례시키는 것이 고려되지만, 그 때의 비례 정수는, 면적이 샘플점 간격의 제곱이 되도록 결정할 수도 있고, 그보다 크거나 또는 작게 결정하는 경우도 가능하다.

그리고, 영역 추정 결과를 이용하지 않고, 예를 들면, 추적점을 중심으로 하는 고정된 크기나 형상의 범위를 템플릿 범위로서 사용하는 것도 가능하다.

도 27은 템플릿과 영역 추정 범위의 위치 관계를 나타내고 있다. 템플릿 범위(303)에는, 추적점(305)이 포함되어 있다. 템플릿 범위(303)에 외접하는 외접 직사각형(301)의 도면 중 좌측 위의 점이 템플릿 기준점(304)으로 되어 있다. 템플릿 기준점(304)으로부터 추적점(305)에 향하는 벡터(306), 및 템플릿 기준점(304)으로부터 영역 추정 범위(302)의 도면 중 좌측 위의 기준점(308)을 향한 벡터(307)가, 템플릿 범위(303)의 정보로 된다. 템플릿은, 템플릿 범위(303)에 포함되는 화소로 구성된다. 벡터(306, 307)은, 템플릿과 같은 화상이 검출되었을 때의 통상 처리로의 복귀에 사용된다.

이상의 처리에 있어서는, 환승 후보의 경우와는 달리, 범위와 화소 모두 현재의 프레임에 대응하는 것을 템플릿으로 하는 예를 설명하였으나, 환승 후보의 경우와 마찬가지로, 차후 프레임에서의 이동처를 템플릿으로서 사용하는 것도 가능하다.

이상과 같이 하여, 추적점을 포함하는 화소 데이터로 이루어지는 템플릿이 환승 후보와 마찬가지로, 통상 처리 중에, 미리 생성된다.

도 6의 스텝 S26에 있어서의 영역 추정 관련 처리는, 영역 추정 관련 처리부(15)를 예를 들면 도 28에 나타낸 바와 같이 구성함으로써 처리할 수도 있다.

이 경우에도, 영역 추정 관련 처리부(15)는, 도 9에 있어서의 경우와 마찬가지로, 영역 추정부(41), 환승 후보 추출부(42), 및 템플릿 생성부(43)에 의해 구성되지만, 이 실시예의 경우, 영역 추정부(41)에는, 추적점 결정부(17)로부터 추적점 및 입력 화상에 관한 정보가 입력된다. 환승 후보 추출부(42)에는, 영역 추정부(41)의 출력만이 공급되어 있다. 템플릿 생성부(43)에는, 영역 추정부(41)의 출력과 입력 화상이 공급되어 있다.

이 경우에도, 기본적인 처리는, 도 10에 나타내는 경우와 마찬가지로, 스텝 S61에 있어서, 영역 추정 처리가 행해지고, 스텝 S62에 있어서, 환승 후보 추출 처리가 행해지고, 스텝 S63에 있어서, 템플릿 생성 처리가 행해진다. 이 중의 스텝 S63의 템플릿 생성 처리는, 도 24에 나타낸 경우와 마찬가지이므로, 스텝 S61의 영역 추정 처리와, 스텝 S62의 환승 후보 추출 처리만을 이하에 설명한다.

최초에, 도 29의 플로차트를 참조하여, 스텝 S61에 있어서의 영역 추정 처리의 상세에 대하여 설명한다. 스텝 S201에 있어서, 도 28의 영역 추정부(41)는, 추적점과 동일 대상에 속하는 화상 상의 영역을 추정하기 위해 샘플점을 결정한다. 이 처리는 도 11의 스텝 S81의 처리와 마찬가지의 처리이다.

단, 이 스텝 S201의 처리에 있어서 대상으로 되는 프레임은, 추적점이 결정된 프레임이다(추적 후의 추적점을 포함하는 프레임이 완료된다) 이 점은, 도 11의 스텝 S81에 있어서 샘플점을 구하는 프레임이 전방 프레임인 것과 다르다.

다음에, 이 스텝 S202에 있어서, 영역 추정부(41)는, 차후 프레임(스텝 S201에서 샘플점을 결정한 프레임)의 화상에 공간 방향의 로우 패스 필터를 행하는 처리를 실행한다. 즉 로우 패스 필터를 행함으로써, 고주파 성분이 제거되고, 화상이 평활화된다. 이로써, 다음의 스텝 S203에 있어서의 동색 영역(same color region)의 성장 처리가 용이하게 된다.

다음에, 스텝 S203에 있어서, 영역 추정부(41)는, 추적점을 출발점으로서 화소값의 차분이 임계값 THimg 미만인 조건하에서, 추적점의 동색 영역을 성장시켜, 동색 영역에 포함되는 샘플점을 영역의 추정 결과로 하는 처리를 실행한다. 영역의 추정 결과로서는, 성장시킨 결과의 동색 영역에 포함되는 샘플점이 이용된다.

구체적으로는, 예를 들면, 도 30a에 나타낸 바와 같이, 추적점(321)에 인접하는 8개 방향의 화소의 화소값이 판독된다. 즉, 상방향, 우측 상방향, 우측 방향, 우측 하방향, 하방향, 좌측 하방향, 좌측 방향, 및 좌측 상방향의 8개의 방향으로 인접하는 화소의 화소값이 판독된다. 판독된 화소값과 추적점(321)의 화소값의 차분이 연산된다. 그리고, 연산된 차분분값이 임계값 THimg 이상인지 여부가 판정된다. 도 30a의 경우, 화살표를 부여하여 나타내는 방향의 화소값(즉 상방향, 우측 상방향, 하방향, 좌측 방향, 및 좌측 상방향의 화소값)과 추적점(321)의 차분이 임계값 THimg 미만이다. 대조적으로, 도면 중 화살표를 첨부 좌도에 나타나 있는 방향(즉 우측 방향, 우측 하방향, 및 좌측 하방향)의 화소값과 추적점(321)의 차분이 임계값 THimg 이상이다.

이 경우, 도 30b에 나타낸 바와 같이, 차분이 임계값 THimg 미만인 화소(도 30a에 있어서, 추적점(321)에 대하여 화살표로 나타내는 방향의 화소)가 추적점(321)으로 동색 영역의 화소(322)로서 등록된다. 마찬가지의 처리가 동색 영역에 등록된 각 화소(322)에 있어서 행해진다. 도 30b에 나타내는 예에서는, 도면 중 좌측 위의 흰 원으로 나타내는 화소(322)와 이 화소에 인접하는 화소(이미 동색 영역인 것으로 판정된 화소를 제외한다)의 화소값의 차분이 연산되어 그 차분이 임계값 THimg 이상인지 여부가 판정된다. 도 30b의 예에 있어서는, 우측 방향, 우측 하방향, 및 하방향의 화소는, 이미 동색 영역의 판정 처리가 종료하고 있을 방향이므로, 상방향, 우측 상방향, 좌측 하방향, 좌측 방향, 및 좌측 상방향으로 차분이 연산된다. 그리고, 이 예에서는, 상방향, 우측 상방향, 및 좌측 상방향의 3개의 방향의 차분이 임계값 THimg 미만으로 되고, 도 30c에 나타낸 바와 같이, 그 방향의 화소가 추적점(321)으로 동색 영역의 화소로서 등록된다.

이상과 같은 처리가 차례로 반복됨으로써, 도 31에 나타낸 바와 같이, 샘플점 중, 동색 영역(331)에 포함되는 점이 추적점(321)으로 동일 대상물 상의 점으로서 추정된다.

도 29에 나타내는 영역 추정 처리(도 10의 스텝 S61)에 이어서, 도 28의 환승 후보 추출부(42)에서 실행되는 도 10의 스텝 S62의 환승 후보 추출 처리는, 도 32의 플로차트에 나타낸 바와 같이 된다.

즉, 스텝 S231에 있어서, 환승 후보 추출부(42)는, 영역(동색 영역)으로 추정된 모든 점을 그 환승 후보로 하고, 그것을 환승 후보 저장부(16)에 공급하고, 유지시킨다.

도 28의 영역 추정 관련 처리부(15)에 있어서, 도 29의 영역 추정 처리(도 10의 스텝 S61), 도 32환승 후보 추출 처리(도 10의 스텝 S62)에 계속하여, 도 28의 템플릿 생성부(43)에서 실행되는 도 10의 스텝 S63의 템플릿 생성 처리는 도 24에 나타내는 경우와 마찬가지이므로 그 설명은 생략한다.

단, 이 경우에 있어서는, 추적점의 동색 영역을 그대로 템플릿의 범위로 할 수도 있다.

이상으로 설명한 도 2의 스텝 S1의 통상 처리에 이어서, 행해지는 스텝 S2의 예외 처리의 상세에 대하여, 도 33의 플로차트를 참조하여 설명한다. 이 처리는, 전술한 바와 같이, 도 6의 스텝 S24에 있어서 추적점의 모션을 추정하는 것이 불가능으로 판정되고, 또한 스텝 S28에 있어서 추적점을 환승하는 환승 후보가 선택할 수 없는 것으로 판정된 경우에 실행되게 된다.

스텝 S301에 있어서, 제어부(19)는 예외 처리의 초기화 처리를 실행한다. 이 처리의 자세한 것은 도 34의 플로차트에 나타나 있다.

스텝 S321에 있어서, 제어부(19)는, 추적점의 추적을 할 수 없게 되었을 때(추적점의 모션을 추정하는 것이 불가능하고 추적점을 갈아 타는 환승 후보가 선택할 수 없을 때)에 씬 체인지가 일어나고 있었는지 여부를 판정한다. 씬 체인지 검출부(13)는 모션 추정부(12)의 추정 결과에 따라 씬 체인지가 있었는지 여부를 항상 감시하고 있다. 제어부(19)는, 그 씬 체인지 검출부(13)의 검출 결과에 따라 스텝 S321의 판정을 실행한다. 씬 체인지 검출부(13)의 구체적 처리에 대하여는, 도 50 및 도 51을 참조하여 후술한다.

씬 체인지가 일어나고 있는 경우, 추적을 할 수 없게 된 이유가 씬 체인지가 발생한 것에 의한 것으로 추정하여, 스텝 S322에 있어서 제어부(19)는, 모드를 씬 체인지로 설정한다. 이에 대하여, 스텝 S321에 있어서 씬 체인지가 발생하고 있지 않은 것으로 판정된 경우에는, 제어부(19)는, 스텝 S323에 있어서 모드를 그 외의 모드로 설정한다.

스텝 S322 또는 스텝 S323의 처리 후, 스텝 S324에 있어서 템플릿 매칭부(11)는, 시간적으로 가장 오래된 템플릿을 선택하는 처리를 실행한다. 구체적으로는, 도 35에 나타낸 바와 같이, 예를 들면, 프레임 n으로부터 프레임 n+1으로 이행할 때, 예외 처리가 실행되는 것으로 하면, 프레임 n-m+1로부터 프레임 n에 대해 생성되고, 템플릿 저장부(18)에 유지되어 있는 m개의 프레임의 템플릿 중, 시간적으로 가장 오래된 템플릿인 프레임 n-m+1에 대해 생성된 템플릿이 선택된다.

이와 같이 예외 처리로의 이행 직전의 템플릿(도 35의 예의 경우 프레임 n에 대해 생성된 템플릿)를 이용하지 않고, 시간적으로 조금 전의 템플릿을 선택하는 것은, 추적 대상의 폐색 등으로 예외 처리로의 이행이 발생한 경우에는, 이행의 직전에는 추적 대상이 이미 매우 숨어 있어 그 시점의 템플릿에서는, 추적 대상을 충분히 크게 파악할 수 없을 가능성이 높기 때문이다. 따라서, 이와 같이 시간적으로 약간 전의 프레임에 있어서의 템플릿을 선택함으로써, 확실한 추적이 가능해진다.

다음에, 스텝 S325에 있어서, 템플릿 매칭부(11)는, 템플릿 탐색 범위를 설 정하는 처리를 실행한다. 템플릿 탐색 범위는, 예를 들면, 예외 처리로 이행하기 직전의 추적점의 위치가 템플릿 탐색 범위의 중심이 되도록 설정된다.

즉, 도 36에 나타낸 바와 같이, 프레임 n에 있어서 피사체의 얼굴(504)의 오른쪽 눈(502)이 추적점(501)으로서 지정되어 있는 경우, 프레임 n+1에 있어서, 도면 중 좌측 방향으로부터 오는 볼(521)이 추적점(501)을 포함하는 얼굴(504)을 숨긴다. 프레임 n+2에 있어서, 다시 추적점(501)이 나타나는 경우를 상정한다. 이 경우에 있어서, 추적점(501)(템플릿 범위(311)에 포함되는)을 중심으로 하는 영역이 템플릿 탐색 범위(312)로서 설정된다.

스텝 S326에 있어서, 템플릿 매칭부(11)는, 예외 처리로의 이행 후의 경과 프레임 수 및 씬 체인지 수를 0으로 리셋한다. 이 프레임 수와 씬 체인지 수는, 후술하는 도 33의 스텝 S305에 있어서의 계속 판정 처리(도 37의 스텝 S361, S363, S365, S367)에서 사용된다.

이상과 같이 하여, 예외 처리의 초기화 처리가 종료한 후, 도 33의 스텝 S302에 있어서, 제어부(19)는 다음의 프레임을 기다리는 처리를 실행한다. 스텝 S303에 있어서, 템플릿 매칭부(11)는, 템플릿 탐색 범위 내에 있어서 템플릿 매칭 처리를 행한다. 스텝 S304에 있어서 템플릿 매칭부(11)는, 통상 처리로의 복귀가 가능한지 여부를 판정한다.

구체적으로는, 템플릿 매칭 처리에 의해, 수 프레임 전의 템플릿(도 36의 템플릿 범위(311) 내의 화소)와 템플릿 탐색 범위 내의 매칭 대상의 화소의 차분의 절대값 합이 연산된다. 보다 상세하게는, 템플릿 범위(311) 내의 소정의 블록과, 템플릿 탐색 범위 내의 소정의 블록에 있어서의 각각의 화소의 차분의 절대값 합이 연산된다. 블록의 위치가 템플릿 범위(311) 내에서 차례로 이동되어 각 블록의 차분 절대값 합이 가산되어 그 템플릿의 위치에 있어서의 값으로 된다. 그리고, 템플릿을 템플릿 탐색 범위 내에서 차례로 이동시킨 경우에서의 차분의 절대값 합이 가장 작아지는 위치와 그 값이 검색된다. 스텝 S304에 있어서, 최소의 차분의 절대값 합이, 미리 설정되어 있는 소정의 임계값과 비교된다. 차분의 절대값 합이 임계값 이하인 경우에는, (템플릿에 포함된) 추적점을 포함하는 화상이 다시 출현하게 되므로, 통상 처리로의 복귀가 가능한 것으로 판정되고, 처리는 도 2의 스텝 S1의 통상 처리로 돌아온다.

그리고, 전술한 바와 같이, 도 7의 스텝 S41에 있어서, 예외 처리로부터의 복귀인 것으로 판정되고, 스텝 S44에 있어서, 차분 절대값 합이 최소가 되는 위치를 템플릿의 매칭한 위치로 하여, 이 매칭한 위치와 템플릿에 대응하여 저장된 템플릿 위치와 추적점 영역 추정 범위의 위치 관계로부터, 추적점과 영역 추정 범위의 설정이 행해진다. 즉, 도 27을 참조하여 설명한 바와 같이, 추적점(305)을 벡터(306, 307)에 따라 영역 추정 범위(302)가 설정된다.

단, 도 10의 스텝 S61의 영역 추정 처리에 있어서, 영역 추정 범위를 이용하지 않는 방법을 이용하는 경우(예를 들면, 도 29에 나타내는 영역 추정 처리가 사용되는 경우)에는, 영역 추정 범위의 설정은 행해지지 않는다.

도 33의 스텝 S304에 있어서의 통상 처리로의 복귀가 가능한지 여부의 판정은, 최소의 차분 절대값 합을 템플릿의 액티비티로 나누어 얻어지는 값을 임계값과 비교하는 것으로 행하도록 해도 된다. 이 경우에서의 액티비티는, 후술하는 도 43의 액티비티 산출부(602)에 의해, 도 49의 스텝 S532에 있어서 산출된 값을 사용할 수 있다.

또한, 이번 최소의 차분 절대값 합을 1프레임 전에 있어서의 최소의 차분 절대값의 합으로 나누어 얻어진 값을 소정의 임계값과 비교하는 것으로, 통상 처리로의 복귀가 가능한지 여부를 판정하도록 해도 된다. 이 경우, 액티비티의 계산이 불필요해진다.

즉, 스텝 S304에서는, 템플릿과 템플릿 탐색 범위의 상관이 연산되어 상관값과 임계값의 비교에 따라 판정을 한다.

스텝 S304에 있어서, 통상 처리로의 복귀가 가능하지 않은 것으로 판정된 경우, 스텝 S305로 진행하고, 계속 판정 처리가 실행된다. 계속 판정 처리의 자세한 것은, 도 37의 플로 차트를 참조하여 후술하지만, 이로써, 추적 처리가 계속 가능한지 여부의 판정을 한다.

스텝 S306에 있어서, 제어부(19)는, 추적점의 추적이 계속 가능한지 여부를 계속 판정 처리의 결과에 따라(후술하는 도 37의 스텝 S366, S368에서 설정된 플래그에 따라) 판정한다. 추적점의 추적 처리가 계속 가능한 경우에는, 처리는 스텝 S302로 복귀하고, 그 이후의 처리가 반복 실행된다. 즉, 추적점이 다시 출현할 때까지 대기하는 처리가 반복 실행된다.

이에 대하여, 스텝 S306에 있어서, 추적점의 추적 처리가 계속 가능하지 않은 것으로 판정된 경우(즉, 후술하는 도 37의 스텝 S365에서, 추적점이 소실한 후 의 경과 프레임의 수가 임계값 THfr 이상으로 판정되거나, 또는 스텝 S367에서 씬 체인지 수가 임계값 THsc 이상으로 판정된 경우), 추적처리는 불가능으로 되고, 그래서 추적 처리는 종료된다.

도 37은 도 33의 스텝 S305에 있어서의 계속 판정 처리의 상세를 나타내고 있다. 스텝 S361에 있어서, 제어부(19)는, 변수로서의 경과 프레임 수에 1을 가산하는 처리를 실행한다. 경과 프레임 수는, 도 33의 스텝 S301의 예외 처리의 초기화 처리(도 34의 스텝 S326)에 있어서, 미리 0으로 리셋되어 있다.

다음에, 스텝 S362에 있어서, 제어부(19)는, 씬 체인지가 있는지 여부를 판정한다. 씬 체인지가 있는지 여부는, 씬 체인지 검출부(13)가, 항상 그 검출 처리를 실행하고 그 검출 결과에 따라 판정이 가능하다. 씬 체인지가 있는 경우에는, 스텝 S363으로 진행하고, 제어부(19)는 변수로서의 씬 체인지 수를 증가시킨다. 이 씬 체인지의 수도, 도 34의 스텝 S326의 초기화 처리에 있어서 0으로 리셋되어 있다. 통상 처리로부터 예외 처리로의 이행 시에 씬 체인지가 발생하고 있지 않은 경우에는, 스텝 S363의 처리는 스킵된다.

다음에, 스텝 S364에 있어서, 제어부(19)는, 현재 설정되어 있는 모드가 씬 체인지인지 여부를 판정한다. 이 모드는, 도 34의 스텝 S322, S323에 있어서 설정된 것이다. 현재 설정되어 있는 모드가 씬 체인지인 경우에는, 스텝 S367로 진행하고, 제어부(19)는, 씬 체인지 수가 미리 설정되어 있는 임계값 THsc 보다 작은지 아닌지를 판정한다. 씬 체인지 수가 임계값 THsc 보다 작은 경우에는, 스텝 S366으로 진행하고, 제어부(19)는 계속 가능의 플래그를 설정하고, 씬 체인지 수가 임 계값 THsc 이상인 경우에는, 스텝 S368으로 진행하고, 계속 불가능의 플래그를 설정한다.

한편, 스텝 S364에 있어서, 모드가 씬 체인지는 아닌 것으로 판정된 경우(모드가 다른 모드인 것으로 판정된 경우), 스텝 S365로 진행하고, 제어부(19)는, 경과 프레임 수가 임계값 THnr 보다 작은지 아닌지를 판정한다. 이 경과 프레임 수도, 도 32의 예외 처리의 초기화 처리의 스텝 S326에 있어서, 미리 0으로 리셋되어 있다. 경과 프레임 수가 임계값 THfr 보다 작은 것으로 판정된 경우에는, 스텝 S366에 있어서, 계속 가능의 플래그가 설정되고, 경과 프레임 수가 임계값 THfr 이상인 것으로 판정된 경우에는, 스텝 S368에 있어서, 계속 불가의 플래그가 설정된다.

이와 같이, 템플릿 매칭 처리시에 있어서의 씬 체인지 수가 임계값 THsc 이상이거나, 또는 경과 프레임 수가 임계값 THfr 이상으로 된 경우에는, 그 이상의 추적 처리는 불가능으로 된다.

그리고, 모드가 다른 모드인 경우에는, 씬 체인지 수가 0인 조건도 더하여, 계속이 가능한지 여부를 판정하도록 해도 된다.

이상에 있어서는, 화상의 프레임을 처리 단위로 하고, 모든 프레임을 사용하는 것을 전제로 하였으나, 필드 단위로 처리하거나, 모든 프레임 또는 필드를 이용하지 않고, 소정의 간격으로 프레임이나 필드를 솎아냄으로써, 추출된 프레임 또는 필드를 사용하도록 할 수도 있다.

또, 이상에 있어서는, 환승 후보로서, 추정 영역 내의 점의 이동처를 사용하 도록 했지만, 영역 내의 점을 그대로 사용하도록 할 수도 있다. 이 경우, 도 2의 스텝 S1의 통상 처리는, 도 6의 처리에 대신하여, 도 38의 처리에 변경된다.

도 38의 스텝 S401 내지 스텝 S410의 처리는, 기본적으로 도 6의 스텝 S21 내지 스텝 S29의 처리와 마찬가지의 처리이지만, 도 6의 스텝 S22에 대응하는 도 38의 스텝 S402의 다음의 프레임을 기다리는 처리의 다음에, 스텝 S403의 영역 추정 관련 처리가 삽입되어 있는 점과, 도 6에 있어서의 스텝 S26에 있어서의 영역 추정 관련 처리에 대신하여, 스텝 S407의 영역 추정 범위의 갱신 처리가 실행되는 점이 상이하다. 그 외의 처리는, 도 6에 있어서의 경우와 마찬가지이므로, 그 설명은 생략한다.

도 38의 스텝 S403의 영역 추정 관련 처리의 자세한 것은, 도 10을 참조하여 설명한 경우와 마찬가지이고, 스텝 S407의 영역 추정 범위의 갱신 처리는, 도 16을 참조하여 설명한 경우와 마찬가지로 처리된다.

통상 처리를, 도 38의 플로차트에 나타낸 바와 같이 실행한 경우에 있어서의, 스텝 S403의 영역 추정 관련 처리(도 10의 영역 추정 관련 처리)의 영역 추정 처리(도 10의 스텝 S61에 있어서의 영역 추정 처리)는, 도 39의 플로 차트에 나타낸 바와 같이 된다.

그 스텝 S431 내지 스텝 S435의 처리는, 기본적으로 도 11의 스텝 S81 내지 스텝 S86의 처리와 마찬가지의 처리로 된다. 단, 도 11의 스텝 S86에 있어서의 영역 추정 범위의 갱신 처리가 도 39에서는 생략되어 있다. 그 외의 처리는, 도 11의 경우와 마찬가지이다. 즉, 영역 추정 범위의 갱신 처리는, 도 38의 스텝 S407 에서 실행되므로, 도 39의 영역 추정 처리에서는 불필요하다.

또한, 도 38의 통상 처리를 행하는 경우에서의 스텝 S403의 영역 추정 관련 처리(도 10의 영역 추정 관련 처리)의 환승 후보 추출 처리(도 10의 스텝 S62에서의 환승 후보 추출 처리)는, 도 40에 나타낸 바와 같이 된다. 이 스텝 S451의 처리는, 도 32에 있어서의 스텝 S231의 환승 후보 추출 처리와 마찬가지의 처리로 된다.

이상과 같이, 통상 처리를 도 38의 플로차트에 나타낸 바와 같이 행한 경우와, 도 6에 나타낸 바와 같이 행한 경우에서의 처리의 차분을 설명하면, 도 41 및 도 42에 나타낸 바와 같이 된다.

도 6의 플로 차트에 나타내는 통상 처리를 행한 경우에는, 도 41에 나타낸 바와 같이, 프레임 n에 있어서, 영역 추정 범위(81) 내의 도면 중 검은 사각형으로 나타내는 점(551)에 의해 영역(82)이 구성되어 있는 것으로 하면, 다음의 프레임 n+1에 있어서, 전의 프레임 n에 있어서의 영역(82)의 각 점(551)을 각각의 모션 벡터(553)에 따라 시프트한 위치에서의 프레임 n+1 상의 점(552)이 환승 후보로 된다(도 23의 스텝 S161의 처리).

각 점(551)의 모션 벡터(553)은, 전체 화면 모션의 모션 벡터와 마찬가지로 이루어지는 것도 있지만, 전체 화면 모션과 같은 모션으로 간주하는 고정밀도에 따라서는 각 점의 추정 모션에 다소의 불균일이 나온다. 예를 들면, 수평 방향 및 수직 방향에서, 1-도트 차분을 갖는 모션이 같다고 하면, (0,0 )의 모션은 (-1, 1)의 모션과 (1, 0)의 못ㄴ을 포함한다. 이 경우, 전체 화면 모션이 (0, O)이었다고 해도, 각 점(551)이, (-1, 1) 또는 (1, 0) 등의 모션을 가지고 있을 때는, 각각의 모션의 양만큼 시프트 된다. 이동처의 점(destination point)을 그대로 환승 후보로서 사용하지 않고, 미리 구해진 샘플점 중, 가장 가까운 점을 환승 후보로 할 수도 있다. 물론, 처리 부하 경감을 위하여, 각 점(551)을, 전체 화면 모션의 양만큼 시프트 해도 된다.

이에 대하여, 통상 처리를 도 38의 플로차트에 나타낸 바와 같이 실행한 경우에 있어서는, 도 42에 나타낸 바와 같이, 프레임 n에 있어서의 영역 추정 범위(81) 내의 점(561)이 환승 후보로 된다.

다음에, 도 43을 참조하여, 도 1의 모션 추정부(12)의 구성예에 대하여 설명한다. 이 모션 추정부(12)는, 모션 벡터 검출부(606-1), 및 모션 벡터 정확도 산출부(606-2)에 의해 구성되어 있다. 실시예에 있어서는, 입력 화상이, 평가값 산출부(601), 액티비티 산출부(602), 및 모션 벡터 검출부(606-1)에 공급되어 있다.

모션 벡터 검출부(606-1)는, 입력 화상으로부터 모션 벡터를 검출하고, 검출한 모션 벡터와 입력 화상을 모션 벡터 정확도 산출부(606-2)에 공급한다. 또, 모션 벡터 검출부(606-1)는, 입력 화상이 이미 모션 벡터를 포함하는 경우, 화상 데이터와 모션 벡터를 분리하여, 모션 벡터 정확도 산출부(606-2)에 공급한다. 화상 데이터와 그 모션 벡터가 이미 분리된 상태에서 입력되는 경우, 모션 벡터 검출부(606-1)는 생략할 수 있다.

모션 벡터 정확도 산출부(606-2)는, 입력된 입력 화상(화상 데이터)에 따라 대응하는 모션 벡터의 정확도(이하, 모션 벡터 정확도라고 함)를 연산하고, 얻어진 정확도를 모션 벡터 검출부(606-1)로부터 공급된 모션 벡터와 동시에 출력한다.

이 실시예에 있어서는, 모션 벡터 정확도 산출부(606-2)는, 평가값 산출부(601), 액티비티 산출부(602), 및 연산부(606-3)에 의해 구성되어 있다. 연산부(606-3)는, 임계값 판정부(603), 정규화 처리부(604), 및 통합 처리부(605)에 의해 구성되어 있다.

도 43의 모션 벡터 검출부(606-1)로부터 출력된 모션 벡터가, 평가값 산출부(601)에 입력되고, 입력 화상(화상 데이터)이, 평가값 산출부(601)와 액티비티 산출부(602)에 입력되어 있다.

평가값 산출부(601)는, 입력 화상의 평가값을 산출하고, 연산부(606-3)의 정규화 처리부(604)에 공급한다. 액티비티 산출부(602)는, 입력 화상의 액티비티를 산출하고, 연산부(606-3)의 임계값 판정부(603)와 정규화 처리부(604)에 공급한다.

정규화 처리부(604)는, 평가값 산출부(601)로부터 공급된 평가값을, 액티비티 산출부(602)로부터 공급된 액티비티에 따라 정규화하고, 얻어진 값을 통합 처리부(605)에 공급한다. 임계값 판정부(603)는, 액티비티 산출부(602)로부터 공급된 액티비티를 소정의 임계값과 비교하여, 그 판정 결과를 통합 처리부(605)에 공급한다. 통합 처리부(605)는, 정규화 처리부(604)로부터 공급된 정규화 정보와, 임계값 판정부(603)로부터 공급된 판정 결과에 따라 모션 벡터 정확도를 연산하고, 얻어진 모션 벡터 정확도를 장치에 출력한다. 이 때, 벡터 검출부(606-1)로부터 공급된 모션 벡터도 함께 출력하도록 해도 된다.

다음에, 도 44의 플로 차트를 참조하여, 모션 추정부(12)의 모션 연산 처리 의 상세에 대하여 설명한다. 모션 벡터 검출부(606-1)는, 스텝 S501에 있어서, 입력 화상을 취득하고, 스텝 S502에서, 입력 화상의 프레임을 소정의 블록으로 분할하고, 스텝 S503에서, 시간적으로 후(또는 전)의 프레임과 비교하는 것으로 모션 벡터를 검출한다. 구체적으로는, 블록 매칭법에 의해 모션 벡터가 검출된다. 검출된 모션 벡터는, 평가값 산출부(601)에 공급된다.

이상의 처리를 도 45내지 도 48을 참조하여 설명하면 다음과 같이 된다. 즉, 도 44의 스텝 S501에 있어서, 예를 들면, 도 45에 나타낸 바와 같이, 프레임 F₁(제1 프레임) 내지 프레임 F_N(제N 프레임)의 N개의 프레임이 차례로 취득되면 스텝 S502에 있어서, 1개의 프레임의 화상이 한 변인 2L+1인 화소의 정방 형태의 블록으로 분할된다. 여기서, 분할된 프레임 F_n의 임의의 블록을 블록 B_p으로 하고, 도 46에 나타낸 바와 같이, 블록 B_p의 중심 좌표 화소)를 점 P(X_p, Y_p)로 한다.

다음에, 스텝 S503에 있어서, 예를 들면, 도 47에 나타낸 바와 같이, 프레임 F_n의 다음의 프레임인 프레임 F_{n +1}에 있어서, 블록 B_p를 프레임 F_{n +1} 상의 소정의 주사 범위 내를 주사시키면서, 대응하는 화소의 차분 절대값 합이 최소가 되는 위치를 조사하여, 그 값이 최소가 되는 위치의 블록(블록 B_q)이 검출된다. 그 검출된 블록의 중심점(center point) Q(X_q, Y_q)이 블록 B_p의 점 P(X_p, Y_p)와의 대응점으로 된다.

도 48에 나타낸 바와 같이, 블록 B의 중심점 P(X_p, Y_p)와 블록 B의 중심점 Q(X_q, Y_q)를 연결하여 표현되는 선(화살표)이, 모션 벡터 V(vx, vy)로서 검출된다. 즉, 다음 식에 따라 모션 벡터 V(vx, vy)가 연산된다.

V(vx, vy) = Q(X_q, Y_q) - P(X_p, Y_p)

도 44의 스텝 S504에 있어서, 모션 벡터 정확도 산출부(22)에 의해 모션 벡터 정확도 연산 처리가 실행된다. 그 자세한 것은, 도 49를 참조하여 후술하지만, 이 처리에 의해, 모션 벡터 정확도가 정량적인 수치로서 산출된다.

스텝 S505에 있어서, 모션 벡터 정확도 산출부(606-2)는, 1개의 프레임의 모든 블록에 대하여, 모션 벡터 정확도의 산출이 종료하였는지 여부를 판정한다.

모션 벡터 정확도 산출부(606-2)는, 스텝 S505에 있어서, 아직 모든 블록에 대하여 모션 벡터 정확도가 산출되어 있지 않은 것으로 판정한 경우, 처리를 스텝 S504에 복귀하여, 이후의 처리를 반복 실행한다. 모든 블록에 대하여 모션 벡터 정확도의 산출이 종료한 것으로 판정된 경우, 그 프레임에 대한 처리를 종료한다. 이상의 처리는 각 프레임마다 행해진다.

다음에, 도 49의 플로차트를 참조하여, 도 44의 스텝 S504의 모션 벡터 정확도 연산 처리의 상세에 대하여 설명한다. 스텝 S531에 있어서, 평가값 산출부(601)는 다음 식에 따라 평가값 Eval(P, Q, i, j)를 연산한다.

상기 수학식 2에 있어서의 총합 ΣΣ는 x가 -L로부터 L에 대하여, y가 -L로부터 L에 대하여 행해진다. 즉, 간략화를 위해, 도 50에 나타낸 바와 같이, 블록 B_p와 블록 B_q의 1변을 5(=2L+1= 2x2+1)으로 하는 화소를 갖는다. 이때, 프레임 F_n의 블록 B_p의 좌측 상단의 좌표 점 P₁(X_p-2, Y_p-2)에 위치하는 화소(71)의 화소값과, 화소(771)에 대응하는 프레임 F_{n +1}의 블록 B_q의 좌표 점 Q₁(X_q-2, Y_q-2)에 위치하는 화소(811)의 화소값 간의 차가 연산된다. 마찬가지의 연산이, 점 P₁(X_p-2, Y_p-2) 내지 점 P₂₅(X_p+2, Y_p+2) 사이에 위치하는 화소의 각각에 대응하는 블록 B_q의 점 Q₁(X_q-2, Y_q-2) 내지 Q₂₅(X_q+2, Y_q+2) 사이에 위치하는 화소의 화소값의 각각의 차가 연산된다. L=2인 경우, 25개의 차분을 얻을 수 있어 그 절대값의 합이 연산된다.

그리고, 전술한 프레임 F_n의 블록 B_p의 중심 좌표의 점 P(X_p, Y_p)에 위치하는 화소(주목 화소)의 화소수 및 블록 B_p의 중심점에 대응하고 프레임 F_{n +1}의 블록 B_q의 중심 좌표의 점 Q(X_q+Y_q)에 위치하는 화소(대응 화소)의 화소수는, 적어도 1개이면 된다. 단, 복수개로 하는 경우에는, 그 수를 동일하게 할 필요가 있다.

이 평가값은, 한쪽의 프레임의 화상 상의 점과 다른 쪽의 프레임의 화상 상의 점의 각각을 중심으로 하는 블록의 평가값(즉, 모션 벡터의 평가값)을 나타내는 것이며, 평가값이 0에 가까워질수록, 블록들은 서로 일치하고 있는 것을 나타내고 있다. 또, 상기 수학식 2에 있어서, F_i 및 F_j는, 시간적으로 상이한 프레임을 나타 내고, 전술한 설명에서는, F_n이 F_i에 대응하고, F_{n +1}가 F_j에 대응한다. 상기 수학식 2에서는, 차분 절대화를 평가값으로 하고 있지만, 차분 제곱화를 평가값으로 해도 된다.

블록 매칭법 이외에, 구배법(gradient method)이나, 벡터 검출 방법(vecgor detection method)으로 의해 평가값을 연산할 수도 있다.

평가값 산출부(601)는, 생성한 평가값을 정규화 처리부(604)에 공급한다. 스텝 S532에 있어서, 액티비티 산출부(602)는, 입력 화상으로부터 액티비티를 산출한다. 액티비티는, 화상의 복잡함을 나타내는 특징량이며, 도 51, 도 52에 나타낸 바와 같이, 각 화소마다의 주목 화소 Y(x, y)와 이에 인접하는 8 화소, 즉 인접 화소 Y(x-1, y-1), Y(x, y-1), Y(x+1, y-1), Y(x+1, y), Y(x+1, y+1), Y(x, y+1), Y(x-1, y+1), 및 Y(x-1, y)와의 차분 절대 합의 평균값이, 주목 화소의 액티비티로서 다음 식에 따라 연산된다.

도 52의 예의 경우, 3x3 화소의 중앙에 위치하는 주목 화소 Y(x, y)의 값은110이며, 상기 주목 화소 Y(x, y)에 인접하는 8개의 화소(인접 화소 Y(x-1, y-1), Y(x, y-1), Y(x+1, y-1), Y(x+1, y), Y(x+1, y+1), Y(x, y+1), Y(x-1, y+1), 및 Y(x-1, y)의 값은, 각각 80, 70, 75, 100, 100, 100, 80, 및 80이므로, 액티비티는 다음 식에 의해 표현된다.

Activity(x, y) = {｜80-110｜+｜70-110｜+｜75-110｜+｜100-110｜+｜100-110｜+｜100-110｜+｜80-110｜+｜80-110｜+｜80-110｜ / 8 = - 24.375

모션 벡터 정확도를 화소 단위로 산출하는 경우에는, 이 액티비티가 그대로 모션 벡터 정확도의 산출에 사용된다. 복수의 화소로 이루어지는 블록 단위로 모션 벡터 정확도를 산출하는 데는, 블록의 액티비티가 추가로 산출된다.

블록 단위로 모션 벡터 정확도를 산출하므로 블록의 액티비티는, 예를 들면, 도 53a에 나타낸 바와 같이, 한 변을 5(=2L+1 = 2x2+1) 화소로 하는 블록 B_p에서는, 액티비티 산출 범위(851a)의 중앙에 포함되는 화소(771)가 주목 화소로 되고, 화소(771)의 값과 이 화소(771)에 인접하는 8개의 화소의 값에 있어서 액티비티가 연산된다.

또, 도 53b 내지 F에 나타낸 바와 같이, 블록 B 내의 화소가 차례로 주사되어 액티비티 산출 범위(851b 내지 851f)에 포함되는 주목 화소와 인접 화소와의 액티비티가 연산된다. 블록 B_p의 모든 화소에 대하여 연산된 액티비티의 합이 블록 B_p의 블록의 액티비티로 된다.

따라서, 다음 식에 의해 표현되는 블록 내의 모든 화소의 액티비티의 합이, 그 블록의 액티비티(블록 액티비티) Blockactivity(i, j)로 정의된다.

Block_activity(i, j) = ΣΣ｜Activity(x, y)｜

상기 수학식 4에 있어서의 합 ΣΣ는, x가 -L로부터 L에 대하여, y가 -L로부터 L에 대하여 행해진다. 수학식 4의 "i" 및 "j"는, 블록의 중심 위치를 나타내고 있고, 수학식 3의 i 및 j와는 상이한 것이다.

그리고, 액티비티로서는, 이 외에, 블록에 있어서의 분산 값, 동적 범위, 그 외의 화소값의 공간 방향의 변동을 나타내는 값 등으로 할 수도 있다.

임계값 판정부(603)는, 스텝 S533에 있어서, 액티비티 산출부(602)에 의해, 스텝 S532의 처리에 의해 산출된 블록 액티비티가, 미리 설정하고 있는 임계값(도 53을 참조하여 후술하는 임계값 THa)보다 큰지를 판정한다. 그 자세한 것은, 도 54의 플로차트를 참조하여 설명하지만, 이 처리에 의해, 블록 액티비티가 임계값 THa 보다 큰지 아닌지의 플래그가 설정된다.

스텝 S534에 있어서, 정규화 처리부(604)는, 정규화 처리를 실행한다. 그 자세한 것은, 도 56을 참조하여 후술하지만, 이 처리에 의해 스텝 S31의 처리에 의해 산출된 평가값, 스텝 S532의 처리에 의해 산출된 블록 액티비티, 및 임계값(도 55를 참조하여 후술하는 직선(903)의 경사)에 근거한 모션 벡터 정확도가 연산된다.

스텝 S535에 있어서, 통합 처리부(605)에 의해 통합 처리가 실행된다. 그 자세한 것은, 도 57을 참조하여 후술하지만, 이 처리에 의해 스텝 S533의 처리(도 54의 스텝 S552 또는 스텝 S553의 처리)로 설정된 플래그에 따라 (도시하지 않은) 장치에 출력하는 모션 벡터 정확도가 결정된다.

다음에, 도 54를 참조하여, 도 49의 스텝 S533의 처리의 임계값 처리의 상세에 대하여 설명한다. 스텝 S551에 있어서, 임계값 판정부(603)는, 도 49의 스텝 S532의 처리의 결과, 산출된 블록 액티비티가 임계값 THa 보다 큰지를 판정한다. 구체적으로는, 실험의 결과, 블록 액티비티와 평가값은, 모션 벡터를 파라미터로서, 도 55에 나타내는 관계를 가진다. 도 55에 있어서, 가로축은 블록 액티비티 Blockactijty(i, j)를 나타내고, 세로축은 평가값 Eval를 나타내고 있다. 모션이 정확하게 검출되어 있는 경우(정확한 모션 벡터가 부여되어 있는 경우), 그 블록 액티비티와 평가값의 값은, 곡선(901)으로부터 도면 중 아래쪽의 영역 R1에 분포한다. 이에 대하여 에러 모션(부정 모션 벡터)이 주어진 경우, 그 블록 액티비티와 평가값의 값은, 곡선(902)으로부터, 도면 중 좌측의 영역 R2에 분포한다(곡선(902)로부터 위쪽의 영역 R2 이외와 곡선(901)으로부터 아래쪽의 영역 R1 이외의 영역에는 거의 분포가 없다). 곡선(901)과 곡선(902)은, 점 P에 있어서 교차한다. 이 점 P에 있어서의 블록 액티비티의 값이 임계값 THa으로 된다. 임계값 THa는, 블록 액티비티의 값이 그보다 작은 경우에는, 대응하는 모션 벡터가 정확하게 없을 가능성이 있는 것을 의미한다(이 점에 대하여는 후에 상세하게 설명한다). 임계값 판정부(603)는, 액티비티 산출부(602)로부터 입력된 블록 액티비티의 값이, 이 임계값 THa 보다 큰지 아닌지를 나타내는 플래그를 통합 처리부(605)에 출력한다.

스텝 S551에 있어서, 블록 액티비티가 임계값 THa 보다 큰 것으로 판정된 경우(대응하는 모션 벡터가 정확할 가능성이 높은 경우), 스텝 S552로 진행하고, 임 계값 판정부(603)는, 블록 액티비티가 임계값 THa 보다 큰 것을 나타내는 플래그를 설정한다.

이에 대하여, 스텝 S551에 있어서, 블록 액티비티가 임계값 THa 보다 크지 않은 (작은) 것으로 판정된 경우(대응하는 모션 벡터가 정확하지 않을 가능성이 있는 경우), 스텝 S553으로 진행하고, 블록 액티비티가 크지 않은 (작은) 것을 나타내는 플래그가 설정된다.

그리고, 임계값 판정부(603)는, 입력된 블록 액티비티가 임계값보다 큰지 아닌지를 나타내는 플래그를 통합 처리부(605)에 출력한다.

다음에, 도 56의 플로차트를 참조하여, 도 49의 스텝 S534의 정규화 처리의 상세에 대하여 설명한다. 스텝 S571에 있어서, 정규화 처리부(604)는, 도 49의 스텝 S531의 처리에 의해 산출된 평가값, 스텝 S532의 처리에 의해 산출된 블록 액티비티, 및 미리 설정되어 있는 임계값(도 55의 직선(903)의 경사)에 따라 다음 식에 따라 모션 벡터 정확도 VC를 연산한다.

VC = 1 - 평가값 / 블록 액티비티

모션 벡터 정확도 VC에서, 평가값을 블록 액티비티로 나누어 얻어진 값은, 그 값에 의해 규정되는 도 55의 그래프 상의 위치를 결정하며, 상기 위치는 원점 O와 경사가 1인 점 P를 연결하는 직선(903)에 대해 아래쪽의 영역인지, 위쪽의 영역인지를 나타낸다. 즉, 직선(903)의 경사는 1이며, 평가값을 블록 액티비티로 나눗셈해서 얻어진 값이 1보다 크면, 그 값에 대응하는 점은, 직선(903)의 위쪽의 영역 에 분포하는 점인 것을 의미한다. 그리고, 이 값을 1로 감산하여 얻어지는 모션 벡터 정확도 VC는, 그 값이 작을 수록(부의 값에 클 수록), 대응하는 점이 영역 R2에 분포할 가능성이 높은 것을 의미한다.

이에 대하여, 평가값을 블록 액티비티로 나눗셈해서 얻어진 값이 1보다 작으면, 그 값에 대응하는 점은, 직선(903)의 도면 중 아래쪽의 영역에 분포하는 것을 의미한다. 그리고, 그 때의 모션 벡터 정확도 VC는, 그 값이 클수록 (0에 가까울수록), 대응하는 점이 영역 R1에 분포하는 것을 의미한다. 정규화 처리부(604)는, 이같이 하여 연산하여 얻어진 모션 벡터 정확도 VC를 통합 처리부(605)에 출력한다.

스텝 S572에 있어서, 정규화 처리부(604)는, 수학식 5에 따라 산출된 모션 벡터 정확도 VC가 0보다 작은지 아닌지(모션 벡터 정확도 VC가 마이너스의 값인지 아닌지)를 판정한다. 모션 벡터 정확도 VC가 0 이상의 값인 경우, 정규화 처리부(604)는, 스텝 S573으로 진행하고, 스텝 S571의 처리에서 연산된 모션 벡터 정확도 VC를 그대로 통합 처리부(605)에 공급한다.

이에 대하여, 스텝 S572에 있어서, 모션 벡터 정확도 VC가 0보다 작은(모션 벡터 정확도 VC가 마이너스의 값) 것으로 판정된 경우, 스텝 S574로 진행하고, 정규화 처리부(604)는, 모션 벡터 정확도 VC를 고정값으로서 0으로 설정하고, 통합 처리부(605)에 공급한다.

이상과 같이 하여, 모션 벡터가 정확하지 않을 가능성이 있는(부정의 벡터의 가능성이 있는) 경우(모션 벡터 정확도 VC가 마이너스인 경우), 모션 벡터 정확도 는 O으로 설정된다.

다음에, 도 57의 플로 차트를 참조하여, 도 49의 스텝 S535의 통합 처리의 상세에 대하여 설명한다.

스텝 S591에 있어서, 통합 처리부(605)는, 블록 액티비티가 임계값 THa 이하인지 여부를 판정한다. 이 판정은, 임계값 판정부(603)로부터 공급된 플래그에 따라 행해진다. 블록 액티비티의 값이 임계값 THa 보다 큰 경우에는, 스텝 S592에 있어서, 통합 처리부(605)는, 정규화 처리부(604)에 의해 연산된 모션 벡터 정확도 VC의 값이 그대로 모션 벡터 동시에 출력된다.

이에 대하여, 블록 액티비티가 임계값 THa 이하인 것으로 판정된 경우에는, 스텝 S593에 있어서, 정규화 처리부(604)에 의해 산출된 모션 벡터 정확도 VC의 값이 O에 설정되고, 출력된다.

이것은, 정규화 처리부(604)에 있어서 연산된 모션 벡터의 정확도 VC의 값이 정(positive)이었다고 해도, 블록 액티비티의 값이 임계값 THa 보다 작은 경우에는, 정확한 모션 벡터를 얻지 못할 가능성이 있기 때문이다. 즉, 도 55에 나타낸 바와 같이, 원점 O와 점 P의 사이에 있어서는, 곡선(202)가, 곡선(901)로부터 도면 중 아래쪽에(직선(903)로부터 아래쪽에) 돌출하게 된다. 블록 액티비티의 값이 임계값 THa 보다 작은 경우, 곡선(901)과 곡선(902)으로 둘러싸이는 영역 R3에 있어서는, 평가값을 블록 액티비티로 나눗셈해 얻어지는 값은, 영역 R1과 R2의 양쪽에 분포하여, 정확한 모션 벡터를 얻지 못할 가능성이 높다. 그래서, 이와 같은 분포 상태인 경우에는, 모션 벡터의 정확도는 낮은 것으로서 처리하도록 한다. 그러므 로, 스텝 S593에 있어서, 모션 벡터 정확도 VC는, 그 값이 부(negative)인 경우에는 원래 정이었다고 해도, 임계값 THa 보다 작은 경우에는, O에 설정된다. 이와 같이 함으로써, 모션 벡터 정확도 VC의 값이 정인 경우에는, 정확한 모션 벡터를 얻을 수 있은 경우를 확실하게 나타내는 것이 가능해진다. 또한, 모션 벡터 정확도 VC의 값이 클수록, 정확한 모션 벡터를 얻을 확률이 높아진다(분포가 영역 R1에 포함된 확률이 높아진다).

이것은, 일반적으로 휘도 변화가 적은 영역(액티비티가 작은 영역)에서는 신뢰성이 높은 모션 벡터를 검출하는 것이 곤란하다라는 경험상의 법칙과도 일치한다. 이상과 같이 하여, 모션 벡터 정확도가 산출된다. 따라서, 모션 벡터 정확도를 정량적인 수치로서 나타내는 것이 가능하게 되어, 신뢰성이 높은 모션 벡터를 검출하는 것이 가능하게 된다. 그리고, 프레임의 화상을 처리 단위로 하여 설명하였으나, 필드를 처리 단위로 해도 된다.

도 58은, 도 1의 배경 모션 추정부(14)의 구성예를 나타내고 있다. 이 구성예에 있어서는, 배경 모션 추정부(14)는, 빈도 분포 산출부(1051)와 배경 모션 결정부(1052)에 의해 구성되어 있다.

빈도 분포 산출부(1051)는, 모션 벡터의 빈도 분포를 산출한다. 단, 이 빈도에는, 모션 추정부(12)로부터 공급되는 모션 벡터 정확도 VC를 사용함으로써, 확실할 것 같은 모션에 가중치가 부여되도록, 가중치를 적용한다. 배경 모션 결정부(1052)는, 빈도 분포 산출부(1051)에 의해 산출된 빈도 분포에 따라 빈도가 최대가 되는 모션을 배경 모션으로서 결정하는 처리를 행하고, 영역 추정 관련 처리 부(15)에 출력한다.

도 59를 참조하여, 배경 모션 추정부(14)의 배경 모션 추정 처리에 대하여 설명한다.

스텝 S651에 있어서, 빈도 분포 산출부(1051)는, 모션 빈도 분포를 산출한다. 구체적으로는, 빈도 분포 산출부(1051)는, 배경 모션의 후보로서의 모션 벡터의 x 좌표와 y 좌표가 각각 기준점으로부터 ±16 화소분의 범위에 의해 표현되는 것으로 하면, 1089개(=(16x2+1) x (16x2+1))의 상자, 즉 모션 벡터가 취할 수 있는 값에 대응하는 좌표 분의 상자를 준비하고, 모션 벡터가 발생한 경우, 그 모션 벡터에 대응하는 좌표에 1을 가산한다. 이와 같이 함으로써, 모션 벡터의 빈도 분포를 산출할 수 있다.

단, 1개의 모션 벡터가 발생한 경우, 1을 가산하여 가면, 정확도가 낮은 모션 벡터의 발생 빈도가 많은 경우, 그 확실성이 낮은 모션 벡터가 배경 모션으로서 결정되어 버릴 우려가 있다. 그래서, 빈도 분포 산출부(1051)는, 모션 벡터가 발생한 경우, 그 모션 벡터에 대응하는 상자(좌표)에, 값 1을 가산하는 것이 아니라, 상자에 모션 벡터 정확도 VC를 곱셈한 값(=모션 벡터 정확도 VC의 값)을 가산한다. 모션 벡터 정확도 VC의 값은, O 내지 1의 범위 내의 값으로서 정규화되어 있고, 그 값이 1에 가까울수록 정확도가 높은 값이다. 따라서, 이같이 하여 얻어진 빈도 분포는, 모션 벡터를 그 정확도에 따라 가중치를 붙인 빈도 분포로 된다. 이로써, 정확도가 낮은 모션이 배경 모션으로서 결정될 우려가 적어진다.

다음에, 스텝 S652에 있어서, 빈도 분포 산출부(1051)는, 모션 빈도 분포를 산출하는 처리를 모든 블록에 대하여 종료했는지 여부를 판정한다. 아직 처리하고 있지 않은 블록이 존재하는 경우에는, 스텝 S651로 복귀하고, 다음의 블록에 대하여 스텝 S651의 처리가 실행된다.

이상과 같이 하여, 전체 화면에 대하여 모션 빈도 분포 산출 처리가 행해지고, 스텝 S652에 있어서, 모든 블록의 처리가 종료된 것으로 판정된 경우, 스텝 S653으로 진행하고, 배경 모션 결정부(1052)는, 빈도 분포의 최대값을 검색하는 처리를 실행한다. 즉, 배경 모션 결정부(1052)는, 빈도 분포 산출부(1051)에 의해 산출된 빈도 중 최대의 빈도의 것을 선택하고, 그 빈도에 대응하는 모션 벡터를 배경 모션의 모션 벡터로서 결정한다. 이 배경 모션의 모션 벡터는, 영역 추정 관련 처리부(15)에 공급되고, 예를 들면, 도 16의 스텝 S104나 도 21의 스텝 S131의 전체 화면 모션과 배경 모션이 일치하는지 여부의 판정 처리에 사용된다.

도 60은, 도 1의 씬 체인지 검출부(13)의 상세한 구성예를 나타내고 있다. 이 예에 있어서는, 모션 벡터 정확도 평균 산출부(1071)와 임계값 판정부(1072)에 의해 씬 체인지 검출부(13)이 구성되어 있다.

모션 벡터 정확도 평균 산출부(1071)는, 모션 추정부(12)로부터 공급된 모션 벡터 정확도 VC의 전체 화면의 평균값을 산출하고, 임계값 판정부(1072)에 출력한다. 임계값 판정부(1072)는, 모션 벡터 정확도 평균 산출부(1071)로부터 공급된 평균값을, 미리 정해져 있는 임계값과 비교하여, 그 비교 결과에 따라 씬 체인지인지 여부를 판정하고, 판정 결과를 제어부(19)에 출력한다.

다음에, 도 61의 플로차트를 참조하여, 씬 체인지 검출부(13)의 동작에 대하 여 설명한다. 스텝 S681에 있어서, 모션 벡터 정확도 평균 산출부(1071)는, 벡터 정확도의 합을 산출한다. 구체적으로는, 모션 벡터 정확도 평균 산출부(1071)는, 모션 추정부(12)의 통합 처리부(605)로부터 출력된 각 블록마다 산출된 모션 벡터 정확도 VC의 값을 가산하는 처리를 실행한다. 스텝 S682에 있어서, 모션 벡터 정확도 평균 산출부(1071)는, 벡터 정확도 VC의 합을 산출하는 처리가 모든 블록에 대하여 종료하였는지 여부를 판정하고, 아직 종료하고 있지 않은 경우에는, 스텝 S681의 처리를 반복한다. 이 처리를 반복함으로써, 1화면 분의 각 블록의 모션 벡터 정확도 VC의 합이 산출된다. 스텝 S682에 있어서 1화면 전부에 대한 모션 벡터 정확도 VC의 합의 산출 처리가 종료한 것으로 판정된 경우, 스텝 S683으로 진행하고, 모션 벡터 정확도 평균 산출부(1071)는, 벡터 정확도 VC의 평균값을 산출하는 처리를 실행한다. 구체적으로는, 스텝 S681의 처리에 의해 산출된 1화면 분의 벡터 정확도 VC의 합을, 가산을 위해 사용된 블록수로 나눈다. 이렇게 해서 얻어진 값이 평균값으로서 산출된다.

스텝 S684에 있어서, 임계값 판정부(1072)는, 스텝 S683의 처리에서 모션 벡터 정확도 평균 산출부(1071)에 의해 산출된 모션 벡터 정확도 VC의 평균값을, 미리 설정되어 있는 임계값과 비교하여, 임계값보다 작은지 아닌지를 판정한다. 일반적으로, 동영상 중의 시각이 상이한 2프레임 사이에서 씬 체인지가 발생하면, 대응하는 화상이 존재하지 않으므로 모션 벡터를 산출해도, 그 모션 벡터는 확실한 것으로 되지 않게 된다. 그래서, 벡터 정확도 VC의 평균값이 임계값보다 작은 경우에는, 스텝 S685에 있어서, 임계값 판정부(1072)는 씬 체인지 플래그를 온하고, 임계값보다 작지 않은 경우(임계값 이상인 경우), 스텝 S686에 있어서, 씬 체인지 플래그를 오프로 한다. 씬 체인지 플래그의 온은, 씬 체인지가 있음을 나타내고, 그 오프는, 씬 체인지가 없는 것을 나타낸다.

이 씬 체인지 플래그는, 제어부(19)에 공급되고, 도 34의 스텝 S321에 있어서의 씬 체인지의 유무의 판정, 및 도 37의 스텝 S362의 씬 체인지의 유무의 판정에 이용된다.

다음에, 이상의 대상 추적 장치를 응용한 화상 처리 장치에 대하여 설명한다. 도 62는, 대상 추적 장치를 텔레비전 수상기(1700)에 응용한 경우의 예를 나타내고 있다. 튜너(17O)1은, RF 신호를 입력하고, 복조하여 화상 신호와 음성 신호와로 분리하고, 화상 신호를 화상 처리부(1702)에 출력하고, 음성 신호를 음성 처리부(1707)에 출력한다.

화상 처리부(1702)는, 튜너(1701)로부터 입력된 화상 신호를 복조하고, 대상 추적부(1703), 줌 화상 생성부(1704), 및 선택부(1705)에 출력한다. 대상 추적부(1703)는, 전술한 도 1의 대상 추적 장치(1)와 실질적으로 동일한 구성으로 되어 있다. 대상 추적부(1703)는, 입력 화상으로부터 사용자에 의해 지정된 대상의 추적점을 추적하는 처리를 실행하고, 그 추적점에 관한 좌표 정보를 줌 화상 생성부(1704)에 출력한다. 줌 화상 생성부(1704)는, 추적점을 중심으로 하는 줌 화상을 생성하고, 선택부(1705)에 출력한다. 선택부(1705)는, 화상 처리부(1702)로부터 공급된 화상 또는 줌 화상 생성부(1704)로부터 공급된 화상의 한쪽을 사용자로부터의 지시에 따라 선택하고, 화상 디스플레이(1706)에 출력하고, 디스플레이하게 한다.

음성 처리부(1707)는, 튜너(1701)로부터 입력된 음성 신호를 복조하고, 스피커(1708)에 출력한다.

리모트 컨트롤러(1710)는, 사용자에 의해 조작되고, 그 조작에 대응하는 신호를 제어부(1709)에 출력한다. 제어부(1709)는, 예를 들면, 마이크로 컴퓨터 등에 의해 구성되며, 사용자의 지시에 따라 각 부를 제어한다. 착탈 가능 미디어(1711)는, 반도체 메모리, 자기 디스크, 광디스크, 자기 디스크 등에 의해 구성되며, 필요에 따라 장착되고, 제어부(1709)에, 프로그램과 그 외에 각종의 데이터를 제공한다.

다음에, 텔레비전 수상기(1700)의 처리에 대하여, 도 63의 플로차트를 참조하여 설명한다.

스텝 S701에 있어서, 튜너(1701)는, (도시하지 않은) 안테나를 통하여 수신한 RF 신호로부터, 사용자에 의해 지시된 채널에 대한 신호를 복조하여, 화상 신호를 화상 처리부(1702)에 출력하고, 음성 신호를 음성 처리부(1707)에 출력한다. 음성 신호는, 음성 처리부(1707)에서 복조된 후, 스피커(1708)로부터 출력된다.

화상 처리부(1702)는, 입력된 화상 신호를 복조하고, 대상 추적부(1703), 줌 화상 생성부(1704), 및 선택부(1705)에 출력한다.

스텝 S702에 있어서, 대상 추적부(1703)는, 추적이 지시되었는지 여부를 판정하고, 추적이 지시되어 있지 않다고 판정된 경우, 스텝 S703, S704의 처리를 스킵한다. 스텝 S705에 있어서, 선택부(1705)는, 화상 처리부(1702)로부터 공급되는 화상 신호와, 줌 화상 생성부(1704)로부터 입력되는 화상 신호 중 어느 하나를 제어부(1709)로부터의 제어에 따라 선택한다. 이 경우, 사용자로부터 특히 지시가 행해져 있지 않으므로, 제어부(1709)는, 선택부(1705)에 화상 처리부(1702)로부터의 화상 신호를 선택하게 한다. 스텝 S706에 있어서 화상 디스플레이(1706)는, 선택부(1705)에 의해 선택된 화상을 디스플레이한다.

스텝 S707에 있어서, 제어부(1709)는, 사용자의 지시에 따라 화상 디스플레이 처리를 종료하는지 여부를 판정한다. 즉 사용자는, 화상 디스플레이 처리를 종료하면, 리모트 컨트롤러(1710)를 조작하여, 제어부(1709)에 그것을 지시한다. 사용자로부터 종료가 지시되어 있지 않은 경우, 처리는 스텝 S701로 복귀하고, 그 이후의 처리가 반복 실행된다.

이상과 같이 하여, 튜너(1701)에 의해 수신된 신호에 대응하는 화상을 그대로 디스플레이하는 통상의 처리가 실행된다.

사용자는, 화상 디스플레이(1706)에 디스플레이되어 있는 화상을 보고 추적하고 싶다고 생각되는 화상이 디스플레이되었을 때, 리모트 컨트롤러(1710)를 조작함으로써, 그 화상을 지정한다. 이 조작이 되었을 때, 스텝 S702에 있어서 제어부(1709)는, 추적이 지시된 것으로 판정하고, 대상 추적부(1703)를 제어한다. 대상 추적부(1703)는, 이 제어부(1709)의 제어하에서 사용자에 의해 지정된 추적점의 추적처리를 개시한다. 이 처리는, 전술한 대상 추적 장지(1)의 처리와 마찬가지의 처리이다.

스텝 S704에 있어서, 줌 화상 생성부(1704)는, 대상 추적부(1703)에 의해 추 적되어 있는 추적점을 중심으로 하는 줌 화상을 생성하고, 선택부(1705)에 출력한다.

이 줌 화상 생성 처리는, 본 출원인이 먼저 제안하고 있는 클래스 분류 적응 처리를 이용하여 행할 수 있다. 예를 들면, 일본국 특개 2002-196737 공보에는, 미리 학습하여 얻은 계수를 사용하여, 525i 신호를 1080i 신호로 변환하는 처리가 개시되어 있다. 이 처리는, 수직 방향과 수평 방향의 양쪽에 9/4배로 화상을 확대하는 처리와 실질적으로 마찬가지의 처리이다. 단, 화상 디스플레이(1706) 내의 화소수는 고정되어 있다. 따라서, 줌 화상 생성부(704)는, 예를 들면 9/4배의 화상을 생성하는 경우, 줌 화상 생성부(1704)는 525i 신호를 1080i 신호로 변환한 후, 추적점을 중심으로 하는 소정수의 화소(화상 디스플레이(1706)에 대응하는 수의 화소)를 선택함으로써 줌 화상을 생성할 수 있다. 축소하는 처리는 그 역의 처리로 된다.

이 원리에 따라 임의의 배율의 줌 화상을 생성할 수 있다.

추적이 지시받고 있는 경우, 스텝 S705에 있어서 선택부(1705)는, 줌 화상 생성부(1704)에 의해 생성되고 줌 화상을 선택한다. 그 결과, 스텝 S706에 있어서, 화상 디스플레이(1706)는, 줌 화상 생성부(1704)에 의해 생성되고 줌 화상을 디스플레이하게 된다.

이상과 같이 하여, 화상 디스플레이(1706)에는, 사용자가 지정한 추적점을 중심으로 하는 줌 화상이 디스플레이 된다. 배율이 1로 설정된 경우에는, 추적만 한다.

도 64는 본 발명을 적용한 화상 처리 장치(1801)의 기능적 구성예를 나타내고 있다. 이 화상 처리 장치(1801)는, 모션 벡터 검출부(1821), 및 모션 벡터 정확도 산출부(822)에 의해 구성되어 있다.

모션 벡터 검출부(1821)는, 입력 화상으로부터 모션 벡터를 검출하고, 검출한 모션 벡터와 입력 화상을 모션 벡터 정확도 산출부(1822)에 공급한다. 또, 모션 벡터 검출부(1821)는, 입력 화상이 이미 모션 벡터를 포함하는 경우, 화상 데이터와 모션 벡터를 분리하여, 모션 벡터 정확도 산출부(1822)에 공급한다. 화상 데이터와 그 모션 벡터가 이미 분리된 상태에서 입력되는 경우, 모션 벡터 검출부(1821)는 생략할 수 있다.

모션 벡터 정확도 산출부(1822)는, 입력된 입력 화상(화상 데이터)에 따라 대응하는 모션 벡터의 정확도(이하, "모션 벡터 정확도"라고 함)에 기초하여, 모션 벡터 정확도를 (도시하지 않은) 장치에 출력한다.

도 65는 도 64의 모션 벡터 정확도 산출부(1822)의 구성예를 나타내고 있다. 이 실시예에 있어서는, 모션 벡터 정확도 산출부(1822)는, 평가값 산출부(1841), 액티비티 산출부(1842), 및 연산부(1843)에 의해 구성되어 있다. 연산부(1843)은, 임계값 판정부(1851), 정규화 처리부(1852), 및 통합 처리부(1853)에 의해 구성되어 있는 도 64의 모션 벡터 검출부(1821)으로부터 출력된 모션 벡터가, 평가값 산출부(1841)에 입력되고, 입력 화상(화상 데이터)이, 평가값 산출부(1841)와 액티비티 산출부(1842)에 입력되어 있다.

평가값 산출부(1841)는, 입력 화상의 평가값을 산출하고, 연산부(1843)의 정 규화 처리부(1852)에 공급한다. 액티비티 산출부(1842)는, 입력 화상의 액티비티를 산출하고, 연산부(1843)의 임계값 판정부(1851)와 정규화 처리부(1852)에 공급한다.

정규화 처리부(1852)는, 평가값 산출부(1841)로부터 공급된 평가값을, 액티비티 산출부(1842)로부터 공급된 액티비티에 따라 정규화하고, 얻어진 값을 통합 처리부(1853)에 공급한다. 임계값 판정부(1851)는, 액티비티 산출부(1842)로부터 공급된 액티비티를 소정의 임계값과 비교하여, 그 판정 결과를 통합 처리부(1853)에 공급한다. 통합 처리부(1853)는, 정규화 처리부(1852)로부터 공급된 정규화 정보와 임계값 판정부(1851)로부터 공급된 판정 결과에 따라 모션 벡터 정확도를 연산하고, 얻어진 모션 벡터 정확도를 (도시하지 않은) 장치에 출력한다.

모션 벡터 검출부(1821), 모션 벡터 정확도 산출부(1822), 평가값 산출부(1841), 액티비티 산출부(1842), 연산부(1843), 임계값 판정부(1851), 정규화 처리부(1852), 통합 처리부(1853)는, 각각 전술한 도 43의 모션 벡터 검출부(606-1), 모션 벡터 정확도 산출부(606-2), 평가값 산출부(601), 액티비티 산출부(602), 연산부(606-3), 임계값 판정부(603), 정규화 처리부(604), 통합 처리부(605)와 기본적으로 동일한 구성을 하고 있으므로, 여기서는 더 이상의 상세한 설명은 생략한다.

전술한 화상 처리 장치(1801)는, 예를 들면, 퍼스널 컴퓨터 등으로 구성할 수 있다.

이 경우, 화상 처리 장치(1801)는, 예를 들면, 도 66에 의해 나타낸 바와 같 이 구성된다. CPU(Central Processing Unit)(1931)는, ROM(Read Only Memory)(1932)에 저장되어 있는 프로그램, 또는 저장부(1939)나 RAM(Random Access Memory)(1933)에 로드된 프로그램에 따라 각종의 처리를 실행한다. RAM(1933)에는 또, CPU(1931)가 각종의 처리를 실행하는데 있어서 필요한 데이터 등도 적당히 저장된다.

CPU(1931), ROM(1932), 및 RAM(1933)은, 버스(1934)를 통하여 서로 접속되어 있다. 이 버스(1934)에는 또, 입출력 인터페이스(1935)도 접속되어 있다.

입출력 인터페이스(1935)에는, 키보드, 마우스 등으로 이루어지는 입력부(1936), CRT(Cathode Ray Tube), LCD(Liquid Crystal Display) 등으로 이루어지는 디스플레이, 및 스피커 등으로 이루어지는 출력부(1937), 모뎀, 터미널 어댑터 등으로 구성되는 통신부(1938), 하드 디스크 등으로 구성되는 저장부(1939)가 접속되어 있다. 통신부(1938)는, (도시하지 않은) LAN이나 인터넷을 통하여 다른 장치와의 통신 처리를 행한다.

입출력 인터페이스(1935)에는 또, 드라이브(1940)가 접속되고, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 착탈 가능 미디어(1941)가 적당히 장착되고, 이것들로부터 판독된 컴퓨터 프로그램이, 필요에 따라 저장부(1939)에 인스톨된다.

다음에, 본 발명을 응용한 부호화 장치(2261)에 대하여, 도 67을 참조하여 설명한다. 이 부호화 장치(2261)에 있어서는, 입력 화상은, 모션 연산부(2271)의 모션 벡터 검출부(1821), 모션 보상부(2272), 및 선택부(2273)에 공급된다. 모션 연산부(2271)는, 전술한 도 64의 화상 처리 장치(1801)와 실질적으로 동일한 구성으로 되어 있다. 모션 벡터 검출부(1821)는, 입력 화상으로부터 모션 벡터를 검출하고, 검출한 모션 벡터를 모션 수정부(2272), 및 부가 코드 생성부(2275)에 출력한다. 또, 모션 벡터 검출부(1821)는, 모션 벡터, 및 입력 화상을 모션 벡터 정확도 산출부(1822)에 출력한다.

모션 벡터 정확도 산출부(1822)는, 모션 벡터 검출부(1821)로부터 입력된 모션 벡터, 및 입력 화상으로부터 모션 벡터 정확도를 산출하고, 제어부(2274)에 출력한다. 제어부(2274)는, 입력된 모션 벡터 정확도에 따라 선택부(2273), 및 부가 코드 생성부(2275)를 제어한다.

모션 수정부(2272)는, 공급된 입력 화상과 모션 벡터 검출부(1821)로부터 공급된 모션 벡터에 따라 모션 보상을 행하고, 모션 보상한 화상을 선택부(2273)에 공급한다. 선택부(2273)는, 제어부(2274)의 제어에 따라 화소값 부호화부(2276)에 입력 화상, 또는 모션 보상된 화상을 선택하여 출력한다. 화소값 부호화부(2276)는, 입력된 화상의 부호화를 행하고, 통합부(2277)에 출력한다.

부가 코드 생성부(2275)는, 제어부(2274)의 제어에 따라 각 프레임의 화상에 대하여, 모션 보정을 행했는지 여부를 나타내는 부가 코드를 생성하고, 모션 벡터 검출부(1821)로부터 입력된 모션 벡터와 합성하고, 필요에 따라 또한, 모션 벡터 정확도를 상기 화상에 부가하여, 통합부(2277)에 출력한다.

통합부(2277)는, 화소값 부호화부(2276)로부터 입력된 부호, 및 부가 코드 생성부(2275)로부터 입력된 부가 코드를 통합하여 (도시하지 않은 장치)에 출력한 다.

다음에, 부호화 장치(2261)의 처리에 대하여, 도 68의 플로차트를 참조하여 설명한다. 그리고, 스텝 S821 내지 스텝 S825의 처리에서는, 화상이 입력되고, 화상의 각 프레임이 소정의 블록으로 분할된다. 분할된 블록에 따라 모션 벡터가 검출되고, 각 모션벡터의 정확도(모션 벡터 정확도)가 산출되고, 모든 블록에 대하여 모션 벡터 정확도가 산출되기까지 마찬가지의 처리가 반복 실행된다.

그 후, 스텝 S826에 있어서, 모션 보상부(2272)는, 입력 화상과 모션 벡터에 따라 모션 보상을 행한다. 즉, 모션 벡터에 따라 전후의 프레임의 화상의 차분을 산출하고, 차분 화상(모션 보상 화상)을 생성한다.

스텝 S827에 있어서, 선택부(2273)는, 제어부(2274)의 제어에 따라 입력 화상, 또는 모션 보상부(2272)로부터 공급된 모션 보상된 화상 중 어느 하나를 선택한다. 즉, 제어부(2274)는, 모션 벡터 정확도가 충분히 클 때, 선택부(2273)에, 부호화하는 화상으로서 모션 보상된 화상을 선택시키고, 그렇지 않을 때는 인력 화상을 선택하게 한다. 모션 벡터 정확도에 따라 입력 화상과 모션 보정된 화상 중 어느 하나가 선택되므로, 신뢰성이 낮은 모션 벡터에 의해 모션 보정된 화상이 이용되는 것을 방지하는 것이 가능해진다. 선택부(2273)는, 선택한 화상을 화소값 부호화부(2276)에 공급한다.

스텝 S828에 있어서, 화소값 부호화부(2276)는, 스텝 S828의 처리에서 선택된 화상(입력 화상, 또는 모션 보상된 화상)의 부호화를 행한다.

스텝 S829에 있어서, 부가 코드 생성부(2275)는, 제어부(2274)로부터의 제어 에 따라 복호시에 필요한 부호화된 화상이 모션 보상된 화상인지 여부를 나타내는 부가 코드를 생성한다. 이 부가 코드에는, 모션 벡터 정확도를 포함되는 것이 가능하다.

스텝 S830에 있어서, 통합부(2277)는, 스텝 S828의 처리에 의해 부호화된 화상과 스텝 S829의 처리에 의해 생성된 부가 코드를 통합하고, (도시하지 않은) 장치에 출력한다.

이상과 같이 하여, 화상이 부호화되고, 정확하지 않을 가능성이 있는(부정 벡터의 가능성이 있는) 모션 벡터에 따라 모션 보정된 화상이 이용되는 것을 방지하는 것이 가능해진다. 따라서, 신뢰성이 없는 모션 벡터를 사용하여 모션 보상을 행함으로써 화상이 파손되는 방지하고, 복호시에 고화질의 화상을 얻는 것이 가능해진다.

도 69는 본 발명을 카메라-흔들림 보정 장치(2301)에 응용한 경우의 예를 나타내고 있다. 카메라-흔들림 보정 장치(2301)는 예를 들면 디지털 비디오 카메라 등에 적용된다.

입력 화상은, 배경 모션 검출부(2311), 및 출력 화상 생성부(2314)에 입력된다. 배경 모션 검출부(2311)는, 입력 화상으로부터 배경 모션을 검출하고, 변위 축적부(2312)에 출력한다. 배경 모션 검출부(2311)의 상세한 구성은 도 70을 참조하여 후술한다. 변위 축적부(2312)는, 입력된 배경 모션으로부터 변위량을 축적하고, 축적한 변위량을 카메라-흔들림 판정부(2313), 및 출력 화상 생성부(2314)에 출력한다. 카메라-흔들림 판정부(2313)는, 입력된 변위 정보를 소정의 임계값에 따라 카메라-흔들림인지 아닌지를 판정하고, 판정 결과를 출력 화상 생성부(2314)에 출력한다.

출력 화상 생성부(2314)는, 공급되어 있는 입력 화상으로부터, 변위 축적부(2312)로부터 입력된 변위량과 카메라-흔들림 판정부(2313)로부터 입력된 판정 결과에 따라 출력 화상을 생성하고, 예를 들면, HDD(Hard Disk Drive), 비디오 테이프 등의 같은 기록 가능한 기록 매체(315)에 기록한다. 또, 출력 화상 생성부(2314)는 생성한 화상을 예를 들면 LCD(Liquid CrysLal Display) 등으로 구성되는 디스플레이부(2316)에 출력하고 디스플레이하게 한다.

도 70은 도 69의 배경 모션 검출부(2311)의 상세한 구성예를 나타내고 있다. 이 구성예에 있어서는, 배경 모션 검출부(2311)는 모션 연산부(2321), 빈도 분포 산출부(2322), 및 배경 모션 결정부(2323)에 의해 구성되어 있다. 모션 연산부(2321)는 전술한 도 63의 화상 처리 장치(1801)와 실질적으로 동일한 구성으로 되어 있다.

입력 화상은, 모션 연산부(2321)의 모션 벡터 검출부(1821)에 공급된다. 모션 벡터 검출부(1821)는, 입력 화상으로부터 모션 벡터를 검출하고, 검출한 모션 벡터, 및 입력 화상을 모션 벡터 정확도 산출부(1822)에 출력한다. 모션 벡터 정확도 산출부(1822)는, 입력된 모션 벡터 및 입력 화상에 따라 대응하는 모션 벡터의 정확도(모션 벡터 정확도)를 산출하고, 빈도 분포 산출부(2322)에 출력한다.

빈도 분포 산출부(2322)는, 모션 벡터의 빈도 분포를 산출한다. 단, 이 빈도에는, 모션 연산부(2321)로부터 공급되는 모션 벡터 정확도 VC를 사용함으로써, 확실할 것 같은 모션에 가중치가 부여되도록, 가중치를 적용한다. 배경 모션 결정부(2323)는 빈도 분포 산출부(2322)에 의해 연산된 빈도 분포에 따라 빈도가 최대가 되는 모션을 배경 모션으로서 결정하는 처리를 행하고, 변위 축적부(2312)에 출력한다.

다음에, 도 71의 플로차트를 참조하여, 카메라-흔들림 보정 장치(2301)의 카메라-흔들림 보정 처리를 설명한다. 스텝 S831 내지 스텝 S834의 처리에서, 입력 화상이 취득되어 화상의 프레임이 소정의 블록으로 분할된다. 분할된 블록에 따라 예를 들면, 블록 매칭법에 의해 모션 벡터가 검출되고, 각 모션 벡터의 정확도(모션 벡터 정확도)가 산출된다.

스텝 S835에 있어서, 빈도 분포 산출부(2322)는, 모션 빈도 분포를 산출한다. 구체적으로는, 빈도 분포 산출부(2322)는, 예를 들면, 배경 모션의 후보로서의 모션 벡터의 x 좌표와 y 좌표가 각각 기준점으로부터 ±16 화소 분의 범위에 의해 표현되는 것으로 하면, 1089개(=(16x2 + 1)x (16x2 + 1))의 상자, 즉 모션 벡터가 취할 수 있는 값에 대응하는 좌표 분의 상자를 준비하고, 모션 벡터가 발생한 경우, 그 모션 벡터에 대응하는 좌표에 1을 증가시킨다. 이와 같이 함으로써, 모션 벡터의 빈도 분포를 산출할 수 있다.

단, 1개의 모션 벡터가 발생한 경우, 1을 가산하여 가면, 정확도가 낮은 모션 벡터의 발생 빈도가 많은 경우, 그 확실성이 낮은 모션 벡터가 배경 모션으로서 결정되어 버릴 우려가 있다. 그래서, 빈도 분포 산출부(2322)는, 모션 벡터가 발생한 경우, 그 모션 벡터에 대응하는 상자(좌표)에, 값 1을 가산하는 것이 아니라, 값 1에 모션 벡터 정확도 VC를 곱셈한 값(=모션 벡터 정확도 VC의 값)을 가산한다. 모션 벡터 정확도 VC의 값은, 0 내지 1의 범위의 값으로서 정규화되어 있고, 그 값이 1에 가까울수록 정확도가 높은 값이다. 따라서, 이같이 하여 얻어진 빈도 분포는, 모션 벡터를 그 정확도에 따라 가중치 붙인 빈도 분포로 된다. 이로써, 정확도가 낮은 모션이 배경 모션으로서 결정될 우려가 적어진다.

다음에, 스텝 S836에 있어서, 모션 벡터 정확도 산출부(1822)는, 모든 블록에 대하여 모션의 빈도 분포를 연산하는 처리가 종료되었는지 아닌지를 판정한다. 아직 처리하지 않은 블록이 존재하는 경우에는, 스텝 S834로 복귀하고, 다음의 블록에 대하여 스텝 S834 및 스텝 S835의 처리가 반복 실행된다.

이상과 같이 하여, 전체 화면에 대하여 모션 빈도 분포 산출 처리가 행해진 경우, 스텝 S837로 진행하고, 배경 모션 결정부(2323)는, 빈도 분포의 최대값을 검색하는 처리를 실행한다. 즉, 배경 모션 결정부(2323)는, 빈도 분포 산출부(2322)에 의해 산출된 빈도 중 최대의 빈도의 것을 선택하고, 그 빈도에 대응하는 모션 벡터를 배경 모션의 모션 벡터로서 결정한다. 이 배경 모션의 모션 벡터는 변위 축적부(2312)에 공급된다.

스텝 S838에 있어서, 변위 축적부(2312)는, 각 프레임의 배경 모션으로서의 모션 벡터를 차례로 저장한다.

스텝 S839에 있어서, 카메라-흔들림 판정부(2313)는, 배경 모션으로서의 모션 벡터의 변위량(절대값)이 미리 설정되어 있는 임계값보다 큰지를 판정함으로써, 입력 화상이 사용자의 카메라-흔들림에 의해 흔들린 화상인지 여부를 판정한다. 변위량이 임계값보다 큰 경우, 카메라-흔들림인 것으로 판정되고, 임계값보다 작은 경우, 카메라-흔들림이 아닌 것으로 판정된다. 카메라-흔들림 판정부(2313)는, 판정 결과를 출력 화상 생성부(2314)에 공급한다.

스텝 S839에 있어서, 카메라-흔들림 판정부(2313)는, 카메라-흔들림이 발생한 것으로 판정된 경우, 스텝 S840에 있어서, 출력 화상 생성부(2314)는, 그 때의 변위량과는 역방향의 변위로 시프트한 화상을 생성하고, 출력한다. 이로써, 사용자는, 카메라-흔들림이 적은 화상을 기록 또는 보는 것이 가능해진다.

이에 대하여, 스텝 S839에 있어서, 카메라-흔들림이 아닌 것으로 판정된 경우, 스텝 S841로 진행하고, 출력 화상 생성부(2314)는, 입력된 화상을 그대로 출력한다. 출력된 화상은, 기록 매체(2315)에 기록되고, 또 디스플레이부(2316)에 디스플레이 된다.

이상과 같이 하여, 카메라-흔들림이 검출, 보정된다. 모션 벡터 정확도를 이용함으로써, 배경 모션을 정밀도 양호하게 검출하는 것이 가능해져, 사용자에 카메라-흔들림이 적은 화상을 제공하는 것이 가능해진다.

도 72는 본 발명을 적용한 축적 장치(2341)의 예를 나타내고 있다. 하드 디스크 드라이브(HDD) 레코더로서의 축적 장치(2341)는 선택부(2351), 기록 매체(HDD)(2352), 젝스 생성부(2353), 씬 체인지 검출부(2354), 제어부(2355), 인젝스테이블(2356), 선택부(2357), 디스플레이 화상 생성부(2358), 전체 제어부(2359), 지시 입력부(2360)로 구성되어 있다.

선택부(2351)는 전체 제어부(2351)의 제어에 따라 기록 매체(2352)에 기록되 어 있는 화상, 또는 입력 화상을 선택하고, 인덱스 생성부(2353), 씬 체인지 검출부(2354), 및 선택부(2357)에 공급한다. HDD로 구성되는 기록 매체(2352)에는, 전체 제어부(2359)의 제어에 따라 화상이 기록된다.

씬 체인지 검출부(2354)는, 공급된 화상으로부터 씬 체인지를 검출하고, 검출 결과를 제어부(2355)에 공급한다. 제어부(2355)는, 공급된 검출 결과에 따라 인덱스 생성부(2353), 및 인덱스 테이블(2356)을 제어한다.

인덱스 생성부(2353)는 제어부(2355)의 제어에 따라 기록 매체(2352)에 기록된 화상으로서, 씬 체인지로 판정되었을 때의 각 씬의 선두의 화상을 축소한 화상인 인덱스 화상, 및 그 인덱스 화상에 대응하는 화상의 기록 매체(2352) 상에서의 위치를 특정하는 부가 정보(타임 코드, 어드레스 등)를 추출하고, 인덱스 테이블(2356)에 공급한다.

인덱스 테이블(2356)은, 공급된 인덱스 화상과 그에 대응하는 부가 정보를 유지한다. 또, 인덱스 테이블(2356)은, 제어부(2355)의 제어에 따라 유지하고 있는 인덱스 화상에 대응하는 부가 정보를 전체 제어부(2359)에 공급한다.

선택부(2357)는 전체 제어부(2359)의 지시에 따라 선택부(2351)로부터 공급된 화상, 또는 인덱스 테이블(2356)로부터 입력된 인덱스 화상 중 어느 하나를 선택하고, 디스플레이 화상 생성부(2358)에 출력한다. 디스플레이 화상 생성부(2358)는 전체 제어부(2359)의 지시에 따라 입력된 화상으로부터, 화상 디스플레이 장치(2365)로 디스플레이 가능한 화상을 생성하고, 디스플레이하게 한다.

제어부(2355)는, 씬 체인지 검출부(2354)로부터 출력되는 씬 체인지 플래그, 및 전체 제어부(2359)의 제어에 따라 인덱스 생성부(2353)나 인덱스 테이블(2356)을 제어한다.

전체 제어부(2359)는, 예를 들면, 마이크로 컴퓨터 등에 의해 구성되며, 각 부를 제어한다. 지시 입력부(2360)는 각종의 버튼, 스위치, 또는 리모트 컨트롤러에 의해 구성되며, 사용자로부터의 지시에 대응하는 신호를 전체 제어부(2359)에 출력한다.

도 73은, 도 72의 씬 체인지 검출부(2354)의 상세한 구성예를 나타내고 있다. 이 예에 있어서는, 모션 연산부(2371), 모션 벡터 정확도 평균값 산출부(2372), 임계값 판정부(2373)에 의해 씬 체인지 검출부(2354)가 구성되어 있다. 모션 연산부(2371)는, 전술한 도 64의 화상 처리 장치(1801)와 실질적으로 동일한 구성으로 되어 있다.

모션 벡터 검출부(1821)는, 선택부(2351)로부터 입력된 화상으로부터 모션 벡터를 검출하고, 검출한 모션 벡터, 및 입력 화상을 모션 벡터 정확도 산출부(1822)에 출력한다. 모션 벡터 정확도 산출부(1822)는, 입력된 모션 벡터 및 입력 화상에 따라 대응하는 모션 벡터의 정확도(모션 벡터 정확도)를 산출하고, 모션 벡터 정확도 평균값 산출부(2372)에 출력한다.

모션 벡터 정확도 평균값 산출부(2372)는, 모션 연산부(2371)로부터 공급된 모션 벡터 정확도 VC의 전체 화면의 평균값을 산출하고, 임계값 판정부(2373)에 출력한다. 임계값 판정부(2373)는, 모션 벡터 정확도 평균값 산출부(2372)로부터 공급된 평균값을, 미리 정해져 있는 임계값과 비교하여, 그 비교 결과에 따라 씬 체 인지인지 여부를 판정하고, 판정 결과를 제어부(2355)에 출력한다.

다음에, 도 74의 플로차트를 참조하여, 축적 장치(2341)이 기록 매체(2352)에 화상을 기록하는 경우에 실행되는 인덱스 화상 생성 처리의 상세에 대하여 설명한다. 이 처리는, 입력된 화상이 기록 매체(2352)에 기록되어 있을 때 실행된다.

스텝 S871 내지 스텝 S874의 처리의 각각은, 도 44를 참조하여 설명한 스텝 S501 내지 S504의 처리와 마찬가지이다. 즉, 이들 처리에서 화상이 입력되고, 화상의 프레임이 소정의 블록으로 분할된다. 분할된 블록에 따라 예를 들면, 블록 매칭법에 의해 모션 벡터가 검출되고, 각 모션 벡터의 정확도(모션 벡터 정확도)가 산출된다.

스텝 S875에 있어서, 모션 벡터 정확도 평균값 산출부(2372)는, 선택부(2351)를 통하여 입력되는 화상(기록 매체(2352)에 기록 중인 화상)의 모션 벡터 정확도의 합을 산출한다. 구체적으로는, 모션 벡터 정확도 평균값 산출부(2372)는, 모션 연산부(2371)의 모션 벡터 정확도 산출부(1822)의 통합 처리부(1853)로부터 출력된 각 블록마다 산출된 모션 벡터 정확도 VC의 값을 가산하는 처리를 실행한다. 스텝 S876에 있어서, 모션 벡터 정확도 산출부(1822)는, 모든 블록에 대하여 모션 벡터 정확도 VC를 산출했는지 여부를 판정하고, 아직 종료하고 있지 않은 경우에는, 스텝 S874 및 스텝 S875의 처리를 반복한다. 이들 처리를 반복함으로써, 1화면 분의 모든 블록의 모션 벡터 정확도 VC의 합이 산출된다. 스텝 S876에 있어서 1화면 전부에 대한 모션 벡터 정확도 VC의 합의 산출 처리가 종료한 것으로 판정된 경우, 스텝 S877로 진행하고, 모션 벡터 정확도 평균값 산출부(2372)는, 모 션 벡터 정확도 VC의 평균값을 산출하는 처리를 실행한다. 구체적으로는, 스텝 S875의 처리에 의해 산출된 1화면 분의 모션 벡터 정확도 VC의 합을, 부가의 블록수로 나누어 얻어진 값이 평균값으로서 산출된다. 따라서, 이 평균값은 1화면(1프레임)에 대하여 1개로 된다.

스텝 S878에 있어서, 임계값 판정부(2373)는, 스텝 S877의 처리에서 모션 벡터 정확도 평균값 산출부(2373)에 의해 산출된 모션 벡터 정확도 VC의 평균값을, 미리 설정되어 있는 임계값과 비교하여, 그 비교 결과를 제어부(2355)에 출력한다. 스텝 S879에 있어서, 제어부(2355)는, 임계값 판정부(2373)의 비교 결과에 따라 평균값이 임계값보다 작은지 아닌지를 판정한다. 일반적으로 동영상 중의 연속하는 2프레임 사이에서 씬 체인지가 발생하면, 대응하는 화상이 존재하지 않으므로 모션 벡터를 산출해도, 그 모션 벡터는 확실할 것 같지 않게 된다. 그래서, 모션 벡터 정확도 VC의 평균값이 임계값보다 작은 경우에는, 제어부(2355)는, 스텝 S880에 있어서, 인덱스 생성부(2353)를 제어하고, 인덱스 화상을 생성시킨다.

즉, 스텝 S881에 있어서, 인덱스 생성부(2353)는 제어부(2355)의 제어에 따라 새로운 장면의 선두 프레임의 화상 사이즈를 축소하고, 인덱스 화상을 생성한다. 인덱스 화상이, 예를 들면 1화면 중에 3x3개 배치되어 디스플레이되는 경우, 원래의 화상의 세로 방향과 가로 방향의 사이즈를 각각 1/3로 축소함으로써 인덱스 화상이 생성된다. 또, 이 때, 인덱스 생성부(2353)는 그 프레임의 화상의 기록 매체(2352) 상에서의 기록 위치를 특정하는 부가 정보(타임 코드, 어드레스 등)를 추출한다.

스텝 S881에 있어서, 인덱스 생성부(2353)는 스텝 S880의 처리에서 생성한 인덱스 화상, 및 그에 대응하는 부가 정보를 인덱스 테이블(2356)에 기록한다.

스텝 S879에서 모션 벡터 정확도 VC의 평균값이 임계값 이상인 것으로 판정된 경우, 씬 체인지가 발생할 가능성은 낮기 때문에, 스텝 S880, S881의 처리는 스킵되고, 인덱스 화상은 생성되지 않는다.

그 후, 스텝 S882에서, 제어부(2355)는 사용자로부터 기록의 종료가 지령되었는지 여부를 판정하고, 종료가 지시되어 있지 않은 경우에는 처리는 스텝 S871로 복귀하고, 그 이후의 처리가 반복된다. 기록의 종료가 지시된 경우, 처리는 종료된다.

이상과 같이 하여, 기록 동작 중에 씬 체인지가 자동적으로 검출되고, 인덱스 화상이 흰색 동적으로 생성된다.

다음에, 도 75의 플로차트를 참조하여, 축적 장치(2341)의 화상 디스플레이 장치(2365)에 대한 화상 출력 처리를 설명한다. 이 처리는, 사용자에 의해 기록 화상의 재생 출력이 지령되었을 때 실행된다.

스텝 S901에 있어서, 전체 제어부(2359)는, 사용자의 지시 입력부(2360)의 조작에 따라 기록 매체(2352)에 기록되어 있는 화상을 재생 출력시킨다. 선택부(2351)는, 기록 매체(2352)에 의해 재생된 화상을, 선택부(2357)를 통하여, 디스플레이 화상 생성부(2358)에 공급한다. 디스플레이 화상 생성부(2358)는 입력된 화상을 화상 디스플레이 장치(2365)에 디스플레이 가능한 화상으로 변환하여, 화상 디스플레이 장치(2365)에 출력하고, 디스플레이하게 한다.

스텝 S902에 있어서, 전체 제어부(2359)는, 사용자에 의해 지시 입력부(2360)가 조작됨으로써 인덱스 화상의 디스플레이가 지시되었는지 여부를 판정한다. 사용자로부터 인덱스 화상을 디스플레이하는 지시가 입력되어 있지 않은 경우, 처리는 스텝 S901로 복귀하고, 그 이후의 처리가 반복 실행된다. 즉, 기록 매체(2352)의 기록 화상을 화상 디스플레이 장치(2365)에 재생, 출력(디스플레이)하는 처리가 계속된다.

이에 대하여, 사용자로부터 인덱스 화상의 디스플레이가 지시된 경우, 스텝(903)에 있어서, 전체 제어부(2359)는, 인덱스 테이블(2356)을 제어하고, 인덱스 테이블에 기록되어 있는 인덱스 화상을 출력시킨다. 즉, 인덱스 테이블(2356)은, 인덱스 화상을 일람으로서 판독하고, 선택부(2357)를 통하여, 디스플레이 화상 생성부(2358)에 출력한다. 디스플레이 화상 생성부(2358)는 입력된 인덱스 화상의 일람을 화상 디스플레이 장치(2365)에 출력하고, 디스플레이하게 한다. 이로써, 화상 디스플레이 장치(2365)에는, 1화면 중에, 3x3개의 인덱스 화상이 배치된 일람이 디스플레이 된다.

사용자는, 지시 입력부(2360)를 조작함으로써, 복수개 디스플레이되어 있는 인덱스 화상(인덱스 화상의 일람) 중, 1개를 선택할 수 있다. 그래서, 스텝 S906에 있어서, 전체 제어부(2359)는, 화상 디스플레이 장치(2365)에 디스플레이되어 있는 인덱스 화상이 선택되었는지 여부를 판정한다. 인덱스 화상이 선택되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S903으로 복귀하고, 그 이후의 처리가 반복 실행된다. 즉, 인덱스 화상의 일람이 화상 디스플레이 장치(2365)에 의해 계속적 으로 디스플레이 된다.

이것에 대하여, 인덱스 화상이 선택된 것으로 판정된 경우(사용자로부터 인덱스 화상의 일람 중에 원하는 인덱스 화상이 선택된 경우), 스텝 S905에 있어서, 전체 제어부(2359)는, 그 선택된 인덱스 화상에 대응하는 화상으로부터 시작되는 기록 화상을 기록 매체(2352)로부터 재생시켜, 선택부(2351), 선택부(2357) 및 디스플레이 화상 생성부(2358)를 통하여 화상 디스플레이 장치(2365)에 출력, 디스플레이하게 한다. 즉, 인덱스 화상이 선택된 것으로 판정된 경우, 전체 제어부(2359)는, 인덱스 테이블(2356)로부터, 스텝 S904의 처리에서 선택된 인덱스 화상에 대응하는 부가 정보(타임 코드, 어드레스 등)를 입력하고, 기록 매체(2352)를 제어하고, 그 인덱스 화상에 대응하는 화상으로부터 계속되는 화상을 재생시켜, 화상 디스플레이 장치(2365)에 출력, 디스플레이하게 한다.

스텝 S906에 있어서, 전체 제어부(2359)는, 종료가 지시되었는지 여부를 판정한다. 사용자에 의해 지시 입력부(2360)가 조작됨으로써, 화상의 출력(디스플레이) 종료의 지시가 입력되었는지 여부가 판정된다. 종료의 지시가 입력되어 있지 않은 것으로 판정된 경우, 처리는 스텝 S901로 복귀하고, 그 이후의 처리가 반복 실행된다. 이것에 대하여, 종료의 지시가 입력된 것으로 판정된 경우, 처리는 종료한다.

또, 축적 장치(2341)는 기록 매체가 예를 들면, DVD, 비디오 테이프 등인 경우에도 적용가능하다.

전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면, 범용의 퍼스널 컴퓨터 등에, 네트워크나 기록 매체로부터 인스톨된다.

본 명세서에 있어서, 전술한 일련의 처리를 실행하는 스텝은, 전술한 순서에 따라 시계열적으로 행해지는 처리는 물론, 병렬적 또는 개별적으로 실행되는 처리를 포함하는 것이다.

도 76은, 본 발명을 감시 카메라 시스템에 적용한 경우의 예를 나타내고 있다. 이 감시 카메라 시스템(2800)에 있어서는, CCD 비디오 카메라 등으로 이루어지는 촬상부(2801)에 의해 촬상된 화상이 화상 디스플레이(2802)에 디스플레이 된다. 추적 대상 검출부(2803)는, 촬상부(2801)로부터 입력된 화상으로부터 추적 대상을 검출하고, 검출 결과를 대상 추적부(2805)에 출력한다. 대상 추적부(2805)는, 촬상부(2801)로부터 공급된 화상 중, 추적 대상 검출부(2803)에 의해 지정된 추적 대상을 추적하도록 동작한다. 대상 추적부(2805)는, 전술한 도 1의 대상 추적 장치(1)와 기본적으로 동일한 구성을 가지고 있다. 카메라 구동부(2804)는, 대상 추적부(2805)로부터의 제어에 따라 촬상부(2801)가 추적 대상의 추적점을 중심으로 하는 화상을 촬영하도록 촬상부(2801)를 구동한다.

제어부(2806)는, 예를 들면, 마이크로 컴퓨터 등에 의해 구성되며, 각 부를 제어한다. 제어부(2806)에는, 반도체 메모리, 자기 디스크, 광디스크, 광자기 디 스크 등에 의해 구성되는 착탈 가능 미디어(2807)가 필요에 따라 접속되고, 프로그램과 그 외에 각종의 데이터가 필요에 따라 공급된다.

다음에, 도 77의 플로차트를 참조하여, 감시 처리의 동작에 대하여 설명한다. 감시 시스템(2800)의 전원이 온되어 있을 때, 촬상부(2801)는 감시 영역을 촬상하고, 그 촬상하여 얻어진 화상을 추적 대상 검출부(2803), 대상 추적부(2805), 및 화상 디스플레이(2802)에 출력하고 있다. 추적 대상 검출부(2803)는, 스텝 S931에 있어서, 촬상부(2801)으로부터 입력된 화상으로부터 추적 대상을 검출하는 처리를 실행한다. 추적 대상 검출부(2803)는, 예를 들면, 움직이는 물체가 검출된 경우, 그 움직이는 물체를 추적 대상으로 하여 검출한다. 추적 대상 검출부(2803)는, 추적 대상 중, 예를 들면, 가장 휘도가 높은 점, 또는 추적 대상의 중심의 점등을 추적점으로서 검출하고, 대상 추적부(2805)에 출력한다.

스텝 S932에 있어서, 대상 추적부(2805)는, 스텝 S931에서 검출된 추적점을 추적하는 추적 처리를 실행한다. 이 추적처리는, 전술한 도 1의 대상 추적 장치(1)의 처리와 마찬가지의 처리이다.

스텝 S933에 있어서, 대상 추적부(2805)는, 추적점의 화면 상의 위치를 검출한다. 그리고, 스텝 S934에 있어서 대상 추적부(2805)는, 스텝 S933의 처리에 의해 검출된 추적점의 위치와 화상의 중앙과의 차분을 검출한다. 스텝 S935에 있어서, 대상 추적부(2805)는, 스텝 S934의 처리에서 검출한 차분에 대응하는 카메라 구동 신호를 생성하고, 카메라 구동부(2804)에 출력한다. 스텝 S936에 있어서, 카메라 구동부(2804)는 카메라 구동 신호에 따라 촬상부(2801)을 구동한다. 이로써, 촬상부(2801)는 추적점이 화면의 중앙에 위치하도록 팬 또는 틸트한다.

스텝 S937에 있어서, 제어부(2806)는, 사용자로부터의 지시에 따라 감시 처리를 종료하는지 여부를 판정하고, 사용자로부터 종료가 지시되어 있지 않은 경우에는, 스텝 S931로 복귀하고, 그 이후의 처리를 반복 실행한다. 사용자로부터 감시 처리의 종료가 지시된 경우, 스텝 S937에 있어서 종료하는 것으로 판정되고, 제어부(2806)는 감시 처리를 종료한다.

이상과 같이 하여, 이 감시 카메라 시스템(2800)에 있어서는, 움직이는 물체가 자동적으로 추적점으로서 검출되고, 그 추적점을 중심으로 하는 화상이 화상 디스플레이(2802)에 디스플레이 된다. 이로써, 보다 간단하고 확실하게 감시 처리를 행하는 것이 가능해진다.

도 78은 본 발명을 적용한 다른 감시 카메라 시스템의 구성예를 나타내고 있다. 이 감시 카메라 시스템(2900)는, 촬상부(2901), 화상 디스플레이(2902), 대상 추적부(2903), 카메라 구동부(2904), 제어부(2905), 지시 입력부(2906), 및 착탈 가능 미디어(2907)에 의해 구성되어 있다.

촬상부(2901)는, 촬상부(2801)와 마찬가지로, CCD 비디오 카메라 등에 의해 구성되며, 촬상한 화상을 화상 디스플레이(2902)와 대상 추적부(2903)에 출력한다. 화상 디스플레이(2902)는, 입력된 화상을 디스플레이한다. 대상 추적부(2903)는, 전술한 도 1의 대상 추적 장치(1)와 기본적으로 동일한 구성으로 되어 있다. 카메라 구동부(2904)는, 대상 추적부(2903)로부터의 제어에 따라 촬상부(2901)를 소정의 방향으로 팬, 틸트 구동한다.

제어부(2905)는, 예를 들면, 마이크로 컴퓨터 등에 의해 구성되며, 각 부를 제어한다. 지시 입력부(2906)는 각종의 버튼, 스위치, 또는 리모트 컨트롤러 등에 의해 구성되며, 사용자로부터의 지시에 대응하는 신호를 제어부(2905)에 출력한다. 착탈 가능 미디어(2907)는 반도체 메모리, 자기 디스크, 하드디스크, 광자기 디스크 등에 의해 구성되며, 필요에 따라 접속되고, 제어부(2905)에 필요에 따라 프로그램이나 데이터 등을 적당히 공급한다.

다음에, 도 79의 플로차트를 참조하여, 그 동작에 대하여 설명한다.

스텝 S961에 있어서, 제어부(2905)는, 사용자로부터 추적점이 지정되었는지 여부를 판정한다. 추적점이 지정되어 있지 않은 경우에는, 스텝 S969로 진행하고, 제어부(2905)는, 사용자로부터 처리의 종료가 지시되었는지 여부를 판정하고, 종료가 지시받지 않았으면, 스텝 S961로 복귀하고, 그 이후의 처리를 반복 실행한다.

즉, 이 처리 동안, 촬상부(2901)가 촬상 영역을 촬상하여 얻어진 화상이 화상 디스플레이(2902)에 출력되고, 디스플레이되어 있다. 이 화상을 보고, 감시 영역을 감시하는 처리를 종료시키는 경우, 사용자(감시자)는 지시 입력부(2906)를 조작해 종료를 지령한다. 종료가 지령되었을 때, 제어부(2905)는 감시 처리를 종료한다.

한편, 사용자는, 화상 디스플레이(2902)에 디스플레이되어 있는 화상을 보고, 예를 들면, 의심자 등이 디스플레이되었을 때, 그 의심자의 소정의 점을 추적점으로서 지정한다. 이 지정은 지시 입력부(2906)를 조작함으로써 행해진다. 사용자가 추적점을 지정했을 때, 스텝 S961에 있어서, 추적점이 지정되는 것으로 판 정되고, 스텝 S962로 진행하고, 추적 처리가 실행된다. 이하, 스텝 S962 내지 스텝 S967에서 실행되는 처리는, 도 77의 스텝 S932 내지 스텝 S937에서 행해지는 처리와 마찬가지의 처리이다. 즉, 이로써, 촬상부(2901)가 지정된 추적점이 화면의 중앙에 오도록 구동된다.

스텝 S967에 있어서, 제어부(2905)는 감시의 종료가 지시되었는지 여부를 판정하고, 지시된 경우 처리를 종료하지만, 지시되어 있지 않은 경우에는, 스텝 S968로 진행하고, 사용자로부터 추적의 해제가 지시되었는지 여부를 판정한다. 사용자는, 예를 들면 일단 추적을 지정한 것이 의심자가 아님을 알았을 때, 지시 입력부(2906)를 조작하여, 추적의 해제를 지시할 수 있다. 제어부(2905)는 스텝 S968에서, 추적의 해제가 지시되어 있지 않다고 판정된 경우, 스텝 S962로 복귀하고, 그 이후의 처리를 실행한다. 즉, 이 경우에는, 지정된 추적점을 추적하는 처리가 계속된다.

스텝 S968에 있어서, 제어부(2905)가 추적의 해제가 지시된 것으로 판정한 경우, 추적처리는 중지되어 처리는 스텝 S961로 복귀하고, 그 이후의 처리가 반복 실행된다.

이상과 같이 하여, 이 감시 카메라 시스템(2900)에 있어서는, 사용자가 지시한 추적점의 화상이 화상 디스플레이(2902)의 중앙에 디스플레이 된다. 따라서, 사용자는 원하는 화상을 임의로 선택하여, 결정하고 주의 깊게 감시를 행하는 것이 가능해진다.

본 발명은 텔레비전 수상기나 감시 카메라 시스템에 한정되지 않고, 각종의 화상 처리 장치에 적응할 수 있다.

그리고, 이상에 있어서는, 화상의 처리 단위를 프레임으로 하였으나, 필드를 처리 단위로 하는 경우에도 본 발명은 적용이 가능하다.

전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면, 범용의 퍼스널 컴퓨터 등에, 네트워크나 기록 매체로부터 인스톨된다.

이 기록 매체는, 도 76 또는 도 78에 나타낸 바와 같이, 장치 본체와는 별도로, 사용자에 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(플로피 디스크를 포함함), 광디스크(콤팩트 디스크 리드 온리 메모리(CD-ROM) 및 DVD(Digital Versatile Disk)를 포함함), 광자기 디스크(미니 디스크(MD)를 포함함), 또는 반도체 메모리 등으로 이루어지는 착탈 가능 미디어(2807, 2907)에 의해 구성될 뿐아니라, 장치 본체에 미리 내장된 상태에서 사용자에 제공되는, 프로그램이 기록되어 있는 ROM이나 하드 디스크 등으로 구성된다.

그리고, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은 전술한 순서에 따라 시계열적으로 행해지는 처리는 물론 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

또, 본 출원에 있어서, "시스템"은 복수의 장치에 의해 구성되는 장치 전체 를 나타내는 것이다.

도 80은 본 발명을 감시 카메라 시스템에 적용한 경우의 구성예를 나타내고 있다. 이 감시 카메라 시스템(3001)에 있어서는, CCD 비디오 카메라 등으로 이루어지는 촬상부(3021)에 의해 촬상된 화상이 화상 디스플레이(3023)에 디스플레이 된다. 추적 대상 검출부(3024)는, 촬상부(3021)로부터 입력된 화상으로부터 추적 대상을 검출하고, 검출 결과를 대상 추적부(3026)에 출력한다. 대상 추적부(3026)는 전술한 도 1의 대상 추적 장치(1)와 기본적으로 동일한 구성을 가지고 있다.

대상 추적부(3026)는 촬상부(3021)로부터 공급된 화상 중, 추적 대상 검출부(3024)에 의해 지정된 추적점을 추적하도록 동작한다. 영역 설정부(3025)는, 대상 추적부(3026)으로부터의 출력 결과에 따라 촬상부(3021)에 의해 촬상된 화상 중, 추적점을 포함하는 대상 주변의 소정의 영역을 설정하고, 그 영역을 지정하는 위치 정보를 화상 보정부(3022)에 출력한다. 화상 보정부(3022)는 촬상부(3021)에 의해 촬상된 화상 내의 영역 설정부(3025)에 의해 설정된 영역에 대하여, 화상의 흐릿함(포커스에서의 흐릿함)을 제거하는 보정을 행하고, 화상 디스플레이(3023)에 출력한다. 카메라 구동부(3029)는, 대상 추적부(3026)으로부터의 제어에 따라 촬상부(3021)가 추적점을 중심으로 하는 화상을 촬영하도록 촬상부(3021)를 구동한다.

제어부(3027)는, 예를 들면, 마이크로 컴퓨터 등에 의해 구성되며, 각 부를 제어한다. 제어부(3027)에는, 반도체 메모리, 자기 디스크, 광디스크, 광자기 디스크 등에 의해 구성되는 착탈 가능 미디어(3028)가 필요에 따라 접속되고, 프로그 램과 그 외에 각종의 데이터가 필요에 따라 공급된다. 제어부(3027)는 또한 (도시하지 않은) 입출력 인터페이스를 통하여 사용자로부터의 지시(예를 들어, 커맨드)의 입력을 받아들인다.

다음에, 도 81의 플로차트를 참조하여, 감시 처리의 동작에 대하여 설명한다. 감시 시스템(3001)의 전원이 온되어 있을 때, 촬상부(3021)는 감시하는 영역을 촬상하고, 그 촬상하여 얻어진 화상을 추적 대상 검출부(3024), 대상 추적부(3026), 추적 화상 보정부(3022)를 통하여 화상 디스플레이(3023)에 출력한다. 추적 대상 검출부(3024)는, 스텝 S1001에 있어서, 촬상부(3021)로부터 입력된 화상으로부터 추적 대상을 검출하는 처리를 실행한다. 추적 대상 검출부(3024)는, 예를 들면, 움직이는 물체가 검출된 경우, 그 움직이는 물체를 추적 대상으로 하여 검출한다. 추적 대상 검출부(3024)는, 추적 대상 중, 예를 들면, 가장 휘도가 높은 점, 또는 추적 대상 중, 중앙의 점 등을 추적점으로서 검출하고, 결정된 추적점에 관한 정보를 대상 추적부(3026)에 출력한다.

스텝 S1002에 있어서, 대상 추적부(3026)는, 스텝 S1001에서 검출된 추적점을 추적하는 추적 처리를 실행한다. 이 처리에 의해, 촬상부(3021)에 의해 촬상된 화상 내의 추적 대상으로 되는 대상(예를 들면, 사람, 동물)의 추적점(예를 들면, 눈, 머리 중앙)이 추적되어 그 추적 위치를 나타내는 위치 정보가 영역 설정부(3025)에 출력된다.

스텝 S1003에 있어서, 영역 설정부(3025)는 대상 추적부(3026)로부터의 출력에 따라 추적 대상 주변의 소정의 영역(예를 들면, 추적점을 중심으로 하여, 소정 크기의 사각형으로 표현되는 영역)을 보정 대상 영역으로서 설정하는 스텝 S1004에 있어서, 화상 보정부(3022)는 촬상부(3021)에 의해 촬상된 화상 중, 영역 설정부(3025)에 의해 설정된 보정 대상 영역 내의 화상을 보정하는 화상 보정 처리를 실행한다. 화상 보정 처리의 상세한 것에 대하여는, 도 93을 참조하여 후술하지만, 이 처리에 의해, 보정 대상 영역 내의 화상에 대하여, 화상의 흐릿함이 제거된 선명한 영상이 제공된다.

스텝 S1005에 있어서, 화상 디스플레이(3023)는, 스텝 S1004에서 보정된 화상, 즉 촬상부(3021)에 의해 촬상된 화상으로서, 특히, 보정 영역 내의 화상만이 선명하게 되도록 보정된 화상을 출력한다.

스텝 S1006에 있어서, 대상 추적부(3026)는, 스텝 S1002의 처리에 의한 추적 결과에 따라 대상의 이동을 검출하고, 이동하는 대상의 화상을 촬상 가능하도록 카메라를 구동시키는 카메라 구동 신호를 생성한다. 그런 다음 대상 추적부(3026)는 상기 카메로 구동 신호를 제어부(3029)에 출력한다. 스텝 S1007에 있어서, 카메라 구동부(3027)는 카메라 구동 신호에 따라 촬상부(3021)를 구동한다. 이로써, 촬상부(3021)는 추적점이 항상 화면 내에만 위치하도록 카메라를 팬 또는 틸트한다.

스텝 S1008에 있어서, 제어부(3027)는 사용자로부터의 지시에 따라 감시 처리를 종료하는지 여부를 판정하고, 사용자로부터 종료가 지시되어 있지 않은 경우에는, 스텝 S1001으로 복귀하고, 그 이후의 처리를 반복 실행한다. 사용자로부터 감시 처리의 종료가 지시된 경우, 스텝 S1008에 있어서 종료하는 것으로 판정되면, 제어부(3027)는 감시 처리를 종료한다.

그리고, 추적 대상 검출부(3024)로부터 출력된 추적점의 정보에 따라 검출된 추적 대상을 추적시키는 동시에, 화상 디스플레이(3023)에 디스플레이되는 화면 중에, 추적점이 디스플레이되도록(추적점이 화면을 벗어나지 않게), 카메라 구동부(3029)에 제어 신호가 출력된다. 또한, 추적점의 화면 상에서의 위치 정보 등의 추적 결과가, 영역 설정부(3025) 및 제어부(3027) 등에 출력된다.

도 82a 내지 82c는, 이때 화상 디스플레이(3023)에 디스플레이되는 화상의 예를 시계열로 나타낸 도면이다. 도 82a는 촬상부(3021)에 의해, 추적 대상으로 되는 대상(3051)이 촬상된 화상의 예이며, 이 예에서는, 도면 중 좌측 방향으로 달려 이동하는 사람이 대상(3051)으로서 촬상되어 있다. 도 82b에서는, 대상(3051)이 도 82a의 위치로부터 도면 중 좌측으로 이동하고 있고, 도 82c에서는, 대상(3051)이 도 82b의 위치로부터 더 좌측으로 이동하고 있다.

추적 대상 검출부(3024)는 도 81의 스텝 S1001에서, 대상(3051)을 검출하고, 이 대상(3051)(사람)의 눈을, 추적점(3051A)으로서 대상 추적부(3026)에 출력한다. 스텝 S1002에서는 대상 추적부(3026)에 의해 추적 처리가 행해지고, 영역 설정부(3025)에 의해, 스텝 S1003에서 추적 대상의 대상(3051)(추적점(3051A)) 주변의 소정 영역이 보정 대상 영역(3052)으로서 설정된다.

전술한 바와 같이, 대상 추적부(3026)는 추적점(3051A)에 따라 대상(3051)을 추적하므로, 대상(3051)이 이동하면, 추적점(3051A)이 이동하고, 그 추적 결과(위치)가 영역 설정부(3025)에 출력된다. 그러므로, 도 82a 내지 도 82c에 나타낸 바와 같이, 대상(3051)이 도면 중 좌측으로 이동해 가면, 보정 대상 영역(3052)도 도 면 중 좌측으로 이동해 간다.

이동하는 대상(3051)(추적점(3051A))에 대응하는 보정 대상 영역(3052)의 설정은, 예를 들면, 다음과 같이 행해진다. 도 83은 보정 대상 영역으로서 추적점 주변에 소정 크기의 사각형의 영역이 설정되는 예를 나타낸다. 동 도면에 있어서, 최초에 보정 대상 영역(3071A)이 설정된 것으로 한다. 최초의 보정 대상 영역(3071A)으로서는, 예를 들면, 추적점(3051A)을 기준으로 하여, 그것을 중심으로 하는 일정한 범위가 설정된다. 물론, 사용자에 의해 지정된 경우에는, 그 지정된 범위가 보정 대상 영역(3071A)으로서 설정된다. 이 때 영역 설정부(3025)는, 보정 대상 영역(3071A)의 좌측 위의 각의 좌표(X, Y)를 내부 메모리에 저장한다. 대상(3051)의 추적점(3051A)이 이동하면, 대상 추적부(3026)에 의한 추적이 행해지고, 추적점(3051A)의, 화면 상에서의 X축 방향(도면 중 좌우의 방향), Y축 방향(도면 중 상하의 방향)의 위치(또는 이동거리)의 정보가, 추적 결과로서 영역 설정부(3025)에 공급된다.

그리고, 전술한 좌측 위의 좌표에 따라 보정 대상 영역이 설정된다. 예를 들면, 추적점(3051A)이 화면 상에서, X 축방향으로 x, Y 축방향으로 y 만큼 각각 이동하면, 영역 설정부(3025)는, 보정 대상 영역(3071A)의 좌측 위의 좌표(X, Y)에, x와 y를 가산하고, 좌표에 (X+x, Y+y)를 계산하고, 그 좌표를 새로운 보정 대상 영역(3071B)의 좌측 위의 좌표로서 저장하는 동시에, 보정 대상 영역(3071B)을 설정한다. 추적점(3051A)이 X 축방향으로 a, Y 축방향으로 b 만큼 더 이동하면, 영역 설정부(3025)는, 보정 대상 영역(3071A)의 좌측 위의 좌표 (X+x, Y+y)에, a와 b를 가산하여, 좌표 (X+x+a, Y+y+b)를 계산하고, 그 좌표를 새로운 보정 대상 영역(3071C)의 좌측 위의 좌표로서 저장하는 동시에, 보정 대상 영역(3071C)을 설정한다.

이와 같이, 대상(추적점)의 이동에 따라 보정 대상 영역도 이동하여 간다.

또, 전술한 바와 같이, 보정 대상 영역(3052) 내의 화상에 대하여는, (도 81의 스텝 S1004에서) 화상 보정부(3022)에 의한 화상 보정 처리가 행해지고, 화상의 흐릿함이 제거되어, 화상 디스플레이(3023)에 디스플레이된다. 따라서, 도 82a 내지 82c에 나타나는 화상은, 보정 대상 영역(3052) 내가 선명히 디스플레이된다. 한편, 보정 대상 영역(3052)의 밖의 배경(3053)의 화상은, 보정 대상 영역(3052) 내의 화상과 비교하면, 상대적으로 불선명하게 디스플레이 된다.

이와 같이 함으로써, 화상 디스플레이(3023)에 디스플레이되는 화상 중, 보정 대상 영역(3052) 내의 대상(3051)이, 항상 선명하게 디스플레이되므로, 화상 디스플레이(3023)를 관찰하는 사용자는 자연스럽게 대상(3051)을 주목하게 되고, 그 결과, 예를 들면, 의심자의 침입, 물체의 이동 등을 더 신속히 발견할 수 있다. 또, 대상(3051)은 선명히 디스플레이되므로, 이동하는 대상(예를 들면, 인물)이 무엇(누구)인지, 사용자가 정확하게 인식할 수 있다.

전술한 바와 같이, 대상 추적부(3026)는, 전술한 도 1의 대상 추적 장치(1)와 기본적으로 동일한 구성을 가지고 있으므로, 그 구성 및 동작에 관한 상세한 설명은 생략한다.

이상과 같이, 도 80의 대상 추적부(3026)를 구성함으로써, 추적해야 할 대 상(3051)(도 82)이 회전하거나, 폐색이 발생하거나, 또는 씬 체인지에 의해, 대상(3051)의 추적점(3051A)이 일시적으로 디스플레이되지 않게 되는 것과 같은 경우에도, 화상 중 이동하는 대상(3051)(추적점(3051A))을 정확하게 추적할 수 있다.

이같이 하여 추적되는 대상(3051)의 추적점(3051A)의 위치 정보가, 도 80의 대상 추적부(3026)에 의한 추적 결과로서 영역 설정부(3025)에 출력됨으로써, 영역 설정부(3025)에 의해, 전술한 바와 같이 보정 대상 영역(3052)이 설정된다. 그리고, 화상 보정부(3022)가 보정 대상 영역(3052)의 중의 화상의 흐릿함(포커스에서의 흐릿함)을 제거한다.

다음에, 도 80의 화상 보정부(3022)의 상세한 구성예와 그 동작에 대하여 설명한다. 도 84는 화상 보정부(3022)의 상세한 구성예를 나타내는 블록도이다. 이 예에서는 화상 보정부(3022)에, 영역 설정부(3025)의 출력 신호에 따라 제어 신호를 생성하고, 그 제어 신호를 각 부에 공급하는 제어 신호 생성부(3741), 입력 화상의 특징을 검출하는 화상 특징 검출부(3742), 제어 신호에 따라 어드레스의 연산을 행하는 어드레스 연산부(3743), 어드레스 연산부(3743)에 의해 연산된 어드레스에 따라 미리 저장된 소정의 계수를 출력하는 계수 ROM(3744), 및 입력 화상 내의 소정의 영역에 대응하는 복수의 화소를 추출하는 영역 추출부(3745)가 설치되어 있다.

화상 보정부(3022)는 내적 연산부(3746) 및 화상 합성부(3747)를 더 포함한다. 내적 연산부(3746)는 영역 추출부(3745)로부터 출력된 화소의 레벨에 대하여, 계수 ROM(3744)로부터 출력된 계수에 따른 내적 연산을 행하고, 새롭게 수정된 화 소 레벨을 출력한다. 화상 합성부(3747)는 보정 영역(3052) 내의 화상과 배경(3053을 합성하여 합성된 화상을 출력한다.

도 85는 제어 신호 생성부(3741)가 생성하는 제어 신호의 예를 나타낸 도면이다. 제어 신호 A는, 입력 화상 내의 수정해야 할 부분(보정 대상 영역(3052))을 특정하는 신호이며, 영역 설정부(3025)의 출력에 따라 생성되고, 영역 추출부(3745)와 화상 합성부(3747)에 공급된다. 제어 신호 B는, 후술하는 흐릿함의 정도를 나타내는 파라미터 σ를 특정하는 신호이며, 어드레스 연산부(3743)에 공급된다. 파라미터 σ의 값은, 예를 들면, 제어부(3027)를 통하여 행해지는, 사용자의 지정에 따라 특정되도록 해도 되고, 미리 설정되도록 해도 된다.

제어 신호 C는, 후술하는 흐릿함의 모델 식을 풀기 위해서 사용되는 관계식의 가중치 Wa의 전환을 지정하는 신호이며, 어드레스 연산부(3743)에 공급된다. 제어 신호 D는, 화상의 특징을 검출할 때 사용되는 임계값의 전환을 지정하는 신호이며, 화상 특징 검출부(3742)에 공급된다. 제어 신호 C와 D에 대하여는, 감시 카메라 시스템(3001)의 특성 등을 고려하여 미리 설정되도록 해도 되고, 제어부(3027)를 통하여 행해지는, 사용자의 지정에 따라 생성되도록 해도 된다.

다음에, 화상의 흐릿함의 원리에 대하여 설명한다. 카메라의 핀트가 적정하게 설정되고 피사체가 포커스 변함이 없는 화상의 화소의 레벨 X를 실제 값으로 하자. 카메라의 핀트가 벗어나 피사체가 포커스 변함이 없는 화상의 화소의 레벨 Y를 관측값으로 한다. 화상을 구성하는 복수의 화소를 표현하기 위하여, 화상의 수평 방향의 좌표를 x로 나타내고, 수직 방향의 좌표를 y로 나타내면, 실제 값은, X(x, y)로 표현되고, 관측값은, Y(x, y)로 나타낼 수가 있다.

본 발명에서는, 흐릿함의 모델 식으로서 수학식 6을 적용한다. 수학식 6에 있어서는, 수학식 7에 나타내는 가우스 함수를 사용한다. 실제값 X(x, y)에 가우스 함수를 콘볼루팅함으로써 관측값 Y(x, y)을 얻을 수 있다.

수학식 6에 있어서, 파라미터 σ는 흐릿함의 정도를 나타내는 파라미터이다.

수학식 6에 의하면, 1개의 관측값 Y(x, y)는, 변수 i 및 j(-r<i<r 및 -r<j<r)에 따라 변하는 복수의 실제값 X(x+i, y+j)을 계수 W로 가중함으로써 구해진다. 따라서, 흐릿함이 없는 화상의 하나의 화소의 레벨은, 흐릿한 화상의 복수의 화소의 레벨에 따라 얻어진 것으로 된다.

또, 전술한 파라미터 σ의 값에 의해 화상의 흐릿함의 정도가 변화한다. 파라미터 σ의 값이 비교적 작은 경우, 실제값의 정보가 관측값에 있어서 광범위하게 확산되어 있지 않아, 비교적 흐릿함이 작은 화상으로 된다. 이에 대하여, 파라미 터 σ의 값이 비교적 큰 경우, 실제값의 정보가 관측값에 있어서 광범위하게 확산되어 비교적 흐릿함이 큰 화상으로 된다.

이와 같이, 파라미터 σ의 값의 변화에 의해, 화상의 흐릿함의 정도가 변화한다. 그러므로, 화상의 흐릿함을 정확하게 수정하기 위해서는, 파라미터 σ의 값을 적절히 구할 필요가 있다. 본 발명에 있어서는, 파라미터 σ의 값을 사용자가 지정한다. 대안으로, 감시 카메라 시스템(3001)의 특성 등을 고려하여 최적인 값이 미리 설정되도록 해도 된다.

도 86 내지 도 89를 참조하여, 화상의 원리에 대하여 보다 상세하게 설명한다. 도 86a는 간략화를 위해, 화소가 수평 방향으로 1차원으로 배열된 것으로서 주어진 화상에 있어서 실제 값 X0 내지 X8을 나타낸 도면이다. 도 86c는 도 86a에 대응하는 관측값을 나타낸 도면이다. 도 86b는 계수 W(i)의 크기를 나타내는 그래프를 막대 그래프(bar graph) 형태로 나타낸 도면이다. 이 예에서는, 변수 i의 범위가 -2<i<2로 되고, 중앙의 막대 그래프가 계수 W(0)로 되고, 좌측단의 막대 그래프로부터 순서대로 계수 W(-2), W(-1), W(0), W(1), W(2)으로 된다.

여기서, 수학식 6에 따라 도 86c의 관측값 Y2를 구하면 다음과 같이 된다.

Y2 = W(-2)X2 + W(-1)X3 + W(0)X4 + W(1)X5 + W(2)X6

마찬가지로 하여, 도 86c의 관측값 Y0를 구하는 경우, 실제값 중, 도 87의 프레임(3790-1)으로 나타내는 부분에 따라 연산을 행함으로써, 다음과 같이 관측값 Y0가 구해진다.

Y0 = W(-2)X0 + W(-1)X1 + W(0)X2 + W(1)X3 + W(2)X4

또한, 관측값 Y1을 구하는 경우, 도 87의 프레임(3790-2)으로 나타내는 부분에 따라 연산을 행함으로써, 다음과 같이 관측값 Y1이 구해진다.

Y1 = W(-2)X1 + W(-1)X2 + W(0)X3 + W(1)X4 + W(2)X5

Y3, Y4에 대해서도 마찬가지로 하여 구할 수 있다.

도 88 및 도 89는 도 86a와 도 86c의 관계를 2차원으로 나타낸 것이다. 즉, 도 88의 각 화소의 레벨은 관측값이며, 도 89를 구성하는 각 화소의 레벨을 실제값으로서 구한 것이다. 이 경우, 도 88에 있어서의 화소 A에 대응하는 관측값 Y(x, y)는 다음과 같이 하여 구해진다.

Y(x, y) = W(-2, -2)X(x-2, y-2) + W(-1, -2)X(x-1, y-2) + W(0, 2)X(x, y-2) ... + W(2, 2)X(x+2, y+2)

즉, 도 88의 화소 A에 대응하는 관측값은, 도 89에 있어서 화소 A'(화소 A에 대응함)을 중심으로 하여 프레임 a로 나타낸 25(=5x5)개의 화소에 대응하는 실제 값에 따라 구해진다. 마찬가지로, 도 88의 화소 B(화소 A의 도면 중 우측 상의 화소)에 대응하는 관측값은, 도 89에 있어서, 화소 B'(화소 B에 대응함)를 중심으로 하여 25개의 화소에 대응하는 실제값에 따라 구해지고, 도 88의 화소 C에 대응하는 관측값은, 도 89에 있어서, 화소 C'(화소 C에 대응함)를 중심으로 하여 25개의 화소에 대응하는 실제값에 따라 구해진다. 도 88의 화소 B와 C에 대응하는 관측값 Y(x+1, y)와 Y(x+2, y)를 구하는 식을 다음에 나타낸다.

Y(x+1, y) = W(-2, -2)X(x-1, y-2) + W(-1, -2)X(x, y-2) + W(0, -2)X(x-1, y-2) ... + W(2, 2)X(x+3, y+2)

Y(x+2, y) = W(-2, -2)X(x, y-2) + W(-1, -2)X(x+1, y-2) + W(0, -2)X(x+2, y-2) ... + W(2, 2)X(x+4, y+2)

이같이 하여, 도 88의 각 화소에 대응하는 관측값을 구해 가면, 수학식 8 내지 수학식 11에 나타낸 바와 같은 행렬식을 얻을 수 있다

Y_f = W_fX_f

여기서, 수학식 11에 나타낸 행렬 식에 있어서, 행렬 W_f의 역행렬을 구할 수 있다면, 관측값 Y_f에 따라 실제 값 X_f를 구할 수 있다. 즉, 흐릿함이 있는 화상의 화소에 따라 흐릿함이 없는 화상의 화소를 얻을 수 있으므로, 흐릿한 화상을 수정할 수 있다.

그러나, 수학식 8 내지 수학식 11에 나타낸 행렬식은, 도 86 내지 도 89를 참조하여 전술한 바와 같이, 관측값의 화소에 대하여 실제값의 화소가 많아, 이대로는 역행렬을 구하는 것이 곤란하다(예를 들면, 도 87의 예에서, 관측값의 화소 1개에 대하여 실제 값의 화소 5개가 필요하다).

그래서, 수학식 8 내지 수학식 11에 더하여, 수학식 12 내지 수학식 15에 나타내는 관계식을 도입한다.

W_a(p₁)W₁(p₂)(X(x, y)-X(x, y-1)) = 0

W_a(p₁)W₂(p₂)(X(x, y)-X(x+1, y)) = O

W_a(p₁)W₃(p₂)(X(x, y)-X(x, y+1)) = O

W_a(p₁)W₄(p₂)(X(x, y)-X(x-1, y)) = 0

수학식 12 내지 수학식 15는 인접하는 화소의 레벨의 차분에 대하여 한정을 가하는 것이며, 구해진 실제값이, 화상의 평탄 부분(인접하는 화소의 레벨과 큰 차가 없는 부분)인 경우에는 모순이 없다. 그러나, 구해진 실제 값이 에지 부분(인접하는 화소의 레벨과 큰 차분이 있는 부분)인 경우에는 모순이 생기고, 수정하고 화상에 열화가 생기는 우려가 있다. 그러므로, 흐릿한 화상을 적정하게 수정하기 위해서는, 수학식 12 내지 수학식 15의 4개의 관계식을, 인접하는 화소들이 실제 값의 에지 부분을 교차하지 않도록 화소마다 구분하여 사용할 필요가 있다.

그래서, 화상 특징 검출부(3742)에 있어서, 입력 화상 내의 에지 부분과 평탄 부분의 판정을 행하고, 어느 방향(예를 들면, 상하 좌우)에 평탄하게 되어 있는지를 나타내는 코드 p2를 생성한다. 그리고, 화상 특징 검출부(3742)의 상세한 동 작에 대하여는 도 94를 참조하여 후술한다. 또, 본 발명에서는, 입력 화상(관측값) 내의 에지 부분과 평탄 부분의 판정 결과가, 실제 값 중의 에지 부분과 평탄 부분의 판정 결과에 동등한 것으로 가정한다.

수학식 12 내지 수학식 15에 있어서, 코드 p2의 함수인 함수 W1 내지 W4는 가중치 함수로 된다. 본 발명에 있어서는, 코드 p2에 따라 이 가중치 함수 W1 내지 W4가 제어됨으로써, 화소마다의 관계식을 선택하여 사용할 수 있다. 도 90에 코드 p2에 대응하는 가중치 함수 W1 내지 W4의 값을 나타낸다. 이 가중치 함수의 값이 클수록 부분을 더 평탄하게 되고, 가중치 함수의 값이 작을수록 덜 평탄하게 된다(에지가 될 확률이 증가한다).

코드 p2는 4비트로 구성되어 있고, 각각의 비트는, 좌측으로부터 순서대로, 상방향, 우측 방향, 하방향 및 좌측 방향으로 평탄한지 여부를 나타내고, 그 방향으로 평탄한 경우에는, 대응하는 비트가 "1"로 설정된다. 예를 들면, 코드 p2가 "0001"인 경우, 주목 화소의 좌측 방향으로 평탄하고, 그 이외의 방향은 평탄하지 않다는(에지가 존재한다는) 것을 나타낸다. 그러므로, 코드 p2가 "0001"인 경우, 가중치 함수 W4의 값이 커지고, 수학식 12 내지 수학식 15의 4개의 관계식 중 수학식 15의 가중치가 커지게 된다. 이와 같이 함으로써, 코드 p2에 의해, 4개의 관계식의 가중치를 변화시킬 수 있어 4개의 관계식 중 하나를, 인접하는 화소들이 에지를 교차하지 않도록 화소마다 적절하게 선택하여 사용할 수 있다.

예를 들면, 도 91에 나타낸 바와 같이, 주목 화소 Xa의 상방향과 좌측 방향이 평탄하고, 우측 방향과 하방향이 에지에 있는 경우, 코드 p2에 의해, 수학식 12 내지 수학식 15의 4개의 관계식의 가중치를 변화시킴으로써, 인접하는 화소의 레벨의 차분에 대하여, "Xa-Xb-O" 및 "Xa-Xc=0"의 한정이 가해진다. 그렇지만, 이러한 "Xa-Xd=0" 및 "Xa-Xe=0"의 한정은 가해지지 않는다. 그리고, Xb, Xc, Xd, Xe는 각각 우측 방향, 하방향, 상방향, 및 좌측 방향으로 주목 화소 X에 인접하는 화소들을 나타낸다.

또, 수학식 12 내지 수학식 15에 있어서, 함수 Wa는, 다른 가중치 함수이며, 역시 코드 p1에 의해 가중치 함수 Wa의 값이 변화한다. 가중치 함수 Wa의 값을 변화시킴으로써, 수정된 화상의 전체의 노이즈, 디테일을 제어할 수 있다. 가중치 함수 Wa의 값이 크면, 수정된 화상에 있어서 노이즈의 영향이 작아 노이즈 감이 감소한다. 한편, 가중치 함수 Wa의 값이 작으면, 수정된 화상에 있어서 디테일 효과가 강하게 느껴져 디테일 감이 향상된다. 그리고, 가중치 함수 Wa의 값을 변화시키는 코드 p1은 도 85의 제어 신호 C에 대응하고 있다.

이와 같이, 수학식 8 내지 수학식 11에 더하여, 수학식 12 내지 수학식 15에 나타내는 관계식을 도입한다. 이로써, 수학식 16에 나타낸 바와 같은 역행렬을 연산하는 것이 가능하게 되어, 그 결과, 관측값에 따라 실제 값을 구할 수 있다.

X_s=W_s ^-1Y_s

본 발명에서는, 관측값 Y_s에 관한 계수 W_s ^-1이 계수 ROM(3744)에 미리 유지되 고, 영역 추출부(3745)에 의해 추산된 입력 화상에 대하여, 수학식 16의 행렬식의 연산(내적 연산)이 내적 연산부(3746)에 의해 행해진다. 이와 같이 함으로써, 화상의 수정을 행할 때마다, 역행렬연산을 행할 필요가 없고, 내적 연산만으로 흐릿함을 수정하는 것이 가능하게 된다. 단, 입력 화상에 따라 파라미터 σ나, 전술한 4개의 관계식이 상이하므로, 상정할 수 있는 이러한 수학식들의 모든 조합에 의해의 역행렬연산을 미리 행하여 두고, 파라미터 σ, 코드 p2 등에 대응하는 어드레스를 정하여, 그 어드레스마다 상이한 계수가 계수 ROM(3744)에 저장된다.

그러나, 예를 들면, 도 89에 나타내는 프레임(t) 내의 25(=5x5)개의 모든 화소에 있어서, 가중치 함수 W1 내지 W4의 조합을 변화시켜, 4개의 관계식을 전환한 경우, 15(함수 W1 내지 W4의 조합의 수)의 25(프레임(t) 내의 화소수)승의 조합의 수가 존재하게 된다. 각각의 조합마다 역행렬연산을 행하면, 계수의 수가 방대하게 되어, 계수 ROM(3744)의 용량에는 한계가 있으므로, 모든 계수를 저장하지 못할 우려가 있다. 이와 같은 경우, 프레임(t) 내의 중심 화소인 Xt만, 그 특징에 따라 코드 p2를 변화시켜 관계식을 전환하고, 프레임(t) 내의 화소 Xt이외의 화소의 관계식에 대하여는, 예를 들면, 코드 p2가 의사값 "1111"에 고정되도록 해도 된다. 이와 같이 함으로써, 계수의 조합의 수를 15에 한정할 수 있다.

그리고, 이상에 있어서는, 흐릿함의 원리(모델 식)를 설명하기 위하여, 가우스 함수의 정의역(domain)을, -2≤(x, y)=≤2로 하였으나, 실제로는, 파라미터 σ의 값이 충분히 커도 대응할 수 있도록 한 범위가 설정된다. 또, 수학식 12 내지 수학식 15에 나타낸 관계식에 대해서도, 화상의 특징을 기술하는 식이면, 이것에 한정되는 것은 아니다. 또한, 계수 ROM(3744)의 용량에 제한이 있는 경우, 중심 위상(Xt)으로만 한정해서 관계식을 전환하는 예를 설명하였으나, 이에 한정되지 않고, 계수 ROM(3744)의 용량에 따라 관계식의 전환 방법을 바꾸어도 된다.

다음에, 도 92를 참조하여, 화상 보정부(3022)에 의한 흐릿함 보정 처리에 대하여 설명한다. 스텝 S1801에 있어서, 화상 보정부(3022)는 처리 대상 영역을 검출한다. 처리 대상 영역은, 흐릿함의 수정을 행하는 영역, 즉 보정 대상 영역(3052)이며, 영역 설정부(3025)로부터 출력되는 신호에 기초하여 검출된다.

스텝 S1802에 있어서, 화상 보정부(3022)는, 파라미터 σ의 값을 취득한다. 파라미터 σ는, 사용자에 의해 지정되도록 해도 되고, 미리 설정된 값이 취득되도록 해도 된다. 스텝 S1803에 있어서, 화상 보정부(22)는, 도 93을 참조하여 후술하는 화상 보정 처리를 실행한다. 이로써, 흐릿한 화상이 수정되어 출력된다.

이같이 하여, 보정 대상 영역(3052) 내의 화상에 대하여는, 화상의 흐릿함이 제거되어 선명한 화상으로 된다.

다음에, 도 93을 참조하여, 도 92의 스텝 S1803의 화상 보정 처리의 상세에 대하여 설명한다.

스텝 S1821에 있어서, 화상 특징 검출부(3742)는, 도 94를 참조하여 후술하는 화상 특징 검출 처리를 실행한다. 이로써, 주목 화소에 대하여, 어느 방향으로 평탄한지가 판정되고, 도 90을 참조하여 전술한 코드 p2가 생성되고, 어드레스 연산부(3743)에 출력된다.

스텝 S1822에 있어서, 어드레스 연산부(3743)는 계수 ROM(3744)의 어드레스 를 연산한다. 계수 ROM(3744)의 어드레스는, 예를 들면, 코드 p2에 대응하는 4비트(화상 특징 검출부(3742)의 출력), 파라미터 σ의 값을 나타내는 4비트(도 85의 제어 신호 B), 및 전술한 4개의 관계식의 가중치 함수 Wa를 전환하는 코드 p1에 대응한하는 2비트(도 85의 제어 신호C)에 의해 구성되며, 0 내지 1023의 1024(2¹⁰) 범위의 어드레스가 존재한다. 어드레스 연산부(3743)는 화상 특징 검출부(3742)의 출력, 제어 신호 B, 및 제어 신호 C에 따라 대응하는 어드레스를 연산한다.

스텝 S1823에 있어서, 어드레스 연산부(3743)는 스텝 S1822에서 연산한 어드레스에 따라 계수 ROM(3744)으로부터 계수를 판독하고, 내적 연산부(3746)에 공급한다.

스텝 S1824에 있어서, 내적 연산부(3746)는 스텝 S1823에서 판독된 계수에 기초하여 화소마다 내적 연산을 행하고, 내적 연산의 결과를, 화상 합성부(3747)에 출력한다. 이로써, 전술한 바와 같이, 관측값으로부터 실제값이 구해지고, 흐릿한 화상이 보정될 있다.

스텝 S1825에 있어서, 화상 합성부(3747)는 도 97을 참조하여 후술하는 화상 합성 처리를 실행한다. 이로써, 화소마다, 내적 연산부(3746)의 처리 결과를 출력하거나, 입력 화상을 그대로 출력하는지가 판정된다. 스텝 S1826에 있어서, 후 처리부(3747)는 보정되어 선택된 화상을 출력한다.

다음에, 도 94를 참조하여, 도 93의 스텝 S1821의 화상 특징 검출 처리에 대하여 설명한다. 스텝 S1841에 있어서, 화상 특징 검출부(3742)는, 블록을 추출하 고, 스텝 S1842에 있어서, 스텝 S1841에서 추출된 블록 사이의 차분을 연산한다(그 자세한 것은, 도 96을 참조하여 후술한다). 스텝 S1843에 있어서, 화상 특징 검출부(3742)는, 스텝 S1842에서 연산된 블록 차분을, 미리 설정되어 있는 임계값과 비교하고, 그 비교 결과에 따라 스텝 S1844에 있어서, 주목 화소에 대하여 평탄한 방향을 나타내는 코드인 코드 p2를 출력한다.

도 95 및 도 96을 참조하여, 화상 특징 검출 처리에 대하여, 보다 상세하게 설명한다. 도 95는 화상 특징 검출부(3742)의 상세한 구성예를 나타내는 블록도이다. 도면의 좌측에는, 입력된 화상 중 소정의 블록을 추출하는 블록 절단부(3841-1 내지 3841-5)가 설치되어 있다. 블록 절단부(3841-1 내지 3841-5)는 예를 들면, 도 96a 내지 도 96e에 나타낸 바와 같이, 5개의 블록을 추출하고, 이 5개의 블록 각각은 9(3x3 화소)개의 화소를 포함하며, 이 9개의 화소 중 하나가 도면 중 검은 동그라미로 나타내는 주목 화소(지금 수정해야 할 화소)이다.

도 96a에 나타내는 블록(3881)은, 그 중심에 주목 화소를 가지는 중심 블록이며, 블록 절단부(3841-5)에 의해 추출된다. 도 96b에 나타내는 블록(3882)은 블록(3881)을 화소 1개분만큼 도면 중 위로 이동한 상부 블록이며, 블록 절단부(3841-3)에 의해 추출된다. 도 96c에 나타내는 블록(3883)은 블록(3881)을 화소 1개분만캄 도면 중 좌측으로 이동한 좌측 블록이며, 블록 절단부(3841-4)에 의해 추출된다.

도 96d에 나타내는 블록(3884)은 블록(3881)을 화소 1개분만큼 도면 중 아래로 이동한 하부 블록이며, 블록 절단부(3841-1)에 의해 추출된다. 도 96e에 나타 내는 블록(3885)은 블록(3881)을 화소 1개분만큼 도면 중 우측으로 이동한 우측 블록이며, 블록 절단부(3841-2)에 의해 추출된다. 스텝 S1841에 있어서는, 주목 화소마다, 블록(3881 내지 3885)의 5개의 블록이 추출된다.

블록 절단부(3841-1 내지 3841-5)에 의해 추출된 각 블록을 구성하는 화소의 정보는 블록 차분 연산부(3842-1 내지 3842-4)에 출력된다. 블록 차분 연산부(3842-1 내지 3842-4)는 각 블록의 화소의 차분을, 예를 들면, 다음과 같이 하여 연산한다.

블록(3881)의 9개의 화소 중, 가장 위의 행의 3개의 화소(화소의 레벨)를 좌측으로부터 a(3881), b(3881), c(3881)로 한다. 중앙의 행의 3개의 화소를 좌측으로부터 d(3881), e(3881), f(3881)로 한다. 가장 아래의 행의 3개의 화소를 좌측으로부터 g(3881), h(3881), i(3881)로 한다. 마찬가지로, 블록(3884)의 9개의 화소에 대해서도, 가장 위의 행의 3개의 화소(화의 레벨)를 좌측으로부터 a(3884), b(3884), c(3884)으로 하고, 중앙의 행의 3개의 화소를 좌측으로부터 d(3884), e(3884), f(3884)로 하고, 가장 아래의 행의 3개의 화소를 좌측으로부터 g(3884), h(3884), i(3884)로 한다. 블록 차분 연산부(3842-1)는 블록 차분 B(1)을 다음과 같이 연산한다.

B(1) = ｜a(3881)-a(3884)｜ + ｜b(3881)-b(3884)｜ + ｜c(3881)-c(3884)｜ + ... + ｜i(3881)-i(3884)｜

즉, 블록 차분 B(1)은 블록(3881)(중심)과 블록(3884)(아래)에 있어서 대응하는 각 화소의 레벨의 차분의 절대값의 합이다. 마찬가지로 하여, 블록 차분 연 산부(3842-2)는, 블록(3881)(중심)과 블록(3885)(우측)에 있어서 대응하는 각 화소의 레벨의 차분의 절대값의 합을 구하고, 블록 차분 B(2)를 연산한다. 또한, 블록 차분 연산부(3842-4)는, 블록(3881)(중심)과 블록(3882)(위)에 대하여, 블록 차분 연산부(3842-3)는, 블록(3881)(중심)과 블록(3883)(좌측)에 대하여, 각각 대응하는 각 화소의 레벨의 차분의 절대값의 합을 구하고, 블록 차분 B(3)와 B(4)를 연산한다.

스텝 S1842에 있어서는, 이와 같이 중심 블록과 상하 좌우의 4방향의 블록과의 차분인 블록 차분 B(1) 내지 B(4)가 연산되고, 그 결과는 대응하는 임계값 판정부(3843-1 내지 3843-4)에 각각 출력되는 동시에, 최소 방향 판정부(3844)에도 공급된다.

임계값 판정부(3843-1 내지 3843-4)는, 각각 블록 차분 B(1) 내지 B(4)를 미리 설정된 임계값과 비교하여, 그 대소를 판정한다. 그리고, 이 임계값은 제어 신호 D에 따라 전환된다. 임계값 판정부(3843-1 내지 3843-4)는, 각각 블록 차분 B(1) 내지 B(4)가 소정의 임계값보다 큰 경우, 그 방향은 에지 부분인 것으로 판정하여 "0"을 출력하고, 임계값보다 작은 경우, 그 방향은 평탄한 부분인 것으로 판정하여 "1"을 출력한다.

스텝 S1843에 있어서는, 이같이 하여 블록 차분과 임계값의 비교가 행해진다. 임계값 판정부(3843-1 내지 3843-4)의 출력 결과는, 4비트의 코드로서 선택기(845)에 출력된다. 예를 들면, 블록 차분 B(1), B(3) 및 B(4)가 임계값보다 작고, 블록 차분 B(2)가 임계값보다 큰 경우, 코드로서 "1011"이 출력된다.

일부의 경우에는, 블록 차분 B(1) 내지 B(4)가 모두 임계값보다 크게 되어 버릴 경우(평탄한 부분이 없는 경우)도 고려된다. 이 경우, 임계값 판정부(3843-1 내지 3843-4)로부터, 코드로서 "0000"이 출력된다. 그러나, 도 90에 나타낸 바와 같이, 코드 p2가 "OOOO"인 경우, 대응하는 가중치 함수 W1 내지 W4가 특정할 수 없다. 그래서, 선택기(3845)는, 임계값 판정부(3843-1 내지 3843-4)로부터의 출력 결과가 "0000"인지 아닌지를 판정하고, 임계값 판정부(3843-1 내지 3843-4)로부터의 출력 결과가 "0000"인 것으로 판정된 경우, 최소 방향 판정부(3844)로부터의 출력을 코드 p2로서 출력한다.

최소 방향 판정부(3844)는, 블록 차분 B(1) 내지 B(4) 중, 최소의 값을 판정하고, 판정 결과에 대응한 4비트의 코드를, 임계값 판정부(3843-1 내지 3843-4)가 코드를 출력하는 것과 동시에, 선택기(3845)에 출력한다. 예를 들면, 블록 차분 B(1) 내지 B(4) 중, B(1)가 최소인 것으로 판정된 경우, 최소 방향 판정부(3844)는, 코드로서 "10O0"를 선택기(3845)에 출력한다.

이와 같이 함으로써, 임계값 판정부(3843-1 내지 3843-4)로부터 코드 "0OOO"가 출력되어도, 최소 방향 판정부(3844)로부터 출력된 코드 "10OO"가 코드 p2로서 출력되도록 할 수 있다. 물론, 임계값 판정부(3843-1 내지 3843-4)로부터의 출력 결과가 "OOOO"이 아닌 경우에는, 임계값 판정부(3843-1 내지 3843-4)로부터의 출력 결과가 코드 p2로서 출력된다. 스텝 S3844에 있어서는, 이같이 하여 코드 p2가 생성되고, 어드레스 연산부(3743)에 출력된다.

다음에, 도 97을 참조하여, 도 93의 스텝 S1825의 화상 합성 처리에 대하여 설명한다. 스텝 S1861에 있어서, 화상 합성부(3747)는 내적 연산부(3746)로부터의 출력 결과에 따라 화소의 분산도를 연산한다. 이로써, 주목 화소의 주위의 화소의 분산 정도가 연산된다. 스텝 S1862에 있어서, 화상 합성부(3747)는 스텝 S1862에서 연산된 분산도가 소정의 임계값보다 큰지를 판정한다.

스텝 S1862에 있어서, 분산도가 임계값보다 큰 것으로 판정된 경우, 화상 합성부(3747)는 스텝 S1863에 있어서, 주목 화소에 대응하는 입력 화상 교체 플래그를 ON으로 설정한다. 한편, 분산도가 임계값보다 크지 않은 것으로 판정된 경우, 화상 합성부(3747)는 스텝 S1864에 있어서, 주목 화소에 대응하는 입력 화상 교체 플래그를 OFF로 설정한다.

흐릿한 부분이 발생하지 않은 입력 화상의 부분에 대하여, 내적 연산부(3746)에 의해 내적 연산을 행하면, 그 화소의 주위의 화상의 액티비티가 커지고, 오히려 화상이 열화되어 버릴 경우가 있다. 그래서, 분산도가 임계값보다 큰 경우, 그 화소는 열화된 화소인 것으로 판정되고, 입력 화상 교체 플래그가 ON에 설정된다. 입력 화상 교체 플래그가 ON에 설정된 화소는, 화소가 출력될 때, 입력 화상의 화소와 교체되어(즉, 원 상태로 되돌려져) 출력된다.

스텝 S1865에 있어서, 화상 합성부(3747)는 모든 화소에 대하여 체크하였는지 아닌지를 판정하고, 아직 모든 화소를 체크하고 있지 않은 것으로 판정된 경우, 스텝 S1861로 복귀하고, 그 이후의 처리가 반복 실행된다. 스텝 S1865에 있어서, 모든 화소에 대하여 체크한 것으로 판정된 경우, 스텝 S1866에 있어서, 화상 합성부(3747)는 화상이 흐릿함이 보정된 보정 대상 영역(3052) 내의 화상과 배경(3053) 의 화상을 합성하고, 화상 디스플레이(3023)에 출력한다.

이같이 하여, 화소마다 내적 연산 결과를 출력하거나, 또는 입력 화상의 화소를 그대로 출력하는지가 판정된다. 이와 같이 함으로써, 입력 화상 중, 원래 흐릿하지 않은 부분에 대하여, 화상의 수정을 행함으로써, 오히려 화상이 열화되어 버리는 것을 방지할 수 있다.

이 점에 대하여, 도 98 및 도 99를 참조하여, 보다 상세하게 설명한다. 도 98은 화상 합성부(3747)의 구성예를 나타내는 블록도이다. 내적 연산부(3746)로부터의 출력 결과가 블록 절단부(3901)에 입력된다. 블록 절단부(3901)는 도 99에 도시된 바와 같이, 주목 화소 a5를 중심으로 하는 9(=3x3)개의 화소 a1 내지 a9를 잘라, 분산 연산부(3802)에 출력한다. 분산 연산부(3802)는 분산도를 다음과 같이 하여 연산한다.

여기서, m은 블록 내의 9개의 화소(화소의 레벨)의 평균값을 나타내고, v는 각각의 화소의 평균값과의 차의 2승의 합이며, 블록 내의 화소의 분산도를 나타낸다. 스텝 S1861에 있어서는, 이같이 하여 분산도가 연산되어 연산 결과가 임계값 판정부(3903)에 출력된다.

임계값 판정부(3903)는 분산 연산부(3902)로부터의 출력 결과(분산도)와 소정의 임계값을 비교하고, 분산도가 임계값보다 큰 것으로 판정된 경우, 화상 합성부(3747)는 주목 화소에 대응하는 입력 화상 교체 플래그를 ON에 설정하도록 선택부(3904)를 제어한다. 분산도가 임계값보다 크지 않은 것으로 판정된 경우, 화상 합성부(3747)는 주목 화소에 대응하는 입력 화상 교체 플래그를 OFF에 설정하도록 선택부(3804)를 제어한다. 스텝 S1862 내지 S1864에 있어서는, 이와 같이, 분산 도가 임계값보다 큰지 아닌지가 판정되고, 판정 결과에 따라 입력 화상 교체 플래그가 설정된다.

이어서, 전환부(3905)에 의해, 선택부(3904)에 의한 최종 처리 결과와 입력 화상의 화소가 전환되고 출력된다. 즉 보정 대상 영역(3052) 내의 화상의 화소는, 선택부(3904)에 의한 최종 처리 결과로 되고, 배경(3053)의 화상의 화소는, 입력 화상의 화소로 되도록 전환된다.

그러므로, 대상(3051)(도 82)이 추적되어, 대상(3051)이 포함되는 보정 대상 영역(3052) 내의 화상만이 화상의 흐릿함이 제거되도록 갱신(보정)되어 선명히 디스플레이 된다. 한편, 배경(3053)의 화상은, 화상의 흐릿함이 제거되지 않고서 디스플레이되므로, 자연스럽게 사용자가 이동하는 대상(3051)에 주목할 수 있다.

이상에 있어서는, 촬상부(3021)에 의해 촬상된 화상 내의 보정 대상 영역(3052) 내의 화상에 대하여, 화상 보정부(3022)가 화상의 흐릿함을 제거하는 것에 대해 설명하였으나, 화상 보정부(3022)에 의해, 화상의 흐릿함이 제거되지 않은 보정 대상 영역(3052) 내의 화상에 대하여, 예를 들면, 화상을 구성하는 각 화소의 휘도나 색 등의 설정이 변경되고, 단순하게 하이라이트 디스플레이되도록, 화상이 보정되도록 해도 된다. 이와 같이 함으로써, 사용자가 대상(3051)을 정확하게 시인할 수 없게 될 우려는 있지만, 역시 자연스럽게 사용자가 이동하는 대상(3051)에 주목할 수 있고, 또 화상의 흐릿함이 제거되도록 보정되는 경우와 비교하여, 화상 보정부(3022)를 더 간략한 구성으로 할 수 있어 그 결과 대상 보정 장치(1)를 더 저비용으로 실현할 수 있다.

그리고, 전술한 일련의 처리를 하드웨어로 실현할 수 있고, 소프트웨어로도 실현할 수 있다. 전술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 범용의 퍼스널 컴퓨터 등에, 네트워크나 착탈 가능 미디어 등의 기록 매체로부터 인스톨된다.

또, 본 출원에 있어서 전술한 일련의 처리를 실행하는 스텝은, 전술한 순서에 따라 시계열적으로 행해지는 처리는 물론, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

Claims (47)

1. 시간적으로 앞의 처리 단위의 화상 상의 추적점으로서의 제1 점의 시간적으로 뒤의 처리 단위에 있어서 추적점으로서의 제2 점의 위치를 추정하는 위치 추정 수단과,

   상기 제2 점의 위치가 추정 가능한지 여부를 모션 벡터(vector)의 정확도가 소정 임계값 이상이면 추정 가능하다라고 판단하고, 임계값 이하이면 추정 가능하지 않다고 판단하는 판단 수단과,

   상기 모션 벡터(vector)의 정확도를 산출하는 산출 수단과,

   상기 제2 점의 위치가 추정 가능하지 않은 경우에 있어서 상기 제1 점의 후보로서의 추정점을 생성하는 생성 수단과,

   상기 뒤의 처리 단위에 있어서 상기 제2 점의 위치가 추정 가능한 경우, 상기 위치 추정 수단에 의한 상기 추정 결과에 기초하여 상기 뒤의 처리 단위에 있어서 상기 제2 점을 결정하는 결정 수단과,

   상기 뒤의 처리 단위에 있어서 상기 제2 점의 위치가 추정 가능하지 않은 경우, 상기 추정점 중으로부터 상기 제1 점을 선택하는 선택 수단

   을 구비하고,

   상기 생성 수단은,

   상기 제1 점과 동일한 대상물(object)에 속하는 1개 이상의 점의 집합을 상기 앞의 처리 단위, 또는 상기 앞의 처리 단위보다 더 앞의 처리 단위에 있어서 대상 영역(target area)으로서 추정하는 영역 추정 수단과,

   상기 대상 영역에 기초하여 상기 추정점을 생성하는 추정점 생성 수단

   을 구비하고,

   상기 산출 수단은,

   제1 처리 단위 상의 적어도 1개 이상의 화소인 주목 화소와, 상기 제1 처리 단위와 다른 제2 처리 단위 상의 적어도 1개 이상의 화소로서, 상기 주목 화소의 모션 벡터에 기초하여 규정되는 대응 화소와의 상관을 표현하는 평가값을 산출하는 평가값 산출 수단과,

   상기 주목 화소를 기준으로 하는 화소값의 변동을 표현하는 변동값을 산출하는 변동값 산출 수단과,

   상기 평가값과 상기 변동값에 기초하여 상기 모션 벡터(vector)의 정확도를 연산하는 정확도 연산 수단을 구비하는,

   화상 처리 장치.
2. 제1항에 있어서,

   상기 정확도 연산 수단은, 상기 평가값을 상기 변동값으로 정규화한 값에 기초하여 상기 모션 벡터(vector)의 정확도를 연산하는, 화상 처리 장치.
3. 제1항에 있어서,

   상기 정확도 연산 수단은, 상기 변동값이 소정 임계값보다도 큰 경우에는, 상기 평가값을 상기 변동값으로 정규화한 값을 상기 모션 벡터(vector)의 정확도로 하고, 상기 변동값이 상기 임계값보다도 작은 경우에는, 상기 모션 벡터(vector)의 정확도가 낮은 것을 나타내는 고정값을 선택하는, 화상 처리 장치.
4. 제1항에 있어서,

   상기 평가값 산출 수단은, 상기 주목 화소를 포함하는 블록과, 상기 대응 화소를 포함하는 블록의 화소의 차분의 절대값의 총합으로서 상기 평가값을 연산하는, 화상 처리 장치.
5. 제1항에 있어서,

   상기 변동값 산출 수단은, 상기 주목 화소를 포함하는 블록에 있어서, 상기 주목 화소와, 상기 주목 화소에 인접하는 인접 화소와의 차분의 절대값의 총합을 상기 인접 화소의 수로 제산(除算)하여 얻어진 값의 상기 블록 내의 총합으로서 상기 변동값을 연산하는, 화상 처리 장치.
6. 제1항에 있어서,

   상기 정확도 연산 수단은,

   상기 변동값을 제1 기준값과 비교하는 비교 수단과,

   제2 기준값과, 상기 평가값을 상기 변동값으로 정규화한 값과의 차이를 연산하는 차이 연산 수단과,

   상기 비교 수단에 의한 비교 결과와, 상기 차이 연산 수단에 의하여 연산된 차이에 기초하여 상기 모션 벡터(vector)의 정확도를 연산하여 출력하는 출력 수단

   을 구비하는, 화상 처리 장치.
7. 제1항에 있어서,

   입력 화상으로부터 상기 모션 벡터(vector)를 검출하고, 상기 평가값 산출 수단에 공급하는 모션 벡터(vector) 검출 수단과,

   상기 모션 벡터(vector) 검출 수단에 의하여 검출된 상기 모션 벡터(vector)에 기초하여 상기 입력 화상을 모션 보상하는 모션 보상 수단과,

   상기 모션 보상 수단에 의하여 모션 보상된 화상과 모션 보상되어 있지 않은 화상 중 어느 한쪽을, 상기 모션 벡터(vector)의 정확도에 기초하여 선택하는 선택 수단과,

   상기 선택 수단에 의하여 선택된 화상을 부호화하는 부호화 수단을 더 구비하는, 화상 처리 장치.
8. 제1항에 있어서,

   상기 모션 벡터(vector)의 정확도로 가중치 부여된 빈도 분포를 산출하는 빈도 분포 산출 수단과,

   상기 빈도 분포 산출 수단에 의하여 산출된 상기 빈도 분포의 최대값을 검출하고, 검출된 상기 최대값에 기초하여 배경 모션을 검출하는 최대값 검출 수단을 더 구비하는, 화상 처리 장치.
9. 제1항에 있어서,

   상기 모션 벡터(vector)의 정확도의 상기 처리 단위에 있어서 평균값을 산출하는 평균값 산출 수단과,

   상기 평균값 산출 수단에 의하여 산출된 상기 평균값을 기준값과 비교하고, 그 비교 결과에 기초하여 씬 체인지의 유무를 판정하는 판정 수단을 더 구비하는, 화상 처리 장치.
10. 제1항에 있어서,

    상기 위치 추정 수단은, 상기 제2 점의 위치가 추정 가능한 경우에, 상기 제2 점의 위치를 새로운 제1 점으로서, 다음의 처리 단위의 화상 상의 추적점의 위치의 추정을 행하는, 화상 처리 장치.
11. 제1항에 있어서,

    상기 영역 추정 수단은,

    추정 대상인 상기 대상 영역에 적어도 겹쳐지는 위치를 예측에 의하여 구하고, 예측된 위치로서, 대상 영역을 추정하는 처리 단위에 있어서 상기 추적점을 포함하는 위치에 영역 추정 범위를 설정하고,

    설정한 영역 추정 범위 중에서 샘플점을 설정하고, 상기 샘플점 중 동일한 모션을 가지는 샘플점의 집합으로 이루어지는 영역으로 가장 큰 면적을 가지는 샘플점의 집합으로 이루어지는 영역을 상기 대상 영역으로 추정하는, 화상 처리 장치.
12. 제1항에 있어서,

    씬 체인지를 검출하는 검출 수단을 더 구비하고,

    상기 영역 추정 수단은, 상기 제1 점과 유사한 화소값을 가지는 점으로 인접하는 점 및 그 인접하는 점에 더 인접하는 점을 상기 대상 영역으로 추정하고,

    상기 위치 추정 수단과 상기 선택 수단은, 각각의 처리를 미리 정해진 조건에 기초하여 종료하는 동시에, 상기 추정점 중으로부터 상기 제2 점을 선택할 수 없는 때에 있어서 상기 씬 체인지의 유무에 기초하여 상기 조건을 변경하는, 화상 처리 장치.
13. 제1항에 있어서,

    상기 영역 추정 수단은, 상기 앞의 처리 단위보다도 더 앞의 처리 단위에 있어서 상기 제1 점을 포함하는 소정의 크기의 영역 중의 샘플점을 추출하고, 상기 샘플점 중 동일한 모션을 가지는 샘플점의 영역으로 가장 큰 면적의 영역을, 그 동일한 모션의 양만큼 시프트한 상기 앞의 처리 단위 상의 점을 포함하는 영역을 대상 영역으로 추정하는, 화상 처리 장치.
14. 제1항에 있어서,

    템플릿을 작성하는 템플릿 작성 수단과,

    상기 추정점에 기초하여 상기 제2 점을 결정할 수 없는 경우, 상기 뒤의 처리 단위에 있어서 소정의 영역인 블록과, 그 블록의 처리 단위보다 1 처리 단위 이상 앞의 처리 단위의 상기 템플릿의 소정의 영역인 블록과의 상관을 산출하는 상관 산출 수단을 더 구비하고,

    상기 상관 산출 수단에 의하여 산출된 상기 상관에 기초하여 상관이 높다고 판정되는 경우, 적어도 상기 결정 수단을 이용하여 추적점을 검출하는, 화상 처리 장치.
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 위치 추정 수단, 판단 수단, 산출 수단, 생성 수단, 결정 수단 및 선택 수단을 구비하는 화상 처리 장치의 화상 처리 방법에 있어서,

    상기 위치 추정 수단에 의해 시간적으로 앞의 처리 단위의 화상 상의 추적점으로서의 제1 점의 시간적으로 뒤의 처리 단위에 있어서 추적점으로서의 제2 점의 위치를 추정하는 단계,

    상기 판단 수단에 의해 상기 제2 점의 위치가 추정 가능한지 여부를 모션 벡터(vector)의 정확도가 소정 임계값 이상이면 추정 가능하다고 판단하고, 임계값 이하이면 추정 가능하지 않다고 판단하는 단계,

    상기 산출 수단에 의해 상기 모션 벡터(vector)의 정확도를 산출하는 단계,

    상기 생성 수단에 의해 상기 제2 점의 위치가 추정 가능하지 않은 경우에 있어서 상기 제1 점의 후보로서의 추정점을 생성하는 단계,

    상기 결정 수단에 의해 상기 뒤의 처리 단위에 있어서 상기 제2 점의 위치가 추정 가능한 경우, 상기 위치 추정 수단에 의한 상기 추정 결과에 기초하여 상기 뒤의 처리 단위에 있어서 상기 제2 점을 결정하는 단계,

    상기 선택 수단에 의해 상기 뒤의 처리 단위에 있어서 상기 제2 점의 위치가 추정 가능하지 않은 경우, 상기 추정점 중으로부터 상기 제1 점을 선택하는 단계

    를 포함하고,

    상기 생성 단계는,

    상기 제1 점과 동일한 대상물에 속하는 1개 이상의 점의 집합을 상기 앞의 처리 단위, 또는 상기 앞의 처리 단위보다 더 앞의 처리 단위에 있어서 대상 영역으로서 추정하는 단계,

    상기 대상 영역에 기초하여 상기 추정점을 생성하는 단계를 포함하고,

    상기 산출 단계는,

    제1 처리 단위 상의 적어도 1개 이상의 화소인 주목 화소와, 상기 제1 처리 단위와 다른 제2 처리 단위 상의 적어도 1개 이상의 화소로서, 상기 주목 화소의 모션 벡터에 기초하여 규정되는 대응 화소와의 상관을 표현하는 평가값을 산출하는 단계,

    상기 주목 화소를 기준으로 하는 화소값의 변동을 표현하는 변동값을 산출하는 단계,

    상기 평가값과 상기 변동값에 기초하여 상기 모션 벡터(vector)의 정확도를 연산하는 단계를 포함하는,

    화상 처리 방법.
44. 위치 추정 수단, 판단 수단, 산출 수단, 생성 수단, 결정 수단 및 선택 수단을 구비하는 화상 처리 장치의 화상 처리 방법의 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체에 있어서,

    상기 위치 추정 수단에 의해 시간적으로 앞의 처리 단위의 화상 상의 추적점으로서의 제1 점의 시간적으로 뒤의 처리 단위에 있어서 추적점으로서의 제2 점의 위치를 추정하는 단계,

    상기 판단 수단에 의해 상기 제2 점의 위치가 추정 가능한지 여부를 모션 벡터(vector)의 정확도가 소정 임계값 이상이면 추정 가능하다고 판단하고, 임계값 이하이면 추정 가능하지 않다고 판단하는 단계,

    상기 산출 수단에 의해 상기 모션 벡터(vector)의 정확도를 산출하는 단계,

    상기 생성 수단에 의해 상기 제2 점의 위치가 추정 가능하지 않은 경우에 있어서 상기 제1 점의 후보로서의 추정점을 생성하는 단계,

    상기 결정 수단에 의해 상기 뒤의 처리 단위에 있어서 상기 제2 점의 위치가 추정 가능한 경우, 상기 위치 추정 수단에 의한 상기 추정 결과에 기초하여 상기 뒤의 처리 단위에 있어서 상기 제2 점을 결정하는 단계,

    상기 선택 수단에 의해 상기 뒤의 처리 단위에 있어서 상기 제2 점의 위치가 추정 가능하지 않은 경우, 상기 추정점 중으로부터 상기 제1 점을 선택하는 단계

    를 포함하고,

    상기 생성 단계는,

    상기 제1 점과 동일한 대상물에 속하는 1개 이상의 점의 집합을 상기 앞의 처리 단위, 또는 상기 앞의 처리 단위보다 더 앞의 처리 단위에 있어서 대상 영역으로서 추정하는 단계,

    상기 대상 영역에 기초하여 상기 추정점을 생성하는 단계를 포함하고,

    상기 산출 단계는,

    제1 처리 단위 상의 적어도 1개 이상의 화소인 주목 화소와, 상기 제1 처리 단위와 다른 제2 처리 단위 상의 적어도 1개 이상의 화소로서, 상기 주목 화소의 모션 벡터에 기초하여 규정되는 대응 화소와의 상관을 표현하는 평가값을 산출하는 단계,

    상기 주목 화소를 기준으로 하는 화소값의 변동을 표현하는 변동값을 산출하는 단계,

    상기 평가값과 상기 변동값에 기초하여 상기 모션 벡터(vector)의 정확도를 연산하는 단계를 포함하는 처리를 실행시키는 프로그램이 기록된,

    컴퓨터로 판독 가능한 기록 매체.
45. 삭제
46. 삭제
47. 삭제

Images