KR102103252B1

KR102103252B1 - 이미지 융합 방법 및 장치, 및 단말 디바이스

Info

Publication number: KR102103252B1
Application number: KR1020187020715A
Authority: KR
Inventors: 콩차오 주
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2015-12-28
Filing date: 2015-12-28
Publication date: 2020-04-22
Also published as: CN108541374A; JP2019503614A; US20190014249A1; EP3399741B1; US10511776B2; JP6629454B2; KR20180095059A; EP3399741A1; WO2017113048A1; CN108541374B; EP3399741A4

Abstract

본 발명의 실시예들은 이미지 융합 방법 및 장치, 및 단말 디바이스를 개시한다. 이 방법은 단말 디바이스에 적용되고, 제1 카메라와 제2 카메라는 단말 디바이스 상에 제공된다. 이 방법은 제1 카메라를 사용하는 것에 의해 동일한 노출 시간에 제1 이미지들의 적어도 2개의 프레임을 캡처하고, 제2 카메라를 사용하는 것에 의해 상이한 노출 시간들에 제2 이미지들의 적어도 2개의 프레임을 캡처하는 단계- 제1 이미지들의 캡처링 시간과 제2 이미지들의 캡처링 시간은 동일함 -; 제1 이미지들의 적어도 2개의 프레임으로부터 제1 참조 이미지를 결정하는 단계; 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 로컬 모션 크기를 획득하는 단계; 및 로컬 모션 크기에 따라 제2 이미지들에 대해 이미지 융합을 수행하는 단계를 포함한다. 본 발명의 실시예들을 사용하는 것에 의해, 이동 타겟 검출의 정확도가 향상될 수 있고, 고스팅이 제거되고, 이미지 융합의 정확도가 비교적 높다.

Description

이미지 융합 방법 및 장치, 및 단말 디바이스

본 발명은 이미지 처리 기술 분야에 관한 것이고, 특히 이미지 융합 방법 및 장치, 및 단말 디바이스에 관한 것이다.

하이 다이내믹 레인지(High Dynamic Range, HDR) 이미지는 로우 다이내믹 레인지(Low Dynamic Range, LDR) 이미지들을 상이한 노출 시간들에 융합하여 획득한다. HDR 이미지는 더 많은 다이내믹 레인지와 이미지 상세를 제공할 수 있고, 현실-세계 환경에서의 시각 효과를 더 잘 반영할 수 있다. HDR 기술은 상이한 노출 시간들에 LDR 이미지들을 캡처할 필요가 있기 때문에, LDR 이미지들을 캡처하는 과정에서 손 떨림이나 시나리오에서의 객체가 움직이면 LDR 이미지들을 융합하여 획득된 HDR 이미지에서 고스팅(ghosting)이 발생한다.

종래의 이미지 융합 방법에서, 카메라를 사용하는 것에 의해 이미지들의 적어도 2개의 프레임이 연속적으로 캡처된다. 이미지 융합에서 손 떨림이나 이동 장면에 의해 초래되는 영향들을 감소시키기 위해, 이미지 등록 및 디-고스팅(de-ghosting) 알고리즘이 캡처된 이미지에 수행되어 처리된 이미지들을 획득한다. HDR 이미지는 이미지 융합 알고리즘을 사용하는 것에 의해 처리된 이미지들을 융합하여 획득된다. 이미지들의 적어도 2개의 프레임은 카메라를 사용하는 것에 의해 연속적으로 캡처될 때 노출 차이가 있기 때문에, 이동 타겟 검출이 부정확하고 이미지 융합의 정확도가 비교적 낮다.

본 출원은 데이터 송신 방법 및 장치, 및 단말 디바이스를 제공하여, 이동 타겟 검출의 정확도를 향상시키고 고스팅을 제거하여, 이미지 융합의 정확도가 비교적 높다.

제1 양태에 따르면, 이미지 융합 방법이 제공되고, 이 방법은 단말 디바이스에 적용되고, 제1 카메라와 제2 카메라는 단말 디바이스 상에 제공되고, 이 방법은 다음을 포함한다:

제1 카메라를 사용하는 것에 의해 동일한 노출 시간에 제1 이미지들의 적어도 2개의 프레임을 캡처하고, 제2 카메라를 사용하는 것에 의해 상이한 노출 시간들에 제2 이미지들의 적어도 2개의 프레임을 캡처하는 단계- 제1 이미지들의 캡처링 시간과 제2 이미지들의 캡처링 시간은 동일함 -;

제1 이미지들의 적어도 2개의 프레임으로부터 제1 참조 이미지를 결정하는 단계;

제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지 로컬 모션 크기를 획득하는 단계- 로컬 모션 크기는 이동 타겟 검출에 의해 검출된 이동 타겟에 의해 점유된 픽셀들의 양에 관한 정보를 나타내기 위해 사용됨 -; 및

로컬 모션 크기에 따라 제2 이미지들에 대해 이미지 융합을 수행하는 단계를 포함한다.

이 기술적 해결책에서, 단말 디바이스는 제1 카메라와 제2 카메라를 사용하는 것에 의해 이미지들의 적어도 2개의 프레임을 동기적으로 캡처할 수 있고, 제1 카메라에 의해 캡처된 제1 이미지들의 적어도 2개의 프레임의 노출 시간들은 동일하다. 단말 디바이스는 제1 이미지들에 대해 이동 타겟 검출을 수행하여, 이동 타겟 검출의 정확도가 향상될 수 있다. 그 후, 단말 디바이스는 제1 카메라에 의해 캡처된 제1 이미지들에 따라, 제2 카메라에 의해 캡처된 제2 이미지들에 대해 이미지 융합을 수행하여, 고스팅이 제거될 수 있고, 이미지 융합의 정확도가 비교적 높다.

제1 가능한 구현예에서, 단말 디바이스는 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은지를 결정할 수 있고, 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 제2 이미지들의 적어도 2개의 프레임에서 노출 시간이 제1 미리 설정된 시간인 이미지를 출력한다.

이 기술적 해결책에서, 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 단말 디바이스는 제1 이미지들에서 제1 참조 이미지 이외의 이미지에 대한 제1 참조 이미지의 모션 크기가 비교적 큰 것으로 결정할 수 있다. 고스팅을 피하기 위해, 단말 디바이스는 노출 시간이 제1 미리 설정된 시간인 제2 이미지를 직접 출력할 수 있다.

제1 양태를 참조하면, 제2 가능한 구현예에서, 로컬 모션 크기가 제2 미리 설정된 임계값보다 작은 경우, 단말 디바이스는 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하고, 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하고, 이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 등록된 제2 이미지에 대해 이미지 융합을 수행할 수 있다.

이 기술적 해결책에서, 로컬 모션 크기가 제2 미리 설정된 임계값보다 작은 경우, 단말 디바이스는 제1 이미지들에서 제1 참조 이미지 이외의 이미지에 대한 제1 참조 이미지의 모션 크기가 무시된 것으로 결정할 수 있다. 단말 디바이스는 제2 참조 이미지와 등록된 제2 이미지에 대해 직접 이미지 융합을 수행할 수 있고, 이는 이미지 융합의 정밀도에 영향을 미치지 않는다.

제1 양태를 참조하면, 제3 가능한 구현예에서, 로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같고 제1 미리 설정된 임계값보다 작은 경우, 단말 디바이스는 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하고, 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하고, 제2 참조 이미지에 따라 등록된 제2 이미지에 대해 모션 보상을 수행하여, 모션 보상된 제2 이미지를 획득하고, 이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 모션 보상된 제2 이미지에 대해 이미지 융합을 수행할 수 있다.

이 기술적 해결책에서, 로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같고 제1 미리 설정된 임계값보다 작은 경우, 단말 디바이스는 제1 이미지들에서 제1 참조 이미지 이외의 이미지에 대한 제1 참조 이미지의 모션 크기가 비교적 작은 것으로 결정할 수 있다. 단말 디바이스는 제2 참조 이미지에 따라 등록된 제2 이미지에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지를 획득하고, 이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 모션 보상된 제2 이미지에 대해 이미지 융합을 수행할 수 있어, 이미지 융합의 정확도가 향상된다.

제1 양태, 또는 제1 양태의 제1 내지 제3 가능한 구현예들 중 어느 하나를 참조하면, 제4 가능한 구현예에서, 단말 디바이스는, 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 모션 보상 매트릭스를 생성하고, 모션 보상 매트릭스에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제1 이미지를 획득하고, 제1 참조 이미지에 대한, 등록된 제1 이미지의 로컬 모션 크기를 획득할 수 있다.

제1 양태의 제4 가능한 구현예를 참조하면, 제5 가능한 구현예에서, 제1 참조 이미지에 따른 제1 이미지들의 적어도 2개의 프레임의 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 모션 보상 매트릭스를 생성한 후에, 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하는 프로세스에서, 단말 디바이스는 전술한 모션 보상 매트릭스에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득할 수 있다.

제1 이미지들의 캡처링 시간과 제2 이미지들의 캡처링 시간이 동일하기 때문에, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 모션 크기는, 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지들에 대한, 제2 참조 이미지 이외의 이미지의 모션 크기와 동일하다는 점을 유의해야 한다. 단말 디바이스는 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하고, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 생성된 모션 보상 매트릭스를, 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지의 모션 보상 매트릭스로서 사용하고, 모션 보상 매트릭스에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여, 이미지 처리 효율이 향상될 수 있고, 리소스 활용이 향상된다.

제2 양태에 따르면, 컴퓨터 저장 매체가 제공되고, 컴퓨터 저장 매체는 프로그램을 저장할 수 있고, 프로그램이 실행될 때, 제1 양태의 일부 또는 모든 단계가 포함된다.

제3 양태에 따르면, 이미지 융합 장치가 제공되고, 장치는 이미지 캡처링 유닛, 참조 이미지 결정 유닛, 모션 크기 획득 유닛 및 이미지 융합 유닛을 포함하고, 장치는 제1 양태를 참조하여 일부 또는 모든 단계를 구현하도록 구성될 수 있다.

제4 양태에 따르면, 프로세서, 제1 카메라, 제2 카메라, 및 메모리를 포함하는 단말 디바이스가 제공되고, 메모리는 프로그램 코드 세트를 저장하고, 프로세서, 제1 카메라 및 제2 카메라는 메모리에 저장되는 프로그램 코드를 호출하여 다음의 동작들을 수행한다:

제1 카메라는 동일한 노출 시간에 제1 이미지들의 적어도 2개의 프레임을 캡처하고; 제2 카메라는 상이한 노출 시간들에 제2 이미지들의 적어도 2개의 프레임을 캡처하고, 제1 이미지들의 캡처링 시간과 제2 이미지들의 캡처링 시간은 동일하고; 프로세서는 제1 이미지들의 적어도 2개의 프레임으로부터 제1 참조 이미지를 결정하고; 프로세서는 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 로컬 모션 크기를 획득하고; 프로세서는 로컬 모션 크기에 따라 제2 이미지들에 대해 이미지 융합을 수행하고, 로컬 모션 크기는 이동 타겟 검출에 의해 검출된 이동 타겟에 의해 점유된 픽셀들의 양에 관한 정보를 나타내기 위해 사용된다.

제1 가능한 구현예에서, 프로세서가 로컬 모션 크기에 따라 제2 이미지들에 대해 이미지 융합을 수행하는 것은 구체적으로: 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 프로세서에 의해, 제2 이미지들의 적어도 2개의 프레임에서 노출 시간이 제1 미리 설정된 시간인 이미지를 출력하는 것을 포함한다.

제4 양태를 참조하면, 제2 가능한 구현예에서, 프로세서가 로컬 모션 크기에 따라 제2 이미지들에 대해 이미지 융합을 수행하는 것은 구체적으로: 로컬 모션 크기가 제2 미리 설정된 임계값보다 작은 경우, 프로세서에 의해, 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하는 것; 프로세서에 의해, 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것; 및 이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 등록된 제2 이미지에 대해 이미지 융합을 수행하는 것을 포함한다.

제4 양태를 참조하면, 제3 가능한 구현예에서, 프로세서가 로컬 모션 크기에 따라 제2 이미지들에 대해 이미지 융합을 수행하는 것은 구체적으로: 로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같고 제1 미리 설정된 임계값보다 작은 경우, 프로세서에 의해, 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하는 것; 프로세서에 의해, 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것; 프로세서에 의해, 제2 참조 이미지에 따라 등록된 제2 이미지에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지를 획득하는 것; 및 이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 모션 보상된 제2 이미지에 대해 이미지 융합을 수행하는 것을 포함한다.

제4 양태, 또는 제4 양태의 제1 내지 제3 가능한 구현예들 중 어느 하나를 참조하면, 제4 가능한 구현예에서, 프로세서가, 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 로컬 모션 크기를 획득하는 것은 구체적으로: 프로세서에 의해, 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 모션 보상 매트릭스를 생성하는 것; 프로세서에 의해, 모션 보상 매트릭스에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제1 이미지를 획득하는 것; 및 프로세서에 의해, 제1 참조 이미지에 대한, 등록된 제1 이미지의 로컬 모션 크기를 획득하는 것을 포함한다.

제4 양태의 제4 가능한 구현예를 참조하면, 제5 가능한 구현예에서, 프로세서가 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것은 구체적으로: 프로세서에 의해, 모션 보상 매트릭스에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것을 포함한다.

본 발명의 실시예들에서의 기술적 해결책들을 더 명확하게 설명하기 위해, 이하에서는 실시예들을 설명하기 위해 요구되는 첨부 도면들을 간단히 설명한다. 명백하게, 다음의 설명에서의 첨부 도면들은 단지 본 발명의 일부 실시예를 나타내고, 본 기술분야의 통상의 기술자는 창조적인 노력 없이 여전히 이들 첨부 도면들로부터 다른 도면들을 도출할 수 있다.
도 1a 및 도 1b는 본 발명의 실시예에 따른 이미지 융합 방법의 개략적인 흐름도이다;
도 2a는 본 발명의 실시예에 따른 카메라의 개략 구조도이다;
도 2b는 본 발명의 실시예에 따른 제1 이미지를 갖는 인터페이스의 개략도이다;
도 2c는 본 발명의 실시예에 따른 제2 이미지를 갖는 인터페이스의 개략도이다;
도 3은 본 발명의 실시예에 따른 이미지 융합 장치의 개략 구조도이다; 및
도 4는 본 발명의 실시예에 따른 단말 디바이스의 개략 구조도이다.

이하에서는 본 발명의 실시예들에서의 기술적 해결책들을, 본 발명의 실시예에서의 첨부 도면들을 참조하여 명확하게 설명한다.

도 1a 및 도 1b를 참조하면, 도 1a 및 도 1b는 본 발명의 실시예에 따른 이미지 융합 방법의 개략적인 흐름도이다. 본 발명의 이 실시예에서 도면에 도시된 이미지 융합 방법은 적어도 다음 단계들을 포함할 수 있다.

S101. 제1 카메라를 사용하는 것에 의해 동일한 노출 시간에 제1 이미지들의 적어도 2개의 프레임을 캡처하고, 제2 카메라를 사용하는 것에 의해 상이한 노출 시간들에 제2 이미지들의 적어도 2개의 프레임을 캡처하고, 제1 이미지들의 캡처링 시간 및 제2 이미지들의 캡처링 시간은 동일하다.

제1 카메라와 제2 카메라는 단말 디바이스 상에 제공된다. 도 2a에 도시된 카메라의 개략 구조도가 일례로서 사용된다. 제1 카메라와 제2 카메라는 서로 독립적이고, 제1 카메라와 제2 카메라는 단말 디바이스의 동일한 측에 통합될 수 있어, 2개 카메라는 가능한 한 동일한 뷰 범위를 가질 수 있다. 단말 디바이스는 이미지 신호 프로세서(image signal processor, ISP)를 사용하는 것에 의해 제1 카메라와 제2 카메라를 제어하여 이미지들의 적어도 2개의 프레임을 동시에 캡처할 수 있다. 따라서, 제1 카메라가 제1 이미지들을 캡처하는 캡처링 시간과 제2 카메라가 제2 이미지들을 캡처하는 캡처링 시간은 동일하다. 예를 들어, 단말 디바이스는 듀얼 카메라 스마트 폰일 수 있다. 듀얼 카메라 스마트 폰에서의 2개의 카메라가 동일한 픽처를 촬영할 수 있다. 제1 카메라에 의해 캡처된 제1 이미지들이 제1 이미지들의 제1 프레임 및 제1 이미지들의 제2 프레임을 포함하고, 제2 카메라에 의해 캡처된 제2 이미지들이 제1 이미지들의 제2 프레임 및 제2 이미지들의 제2 프레임을 포함하는 경우, 제1 이미지들의 제1 프레임의 캡처링 시간과 제2 이미지들의 제1 프레임의 캡처링 시간은 동일하고, 제1 이미지들의 제2 프레임의 캡처링 시간과 제2 이미지들의 제2 프레임의 캡처링 시간은 동일하고; 또한, 제1 이미지들의 제1 프레임과 제2 이미지들의 제1 프레임은 동일한 픽처를 포함하고, 제1 이미지들의 제2 프레임과 제2 이미지들의 제2 프레임은 동일한 픽처를 포함한다. 따라서, 제1 이미지들의 제2 프레임에 대한 제1 이미지들의 제1 프레임의 로컬 모션 크기와 제2 이미지들의 제2 프레임에 대한 제2 이미지들의 제1 프레임의 로컬 모션 크기는 동일하다.

제1 카메라에 의해 캡처된 제1 이미지들의 노출 시간들은 동일하고, 제2 카메라에 의해 캡처된 제2 이미지들의 노출 시간들은 상이하다. 예를 들어, 제1 카메라는 노출 시간이 제1 미리 설정된 시간인 제1 이미지들의 제1 프레임과 제1 이미지들의 제2 프레임을 캡처하고, 제2 카메라는 노출 시간이 제1 미리 설정된 시간인 제2 이미지들의 제1 프레임을 캡처하고, 노출 시간이 제2 미리 설정된 시간인 제2 이미지들의 제2 프레임을 캡처한다. 제1 이미지들의 제1 프레임의 캡처링 시간과 제2 이미지들의 제1 프레임의 캡처링 시간은 동일하고, 제1 이미지들의 제2 프레임의 캡처링 시간과 제2 이미지들의 제2 프레임의 캡처링 시간은 동일하다. 제1 미리 설정된 시간은 현재의 촬영 환경에서의 자동 노출 장치(Auto Exposure, AE)에 의한 계산에 의해 획득된 통상의 노출 시간일 수 있다. 예를 들어, 조리개가 F8인 경우, 셔터 속도는 1/125초이므로, 제1 미리 설정된 시간은 1/125초이거나; 조리개가 F5.6인 경우, 셔터 속도는 1/250초이므로, 제1 미리 설정된 시간은 1/250초이다. 제2 미리 설정된 시간은 제1 미리 설정된 시간보다 길거나 그보다 작을 수 있는데, 예를 들어 1/120초 또는 1/200초일 수 있다.

제1 이미지들은 그레이스케일 이미지들 또는 컬러 이미지들일 수 있고, 제2 이미지들은 그레이스케일 이미지들 또는 컬러 이미지들일 수 있다. 이는 본 발명의 이 실시예에서 특별히 제한되지 않는다.

도 2b에 도시된 제1 이미지를 갖는 인터페이스의 개략도가 예로서 사용된다. 단말 디바이스는 제1 카메라를 사용하는 것에 의해 제1 이미지들의 3개 프레임을 캡처할 수 있다. M1은 제1 이미지들의 제1 프레임이고, M2는 제1 이미지들의 제2 프레임이고, M3은 제1 이미지들의 제3 프레임이다. 도 2c에 도시된 제2 이미지를 갖는 인터페이스의 개략도가 예로서 사용된다. 단말 디바이스는 제2 카메라를 사용하는 것에 의해 제2 이미지들의 3개 프레임을 동기식으로 캡처할 수 있다. C1은 제2 이미지들의 제1 프레임이고, C2는 제2 이미지들의 제2 프레임이고, C3은 제2 이미지들의 제3 프레임이다. M1, M2 및 M3의 노출 시간들은 제1 미리 설정된 시간이고, C1, C2 및 C3의 노출 시간들은 완전히 동일하지 않을 수 있다. 예를 들어, C1의 노출 시간은 제2 미리 설정된 시간이고, C2의 노출 시간은 제1 미리 설정된 시간이고, C3의 노출 시간은 제3 미리 설정된 시간이다. 제1 미리 설정된 시간과 제2 미리 설정된 시간은 상이하고, 제1 미리 설정된 시간과 제3 미리 설정된 시간은 상이하지만, 제2 미리 설정된 시간과 제3 미리 설정된 시간은 동일할 수 있다. 선택적으로, 제2 미리 설정된 시간 및 제3 미리 설정된 시간은 또한 상이할 수 있다. M1의 캡처링 시간과 C1의 캡처링 시간은 동일하고, M1과 C1은 동일한 픽처를 포함한다. M2의 캡처링 시간과 C2의 캡처링 시간은 동일하고, M2와 C2는 동일한 픽처를 포함한다. M3의 캡처링 시간과 C3의 캡처링 시간은 동일하고, M3과 C3은 동일한 픽처를 포함한다.

S102. 제1 이미지들의 적어도 2개의 프레임으로부터 제1 참조 이미지를 결정한다.

단말 디바이스는 제1 이미지들의 적어도 2개의 프레임으로부터 제1 참조 이미지를 결정할 수 있다. 특정 구현예에서, 단말 디바이스는, 노출 시간이 제1 미리 설정된 시간인 제2 이미지의 캡처링 시간 시간과 캡처링 시간이 동일한 제1 이미지를 제1 참조 이미지로서 결정할 수 있다. 예를 들어, 노출 시간이 제1 미리 설정된 시간인 제2 이미지는 C1이고, C1의 캡처링 시간과 캡처링 시간이 동일한 제1 이미지는 M1이고, 단말 디바이스는 M1을 제1 참조 이미지로서 사용할 수 있다.

S103. 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 로컬 모션 크기를 획득한다.

단말 디바이스는 제1 참조 이미지에 따른 제1 이미지들의 적어도 2개의 프레임에서, 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 로컬 모션 크기를 획득할 수 있다.

예를 들어, 단말 디바이스는 M2에 따라 M1 및 M3에 대해 개별적으로 이동 타겟 검출을 수행하여, M2에 대한 M1의 로컬 모션 크기 및 M2에 대한 M3의 로컬 모션 크기를 획득할 수 있다. 구체적으로, 단말 디바이스는 M2에 따라 M1에 대해 이동 타겟 검출을 수행하여 M2에 대한 M1의 모션 보상 매트릭스 H1을 생성하고, H1에 따라 M1에 대해 이미지 등록을 수행하여 등록된 제1 이미지

를 생성하여, M2에 대한

의 로컬 모션 크기 T1을 획득할 수 있다. 단말 디바이스는 추가로 M2에 따라 M3에 대해 이동 타겟 검출을 수행하여 M2에 대한 M3의 모션 보상 매트릭스 H2를 생성하고, H2에 따라 M3에 대해 이미지 등록을 수행하여 등록된 제1 이미지

를 생성하여, M2에 대한

의 로컬 모션 크기 T2를 획득할 수 있다. 단말 디바이스는 T1 및 T2로부터 최소 로컬 모션 크기를 획득할 수 있고, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 로컬 모션 크기로서 최소 로컬 모션 크기를 사용할 수 있다.

이동 타겟 검출 방법은, 프레임 간 차분 방법, 광학적 흐름 방법, 배경 차이 방법 등을 포함할 수 있다. 프레임 간 차이 방법은, 이미지들의 2개의 인접하는 프레임에 대해 차 연산(difference operation)을 수행하는 것에 의해 이동 타겟 프로파일을 획득하는 방법이다. 촬영 시나리오에 비정상적인 객체 모션이 있는 경우, 프레임들 사이에 비교적 명백한 차이가 존재한다. 이미지 시퀀스의 모션 특징은 이미지 시퀀스에서 객체 모션이 존재하는지를 결정하기 위해, 이미지들의 2개의 이웃하는 프레임의 차가 값이 임계값보다 큰지를 결정하는 것에 의해 분석된다. 광학적 흐름은 이미지 모션의 간단하고 실용적인 표현 방식이고, 이미지 시퀀스에서 이미지 밝기 모드의 겉보기 모션(apparent motion)으로서 정의된다. 즉, 공간 객체 표면 상의 점의 모션 속도는 시각 센서의 이미징 면 상에서 표현된다. 픽처에서의 이동 타겟의 픽셀은, 이미지에서의 이동 타겟에 의해 점유되는 픽셀과 배경 픽셀 사이의 벡터 차를 사용하는 것에 의해 검출된다. 배경 차이 방법은 현재 프레임을 이미지 시퀀스에서의 배경 참조 모델과 비교하는 것에 의해 모션 객체를 검출하는 방법이다. 예를 들어, 단말 디바이스가 M2에 따라 M1에 대해 이동 타겟 검출을 수행하여 M2에 대한 M1의 모션 보상 매트릭스 H1을 생성하는 것은 구체적으로: M1과 M2의 특징점들이 특징 추출 알고리즘을 사용하는 것에 의해 각각 추출되고, M1과 M2의 특징점들에 대해 매칭이 수행되고, M1과 M2 사이의 좌표 변환 파라미터, 즉 H1은, 성공적으로 매칭된 다수의 특징점 쌍에 기초한 최소 제곱법을 사용하는 것에 의해 피팅된다. 특징 추출 알고리즘은 스케일 불변 특징 변환(Scale-invariant feature transform, SIFT), 스피드 업 로버스트 특징들(Speeded Up Robust Features, SURF) 등을 포함할 수 있다. 모션 보상 매트릭스는 이미지들의 2개 프레임 사이의 모션 관계, 예를 들어 M1에 대한 M2의 병진 또는 회전을 나타내는 데 사용될 수 있다.

이미지 등록(Image registration)은 상이한 시간들에, 상이한 센서들(이미징 디바이스들)에 의해, 또는 상이한 조건들(기후, 조도, 촬영 위치 또는 각도 등)에서 획득되는 이미지들의 적어도 2개의 프레임을 매칭 및 중첩하는 프로세스를 지칭한다. 이미지 등록 방법은 그레이스케일 기반 방법, 변환 도메인 기반 방법, 특징 기반 방법 등을 포함할 수 있다. 그레이스케일 기반 이미지 등록 방법에서, 이미지들 사이의 유사성은 이미지들의 그레이스케일 통계에 따라 측정된다. 그레이스케일 기반 이미지 등록 방법은 순차적 유사성 검출 알고리즘(Sequential Similarity Detection Algorithms, SSDA)을 포함할 수 있다. 픽셀에서 이미지들의 2개의 프레임의 잔차 합을 계산하는 프로세스에서, 잔차 합이 고정된 임계값보다 크면, 현재 픽셀이 매칭 픽셀이 아닌 것으로 간주된다. 따라서, 현재의 잔차 합의 계산이 종료되고, 잔차 합을 계산하기 위해 다른 픽셀이 선택되고, 최종적으로 잔차 합이 가장 느리게 증가하는 픽셀이 매칭 픽셀인 것으로 간주된다. 변환 도메인 기반 이미지 등록 방법은 푸리에 변환(Fourier Transform) 방법을 포함할 수 있다. 위상 관련 기술은 푸리에 변환의 변환 특성에 기초한다. 이미지들의 2개의 프레임 사이의 차이는 변위에 있으므로, 이미지들의 2개의 프레임 사이의 위상차가 크로스 파워 스펙트럼(cross power spectrum)의 위상과 같고, 위상차에 대해 역 푸리에 변환이 수행되어 펄스 함수를 획득한다. 펄스 함수는 변환 위치에서 0이 아니고, 다른 위치들에서는 0이다. 0이 아닌 위치는 결정되어야 할 등록된 위치이다. 특징 기반 이미지 등록 방법은 등록될 이미지들을 전처리(pre-process)하기 위해, 즉 이미지 세그먼트화 및 특징 추출의 프로세스에 사용되어, 이미지들의 2개의 프레임 사이의 특징을 매칭하여, 특징 매칭 관계를 사용하는 것에 의해 이미지들 사이에 등록 매핑 관계를 확립한다. 예를 들어, 단말 디바이스가 H1에 따라 M1에 대해 이미지 등록을 수행하여 등록된 제1 이미지

를 생성하는 것은 구체적으로: H1에 따라 M1에 대해 좌표 변환을 수행하여

를 획득한다.

로컬 모션 크기는 이동 타겟 검출에 의해 검출된 이동 타겟에 의해 점유된 픽셀들의 양에 관한 정보를 나타내기 위해 사용되고, 이동 타겟에 의해 점유된 픽셀의 양에 관한 정보는 이동 타겟에 의해 점유된 픽셀의 양 또는 이미지의 픽셀들의 총량에 대해 이동 타겟에 의해 점유된 픽셀들의 양의 비율을 포함할 수 있다. 단말 디바이스가 M2에 대한

의 로컬 모션 크기 T1을 획득하는 것은 구체적으로:

에서의 각각의 픽셀이 M2에서의 대응하는 픽셀로부터 감산되고, 감산에 의해 획득된 값의 절대 값이 미리 설정된 값보다 큰 경우, 단말 디바이스는 픽셀이 이동 타겟에 의해 점유된 픽셀인 것으로 결정할 수 있다.

S104. 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은지를 결정한다.

단말 디바이스는 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은지를 결정할 수 있다. 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 단말 디바이스는 단계 S105를 추가로 수행할 수 있거나; 또는 로컬 모션 크기가 제1 미리 설정된 임계값보다 작은 경우, 단말 디바이스는 단계 S106을 추가로 수행할 수 있다.

S105. 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 제2 이미지들의 적어도 2개의 프레임에서 노출 시간이 제1 미리 설정된 시간인 이미지를 출력한다.

로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 단말 디바이스는 제2 이미지들의 적어도 2개의 프레임에서 노출 시간이 제1 미리 설정된 시간인 이미지를 출력할 수 있다. 예를 들어, 제2 카메라를 사용하는 것에 의해 단말 디바이스에 의해 캡처된 제2 이미지들에서, 노출 시간이 제1 미리 설정된 시간인 이미지는 C2이다. 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 가장 작은 로컬 모션 크기가 T1인 경우, 단말 디바이스는 M2에 대한

의 모션 크기가 비교적 큰 것으로 결정할 수 있다. 고스팅을 피하기 위해, 단말 디바이스는 C2를 출력할 수 있다. 선택적으로, 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같을 때, 가장 작은 로컬 모션 크기가 T2이면, 단말 디바이스는 M2에 대한

의 모션 크기가 상대적으로 큰 것을 결정할 수 있다. 고스팅을 피하기 위해, 단말 디바이스는 C2를 출력할 수 있다.

S106. 로컬 모션 크기가 제1 미리 설정된 임계값보다 작은 경우, 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정한다.

로컬 모션 크기가 제1 미리 설정된 임계값보다 작은 경우, 단말 디바이스는 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정할 수 있다. 특정 구현예에서, 단말 디바이스는 노출 시간이 제1 미리 설정된 시간인 제2 이미지를 제2 참조 이미지로서 결정할 수 있다. 예를 들어, 제2 카메라를 사용하는 것에 의해 단말 디바이스에 의해 캡처된 제2 이미지들이 제2 이미지들의 제1 프레임 C1, 제2 이미지들의 제2 프레임 C2 및 제2 이미지들의 제3 프레임 C3을 포함하고, C2의 노출 시간이 제1 미리 설정된 시간이면, 단말 디바이스는 제2 참조 이미지로서 C2를 사용할 수 있다.

S107. 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득한다.

단말 디바이스는 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득한다. 예를 들어, 단말 디바이스는 C2에 따라 C1에 대해 이미지 등록을 수행하여 등록된 제2 이미지

를 획득할 수 있고, 단말 디바이스는 C2에 따라 C3에 대해 이미지 등록을 추가로 수행하여 등록된 제2 이미지

를 획득할 수 있다. 구체적으로, 단말 디바이스는 H1에 따라 C1에 대해 이미지 등록을 수행하여, 즉, H1에 따라 C1에 대해 좌표 변환을 수행하여

를 획득할 수 있다. 단말 디바이스는 H2에 따라 C3에 대해 이미지 등록을 추가로 수행하여, 즉, C3에 대해 H2에 따라 좌표 변환을 수행하여

를 획득할 수 있다.

S108. 로컬 모션 크기가 제2 미리 설정된 임계값보다 작은지를 결정한다.

단말 디바이스는 등록된 제2 이미지를 획득한 후, 로컬 모션 크기가 제2 미리 설정된 임계값보다 작은지를 추가로 결정할 수 있다. 로컬 모션 크기가 제2 미리 설정된 임계값보다 작은 경우, 단계 S109가 추가로 수행되거나; 또는 로컬 로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같은 경우, 단계 S110이 추가로 수행된다. 예를 들어, 최소 로컬 모션 크기가 T1인 경우, 단말 디바이스는 T1이 제2 미리 설정된 임계값보다 작은지를 결정할 수 있거나; 또는 최소 로컬 모션 크기가 T2인 경우, 단말 디바이스는 T2가 제2 미리 설정된 임계값보다 작은지를 결정할 수 있다. 제2 미리 설정된 임계값은 제1 미리 설정된 임계값보다 작고, 제1 미리 설정된 임계값 및 제2 미리 설정된 임계값은 미리 설정된 모션 크기 임계값들이다. 미리 설정된 모션 크기 임계값들은 사용자에 의해 설정될 수 있거나 또는 공장 배달 전에 단말 디바이스에 구성될 수 있다.

S109. 로컬 모션 크기가 제2 미리 설정된 임계값보다 작은 경우, 이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 등록된 제2 이미지에 대해 이미지 융합을 수행한다.

로컬 모션 크기가 제2 미리 설정된 임계값보다 작은 경우, 단말 디바이스는 이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 등록된 제2 이미지에 대해 이미지 융합을 수행할 수 있다. 이미지 융합 알고리즘은 다음과 같다: 이미지 처리는 동일한 타겟의 것이고 멀티-소스 채널들을 통해 캡처된 이미지들에 대해 수행되고, 각각의 채널에서의 유용한 정보가 최대로 추출되고, 최종적으로 고품질 이미지가 융합에 의해 획득된다. 이미지 융합 알고리즘은 로직 필터링 방법, 그레이스케일 가중 평균 방법, 웨이블릿(wavelet) 변환 방법, 베이지안 방법 등을 포함할 수 있다. 예를 들어, 최소 로컬 모션 크기가 T1이면, 로컬 모션 크기가 제2 미리 설정된 임계값보다 작을 때, 단말 디바이스는 M2에 대한

의 모션 크기가 무시될 수 있는 것으로 결정하고, 그 후 이미지 융합 알고리즘을 사용하는 것에 의해 C2,

및

에 대해 이미지 융합을 수행하고, 융합된 이미지를 출력할 수 있다. 선택적으로, 최소 로컬 모션 크기가 T2이면, 로컬 모션 크기가 제2 미리 설정된 임계값보다 작을 때, 단말 디바이스는 M2에 대한

의 모션 크기가 0인 것으로 결정하고, 그 후 이미지 융합 알고리즘을 사용하는 것에 의해 C2,

및

에 대해 이미지 융합을 수행하고, 융합된 이미지를 출력할 수 있다.

S110. 로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같은 경우, 제2 참조 이미지에 따라 등록된 제2 이미지에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지를 획득한다.

로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같은 경우, 단말 디바이스는 제2 참조 이미지에 따라 등록된 제2 이미지에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지를 획득할 수 있다. 예를 들어, 최소 로컬 모션 크기가 T1이면, 로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같을 때, 단말 디바이스는 M2에 대한

의 모션 크기가 비교적 작은 것으로 결정하고, 그 후 C2에 따라

에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지

를 획득하고, C2에 따라

에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지

를 획득할 수 있다. 선택적으로, 최소 로컬 모션 크기가 T2이면, 로컬 모션 크기가 제2 미리 설정된 임계값보다 작을 때, 단말 디바이스는 M2에 대한

의 모션 크기가 0인 것으로 결정하고, C2에 따라

에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지

을 획득하고, C2에 따라

에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지

를 획득할 수 있다.

모션 보상은 이미지들의 2개의 이웃하는 프레임 사이의 차이를 기술하는 방법이다. 즉, 현재 이미지는 참조 이미지에 따라 예측되고 보상된다. 모션 보상 방법들은 글로벌(global) 모션 보상 및 블록 모션 보상을 포함할 수 있다. 단말 디바이스가 C2에 따라

에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지

를 획득하는 것은 구체적으로: 단말 디바이스가 C2에 따라

에 대해 이동 타겟 검출을 수행하고, 검출에 의해 획득된 로컬 모션 영역에 대해 보상을 수행한다, 즉, C2에서의 대응한 픽셀로부터

에서의 픽셀이 감산된다. 감산에 의해 획득된 값의 절대 값이 미리 설정된 값보다 클 경우, 단말 디바이스는 픽셀이 움직이고 있는 것으로 결정하고,

에서의 움직이고 있는 모든 픽셀을 로컬 모션 영역으로서 사용할 수 있다. 단말 디바이스는

에서의 로컬 모션 영역을 C2에서의 대응하는 픽셀들로 조정하여

에 대해 모션 보상을 구현할 수 있다. 선택적으로, 단말 디바이스는

에서의 로컬 모션 영역의 밝기를 C2에서의 대응하는 픽셀들의 밝기로 조정하여

에 대해 모션 보상을 구현할 수 있다.

S111. 이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 모션 보상된 제2 이미지에 대해 이미지 융합을 수행한다.

단말 디바이스는 이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 모션 보상된 제2 이미지에 대해 이미지 융합을 수행할 수 있다. 예를 들어, 단말 디바이스는 이미지 융합 알고리즘을 사용하는 것에 의해 C2,

및

제2 이미지가 그레이스케일 이미지인 경우, 단말 디바이스는 제1 이미지에 따라 제2 이미지에 대해 이미지 융합을 수행하고, 단말 디바이스에 의해 출력된 이미지는 융합된 제2 이미지, 즉, 그레이스케일 이미지이거나; 또는 제2 이미지가 컬러 이미지인 경우, 단말 디바이스는 제1 이미지에 따라 제2 이미지에 대해 이미지 융합을 수행하고, 단말 디바이스에 의해 출력되는 이미지는 융합된 제2 이미지, 즉 컬러 이미지이다.

도 1a 및 도 1b에 도시된 이미지 융합 방법에서, 동일한 노출 시간에 제1 이미지들의 적어도 2개의 프레임이 제1 카메라를 사용하는 것에 의해 캡처되고, 상이한 노출 시간에 제2 이미지들의 적어도 2개의 프레임이 제2 카메라를 사용하는 것에 의해 캡처되고, 제1 이미지들의 캡처링 시간과 제2 이미지들의 캡처링 시간은 동일하다. 제1 참조 이미지는 제1 이미지들의 적어도 2개의 프레임으로부터 결정되고, 이동 타겟 검출은 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 수행되어, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 로컬 모션 크기를 획득하고, 로컬 모션 크기에 따라 제2 이미지에 대해 이미지 융합이 수행된다. 따라서, 이동 타겟 검출의 정확성이 향상될 수 있고, 고스팅이 제거되고, 이미지 융합의 정확도가 비교적 높다.

도 3을 참조하면, 도 3은 본 발명의 실시예에 따른 이미지 융합 장치의 개략 구조도이다. 본 발명의 이 실시예에 제공된 이미지 융합 장치는 도 1a 및 도 1b를 참조하여 본 발명에서 설명된 이미지 융합 방법의 실시예에서 일부 또는 모든 절차를 구현하도록 구성될 수 있다. 도면에 도시된 바와 같이, 본 발명의 이 실시예에서 이미지 융합 장치는 적어도 이미지 캡처링 유닛(301), 참조 이미지 결정 유닛(302), 모션 크기 획득 유닛(303) 및 이미지 융합 유닛(304)을 포함할 수 있다.

이미지 캡처링 유닛(301)은 제1 카메라를 사용하는 것에 의해 동일한 노출 시간에 제1 이미지들의 적어도 2개의 프레임을 캡처하고, 제2 카메라를 사용하는 것에 의해 상이한 노출 시간들에 제2 이미지들의 적어도 2개의 프레임을 캡처하도록 구성되고, 제1 이미지들의 캡처링 시간과 제2 이미지들의 캡처링 시간은 동일하다.

참조 이미지 결정 유닛(302)은 제1 이미지들의 적어도 2개의 프레임으로부터 제1 참조 이미지를 결정하도록 구성된다.

모션 크기 획득 유닛(303)은, 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 로컬 모션 크기를 획득하도록 구성된다.

이미지 융합 유닛(304)은 로컬 모션 크기에 따라 제2 이미지들에 대해 이미지 융합을 수행하도록 구성된다.

선택적 실시예에서, 본 발명의 이 실시예에서의 이미지 융합 유닛(304)은 구체적으로:

로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 제2 이미지들의 적어도 2개의 프레임에서 노출 시간이 제1 미리 설정된 시간인 이미지를 출력하도록 구성된다.

로컬 모션 크기가 제2 미리 설정된 임계값보다 작은 경우, 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하고;

제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하고;

이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 등록된 제2 이미지에 대해 이미지 융합을 수행하도록 구성된다.

로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같고 제1 미리 설정된 임계값보다 작은 경우, 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하고;

제2 참조 이미지에 따라 등록된 제2 이미지에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지를 획득하고;

이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지 및 모션 보상된 제2 이미지에 대해 이미지 융합을 수행하도록 구성된다.

선택적 실시예에서, 본 발명의 이 실시예에서 모션 크기 획득 유닛(303)은 구체적으로:

제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 모션 보상 매트릭스를 생성하고;

제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 모션 보상 매트릭스에 따라, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제1 이미지를 획득하고;

제1 참조 이미지에 대한, 등록된 제1 이미지의 로컬 모션 크기를 획득하도록 구성된다.

선택적 실시예에서, 모션 크기 획득 유닛(303)이 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것은 구체적으로:

제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 모션 보상 매트릭스에 따라, 제2 이미지들의 적어도 2개의 프레임에서, 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것일 수 있다.

도 3에 도시된 이미지 융합 장치에서, 이미지 캡처링 유닛(301)은 제1 카메라를 사용하는 것에 의해 동일한 노출 시간에 제1 이미지들의 적어도 2개의 프레임을 캡처하고, 제2 카메라를 사용하는 것에 의해 상이한 노출 시간들에 제2 이미지들의 적어도 2개의 프레임을 캡처하고, 제1 이미지들의 캡처링 시간과 제2 이미지들의 캡처링 시간은 동일하다. 참조 이미지 결정 유닛(302)은 제1 이미지들의 적어도 2개의 프레임으로부터 제1 참조 이미지를 결정한다. 모션 크기 획득 유닛(303)은, 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 로컬 모션 크기를 획득한다. 이미지 융합 유닛(304)은 로컬 모션 크기에 따라 제2 이미지에 대해 이미지 융합을 수행한다. 따라서, 이동 타겟 검출의 정확성이 향상될 수 있고, 고스팅이 제거되고, 이미지 융합의 정확도가 비교적 높다.

도 4를 참조하면, 도 4는 본 발명의 실시예에 따른 단말 디바이스의 개략 구조도이다. 도 4에 도시된 바와 같이, 단말 디바이스는 프로세서(401), 메모리(402), 제1 카메라(403), 제2 카메라(404) 및 출력 장치(405)를 포함할 수 있다. 프로세서(401)는 메모리(402), 제1 카메라(403), 제2 카메라(404) 및 출력 장치(405)에 접속된다. 예를 들어, 프로세서(401)는 버스를 사용하는 것에 의해 메모리(402), 제1 카메라(403), 제2 카메라(404) 및 출력 장치(405)에 접속될 수 있다.

프로세서(401)는 중앙 처리 유닛(central processing unit, CPU), 네트워크 프로세서(network processor, NP) 등일 수 있다.

메모리(402)는 제1 이미지, 제2 이미지 등을 저장하도록 구체적으로 구성될 수 있다. 메모리(402)는 예를 들어 랜덤 액세스 메모리(random-access memory, RAM)와 같은 휘발성 메모리(volatile memory)를 포함할 수 있고; 메모리는 예를 들어, 판독 전용 메모리(read-only memory, ROM), 플래시 메모리(flash memory), 하드 디스크 드라이브(hard disk drive, HDD) 또는 고체 상태 드라이브(solid-state drive, SSD)와 같은 비-휘발성 메모리(non-volatile memory)를 또한 포함할 수 있고; 메모리는 메모리들의 전술한 타입들의 조합을 추가로 포함할 수 있다.

제1 카메라(403)는 제1 이미지를 캡처하도록 구성된다.

제2 카메라(404)는 제2 이미지를 캡처하도록 구성된다.

출력 장치(405)는 이미지를 출력하도록 구성되고; 예를 들어, 출력 장치(405)는 디스플레이 스크린일 수 있다.

프로세서(401), 제1 카메라(403), 제2 카메라(404)는 메모리(402)에 저장되는 프로그램을 호출하여 다음의 동작들을 수행하고;

제1 카메라(403)는 동일한 노출 시간에 제1 이미지들의 적어도 2개의 프레임을 캡처하도록 구성되고;

제2 카메라(404)는 상이한 노출 시간들에 제2 이미지들의 적어도 2개의 프레임을 캡처하도록 구성되고, 제1 이미지들의 캡처링 시간과 제2 이미지들의 캡처링 시간은 동일하다.

프로세서(401)는 제1 이미지들의 적어도 2개의 프레임으로부터 제1 참조 이미지를 결정하도록 구성되고;

프로세서(401)는 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 로컬 모션 크기를 획득하도록 추가로 구성되고;

프로세서(401)는 로컬 모션 크기에 따라 제2 이미지들에 대해 이미지 융합을 수행하도록 추가로 구성된다.

선택적 실시예에서, 프로세서(401)가 로컬 모션 크기에 따라 제2 이미지들에 대해 이미지 융합을 수행하는 것은 구체적으로:

로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 프로세서(401)에 의해, 제2 이미지들의 적어도 2개의 프레임에서 노출 시간이 제1 미리 설정된 시간인 이미지를 출력하는 단계를 포함한다.

로컬 모션 크기가 제2 미리 설정된 임계값보다 작은 경우, 프로세서(401)에 의해, 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하는 것;

프로세서(401)에 의해, 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것; 및

프로세서(401)에 의해, 이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 등록된 제2 이미지에 대해 이미지 융합을 수행하는 것을 포함한다.

로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같고 제1 미리 설정된 임계값보다 작은 경우, 프로세서(401)에 의해 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하는 것;

프로세서(401)에 의해, 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것;

프로세서(401)에 의해, 제2 참조 이미지에 따라 등록된 제2 이미지에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지를 획득하는 것; 및

프로세서(401)에 의해, 이미지 융합 알고리즘을 사용하는 것에 의해 제2 참조 이미지와 모션 보상된 제2 이미지에 대해 이미지 융합을 수행하는 것을 포함한다.

선택적 실시예에서, 프로세서(401)는 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 로컬 모션 크기를 획득하는 것은 구체적으로:

프로세서(401)에 의해, 제1 참조 이미지에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지의 모션 보상 매트릭스를 생성하는 것;

프로세서(401)에 의해, 모션 보상 매트릭스에 따라 제1 이미지들의 적어도 2개의 프레임에서 제1 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제1 이미지를 획득하는 것; 및

프로세서(401)에 의해, 제1 참조 이미지에 대한, 등록된 제1 이미지의 로컬 모션 크기를 획득하는 것을 포함한다.

선택적 실시예에서, 프로세서(401)는 제2 참조 이미지에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것은 구체적으로:

프로세서(401)에 의해, 모션 보상 매트릭스에 따라 제2 이미지들의 적어도 2개의 프레임에서 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것을 포함한다.

구체적으로, 본 발명의 이 실시예에서 설명된 단말 디바이스는 도 1a 및 도 1b를 참조하여 본 발명에서 설명된 이미지 융합 방법의 실시예에서 일부 또는 모든 절차를 구현하도록 구성될 수 있다.

본 명세서의 설명에서, "실시예", "일부 실시예", "예", "특정 예" 및 "일부 예"와 같은 그러한 참조 용어에 관한 설명은 실시예들 또는 예들을 참조하여 설명된 특정 특징들, 구조들, 재료들 또는 특성들이 본 발명의 적어도 하나의 실시예 또는 예에 포함된다. 명세서에서, 용어의 표현들의 전술한 예들은 반드시 동일한 실시예 또는 예에 관한 것은 아니다. 또한, 설명된 특정 특징들, 구조들, 재료들 또는 특성들은 실시예들 또는 예들의 임의의 하나 이상에서 적절한 방식으로 조합될 수 있다. 또한, 본 기술분야의 통상의 기술자는 본 명세서에서 설명된 상이한 실시예들 또는 예들 및 다른 실시예들 또는 예들의 특성들을, 그것들이 서로 충돌하지 않는 한 통합하거나 조합할 수 있다.

또한, "제1" 및 "제2"라는 용어들은 단지 설명을 목적으로 의도된 것이고, 상대적인 중요성에 대한 표시나 암시 또는 표시된 기술적 특징들의 수에 대한 암시적 표시로서 이해해서는 안된다. 따라서, "제1" 또는 "제2"에 의해 제한되는 특징은 특징들 중 적어도 하나를 명시적으로 또는 암시적으로 포함할 수 있다. 본 발명에 관한 설명에서, "다수"는 달리 구체적으로 제한되지 않는 한, 적어도 2개, 예를 들어 2개 또는 3개를 의미한다.

로직 및/또는 단계들, 예를 들어, 본 명세서에서 다른 방식으로 흐름도에 표시되거나 설명된 로직 기능들을 구현하도록 구성되는 것으로서 간주되는 실행가능 명령어들의 프로그램 리스트는, 명령어-실행 시스템, 장치 또는 디바이스(예를 들어, 컴퓨터-기반 시스템, 프로세서를 포함하는 시스템, 또는 명령어-실행 시스템, 장치 또는 디바이스로부터 명령어를 획득할 수 있고 명령어를 실행할 수 있는 다른 시스템)에 의해 사용되거나, 명령어-실행 시스템, 장치 또는 디바이스와 조합하여 사용되도록, 임의의 컴퓨터 판독가능 매체에서 구체적으로 구현될 수 있다. 본 명세서에 대해서, "컴퓨터 판독가능 매체"는 프로그램을 포함, 저장, 통신, 전파 또는 송신할 수 있는 임의의 장치일 수 있어서, 프로그램은 명령어-실행 시스템, 장치 또는 디바이스에 의해 사용될 수 있거나, 명령어-실행 시스템, 장치 또는 디바이스와 조합하여 사용될 수 있다. 컴퓨터 판독가능 매체의 보다 구체적인 예들(불-완전 리스트)은: 하나 이상의 레이드 와이어를 갖는 전기적 연결 부분(전자 장치), 휴대용 컴퓨터 디스크 박스(자기 장치), 랜덤 액세스 메모리, 판독 전용 메모리, 소거가능 프로그램가능 판독 전용 메모리, 광섬유 장치 및 휴대용 콤팩트 디스크 판독 전용 메모리를 포함한다. 또한, 컴퓨터 판독가능 매체는 심지어 프로그램이 인쇄될 수 있는 종이 또는 다른 적합한 매체일 수 있다. 이는 종이 또는 다른 매체에 대해 광학적 스캐닝을 수행하고 그 후 편집 및 디코딩을 수행하는 것에 의해, 또는 필요한 경우 다른 적절한 방식으로 처리를 수행하는 것에 의해 전자 방식으로 프로그램이 획득될 수 있고 그 후 프로그램이 컴퓨터 메모리에 저장되기 때문이다.

본 발명의 부분들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 사용하는 것에 의해 구현될 수 있음을 이해해야 한다. 전술한 구현예들에서, 다수의 단계 또는 방법은 메모리에 저장되고 적절한 명령어 실행 시스템에 의해 실행되는 소프트웨어 또는 펌웨어를 사용하는 것에 의해 구현될 수 있다. 예를 들어, 하드웨어가 다른 구현예에서의 구현과 유사한 구현에 사용되는 경우, 본 기술분야의 다음의 공지된 기술들: 데이터 신호를 위한 로직 기능을 구현하기 위해 사용되는 로직 게이트 회로를 갖는 개별 로직 회로, 적절한 조합의 로직 회로를 갖는 주문형 집적 회로, 프로그램가능 게이트 어레이, 필드 프로그램가능 게이트 어레이 등의 조합 또는 임의의 항목이 구현에 사용될 수 있다.

본 발명의 실시예들에서의 모듈들은 하드웨어의 형태로 구현될 수 있거나, 소프트웨어 기능 모듈의 형태로 구현될 수 있다. 집적 모듈이 소프트웨어 기능 모듈의 형태로 구현되고 독립적 제품으로서 판매되거나 또는 사용될 때, 집적 유닛은 컴퓨터 판독가능 저장 매체에 저장될 수 있다.

본 발명의 실시예들이 도시되고 전술되지만, 전술한 실시예들은 예들이고, 본 발명에 대한 제한으로서 해석될 수 없다는 점이 이해될 수 있다. 본 발명의 범주 내에서, 본 기술분야의 통상의 기술자는 전술한 실시예들에 대해 변경들, 수정들, 대체 및 변동들을 행할 수 있다.

Claims

이미지 융합 방법으로서,
상기 방법은 단말 디바이스에 적용되고, 제1 카메라와 제2 카메라는 상기 단말 디바이스 상에 제공되고, 상기 방법은:
상기 제1 카메라를 사용하는 것에 의해 제1 이미지들의 적어도 2개의 프레임을 캡처하고, 상기 제2 카메라를 사용하는 것에 의해 제2 이미지들의 적어도 2개의 프레임을 캡처하는 단계- 상기 제1 이미지들의 적어도 2개의 프레임은 동일한 노출 시간에 캡처되고, 상기 제2 이미지들의 적어도 2개의 프레임 중 적어도 하나의 프레임은 상기 제2 이미지들의 적어도 2개의 프레임 중 적어도 하나의 다른 프레임과 다른 노출 시간에 캡처되고, 상기 제1 이미지들의 각각의 프레임의 캡처링은 상기 제2 이미지들의 대응하는 프레임의 캡처링과 동일함 -;
상기 제1 이미지들의 적어도 2개의 프레임으로부터 제1 참조 이미지를 결정하는 단계;
상기 제1 참조 이미지에 따라 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 상기 제1 참조 이미지에 대한, 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지의 로컬 모션 크기를 획득하는 단계- 상기 로컬 모션 크기는 상기 이동 타겟 검출에 의해 검출된 이동 타겟에 의해 점유된 픽셀들의 양에 관한 정보를 나타내기 위해 사용됨 -; 및
상기 로컬 모션 크기에 따라 상기 제2 이미지들에 대해 이미지 융합을 수행하는 단계
를 포함하는, 방법.
제1항에 있어서,
상기 로컬 모션 크기에 따라 상기 제2 이미지들에 대해 이미지 융합을 수행하는 상기 단계는:
상기 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 상기 제2 이미지들의 적어도 2개의 프레임에서 노출 시간이 제1 미리 설정된 시간인 이미지를 출력하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 로컬 모션 크기에 따라 상기 제2 이미지들에 대해 이미지 융합을 수행하는 상기 단계는:
상기 로컬 모션 크기가 제2 미리 설정된 임계값보다 작은 경우, 상기 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하는 단계;
상기 제2 참조 이미지에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 단계; 및
이미지 융합 알고리즘을 사용하는 것에 의해 상기 제2 참조 이미지와 상기 등록된 제2 이미지에 대해 이미지 융합을 수행하는 단계
를 포함하는, 방법.
제1항에 있어서,
상기 로컬 모션 크기에 따라 상기 제2 이미지들에 대해 이미지 융합을 수행하는 상기 단계는:
상기 로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같고 제1 미리 설정된 임계값보다 작은 경우, 상기 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하는 단계;
상기 제2 참조 이미지에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 단계;
상기 제2 참조 이미지에 따라 상기 등록된 제2 이미지에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지를 획득하는 단계; 및
이미지 융합 알고리즘을 사용하는 것에 의해 상기 제2 참조 이미지와 상기 모션 보상된 제2 이미지에 대해 이미지 융합을 수행하는 단계
를 포함하는, 방법.
제4항에 있어서,
상기 제1 참조 이미지에 따라 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 상기 제1 참조 이미지에 대한, 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지의 로컬 모션 크기를 획득하는 상기 단계는:
상기 제1 참조 이미지에 따라 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지에 대해 이동 타겟 검출을 수행하여, 상기 제1 참조 이미지에 대한, 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지의 모션 보상 매트릭스를 생성하는 단계;
상기 모션 보상 매트릭스에 따라 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지에 대해 이미지 등록을 수행하여 등록된 제1 이미지를 획득하는 단계; 및
상기 제1 참조 이미지에 대한, 상기 등록된 제1 이미지의 로컬 모션 크기를 획득하는 단계
를 포함하는, 방법.
제5항에 있어서,
상기 제2 참조 이미지에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 상기 단계는:
상기 모션 보상 매트릭스에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 상기 이미지에 대해 이미지 등록을 수행하여 상기 등록된 제2 이미지를 획득하는 단계를 포함하는, 방법.
이미지 융합 장치로서,
제1 카메라를 사용하는 것에 의해 제1 이미지들의 적어도 2개의 프레임을 캡처하고, 제2 카메라를 사용하는 것에 의해 제2 이미지들의 적어도 2개의 프레임을 캡처하도록 구성된 이미지 캡처링 유닛- 상기 제1 이미지들의 적어도 2개의 프레임은 동일한 노출 시간에 캡처되고, 상기 제2 이미지들의 적어도 2개의 프레임 중 적어도 하나의 프레임은 상기 제2 이미지들의 적어도 2개의 프레임 중 적어도 하나의 다른 프레임과 다른 노출 시간에 캡처되고, 상기 제1 이미지들의 각각의 프레임의 캡처링은 상기 제2 이미지들의 대응하는 프레임의 캡처링과 동일함 -;
상기 제1 이미지들의 적어도 2개의 프레임으로부터 제1 참조 이미지를 결정하도록 구성된 참조 이미지 결정 유닛;
상기 제1 참조 이미지에 따라 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 상기 제1 참조 이미지에 대한, 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지의 로컬 모션 크기를 획득하도록 구성된 모션 크기 획득 유닛- 상기 로컬 모션 크기는 상기 이동 타겟 검출에 의해 검출된 이동 타겟에 의해 점유된 픽셀들의 양에 관한 정보를 나타내기 위해 사용됨 -; 및
상기 로컬 모션 크기에 따라 상기 제2 이미지들에 대해 이미지 융합을 수행하도록 구성된 이미지 융합 유닛
을 포함하는, 장치.
제7항에 있어서,
상기 이미지 융합 유닛은 구체적으로:
상기 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 상기 제2 이미지들의 적어도 2개의 프레임에서 노출 시간이 제1 미리 설정된 시간인 이미지를 출력하도록 구성되는, 장치.
제7항에 있어서,
상기 이미지 융합 유닛은 구체적으로:
상기 로컬 모션 크기가 제2 미리 설정된 임계값보다 작은 경우, 상기 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하고;
상기 제2 참조 이미지에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하고;
이미지 융합 알고리즘을 사용하는 것에 의해 상기 제2 참조 이미지와 상기 등록된 제2 이미지에 대해 이미지 융합을 수행하도록 구성되는, 장치.
제7항에 있어서,
상기 이미지 융합 유닛은 구체적으로:
상기 로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같고 제1 미리 설정된 임계값보다 작은 경우, 상기 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하고;
상기 제2 참조 이미지에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하고;
상기 제2 참조 이미지에 따라 상기 등록된 제2 이미지에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지를 획득하고;
이미지 융합 알고리즘을 사용하는 것에 의해 상기 제2 참조 이미지와 상기 모션 보상된 제2 이미지에 대해 이미지 융합을 수행하도록 구성되는, 장치.
제9항에 있어서,
상기 모션 크기 획득 유닛은 구체적으로:
상기 제1 참조 이미지에 따라 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지에 대해 이동 타겟 검출을 수행하여, 상기 제1 참조 이미지에 대한, 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지의 모션 보상 매트릭스를 생성하고;
상기 모션 보상 매트릭스에 따라 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지에 대해 글로벌(global) 이미지 등록을 수행하여 등록된 제1 이미지를 획득하고;
상기 제1 참조 이미지에 대한, 상기 등록된 제1 이미지의 로컬 모션 크기를 획득하도록 구성되는, 장치.
제11항에 있어서,
상기 이미지 융합 유닛이 상기 제2 참조 이미지에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것은 구체적으로:
상기 모션 보상 매트릭스에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 상기 이미지에 대해 이미지 등록을 수행하여 상기 등록된 제2 이미지를 획득하는 것일 수 있는, 장치.
단말 디바이스로서,
프로세서, 메모리, 제1 카메라 및 제2 카메라를 포함하고, 상기 메모리는 프로그램 코드 세트를 저장하고, 상기 프로세서, 상기 제1 카메라 및 상기 제2 카메라는 상기 메모리에 저장되는 상기 프로그램 코드를 호출하여, 다음의 동작들:
상기 제1 카메라가 제1 이미지들의 적어도 2개의 프레임을 캡처하도록 구성되는 동작;
상기 제2 카메라가 제2 이미지들의 적어도 2개의 프레임을 캡처하도록 구성되는 동작- 상기 제1 이미지들의 적어도 2개의 프레임은 동일한 노출 시간에 캡처되고, 상기 제2 이미지들의 적어도 2개의 프레임 중 적어도 하나의 프레임은 상기 제2 이미지들의 적어도 2개의 프레임 중 적어도 하나의 다른 프레임과 다른 노출 시간에 캡처되고, 상기 제1 이미지들의 각각의 프레임의 캡처링은 상기 제2 이미지들의 대응하는 프레임의 캡처링과 동일함 -;
상기 프로세서가 상기 제1 이미지들의 적어도 2개의 프레임으로부터 제1 참조 이미지를 결정하도록 구성되는 동작;
상기 프로세서가 상기 제1 참조 이미지에 따라 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 상기 제1 참조 이미지에 대한, 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지의 로컬 모션 크기를 획득하도록 추가로 구성되는 동작- 상기 로컬 모션 크기는 상기 이동 타겟 검출에 의해 검출된 이동 타겟에 의해 점유된 픽셀들의 양에 관한 정보를 나타내기 위해 사용됨 -; 및
상기 프로세서가 상기 로컬 모션 크기에 따라 상기 제2 이미지들에 대해 이미지 융합을 수행하도록 추가로 구성되는 동작
을 수행하는, 단말 디바이스.
제13항에 있어서,
상기 프로세서가 상기 로컬 모션 크기에 따라 상기 제2 이미지들에 대해 이미지 융합을 수행하는 것은 구체적으로:
상기 로컬 모션 크기가 제1 미리 설정된 임계값보다 크거나 같은 경우, 상기 프로세서에 의해, 상기 제2 이미지들의 적어도 2개의 프레임에서 노출 시간이 제1 미리 설정된 시간인 이미지를 출력하는 것을 포함하는, 단말 디바이스.
제13항에 있어서,
상기 프로세서가 상기 로컬 모션 크기에 따라 상기 제2 이미지들에 대해 이미지 융합을 수행하는 것은 구체적으로:
상기 로컬 모션 크기가 제2 미리 설정된 임계값보다 작은 경우, 상기 프로세서에 의해, 상기 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하는 것;
상기 프로세서에 의해, 상기 제2 참조 이미지에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것; 및
상기 프로세서에 의해, 이미지 융합 알고리즘을 사용하는 것에 의해 상기 제2 참조 이미지와 상기 등록된 제2 이미지에 대해 이미지 융합을 수행하는 것
을 포함하는, 단말 디바이스.
제13항에 있어서,
상기 프로세서가 상기 로컬 모션 크기에 따라 상기 제2 이미지들에 대해 이미지 융합을 수행하는 것은 구체적으로:
상기 로컬 모션 크기가 제2 미리 설정된 임계값보다 크거나 같고 제1 미리 설정된 임계값보다 작은 경우, 상기 프로세서에 의해 상기 제2 이미지들의 적어도 2개의 프레임으로부터 제2 참조 이미지를 결정하는 것;
상기 프로세서에 의해, 상기 제2 참조 이미지에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것;
상기 프로세서에 의해, 상기 제2 참조 이미지에 따라 상기 등록된 제2 이미지에 대해 모션 보상을 수행하여 모션 보상된 제2 이미지를 획득하는 것; 및
상기 프로세서에 의해, 이미지 융합 알고리즘을 사용하는 것에 의해 상기 제2 참조 이미지와 상기 모션 보상된 제2 이미지에 대해 이미지 융합을 수행하는 것
을 포함하는, 단말 디바이스.
제15항에 있어서,
상기 프로세서가 상기 제1 참조 이미지에 따라 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 이미지에 대해 이동 타겟 검출을 수행하여, 상기 제1 참조 이미지에 대한, 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지의 로컬 모션 크기를 획득하는 것은 구체적으로:
상기 프로세서에 의해, 상기 제1 참조 이미지에 따라 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지에 대해 이동 타겟 검출을 수행하여, 제1 참조 이미지에 대한, 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지의 모션 보상 매트릭스를 생성하는 것;
상기 프로세서에 의해, 상기 모션 보상 매트릭스에 따라 상기 제1 이미지들의 적어도 2개의 프레임에서 상기 제1 참조 이미지 이외의 상기 이미지에 대해 이미지 등록을 수행하여 등록된 제1 이미지를 획득하는 것; 및
상기 프로세서에 의해, 상기 제1 참조 이미지에 대한, 상기 등록된 제1 이미지의 로컬 모션 크기를 획득하는 것
을 포함하는, 단말 디바이스.
제17항에 있어서,
상기 프로세서가 상기 제2 참조 이미지에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 이미지에 대해 이미지 등록을 수행하여 등록된 제2 이미지를 획득하는 것은 구체적으로:
상기 프로세서에 의해, 상기 모션 보상 매트릭스에 따라 상기 제2 이미지들의 적어도 2개의 프레임에서 상기 제2 참조 이미지 이외의 상기 이미지에 대해 이미지 등록을 수행하여 상기 등록된 제2 이미지를 획득하는 것을 포함하는, 단말 디바이스.
컴퓨터 저장 매체로서, 상기 컴퓨터 저장 매체는 프로그램을 저장하고, 상기 프로그램이 실행될 때, 제1항에 기재된 단계들이 포함되는, 컴퓨터 저장 매체.