KR102450330B1 - 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체 - Google Patents

Abstract

본 발명은 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이고, 상기 방법은, 검증될 대상의 제1 이미지 및 제2 이미지를 획득하는 단계(S100) - 상기 제1 이미지는 제1 카메라 모듈에 의해 수집되고, 상기 제2 이미지는 적어도 하나의 제2 카메라 모듈에 의해 수집됨 - ; 신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하는 단계(S200); 및 제1 검증 결과가 검증 실패인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정하는 단계(S300)를 포함한다. 본 발명은 판정 정밀도가 높고, 오경보 확률이 낮은 장점을 갖고 있다.

Description

이미지 처리 방법 및 장치, 전자 기기 및 저장 매체

관련 출원의 상호 참조

본 출원은 출원 번호가 201811574840.3이고 출원일이 2018년 12월 21일인 중국특허 출원에 기반하여 제출한 것이며, 상기 중국특허 출원의 우선권을 주장하고, 상기 중국특허 출원의 전부 내용은 본 출원에 인용되어 결합된다.

본 발명은 지능형 모니터링 분야에 관한 것으로서, 특히 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다.

현재, 정부 건물, 기업 공원, 호텔, 거주 지역, 사무실 건물 등과 같은 장소는 일반적으로 고유의 인공적 방호 방법을 통해 상응하는 장소에 진입하는 인원을 관리하지만, 이러한 방법은 방문 인원이 영역 내부에 진입할 수 있는 권한이 있는지 여부를 인식할 수 없다. 상기 문제에 기반하여, 일반적으로 오토 게이트, 접근 통제를 사용하여 카드를 찍거나, 얼굴 인식을 통해 관리를 진행한다. 그러나 오토 게이트 또는 카드를 찍는 방식으로 개인적으로 카드를 교환하거나 뒤를 따르는 행위를 방지할 수 없고, 또한 얼굴 인식의 낯선 인물 인식에 기반하면, 실제 시나리오에서 인원이 카메라 앞에 나타날 때 흔히 얼굴이 가려지거나, 측면이 보이거나, 고개를 숙인 것 등 경우로 인해, 인원의 캡처된 사진과 타겟 라이브러리 사진의 차이가 크므로, 낯선 인물의 오경보 확률이 아주 높은 문제가 있다.

본 발명의 실시예는 복수 개의 카메라 모듈에 의해 수집된 이미지 정보를 통해 상응하는 영역 장소 내의 검증될 대상의 신분에 대해 연합 판정을 수행하는 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체를 제공하고, 판정 정밀도가 높으며, 오경보 확률이 낮다.

본 발명의 일 측면에 따르면, 이미지 처리 방법을 제공하고, 상기 방법은,

검증될 대상의 제1 이미지 및 제2 이미지를 획득하는 단계 - 상기 제1 이미지는 제1 카메라 모듈에 의해 수집되고, 상기 제2 이미지는 적어도 하나의 제2 카메라 모듈에 의해 수집됨 - ;

신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하는 단계; 및

제1 검증 결과가 검증 실패인인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정하는 단계를 포함한다.

일부 가능한 실시형태에 있어서, 상기 타겟 라이브러리는 화이트/블랙 리스트 라이브러리를 포함하고;

상기 신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하는 단계는,

상기 제1 이미지의 제1 특징 데이터와 상기 화이트/블랙 리스트 라이브러리에서의 각 이미지의 특징 데이터를 비교하는 단계; 및

상기 화이트/블랙 리스트 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재할 경우, 상기 제1 검증 결과가 검증 성공인 것으로 결정하고, 상기 제1 이미지에 대응되는 검증될 대상을 블랙 리스트 대상 또는 화이트 리스트 대상으로 결정하는 단계를 포함한다.

일부 가능한 실시형태에 있어서, 상기 타겟 라이브러리는 표기된 낯선 인물 라이브러리를 포함하고;

상기 신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하는 단계는,

획득된 상기 제1 이미지의 제1 특징 데이터와 상기 표기된 낯선 인물 라이브러리에서의 이미지의 특징 데이터를 비교하는 단계; 및

상기 표기된 낯선 인물 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재하는 경우, 상기 제1 검증 결과는 검증 성공이고, 상기 제1 이미지에 대응되는 검증될 대상을 표기된 낯선 인물인 것으로 결정하는 단계를 포함한다.

일부 가능한 실시형태에 있어서, 상기 표기된 낯선 인물 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재하는 경우, 상기 방법은,

상기 제1 이미지에 대응되는 검증될 대상이 낯선 인물로 표기되는 횟수를 통계하는 단계를 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 방법은,

상기 제1 검증 결과가 검증 성공인 경우, 상기 제1 이미지 및 상기 제1 이미지의 관련 정보를 매칭되는 특징 데이터에 대응되는 매칭 기록에 추가하는 단계 - 상기 제1 이미지의 관련 정보는 상기 제1 카메라 모듈에 의해 상기 제1 이미지가 수집되는 시간 정보, 상기 제1 카메라 모듈의 표식 정보 및 상기 제1 카메라 모듈의 위치 정보 중 적어도 하나를 포함함 - 를 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하기 전, 상기 방법은,

제1 시간 범위 내의 검증 실패인 제1 이미지 및 제2 이미지 중 적어도 하나를 중복 제거 처리하여, 제1 시간 범위 내에서 각 검증될 대상에 대해 제1 기설정된 조건을 만족하는 제1 이미지 및 제2 이미지 중 적어도 하나를 획득하는 단계를 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 제1 검증 결과가 검증 실패인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정하는 단계는,

제2 시간 범위 내의 제1 검증 결과가 검증 실패인 제1 이미지와 제1 검증 결과가 검증 실패인 제2 이미지에 대해 클러스터링 처리를 수행하여, 각 검증될 대상에 대한 이미지 세트를 획득하는 단계;

상기 이미지 세트 중 각 이미지와 상기 이미지 세트 중 다른 이미지의 유사도를 결정하는 단계;

상기 이미지 세트 중 각 이미지에 대응되는 유사도에 기반하여 상기 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 결정하는 단계; 및

상기 이미지 세트가 제2 기설정된 조건을 만족하는 경우, 상기 이미지 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정하는 단계를 포함한다.

일부 가능한 실시형태에 있어서, 상기 이미지 세트 중 각 이미지와 다른 이미지의 유사도를 결정하는 단계는,

각 이미지 세트에서의 각 이미지의 특징 데이터와 전체 이미지의 특징 데이터의 스칼라곱의 합의값을 획득하는 단계; 및

상기 합의값과 상기 이미지 세트에서의 특징 데이터의 개수에 기반하여 각 이미지와 나머지 이미지의 유사도를 결정하는 단계를 포함한다.

일부 가능한 실시형태에 있어서, 상기 제2 시간 범위 내의 제1 검증 결과가 검증 실패인 제1 이미지와 제1 검증 결과가 검증 실패인 제2 이미지에 대해 클러스터링 처리를 수행하여, 각 검증될 대상에 대한 이미지 세트를 획득하는 단계는,

상기 제2 시간 범위 내의 검증 실패인 제1 이미지 및 제2 이미지의 데이터 각각에 대응되는 제1 특징 데이터 및 제2 특징 데이터를 획득하는 단계;

상기 제1 특징 데이터와 상기 제2 특징 데이터를 비교 매칭하여, 각 제1 특징 데이터 및 각 제2 특징 데이터가 동일한 검증될 대상에 대응되는지 여부를 결정하는 단계; 및

상기 동일한 검증될 대상의 제1 특징 데이터 및 제2 특징 데이터를 클러스터링하여 상기 동일한 검증될 대상의 이미지 세트를 형성하는 단계를 포함한다.

일부 가능한 실시형태에 있어서, 상기 이미지 세트 중 각 이미지에 대응되는 유사도에 기반하여 상기 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 결정하는 단계는,

상기 이미지 세트 중 각 이미지에 대응되는 유사도에서의 최대 유사도가 제1 유사도 임계값보다 큰 것;

상기 이미지 세트 중 각 이미지에 대응되는 유사도 중 제2 유사도 임계값보다 큰 유사도의 특징 데이터 개수가 기설정된 비율보다 큰 것; 및

상기 이미지 세트 중 각 이미지에 대응되는 유사도에서의 최소 유사도가 제3 유사도 임계값보다 큰 것 중 적어도 하나를 포함한다.

일부 가능한 실시형태에 있어서, 상기 제1 검증 결과가 검증 실패인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정하는 단계는,

상기 이미지 세트 중 이미지 사이의 유사도가 기설정된 조건을 만족하지 않는 경우, 상기 이미지 세트에 대응되는 전체 이미지를 삭제하는 단계를 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 이미지 세트가 제2 기설정된 조건을 만족하는 경우, 상기 이미지 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정하는 단계는,

상기 특징 데이터 세트에서의 특징 데이터에 대응되는 이미지가 상이한 시간 범위 내에서 상이한 카메라 모듈을 통해 수집된 이미지인 경우, 상기 특징 데이터 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정하는 단계를 포함한다.

일부 가능한 실시형태에 있어서, 상기 검증될 대상의 제1 이미지 및 제2 이미지를 획득하는 단계는,

제1 카메라 모듈에 의해 수집된 제1 비디오 및 적어도 하나의 제2 카메라 모듈에 의해 수집된 제2 비디오를 각각 획득하여, 상기 제1 비디오에 대해 사전 처리를 수행하여 제3 이미지를 획득하고 상기 제2 비디오에 대해 사전 처리하여 제4 이미지를 획득하거나, 제3 이미지 및 제4 이미지를 수신하는 단계; 및

제3 이미지에서 품질 요구를 만족하는 이미지를 상기 제1 이미지로 결정하고, 제4 이미지에서 품질 요구를 만족하는 이미지를 제2 이미지로 결정하는 단계를 포함한다.

일부 가능한 실시형태에 있어서, 상기 검증될 대상의 제1 이미지 및 제2 이미지를 획득한 후, 또한 상기 제1 이미지의 제1 특징 데이터를 획득하고, 신분 검증을 실행하기 위해 상기 제1 특징 데이터와 타겟 라이브러리에서의 특징 데이터를 비교하여, 제1 검증 결과를 획득하기 전, 상기 방법은,

상기 제1 이미지 및 제2 이미지 중 적어도 하나에 기설정된 특징이 포함되는지 여부를 검출하는 단계; 및

상기 제1 이미지 및 제2 이미지 중 적어도 하나에 기설정된 특징이 포함되는 경우에 응답하여, 상기 기설정된 특징을 포함하는 제1 이미지 및 제2 이미지 중 적어도 하나를 표기하는 단계 - 상기 기설정된 특징은 마스크, 모자, 선글라스 중 적어도 하나를 포함함 - 를 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 방법은,

상기 제1 검증 결과 또는 제2 검증 결과를 출력 및 프롬프트하는 단계를 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 제1 검증 결과 또는 제2 검증 결과를 출력 및 프롬프트하는 단계는,

제1 검증 결과가 검증 성공인 경우에 응답하여, 기설정된 방식을 통해 상기 검증될 대상의 신분 및 관련 정보를 출력하고, 상기 검증될 대상이 표기된 낯선 인물인 것으로 결정할 경우, 낯선 인물로 표기된 횟수를 출력하는 단계; 또는

상기 제2 검증 결과를 출력하는 단계를 포함한다.

일부 가능한 실시형태에 있어서, 상기 방법은,

제2 검증 결과가 검증될 대상이 낯선 인물인 경우에 응답하여, 상기 검증될 대상에 대응되는 제1 이미지, 제2 이미지 및 관련 정보를 상기 타겟 라이브러리에 저장하는 단계; 및

사용자 인터랙션 인터페이스를 통해 낯선 인물로 판정된 검증 결과, 통계 정보 및 프롬프트 정보를 디스플레이하는 단계를 더 포함한다.

본 발명의 제2 측면에 따르면, 이미지 처리 장치를 제공하고, 상기 장치는,

검증될 대상의 제1 이미지 및 제2 이미지를 획득하도록 구성된 획득 모듈 - 상기 제1 이미지는 제1 카메라 모듈에 의해 수집되고, 상기 제2 이미지는 적어도 하나의 제2 카메라 모듈에 의해 수집됨 - ;

신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하도록 구성된 제1 검증 모듈; 및

제1 검증 결과가 검증 실패인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정하도록 구성된 제2 검증 모듈을 포함한다.

일부 가능한 실시형태에 있어서, 상기 타겟 라이브러리는 화이트/블랙 리스트 라이브러리를 포함하고;

상기 제1 검증 모듈은 또한 상기 제1 이미지의 제1 특징 데이터와 상기 화이트/블랙 리스트 라이브러리에서의 각 이미지의 특징 데이터를 비교하고;

상기 화이트/블랙 리스트 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재할 경우, 상기 제1 검증 결과가 검증 성공인 것으로 결정하고, 상기 제1 이미지에 대응되는 검증될 대상을 블랙 리스트 대상 또는 화이트 리스트 대상으로 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 타겟 라이브러리는 표기된 낯선 인물 라이브러리를 포함하고;

상기 제1 검증 모듈은 또한 획득된 상기 제1 이미지의 제1 특징 데이터와 상기 표기된 낯선 인물 라이브러리에서의 이미지의 특징 데이터를 비교하고;

상기 표기된 낯선 인물 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재하는 경우, 상기 제1 검증 결과는 검증 성공이고, 상기 제1 이미지에 대응되는 검증될 대상을 표기된 낯선 인물인 것으로 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 장치는 상기 표기된 낯선 인물 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재하는 경우, 상기 제1 이미지에 대응되는 검증될 대상이 낯선 인물로 표기되는 횟수를 통계하도록 구성된 통계 모듈을 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 제1 검증 모듈은 또한 상기 제1 검증 결과가 검증 성공인 경우, 상기 제1 이미지 및 상기 제1 이미지의 관련 정보를 매칭되는 특징 데이터에 대응되는 매칭 기록에 추가하기 위한 것이고, 여기서, 상기 제1 이미지의 관련 정보는 상기 제1 카메라 모듈에 의해 상기 제1 이미지가 수집되는 시간 정보, 상기 제1 카메라 모듈의 표식 정보 및 상기 제1 카메라 모듈의 위치 정보 중 적어도 하나를 포함한다.

일부 가능한 실시형태에 있어서, 상기 장치는 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하기 전, 제1 시간 범위 내의 검증 실패인 제1 이미지 및 제2 이미지 중 적어도 하나를 중복 제거 처리하여, 제1 시간 범위 내에서 각 검증될 대상에 대해 제1 기설정된 조건을 만족하는 제1 이미지 및 제2 이미지 중 적어도 하나를 획득하도록 구성된 중복 제거 모듈을 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 제2 시간 범위 내의 제1 검증 결과가 검증 실패인 제1 이미지와 제1 검증 결과가 검증 실패인 제2 이미지에 대해 클러스터링 처리를 수행하여, 각 검증될 대상에 대한 이미지 세트를 획득하고,

상기 이미지 세트 중 각 이미지와 상기 이미지 세트 중 다른 이미지의 유사도를 결정하며,

상기 이미지 세트 중 각 이미지에 대응되는 유사도에 기반하여 상기 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 결정하며,

상기 이미지 세트가 제2 기설정된 조건을 만족하는 경우, 상기 이미지 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 각 이미지 세트에서의 각 이미지의 특징 데이터와 전체 이미지의 특징 데이터의 스칼라곱의 합의값을 획득하고,

상기 합의값과 상기 이미지 세트에서의 특징 데이터의 개수에 기반하여 각 이미지와 나머지 이미지의 유사도를 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 상기 제2 시간 범위 내의 검증 실패인 제1 이미지 및 제2 이미지의 데이터 각각에 대응되는 제1 특징 데이터 및 제2 특징 데이터를 획득하고,

상기 제1 특징 데이터와 상기 제2 특징 데이터를 비교 매칭하여, 각 제1 특징 데이터 및 각 제2 특징 데이터가 동일한 검증될 대상에 대응되는지 여부를 결정하며;

상기 동일한 검증될 대상의 제1 특징 데이터 및 제2 특징 데이터를 클러스터링하여 상기 동일한 검증될 대상의 이미지 세트를 형성하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한,

상기 이미지 세트 중 각 이미지에 대응되는 유사도에서의 최대 유사도가 제1 유사도 임계값보다 큰 것;

상기 이미지 세트 중 각 이미지에 대응되는 유사도 중 제2 유사도 임계값보다 큰 유사도의 특징 데이터 개수가 기설정된 비율보다 큰 것; 및

상기 이미지 세트 중 각 이미지에 대응되는 유사도에서의 최소 유사도가 제3 유사도 임계값보다 큰 것 중 적어도 하나를 통해 상기 이미지 세트 중 각 이미지에 대응되는 유사도에 기반하여 상기 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 결정하도록 실행한다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 상기 이미지 세트 중 이미지 사이의 유사도가 기설정된 조건을 만족하지 않는 경우, 상기 이미지 세트에 대응되는 전체 이미지를 삭제하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 상기 특징 데이터 세트에서의 특징 데이터에 대응되는 이미지가 상이한 시간 범위 내에서 상이한 카메라 모듈을 통해 수집된 이미지인 경우, 상기 특징 데이터 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 획득 모듈은 또한 제1 카메라 모듈에 의해 수집된 제1 비디오 및 적어도 하나의 제2 카메라 모듈에 의해 수집된 제2 비디오를 각각 획득하여, 상기 제1 비디오에 대해 사전 처리를 수행하여 제3 이미지를 획득하고 상기 제2 비디오에 대해 사전 처리하여 제4 이미지를 획득하거나, 제3 이미지 및 제4 이미지를 수신하고,

제3 이미지에서 품질 요구를 만족하는 이미지를 상기 제1 이미지로 결정하고, 제4 이미지에서 품질 요구를 만족하는 이미지를 제2 이미지로 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 획득 모듈은 또한 상기 검증될 대상의 제1 이미지 및 제2 이미지를 획득한 후, 또한 상기 제1 이미지의 제1 특징 데이터를 획득하고, 신분 검증을 실행하기 위해 상기 제1 특징 데이터와 타겟 라이브러리에서의 특징 데이터를 비교하여, 제1 검증 결과를 획득하기 전, 상기 제1 이미지 및 제2 이미지 중 적어도 하나에 기설정된 특징이 포함되는지 여부를 검출하고,

상기 제1 이미지 및 제2 이미지 중 적어도 하나에 기설정된 특징이 포함되는 경우에 응답하여, 상기 기설정된 특징을 포함하는 제1 이미지 및 제2 이미지 중 적어도 하나를 표기하기 위한 것이며, 여기서, 상기 기설정된 특징은 마스크, 모자, 선글라스 중 적어도 하나를 포함한다.

일부 가능한 실시형태에 있어서, 상기 장치는 상기 제1 검증 결과 또는 제2 검증 결과를 출력 및 프롬프트하도록 구성된 프롬프트 모듈을 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 프롬프트 모듈은 또한 제1 검증 결과가 검증 성공인 경우에 응답하여, 기설정된 방식을 통해 상기 검증될 대상의 신분 및 관련 정보를 출력하고, 상기 검증될 대상이 표기된 낯선 인물인 것으로 결정할 경우, 낯선 인물로 표기된 횟수를 출력하거나;

상기 제2 검증 결과를 출력하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 제2 검증 결과가 검증될 대상이 낯선 인물인 경우에 응답하여, 상기 검증될 대상에 대응되는 제1 이미지, 제2 이미지 및 관련 정보를 상기 타겟 라이브러리에 저장하고, 사용자 인터랙션 인터페이스를 통해 낯선 인물로 판정된 검증 결과, 통계 정보 및 프롬프트 정보를 디스플레이하도록 제어하기 위한 것이다.

본 발명의 제3 측면에 따르면, 전자 기기를 제공하고, 상기 전자 기기는,

프로세서;

프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고,

여기서, 상기 프로세서는, 제1 측면 중 어느 한 항에 따른 방법을 실행하도록 구성된다.

본 발명의 제4 측면에 따르면, 컴퓨터 프로그램 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 경우 제1 측면 중 어느 한 항에 따른 이미지 처리 방법을 구현한다.

본 발명의 실시예는 복수 개의 카메라 모듈에 의해 수집된 이미지 정보에 기반하여 검증될 대상의 신분 권한을 판정할 수 있으므로, 오경보 확률을 효과적으로 저하시킬 수 있으며, 낯선 인원에 대한 인식 정확률을 대폭으로 향상시킨다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 설명적인 것이며 본 발명을 한정하지 않는다.

아래에 첨부 도면에 따라 예시적 실시예를 상세하게 설명하므로, 본 발명의 다른 특징 및 측면이 더욱 명확해질 것이다.

아래의 도면은 본 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 맞는 실시예를 예시하여, 명세서와 함께 본 발명의 기술방안을 설명하기 위한것이다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S100의 흐름도이다.
도 3은 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S200의 흐름도이다.
도 4는 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S200의 흐름도이다.
도 5는 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S300의 흐름도이다.
도 6은 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S301의 흐름도이다.
도 7은 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S302의 흐름도이다.
도 8은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 9는 본 발명의 실시예의 이미지 처리 방법에 따른 낯선 인물 비교의 흐름도이다.
도 10는 본 발명의 실시예에 따른 이미지 처리 장치의 블록도이다.
도 11은 본 발명의 실시예에 따른 전자 기기(800)의 블록도이다.
도 12은 본 발명의 실시예에 따른 전자 기기(1900)의 블록도이다.

아래에 도면을 참조하여 본 발명의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 표시는 기능이 동일하거나 유사한 구성 요소를 나타낸다. 실시예의 다양한 측면이 도면에 도시되어 있지만, 구체적으로 언급되지 않는 한, 도면은 반드시 비례대로 도시될 필요없다.

여기서 "예시적"이라는 특정한 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 "예시적"으로 설명된 임의의 실시예는 다른 예보다 뛰어나거나 좋은 것으로 해석될 필요는 없다.

본 명세서에서 용어 “ 및 /또는”은 다만 관련 대상의 상관 관계를 설명하기 위한 것일 뿐, 세 가지의 관계가 존재함을 나타내며, 예를 들어, A 및/또는 B는, A가 단독적으로 존재, A 및 B가 동시에 존재, B가 단독적으로 존재하는 세 가지 상황을 나타낸다. 또한, 본 문에서 용어 "적어도 하나"는 복수의 어느 하나 또는 복수의 둘 중 어느 하나의 조합을 의미하고, 예를 들어, A, B, C 중 적어도 하나를 포함하여, A, B 및 C로 구성된 조합에서 선택된 어느 하나 또는 복수 개의 요소를 나타낼 수 있다.

또한, 본 발명을 더 잘 설명하기 위해, 아래의 구체적인 실시형태에서 다수의 구체적인 세부 사항을 제공한다. 본 분야의 기술자는 일부 구체적인 세부 사항이 없이도, 본 발명이 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 예에 있어서, 본 분야에게 널리 알려진 방법, 수단, 구성 요소 및 회로는 본 발명의 요지를 강조하기 위해, 상세히 설명되지 않는다.

도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도이고, 여기서 본 발명의 실시예의 이미지 처리 방법은 정부 건물, 기업 공원, 호텔, 거주 지역, 사무실 건물 등과 같은 진입 인원을 관리해야 하는 장소에 적용될 수 있고, 상이한 영역에 설치된 카메라 모듈에 의해 수집된 이미지를 통해 검증될 대상의 신분을 연합 판정할 수 있음으로써, 상기 검증될 대상이 낯선 인물인지 여부, 또는 이미 등록된 라이브러리 중의 인원인지 여부를 결정할 수 있다.

도 1에 도시된 바와 같이, 본 발명의 실시예의 이미지 처리 방법은 아래와 같은 단계를 포함할 수 있다.

단계 S100에 있어서, 검증될 대상의 제1 이미지 및 제2 이미지를 획득하고, 여기서, 상기 제1 이미지는 제1 카메라 모듈에 의해 수집되고, 상기 제2 이미지는 적어도 하나의 제2 카메라 모듈에 의해 수집된다.

본 발명의 실시예의 이미지 처리 방법은 단말 기기 또는 서버 등 이미지 처리 기능을 구비한 전자 기기에 응용될 수 있고, 단말 기기는 핸드폰, 컴퓨터 기기 등일 수 있다. 이러한 전자 기기는 검출될 영역의 각 코너의 카메라 장치에 전기적으로 연결되고, 상기 카메라 장치는 카메라, 스냅샷 머신 등을 포함하지만 이에 한정되지 않는다. 다른 실시예에 있어서, 이러한 전자 기기는 디스플레이 스크린을 포함한다.

여기서, 검증될 대상은 검증될 영역에 진입하는 인원을 가리키고, 제1 이미지 및 제2 이미지는 신분이 결정되어야 하는 검증될 대상의 안면 이미지일 수 있고, 전신 이미지일 수도 있으며, 본 발명의 실시예에서 안면 이미지로 해석하여 설명하였지만, 본 발명에 대한 한정으로 이해해서는 안된다. 여기서 제1 이미지 및 제2 이미지는 상이한 비디오 소스로부터 온 것이고, 예를 들어 제1 이미지는 제1 카메라 모듈에 의해 수집될 수 있고, 제2 이미지는 적어도 하나의 제2 카메라 모듈에 의해 수집될 수 있으며, 본 발명의 실시예는 상이한 위치 영역에 상이한 카메라 모듈을 설치하는 것을 통해, 즉 제1 카메라 모듈 및 제2 카메라 모듈은 상이한 위치에 설치된 카메라 모듈일 수 있다. 이와 동시에 설명의 편의함을 위해, 제1 카메라 모듈 이외의 카메라 모듈을 제2 카메라 모듈로 지칭하고, 각 제2 카메라 모듈이 설치된 위치는 상이할 수도 있으며, 이러한 방식을 통해 상이한 위치 영역 내의 이미지 정보를 실시간으로 수집할 수 있다. 또한, 상기 제1 이미지 및 제2 이미지의 수집 시간은 동일할 수 있고 상이할 수도 있으며, 본 발명은 이에 대해 한정하지 않는다.

단계 S200에 있어서, 신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득한다.

여기서, 신경 네트워크를 이용하여 각 제1 이미지의 제1 특징 데이터를 획득할 수 있고, 상기 제1 특징 데이터와 사전 저장된 타겟 라이브러리에서의 이미지 데이터의 특징 데이터를 비교할 수 있으며, 상기 타겟 라이브러리에는 이미 등록된 블랙 리스트 및 화이트 리스트와, 낯선 인물로 표기된 대상이 포함될 수 있다. 제1 특징 데이터와 타겟 라이브러리에서의 특징 데이터를 비교 매칭하는 것을 통해, 상기 제1 특징 데이터에 대응되는 대상이 타겟 라이브러리에서의 인원 대상인지 여부를 편리하게 결정할 수 있다. 여기서, 타겟 라이브러리에 제1 특징 데이터와 매칭되는 특징 데이터가 존재하지 않으면, 제1 이미지에 대한 제1 검증 결과가 검증 실패인 것을 나타내고, 타겟 라이브러리에 제1 특징 데이터와 매칭되는 특징 데이터가 존재하면, 제1 이미지에 대한 제1 검증 결과가 검증 성공인 것을 나타낸다.

단계 S300에 있어서, 제1 검증 결과가 검증 실패인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정한다.

단계 S200의 신분 검증에 기반하여, 타겟 라이브러리에 제1 특징 데이터와 매칭되는 특징 데이터가 존재하지 않을 경우, 적어도 하나의 제2 카메라 모듈에 의해 수집된 제2 이미지를 연합 검증하는 것을 결합하여, 검증될 대상의 신분을 검증할 수 있다.

본 발명의 실시예에서 검증 실패된 제1 이미지 및 제2 이미지에 대해 검증될 대상의 신분을 연합 검증을 수행할 수 있음으로써, 검증될 대상의 검증 성공률을 향상시킬 수 있다.

아래에 본 발명의 실시예의 구체적인 과정을 상세하게 설명하고, 여기서, 본 발명의 실시예를 실행할 경우, 단계 S100을 통해 검증될 대상의 제1 이미지 및 제2 이미지를 획득하고, 상기 제1 이미지는 제1 카메라 모듈을 통해 수집된 이미지이다. 여기서, 상술한 봐와 같이, 본 발명의 실시예의 이미지 처리 방법은 인원이 관리하는 장소에 응용될 수 있고, 상기 장소의 상이한 위치에 카메라를 설치할 수 있으며, 여기서 임의의 카메라는 모두 본 발명의 실시예의 제1 카메라 모듈로 사용될 수 있으며, 설명의 편의함을 위해 상기 제1 카메라 모듈 이외의 카메라 모듈은 제2 카메라 모듈로 지칭되며, 제2 카메라 모듈에 의해 수집된 이미지는 제2 이미지로 지칭될 수 있다.

본 발명의 실시예에서 단계 S100에서 획득된 신분 검증해야 되는 제1 이미지 및 제2 이미지는 제1 카메라 모듈 및 제2 카메라 모듈에 의해 획득된 이미지일 수 있고, 분석 처리와, 선별을 통한 이미지일 수도 있다. 본 발명은 이에 대해 한정하지 않는다. 도 2는 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S100의 흐름도이고, 여기서 상기 신분 판정될 제1 이미지를 획득하는 단계는 아래와 같은 단계를 포함할 수 있다.

단계 S101에 있어서, 제1 카메라 모듈에 의해 수집된 제1 비디오 및 적어도 하나의 제2 카메라 모듈에 의해 수집된 제2 비디오를 획득하고, 상기 비디오를 사전 처리하여 복수 개의 제3 이미지를 획득하며 상기 제2 비디오를 사전 처리하여 제4 이미지를 획득하거나, 검증될 대상의 안면 정보를 포함하는 상기 제3 이미지 및 제4 이미지를 직접 수신한다.

본 발명의 실시예에 있어서, 수신된 정보는 비디오 형태의 정보일 수 있고, 이미지 형태의 정보일 수도 있으며, 수신된 정보가 비디오 형태의 정보일 경우, 비디오 정보로부터 처리되어야 하는 제3 이미지 및 제4 이미지를 획득하기 위해, 상기 비디오 정보에 대해 사전 처리 동작을 수행할 수 있으며, 여기서 사전 처리 동작은 비디오 디코딩, 이미지의 샘플링 및 얼굴 검출 등 처리 동작을 포함할 수 있으며, 상기 사전 처리 동작을 통해 안면 이미지를 포함하는 상응하는 제3 이미지 및 제4 이미지를 획득할 수 있다.

다른 일부 가능한 실시예에 있어서, 획득된 정보가 이미지 형태의 제3 이미지 및 제4 이미지일 수 있고, 이때 제3 이미지 및 제4 이미지를 직접 처리할 수 있으며, 즉 얼굴 검출 방식을 통해 검증될 대상의 안면 이미지를 포함하는 제3 이미지 및 제4 이미지를 획득할 수 있다. 또는 제1 카메라 모듈은 안면 이미지를 포함하는 제3 이미지를 직접 수집할 수 있고, 제2 카메라 모듈은 안면 이미지를 포함하는 제4 이미지를 직접 수집할 수 있으며, 예를 들어 제1 카메라 모듈 및 제2 카메라 모듈은 얼굴 스냅샷 머신일 수 있고, 획득된 제3 이미지 및 제4 이미지는 안면 이미지가며, 본 발명은 이에 대해 구체적으로 한정하지 않으며, 획득된 제3 이미지 및 제4 이미지에 판정될 검증될 대상의 안면 영역이 포함된 경우, 본 발명의 실시예로 사용될 수 있다.

단계 S102에 있어서, 획득된 제3 이미지에서 품질 요구를 만족하는 이미지를 상기 제1 이미지로 결정하고, 제4 이미지에서 품질 요구를 만족하는 이미지를 제2 이미지로 결정한다.

실제 시나리오에서, 수집된 이미지의 각도, 선명도, 모자, 마스크, 안경 등 액세서리의 착용 여부 및 다른 물체 또는 인물의 가림은 모두 랜덤이므로, 카메라 모듈로부터 수집된 제3 이미지 및 제4 이미지를 획득한 후, 또한 제3 이미지 및 제4 이미지로부터 품질 요구에 부합되는 이미지를 선별해야 하고, 사용자의 신분의 검출 및 판정을 실행한다. 여기서, 제3 이미지 및 제4 이미지의 각도, 품질 점수에 대한 연합 판정을 동시에 수행할 수 있고, 특정 품질보다 낮은 이미지는 폐기된다.

본 발명의 실시예에 있어서, 신경 네트워크를 통해 제3 이미지 및 제4 이미지의 이미지 품질을 결정할 수 있고, 또는 기설정된 알고리즘을 통해 제3 이미지의 이미지 품질을 결정할 수도 있으며, 여기서 이미지의 선명도, 얼굴의 각도를 결합하여 제3 이미지 및 제4 이미지를 평점할 수 있으며, 상기 평점값이 기설정된 평점값보다 낮으면, 예를 들어 80 점보다 낮으면, 상기 제3 이미지 및 제4 이미지를 삭제할 수 있고, 평점값이 기설정된 평점값보다 높으면, 상기 이미지의 품질이 품질 요구를 만족하는 것을 설명하며, 이때 상기 제3 이미지 및 제4 이미지를 이용하여 인원 신분의 판정을 실행할 수 있으며, 즉 품질 요구를 만족하는 제3 이미지를 신분 검증해야 될 제1 이미지로 사용할 수 있으며, 품질 요구를 만족하는 제4 이미지를 신분 검증해야 될 제2 이미지로 사용할 수 있다. 여기서, 기설정된 평점값은 상이한 수요 및 응용 시나리오에 따라 자율적으로 설정될 수 있고, 본 발명은 이에 대해 구체적으로 한정하지 않는다.

다른 일부 가능한 실시형태에 있어서, 상기 검증될 대상의 제1 이미지 및 제2 이미지를 획득한 후, 또한 상기 제1 이미지의 제1 특징 데이터를 획득하고, 신분 검증을 실행하기 위해 상기 제1 특징 데이터와 타겟 라이브러리에서의 특징 데이터를 비교하여, 제1 검증 결과를 획득하기 전, 또한 제1 이미지 및 제2 이미지 중 적어도 하나에 기설정된 특징이 포함되는지 여부를 검출할 수 있고, 제3 이미지 및 제4 이미지 중 적어도 하나에 기설정된 특징이 포함되는 것으로 검출할 경우, 기설정된 특징을 포함하는 제3 이미지 및 제2 이미지 중 적어도 하나를 표기할 수 있다. 여기서 표기는, 기설정된 특징을 포함하는 제3 이미지 및 제4 이미지 중 적어도 하나의 분배 식별자일 수 있고, 상기 식별자는 대응되는 이미지가 신분 검증해야 될 제1 이미지 및 제2 이미지로 직접 사용될 수 있음을 나타내기 위한 것이다. 여기서, 상기 기설정된 특징은 마스크, 모자, 선글라스 중 적어도 하나를 포함할 수 있다. 예를 들어, 제1 카메라 모듈로부터 수집된 제1 비디오에 의해 획득된 제3 이미지에서의 검증될 대상이 모자를 착용하고, 마스크를 착용한 검증될 대상(즉 제1 이미지에 대응되는 특징 데이터는 모자, 마스크 등 특징을 포함함)인 것으로 검출될 경우, 상기 검증될 대상을 수상한 인원에 직접 포함할 수 있고, 즉 제3 이미지는 제1 이미지로 사용될 수 있다. 또는, 제2 카메라 모듈로부터 수집된 제2 비디오에 의해 획득된 제4 이미지에서의 검증될 대상이 모자를 착용하고, 선글라스를 착용한 검증될 대상(즉 제2 이미지에 대응되는 특징 데이터는 모자, 선글라스 등 특징을 포함함)인 것으로 검출될 경우, 상기 검증될 대상을 수상한 인원에 직접 포함할 수 있고, 즉 제4 이미지는 제2 이미지로 사용될 수 있다. 여기서, 신경 네트워크가 제3 이미지 및 제4 이미지의 특징 데이터를 검출하는 것을 통해 상기 기설정된 특징을 갖고 있는지 여부를 결정할 수 있다.

상기 방식을 통해, 상이한 타입의 이미지를 수신하는 것을 통해 처리될 제1 이미지 및 제2 이미지를 편리하게 획득할 수 있고, 여기서 획득된 제1 이미지 및 제2 이미지가 품질 요구를 만족하는 이미지가므로, 검증될 대상의 신분 검증을 정밀하게 수행하기 위해 사용될 수 있다.

제1 이미지 및 제2 이미지를 획득한 후, 상기 제1 이미지 및 제2 이미지와 타겟 라이브러리에서의 대상의 특징 데이터를 비교 매칭할 수 있고, 즉 단계 S200을 실행할 수 있다. 여기서, 본 발명의 실시예는 타겟 라이브러리를 포함할 수 있고, 여기서 타겟 라이브러리에는 블랙 리스트 및 화이트 리스트와, 낯선 인물로 표기된 정보가 기록되어 있다. 여기서 블랙 리스트는 상기 장소에 진입할 수 없는 대상의 정보이고, 화이트 리스트는 상기 장소에 진입하도록 허락된 대상의 정보이며, 본 발명의 실시예의 타겟 라이브러리에 저장된 것은 알려진 신분을 구비한 대상의 정보 및 낯선 인물로 표기된 대상의 정보이다.

예를 들어, 제1 카메라 모듈에 의해 획득된 제1 이미지의 경우, 본 발명의 실시예는 단계 S100을 통해 제1 이미지를 획득한 후, 제1 이미지의 제1 특징 데이터와 타겟 라이브러리에서의 이미지 데이터의 특징 데이터를 비교 매칭할 수 있다. 예를 들어, 타겟 라이브러리에는 각 제1 대상의 안면 이미지 및 안면 특징 데이터가 저장되어 있고, 또는 이름, 연령 등과 같은 다른 정보가 포함될 수도 있으며, 본 발명은 구체적으로 한정하지 않는다.

본 발명의 실시예는 제1 이미지의 제1 특징 데이터와 타겟 라이브러리 중 각 대상의 특징 데이터를 비교할 수 있고, 타겟 라이브러리에 제1 특징 데이터와의 매칭값이 제1 매칭 임계값보다 큰 특징 데이터가 존재하면, 제1 이미지에 대응되는 검증될 대상이 타겟 라이브러리에서의 대상인 것으로 결정할 수 있으며, 이때 제1 검증 결과가 검증 성공인 것을 나타낸다. 더 나아가, 제1 특징 데이터에 대응되는 특징 데이터를 검색하지 못하면, 제1 검증 결과가 검증 실패인 것으로 결정할 수 있다. 또한, 타겟 라이브러리에 제1 이미지의 제1 특징 데이터와 매칭되는 특징 데이터가 존재하지 않을 경우, 예를 들어 타겟 라이브러리 중 전부의 대상의 안면 특징과 제1 특징 데이터의 매칭값이 모두 제1 매칭 임계값보다 낮으면, 이때 타겟 라이브러리에 제1 특징 데이터와 매칭되는 특징 데이터가 존재하지 않는 것으로 결정할 수 있다. 즉 제1 이미지에 대응되는 검증될 대상은 타겟 라이브러리에서의 인원이 아니다. 이때 제2 카메라 모듈에 의해 수집된 제2 이미지를 결합하여 추가적인 판정을 수행할 수 있다. 여기서, 본 발명의 실시예에서 카메라 모듈에 의해 수집된 이미지 또는 수신된 이미지에 따라 인물 대상의 신분 검증을 수행할 수 있으므로, 입력된 이미지로 타겟 라이브러리에서의 이미지 데이터와 비교하는 효과를 구현할 수 있으며, 즉 이미지로 이미지를 검색하는 효과를 구비하며, 입력 이미지와 매칭되는 타겟 라이브러리에서의 이미지를 검색할 수 있다.

여기서, 여기서 설명해야 할 것은, 본 발명의 실시예의 타겟 라이브러리는 화이트/블랙 리스트 라이브러리 및 표기된 낯선 인물 라이브러리를 포함할 수 있다. 여기서, 화이트/블랙 리스트 라이브러리에는 이미 등록된 블랙 리스트 대상 및 화이트 리스트 대상이 포함되고, 여기서 블랙 리스트 대상은 상응하는 장소로의 진입을 통제하는 인원이며, 화이트 리스트 대상은 상응하는 장소로의 진입을 허락하는 인원이다. 여기서 화이트/블랙 리스트 라이브러리에 포함된 화이트 리스트 대상 및 블랙 리스트 대상의 안면 이미지, 또는 상응하는 이름, 연령, 직위 등 정보를 더 포함할 수 있다. 화이트/블랙 리스트 라이브러리에 대해 검증될 대상의 신분 검증을 실행할 수 있고, 검증 결과를 통해 상기 검증될 대상이 블랙 리스트 대상 또는 화이트 리스트 대상인지 여부를 나타낼 수 있다.

도 3은 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S200의 흐름도이고, 여기서, 신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하는 단계는 아래와 같은 단계를 포함한다.

단계 S201에 있어서, 상기 제1 이미지의 제1 특징 데이터와 상기 화이트/블랙 리스트 라이브러리 중 각 이미지의 특징 데이터를 비교한다.

단계 S202에 있어서, 상기 화이트/블랙 리스트 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재할 경우, 상기 제1 검증 결과가 검증 성공인 것으로 결정하고, 상기 제1 이미지에 대응되는 검증될 대상을 블랙 리스트 대상 또는 화이트 리스트 대상으로 결정한다.

이를 보다시피, 타겟 라이브러리는 화이트/블랙 리스트 라이브러리를 포함하고, 화이트/블랙 리스트 라이브러리에는 화이트 리스트 대상 및 블랙 리스트 대상의 안면 이미지가 포함될 수 있고 또는 안면 이미지의 특징 데이터가 직접 포함될 수도 있다. 제1 특징 데이터와 화이트/블랙 리스트 라이브러리 중 각 대상의 이미지 데이터에서의 특징 데이터를 매칭시키는 것을 통해, 제1 특징 데이터와의 매칭도가 제1 매칭 임계값보다 큰 특징 데이터가 존재하면, 상기 검증될 대상이 화이트/블랙 리스트 라이브러리에서의 대상인 것으로 결정할 수 있고, 매칭도가 가장 높은 특징 데이터에 대응되는 신분 정보를 상기 검증될 대상의 신분 정보로 결정할 수 있으며, 이때 상기 검증될 대상의 신분을 확인할 수 있고, 제1 검증 결과가 검증 성공인 것을 나타낸다. 그렇지 않은 경우, 화이트/블랙 리스트 라이브러리에서의 전부 특징 데이터와 제1 특징 데이터의 매칭도가 제1 매칭 임계값보다 모두 낮으면, 화이트/블랙 리스트 라이브러리에 상기 검증될 대상과 매칭되는 대상이 존재하지 않음을 나타낸다.

일부 가능한 실시형태에 있어서, 화이트/블랙 리스트 라이브러리에서 제1 특징 데이터와 매칭되는 특징 데이터가 검색된 후, 제1 이미지 및 제1 이미지의 관련 정보를 매칭되는 대상의 매칭 기록에 업로드할 수 있고, 여기서 관련 정보는 제1 카메라 모듈에 의해 제1 이미지가 수집되는 시간, 제1 카메라 모듈의 식별자 및 대응되는 위치 정보 등일 수 있다. 본 발명의 실시예에서 각 이미지를 획득할 경우, 각 이미지와의 관련 정보를 동시에 획득할 수 있다. 검증 성공인 제1 이미지 및 관련 정보를 대응되는 매칭 기록에 추가하는 것을 통해 상기 대상의 궤적, 출행 시간 등을 편리하게 분석할 수 있다.

다른 일부 실시예에 있어서, 화이트/블랙 리스트 라이브러리에서 제1 특징과 매칭되는 특징 데이터에 대응되는 대상이 블랙 리스트 대상인 것으로 검색되면, 이때 또한 기설정된 프롬프트 동작을 실행할 수 있으며, 예를 들어 오디오 또는 디스플레이 출력의 방식을 통해 상기 블랙 리스트 인원의 진입 상황을 프롬프트할 수 있다. 또는, 상기 블랙 리스트 대상의 진입 횟수 등 정보를 통계할 수도 있고, 이와 동시에 상기 진입 횟수를 출력하도록 프롬프트할 수 있으므로, 관리 인원이 용이하게 볼 수 있도록 한다. 본 발명의 실시예에 있어서, 상기 정보를 상기 전자 기기의 사용자 인터랙션 인터페이스에 전송할 수 있고, 상기 사용자 인터랙션 인터페이스를 통해 디스플레이하여, 각 프롬프트 정보를 용이하게 볼 수 있도록 한다.

위와 같은 방식을 통하면 블랙 리스트 대상 및 화이트 리스트 대상의 신분 검증을 실행할 수 있고, 또한 화이트/블랙 리스트 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재하는 경우, 상기 제1 검증 결과가 검증 성공인 것으로 결정한다.

또한, 전술한 바와 같이, 타겟 라이브러리는 표기된 낯선 인물 라이브러리를 더 포함할 수 있고, 상기 표기된 낯선 인물 라이브러리에서의 대상은 낯선 인물로 표기된 대상이며, 여기서 각 대상의 안면 이미지를 포함하거나 안면 특징 데이터를 직접 포함할 수도 있으며, 이와 동시에 각 안면 이미지의 수집 시간, 위치 등 관련 정보를 포함할 수도 있으며, 또한 낯선 인물로 표기된 횟수 등을 포함할 수 있다.

표기된 낯선 인물 라이브러리에 대해 검증될 대상의 신분 검증을 실행할 수 있고, 검증 결과는 상기 검증될 대상이 낯선 인물로 표기된 대상인지 여부를 나타낼 수 있다.

도 4는 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S200의 흐름도이고, 여기서, 상기 신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하는 단계는 아래와 같은 단계를 포함한다.

단계 S203에 있어서, 획득된 상기 제1 이미지의 제1 특징 데이터와 상기 표기된 낯선 인물 라이브러리에서의 이미지의 특징 데이터를 비교한다.

단계 S204에 있어서, 상기 표기된 낯선 인물 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재하는 경우, 상기 제1 검증 결과는 검증 성공이고, 상기 제1 이미지에 대응되는 검증될 대상을 표기된 낯선 인물인 것으로 결정한다.

전술한 바와 같이, 타겟 라이브러리는 표기된 낯선 인물 라이브러리를 포함하고, 표기된 낯선 인물 라이브러리에는 낯선 인물로 표기된 대상의 안면 이미지가 포함되거나 안면 이미지의 특징 데이터가 직접 포함될 수도 있다. 제1 특징 데이터와 표기된 낯선 인물 라이브러리 중 각 대상의 특징 데이터를 매칭하는 것을 통해, 제1 특징 데이터와의 매칭도가 제2 매칭 임계값보다 높은 특징 데이터가 존재하면, 상기 검증될 대상이 표기된 낯선 인물 라이브러리에서의 대상인 것으로 결정할 수 있고, 또한 매칭도가 가장 높은 특징 데이터에 대응되는 대상의 신분 정보를 상기 검증 대상의 신분 정보로 결정할 수 있으며, 이때 상기 검증될 대상의 신분이 낯선 인물인 것을 확인할 수 있으며, 또한 제1 검증 결과가 검증 성공인 것을 나타낸다. 그렇지 않은 경우, 전부 특징 데이터와 제1 특징 데이터의 매칭도가 제2 매칭 임계값보다 모두 낮으면, 표기된 낯선 인물 라이브러리에 상기 검증될 대상과 매칭되는 대상이 존재하지 않음을 나타낸다.

일부 가능한 실시형태에 있어서, 표기된 낯선 인물 라이브러리에서 제1 특징 데이터와 매칭되는 특징 데이터가 검색된 후, 제1 이미지 및 제1 이미지의 관련 정보를 매칭되는 대상의 매칭 기록에 업로드할 수 있고, 여기서 관련 정보는 제1 카메라 모듈에 의해 제1 이미지가 수집되는 시간, 제1 카메라 모듈의 식별자 및 대응되는 위치 정보 등일 수 있다. 본 발명의 실시예에서 각 이미지를 획득할 경우, 각 이미지와의 관련 정보를 동시에 획득할 수 있다. 검증 성공인 제1 이미지 및 관련 정보를 대응되는 매칭 기록에 추가하는 것을 통해 상기 대상의 궤적, 출행 시간 등을 편리하게 분석할 수 있다.

다른 일부 실시예에 있어서, 표기된 낯선 인물 라이브러리에서 제1 특징과 매칭되는 특징 데이터가 검색되면, 이때 또한 기설정된 프롬프트 동작을 실행할 수 있으며, 예를 들어 오디오 또는 디스플레이 출력의 방식을 통해 상기 낯선 인원의 진입 상황을 프롬프트할 수 있다. 또는, 상기 낯선 인원이 상응하는 장소 내에서 표기된 횟수, 상기 낯선 인물이 상응하는 장소 내에서 정체한 시간, 발견된 빈도 등 정보를 통계할 수도 있으며, 이와 동시에 상기 정보를 출력하도록 프롬프트하여, 관리 인원이 용이하게 볼 수 있도록 한다. 여기서, 정체 시간은 대상이 낯선 인물로 표기된 시간에 따라 결정될 수 있고, 예를 들어 마지막으로 낯선 인물로 표기된 제1 시간과 처음으로 낯선 인물로 표기된 시간 사이의 시간 차이를 정체 시간으로 사용할 수 있으며, 발견된 빈도는 상기 낯선 인물이 인식된 횟수와 상기 정체 시간의 비율일 수 있다. 본 발명의 다른 실시예에 있어서, 상기 낯선 인물이 발견된 위치 정보와 같은 다른 정보를 통계할 수도 있고, 여기서 상기 낯선 인물의 이미지를 수집한 카메라 모듈의 식별자 또는 위치에 따라 낯선 인물이 위치한 위치를 결정할 수 있음으로써, 낯선 인물의 행동 궤적을 획득할 수 있고, 통계된 정보에 대해 본 발명은 여기서 일일이 열거하지 않는다. 본 발명의 실시예에 있어서, 상기 정보를 전자 기기의 사용자 인터랙션 인터페이스에 전송할 수 있고, 상기 사용자 인터랙션 인터페이스를 통해 디스플레이하여, 각 프롬프트 정보를 용이하게 볼 수 있도록 한다.

위와 같은 방식을 통하면 이미 등록된 낯선 대상의 신분 검증을 실행할 수 있고, 표기된 낯선 인물 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재하는 경우, 상기 제1 검증 결과가 검증 성공인 것으로 결정한다.

여기서, 제1 매칭 임계값 및 제2 매칭 임계값은 동일한 임계값일 수 있고, 상이한 임계값일 수도 있으며, 본 분야의 기술자는 필요에 따라 자율적으로 설정할 수 있다.

또한, 본 발명의 실시예에 있어서, 타겟 라이브러리에서의 화이트/블랙 리스트 라이브러리 및 표기된 낯선 인물 라이브러리의 검증 순서에 대해, 본 분야의 기술자는 필요에 따라 설정할 수 있고, 여기서, 먼저 화이트/블랙 리스트 라이브러리를 통해 제1 특징 데이터를 검증하고, 화이트/블랙 리스트 라이브러리에 매칭되는 특징 데이터가 존재하지 않을 경우, 표기된 낯선 인물 라이브러리를 다시 이용하여 검증할 수 있으며, 먼저 표기된 낯선 인물 라이브러리를 통해 제1 특징 데이터를 검증하고, 표기된 낯선 인물 라이브러리에 매칭되는 특징 데이터가 존재하지 않을 경우, 화이트/블랙 리스트 라이브러리를 다시 이용하여 검증할 수도 있거나, 화이트/블랙 리스트 라이브러리 및 표기된 낯선 인물 라이브러리를 동시에 이용하여 검증할 수도 있다. 다시 말해, 본 발명의 실시예는 두 개의 라이브러리를 이용하여 검증 동작을 실행하는 시간 순서를 구체적으로 한정하지 않으며, 상기 검증을 실행할 수 있으면 본 발명의 실시예로 사용될 수 있다.

또한, 본 발명의 실시예에 있어서, 상기 타겟 라이브러리에 상기 제1 이미지의 제1 특징 데이터와 매칭되는 특징 데이터가 존재하지 않을 경우(즉 표기된 낯선 인물 라이브러리 및 화이트/블랙 리스트 라이브러리에 매칭되는 특징 데이터가 모두 존재하지 않음), 이때 제1 검증 결과가 검증 실패인 것으로 결정할 수 있고, 이때 상기 제1 이미지를 저장할 수 있다. 예를 들어 타겟 라이브러리에서의 전부 대상의 특징 데이터와 제1 이미지의 제1 특징 데이터가 모두 매칭되지 않을 경우, 상기 제1 이미지를 저장할 수 있다. 이와 동시에 제1 검증 결과가 검증 실패인 경우에 응답하여, 제1 카메라 모듈 이외의 제2 카메라 모듈에 의해 획득된 제2 이미지를 제1 이미지와 연합 검증하는 것에 기반하여, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정한다.

본 발명의 실시예에서 제2 이미지에 대한 제1 검증 동작의 과정은 제1 이미지와 동일하고, 마찬가지로 제2 이미지의 제1 검증 결과를 획득할 수도 있다. 본 발명은 이에 대해 더이상 반복적으로 설명하지 않는다.

여기서, 타겟 라이브러리에 제1 특징 데이터와 매칭되는 대상이 존재하지 않는 경우, 상기 제1 이미지를 임시 저장할 수 있다. 이미지의 중복을 감소시키고 임시 저장된 제1 이미지가 차지하는 저장 공간을 감소시키기 위해, 기설정된 시간 범위 내의 제1 이미지에 대해 중복 제거 처리를 수행할 수 있음으로써, 동일한 검증될 대상이 과다한 이미지를 임시 저장하는 것을 감소시킬 수 있다. 여기서, 본 발명의 실시예는 제1 시간 범위 내의 검증 실패인 제1 이미지 및 제2 이미지 중 적어도 하나를 중복 제거 처리하여, 제1 시간 범위 내에서 각 검증될 대상에 대해 제1 기설정된 조건을 만족하는 제1 이미지 및 제2 이미지 중 적어도 하나를 획득할 수 있다. 여기서, 제1 시간 범위는 조정 가능한 롤링 윈도우(rolling window)일 수 있고, 예를 들어 2-5초로 설정될 수 있으며, 제1 시간 범위에 따라 아카이브(임시 저장) 대기 중인 제1 이미지 및 제2 이미지를 배치 처리할 수 있고, 이때 동일한 검증될 대상의 제1 이미지를 병합 및 중복 제거 처리할 수 있으며, 동일한 검증될 대상의 제2 이미지를 병합 및 중복 제거 처리할 수 있다. 제1 시간 범위 내에서 상이한 검증될 대상의 제1 이미지를 획득할 수 있으므로, 임시 저장된 제1 이미지는 상이한 검증될 대상의 이미지일 수도 있고, 하나의 검증될 대상의 복수 개의 이미지일 수도 있으며, 이때 제1 이미지 중 동일한 검증될 대상의 이미지를 인식할 수 있고, 예를 들어 각 이미지의 특징 데이터에 따라 비교할 수 있으며, 유사도가 유사도 임계값보다 큰 이미지를 동일한 검증될 대상의 이미지로 결정하며, 또한 더 나아가 제1 기설정된 조건에 따라 동일한 검증될 대상의 각 이미지 중 하나의 이미지만 보류할 수 있다. 여기서 제1 기설정된 조건은 임시 저장 시간에 따라, 가장 먼저 임시 저장된 이미지를 보류하고, 동일한 검증될 대상의 나머지 임시 저장된 이미지를 삭제하는 것일 수 있다. 또는 제1 기설정된 조건은 동일한 검증될 대상의 각 이미지에 대한 평점값을 비교하여, 평점값이 가장 높은 이미지를 보류하고, 나머지 이미지를 삭제하는 것일 수도 있다. 상기 평점값의 획득은 상기 실시예와 동일하고, 예를 들어 기설정된 알고리즘에 따라 이미지를 분석하여, 평점값을 획득할 수 있거나, 신경 네트워크를 이용하여 이미지를 평점할 수 있으며, 여기서 평점의 원리는 이미지의 선명도, 안면의 각도, 가려진 경우 등에 따라 결정된다. 본 분야의 기술자는 필요에 따라 상응한 평점 방법을 선택할 수 있고, 본 발명은 이에 대해 구체적으로 한정하지 않는다.

상기 방식을 통하면 제1 시간 범위 내의 제1 카메라 모듈에 의해 수집된 제1 이미지에서의 수상한 인원(제1 대상 및 제2 대상과 매칭되지 않음)을 획득할 수 있고, 각 검증될 대상을 위해 하나의 제1 이미지만 보류함으로써, 저장 공간의 사용을 감소시킬 수 있다. 상기 다만 제1 카메라 모듈의 예를 통해 제1 카메라 모듈의 제1 이미지에 대한 처리를 설명하였고, 나머지 카메라 모듈의 처리 방식은 동일하며, 여기서 더이상 반복하여 설명하지 않는다.

각 제1 이미지를 병합 및 중복 제거 처리한 후, 나머지 제2 카메라 모듈에 의해 수집된 제2 이미지를 결합하여 검증될 대상의 신분을 판정할 수 있다. 도 5는 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S300의 흐름도이고, 여기서, 상기 제1 검증 결과가 검증 실패인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정하는 단계는 아래와 같은 단계를 포함할 수 있다.

단계 S301에 있어서, 제2 시간 범위 내의 제1 검증 결과가 검증 실패인 제1 이미지와 제1 검증 결과가 검증 실패인 제2 이미지에 대해 클러스터링 처리를 수행하여, 각 검증될 대상에 대한 이미지 세트를 획득한다.

본 발명의 실시예에 따른 이미지 처리 방법을 실행하는 기기는 각 카메라 모듈이 제2 시간 범위 내에서 특징 데이터와 매칭되지 않은 제1 이미지 및 제2 이미지를 병합하고, 클러스터링 처리를 수행하여, 각 검증될 대상에 대한 이미지 세트를 획득하며, 각 이미지 세트에 포함된 이미지는 동일한 검증될 대상의 이미지이다. 이로써 각 이미지 세트를 편리하게 처리할 수 있다.

단계 S302에 있어서, 상기 이미지 세트 중 각 이미지와 상기 이미지 세트 중 다른 이미지와의 유사도를 결정한다.

본 발명의 실시예에 있어서, 동일한 검증될 대상의 이미지 세트의 이미지에 대해 유사도 분석을 수행하여, 각 이미지와 다른 이미지 사이의 유사도를 결정할 수 있음으로써, 이미지 세트 중 각 이미지가 검증될 대상의 이미지인지 여부를 추가로 판단할 수 있다.

단계 S303에 있어서, 상기 이미지 세트 중 각 이미지에 대응되는 유사도에 기반하여 상기 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 결정한다.

단계 S304에 있어서, 상기 이미지 세트가 제2 기설정된 조건을 만족하는 것으로 결정할 경우, 상기 이미지 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정한다.

각 이미지 세트 중 각 이미지와 다른 이미지 사이의 유사도를 획득한 후, 획득된 유사도값에 따라 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 결정할 수 있고, 제2 기설정된 조건을 만족할 경우 상기 이미지 세트가 동일한 대상의 이미지인 확률이 높은 것으로 결정할 수 있으며, 이미지 세트를 보류할 수 있으며, 각 유사도가 제2 기설정된 조건을 만족하지 않는 것으로 판단되면, 상기 이미지 세트 중 각 이미지의 클러스터링이 믿을 수 없음을 판단할 수 있으며, 동일한 대상의 이미지인 확률이 낮으며, 이때 상기 이미지 세트를 삭제할 수 있다. 또한 기설정된 조건을 만족하는 이미지 세트를 추가로 이용하여 상기 검증될 대상이 이미 등록된 대상인지 여부를 결정할 수 있다.

아래에 각 과정에 대해 상세하게 설명한다. 도 6은 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S301의 흐름도이고, 여기서, 상기 제2 시간 범위 내의 제1 검증 결과가 검증 실패인 제1 이미지와 제1 검증 결과가 검증 실패인 제2 이미지에 대해 클러스터링 처리를 수행하여, 각 검증될 대상에 대한 이미지 세트를 획득하는 단계는 아래와 같은 단계를 포함할 수 있다.

단계 S3011에 있어서, 상기 제2 시간 범위 내의 검증 실패인 제1 이미지 및 제2 이미지의 데이터 각각에 대응되는 제1 특징 데이터 및 제2 특징 데이터를 획득한다.

단계 S3012에 있어서, 상기 제1 특징 데이터와 상기 제2 특징 데이터를 비교 매칭하여, 각 제1 특징 데이터 및 각 제2 특징 데이터가 동일한 검증될 대상에 대응되는지 여부를 결정한다.

단계 S3013에 있어서, 상기 동일한 검증될 대상의 제1 이미지의 제1 특징 데이터 및 제2 이미지의 제2 특징 데이터를 클러스터링하여 상기 검증될 대상에 대응되는 이미지 세트를 형성한다.

단계 S3011에 있어서, 제2 시간 범위는 제1 시간 범위보다 큰 시간 범위이고, 예를 들어, 제1 시간 범위는 2-5s이며, 제2 시간 범위는 10min일 수 있으나, 본 발명의 실시예를 구체적으로 한정하려는 것이 아니다. 제2 시간 범위가 제1 시간 범위보다 큰 한정을 통해, 각 제1 시간 범위 내의 검증 실패한 후 중복 제거 처리하여 획득된 제1 이미지 및 제2 이미지를 획득할 수 있으며, 제2 시간 범위 내의 각 카메라 모듈에 의해 획득된 제1 이미지 및 제2 이미지를 이용하여 상이한 검증될 대상의 상이한 이미지를 획득한다. 예를 들어 제2 시간 범위 내에 획득된 제1 카메라 모듈 및 적어도 하나의 제2 카메라 모듈이 각 제1 시간 범위 내에서 중복 제거 처리되어 획득된 제1 이미지 및 제2 이미지를 사용할 수 있고, 그 중에서 중복된 검증될 대상의 특징을 선택하여 합병하며, 예를 들어 이미지의 안면 특징이 유사도 임계값보다 큰 이미지를 하나의 카테고리로 합병할 수 있으며, 즉 하나의 검증될 대상의 이미지로 사용할 수 있다. 상기 단계를 통해 복수 개의 검증될 대상의 이미지 세트를 획득할 수 있고, 각 이미지 세트는 동일한 검증될 대상의 이미지이다.

여기서, 설명해야 할 것은, 본 발명의 실시예 중 각 처리된 이미지는 이에 관련된 카메라 모듈의 식별자 정보를 포함할 수 있음으로써, 각 이미지가 어떤 카메라 모듈에 의해 수집된 것인지를 결정할 수 있으며, 검증될 대상이 위치한 위치를 대응하게 획득한다. 또한, 이미지는 카메라 모듈에 의해 상기 이미지가 수집되는 시간 정보에 관련될 수도 있음으로써, 각 이미지가 수집된 시간을 결정할 수 있고, 검증될 대상이 각 위치에서의 시간을 대응하게 결정한다.

각 이미지를 클러스터링할 경우 제2 시간 범위 내에서 검증 실패인 제1 이미지의 제1 특징 데이터 및 검증 실패인 제2 이미지의 제2 특징 데이터를 먼저 획득할 수 있고, 여기서 신경 네트워크를 통해 각 이미지의 특징 데이터를 인식할 수 있으며, 본 발명은 구체적으로 한정하지 않는다. 각 제1 특징 데이터 및 제2 특징 데이터를 획득한 후, 제1 특징 데이터 및 제2 특징 데이터를 비교 매칭할 수 있고, 각 제1 특징 데이터 및 제2 특징 데이터가 동일한 검증될 대상에 대응되는지 여부를 결정하며, 동일한 검증될 대상에 대응되는 특징 데이터를 하나의 카테고리로 결합하여, 각 검증될 대상에 대한 이미지 세트를 형성하며, 상기 이미지 세트에는 각 이미지 및 각 이미지에 대응되는 특징 데이터가 포함될 수 있으며, 각 이미지의 특징 데이터만 포함될 수도 있으며, 본 발명은 구체적으로 한정하지 않는다. 여기서, 각 특징 데이터가 동일한 검증될 대상에 대응되는지 여부를 결정하는 방식은 신경 네트워크를 이용하여 결정될 수 있고, 인식된 두 개의 특징 데이터가 동일한 검증될 대상인 확률이 기설정된 임계값보다 크면, 두 개의 특징 데이터가 동일한 검증될 대상인 것으로 결정할 수 있고, 기설정된 임계값보다 낮으면, 상이한 검증될 대상인 것으로 결정할 수 있다. 이러한 방식을 통하면 각 특징 데이터가 동일한 검증될 대상의 특징 데이터인지 여부를 결정할 수 있고, 상이한 검증될 대상에 대응되는 이미지 세트를 추가로 결정한다.

각 검증될 대상에 대한 이미지 세트를 획득한 후, 각 이미지 세트 중 각 이미지 사이의 유사도를 결정할 수 있다. 도 7은 본 발명의 실시예에 따른 이미지 처리 방법 중 단계 S302의 흐름도이고, 여기서, 상기 이미지 세트 중 각 이미지와 상기 이미지 세트 중 다른 이미지의 유사도를 결정하는 단계는 아래와 같은 단계를 포함한다.

단계 S3021에 있어서, 각 이미지 세트에서의 각 이미지의 특징 데이터와 전체 이미지 이미지의 특징 데이터의 스칼라곱의 합의값을 획득한다.

여기서, 단계 S200을 통해, 제1 특징 데이터와 같은 이미지 세트 중 각 이미지에 대한 특징 데이터를 획득할 수 있고, 이는 특징 벡터의 형태를 나타낼 수 있다. 이에 기반하여, 이미지 세트 중 각 이미지의 특징 데이터와 전체 이미지의 특징 데이터에 대해 스칼라곱 연산 및 합산 처리를 수행할 수 있다. 예를 들어, 이미지 세트에는 n 개의 이미지가 포함될 수 있고, n이 1보다 큰 정수이면, 대상의 각 이미지와 전체 이미지 사이의 안면 특징 데이터 사이의 합의값을 획득할 수 있다. 예를 들어 i 번째 이미지에 대한 합의값은

일 수 있고, 여기서

은 i 번째 이미지의 안면 특징 데이터이다. 상기 방식을 통하면 각 이미지의 안면 특징 데이터와 전체 이미지의 안면 특징 데이터의 스칼라곱의 합의값을 획득할 수 있다.

여기서 설명해야 할 것은, 본 발명의 실시예에서 획득된 각 이미지의 특징 데이터는 정규화 처리된 특징 벡터이고, 즉 본 발명의 실시예를 통해 획득된 각 제1 이미지의 제1 특징 데이터 및 제2 이미지의 제2 특징 데이터는 차원이 동일하고 길이가 동일한 특징 벡터임으로써, 각 특징 데이터를 편리하게 연산할 수 있다.

단계 S3022에 있어서, 상기 합의값과 상기 이미지 세트에서의 특징 데이터의 개수에 기반하여 각 이미지와 나머지 이미지의 유사도를 결정한다.

각 합의값을 획득한 후, 이미지 세트 중 이미지의 개수에 따라 각 이미지와 다른 이미지의 유사도를 결정한다. 본 발명의 실시예에서 유사도는

일 수 있다.

즉 획득된 합의값이 n-1일 경우 각 이미지와 나머지 이미지 사이의 유사도를 획득할 수 있다.

각 이미지와 나머지 이미지 사이의 유사도를 획득한 후, 획득된 각 유사도값에 따라 이미지 세트가 기설정된 조건을 만족하는지 여부를 결정할 수 있다. 또한 기설정된 조건을 만족하는 이미지 세트를 이용하여 대응되는 검증될 대상이 등록되지 않은 대상인지 여부를 판단한다.

일부 가능한 실시형태에 있어서, 상기 각 이미지 사이의 유사도에 기반하여 상기 이미지 세트가 기설정된 조건을 만족하는 것으로 결정할 경우, 상기 이미지 세트에 기반하여 상기 검증될 대상이 낯선 인물인지 여부를 결정하기 전, 또한 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 추가로 결정할 수 있으며, 상기 이미지 세트 중 각 이미지에 대응되는 유사도가 아래와 같은 경우 중 어느 하나를 만족할 경우, 상기 이미지 세트가 제2 기설정된 조건을 만족하는 것으로 결정한다.

a)상기 이미지 세트 중 각 이미지 사이의 유사도에서의 최대 유사도가 제1 유사도 임계값보다 크다.

본 발명의 실시예에 있어서, 나머지 이미지 사이와의 유사도가 가장 큰 유사도를 이용하여 제1 유사도 임계값과 비교할 수 있고, 상기 최대의 유사도가 제1 유사도 임계값보다 크면, 상기 이미지 세트 중 각 이미지 사이의 유사도가 큰 것을 설명하므로, 상기 이미지 세트가 기설정된 조건을 만족하는 것으로 결정할 수 있다. 최대의 유사도가 제1 유사도 임계값보다 작으면, 상기 이미지 세트의 클러스터링 효과가 이상적이지 않고 , 상기 이미지 세트 중 각 이미지가 검증될 대상인 확률이 큰 것을 설명하며, 이때 상기 이미지 세트를 삭제할 수 있다.

b)상기 이미지 세트 중 각 이미지 사이의 유사도에서 제2 유사도 임계값보다 큰 유사도의 이미지 개수가 기설정된 비율보다 크다.

이와 유사하게, 이미지 세트 중 각 이미지 사이의 유사도가 제2 유사도 임계값의 유사도보다 큰 비율이 기설정된 비율보다 크고, 50%의 이미지의 유사도가 제2 유사도 임계값보다 크면, 이때 상기 이미지 세트 중 각 이미지 사이의 유사도가 큰 것을 결정할 수 있으므로, 상기 이미지 세트가 기설정된 조건을 만족하는 것으로 결정할 수 있다. 제2 유사도 임계값보다 큰 이미지의 비율이 상기 기설정된 비율보다 작으면, 상기 이미지 세트의 클러스터링 효과가 이상적이지 않고, 상기 이미지 세트 중 각 이미지가 상이한 검증될 대상인 확률이 큰 것을 설명하며, 이때 상기 이미지 세트를 삭제할 수 있다.

c)상기 이미지 세트 중 각 이미지 사이의 유사도에서의 최소 유사도가 제3 유사도 임계값보다 크다.

이와 유사하게, 이미지 세트 중 최소의 유사도가 제3 유사도 임계값보다 크면, 상기 이미지 세트 중 각 이미지 사이의 유사도가 비교적 큰 것을 설명하므로, 상기 이미지 세트가 기설정된 조건을 만족하는 것으로 결정할 수 있다. 최소의 유사도가 제1 유사도 임계값보다 작으면, 상기 이미지 세트의 클러스터링 효과가 이상적이지 않고 , 상기 이미지 세트 중 각 이미지가 검증될 대상인 확률이 큰 것을 설명하며, 이때 상기 이미지 세트를 삭제할 수 있다. 여기서, 제1 유사도 임계값, 제2 유사도 임계값 및 제3 유사도 임계값의 선택은 상이한 필요에 따라 설정될 수 있고, 본 발명은 이에 대해 구체적으로 한정하지 않는다.

상기 방식을 통하면 이미지 세트가 기설정된 조건을 만족하는지 여부를 결정할 수 있고, 또한 기설정된 조건을 만족하는 이미지 세트를 추가로 이용하여 검증될 대상의 신분 판정을 실행한다. 여기서 상기 이미지 세트 중 각 이미지 사이의 유사도가 기설정된 조건을 만족하는 경우, 상기 검증될 대상이 낯선 인물인지 여부를 결정하는 단계는, 상기 이미지 세트에서의 이미지가 상이한 시간 범위 내에서 상이한 카메라 모듈을 통해 수집된 이미지인 경우, 상기 검증될 대상이 낯선 인물인 것으로 결정하는 단계를 포함할 수 있다.

즉 이미지 세트에 두 개의 이미지가 포함되면, 여기서 두 개의 이미지는 각각 제1 카메라 모듈 및 제2 카메라 모듈에 의해 수집되고, 또한 수집된 시간은 각각 상이한 시간 범위에 위치하며, 이때 상기 이미지 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정할 수 있다. 즉 제1 카메라 모듈에 의해 수집된 제1 이미지에서 상기 검증될 대상의 신분이 인식되지 않고, 제2 카메라 모듈에 의해 수집된 제2 이미지에서도 상기 검증될 대상의 신분이 인식되지 않으며, 또한 제1 이미지 및 제2 이미지에 의해 수집된 시간이 상이한 시간 범위에 위치하면, 예를 들어 상이한 제1 시간 범위 내에서, 상기 제1 이미지 및 제2 이미지에 의해 형성된 이미지 세트가 기설정된 조건을 만족하는 경우, 이미지 세트에 대응되는 검증될 대상이 낯선 인물, 즉 낯선 인원인 것으로 결정할 수 있다.

상기 방식을 통해 복수 개의 카메라 모듈에 의해 수집된 이미지를 통해 수상한 인원의 신분을 연합 판정할 수 있음으로써, 검증될 대상의 신분을 더욱 정밀하게 결정할 수 있다.

제1 이미지에 대응되는 검증될 대상이 낯선 인물인 것으로 결정할 경우, 기설정된 프롬프트 동작을 실행한다. 상기 실시예에서 설명한 바와 같이, 오디오 또는 디스플레이 출력의 방식을 통해 관련 인원의 상기 낯선 인물의 정보를 프롬프트할 수 있다. 즉 본 발명의 실시예에 있어서, 상기 제1 이미지에 대응되는 검증될 대상이 낯선 인물인 경우, 기설정된 프롬프트 동작을 실행하는 단계는, 디스플레이 기기에서 상기 낯선 인물의 이미지, 상기 낯선 인물의 현재의 위치 정보, 및 발견된 횟수의 통계 정보를 디스플레이하는 단계; 및 오디오 프롬프트의 방식을 통해 낯선 인물, 상기 낯선 인물의 현재 위치 정보 및 발견된 횟수의 통계 정보가 발견된 것을 프롬프트하는 단계 중 적어도 하나를 포함한다. 여기서, 정체 시간은 대상이 낯선 인물로 표기된 시간에 따라 결정될 수 있고, 예를 들어 마지막으로 낯선 인물로 표기된 제1 시간과 처음으로 낯선 인물로 표기된 시간 사이의 시간 차이를 정체 시간으로 사용할 수 있으며, 발견된 빈도는 상기 낯선 인물이 인식된 횟수와 상기 정체 시간의 비율일 수 있다. 본 발명의 다른 실시예에 있어서, 상기 낯선 인물이 발견된 위치 정보와 같은 다른 정보를 통계할 수도 있고, 여기서 상기 낯선 인물의 이미지를 수집한 카메라 모듈의 식별자 또는 위치에 따라 낯선 인물이 위치한 위치를 결정할 수 있음으로써, 낯선 인물의 행동 궤적을 획득할 수 있고, 통계된 정보에 대해 본 발명은 여기서 일일이 열거하지 않는다. 본 발명의 실시예에 있어서, 상기 정보를 전자 기기의 사용자 인터랙션 인터페이스에 전송할 수 있고, 상기 사용자 인터랙션 인터페이스를 통해 디스플레이하여, 각 프롬프트 정보를 용이하게 볼 수 있도록 한다.

또한, 이미지 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정할 경우, 상기 이미지 세트를 표기된 낯선 인물 라이브러리에 저장할 수 있고, 여기서 또한 각 이미지의 수집 시간, 수집 위치 및 수집 이미지의 카메라 모듈의 식별자 등 정보를 관련되게 저장할 수 있다.

다른 일부 가능한 실시예에 있어서, 상기 검증될 대상이 이미 표기된 낯선 인물인 것으로 결정할 경우, 낯선 인물로 표기된 횟수를 출력할 수 있고; 또는 상기 제2 검증 결과를 출력할 수 있다. 상기 제2 검증 결과는 검증될 대상을 연합 판정한 후 확인된 결과일 수 있고, 예를 들어 낯선 인물로 인식될 수 있거나 상기 대상을 인식하지 못하는 정보 등일 수 있다.

본 발명의 실시예를 더 상세하게 설명하기 위해, 아래에 본 발명의 실시예의 구체적인 과정을 예를 들어 설명한다. 도 8은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도이고, 도 9는 본 발명의 실시예의 이미지 처리 방법에 따른 낯선 인물 비교의 흐름도이다.

여기서, 먼저 화이트 리스트/블랙 리스트 인원 정보를 시스템에 기록하여 화이트/블랙 리스트 라이브러리를 형성하고, 화이트/블랙 리스트 라이브러리 내의 제1 대상은 라이브러리 내 인원으로 지칭되며, 라이브러리 내에 있지 않은 인원은 낯선 인물이다. 낯선 인물로 이미 표기된 대상 정보는 표기된 낯선 인물 라이브러리를 형성할 수 있고, 상기 두 개의 라이브러리는 타겟 라이브러리를 형성할 수 있다. 카메라 모듈에 의해 수집된 이미지를 획득하는 방식은 프론트엔드 카메라를 이용하여 수집된 인물 정보를 포함할 수 있고, 여기서 고화질 네트워크 카메라는 비디오 스트림을 수집하여 백엔드 서버에 다시 전송하거나, 얼굴 스냅샷 머신을 통해 얼굴 이미지를 수집하여 서버에 직접 다시 전송할 수도 있다. 서버가 비디오 스트림을 수신한 경우, 다시 전송된 비디오 스트림을 디코딩하여, 얼굴 검출 알고리즘 또는 신경 네트워크를 통해 얼굴 이미지 및 특징값(안면 특징)을 추출하며, 예를 들어 서버에 의해 수신된 것이 다시 전송된 얼굴 이미지이면, 비디오 스트림 디코딩을 스킵할 수 있으며, 얼굴 이미지의 특징값을 직접 검출한다. 여기서, 얼굴 검출을 실행하는 동시에 또한 상기 얼굴 이미지에서 마스크 착용 여부를 포함하는 특징을 검출할 수 있고, 마스크 착용에 부합되는 특징 이미지는 수상한 인원 이미지 라이브러리에 직접 저장될 수 있으며; 이와 동시에 얼굴 이미지의 각도, 품질 점수에 대해 연합 판정을 수행하며, 품질 요구에 부합되지 않는 얼굴 이미지는 폐기된다.

다음, 획득된 얼굴 이미지의 얼굴 특징값 및 낯선 인물 인식 시스템에서의 화이트/블랙 리스트 라이브러리를 비교할 수 있고, 제1 매칭 임계값(조정 가능함)보다 크면, 블랙 리스트 대상 또는 화이트 리스트 대상이 매칭되는 것으로 간주하며, 이때 상기 얼굴 이미지를 화이트/블랙 리스트 라이브러리의 비교 기록에 저장할 수 있다. 화이트/블랙 리스트 라이브러리의 특징이 매칭되지 않을 경우, 표기된 낯선 인물 라이브러리와 비교할 수 있고, 제2 매칭 임계값(조정 가능함)보다 크면 매칭 성공인 것으로 간주하며, 낯선 인물은 다시 한번 인식된다.

화이트/블랙 리스트 라이브러리와 매칭되지 않고, 표기된 낯선 인물 라이브러리에 매칭되지 않으면, 얼굴 이미지의 특징값을 임시 저장하여 처리 대기한다. 이때 제1 롤링 윈도우(rolling window)를 설정하는 것에 따라, 예를 들어 2-5초이며, 보관될 특징값을 배치 처리하고, 현재 롤링 윈도우의 모든 특징을 순회하며, 유사도 임계값(threshold Lv2)(조정 가능함)보다 크면, 동일한 사람이 동일한 시나리오에서 여러 번 촬영한 것으로 간주하며, 이때 병합, 중복 제거(예를 들어 요구에 부합되는 최초의 특징)할 수 있으며, 촬영된 기기의 식별자를 기록한다.

상이한 카메라 기기를 이용하여 복수 개의 제1 시간 범위 이후에 보류된 얼굴 이미지를 병합 및 클러스터링 분석을 수행하고, 예를 들어 제2 시간 범위는 상기 복수 개의 제1 시간 범위일 수 있으며, 제2 시간 범위는 10분으로 설정될 수 있으며, 상기 제2 시간 범위 내의 상이한 카메라 기기에 의해 보류된 얼굴 이미지 중 중복되는 인물 특징을 찾고 병합하며, 여기서 유사도 임계값(threshold Lv3)(조정 가능함)을 이용하여 클러스터링할 수 있으며, 이미지에 대응되는 촬영 기기의 식별자를 기록할 수 있으며, 이 단계의 얼굴 특징 원래값은 폐기되지 않고, 하나의 카테고리에 병합되어 저장된다.

상기 두 단계 이후, 유사도가 Lv2 및 Lv3보다 큰 특징값은 동일한 카테고리로 그룹화되고, 동일한 사람의 상이한 이미지 특징으로 간주되며, 이 사람의 모든 특징값, 즉 N1,N2,N3....Nk에 대해, 1부터 k의 각 특징값과 나머지 특징값 사이의 유사도 pi=(Ni*N1+Ni*N2+…+Ni*N(i-1)+Ni*N(i+1)...Ni*Nk)/k-1를 계산하고, 최대값을 취하며, 이 최대값이 임계값(threshold Lv4)(조절 가능함, 상기 Lv4가 Lv3보다 큼)보다 크거나 같으면, 이전 클러스터링이 확산되지 않은 것으로 간주하며, Ni에 대응되는 특징 및 얼굴 이미지는 효과적으로 보류되며, 디스플레이될 얼굴 이미지로 사용하며, threshold Lv4보다 작으면, 이전 클러스터링이 믿을 수 없는 것으로 간주하며, 모든 특징 및 대응하는 이미지는 폐기된다.

검증된 각 카테고리(즉 각 상이한 방문 인원)의 모든 특징값에 대한 판단은, 아래의 두 개의 조건을 기반으로 하며, i): n 개의 롤링 윈도우(rolling window) 내에 발견되는지 여부이고, n은 1 또는 2로 일반적으로 설정되며; ii): 기록된 기기 개수가 m보다 큰지 여부이며, m은 2로 일반적으로 설정되며; 모두 만족하면, 낯선 인물 판정 조건에 부합되고, 낯선 인물 라이브러리에 추가된다. 즉 이미지 세트에서의 이미지가 상이한 시간 범위 내에서 상이한 카메라 기기에 의해 촬영된 것인지 여부를 판단할 수 있고, 상이한 카메라 기기에 의해 촬영된 것이며, 낯선 인물 판정 조건에 부합되면, 획득된 낯선 인물 판정 조건을 만족하는 이미지 세트를 제2 데이터 라이브러리에 추가할 수 있으며, 그렇지 않은 경우, 이미지 세트를 폐기한다.

이상 단계에서 전부 저장된 특징값은 원래 얼굴 이미지와 일대일 대응될 수 있고, 시간, 주소(기기 넘버) 정보가 포함되며, 시스템은 이러한 정보에 따라 낯선 인물 이미지 검색하고, 이미지로 이미지를 검색하며, 낯선 인물 궤적을 검색하며, 형태 통계 등 응용을 수행한다.

상기 설명을 보다시피, 본 발명의 실시예는 복수 개의 카메라 모듈에 의해 수집된 이미지 정보에 기반하여 검증될 대상의 신분 권한을 판정할 수 있으므로, 오경보 확률을 효과적으로 저하시킬 수 있으며, 낯선 인원에 대한 인식 정확률을 대폭으로 향상시킨다. 또한, 본 발명의 실시예는 마스크, 모자를 착용한 인원이 수상한 인원 리스트에 직접 기록되는 것을 지원하고, 시간 장소를 동시에 기록하여, 후속 검색에 용이하며; 필요에 따라 마스크를 착용한 인원이 발견되면 알람이 울리는 업무적인 논리를 설정할 수도 있다. 낯선 인물 정보 기록, 통계를 지원하는 것은, 시간 장소에 따라 낯선 인물 이미지를 검색하고, 이미지로 이미지를 검색하며, 궤적을 검색하며, 정체 시간을 검색하며, 낯선 인물이 발견된 빈도를 검색하는 등 조작이다. 즉 본 발명의 실시예에 따라 출입하는 낯선 인물 정보를 효과적으로 기록할 수 있고, 정확률이 실제 응용 요구에 도달하여, 공공 장소에서 낯선 인물를 효과적으로 인식할 수 없는 문제를 해결한다. 실제 응용에 있어서, 관리 인원, 보안 요원이 낯선 인물이 정부 건물, 기업 공원, 호텔, 거주 지역, 사무실 건물 등 밀폐 장소에 출입하는 것을 통제하는 것에 도움을 주어, 장소의 안전성 및 질서감을 향상시킬 수 있다.

본 분야의 기술자는 구체적인 실시형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다.

이해할 수 있는 것은, 본 발명에서 언급한 상기 각 방법 실시예는, 원리 논리를 위반하지 않는 한, 상호 결합되어 결합된 실시예를 형성할 수 있고, 편폭의 제한으로, 본 발명에서 더이상 반복하여 설명하지 않는다.

또한, 본 발명은 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램을 더 제공하고, 상기 분배 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램은 모두 본 발명에서 제공한 어느 하나의 이미지 처리 방법을 구현하는데 사용될 수 있으며, 상응하는 기술방안 및 설명 및 참조 방법 부분의 상응하는 기재는, 여기서 더이상 반복하여 설명하지 않는다.

도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 블록도이고, 도 10에 도시된 바와 같이, 상기 장치는,

검증될 대상의 제1 이미지 및 제2 이미지를 획득하도록 구성된 획득 모듈(10) - 상기 제1 이미지는 제1 카메라 모듈에 의해 수집되고, 상기 제2 이미지는 적어도 하나의 제2 카메라 모듈에 의해 수집됨 - ;

신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하도록 구성된 제1 검증 모듈(20); 및

제1 검증 결과가 검증 실패인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정하도록 구성된 제2 검증 모듈(30)을 포함한다.

일부 가능한 실시형태에 있어서, 상기 타겟 라이브러리는 화이트/블랙 리스트 라이브러리를 포함하고;

상기 제1 검증 모듈은 또한 상기 제1 이미지의 제1 특징 데이터와 상기 화이트/블랙 리스트 라이브러리에서의 각 이미지의 특징 데이터를 비교하고;

상기 화이트/블랙 리스트 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재할 경우, 상기 제1 검증 결과가 검증 성공인 것으로 결정하고, 상기 제1 이미지에 대응되는 검증될 대상을 블랙 리스트 대상 또는 화이트 리스트 대상으로 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 타겟 라이브러리는 표기된 낯선 인물 라이브러리를 포함하고;

상기 제1 검증 모듈은 또한 획득된 상기 제1 이미지의 제1 특징 데이터와 상기 표기된 낯선 인물 라이브러리에서의 이미지의 특징 데이터를 비교하고;

상기 표기된 낯선 인물 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재하는 경우, 상기 제1 검증 결과는 검증 성공이고, 상기 제1 이미지에 대응되는 검증될 대상을 표기된 낯선 인물인 것으로 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 장치는 상기 표기된 낯선 인물 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재하는 경우, 상기 제1 이미지에 대응되는 검증될 대상이 낯선 인물로 표기되는 횟수를 통계하도록 구성된 통계 모듈을 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 제1 검증 모듈은 또한 상기 제1 검증 결과가 검증 성공인 경우, 상기 제1 이미지 및 상기 제1 이미지의 관련 정보를 매칭되는 특징 데이터에 대응되는 매칭 기록에 추가하기 위한 것이고, 여기서, 상기 제1 이미지의 관련 정보는 상기 제1 카메라 모듈에 의해 상기 제1 이미지가 수집되는 시간 정보, 상기 제1 카메라 모듈의 표식 정보 및 상기 제1 카메라 모듈의 위치 정보 중 적어도 하나를 포함한다.

일부 가능한 실시형태에 있어서, 상기 장치는 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하기 전, 제1 시간 범위 내의 검증 실패인 제1 이미지 및 제2 이미지 중 적어도 하나를 중복 제거 처리하여, 제1 시간 범위 내에서 각 검증될 대상에 대해 제1 기설정된 조건을 만족하는 제1 이미지 및 제2 이미지 중 적어도 하나를 획득하도록 구성된 중복 제거 모듈을 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 제2 시간 범위 내의 제1 검증 결과가 검증 실패인 제1 이미지와 제1 검증 결과가 검증 실패인 제2 이미지에 대해 클러스터링 처리를 수행하여, 각 검증될 대상에 대한 이미지 세트를 획득하고,

상기 이미지 세트 중 각 이미지와 상기 이미지 세트 중 다른 이미지의 유사도를 결정하며,

상기 이미지 세트 중 각 이미지에 대응되는 유사도에 기반하여 상기 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 결정하며,

상기 이미지 세트가 제2 기설정된 조건을 만족하는 경우, 상기 이미지 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 각 이미지 세트에서의 각 이미지의 특징 데이터와 전체 이미지의 특징 데이터의 스칼라곱의 합의값을 획득하고,

상기 합의값과 상기 이미지 세트에서의 특징 데이터의 개수에 기반하여 각 이미지와 나머지 이미지의 유사도를 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 상기 제2 시간 범위 내의 검증 실패인 제1 이미지 및 제2 이미지의 데이터 각각에 대응되는 제1 특징 데이터 및 제2 특징 데이터를 획득하고,

상기 제1 특징 데이터와 상기 제2 특징 데이터를 비교 매칭하여, 각 제1 특징 데이터 및 각 제2 특징 데이터가 동일한 검증될 대상에 대응되는지 여부를 결정하며;

상기 동일한 검증될 대상의 제1 특징 데이터 및 제2 특징 데이터를 클러스터링하여 상기 동일한 검증될 대상의 이미지 세트를 형성하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한,

상기 이미지 세트 중 각 이미지에 대응되는 유사도에서의 최대 유사도가 제1 유사도 임계값보다 큰 것;

상기 이미지 세트 중 각 이미지에 대응되는 유사도 중 제2 유사도 임계값보다 큰 유사도의 특징 데이터 개수가 기설정된 비율보다 큰 것; 및

상기 이미지 세트 중 각 이미지에 대응되는 유사도에서의 최소 유사도가 제3 유사도 임계값보다 큰 것 중 적어도 하나를 통해, 상기 이미지 세트 중 각 이미지에 대응되는 유사도에 기반하여 상기 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 결정하는 단계를 실행한다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 상기 이미지 세트 중 이미지 사이의 유사도가 기설정된 조건을 만족하지 않는 경우, 상기 이미지 세트에 대응되는 전체 이미지를 삭제하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 상기 특징 데이터 세트에서의 특징 데이터에 대응되는 이미지가 상이한 시간 범위 내에서 상이한 카메라 모듈을 통해 수집된 이미지인 경우, 상기 특징 데이터 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 획득 모듈은 또한 제1 카메라 모듈에 의해 수집된 제1 비디오 및 적어도 하나의 제2 카메라 모듈에 의해 수집된 제2 비디오를 각각 획득하여, 상기 제1 비디오에 대해 사전 처리를 수행하여 제3 이미지를 획득하고 상기 제2 비디오에 대해 사전 처리하여 제4 이미지를 획득하거나, 제3 이미지 및 제4 이미지를 수신하고,

제3 이미지에서 품질 요구를 만족하는 이미지를 상기 제1 이미지로 결정하고, 제4 이미지에서 품질 요구를 만족하는 이미지를 제2 이미지로 결정하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 획득 모듈은 또한 상기 검증될 대상의 제1 이미지 및 제2 이미지를 획득한 후, 또한 상기 제1 이미지의 제1 특징 데이터를 획득하고, 신분 검증을 실행하기 위해 상기 제1 특징 데이터와 타겟 라이브러리에서의 특징 데이터를 비교하여, 제1 검증 결과를 획득하기 전, 상기 제1 이미지 및 제2 이미지 중 적어도 하나에 기설정된 특징이 포함되는지 여부를 검출하며,

상기 제1 이미지 및 제2 이미지 중 적어도 하나에 기설정된 특징이 포함되는 경우에 응답하여, 상기 기설정된 특징을 포함하는 제1 이미지 및 제2 이미지 중 적어도 하나를 표기하기 위한 것이며, 여기서, 상기 기설정된 특징은 마스크, 모자, 선글라스 중 적어도 하나를 포함한다.

일부 가능한 실시형태에 있어서, 상기 장치는 상기 제1 검증 결과 또는 제2 검증 결과를 출력 및 프롬프트하도록 구성된 프롬프트 모듈을 더 포함한다.

일부 가능한 실시형태에 있어서, 상기 프롬프트 모듈은 또한 제1 검증 결과가 검증 성공인 경우에 응답하여, 기설정된 방식을 통해 상기 검증될 대상의 신분 및 관련 정보를 출력하고, 상기 검증될 대상이 표기된 낯선 인물인 것으로 결정할 경우, 낯선 인물로 표기된 횟수를 출력하거나;

상기 제2 검증 결과를 출력하기 위한 것이다.

일부 가능한 실시형태에 있어서, 상기 제2 검증 모듈은 또한 제2 검증 결과가 검증될 대상이 낯선 인물인 경우에 응답하여, 상기 검증될 대상에 대응되는 제1 이미지, 제2 이미지 및 관련 정보를 상기 타겟 라이브러리에 저장하고, 사용자 인터랙션 인터페이스를 통해 낯선 인물로 판정된 검증 결과, 통계 정보 및 프롬프트 정보를 디스플레이하도록 제어하기 위한 것이다.

일부 실시예에 있어서, 본 발명의 실시예에서 제공한 장치가 갖고 있는 기능 또는 포함하는 모듈은 전술한 방법 실시예에서 설명한 방법을 실행하는데 사용될 수 있고, 그 구체적인 구현은 전술한 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 실시예는 또한 컴퓨터 프로그램 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 경우 상기 이미지 처리 방법을 구현한다. 컴퓨터 판독 가능한 저장 매체는 비휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.

본 발명의 실시예는 또한 전자 기기를 제공하고, 상기 전자 기기는 프로세서; 및 프로세서 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며; 여기서, 상기 프로세서는 상기 이미지 처리 방법을 실행하도록 구성된다.

전자 기기는 단말, 서버 또는 다른 형태의 기기로 제공될 수 있다.

도 11은 일 예시적 실시예에 따라 도시한 전자 기기(800)의 블록도이다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대용 단말 등 단말일 수 있다.

도 11를 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(802)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(800)의 전체적인 동작을 제어한다. 처리 컴포넌트(802)는, 상기 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 실행하는 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 상호 작용을 용이하게 하기 위해, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 상호 작용을 용이하게 하기 위해, 멀티미디어 모듈을 포함할 수 있다.

메모리(804)는 전자 기기(800)의 동작을 지원하기 위해, 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 전자 기기(800)에서 동작하는 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 판독 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 판독 전용 메모리(Programmable Read Only Memory, PROM), 판독 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비 휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전력 관리 시스템, 하나 또는 복수 개의 전력 및 전자 기기(800)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(808)는 상기 전자 기기(800) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 모니터(Liquid Crystal Display, LCD) 및 터치 패널(Touch Panel, TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라, 상기 터치나 슬라이드 동작과 관련된 지속 시간 및 압력을 검출할 수 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(810)는 오디오 신호를 출력하는 것 및 입력하는 것 중 적어도 하나를 수행하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크로폰(MICrophone, MIC)을 포함하며, 전자 기기(800)가 콜 모드, 녹음 모드 및 오디오 인식 모드와 같은 동작 모드에 있을 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 추가로 저장되거나 통신 컴포넌트(816)에 의해 전송될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

I/O 인터페이스(812)는 처리 컴포넌트(802)와 외부 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼에는 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼이 포함되지만 이에 한정되지 않는다.

센서 컴포넌트(814)는 전자 기기(800)를 위한 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있으며, 예를 들어, 상기 컴포넌트는 전자 기기(800)의 모니터와 키패드이며, 센서 컴포넌트(814)는 전자 기기(800) 또는 전자 기기(800)에서 하나의 컴포넌트의 위치 변화, 사용자와 전자 기기(800) 접촉의 존재 유무, 전자 기기(800) 방향 또는 가속/감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 그 어떤 물리적 접촉이 없이 근처의 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 이미징 애플리케이션에 사용하기 위한 상보성 금속 산화막 반도체(Complementary Metal Oxide Semiconductor, CMOS) 이미지 센서 또는 전하 결합 소자(Charged Coupled Device, CCD) 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 전자 기기(800)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 하나의 예시적 실시예에 있어서, 통신 컴포넌트(816)는 방송 채널에 의해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 하나의 예시적 실시예에 있어서, 상기 통신 컴포넌트(816)는 근거리 통신을 추진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역 (Ultra Wideband, UWB) 기술, 블루투스 기술 및 다른 기술에 기반하여 구현될 수 있다.

예시적 실시예에 있어서, 전자 기기(800)는 하나 또는 복수 개의 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 장치(Digital Signal Processor Device, DSPD), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 전자 기기(800)는 상기 이미지 처리 방법을 실행하기 위한 것이다.

예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(800)의 프로세서(820)에 의해 실행된다.

도 12는 일 예시적 실시예에 따라 도시한 전자 기기(1900)의 블록도이다. 예를 들어, 전자 기기(1900)는 하나의 서버로 제공될 수 있다. 도 12를 참조하면, 전자 기기(1900)는 처리 컴포넌트(1922)를 포함하고, 또한 하나 또는 복수 개의 프로세서 및 메모리(1932)로 대표되는 메모리 자원을 포함하고, 처리 컴포넌트(1922), 예를 들어 애플리케이션 프로그램에 의해 실행될 수 있는 명령어를 저장하기 위한 것이다. 메모리(1932)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각 명령어 세트에 대응되는 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1922)는 명령어를 실행하여, 상기 얼굴 인식 방법을 실행하도록 구성된다.

전자 기기(1900)는 전자 기기(1900)의 전원 관리를 실행하도록 구성된 하나의 전력 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1950) 및 하나의 입력 출력(I/O) 인터페이스(1958)를 더 포함할 수 있다. 전자 기기(1900)는 예를 들어 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것 등과 같은 메모리(1932)에 저장된 것에 기반한 운영 시스템을 조작할 수 있다.

예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(1932)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행된다.

본 발명은 시스템, 방법 및 컴퓨터 프로그램 제품 중 적어도 하나일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능한 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능한 저장 매체에는 프로세서가 본 발명의 각 측면을 구현하도록 하는 컴퓨터 판독 가능한 프로그램 명령어가 존재한다.

컴퓨터 판독 가능한 저장 매체는 명령어 실행 기기에 의해 사용되는 명령어를 유지 및 저장할 수 있는 형태가 존재하는 기기일 수 있다. 컴퓨터 판독 가능한 저장 매체는 예를 들어 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 전술한 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기의 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능한 저장 매체의 더 구체적인 예는(비제한 리스트), 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(Random Access Memory, RAM), 판독 전용 메모리(Read Only Memory, ROM) 및 소거 가능하고 프로그램 가능한 판독 전용 메모리((Erasable Programmable Read Only Memory, EPROM) 또는 플래시 메모리), 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 휴대용 컴팩트 디스크 판독 전용 메모리(Portable Compact Disk Read-Only Memory, CD-ROM), DVD (Digital Versatile Disk), 메모리 스틱, 플로피 디스크, 명령어가 저장된 장치와 같은 기계적 코딩 장치 홀 카드 또는 그루브에서의 볼록한 구조 및 전술한 임의의 적절한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능한 저장 매체는 무선 전자파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통한 광펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은 순간 신호 자체로 해석되지 않아야 한다.

여기서 설명한 컴퓨터 판독 가능한 프로그램 명령어는 컴퓨터 판독 가능한 저장 매체로부터 각 컴퓨팅/처리 기기로 다운 로드될 수 있거나, 인터넷, 근거리 통신망, 광역 통신망 및 무선 네트워크 중 적어도 하나와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운 로드될 수 있다. 네트워크는 동 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및 에지 서버 중 적어도 하나를 포함 할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능한 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능한 저장 매체에 저장하기 위해, 컴퓨터 판독 가능한 프로그램 명령어를 전달한다.

본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(Instruction Set Architecture, ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 객체 코드일 수 있고, 상기 프로그래밍 언어에는 스몰 토크, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 언어 또는 유사한 프로그래밍 언어와 같은 기존 프로그래밍 언어가 포함된다. 컴퓨터 판독 가능 프로그램 명령어는 사용자 컴퓨터에서 완전히 실행되거나, 사용자 컴퓨터에서 부분적으로 실행되거나, 독립적인 소프트웨어 패키지로서 실행되거나, 사용자 컴퓨터에서 일부가 실행되고 원격 컴퓨터에서 일부가 실행되거나, 원격 컴퓨터 또는 서버에서 완전히 실행될 수있다. 원격 컴퓨터와 관련된 상황에서 원격 컴퓨터는 근거리 통신망(Local Area Network, LAN) 또는 광대역 통신망(Wide Area Network, WAN)을 포함하는 모든 타입의 네트워크를 통해 사용자 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결). 일부 실시예에 있어서, 프로그램 가능한 논리 회로, 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 프로그램 가능한 논리 어레이 (Programmable Logic Array, PLA)와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 특별화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 실행할 수 있음으로써, 본 발명의 다양한 측면을 구현한다.

여기서 본 발명의 다양한 측면은 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 블록도 중 적어도 하나를 참조하여 설명하였다. 흐름도 및 블록도 중 적어도 하나의 각 블록 및 흐름도 및 블록도 중 적어도 하나의 블록들의 조합은, 컴퓨터 판독 가능 프로그램 명령어에 의해 모두 구현될 수 있음을 이해해야 한다.

이러한 컴퓨터 판독 가능한 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 제공 될 수 있음으로써, 이에 의해 이러한 명령어가 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 의해 실행되도록 하는 기계가 생성되고, 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 장치가 생성된다. 이러한 컴퓨터 판독 가능한 프로그램 명령어를 컴퓨터 판독 가능한 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그램 가능한 데이터 처리 장치 및 다른 기기가 특정한 방식으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능한 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 명령어를 포함한다.

컴퓨터 판독 가능한 프로그램 명령어는 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에 로딩될 수 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 수행되도록 함으로써, 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 실행되는 명령어는 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현한다.

도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 동작을 디스플레이한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 실행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 다른 순서로 발생될 수도 있다. 예를 들어, 두 개의 연속적인 블록은 실제로 병렬로 실행될 수 있으며, 때로는 관련 기능에 따라 역순으로 실행될 수도 있으며, 이는 관련된 기능에 의해 결정된다. 또한 유의해야 할 것은, 블록도 및 흐름도 중 적어도 하나에서의 각 블록, 및 블록도 및 흐름도 중 적어도 하나에서의 블록의 조합은, 지정된 기능 또는 동작의 전용 하드웨어 기반의 시스템에 의해 구현될 수 있거나, 전용 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.

이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 비철저하며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 한, 많은 수정 및 변경은 본 기술분야의 기술자에게는 자명한 것이다. 본 명세서에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 본 기술분야의 기술자가 본 명세서에 개시된 각 실시예를 이해할 수 있도록 의도된다.

Claims (36)

1. 이미지 처리 방법으로서,
   검증될 대상의 제1 이미지 및 제2 이미지를 획득하는 단계 - 상기 제1 이미지는 제1 카메라 모듈에 의해 수집되고, 상기 제2 이미지는 적어도 하나의 제2 카메라 모듈에 의해 수집됨 - ;
   신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하는 단계; 및
   제1 검증 결과가 검증 실패인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정하는 단계를 포함하고,
   상기 제1 검증 결과가 검증 실패인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정하는 단계는,
   제2 시간 범위 내의 제1 검증 결과가 검증 실패인 제1 이미지와 제1 검증 결과가 검증 실패인 제2 이미지에 대해 클러스터링 처리를 수행하여, 각 검증될 대상에 대한 이미지 세트를 획득하는 단계;
   상기 이미지 세트 중 각 이미지와 상기 이미지 세트 중 다른 이미지의 유사도를 결정하는 단계;
   상기 이미지 세트 중 각 이미지에 대응되는 유사도에 기반하여 상기 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 결정하는 단계; 및
   상기 이미지 세트가 제2 기설정된 조건을 만족하는 경우, 상기 이미지 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
2. 제1항에 있어서,
   상기 타겟 라이브러리는 화이트 및 블랙 리스트 라이브러리를 포함하고;
   상기 신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하는 단계는,
   상기 제1 이미지의 제1 특징 데이터와 상기 화이트 및 블랙 리스트 라이브러리에서의 각 이미지의 특징 데이터를 비교하는 단계; 및
   상기 화이트 및 블랙 리스트 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재할 경우, 상기 제1 검증 결과가 검증 성공인 것으로 결정하고, 상기 제1 이미지에 대응되는 검증될 대상을 블랙 리스트 대상 또는 화이트 리스트 대상으로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
3. 제1항에 있어서,
   상기 타겟 라이브러리는 표기된 낯선 인물 라이브러리를 포함하고;
   상기 신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하는 단계는,
   획득된 상기 제1 이미지의 제1 특징 데이터와 상기 표기된 낯선 인물 라이브러리에서의 이미지의 특징 데이터를 비교하는 단계; 및
   상기 표기된 낯선 인물 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재하는 경우, 상기 제1 검증 결과는 검증 성공이고, 상기 제1 이미지에 대응되는 검증될 대상을 표기된 낯선 인물인 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
4. 제3항에 있어서,
   상기 표기된 낯선 인물 라이브러리에 상기 제1 특징 데이터와 매칭되는 특징 데이터가 존재하는 경우, 상기 이미지 처리 방법은,
   상기 제1 이미지에 대응되는 검증될 대상이 낯선 인물로 표기되는 횟수를 통계하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
5. 제1항에 있어서,
   상기 이미지 처리 방법은,
   상기 제1 검증 결과가 검증 성공인 경우, 상기 제1 이미지 및 상기 제1 이미지의 관련 정보를 매칭된 특징 데이터에 대응되는 매칭 기록에 추가하는 단계 - 상기 제1 이미지의 관련 정보는 상기 제1 카메라 모듈에 의해 상기 제1 이미지가 수집되는 시간 정보, 상기 제1 카메라 모듈의 표식 정보 및 상기 제1 카메라 모듈의 위치 정보 중 적어도 하나를 포함함 - 를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
6. 제1항에 있어서,
   상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하기 전, 상기 이미지 처리 방법은,
   제1 시간 범위 내의 검증 실패인 제1 이미지 및 제2 이미지 중 적어도 하나를 중복 제거 처리하여, 제1 시간 범위 내에서 각 검증될 대상에 대해 제1 기설정된 조건을 만족하는 제1 이미지 및 제2 이미지 중 적어도 하나를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
7. 삭제
8. 제1항에 있어서,
   상기 이미지 세트 중 각 이미지와 다른 이미지의 유사도를 결정하는 단계는,
   각 이미지 세트에서의 각 이미지의 특징 데이터와 전부 이미지의 특징 데이터의 스칼라곱의 합의값을 획득하는 단계; 및
   상기 합의값과 상기 이미지 세트에서의 특징 데이터의 개수에 기반하여 각 이미지와 나머지 이미지의 유사도를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
9. 제1항에 있어서,
   상기 제2 시간 범위 내의 제1 검증 결과가 검증 실패인 제1 이미지와 제1 검증 결과가 검증 실패인 제2 이미지에 대해 클러스터링 처리를 수행하여, 각 검증될 대상에 대한 이미지 세트를 획득하는 단계는,
   상기 제2 시간 범위 내의 검증 실패인 제1 이미지 및 제2 이미지의 데이터 각각에 대응되는 제1 특징 데이터 및 제2 특징 데이터를 획득하는 단계;
   상기 제1 특징 데이터와 상기 제2 특징 데이터를 비교 매칭하여, 각 제1 특징 데이터 및 각 제2 특징 데이터가 동일한 검증될 대상에 대응되는지 여부를 결정하는 단계; 및
   상기 동일한 검증될 대상의 제1 특징 데이터 및 제2 특징 데이터를 클러스터링하여 상기 동일한 검증될 대상의 이미지 세트를 형성하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
10. 제1항에 있어서,
    상기 이미지 세트 중 각 이미지에 대응되는 유사도에 기반하여 상기 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 결정하는 단계는,
    상기 이미지 세트 중 각 이미지에 대응되는 유사도에서의 최대 유사도가 제1 유사도 임계값보다 큰 것;
    상기 이미지 세트 중 각 이미지에 대응되는 유사도 중 제2 유사도 임계값보다 큰 유사도의 특징 데이터 개수가 기설정된 비율보다 큰 것; 및
    상기 이미지 세트 중 각 이미지에 대응되는 유사도에서의 최소 유사도가 제3 유사도 임계값보다 큰 것 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
11. 제1항에 있어서,
    상기 제1 검증 결과가 검증 실패인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정하는 단계는,
    상기 이미지 세트 중 이미지 사이의 유사도가 기설정된 조건을 만족하지 않는 경우, 상기 이미지 세트에 대응되는 전부 이미지를 삭제하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
12. 제1항에 있어서,
    상기 이미지 세트가 제2 기설정된 조건을 만족하는 경우, 상기 이미지 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정하는 단계는,
    특징 데이터 세트에서의 특징 데이터에 대응되는 이미지가 상이한 시간 범위 내에서 상이한 카메라 모듈을 통해 수집된 이미지인 경우, 상기 특징 데이터 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
13. 제1항에 있어서,
    상기 검증될 대상의 제1 이미지 및 제2 이미지를 획득하는 단계는,
    제1 카메라 모듈에 의해 수집된 제1 비디오 및 적어도 하나의 제2 카메라 모듈에 의해 수집된 제2 비디오를 각각 획득하여, 상기 제1 비디오에 대해 사전 처리를 수행하여 제3 이미지를 획득하고 상기 제2 비디오에 대해 사전 처리하여 제4 이미지를 획득하거나, 제3 이미지 및 제4 이미지를 수신하는 단계; 및
    제3 이미지에서 품질 요구를 만족하는 이미지를 상기 제1 이미지로 결정하고, 제4 이미지에서 품질 요구를 만족하는 이미지를 제2 이미지로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
14. 제13항에 있어서,
    상기 검증될 대상의 제1 이미지 및 제2 이미지를 획득한 후, 또한 상기 제1 이미지의 제1 특징 데이터를 획득하고, 신분 검증을 실행하기 위해 상기 제1 특징 데이터와 타겟 라이브러리에서의 특징 데이터를 비교하여, 제1 검증 결과를 획득하기 전, 상기 이미지 처리 방법은,
    상기 제1 이미지 및 제2 이미지 중 적어도 하나에 기설정된 특징이 포함되는지 여부를 검출하는 단계; 및
    상기 제1 이미지 및 제2 이미지 중 적어도 하나에 기설정된 특징이 포함되는 경우에 응답하여, 상기 기설정된 특징을 포함하는 제1 이미지 및 제2 이미지 중 적어도 하나를 표기하는 단계 - 상기 기설정된 특징은 마스크, 모자, 선글라스 중 적어도 하나를 포함함 - 를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
15. 제1항에 있어서,
    상기 이미지 처리 방법은,
    상기 제1 검증 결과 또는 제2 검증 결과를 출력 및 프롬프트하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
16. 제15항에 있어서,
    상기 제1 검증 결과 또는 제2 검증 결과를 출력 및 프롬프트하는 단계는,
    제1 검증 결과가 검증 성공인 경우에 응답하여, 기설정된 방식을 통해 상기 검증될 대상의 신분 및 관련 정보를 출력하고, 상기 검증될 대상이 표기된 낯선 인물인 것으로 결정할 경우, 낯선 인물로 표기된 횟수를 출력하는 단계; 또는
    상기 제2 검증 결과를 출력하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
17. 제1항에 있어서,
    상기 이미지 처리 방법은,
    제2 검증 결과가 검증될 대상이 낯선 인물인 경우에 응답하여, 상기 검증될 대상에 대응되는 제1 이미지, 제2 이미지 및 관련 정보를 상기 타겟 라이브러리에 저장하는 단계; 및
    사용자 인터랙션 인터페이스를 통해 낯선 인물로 판정된 검증 결과, 통계 정보 및 프롬프트 정보를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
18. 이미지 처리 장치로서,
    검증될 대상의 제1 이미지 및 제2 이미지를 획득하도록 구성된 획득 모듈 - 상기 제1 이미지는 제1 카메라 모듈에 의해 수집되고, 상기 제2 이미지는 적어도 하나의 제2 카메라 모듈에 의해 수집됨 - ;
    신분 검증을 실행하기 위해 상기 제1 이미지와 타겟 라이브러리에서의 이미지 데이터를 비교하여, 제1 검증 결과를 획득하도록 구성된 제1 검증 모듈; 및
    제1 검증 결과가 검증 실패인 경우에 응답하여, 상기 제1 이미지와 상기 제2 이미지를 이용하여 연합 검증하고, 상기 연합 검증된 제2 검증 결과에 따라 상기 검증될 대상의 신분을 결정하도록 구성된 제2 검증 모듈을 포함하고;
    상기 제2 검증 모듈은 또한 제2 시간 범위 내의 제1 검증 결과가 검증 실패인 제1 이미지와 제1 검증 결과가 검증 실패인 제2 이미지에 대해 클러스터링 처리를 수행하여, 각 검증될 대상에 대한 이미지 세트를 획득하고, 상기 이미지 세트 중 각 이미지와 상기 이미지 세트 중 다른 이미지의 유사도를 결정하며, 상기 이미지 세트 중 각 이미지에 대응되는 유사도에 기반하여 상기 이미지 세트가 제2 기설정된 조건을 만족하는지 여부를 결정하며, 상기 이미지 세트가 제2 기설정된 조건을 만족하는 경우, 상기 이미지 세트에 대응되는 검증될 대상이 낯선 인물인 것으로 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
19. 전자 기기로서,
    프로세서; 및
    프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고;
    상기 프로세서는, 제1항 내지 제6항 및 제8항 내지 제17항 중 어느 한 항에 따른 이미지 처리 방법을 실행하도록 구성된 것을 특징으로 하는 전자 기기.
20. 컴퓨터 프로그램 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 경우 제1항 내지 제6항 및 제8항 내지 제17항 중 어느 한 항에 따른 이미지 처리 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제

Images