KR20220144269A - 인공지능 기반 객체 재인식 장치 - Google Patents

인공지능 기반 객체 재인식 장치 Download PDF

Info

Publication number
KR20220144269A
KR20220144269A KR1020210050750A KR20210050750A KR20220144269A KR 20220144269 A KR20220144269 A KR 20220144269A KR 1020210050750 A KR1020210050750 A KR 1020210050750A KR 20210050750 A KR20210050750 A KR 20210050750A KR 20220144269 A KR20220144269 A KR 20220144269A
Authority
KR
South Korea
Prior art keywords
images
similarity
recognition
resolution
candidate
Prior art date
Application number
KR1020210050750A
Other languages
English (en)
Other versions
KR102499861B1 (ko
Inventor
박윤하
김대수
김종일
서우석
Original Assignee
주식회사우경정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사우경정보기술 filed Critical 주식회사우경정보기술
Priority to KR1020210050750A priority Critical patent/KR102499861B1/ko
Publication of KR20220144269A publication Critical patent/KR20220144269A/ko
Application granted granted Critical
Publication of KR102499861B1 publication Critical patent/KR102499861B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 속성분석 및 초해상화(Super-Resolution) 알고리즘을 적용하여 정확도를 향상시킨 인공지능 기반 객체 재인식 장치에 관한 것으로,
본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치는,
복수개의 이미지들 중에서 특정 객체를 포함하는 이미지들을 검출하여 객체 이미지 그룹을 생성하는 객체 검출부; 상기 객체 이미지 그룹의 이미지들과 사용자가 찾고자 하는 재인식 대상 객체를 이용하여 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성하는 객체 재인식 모델부; 선별된 후보 객체 이미지들과 재인식 대상 객체에 대해 초해상화를 수행하여 고해상도 이미지들로 변환하는 초해상화 모델부; 및, 상기 변환된 고해상도 이미지에서 특징이 되는 주요 요소들을 검출하고, 검출된 주요 요소들을 분석하여 얻은 특징 벡터를 이용하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지 그룹의 이미지들에 대해 유사도 순위를 결정하는 속성분석 모델부;를 포함한다.

Description

인공지능 기반 객체 재인식 장치 {Object re-recognition device based on artificial intelligence}
본 발명은 인공지능 기반 객체 재인식 장치에 관한 것으로, 보다 구체적으로는 속성분석 및 초해상화(Super-Resolution) 알고리즘을 적용하여 정확도를 향상시킨 인공지능 기반 객체 재인식 장치에 관한 것이다.
사건, 사고 등을 탐지하고 증거를 남기기 위해 수많은 CCTV가 보급되어 있다. 설치된 CCTV에 비해 이를 관리하는 인력은 매우 적어 사건 발생 시 CCTV 영상을 사람이 직접 분석하는 것은 많은 시간이 소요된다. 이러한 문제를 해결하기 위해 최근에는 객체 검출에 인공지능을 활용하고 있다. 뿐만 아니라 검출된 객체를 식별하는 재인식 기술도 활발하게 연구되고 있다. 하지만 객체 검출 기술에 비해 재인식 기술의 성장이 매우 더딘 상태이다. 이에 재인식 기술의 경우 지속적인 연구를 통해 고도화가 필요한 상황이다.
기존 객체 재인식 기술 연구들은 머신러닝을 통해 얻은 특징값들을 비교하여 재인식을 수행한다. 객체의 전반적인 이미지에서 특징(벡터값)을 추출하여 유사도(거리)를 비교하는 방식을 사용한다. 찾고자 하는 객체의 요소와 일치하는 부분이 많을수록 높은 유사도를 갖게 된다.
특징 추출시, 크기가 큰 요소에 비해 작은 요소들의 비중이 낮아지는 문제가 생긴다. 반지, 귀걸이와 같이 중요하지만 크기가 작은 요소들은 특징 추출 시 비중이 낮아 재인식 성능이 낮아지게 된다. 즉, 특징추출시 작은 요소의 비중을 높인다면 재인식 성능을 개선할 수 있다.
이러한 문제점을 보완한 연구 중 하나로 OS-Net(Omni-Scale Feature Learning for Person Re-Identification. (https://arxiv.org/abs/1905.00953))이 있다. OS-Net은 다양한 크기의 요소로부터 특징을 구하여 취합하는 방법을 사용한다. OS-Net은 기존 연구보다 작은 요소의 특징 추출 비중을 높여 성능을 개선하였다. OS-Net은 보다 정확한 결과 도출을 위해 여러 결과를 구하여 사용자에게 제공한다. 사용자가 찾고자 하는 객체와 유사도가 높은 객체 n개를 사용자에게 반환하며 사용자가 n개의 객체 중 1개를 선택하는 방식을 사용한다. 이는 CCTV 환경에서 재인식시 기본적으로 검출되는 객체 크기가 작은 문제로 인해 재인식 성능이 떨어지기 때문이다.
대부분의 재인식 기술은 저해상도 이미지를 사용시 성능이 떨어지는 문제를 갖는다. 재인식시 객체 이미지로부터 추출한 특징값을 비교하기 때문에 이미지의 크기는 성능에 많은 영향을 주게 된다. 보다 정확하게 재인식을 수행하기 위해서는 저해상도 이미지가 갖는 근본적인 문제를 해결해야 한다.
한국등록특허 10-2044914호
본 발명은 속성분석 및 초해상화(Super-Resolution) 알고리즘을 적용하여 정확도를 향상시킨 인공지능 기반 객체 재인식 장치를 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치는,
복수개의 이미지들 중에서 특정 객체를 포함하는 이미지들을 검출하여 객체 이미지 그룹을 생성하는 객체 검출부; 상기 객체 이미지 그룹의 이미지들과 사용자가 찾고자 하는 재인식 대상 객체를 이용하여 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성하는 객체 재인식 모델부; 선별된 후보 객체 이미지들과 재인식 대상 객체에 대해 초해상화를 수행하여 고해상도 이미지들로 변환하는 초해상화 모델부; 및, 상기 변환된 고해상도 이미지에서 특징이 되는 주요 요소들을 검출하고, 검출된 주요 요소들을 분석하여 얻은 특징 벡터를 이용하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지 그룹의 이미지들에 대해 유사도 순위를 결정하는 속성분석 모델부;를 포함한다.
본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치에 있어서, 상기 객체 재인식 모델부는, 하나의 이미지를 복수개의 관심 영역으로 분류하고, 분류된 관심영역으로부터 특징벡터를 추출하는 특징 추출부와, 하나의 벡터공간에 객체 이미지들을 표상하는 제1 특징벡터들을 입력하고, 재인식 대상 객체를 표상하는 제2 특징벡터를 입력한 후, 상기 제1 특징벡터들과 상기 제2 특징벡터 사이의 거리를 계산하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성하는 후보 객체 선별부를 포함한다.
본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치에 있어서, 상기 후보 객체 이미지 그룹은, 유사도가 높은 순으로 정렬된 특정 개수의 객체 이미지들 또는 기준치 이상의 유사도를 갖는 객체 이미지들을 포함한다.
본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치에 있어서, 상기 속성분석 모델부는, 상기 재인식 대상 객체의 이미지에 포함된 복수개의 주요 요소와 상기 후보 객체 이미지들에 포함된 복수개의 주요 요소를 검출하는 검출 모델과, 상기 검출 모델에서 검출된 상기 복수개의 주요 요소로부터 재인식 대상 객체 특징벡터와 후보 객체 특징벡터를 추출하고 이를 이용하여 유사도를 산출하는 속성분석 모델을 포함한다.
본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치에 있어서, 상기 속성분석 모델은, 하나의 벡터공간을 생성하고, 상기 벡터공간에 상기 재인식 대상 객체 특징벡터와 상기 후보 객체 특징벡터를 입력하고, 상기 재인식 대상 객체 특징벡터와 상기 후보 객체 특징벡터 사이의 거리를 계산하여 최종 유사도를 산출할 수 있다.
본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치에 있어서, 상기 속성분석 모델은, 최종 유사도가 높은 순으로 정렬된 특정 개수의 최종 후보 객체 이미지들 또는 기준치 이상의 최종 유사도를 갖는 최종 후보 객체 이미지들을 결정할 수 있다.
기타 본 발명의 다양한 측면에 따른 구현예들의 구체적인 사항은 이하의 상세한 설명에 포함되어 있다.
본 발명의 실시 형태에 따르면, 속성분석 및 초해상화(Super-Resolution) 알고리즘을 적용하여 재인식의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 객체 재인식 장치가 도시된 도면이다.
도 2는 객체 검출부에서 객체를 검출하는 과정을 예시하는 것으로, 객체가 사람인 경우를 예시한 도면이다.
도 3은 객체 재인식 모델부가 도시된 도면이다.
도 4는 객체 재인식 모델부의 동작 과정이 도시된 도면이다.
도 5는 초해상화 모델부가 도시된 도면이다.
도 6은 초해상화 모델부 적용 결과가 예시된 도면이다.
도 7은 속성분석 모델부가 도시된 도면이다.
도 8은 속성분석 모델부의 동작 과정이 도시된 도면이다.
도 9는 기존의 객체 재인식 방식(도 9의 (a))과 본 발명의 객체 재인식 방식(도 9의 (b))의 차이점을 대비하여 보여주는 도면이다.
도 10은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 객체 재인식 장치를 설명한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 객체 재인식 장치가 도시된 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공지능 기반 객체 재인식 장치는, 객체 검출부(100), 객체 재인식 모델부(200), 초해상화 모델부(300), 속성분석 모델부(400)를 포함한다.
객체 검출부(100)는 복수개의 이미지들 중에서 특정 객체를 포함하는 이미지들을 검출하여 객체 이미지 그룹을 생성한다.
객체 재인식 모델부(200)는 객체 이미지 그룹의 이미지들과 사용자가 찾고자 하는 재인식 대상 객체(M)를 이용하여 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성한다.
초해상화 모델부(300)는 선별된 후보 객체 이미지들과 재인식 대상 객체(M)에 대해 초해상화를 수행하여 고해상도 이미지들로 변환한다.
속성분석 모델부(400)는 변환된 고해상도 이미지들에서 복수개의 주요 요소들을 검출하고, 검출된 복수개의 주요 요소들을 분석하여 얻은 재인식 대상 객체 특징벡터와 후보 객체 특징벡터를 이용하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지 그룹의 이미지들에 대해 유사도 순위를 결정하여 사용자에게 제공한다.
이하, 각 부(100 ~ 400)에 대해 도 2 내지 도 8을 참조하여 설명한다.
도 2는 객체 검출부에서 객체를 검출하는 과정을 예시하는 것으로, 객체가 사람인 경우를 예시한 도면이다.
객체 검출부(100)는, 영상 장치, 예를 들어 복수개의 CCTV로부터 제공되는 복수개의 이미지들 중에서 찾고자 하는 특정 객체를 포함하는 복수개의 이미지들을 검출한다.
예를 들어, 도 2에 예시된 바와 같이, 특정 사람을 재인식 대상 객체(M)로 하는 경우, 객체 검출부(100)는 차량과 사람이 있는 원본 이미지(I)에서 사람만을 객체로 하여 검출(M1, M2, M3)하고, 개별 사람마다 하나의 객체 이미지를 생성한 후, 생성된 객체 이미지를 모아서 객체 이미지 그룹(G1)을 생성한다.
객체 검출부(100)에 의해 생성된 객체 이미지 그룹(G1)은 객체 재인식 모델부(200)로 전달된다.
도 3은 객체 재인식 모델부가 도시된 도면이고, 도 4는 객체 재인식 모델부의 동작 과정이 도시된 도면이다.
도 3 및 도 4에 도시된 바와 같이, 객체 재인식 모델부(200)는 특징 추출부(210)와 후보 객체 선별부(220)를 포함한다.
특징 추출부(210)는 하나의 이미지를 복수개의 관심 영역으로 분류하고, 분류된 관심영역으로부터 추출한 특징값을 특징벡터로 변환할 수 있다. 특징 추출부(210)는 객체 검출부(100)에서 생성된 객체 이미지들을 입력 받아서 특징추출 모델로 개개의 객체들의 특징값을 추출하고 특징벡터로 변환할 수 있다. 또한, 특징 추출부(210)는 사용자가 찾고자 하는 재인식 대상 객체(M)의 이미지를 입력 받아서 재인식 대상 객체(M)의 특징값을 추출하고 특징벡터로 변환할 수 있다. 여기서, 특징벡터는 분류된 관심 영역에 대하여 픽셀 단위 특징값 추출과 컨볼루셔널 기반 특징값 추출을 수행한 후 특정 크기의 차원으로 고정하는 재구성을 수행하여 특징벡터로서 표현할 수 있다.
후보 객체 선별부(220)는 하나의 벡터공간에 객체 이미지들을 표상하는 제1 특징벡터들을 입력한다.(221) 또한, 후보 객체 선별부(220)는 동일한 벡터공간에 재인식 대상 객체(M)를 표상하는 제2 특징벡터를 입력한다.(222) 후보 객체 선별부(220)는 제1 특징벡터들과 제2 특징벡터 사이의 거리를 계산하여 유사도를 산출한다.(223) 특징벡터들 간의 거리가 작을수록 유사도가 크고, 거리가 클수록 유사도는 작아진다.
후보 객체 선별부(220)는 유사도가 높은 객체 이미지들을 포함하는 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹(G2)을 생성한다. 선별된 후보 객체 이미지들은 유사도가 높은 순으로 정렬된 특정 개수의 이미지일 수 있다. 예를 들어, 유사도가 높은 순으로 정렬된 100개의 이미지일 수 있다.
또는, 후보 객체 선별부(220)는 기준치 이상의 유사도를 갖는 객체 이미지를 후보 객체 이미지로 선별하여 후보 객체 이미지 그룹(G2)을 생성할 수 있다. 유사도의 기준치는 통계적인 방법으로 산출되어 설정될 수 있다.
객체 검출부(100)에서 검출 생성된 객체 이미지 그룹(G1)의 이미지 개수는 수천 ~ 수백만개가 될 수 있으나, 객체 재인식 모델부(200)를 통해 신속하게 유사도가 낮은 객체 이미지들이 걸러진 후, 수십 ~ 수백개 단위로 선별됨으로써, 전체적인 장치의 연산량은 획기적으로 줄어들게 되고, 연산 속도를 비약적으로 향상시킬 수 있게 된다.
객체 재인식 모델부(200)에 의해 선별된 후보 객체 이미지 그룹(G2)과 재인식 대상 객체(M) 이미지는 초해상화 모델부(300)로 전달된다.
도 5는 초해상화 모델부가 도시된 도면이고, 도 6은 초해상화 모델부 적용 결과가 예시된 도면이다.
초해상화 모델부(300)는 저해상도 이미지를 고해상도 이미지로 변환한다. 초해상화 모델부(300)는 딥러닝 모델을 사용하여 초해상화를 수행한다. 초해상화를 통해 속성분석 모델부(400)는 고해상도 이미지를 이용하여 정밀하게 분석을 수행할 수 있게 된다.
후보 객체 선별부(220)에 의해 선별된 후보 객체 이미지들 및 재인식 대상 객체(M)의 이미지는 초해상화 모델부(300)의 입력 크기에 맞게 리사이징(resizing)되고, 리사이징된 이미지는 딥러닝 기반의 초해상화 모델에 입력되어 저해상도 이미지는 고해상도 이미지로 변환된다. 딥러닝 기반의 초해상화 모델은 알려진 모델이므로, 이에 대한 상세한 설명은 생략한다.
초해상화 모델부(300)에 의해 고해상도 이미지로 변환된 후보 객체 이미지들 및 재인식 대상 객체(M) 이미지는 속성모델 분석부(400)로 전달된다.
도 7은 속성분석 모델부가 도시된 도면이고, 도 8은 속성분석 모델부의 동작 과정이 도시된 도면이다.
속성분석 모델부(400)는 초해상화 모델부(300)에 의해 변환된 고해상도 이미지를 기반으로 속성을 탐지하고 분석하여 보다 정확하게 특징값을 구하여 유사도를 계산한다.
속성분석 모델부(400)는 객체 재인식에 도움이 되는 요소들만 사용해 재인식을 수행한다. 객체 재인식에 도움이 되는 요소를 주요 요소라 한다. 주요 요소는 객체 재인식에 도움이 되는, 객체에 수반될 수 있는 서브 객체로서, 의류, 신발, 시계, 장신구(목걸이, 귀걸이 등) 등이 될 수 있다. 이와 같이, 객체 이미지에서 배경 등 불필요한 부분을 최소화하여 기존 재인식보다 성능을 향상시킬 수 있게 된다.
구체적으로, 속성분석 모델부(400)는 변환된 고해상도 이미지들(재인식 대상 객체의 이미지와 후보 객체 이미지들)에서 복수개의 주요 요소를 검출하고, 검출된 복수개의 주요 요소로부터 재인식 대상 객체 특징벡터와 후보 객체 특징벡터를 추출하고 이를 이용하여 유사도를 산출하고, 산출된 유사도를 기반으로 초해상화된 후보 객체 이미지들에 대해 유사도 순위를 결정하고, 유사도가 높은 순으로 정렬된 특정 개수의 후보 객체 이미지 또는 기준치 이상의 유사도를 갖는 후보 객체 이미지를 사용자에게 제공한다. 이러한 속성분석 모델부(400)는 검출 모델(410)과 속성분석 모델(420)을 포함한다.
검출 모델(410)은 이미지 내에 포함된 객체를 검출하는 모델을 이용하여, 고해상도 이미지 내에 포함된 주요 요소를 검출한다. 즉, 검출 모델(410)은 재인식 대상 객체(M)의 이미지에 포함된 주요 요소와, 후보 객체 이미지들에 포함된 주요 요소를 검출한다. 이때, 검출 모델(410)은 고해상도 이미지에서 검출을 수행하기 때문에 주요 특징이 되는 주요 요소들을 정밀하게 검출할 수 있다. 주요 요소는 재인식 대상 객체(M)의 종류에 따라 달라질 수 있다. 예를 들어, 재인식 대상 객체(M)가 차량인 경우, 주요 요소는 차량 번호판, 타이어 종류, 차량에 부착되는 액세서리 등이 될 수 있다.
검출 모델(410)은, 예를 들어, YOLO(You Only Look Once) 모델이 될 수 있다. 물론, 이에 한정되지 않고 Faster-RCNN, MobileNet, SSD(Single Shot Multibox Detector) 등의 모델이 검출 모델이 될 수 있다.
속성분석 모델(420)은 검출 모델(410)에서 검출된 주요 요소로부터 특징벡터를 추출하고 이를 이용하여 최종 유사도를 산출한다.
속성분석 모델(420)은 검출 모델(410)에서 검출된 재인식 대상 객체(M)의 주요 요소와 후보 객체 이미지들의 주요 요소를 입력 받고, 입력 받은 모든 이미지들을 동등한 입력값으로 변환한 후, 후보 객체 이미지들 각각을 하나의 특징벡터로 추출한다. 즉, 속성분석 모델(420)은 재인식 대상 객체(M)의 주요 요소들로부터 재인식 대상 객체 특징벡터를 추출하고, 후보 객체 이미지들로부터 후보 객체 특징벡터를 추출한다.
그 다음, 속성분석 모델(420)은 하나의 벡터공간을 생성하고, 해당 벡터공간에 재인식 대상 객체 특징벡터와 후보 객체 특징벡터들을 입력한다. 속성분석 모델(420)은 재인식 대상 객체 특징벡터와 후보 객체 특징벡터 사이의 거리를 계산하여 유사도를 비교한다. 특징벡터들 간의 거리가 작을수록 유사도가 크고, 거리가 클수록 유사도는 작아진다.
예를 들어, 도 8에 예시된 바와 같이, 검출 모델(410)에서 상의, 하의, 신발, 안경, 시계 등 5개의 주요 요소가 검출되면, 속성분석 모델(420)은 후보 객체 이미지에서 상의, 하의, 신발, 안경, 시계 각각에 대해 특징값을 얻고, 이들로부터 하나의 특징벡터를 추출한다. 이후, 속성분석 모델(420)은 하나의 벡터공간에 재인식 대상 객체 특징벡터와 후보 객체 특징벡터를 입력하고 특징벡터들 간의 거리를 이용하여 각각 유사도를 산출한다. 그 다음, 속성분석 모델(420)은 산출된 유사도를 이용하여 재인식 대상 객체(M)와 후보 객체들 간의 최종 유사도를 산출한다.
속성분석 모델(420)은 최종 유사도가 높은 순으로 특정 개수의 후보 객체 이미지를 사용자에게 제공할 수 있다. 예를 들어, 최종 유사도가 높은 순으로 정렬된 100개의 최종 후보 객체 이미지를 사용자에게 제공할 수 있다.
또는, 속성분석 모델(420)은 기준치 이상의 최종 유사도를 갖는 최종 후보 객체 이미지를 사용자에게 제공할 수 있다. 유사도의 기준치는 통계적인 방법으로 산출되어 설정될 수 있다.
도 9는 기존의 객체 재인식 방식(도 9의 (a))과 본 발명의 객체 재인식 방식(도 9의 (b))의 차이점을 대비하여 보여준다.
도 9의 (a)를 참조하면, 기존 객체 재인식 방식은 객체 전체로부터 하나의 특징벡터를 추출하고 벡터공간 상에서의 거리를 계산하여 유사도를 산출한다.
그리고, 도 9의 (b)를 참조하면, 본 발명의 객체 재인식 방식은 객체마다 객체에 포함된 주요 요소를 검출하고, 검출된 주요 요소들을 이용하여 하나의 특징벡터를 추출한 후, 벡터공간 상에서의 거리를 계산하여 유사도를 산출한다.
이와 같은 본 발명의 객체 재인식 방식은 객체 이미지에서 배경과 같이 불필요한 부분은 자연스럽게 잘려 나가게 하여 불필요한 정보를 최소화함으로써, 객체에 대한 더 정확한 분석을 수행하여 분석 정확도를 향상시킬 수 있게 한다.
도 10은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 10의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(인공지능 기반 객체 재인식 장치) 일 수 있다.
도 10의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
100 : 객체 검출부 200 : 객체 재인식 모델부
300 : 초해상화 모델부 400 : 속성분석 모델부
410 : 검출 모델 420 : 속성분석 모델
G1 : 객체 이미지 그룹 G2 : 후보 객체 이미지 그룹

Claims (6)

  1. 복수개의 이미지들 중에서 특정 객체를 포함하는 이미지들을 검출하여 객체 이미지 그룹을 생성하는 객체 검출부;
    상기 객체 이미지 그룹의 이미지들과 사용자가 찾고자 하는 재인식 대상 객체를 이용하여 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성하는 객체 재인식 모델부;
    선별된 후보 객체 이미지들과 재인식 대상 객체에 대해 초해상화를 수행하여 고해상도 이미지들로 변환하는 초해상화 모델부; 및,
    상기 변환된 고해상도 이미지에서 특징이 되는 주요 요소들을 검출하고, 검출된 주요 요소들을 분석하여 얻은 특징 벡터를 이용하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지 그룹의 이미지들에 대해 유사도 순위를 결정하는 속성분석 모델부;
    를 포함하는 인공지능 기반 객체 재인식 장치.
  2. 청구항 1에 있어서, 상기 객체 재인식 모델부는,
    하나의 이미지를 복수개의 관심 영역으로 분류하고, 분류된 관심영역으로부터 추출한 특징값을 특징벡터로 변환하는 특징 추출부와,
    하나의 벡터공간에 객체 이미지들을 표상하는 제1 특징벡터들을 입력하고, 재인식 대상 객체를 표상하는 제2 특징벡터를 입력한 후, 상기 제1 특징벡터들과 상기 제2 특징벡터 사이의 거리를 계산하여 유사도를 산출하고, 산출된 유사도를 기반으로 후보 객체 이미지들을 선별하여 후보 객체 이미지 그룹을 생성하는 후보 객체 선별부
    를 포함하는 인공지능 기반 객체 재인식 장치.
  3. 청구항 2에 있어서, 상기 후보 객체 이미지 그룹은,
    유사도가 높은 순으로 정렬된 특정 개수의 객체 이미지들 또는 기준치 이상의 유사도를 갖는 객체 이미지들을 포함하는 인공지능 기반 객체 재인식 장치.
  4. 청구항 1에 있어서, 상기 속성분석 모델부는,
    상기 재인식 대상 객체의 이미지에 포함된 복수개의 주요 요소와 상기 후보 객체 이미지들에 포함된 복수개의 주요 요소를 검출하는 검출 모델과,
    상기 검출 모델에서 검출된 상기 복수개의 주요 요소로부터 재인식 대상 객체 특징벡터와 후보 객체 특징벡터를 추출하고 이를 이용하여 유사도를 산출하는 속성분석 모델
    을 포함하는 인공지능 기반 객체 재인식 장치.
  5. 청구항 4에 있어서, 상기 속성분석 모델은,
    하나의 벡터공간을 생성하고, 상기 벡터공간에 상기 재인식 대상 객체 특징벡터와 상기 후보 객체 특징벡터를 입력하고, 상기 재인식 대상 객체 특징벡터와 상기 후보 객체 특징벡터 사이의 거리를 계산하여 최종 유사도를 산출하는, 인공지능 기반 객체 재인식 장치.
  6. 청구항 5에 있어서, 상기 속성분석 모델은,
    최종 유사도가 높은 순으로 정렬된 특정 개수의 최종 후보 객체 이미지들 또는 기준치 이상의 최종 유사도를 갖는 최종 후보 객체 이미지들을 결정하는, 인공지능 기반 객체 재인식 장치.
KR1020210050750A 2021-04-19 2021-04-19 인공지능 기반 객체 재인식 장치 KR102499861B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210050750A KR102499861B1 (ko) 2021-04-19 2021-04-19 인공지능 기반 객체 재인식 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210050750A KR102499861B1 (ko) 2021-04-19 2021-04-19 인공지능 기반 객체 재인식 장치

Publications (2)

Publication Number Publication Date
KR20220144269A true KR20220144269A (ko) 2022-10-26
KR102499861B1 KR102499861B1 (ko) 2023-02-15

Family

ID=83785675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210050750A KR102499861B1 (ko) 2021-04-19 2021-04-19 인공지능 기반 객체 재인식 장치

Country Status (1)

Country Link
KR (1) KR102499861B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102587427B1 (ko) 2022-12-19 2023-10-12 (주)웨이버스 이동체 위치 생성 및 이동궤적 생성 시스템
KR102665208B1 (ko) * 2023-05-09 2024-05-13 한국건설기술연구원 객체 레이블링 시스템 및 객체 레이블링 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190014908A (ko) * 2017-08-04 2019-02-13 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
KR102044914B1 (ko) 2018-01-02 2019-11-14 중앙대학교 산학협력단 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법
JP2020027504A (ja) * 2018-08-14 2020-02-20 日本電信電話株式会社 物体認識装置、物体認識学習装置、方法、及びプログラム
KR102144975B1 (ko) * 2019-11-08 2020-08-14 주식회사 알체라 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190014908A (ko) * 2017-08-04 2019-02-13 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
KR102044914B1 (ko) 2018-01-02 2019-11-14 중앙대학교 산학협력단 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법
JP2020027504A (ja) * 2018-08-14 2020-02-20 日本電信電話株式会社 物体認識装置、物体認識学習装置、方法、及びプログラム
KR102144975B1 (ko) * 2019-11-08 2020-08-14 주식회사 알체라 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102587427B1 (ko) 2022-12-19 2023-10-12 (주)웨이버스 이동체 위치 생성 및 이동궤적 생성 시스템
KR102665208B1 (ko) * 2023-05-09 2024-05-13 한국건설기술연구원 객체 레이블링 시스템 및 객체 레이블링 방법

Also Published As

Publication number Publication date
KR102499861B1 (ko) 2023-02-15

Similar Documents

Publication Publication Date Title
US11315345B2 (en) Method for dim and small object detection based on discriminant feature of video satellite data
Kuricheti et al. Computer vision based turmeric leaf disease detection and classification: a step to smart agriculture
JP5202148B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US20210264144A1 (en) Human pose analysis system and method
Mai et al. Comparing salient object detection results without ground truth
KR102070956B1 (ko) 영상 처리 장치 및 방법
JP7054278B1 (ja) 深層学習に基づくエッジ識別方法
KR102499861B1 (ko) 인공지능 기반 객체 재인식 장치
CN113112498B (zh) 一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法
CN110689044A (zh) 一种结合目标间关系的目标检测方法及***
KR20130058286A (ko) 보행자 검출기의 보행자 검출 방법
KR20170108339A (ko) 영상에서 다수의 객체를 인식하는 방법
CN109583452B (zh) 一种基于赤足足迹的人身同一认定方法和***
CN103530646B (zh) 使用分类器级联的复杂对象检测
CN111401308A (zh) 一种基于光流效应的鱼类行为视频识别方法
JPWO2015146113A1 (ja) 識別辞書学習システム、識別辞書学習方法および識別辞書学習プログラム
Jubair et al. Scale invariant feature transform based method for objects matching
Jayanthiladevi et al. Text, images, and video analytics for fog computing
KR101672814B1 (ko) 랜덤 포레스트를 이용한 성별인식 방법
KR20190107480A (ko) 얼굴 인식 장치 및 방법
Sabri et al. Automatic estimation of clusters number for K-means
KR102264988B1 (ko) 한자인식시스템 및 이를 이용한 한자인식방법
Bardeh et al. New approach for human detection in images using histograms of oriented gradients
CN107679467A (zh) 一种基于hsv和sdalf的行人重识别算法实现方法
JP2017084006A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right