KR102127946B1 - 사람 재식별 장치 및 방법 - Google Patents
사람 재식별 장치 및 방법 Download PDFInfo
- Publication number
- KR102127946B1 KR102127946B1 KR1020190020743A KR20190020743A KR102127946B1 KR 102127946 B1 KR102127946 B1 KR 102127946B1 KR 1020190020743 A KR1020190020743 A KR 1020190020743A KR 20190020743 A KR20190020743 A KR 20190020743A KR 102127946 B1 KR102127946 B1 KR 102127946B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pair
- channel
- ipvt
- negative
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 27
- 238000012937 correction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G06K9/00362—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G06K9/627—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 실시 예에 따르면, 가시광 카메라와 열 카메라로부터 획득한 영상을 이용하여 인공지능 학습 후 서로 다른 입력 영상에서 추출한 객체가 동일한 사람인지 아닌지를 판별할 수 있다. 본 발명의 일 실시 예에 따르면, 가시광 카메라 및 열 카메라에서 검출된 사람 영역으로부터 구성한 이미지 쌍으로 이미지를 생성한 후, 컨볼루션 신경망을 이용해 각 카메라에서 검출된 사람 영역의 유사도를 구할 수 있다.
Description
본 발명은 사람 재식별 장치 및 방법에 관한 것으로, 보다 상세하게는 가시광 카메라와 열 카메라의 영상 간의 사람 재식별(Person ReID) 장치와 방법에 관한 것이다.
최근 CCTV로부터 얻은 이미지 정보를 이용하여 범죄 행위를 발견 및 범죄자를 추적하는 등 지능형 감시 시스템(Intelligent surveillance system)의 다양한 발전 중이다.
기존에 가시광 카메라에 기반하여 관점(viewpoint), 자세(pose) 등의 변화에도 동일인임을 인식하기 위하여, 장단기 메모리(LSTM: Long-Short term Memory), 트리플럿 로스(triplet loss) 등을 이용하였다. 그러나 이러한 가시광 카메라에만 의존하는 모델들은 조도변화에 취약하여 야간에는 제 기능을 하기 어렵다.
지능형 감시 시스템(Intelligent surveillance system)은 가시광 카메라의 한계점을 극복하기 위해 가시광 카메라에 깊이(depth) 카메라 또는 열(Thermal) 카메라를 추가한 멀티모달(multimodal) 카메라를 이용하여 다양한 환경 변화에서도 인식이 가능하도록 연구되고 있다. 하지만 깊이 카메라는 가격은 비싸고 그에 비해 실외 환경과 같은 원거리에서 활용이 불가능하다. 또한 멀티모달(multimodal) 카메라를 이용한 사람 재식별 방법은 복수입력(multi-input) 및 복수출력(multi-stream)을 기반으로 하기 때문에 계산이 복잡하다.
본 발명의 배경기술은 대한민국 등록특허 제10-17566916 호에 개시되어 있다.
본 발명은 기존의 조도변화에 취약한 가시광 카메라 기반의 사람 재식별(person ReID) 방법들의 한계를 극복하기 위하여 열 카메라와 가시광 카메라 간의 사람 재식별 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 사람 재식별 장치를 제공한다.
본 발명의 일 실시예에 따른 사람 재식별 장치는 가시광 카메라에서 제1영상과 열 카메라에서 제2영상을 획득하는 입력부, 입력부에서 획득한 제1영상 및 제2영상을 분류하는 분류부, 제1영상을 보정하는 보정부, 제1영상과 제2영상에서 이미지 쌍을 생성하는 생성부 및 이미지 쌍으로 컨볼루션 신경망을 이용해 유사도를 계산하는 판별부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 사람 재식별 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체를 제공한다.
본 발명의 일 실시예에 따른 사람 재식별 방법 및 기록매체는 가시광 카메라와 열 카메라로부터 영상을 획득하는 단계, 획득한 영상을 분류하는 단계, 분류한 영상을 보정하는 단계, 보정한 영상에서 이미지 쌍을 구성하는 단계 및 구성된 이미지 쌍으로 컨볼루션 신경망 구조를 이용하여 유사도 인자 및 비유사도 인자를 구하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 주야간 구분없이 사람 재식별이 가능한 지능형 감시 시스템으로 활용할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 어두운 환경에서도 열 카메라의 영상으로 사람 재식별을 가능하므로 범죄 예방 및 범죄자 추적이 가능하다.
또한, 본 발명의 일 실시 예에 따르면 가시광 카메라 영상과 열 카메라 영상을 하나의 입력으로 사용하여 네트워크 구조를 단순화함으로 one stream CNN으로 학습 이 가능하고 계산의 복잡도도 낮출 수 있다.
도 1 은 본 발명의 일 실시 예에 따른 사람 재식별 장치의 구성도.
도 2는 본 발명의 일 실시 예에 따른 생성부를 설명하기 위한 도면.
도 3은 본 발명의 일 실시 예에 따른 판별부의 컨볼루션 신경망 구조를 나타낸 도면.
도 4는 본 발명의 일 실시 예에 따른 판별부를 설명하기 위한 도면.
도 5 는 본 발명의 일 실시 예에 따른 사람 재식별 방법의 흐름도.
도6는 본 발명의 일 실시 예에 따른 사람 재식별 방법의 순서도.
도 7 및 8은 본 발명의 일 실시 예에 따른 사람 재식별 장치 및 방법 검증결과를 나타낸 도면.
도 2는 본 발명의 일 실시 예에 따른 생성부를 설명하기 위한 도면.
도 3은 본 발명의 일 실시 예에 따른 판별부의 컨볼루션 신경망 구조를 나타낸 도면.
도 4는 본 발명의 일 실시 예에 따른 판별부를 설명하기 위한 도면.
도 5 는 본 발명의 일 실시 예에 따른 사람 재식별 방법의 흐름도.
도6는 본 발명의 일 실시 예에 따른 사람 재식별 방법의 순서도.
도 7 및 8은 본 발명의 일 실시 예에 따른 사람 재식별 장치 및 방법 검증결과를 나타낸 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 내지 도 4은 본 발명의 일 실시 예에 따른 사람 재식별 장치를 나타낸 도면들이다.
본 발명에 따른 사람 재식별 장치(10)는 가시광 카메라와 열 카메라로 획득한 영상에서 사람 영역들에 대하여 동일인 여부를 인식하는 기술에 관한 것으로, 좀 더 자세하게는 서로 다른 이미지 데이터를 하나의 데이터로 구성하여 컨볼루션 신경망(CNN, convolutional neural network)에 입력하여 객체의 유사도를 출력하는 것이다.
도 1을 참조하면, 사람 재식별 장치(10)는 입력부(100), 분류부(200), 보정부(300), 생성부(400), 판별부(500) 및 출력부(600)을 포함한다.
입력부(100)는 가시광 카메라와 열 카메라로부터 영상을 획득한다. 사람 재식별 장치(10)는 복수의 카메라로부터 동시에 촬영하거나 서로 다른 장소 및 시간에 촬영한 영상에 대하여 검출된 객체 즉 사람(Person) 영역을 이용하여 동일인 여부를 인식한다. 예를 들면 제1영상은 가시광 카메라에서 획득한 영상이고, 제2영상은 열 카메라로 획득한 영상이다. 제1 영상은 객체에 대한 RGB색상 정보가 있고, 제2영상은 객체가 갖는 열 에너지와 주변 환경의 열 에너지에 대한 차이 정보가 있다.
분류부(200)는 입력부(100)에서 입력된 제1영상과 제2영상을 분류한다. 분류부(200)는 인식 기준이 되는 제1영상을 앵커 세트(Anchor set)로 분류한다. 분류부(200)는 앵커 세트를 따라 동일인에 대한 제2영상을 포지티브 세트(positive set)로 분류하고, 타인에 대한 제2영상을 네거티브 세트(negative set)으로 분류한다.
보정부(300)는 레티넥스(retinex) 알고리즘을 이용해 제1영상을 보정한다. 레티넥스(retinex) 알고리즘은 영상의 객체가 갖는 고유의 색을 나타내도록 보정하는 시각 모델이다. 레티넥스 알고리즘은 SSR(single scale retinex) 과 MSR(multi scale retinex)로 나뉘는데 SSR의 결과에 가중치를 곱하여 MSR을 얻는다. 보정부(300)는 제1영상을 레티넥스 알고리즘의 MSR을 이용하여 보정한다. SSR은 [수학식1]을 이용하여 계산할 수 있다.
[수학식1]의 
에 가중치 
을 곱하여 [수학식2]와 같은 MSR값을 얻는다.
도2를 참조하면, 생성부(400)는 보정부(300)에서 보정된 영상을 이미지 쌍(image pair)으로 구성한다. 생성부(400)는 이미지 쌍을 IPVT-1, IPVT-2 및 IIPVT 방식 중 적어도 하나를 이용해 생성한다. 생성부(400)는 앵커세트에 대하여 포지티브 세트와 네거티브 세트로 짝을 지어 포지티브 페어 및 네거티브 페어를 생성한다. 포지티브 페어는 가시광 영상의 앵커 세트와 열 영상의 포지티브 세트로 구성된다. 네거티브 페어는 가시광 영상의 앵커 세트와 열 영상의 네거티브 세트로 구성된다. IPVT-1(Inter-channel Pair between Visible-light and Thermal-light)는 인터채널 페어만을 이용하고, IPVT-2(Intra-channel Pair between Visible-light and Thermal-light)는 인트라채널 페어만을 이용한다. IIPVT(Inter-channel and Intra-channel Pair between Visible-light and Thermal light)는 인터채널 페어와 인트라채널 페어 모두 사용한다. 인터채널 페어는 포지티브 페어와 네거티브 페어 내의 앵커 세트와 포지티브 세트 및 네거티브 세트를 각각 서로 다른 채널에 배치하여 하나의 이미지처럼 구성한다. 인트라채널 페어는 포지티브 페어와 네거티브 페어 내의 앵커 세트와 포지티브 세트 및 네거티브 세트를 하나의 채널 내에 1X2 매트릭스(matrix) 형태로 구성한다.
판별부(500)는 컨볼루션 신경망(CNN, convolutional neural network) 구조를 사용하여 입력된 영상의 유사도를 판별한다. 판별부(500)는 컨볼루션 신경망 트레이닝시 두 영상으로부터 공통적으로 나타나는 사람 형상 학습(personal feature learning)이 가능하고 이로부터 두 영상의 유사도 인자 및 비유사도 인자를 계산한다. 판별부(500)는 보정부(300)에서 레티넥스 알고리즘으로 보정한 영상을 이용하므로 두 영상 사이의 데이터 유사도를 최대화할 수 있다.
도3을 참조하면, 판별부(500)는 인공지능의 컨볼루션 신경망 구조(CNN, Convolutional Neural Network)를 사용한다. 예를 들어, 판별부(500)는 ResNet-50 모델을 컨볼루션 신경망 구조로 사용할 수 있다. 판별부(500)는 컨볼루션 신경망에서 전결합(FC,fully-connected) 레이어의 노드 수를 조정하는 미세 조정(fine-tuning) 방법을 사용할 수 있다. 예를 들면, 판별부(400)는 전결합 레이어의 출력 노드 개수를 100개에서 2개로 수정할 수 있다. 판별부(400)는 전결합 레이어의 2개의 노드로 소프트맥스 레이어에서 소프트맥스 함수를 이용하여 유사도인자와 비유사도 인자를 구한다.
도4을 참조하면, 판별부(500)가 사용하는 ResNet-50모델의 입력 영상 크기 및 각 레이어 층에서 사용한 필터의 크기 등을 순서로 나열한 것이다.
Conv1 레이어에서는 224*224*3크기의 입력영상에 7*7*3 크기의 64개 필터로 컨볼루션(convolution) 연산을 통하여 112*112*64크기의 특징맵(feature map)을 생성한다. 이와 같이 컨볼루션 연산으로부터 생성되는 특징맵의 크기는 [수학식 3]으로 계산할 수 있다.
Conv2 ~ Conv5는 숏컷(shortcut) 구조를 포함한 4개의 컨볼루션 레이어가 하나의 그룹 레이어(group layer)이며, Conv3 ~ Conv5는 버틀넥(bottleneck)구조를 갖는다. 활동 함수(Activation function)으로 Rectified linear unit(ReLU) 레이어를 사용할 수 있다. ReLU는 [수학식 4]와 같다.
x : 입력값
y : 출력값
ReLU는 sigmoid가 back-propagation for training에서 발생시키는 the vanishing gradient problem 를 보완하고 비선형 활동 함수(non-linear activation function)보다 빠른 처리속도를 갖는다. 이러한 이유로, ReLU는 다른 활동 함수(activation function)에 비하여 training의 효율이 우수하다.
도5및 도6은 본 발명의 일 실시 예에 따른 사람 재식별 방법을 나타낸 도면들이다.
도5를 참조하면, 사람 재식별 방법은 가시광 카메라와 열 카메라로부터 영상을 획득하는 단계S510, 획득한 영상을 분류하는 단계 S520, 분류한 영상을 보정하는 단계S530, 보정한 영상에서 이미지페어를 구성하는 단계S540 및 구성된 이미지페어로 컨볼루션 신경망을 이용하여 유사도 인자 및 비유사도 인자를 구하는 단계S550을 포함한다.
단계 S510에서 사람 재식별 장치(10)는 가시광 카메라와 열 카메라로부터 영상을 획득한다. 사람 재식별 장치(10)가 획득한 가시광 카메라 영상은 제1 영상이고, 열 카메라 영상은 제2영상이다.
단계 S520에서 사람 재식별 장치(10)는 인식기준이 되는 제1영상을 앵커 세트로 분류한다. 또한 사람 재식별 장치(10)는 제1영상에 따라 동일인에 대한 제2영상을 포지티브 세트, 타인에 대한 제2영상을 네거티브 세트로 분류한다.
단계 S530에서 사람 재식별 장치(10)는 레티넥스(retinex) 알고리즘을 이용해 제1영상을 보정한다. 레티넥스(retinex) 알고리즘은 영상의 객체가 갖는 고유의 색을 나타내도록 보정하는 시각 모델이다. 사람 재식별 장치(10)는 제1영상을 레티넥스 알고리즘의 MSR을 이용하여 보정한다.
단계 S540에서 사람 재식별 장치(10)는 보정된 영상을 IPVT-1, IPVT-2 및 IIPVT 중 적어도 하나의 이미지 쌍으로 구성한다. 이때, 사람 재식별 장치(10)는 생성할 이미지 쌍은 입력된 영상의 특성에 따라 선택할 수 있다. 사람 재식별 장치(10)는 앵커 세트에 대하여 포지티브 세트와 네거티브 세트로 짝을 지어 포지티브 페어 및 네거티브 페어를 생성한다. 포지티브 페어는 앵커 세트와 제2 영상의 포지티브 세트로 구성된다. 네거티브 페어는 앵커 세트와 제2영상의 네거티브 세트로 구성된다. 인터채널 페어는 포지티브 페어와 네거티브 페어 내의 앵커 세트와 포지티브 세트 또는 네거티브 세트를 각각 서로 다른 채널에 배치한다. 자세히 설명하면, 사람 재식별 장치(10)는 앵커세트를 제1채널로 선정하고, 네거티브 세트 또는 포지티브 세트를 제2채널로 구성하여 2개의 채널을 하나의 이미지로 구성한다. 인트라채널 페어는 포지티브 페어와 네거티브 페어 내의 앵커 세트와 포지티브 세트 또는 네거티브 세트를 하나의 채널 내에 1X2 매트릭스(matrix) 형태로 배치한다. 즉, 인트라채널 페어는 제1채널만을 가진다. IPVT-1(Inter-channel Pair between Visible-light and Thermal light)는 인터채널 페어만을 사용한다. 자세히 설명하면, IPVT-1는 인터채널 페어의 제1채널 및 제2채널을 하나의 이미지로 구성한다. IPVT-2(Intra-channel Pair between Visible-light and Thermal light)는 인트라채널 페어만을 이용한다. 다시 자세히 설명하면, IPVT-2는 제1 채널에 앵커 세트와 네거티브 세트 또는 포지티브 세트 나란히 연결하여 1개의 채널로 이미지로 구성한다. IIPVT(Inter-channel and Intra-channel Pair between Visible-light and Thermal light)는 인터채널 페어와 인트라채널 페어 모두 사용한다. 즉 IIPVT는 IPVT-1의 제1개 채널 및 제2채널에 IPVT-2를 제3채널로 추가하여 3개의 채널을 하나의 이미지로 구성하는 것이다. 사람 재식별 장치(10)는 제1영상과 제2영상을 하나의 이미지로 구성하여 one Stream CNN으로 학습이 가능하다.
단계 S550에서 사람 재식별 장치(10)는 컨볼루션 신경망(CNN, convolutional neural network) 구조를 사용하여 입력된 영상의 유사도를 판별한다. 재식별 장치(10)는 컨볼루션 신경망(CNN, convolutional neural network) 구조로 ResNet-50을 사용할 수 있다. 사람 재식별 장치는(10)는 컨볼루션 신경망 트레이닝시 두 영상으로부터 공통적으로 나타나는 사람형상학습(personal feature learning)이 가능하고 이로부터 두 영상의 유사도 인자 및 비유사도 인자를 계산한다. 재식별 장치는 입력된 영상의 유사도 인자와 비유사도 인자를 계산하기 위해 [수학식5]소프트맥스(softmax) 함수를 사용할 수 있다.
소프트맥스는 입력받은 값을 0~1사이의 값으로 모두 정규화하며 출력하고, 출력 값들의 총합은 항상 1이 되는 특성을 가진 함수이다.
도6을 참조하면 사람 재식별 방법은 첫번째로 가시광 카메라와 열 카메라 카메라로부터 동시에 촬영하거나 서로 다른 장소 및 시간에 촬영한 영상을 획득하여 사람을 객체로 영역을 구분한다. 두번째, 사람으로 구분된 영상을 앵커 세트, 포지티브 세트 및 네거티브 세트로 분류한다. 세번째, 분류한 영상을 전처리 과정으로 레티넥스 알고리즘으로 영상이 고유한 색을 가지도록 보정한다. 네번째로 보정한 영상으로 이미지 쌍을 구성한다. 이때 이미지 쌍은 IPVT-1, IPVT-2 및 IIPVT 중에서 적어도 하나를 선택하여 사용할 수 있다. 그런 다음 마지막으로 컨볼루션 신경망 구조 ResNet-50 알고리즘으로 입력된 영상의 유사도를 계산한다.
도 7 및 8은 본 발명의 일 실시 예에 따른 사람 재식별 장치 및 방법의 검증결과를 나타낸 그림들이다.
도7은 사람 재식별 방법을 특성이 다른 오픈 데이터베이스로 검증한 결과이다.
도 7을 참조하면, 기존의 연구들과 본 발명의 사람 재식별 방법을 비교했을 때 본 발명이 가장 우수한 결과를 도출하였다. 이 때 실험 설정은 DBPerson_Recog_DB1으로 고정된 multi-modal camera로 취득한 영상을 2개의 서브세트(Subset)로 2겹 교차검증(two-fold cross validation)방식을 선택하였다.
도8을 참조하면 사람 재식별 장치(10)가 Sun Yat-sen Univ.에서 구축한 오픈 데이터베이스인 SYSU-MM01 를 이용하여 배포자가 제공한 그대로 트레이닝 세트와 테스트 세트에 따라 검증한 결과이다. SYSU-MM01은 관점(view), 자세(pose), 배경(background), 시간(time) 등 DBPerson_Recog_DB1보다 많은 변수를 가진 데이터베이스이다.
도8을 좀 더 자세히 설명하면, 사람 재식별 장치(10)는 종래의 기술들과 비교하여 Rank1과 mAP에서 가장 우수한 성능을 보여준다.
사람 재식별 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 사람 재식별 장치
100: 입력부
200: 분류부
300: 보정부
400: 생성부
500: 판별부
100: 입력부
200: 분류부
300: 보정부
400: 생성부
500: 판별부
Claims (13)
- 사람 재식별 장치에 있어서,
가시광 카메라에서 제1영상과 열 카메라에서 제2영상을 획득하는 입력부;
상기 가시광 카메라에서 획득한 제1영상을 기준 영상인 앵커 세트로 분류하고, 상기 열 카메라에서 획득한 제2영상 중 동일인의 제2영상은 포지티브 세트, 타인에 대한 제2영상은 네거티브 세트로 분류하는 분류부;
상기 제1영상을 보정하는 보정부;
상기 제1영상과 제2영상에서 이미지 쌍을 생성하는 생성부; 및
상기 이미지 쌍으로 컨볼루션 신경망 구조를 이용해 유사도를 계산하는 판별부를 포함하되,
상기 이미지 쌍에서 IPVT-1, IPVT-2 또는 IIPVT 방식 중 어느 하나를 이용해 제1영상과 제2영상 정보를 포함한 하나의 이미지를 생성하고,
상기 IPVT-1은 상기 앵커세트는 제1채널, 상기 포지티브 세트는 제2 채널로 한 포지티브 페어 이미지를 생성하거나 앵커세트는 제1채널, 상기 네거티브 세트는 제2 채널로 한 네거티브 페어 이미지를 생성하고,
상기 IPVT-2는 제1채널에 상기 앵커 세트 및 상기 포지티브 세트를 연결하여 하나의 포지티브 페어 이미지를 생성하거나 제1채널에 상기 앵커 세트 및 상기 네거티브 세트를 연결하여 하나의 네거티브 페어 이미지를 생성하고
상기 IIPVT는 상기 IPVT-1과 상기 IPVT-2를 합하여 3개의 채널로 구성된 단일 이미지로 생성하는 사람 재식별 장치.
- 제1항에 있어서,
상기 분류부는 제1영상을 앵커세트로 분류하고, 제2영상은 네거티브세트와 포지티브세트로 분류하는 것을 특징으로 하는 사람 재식별 장치.
- 제1 항에 있어서,
상기 보정부는 제1영상에 MSR을 적용하여 고유의 색을 보정하는 것을 특징으로 하는 사람 재식별 장치.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 판별부는 컨볼루션 신경망의 ResNet-50구조를 이용하여 유사인자와 비유사인자를 구하는 것을 특징을 하는 사람 재식별 장치.
- 사람 재식별 방법에 있어서,
가시광 카메라와 열 카메라로부터 영상을 획득하는 단계;
상기 가시광 카메라에서 획득한 제1영상을 기준 영상인 앵커 세트로 분류하고, 상기 열 카메라에서 획득한 제2영상 중 동일인의 제2영상은 포지티브 세트, 타인에 대한 제2영상은 네거티브 세트로 분류하는 단계;
상기 영상을 보정하는 단계;
상기 영상에서 이미지 쌍을 구성하는 단계; 및
상기 이미지 쌍으로 컨볼루션 신경망을 이용하여 유사도 인자 및 비유사도 인자를 구하는 단계를 포함하되,
상기 영상에서 이미지 쌍을 구성하는 단계는
IPVT-1, IPVT-2 또는 IIPVT 방식 중 어느 하나를 이용해 제1영상과 제2영상 정보를 포함한 하나의 이미지를 생성하고,
상기 IPVT-1은 상기 앵커세트는 제1채널, 상기 포지티브 세트는 제2 채널로 한 포지티브 페어 이미지를 생성하거나 앵커세트는 제1채널, 상기 네거티브 세트는 제2 채널로 한 네거티브 페어 이미지를 생성하고,
상기 IPVT-2는 제1채널에 상기 앵커 세트 및 상기 포지티브 세트를 연결하여 하나의 포지티브 페어 이미지를 생성하거나 제1채널에 상기 앵커 세트 및 상기 네거티브 세트를 연결하여 하나의 네거티브 페어 이미지를 생성하고
상기 IIPVT는 IPVT-1과 IPVT-2를 합하여 3개의 채널로 구성된 단일 이미지로 생성하는 사람 재식별 방법
- 삭제
- 제8항에 있어서,
상기 영상을 보정하는 단계는
상기 영상은 MSR를 이용하여 색을 보정하는 것을 특징으로 하는 사람 재식별 방법.
- 삭제
- 제8항에 있어서,
상기 이미지 쌍으로 컨볼루션 신경망을 이용하여 유사도 인자 및 비유사도 인자를 구하는 단계는
컨볼루션 신경망의 ResNet-50구조를 이용하는 사람 재식별 방법.
- 제 8 항, 제 10항 및 제 12 항의 사람 재식별 방법 중 어느 하나를 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190020743A KR102127946B1 (ko) | 2019-02-21 | 2019-02-21 | 사람 재식별 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190020743A KR102127946B1 (ko) | 2019-02-21 | 2019-02-21 | 사람 재식별 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102127946B1 true KR102127946B1 (ko) | 2020-06-30 |
Family
ID=71121095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190020743A KR102127946B1 (ko) | 2019-02-21 | 2019-02-21 | 사람 재식별 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102127946B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230163773A (ko) | 2022-05-24 | 2023-12-01 | 국민대학교산학협력단 | 3차원 영상 기반의 객체 재식별 장치 및 방법 |
| KR20230164447A (ko) | 2022-05-25 | 2023-12-04 | 현대자동차주식회사 | 객체 재식별 장치 및 방법 |
| KR20240029391A (ko) | 2022-08-26 | 2024-03-05 | 현대자동차주식회사 | 객체 재식별 장치 및 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140017222A (ko) * | 2012-07-31 | 2014-02-11 | 주식회사 제론헬스케어 | 감시시스템의 영상 융합을 통한 객체 감시 방법 |
| KR101756916B1 (ko) * | 2016-02-02 | 2017-07-12 | 동국대학교 산학협력단 | 행위 인식 장치 및 방법 |
| KR20180108123A (ko) * | 2017-03-24 | 2018-10-04 | 가톨릭대학교 산학협력단 | 다중 객체 추적 방법 |
-
2019
- 2019-02-21 KR KR1020190020743A patent/KR102127946B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140017222A (ko) * | 2012-07-31 | 2014-02-11 | 주식회사 제론헬스케어 | 감시시스템의 영상 융합을 통한 객체 감시 방법 |
| KR101756916B1 (ko) * | 2016-02-02 | 2017-07-12 | 동국대학교 산학협력단 | 행위 인식 장치 및 방법 |
| KR20180108123A (ko) * | 2017-03-24 | 2018-10-04 | 가톨릭대학교 산학협력단 | 다중 객체 추적 방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230163773A (ko) | 2022-05-24 | 2023-12-01 | 국민대학교산학협력단 | 3차원 영상 기반의 객체 재식별 장치 및 방법 |
| KR20230164447A (ko) | 2022-05-25 | 2023-12-04 | 현대자동차주식회사 | 객체 재식별 장치 및 방법 |
| KR20240029391A (ko) | 2022-08-26 | 2024-03-05 | 현대자동차주식회사 | 객체 재식별 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10902615B2 (en) | Hybrid and self-aware long-term object tracking | |
| CN110020580B (zh) | 识别对象和面部表情的方法以及训练面部表情的方法 | |
| JP4532915B2 (ja) | パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 | |
| KR102127946B1 (ko) | 사람 재식별 장치 및 방법 | |
| KR100442835B1 (ko) | 인공 신경망을 이용한 얼굴 인식 방법 및 장치 | |
| CN111444881A (zh) | 伪造人脸视频检测方法和装置 | |
| AU2018256516A1 (en) | Method, Apparatus and Computer Program for Generating Robust Automatic Learning Systems and Testing Trained Automatic Learning Systems | |
| JP2005352900A (ja) | 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法 | |
| KR20210053052A (ko) | 컬러 복원방법 및 장치 | |
| WO2017078886A1 (en) | Generic mapping for tracking target object in video sequence | |
| US20180082179A1 (en) | Systems and methods for deep learning with small training sets | |
| CN104504395A (zh) | 基于神经网络实现人车分类的方法和*** | |
| KR20210048272A (ko) | 음성 및 영상 자동 포커싱 방법 및 장치 | |
| CN108875754A (zh) | 一种基于多深度特征融合网络的车辆再识别方法 | |
| CN113052200A (zh) | 一种基于yolov3网络的声呐图像目标检测方法 | |
| Manssor et al. | Real-time human detection in thermal infrared imaging at night using enhanced Tiny-yolov3 network | |
| Voronov et al. | Designing a neural network identification subsystem in the hardware-software complex of face recognition | |
| Jafri et al. | Face Recognition using Deep Neural Network with" LivenessNet" | |
| JP2019117556A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Yin | Object Detection Based on Deep Learning: A Brief Review | |
| Wang et al. | Unsupervised domain adaptation learning algorithm for rgb-d staircase recognition | |
| CN116824641B (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
| KR20200052068A (ko) | 눈 추적 방법 및 장치 | |
| CN113763417A (zh) | 一种基于孪生网络和残差结构的目标跟踪方法 | |
| JP2021093144A (ja) | センサ特化イメージ認識装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |