KR102486083B1 - 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법 - Google Patents

확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법 Download PDF

Info

Publication number
KR102486083B1
KR102486083B1 KR1020200140950A KR20200140950A KR102486083B1 KR 102486083 B1 KR102486083 B1 KR 102486083B1 KR 1020200140950 A KR1020200140950 A KR 1020200140950A KR 20200140950 A KR20200140950 A KR 20200140950A KR 102486083 B1 KR102486083 B1 KR 102486083B1
Authority
KR
South Korea
Prior art keywords
crowd
density distribution
distribution map
dataset
scene image
Prior art date
Application number
KR1020200140950A
Other languages
English (en)
Other versions
KR20220056399A (ko
Inventor
백성욱
이미영
울라 아민
칸 노만
울 하크 이자즈
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020200140950A priority Critical patent/KR102486083B1/ko
Publication of KR20220056399A publication Critical patent/KR20220056399A/ko
Application granted granted Critical
Publication of KR102486083B1 publication Critical patent/KR102486083B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 군중 장면 이미지 실시간 분석 장치 및 방법에 관한 것으로, 더욱 상세하게는 군중 장면 이미지에 포함된 사람들에 대한 군중 밀도 분포맵 정보를 포함하는 학습 데이터세트를 엔드 투 엔드(End to End) 확장 합성곱 신경망(Convolutional Neural Network: CNN)이 적용된 군중 밀도 분포맵 모델을 학습하고, 분석 요청된 군중 장면 이미지를 상기 군중 밀도 분포맵 모델에 적용하여 고품질의 실시간 군중 밀도 분포맵을 생성한 후 생성된 실시간 군중 밀도 분포맵을 기반으로 군중 장면 이미지의 사람 수를 계수하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법에 관한 것이다.

Description

확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법{Crowded scenes image real-time analysis apparatus using dilated convolutional neural network and method thereof}
본 발명은 군중 장면 이미지 실시간 분석 장치 및 방법에 관한 것으로, 더욱 상세하게는 군중 장면 이미지에 포함된 사람들에 대한 군중 밀도 분포맵 정보를 포함하는 학습 데이터세트를 엔드 투 엔드(End to End) 확장 합성곱 신경망(Convolutional Neural Network: CNN)이 적용된 군중 밀도 분포맵 모델을 학습하고, 분석 요청된 군중 장면 이미지를 상기 군중 밀도 분포맵 모델에 적용하여 고품질의 실시간 군중 밀도 분포맵을 생성한 후 생성된 실시간 군중 밀도 분포맵을 기반으로 군중 장면 이미지의 사람 수를 계수하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법에 관한 것이다.
일반적으로 시민을 안전하게 보호하고, 위법자들을 추적 및 감시하기 위해 도로, 광장, 건물 내의 주요 공간 등에 폐쇄회로텔레비전(Closed Circuit Television: CCTV)이 설치되고 있다.
또한, 이러한 CCTV를 통해 획득되는 이미지를 수집하여 저장하고, 분석하는 다양한 이미지 분석 장치들이 개발되어 적용되고 있다.
일반적인 이미지 분석 장치는 CCTV를 통해 수집되는 이미지로부터 사람을 검출하고, 검출된 사람의 행동을 분석 및 추정하거나, 다수의 사람, 즉 군중의 수를 계수하는 데 사용되고 있다.
특히, 최근에는 보안을 위해 다수의 사람, 즉 군중이 모여 있는 정지 이미지 및 동영상(이하 "군중 장면 이미지"라 함)으로부터 군중의 수, 즉 사람의 수를 계산하거나 추정하는 이미지 분석 장치가 개발되고 적용되고 있다.
종래 이미지 분석 장치는 군중의 수를 계수하기 위해 획득되는 이미지 내에서 사람의 신체 전체 또는 신체의 특정 부분(통상: 얼굴)을 해당 신체 부분에 대한 특징 패턴에 의해 검출하여 사람 수를 계수하는 직접 검출 방식과 군중 분포에 따른 군중 밀도 분포맵을 생성하여 군중의 수를 계수하는 밀도 분포맵 방식이 적용되고 있다.
직접 검출 방식 및 신체 전체 검출에 의해 군중 수를 계수하는 이미지 분석 장치는 이미지 내에 다수의 사람이 엉켜있어 사람의 전체 신체를 검출하는 것이 불가능한 문제점이 있었다.
직접 검출 방식 및 신체 일부분에 의해 군중 수를 계수하는 이미지 분석 장치 또한 이미지 내에서 다수의 사람이 엉켜있어 해당 부분이 검출되지 않는 경우가 많아 정확하게 군중 수를 계수할 수 없는 문제점이 있었다.
도 1은 일반적인 이미지 분석 장치에서의 비슷한 수의 군중을 포함하는 실제 이미지 및 기본 밀도 분포맵을 나타낸 도면이다.
도 1을 참조하면, 밀도 분포맵 방식이 적용된 이미지 분석 장치는 도 1의 (a) 및 (b)에서 보이는 바와 같이 비슷한 사람 수를 가지는 (a) 및 (b) 각각의 제1 이미지(1) 및 제2 이미지(2)에 대응하는 제1 밀도 분포맵(3) 및 제2 밀도 분포맵(4)의 분포가 비슷하지 않고 전혀 다르다는 것을 알 수 있다. 즉, 일반적인 밀도 분포맵 방식을 적용한 이미지 분석 장치는 정확하게 군중의 사람 수를 계수할 수 없다.
따라서 군중 장면 이미지로부터 사람 수를 실시간으로 정확하게 계수할 수 있는 이미지 분석 장치의 개발이 요구되고 있다.
대한민국 등록특허 제10-1467307호(2014.12.01. 공고)
따라서 본 발명의 목적은 군중 장면 이미지에 포함된 사람들에 대한 군중 밀도 분포맵 정보를 포함하는 학습 데이터세트를 엔드 투 엔드(End to End) 확장 합성곱 신경망(Convolutional Neural Network: CNN)이 적용된 군중 밀도 분포맵 모델을 학습하고, 분석 요청된 군중 장면 이미지를 상기 군중 밀도 분포맵 모델에 적용하여 고품질의 실시간 군중 밀도 분포맵을 생성한 후 생성된 실시간 군중 밀도 분포맵을 기반으로 군중 장면 이미지의 사람 수를 계수하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치는: 군중의 수에 대한 주석이 달린 다수의 군중 장면 이미지를 포함하는 데이터세트를 생성하는 데이터세트 생성부; 상기 데이터세트의 상기 군중 장면 이미지들에 대한 기본 밀도 분포맵을 생성하고, 상기 군중 장면 이미지 및 기본 밀도 분포맵을 포함하는 데이터를 증가시켜 학습 데이터세트를 생성하는 데이터세트 전 처리부; 깊이별 분리 가능 합성곱 계층 및 확장 합섭곱 계층을 포함하는 엔드 투 엔드 합성곱 신경망을 적용하여 군중 장면 이미지의 머리 수에 대한 군중 밀도 분포맵을 학습하는 군중 밀도 분포맵 모델에 상기 데이터세트 전처리부로부터 입력되는 상기 학습 데이터세트를 적용하여 학습시키는 학습부; 상기 학습된 군중 밀도 분포맵 모델이 적용되어 실시간 입력되는 군중 장면 이미지에 대한 군중 밀도 분포 맵을 생성하여 출력하는 밀도 분포맵 생성부; 및 상기 군중 밀도 분포맵을 입력받아 실시간 입력되는 상기 군중 장면 이미지의 군중 수를 카운트하는 카운트부를 포함하는 것을 특징으로 한다.
상기 데이터세트 전처리부는, 상기 데이터세트의 군중 장면 이미지들 각각에 대해 하기의 수학식으로 표현되는 적응형 지오메트리 커널을 적용하여 기본 밀도 분포맵을 생성하여 출력하는 기본 밀도 분포맵 생성부; 및 상기 주석이 달린 군중 장면 이미지에 대한 데이터량을 증가하는 데이터 증가부를 더 포함하는 것을 특징으로 한다.
[수학식]
Figure 112020114530875-pat00001
여기서, si는 모든 대상 물체를 나타내고, δ는 기본 밀도 분포맵이고, di는 k개의 가장 가까운 이웃의 거리 평균이며, s는 입력 이미지에서의 픽셀의 위치를 나타낸다.
상기 데이터 증가부는, 상기 군중 장면 이미지를 상기 군중 장면의 크기에 대해 일정 비율로 줄어든 일정 수로 패치로 분할하여 데이터를 증가시키는 것을 특징으로 한다.
상기 군중 밀도 분포맵 모델은, 전처리된 학습 데이터세트의 서로 다른 해상도를 가지는 군중 장면 이미지에서 2D 특징을 추출하여 출력하는 프런트 엔드 처리부; 및 상기 프런트 엔드 처리부로부터 출력되는 2D 특징의 확장된 합성곱을 수행하여 군중 밀도 분포맵을 생성하여 출력하는 백 엔드 처리부를 포함하는 것을 특징으로 한다.
프런트 엔드 처리부는, 3개의 깊이별 분리 가능 합성곱 계층 및 크기가 3*3인 필터를 포함하되, 순차적으로 16개, 32개, 64개, 128개 및 256개의 서로 다른 개수의 필터를 가지며, 활성화 함수로 ReLU를 적용하는 5개의 깊이별 분리 가능 합성곱 계층 모듈; 상기 깊이별 분리 가능 합성곱 계층 모듈 중 제2 깊이별 분리 가능 합성곱 계층 모듈 뒤, 제4 및 제5 깊이별 분리 가능 합성곱 계층 모듈 뒤에 각각 구성되고 크기가 2*2인 맥스 풀링 계층; 및 2개의 표준 합성곱 계층 및 크기가 3*3인 512개의 필터를 포함하고, 활성화함수로 ReLU를 적용하는 표준 합성곱 계층 모듈을 포함하는 것을 특징으로 한다.
상기 백 엔드 처리부는, 2개의 확장 합성곱 계층 및 크기가 3*3인 필터를 포함하되, 순차적으로 512, 256 및 128 개의 필터 수를 가지는 3개의 제1 확장 합성곱 계층 모듈; 하나의 확장 합성곱 계층 및 크기가 3*3인 64개의 필터를 포함하는 제2확장 합성곱 계층 모듈; 및 하나의 표준 합성곱 계층 및 크기가 1*1인 한 개의 필터를 구비하고, 활성화함수로 ReLU를 적용하는 표준 합성곱 계층 모듈을 포함하는 것을 특징으로 한다.
상기 확장 합성곱 계층은, 여분의 커널들을 사용하여 수용야를 확장하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 방법은: 데이터세트 생성부가 군중의 수에 대한 주석이 달린 다수의 군중 장면 이미지를 포함하는 데이터세트를 생성하는 데이터세트 생성 과정; 데이터세트 전 처리부가 상기 데이터세트의 상기 군중 장면 이미지들에 대한 기본 밀도 분포맵을 생성하고, 상기 군중 장면 이미지 및 기본 밀도 분포맵을 포함하는 데이터를 증가시켜 학습 데이터세트를 생성하는 데이터세트 전처리 과정; 학습부가 깊이별 분리 가능 합성곱 계층 및 확장 합섭곱 계층을 포함하는 엔드 투 엔드 합성곱 신경망을 적용하여 군중 장면 이미지의 머리 수에 대한 군중 밀도 분포맵을 학습하는 군중 밀도 분포맵 모델에 상기 데이터세트 전처리부로부터 입력되는 상기 학습 데이터세트를 적용하여 학습시키는 학습 과정; 밀도 분포맵 생성부가 상기 학습된 군중 밀도 분포맵 모델이 적용되어 실시간 입력되는 군중 장면 이미지에 대한 군중 밀도 분포 맵을 생성하여 출력하는 밀도 분포맵 생성 과정; 및 카운트부가 상기 군중 밀도 분포맵을 입력받아 실시간 입력되는 상기 군중 장면 이미지의 군중 수를 카운트하는 카운트 과정을 포함하는 것을 특징으로 한다.
상기 데이터세트 전처리 과정은, 기본 밀도 분포맵 생성부가 상기 데이터세트의 군중 장면 이미지들 각각에 대해 하기의 수학식으로 표현되는 적응형 지오메트리 커널을 적용하여 기본 밀도 분포맵을 생성하여 출력하는 기본 밀도 분포맵 생성 단계; 및 데이터 증가부가 상기 주석이 달린 군중 장면 이미지에 대한 데이터량을 증가하는 데이터 증가 단계를 더 포함하는 것을 특징으로 한다.
[수학식]
Figure 112020114530875-pat00002
여기서, si는 모든 대상 물체를 나타내고, δ는 기본 밀도 분포맵이고, di는 k개의 가장 가까운 이웃의 거리 평균이며, s는 입력 이미지에서의 픽셀의 위치를 나타낸다.
상기 데이터 증가부가 데이터 증가 단계에서 상기 군중 장면 이미지를 상기 군중 장면의 크기에 대해 일정 비율로 줄어든 일정 수로 패치로 분할하여 데이터를 증가시키는 것을 특징으로 한다.
상기 학습 과정은, 프런트 엔드 처리부가 전처리된 학습 데이터세트의 서로 다른 해상도를 가지는 군중 장면 이미지에서 2D 특징을 추출하여 출력하는 프런트 엔드 처리 단계; 및 백 엔드 처리부가 상기 프런트 엔드 처리부로부터 출력되는 2D 특징의 확장된 합성곱을 수행하여 군중 밀도 분포맵을 생성하여 출력하는 백 엔드 처리 단계를 포함하는 것을 특징으로 한다.
본 발명은 획득된 데이터세트에 포함된 군중 장면 이미지에 포함된 주석이 달린 사람의 머리를 흐리게 하여 정규화한 후, 적응형 기하학 커널에 적용하여 기본 밀도 분포맵을 생성하고, 생성된 기본 밀도 분포맵을 데이터세트에 추가함으로써 데이터세트의 품질을 높여 상기 군중 장면 이미지에 포함된 사람 수의 카운트 정확도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 데이터세트의 군중 장면 이미지를 중첩 분할 및 의사잡음을 인가하여 데이터를 증가시키므로 상기 군중 장면 이미지 내의 사람 수의 카운트 정확도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 군중 밀도 분포맵 모델에 깊이별 분리 가능한 합성곱 계층을 포함하는 프런트 엔드를 적용함으로써 합성곱 프로세스에서 많은 양의 연산을 줄일 수 있고, 모델의 크기도 줄일 수 있는 효과가 있다.
또한, 본 발명은 군중 밀도 분포맵 모델에 최대 및 평균 풀링 계층을 최소화하여 맵의 일부 특수정보가 손실되는 것을 방지하고, 상기 풀링 계층의 최소화에 따른 역 합성곱 계층을 사용하지 않아도 되므로 복잡성 및 실행 시간을 줄일 수 있는 효과가 있다.
도 1은 일반적인 이미지 분석 장치에서의 비슷한 수의 군중을 포함하는 실제 이미지 및 기본 밀도 분포맵을 나타낸 도면이다.
도 2는 본 발명에 따른 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치의 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치의 각 구성요소를 개념적으로 나타낸 도면이다.
도 4는 본 발명에 따른 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치의 데이터세트 전처리부의 데이터 증가 개념을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 단일 및 다중 필터에 대한 표준 2D 합성곱 프로세스 계층의 구성을 나타낸 도면이다.
도 6은 본 발명에 따른 깊이별 분리 가능 합성곱 계층의 구성을 나타낸 도면이다.
도 7은 본 발명에 따른 확장률의 증가에 따른 수용야의 확장 효과를 나타낸 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치의 구성 및 동작을 설명하고, 상기 장치에서의 군중 장면 이미지 실시간 분석 방법을 설명한다.
도 2는 본 발명에 따른 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치의 구성을 나타낸 도면이고, 도 3은 본 발명에 따른 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치의 각 구성 요소를 개념적으로 나타낸 도면이고, 도 4는 본 발명에 따른 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치의 데이터세트 전처리부의 데이터 증가 개념을 설명하기 위한 도면이며, 도 5는 본 발명에 따른 단일 및 다중 필터에 대한 표준 2D 합성곱 프로세스 계층의 구성을 나타낸 도면이고, 도 6은 본 발명에 따른 깊이별 분리 가능 합성곱 계층의 구성을 나타낸 도면이며, 도 7은 본 발명에 따른 확장률의 증가에 따른 수용야의 확장 효과를 나타낸 도면이다. 이하 도 2 내지 도 7을 참조하여 설명한다.
우선 도 2를 참조하면, 본 발명에 따른 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치는 데이터세트 생성부(100), 군중 이미지 획득부(200), 데이터세트 전처리부(300), 학습부(400), 밀도 분포맵 생성부(500) 및 군중 계수부(600)를 포함한다.
데이터세트 생성부(100)는 일정 기간동안 CCTV를 통해 수집하거나 온라인상의 서버에 업로드되어 있는 과밀한 다수의 군중들이 모여 있는 이미지인 군중 장면 이미지들을 수집하고, 수집된 군중 장면 이미지들에 포함된 사람 머리에 대한 주석을 관리자로부터 획득한 주석을 포함하는 군중 장면 이미지들을 포함하는 데이터세트를 생성한다. 상기 군중 장면 이미지는 정지영상일 수도 있고, 동영상의 프레임별 이미지일 수도 있을 것이다.
또한, 데이터세트 생성부(100)는 하기 표 1과 같이 미리 획득되어 저장수단에 저장되어 있는 사람의 머리에 대한 주석을 포함하는 다수의 군중 장면 이미지를 포함하는 데이터세트를 로드하여 획득할 수도 있을 것이다.
Figure 112020114530875-pat00003
표 1에서 상하이테크(ShanghaiTech) 파트(A) 및 UCF_CC_50의 군중 장면 이미지의 군중들이 많아 매우 혼잡하고, 상하이테크 파트(B), UCSD 및 WorldExpo'10은 상대적으로 사람이 드물고 감시보기 샘플(군중 장면 이미지)이 있음을 나타내고 있다.
표 1에서 Tn은 전체 샘플을 나타내고, Mn 및 Mx는 각각 이미지의 최소 및 최대 개인 수를 나타낸다.
이미지 당 평균 사람 수(Av)를 나타내기 위해 사용되고, R은 이미지 해상도를 Th는 전체 주석이 달린 머리를, ROI는 관심영역이며, 관심영역의 존재 여부를 Yes 또는 No로 나타낸다.
상기 데이터세트에 포함된 데이터, 즉 군중 장면 이미지의 품질을 높이기 위해 데이터세트 생성부(100)는 이중 선형 보간 등을 적용하여 각 프레임에 대한 크기 조정 프로세스를 수행할 수도 있을 것이다. 예를 들어 데이터세트 생성부(100)는 프레임별 과밀 군중 영상 이미지의 크기를 900*600 해상도로 조정할 수 있을 것이다.
데이터세트가 생성 또는 획득되면 데이터세트 생성부(100)는 생성된 또는 획득된 데이터세트를 데이터세트 전처리부(300)로 제공한다.
군중 이미지 획득부(200)는 CCTV, 서버 등으로 군중 장면 이미지를 실시간 획득되거나 분석해야 할 군중 장면 이미지를 획득하여 군중 밀도 분포맵 생성부(300)로 바로 제공하거나, 데이터세트 전처리부(300)에서 데이터 전처리를 수행한 후 밀도 분포맵 생성부(300)로 전송한다.
데이터세트 전처리부(300)는 기본 밀도 분포맵 생성 모듈(310) 및 데이터 증가 모듈(320)을 포함하여, 기존 데이터로부터 파생되는 새로운 데이터를 생성하고, 기존 데이터를 증가시키는 전처리를 수행한다.
구체적으로 기본 밀도 분포맵 생성 모듈(310)은 데이터세트 생성부(100)로부터 입력되는 데이터세트의 사람의 머리에 대한 주석을 포함하는 각 군중 장면 이미지에 기하학 커널을 적용하여 도 3의 311과 같이 실제 사진(군중 장면 이미지)에 대한 기본 밀도 분포맵을 생성한다.
상기 기본 밀도 분포맵 생성 모듈(310)은 가우시안(Gaussian) 커널을 적용하여 주석이 달린 군중 장면 이미지의 모든 사람의 머리를 흐리게 처리하여 하나로 정규화하고, 모든 이미지의 특수 분포를 고려하여 기본 밀도 분포맵을 생성한다.
상기 가우시안 커널을 적용하기 위한 지오매트리 적응 필터는 하기 수학식 1과 같이 나타낼 수 있다.
Figure 112020114530875-pat00004
여기서 si는 모든 대상 물체를 나타내고, δ는 군중 밀도 분포맵이며, di는 k개의 가장 가까운 이웃의 거리 평균이고, S는 입력 이미지에서 픽셀의 위치를 나타낸다.
합성곱 프로세스는 군중 밀도 분포맵을 생성하기 위해 표준편차(σi)를 갖는 매개변수(δ(s-si)) 및 가우스 필터에 적용된다.
상기 표 1의 상하이테크 파트(A) 및 UCF_CC_50과 같이 군중 장면 이미지들이 많은 경우 지오메트리 적응 커널을 사용할 수 있을 것이다.
그리고 상하이테크 파트(B), UCSD 및 WorldExpo'10은 군중이 비교적 적은 군중 장면 이미지들을 가지는 데이터세트로, 고정 커널이 적용될 수 있으며, 상하이테크 파트(B)는 δ=15가 적용될 수 있고, WorldExpo'10은 δ=3을 적용할 수 있을 것이다.
기본 밀도 분포맵 생성 시 사용된 구성에 따라 β=0.3, k=3이 적용될 수 있을 것이다.
고정된 표준편차(σi)를 가지는 가우스 커널은 희소 군중 장면 이미지에서 머리 주석을 흐리게 처리하고 머리 크기를 평균화하는 데 사용된다.
데이터 증가 모듈(320)은 모델의 학습 효율성을 높이기 위해 데이터 증가 방식을 적용하여 데이터세트의 군중 장면 이미지의 데이터양을 증가시킨다.
상기 데이터 증가 방식으로는 분할 방식, 분할 방식 및 의사 잡음 삽입 방식 등이 적용될 수 있을 것이다.
도 4를 예를 들어 설명하면 데이터 증가 모듈(320)은 (a)의 군중 장면 이미지를 4 등분하여 제1분할 군중 장면 이미지(11), 제2분할 군중 장면 이미지(12), 제3분할 군중 장면 이미지(13), 제4분할 군중 장면 이미지(14)를 생성하고, 상기 군중 장면 이미지의 중심부를 기준으로 분할 군중 장면 이미지와 동일한 크기의 제5분할 군중 장면 이미지(15)를 생성하며, 상기 군중 장면 이미지를 상기 분할 군중 장면 이미지와 동일한 크기로 랜덤한 위치에서 분할한 제6 내지 제9 분할 군중 장면 이미지(16, 17, 18, 19)를 생성하여 (b)와 같이 데이터를 증가시킨다. 상기 분할 군중 장면 이미지는 패치라고도 하며, 상기 패치는 원래 이미지인 군중 장면 이미지의 크기의 1/4 크기를 갖는다.
또한, 데이터 증가 모듈(320)은 생성된 분할 군중 장면 이미지(패치)를 수평으로 반전시키고, 약간의 의사 잡음을 추가할 수 있을 것이다.
학습부(400)는 프런트 엔드 처리부(410) 및 백 엔드 처리부(420)를 포함하는 군중 밀도 분포맵 모델을 가지고 있으며, 상기 데이터세트 전처리부(300)로부터 입력된 전처리된 데이터세트를 상기 군중 밀도 분포맵 모델에 적용하여 군중 밀도 분포맵 모델을 학습시킨 후, 상기 군중 밀도 분포맵 모델을 밀도 분포맵 생성부(500)로 제공한다.
구체적으로 설명하면, 프론트 엔드 처리부(410)는 전처리된 학습 데이터세트의 서로 다른 해상도를 가지는 군중 장면 이미지에서 2D 특징을 추출하여 출력한다.
상기 프런트 엔드 처리부(410)는 3개의 깊이별 분리 가능 합성곱 계층을 포함하는 5개의 깊이별 분리 가능 합성곱 계층 모듈(411, 412, 414, 415, 417), 3개의 맥스 풀링 계층(413, 416, 418) 및 두 개의 표준 합성곱 계층을 포함하는 표준 합성곱 계층 모듈(419)을 포함한다.
상기 5개의 깊이별 분리 가능 합성곱 계층 모듈(411, 412, 414, 415, 417)은 크기가 3*3인 필터를 구비하며, 각각 16개, 32개, 64개, 128개, 256개의 필터를 포함하여 구성된다.
또한, 상기 깊이별 분리 가능 합성곱 계층 모듈(411, 412, 414, 415, 417)은 활성화 함수로 ReLU 함수를 적용한다.
맥스 풀링 계층(413)은 순서적으로 두 번째인 제2 깊이별 분리 가능 합성곱 계층 모듈(412)의 출력단에 연결되고, 그 크기는 2*2이다.
맥스 풀링 계층(416)은 순서적으로 4 번째인 제4 깊이별 분리 가능 합성곱 계층 모듈(455)의 출력단에 연결되고, 그 크기는 2*2이다.
맥스 풀링 계층(418)는 순서적으로 5 번째인 제5 깊이별 분리 가능 합성곱 계층 모듈(417)의 출력단에 연결되고, 그 크기는 2*2이다.
표준 합성곱 계층 모듈(419)은 최 후단에 구성되고, 3*3인 512개의 필터를 포함하며, 활성화함수로 ReLU가 적용된다.
2D 합성곱은 깊이별 합성곱 및 1*1 합성곱인 점별 합성곱으로 나뉜다.
본 발명의 프런트 엔드 처리부(410)는 깊이 합성곱을 수행하는 5개의 깊이별 합성곱 계층 모듈(411, 412, 414, 415, 417)과 점별 합성곱을 수행하는 하나의 표준 합성곱 계층 모듈(419)을 포함한다.
깊이별 합성곱 계층 모듈(411, 412, 414, 415, 417)은 단일 필터가 모든 입력 채널에 깊이별 합성곱으로 적용되고, 모든 채널에 대한 물리 특징 맵을 생성한다.
표준 합성곱 계층 모듈(419)은 깊이별 합성곱 계층 모듈의 출력을 결합하기 위해 1*1 합성곱인 점별 연산을 수행하여 새로운 출력 데이터세트를 생성하여 출력한다.
프런트 엔드 처리부(410)는 단일 깊이별 합성곱 프로세스를 수행하며, 필터링을 위해 추가 2개의 동작으로 분산될 수 있으며, 필터링을 위해 별도의 합성곱을 사용하는 한편, 다른 합성곱 결합을 위해 사용되며, 이 분배로 인해 합성곱 프로세스에서 많은 양의 연산을 감소시키고 모델 크기도 현저하게 감소시킨다.
전형적인 2D 합성곱은 깊이별 분리 가능 합성곱과는 구별될 수 있다.
도 5를 참조하면, 2D 표준 합성곱 계층은 도 5의 20에서 보이는 바와 같이 높이*폭*채널의 형태로 7*7*3의 크기를 가지는 입력 및 3*3*3의 크기를 갖는 필터를 갖는 경우 그 출력 계층의 출력 크기는 5*5*1이다.
64개의 필터를 포함하는 경우 출력 계층은 5*5*1 크기의 64개의 출력맵을 가지는 출력 계층을 구성할 것이다.
그러나 도 5의 30에서 보이는 바와 같이 3*3*3 크기의 64개의 필터를 적용하여 5*5*64 크기의 단일 크기를 가지는 출력 계층으로 출력하도록 구성될 수도 있을 것이다. 이와 같이 함으로써 도 5의 30에서 보이는 바와 같이 채널이 증가하는 동안 높이와 너비가 감소함을 알 수 있다.
상술한 변환을 이루기 위해 깊이별 분리 가능한 합성곱 프로세스를 수행하는 프런트 엔드 처리부(410)의 동작을 설명한다.
프런트 엔드 처리부(410)는 첫 번째 단계에서 깊이별 합성곱 연산을 수행하고, 두 번째 단계에서 점별 합성곱 연산을 수행한다.
첫 번째 단계에서, 깊이별 합성곱 연산은 입력 계층에 적용되고 2D 합성곱에서 3*3*3형태를 가지는 하나의 필터를 적용하는 것보다는 도 6의 40에서 나타낸 바와 같이 각각 3*3*1의 크기를 갖는 3개의 필터를 적용하는 것이 바람직할 것이다.
각 필터의 크기 형태가 5*5*1인 입력 계층의 한 채널로 합성곱되며, 이 개별 맵은 함께 싸여서 5*5*3 형태의 맵을 생성한다.
상기 도 6의 40은 입력층의 공간적 차원이 감소하는 것을 보여주지만 채널은 여전히 이전과 동일하다.
제2단계에서, 도 6의 50과 같이 점별 합성곱 연산은 크기 1*1*3의 필터와 크기 5*5*1의 맵을 제공하는 크기 5*5*3의 입력 이미지를 합성곱하여 적용한다.
따라서 점별 합성곱 계층은 도 6의 60에서와 같이 크기 1*1*3의 64개의 필터를 크기 5*5*3인 입력 이미지와 합성곱한 후, 출력 맵 크기가 5*5*64인 출력 맵을 생성한다.
프런트 엔드 처리부(410)는 위의 두 단계(깊이별 합성곱 및 점별 합성곱)와 함께 크기가 7*7*3인 입력 계층을 크기가 5*5*64인 출력 계층으로 변환한다.
이와 같이 깊이별 분리 가능 합성곱을 사용하므로 프런트 엔드 처리부(410)에서 수행되는 연산을 감소할 수 있고, 표준 2D 합성곱에 비해 매개변수를 적게 사용하므로 모델의 크기를 감소시킬 수 있다.
백 엔드 처리부(420)는 2개의 확장 합성곱 계층 및 크기가 3*3인 필터를 포함하되, 순차적으로 2개씩 512, 256 및 128 개의 필터 수를 가지는 3개의 제1 확장 합성곱 계층 모듈(421, 422, 423), 하나의 확장 합성곱 계층 및 크기가 3*3인 64개의 필터를 포함하는 제2확장 합성곱 계층 모듈(424)과, 하나의 표준 합성곱 계층 및 크기가 1*1인 한 개의 필터를 구비하고, 활성화함수로 ReLU를 적용하는 표준 합성곱 계층 모듈(425)을 포함한다.
상기 확장 합성곱 계층 모듈(421, 422, 423, 424)은 분할 문제를 위해 적용되며, 매우 높은 정확도를 달성하고 풀링 계층 대신 사용될 수 있다.
확장 합성곱 계층(421, 422, 423, 424)은 풀링 계층을 대체하여 사용할 수 있고, 역합성곱 계층을 사용하지 않아도 되도록 함으로써 실행시간을 단축시키고 복잡성을 감소시킨다.
이러한 확장 합성곱 계층 모듈(421, 422, 423, 424)은 추가의 매개변수나 연산을 사용하지 않고, 수용야를 확장하는 여분 커널들을 사용한다.
예를 들어, 크기 m*m의 단순 커널을 m+(m-1)(d-1)(d-1)fh로 늘릴 수 있다. 여기서 d는 확장률이다.
확장률을 조절함으로써 도 7에서와 같이 크기가 3*3인 커널의 수용야를 확장할 수 있다.
도 7에서 보이는 바와 같이 확장률 d=1일 때 확장된 합성곱 계층은 정상적인 합성곱 계층처럼 3*3의 수용야를 획득한다.
??장률 d=2를 적용하면 확장된 합성곱 계층은 5*5의 수용야를 획득하며, d=3이면 7*7 크기의 수용야를 획득하며, d=4이면 9*9의 수용야를 획득할 수 있을 것이다.
확장된 합성곱 계층은 기존의 합성곱 계층, 풀링 계층 및 역합성곱 계층을 사용하는 매커니즘에 비해 특징 맵 해상도를 보존하는 데 많은 이점이 있다.
이러한 이점을 예를 들어 설명한다.
과밀한 군중 장면 이미지가 있고, 군중 장면 이미지는 두 가지 다른 기술로 독립적으로 처리되지만, 이 기술이 이미지에 적용한 후에도 원 입력 이미지의 모양과 출력의 모양은 같아야 할 것이다.
기존 매커니즘 기술로는 다운 샘플링, 합성곱 계층 및 업 샘플링의 세 가지 주요 기술이 있다.
기존의 매커니즘은 최대 풀링을 적용하여 초기 입력 이미지의 모양을 축소하고, 작업을 위해 창 크기를 2로 유지하여 이미지 크기가 초기 이미지 모양의 절반으로 줄어든다.
풀링 작업 후, 3*3의 소버(Sober) 필터는 처리된 이미지와 합성곱되고 최종적으로 업샘플링 작업이 처리된 이미지는 이중선 보간이 적용되어 그 크기가 원 이미지의 크기와 비슷해진다.
2D 확장 합성곱 계층은 다음 수학식 2에 의해 표현될 수 있다.
Figure 112020114530875-pat00005
여기서, f(i, j)는 높이(H)와 넓이(B)의 필터이고, x(h,b)는 입력이고, g(h,b)는 확장된 합성곱 계층의 출력을 나타내며, 매개변수 d는 확장률을 나타낸다.
매개변수 값 d가 1이면 확장 합성곱 계층은 표준 합성곱 계층처럼 작동하지만 d값이 증가하면 추가 매개변수(가중치)를 사용하지 않고, 필터의 수용야를 증가한다.
상술한 프런트 엔드 처리부(410) 및 백 엔드 처리부(420)를 포함하는 군중 밀도 분포맵 모델은 확률적 경사 하강법(SGD)을 적용한다.
확률적 경사 하강법은 제안된 아키텍처를 일정한 학습률, fh 훈련하기 위한 최적화 도구로 사용된다.
손실할수로는 예측된 밀도 분포와 실제 군중 밀도 분포맵 사이의 거리를 찾는 유클리드 거리가 사용된다. 손실함수는 하기 수학식 3을 사용하여 표현할 수 있다.
Figure 112020114530875-pat00006
여기서, F(Xi;θ)는 우리가 제안한 모델의 출력이고, M은 훈련의 배치 크기이고, θ는 입력 이미지를 표시하는 데 Xi가 사용되는 매개변수를 나타내며, Di GT는 기본 밀도 분포맵이다.
밀도 분포맵 생성부(500)는 상기 학습부(400)로부터 학습된 군중 밀도 분포맵 모델을 제공받아 구동하고, 군중 이미지 획득부(200)가 출력하는 군중 장면 이미지를 직접 입력받거나 데이터세트 전처리부(300)를 통해 입력받아 상기 군중 밀도 분포맵 모델에 적용하여, 본 발명에 따른 군중 밀도 분포맵을 군중 계수부(600)로 출력한다.
군중 밀도 분포맵을 입력받은 군중 계수부(600)는 군중 밀도 분포맵의 사람의 머리 부분에 대응하는 분포점들을 계수하여 군중의 사람 수를 계수한다.
반면, 본 발명에 따른 확장 합성곱 계층은 동일한 필터, 즉 확장률 d=2를 갖는 3*3 크기의 소벨(Sobel) 필터를 원래 입력 이미지로 합성곱하여 확장된 합성곱 개념을 적용한다.
출력 이미지는 풀링 및 업 샘플링 작업 없이 초기 입력 이미지와 동일한 모양을 갖는다.
또한, 확장된 합성곱 출력에는 추가로 포괄적인 정보가 포함된다.
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
100: 데이터세트 생성부 200: 군중 이미지 획득부
300: 데이터세트 전처리부 310: 기본 밀도 분포맵 생성모듈
320: 데이터 증가 모듈 400: 학습부
410: 프런트 엔드 처리부 420: 백 엔드 처리부
500: 밀도 분포맵 생성부 600: 군중 계수부

Claims (11)

  1. 군중의 수에 대한 주석이 달린 다수의 군중 장면 이미지를 포함하는 데이터세트를 생성하는 데이터세트 생성부;
    상기 데이터세트의 상기 군중 장면 이미지들에 대한 기본 밀도 분포맵을 생성하고, 상기 군중 장면 이미지 및 기본 밀도 분포맵을 포함하는 데이터를 증가시켜 학습 데이터세트를 생성하는 데이터세트 전 처리부;
    깊이별 분리 가능 합성곱 계층 및 확장 합섭곱 계층을 포함하는 엔드 투 엔드 합성곱 신경망을 적용하여 군중 장면 이미지의 머리 수에 대한 군중 밀도 분포맵을 학습하는 군중 밀도 분포맵 모델에 상기 데이터세트 전처리부로부터 입력되는 상기 학습 데이터세트를 적용하여 학습시키는 학습부;
    상기 학습된 군중 밀도 분포맵 모델이 적용되어 실시간 입력되는 군중 장면 이미지에 대한 군중 밀도 분포 맵을 생성하여 출력하는 밀도 분포맵 생성부; 및
    상기 군중 밀도 분포맵을 입력받아 실시간 입력되는 상기 군중 장면 이미지의 군중 수를 카운트하는 카운트부를 포함하고,
    상기 데이터세트 전처리부는,
    상기 데이터세트의 군중 장면 이미지들 각각에 대해 하기의 수학식으로 표현되는 적응형 지오메트리 커널을 적용하여 기본 밀도 분포맵을 생성하여 출력하는 기본 밀도 분포맵 생성부; 및
    상기 주석이 달린 군중 장면 이미지에 대한 데이터량을 증가하는 데이터 증가부를 더 포함하는 것을 특징으로 하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치.
    [수학식]
    Figure 112022075537218-pat00007

    여기서, si는 모든 대상 물체를 나타내고, δ는 기본 밀도 분포맵이고, di는 k개의 가장 가까운 이웃의 거리 평균이며, s는 입력 이미지에서의 픽셀의 위치를 나타낸다.
  2. 삭제
  3. 제1항에 있어서,
    상기 데이터 증가부는,
    상기 군중 장면 이미지를 상기 군중 장면의 크기에 대해 일정 비율로 줄어든 일정 수로 패치로 분할하여 데이터를 증가시키는 것을 특징으로 하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치.
  4. 제1항에 있어서,
    상기 군중 밀도 분포맵 모델은,
    전처리된 학습 데이터세트의 서로 다른 해상도를 가지는 군중 장면 이미지에서 2D 특징을 추출하여 출력하는 프런트 엔드 처리부; 및
    상기 프런트 엔드 처리부로부터 출력되는 2D 특징의 확장된 합성곱을 수행하여 군중 밀도 분포맵을 생성하여 출력하는 백 엔드 처리부를 포함하는 것을 특징으로 하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치.
  5. 제4항에 있어서,
    프런트 엔드 처리부는,
    3개의 깊이별 분리 가능 합성곱 계층 및 크기가 3*3인 필터를 포함하되, 순차적으로 16개, 32개, 64개, 128개 및 256개의 서로 다른 개수의 필터를 가지며, 활성화 함수로 ReLU를 적용하는 5개의 깊이별 분리 가능 합성곱 계층 모듈;
    상기 깊이별 분리 가능 합성곱 계층 모듈 중 제2 깊이별 분리 가능 합성곱 계층 모듈 뒤, 제4 및 제5 깊이별 분리 가능 합성곱 계층 모듈 뒤에 각각 구성되고 크기가 2*2인 맥스 풀링 계층; 및
    2개의 표준 합성곱 계층 및 크기가 3*3인 512개의 필터를 포함하고, 활성화함수로 ReLU를 적용하는 표준 합성곱 계층 모듈을 포함하는 것을 특징으로 하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치.
  6. 제4항에 있어서,
    상기 백 엔드 처리부는,
    2개의 확장 합성곱 계층 및 크기가 3*3인 필터를 포함하되, 순차적으로 512, 256 및 128 개의 필터 수를 가지는 3개의 제1 확장 합성곱 계층 모듈;
    하나의 확장 합성곱 계층 및 크기가 3*3인 64개의 필터를 포함하는 제2확장 합성곱 계층 모듈; 및
    하나의 표준 합성곱 계층 및 크기가 1*1인 한 개의 필터를 구비하고, 활성화함수로 ReLU를 적용하는 표준 합성곱 계층 모듈을 포함하는 것을 특징으로 하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치.
  7. 제6항에 있어서,
    상기 확장 합성곱 계층은,
    여분의 커널들을 사용하여 수용야를 확장하는 것을 특징으로 하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치.
  8. 데이터세트 생성부가 군중의 수에 대한 주석이 달린 다수의 군중 장면 이미지를 포함하는 데이터세트를 생성하는 데이터세트 생성 과정;
    데이터세트 전 처리부가 상기 데이터세트의 상기 군중 장면 이미지들에 대한 기본 밀도 분포맵을 생성하고, 상기 군중 장면 이미지 및 기본 밀도 분포맵을 포함하는 데이터를 증가시켜 학습 데이터세트를 생성하는 데이터세트 전처리 과정;
    학습부가 깊이별 분리 가능 합성곱 계층 및 확장 합섭곱 계층을 포함하는 엔드 투 엔드 합성곱 신경망을 적용하여 군중 장면 이미지의 머리 수에 대한 군중 밀도 분포맵을 학습하는 군중 밀도 분포맵 모델에 상기 데이터세트 전처리부로부터 입력되는 상기 학습 데이터세트를 적용하여 학습시키는 학습 과정;
    밀도 분포맵 생성부가 상기 학습된 군중 밀도 분포맵 모델이 적용되어 실시간 입력되는 군중 장면 이미지에 대한 군중 밀도 분포 맵을 생성하여 출력하는 밀도 분포맵 생성 과정; 및
    카운트부가 상기 군중 밀도 분포맵을 입력받아 실시간 입력되는 상기 군중 장면 이미지의 군중 수를 카운트하는 카운트 과정을 포함하고,
    상기 데이터세트 전처리 과정은,
    기본 밀도 분포맵 생성부가 상기 데이터세트의 군중 장면 이미지들 각각에 대해 하기의 수학식으로 표현되는 적응형 지오메트리 커널을 적용하여 기본 밀도 분포맵을 생성하여 출력하는 기본 밀도 분포맵 생성 단계; 및
    데이터 증가부가 상기 주석이 달린 군중 장면 이미지에 대한 데이터량을 증가하는 데이터 증가 단계를 더 포함하는 것을 특징으로 하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 방법.
    [수학식]
    Figure 112022075537218-pat00008

    여기서, si는 모든 대상 물체를 나타내고, δ는 기본 밀도 분포맵이고, di는 k개의 가장 가까운 이웃의 거리 평균이며, s는 입력 이미지에서의 픽셀의 위치를 나타낸다.
  9. 삭제
  10. 제8항에 있어서,
    상기 데이터 증가부가 데이터 증가 단계에서 상기 군중 장면 이미지를 상기 군중 장면의 크기에 대해 일정 비율로 줄어든 일정 수로 패치로 분할하여 데이터를 증가시키는 것을 특징으로 하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 방법.
  11. 제8항에 있어서,
    상기 학습 과정은,
    프런트 엔드 처리부가 전처리된 학습 데이터세트의 서로 다른 해상도를 가지는 군중 장면 이미지에서 2D 특징을 추출하여 출력하는 프런트 엔드 처리 단계; 및
    백 엔드 처리부가 상기 프런트 엔드 처리부로부터 출력되는 2D 특징의 확장된 합성곱을 수행하여 군중 밀도 분포맵을 생성하여 출력하는 백 엔드 처리 단계를 포함하는 것을 특징으로 하는 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 방법.
KR1020200140950A 2020-10-28 2020-10-28 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법 KR102486083B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200140950A KR102486083B1 (ko) 2020-10-28 2020-10-28 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200140950A KR102486083B1 (ko) 2020-10-28 2020-10-28 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220056399A KR20220056399A (ko) 2022-05-06
KR102486083B1 true KR102486083B1 (ko) 2023-01-09

Family

ID=81584629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200140950A KR102486083B1 (ko) 2020-10-28 2020-10-28 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102486083B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240074617A (ko) 2022-11-18 2024-05-28 주식회사 매스아시아 리소스가 제한된 개인형 이동장치의 비전 기반 군중 계수 장치 및 방법
KR102584708B1 (ko) 2022-12-13 2023-10-05 주식회사 인텔리빅스 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200151497A1 (en) * 2018-11-12 2020-05-14 Sony Corporation Semantic segmentation with soft cross-entropy loss

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101467307B1 (ko) 2013-08-19 2014-12-01 성균관대학교산학협력단 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200151497A1 (en) * 2018-11-12 2020-05-14 Sony Corporation Semantic segmentation with soft cross-entropy loss

Also Published As

Publication number Publication date
KR20220056399A (ko) 2022-05-06

Similar Documents

Publication Publication Date Title
CN110033003B (zh) 图像分割方法和图像处理装置
US11200424B2 (en) Space-time memory network for locating target object in video content
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Shen et al. Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及***
JP5555706B2 (ja) 高解像度映像獲得装置およびその方法
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
US20240062530A1 (en) Deep perceptual image enhancement
Zhang et al. LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising
Raghavendra et al. Comparative evaluation of super-resolution techniques for multi-face recognition using light-field camera
KR102486083B1 (ko) 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、***和介质
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测***
Haoyu et al. Learning to deblur and generate high frame rate video with an event camera
CN111612741A (zh) 一种基于失真识别的精确无参考图像质量评价方法
CN111369548A (zh) 一种基于生成对抗网络的无参考视频质量评价方法及装置
Wu et al. Two-level wavelet-based convolutional neural network for image deblurring
Xie et al. Feature dimensionality reduction for example-based image super-resolution
Parekh et al. A survey of image enhancement and object detection methods
CN111681236B (zh) 一种带注意力机制的目标密度估计方法
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
Bull et al. Perceptual improvements for super-resolution of satellite imagery
CN116385283A (zh) 一种基于事件相机的图像去模糊方法及***
Chao et al. Instance-aware image dehazing
Zhang et al. Image Super-Resolution Using a Wavelet-based Generative Adversarial Network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant