KR102647960B1 - AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템 - Google Patents
AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템 Download PDFInfo
- Publication number
- KR102647960B1 KR102647960B1 KR1020230134794A KR20230134794A KR102647960B1 KR 102647960 B1 KR102647960 B1 KR 102647960B1 KR 1020230134794 A KR1020230134794 A KR 1020230134794A KR 20230134794 A KR20230134794 A KR 20230134794A KR 102647960 B1 KR102647960 B1 KR 102647960B1
- Authority
- KR
- South Korea
- Prior art keywords
- object area
- analyzed
- resolution
- metadata
- analysis
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 89
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 description 22
- 238000010586 diagram Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 241000283690 Bos taurus Species 0.000 description 5
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
본 출원의 일 실시예에 따른 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법은, 촬영된 이미지를 수신하고 상기 이미지를 전처리하는 단계; 전처리된 이미지에서 객체 영역을 검출하는 단계; 서비스 모드에 따라 상기 객체 영역에서 분석 대상 객체 영역을 선택하는 단계; 상기 분석 대상 객체 영역의 메타데이터를 분석하는 단계; 상기 메타데이터를 이용하여, 상기 분석 대상 객체 영역의 고해상도 고화질 변환 방식을 판단하는 단계; 상기 판단 결과에 따라 상기 분석 대상 객체 영역을 고해상도 또는 고화질로 변환하는 단계; 및 변환된 분석 대상 객체 영역에 포함된 객체 정보를 식별하는 단계를 포함하는 것을 일 특징으로 한다. 본 발명의 일 실시 예에 따르면, AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용하여 초지능 객체 분석을 할 수 있다.
Description
본 발명은 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템에 관한 것으로, 구체적으로 본 발명은 전처리된 이미지에서 객체 영역을 검출하여 서비스 모드에 따라 객체 영역에서 분석 대상 객체 영역을 선택한 후 분석 대상 객체 영역의 메타데이터를 분석하여 고해상도 또는 고화질로 변환하고 객체 정보를 식별할 수 있는 방법 및 시스템에 관한 것이다.
카메라 영상 기반의 감시 시스템은 영상감시시스템, 불법주정차 단속시스템, 신호과속 단속시스템, 지능형 교통 시스템, 스마트 교차로 시스템 등 다양한 방식으로 활용될 수 있다. 영상 기반 감시 시스템은 이미지에서 객체를 검출하여 서비스를 구현하기 때문에, 객체 검출이 가능한 이미지 품질이 요구되며 이러한 요구사항으로 인하여 고가의 카메라가 다양한 각도로 여러 대 설치되어 전체 비용이 증가할 뿐 아니라, 연산 처리량이 증가되는 문제가 있다.
한편, 이미지 상의 객체를 검출 및 분석하는데 필요한 것은 이미지의 최소한의 크기 및/또는 이미지 내의 객체 영역의 품질이 중요하다. 일반적인 고해상도 이미지를 분석시에는 딥러닝 엔진에서 이미지 샘플링 과정에서 좋은 정보를 추출할 수 있지만, 저해상도 이미지나 이미지 상에 블러와 같이 윤곽선이 불분명하거나 흐린 경우에는 낮은 예측값이 기대된다.
미리 학습된 딥러닝 모델의 입력 계층은 이미지의 입력 크기를 지정하게 되어 있다. 학습 네트워크 구성에 따라 미리 학습된 모델은 일련의 이미지의 크기를 지정된 크기로 변환하는 작업을 거친 후에 데이터 분류를 진행하게 된다.
이러한 영상 입력 데이터의 크기가 충분하지 않은 경우, 이 과정에서 작은 이미지 내의 객체를 검출하게 되면, 그 인식율은 제한적이며, 인식값 역시 정확도가 낮게 된다. 따라서 미리 학습된 딥러닝 모델에 강건한 이미지 변환 알고리즘이 필요하다.
이를 해결하기 위하여 딥러닝 신경망의 입력 계층과 은닉 계층, 출력 계층 사이의 노드의 수를 늘리면, 학습 가중치 데이터로 인해 좀 더 나은 예측값이 나온다. 하지만 많은 노드의 구성은 학습 시간의 증가와 데이터 분석에 걸리는 시간이 증가한다.
일정 크기의 딥러닝 신경망 노드 구성과 일정 이상의 학습 데이터로 만들어진 모델링 파일에서도 검지(detection)나 인식이 되지 않는 경우가 발생한다. 좋은 품질의 이미지는 높은 예측값으로 검지 및 인식이 되지만, 낮은 품질의 이미지는 검지되지 않는 현상이 발생한다.
따라서, 같은 조건의 딥러닝 학습 모델에서도 높은 정확도를 위해서는 최적화된 리소스로 입력 이미지의 해상도를 객체 검출이 가능한 수준으로 유지하기 위한 신경망 네트워크 구조가 요구된다.
본 발명이 해결하고자 하는 일 과제는, 이미지에서 객체 영역을 검출하여 고해상도 또는 고화질로 변환할 수 있는 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템을 제공하는 것이다.
또한 본 발명이 해결하고자 하는 일 과제는, 객체 영역의 메타데이터를 분석하여 기설정된 조건에 적합한지 판단하여 변환 방식을 판단할 수 있는 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템을 제공하는 것이다.
또한 본 발명이 해결하고자 하는 일 과제는, 고화질로 변환된 분석 대상 객체 영역에 포함된 객체 정보를 식별할 수 있는 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시 예에 따른 이미지를 고해상도 및 고화질로 변환하는 초지능 객체 분석 방법에 있어서, 촬영된 이미지를 수신하고 상기 이미지를 전처리하는 단계; 전처리된 이미지에서 객체 영역을 검출하는 단계; 서비스 모드에 따라 상기 객체 영역에서 분석 대상 객체 영역을 선택하는 단계; 상기 분석 대상 객체 영역의 메타데이터를 분석하는 단계; 상기 메타데이터를 이용하여, 상기 분석 대상 객체 영역의 고해상도 고화질 변환 방식을 판단하는 단계; 상기 판단 결과에 따라 상기 분석 대상 객체 영역을 고해상도 또는 고화질로 변환하는 단계; 및 변환된 분석 대상 객체 영역에 포함된 객체 정보를 식별하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 이미지를 고해상도 및 고화질로 변환하는 초지능 객체 분석 시스템에 있어서, 촬영 장치 및 촬영을 안내하는 장치를 포함하는 촬영 및 안내부; 및 상기 촬영된 이미지를 전처리하여 상기 전처리된 이미지에서 객체 영역을 검출하고 서비스 모드를 판단하여 상기 객체 영역을 분석 대상 객체 영역으로 선택하고, 상기 분석 대상 객체 영역의 메타데이터를 분석하여 고화질 또는 고해상도로 변환하여, 변환된 분석 대상 객체 영역에 포함된 객체 정보를 식별하는 서버를 포함할 수 있다.
본 발명의 일 실시 예에 따른 이미지를 고해상도 및 고화질로 변환하는 초지능 객체 분석 서버에 있어서, 전처리된 이미지에서 객체 영역을 검출하여 서비스 모드에 따라 상기 객체 영역에서 분석 대상 객체 영역을 선택하는 객체 검지 모델부; 상기 분석 대상 객체 영역의 메타데이터를 분석하고, 상기 메타데이터를 이용하여, 상기 분석 대상 객체 영역의 고해상도 고화질 변환 방식을 판단하는 메타데이터 분석부; 상기 판단 결과에 따라 상기 분석 대상 객체 영역을 업스케일하여 고해상도로 변환하는 해상도 변환부; 상기 분석 대상 객체 영역을 고화질로 변환시키는 화질 변환부; 및 변환된 분석 대상 객체 영역에서 상기 분석 대상 객체 영역에 포함된 객체 정보를 식별하는 딥러닝 처리부를 포함할 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따르면, 이미지에서 객체 영역을 검출하여 고해상도 또는 고화질로 변환할 수 있다.
또한 본 발명의 일 실시 예에 따르면, 객체 영역의 메타데이터를 분석하여 기설정된 조건에 적합한지 판단하여 변환 방식을 판단할 수 있다.
또한 본 발명의 일 실시 예에 따르면, 고화질로 변환된 분석 대상 객체 영역에 포함된 객체 정보를 식별할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 시스템을 설명하는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 서버의 구성을 설명하기 위한 도면이다.
도 3은 본 발명에 일 실시 예에 따른 불법 주정차 단속 모드에서 객체 정보를 식별하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 또 다른 일 실시 예에 따른 영상 감시 장치 모드에서 객체 정보를 식별하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 단계를 설명하는 블럭도이다.
도 6은 본 발명의 일 실시 예에 따른 분석 대상 객체 영역의 고해상도 및 고화질 변환 방식을 판단할 때, 기준에 만족할 때를 설명하는 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 분석 대상 객체 영역의 고해상도 및 고화질 변환 방식을 판단할 때, 기준에 만족하지 않을 때를 설명하는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 서버의 구성을 설명하기 위한 도면이다.
도 3은 본 발명에 일 실시 예에 따른 불법 주정차 단속 모드에서 객체 정보를 식별하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 또 다른 일 실시 예에 따른 영상 감시 장치 모드에서 객체 정보를 식별하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 단계를 설명하는 블럭도이다.
도 6은 본 발명의 일 실시 예에 따른 분석 대상 객체 영역의 고해상도 및 고화질 변환 방식을 판단할 때, 기준에 만족할 때를 설명하는 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 분석 대상 객체 영역의 고해상도 및 고화질 변환 방식을 판단할 때, 기준에 만족하지 않을 때를 설명하는 블록도이다.
본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.
본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.
예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.
이하에서는 도 1 내지 도 7을 참고하여 본 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템 에 관하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 시스템(10)을 설명하는 도면이다.
초지능 객체 분석 시스템(10)은 촬영 및 안내부(100)를 통해 촬영을 하거나 단속을 안내할 수 있다. 또한 단속을 안내할 수 있는 장치는 전광판, 스피커, 디스플레이 등과 같은 장치를 포함할 수 있다. 초지능 객체 분석 시스템(10)는 촬영된 이미지를 전처리하고 전처리한 이미지에서 객체 영역을 검출할 수 있다. 초지능 객체 분석 시스템(10)는 검출된 객체 영역을 서비스 모드에 따라서 분석 대상 객체 영역을 선택할 수 있다. 초지능 객체 분석 시스템(10)는 메타 데이터를 분석하여 고해상도 또는 고화질로 변환하여 변환된 분석 대상 객체 영역에 포함되어 있는 객체 정보를 식별할 수 있는 시스템이다.
본 출원의 일 실시 예에 따른 초지능 객체 분석 시스템(10)은 촬영 및 안내부(100), 단속 및 지능형 서버(200), DB(300), 사용자 운영 서버(400)를 포함할 수 있다.
촬영 및 안내부(100)는 복수의 카메라를 이용하여 촬영할 수 있다. 카메라는 Fixed 보조 카메라, PTZ 단속 카메라, 돔 카메라, 고화질 카메라, 열화상 카메라, 자동차 단속 카메라, 안전 카메라, 어린이 보호용 카메라, 환경 모니터링 카메라, 무인 항공기 카메라 등과 같이 촬영을 할 수 있는 장치를 포함할 수 있다.
도 1을 참조하면, 촬영 및 안내부(100)는 Fixed 보조카메라(100a_1~100a_N), PTZ 단속 카메라(100b_1~100b_N), 전광판(100c_1~100c_N), 스피커(100d_1~100d_N), 앰프(100e_1~100e_N), 네트워크 장치(100f_1~100f_N), 파워 컨트롤러(100g_1~100g_N)를 포함할 수 있다.
일 실시예로 PTZ 단속 카메라(100B_1~100B_N)는 단속 및 지능형 서버(200) 및 사용자 운영 서버(400)의 제어에 따라 직접 움직여 타겟 영역 위치로 이동하여 타겟 영역에 대한 이미지를 생성할 수 있다. 또한 서비스 모드 중에서 불법 주정차 단속 서비스에서 PTZ 단속 카메라(100B_1~100B_N)는 차량의 번호판 위치로 이동한 후, 촬영 명령에 따라 촬영을 진행하여 번호판 이미지를 촬영할 수 있다.
일 실시 예로, 불법 주정차 단속 서비스에서 전광판(100c_1~100c_N)이 설치가 되었을 경우, 차량번호를 전광판(100c_1~100c_N)에 내보내기를 하여 주/정차 단속에 대한 안내 기능을 수행할 수 있다.
도 1 및 도 2를 참조하면, 단속 및 지능형 서버(200)는 이미지 추출부(211), 전처리부(213), 딥러닝 분석부(220), 고해상도 고화질 변환부(230), 딥러닝 처리부(240), 분산메시지 전달부(250)를 포함할 수 있다.
단속 및 지능형 서버(200)는 수신된 이미지를 전처리할 수 있다. 단속 및 지능형 서버(200)는 전처리된 이미지에서 객체 영역을 검출하고 서비스 모드에 따라 객체 영역에서 분석 대상 객체 영역을 선택하여 분석 대상 객체 영역의 메타데이터를 분석할 수 있다. 단속 및 지능형 서버(200)는 메타데이터를 이용하여 분석 대상 객체 영역의 고해상도 고화질 변환 방식을 판단할 수 있다. 단속 및 지능형 서버(200)는 판단 결과에 따라 분석 대상 객체 영역을 고해상도 또는 고화질로 변환할 수 있다. 단속 및 지능형 서버(200)는 변환된 분석 대상 객체 영역에 포함된 객체 정보를 식별할 수 있다.
본 발명의 실시예를 따르는 서비스 모드는 보안 모드, 교통량 측정 모드, 불법주정차 단속 모드, 신호 관속 단속 장치 모드 또는 영상 감시 장치 모드일 수 있으나, 이미지 기반 객체 검출이 요구되는 서버에 범용적으로 적용될 수 있으며, 한정하여 해석될 수 없다.
본 발명의 실시 예를 따르면, 단속 및 지능형 서버(200)는 저해상도 영상으로부터 고해상도 영상을 생성할 수 있다. 예를 들어 단속 및 지능형 서버(200)는 EDSR 네트워크 구조에 저해상도 영상을 적용하여 고해상도 영상으로 복원할 수 있다. EDSR은 32개 이상의 층을 사용되며 채널 수도 기존의 다른 네트워크 대비 4배 이상 늘려 파라미터 수도 그에 비례하여 대폭 증가된 구조이다. EDSR 네트워크 구조는 깊어진 네트워크를 보다 안정적으로 학습하기 위해 네트워크를 잔여 블록(Residual Block) 별로 나누고 각각을 스킵 커넥션(Skip Connection)을 사용해 연결하며 필터 파라미터들이 더 쉽게 최적화되도록 설계되었다. 또한 각각의 잔여 블록 안에서 feature map들이 더해지면서 feature map들의 분산이 커지는 경우가 생겨 학습이 잘 안되는 문제를 해결하기 위해 일정한 상수 값을 CNN 층 이후에 곱해주는 Multi 층을 추가된 특징이 있다.
한편, 본 발명의 다른 실시 예를 따르면 저해상도 이미지를 고해상도로 복원하기 위하여 SRCNN (Super Resolution Convolutional Neural Network) 구조를 고려할 수 있다. 이는 상대적으로 단순한 3 계층의 FCN (Fully Convolution Network) 구조를 가진 네트워크로서 바이큐빅 보간법으로 확대한 이미지의 화질을 개선하는 알고리즘이다. 그러나 해상도 복원에 대한 네트워크의 성능을 정량적으로 평가하면 EDSR 네트워크 구조가 SRCNN 구조에 비해 영상 복원 품질이 우수한 바, 본 발명의 선호되는 실시예를 따르는 단속 및 지능형 서버(200)는 EDSR 네트워크 구조를 통해 저해상도 이미지를 고해상도로 복원할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 서버의 구성을 설명하기 위한 도면이다. 도 2를 참고하면 이미지 추출부(211)는 카메라에서 촬영된 영상에서 이미지를 추출할 수 있다.
전처리부(213)는 이미지 추출부(211)에서 전송된 이미지의 부가 정보(예를 들어, 단속 모드, 날씨 정보, 시간 정보 등)에 따라 서로 다른 조도 값을 가중치로 반영하여 전처리된 이미지를 생성할 수 있다. 이를 위해, 전처리부(213)는 전처리되기 전의 이미지의 픽셀 및 전처리된 후의 이미지의 픽셀 사이의 차이 픽셀을 산출하고, 차이 픽셀 값에 날씨 및 시간 정보에 해당하는 미리 결정된 보정 픽셀 범위에 해당하는 보정 픽셀값을 반영하여 차이 픽셀 값을 보정할 수 있다. 전처리부(213)는 차이 픽셀 값에 해당하는 미리 결정된 조도값만큼 기준 조도 값을 보정하여 윤곽선 정보 값을 높여 전처리된 이미지를 생성할 수 있다.
도 2를 참고하면, 딥러닝 분석부(220)는 객체 검지 모델부(221) 및 메타데이터 분석부(223)를 포함할 수 있다.
객체 검지 모델부(221)는 전처리된 이미지에서 객체 영역을 검출할 수 있다. 객체 검지 모델부(221)는 이미지에 포함되는 모든 객체를 검지하는데, 이는 단지 차량, 이륜 자동차, 차량 번호판과 같은 ITS 객체에 한정되지 않으며, 사람, 차량, 오토바이, 버스, 트럭, 자전거, 개, 소, 고양이, 우산, 핸드폰 등과 같이 객체로 인식되는 모든 종류의 객체를 포함한다. 객체 검지 모델부(221)는 서비스 모드에 따라 검출된 객체 영역 중에서 분석 대상 객체 영역을 선택적으로 필터링할 수 있다. 예를 들어, 무인교통감시 모드에서는 차량과 오토바이 객체로 검출된 객체 영역이 분석 대상 객체 영역으로 선택될 수 있으며, 일반적인 영상감시 모드에서는 횡단보도, 사람, 자전거와 같은 일반 객체가 분석 대상 객체로 선택될 수 있다.
메타데이터 분석부(223)는 분석 대상 객체 영역의 메타데이터를 분석할 수 있다. 메타데이터 분석부(223)에서 분석되는 메타데이터는 최소 크기, 최대 크기, 포커스 측정값, 블러 측정값, 위치 정보, 촬영 장치 정보 중 적어도 하나일 수 있다. 메타데이터 분석부(223)는 여러 장의 이미지가 입력되었을 때 분석 대상 이미지를 선별하는 데도 활용될 수 있다. 일 예로, 메타데이터 분석부(223)는 여러 장의 이미지가 입력되었을 때, 포커스 측정값을 이용하여 분석 대상으로 최적합한 최고 품질을 갖는 이미지를 선별할 수 있다.
메타데이터 분석부(223)는 분석 결과에 따라서 분석 대상 객체 영역의 고해상도 고화질 변환 방식을 판단할 수 있다.
일 예로, 메타데이터 분석부(223)는 메타데이터 분석 결과에 따라 분석 대상 객체 영역의 변환 배율을 기 설정된 복수의 배율 중 어느 하나로 설정할 수 있다. 예를 들어, 메타데이터 분석부(223)는 메타데이터 분석 결과에 따라 분석 대상 객체 영역의 크기가 AxB픽셀이면 1.2배, A'xB'픽셀이면 1.5배, A''xB'' 픽셀이면 2.0배로 변환 배율을 설정하는 식이다.
고해상도 고화질 변환부(230)는 해상도 변환부(231) 및 화질 변환부(233)를 포함할 수 있다. 고해상도 고화질 변환부(230)는 메타데이터 분석부(223)에서 판단된 고해상도 고화질 변환 방식에 따라 분석 대상 객체 영역을 고해상도 또는 고화질로 변환할 수 있다. 예를 들어, 메타데이터 분석부(223)에서 분석 대상 객체 영역의 메타데이터가 기 설정된 기준에 적합하다고 판단되었다면, 고해상도 고화질 변환방식은 고화질 변환만 수행하는 것으로 설정될 수 있다. 따라서 이 경우, 고해상도 고화질 변환부(230)는 분석 대상 객체 영역을 화질 변환부(233)로 바로 전달하여 화질 변환만 이루어지도록 한다. 만약 메타데이터 분석부(223)에서 분석 대상 객체 영역의 메타데이터가 기 설정된 기준에 미적합하다고 판단되었다면, 고해상도 고화질 변환 방식은 고해상도 변환과 고화질 변환을 모두 수행하는 것으로 설정될 수 있으며, 그 결과 분석 대상 객체 영역은 해상도 변환부(231)를 거쳐 화질 변환부(233)로 전달될 수 있다.
해상도 변환부(231)는 분석 대상 객체 영역을 고해상도로 변환할 수 있다. 또한 해상도 변환부(231)는 단일 영상 고해상도 복원(SISR: Single-Image Super Resolution) 방식의 심층 신경망 알고리즘 기반의 변환 처리를 할 수 있다. 일 실시 예로 해상도 변환부(231)는 최소 크기가 기 설정된 기준에 적합하지 않은 것으로 판단된 분석 대상 객체 영역의 크기를 크기에 대응되는 배율로 업스케일할 수 있다.
일 실시예로 해상도 변환부(231)는 분석 대상 객체 영역을 2배의 크기로 업스케일 할 수 있는데, 1920x1080 크기를 3840x2160 크기로 변환하면, 2배로 업스케일된 이미지에는 블러 현상이 발생한다. 이러한 실시 예에서, 화질 변환부(233)는 화질의 손실을 최소화하기 위해, 빠른 처리 속도의 EDSR 알고리즘을 사용할 수 있다.
화질 변환부(233)는 분석 대상 객체 영역을 고화질로 변환할 수 있다. 만약 메타데이터 분석부(223)에서 판단한 결과에 따라 기 설정된 기준에 적합한 메타데이터를 갖는 분석 대상 객체 영역이 수신되면, 화질 변환부(233)는 분석 대상 객체 영역을 고화질로 변환한다. 만약 메타데이터 분석부(223)의 판단 결과에 따라 기 설정된 기준에 미적합한 메타데이터를 갖는 분석 대상 객체 영역이 해상도 변환부(231)를 거쳐 화질 변환부(233)로 수신되면, 화질 변환부(233)는 해상도가 변환된 분석 대상 객체 영역을 고화질로 변환할 수 있다.
화질 변환부(233)는 AI Vision을 적용하여 분석 대상 객체 영역을 고화질로 변환할 수 있다. AI Vision은 인공지능을 사용하여 시각 데이터를 처리하고 이해할 수 있는 기술이다. 화질 변환부(114)는 화질의 손실을 최소화하기 위해, 빠른 처리 속도의 EDSR 알고리즘을 사용할 수도 있고, 이미지 내에 텍스트가 포함된 경우 - 예를 들어, 번호판 이미지를 인식하는 경우 - 텍스트 수퍼 레졸루션(Text Super Resolution) 알고리즘을 적용하여 이미지를 고화질로 변환할 수 있다. 텍스트 수퍼 레졸루션은 텍스트로 인식되는 객체에 수퍼 레졸루션(초고해상도)과 유사한 개념을 적용하는 것으로, 텍스트의 전반적인 선명도와 디테일을 향상시키기 위해 새로운 픽셀을 추정하거나 생성하는 기술을 의미한다. 동 알고리즘의 목적은 해상도를 높여 텍스트의 품질과 가독성을 향상시키는 것이다. 텍스트 수퍼 레졸루션 알고리즘은 대량의 텍스트 데이터를 학습하여 언어 패턴, 의미를 이해하는 고급 자연어 처리(NLP) 모델이 포함되는 경우가 많으며, 이는 텍스트의 품질과 정교함을 향상시키는데 도움을 줄 수 있다.
딥러닝 처리부(240)는 차량 번호 인식 모듈(241), 이륜자동차 번호 인식 모듈(243), 기타 객체 인식 모듈(245)을 포함할 수 있다. 딥러닝 처리부(240)는 미리 학습된 모델로 이미지를 적용하면 객체를 인식하며, 차량, 차량 앞면, 차량 후면, 이륜 자동차, 이륜 자동차 앞면, 이륜 자동차 후면, 자전거, 우산, 개, 소, 고양이, 핸드폰, 사람, 헬멧 등을 식별할 수 있다.
딥러닝 처리부(240)는 화질 변환부(233)로부터 변환된 분석 대상 객체 영역을 수신하면, 수신된 객체 영역을 미리 학습된 모델에 입력하여 분석 대상 객체 영역에 포함된 객체 정보를 도출한다.
딥러닝 처리부(240)는 변환된 분석 대상 객체 영역에 포함되어 있는 객체의 세부 정보를 인식할 수 있으며, 미리 학습된 모델을 이용하여 차량 번호판 검지, 이륜 자동차 번호판 검지, 기타 객체 검지를 수행할 수 있다.
분석 대상 객체 영역은 설정된 서비스 모드에 대응되는 인식 모듈로 전달되며, 각 인식 모듈은 식별하고자 하는 객체 이미지로 학습된 기계학습모델을 이용하여 객체 정보를 도출한다. 딥러닝 처리부(240)는 분석 대상 객체 영역에 포함된 객체에 대응되는 기계학습모델에 변환된 분석 대상 객체 영역을 적용할 수 있다. 여기서의 적용 결과에 따라, 딥러닝 처리부(240)는 차량 번호판 객체 정보, 이륜 자동차 번호판 객체 정보, 또는 기타 객체의 식별 정보 중 적어도 하나를 도출할 수 있다.
일 실시예로, 운영자가 서비스 모드를 불법주정차 단속 모드로 선택하였다면, 차량 번호판에 대응되는 객체 영역은 차량 번호 인식 모듈(241)로, 이륜차 번호판에 대응되는 객체 영역은 이륜자동차 번호 인식 모듈(243)로 전달된다. 차량 번호 인식 모듈(241)과 이륜자동차 번호 인식 모듈(243)은 각각 차량 번호판과 이륜자동차 번호판을 인식하기 위한 기계학습 모델로, 객체 영역에서 번호를 추출할 수 있다.
만일 서비스 모드가 영상 감시 장치 모드인 경우, 차량, 차량 앞면, 차량 후면, 이륜 자동차, 이륜 자동차 앞면, 이륜 자동차 후면, 사람, 자전거, 우산, 개, 소, 고양이, 핸드폰 중 적어도 하나에 대응되는 객체 영역은 기타 객체 인식 모듈(245)로 전송될 수 있으며, 기타 객체 인식 모듈(245)은 기타 객체의 정보를 식별할 수 있다.
분산메시지 전달부(250)는 디바이스에 알림을 전달하는 기능을 수행한다. 예를 들어 보안 서비스에서 관리자에게 알림을 제공하거나, 불법주정차 서비스에서 차주에게 단속 지역에 대한 알림을 제공하는 기능을 수행할 수 있다.
DB(300)는 단속 및 지능형 서버(200)와 사용자 운영 서버(400)간 데이터를 공유하기 위한 데이터 저장소이다. 단속 및 지능형 서버(200)와 사용자 운영 서버(400)는 연결되어 있고, 다른 서버에 접속은 필요하지 않을 수 있다. 일 실시 예로 센터의 상황에 따라 이미지는 DB(300)에 생성된 공유 폴더를 통해 공유될 수 있다.
사용자 운영 서버(400)는 DB(300)에 등록된 단속 및 지능형 서버(200)에 대해 헬스체크를 할 수도 있다. WatchDog의 설정에 서버(200)가 사용하는 포트가 있는데, 기본적으로 20220은 메시지를 주고 받는 포트이며, 20221은 헬스체크를 위한 포트로 사용될 수 있다.
사용자 운영 서버(400)는 운영자와 단속 및 지능형 서버(200)를 연결시켜주는 서버로, 통합 불법 주정차의 GUI가 제공될 수 있다. 운영자는 사용자 운영 서버(400)를 통해서 단속 및 지능형 서버(200)에 명령을 내리거나, 단속 중인 정보를 화면에 표출하여 주거나, DB(300)에 저장된 단속정보를 화면에 보여줄 수 있다.
사용자 운영 서버(400)는 모니터링을 위해서 가끔 현장 카메라의 RTSP채널에 접속을 할 수 있다. 사용자 운영 서버(400)는 현장 카메라의 RTSP채널에 접근개수 제한이 있는 경우에는 외부에 있는 VMS를 통해서 저장분배 URL을 별도로 지정하여 화면을 볼 수 있다.
또한 사용자 운영 서버(400)는 단속을 하지 않을 때는 방범용으로 PTZ 단속카메라(100b)가 특정한 위치를 바라보도록 설정 할 수 있다. 단속이 진행 중일 때는 단속 및 지능형 서버(200)의 단속 프로그램이 PTZ단속카메라(100b)에 대한 제어권을 가지고 있지만, 단속이 진행되지 않을 때는 PTZ단속카메라(100b)가 다른 곳에서 사용될 수 있기 때문에 단속 및 지능형 서버(200)가 PTZ단속카메라(100b)를 제어하지 않는다.
한편, 사용자 운영 서버(400)는 단속 스케쥴에 의거해서 단속을 진행할 수 있다. 예를 들어, 운영자는 사용자 운영 서버(400)에서 요일별로 월, 화, 수, 목, 금, 토, 일요일 또는 전체적으로 몇 시부터 몇 시까지 단속을 진행할지를 설정할 수 있다. 서비스 목적에 따라 임의의 영역을 24시간 단속을 하는 곳이 있고, 특정 시간대에는 유예시간을 두도록 제어할 수 있다. 예를 들어 공휴일에는 전일 단속을 하지 않거나, 주말의 단속 설정을 따르도록 설정될 수 있다.
사용자 운영 서버(400)를 통해 운영자는 서비스 모드를 설정할 수 있을 뿐 아니라, 자동 모드와 수동 모드를 설정할 수도 있다. 사용자 운영 서버(400)가 수동 단속 모드로 설정되어 있는 경우 초지능 객체 분석 시스템(10)은 모니터링 요원이 자신이 직접 단속사진을 촬영하는 모드로 동작되며, 센터의 모니터링 요원이 사용자 운영 서버(400)를 통해 시스템(10)을 수동 모드로 전환할 수 있다.
불법 주정차 단속 서비스의 예에서, 시스템(10)이 수동 모드로 전환되는 경우, 모니터링 요원은 각 현장에 연결된 PTZ단속카메라의 상하좌우를 직접 움직여 차량의 번호판 위치로 이동한 후, 촬영 명령에 다라 1차 단속을 진행하며, PTZ단속카메라를 광각으로 제어하여 차량의 배경을 볼 수 있도록 설정한 후, 촬영 명령에 따라 차량의 배경을 촬영하여 2차 단속이 진행되도록 할 수 있다.
다른 실시 예에서, 시스템(10)이 자동 단속 중 오토 트레킹으로 전환되는 경우, 시스템(10)은 지정한 위치에 차량이 있는 경우 1차 단속을 진행하고, 차량이 없는 경우에는 다음 지정된 곳으로 이동하며, 1차 단속이 완료되면 단속된 차량 별로 단속 시간을 설정하여 알림을 발생시키고, 알림이 발생되면 1차 단속된 위치로 이동하여 2차 단속을 진행한다.
또 다른 실시 예에서 시스템(10)이 자동 단속 중 광역 단속으로 전환되면, 오토 트래킹보다 줌이 빠진 상태에서 차량을 넓게 검색하며, 차량이 있는 부분만 Pan/Tilt/Zoom을 자동으로 계산하여 차량이 있는 위치로 이동하여 단속하도록 한다. 이때, 광역단속을 사용하기 위해서 GPU 및 CUDA 및 영상분석알고리즘을 사용하기 때문에 광역 단속 및 지능형서버(200)가 추가로 필요하지만, 차량이 있는 위치만 빠르게 단속하여 진행하기 때문에 오토 트레킹보다 빠르게 차량을 단속할 수 있다.
현장 점검 모드는 현장점검 및 설정 값을 수정하는 등의 작업을 하고 있음을 알려주는 모드이다. 이러한 현장 점검 모드는 운영자가 사용자 운영 서버(400)를 통해 변경 및 설정될 수 있다. 현장 점검 모드는 특수한 작업을 위해서 단속을 멈춰둔 상황이라 사용자 운영 서버(400)상에 빨간색으로 표시되며, 현장 점검 모드 시에는 스케쥴의 영향을 받지 않고, 단속이 진행되지 않으며, 설정 값을 변경한 이후에는 다시 자동모드로 변경을 해야 단속이 진행된다.
또 다른 일 실시예에서, 시스템(10)이 고장 모드로 진행될 수 있는데, 고장 모드는 단속을 진행하는 모드가 아니라 카메라 제어에 문제가 발생하였을 때 보여지는 단속 모드이다. PTZ단속카메라의 제어가 불가능하거나, 기타 단속에 문제가 발생하였을 때 시스템(10)은 고장 모드로 자동으로 변경 된다. 이때, 이슈를 처리하고 조치를 한 다음 자동단속모드로 변경하면 다시 단속을 진행할 수 있으며, 망의 이슈로 인해서 접속이 차단되는 경우 고장 모드가 자주 발생할 수 있기 때문에 고장 모드인 경우 일정 시간 뒤에 자동으로 단속이 진행될 수 있도록 시스템(10)은 자동 단속 모드로 변경을 시도한다.
이하에서는 도 3 내지 도 4를 참조하여 서비스 모드에 따른 객체 식별 방법을 설명한다.
입력 영상을 수신하는 단계(S1000)에서 서버는 촬영된 복수의 이미지를 전송받을 수 있다. 촬영된 복수의 이미지는 영상을 포함할 수 있다. 이미지는 카메라, 자동차 단속 카메라, 안전 카메라, 어린이 보호용 카메라, 환경 모니터링 카메라, 무인 항공기 카메라 등과 같이 단속 또는 촬영을 할 수 있는 장치로부터 촬영된 것일 수 있다. 객체 영역 검출 단계(S2000)에서 서버는 수신된 이미지를 평활화 할 수 있다. 구체적으로 S2000단계에서 서버는 이미지를 히스토그램 평활화하여 명암 분포가 빈약한 영상을 균일하게 전처리할 수 있다.
이하에서는 도 3을 참조하여, 불법 주정차 단속 모드에서의 서버 동작을 설명한다. 서버는 운영자가 선택한 서비스 모드에 따라 객체 영역에서 분석 대상 객체 영역을 선택할 수 있다. 불법 주정차 단속 모드에 따른 객체 영역 선택 단계(S3100)의 일 실시 예로, 운영자가 서비스 모드를 불법 주정차 단속 모드로 선택했다면, S3100단계에서 서버는 이륜차, 이륜차 번호판, 자동차, 자동차 번호판을 분석 대상 객체 영역으로 선택할 수 있다. S3100단계에서 서버는 분석 대상 객체 영역의 메타데이터를 분석할 수 있으며, 분석 결과에 따라서 고해상도 고화질 변환 방식을 판단할 수 있다. 고해상도 고화질 변환 방식으로는 고해상도 변환 후 고화질 변환을 수행하는 방식과, 고화질 변환만을 수행하는 방식이 존재할 수 있다. S3100단계에서 메타데이터가 기설정된 기준에 적합하지 않다고 판단되면, 서버는 해상도 변환 단계(S4100)를 실행하여, 분석 대상 객체 영역의 해상도를 변환할 수 있다. 그리고 S4100단계 이후에는 고화질 변환 단계(S5100)가 실행될 수 있다. 만약 S3100단계에서 메타데이터가 기설정된 기준에 적합하다고 판단되면, 서버는 바로 고화질 변환 단계(S5100)를 실행하여 분석 대상 객체 영역의 화질을 변환할 수 있다.
이하에서는 도 4를 참조하여, 영상 감시 장치 모드에서의 서버 동작을 설명한다. 영상 감시 장치 모드에 따른 객체 영역 선택 단계(S3200)의 일 실시 예로, S3200단계에서 서버는 차량, 차량 앞면, 차량 후면, 이륜 자동차, 이륜 자동차 앞면, 이륜 자동차 후면, 사람, 자전거, 우산, 개, 소, 고양이, 핸드폰 중 적어도 하나를 분석 대상 객체 영역으로 선택할 수 있다. S3200단계에서 서버는 분석 대상 객체 영역의 메타데이터를 분석할 수 있다. 서버는 분석 결과에 따라서 고해상도 또는 고화질 변환 방식을 판단할 수 있다. S3200단계에서 분석 대상 객체 영역의 메타데이터가 기설정된 기준에 적합하지 않다고 판단되면, 서버는 해상도 변환 단계(S4200)를 실행하여, 분석 대상 객체 영역의 해상도를 변환할 수 있다. 만약 S3200단계에서 메타데이터가 기설정된 기준에 적합하다고 판단되면, 서버는 고화질 변환 단계(S5200)를 실행하여 분석 대상 객체 영역을 고화질로 변환한다.
해상도 변환 단계(S4100단계 또는 S4200단계)는 S3100단계 또는 S3200단계에서의 메타데이터 분석 결과에 따라 수행될 수 있는데, 서버는 메타데이터 분석 결과 분석 대상 객체 영역의 해상도가 기 설정된 기준에 적합하다고 판단되면, S4100단계 또는 S4200단계를 생략할 수 있다. 즉, 분석 대상 객체 영역의 해상도가 기준치에 미치지 못하는 경우, 서버는 S4100단계 또는 S4200단계를 통해 분석 대상 객체 영역을 고해상도로 변환할 수 있다.
S3100단계 또는 S3200단계에서 메타데이터를 분석한 결과에 따라 서버는 고화질 변환 단계(S5100단계 또는 S5200단계)를 실행할 수 있다. 서버는 기준에 적합한 분석 대상 객체 영역에 대해 S5100단계 또는 S5200단계를 바로 수행할 수도 있고, S4100단계 및 S4200단계를 거쳐 고해상도로 변환된 분석 대상 객체 영역을 고화질로 변환할 수도 있다.
객체 정보 식별 단계(S6100단계 및 S6200단계)에서 단속 및 지능형 서버(200)는 S5100단계 및 S5200단계에서 변환된 분석 대상 객체 영역에 포함되어 있는 객체 정보를 식별할 수 있다. 일 실시 예로 서버는 차량 번호판 객체 정보, 이륜 자동차 번호판 객체 정보, 또는 기타 객체의 식별 정보 중 적어도 하나를 도출할 수 있다.
이하에서는 도 5 내지 도 7을 참조하여 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법에 대해 설명한다.
이미지를 수신하여 전처리 단계(S100)에서 서버는 촬영된 이미지를 전송받고 이미지를 전처리하여 조도를 평활화 할 수 있다. 다음으로, 서버는 전처리된 이미지에서 객체 영역을 검출한다(S200). 객체 영역은 차량, 차량 앞면, 차량 후면, 이륜 자동차, 이륜 자동차 앞면, 이륜 자동차 후면, 자전거, 우산, 개, 소, 고양이, 핸드폰, 사람, 헬멧 등을 포함할 수 있다.
이후 서버는 서비스 모드에 따라 분석 대상 객체 영역을 선택할 수 있는데(S300), 단계 S300은 생략될 수도 있다. 단계 S300에서 서버는 운영자가 선택한 서비스 모드에 따라 객체 영역에서 분석 대상 객체 영역을 선택한다. 다음으로 서버는 S300단계에서 선택된 분석 대상 객체 영역의 메타데이터를 분석할 수 있다(S400). 메타데이터는 분석 대상 객체 영역의 최소 크기, 최대 크기, 포커스 측정값 또는 블러 측정값 등을 포함할 수 있다.
단계 S500에서 서버는 메타 데이터를 이용하여 분석 대상 객체 영역의 변환 방식을 판단하고, 판단 결과에 따라 분석 대상 객체 영역을 고해상도로 변환한 후 고화질로 변환할 수 있다. 다른 실시 예로, 단계 S500에서 서버는 메타데이터 분석 결과에 따라서 분석 대상 객체 영역을 고해상도로 변환하지 않고, 고화질로 변환할 수도 있다.
이하에서는 도 6 내지 도 7을 참고하여 S500단계를 보다 구체적으로 살펴본다.
도 6을 참고하면, 서버는 분석 대상 객체 영역의 메타데이터가 기설정된 기준에 적합한지 판단하고(S511), 만약 최소 크기, 포커스 측정값 등의 메타데이터가 미적합하다고 판단 되면(S513a), 분석 대상 객체 영역을 업스케일하여 고해상도로 변환하고(S515a), 변환된 분석 대상 객체 영역을 고화질로 변환한다(S517a). 일 예로, 단계 S400에서 만약 분석 대상 객체 영역의 최소 크기가 메타데이터로 분석된 경우, 서버는 단계 S515a에서 분석 대상 객체 영역의 변환 배율을 분석 대상 객체 영역의 최소 크기에 따라 1.2배, x1.5배, 2.0배 중 어느 하나로 설정할 수 있다.
도 7에 도시된 바와 같이 만약 단계 S511에서의 판단 결과, 분석 대상 객체 영역의 메타데이터가 기 설정된 기준에 적합하다고 판단되면(S513b), 서버는 객체 영역을 고해상도 변환하지 않고 바로 고화질로 변환할 수 있다(S517b)
다시 도 5를 참조하면, 단계 S600에서 서버는 S500단계에서 변환된 분석 대상 객체 영역에서, 객체 정보를 식별한다. 예를 들어, 단계 S600에서 서버는 분석 대상 객체 영역이 차량 번호판이면 차량의 번호를 검지하며, 분석 대상 객체 영역이 이륜자동차 번호판이면, 이륜자동차의 번호를 검지한다. 단계 S600은 서버가 분석 대상 객체 영역을 기 학습된 기계학습모델에 적용하여 이루어진다. 만약 서비스 모드가 불법 주정차 단속 모드인 경우, 서버는 단계 S600에서 자동차 번호판으로 학습된 기계학습모델에 번호판 객체 영역 이미지를 적용하여, 번호판 객체 영역에 포함된 번호를 인식한다. 또 다른 실시 예로 서버는 단계 S600에서 오토바이 번호판으로 학습된 기계학습 모델에 오토바이 번호판 객체 영역 이미지를 적용하여 번호를 인식할 수 있다. 즉 서비스 모드에 따라 분석 대상 객체 영역에 포함된 객체에 대응되는 기계학습모델에 변환된 분석 대상 객체 영역을 적용함으로써, 서버는 차량 번호판 객체 정보, 이륜 자동 번호판 객체 정보, 기타 객체의 식별 정보 중 하나를 도출할 수 있다.
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
10: 초지능 객체 분석 시스템
100: 촬영 및 안내부 200: 단속 및 지능형 서버
220: 딥러닝 분석부 230: 고해상도 고화질 변환부
240: 딥러닝 처리부 250: 분산메시지 전달부
300: DB 400: 사용자 운영 서버
100: 촬영 및 안내부 200: 단속 및 지능형 서버
220: 딥러닝 분석부 230: 고해상도 고화질 변환부
240: 딥러닝 처리부 250: 분산메시지 전달부
300: DB 400: 사용자 운영 서버
Claims (11)
- 이미지를 고해상도 및 고화질로 변환하는 초지능 객체 분석 방법에 있어서,
촬영된 이미지를 수신하고 상기 이미지를 전처리하는 단계;
전처리된 이미지에서 객체 영역을 검출하는 단계;
운영자가 선택한 서비스 모드에 따라 상기 객체 영역에서 분석 대상 객체 영역을 선택하는 단계;
상기 분석 대상 객체 영역의 메타데이터를 분석하는 단계;
상기 분석에 따라서 상기 메타데이터가 기 설정된 기준에 적합한지 판단하고,상기 적합 판단 결과에 따라서 상기 분석 대상 객체 영역의 고해상도 고화질 변환 방식을 판단하는 단계;
상기 판단 결과에 따라 상기 분석 대상 객체 영역을 고해상도 또는 고화질로 변환하는 단계; 및
변환된 분석 대상 객체 영역에 포함된 객체 정보를 식별하는 단계;를 포함하며
상기 고해상도 또는 고화질 변환 단계는
상기 적합 판단 결과 적합으로 판단되면, 고해상도 변환을 거치지 않고 상기 분석 대상 객체 영역을 고화질로 변환하는 단계;
상기 적합 판단 결과 미적합으로 판단되면, 상기 분석 대상 객체 영역을 고해상도 변환 후 상기 고해상도로 변환된 분석 대상 객체 영역을 고화질로 변환하는 단계;를 포함하며
상기 메타데이터는
포커스 측정값 또는 블러 측정값 중 적어도 하나를 포함하는 초지능 객체 분석 방법.
- 제1 항에 있어서,
상기 서비스 모드는,
보안 모드, 교통량 측정 모드, 불법주정차 단속 모드, 신호 과속 단속 장치 모드, 영상감시장치 모드 중 적어도 하나를 포함하는 초지능 객체 분석 방법.
- 제1 항에 있어서,
상기 객체 정보를 식별하는 단계는,
상기 서비스 모드에 따라 상기 분석 대상 객체 영역에 포함된 객체에 대응되는 기계학습모델에 상기 변환된 분석 대상 객체 영역을 적용하는 단계를 포함하고,
상기 적용 결과,
차량 번호판 객체 정보, 이륜 자동차 번호판 객체 정보, 또는 기타 객체의 식별 정보 중 적어도 하나를 도출하는 초지능 객체 분석 방법.
- 삭제
- 삭제
- 제1 항에 있어서,
상기 고해상도 변환 후 상기 고해상도로 변환된 분석 대상 객체 영역을 고화질로 변환하는 단계는,
상기 메타데이터 따라 상기 분석 대상 객체 영역의 변환 배율을 기 설정된 복수의 배율 중 어느 하나로 설정하는 단계;
설정된 변환 배율로 상기 분석 대상 객체 영역을 고해상도 변환하는 단계를 포함하는 초지능 객체 분석 방법.
- 이미지를 고해상도 및 고화질로 변환하는 초지능 객체 분석 시스템에 있어서,
촬영 장치 및 촬영을 안내하는 장치를 포함하는 촬영 및 안내부; 및
상기 촬영된 이미지를 전처리하여 상기 전처리된 이미지에서 객체 영역을 검출하고 운영자가 선택한 서비스 모드에 따라 상기 객체 영역을 분석 대상 객체 영역으로 선택하고, 상기 분석 대상 객체 영역의 메타데이터를 분석하여 상기 분석에 따라서 상기 메타데이터가 기설정된 기준에 적합한지 판단하고, 상기 적합 판단 결과에 따라서 고화질 또는 고해상도로 변환하여, 변환된 분석 대상 객체 영역에 포함된 객체 정보를 식별하는 서버를 포함하며
상기 서버는,
상기 적합 판단 결과 적합으로 판단되면, 고해상도 변환을 거치지 않고 상기 분석 대상 객체 영역을 고화질로 변환하거나
상기 적합 판단 결과 미적합으로 판단되면, 상기 분석 대상 객체 영역을 고해상도 변환 후 상기 고해상도로 변환된 분석 대상 객체 영역을 고화질로 변환하고
상기 메타데이터는,
포커스 측정값 또는 블러 측정값 중 적어도 하나를 포함하는 초지능 객체 분석 시스템.
- 이미지를 고해상도 및 고화질로 변환하는 초지능 객체 분석 서버에 있어서,
전처리된 이미지에서 객체 영역을 검출하여 운영자가 선택한 서비스 모드에 따라 상기 객체 영역에서 분석 대상 객체 영역을 선택하는 객체 검지 모델부;
상기 분석 대상 객체 영역의 메타데이터를 분석하고, 상기 분석에 따라서 상기 메타데이터가 기설정된 기준에 적합한지 판단하고, 상기 적합 판단 결과에 따라서 상기 분석 대상 객체 영역의 고해상도 고화질 변환 방식을 판단하는 메타데이터 분석부;
상기 판단 결과에 따라 상기 분석 대상 객체 영역을 업스케일하여 고해상도로 변환하는 해상도 변환부;
상기 분석 대상 객체 영역을 고화질로 변환시키는 화질 변환부; 및
변환된 분석 대상 객체 영역에서 상기 분석 대상 객체 영역에 포함된 객체 정보를 식별하는 딥러닝 처리부를 포함하며
상기 메타데이터 분석부는,
상기 적합 판단 결과 적합으로 판단되면, 고해상도 변환을 거치지 않고 상기 분석 대상 객체 영역을 고화질로 변환하는 단계;
사익 적합 판단 결과 미적합으로 판단되면, 상기 분석 대상 객체 영역을 고해상도 변환 후 상기 고해상도로 변환된 분석 대상 객체 영역을 고화질로 변환하는 단계;를 포함하며
상기 메타데이터는
포커스 측정값 또는 블러 측정값 중 적어도 하나를 포함하는 초지능 객체 분석 서버.
- 제8 항에 있어서,
상기 메타데이터 분석부는,
상기 메타데이터에 따라 상기 분석 대상 객체 영역의 변환 배율을 기 설정된 복수의 배율 중 어느 하나로 설정하여 상기 해상도 변환부로 전송하는 초지능 객체 분석 서버.
- 삭제
- 제1 항 내지 제3 항 및 제6 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230134794A KR102647960B1 (ko) | 2023-10-11 | 2023-10-11 | AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230134794A KR102647960B1 (ko) | 2023-10-11 | 2023-10-11 | AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102647960B1 true KR102647960B1 (ko) | 2024-03-15 |
Family
ID=90272645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230134794A KR102647960B1 (ko) | 2023-10-11 | 2023-10-11 | AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102647960B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101935399B1 (ko) * | 2018-07-11 | 2019-01-16 | 주식회사 두원전자통신 | 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템 |
| KR20190110965A (ko) * | 2019-09-11 | 2019-10-01 | 엘지전자 주식회사 | 이미지 해상도를 향상시키기 위한 방법 및 장치 |
| KR102190483B1 (ko) * | 2018-04-24 | 2020-12-11 | 주식회사 지디에프랩 | Ai 기반의 영상 압축 및 복원 시스템 |
-
2023
- 2023-10-11 KR KR1020230134794A patent/KR102647960B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102190483B1 (ko) * | 2018-04-24 | 2020-12-11 | 주식회사 지디에프랩 | Ai 기반의 영상 압축 및 복원 시스템 |
| KR101935399B1 (ko) * | 2018-07-11 | 2019-01-16 | 주식회사 두원전자통신 | 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템 |
| KR20190110965A (ko) * | 2019-09-11 | 2019-10-01 | 엘지전자 주식회사 | 이미지 해상도를 향상시키기 위한 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170032199A1 (en) | Video data analyzing method and apparatus and parking lot monitoring system | |
| KR101530255B1 (ko) | 객체 자동 추적 장치가 구비된 cctv 시스템 | |
| KR101496390B1 (ko) | 차량번호인식 시스템 | |
| WO2018215066A1 (en) | Method and system for automatically colorizing night-vision images | |
| KR20170074076A (ko) | 능동형 교통 신호 제어 방법 및 그 시스템 | |
| KR101596896B1 (ko) | 이종 카메라로부터의 영상을 이용하여 불법 주정차 단속을 수행하는 단속 시스템 및 이를 포함하는 관제 시스템 | |
| KR102170992B1 (ko) | 다기능 차량번호인식 시스템 및 그 제어방법 | |
| GB2503322A (en) | Real-time video triggering for traffic surveillance and photo enforcement applications using near infrared video acquisition | |
| US20130188045A1 (en) | High Resolution Surveillance Camera | |
| KR102011624B1 (ko) | 개선된 차량검출 방법과 이를 활용한 비정상적 주정차 차량식별 시스템 | |
| SG191954A1 (en) | An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and /or optimized utilization of various sensory inputs | |
| KR101462855B1 (ko) | 불법 주정차 무인 자동 단속 시스템 및 그의 처리 방법 | |
| KR101492473B1 (ko) | 사용자 기반 상황 인지형 씨씨티비 통합관제시스템 | |
| KR102297217B1 (ko) | 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치 | |
| KR101355201B1 (ko) | 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법 | |
| KR102579542B1 (ko) | 군중 밀집도 기반의 위험 지역 자동 알림 시스템 | |
| KR100820952B1 (ko) | 단일 카메라를 이용한 불법 주정차 무인 자동 단속방법 및그 시스템 | |
| JP2005173787A (ja) | 移動物体の検出・認識を行う画像処理装置 | |
| EP4020981A1 (en) | A camera and a method therein for facilitating installation of the camera | |
| KR102602318B1 (ko) | 단속영역 가변형 다차로 단속시스템 | |
| KR101319508B1 (ko) | 초점열화방법을 이용한 불법 주정차 단속 시스템 및 단속방법 | |
| CN109543530B (zh) | 一种板书位置检测方法、存储介质及*** | |
| KR102647960B1 (ko) | AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템 | |
| CN113489948A (zh) | 一种摄像监控设备、方法、装置及存储介质 | |
| KR101685423B1 (ko) | 광역 감시 시스템 및 이동 물체 촬영 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |